TWI786570B - 生成可用於檢查半導體樣本的訓練集 - Google Patents

生成可用於檢查半導體樣本的訓練集 Download PDF

Info

Publication number
TWI786570B
TWI786570B TW110109482A TW110109482A TWI786570B TW I786570 B TWI786570 B TW I786570B TW 110109482 A TW110109482 A TW 110109482A TW 110109482 A TW110109482 A TW 110109482A TW I786570 B TWI786570 B TW I786570B
Authority
TW
Taiwan
Prior art keywords
training
patches
batch
original
image
Prior art date
Application number
TW110109482A
Other languages
English (en)
Other versions
TW202200992A (zh
Inventor
艾德 班布蘭奇
薛隆 艾卡彥
薛爾 科恆
塔 班胥羅摩
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW202200992A publication Critical patent/TW202200992A/zh
Application granted granted Critical
Publication of TWI786570B publication Critical patent/TWI786570B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Steroid Compounds (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

提供了一種生成用於訓練可用於樣本檢查的深度神經網路的訓練集的系統和方法。方法包括：針對組中的每個給定訓練圖像：i)生成第一批訓練面片，包括：將給定訓練圖像裁剪成第一複數個原始面片；以及擴充第一複數個原始面片中的至少一部分以便模擬由樣本的物理過程導致的變化；以及ii)生成第二批訓練面片，包括：在給定訓練圖像上移位複數個第一位置以獲得第二複數個原始面片，以及重複對第二複數個原始面片進行擴充以生成第二複數個擴充面片；以及將對應於每個給定訓練圖像的至少第一第二批訓練面片包括在訓練集中。

Description

生成可用於檢查半導體樣本的訓練集
當前公開的標的總體上涉及樣本檢查領域，並且更具體地涉及使樣本檢查自動化。
當前對與所製造裝置的超大規模集成相關聯的高密度和效能的需求需要亞微米特徵、增加的電晶體和電路速度、以及提高的可靠性。這類需求需要形成具有高精確度和均勻性的裝置特徵，這進而需要仔細監控製造過程，包括在裝置仍處於半導體晶圓的形式時自動檢查所述裝置。
在本說明書中使用的術語「樣本」應當被廣泛地解釋為涵蓋用於製造半導體積體電路、磁頭、平板顯示器、以及其它半導體製造的物品的任何種類的晶圓、掩模和其它結構、及其組合和/或部分。
在本說明書中使用的術語「檢查」應當被廣泛地解釋為涵蓋任何種類的計量相關操作以及關於在樣本製造期間偵測和/或分類樣本中的缺陷的操作。檢查藉由在製造待檢查的樣本期間或之後使用非破壞性檢查工具來提供。作為非限制性示例，檢查過程可以包括使用相同或不同的檢驗工具來進行運行時（runtime）掃描（以單次或多次掃描）、取樣、審查、測量、分類和/或關於樣本或樣本的部分提供的其它操作。同樣，檢查可以在製造待檢查的樣本之前提供，並且可以包括例如產生（多個）檢查配方和/或其它設置操作。應注意，除非另作具體聲明，否則本說明書中使用的術語「檢查」或其衍生詞不關於檢驗區域的解析度或大小而受限。作為非限制性示例，各種非破壞性檢查工具包括掃描電子顯微鏡、原子力顯微鏡、光學檢驗工具等。
作為非限制性示例，運行時檢查可以採用兩階段程式，例如，檢驗樣本，隨後審查潛在缺陷的取樣位置。在第一階段期間，以高速和相對低的解析度檢驗樣本的表面。在第一階段中，生成缺陷圖來示出樣本上具有高缺陷可能性的疑似位置。在第二階段期間，以相對高的解析度更透徹地分析疑似位置中的至少一些疑似位置。在一些情況下，兩個階段皆可以由相同檢驗工具來實現，並且在一些其它情況下，這兩個階段由不同的檢驗工具來實現。
檢查過程在半導體製造期間的各個步驟處用於偵測和分類樣本上的缺陷，以及執行計量相關的操作。檢查的有效性可以藉由（多個）過程的自動化來提高，所述（多個）過程的自動化例如，自動缺陷分類（ADC）、自動缺陷審查（ADR）等。
根據當前公開的標的的某些態樣，提供了一種生成用於訓練可用於樣本檢查的深度神經網路（DNN）的訓練集的方法，所述方法由處理器和記憶體電路系統(PMC)執行，所述方法包含：獲得一組訓練圖像，每個訓練圖像表示樣本的至少一部分；針對所述組中的每個給定訓練圖像：i)生成第一批訓練面片(patch)，包括：根據給定訓練圖像上的複數個第一位置，將給定訓練圖像裁剪成第一複數個原始面片；以及擴充第一複數個原始面片中的至少一部分，以便模擬由樣本的物理過程導致的變化，從而產生構成第一批訓練面片的第一複數個擴充面片；以及ii)生成第二批訓練面片，包括：在所述給定訓練圖像上將所述複數個第一位置移位到複數個第二位置，從而獲得對應於所述複數個第二位置的第二複數個原始面片，以及重複對所述第二複數個原始面片進行擴充以生成第二複數個擴充面片，從而產生第二批訓練面片；以及將對應於每個給定訓練圖像的至少第一批訓練面片和第二批訓練面片包括到訓練集。
除了以上特徵之外，根據當前公開的標的的這個態樣的方法可以包含以技術上可能的任何期望組合或排列的下文列出的特徵(i)至(viii)中的一個或多個：(i).訓練集可以用於訓練DNN，所述DNN可用於從包含以下各項的組中選擇的至少一個檢查過程：基於運行時圖像的自動缺陷偵測、自動缺陷審查、自動缺陷分類、自動分段、以及自動計量。
(ii).方法可以進一步包含重複生成第二批訓練面片一次或多次，直到滿足完成標準為止，產生一批或多批訓練面片，並且將所述一批或多批包括在訓練集中。
(iii).方法可以進一步包含將第一複數個原始面片和/或第二複數個原始面片包括在訓練集中。
(iv).預定位置可以是根據網格的。
(v).移位可以根據隨機方向以隨機偏移來執行。
(vi).所模擬的變化可以包括過程變化和/或灰度級(gray level)變化。
(vii).方法可以進一步包含將對應於每個訓練圖像的第一批訓練面片包括在用於訓練DNN的第一時期中，並且將對應於每個訓練圖像的第二批訓練面片包括在用於訓練DNN的第二時期中。
(viii).訓練圖像可以是從審查工具獲得的高解析度圖像。
根據當前公開的標的的其它態樣，提供了一種生成用於訓練可用於樣本檢查的深度神經網路(DNN)的訓練集的系統，所述系統包含處理器和記憶體電路系統(PMC)，所述處理器和記憶體電路系統(PMC)被配置成用於：獲得一組訓練圖像，每個訓練圖像表示樣本的至少一部分；針對所述組中的每個給定訓練圖像：i)生成第一批訓練面片，包括：根據給定訓練圖像上的複數個第一位置，將給定訓練圖像裁剪成第一複數個原始面片；以及擴充第一複數個原始面片中的至少一部分，以便模擬由樣 本的物理過程導致的變化，從而產生構成第一批訓練面片的第一複數個擴充面片；以及ii)生成第二批訓練面片，包括：在所述給定訓練圖像上將所述複數個第一位置隨機移位到複數個第二位置，從而獲得對應於所述複數個第二位置的第二複數個原始面片，以及重複對所述第二複數個原始面片進行擴充以生成第二複數個擴充面片，從而產生第二批訓練面片；以及將對應於每個給定訓練圖像的至少第一批訓練面片和第二批訓練面片包括到訓練集。
所公開的標的的這個態樣可以包含以技術上可能的任何期望組合或排列的上文關於所述方法列出的特徵(i)至(viii)中的一個或多個，加上必要的修正。
根據當前公開的標的的其它態樣，提供了一種包含指令的非暫時性電腦可讀媒體，所述指令在由電腦執行時使電腦執行生成用於訓練可用於樣本檢查的深度神經網路(DNN)的訓練集的方法，所述方法包括：獲得一組訓練圖像，每個訓練圖像表示樣本的至少一部分；針對所述組中的每個給定訓練圖像：i)生成第一批訓練面片，包括：根據給定訓練圖像上的複數個第一位置，將給定訓練圖像裁剪成第一複數個原始面片；以及擴充第一複數個原始面片中的至少一部分，以便模擬由樣本的物理過程導致的變化，從而產生構成第一批訓練面片的第一複數個擴充面片；以及ii)生成第二批訓練面片，包括：在所述給定訓練圖像上將所述複數個第一位置移位到複數個第二位置，從而獲得對應於所述複數個第二位置的第二複數個原始面片，以及重複對所述第二複數個原始面片進行擴充以生成第二複數個擴充面片，從而產生第二批訓練面片；以及將對應於每個給定訓練圖像的至少第一批訓練面片和第二批訓練面片包括到訓練集。
所公開的標的的這個態樣可以包含以技術上可能的任何期望組合或排列的上文關於所述方法列出的特徵（i）至（viii）中的一個或多個，加上必要的修正。
在以下詳細描述中，闡述眾多具體細節以便提供對本公開內容的透徹理解。然而，本領域的技術人員將理解，當前公開的標的可在沒有這些具體細節的情況下實踐。在其它實例中，未詳細描述公知的方法、程式、部件和電路，以免混淆當前公開的標的。
除非另有具體聲明，如從以下討論中顯而易見的，應理解，在本說明書全文中利用諸如「產生」、「訓練」、「獲得」、「裁剪」、「擴充」、「移位」、「重複」、「包括」等等的術語的討論是指電腦的（多個）動作和/或（多個）過程，所述（多個）動作和/或（多個）過程將資料操縱和/或變換為其它資料，所述資料表示為物理（諸如電子）量和/或所述資料表示物理物件。術語「電腦」應當被廣泛地解釋為涵蓋具有資料處理能力的任何種類的基於硬體的電子裝置，作為非限制性示例，所述電子裝置包括在本申請中公開的FPEI（製造過程檢查資訊）系統及其相應部分。
本文使用的術語「非暫時性記憶體」和「非暫時性存儲介質」應當被廣泛地解釋為涵蓋適用於當前公開的標的的任何易失性電腦記憶體或非易失性電腦記憶體。
本說明書中使用的術語「缺陷」應當被廣泛地解釋為涵蓋在樣本上或樣本內形成的任何種類的異常或不期望的特徵。
本說明書中使用的術語「設計資料」應當被廣泛地解釋為涵蓋指示樣本的分層物理設計（佈局）的任何資料。設計資料可以由相應設計者提供和/或可以（例如，藉由複雜模擬、簡單的幾何運算和布耳運算等）從物理設計匯出。作為非限制性示例，可以以不同格式來提供設計資料，例如GDSII格式、OASIS格式等。設計資料可以以向量格式、灰度強度圖像格式、或其它方式存在。
應理解，除非另有具體聲明，在分開的實施例的上下文中描述的當前公開的標的的某些特徵也可以在單個實施例中組合提供。相反地，在單個實施例的上下文中描述的當前公開的標的的各種特徵也可以分開地提供或以任何合適的子組合提供。在以下詳細描述中，闡述了眾多具體細節以便提供對方法和設備的透徹理解。
鑒於此，注意到圖1，圖1示出根據當前公開的標的的某些實施例的檢查系統的功能框圖。
圖1中示出的檢查系統100可以用於檢查（例如，晶圓的和/或晶圓的部分的）半導體樣本，作為樣本製造過程的一部分。所示出的檢查系統100包含基於電腦的系統101，系統101能夠使用在樣本製造期間獲得的圖像（後文稱為製造過程（FP）圖像）來自動地決定計量相關和/或缺陷相關的資訊。系統101在後文中被稱為FPEI（製造過程檢查資訊）系統。根據當前公開的標的的某些實施例，FPEI系統101可以被配置成執行圖像的分段，所述圖像表示樣本的至少一部分，如下文將參考圖3更詳細地描述的。系統101可以操作地連接到一個或多個檢查工具120。檢查工具被配置成捕獲FP圖像和/或審查（多個）所捕獲的FP圖像和/或啟用或提供關於（多個）所捕獲圖像的測量。FPEI系統可以進一步操作地連接到設計資料伺服器110和存儲單元122。
例如，FP圖像可以選自在製造過程期間捕獲的樣本（例如，晶圓或晶圓的部分）的圖像、藉由各種預處理階段獲得的所捕獲圖像的衍生物（例如，藉由SEM或光學檢驗系統捕獲的晶圓或光罩的一部分的圖像；大致以待由ADC分類的缺陷為中心的SEM圖像；較大區域的SEM圖像，在所述較大區域中缺陷待由ADR定位；對應於相同掩模位置的不同檢查模態的配准圖像；分段圖像；高度圖圖像等）和基於電腦生成的設計資料的圖像。
本文使用的術語「（多個）檢查工具」應當被廣泛地解釋為涵蓋可以在檢查相關過程中使用的任何工具，作為非限制性示例，所述檢查相關過程包括成像、掃描（以單次或多次掃描）、取樣、審查、測量、分類和/或關於樣本或樣本的部分提供的其它過程。一個或多個檢查工具120可以包括一個或多個檢驗工具和/或一個或多個審查工具。在一些情況下，檢查工具120中的至少一個可以是檢驗工具，所述檢驗工具被配置成（通常，以相對高速和/或低解析度）掃描樣本（例如，整個晶圓、整個管芯或管芯的部分）以捕獲檢驗圖像，以用於偵測潛在缺陷。在一些情況下，檢查工具120中的至少一個可以是審查工具，所述審查工具被配置成捕獲由檢驗工具偵測到的缺陷中的至少一些缺陷的審查圖像，以用於確認潛在缺陷是否確實為缺陷。這樣的審查工具通常被配置成（通常，以相對低速和/或高解析度）一次一個地檢驗管芯的片段。檢驗工具和審查工具可以是位於相同或不同位置的不同工具、或是在兩種不同模式下操作的單個工具。在一些情況下，至少一個檢查工具可以具有計量能力。
在不以任何方式限制本公開內容的範圍的情況下，還應當注意的是，檢查工具120可以被實現為各種類型的檢驗機器，諸如光學成像機器、電子束檢驗機器等等。在一些情況下，相同的檢查工具可以提供低解析度圖像資料和高解析度圖像資料。
FPEI系統101包括處理器和記憶體電路系統（PMC）102，處理器和記憶體電路系統（PMC）102操作地連接到基於硬體的I/O介面126。如參考圖2進一步詳述，PMC 102被配置成提供操作FPEI系統所必需的所有處理，並且包含處理器（未單獨示出）和記憶體（未單獨示出）。PMC 102的處理器可以被配置成根據電腦可讀指令執行數個功能模組，所述電腦可讀指令被實現在PMC中包含的非暫時性電腦可讀記憶體上。此類功能模組在後文被稱為包含在PMC中。PMC 102中包含的功能模組包括訓練集生成器104。
根據某些實施例，訓練集生成器104可以被配置成：獲得一組訓練圖像，每個訓練圖像表示樣本的至少一部分，並且針對所述組中的每個給定訓練圖像，生成第一批訓練面片和第二批訓練面片，並且至少包括對應於訓練集中的每個給定訓練圖像的第一批訓練面片和第二批訓練面片。第一批可以藉由以下操作生成：根據給定訓練圖像上的複數個第一位置將給定訓練圖像裁剪成第一複數個原始面片，並且擴充第一複數個原始面片中的至少一些/部分以便模擬由樣本的物理製程導致的變化，從而產生構成第一批訓練面片的第一複數個擴充面片。第二批可以藉由以下操作生成：在給定訓練圖像上將複數個第一位置移位到複數個第二位置，從而獲得對應於複數個第二位置的第二複數個原始面片，並且重複對第二複數個原始面片進行擴充以生成第二複數個擴充面片，從而產生第二批訓練面片。下文參考圖2描述生成過程的細節。
在某些實施例中，功能模組可以進一步包含深度神經網路(DNN)106。DNN 106可以被配置成啟用使用(多個)深度神經網路進行資料處理，以用於基於製造(FP)輸入資料來輸出應用相關資料。可選地，PMC 102可以進一步包含前DNN模組(未單獨示出)和/或後DNN模組(未單獨示出)，所述前DNN模組被配置成在將輸入資料轉發到DNN之前提供預處理，所述後DNN模組被配置成提供由DNN生成的後處理資料。將參考圖2進一步詳述FPEI系統101、PMC 102及其中的功能模組的操作。
DNN 106可以包含監督式DNN模型或無監督式DNN模型，所述DNN模型包括根據相應DNN架構來組織的層。作為非限制性示例，DNN的層可以根據卷積神經網路（CNN）架構、迴圈神經網路（Recurrent Neural Network）架構、遞迴神經網路（Recursive Neural Network）架構、生成對抗網路（GAN）架構或以其他方式來組織。可選地，所述層中的至少一些層可以被組織成多個DNN子網路。DNN的每一層可以包括多個基本計算元件（CE），在本領域中通常稱為維度、神經元、或節點。
通常，給定層的計算元件可以與先前層和/或後續層的CE連接。先前層的CE與後續層的CE之間的每個連接與加權值相關聯。給定CE可以經由相應連接從先前層的CE接收輸入，每個給定連接與加權值相關聯，所述加權值可以應用於所述給定連接的輸入。加權值可以決定連接的相對強度並且因此決定相應輸入對給定CE的輸出的相對影響。給定CE可以被配置成計算啟動值（例如，輸入的加權和）並且藉由將啟動函數應用於所計算的啟動來進一步匯出輸出。例如，啟動函數可以是恆等函數、決定性函數（例如，線性、S形、閾值等等）、隨機函數或其它合適的函數。來自給定CE的輸出可以經由相應連接被發送到後續層的CE。同樣，如上所述，CE的輸出處的每個連接可以與加權值相關聯，所述加權值可以在CE的輸出作為後續層的CE的輸入被接收之前應用於CE的輸出。進一步對於加權值，可以存在與連接和CE相關聯的閾值（包括限制函數）。
深度神經網路的加權值和/或閾值可以最初在訓練之前被選擇，並且可以在訓練期間被進一步反覆運算地調整或修改，以在經訓練的DNN中實現最優的加權值和/或閾值的集合。在每次反覆運算後，可以決定在由DNN模組生成的實際輸出與和相應的資料訓練集相關聯的目標輸出之間的差值。所述差值可以被稱為誤差值。當指示誤差值的損失/代價函數小於預定值時，或者當實現反覆運算之間效能的有限改變時，可以決定訓練完成。可選地，可以在訓練整個DNN之前單獨訓練DNN子網（如果有的話）的至少一部分。
用於調整深度神經網路的權重/閾值的DNN輸入資料集在下文中被稱為訓練集。
應注意，當前公開的標的的教示不受DNN 106的特定架構的限制。
替代DNN 106或除DNN 106之外，PMC 102可以包含一個或多個檢查模組，諸如例如，分段模組和/或缺陷偵測模組和/或自動缺陷審查模組（ADR）和/或自動缺陷分類別模組（ADC）和/或計量相關模組和/或可用於檢查半導體樣本的其它檢查模組。可選地，一個或多個檢查模組可以包含DNN 106。可選地，DNN 106可以在檢查模組之間共用，或者替代地，一個或多個檢查模組中的每一個可以包含其自己的DNN 106。
根據某些實施例，系統101可以包含存儲單元122。存儲單元122可以被配置成存儲作業系統101所必需的任何資料(例如，關於系統101的輸入和輸出的資料)，以及由系統101生成的中間處理結果。舉例來說，存儲單元122可以被配置成存儲由檢查工具120生成的圖像和/或圖像的衍生物。因此，一個或多個圖像可以從存儲單元122被檢取並且被提供給PMC 102以用於進一步處理。
在一些實施例中，系統101可以可選地包含基於電腦的圖形化使用者介面(GUI)124，所述圖像使用者介面(GUI)124被配置成實現與系統101有關的使用者指定的輸入。例如，可以為使用者提供樣本的視覺表示(例如，藉由形成GUI 124的一部分的顯示器)，所述視覺表示包括樣本的圖像資料。可以藉由GUI為使用者提供定義某些指令引數的選項。用戶還可以在GUI上察看操作結果。
如將參考圖2進一步詳述的，系統101被配置成經由I/O介面126接收FP輸入資料。FP輸入資料可以包括由檢查工具120產生的資料(和/或其衍生物和/或與其相關聯的中繼資料)和/或存儲在一個或多個資料倉庫中的資料。應注意，FP輸入資料可以包括圖像資料(例如，捕獲的圖像、從所捕獲圖像匯出的圖像、模擬圖像、合成圖像等)和相關聯的數位資料(例如，中繼資料、手工製作(hand-crafted)的屬性等)。應進一步注意，圖像資料可以包括與感興趣的層相關的資料和/或與樣本的一個或多個其它層相關的資料。在本公開內容的一些實施例中，出於訓練目的，FP輸入資料可以包括一組訓練圖像，以用於準備可用於訓練DNN的訓練集的目的。應注意，可將圖像資料和與圖像資料相關聯的中繼資料（例如，圖元大小、缺陷類型的文本描述、圖像捕獲過程的參數等）一起接收和處理。
FPEI系統進一步被配置成處理所接收的FP輸入資料的至少一部分，並且經由I/O介面126將結果（或結果的一部分）發送到存儲單元122、和/或（多個）檢查工具120、和/或GUI 124（用於呈現結果）和/或外部系統（例如，FAB的產量管理系統（YMS））。
本領域技術人員將容易理解，當前公開的標的的教示不限於圖1所示的系統；等效功能和/或修改的功能可以以另一方式合併或分開，並且可以以軟體與固件和/或硬體的任何適當組合來實現。
應注意，圖1所示的檢查系統可以實現在分散式運算環境中，在所述分散式運算環境中，先前提及的圖1所示的功能模組可以分佈在數個本端裝置和/或遠端裝置上，並且可以藉由通信網路被連結。應進一步注意，在另一實施例中，檢查工具120、存儲單元122和/或GUI 124中的至少一些可以在檢查系統100的外部並且經由I/O介面126與系統101資料通信地操作。系統101可以實現為與檢查工具結合使用的（多個）獨立式電腦。替代地，系統101的相應功能可以至少部分地與一個或多個檢查工具120集成，從而在與檢查相關的過程中促進並增強檢查工具120的功能。
僅出於說明的目的，提供以下描述以生成用於訓練可用於檢查半導體樣本的DNN的訓練集。本領域的技術人員將容易理解，當前公開的標的的教示可應用於各種類型的機器學習模型（諸如例如，支援向量機（SVM）等）並且可應用於各種檢查（諸如例如，分段、缺陷偵測、ADR、ADC、自動導航模組、自動分段模組、計量相關模組等等）。
參見圖2，圖2示出根據當前公開的標的的某些實施例的生成訓練集的一般化流程圖，所述訓練集用於訓練可用於檢查半導體樣本的DNN。
可以（例如，經由I/O介面126藉由訓練集生成器104）獲得（210）一組訓練圖像，每個訓練圖像表示樣本的至少一部分。
取決於應用，訓練圖像可以是在樣本的製造過程中獲得的樣本的「真實世界」圖像。作為非限制性示例，可以藉由使用一個或多個低解析度檢查機器（例如，光學檢驗系統、低解析度SEM等）檢查樣本來獲得圖像。替代地或附加地，可以藉由使用高解析度機器檢查樣本來獲得圖像（例如，可以藉由掃描電子顯微鏡（SEM）或原子力顯微鏡（AFM）等來審查所選擇用於審查的潛在缺陷位置的子集）。
在一些實施例中，還可以獲得與訓練圖像相關聯的地面實況（ground truth）資料。舉例來說，地面實況資料可以包括指示應用特定資訊的圖像和/或標籤，所述應用特定資訊諸如例如，缺陷大小、定向、背景區段等。地面實況資料可以合成地產生（例如，基於CAD的圖像）、實際地產生（例如，所捕獲圖像）、藉由機器學習注釋產生（例如，基於特徵提取和分析的標籤）、藉由人工注釋產生、或上述的組合等。在一個實施例中，如根據當前公開的標的生成的訓練集可以用於訓練可用於分段FP圖像的DNN，並且與訓練集相關聯的地面實況資料是指示訓練圖像上的區段的標籤。例如，區段可以表示如在FP圖像中呈現的結構元素。
認識到為了訓練深度神經網路，一般需要大的訓練資料庫來用於充分訓練DNN。然而，在訓練可用於檢查半導體樣本的DNN的情況下，獲得足夠的訓練資料是已知的挑戰，這是因為可用的訓練圖像非常有限並且有時難以獲得。特別地，在監督學習中，根據需要獲取足夠量的完全注釋的圖像資料是非常困難的。因此，根據當前公開的標的的某些實施例，提出了一種基於有限量的圖像資料來生成訓練集的方法。
具體地，對於組中的每個給定訓練圖像，可以生成多個批次的圖像面片。舉例來說，可以生成（220）第一批訓練面片（例如，藉由訓練集生成器104），包括：根據訓練圖像上的複數個第一位置將給定訓練圖像裁剪(222)成第一複數個原始面片；以及擴充(224)第一複數個原始面片以便模擬由樣本的物理過程導致的一個或多個變化，從而產生第一複數個擴充面片。第一複數個擴充面片構成第一批訓練面片。根據某些實施例，物理過程可以指樣本的製造過程和/或檢查過程。
在一些實施例中，為了生成第一批訓練面片，複數個第一位置可以是根據網格定義的複數個預定位置，並且給定訓練圖像可以根據預定的第一位置被裁剪成第一複數個原始面片。舉例來說，網格中的錨點(例如，網格內的交點)可以用作預定的第一位置，並且面片可被生成為以這些錨點為中心、具有預定義的大小/尺寸和步長(即，相鄰面片之間的重疊量)。例如，訓練圖像可以是1000×1000圖元的尺寸，並且訓練面片可以被裁剪成100×100圖元、150×150圖元或200×200圖元等的大小，其中在相鄰面片之間具有半面片重疊的步長。
在一些實施例中，藉由移位諸如錨點的位置之類的複數個預定位置，可以獲得複數個第一位置。舉例來說，可以根據概率函數來針對每個預定位置隨機地執行移位。例如，對於網格中的第一錨點，可以根據概率函數來決定將其移位(例如，以隨機偏移移位到隨機方向)，而對於第二錨點，可以根據概率函數來決定根本不移位。可以將決定要移位的錨點在網格中的交點周圍隨機移位(例如，每個錨點以隨機偏移移位到隨機方向)，並且將經移位的位置用作裁剪圖像面片的第一位置。作為另一示例，可以 根據定義如何分別移位每個預定位置的預定義列表來執行移位。藉由移位面片的位置，可以增加所生成面片的覆蓋的多樣性。本文使用的術語概率函數可以指給出事件的不同可能結果的出現概率的概率分佈函數。舉例來說，概率函數可以是均勻概率分佈函數。
然後，為了模擬由樣本的物理過程導致的可能變化，可以擴充原始面片。這是因為訓練圖像的量是有限的，因此在訓練期間不會遇到製造過程和/或檢查過程的所有常見物理現象。藉由對面片執行擴充並將擴充面片包括在訓練集中，可以極大地增加訓練集的多樣性並且可以增強訓練對這些變化的穩健性。
一般而言，可以藉由各種影像處理技術來提供圖像的擴充，所述影像處理技術包括：添加雜訊、模糊、幾何變換(例如，旋轉、拉伸、模擬不同角度、裁剪、縮放等)色調映射、改變圖像的一個或多個圖元的向量資訊(例如，添加和/或修改獲取的視角或通道等)等。
在一些實施例中，擴充技術可以以獨立於應用的方式應用於訓練圖像。舉例來說，對於分段相關的應用、和/或缺陷偵測相關的應用、和/或分類相關的應用，所模擬的變化可以包括灰度級變化和/或過程變化(PV)等，並且可以應用以下擴充過程中的一個或多個來模擬這些變化的效應。
根據某些實施例，可以由樣本的檢查過程的物理效應導致灰度級變化。舉例來說，即使當以相同解析度在相同晶圓的相同位置處捕獲圖像時，由不同檢查工具拍攝的圖像的灰度級也可以相差一個因數。這可以由例如檢查工具/偵測器的不同物理配置和校準等導致。另外，從晶圓的不同位置拍攝的圖像的灰度級也可以變化。因此，基於由除了捕獲FP圖像的工具之外的工具所捕獲的圖像和/或基於針對晶圓的不同位置所捕獲的圖像來訓練DNN可以劣化DNN的泛化能力。
因此，可以調整圖像面片中的灰度級強度以模擬這種效應。舉例來說，對於每個圖像面片，可以生成圖像面片的圖元值長條圖，並且灰度級偏置數可以在偏置範圍內隨機選擇並且可被應用於長條圖。例如，可以將偏置範圍決定為圖像中的圖元值範圍（或圖元值範圍的一部分）的預定義百分比，並且可以根據所述範圍內的均勻分佈來選擇要應用於每個圖像面片的偏置數。包含此類擴充圖像的訓練集將使得能夠增加對工具變化的穩健性，並且減少從多個工具收集訓練資料的必要性。
作為另一示例，也可以藉由改變圖像面片的對比度來調整圖像面片的灰度級強度。例如，可以拉伸圖像面片的圖元值長條圖以獲得更好的對比度。
根據進一步的實施例，灰度級變化可以包括顏色變化（CV）。顏色變化可以發生在單個圖像內（例如，由於層厚度變化）或者發生在缺陷與參考圖像之間。CV可以源於不同的工具校準，並且可以藉由圖像中GL的局部改變來表徵。為了解決這樣的效應，可以將原始圖像面片擴充成具有不同的期望位凖的附加變化。因此，包含這樣的擴充圖像的訓練集將使得能夠增加對FP圖像中的顏色變化的穩健性。
根據某些實施例，圖案變化可能出現在不同的圖像中，這可能是由過程變化（PV）的效應導致的。過程變化可以指由樣本的製造過程的改變導致的變化。舉例來說，製造過程可能導致不同檢驗圖像之間的某些結構/圖案的輕微移位/縮放/失真，這導致圖像中的圖案變化。作為另一示例，製造過程可能導致樣本的厚度變化，這影響反射率，因此進而影響所得到的檢驗圖像的灰度級。例如，管芯到管芯的材料厚度變化可以導致兩個管芯之間的不同反射率，這導致兩個管芯的圖像的不同背景灰度級值。
為了解決這樣的效應，在一些情況下，可以在圖像面片或其至少一部分上應用擴充技術以用於調整圖案變化，所述擴充技術諸如例如，縮放、翻轉等。
在一些情況下，物理過程的其它可能效應可以包括，但不限於：雜訊（例如，每個灰度級強度含有不同標度的雜訊強度）、聚焦誤差（例如，一些圖案對聚焦誤差比其它圖案更為敏感）、充電效應（可以在FP與參考圖像之間產生人為差異並且可以實質上影響檢查過程）、四偵測器的校準（可以是次優的，產生在不同視角內具有重疊的圖像）等。
現在轉向圖6，示出根據當前公開的標的的某些實施例的一對原始面片和擴充面片的示例。如圖所示，原始面片602經過如上所述的用於解決由例如PV、灰度級變化和/或CV等導致的變化的一個或多個擴充過程，並且生成對應的擴充面片604。舉例來說，合成當前示例中的擴充面片604以模擬由PV、縮放和灰度級變化導致的效應。例如，可以看出，與原始面片602相比，調整了擴充面片604中的多邊形的輪廓、多邊形的大小和總體灰度級強度。
根據當前公開的標的的某些實施例，可以擴充第一複數個原始面片中的至少一些/一部分。舉例來說，可以針對第一複數個原始面片中的每個原始面片，例如根據概率函數來隨機地決定是否對所述原始面片進行擴充。因此，藉由使用概率函數，將決定擴充面片中的至少一部分。對於第一複數個原始面片中的至少一部分的每個圖像面片，可以藉由使用對應的圖像擴充技術來模擬上述干擾變化/效應中的一個或多個。在一些情況下，用根據概率函數決定的相應擴充強度來擴充第一複數個原始面片中的至少一部分。作為另一示例，可以根據相應的預定清單來決定關於是否擴充每個面片的決定、和/或決定要應用的具體擴充技術和/或決定要應用的具體擴充強度。例如，預定的決定列表可以包括要擴充哪些原始面片，並且擴充列表可以包括要將哪些擴充技術和/或具體強度應用於每個面片。
擴充過程的某些實施例(包括上文示出的)的優點之一是減少干擾效應對經訓練的DNN的影響，並且因此改善了針對不同應用(諸如例如，分段、ADC、ADR、匹 配、計量和其它檢查任務)實現經訓練的DNN的穩健性和有效性。
如先前提及，擴充技術可以以獨立於應用的方式應用於訓練圖像。舉例來說，對於缺陷偵測相關的應用，可以替代上述技術或除了上述技術之外應用擴充技術，諸如例如，添加雜訊、模糊、色調映射、植入合成缺陷、修改缺陷色調等。對於分類相關的應用，可以替代上述技術或除了上述技術之外應用擴充技術，諸如例如，幾何變換、色調映射、植入合成缺陷、修改缺陷色調等。
替代地或附加地，可以使用合成資料(例如，缺陷相關資料、模擬的連接器或其它物件、來自其它圖像的植入等)來擴充圖像。作為非限制性示例，已知缺陷類型的可用圖像(和/或參數)可以用於在圖像中植入新的缺陷、放大圖像中預先存在的缺陷的缺陷性(defectiveness)、從圖像中去除缺陷、偽裝圖像中的缺陷(使其更難以偵測)等。
又替代地或附加地，可以使用分段、缺陷輪廓提取和/或高度圖計算來擴充圖像，和/或可以藉由與對應的基於CAD的圖像一起處理來獲得圖像。
在生成第一批訓練面片之後，如上文參考框220所述，可以為組中的每個給定訓練圖像生成(230)(例如，藉由訓練集生成器104)第二批訓練面片，包括在給定訓練圖像上將複數個第一位置移位(232)到複數個第二位置，從而獲得對應於複數個第二位置的第二複數個原始面片，以及對第二複數個原始面片重複（234）所述擴充以生成第二複數個擴充面片，從而產生第二批訓練面片。一旦為組中的每個訓練圖像生成了第一批訓練面片和第二批訓練面片，就可以將所有訓練圖像的兩批次都包括在要用於訓練DNN的訓練集中。
根據某些實施例，上述移位和擴充可以重複一次或多次，以生成一個或多個附加批次的訓練面片。附加批次也可以被包括在訓練集中。在一些情況下，第一複數個原始面片和第二複數個原始面片也可以被包括在訓練集中。
在一些實施例中，可以以與上文參考生成第一批面片所描述的方式類似的方式分別針對每個第一位置執行移位。可以根據概率函數隨機決定是否要移位每個第一位置。舉例來說，每個初始位置（或初始位置中的至少一些）可以以隨機偏移在隨機方向上移位，以便在圖像上獲得第二複數個位置。可以根據第二複數個位置來裁剪圖像，以獲得第二複數個原始面片。現在轉向圖5，示出根據當前公開的標的的某些實施例的在移位初始位置之後獲得的第二複數個原始面片的示例。如圖所示，可以根據圖中虛線方塊標記的不同位置502來裁剪面片。這些位置是從對應的初始位置隨機移位後獲得的。假定根據預定義的網格來決定初始位置，如可以看到的，每個當前位置502具有從對應初始位置的相應隨機化（例如，在不同方向上以不同偏移移位）。在一些情況下，例如，當偏移被決定為零時，可能一些位置根本沒有移位是。
在一些實施例中，生成訓練集可以進一步包括獲得關於擴充的訓練面片的擴充的地面實況資料，並且將擴充的訓練面片與擴充的地面實況資料相關聯。所生成的訓練集（包括與擴充的地面實況資料相關聯的多批擴充的訓練面片）可以被存儲在PMC 102的記憶體中。可以將所生成的擴充圖像與地面實況資料相關聯地添加到訓練集。在一些情況下，原始圖像和擴充圖像可以與相同的地面實況資料相關聯。替代地，擴充圖像可以與擴充的地面實況資料（例如，訓練集中的擴充的類別分佈）相關聯。
同樣，對於與原始訓練圖像和訓練面片相關聯的地面實況資料，擴充的地面實況資料可以由分析擴充的圖像面片的人在有或沒有電腦系統的説明下提供。替代地或附加地，可以由FPEI系統藉由在匯出擴充的訓練面片時處理與在相應原始面片中提供的擴充相對應的原始地面實況資料來生成擴充的地面實況資料。
根據當前公開的標的的某些實施例，所生成的訓練集中的訓練圖像面片的數量可以基本上大於「真實世界」訓練取樣的數量。例如，訓練圖像組可以包括在數十個之間的訓練取樣，而根據當前公開的標的的某些實施例生成的訓練集可以包括至少數千個訓練取樣。應注意，捕獲的圖像及其注釋是緩慢的並且也可能是昂貴的過程。藉由裁剪圖像和擴充圖像面片來在訓練集中生成足夠量的訓練取樣實現DNN訓練的效率。
此外，擴充和合成圖像生成的技術實現以具體應用的要求來定制所生成的訓練集。作為非限制性示例，可以藉由呈現相應缺陷的合成和/或擴充圖像來補償與具體類別的缺陷（例如，少數派（minority）類別）相關的FAB資料的缺乏。作為進一步的非限制性示例，與具體層相關的適當FAB資料的缺乏可以藉由與所述層相關的合成圖像來補償。同樣，可以藉由與特定工具相關的合成圖像來補償來自工具變化訓練所需的所述工具的資料的缺乏。
現在轉向圖3，示出根據當前公開的標的的某些實施例的使用所生成的訓練集來訓練DNN的一般化流程圖。
在訓練階段310中，在獲得（312）如根據圖2中描述的過程所生成的訓練集之後，FPEI系統101可以使用DNN 106來反覆運算地處理訓練集，並且提供基於訓練的參數（例如，DNN中的權重等）的應用特定集合，從而獲得應用特定的經訓練DNN（314）。基於訓練的參數對應於應用特定的代價函數。舉例來說，對於分段相關的應用，代價函數可以涉及分段準確度（例如，正確的分段標籤圖對比預測的標籤圖）。作為另一示例，對於缺陷偵測相關的應用，代價函數可以涉及偵測準確度和對誤檢和過檢的懲罰。作為進一步示例，對於分類相關的應用，代價函數可以涉及分類誤差。可選地，使用DNN來處理訓練集可以包括由前DNN模組進行的預處理操作（例如，選擇輸入通道、調整大小/裁剪等）和由後DNN模組進行的後處理操作（例如，執行空間金字塔池化、多尺度池化、費舍爾（Fisher）向量等）。除了應用特定的優化權重之外，基於訓練的參數可以進一步包括優化的應用特定的閾值、應用特定的預處理參數和應用特定的後處理參數。
應注意，在一些實施例中，所示出的訓練過程可以是迴圈的，並且可以重複數次直到DNN被充分訓練。舉例來說，訓練過程可以從使用第一批訓練面片開始。例如，如根據在框220中描述的過程生成的針對每個訓練圖像的第一批訓練面片可以用於執行訓練的第一時期（例如，完全通過訓練集）。用戶可以基於初始訓練集（例如，第一批訓練面片）為由DNN達到的結果提供回饋。例如，所提供的回饋可以包括：靈敏度的改變、對地面實況分段的更新和/或為分段應用手動定義感興趣區域（ROI）、為分類應用手動重新分類一個或多個圖元、區域和/或缺陷、為缺陷偵測應用重新定義掩模/邊界框等。
PMC可以基於接收到的回饋來調整下一個訓練週期。調整可以包括以下中的至少一個：更新訓練集（例如，更新地面實況資料和/或擴充演算法、獲得附加的擴充訓練取樣等）、更新代價函數、更新前DNN和/或後DNN演算法等。下一個訓練週期（即，第二時期）可以藉由使用如根據框230中描述的過程所生成的對應於每個訓練圖像的第二批訓練面片開始。
一旦完成訓練階段，經訓練的DNN可以在運行時320中用於特定應用。PMC 102可以使用經訓練的DNN來一起處理（322）一個或多個運行時FP圖像，並由此獲得（324）應用特定的檢查相關資料。一個或多個FP圖像可以藉由相同或不同的檢查模態獲得。應注意，訓練資料應對應於要用於相應應用的FP圖像。
作為非限制性示例，應用特定的檢查相關資料可以表示其意義取決於應用的值的每圖元圖（例如，用於缺陷偵測的二進位圖；用於分段的標籤圖；用於指示族類型或一般類別的妨害族預測的離散圖；用於缺陷類型分類的離散圖；用於交叉模態或管芯到模型（D2M）回歸的連續值等）。每圖元圖可以進一步與指示針對圖元獲得的值的概率的每圖元概率圖一起獲得。
替代地或附加地，應用特定的檢查相關資料可以表示總結較大區域（不是每圖元）的整個圖像內容的一個或多個值，諸如例如，缺陷屬性、用於某些結構元素和/或層的分段標籤、用於自動缺陷審查應用的缺陷邊界框候選和相關聯的缺陷性概率、用於自動缺陷分類應用的缺陷類別和分類概率等。替代地或附加地，檢查相關資料可以用於計量目的。例如，分段圖可以用於對樣本的圖像執行測量。
參考圖4，示出根據當前公開的標的的某些實施例的實施上文參考圖3詳述的用於分段FP圖像的技術的示例。除非另外具體聲明，否則本說明書中使用的術語「分段」應被廣泛地解釋為涵蓋將圖像劃分成有意義的部分/區段（例如，背景和前景、有雜訊區域和無雜訊區域、結構元素、缺陷和無缺陷等）同時提供指示這些區段的每圖元值或每區域值的任何過程。舉例來說，此類分段可以由計量工具用於對樣本執行測量。作為另一示例，所述分段還可以在構造屬性（例如，用於定義缺陷是在主圖案上、還是在背景上、還是兩者都有）時可用於ADC，可用於ADR以用於在每個區段上應用區段特定的偵測閾值等。
過程包含DNN的分段特定訓練的設置階段410和使用經訓練的DNN進行圖像分段的運行時階段420。
在設置410期間，在獲得一組訓練圖像和地面實況資料之後，PMC 102可以使用上文參考圖2描述的技術來生成（412）分段訓練集，並且使用所生成的分段訓練集來獲得（414）以分段相關訓練參數為特徵的經訓練的分段DNN。
訓練圖像組可以包括先前捕獲的低解析度圖像和/或高解析度圖像，並且可選地包括基於CAD的圖像。舉例來說，訓練圖像可以是從審查工具（例如，SEM）獲得的高解析度審查圖像。所獲得的地面實況資料提供與相應訓練圖像相關聯的區段相關資料的資訊。作為非限制性示例，與給定訓練圖像相關聯的區段相關資料可以提供每圖元或每區域的分段標籤、CAD多邊形、ROI等的信息。一旦生成訓練集，將可以將訓練集中的擴充的訓練面片與擴充的地面實況資料相關聯，所述擴充的地面實況資料提供關於相應的擴充的訓練面片的區段相關資訊的資訊。
在生成（412）分段訓練集之後，PMC使用訓練集來訓練（414）DNN。訓練過程產生具有區段相關的訓練參數的經訓練DNN。
在運行時420期間，PMC使用經訓練的分段DNN來處理（422）包含要分段的一個或多個捕獲的FP圖像的一個或多個運行時圖像，以便為每個圖像提供（424）分段圖。所獲得的分段圖可以提供指示圖像上的不同區段的每圖元或每區域分段標籤的資訊。舉例來說，一個層上的多邊形可以具有一個分段標籤，而另一層上的多邊形可以具有不同的分段標籤，而背景可以具有單獨的分段標籤。
現在轉向圖7，示出根據當前公開的標的的某些實施例生成的FP圖像和對應分段圖的示例。如圖所示，FP圖像702由經訓練的分段DNN 701處理，並且DNN的輸出是分段圖704，在分段圖704中不同的顏色表示不同的區段。舉例來說，示出三個區段：水平元素706、垂直元素708和背景710。
根據當前公開的標的的某些實施例，為了改善分段的效能，分段DNN被設計為具有特定架構。舉例來說，DNN可以應用U-Net網路架構，所述U-Net網路架構是用於圖像的快速和精確分段的卷積網路。將U-Net的架構修改和擴展為使用更少的訓練圖像運作並且產生更精確的分段。
在一些實施例中，為了在訓練期間在保持高解析度資訊的同時克服消失梯度的問題，分段DNN可以應用基於U-Net的架構來解決這樣的問題。消失梯度問題是在用基於梯度的學習方法和反向傳播來訓練神經網路中發現的已知挑戰。在此類方法中，在訓練的每次反覆運算中，每個神經網路的權重接收與誤差函數相對於當前權重的偏導數成比例的更新。問題是在一些情況下，梯度將變小（即，消失），有效地防止了權重改變它的值。在最壞的情況下，這可以完全阻止進一步訓練神經網路。基於U-Net的網路被設計為具有更好的梯度流，並且因此可以有效地解決所述問題。
在一些實施例中，在分段DNN的訓練期間，除了計算為由DNN產生的實際輸出與和相應訓練資料相關聯的地面實況資料之間的差值的主損失函數（例如，交叉熵損失）之外，分段DNN可以包括專用於改善分段的靈敏度的一個或多個附加損失函數。一個或多個附加損失函數可以指示樣本及其圖像的物理知識。根據某些實施例，可以添加一個或多個附加損失函數以改善分段的平滑性和一致性。
將理解，本公開內容不限於應用到在本文含有的描述中闡述或在附圖中示出的細節。
還將理解，根據本公開內容的系統可以至少部分地在適當程式設計的電腦上實施。同樣，本公開內容構想了可由電腦讀取的電腦程式以用於執行本公開內容的方法。本公開內容進一步構想了一種有形地體現指令的程式的非暫時性電腦可讀記憶體，所述指令可由電腦執行以用於執行本公開內容的方法。
本公開內容能夠具有其它實施例並且以各種方式實踐和執行。因此，將理解，本文採用的措辭和術語是出於描述的目的並且不應當被認為是限制。因此，本領域的技術人員將理解，本公開內容所基於的概念可容易用作用於設計其它結構、方法、和系統的基礎，以用於實現當前公開的標的的若干目的。
本領域技術人員將容易理解，在不脫離在所附申請專利範圍中並由所附申請專利範圍定義的本公開的範圍的情況下，各種修改和改變可以應用到如上文描述的本公開內容的實施例。
100:檢查系統 101:系統 102:處理器和記憶體電路系統（PMC） 104:訓練集生成器 106:深度神經網路（DNN） 110:設計資料伺服器 120:檢查工具 122:存儲單元 124:圖像使用者介面（GUI） 126:I/O介面 210:步驟 220:步驟 222:步驟 224:步驟 230:步驟 232:步驟 234:步驟 240:步驟 310:訓練階段 312:步驟 314:步驟 320:運行時 322:步驟 324:步驟 410:設置階段 412:步驟 414:步驟 420:運行時階段 422:步驟 424:步驟 502:位置 602:原始面片 604:擴充面片 701:分段DNN 702:FP圖像 704:分段圖 706:水平元素 708:垂直元素 710:背景
為了理解本公開內容並且知曉可以如何在實踐中執行本公開內容，現將參考附圖僅作為非限制性示例來描述實施例，在附圖中：
圖1示出根據當前公開的標的的某些實施例的檢查系統的一般化框圖。
圖2示出根據當前公開的標的的某些實施例的生成訓練集的一般化流程圖，所述訓練集用於訓練可用於檢查半導體樣本的DNN。
圖3示出根據當前公開的標的的某些實施例的使用所生成的訓練集來訓練DNN的一般化流程圖。
圖4示出根據當前公開的標的的某些實施例的實現上文參考圖3詳述的用於FP圖像分段的技術的示例。
圖5示出根據當前公開的標的的某些實施例的在初始位置移位之後獲得的第二複數個原始面片的示例。
圖6示出根據當前公開的標的的某些實施例的一對原始面片和擴充面片的示例。
圖7示出根據當前公開的標的的某些實施例生成的FP圖像和對應的分段圖的示例。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
210:步驟
220:步驟
222:步驟
224:步驟
230:步驟
232:步驟
234:步驟
240:步驟

Claims (20)

  1. 一種生成用於訓練可用於一樣本檢查的一深度神經網路(DNN)的一訓練集的電腦化方法，該方法由一處理器和記憶體電路系統(PMC)執行，該方法包含以下步驟：獲得一組訓練圖像，每個訓練圖像表示一樣本的至少一部分；針對該組中的每個訓練圖像：i)生成一第一批訓練面片(patch)，包括以下步驟：根據該訓練圖像上的複數個第一位置，將該訓練圖像裁剪成第一複數個原始面片；以及擴充該第一複數個原始面片中的至少一部分，以便模擬由該樣本的一物理過程導致的多個變化，從而產生構成該第一批訓練面片的第一複數個擴充面片；以及ii)生成一第二批訓練面片，包括以下步驟：在該訓練圖像上將該複數個第一位置移位到複數個第二位置，從而獲得對應於該複數個第二位置的第二複數個原始面片，以及重複對該第二複數個原始面片進行該擴充以生成第二複數個擴充面片，從而產生一第二批訓練面片；以及將對應於每個訓練圖像的至少該第一批訓練面片和該第二批訓練面片包括在該訓練集中。
  2. 如請求項1所述的電腦化方法，其中該訓練集用於訓練一DNN，該DNN可用於從包含以下各項的一組中選擇的至少一個檢查過程：基於運行時圖像的自動缺陷偵測、自動缺陷審查、自動缺陷分類、自動分段、以及自動計量。
  3. 如請求項1所述的電腦化方法，進一步包含以下步驟：重複該生成一第二批訓練面片一次或多次直到滿足一完成標準為止，產生一批或多批訓練面片，以及將該一批或多批包括在該訓練集中。
  4. 如請求項1所述的電腦化方法，進一步包含以下步驟：將該第一複數個原始面片和/或該第二複數個原始面片包括在該訓練集中。
  5. 如請求項1所述的電腦化方法，其中該等第一位置是根據一網格預定的。
  6. 如請求項1所述的電腦化方法，其中該等第一位置是藉由隨機移位複數個預定位置來獲得的。
  7. 如請求項1所述的電腦化方法，其中該移位根據一隨機方向以一隨機偏移來執行。
  8. 如請求項1所述的電腦化方法，其中所模擬的該等變化從包含以下各項的一組中選擇：過程變化和灰度級變化。
  9. 如請求項1所述的電腦化方法，其中該擴充該第一複數個原始面片中的至少一部分之步驟進一步包含以下步驟：根據一概率函數來決定是否擴充該第一複 數個原始面片中的每個原始面片，從而獲得具有一肯定性決定的該第一複數個原始面片中的該至少一部分。
  10. 如請求項1所述的電腦化方法，其中該第一複數個原始面片中的該至少一部分用基於一概率函數決定的相應擴充強度來擴充。
  11. 如請求項1所述的電腦化方法，進一步包含以下步驟：將對應於每個訓練圖像的該第一批訓練面片包括在用於訓練該DNN的一第一時期中，並且將對應於每個訓練圖像的該第二批訓練面片包括在用於訓練該DNN的一第二時期中。
  12. 一種生成用於訓練可用於一樣本檢查的一深度神經網路(DNN)的一訓練集的電腦化系統，該系統包含一處理器和記憶體電路系統(PMC)，該處理器和記憶體電路系統(PMC)被配置成用於：獲得一組訓練圖像，每個訓練圖像表示一樣本的至少一部分；針對該組中的每個訓練圖像：i)生成一第一批訓練面片，包括：根據該訓練圖像上的複數個第一位置，將該訓練圖像裁剪成第一複數個原始面片；以及擴充該第一複數個原始面片中的至少一部分，以便模擬由該樣本的一物理過程導致的多個變化，從而產生構成該第一批訓練面片的第一複數個擴充面片；以及 ii)生成一第二批訓練面片，包括：在該訓練圖像上將該複數個第一位置移位到複數個第二位置，從而獲得對應於該複數個第二位置的第二複數個原始面片，以及重複對該第二複數個原始面片進行該擴充以生成第二複數個擴充面片，從而產生一第二批訓練面片；以及將對應於每個訓練圖像的至少該第一批訓練面片和該第二批訓練面片包括在該訓練集中。
  13. 如請求項12所述的電腦化系統，其中該訓練集用於訓練一DNN，該DNN可用於從包含以下各項的一組中選擇的至少一個檢查過程：基於運行時圖像的自動缺陷偵測、自動缺陷審查、自動缺陷分類、自動分段、以及自動計量。
  14. 如請求項12所述的電腦化系統，其中該PMC進一步配置成重複該生成一第二批訓練面片一次或多次直到滿足一完成標準為止，產生一批或多批訓練面片，以及將該一批或多批包括在該訓練集中。
  15. 如請求項12所述的電腦化系統，其中該等第一位置是藉由隨機移位複數個預定位置來獲得的。
  16. 如請求項12所述的電腦化系統，其中該移位根據一隨機方向以一隨機偏移來執行。
  17. 如請求項12所述的電腦化系統，其中模擬的該等變化從包含以下各項的一組中選擇：過程變化和 灰度級變化。
  18. 如請求項12所述的電腦化系統，其中該PMC進一步配置成藉由根據一概率函數決定是否擴充該第一複數個原始面片中的每個原始面片來擴充該第一複數個原始面片中的至少一部分，從而獲得具有一肯定性決定的該第一複數個原始面片中的該至少一部分。
  19. 如請求項12所述的電腦化系統，其中該第一複數個原始面片中的該至少一部分用基於一概率函數決定的相應擴充強度來擴充。
  20. 一種有形地體現多個指令的一程式的非暫時性電腦可讀存儲介質，該等指令在由一電腦執行時使該電腦執行生成用於訓練可用於一樣本檢查的一深度神經網路(DNN)的一訓練集的一方法，該方法包含以下步驟：獲得一組訓練圖像，每個訓練圖像表示一樣本的至少一部分；針對該組中的每個訓練圖像：i)生成一第一批訓練面片，包括：根據該訓練圖像上的複數個位置，將該訓練圖像裁剪成第一複數個原始面片；以及擴充該第一複數個原始面片中的至少一部分，以便模擬由該樣本的一物理過程導致的多個變化，從而產生構成該第一批訓練面片的第一複數個擴充面片；以及 ii)生成一第二批訓練面片，包括：在該訓練圖像上將該複數個第一位置移位到複數個第二位置，從而獲得第二複數個原始面片，以及重複對該第二複數個原始面片進行該擴充以生成第二複數個擴充面片，從而產生一第二批訓練面片；以及將對應於每個訓練圖像的至少該第一批訓練面片和該第二批訓練面片包括在該訓練集中。
TW110109482A 2020-06-29 2021-03-17 生成可用於檢查半導體樣本的訓練集 TWI786570B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/916,047 2020-06-29
US16/916,047 US11232550B2 (en) 2020-06-29 2020-06-29 Generating a training set usable for examination of a semiconductor specimen

Publications (2)

Publication Number Publication Date
TW202200992A TW202200992A (zh) 2022-01-01
TWI786570B true TWI786570B (zh) 2022-12-11

Family

ID=78989731

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109482A TWI786570B (zh) 2020-06-29 2021-03-17 生成可用於檢查半導體樣本的訓練集

Country Status (5)

Country Link
US (1) US11232550B2 (zh)
JP (1) JP7169393B2 (zh)
KR (1) KR102384568B1 (zh)
CN (2) CN115471493A (zh)
TW (1) TWI786570B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120186A1 (zh) * 2019-12-20 2021-06-24 京东方科技集团股份有限公司 分布式产品缺陷分析系统、方法及计算机可读存储介质
US20240095935A1 (en) * 2022-08-22 2024-03-21 Kla Corporation Deep learning model-based alignment for semiconductor applications
CN116342983B (zh) * 2023-05-29 2023-09-01 全芯智造技术有限公司 生成及使用图刻模型的方法、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170194126A1 (en) * 2015-12-31 2017-07-06 Kla-Tencor Corporation Hybrid inspectors
TW201946185A (zh) * 2018-02-21 2019-12-01 以色列商應用材料以色列公司 生成可用於半導體試樣的檢查的訓練集
TW202012920A (zh) * 2018-09-28 2020-04-01 台灣積體電路製造股份有限公司 晶圓檢查方法以及晶圓檢查系統

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10359371B2 (en) * 2015-08-24 2019-07-23 Kla-Tencor Corp. Determining one or more characteristics of a pattern of interest on a specimen
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
US11263782B2 (en) * 2017-10-11 2022-03-01 Qualcomm Incorporated Image signal processor for processing images
US10776662B2 (en) * 2017-11-09 2020-09-15 Disney Enterprises, Inc. Weakly-supervised spatial context networks to recognize features within an image
KR102549196B1 (ko) 2018-02-07 2023-06-30 어플라이드 머티리얼즈 이스라엘 리미티드 반도체 시편의 심층 학습 기반 검사 방법 및 그의 시스템
US10832092B2 (en) * 2018-02-07 2020-11-10 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US10599951B2 (en) 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US10810469B2 (en) * 2018-05-09 2020-10-20 Adobe Inc. Extracting material properties from a single image
CA3122684C (en) 2018-12-11 2023-12-19 Exxonmobil Upstream Research Company Data augmentation for seismic interpretation systems and methods
US11097128B2 (en) * 2019-07-16 2021-08-24 Elekta Ab (Publ) Radiotherapy treatment plans using differentiable dose functions
US11222425B2 (en) * 2020-02-11 2022-01-11 DeepVoxel, Inc. Organs at risk auto-contouring system and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170194126A1 (en) * 2015-12-31 2017-07-06 Kla-Tencor Corporation Hybrid inspectors
US9916965B2 (en) * 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
TW201946185A (zh) * 2018-02-21 2019-12-01 以色列商應用材料以色列公司 生成可用於半導體試樣的檢查的訓練集
TW202012920A (zh) * 2018-09-28 2020-04-01 台灣積體電路製造股份有限公司 晶圓檢查方法以及晶圓檢查系統

Also Published As

Publication number Publication date
CN113870170A (zh) 2021-12-31
CN115471493A (zh) 2022-12-13
KR20220001445A (ko) 2022-01-05
US20210407072A1 (en) 2021-12-30
US11232550B2 (en) 2022-01-25
JP7169393B2 (ja) 2022-11-10
JP2022013662A (ja) 2022-01-18
CN113870170B (zh) 2022-10-11
KR102384568B1 (ko) 2022-04-08
TW202200992A (zh) 2022-01-01

Similar Documents

Publication Publication Date Title
US11199506B2 (en) Generating a training set usable for examination of a semiconductor specimen
KR102176335B1 (ko) 반도체 시편의 시험을 위해 사용 가능한 훈련 세트를 생성하는 방법 및 그 시스템
KR102613438B1 (ko) 반도체 표본의 딥 러닝 - 기반 검사의 방법 및 그 시스템
TWI786570B (zh) 生成可用於檢查半導體樣本的訓練集
CN114219749B (zh) 样本的模拟图像的确定
JP2022027473A (ja) 半導体試料の検査に使用可能な訓練データの生成
US20240078659A1 (en) Defect examination on a semiconductor specimen
US11631179B2 (en) Segmentation of an image of a semiconductor specimen
KR20240039600A (ko) 기계 학습 기반 결함 검사를 위한 이미지 증강
TW202339038A (zh) 基於機器學習的半導體樣品的檢查及其訓練