TW201910929A - 由低解析度影像產生高解析度影像以用於半導體應用 - Google Patents

由低解析度影像產生高解析度影像以用於半導體應用 Download PDF

Info

Publication number
TW201910929A
TW201910929A TW107122445A TW107122445A TW201910929A TW 201910929 A TW201910929 A TW 201910929A TW 107122445 A TW107122445 A TW 107122445A TW 107122445 A TW107122445 A TW 107122445A TW 201910929 A TW201910929 A TW 201910929A
Authority
TW
Taiwan
Prior art keywords
resolution image
sample
low resolution
image
high resolution
Prior art date
Application number
TW107122445A
Other languages
English (en)
Other versions
TWI754764B (zh
Inventor
韶拉柏 夏瑪
亞米多斯 辛 丹迪亞那
摩漢 馬哈迪文
房超
艾米爾 亞瑟迪更
布萊恩 杜菲
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/019,422 external-priority patent/US10769761B2/en
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201910929A publication Critical patent/TW201910929A/zh
Application granted granted Critical
Publication of TWI754764B publication Critical patent/TWI754764B/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70653—Metrology techniques
    • G03F7/70675—Latent image, i.e. measuring the image of the exposed resist prior to development
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70425—Imaging strategies, e.g. for increasing throughput or resolution, printing product fields larger than the image field or compensating lithography- or non-lithography errors, e.g. proximity correction, mix-and-match, stitching or double patterning
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70491—Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
    • G03F7/705—Modelling or simulating from physical phenomena up to complete wafer processes or whole workflow in wafer productions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70616—Monitoring the printed patterns
    • G03F7/70625—Dimensions, e.g. line width, critical dimension [CD], profile, sidewall angle or edge roughness
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本發明提供用於由一樣品之一低解析度影像產生該樣品之一高解析度影像之方法及系統。一種系統包含經組態以用於獲取一樣品之一低解析度影像之一或多個電腦子系統。該系統亦包含由該一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一深度迴旋神經網路，該深度迴旋神經網路包含經組態以用於產生該低解析度影像之一表示之一或多個第一層。該深度迴旋神經網路亦包含經組態以用於自該低解析度影像之該表示產生該樣品之一高解析度影像之一或多個第二層。該(等)第二層包含經組態以輸出該高解析度影像且經組態為一子像素迴旋層之一最終層。

Description

由低解析度影像產生高解析度影像以用於半導體應用
本發明一般而言係關於用於由低解析度影像產生高解析度影像以用於半導體應用之方法及系統。
以下說明及實例並不由於其包含於此章節中而被認為係先前技術。
製作諸如邏輯及記憶體裝置之半導體裝置通常包含使用大量半導體製作程序來處理諸如一半導體晶圓之一基板以形成半導體裝置之各種特徵及多個層級。舉例而言，微影係涉及將一圖案自一倍縮光罩轉移至配置於一半導體晶圓上之一光阻劑之一半導體製作程序。半導體製作程序之額外實例包含但不限於化學機械拋光(CMP)、蝕刻、沈積及離子植入。可將多個半導體裝置製作於一單個半導體晶圓上之一配置中且然後將其分離成個別半導體裝置。
在一半導體製造程序期間在各種步驟處使用檢驗程序來偵測樣品上之缺陷以促成在製造程序中之較高良率及因此較高利潤。檢驗一直總是製作半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢驗對可接受半導體裝置之成功製造變得甚至更加重要，此乃因較小缺陷可導致裝置不合格。
缺陷再檢測通常涉及重新偵測如藉由一檢驗程序偵測之缺陷，且使用一高放大光學系統或一掃描電子顯微鏡(SEM)而以一較高解析度產生關於缺陷之額外資訊。因此，在其中已藉由檢驗而偵測到缺陷之樣品上之離散位置處執行缺陷再檢測。藉由缺陷再檢測而產生之缺陷之較高解析度資料較適合用於判定缺陷之屬性，諸如輪廓、粗糙度、較準確大小資訊等。
亦在一半導體製造程序期間之各種步驟處使用計量程序來監測並控制程序。計量程序與檢驗程序不同之處在於：不同於其中偵測樣品上之缺陷之檢驗程序，計量程序係用於量測使用當前所使用之檢驗工具無法判定之樣品之一或多個特性。舉例而言，計量程序用於量測樣品之一或多個特性，諸如在一程序期間形成於樣品上之特徵之一尺寸(例如，線寬、厚度等)，使得可依據一或多個特性來判定該程序之效能。另外，若樣品之一或多個特性係不可接受的(例如，在特性之一預定範圍之外)，則對樣品之一或多個特性之量測可用於更改程序之一或多個參數，使得藉由程序製造之額外樣品具有可接受特性。
計量程序與缺陷再檢測程序不同之處亦在於：不同於其中在缺陷再檢測中再次探訪藉由檢驗而偵測之缺陷之缺陷再檢測程序，計量程序可在未偵測到缺陷之位置處執行。換言之，不同於缺陷再檢測，在樣品上執行一計量程序之位置可獨立於對樣品執行之一檢驗程序之結果。特定而言，可獨立於檢驗結果而選擇執行一計量程序之位置。
因此，如上文所闡述，由於執行檢驗(光學檢驗及有時電子束檢驗)之有限解析度，因此一般需要樣品來產生額外較高解析度影像以用於對樣品上所偵測之缺陷進行缺陷再檢測，該缺陷再檢測可包含驗證所偵測缺陷、對所偵測缺陷進行分類及判定缺陷之特性。另外，一般需要較高解析度影像來判定如在計量中形成於樣品上之經圖案化特徵之資訊，而不管是否已在該等經圖案化特徵中偵測到缺陷。因此，缺陷再檢測及計量可為耗費時間之程序，其需要使用實體樣品本身以及產生較高解析度影像所需要之額外工具(除檢驗器之外)。
然而，缺陷再檢測及計量並非可被簡單地消除以節省時間及金錢之程序。舉例而言，由於執行檢驗程序之解析度，因此檢驗程序並非一般產生可用於判定所偵測缺陷之足以對缺陷進行分類之資訊及/或判定缺陷之一根本原因之影像信號或資料。另外，由於執行檢驗程序之解析度，因此檢驗程序並非一般產生可用於以充分準確性而判定形成於樣品上之經圖案化特徵之資訊之影像信號或資料。
因此，開發用於產生一樣品之一高解析度影像之不具有上文所闡述之缺點中之一或多者的系統及方法將係有利的。
各種實施例之以下說明不應以任何方式被視為限制隨附申請專利範圍之標的物。
一項實施例係關於一種經組態以由一樣品之一低解析度影像產生該樣品之一高解析度影像之系統。該系統包含經組態以用於獲取一樣品之一低解析度影像之一或多個電腦子系統。該系統亦包含由該一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一深度迴旋神經網路，該深度迴旋神經網路包含經組態以用於產生該低解析度影像之一表示之一或多個第一層。該深度迴旋神經網路亦包含經組態以用於自該低解析度影像之該表示產生該樣品之一高解析度影像之一或多個第二層。該一或多個第二層包含經組態以輸出該高解析度影像之一最終層。該最終層經組態為一子像素迴旋層。可如本文中所闡述而進一步組態該系統。
一額外實施例係關於經組態以由一樣品之一低解析度影像產生該樣品之一高解析度影像之另一系統。此系統如上文所闡述而組態。此系統亦包含經組態以用於產生該樣品之低解析度影像之一成像子系統。在此實施例中，電腦子系統經組態以用於自成像子系統獲取低解析度影像。可如本文中所闡述而進一步組態該系統之此實施例。
另一實施例係關於一種用於由一樣品之一低解析度影像產生該樣品之一高解析度影像之電腦實施方法。該方法包含獲取一樣品之一低解析度影像。該方法亦包含藉由將該低解析度影像輸入至一深度迴旋神經網路之一或多個第一層中而產生該低解析度影像之一表示。另外，該方法包含基於該表示而產生該樣品之一高解析度影像。產生該高解析度影像係由該深度迴旋神經網路之一或多個第二層執行。該一或多個第二層包含經組態以輸出該高解析度影像之一最終層。該最終層經組態為一子像素迴旋層。該獲取、該產生該表示及該產生該高解析度影像步驟係由一或多個電腦系統執行。一或多個組件由該一或多個電腦系統執行，且該一或多個組件包含該深度迴旋神經網路。
可如本文中進一步所闡述而進一步執行上文所闡述之該方法之步驟中之每一者。另外，上文所闡述之該方法之實施例可包含本文中所闡述之任何其他方法之任何其他步驟。此外，上文所闡述之方法可由本文中所闡述之系統中之任一者來執行。
另一實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以用於執行一電腦實施方法，該電腦實施方法用於由一樣品之一低解析度影像產生該樣品之一高解析度影像。該電腦實施方法包含上文所闡述之方法之步驟。可如本文中所闡述而進一步組態該電腦可讀媒體。可如本文中進一步所闡述而執行該電腦實施方法之步驟。另外，可為其執行該等程序指令之該電腦實施方法可包含本文中所闡述之任何其他方法之任何其他步驟。
現在轉至圖式，應注意，各圖並未按比例繪製。特定而言，該等圖之元件中之某些元件之比例被大大地放大以強調該等元件之特性。亦應注意，該等圖並未按相同比例繪製。已使用相同元件符號指示可類似地組態之在一個以上圖中展示之元件。除非本文中另外提及，否則所闡述及所展示之元件中之任一者可包含任何適合可商業購得元件。
一項實施例係關於經組態以由一樣品之一低解析度影像產生該樣品之一高解析度影像之一系統。如本文中進一步所闡述，實施例提供平台無關之資料驅動方法及系統以產生穩定且穩健計量品質影像。實施例亦可用於產生相對高品質、經雜訊消除且超解析之影像。實施例可進一步用於增加成像通量。另外，實施例可用於自相對低圖框、相對低電子/像素(e/p)檢驗掃描產生再檢測影像。(「低圖框」意味著在相同位置處進行較少數目次影像擷取，例如，為獲得較佳成像且增加信號雜訊比，擷取多個圖框且然後將其組合以提高影像品質。「e/p」係基本上電子/像素，其中一較高e/p意味著較高品質但較低通量。使用束條件達成較高e/p。)
本文中所闡述之實施例適用於電子束(ebeam)、寬頻電漿(BBP)、雷射散射、有限解析度及計量平台，該等計量平台用於以一高得多之通量由彼等平台中之任一者產生之影像產生相對高品質影像。換言之，可由一成像系統以相對高通量及因此相對低解析度產生影像且然後藉由本文中所闡述之實施例而將該等影像變換成相對高解析度影像，此意指可以相對高通量來有效地產生高解析度影像。本文中所闡述之實施例有利地提供相對低解析度成像流形與相對高解析度成像流形之間的習得變換、雜訊減少及自較高品質掃描至較低品質掃描之品質轉變。一成像「流形」可一般而言定義為所有可能影像之一理論機率空間。
如本文中所使用之術語一樣品之「低解析度影像」一般而言定義為一影像，其中在該影像中未解析出形成於產生影像之樣品區域中之所有經圖案化特徵。舉例而言，若產生低解析度影像之樣品區域中之經圖案化特徵中之某些經圖案化特徵之大小足夠大以使其變為可解析的，則可在低解析度影像中解析出該等經圖案化特徵。然而，低解析度影像並非以使影像中之所有經圖案化特徵變為可解析之一解析度來產生。以此方式，如本文中所使用之術語一「低解析度影像」並不包含關於樣品上之經圖案化特徵之資訊，該資訊足以使低解析度影像用於諸如缺陷再檢測(其可包含缺陷分類及/或驗證)及計量之應用。另外，如本文中所使用之術語一「低解析度影像」一般係指由檢驗系統產生之影像，該等影像通常具有相對較低解析度(例如，比缺陷再檢測及/或計量系統低)以便具有相對快速通量。以此方式，一「低解析度影像」亦可通常稱為一高通量或HT影像。舉例而言，為了以較高通量產生影像，可降低e/p及圖框數目，藉此導致較低品質掃描電子顯微鏡(SEM)影像。
「低解析度影像」亦可由於其具有比本文中所闡述之一「高解析度影像」低之一解析度而係「低解析度」。如本文中所使用之術語一「高解析度影像」可一般定義為其中以相對高準確性解析出樣品之所有經圖案化特徵之一影像。以此方式，在一高解析度影像中解析出在產生該高解析度影像之樣品區域中之所有經圖案化特徵，而不管該等經圖案化特徵之大小如何。如此，如本文中所使用之術語一「高解析度影像」含有關於樣品之經圖案化特徵之資訊，該資訊足以使高解析度影像用於諸如缺陷再檢測(其可包含缺陷分類及/或驗證)及計量之應用。另外，如本文中所使用之術語一「高解析度影像」一般係指無法在常規操作期間由檢驗系統產生之影像，該等檢驗系統經組態以犧牲解析度能力來獲得經增加通量。以此方式，一「高解析度影像」亦可在本文中及此項技術中稱為一「高敏感度影像」，其係一「高品質影像」之另一術語。舉例而言，為產生高品質影像，可增加e/p、圖框等，此產生良好品質SEM影像但顯著地降低通量。此等影像然後由於其可用於高敏感度缺陷偵測而係「高敏感度」影像。
與本文中進一步所闡述之實施例相比，大多數較舊方法使用試探法及擇優挑選之參數來產生相對不含雜訊之影像。通常設計此等方法時要記住其將運行之影像之統計性質且如此在不併入彼平台之試探法之情況下無法將該等方法移植至其他平台。用於影像中之雜訊減少之眾所周知之方法中之某些方法係各向異性擴散、雙邊濾光器、維納(Weiner)濾光器、非區域均值等。雙邊濾光器及維納濾光器藉由使用自相鄰像素設計之一濾光器而去除像素層級之雜訊。各向異性擴散將擴散定律應用於影像，藉此該各向異性擴散根據擴散方程式而平滑化一影像中之紋理/強度。使用一定限功能來防止擴散跨越邊緣而發生且因此該定限功能在很大程度上保留影像中之邊緣。
如維納及雙邊濾光之較舊方法之缺點係此等係需要以一影像層級來精細調諧以獲得最佳結果之參數方法。此等方法並非資料驅動的，此限制了其在具挑戰性成像類型上可達成之效能。另一限制係其處理之大部分係線內完成的，此由於通量限制而限制了其可使用之使用情形。
在圖1中展示經組態以由一樣品之一低解析度影像產生該樣品之一高解析度影像之一系統之一項實施例。該系統包含一或多個電腦子系統(例如，電腦子系統36及電腦子系統102)及由該一或多個電腦子系統執行之一或多個組件100。在某些實施例中，該系統包含經組態以產生樣品之低解析度影像之成像系統(或子系統) 10。在圖1之實施例中，成像系統經組態以用於在偵測來自樣品之光之同時使光對樣品之一實體版本進行掃描或將光引導至該實體版本以藉此產生樣品之影像。成像系統亦可經組態而以多個模式執行掃描(或引導)及偵測。
在一項實施例中，樣品係一晶圓。晶圓可包含此項技術中已知之任何晶圓。在另一實施例中，樣品係一倍縮光罩。倍縮光罩可包含此項技術中已知之任何倍縮光罩。
在一項實施例中，成像系統係一基於光學之成像系統。在一項此實例中，在圖1中所展示之系統之實施例中，基於光學之成像系統10包含經組態以將光引導至樣品14之一照射子系統。照射子系統包含至少一個光源。舉例而言，如在圖1中所展示，照射子系統包含光源16。在一項實施例中，照射子系統經組態以將光以一或多個入射角度(其可包含一或多個傾斜角度及/或一或多個法向角度)引導至樣品。舉例而言，如圖1中所展示，來自光源16之光以一傾斜入射角度被引導穿過光學元件18且然後穿過透鏡20到達樣品14。傾斜入射角度可包含任何適合傾斜入射角度，其可取決於(舉例而言)樣品之特性而變化。
成像系統可經組態以將光在不同時間以不同入射角度引導至樣品。舉例而言，成像系統可經組態以更改照射子系統之一或多個元件之一或多個特性，使得可將光以不同於圖1中所展示之入射角度之一入射角度引導至樣品。在一項此實例中，成像系統可經組態以移動光源16、光學元件18及透鏡20，使得將光以一不同傾斜入射角度或一法向(或近法向)入射角度引導至樣品。
在某些例項中，成像系統可經組態以將光同時以一個以上入射角度引導至樣品。舉例而言，照射子系統可包含一個以上照射通道，該等照射通道中之一者可包含如圖1中所展示之光源16、光學元件18及透鏡20，且該等照射通道中之另一者(未展示)可包含可不同地或相同地經組態之類似元件，或者可包含至少一光源以及可能地一或多個其他組件(諸如本文中進一步闡述之組件)。若此光與其他光同時被引導至樣品，則以不同入射角度被引導至樣品之光之一或多個特性(例如，波長、偏光等)可為不同的，使得由以不同入射角度對樣品之照射產生之光可在偵測器處彼此區別開。
在另一例項中，照射子系統可包含僅一個光源(例如，圖1中所展示之源16)，且來自光源之光可藉由照射子系統之一或多個光學元件(未展示)而被分離至不同光學路徑中(例如，基於波長、偏光等)。不同光學路徑中之每一者中之光然後可被引導至樣品。多個照射通道可經組態以將光同時或在不同時間(例如，當使用不同照射通道來依序照射樣品時)引導至樣品。在另一例項中，相同照射通道可經組態以將在不同時間具有不同特性之光引導至樣品。舉例而言，在某些例項中，光學元件18可經組態為一光譜濾光器，且光譜濾光器之性質可以多種不同方式(例如，藉由換出光譜濾光器)被改變，使得可在不同時間將不同波長之光引導至樣品。照射子系統可具有此項技術中已知之用於將具有不同或相同特性之光以不同或相同入射角度依序或同時引導至樣品之任何其他適合組態。
在一項實施例中，光源16可包含一寬頻電漿(BBP)光源。以此方式，由光源產生且被引導至樣品之光可包含寬頻光。然而，光源可包含任何其他適合光源，諸如一雷射。雷射可包含此項技術中已知之任何適合雷射且可經組態以產生此項技術中已知之任何一或若干適合波長下之光。另外，雷射可經組態以產生係單色或接近單色之光。以此方式，雷射可為一窄頻雷射。光源亦可包含產生多個離散波長或波段下之光之一多色光源。
來自光學元件18之光可藉由透鏡20被聚焦至樣品14上。雖然透鏡20在圖1中展示為一單個折射光學元件，但應理解，實務上，透鏡20可包含組合地將來自光學元件之光聚焦至樣品之若干個折射及/或反射光學元件。在圖1中展示且在本文中所闡述之照射子系統可包含任何其他適合光學元件(未展示)。此等光學元件之實例包含(但不限於)偏光組件、光譜濾光器、空間濾光器、反射光學元件、切趾器、分束器、光圈及諸如此類，其可包含此項技術中已知之任何此等適合光學元件。另外，成像系統可經組態以基於將用於成像之照射之類型而更改照射子系統之元件中之一或多者。
成像系統亦可包含經組態以致使光對樣品進行掃描之一掃描子系統。舉例而言，成像系統可包含載台22，在檢驗期間將樣品14安置於該載台上。掃描子系統可包含可經組態以移動樣品使得光可對樣品進行掃描之任何適合機械及/或機器人總成(其包含載台22)。另外或另一選擇係，成像系統可經組態使得成像系統之一或多個光學元件執行光對樣品之某一掃描。光可以任何適合方式(諸如以一蛇形路徑或以一螺旋路徑)對樣品進行掃描。
成像系統進一步包含一或多個偵測通道。一或多個偵測通道中之至少一者包含一偵測器，該偵測器經組態以藉由系統而偵測歸因於對樣品之照射之來自樣品之光且回應於所偵測光而產生輸出。舉例而言，圖1中所展示之成像系統包含兩個偵測通道，一個偵測通道由收集器24、元件26及偵測器28形成且另一偵測通道由收集器30、元件32及偵測器34形成。如圖1中所展示，該兩個偵測通道經組態以依據不同收集角度收集且偵測光。在某些例項中，兩個偵測通道經組態以偵測經散射光，且偵測通道經組態以偵測以不同角度自樣品散射之光。然而，偵測通道中之一或多者可經組態以偵測來自樣品之另一類型之光(例如，經反射光)。
如圖1中進一步所展示，兩個偵測通道展示為定位於紙張之平面中且照射子系統亦展示為定位於紙張之平面中。因此，在此實施例中，兩個偵測通道定位於(例如，居中於)入射平面中。然而，偵測通道中之一或多者可定位於入射平面之外。舉例而言，由收集器30、元件32及偵測器34形成之偵測通道可經組態以收集並偵測散射於入射平面之外的光。因此，此一偵測通道可通常稱為一「旁」通道，且此一旁通道可居中於實質上垂直於入射平面之一平面中。
雖然圖1展示包含兩個偵測通道之成像系統之一實施例，但成像系統可包含不同數目個偵測通道(例如，僅一個偵測通道或者兩個或兩個以上偵測通道)。在一個此例項中，由收集器30、元件32及偵測器34形成之偵測通道可形成如上文所闡述之一個旁通道，且成像系統可包含一額外偵測通道(未展示)，該額外偵測通道形成為定位於入射平面之相對側上之另一旁通道。因此，成像系統可包含偵測通道，該偵測通道包含收集器24、元件26及偵測器28且居中於入射平面中並且經組態以收集並偵測處於法向於樣品表面或接近法向於樣品表面之散射角度之光。因此，此偵測通道可通常稱為一「頂部」通道，且成像系統亦可包含如上文所闡述而組態之兩個或兩個以上旁通道。如此，成像系統可包含至少三個通道(亦即，一個頂部通道及兩個旁通道)，且至少三個通道中之每一者具有其自身之收集器，收集器中之每一者經組態以收集處於與其他收集器中之每一者所收集光之散射角度不同之散射角度之光。
如上文進一步所闡述，包含於成像系統中之偵測通道中之每一者可經組態以偵測經散射光。因此，圖1中所展示之成像系統可經組態以用於樣品之暗場(DF)成像。然而，成像系統亦可或另一選擇係包含經組態以用於樣品之明場(BF)成像之偵測通道。換言之，成像系統可包含經組態以偵測自樣品被鏡面反射之光之至少一個偵測通道。因此，本文中所闡述之成像系統可經組態以用於僅DF成像、僅BF成像或DF成像及BF成像兩者。雖然收集器中之每一者在圖1中展示為單個折射光學元件，但應理解，收集器中之每一者可包含一或多個折射光學元件及/或一或多個反射光學元件。
一或多個偵測通道可包含此項技術中已知之任何適合偵測器。舉例而言，偵測器可包含光電倍增管(PMT)、電荷耦合裝置(CCD)、時間延遲積分(TDI)相機及此項技術中已知之任何其他適合偵測器。偵測器亦可包含非成像偵測器或成像偵測器。以此方式，若偵測器係非成像偵測器，則偵測器中之每一者可經組態以偵測經散射光之某些特性(諸如強度)但不可經組態以依據在成像平面內之位置而偵測此等特性。如此，藉由包含於成像系統之偵測通道中之每一者中之偵測器中之每一者產生之輸出可為信號或資料，但並非影像信號或影像資料。在此等例項中，一電腦子系統(諸如電腦子系統36)可經組態以自偵測器之非成像輸出產生樣品之影像。然而，在其他例項中，偵測器可經組態為成像偵測器，該等成像偵測器經組態以產生影像信號或影像資料。因此，該成像系統可經組態而以若干種方式產生本文中所闡述之影像。
應注意，在本文中提供圖1以大體圖解說明一成像系統或子系統之一組態，該成像系統或子系統可包含於本文中所闡述之系統實施例中或可產生由本文中所闡述之系統實施例使用之影像。顯然地，可更改本文中所闡述之成像系統組態以最佳化成像系統之效能，如在設計一商業成像系統時通常所執行。另外，可使用諸如可自加利福尼亞州苗必達(Milpitas)之KLA-Tencor公司商業購得之29xx/39xx及Puma 9xxx系列之工具之一現有系統(例如，藉由將本文中所闡述之功能性添加至一現有系統)來實施本文中所闡述之系統。針對某些此等系統，本文中所闡述之實施例可作為系統之選用功能性(例如，除了系統之其他功能性之外)提供。另一選擇係，本文中所闡述之成像系統可經設計以「從零開始」以提供一全新成像系統。
成像系統之電腦子系統36可以任何適合方式(例如，經由一或多個傳輸媒體，其可包含「有線」及/或「無線」傳輸媒體)耦合至成像系統之偵測器，使得電腦子系統可接收在對樣品之掃描期間由偵測器產生之輸出。電腦子系統36可經組態以使用偵測器之輸出來執行本文中進一步所闡述之若干個功能。
圖1中所展示之電腦子系統(以及本文中所闡述之其他電腦子系統)亦可在本文中稱為電腦系統。本文中所闡述之電腦子系統或系統中之每一者可採用各種形式，包含一個人電腦系統、影像電腦、主機電腦系統、工作站、網路器具、網際網路器具或其他裝置。一般而言，術語「電腦系統」可廣泛地定義為囊括具有一或多個處理器之執行來自一記憶體媒體之指令之任何裝置。電腦子系統或系統亦可包含此項技術中已知之任何適合處理器，諸如一平行處理器。另外，電腦子系統或系統可包含具有高速度處理及軟體之一電腦平台作為一獨立工具或一經網路連線工具。
若該系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合，使得影像、資料、資訊、指令等可在電腦子系統之間發送，如本文中進一步所闡述。舉例而言，電腦子系統36可藉由可包含此項技術中已知之任何適合有線及/或無線傳輸媒體之任何適合傳輸媒體而耦合至電腦子系統102 (如圖1中之虛線所展示)。此等電腦子系統中之兩者或兩者以上亦可藉由一共用電腦可讀儲存媒體(未展示)而有效地耦合。
雖然成像系統在上文中闡述為係一基於光學或光之成像系統，但該成像系統可為一基於電子束之成像系統。在圖1a中所展示之一項此實施例中，成像系統包含耦合至電腦子系統124之電子柱122。亦如圖1a中所展示，電子柱包含電子束源126，該電子束源經組態以產生藉由一或多個元件130而被聚焦至樣品128之電子。電子束源可包含(舉例而言)一陰極源或發射體尖端，且一或多個元件130可包含(舉例而言)一槍透鏡、一陽極、一限束光圈、一閘閥、一束電流選擇光圈、一物鏡及一掃描子系統，所有該等元件皆可包含此項技術中已知之任何此等適合元件。
自樣品返回之電子(例如，次級電子)可藉由一或多個元件132而被聚焦至偵測器134。一或多個元件132可包含(舉例而言)一掃描子系統，該掃描子系統可為包含於元件130中之相同掃描子系統。
電子柱可包含此項技術中已知之任何其他適合元件。另外，電子柱可如2014年4月4日頒予Jiang等人之美國專利第8,664,594號、2014年4月8日頒予Kojima等人之美國專利第8,692,204號、2014年4月15日頒予Gubbens等人之美國專利第8,698,093號及2014年5月6日頒予MacDonald等人之美國專利第8,716,662號中所闡述而進一步組態，該等美國專利如同全面陳述於本文中一般以引用之方式併入。
雖然電子柱在圖1a中展示為經組態使得電子以一傾斜入射角度被引導至樣品且以另一傾斜角度自該樣品散射，但應理解，電子束可以任何適合角度被引導至樣品及自該樣品散射。另外，基於電子束之成像系統可經組態以使用多個模式來產生樣品之影像(例如，以不同照射角度、收集角度等)，如本文中進一步所闡述。基於電子束之成像系統之多個模式可在成像系統之任何影像產生參數上係不同的。
電腦子系統124可如上文所闡述而耦合至偵測器134。偵測器可偵測自樣品之表面返回之電子，藉此形成樣品之電子束影像。該等電子束影像可包含任何適合電子束影像。電腦子系統124可經組態以使用由偵測器134產生之輸出來針對樣品執行本文中進一步所闡述之一或多個功能。電腦子系統124可經組態以執行本文中所闡述之任何額外步驟。包含圖1a中所展示之成像系統之一系統可如本文中所闡述而進一步組態。
應注意，本文中提供圖1a以大體圖解說明可包含於本文中所闡述之實施例中之一基於電子束之成像系統之一組態。正如上文所闡述之基於光學之成像系統，可更改本文中所闡述之基於電子束之成像系統組態以最佳化成像系統之效能，如在設計一商業成像系統時通常所執行。另外，可使用諸如可自KLA-Tencor公司商業購得之eSxxx及eDR-xxxx系列之工具之一現有系統(例如，藉由將本文中所闡述之功能性添加至一現有系統)來實施本文中所闡述之系統。針對某些此等系統，本文中所闡述之實施例可作為系統之選用功能性(例如，除了系統之其他功能性之外)提供。另一選擇係，本文中所闡述之系統可經設計以「從零開始」以提供一全新系統。
雖然上文將成像系統闡述為係一基於光學之成像系統或基於電子束之成像系統，但成像系統可為一基於離子束之成像系統。此一成像系統可如圖2中所展示而組態，惟電子束源可被替換為此項技術中已知之任何適合離子束源除外。另外，成像系統可為任何其他適合基於離子束之成像系統，諸如包含於可商業購得之聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統以及次級離子質譜學(SIMS)系統中之基於離子束之成像系統。
如上文所述，成像系統經組態以用於使能量(例如，光或電子)對樣品之一實體版本進行掃描，藉此產生樣品之實體版本之真實影像。以此方式，成像系統可經組態為一「真實」系統，而非一「虛擬」系統。舉例而言，一儲存媒體(未展示)及圖1中所展示之電腦子系統102可經組態為一「虛擬」系統。特定而言，儲存媒體及電腦子系統並非成像系統10之部分且不具有用於處置樣品之實體版本之任何能力。換言之，在組態為虛擬系統之系統中，其一或多個「偵測器」之輸出可為由一真實系統之一或多個偵測器先前產生並被儲存於虛擬系統中之輸出，且在「掃描」期間，虛擬系統可重放所儲存輸出，如同樣品正被掃描一樣。以此方式，利用一虛擬系統來掃描樣品可似乎如同利用一真實系統來掃描一實體樣品一樣，而實際上，「掃描」涉及以與可掃描樣品相同之方式簡單地重放樣品之輸出。組態為「虛擬」檢驗系統之系統及方法闡述於2012年2月28日頒予Bhaskar等人之共同讓與之美國專利第8,126,255號及2015年12月29日頒予Duffy等人之共同讓與之美國專利第9,222,895號中，該等美國專利如同全面陳述於本文中一般以引用之方式併入。可如此等專利中所闡述而進一步組態本文中所闡述之實施例。舉例而言，可如此等專利中所闡述而進一步組態本文中所闡述之一或多個電腦子系統。另外，可如頒予Duffy之上文所提及專利中所闡述而執行將一或多個虛擬系統組態為一中央運算與儲存(CCS)系統。本文中所闡述之持久性儲存機構可具有分散式運算與儲存裝置(諸如CCS架構)，但本文中所闡述之實施例並不限於彼架構。
如上文進一步所述，成像系統可經組態而以多個模式產生樣品之影像。一般而言，一「模式」可由用於產生一樣品之影像之成像系統或用於產生樣品之影像之輸出之參數值定義。因此，不同之模式可在成像系統之成像參數中之至少一者之值上係不同的。舉例而言，在一基於光學之成像系統之一項實施例中，多個模式中之至少一者使用至少一個波長之光用於照射，該至少一個波長之光不同於針對多個模式中之至少另一者所使用之用於照射之至少一個波長之光。模式可在照射波長上係不同的(例如，藉由使用不同光源、不同光譜濾光器等)，如本文中針對不同模式進一步所闡述。在另一實施例中，多個模式中之至少一者使用成像系統之一照射通道，該照射通道不同於針對多個模式中之至少另一者所使用之成像系統之一照射通道。舉例而言，如上文所述，成像系統可包含一個以上照射通道。如此，可針對不同模式使用不同照射通道。
在一項實施例中，成像系統係一檢驗系統。舉例而言，本文中所闡述之光學及電子束成像系統可經組態為檢驗系統。在另一實施例中，成像系統係一缺陷再檢測系統。舉例而言，本文中所闡述之光學及電子束成像系統可經組態為缺陷再檢測系統。在另一實施例中，成像系統係一計量系統。舉例而言，本文中所闡述之光學及電子束成像系統可經組態為計量系統。特定而言，本文中所闡述且圖1及圖1a中所展示之成像系統之實施例可取決於其將使用之應用而在一或多個參數上進行修改以提供不同成像能力。在一項此實例中，若圖1中所展示之成像系統將用於缺陷再檢測或計量而非用於檢驗，則該成像系統可經組態以具有一較高解析度。換言之，圖1及圖1a中所展示之成像系統之實施例闡述一成像系統之某些一般及各種組態，該等組態可以熟習此項技術者將顯而易見之若干種方式經裁適以產生具有或多或少適合於不同應用之不同成像能力之成像系統。
一或多個電腦子系統經組態以用於獲取一樣品之一低解析度影像。可使用本文中所闡述之成像系統中之一者來執行獲取低解析度影像(例如，藉由將光或一電子束引導至樣品且分別偵測來自樣品之光或一電子束)。以此方式，可使用實體樣品本身及某些種類之成像硬體來執行獲取低解析度影像。然而，獲取低解析度影像未必包含使用成像硬體來將樣品成像。舉例而言，另一系統及/或方法可產生低解析度影像且可將所產生低解析度影像儲存於如本文中所闡述之一或多個儲存媒體(諸如一虛擬檢驗系統)或者本文中所闡述之另一儲存媒體中。因此，獲取低解析度影像可包含自其中已儲存該低解析度影像之儲存媒體獲取低解析度影像。
在某些實施例中，低解析度影像由一檢驗系統產生。舉例而言，如本文中所闡述，低解析度影像可由一檢驗系統產生，該檢驗系統經組態以具有一較低解析度以藉此增加其通量。檢驗系統可為一光學檢驗系統或一電子束檢驗系統。檢驗系統可具有本文中進一步所闡述之任何組態。
在一項實施例中，低解析度影像由一基於電子束之成像系統產生。在另一實施例中，低解析度影像由一基於光學之成像系統產生。舉例而言，低解析度影像可由本文中所闡述之基於電子束之成像系統或基於光學之成像系統中之任一者產生。
在一項實施例中，以一成像系統之一單個模式來產生低解析度影像。在另一實施例中，以一成像系統之多個模式來產生樣品之一或多個低解析度影像。舉例而言，輸入至如本文中進一步所闡述之深度迴旋神經網路(深度CNN)之低解析度影像可包含以成像系統之僅一單個模式產生之一單個低解析度影像。另一選擇係，輸入至如本文中進一步所闡述之深度CNN之低解析度影像可包含以成像系統之多個模式產生之多個低解析度影像(例如，以一第一模式產生之一第一影像、以一第二模式產生之一第二影像等等)。單個模式及多個模式可包含本文中進一步所闡述之模式中之任一者。
由電腦子系統(例如，電腦子系統36及/或電腦子系統102)執行之組件(例如，圖1中所展示之組件100)包含深度CNN 104。深度CNN包含經組態以用於產生低解析度影像之一表示之一或多個第一層及經組態以用於自低解析度影像之表示產生樣品之一高解析度影像之一或多個第二層。以此方式，本文中所闡述之實施例可使用本文中所闡述之深度CNN (例如，一或多個機器學習技術)中之一者以用於將一樣品之一低解析度影像變換成該樣品之一高解析度影像。舉例而言，如圖2中所展示，深度CNN展示為影像變換網路200。在產生及/或運行時間期間(亦即，在影像變換網路已被設置及/或訓練(其可如本文中進一步所闡述而執行)之後)，去往影像變換網路之輸入可為輸入低解析度(高通量)影像202，且影像變換網路之輸出可為輸出高解析度(高敏感度)影像204。
一或多個第二層包含經組態以輸出高解析度層之一最終層，且該最終層經組態為一子像素迴旋層。圖3圖解說明可適合用於本文中所闡述之實施例中之一影像變換網路架構之一項實施例。在此實施例中，影像變換網路係一深度CNN，其中一子像素層作為最終層。在此架構中，輸入可為低解析度影像300，該低解析度影像在圖3中展示為僅係像素之一柵格且並不表示可由本文中所闡述之實施例產生之任何特定低解析度影像。低解析度影像可被輸入至一或多個第一層302及304，該一或多個第一層可經組態為迴旋層，該等迴旋層經組態以用於特徵映圖提取。此等第一層可形成影像變換網路架構之隱蔽層。
由一或多個第一層產生之低解析度影像之表示可因此係一或多個特徵及/或特徵映圖。特徵可具有此項技術中已知之可自輸入推斷出且用於產生本文中進一步所闡述之輸出之任何適合特徵類型。舉例而言，特徵可包含每像素之強度值之一向量。特徵亦可包含本文中所闡述之任何其他類型之特徵，例如純量值之向量、獨立分佈、聯合分佈之向量或此項技術中已知之任何其他適合特徵類型。如本文中進一步所闡述，在訓練期間由網路學習該等特徵且可或可不與此項技術中已知之任何真實特徵相關。
一或多個第二層包含最終層306，該最終層經組態為一子像素迴旋層，該子像素迴旋層在一單個步驟中聚合來自低解析度空間之特徵映圖且構建高解析度影像308。子像素迴旋層學習提升(upscaling)濾光器之一陣列以將最終低解析度特徵映圖提升為高解析度輸出影像。以此方式，影像變換網路可採用一有雜訊較差解析之高通量輸入影像、運算跨越諸多迴旋層之特徵映圖且然後使用子像素層將特徵映圖變換成相對安靜超解析之影像。子像素迴旋層有利地提供針對每一特徵映圖而特別訓練之相對複雜提升濾光器，同時亦減小總體操作之運算複雜度。本文中所闡述之實施例中所使用之深度CNN可進一步如由Shi等人在2016年9月之如同全面陳述於本文中一般以引用之方式併入之「Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network」，arXiv:1609.05158v2中所闡述而組態。
本文中所闡述之深度CNN可一般被分類為深度學習模型。一般而言，「深度學習」(亦稱作深度結構化學習、階層式學習或深度機器學習)係基於嘗試將資料中之高階抽象模型化之一組演算法之機器學習之一分支。在一簡單情形中，可存在兩組神經元：一組神經元接收一輸入信號且一組神經元發送一輸出信號。當輸入層接收一輸入時，該輸入層將該輸入之一經修改版本傳遞至下一層。在一深度網路中，在輸入與輸出之間存在諸多層(且該等層並非係由神經元組成的，但以此種方式來思考該等層之組成可能有幫助)，從而允許演算法使用由多個線性及非線性變換構成之多個處理層。
深度學習係基於資料之學習表示之一較寬廣族系之機器學習方法之部分。一觀察(例如，一影像)可以諸多方式(諸如每像素之強度值之一向量)或以一較抽象方式來表示為一組邊緣、特定形狀之區域等。在簡化學習任務(例如，面部辨識或面部表情辨識)時，某些表示優於其他表示。深度學習之前景中之一者係用高效演算法來替換手工(handcrafted)特徵以用於無監督式或半監督式特徵學習及階層式特徵提取。
此領域中之研究嘗試做出較佳表示且形成模型以自大規模未經標記資料學習此等表示。該等表示中之某些表示受神經科學之進展啟發，且鬆散地基於對一神經系統中之資訊處理及通信型樣(諸如神經編碼，其嘗試定義各種刺激與大腦中之相關聯神經元回應之間的一關係)之解釋。
本文中所闡述之深度CNN亦可被分類為機器學習模型。機器學習可一般被定義為一種類型之人工智慧(AI)，該AI為電腦提供用以在未被明確程式化之情況下進行學習之能力。機器學習集中於對電腦程式之開發，該等電腦程式可在接觸新資料時指導其自身成長及改變。換言之，機器學習可被定義為「賦予電腦用以在未被明確程式化之情況下進行學習之能力」之電腦科學之子域。機器學習探索了可自資料進行學習且對資料進行預測之演算法之研究及建構，此等演算法透過自樣本輸入構建一模型、藉由進行資料驅動之預測或決策而克服隨後之嚴格靜態程式指令。
可進一步如以下各項中所闡述而執行本文中所闡述之機器學習：Sugiyama、Morgan Kaufmann之「Introduction to Statistical Machine Learning」，2016年，第534頁；Jebara之「Discriminative, Generative, and Imitative Learning」，MIT論文，2002年，第212頁；及Hand等人之「Principles of Data Mining (Adaptive Computation and Machine Learning)」，MIT出版社，2001年，第578頁；以上各項如同全面陳述於本文中一般以引用之方式併入。可如此等參考中所闡述而進一步組態本文中所闡述之實施例。
深度CNN亦係一產生式(generative)模型。一「產生式」模型可一般定義為本質上係機率性之一模型。換言之，一「產生式」模型並非執行正向模擬或基於規則之方法之模型且如此，在產生一真實影像(針對其而產生一經模擬影像)中所涉及之程序之一物理模型係不必要的。替代地，如本文中進一步所闡述，可基於一適合訓練資料集而學習產生式模型(此在於可學習其參數)。
在一項實施例中，深度CNN係一深度產生式模型。舉例而言，深度CNN可經組態以具有一深度學習架構，此在於該模型可包含執行若干個演算法或變換之多個層。深度CNN之一側或兩側上之層數目可自本文中所闡述之圖式中所展示之層數目變化。出於實務目的，兩側上之一適合範圍之層係自2個層至幾十個層。
深度CNN亦可為具有一組權重之一深度神經網路，該深度神經網路根據其被饋送以進行訓練之資料而將世界模型化。神經網路可一般定義為基於一相對大的神經單元集合之一運算方法，該運算方法鬆散地模型化一生物大腦利用藉由軸突而連接之相對大的生物神經元叢集來解決問題之方式。每一神經單元與諸多其他神經單元連接，且連結可強制實行或抑制其對所連接神經單元之啟動狀態之影響。此等系統係自主學習且訓練的而非被明確地程式化，且在其中以一傳統電腦程式難以表達解決方案或特徵偵測之領域表現優異。
神經網路通常由多個層組成，且信號路徑自前向後橫穿。神經網路之目標係以與人類大腦相同之方式來解決問題，儘管數個神經網路抽象得多。現代神經網路計劃通常利用幾千至幾百萬個神經單元及數百萬個連接來工作。神經網路可具有此項技術中已知之任何適合架構及/或組態。
本文中所闡述之實施例可或可不經組態以訓練用於由一低解析度影像產生一高解析度影像之深度CNN。舉例而言，另一方法及/或系統可經組態以產生一經訓練深度CNN，該經訓練深度CNN可然後由本文中所闡述之實施例存取及使用。一般而言，訓練深度CNN可包含獲取資料(例如，低解析度影像及高解析度影像兩者，其可包含本文中所闡述之低解析度影像及高解析度影像中之任一者)。可然後使用輸入元組及預期輸出元組之一清單來建構一訓練、測試及驗證資料集。輸入元組可具有低解析度影像之形式，且輸出元組可為對應於低解析度影像之高解析度影像。可然後使用訓練資料集來訓練深度CNN。
在一項實施例中，一或多個組件包含經組態以訓練深度CNN之一情境感知損失模組，且在深度CNN之訓練期間，一或多個電腦子系統將由一或多個第二層產生之高解析度影像及樣品之一對應已知高解析度影像輸入至情境感知損失模組中並且情境感知損失模組判定由一或多個第二層產生之高解析度影像與對應已知高解析度影像相比之情境感知損失。舉例而言，如圖4中所展示，深度CNN網路展示為影像變換網路400。此圖展示了在訓練期間或在設置時間之深度CNN。去往影像變換網路之輸入係低解析度(高通量)影像402，該低解析度(高通量)影像可如本文中進一步所闡述而產生。影像變換網路可然後輸出高解析度(高敏感度)影像404，如本文中進一步所闡述。可將所輸出高解析度影像及對應已知高解析度影像(例如，一「認定實況(ground truth)」高敏感度影像) 406輸入至情境感知損失模組408。以此方式，本文中所闡述之實施例之完整網路架構可包含兩個區塊：影像變換網路及情境感知損失。情境感知損失模組408可比較其作為輸入而接收之兩個影像(亦即，由影像變換網路產生之高解析度影像及(例如)由一成像系統產生之高解析度影像認定實況影像)以判定兩個輸入影像之間的一或多個差異。情境感知損失模組可如本文中所闡述而進一步組態。
以此方式，在設置時間，實施例採用有雜訊較差解析之影像與安靜超解析之影像對且然後使用情境感知損失透過一神經網路而學習該等影像之間的變換矩陣。如本文中所使用之術語「有雜訊」可一般定義為具有一相對低信號雜訊比(SNR)之一影像，而如本文中所使用之術語「安靜」可一般定義為具有一相對高SNR之一影像。此等術語因此在本文中互換地使用。此等影像對可來自可自KLA-Tencor公司(及其他公司)商業購得之成像平台中之任一者，如電子束(ebeam)、BBP工具、一有限解析度成像工具等。一旦訓練完成，網路便學習自有雜訊較差解析之影像至安靜超解析之影像之變換，同時維持空間保真度。以此方式，本文中所闡述之實施例使用一資料驅動之方法藉由學習有雜訊較差解析之影像與安靜超解析之影像之間的一變換而利用半導體影像中所觀察到之資料冗餘。可然後在生產中部署經訓練網路，其中成像系統產生有雜訊高通量資料，然後使用經訓練影像變換網路將該有雜訊高通量資料變換成對應低雜訊超解析之資料。一旦在生產中，網路便像一典型後處理演算法一樣執行。
在一項此實施例中，情境感知損失包含內容損失、風格損失及總變差(TV)正則化。圖5展示一項此實施例。特定而言，圖4中所展示之情境感知損失模組408可包含內容損失模組500、風格損失模組502及TV正則化模組504，如圖5中所展示。舉例而言，情境感知損失係一泛型框架且透過風格及內容損失而表示。深度神經網路傾向於自較低層中之邊緣、外形開始直至較複雜特徵(例如面)或可能後續層中之整個物件而逐漸學習影像特徵。此與生物視覺較好地相關。我們假設一迴旋網路之較低層學習被視為在感知上重要之特徵。因此，我們在所學習網路之啟動的基礎上來設計我們的情境感知損失。情境感知損失主要由風格、內容及正則化損失組成。
在一項此實施例中，內容損失包含對應已知高解析度影像之低階特徵中之損失。舉例而言，一影像之內容被定義為較低階特徵，例如邊緣、外形等。內容損失之小型化幫助保留對於產生計量品質、超解析之影像係重要之此等低階特徵。為了更清晰，內容損失包含於損失函數中以保留影像中之邊緣及外形，此乃因此等對於用於對高解析度影像進行量測等係重要的。例如雙三次內插值等或利用一L2損失進行訓練之傳統技術不需要保證對邊緣及外形之此保留。
損失之下一主要部分稱作風格轉變損失。在一項此實施例中，風格損失包含定性地定義對應已知高解析度影像之一或多個抽象實體中之損失。舉例而言，我們將風格定義為一抽象實體，該抽象實體定性地定義影像，包含例如銳度、紋理、色彩等性質。使用如本文中所闡述之深度學習之一個理由係本文中所闡述之低解析度影像/高解析度影像之間的差異不僅係解析度，而是該等影像可具有不同雜訊特徵、充電偽影(charging artifact)、紋理等。因此，僅將低解析度影像進行超解析並非充分的，且使用深度學習來學習自低解析度影像至高解析度影像之一映射。一影像之風格由一經訓練網路之上部層啟動表徵。風格損失與內容損失組合使得影像變換網路可學習有雜訊較差解析之影像與安靜超解析之影像之間的變換。一旦使用情境感知損失來訓練影像變換網路，便可在生產中部署該影像變換網路以由有雜訊較差解析之影像產生安靜超解析之影像，同時維持空間保真度。在某些實施例中，風格轉變損失被定義為超解析度高解析度影像(亦即，由一或多個第二層產生之影像)之最終層特徵與認定實況高解析度影像之間的損失，當我們想要對超解析之高解析度影像進行分類時尤其如此。
在另一此實施例中，情境感知損失模組包含一經預訓練VGG網路。圖6展示來自一預定義網路之啟動如何用於計算風格及內容損失。舉例而言，如圖6中所展示，經預訓練VGG網路600可耦合至內容損失模組500及風格損失模組502。VGG16 (亦稱作OxfordNet)係以牛津大學(Oxford)開發之視覺幾何組(Visual Geometry Group)命名之一迴旋神經網路架構。VGG網路亦可進一步如由Simonyan等人在2015年4月之如同全面陳述於本文中一般以引用之方式併入之「Very Deep Convolutional Networks for Large-Scale Image Recognition」，arXiv:1409.1556v6，第14頁中所闡述而組態。如圖6中所展示，經預訓練VGG網路可將一影像輸入至若干個層，包含迴旋層(例如，conv-64、conv-128、conv-256及conv-512)、最大池化(maxpool)層、全連接層(例如，FC-4096)及一軟性最大(softmax)層，所有該等層可具有此項技術中已知之任何適合組態。
來自VGG網路之啟動可由內容損失模組500及風格損失模組502獲取以藉此計算風格及內容損失。本文中所闡述之實施例因此定義一新穎損失框架以用於使用經預訓練網路來訓練神經網路。此幫助最佳化神經網路，同時保留所產生影像中之使用情形臨界特徵。
因此，本文中所闡述之實施例使用一經預訓練深度學習網路來引入使用情形相依之損失函數。傳統技術包含例如雙三次內插值等方法以及L2損失(當訓練深度網路時)，但我們在訓練我們的網路期間引入不同損失。舉例而言，雙三次內插值降低尖銳邊緣上之對比度損失，而全影像上之L2損失集中於保留一影像之所有態樣，但大多數態樣之保留未必係本文中所闡述之實施例之使用情形之一要求，且我們可取決於想要保留一影像中之哪些特徵而建立損失函數。在某些此等實例中，內容損失可用於確保保留邊緣及外形，且風格損失可用於確保保留紋理、色彩等。
本文中所闡述之實施例可使用來自一經預訓練網路層之輸出來定義一使用情形相依之損失函數以用於訓練網路。若使用情形係臨界尺寸一致性或計量量測，則實施例可向內容損失賦予權重，且若將要「美化」影像，則可使用風格損失來保留紋理、色彩等。另外，針對其中分類係重要之情形，最後層特徵可在所產生高解析度影像與認定實況影像之間進行匹配，且可定義經預訓練網路之最後層特徵上之損失，此乃因此等係用於進行分類之特徵。
在信號處理中，總變差去雜訊(亦稱作總變差正則化)係數位影像處理中最常使用之一程序，其應用於雜訊去除。該程序係基於以下原理：具有過多且可能假性細節之信號具有高的總變差，亦即，信號之絕對梯度之積分係高的。根據此原理，為使信號與原始信號緊密匹配而降低信號之總變差會去除不想要之細節，同時保留重要細節(諸如邊緣)。該概念由Rudin、Osher及Fatemi於1992年開創且因此現今被稱作ROF模型。
此雜訊去除技術具有優於簡單技術(諸如線性平滑化或中值濾光，其減少雜訊但同時在一較大或較小程度上消除邊緣)之優點。相比而言，總變差去雜訊在同時保留邊緣並消除平坦區域中之雜訊(即使在相對低信號雜訊比下)方面係顯著有效的。
在某些此等實施例中，一或多個組件包含經組態以基於情境感知損失而判定深度CNN之一或多個參數之一調諧模組。舉例而言，如圖4中所展示，一或多個組件可包含調諧模組410，該調諧模組經組態以用於反向傳播由情境感知損失模組判定之錯誤及/或改變之網路參數。上文所闡述之深度CNN之層中之每一者可具有一或多個參數(諸如權重W及偏壓B)，可藉由訓練模型(其可如本文中進一步所闡述而執行)而判定該一或多個參數之值。舉例而言，可在訓練期間藉由使情境感知損失最小化而判定包含於深度CNN中之各種層之權重及偏壓。
在一項實施例中，深度CNN經組態使得由一或多個第二層產生之高解析度影像具有比低解析度影像少之雜訊。舉例而言，本文中所闡述之實施例提供一個一般化框架以用於使用所學習表示來將有雜訊且解析不足之影像變換為低雜訊超解析之影像。
在另一實施例中，深度CNN經組態使得由一或多個第二層產生之高解析度影像保留低解析度影像之結構及空間特徵。舉例而言，本文中所闡述之實施例提供一個一般化框架以用於使用所學習表示來將有雜訊且解析不足之影像變換為低雜訊超解析之影像，同時保留結構及空間保真度。
在某些實施例中，深度迴旋神經網路以比利用一高解析度成像系統產生高解析度影像之一通量高之一通量輸出高解析度影像。舉例而言，本文中所闡述之實施例可用於基於深度學習之超解析度以在電子束工具上獲得較高通量。因此，當使用一相對低劑量(電子束、光等)以用於影像獲取以防止對樣品進行改變(諸如損壞、污染等)可為有利時，本文中所闡述之實施例可為尤其有用的。然而，使用一相對低劑量來避免對樣品進行改變一般會產生低解析度影像。因此，挑戰係在不對樣品造成改變之情況下產生高解析度影像。本文中所闡述之實施例提供此能力。特定而言，可以一較高通量及一較低解析度(或較低品質)獲取樣品影像，且本文中所闡述之實施例可將彼等較高通量、較低品質影像轉換成超解析或較高品質之影像而不對樣品造成改變(此乃因樣品本身不需要產生超解析或較高品質之影像)。
因此，針對其中一晶圓可經歷檢驗(例如，BBP檢驗)及電子束再檢測序列之再檢測使用情形，本文中所闡述之實施例係尤其有利的。另外，在某些例項中，使用者想要在檢驗之後將晶圓放回於檢驗工具上以嘗試另一檢驗配方條件(例如，以最佳化針對在檢驗中被偵測且可能在再檢測中被分類之一缺陷之檢驗配方條件)。然而，若電子束(或其他)再檢測損壞或改變被再檢測之位置，則彼等位點不再有效用於敏感度分析(亦即，檢驗配方更改及/或最佳化)。因此，藉由使用低圖框平均電子束影像獲取而防止對樣品進行損壞或改變係電子束再檢測影像之基於深度學習之分類之優點中之一者(例如，不需要原始高圖框平均影像)。因此，深度學習分類及深度學習影像改良可以組合方式可論證地使用。基於深度學習之缺陷分類可藉由本文中所闡述之實施例而執行，如由He等人在2017年9月6日提出申請之共同讓與之美國專利申請案第15/697,426號中所闡述，該美國專利申請案如同全面陳述於本文中一般以引用之方式併入。本文中所闡述之實施例可如此專利申請案中所闡述而進一步組態。
圖7圖解說明可使用本文中所闡述之實施例產生之結果之實例。結果展示有雜訊較差解析之高通量影像702之水平輪廓700、較高品質較佳解析之低通量影像706之水平輪廓704與藉由使用本文中所闡述之實施例處理低解析度影像而獲得之安靜超解析之影像710之水平輪廓708之間的一比較。高通量影像702及低通量影像706分別由低解析度成像系統及高解析度成像系統產生，如本文中所闡述。以此方式，圖7中所展示之結果圖解說明沿著穿過影像之相同線輪廓之不同影像之間的水平變化。圖7中所展示之結果演示本文中所闡述之實施例之用以由較低品質影像產生實質上無雜訊高解析度影像同時維持影像中之結構及空間保真度之能力，如由本文中所闡述之實施例所產生之超解析之影像及一成像系統所產生之高解析度影像之輪廓(708及704)中之相關性所確認。
在一項實施例中，一或多個電腦子系統經組態以基於由一或多個第二層產生之高解析度影像而對樣品執行一或多個計量量測。圖8證明本文中所闡述之實施例藉由利用認定實況資料閉合迴圈而工作。為在現實世界計量使用情形中進一步測試本文中所闡述之實施例，對圖7中所展示之三組影像執行疊蓋量測且在圖8中編譯結果。圖8中之圖表800及802繪示高解析度成像系統產生之影像與由本文中所闡述之實施例之深度CNN產生之高解析度影像之間的分別沿著x軸及y軸之疊蓋量測中之相關性，且圖8中之圖表804及806繪示高解析度成像系統產生之影像與較低解析度影像之間的分別沿著x軸及y軸之疊蓋量測中之相關性。用於計算相關性之度量係R2 ，r平方。一r平方值1繪示一完美擬合。成像系統產生之高解析度影像與深度CNN產生之高解析度影像之間的接近於完美R2 值(＞0.99)展示可在不影響效能之情況下在計量量測中替代較高解析度成像系統產生之影像而使用深度CNN產生之影像。鑒於計量使用情形中所需之相對高精確度，低解析度成像系統產生之影像及高解析度成像系統產生之影像之情形中之~0.8之R2 值證明過低而無法獲得準確量測，且因此需要自顯著地降低使用情形通量之較高解析度影像進行量測(例如，在本文中所闡述之實驗中自約18K個缺陷/小時降低至約8K個缺陷/小時)。
在另一實施例中，深度CNN獨立於產生低解析度影像之成像系統而起作用。在某些實施例中，低解析度影像由具有一第一成像平台之一個成像系統產生，一或多個電腦子系統經組態以用於獲取由具有不同於第一成像平台之一第二成像平台之另一成像系統針對另一樣品產生之另一低解析度影像，一或多個第一層經組態以用於產生另一低解析度影像之一表示，且一或多個第二層經組態以用於自另一低解析度影像之表示產生另一樣品之一高解析度影像。舉例而言，本文中所闡述之實施例之一重要益處係相同網路架構可用於增強來自不同平台(例如BBP工具、具體經組態以用於低解析度成像之工具等)之影像。此外，最佳化及學習表示之整個負擔被離線承擔，此乃因訓練僅在配方設置時間期間發生。一旦訓練完成，運行時間運算便大幅度減少。學習程序亦幫助自適應地增強影像而無需如舊方法之情形中所需之每次改變參數。
在一項此實施例中，第一成像平台係一電子束成像平台，且第二成像平台係一光學成像平台。舉例而言，本文中所闡述之實施例可使用一電子束成像系統及一光學成像系統來變換所產生之低解析度影像。本文中所闡述之實施例亦能夠針對其他不同類型之成像平台(例如，其他帶電粒子類型成像系統)執行變換。
在另一此實施例中，第一成像平台及第二成像平台係不同光學成像平台。在另一此實施例中，第一成像平台及第二成像平台係不同電子束成像平台。舉例而言，第一成像平台及第二成像平台可為相同類型之成像平台，但可在其成像能力上顯著不同。在一項此實例中，第一光學成像平台及第二光學成像平台可為一雷射散射成像平台及一BBP成像平台。此等成像平台明顯具有實質上不同之能力且將產生實質上不同之低解析度影像。然而，本文中所闡述之實施例可使用藉由訓練深度CNN而產生之所學習表示來產生所有此等低解析度影像之高解析度影像。
經組態以由一樣品之一低解析度影像產生該樣品之一高解析度影像之一系統之另一實施例包含經組態以用於產生一樣品之一低解析度影像之一成像子系統。成像子系統可具有本文中所闡述之任何組態。系統亦包含可如本文中進一步所闡述而組態之一或多個電腦子系統(例如，圖1中所展示之電腦子系統102)及由一或多個電腦子系統執行之一或多個組件(例如，組件100)，該一或多個組件可包含本文中所闡述之組件中之任一者。組件包含可如本文中所闡述而組態之一深度CNN (例如，深度CNN 104)。舉例而言，深度CNN包含經組態以用於產生低解析度影像之一表示之一或多個第一層及經組態以用於自低解析度影像之表示產生樣品之一高解析度影像之一或多個第二層。一或多個第二層包含經組態以輸出高解析度影像之一最終層。最終層亦經組態為一子像素迴旋層。一或多個第一層及一或多個第二層可如本文中進一步所闡述而進一步組態。此系統實施例可如本文中所闡述而進一步組態。
本文中所闡述之實施例具有如可自上文所提供之說明中可見之若干個優點。舉例而言，本文中所闡述之實施例提供一泛型、平台無關、資料驅動之框架。實施例在設置時間期間使用訓練資料來學習高品質影像與低品質影像之間的變換。學習此變換使得實施例能夠使用所學習變換將有雜訊較差解析之輸入變換成具有計量品質之相對安靜超解析之輸出。較舊方法係僅依賴於當前輸入影像且不利用任何其他訓練資料之參數方法。本文中所闡述之實施例亦係泛型且平台無關的。由於實施例係泛型且平台無關的，因此可使用相同框架來在不同平台(例如電子束、BBP、雷射散射、低解析度成像及計量平台)上產生計量品質影像。實施例亦藉由僅使用低品質(高通量)影像而在生產中產生所需品質影像而達成較高通量。實施例亦在不影響重要特徵(例如影像中之邊緣及外形)之情況下達成與輸入影像相比之輸出影像中之雜訊減少。
上文所闡述之系統中之每一者之實施例中之每一者可一起組合成一單個實施例。
另一實施例係關於用於由一樣品之低解析度影像產生該樣品之一高解析度影像之一電腦實施方法。該方法包含獲取一樣品之一低解析度影像。該方法亦包含藉由將低解析度影像輸入至一深度CNN之一或多個第一層中而產生低解析度影像之一表示。另外，該方法包含基於該表示而產生樣品之一高解析度影像。藉由深度CNN之一或多個第二層而執行產生高解析度影像。一或多個第二層包含經組態以輸出高解析度影像之一最終層，且最終層經組態為一子像素迴旋層。獲取、產生表示及產生高解析度影像步驟由一或多個電腦系統執行。一或多個組件由一或多個電腦系統執行，且一或多個組件包含深度CNN。
可如本文中進一步所闡述而執行該方法之步驟中之每一者。該方法亦可包含可由本文中所闡述之系統、電腦系統或子系統及/或成像系統或子系統執行之任何其他步驟。一或多個電腦系統、一或多個組件及深度CNN可根據本文中所闡述之實施例中之任一者(例如，電腦子系統102、組件100及深度CNN 104)而組態。另外，上文所闡述之方法可藉由本文中所闡述之系統實施例中之任一者執行。
本文中所闡述之所有方法可包含將方法實施例之一或多個步驟之結果儲存於一電腦可讀儲存媒體中。該等結果可包含本文中所闡述之結果中之任一者且可以此項技術中已知之任何方式儲存。儲存媒體可包含本文中所闡述之任何儲存媒體或此項技術中已知之任何其他適合儲存媒體。在結果已被儲存之後，結果可在儲存媒體中被存取且由本文中所闡述之方法或系統實施例中之任一者使用、經格式化以用於顯示給一使用者、由另一軟體模組、方法或系統等使用。舉例而言，所產生高解析度影像可用於對樣品執行計量量測、對在樣品上偵測到之一或多個缺陷進行分類、 驗證在樣品上偵測到之一或多個缺陷及/或基於以上各項中之一或多者而判定是否應以某一方式更改用於在樣品上形成經圖案化特徵之程序以藉此改變在相同程序中在其他樣品上形成之經圖案化特徵。
一額外實施例係關於儲存程式指令之一非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以用於執行一電腦實施方法，該電腦實施方法用於由一樣品之一低解析度影像產生該樣品之一高解析度影像。在圖9中展示一項此實施例。特定而言，如圖9中所展示，非暫時性電腦可讀媒體900包含可在電腦系統904上執行之程式指令902。電腦實施方法可包含上文所闡述之任何方法之任何步驟。
實施諸如本文中所闡述之方法的方法之程式指令902可儲存於電腦可讀媒體900上。電腦可讀媒體可為諸如一磁碟或光碟、一磁帶之一儲存媒體，或此項技術中已知之任何其他適合非暫時性電腦可讀媒體。
可以包含基於程序之技術、基於組件之技術及/或物件導向之技術以及其他技術之各種方式中之任一者來實施程式指令。舉例而言，可視需要使用ActiveX控件、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (流式傳輸SIMD擴展)或者其他技術或方法來實施該等程式指令。
電腦系統904可根據本文中所闡述之實施例中之任一者而組態。
鑒於此說明，熟習此項技術者將明瞭本發明之各種態樣之其他修改及替代實施例。舉例而言，提供用於由一樣品之一低解析度影像產生該樣品之一高解析度影像之方法及系統。因此，此說明應視為僅為說明性的，且係出於教示熟習此項技術者執行本發明之一般方式之目的。應理解，本文中所展示及所闡述之本發明之形式應視為目前較佳之實施例。如熟習此項技術者在受益於本發明之此說明之後將全部明瞭，元件及材料可替代本文中所圖解說明及闡述之彼等元件及材料，部分及程序可顛倒，且本發明之某些特徵可獨立地利用。可在不背離如隨附申請專利範圍中所闡述之本發明之精神及範疇之情況下對本文中所闡述之元件做出改變。
10‧‧‧成像系統/成像子系統/基於光學之成像系統
14‧‧‧樣品
16‧‧‧光源/源
18‧‧‧光學元件
20‧‧‧透鏡
22‧‧‧載台
24‧‧‧收集器
26‧‧‧元件
28‧‧‧偵測器
30‧‧‧收集器
32‧‧‧元件
34‧‧‧偵測器
36‧‧‧電腦子系統
100‧‧‧組件
102‧‧‧電腦子系統
104‧‧‧深度迴旋神經網路
122‧‧‧電子柱
124‧‧‧電腦子系統
126‧‧‧電子束源
128‧‧‧樣品
130‧‧‧元件
132‧‧‧元件
134‧‧‧偵測器
200‧‧‧影像變換網路
202‧‧‧低解析度影像/高通量影像
204‧‧‧高解析度影像/高敏感度影像
300‧‧‧低解析度影像
302‧‧‧第一層
304‧‧‧第一層
306‧‧‧最終層
308‧‧‧高解析度影像
400‧‧‧影像變換網路
402‧‧‧低解析度影像/高通量影像
404‧‧‧高解析度影像/高敏感度影像
406‧‧‧高解析度影像/認定實況高敏感度影像
408‧‧‧情境感知損失模組
410‧‧‧調諧模組
500‧‧‧內容損失模組
502‧‧‧風格損失模組
504‧‧‧總變差正則化模組
600‧‧‧經預訓練視覺幾何組網路
700‧‧‧水平輪廓
702‧‧‧有雜訊較差解析之高通量影像/高通量影像
704‧‧‧水平輪廓
706‧‧‧較高品質較佳解析之低通量影像/低通量影像
708‧‧‧水平輪廓
710‧‧‧安靜超解析之影像
800‧‧‧圖表
802‧‧‧圖表
804‧‧‧圖表
806‧‧‧圖表
900‧‧‧非暫時性電腦可讀媒體/電腦可讀媒體
902‧‧‧程式指令
904‧‧‧電腦系統
在受益於對較佳實施例之以下詳細說明之情況下且在參考隨附圖式之後，熟習此項技術者將明瞭本發明之其他優點，其中： 圖1及圖1a係圖解說明如本文中所闡述而組態之一系統之實施例之側視圖的示意圖； 圖2係圖解說明可包含於本文中所闡述之實施例中之一深度迴旋神經網路之一項實施例的一方塊圖； 圖3係圖解說明可包含於本文中所闡述之實施例中之一深度迴旋神經網路之一項實施例的一示意圖； 圖4及圖5係圖解說明可包含於本文中所闡述之實施例中之一或多個組件之實施例的方塊圖； 圖6係圖解說明可包含於一情境感知損失模組實施例中之一經預訓練VGG網路之一項實施例之一方塊圖； 圖7包含由一成像系統產生之對應高及低解析度影像以及藉由本文中所闡述之實施例而由低解析度影像產生之一高解析度影像以及針對影像中之每一者所產生之輪廓的實例； 圖8包含在由一成像系統產生之一高解析度影像與藉由本文中所闡述之實施例而產生之一高解析度影像之間以及由成像系統產生之低解析度影像與高解析度影像之間進行之沿著x軸及y軸之疊蓋量測之結果中之相關性的實例；且 圖9係圖解說明儲存程式指令之一非暫時性電腦可讀媒體之一項實施例之一方塊圖，該等程式指令用於致使一或多個電腦系統執行本文中所闡述之一電腦實施之方法。 儘管易於對本發明做出各種修改及替代形式，但其特定實施例係以實例方式展示於圖式中且將在本文中詳細地闡述。該等圖式可未按比例繪製。然而，應理解，圖式及對其之詳細說明並非意欲將本發明限制於所揭示之特定形式，而是相反，本發明將涵蓋歸屬於如由隨附申請專利範圍所界定之本發明之精神及範疇內之所有修改、等效形式及替代形式。

Claims (24)

  1. 一種經組態以由一樣品之一低解析度影像產生該樣品之一高解析度影像之系統，其包括： 一或多個電腦子系統，其經組態以用於獲取一樣品之一低解析度影像；及 一或多個組件，其由該一或多個電腦子系統執行，其中該一或多個組件包括： 一深度迴旋神經網路，其中該深度迴旋神經網路包括： 一或多個第一層，其經組態以用於產生該低解析度影像之一表示；及 一或多個第二層，其經組態以用於自該低解析度影像之該表示產生該樣品之一高解析度影像，其中該一或多個第二層包括經組態以輸出該高解析度影像之一最終層，且其中該最終層進一步經組態為一子像素迴旋層。
  2. 如請求項1之系統，其中該深度迴旋神經網路經組態使得由該一或多個第二層產生之該高解析度影像具有比該低解析度影像少之雜訊。
  3. 如請求項1之系統，其中該深度迴旋神經網路經組態使得由該一或多個第二層產生之該高解析度影像保留該低解析度影像之結構及空間特徵。
  4. 如請求項1之系統，其中該一或多個組件進一步包括經組態以訓練該深度迴旋神經網路之一情境感知損失模組，其中在訓練該深度迴旋神經網路期間，該一或多個電腦子系統將由該一或多個第二層產生之該高解析度影像及該樣品之一對應已知高解析度影像輸入至該情境感知損失模組中且該情境感知損失模組判定由該一或多個第二層產生之該高解析度影像與該對應已知高解析度影像相比之情境感知損失。
  5. 如請求項4之系統，其中該情境感知損失包括內容損失、風格損失及總變差正則化。
  6. 如請求項5之系統，其中該內容損失包括該對應已知高解析度影像之低階特徵中之損失。
  7. 如請求項5之系統，其中該風格損失包括定性地定義該對應已知高解析度影像之一或多個抽象實體中之損失。
  8. 如請求項4之系統，其中該情境感知損失模組包括一經預訓練VGG網路。
  9. 如請求項4之系統，其中該一或多個組件進一步包括經組態以基於該情境感知損失而判定該深度迴旋神經網路之一或多個參數之一調諧模組。
  10. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以基於由該一或多個第二層產生之該高解析度影像而對該樣品執行一或多個計量量測。
  11. 如請求項1之系統，其中該深度迴旋神經網路獨立於產生該低解析度影像之成像系統而起作用。
  12. 如請求項1之系統，其中該低解析度影像由具有一第一成像平台之一個成像系統產生，其中該一或多個電腦子系統進一步經組態以用於獲取由具有不同於該第一成像平台之一第二成像平台之另一成像系統針對另一樣品產生之另一低解析度影像，其中該一或多個第一層經組態以用於產生該另一低解析度影像之一表示，且其中該一或多個第二層進一步經組態以用於自該另一低解析度影像之該表示產生該另一樣品之一高解析度影像。
  13. 如請求項12之系統，其中該第一成像平台係一電子束成像平台，且其中該第二成像平台係一光學成像平台。
  14. 如請求項12之系統，其中該第一成像平台及該第二成像平台係不同光學成像平台。
  15. 如請求項12之系統，其中該第一成像平台及該第二成像平台係不同電子束成像平台。
  16. 如請求項1之系統，其中該低解析度影像由一基於電子束之成像系統產生。
  17. 如請求項1之系統，其中該低解析度影像由一基於光學之成像系統產生。
  18. 如請求項1之系統，其中該低解析度影像由一檢驗系統產生。
  19. 如請求項1之系統，其中該樣品係一晶圓。
  20. 如請求項1之系統，其中該樣品係一倍縮光罩。
  21. 如請求項1之系統，其中該深度迴旋神經網路以比利用一高解析度成像系統產生該高解析度影像之一通量高之一通量輸出該高解析度影像。
  22. 一種經組態以由一樣品之一低解析度影像產生該樣品之一高解析度影像之系統，其包括： 一成像子系統，其經組態以用於產生一樣品之一低解析度影像； 一或多個電腦子系統，其經組態以用於獲取該樣品之該低解析度影像；及 一或多個組件，其由該一或多個電腦子系統執行，其中該一或多個組件包括： 一深度迴旋神經網路，其中該深度迴旋神經網路包括： 一或多個第一層，其經組態以用於產生該低解析度影像之一表示；及 一或多個第二層，其經組態以用於自該低解析度影像之該表示產生該樣品之一高解析度影像，其中該一或多個第二層包括經組態以輸出該高解析度影像之一最終層，且其中該最終層進一步經組態為一子像素迴旋層。
  23. 一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以用於執行一電腦實施方法，該電腦實施方法用於由一樣品之一低解析度影像產生該樣品之一高解析度影像，其中該電腦實施方法包括： 獲取一樣品之一低解析度影像； 藉由將該低解析度影像輸入至一深度迴旋神經網路之一或多個第一層中而產生該低解析度影像之一表示；及 基於該表示而產生該樣品之一高解析度影像，其中產生該高解析度影像係由該深度迴旋神經網路之一或多個第二層執行，其中該一或多個第二層包括經組態以輸出該高解析度影像之一最終層，其中該最終層進一步經組態為一子像素迴旋層，其中該獲取、該產生該表示及該產生該高解析度影像係由該一或多個電腦系統執行，其中一或多個組件由該一或多個電腦系統執行，且其中該一或多個組件包括該深度迴旋神經網路。
  24. 一種用於由一樣品之一低解析度影像產生該樣品之一高解析度影像之電腦實施方法，其包括： 獲取一樣品之一低解析度影像； 藉由將該低解析度影像輸入至一深度迴旋神經網路之一或多個第一層中而產生該低解析度影像之一表示；及 基於該表示而產生該樣品之一高解析度影像，其中產生該高解析度影像係由該深度迴旋神經網路之一或多個第二層執行，其中該一或多個第二層包括經組態以輸出該高解析度影像之一最終層，其中該最終層進一步經組態為一子像素迴旋層，其中該獲取、該產生該表示及該產生該高解析度影像係由一或多個電腦系統執行，其中一或多個組件由該一或多個電腦系統執行，且其中該一或多個組件包括該深度迴旋神經網路。
TW107122445A 2017-06-30 2018-06-29 由低解析度影像產生高解析度影像以用於半導體應用 TWI754764B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
IN201741023063 2017-06-30
IN201741023063 2017-06-30
US201762545906P 2017-08-15 2017-08-15
US62/545,906 2017-08-15
US16/019,422 US10769761B2 (en) 2017-06-30 2018-06-26 Generating high resolution images from low resolution images for semiconductor applications
US16/019,422 2018-06-26

Publications (2)

Publication Number Publication Date
TW201910929A true TW201910929A (zh) 2019-03-16
TWI754764B TWI754764B (zh) 2022-02-11

Family

ID=66590463

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122445A TWI754764B (zh) 2017-06-30 2018-06-29 由低解析度影像產生高解析度影像以用於半導體應用

Country Status (3)

Country Link
KR (1) KR102351349B1 (zh)
CN (1) CN110785709B (zh)
TW (1) TWI754764B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365556B (zh) * 2020-11-10 2021-09-28 成都信息工程大学 一种基于感知损失和风格损失的图像扩展方法
TWI775586B (zh) * 2021-08-31 2022-08-21 世界先進積體電路股份有限公司 多分支的檢測系統及多分支的檢測方法
KR102616400B1 (ko) * 2022-04-12 2023-12-27 한국항공우주연구원 광학계 특성을 반영한 딥러닝 기반의 영상 해상도 향상 시스템 및 그 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2431889C1 (ru) * 2010-08-06 2011-10-20 Дмитрий Валерьевич Шмунк Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
US9286662B2 (en) * 2013-09-26 2016-03-15 Siemens Aktiengesellschaft Single image super resolution and denoising using multiple wavelet domain sparsity
CA2941352C (en) * 2014-03-06 2022-09-20 Progress, Inc. Neural network and method of neural network training
US9401016B2 (en) * 2014-05-12 2016-07-26 Kla-Tencor Corp. Using high resolution full die image data for inspection
CN106796716B (zh) * 2014-08-08 2018-11-16 北京市商汤科技开发有限公司 用于为低分辨率图像提供超分辨率的设备和方法
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106339984B (zh) * 2016-08-27 2019-09-13 中国石油大学(华东) 基于k均值驱动卷积神经网络的分布式图像超分辨方法

Also Published As

Publication number Publication date
TWI754764B (zh) 2022-02-11
KR102351349B1 (ko) 2022-01-13
KR20200015804A (ko) 2020-02-12
CN110785709B (zh) 2022-07-15
CN110785709A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
KR102321953B1 (ko) 다양한 모댈리티들로 획득된 이미지들의 정렬을 위한 학습 기반 접근 방식
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
KR102213730B1 (ko) 반도체 애플리케이션을 위한 신경망 및 순방향 물리적 모델을 포함하는 방법 및 시스템
US10769761B2 (en) Generating high resolution images from low resolution images for semiconductor applications
JP6758418B2 (ja) 半導体用途のための、入力画像からのシミュレーション画像の生成
TWI711978B (zh) 用於執行針對樣本之功能之系統及電腦實施方法，以及電腦可讀媒體
TWI722050B (zh) 單一影像偵測
JP7170037B2 (ja) 大オフセットダイ・ダイ検査用複数段階画像整列方法
KR20190072569A (ko) 반도체 애플리케이션을 위해 구성된 심층 학습 모델을 위한 진단 시스템 및 방법
TW202134641A (zh) 干擾過濾之深度學習網路
TWI754764B (zh) 由低解析度影像產生高解析度影像以用於半導體應用
TW202211092A (zh) 訓練機器學習模型以自檢查影像產生較高解析度影像