TWI788024B - 畫質改善系統及畫質改善方法 - Google Patents

畫質改善系統及畫質改善方法 Download PDF

Info

Publication number
TWI788024B
TWI788024B TW110135557A TW110135557A TWI788024B TW I788024 B TWI788024 B TW I788024B TW 110135557 A TW110135557 A TW 110135557A TW 110135557 A TW110135557 A TW 110135557A TW I788024 B TWI788024 B TW I788024B
Authority
TW
Taiwan
Prior art keywords
image
quality improvement
image quality
low
deformation
Prior art date
Application number
TW110135557A
Other languages
English (en)
Other versions
TW202213267A (zh
Inventor
石川昌義
小松壮太
豊田康隆
篠田伸一
Original Assignee
日商日立全球先端科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日立全球先端科技股份有限公司 filed Critical 日商日立全球先端科技股份有限公司
Publication of TW202213267A publication Critical patent/TW202213267A/zh
Application granted granted Critical
Publication of TWI788024B publication Critical patent/TWI788024B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2809—Scanning microscopes characterised by the imaging problems involved

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明提供一種高精度且高可靠性之畫質改善系統及畫質改善方法，係於藉由機器學習而進行低畫質圖像之畫質改善之畫質改善系統及畫質改善方法中，對於圖像就每次攝像容易變化之試料亦可進行利用適切之示教資訊之學習。本發明之畫質改善系統之特徵在於進行低畫質圖像之畫質改善，且具備：畫質改善部，其進行低畫質圖像之畫質改善；變形預測部，其預測在所輸入之低畫質圖像行中所含之第1低畫質圖像與跟前述第1低畫質圖像不同之第2低畫質圖像之間發生之變形量；及變形修正部，其基於由前述變形預測部預測出之前述變形量，修正對前述第1低畫質圖像應用在前述畫質改善部之處理而獲得之第1預測圖像、前述第2低畫質圖像、或對前述第2低畫質圖像應用在前述畫質改善部之處理而獲得之第2預測圖像之任一者；且以由前述變形修正部修正後之前述第1預測圖像與前述第2低畫質圖像或前述第2預測圖像之損失函數之評估、或前述第1預測圖像與由前述變形修正部修正後之前述第2低畫質圖像或前述第2預測圖像之損失函數之評估變小之方式，進行學習。

Description

畫質改善系統及畫質改善方法
本發明係關於一種進行藉由電子顯微鏡進行之檢查或計測之檢查、計測裝置之構成極其控制，尤其是關於一種應用於容易發生因電子射線所致之攝像損傷之半導體晶圓及液晶面板之檢查或計測且有效之技術。
於半導體及液晶面板等之生產線中，由於若於工序初始發生不良，則之後之工序之作業造成浪費，故於工序之每一關鍵工序設置檢查、計測工序，一面確認、維持一定之成品率，一面推進製造。於該等檢查、計測工序中，例如，使用應用掃描型電子顯微鏡(SRM：Scanning Electron Microscope)之測長SRM(CD-SRM：Critical Dimension-SEM，關鍵尺寸-SEM)或缺陷審查SRM(Defect Review-SEM)等。
於藉由電子顯微鏡進行之檢查、計測中，為了提高精度，而累計複數次攝像結果，製作高畫質之圖像而利用。然而，由於攝像次數之增加導致產能之降低，故謀求以盡少之攝像次數產生高畫質之圖像。
作為本技術領域之先前技術，例如，存在如專利文獻1之技術。於專利文獻1中，曾揭示「構成前向傳播型神經網路之圖像雜訊降低方法，且前述前向傳播型神經網路製作包含雜訊之訓練圖像，且製作包含較前述訓練圖像為少之雜訊之教學圖像，對於前述訓練圖像之輸入，輸出前述教學圖像相當之圖像」。 [先前技術文獻] [專利文獻]
專利文獻1：日本特開2019-8599號公報
[發明所欲解決之問題]
於上述專利文獻1中，曾記載輸入低積算圖像，並賦予高積算圖像作為示教資訊，根據低積算圖像預測高積算圖像之技術。於專利文獻1中，根據攝像次數少之低積算圖像預測雜訊少之高積算圖像。
然而，於如半導體之細微之電路圖案之檢查及計測之情形下，有就每次攝像於電路圖案發生因電子射線照射所致之攝像損傷，電路形狀變形之情形。於如此之情形下，難以憑藉以低積算圖像之平均圖像製作之高畫質圖像來製作適切之示教資訊。又，除了電路形狀之變形以外，於就每複數次攝像發生視野偏移或因帶電所致之亮度變化之情形下，亦難以僅憑藉平均圖像來製作適切之示教資訊。
為此，本發明之目的在於在藉由機器學習而進行低畫質圖像之畫質改善之畫質改善系統及畫質改善方法中，提供一種對於圖像就每次攝像容易變化之試料，亦可進行利用適切之示教資訊之學習之高精度且高可靠性之畫質改善系統及畫質改善方法。 [解決問題之技術手段]
為了解決上述問題，本發明之畫質改善系統之特徵在於進行低畫質圖像之畫質改善，且具備：畫質改善部，其進行低畫質圖像之畫質改善；變形預測部，其預測在所輸入之低畫質圖像行中所含之第1低畫質圖像與跟前述第1低畫質圖像不同之第2低畫質圖像之間發生之變形量；及變形修正部，其基於由前述變形預測部預測出之前述變形量，修正對前述第1低畫質圖像應用在前述畫質改善部之處理而獲得之第1預測圖像、前述第2低畫質圖像、或對前述第2低畫質圖像應用在前述畫質改善部之處理而獲得之第2預測圖像之任一者；且以由前述變形修正部修正後之前述第1預測圖像與前述第2低畫質圖像或前述第2預測圖像之損失函數之評估、或前述第1預測圖像與由前述變形修正部修正後之前述第2低畫質圖像或前述第2預測圖像之損失函數之評估變小之方式，進行學習。
又，本發明之畫質改善方法之特徵在於包含：(a)取得複數張檢查圖像之步驟；(b)於前述(a)步驟之後，對取得之檢查圖像應用畫質改善模型，取得對於各檢查圖像之預測圖像之步驟；(c)於前述(b)步驟之後，預測取得之預測圖像間之變形量之步驟；(d)於前述(c)步驟之後，產生基於預測出之變形量將任意之預測圖像以成為對於不同之檢查圖像之預測圖像之方式變形後之修正預測圖像之步驟；(e)於前述(d)步驟之後，利用產生之修正預測圖像與成為修正對象之檢查圖像，評估畫質改善之誤差之步驟；及(f)於前述(e)步驟之後，以減小評估出之畫質改善之誤差之方式更新畫質改善模型之參數之步驟。 [發明之效果]
根據本發明，於藉由機器學習而進行低畫質圖像之畫質改善之畫質改善系統及畫質改善方法中，可實現對於圖像就每次攝像容易變化之試料，亦可進行利用適切之示教資訊之學習之高精度且高可靠性之畫質改善系統及畫質改善方法。
藉此，可進行迅速且高精度之電子器件之檢查及計測。
上述之以外之課題、構成及效果可由以下之實施形態之說明而明確得知。
以下，利用圖式說明本發明之實施例。此外，針對重複之部分，省略其詳細之說明。 實施例 1
為了易於理解本發明之畫質改善，而首先，利用圖12，針對先前技術之畫質改善進行說明。圖12係概念性顯示上述專利文獻1之畫質改善之圖。
如圖12所示，於先前技術中，拍攝到同一試料(例如半導體晶圓)之同一部位之複數張(n張)低畫質圖像中，擷取低畫質圖像1作為修正對象，以畫質改善部進行利用機器學習之畫質改善處理，且輸出預測圖像。另一方面，對與低畫質圖像1不同之低畫質圖像2～n進行積算處理(例如平均化處理)而製作高畫質圖像，將該高畫質圖像作為教學圖像對低畫質圖像1之預測圖像予以示教。
如上述般，於該方法中在如半導體積體電路之細微之電路圖案之檢查及計測之情形下，就每次攝像於電路圖案發生因電子射線照射所致之攝像損傷，電路形狀有可能變形，難以製作適切之示教資訊(高畫質圖像)。
其次，參照圖1至圖9，針對本發明之實施例1之畫質改善系統及畫質改善方法，進行說明。圖1係概念性顯示本發明之畫質改善之圖。
如圖1所示，於本發明中，拍攝到同一試料(例如半導體晶圓)之同一部位之複數張(n張)低畫質圖像中，擷取低畫質圖像1作為修正對象，以畫質改善部進行利用機器學習之畫質改善處理，且輸出預測圖像。另一方面，預測在低畫質圖像1、與跟低畫質圖像1不同之低畫質圖像2～n之各低畫質圖像間發生之變形，將以變形修正部修正該變形而製作之變形修正圖像作為教學圖像對低畫質圖像1之預測圖像予以示教。
低畫質圖像2～n只要可比較出與低畫質圖像1之變形即可，亦可僅設有1張低畫質圖像2。即，藉由至少取得低畫質圖像1與低畫質圖像2之2張攝像圖像，而可預測變形並製作教學圖像(變形修正圖像)。
利用圖2，針對用於實現圖1所說明之功能之具體的構成，進行說明。圖2係顯示本實施例之畫質改善模型學習之構成之方塊圖。
如圖2所示，本實施例之圖像改善系統1具備畫質改善部2、變形預測部4、變形修正部5、修正圖像6、畫質改善誤差評估部7、及畫質改善參數更新部8而構成。
畫質改善部2對所輸入之低畫質圖像行中所包含之低畫質圖像i 9(第1低畫質圖像)應用畫質改善處理而製作預測圖像i 3(第1預測圖像)。畫質改善部2之畫質改善模型例如利用U-Net等編碼-解碼(Encode-Decoder)類型之CNN(Convolution Neural Network，卷積神經網路)或具有其他構造之CNN。
變形預測部4利用預先保存於後述之變形量資料庫(圖6之變形量DB 19)之變形量資料等，對預測圖像i 3(第1預測圖像)之變形量進行預測。變形預測部4對預測圖像之各像素之變形量(D)進行預測。
變形修正部5基於由變形預測部4預測出之變形量，修正預測圖像i 3(第1預測圖像)。例如，於假定修正圖像Y’為由變形修正部5自預測圖像Y以變形量(D)變形後之圖像之情形下，Y’之[i,j]像素成為Y之[i+D[i,j,0]，j+D[i,j,1]]像素之資訊。此處，變形量D係具有與預測圖像Y相同之高度及寬度之雙通道圖像，各通道具有在各圖像座標之高度方向、寬度方向之變形量。於D[i,j]非為整數之情形下，以雙線性取樣等方法產生修正圖像Y’。修正圖像6係基於變形預測部4預測出之變形量，將預測圖像i 3以電路圖案形狀與低畫質圖像j 10一致之方式進行變形修正後之圖像。
又，變形修正部5不僅預測因攝像損傷所致之電路變形，而且可預測每次攝像之視野偏移及亮度變化。其等可藉由利用圖像間之匹配實現之位置修正及亮度值分佈之變化之修正而進行。
畫質改善誤差評估部7評估由變形修正部5變形修正後之修正圖像6(第1預測圖像)與低畫質圖像j 10(第2低畫質圖像)之誤差。畫質改善誤差評估部7所利用之誤差函數或損失函數例如為絕對誤差、平方誤差、或基於高斯分佈、帕松分佈、伽瑪分佈等之似然函數。
畫質改善參數更新部8基於在畫質改善誤差評估部7之評估結果，以由變形修正部5修正後之修正圖像6(第1預測圖像)與低畫質圖像j 10(第2低畫質圖像)之損失函數之評估變小之方式，更新在畫質改善部2之畫質改善模型之參數而將其最佳化。該更新藉由例如隨機梯度下降法而進行。又，於畫質改善誤差評估部7及畫質改善參數更新部8用於誤差評估之誤差函數或損失函數可利用第1預測圖像與第2低畫質圖像以外之組合而計算出。例如，可利用第1預測圖像與對第2低畫質圖像應用畫質改善處理後之第2預測圖像，而計算出損失函數。
又，由於自第1低畫質圖像對第2低畫質圖像之變形修正為可逆，故變形修正部5進行之變形修正可對於第2低畫質圖像或第2預測圖像進行。即，於攝像損傷之修正之情形下，在對於第1低畫質圖像發生將電路減細之損傷時，可進行將第2低畫質圖像或第2預測圖像之電路增粗之修正，對於視野偏移及亮度值分佈之變化亦同樣，可進行成為可逆之位置修正及亮度值修正。
又，於畫質改善誤差評估部7及畫質改善參數更新部8用於誤差評估之誤差函數或損失函數可利用第1預測圖像與第1低畫質圖像之組合而計算出。該情形下，可不實施變形修正部5所進行之變形修正。
又，於畫質改善誤差評估部7及畫質改善參數更新部8用於誤差評估之誤差函數或損失函數可藉由前述誤差函數或損失函數之組合或加權平均而求得。
於圖3中顯示將圖2中所說明之畫質改善系統1搭載於檢查裝置16之情形之具體的系統構成例。
檢查裝置16基於攝像條目15，取得拍攝到試料14(例如半導體晶圓)之同一部位之複數張(n張)低畫質圖像17。
畫質改善系統1具備圖像資料庫(DB)13、計算機11、及學習結果資料庫(DB)12而構成。
於圖像資料庫(DB)13中儲存2張以上之無積算圖像行及攝像條件。
於學習結果資料庫(DB)12中保存由計算機11予以學習處理之畫質改善模型。此外，於圖3中顯示學習結果資料庫(DB)12包含於畫質改善系統1而構成之例，但可經由集中監理系統等外置而構成。
計算機11基於拍攝到之低畫質圖像17、與自圖像資料庫(DB)13讀出之資訊，進行畫質改善模型之學習處理，且輸出畫質改善圖像18。
利用圖4及圖5，說明上述所說明之畫質改善系統1所進行之代表性處理(畫質改善方法)。圖4係顯示本實施例之畫質改善方法之學習階段之處理之流程圖。
首先，於步驟S101中，基於攝像條目15，檢查裝置16自1張以上之試料14對1個以上之攝像點取得2張以上之檢查圖像(低畫質圖像17)，並儲存於圖像資料庫(DB)13。
其次，於步驟S102中，計算機11開始畫質改善模型之學習處理。
繼而，於步驟S103中，計算機11自圖像資料庫(DB)13取得2張以上之同一晶圓、同一攝像點之檢查圖像。
其次，於步驟S104中，計算機11對取得之檢查圖像應用畫質改善模型，取得對於各檢查圖像之預測圖像。
繼而，於步驟S105中，變形預測部4對預測圖像間之變形量進行預測。
其次，於步驟S106中，變形修正部5基於預測出之變形量，將任意之預測圖像以成為對於不同之檢查圖像之預測圖像之方式變形，產生修正圖像。
繼而，於步驟S107中，畫質改善誤差評估部7利用修正圖像與成為修正對象之檢查圖像，評估畫質改善之誤差。此處，修正圖像係圖2之修正圖像6，成為修正對象之檢查圖像係圖2之低畫質圖像10。
其次，於步驟S108中，畫質改善參數更新部8以減小畫質改善誤差之方式更新畫質改善模型之參數。
繼而，於步驟S109中，判定是否達到學習之結束條件，於判定為已達到學習之結束條件時(是)，移至步驟S110，計算機11將畫質改善模型保存於學習結果資料庫(DB)12，且結束學習處理。另一方面，於判定為未達到學習之結束條件時(否)，返回步驟S103，再次執行步驟S103以後之處理。
圖5係顯示本實施例之畫質改善方法之推論階段之處理之流程圖。
首先，於步驟S201中，基於攝像條目15，檢查裝置16自試料14對1個以上之攝像點取得1片以上之檢查圖像。
其次，於步驟S202中，計算機11自學習結果資料庫(DB)12讀入畫質改善模型。
最後，於步驟S203中，計算機11將畫質改善模型應用於檢查圖像，且輸出畫質改善圖像。
圖6係顯示本實施例之變形預測部之構成之方塊圖。如圖6所示，變形預測部21基於預先保存於變形量資料庫(DB)19之變形量資料，對預測圖像i 20之變形量進行預測，且輸出變形量i 22。
一般而言，於電路圖案發生之變形係於電路端部發生。又，變形於將電路圖案減細之方向發生。因此，變形預測部21自預測圖像i 20擷取電路圖案之邊緣，求得如圖案變細之變形量。圖6之變形預測部21具有邊緣方向檢測部及變形量產生部。邊緣方向檢測部檢測圖案之邊緣，將對於每一邊緣之往向圖案中心之方向作為邊緣方向予以檢測。之後，變形量產生部基於邊緣方向檢測部檢測到之邊緣方向，產生變形量。此處產生之變形量參照在變形量DB 19中保存之就攝像條件之每一者發生之變形量，求得相當於輸入圖像之變形量，對各邊緣之區域賦予變形量，以與預測圖像i 20相同之高度及寬度成為雙通道之圖像。又，儲存於變形量DB 19之變形量資料可為不僅依存於攝像條件而且亦依存於邊緣形狀者。
利用圖7A及圖7B，說明本發明之效果。圖7A係概念性顯示本發明之攝像次數與精度之關係之圖，圖7B係概念性顯示先前技術之攝像次數與精度之關係之圖。
如圖7B所示，於如例如上述專利文獻1之先前技術中，於試料難以變形(收縮)之情形下，每當攝像次數增加時，成為教學圖像之高畫質圖像之畫質提高，伴隨於其，檢查、計測裝置之精度亦提高。另一方面，於試料容易變形(收縮)之情形下，由於每當攝像次數增加時，試料變形(收縮)，故難以製作適切之教學圖像(高畫質圖像)，包含試料之變形資訊而進行藉由畫質改善圖像而進行之檢查、計測，檢查、計測裝置之精度降低。對此，如圖7A所示，於本發明中，由於對於在攝像中形狀容易變形(收縮)之試料，亦可製作適切之教學圖像(變形修正圖像)，藉由該教學圖像(變形修正圖像)，可進行適切之學習，故可不拘於攝像次數而擔保穩定之檢查、計測裝置之精度。
利用圖8及圖9，說明畫質改善系統1之控制所利用之輸入輸出裝置GUI(Graphical User Interface，圖形使用者介面)之具體例。圖8係顯示學習用GUI之圖，圖9係顯示推論用GUI之圖。
如圖8所示，於學習用GUI中設定(1)學習資料選擇部、(2)評估資料選擇部、(3)學習條件設定部、(4)學習模型選擇部、(5)學習結果確認部、及(6)學習指示部等。
(5)於學習結果確認部中，例如設定圖像確認部及結果確認部。於圖像確認部中，藉由將畫質改善前之低畫質圖像與畫質改善後之畫質改善圖像排列顯示，而作業者可一面確認畫質改善系統1所進行之畫質改善之效果，一面推進作業。
(3)於學習條件設定部中設定：畫質改善部2所利用之CNN之構成、利用之損失函數與用於加權平均之係數、學習次數及學習率等之學習計劃表等。又，於進行變形修正之情行下，此處，可指定用於變形修正之資料庫。
(4)於學習模型選擇部中，選擇進行或不進行變形修正。例如，對於難以變形之試料，亦可設為不進行變形修正。
如圖9所示，於推論用GUI中設定(1)推論資料選擇部、(2)學習模型選擇部、(3)推論執行部、(4)推論結果確認部、(5)後處理結果確認部、及(6)變形量確認部等。
(4)於推論結果確認部中，例如，將畫質改善前之低畫質圖像與畫質改善後之畫質改善圖像排列顯示。 (5)於後處理結果確認部中，例如，顯示對畫質改善前之低畫質圖像與畫質改善後之畫質改善圖像分別應用後處理時之結果。此處，後處理為對於攝像圖像之邊緣擷取及特定部位之測長，或為缺陷檢查等。於圖9中例示邊緣檢測。使用者之後藉由處理結果確認部，確認在對應用畫質改善後之圖像應用後處理時是否獲得所期望之結果，藉此，可決定所獲得之畫質改善部之可利用性。 又，(6)於變形量確認部中顯示複數個低畫質圖像與畫質改善圖像，且顯示根據自該等圖像而求得之變形量圖像等。
此外，於本實施例中，顯示了對於畫質改善後之預測圖像應用變形修正之例，但可對於低畫質圖像直接應用，亦可根據對於複數個預測圖像或低畫質圖像應用後之結果以平均處理等產生教學圖像並用於學習。 實施例 2
參照圖10及圖11，針對本發明之實施例2之畫質改善系統及畫質改善方法，進行說明。圖10係顯示本實施例之畫質改善模型學習之構成之方塊圖，相當於實施例1(圖2)之變化例。於本實施例中，就變形預測部不利用變形量DB 19而與畫質改善部26同樣地由CNN構成之點，與實施例1(圖2)不同。其他之基本的構成與實施例1同樣。
如圖10所示，本實施例之畫質改善系統23具備畫質改善部26、變形預測部29、變形修正部30、修正圖像比較部31、畫質改善誤差評估部32、及畫質改善參數更新部33而構成。
所輸入之低畫質圖像行中所含之低畫質圖像i 24(第1低畫質圖像)及與低畫質圖像i 24(第1低畫質圖像)不同之低畫質圖像j 25(第2低畫質圖像)均於畫質改善部26中被應用畫質改善處理，分別製作預測圖像i 27、預測圖像j 28。
預測圖像i 27及預測圖像j 28均被輸入至變形預測部29，變形預測部29預測各預測圖像間之變形量。變形預測部29與畫質改善部26同樣地為CNN，變形預測部29之學習藉由圖11所示之構成而進行。
變形修正部30基於由變形預測部29預測出之各預測圖像間之變形量，修正預測圖像i 27。
修正圖像比較部31將由變形修正部30修正後之修正預測圖像i及修正預測圖像j進行比較。
畫質改善誤差評估部32基於在修正圖像比較部31之比較結果，評估由變形修正部30修正後之修正預測圖像i與修正預測圖像j之誤差。
畫質改善參數更新部33基於在畫質改善誤差評估部32之評估結果，以由變形修正部30修正後之修正預測圖像i與修正預測圖像j之誤差函數之評估變小之方式更新在畫質改善部26之畫質改善模型之參數並將其最佳化。
圖11係顯示本實施例之變形預測部之學習時之構成之方塊圖。如圖11所示，變形預測部37將預測圖像i 35、預測圖像j 36設為輸入，預測變形量i 38。該變形量i 38係變形修正部30所使用之變形量。圖11為用於對用於求得適切之變形量i 38之變形預測部37進行學習之構成。變形預測部37將預測圖像i 35及預測圖像j 36設為輸入，預測變形量i 38。之後，於變形修正部39中，根據預測圖像i 35及變形量i 38將預測圖像i 35以與預測圖像j 36之電路圖案形狀相配之方式進行變形，而取得修正圖像40。之後，變形預測誤差評估部41評估修正圖像40與預測圖像j 36之誤差。此處，評估之誤差例如為絕對誤差、平方誤差、或基於高斯分佈、帕松分佈、伽瑪分佈等之似然函數或庫貝克-李柏資訊量。變形預測部參數更新部42以減小變形預測誤差評估部41預測出之誤差之方式更新變形預測部37之參數。該更新藉由例如隨機梯度下降法而進行。
又，此處進行之預測不僅為與電路圖案形狀相關之變形，而且可與實施例1同樣地進行視野偏移量之預測及亮度值分佈之修正量預測。該情形下，亦以減小因基於預測出之電路圖案形狀之變形、視野偏移量、亮度值分佈之修正量將預測圖像i 35以變形預測部37修正後之修正圖像40與預測圖像j 36所致之誤差函數或損失函數之方式，更新變形預測部37之參數。
又，與實施例1同樣地，此處進行之變形量之預測可為將預測圖像i 35與預測圖像j 36相配之變形，亦可為用於相反地將預測圖像j 36與預測圖像i 35相配之變形。
如此之學習與圖4所示之畫質改善部之學習流程同樣地進行。又，變形預測部37之學習可與畫質改善部同時進行，亦可個別進行。
於利用實施例2所記載之變形預測部37之情形下，可在圖8之(3)學習條件設定部中追加與變形預測部37之學習相關之設定項目。亦即，可追加與變形預測部37之網路構造或損失函數、學習計劃表相關之項目。
此外，本發明並非係限定於上述之實施例者，包含各種變化例。例如，上述之實施例係為了有助於對發明之理解而詳細地說明者，但未必限定為具備所說明之所有構成者。又，可將某一實施例之構成之一部分置換為其他實施例之構成，又，亦可對某一實施例之構成施加其他實施例之構成。又，針對各實施例之構成之一部分，可進行其他構成之追加、削除、置換。
1, 23:畫質改善系統 2, 26:畫質改善部 3, 20, 27, 35:預測圖像i 4, 21, 29, 34, 37:變形預測部 5, 30, 39:變形修正部 6, 31, 40:修正圖像(修正圖像i＞j) 7, 32:畫質改善誤差評估部 8, 33:畫質改善參數更新部 9, 24:低畫質圖像i 10, 25:低畫質圖像j 11:計算機 12:學習結果資料庫(DB) 13:圖像資料庫(DB) 14:試料 15:攝像條目 16:檢查裝置 17:低畫質圖像 18:畫質改善圖像 19:變形量資料庫(DB)/變形量DB 22, 38:變形量i 28, 36:預測圖像j 41:變形預測誤差評估部 42:變形預測部參數更新部
圖1係概念性顯示本發明之畫質改善之圖。 圖2係顯示本發明之實施例1之畫質改善模型學習之構成之方塊圖。 圖3係顯示本發明之實施例1之畫質改善系統之構成之方塊圖。 圖4係顯示本發明之實施例1之畫質改善方法(學習階段)之流程圖。 圖5係顯示本發明之實施例1之畫質改善方法(推論階段)之流程圖。 圖6係顯示圖2之變形預測部之構成之方塊圖。 圖7A係概念性顯示本發明之攝像次數與精度之關係之圖。 圖7B係概念性顯示先前技術之攝像次數與精度之關係之圖。 圖8係顯示本發明之實施例1之學習用GUI之圖。 圖9係顯示本發明之實施例1之推論用GUI之圖。 圖10係顯示本發明之實施例2之畫質改善模型學習之構成之方塊圖。 圖11係顯示圖11之變形預測部之構成之方塊圖。 圖12係概念性顯示先前技術之畫質改善之圖。
1:畫質改善系統
2:畫質改善部
3:預測圖像i
4:變形預測部
5:變形修正部
6:修正圖像(修正圖像i>j)
7:畫質改善誤差評估部
8:畫質改善參數更新部
9:低畫質圖像i
10:低畫質圖像j

Claims (13)

  1. 一種畫質改善系統，其特徵在於進行低畫質圖像之畫質改善，且具備：變形預測部，其預測在所輸入之低畫質圖像行中所含之第1低畫質圖像與跟前述第1低畫質圖像不同之第2低畫質圖像之間發生之變形量；變形修正部，其基於由前述變形預測部預測出之前述變形量，修正對前述第1低畫質圖像應用畫質改善處理而獲得之第1預測圖像、前述第2低畫質圖像、或對前述第2低畫質圖像應用畫質改善處理而獲得之第2預測圖像之任一者；及畫質改善部，其以由前述變形修正部修正後之前述第1預測圖像與前述第2低畫質圖像或前述第2預測圖像之損失函數之評估、或前述第1預測圖像與由前述變形修正部修正後之前述第2低畫質圖像或前述第2預測圖像之損失函數之評估變小之方式，進行學習，藉此可執行抗拍攝間之變形的畫質改善處理。
  2. 如請求項1之畫質改善系統，其中前述變形預測部進行以下內容之任一者，即：利用預先設計之變形量資料庫預測在前述第1低畫質圖像發生之變形量；或將前述第1低畫質圖像或前述第1預測圖像與前述第2低畫質圖像或前述第2預測圖像設為輸入，以減小源自變形修正後之二個輸入之損失函數之評估之方式預測變形量。
  3. 如請求項1之畫質改善系統，其中前述低畫質圖像行係對同一試料之同一部位進行2次以上拍攝所得之圖像行。
  4. 如請求項1之畫質改善系統，其中前述變形預測部基於預先保存於變形量資料庫之變形量資料，預測各預測圖像間之變形量。
  5. 如請求項1之畫質改善系統，其中前述畫質改善部藉由利用CNN(Convolution Neural Network，卷積神經網路)之機器學習，取得對於各低畫質圖像之預測圖像。
  6. 如請求項1之畫質改善系統，其具備：畫質改善誤差評估部，其利用以前述變形修正部修正之修正預測圖像與成為修正對象之低畫質圖像，評估畫質改善之誤差；前述畫質改善誤差評估部利用絕對誤差、平方誤差、或基於高斯分佈、帕松分佈、伽瑪分佈之任一者之似然函數，評估在前述畫質改善部之畫質改善之誤差。
  7. 如請求項6之畫質改善系統，其具備：畫質改善參數更新部，其基於在前述畫質改善誤差評估部之評估結果，更新在前述畫質改善部之畫質改善模型之參數；且 以減小在前述畫質改善部之畫質改善之誤差之方式更新畫質改善模型之參數。
  8. 如請求項1之畫質改善系統，其具備：圖像資料庫，其儲存低畫質圖像行及攝像條件；及計算機，其進行畫質改善模型之學習處理；且前述計算機以前述變形預測部預測在自前述圖像資料庫讀出之低畫質圖像行間發生之變形，基於該預測出之變形量，以前述變形修正部修正前述第1預測圖像。
  9. 一種畫質改善方法，其包含以下之步驟，即：(a)取得複數張檢查圖像之步驟；(b)於前述(a)步驟之後，對取得之檢查圖像應用畫質改善處理，取得對於各檢查圖像之預測圖像之步驟；(c)於前述(b)步驟之後，預測取得之預測圖像間之變形量之步驟；(d)於前述(c)步驟之後，產生基於預測出之變形量將任意之預測圖像以成為對於不同之檢查圖像之預測圖像之方式變形後之修正預測圖像之步驟；(e)於前述(d)步驟之後，利用產生之修正預測圖像與成為修正對象之檢查圖像，評估畫質改善之誤差之步驟；及(f)於前述(e)步驟之後，以減小評估出之畫質改善之誤差之方式更新畫質改善處理之參數之步驟。
  10. 如請求項9之畫質改善方法，其中於前述(a)步驟中，取得2張以上之同一試料之同一部位之檢查圖像。
  11. 如請求項9之畫質改善方法，其中於前述(c)步驟中，基於預先保存之變形量資料，對預測圖像間之變形量進行預測。
  12. 如請求項9之畫質改善方法，其中於前述(b)步驟中，藉由利用CNN(Convolution Neural Network，卷積神經網路)之機器學習，取得對於各檢查圖像之預測圖像。
  13. 如請求項9之畫質改善方法，其中於前述(e)步驟中，利用絕對誤差、平方誤差、或基於高斯分佈、帕松分佈、伽瑪分佈之任一者之似然函數，評估畫質改善之誤差。
TW110135557A 2020-09-29 2021-09-24 畫質改善系統及畫質改善方法 TWI788024B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2020/036792 2020-09-29
PCT/JP2020/036792 WO2022070236A1 (ja) 2020-09-29 2020-09-29 画質改善システム及び画質改善方法

Publications (2)

Publication Number Publication Date
TW202213267A TW202213267A (zh) 2022-04-01
TWI788024B true TWI788024B (zh) 2022-12-21

Family

ID=80951471

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110135557A TWI788024B (zh) 2020-09-29 2021-09-24 畫質改善系統及畫質改善方法

Country Status (6)

Country Link
US (1) US20230298137A1 (zh)
JP (1) JP7391235B2 (zh)
KR (1) KR20230045074A (zh)
CN (1) CN116157892A (zh)
TW (1) TWI788024B (zh)
WO (1) WO2022070236A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113769A (ja) * 2017-02-20 2020-07-27 株式会社日立ハイテク 画像推定方法およびシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5813413B2 (ja) * 2011-08-22 2015-11-17 株式会社日立ハイテクノロジーズ シュリンク前形状推定方法およびｃｄ−ｓｅｍ装置
JP6097863B2 (ja) * 2016-05-16 2017-03-15 株式会社日立ハイテクノロジーズ 荷電粒子線装置、試料画像取得方法、およびプログラム記録媒体
JP6805034B2 (ja) * 2017-03-13 2020-12-23 株式会社日立製作所 荷電粒子線装置
JP2019008599A (ja) 2017-06-26 2019-01-17 株式会社 Ｎｇｒ 順伝播型ニューラルネットワークを用いた画像ノイズ低減方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113769A (ja) * 2017-02-20 2020-07-27 株式会社日立ハイテク 画像推定方法およびシステム

Also Published As

Publication number Publication date
TW202213267A (zh) 2022-04-01
KR20230045074A (ko) 2023-04-04
JPWO2022070236A1 (zh) 2022-04-07
WO2022070236A1 (ja) 2022-04-07
CN116157892A (zh) 2023-05-23
US20230298137A1 (en) 2023-09-21
JP7391235B2 (ja) 2023-12-04

Similar Documents

Publication Publication Date Title
JP6668278B2 (ja) 試料観察装置および試料観察方法
US20180025482A1 (en) Method for measuring overlay and measuring apparatus, scanning electron microscope, and gui
JP4554691B2 (ja) 補正パターン画像生成装置、パターン検査装置および補正パターン画像生成方法
JP5771561B2 (ja) 欠陥検査方法および欠陥検査装置
JP5081590B2 (ja) 欠陥観察分類方法及びその装置
US7164127B2 (en) Scanning electron microscope and a method for evaluating accuracy of repeated measurement using the same
US20130271595A1 (en) Circuit pattern inspecting device and inspecting method thereof
KR101764658B1 (ko) 결함 해석 지원 장치, 결함 해석 지원 장치에 의해 실행되는 프로그램 및 결함 해석 시스템
TWI474363B (zh) Pattern evaluation device and pattern evaluation method
JP2006038779A (ja) パターン形状評価方法、評価装置、及び半導体装置の製造方法
US10996569B2 (en) Measurement device, method and display device
US20200258212A1 (en) Error reduction in images which were generated with charged particles and with the aid of machine-learning-based methods
JP6909886B2 (ja) 画像推定方法およびシステム
TWI788024B (zh) 畫質改善系統及畫質改善方法
JP5321775B2 (ja) パターン検査方法およびパターン検査装置
US20110142326A1 (en) Pattern inspection method, pattern inspection apparatus and pattern processing apparatus
JP2018152217A (ja) 荷電粒子線装置
JP4629086B2 (ja) 画像欠陥検査方法および画像欠陥検査装置
US20110024621A1 (en) Scanning electron microscope control device, control method, and program
TWI827393B (zh) 圖像檢查裝置，圖像處理方法
JP4127285B2 (ja) 検査方法及びその装置
KR20190088761A (ko) 웨이퍼 측정 설비, 웨이퍼 측정 시스템 및 이를 이용한 반도체 장치의 제조 방법
TWI845970B (zh) 檢查裝置及計測裝置
US11501950B2 (en) Charged particle beam device
US20220414833A1 (en) Inspection apparatus and measurement apparatus