TW202401358A - 不適合檢測裝置及不適合檢測方法 - Google Patents

Abstract

本發明之不適合檢測部(10)具有：圖像轉換部(12)，其使用學習模型(14)，自輸入之低品質圖像(11)轉換為高品質相當圖像(13)；不適合檢測部(15)，其檢測輸入之低品質圖像(11)與學習模型(14)是否不適合；不適合報告部(16)，其報告檢測出之不適合；及記憶部，其將學習模型(14)之學習階段使用之高品質正解圖像(13B)之評估值之分佈作為模型適合區域，與學習模型(14)建立對應而記憶；不適合檢測部(15)於模型適合區域之範圍內無輸入之低品質圖像(11)之評估值時，判定學習模型(14)為不適合。

Description

不適合檢測裝置及不適合檢測方法

本發明關於一種不適合檢測裝置及不適合檢測方法。

於專利文獻1描述有一種使用機械學習，自低品質圖像轉換為高品質圖像之系統。於專利文獻1所記載之系統中，使用低品質之圖像與高品質之圖像產生機械學習之學習模型。且，於專利文獻1所記載之系統中，使用該學習模型，藉由機械學習將低品質之輸入圖像轉換為高品質之輸出圖像。 [先前技術文獻] [專利文獻]

專利文獻1：國際公開第2021/095256號

[發明所欲解決之問題]

於專利文獻1所記載之系統中，事先按畫質改善之每個目的準備學習模型。例如，若以雜訊去除為目的，則準備與雜訊之大小對應之雜訊去除用之學習模型。或，若為像差改善用，則準備與像差之大小對應之學習模型。 使用者基於進行畫質改善之目的或低品質圖像之畫質之狀態(雜訊或像差之狀況)，選擇使用之學習模型。且，於專利文獻1所記載之系統中，因使用者選擇了視覺上去除雜訊用之學習模型，故容易判定所選擇之學習模型對於雜訊去除是否有效。

另，使用學習模型之圖像轉換處理具有以接近學習模型之學習時使用之教材資料之圖像之方式，對輸入圖像進行轉換之性質。因此，期望如下之作用，即，當對自無雜訊之教材資料學習過之學習模型，輸入有雜訊之輸入圖像時，以接近教材資料之方式，可獲得自輸入圖像去除雜訊後之輸出圖像。

另一方面，有時亦一併發生與學習模型之目的不同之意外之副作用性之圖像轉換處理。例如，在映現於教材資料之被攝體A之形狀或位置、與映現於輸入圖像之被攝體B之形狀或位置大不相同之情形時，輸出圖像之被攝體B以接近被攝體A之方式變形。因此種意外變形，圖像之意義內容改變，例如，對於目測檢查被攝體是正常品還是不良品等之轉換後之圖像之活用場景亦產生影響。此種影響之原因在於原本用於圖像轉換處理之學習模型不適合輸入圖像。

因此，本發明之主要課題在於檢測用於圖像轉換處理之學習模型之不適合。 [解決問題之技術手段]

為了解決上述課題，本發明之不適合檢測裝置具有以下特徵。 本發明之特徵在於具有：圖像轉換部，其使用學習模型，自輸入之轉換前圖像轉換為轉換後圖像； 不適合檢測部，其檢測上述轉換前圖像與上述學習模型是否不適合； 不適合報告部，其報告檢測出之不適合；及 記憶部，其將上述學習模型之學習階段使用之學習用圖像之評估值之分佈作為模型適合區域，與上述學習模型建立對應而記憶；且 上述不適合檢測部於上述模型適合區域之範圍內無上述轉換前圖像之評估值時，判定上述學習模型為不適合。 其他機構予以後述。 [發明之效果]

根據本發明，可檢測用於圖像轉換處理之學習模型之不適合。

參照圖式，對本實施形態之將低品質畫質之圖像轉換為高品質圖像之圖像轉換系統進行說明。 [實施例1]

圖1係顯示拍攝形成為上下2層之半導體之電路圖案之主旨之外觀圖。 於攝影環境31A中，攝影對象為上層電路101與下層電路102藉由蝕刻、添加雜質或形成薄膜而形成為多層構造(此處為上下2層)並一體化之半導體晶圓。電子顯微鏡31自上部(自接近上層電路101之側)照射電子線(圖示之箭頭)拍攝半導體晶圓。攝影環境31A之半導體晶圓係於上層電路101與下層電路102之間未產生位置偏移之正常品。

於攝影環境31B中，攝影對象為形成上層電路101與下層電路102並將其一體化之半導體晶圓。攝影環境31B之上層電路101以相對於下層電路102稍微向左側位置偏移之狀態形成。因此，於攝影環境31B中，必須自電子顯微鏡31之攝影圖像檢測出半導體晶圓為不良品。 於攝影環境31C中，上層電路101亦以相對於下層電路102稍微向右側位置偏移之狀態形成。因此，攝影環境31C中，亦必須自電子顯微鏡31之攝影圖像檢測出半導體晶圓為不良品。

圖2係於圖1之半導體晶圓上形成之電路圖案之說明圖。 於上層電路101及下層電路102，藉由對各層之每一者使用遮罩而形成電路圖案。為了便於說明起見，上層電路101之電路圖案101p於上下方向上稍長於下層電路102之電路圖案102p。 另，實際上，雖形成於1片半導體晶圓之電路圖案存在多個，但於圖2中為了說明特意圖示少量之電路圖案。

圖3係顯示自圖2之半導體晶圓求出之偏移量之說明圖。 攝影圖像111～114顯示形成上層電路101與下層電路102並將其一體化之半導體晶圓之攝影圖像之一部分(圖3係大致之圖，抽出重合後之電路圖案之一部分並放大顯示)。如圖1所示，因電子顯微鏡31之電子線通過近前側之上層電路101、與深側之下層電路102，故雙方之電路圖案映現於攝影圖像。 例如，於攝影圖像111～114，第1電路圖案(電路圖案102p之1者)、第2電路圖案101p(電路圖案101p之1者)、第3電路圖案102p(電路圖案102p之1者)分別自左起依序排列於左右方向而予以拍攝。

攝影圖像111、112係未產生位置偏移之正常品之攝影圖像，第1、第2、第3電路圖案於左右方向空出相等之距離d排列。即，將該距離d設為基準時之偏移量=0。 攝影圖像111係除電路圖案外，解析度粗糙且包含白色雜訊(雜訊雜音)或失真等之低品質圖像(於圖示中，以陰影表現白色雜訊)。 攝影圖像112係解析度較高，雜訊雜音或失真較少之高品質圖像，雖為與攝影圖像111相同之電路圖案之配置，但未拍攝到白色雜訊。 此處，學習用配對圖像意指成為供學習模型14學習時之教材之圖像配對，配對之一者成為向學習模型14之輸入資料，配對之另一者成為學習模型14之輸出資料。例如，當輸入如攝影圖像111般之低品質圖像時，進行雜訊雜音之圖像轉換處理之學習模型14輸出如攝影圖像112般之高品質圖像。此時，將映現相同之被攝體之攝影圖像111與攝影圖像112之配對設為學習用配對圖像。

以下，於運用學習後之學習模型14時， 學習模型14受理圖像轉換前之攝影圖像113作為輸入資料，將圖像轉換後之攝影圖像114作為輸出資料。 拍攝圖像113係拍攝到產生了位置偏移之不良品之低品質圖像，除無用之白色雜訊外，第2、第3電路圖案之間之距離d+10較拍攝圖像111之距離d空得更大(第2電路圖案向左側偏移量=+10偏移)。 攝影圖像114係藉由對攝影圖像113應用學習模型14而改善畫質後之高品質圖像。作為畫質改善之作用，攝影圖像114將攝影圖像113所含之無用之白色雜訊乾淨地去除。但，作為畫質改善之副作用，攝影圖像114以接近攝影圖像112之電路圖案之位置關係之方式，改變了攝影圖像113內之電路圖案之位置(第2電路圖案向左側偏移量=+3偏移)。

即，如學習用配對圖像所示，本來期望於圖像轉換之前後偏移量不發生轉換(未產生誤差)。但，於攝影圖像113內之偏移量=+10、與攝影圖像114內之偏移量=+3之間，產生了10-3=7之誤差。藉此，如以下，圖像判定之結果亦因誤差之影響而產生以下之誤判定。 ·本來，基於攝影圖像113內之「+10」之較大偏移量(閾值=5以上之偏移量)，可將拍攝到之半導體晶圓正確判定為不良品。 ·但，基於攝影圖像114內之「+3」之較小偏移量(閾值=5以下之偏移量)，將拍攝到之半導體晶圓誤辨識為正常品。

如以上說明般，於製作學習模型14時使用偏移量較少之攝影圖像112進行學習之情形時，除圖像之雜訊去以外，亦學習了電路圖案之配置資訊。因此，認為於被輸入偏移量較大之攝影圖像113之情形時，進行接近學習時所學習之攝影圖像112之配置資訊之處理，而輸出攝影圖像114。 雖圖像之雜訊去除為有效提高測量精度之圖像轉換，但此種電路圖案之移動係使測量精度下降之不適當之圖像轉換。將進行此種不適當之圖像轉換之學習模型設為「學習模型不適合」。

學習模型不適合係即使目測確認攝影圖像114亦無法判別，圖像之雜訊去除正常進行，且無法判別電路圖案之移動是本來移動(產生偏移)，還是起因於學習模型不適合之移動。因此，需要一種檢測學習模型不適合並報告不適合之結構。 即，攝影圖像114本身藉由去除白色雜訊而改善畫質，檢查者以目測難以注意到內含於攝影圖像114之偏移量之誤差(電路圖案之位置改變)。因此，圖4以後說明之本實施形態之不適合檢測部10藉由將偏移量之誤差作為學習模型14之不適合檢測，並將該檢測結果通知檢查者，而使檢查者掌握目測攝影圖像時未注意之問題。

圖4係將低品質畫質之圖像轉換為高品質圖像之圖像轉換系統之構成圖。 圖像轉換系統具有不適合檢測部10、不適合對策部20、攝像裝置30、圖像利用部40及控制顯示部50。 不適合檢測部10檢測用於畫質改善處理等之圖像轉換處理之機械學習中之學習模型14之不適合。不適合檢測部10之圖像轉換部12使用學習模型14將低品質圖像11轉換為高品質圖像。該轉換後之高品質圖像用於圖像觀察或圖像測量。一般而言，為了拍攝高品質圖像，使用如下之攝影條件。 ·延長攝像時間。 ·拍攝複數張短時間曝光圖像，求出其累計平均值。 ·照射較強之照明光。

然而，亦存在於此種攝影條件下無法拍攝之攝像裝置30。例如，作為攝像裝置30，舉電子顯微鏡31或X射線斷層攝影裝置32等。電子顯微鏡31將電子線照射至觀察物(例如半導體晶圓)，觀察於晶圓上形成之電路圖案之狀況。 有因電子線照射而對電路圖案造成損傷，導致電路圖案變細之情形(收縮)。造成收縮之原因在於長時間曝光(亦包含拍攝複數張短時間曝光圖像)或較高之加速電壓。因此，無法高頻率地拍攝高品質圖像。

於X射線斷層攝影裝置32中亦產生與電子顯微鏡31同樣之問題。X射線斷層攝影裝置32對人體照射X射線並拍攝。藉由長時間之照射或增強X射線強度，可拍攝高品質圖像。然而，因這會招致X射線照射劑量增加，故此種方法之高品質圖像之拍攝較難。因此，為了將對被攝體之損傷最小限度化，較佳為拍攝低品質圖像11。 如此，自攝像裝置30拍攝之低品質圖像11蓄積於攝像圖像蓄積部33。且，圖像轉換部12自攝像圖像蓄積部33內之低品質圖像11轉換為高品質相當圖像13(具有相當於高品質之圖像之畫質之圖像)。另，雖已以經由攝像圖像蓄積部33向不適合檢測部10輸入低品質圖像11之構成進行說明，但亦可自攝像裝置30直接輸入至不適合檢測部10。

自不適合檢測部10輸出之高品質相當圖像13被輸入至圖像利用部40。 圖像利用部40具有圖像觀察處理部41、圖像測量處理部42及圖像分類處理部43。 圖像觀察處理部41為了觀察輸入圖像而進行放大縮小等之各種圖像處理。 圖像測量處理部42使用圖像處理測量形狀之大小。例如，圖像測量處理部42使用轉換後之高品質相當圖像13進行圖像處理，於圖2之上層電路101之電路圖案101p、與下層電路102之電路圖案102p分別抽出邊緣部分。且，圖像測量處理部42抽出圖3所示之邊緣間之距離d。

圖像分類處理部43處理將輸入圖像分類為何種物體。又，雖無其他圖示，但圖像利用部40進行將圖像之區域分類之圖像之分割處理等如低品質圖像11中處理性能下降般之處理領域之圖像處理。 控制顯示部50進行圖像利用部40之各種控制或處理結果之顯示。

圖5係不適合檢測部10之構成圖。 不適合檢測部10具有圖像轉換部12與不適合檢測部15。不適合檢測部10記憶低品質圖像11(於圖3中為攝影圖像113)、高品質相當圖像13(於圖3中為攝影圖像114)、及學習模型14。 圖像轉換部12使用學習模型14，自輸入之由攝像裝置30拍攝之低品質圖像11輸出高品質相當圖像13。學習模型14例如為CNN(Convolutional Neural Network：卷積神經網路)等之機械學習之模型。CNN係使用學習模型14將低品質圖像11轉換為高品質相當圖像13之機構。

不適合檢測部15檢測作為圖像轉換部12之處理對象輸入之低品質圖像11、與學習模型14是否不適合。另，作為用於由不適合檢測部15檢測不適合之資訊，將表示學習模型14之學習過程使用之學習用配對圖像之評估值(偏移量等)之模型適合區域之資訊，按照每個學習模型14建立對應而登錄於不適合檢測部10之記憶部。模型適合區域之資訊例如表現為學習時使用之學習用配對圖像之偏移量之區間。 且，不適合檢測部15於模型適合區域之範圍內無輸入之低品質圖像11之評估值時，判定學習模型14為不適合。 不適合報告部16將用於轉換處理之學習模型14不適合圖像轉換部12之處理對象之低品質圖像11之主旨，作為不適合檢測部15之檢測結果，以畫面顯示或聲音等之提示方法報告給檢查者。

圖6係模型學習部10B之構成圖。 模型學習部10B具有圖像轉換部12與權重修正部12B。不適合檢測部10記憶低品質圖像11(圖3中為攝影圖像111)、高品質相當圖像13(圖3中為攝影圖像112)、高品質正解圖像13B及學習模型14。 對低品質圖像11而言，高品質正解圖像13B係畫質改善之目標(正解)之高品質之圖像。高品質正解圖像13B於半導體晶圓之情形時，考慮使用測試用晶圓，或者，於X射線之情形時，考慮利用模擬人體之X射線攝影體模等。 高品質正解圖像13B係與低品質圖像11成對之學習用配對圖像，係與低品質圖像11相同位置之相同畫角之圖像。 另，高品質正解圖像13B之攝影條件之電子射線或X射線之照射量較低品質圖像11之攝影條件增加。只要一旦產生學習模型14，則於其他低品質圖像11之圖像轉換時，無需高品質正解圖像13B。

權重修正部12B以高品質相當圖像13之畫質接近高品質正解圖像13B之方式，修正學習模型14之權重。學習模型14之權重例如為CNN網路之權重係數。因此，於初始狀態下，學習模型14之權重為未做任何設定之狀態。因此，於由圖像轉換部12將低品質圖像11進行圖像轉換後之高品質相當圖像13、與高品質正解圖像13B之間產生偏移。 權重修正部12B算出修正量進行學習模型14之修正，且該修正量修正用於對該偏移量進行偏移修正之學習模型14之權重係數。 模型學習部10B將學習模型14之學習階段使用之學習用圖像之評估值之分佈作為模型適合區域，與學習模型14建立對應而記憶於記憶部。

權重修正部12B之權重修正處理使用複數個學習用配對圖像重複，於權重修正量減少之時點結束。於權重修正處理之結束時點，將高品質相當圖像13與高品質正解圖像13B之偏移最小化。圖像轉換部12藉由使用權重修正處理之結束時點之學習模型14，可自低品質圖像11產生接近高品質正解圖像13B之畫質之高品質相當圖像13。

圖7係顯示不適合檢測部10之處理流程之流程圖。 圖像轉換部12自攝像圖像蓄積部33(圖像用多維收取資料DB(Data Base：資料庫))取得成為處理對象之低品質圖像11(S11)。另，圖像轉換部12亦可自攝像裝置30直接入手低品質圖像11。 圖像轉換部12使用學習模型14，自取得之低品質圖像11取得(圖像轉換)高品質相當圖像13(S12)。 圖像測量處理部42藉由使用取得之低品質圖像11進行於圖4說明之圖像測量處理，計算上下層之偏移量(S13)。

不適合檢測部15取得登錄於學習模型14之DB之模型適合區域之資訊(S14)。 不適合檢測部15藉由判定S13中計算出之低品質圖像11之偏移量是否為學習模型14之模型適合區域之區間內(S15)，而將模型適合區域之區間外之學習模型14視為學習模型不適合。 若於S15為是(Yes)，則不適合檢測部15經由不適合報告部16報告S15之學習模型14之不適合(S16)。進而，不適合對策部20亦可執行不適合之對策(S17)。另一方面，若於S15為否(No)，則輸出偏移量(S18)。

以下，說明學習模型不適合之判定處理(S15)之一例。 圖8係顯示模型適合區域之區間定義方法之圖。以下，圖示出2種定義方法。 區間定義方法121將學習時使用之學習用配對圖像之偏移量之區間直接定義為模型適合區域。於圖8之例中，模型適合區域成為偏移量為-5～+5之第1區間([-5，5])、與偏移量為+15～+20之第2區間([15，20])之和集合。於圖8中，以標註有陰影之柱形圖來表現區間內。

區間定義方法122定義出考慮到圖3說明之偏移量彼此之誤差之模型適合區域。 為了提高模型適合區域之可靠性而考慮該誤差，期望按每個區間(於第1區間與第2區間)，將區間之兩端朝向區間之內側縮小。作為縮小之量，可使用誤差之標準差3σ等。3σ為99.7%之可靠區間。即，區間定義方法121之模型適合區域中之邊界附近之值於區間定義方法122中為模型適合區域外之概率為0.3%(=100-99.7)。如此，可進行提高可靠度之模型適合區域之定義。

圖9係顯示模型適合區域之設定方法之一例之圖。 說明模型適合區域之區間之設定方法。各圖表131、132之橫軸表示偏移量。 圖表131以黑點表示某學習用配對圖像中之高品質正解圖像13B之偏移量之值，以山形曲線表示該偏移量之影響曲線。由實驗等求出計算影響曲線所使用之函數或緩坡之寬度等。學習用配對圖像有多個，相對於偏移量之分佈密度亦不同。 於曲線131之縱軸記載有判定學習用配對圖像之偏移量之影響之閾值。若影響曲線為該閾值以上，則判定為模型適合區域。於圖9中，將第1區間([-35，-25])、第2區間([-20，+5])、及第3區間([+10，+25])分別判定為模型適合區域內之區間。 圖表132顯示判定為模型適合區域之部分。於考慮可靠性等之情形時，基於圖表132之模型適合區域，使用由圖8之區間定義方法122說明之方法，進行模型適合區域之縮小處理即可。

說明作為模型適合區域之資料格式之表現方法(區域表現方法)之例。 圖10係顯示區域表現方法之第1例之表格。 於該表格中，以起點、終點之偏移量表現圖9中求出之模型適合區域之值。於該情形時，不適合檢測部15之學習模型不適合判定處理只要按各項號(#)，執行低品質圖像11之偏移量是否進入模型適合區域內之判定處理(S15)即可。

圖11係顯示區域表現方法之第2例之表格。 於該表格中，按每個模型適合區域之識別碼(表格之左行)，設立是(=1)否(=0)為模型適合區域之標誌(右行)。 模型適合區域之識別碼雖為1個值，但作為識別具有寬度之各模型適合區域之識別碼處理。例如表格中記載之識別碼「-10」表示模型適合區域為[-10，-5)。符號[包含邊界，符號)不包含邊界。於該例中，將模型適合區域之量化設為5，將開始點之偏移量設為其識別碼。又，模型學習部10B藉由變更量化數，可變更模型適合區域之分解能。

於使用圖11之表格之情形時，不適合檢測部15之學習模型不適合判定處理(S15)只要判斷低品質圖像11之偏移量屬於哪個模型適合區域內(表格之左行)，並參照所屬表格之右行之標誌即可，若標誌為1則為模型適合區域，若為0則非模型適合區域。 例如，於低品質圖像11之偏移量為16之值之情形時，因包含於模型適合區域[15，20)，故不適合檢測部15設為區域識別碼「15」。且，不適合檢測部15藉由自圖11之表格參照區域識別碼「15」→標誌「0」，而判斷為模型不適合。

另，圖11之表現方法容易多維化。至此，僅將橫向之偏移量設為模型適合區域之對象。實際上亦產生縱向之偏移量，亦產生與偏移量完全不同之例如因電子顯微鏡31之加速電壓不同引起之畫質之變化等。必須按各個要素之每一者進行使用學習用配對圖像之學習。

圖12係顯示將圖11之表格擴展為2維要素之區域表現方法之第3例之表格。另，於圖11之表格中將識別碼之範圍設為-10至40，而於圖12之表格中將識別碼之範圍設為-20至30。 於圖12之表格中，顯示橫向之項目表示橫向之偏移量之模型適合區域之識別碼，顯示縱向之項目表示縱向之偏移量之模型適合區域之識別碼。橫向之項目與縱向之項目交叉之單元內部之數值於模型適合區域之情形以1表示，於非模型適合區域之情形以0表示。於該例中，顯示出橫向之偏移量[0，20)是模型適合區域，縱向之偏移量[0，10)是模型適合區域。 於使用圖12之表格之情形時，不適合檢測部15之學習模型不適合判定處理(S15)只要判斷低品質圖像11之各要素之偏移量屬於表格內哪個單元，並參照所屬之單元內部之數值即可。

圖13係顯示存儲有目錄名之變化例之圖表，且該目錄名於圖12之表格之單元值存儲有學習用配對圖像。單元內部之文字串於非模型適合區域之情形以0表示，於是顯示模型適合區域之情形以0以外者表示。

圖14係顯示將圖11之表格擴展為3維要素之區域表現方法之第4例之資料構造。 圖14之X軸表量示橫向之偏移，Y軸表示縱向之偏移量，Z軸表示加速電壓。另，雖無法圖示3維以上之表現，但區域表現方法可擴展至n維。 於使用圖14之資料構造之情形時，不適合檢測部15之學習模型不適合判定處理(S15)判斷低品質圖像11之橫向之偏移量、縱向之偏移量、及加速電壓之組合屬於表格內之哪個單元，並參照所屬之單元內部之數值(省略圖示)即可。 根據實施例1，可檢測學習模型不適合處理對象圖像，可報告測量結果之誤差較大。

圖15係不適合對策部20之構成圖。 不適合對策部20具有對策方法搜索部22、對策方法提示部23、再學習資料輸入部24、使用模型變更部25、既存模型再學習部26及新模型學習部27。不適合對策部20記憶對策方法DB21。以下，參照圖16，對不適合對策部20之細節進行說明。

圖16係顯示不適合之對策處理(S17)之具體處理之流程圖。 於該流程圖中，說明不經由操作者之對策處理，隨後說明經由操作者之變化例。 使用模型變更部25搜索可處理偏移量之另外之模型(S171)。使用模型變更部25判定S171之搜索是否成功，可否發現另外之模型(S172)。若於S172為是，則使用模型變更部25將使用模型自當前之不適合模型變更為發現之另外之模型(S173)。使用模型意指圖像轉換部12於轉換處理使用之學習模型14。 即，使用模型變更部25於不適合檢測部15檢測出不適合之情形時，自不適合對策部20之記憶部搜索與適合輸入之低品質圖像11之評估值之模型適合區域對應之另外之學習模型14，以於輸入之低品質圖像11之轉換處理使用另外之學習模型14之方式，控制圖像轉換部12。 藉此，圖像轉換部12可基於S173中變更之適合處理對象之低品質圖像11之學習模型14，執行適當之(誤差較少)圖像轉換處理。

若於S172為否，則對策方法搜索部22自學習模型14之DB取得可再學習之既存之學習模型(S174)。S174中取得者可為當前之不適合模型，亦可為既存之另外之學習模型。對策方法搜索部22判斷S174之既存之學習模型之取得是否成功(S175)。 若於S175為是，則既存模型再學習部26對既存模型進行再學習(S176)。即，既存模型再學習部26於不適合檢測部15檢測出不適合之情形時，藉由對該不適合之學習模型14，基於追加之高品質正解圖像13B進行再學習，擴展學習模型14之模型適合區域。 若於S175為否，則新模型學習部27學習新模型(S177)。

因此，再學習資料輸入部24入手用於既存模型再學習部26之再學習處理(S176)、或新模型學習部27之學習處理(S177)之教材資料之高品質圖像。另，既存模型為已進行1次以上之學習之模型，其之模型適合區域亦包含1個以上之區間。另一方面，新模型意指未進行學習之初始狀態之模型，其之模型適合區域亦不包含區間。

圖17係顯示圖15之不適合對策部20之變化例之構成圖。 於圖17中，代替再學習資料輸入部24，具備再學習資料收集部24b。再學習資料收集部24b藉由執行依照編程後之攝像裝置30之動作順序之自動運轉，不經由操作者之操作而入手高品質圖像。 即，再學習資料收集部24b藉由依照事先設定之動作程序使攝像裝置30動作，而受理所拍攝之追加之高品質正解圖像13B之輸入。又，再學習資料收集部24b亦可與圖16之其他處理同樣地執行自動運轉。

又，對策方法提示部23亦可向使用者提示對策方法搜索部22自對策方法DB21搜索到之以下3種對策方法、或該對策方法所需之作業順序，並讓使用者選擇採用何種對策方法。因此，對策方法DB21中，登錄有於不適合報告部16判斷為模型不適合之情形時，顯示接下來進行何種作業較好之資訊。 (對策方法1)由使用模型變更部25變更使用模型(S173)。對策方法提示部23亦可顯示變更之使用模型之候補，確定操作者按下確認按鈕等而取得確認之使用模型之候補。

(對策方法2)由既存模型再學習部26再學習既存模型(S176，於實施例2說明細節)。另，於進行再學習之情形時，作為學習資料，需要拍攝高品質圖像。高品質圖像之拍攝必須以與通常之拍攝(低品質圖像11之拍攝)不同之作業順序進行。因此，對策方法提示部23亦可使作業者容易理解地於畫面顯示該作業順序(配方)，進行操作之支持。因此，於對策方法DB21中，例如存儲用於進行「為了拍攝高品質圖像，請對被攝體照射強光」等之再學習之追加之高品質正解圖像13B之拍攝方法等。該對策方法DB21之存儲內容係顯示於作業者之畫面之各種訊息。 (對策方法3)由新模型學習部27學習新模型(S177)。與(對策方法2)同樣，對策方法提示部23亦可使作業者容易理解地於畫面顯示作業順序(配方)。

圖18係圖像轉換系統之硬體構成圖。 圖像轉換系統之各處理部(不適合檢測部10、不適合報告部16、不適合對策部20、圖像利用部40及控制顯示部50)構成為具有CPU(Central Processing Unit：中央處理單元)901、RAM(Random Access Memory：隨機存取記憶體)902、ROM(Read Only Memory：唯讀記憶體)903、HDD(Hard Disc Drive：硬碟機)904、通信I/F(Interface：介面)905、輸入輸出I/F906、媒體I/F907之電腦900。HDD904例如由蓄積學習模型14之記憶裝置構成。 通信I/F905與外部通信裝置915連接。輸入輸出I/F906與輸入輸出裝置916連接。媒體I/F907自記錄媒體917讀寫資料。此外，CPU901藉由執行讀入至RAM902之程式(亦稱為應用程式、或其之簡稱之應用)，控制各處理部。且，該程式亦可經由通信線路分配，或記錄於CD-ROM(Compact Disk-Read Only Memory：光碟唯讀記憶體)等之記錄媒體917而分配。 另，圖像轉換系統之各處理部只要為可進行圖像之運算處理之硬體，則可為任意器材。例如，可為如電腦等之CPU或GPU(Graphics Processing Unit：圖形處理單元)等之運算處理裝置、搭載HDD等之記憶裝置並進行運算處理之裝置，亦可使用能對邏輯運算電路進行編程之FPGA(field-programmable gate array：場可程式化閘陣列)等，又可製作專用之硬體。 [實施例2]

於實施例2中，說明既存模型再學習部26之既存模型之再學習處理(S176)之細節。作為再學習處理之一例，描述一種進行使用通常使用之微調之學習模型之調整處理，一面使學習模型適合，一面擴展模型適合區域之方法。於微調中，將既存模型作為學習前之狀態使用。學習使用之學習用配對圖像係於製作既存模型時使用之(已登錄至模型適合區域之)學習用配對圖像、與擴展模型適合區域之區域之(登錄至模型適合區域之前之)學習用配對圖像兩者。

藉由使用兩者之學習用配對圖像，產生適合初始狀態之學習模型所覆蓋之模型適合區域、與追加之模型適合區域兩者之學習模型。另，因擴展區域亦需要學習用配對圖像，故除低品質圖像11外，亦需要高品質正解圖像13B。因此，產生高品質正解圖像13B之攝像作業。微調與將未進行任何學習之學習模型作為初始狀態進行學習之情形相比，可非常高速地產生模型，有效提高處理之產能。 又，微調亦適於製作將以雜訊去除為目的之已學習之學習模型作為初始狀態，使用以像差改善為目的之學習用配對圖像進行學習等而將複數個目復合的學習模型。即，再學習後之學習模型例如可執行改善雜訊去除與像差兩者之圖像轉換處理。

圖19係顯示對於與圖11相同之表現方法即模型適合區域之表格，藉由再學習使表格內之數值變化之狀況之說明圖。 圖19之表格係將初始狀態之初始學習模型(第1行～第3行)、顯示第1次再學習之結果之模型(第4、5行)、顯示第2次再學習之結果之模型(第6、7行)匯總至1個表格者。因3個模型之模型適合區域之識別碼皆相同，故記載於第1行。 「判定」之第2、4、6行係是(=1)否(=0)為模型適合區域之標誌。 「存儲目的地」之第3、5、7行顯示存儲有進行微調而進行學習模型之調整時使用之學習用配對圖像之目錄名。將進入該目錄之學習用配對圖像作為再學習時之學習資料使用。

初始學習模型顯示模型適合區域[-5，5)，第1次學習之結果擴展至模型適合區域[-15，5)，第2次學習之結果擴展至模型適合區域 [-40，5)。又，第1次學習使用之學習用配對圖像分別存儲於目錄名「A003，A004」。第2次學習使用之學習用配對圖像分別存儲於目錄名「A005～A009」。 例如，於成為新的處理對象之低品質圖像11之偏移量之大小為區域 [-15，-5)之情形時，於初始學習模型中，一部分區間[-15，-5)在區間外不適合，但若使用第1次學習之結果，則全部在區間內為適合。

圖20係顯示圖像轉換部12之處理前(畫質改善前)之低品質圖像11相關之誤差之產生狀況之圖表。 圖21係顯示圖像轉換部12之處理後(畫質改善後)之高品質相當圖像13相關之誤差之產生狀況之圖表。 圖表之橫軸表示使用高品質相當圖像13求出之偏移量。圖表之縱軸表示使用低品質圖像11或高品質相當圖像13求出之偏移量、與使用高品質正解圖像13B求出之偏移量的誤差。又，學習模型14使用上下層之偏移量為-40～+5之偏移量之學習用配對圖像而製作。

為了產生圖20及圖21之圖表而測量之圖像分別為200張。圖21與圖20相比，可知誤差之偏差於總偏移量上變小。誤差之偏差較小意指精度提高，可知能藉由圖像轉換部12謀求提高測量精度。另，將橫軸設為使用高品質相當圖像13求出之偏移量，而非自高品質圖像求出之偏移量之原因在於，於學習模型不適合之判定處理中，因取得高品質圖像之問題所描述之原因，而無法使用高品質圖像。 於圖21中，使用上下層之偏移量為-40～+5之偏移量之學習用配對圖像製作學習模型。上下層之偏移係因任一製造步驟上之問題而產生者，於實際運用時，難以將具有如此廣泛之偏移量之圖像作為學習用配對圖像準備。

圖22係顯示使用將學習用配對圖像之偏移量設為模型適合區域[-5，5)之學習模型進行圖像轉換時之測量誤差之狀況之圖。 於圖22之模型適合區域之區間，誤差之偏差成為與圖21大致同程度之值，可確認測量精度提高。然而，於較模型適合區域更向負側偏移之圖像之情形時，隨著離開模型適合區域，誤差變大。如此，若低品質圖像11之偏移量包含於模型適合區域，則誤差之偏差較少，電路圖案之不適當之移動亦較少。若低品質圖像11之偏移量未包含於模型適合區域，則誤差之偏差較多，電路圖案之不適當之移動亦較多。

圖23係基於第1次學習之結果，顯示誤差之產生狀況之圖表。 模型適合區域自微調擴展至[-15、5)之區間，可知該區間內之誤差(縱軸)變小。基於該學習模型14之模型適合區域[-15、5)，不適合檢測部15判定以後之模型適合。

圖24係基於第2次學習之結果，顯示誤差之產生狀況之圖表。 模型適合區域自微調擴展至[-40，5)之區間，可知幾乎整個區間內之誤差(縱軸)變小。基於該學習模型14之模型適合區域[-40，5)，不適合檢測部15判定以後之模型適合。

另，如圖9所示，入手之學習用配對圖像之偏移量集中於某一處或變粗糙。若多個圖像集中於某模型適合區域之識別碼之區域，則該區域之權重變大，有成為不平衡之再學習之情形。 因此，圖11等之表現模型適合區域之表格之模型適合區域之量化寬度期望恆定化。藉此，藉由將各模型適合區域之學習用配對圖像之圖像數設為恆定，可防止此種不平衡之產生。

以上說明之本實施形態之不適合檢測部10中，由不適合檢測部15進行用於自低品質圖像11轉換為高品質相當圖像13之學習模型14是否適合於低品質圖像11之判斷。不適合報告部16根據不適合檢測部15之判斷，通知因學習模型14不適合輸入資料之低品質圖像11，故高品質相當圖像13未成為目標之高品質圖像。 藉此，即使高品質相當圖像13已改善圖像，但因使用者可掌握模型不適合，故亦可防止基於高品質相當圖像13之圖像內容之誤判。

又，不適合對策部20進行將相當於判斷為學習模型14不適合之輸入資料之低品質圖像11之學習對象圖像，追加至學習資料並進行再學習等之對策。藉此，製作適合低品質圖像11之學習模型14。 如此，藉由將學習模型14進行再學習，可依序擴展與該學習模型14對應之模型適合區域。例如，於學習模型適合雜訊但不適合像差之情形時，既存模型再學習部26可藉由使用雜訊圖像與像差圖像兩者進行再學習，而產生適合該兩者之學習模型14。

另，本發明並非限定於上述實施例者，亦包含各種變化例。例如，上述實施例係為了便於理解地說明本發明而詳細說明者，並非限定於必須具備說明之所有構成者。 又，可將某實施例之構成之一部分置換為其他實施例之構成，又，亦可對某實施例之構成添加其他實施例之構成。 又，對於各實施例之構成之一部分，可進行其他構成之追加、刪除、置換。又，上述之各構成、功能、處理部、處理機構等可藉由以積體電路進行設計等而以硬體實現其等之一部分或全部。 又，上述之各構成、功能等亦可藉由解釋、執行使處理器實現實現各個功能之程式而以軟體實現。

實現各功能之程式、表格、文檔等之資訊可置於記憶體、硬碟、SSD(Solid State Drive：固態硬碟機)等之記錄裝置、或IC(Integrated Circuit：積體電路)卡、SD(Secure digital：安全數位)卡、DVD(Digital Versatile Disc：數位多功能光碟)之記錄媒體。又，亦可活用雲。 又，控制線或資訊線係顯示認為說明上所需者，未必顯示出製品上所有之控制線或資訊線。可認為實際上幾乎所有構成皆相互連接。 再者，連結各裝置之通信機構不限定於無線LAN(Local Area Network：區域網路)，亦可變更為有線LAN或其他通信機構。

10:不適合檢測部(不適合檢測裝置) 10B:模型學習部 11:低品質圖像(轉換前圖像) 12:圖像轉換部 12B:權重修正部 13:高品質相當圖像(轉換後圖像) 13B:高品質正解圖像(學習用圖像) 14:學習模型 15:不適合檢測部 16:不適合報告部 20:不適合對策部(不適合檢測裝置) 21:對策方法DB 22:對策方法搜索部 23:對策方法提示部 24:再學習資料輸入部 24b:再學習資料收集部 25:使用模型變更部 26:既存模型再學習部 27:新模型學習部 30:攝像裝置 31:電子顯微鏡 31A, 31B, 31C:攝影環境 32:X射線斷層攝影裝置 33:攝像圖像蓄積部 40:圖像利用部 41:圖像觀察處理部 42:圖像測量處理部 43:圖像分類處理部 50:控制顯示部 101:上層電路 101p:電路圖案 102:下層電路 102p:電路圖案 111, 112, 113, 114:攝影圖像 121, 122:區間定義方法 131, 132:圖表 900:電腦 901:CPU 902:RAM 903:ROM 904:HDD 905:通信I/F 906:輸入輸出I/F 907:媒體I/F 915:外部通信裝置 916:輸入輸出裝置 917:記錄媒體 d:距離 S11～S18, S171～S177:步驟

圖1係顯示拍攝本實施形態之形成為上下2層之半導體之電路圖案之主旨之外觀圖。 圖2係本實施形態之圖1之半導體晶圓上形成之電路圖案之說明圖。 圖3係顯示自本實施形態之圖2之半導體晶圓求出之偏移量之說明圖。 圖4係本實施形態之將低品質畫質之圖像轉換為高品質圖像之圖像轉換系統中使用之不適合檢測部之構成圖。 圖5係本實施形態之不適合檢測部之構成圖。 圖6係本實施形態之模型學習部之構成圖。 圖7係顯示本實施形態之不適合檢測部之處理流程之流程圖。 圖8係顯示本實施形態之模型適合區域之區間定義方法之圖。以下，圖示出2種定義方法。 圖9係顯示本實施形態之模型適合區域之設定方法之一例之圖。 圖10係顯示本實施形態之區域表現方法之第1例之表格。 圖11係顯示本實施形態之區域表現方法之第2例之表格。 圖12係顯示將本實施形態之圖11之表格擴展為2維要素之區域表現方法之第3例的表格。 圖13係顯示將存儲有學習用配對圖像之目錄名存儲於本實施形態之圖12之表格之單元值之變化例的表格。 圖14顯示將本實施形態之圖11之表格擴展為3維要素之區域表現方法之第4例之資料構造。 圖15係本實施形態之不適合對策部之構成圖。 圖16係顯示本實施形態之不適合對策處理之具體處理之流程圖。 圖17係顯示本實施形態之圖15之不適合對策部之變化例之構成圖。 圖18係顯示本實施形態之圖像轉換系統之硬體構成圖。 圖19係顯示對於與本實施形態之圖11相同之表現方法即模型適合區域之表格，藉由再學習使表格內之數值變化之狀況之說明圖。 圖20係顯示本實施形態之圖像轉換部之處理前(畫質改善前)之低品質圖像相關之誤差之產生狀況之圖表。 圖21係顯示本實施形態之圖像轉換部之處理後(畫質改善後)之高品質相當圖像相關之誤差之產生狀況之圖表。 圖22係顯示使用將本實施形態之學習用配對圖像之偏移量設為模型適合區域[-5，5)之學習模型進行圖像轉換時之測量誤差之狀況之圖。 圖23係基於本實施形態之第1次學習之結果，顯示誤差之產生狀況之圖表。 圖24係基於本實施形態之第2次學習之結果，顯示誤差之產生狀況之圖表。

10:不適合檢測部(不適合檢測裝置)

11:低品質圖像(轉換前圖像)

12:圖像轉換部

13:高品質相當圖像(轉換後圖像)

14:學習模型

15:不適合檢測部

16:不適合報告部

40:圖像利用部

Claims (6)

1. 一種不適合檢測裝置，其特徵在於具有： 圖像轉換部，其使用學習模型，自輸入之轉換前圖像轉換為轉換後圖像； 不適合檢測部，其檢測上述轉換前圖像與上述學習模型是否不適合； 不適合報告部，其報告檢測出之不適合；及 記憶部，其將上述學習模型之學習階段使用之學習用圖像之評估值之分佈作為模型適合區域，與上述學習模型建立對應而記憶；且 上述不適合檢測部於上述模型適合區域之範圍內無上述轉換前圖像之評估值時，判定上述學習模型為不適合。
2. 如請求項1之不適合檢測裝置，其中 上述不適合檢測裝置進而具有使用模型變更部；且 上述使用模型變更部於上述不適合檢測部檢測出不適合之情形時，自上述記憶部搜索與適合上述轉換前圖像之評估值之上述模型適合區域對應之另外之上述學習模型，以將另外之上述學習模型用於上述轉換前圖像之轉換處理之方式，控制上述圖像轉換部。
3. 如請求項1之不適合檢測裝置，其中 上述不適合檢測裝置進而具有既存模型再學習部；且 上述既存模型再學習部於上述不適合檢測部檢測出不適合之情形時，藉由對成為該不適合之上述學習模型，基於追加之上述學習用圖像進行再學習，而擴展上述學習模型之上述模型適合區域。
4. 如請求項3之不適合檢測裝置，其中 上述不適合檢測裝置進而具有對策方法提示部、與再學習資料輸入部；且 上述對策方法提示部提示包含追加之上述學習用圖像之攝影方法之不適合之對策方法； 上述再學習資料輸入部受理以提示之攝影方法拍攝之追加之上述學習用圖像之輸入。
5. 如請求項3之不適合檢測裝置，其中 上述不適合檢測裝置進而具有再學習資料收集部；且 上述再學習資料收集部藉由依照事先設定之動作順序使攝像裝置動作，而受理拍攝之追加之上述學習用圖像之輸入。
6. 一種不適合檢測方法，其特徵在於： 不適合檢測裝置具有： 圖像轉換部，其使用學習模型，自輸入之轉換前圖像轉換為轉換後圖像； 不適合檢測部，其檢測上述轉換前圖像與上述學習模型是否不適合； 不適合報告部，其報告檢測出之不適合；及 記憶部，其將上述學習模型之學習階段使用之學習用圖像之評估值之分佈作為模型適合區域，與上述學習模型建立對應而記憶；且 上述不適合檢測部於上述模型適合區域之範圍內無上述轉換前圖像之評估值時，判定上述學習模型為不適合。