TWI822581B - 影像生成系統、非暫時性電腦可讀媒體及影像生成方法 - Google Patents

影像生成系統、非暫時性電腦可讀媒體及影像生成方法 Download PDF

Info

Publication number
TWI822581B
TWI822581B TW112104134A TW112104134A TWI822581B TW I822581 B TWI822581 B TW I822581B TW 112104134 A TW112104134 A TW 112104134A TW 112104134 A TW112104134 A TW 112104134A TW I822581 B TWI822581 B TW I822581B
Authority
TW
Taiwan
Prior art keywords
image
input
mentioned above
learning
area
Prior art date
Application number
TW112104134A
Other languages
English (en)
Other versions
TW202324298A (zh
Inventor
Yasutaka Toyoda
石川昌義
大內将記
Original Assignee
日商日立全球先端科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日立全球先端科技股份有限公司 filed Critical 日商日立全球先端科技股份有限公司
Publication of TW202324298A publication Critical patent/TW202324298A/zh
Application granted granted Critical
Publication of TWI822581B publication Critical patent/TWI822581B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本揭露係有關於，以效率良好地進行特定部位之學習為目的之系統。為了達成此目的，提出一種系統，係被構成為，基於輸入影像之輸入而生成轉換影像的系統，其中，含有學習模型，其係以使得前記輸入影像與藉由其輸入而被轉換出來的第2影像之間的誤差會被抑制的方式，而被調整了參數；該學習模型係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間為不同的學習。

Description

影像生成系統、非暫時性電腦可讀媒體及影像生成方法
本揭露係有關於生成影像的方法、系統、及非暫時性電腦可讀媒體，特別是有關於，基於對試料的射束照射而生成影像的方法、系統、及非暫時性電腦可讀媒體。
專利文獻1中係揭露，基於對試料的帶電粒子束之照射而根據所得的偵測訊號來生成影像的試料觀察裝置。專利文獻1中係揭露，使用深度學習等之類神經網路，從低品質影像來生成高品質影像的試料觀察裝置，該試料觀察裝置係具備，從低品質影像生成高品質影像的所需之影像轉換模型。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2018-137275號公報
[發明所欲解決之課題]
另一方面，類神經網路係將從低品質影像所轉換而來的影像與高品質影像之2個影像本身當作訓練資料，在兩影像間進行擬合的方式而進行學習，因此會有例如測定或檢查之對象的對象物的邊緣等之特定部位的品質無法充分改善的情況。又，若將影像全體做擬合的方式來進行學習，則有時會導致模型的生成上會花費許多時間。 [用以解決課題之手段]
以下說明，以效率良好地進行特定部位之學習為目的的方法、系統、及非暫時性電腦可讀媒體。作為用來達成上記目的所需之一態樣，係提出一種系統、或非暫時性電腦可讀媒體，係被構成為，基於輸入影像之輸入而生成轉換影像的系統、或電腦可讀媒體，其中，係具備：1個以上之電腦子系統、和藉由該1個以上之電腦子系統而被執行的1個以上之成份；該1個以上之成份係包含：學習模型，其係以抑制在學習時作為訓練資料而被輸入的第1影像、與藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像之間的誤差的方式，而被調整了參數；該學習模型係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間為不同的學習。 [發明效果]
若依據上記構成，則可效率良好地進行特定部位之學習。
以下參照添附圖式來說明本實施形態。在添附圖式中，功能上相同的元件，有的時候是以相同的號碼或對應的號碼而被表示。此外，添附圖式是依照本揭露的原理而揭露了實施形態與實作例，但這些係僅用來理解本揭露所需，絕對不是為了用來限定解釋本揭露而被使用。本說明書的描述只不過是典型的例示，無論在何種層面的意義上，均不對本揭露的申請專利範圍或適用例造成限定。
在本實施形態中，雖然為了讓當業者能夠實施本揭露而做了非常詳細的說明，但其他的實作/形態亦為可能，在不脫離本揭露的技術思想之範圍與精神下的構成/結構之變更或多樣的元件之置換均為可能，這點必須理解。因此，以下的描述並不可以將其做限定解釋。
在以下所說明的實施形態中，係有關於將第1影像轉換成畫質異於該第1影像之第2影像的方法、系統、及電腦可讀媒體，說明針對影像中所含之複數領域，進行不同之轉換的方法、系統、及電腦可讀媒體。
[第1實施形態] 參照圖1～圖10，說明第1實施形態所述之影像生成系統。 圖1係為將輸入至第1實施形態所述之影像生成系統的影像予以生成的影像生成工具之一種的掃描電子顯微鏡(Scanning Electron Microscope：SEM)之一例的圖示。此外，以下的說明中雖然是把帶電粒子線裝置之一種的SEM當作影像生成工具來說明，但不限於此，例如亦可將基於離子束之掃描而生成影像的聚焦離子束裝置，當作影像生成工具。甚至，除此以外亦可使用，與其生成高品質影像不如生成低品質影像反而能使處理較為簡化等的這類影像生成工具。
圖1所例示的掃描電子顯微鏡系統100係具備：攝像部101、電腦系統102、訊號處理部103、輸出入部104、記憶部105。記憶部105係也作為用來記憶主掌本系統之動作的電腦程式的非暫時性記錄媒體而發揮功能。電腦系統102係控制著攝像部101所具備的以下之光學系統。
攝像部101係具備：將電子束107予以照射的電子槍106、將電子束107予以聚焦的聚焦透鏡108、將通過了聚焦透鏡108的電子束107再予以聚焦的聚焦透鏡109。攝像部101係還具備：使電子束107做偏向的偏向器110、控制電子束107的聚焦之高度的接物透鏡111。
通過了攝像部101之光學系統的電子束107，係照射至被載置於試料平台113上的試料112。藉由電子束107的照射而從試料112所放出的二次電子(Secondary Electron：SE)或背向散射電子(Backscattered Electron：BSE)等之放出電子114，係藉由被設置在其軌道上的下段偵測器115與上段偵測器116而被偵測。被設在上段偵測器116的開口，係用來讓電子束107通過。由於將該開口做得非常小，因此可以偵測，從被形成在試料112上的深孔或深溝的底部所被放出，通過圖案中心附近而在試料表面上脫離的二次電子。藉由使用位於上段偵測器116之前方的能量過濾器117a、或位於下段偵測器115之前面的能量過濾器117b進行能量過濾，就能將放出電子114做能量辨別。
攝像部101係還具備有：藉由使電子束107往光軸外做偏向以限制電子束107抵達試料112用的消隱偏向器118、及用來承受已被消隱偏向器118所偏向之電子束107的消隱用電極119。
訊號處理部103係基於下段偵測器115與上段偵測器116的輸出，而生成SEM影像。訊號處理部103，係同步於未圖示的掃描偏向器之掃描，而令畫格記憶體等記憶偵測訊號，以生成影像資料。在畫格記憶體中記憶偵測訊號之際，藉由在畫格記憶體的掃描位置所對應之位置上記憶偵測訊號，以生成訊號側寫(1維資訊)、及SEM影像(二維資訊)。又，因應需要而可使用偏向器120將二次電子予以偏向，以將從深孔等所脫離的通過了光軸附近的二次電子，導引至下段偵測器115的開口外(下段偵測器115的偵測面)。
圖2係為根據藉由如圖1所例示之影像生成工具而得到之影像資料，來生成轉換影像的影像生成系統之一例的圖示。圖2所例示的電腦系統102，係由含有1個以上之CPU或GPU的1個以上之電腦子系統所構成。又，圖2所例示的電腦系統102係具備：藉由該1個以上之電腦子系統而被執行的1個以上之成份。1個以上之電腦子系統，係可將如後述的處理使用1個以上之處理器而以軟體來實現，或可將該處理的部分或全部以電子電路等之硬體來實現。
圖2所例示的電腦系統202，作為一例，係具備有：影像轉換部2030、轉換誤差算出部2040、轉換參數更新部2050、及影像分割處理部2060。又，電腦系統202係被構成為，會從輸入裝置203接受各種資訊之輸入。
影像轉換部2030係將如圖1所例示的影像生成工具的輸出影像、或記憶媒體201中所被記憶的影像(低品質影像)，當作輸入影像，基於該輸入影像而生成轉換影像。影像轉換部2030，係含有轉換參數已被調整過的學習模型，會執行使用到該學習模型的影像轉換。轉換參數，係被轉換參數更新部2050適宜地更新，而被供給至影像轉換部2030。學習模型係由例如類神經網路所構成，含有如圖3所例示的1個以上之輸入層、1個以上之中間層(隱藏層)、及1個以上之輸出層。
類神經網路，係以使得輸出層會輸出所望之結果(例如高品質影像或正確的測定值等)的方式，而實施將參數(權重或偏置等)進行調整的學習，藉此而可進行適切的輸出。學習是藉由例如誤差反向傳播法(反向傳播)，藉由逐次更新變數(權重或偏置)而為之，將資料的輸出誤差以權重(亦包含啟動函數)進行偏微分，而把輸出逐次漸漸調整至最佳的值。
轉換誤差算出部2040，係將藉由影像轉換部2030從低品質影像所被生成的轉換影像(輸出層的輸出也就是第2影像)、與作為正確資料(高品質影像(訓練資料))而被輸入的影像(第1影像)之間的誤差，予以算出。更具體而言，轉換誤差算出部2040係將根據藉由正向傳播而被導出的轉換影像之像素值、與其所對應的正確影像之像素值而被算出的平均絕對誤差或平均平方誤差等，當作轉換誤差而予以算出。轉換參數更新部2050，係基於轉換誤差而以抑制各像素之轉換誤差的方式，調整類神經網路的轉換參數(變數)，並供給至影像轉換部2030。
影像分割處理部2060，係將作為訓練資料的高品質影像分割成複數影像，將關於該分割的領域資訊，供給至轉換誤差算出部2040。領域資訊及權重資訊，係可從輸入裝置203進行輸入。
藉由重複如以上的正向傳播與反向傳播，雖然可以提升輸出的精度，但直到針對神經元之輸入的權重變成最佳化為止，必須使用許多的影像(訓練資料)進行學習。另一方面，半導體裝置的圖案等之測定或檢查，係藉由影像中所含之圖案等的邊緣間的尺寸測定、或圖案等的形狀評價而為之，因此，例如針對邊緣以外的部分，就不需要高的精度。
在本實施形態中係說明，能夠將影像中所含之特定的圖案或其以外之結構物的邊緣等之部分影像做選擇性地高精度轉換的學習模型，和對該學習模型實施學習的系統。不是對影像全體，而是若可以隨著影像的每個部位的重要度，來改變學習的程度，則針對重要部分可藉由實施高度的學習而實現高品質影像之生成，另一方面，針對非重要部分則可藉由削減學習所需之處理而實現學習的效率化。
在圖2所例示的系統中，針對作為訓練資料而被輸入的高品質影像，使用影像分割處理部2060進行影像分割，隨應於藉由輸入裝置203而被輸入的每一分割領域的學習之程度，而於影像轉換部2030中對學習器實施學習。每一分割領域的學習之程度的設定係藉由例如：將計算正確資料(標籤)與學習器之輸出之誤差的函數也就是損失函數，按照每一分割領域而賦予不同的權重而實現。例如可基於如[數1]的演算式來計算損失函數L D。
其中，L bg係為對影像內的第1領域(例如圖案邊緣以外之背景部分)所設定的損失函數，L edge係為對影像內的第2領域(例如圖案邊緣)所設定的損失函數。λ 1、λ 2係為各個損失函數的權重係數。例如藉由將邊緣部分之係數λ 2設定成大於λ 1，可使其對於邊緣部以外之領域，相對性地把誤差值預估得較大，結果而言，可集中於邊緣部分而進行像是抑制轉換誤差這類的轉換參數之更新。又，與此同樣的效果也可藉由，把L bg令作對包含邊緣部分之影像全體所設定的損失函數，把L edge令作只對邊緣部分所設定的損失函數，以使得邊緣部分之誤差值，是較實際的邊緣總像素數相對於影像總像素數之比率，會被反映成更大的方式，來設定λ 1、λ 2，也能獲得。
另一方面，針對測定或檢查中所不需要的邊緣以外之部分，係不進行學習，或為了使其進行程度相對較低的學習，而設定成λ 1＜λ 2(λ 1係包含零)，藉此可以減少學習所需之處理。亦即，在此第1實施形態中，係於學習模型中，針對影像內的每個不同的領域，實施了不同的學習。藉由將影像內的計測或檢查所需要之領域的損失函數之權重予以相對性地增加，同時減少其以外之領域的損失函數之權重，就可促使必要部分的重現性被提升。
接著說明，圖2所例示的影像分割處理部2060中的領域分割處理之概要。圖4係為帶電粒子束的掃描對象也就是圖案、藉由將射束對該圖案進行掃描而得的影像、及根據影像的亮度分布資訊而被形成的訊號波形之一例的圖示。
藉由對具有如圖4(a)所例示之剖面形狀的線圖案401將帶電粒子束進行二維掃描，並偵測該掃描所得的帶電粒子，就可形成如圖4(b)所例示的二維影像402。然後再藉由進行投影處理(將各像素列的訊號做加算平均)，就可生成如圖4(c)所例示的訊號波形(側寫)404。
若對具有如圖4(a)所例示之剖面的圖案將射束進行掃描，則從對應於圖案之邊緣的位置403所被放出的帶電粒子的量，係會因為邊緣效應，而比從其他領域所被放出的帶電粒子的量還多。如上述，在使用影像的計測或檢查中，邊緣部分的亮度資訊係為重要。因此，如圖4(c)所例示，設定閾值Th(405)，並可把從亮度超過所定之閾值的領域所得之領域、或是超過閾值的領域中帶有數個像素之容限的領域的轉換誤差所對應的係數令作λ 2，把從其以外之領域所得之轉換誤差所對應的係數令作λ 1。藉此，就可生成邊緣部分的重現性優良的學習模型。
此外，基於圖案的邊緣部分之特定而進行測定的此種情況下，不只被視為具有所定閾值以上之亮度的領域而被抽出的領域，就連包含其周圍的領域也視為邊緣領域而抽出，較為理想。尤其是，在測定邊緣間的尺寸的情況下，由於是利用白色帶(對應於邊緣的高亮度領域)之亮度之分布資訊而決定測定之基準位置，因此白色帶週邊之亮度值也會對計測值造成影響。因此，把自動抽出的白色帶領域、與其周圍之所定之像素數份之領域(週邊領域)也一併抽出的影像資料都當作訓練資料，較為理想。包含週邊領域的影像資料之抽出的具體手法，係使用圖6而後述。
圖5係為可設定影像的分割條件、和對已被分割之領域的損失函數之權重(誤差的調整條件)的GUI畫面之一例的圖示。此外，在圖5中，雖然例示了按照每一分割領域而設定權重係數λ的GUI，但不限於此，亦可設計成能夠輸入可調整學習所需之處理之負荷的其他參數。
圖5所例示的GUI畫面，係可被顯示於例如圖1所示的輸入裝置203的顯示裝置。藉由如此的GUI畫面，就可設定電腦系統202(電腦子系統)所做的反向傳播之條件(學習條件)。在圖5所例示的GUI畫面501中係含有SEM影像顯示領域502、和損失函數條件設定領域503。
在損失函數條件設定領域503中，可以選擇影像分割條件。具體而言，在損失函數設定領域503中係設有：在GUI上設定所望之領域時所要選擇的ROI(Region Of Interest) setting、在自動進行領域分割時所要選擇的Auto Segmentation、及隨著亮度而自動進行領域分割時所要選擇的Area division by brightness的選擇鈕。
例如一旦選擇ROI setting，則在SEM影像顯示領域502內，藉由指標504而可在任意位置以任意尺寸進行設定的ROI設定框505，就被顯示。藉由指標504設定好ROI的位置與尺寸之後，藉由在權重係數設定框506中設定所望的權重係數(λ 1、λ 2)，就可針對ROI設定學習的負荷之程度。又，至於未被設定成為ROI的領域，則是藉由設定Background的權重係數(λ g)，就可選擇選擇領域以外的權重係數。如上述，相對於未被選擇作為ROI之領域的權重係數(λ g)，把選擇作為ROI之領域的權重係數(λ 1、λ 2)設定得較高，藉此就可提升ROI內之影像的重現性或品質。
又，一旦選擇Auto Segmentation，則電腦系統202係藉由例如語義分割(semantic segmentation)而自動執行領域分割。
然後，一旦選擇Area division by brightness，則電腦系統202係隨應於影像內的亮度資訊而執行領域分割。具體而言是藉由隨應於亮度的n值化(n≧2)處理等，而在影像內進行領域分割。針對藉由Auto Segmentation、或Area division by brightness之選擇而被分割的各領域，設置用來設定損失函數的權重係數所需之權重係數設定欄507，就可針對各領域設定適切的權重。
此外，在本實施形態中雖然說明了，將影像進行分割，隨應於分割領域之重要度而定義損失函數條件的例子，但不限於此，亦可進行例如只在ROI做選擇性地學習，至於其他領域則不學習這類的選擇。亦即，亦可設定像是從圖1的輸入裝置203不輸入關於分割的資訊(領域資訊等)，而不執行影像分割處理部203中的分割處理。在ROI以外的部分為低品質影像也可，只想把適用於計測或檢查的邊緣部分設成高品質影像的情況下，亦可進行如此的選擇性學習。
另一方面，若是如本實施形態般地能夠先以領域單位來設定學習所需之處理之程度，就可考量影像之重現性與學習所需之處理時間等，隨應於目的而設定適切的學習條件。甚至，若試圖將ROI以外做最佳化，則有可能會成為ROI內的重現影像的品質提升的阻礙因素，但藉由可在ROI內進行更高品質的學習，就可早期進行重現影像的品質提升。此外，亦可取代語義分割等，改為適用K-means法等之其他分割處理法。
圖2係例示藉由輸入低品質影像，而輸出高品質影像的系統，但這裡所謂的低品質影像係指例如少畫格影像(所謂1畫格係為例如1次的二維掃描)。在掃描電子顯微鏡等中，為了提升畫質，會將相同視野(Field of View：FOV)做複數次掃描，將所得到的偵測訊號進行積算(加算平均)，就可提升影像的S/N比，但反面來說，若將射束做複數次掃描，則可能會發生帶電的累積或圖案的縐縮等。在本實施形態中則是藉由，把低品質影像設成1畫格影像，把作為訓練資料的高品質影像設成像是64畫格這類多畫格影像，而從低品質影像重現出高品質影像。
此外，一旦進行多畫格之射束掃描，則有時候圖案會發生縐縮。因此，在本實施形態中是進行例如64畫格之射束掃描，取得用來生成高品質影像所需要的影像訊號，其後，取得少畫格影像(例如1畫格影像)。然後，將此少畫格影像藉由影像轉換部2030進行轉換變成轉換影像，同時，將之前所取得的64畫格影像這類高品質影像當作訓練資料，算出兩者的轉換誤差。藉此，可一面抑制縐縮等之影響，一面對學習器實施學習。
此外，由於在射束掃描初期，圖案的縐縮量較大，因此可以設計成例如，從縐縮已經收斂到某種程度的時點(例如從掃描開始起到完成n畫格之掃描時)起，開始多畫格影像生成用的訊號取得，基於如此所得之偵測訊號來生成高品質影像。
圖6係為使用亮度分布資訊而進行過領域分割的影像之一例的圖示。一旦從如圖6所例示的影像藉由投影等而抽出亮度分布資訊，就可生成如圖4(c)所例示的訊號波形。此處，將以超過所定閾值之領域的x方向之中心作為基準的所定之領域，或是從超過所定閾值之領域的x方向之端部起擴展了n像素份(n係任意之自然數)的領域，令作ROI601，並可設定該部分固有之損失函數條件(權重係數等)，藉此，就可不只高亮度部分，就連可作為峰值波形而表現的領域的品質，也能提升。
圖7係為使用第1實施形態(圖2)之系統的學習器的學習條件之設定、已被設定之學習條件所做的學習，及使用實施過學習之學習器的影像生成工程的流程圖。
首先，電腦系統202係取得如圖1所例示的影像生成工具的輸出影像，或者記憶媒體201中所被記憶的影像(步驟S701)。另一方面，在影像分割處理部2060中，依照由輸入裝置203等所指定的領域資訊，對該影像進行領域分割之處理(步驟S702)。影像分割處理部2060係基於例如藉由圖5所例示的GUI畫面而被設定的影像分割條件，來執行影像的分割。
接著從圖5所例示的GUI畫面等，將學習所需之負荷之參數之1者也就是損失函數的權重係數，以分割領域單位進行設定，藉此以設定領域單位的學習條件(步驟S703)。
接著，藉由對含有學習器的電腦系統202輸入低品質影像，以在影像轉換部2030中生成轉換影像(正向傳播)。再者，在轉換誤差算出部2040中，求出有別於低品質影像而被另行輸入至電腦系統202的高品質影像、與轉換影像之間的像素單位之差分，並算出藉由正向傳播而被生成的影像、正確影像也就是高品質影像之間的誤差。此處，在轉換參數更新部2050中，係使用按照影像領域單位所被指派的權重係數與各領域的損失函數來執行反向傳播，計算類神經網路的權重及偏置之變化，將其值予以更新(步驟S704)。
藉由重複1次以上的如上之正向傳播與反向傳播，以進行學習。此外，亦可適用進化演算法來作為回饋的手法。
如以上，所被學習之模型係針對特定領域選擇性地實施高度的學習，因此可一面抑制學習所需要的手續或時間，一面進行重現性佳的推定(影像轉換，步驟S705)。
接著說明，針對與位置對合圖案之相對位置關係為不同的每個位置，設定了不同的權重係數，藉此以進行相應於領域單位之重要度等的學習的例子。
圖8(a)係為被形成在半導體晶圓等之試料上的位置對合用圖案801，與第1視野802、及第2視野803的位置關係的圖示。以如圖1所例示的掃描電子顯微鏡等而把視野定位在所望之位置的情況下，例如，令被設在掃描電子顯微鏡內的平台移動，以使得視野位置會被定位在位置對合圖案801、或所望之位置之座標，並藉由對較所望之位置之視野還廣的範圍中掃描射束，生成低倍率影像。在低倍率影像取得後，藉由使用預先登錄之包含位置對合圖案801在內的樣板影像來執行圖案匹配，以特定出位置對合圖案801的位置，並使視野移動至與該位置對合圖案801處於已知位置關係的第1視野802與第2視野803。
圖1所例示的掃描電子顯微鏡，係受到一種被稱作配方的動作程式所控制，係以基於預先登錄之位置對合用圖案801與所望之視野位置之間的距離((-x 1，-y 1)、(x 2，y 2))資訊，來進行視野移動的方式，而被1個以上之電腦系統所控制。如圖8(a)所例示，藉由隨應於每一視野位置的重要度等，定義好損失函數的權重係數(λ 1、λ 2)，就可實現學習的效率化。
甚至，如圖8(b)所例示，亦可在配方中就設定好預視視野804內的ROI805的權重係數λ 3、和其以外之領域806的權重係數λ 4。
圖9及圖10中圖示了第1實施形態的變形例。 圖9係為第1實施的變形例所述之具備BSE偵測器901、902、和SE偵測器908的掃描電子顯微鏡之一例的圖示。至於圖9中所圖示以外的構成，係可設計成和第1實施形態相同的構成(圖1)。在此圖9的例子中，為了兼顧通過接物透鏡111的電子束的高速化、與抵達試料112的電子束的低加速化，而對試料112施加有負電壓。藉由對試料112施加負電壓，就可與接物透鏡111之間形成令抵達試料112的射束做減速的減速電場。在如此的光學系統中，從試料112所被放出的二次電子907係幾乎都會沿著射束光軸904而被加速，藉由例如維恩過濾器906而被往SE偵測器908做偏向。
另一方面，相對於二次電子907而為高加速的背向散射電子903，係相對地較不受到減速電場之影響，而會被配置在比SE偵測器908更靠近試料112側的BSE偵測器901、902所偵測。背向散射電子903係例如一旦碰撞到圖案的側壁，就會往對試料112之表面呈傾斜的方向進行反射，並受到接物透鏡111的聚焦作用而被BSE偵測器901、902所偵測。藉由在如圖9所例示的位置上配置BSE偵測器901、902，就可選擇性地偵測出被圖案之邊緣部分等所反射的背向散射電子，因此可使邊緣部分與其以外之部分的對比度變得鮮明。
在第1實施形態的變形例中，是利用如此的現象，而將影像之領域分割，使用BSE像的亮度分布資訊，來執行學習器的學習工程。圖10係為使用BSE像與SE像之雙方來進行學習的學習器之學習工程的流程圖。
首先，藉由具有如圖9所例示的光學系統的掃描電子顯微鏡，基於SE偵測器908、BSE偵測器901、902的偵測訊號而取得BSE像與SE像(步驟S1001、S1002)。
接著，以圖2所例示的影像分割處理部2060，利用BSE影像的亮度分布資訊來執行影像分割處理(步驟S1003)。如上述，被圖案之邊緣等所反射的背向散射電子係被BSE偵測器901、902所偵測，而另一方面，朝其以外之方向所被放出的背向散射電子係不被偵測。因此，BSE像係為，邊緣部與其以外之部分的對比度會變得鮮明。於是，在影像分割處理部2060中，例如將BSE像之中的所定閾值以上之高亮度部分予以抽出，將該部分、或將該高亮度部分擴展了數像素份的部分，設定成ROI。又，將其以外之部分定義成背景。
電腦系統202，係將例如從如圖5所例示的GUI畫面所被輸入的關於損失函數的資訊(在本實施形態的情況下係為權重係數)，當作各分割領域所對應之損失函數資訊而加以設定(步驟S1004)，並令其被記憶在例如記憶部105中。如上述般地將影像分割成ROI與背景之2個領域的情況下，係設定權重係數λ 1、λ g。
電腦系統202係藉由使用如以上般地對每一領域所設定的權重係數，進行隨各領域單位而不同的學習(1次以上的正向傳播與反向傳播之重複)，來進行學習器之學習(步驟S1005)。若依據如圖10所例示的手法，則可進行效率良好的學習。
[第2實施形態] 接著，參照圖11～圖14，說明第2實施形態所述之影像生成系統。圖11的區塊圖係圖示了第2實施形態的影像生成系統之一例。關於和第1實施形態(圖2)相同的構成要素，於圖11中是標示相同的元件符號，因此以下省略重複的說明。
圖11所例示的系統，係不是單純生成高品質影像，而是可以生成外觀看起來更佳之影像的系統。具體而言，圖11的系統係除了圖2的系統的構成要素以外，還具備有各領域亮度補正部2070。各領域亮度補正部2070係被構成為，針對已被影像分割處理部2060所分割的影像之每一者，進行亮度補正處理。亦即，各領域亮度補正部2070係被構成為，將亮度值進行補正，以使得已被分割之各領域會變成所定之亮度。
圖12係為被輸入至圖11所例示之電腦系統202的高品質影像、將該高品質影像藉由影像分割處理部2060所分割而成的領域分割影像、及對該領域分割影像的已被分割之領域之每一者以各領域亮度補正部2070進行了亮度調整的亮度調整影像之例子的圖示。圖12所例示的高品質影像1201，作為一例係為拍攝半導體裝置所得的影像，包含有：上層配線1202、下層配線1203、圓形之結構物1204、及與配線等重疊的圓形之結構物1205。
影像分割處理部2060，係藉由進行例如語義分割或相應於亮度之領域分割，而生成領域分割影像。在進行相應於亮度之領域分割的情況下，可考慮進行例如像是按照每一所定之亮度範圍而將影像進行分割這類的處理。例如高品質影像1201內所含之上層圖案1202，通常會比下層圖案1203還要明亮。這是因為越接近試料表面，二次電子越容易放出，二次電子的偵測量就相對較多的緣故。甚至亦可設計成，將圖案的形狀或與其他結構物之位置關係等轉換成特徵量，並進行相應於該特徵量的分類。在圖12的例子中係圖示了被分割成5個領域A～E的例子。具體而言，在圖12中，1個影像是被分割成：(1)上層配線1202所對應之領域A、(2)下層配線1203所對應之領域B、(3)圓形結構物1204所對應之領域C、(4)與上層配線1202重疊的圓形之結構物1205所對應之領域D、及(5)身為背景的領域E的5個領域。
對於如以上所被分割的各領域，各領域亮度補正部2070係基於從輸入裝置203等所被輸入的亮度補正資訊來進行亮度補正。亮度補正的條件係亦可在例如圖13所例示的GUI畫面上做設定。圖13所例示的GUI畫面1301係被構成為，針對已被電腦系統202所分割之各領域，可進行亮度之調整。
在GUI畫面1301中係設有：分割影像顯示領域1302、和亮度條件設定欄1303。在分割影像顯示領域1302中，已被影像分割處理部2060所生成的分割影像，係被顯示。在亮度條件設定欄1303中係設有：用來調整各分割領域之亮度所需之滑桿1304、或以數值來設定亮度所需之亮度設定欄1305等。
在亮度設定欄1305中係顯示有分割影像的初期之亮度，操作者係使用亮度設定欄1305或滑桿1304，就可將各領域進行調整成喜好的亮度。又，藉由隨著滑桿1304等所致之亮度的調整，而改變分割影像顯示領域1302的各領域之亮度地調整顯示，操作者就可一面確認轉換影像的外觀結果，一面進行條件設定。
此外，在此第2實施形態中，雖然主要說明以手動方式來調整各領域的明亮度的例子，但亦可設計成例如，設有暗的領域會變得明亮、明亮的領域會變暗的明暗顛倒的模式，而自動地進行亮度調整。又，亦可備妥將圓形之結構物設成高亮度，並降低其他領域之亮度的模式，隨應於測定或檢查目的而做區分使用。
圖14係為圖11所例示的系統中的，學習器的學習條件之設定工程、與學習工程的流程圖。若依據此流程圖，則可生成使得影像中所含之任意領域之亮度做選擇性變化的影像。
在第2實施形態的學習工程中，圖11所例示的電腦系統202係首先取得身為訓練資料的高品質影像，使用影像分割處理部2060而生成分割影像(步驟S1401、S1402)。分割影像係被顯示在輸入裝置203的顯示裝置等中所被顯示的GUI畫面等。
操作者係一面參照分割影像顯示領域1302中所被顯示的分割影像、與各分割領域的在顯示裝置上的明亮度，而一面設定適切的亮度補正條件(步驟S1403)。各領域亮度補正部2070，係使用已被設定之亮度補正值條件來進行影像的亮度補正(步驟S1404)，將已被亮度補正的影像資料當作正確資料(標籤)而送往轉換誤差算出部2040。
另一方面，影像轉換部2030係為了執行以低品質影像當作輸入的正向傳播，而取得學習用的低品質影像(步驟S1405)，生成轉換影像(步驟S1406)。轉換誤差算出部2040係求出，經由正向傳播所被生成的轉換影像、與各領域亮度補正部2070之輸出亦即亮度補正影像之間的誤差。轉換參數更新部2050係以像素單位將轉換誤差當作訓練資料而加以收取，設定會使得損失呈現最小的轉換參數(步驟S1407、S1408)。藉由將步驟S1401～1408之處理重複1次以上，而執行學習。
若依據如圖11所例示的電腦系統202，則由於可對每一分割領域(例如配線與圓形之結構物)實施不同的學習，因此可從低品質影像，生成符合操作者喜好的影像。
此外，上述的實施形態中雖然說明了改變各分割領域之亮度的例子，但亦可例如對特定的圖案藉由影像處理而著色成灰階以外的顏色，並將其當作訓練資料。
[第3實施形態] 接著參照圖15，說明第3實施形態所述之影像生成系統。此第3實施形態的系統，基本構成是和前述的實施形態的構成(圖2、圖11)相同即可。但是，此第3實施形態亦可將前述的實施形態之構成予以追加或替換)，而被構成為，藉由變更每一領域的掃描速度，而可執行每一領域為不同的學習。
圖15係為說明第3實施形態之特徵的概念圖。圖15(a)係圖示，在1個視野(FOV)內，設定有低速掃描領域與高速掃描領域的例子。FOV內的高速掃描與低速掃描之切換係例如，藉由如圖15(b)所示般地改變供給至電子顯微鏡之掃描偏向器的掃描訊號，就可實現。訊號波形的斜率係表示掃描速度，圖15(b)的例子係圖示，將領域(b)的掃描速度，設成領域(a)(c)的1/2。掃描速度越快，每單位面積的射束照射量就越減少，因此可降低帶電等之影響，但反過來說，照射量的減少，就會使偵測訊號量也減少。
在此第3實施形態中，例如將測定基準或檢查之對象的領域設定作為ROI，同時，可將該ROI選擇性地進行低速掃描。藉此，就可實現兼顧必要資訊之取得與FOV內的帶電等影響之抑制。
如前述，在第1實施形態(圖2)中，是令其將ROI之部分做選擇性學習，其他領域則不學習，或是藉由降低權重λ，就可進行效率良好的學習。
在第3實施形態中，不只改變畫格數而且也改變了掃描速度，即使如此，仍然可以生成低品質影像與高品質影像。又，不是改變掃描速度，而是藉由其他手段來改變每單位面積的射束之照射量，即使如此，仍可生成低品質影像與高品質影像。
(其他) 作為按照領域單位來實施不同的學習的方法，再說明別的例子。對試料掃描電子束所產生的二次電子，相對於平坦的試料表面，圖案等之邊緣部分的放出量會較多，在影像上會被高亮度地顯示。另一方面，從試料所放出的背向散射電子，則是適合於生成相應於試料中所含之材質之對比度影像。甚至，若依據具備如圖9所例示的光學系統的電子顯微鏡，則由於可以選擇性偵測朝特定方向前進的背向散射電子，因此可生成試料上的結構物之緣部分的對比度較為鮮明的影像。
如以上的偵測電子的特徵、與相應於計測或檢查之目的之學習模型的生成的其他例子，說明如下。首先，在將用來測定圖案的邊緣間之尺寸所需之影像予以生成的學習模型的情況下，把SE像的高亮度領域(邊緣部分)的權重係數設成較大，較為理想。又，在需要使材質對比度較為鮮明的情況下，則考慮將BSE像之中亮度變化較大的部分(材質改變的部分)的權重係數設成較大。使用如圖9所例示的可同時偵測二次電子與背向散射電子的光學系統，提供可生成SE像與BSE像，以及可執行相應於目的之複數種學習的系統，藉此就可效率良好地生成相應於用途的複數種模型。
此外，在上述的實施形態雖然說明了，藉由低品質影像的影像轉換，來生成(推定)高品質影像的含有學習器的系統，但亦可不是高品質影像，而是把從高品質影像所求出的邊緣間之尺寸值、側寫波形、輪廓線、粗糙度評價值等當作正確資料來實施學習，以推定這些值或資料。例如若為邊緣間尺寸，則把從包含有尺寸計測對象之2個以上之邊緣的高品質影像藉由計測演算法所求出的尺寸值當作正確資料，同時，以使得高品質影像之相同領域之低品質影像藉由正向傳播所求出的尺寸值、與正確資料的尺寸值之誤差會呈最小化的方式來更新轉換參數，來執行學習。
其他推定對象也同樣地，從高品質影像抽出正確資料，藉由反向傳播來執行學習，也可對學習器來實施學習。
此外，本發明係不限定於上記的實施例，可包含各式各樣的變形例。例如，上記的實施例是為了將本發明以容易理解的方式加以說明而做的詳細說明，並非限定為必須具備所說明的全部構成。又，某個實施例的構成的一部分可置換成其他實施例的構成，又，亦可對某個實施例的構成追加其他實施例的構成。又，針對各實施例的構成的一部分，可做其他構成的追加、刪除、置換。
100:掃描電子顯微鏡系統 101:攝像部(掃描電子顯微鏡) 102:電腦系統 103:訊號處理部 104:輸出入部 105:記憶部 106:電子槍 107:電子束 108:聚焦透鏡 109:聚焦透鏡 110:偏向器 111:接物透鏡 112:試料 113:平台 114:放出電子 115:下段偵測器 116:上段偵測器 117a,117b:能量過濾器 118:消隱偏向器 119:消隱用電極 120:偏向器 130:光圈 201:記憶媒體 202:電腦系統 203:輸入裝置 2030:影像轉換部 2040:轉換誤差算出部 2050:轉換參數更新部 2060:影像分割處理部 2070:各領域亮度補正部 401:線圖案
402:二維影像
403:位置
404:訊號波形
405:閾值Th
501:GUI畫面
502:SEM影像顯示領域
503:損失函數條件設定領域
504:指標
505:ROI設定框
506:權重係數設定框
507:權重係數設定欄
601:ROI
801:位置對合用圖案
802:第1視野
803:第2視野
804:預視視野
805:ROI
806:其以外之領域
901:BSE偵測器
902:BSE偵測器
903:背向散射電子
904:射束光軸
906:維恩過濾器
907:二次電子
908:SE偵測器
909:DC電源
1201:高品質影像
1202:上層配線
1203:下層配線
1204:結構物
1205:結構物
1206:背景
1301:GUI畫面
1302:分割影像顯示領域
1303:亮度條件設定欄
1304:滑桿
1305:亮度設定欄
[圖1]將輸入至第1實施形態之影像生成系統的影像予以生成的影像生成工具之一種的掃描電子顯微鏡(Scanning Electron Microscope：SEM)之一例的圖示。 [圖2]根據藉由如圖1所例示之影像生成工具而得到之影像資料，來生成轉換影像的影像生成系統之一例的圖示。 [圖3]類神經網路的構成之一例。 [圖4]帶電粒子束的掃描對象也就是圖案、藉由將射束對該圖案進行掃描而得的影像、及根據影像的亮度分布資訊而被形成的訊號波形之一例的圖示。 [圖5]可設定影像的分割條件、和對已被分割之領域的損失函數之權重(誤差的調整條件)的GUI畫面之一例的圖示。 [圖6]使用亮度分布資訊而進行過領域分割的影像之一例的圖示。 [圖7]使用第1實施形態(圖2)之系統的學習器的學習條件之設定、已被設定之學習條件所做的學習，及使用實施過學習之學習器的影像生成工程的流程圖。 [圖8]藉由對位置對合圖案之相對位置關係為不同的每一位置，設定不同的權重係數，以進行相應於領域單位之重要度等的學習之例子，及對配方來設定預視視野804內的ROI805的權重係數λ 3、與其以外之領域806的權重係數λ 4之例子的說明用概念圖。 [圖9]第1實施形態的變形例所述之掃描型電子顯微鏡。 [圖10]第1實施形態的變形例之動作的說明用流程圖。 [圖11]第2實施形態的影像生成系統之一例的區塊圖。 [圖12]被輸入至圖11所例示之電腦系統202的高品質影像、將該高品質影像藉由影像分割處理部2060所分割而成的領域分割影像、及對該領域分割影像的已被分割之領域之每一者以各領域亮度補正部2070進行了亮度調整的亮度調整影像之例子的圖示。 [圖13]於第2實施形態中，用來設定亮度補正條件所需之GUI畫面之一例。 [圖14]第2實施形態的動作的說明用流程圖。 [圖15]第3實施形態的系統的動作說明用概念圖。
201:記憶媒體
202:電腦系統
203:輸入裝置
2030:影像轉換部
2040:轉換誤差算出部
2050:轉換參數更新部
2060:影像分割處理部

Claims (18)

  1. 一種影像生成系統，係被構成為，基於帶電粒子束裝置所生成的輸入影像之輸入，而生成轉換影像的系統，其中， 係具備：1個以上之電腦子系統、和藉由該1個以上之電腦子系統而被執行的1個以上之成份； 該1個以上之成份係包含：學習模型，其係以抑制在學習時作為訓練資料而被輸入的第1影像、與藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像之間的誤差的方式，而被調整了參數； 前記輸入影像，係為半導體圖案影像； 前記輸入影像係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間採用不同參數所致之影像補正； 前記第1及第2領域之各者，係為藉由圖案辨識而被分割的領域。
  2. 如請求項1所記載之影像生成系統，其中， 前記影像補正係包含：亮度補正、明度補正、對比度補正、及著色補正之其中至少任一者。
  3. 一種影像生成系統，係被構成為，基於帶電粒子束裝置所生成的輸入影像之輸入，而生成轉換影像的系統，其中， 係具備：1個以上之電腦子系統、和藉由該1個以上之電腦子系統而被執行的1個以上之成份； 該1個以上之成份係包含：學習模型，其係以抑制在學習時作為訓練資料而被輸入的第1影像、與藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像之間的誤差的方式，而被調整了參數； 前記輸入影像係為，基於前記帶電粒子束裝置所偵測到的至少2個以上之不同的二次電子訊號所被生成的2個以上之半導體圖案影像； 前記學習模型係為，對應於前記2個以上之半導體圖案影像的2個以上之學習模型。
  4. 如請求項3所記載之影像生成系統，其中， 前記輸入影像係為，前記帶電粒子束裝置所同時偵測到的二次電子像及背向散射電子像。
  5. 一種影像生成系統，係被構成為，基於從帶電粒子束裝置所生成之輸入影像所求出的特徵量之輸入，而生成轉換特徵量的系統，其中， 係具備：1個以上之電腦子系統、和藉由該1個以上之電腦子系統而被執行的1個以上之成份； 該1個以上之成份係包含：學習模型，其係以抑制從在學習時作為訓練資料而被輸入的第1影像所被求出的第1特徵量、與從藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像所被求出的第2特徵量之間的誤差的方式，而被調整了參數； 該學習模型係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間為不同的學習； 前記輸入影像，係為半導體圖案影像； 求出前記特徵量的影像領域，係藉由圖案辨識而加以特定。
  6. 如請求項5所記載之影像生成系統，其中， 前記特徵量係包含：前記半導體圖案的尺寸值、側寫波形、輪廓線、粗糙度評價值之其中至少任一者。
  7. 一種非暫時性電腦可讀媒體，係記憶有為了可在電腦系統上執行基於帶電粒子束裝置所生成的輸入影像之輸入而生成轉換影像的電腦實作方法的程式指令，其中，該非暫時性電腦可讀媒體的特徵在於： 前記電腦實作方法係含有：學習模型，其係以抑制在學習時作為訓練資料而被輸入的第1影像、與藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像之間的誤差的方式，而被調整了參數； 前記輸入影像，係為半導體圖案影像； 前記輸入影像係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間採用不同參數所致之影像補正； 前記第1及第2領域之各者，係為藉由圖案辨識而被分割的領域。
  8. 如請求項7所記載之非暫時性電腦可讀媒體，其中， 前記影像補正係包含：亮度補正、明度補正、對比度補正、及著色補正之其中至少任一者。
  9. 一種非暫時性電腦可讀媒體，係記憶有為了可在電腦系統上執行基於帶電粒子束裝置所生成的輸入影像之輸入而生成轉換影像的電腦實作方法的程式指令，其中，該非暫時性電腦可讀媒體的特徵在於： 前記電腦實作方法係含有：學習模型，其係以抑制在學習時作為訓練資料而被輸入的第1影像、與藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像之間的誤差的方式，而被調整了參數； 前記輸入影像係為，基於前記帶電粒子束裝置所偵測到的至少2個以上之不同的二次電子訊號所被生成的2個以上之半導體圖案影像； 前記學習模型係為，對應於前記2個以上之半導體圖案影像的2個以上之學習模型。
  10. 如請求項9所記載之非暫時性電腦可讀媒體，其中， 前記輸入影像係為，前記帶電粒子束裝置所同時偵測到的二次電子像及背向散射電子像。
  11. 一種非暫時性電腦可讀媒體，係記憶有為了可在電腦系統上執行基於從帶電粒子束裝置所生成之輸入影像所被求出的特徵量之輸入而生成轉換特徵量的電腦實作方法的程式指令，其中，該非暫時性電腦可讀媒體的特徵在於： 前記電腦實作方法係含有：學習模型，其係以抑制從在學習時作為訓練資料而被輸入的第1影像所被求出的第1特徵量、與從藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像所被求出的第2特徵量之間的誤差的方式，而被調整了參數； 該學習模型係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間為不同的學習； 前記輸入影像，係為半導體圖案影像； 求出前記特徵量的影像領域，係藉由圖案辨識而加以特定。
  12. 如請求項11所記載之非暫時性電腦可讀媒體，其中， 前記特徵量係包含：前記半導體圖案的尺寸值、側寫波形、輪廓線、粗糙度評價值之其中至少任一者。
  13. 一種影像生成方法，係為被構成為基於帶電粒子束裝置所生成的輸入影像之輸入而生成轉換影像的系統中的影像生成方法，其中， 前記系統係具備：1個以上之電腦子系統、和藉由該1個以上之電腦子系統而被執行的1個以上之成份； 該1個以上之成份係包含：學習模型，其係以抑制在學習時作為訓練資料而被輸入的第1影像、與藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像之間的誤差的方式，而被調整了參數； 前記輸入影像，係為半導體圖案影像； 前記輸入影像係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間採用不同參數所致之影像補正； 前記第1及第2領域之各者，係為藉由圖案辨識而被分割的領域。
  14. 如請求項13所記載之影像生成方法，其中， 前記影像補正係包含：亮度補正、明度補正、對比度補正、及著色補正之其中至少任一者。
  15. 一種影像生成方法，係為被構成為基於帶電粒子束裝置所生成的輸入影像之輸入而生成轉換影像的系統中的影像生成方法，其中， 前記系統係具備：1個以上之電腦子系統、和藉由該1個以上之電腦子系統而被執行的1個以上之成份； 該1個以上之成份係包含：學習模型，其係以抑制在學習時作為訓練資料而被輸入的第1影像、與藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像之間的誤差的方式，而被調整了參數； 前記輸入影像係為，基於前記帶電粒子束裝置所偵測到的至少2個以上之不同的二次電子訊號所被生成的2個以上之半導體圖案影像； 前記學習模型係為，對應於前記2個以上之半導體圖案影像的2個以上之學習模型。
  16. 如請求項15所記載之影像生成方法，其中， 前記輸入影像係為，前記帶電粒子束裝置所同時偵測到的二次電子像及背向散射電子像。
  17. 一種影像生成方法，係被構成為，基於從帶電粒子束裝置所生成之輸入影像所求出的特徵量之輸入，而生成轉換特徵量的系統中的影像生成方法，其中， 前記系統係具備：1個以上之電腦子系統、和藉由該1個以上之電腦子系統而被執行的1個以上之成份； 該1個以上之成份係包含：學習模型，其係以抑制從在學習時作為訓練資料而被輸入的第1影像所被求出的第1特徵量、與從藉由對前記系統的前記輸入影像之輸入而已被轉換的第2影像所被求出的第2特徵量之間的誤差的方式，而被調整了參數； 該學習模型係至少被實施過，在影像內的第1領域、與異於該第1領域的第2領域之間為不同的學習； 前記輸入影像，係為半導體圖案影像； 求出前記特徵量的影像領域，係藉由圖案辨識而加以特定。
  18. 如請求項17所記載之影像生成方法，其中， 前記特徵量係包含：前記半導體圖案的尺寸值、側寫波形、輪廓線、粗糙度評價值之其中至少任一者。
TW112104134A 2020-01-09 2020-11-13 影像生成系統、非暫時性電腦可讀媒體及影像生成方法 TWI822581B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2020/000481 2020-01-09
PCT/JP2020/000481 WO2021140620A1 (ja) 2020-01-09 2020-01-09 画像を生成するシステム、及び非一時的コンピュータ可読媒体

Publications (2)

Publication Number Publication Date
TW202324298A TW202324298A (zh) 2023-06-16
TWI822581B true TWI822581B (zh) 2023-11-11

Family

ID=76787797

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112104134A TWI822581B (zh) 2020-01-09 2020-11-13 影像生成系統、非暫時性電腦可讀媒體及影像生成方法
TW109139683A TWI795691B (zh) 2020-01-09 2020-11-13 影像生成系統、及非暫時性電腦可讀媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109139683A TWI795691B (zh) 2020-01-09 2020-11-13 影像生成系統、及非暫時性電腦可讀媒體

Country Status (7)

Country Link
US (1) US20220415024A1 (zh)
EP (1) EP4089624A4 (zh)
JP (2) JP7398480B2 (zh)
KR (1) KR20220088923A (zh)
CN (1) CN114761990A (zh)
TW (2) TWI822581B (zh)
WO (1) WO2021140620A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935217B2 (en) * 2021-03-12 2024-03-19 Adobe Inc. Generating deep harmonized digital images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200608310A (en) * 2004-06-30 2006-03-01 Intel Corp Computing a higher resolution image from multiple lower resolution images using model-based, robust bayesian estimation
TW201818346A (zh) * 2016-11-07 2018-05-16 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
TW201837458A (zh) * 2016-11-28 2018-10-16 美商克萊譚克公司 用於從低解析度檢測影像重建高解析度點擴散函數之系統及方法
US20190295225A1 (en) * 2017-01-10 2019-09-26 Fujifilm Corporation Noise processing apparatus and noise processing method
TW201946089A (zh) * 2018-03-19 2019-12-01 美商克萊譚克公司 掃描電子顯微鏡影像中之半監督異常偵測
US20190365341A1 (en) * 2018-05-31 2019-12-05 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (pet)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04125779A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 画像処理方法
JP4125779B1 (ja) 2008-01-29 2008-07-30 宝養生資材株式会社 エレベーターの昇降かご内の養生構造
JP5324534B2 (ja) 2010-07-29 2013-10-23 株式会社日立ハイテクノロジーズ 検査方法及び装置
JP6391170B2 (ja) 2015-09-03 2018-09-19 東芝メモリ株式会社 検査装置
EP3465247A4 (en) * 2016-05-31 2020-02-12 Shanghai United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR ELIMINATING GIBBS ARTIFACTS IN A MEDICAL IMAGING SYSTEM
JP6581068B2 (ja) 2016-11-11 2019-09-25 株式会社東芝 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両
JP6668278B2 (ja) 2017-02-20 2020-03-18 株式会社日立ハイテク 試料観察装置および試料観察方法
EP3499459A1 (en) * 2017-12-18 2019-06-19 FEI Company Method, device and system for remote deep learning for microscopic image reconstruction and segmentation
US20190295228A1 (en) 2018-03-21 2019-09-26 Nvidia Corporation Image in-painting for irregular holes using partial convolutions
JP6964031B2 (ja) 2018-03-27 2021-11-10 Ｔａｓｍｉｔ株式会社 パターンエッジ検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200608310A (en) * 2004-06-30 2006-03-01 Intel Corp Computing a higher resolution image from multiple lower resolution images using model-based, robust bayesian estimation
TW201818346A (zh) * 2016-11-07 2018-05-16 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
TW201837458A (zh) * 2016-11-28 2018-10-16 美商克萊譚克公司 用於從低解析度檢測影像重建高解析度點擴散函數之系統及方法
US20190295225A1 (en) * 2017-01-10 2019-09-26 Fujifilm Corporation Noise processing apparatus and noise processing method
TW201946089A (zh) * 2018-03-19 2019-12-01 美商克萊譚克公司 掃描電子顯微鏡影像中之半監督異常偵測
US20190365341A1 (en) * 2018-05-31 2019-12-05 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (pet)

Also Published As

Publication number Publication date
TW202324298A (zh) 2023-06-16
CN114761990A (zh) 2022-07-15
JP7398480B2 (ja) 2023-12-14
TW202127374A (zh) 2021-07-16
JPWO2021140620A1 (zh) 2021-07-15
WO2021140620A1 (ja) 2021-07-15
EP4089624A1 (en) 2022-11-16
KR20220088923A (ko) 2022-06-28
TWI795691B (zh) 2023-03-11
JP2024026256A (ja) 2024-02-28
US20220415024A1 (en) 2022-12-29
JP7527461B2 (ja) 2024-08-02
EP4089624A4 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
KR101623134B1 (ko) 패턴 검사 장치 및 패턴 검사 방법
US6538249B1 (en) Image-formation apparatus using charged particle beams under various focus conditions
US20110187847A1 (en) Scanning type charged particle microscope device and method for processing image acquired with scanning type charged particle microscope device
KR102680501B1 (ko) 화상 평가 장치 및 방법
JP6731370B2 (ja) 画像処理システム及び画像処理を行うためのコンピュータープログラム
US8330104B2 (en) Pattern measurement apparatus and pattern measurement method
TW202324561A (zh) 構造推定系統、構造推定程式
JP7527461B2 (ja) 画像を生成するシステム、及び非一時的コンピュータ可読媒体
WO2018138875A1 (ja) 荷電粒子線装置
US20120068065A1 (en) Pattern defect inspection apparatus and pattern defect inspection method
JP4194526B2 (ja) 荷電粒子線の調整方法、及び荷電粒子線装置
US5302829A (en) Automatic focusing method for scanning electron microscopy
JP2005005055A (ja) 試料の高さ情報取得方法
JP2024150622A (ja) 画像を生成するシステム、及び非一時的コンピュータ可読媒体
JP2014106388A (ja) 自動合焦点検出装置及びそれを備える荷電粒子線顕微鏡
US20240144560A1 (en) Training Method for Learning Apparatus, and Image Generation System
TWI769662B (zh) 帶電粒子線裝置及檢查裝置
JP7438311B2 (ja) 画像処理システムおよび画像処理方法
KR102678481B1 (ko) 하전 입자 빔 장치
JP7503199B2 (ja) 荷電粒子線装置
JP4231891B2 (ja) 荷電粒子線の調整方法、及び荷電粒子線装置
JP2003331769A (ja) 粒子ビーム検査装置および検査方法並びに粒子ビーム応用装置
CN116309099A (zh) 用于减少图像光晕的显微镜系统和方法
JP2010182423A (ja) 荷電粒子ビームの焦点評価方法及び荷電粒子線装置