TW202305437A - 焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統 - Google Patents

焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統 Download PDF

Info

Publication number
TW202305437A
TW202305437A TW111114923A TW111114923A TW202305437A TW 202305437 A TW202305437 A TW 202305437A TW 111114923 A TW111114923 A TW 111114923A TW 111114923 A TW111114923 A TW 111114923A TW 202305437 A TW202305437 A TW 202305437A
Authority
TW
Taiwan
Prior art keywords
focus position
image
focus
feature quantity
estimation
Prior art date
Application number
TW111114923A
Other languages
English (en)
Inventor
伊藤朱里
竹嶋智親
Original Assignee
日商濱松赫德尼古斯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商濱松赫德尼古斯股份有限公司 filed Critical 日商濱松赫德尼古斯股份有限公司
Publication of TW202305437A publication Critical patent/TW202305437A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本發明可以短時間之準備時間進行基於圖像之焦點位置推定。 焦點位置推定系統30為推定與推定對象圖像對應之合焦時之焦點位置之系統，其具備：推定對象圖像取得部31，其取得推定對象圖像；及焦點位置推定部32，其使用特徵量輸出模型，根據推定對象圖像輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置；且特徵量輸出模型係根據與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像，藉由機械學習而產生，且依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。

Description

焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統
本發明係關於一種推定與推定對象圖像對應之合焦時之焦點位置之焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統。
先前，使用將拍攝(掃描)載玻片所得之圖像用作虛擬之顯微鏡圖像之虛擬幻燈片掃描器。此種裝置中，需要於焦點位置位於樣本上之狀態下進行攝像。相對於此，提案有基於拍攝樣本之圖像推定適當之焦點位置。例如，專利文獻1中，顯示使用機械學習算法之推定。 [先前技術文獻] [專利文獻]
專利文獻1：日本專利特開2013-50713號公報
[發明所欲解決之問題]
然而，產生推定適當之焦點位置之預學習模型之情形時，若僅將顯示圖像與適當之焦點位置之資訊用作教學資料進行機械學習，則導致學習需要長時間。因此，以短時間之學習推定適當之焦點位置較困難，謀求短時間學習之推定。
本發明之一實施形態係鑑於上述而完成者，其目的在於提供一種可以短時間之準備時間進行基於圖像之焦點位置推定之推定焦點位置之焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、與其等關聯之半導體檢查系統及活體觀察系統。 [解決問題之技術手段]
為達成上述目的，本發明之一實施形態之焦點位置推定系統為推定與推定對象圖像對應之合焦時之焦點位置者，且具備：推定對象圖像取得機構，其取得推定對象圖像；及焦點位置推定機構，其使用輸入基於圖像之資訊、輸出該圖像之特徵量之特徵量輸出模型，自藉由推定對象圖像取得機構取得之推定對象圖像，輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置；且特徵量輸出模型係根據與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像，藉由機械學習而產生，且依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。
以本發明之一實施形態之焦點位置推定系統推定合焦時之焦點位置所使用之特徵量輸出模型例如藉由使用輸入基於圖像之資訊之現有之預學習模型而於短時間產生。因此，根據本發明之一實施形態之焦點位置推定系統，可以短時間之準備時間進行基於圖像之合焦時之焦點位置推定。
亦可為，焦點位置推定機構使用推定與特徵量相關之圖像對應之合焦時之焦點位置之焦點位置推定模型，從自特徵量輸出模型輸出之特徵量，推定與推定對象圖像對應之合焦時之焦點位置，焦點位置推定模型係自與學習用圖像之各者對應之合焦時之焦點位置相關之合焦位置資訊，藉由機械學習而產生。根據該構成，可確實且適當地推定焦點位置。
焦點位置推定系統亦可進而具備：控制機構，其基於由焦點位置推定機構推定之焦點位置，控制攝像對象物之攝像時之焦點位置。根據該構成，可進行存在焦點之攝像對象物之攝像。
本發明之一實施形態之半導體檢查系統及活體觀察系統可設為具備上述焦點位置推定系統之構成。即，本發明之一實施形態之半導體檢查系統具備：上述焦點位置推定系統；載置部，其載置半導體器件作為焦點位置推定系統相關之攝像對象物；及檢查部，其檢查半導體器件。又，本發明之一實施形態之活體觀察系統具備：上述焦點位置推定系統；載置部，其載置焦點位置推定系統相關之作為攝像對象物之活體樣本；及觀察部，其觀察活體樣本。
然而，本發明之一實施形態除可如上述，記述為焦點位置推定系統之發明外，亦可如下述，記述為焦點位置推定方法及焦點位置推定程式之發明。
即，本發明之一實施形態之焦點位置推定方法為推定與推定對象圖像對應之合焦時之焦點位置者，且包含：推定對象圖像取得步驟，其取得推定對象圖像；及焦點位置推定步驟，其使用輸入基於圖像之資訊、輸出該圖像之特徵量之特徵量輸出模型，根據推定對象圖像取得步驟中取得之推定對象圖像，輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置；且特徵量輸出模型係根據與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像，藉由機械學習而產生，且依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。
焦點位置推定步驟中，亦可輸入自特徵量輸出模型輸出之特徵量，使用推定與該特徵量相關之圖像對應之合焦時之焦點位置之焦點位置推定模型，推定與推定對象圖像對應之合焦時之焦點位置，焦點位置推定模型係自與學習用圖像之各者對應之合焦時之焦點位置相關之合焦位置資訊，藉由機械學習而產生。
焦點位置推定方法亦可進而包含：控制步驟，其基於焦點位置推定步驟中推定之焦點位置，控制攝像對象物之攝像時之焦點位置。
又，本發明之一實施形態之焦點位置推定程式係使電腦作為推定與推定對象圖像對應之合焦時之焦點位置之焦點位置推定系統動作者，且使電腦作為以下機構發揮功能：推定對象圖像取得機構，其取得推定對象圖像；及焦點位置推定機構，其使用輸入基於圖像之資訊、輸出該圖像之特徵量之特徵量輸出模型，根據藉由推定對象圖像取得機構取得之推定對象圖像，輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置；且特徵量輸出模型係根據與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像，藉由機械學習而產生，且依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。
亦可為，焦點位置推定機構輸入自特徵量輸出模型輸出之特徵量，使用推定與該特徵量相關之圖像對應之合焦時之焦點位置之焦點位置推定模型，推定與推定對象圖像對應之合焦時之焦點位置，焦點位置推定模型係自與學習用圖像之各者對應之合焦時之焦點位置相關之合焦位置資訊，藉由機械學習而產生。
焦點位置推定程式亦可使電腦亦作為控制機構發揮功能，該控制機構基於由焦點位置推定機構推定之焦點位置，控制攝像對象物之攝像時之焦點位置。 [發明之效果]
根據本發明之一實施形態，可以短時間之準備時間進行基於圖像之合焦時之焦點位置推定。
以下，與圖式一起，針對本發明之焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統之實施形態詳細說明。另，圖式之說明中，對同一要件標註同一符號，省略重複說明。
圖1顯示本實施形態之焦點位置推定系統即電腦10。電腦10係對圖像進行資訊處理之裝置(系統)。具體而言，電腦10對由檢查裝置40及觀察裝置50之至少任一者拍攝之圖像進行資訊處理。另，電腦10亦可對由檢查裝置40及觀察裝置50以外之裝置拍攝之圖像進行資訊處理。即，電腦10亦可應用於檢查裝置40及觀察裝置50以外之進行攝像之裝置。
檢查裝置40係拍攝半導體器件，基於拍攝之圖像檢查半導體器件之裝置。例如，檢查裝置40進行半導體器件之故障分析。檢查對象之半導體器件例如係鋪滿μLED(Light Emitting Diode：發光二極體)之晶圓。故障分析例如藉由發光分析、發熱分析、使用圖案圖像之分析或利用雷射之分析(OBIRCH(Optical Beam Induced Resistance Change：光束感應電阻變化)、OBIC(Optical Beam Induced Current：光束感應電流)或DALS(Dynamic Ambient Light Suppression：動態環境光抑制)等)進行。檢查裝置40亦可為先前之檢查裝置。以下說明之構成亦可全部為先前之檢查裝置具備者。
圖2例如顯示進行發光分析之檢查裝置40之一部分構成。如圖2所示，檢查裝置40具備相機41、載置部42、光源43、光學系統44、物鏡45、及載台46。相機41為拍攝攝像對象物即半導體器件之攝像裝置。相機41例如為InGaAs相機。載置部42為用以載置攝像對象物即半導體器件之構成。圖2中，載置於載置部42之標準樣本60非為檢查對象物，而為對應於與後述之焦點位置相應之圖像者。標準樣本60為實施人工圖案(例如如圖2所示，放射狀之條紋圖案)之樣本。
光源43為輸出照射至攝像對象物之照射光之裝置。光源43亦可為輸出特定波長(例如，標準波長1100 nm、以及與標準波長不同之波長900 nm及1300 nm)之照射光者。又，亦可預先準備複數個光源43等切換照射光之波長。光學系統44為用以將自光源43輸出之照射光照射至攝像對象物即半導體器件之光學系統。物鏡45為相機41之攝像所使用之物鏡，例如為固態浸沒透鏡(SIL(Solid Immersion Lens))。載台46為用以調整相機41之攝像時之焦點位置之構件。載台46亦可為不僅可於攝像方向(焦點位置方向、Z軸方向)移動，亦可於三維之任意方向移動者(即，XYZ載台)。檢查裝置40之攝像時之焦點位置如後述，由電腦10控制。檢查裝置40具備使用由上述構成獲得之圖像，進行半導體器件之檢查之檢查部。
另，檢查裝置40之構成無需為上述者，根據分析方法，亦可使用不同者。例如，發熱分析中，亦可無需照明(光源43)，使用InSb相機作為攝像裝置(相機41)。又，進行使用圖案圖像之分析之情形時，亦可使用非相干光源或相干光源作為照明(光源43)，使用二維檢測器或進行光掃描之裝置及光電二極體，作為攝像裝置。進行雷射分析之情形時，亦可使用非相干光源或相干光源作為照明(光源43)，使用半導體器件之電性特性取得裝置作為攝像裝置。
觀察裝置50為拍攝載置於載玻片之活體樣本，觀察拍攝之活體樣本之圖像之裝置。觀察裝置50亦可為先前之觀察裝置。例如，觀察裝置50為上述先前之虛擬幻燈片掃描器。觀察裝置50具備拍攝攝像對象物即活體樣本之攝像裝置、載置攝像對象物即活體樣本之載置部、及藉由拍攝之圖像觀察活體樣本之觀察部。觀察裝置50之攝像時之焦點位置如後述，由電腦10控制。
檢查裝置40及觀察裝置50之攝像需要於攝像對象物上存在焦點之狀態下進行。這是為了適當進行攝像對象物之檢查或觀察。圖3顯示對應於焦點位置拍攝之圖像之例。該圖像為拍攝圖2所示之標準樣本60者。圖3(a)係於合焦時之焦點位置拍攝之圖像。圖3(b)係焦點位置自合焦時之焦點位置離開100 μm時之圖像。圖3(c)係焦點位置較圖3(b)之情形更遠離時之圖像。圖3(d)係焦點位置較圖3(c)之情形更遠離，自合焦時之焦點位置離開500 μm時之圖像。即，圖3(a)為聚焦圖像之例，圖3(b)～(d)為散焦圖像之例。
電腦10進行用以於攝像對象物上存在焦點之狀態下進行檢查裝置40及觀察裝置50之攝像之資訊處理。作為功能性構成，電腦10包含：特徵量輸出模型產生系統20，其藉由機械學習產生預學習模型；及焦點位置推定系統30，其使用藉由特徵量輸出模型產生系統20產生之預學習模型，進行用以可實現上述攝像之資訊處理。特徵量輸出模型產生系統20細節如後述，為產生輸入基於圖像之資訊、輸出該圖像之特徵量之特徵量輸出模型之系統(裝置)。焦點位置推定系統30細節如後述，為推定與推定對象圖像對應之合焦時之焦點位置之系統(裝置)。另，本實施形態中，作為進行攝像之裝置，顯示檢查裝置40及觀察裝置50，但若為於攝像對象物上存在焦點之狀態下進行攝像之裝置(系統)，則亦可使用上述以外者。
電腦10例如為包含CPU(Central Processing Unit：中央處理單元)、記憶體、通信模組等硬體之先前之電腦。又，電腦10亦可為包含複數個電腦之電腦系統。又，電腦10亦可以雲端計算構成。藉由該等構成要件根據程式等動作而發揮電腦10之後述之各功能。電腦10與檢查裝置40及觀察裝置50以可收發資訊之方式互相連接。
接著，說明本實施形態之電腦10所含之特徵量輸出模型產生系統20與焦點位置推定系統30之功能。如圖1所示，特徵量輸出模型產生系統20構成為具備學習用圖像取得部21、特徵量輸出模型產生部22、及焦點位置推定模型產生部23。
於說明特徵量輸出模型產生系統20之各功能之前，說明由特徵量輸出模型產生系統20產生之預學習模型。由特徵量輸出模型產生系統20產生之預學習模型為特徵量輸出模型及焦點位置推定模型之2者。
特徵量輸出模型為輸入基於圖像之資訊、輸出該圖像之特徵量之模型。用於特徵量輸出模型之輸入之之圖像，為由檢查裝置40及觀察裝置50拍攝之圖像或其部分圖像。自特徵量輸出模型之輸出即特徵量，為顯示輸入相關之圖像之特徵之資訊。本實施形態中，該特徵係反映拍攝圖像時之焦點位置者。即，特徵量輸出模型係光學特徵相關之光學模型。該特徵量例如為預先設定之維數(例如1024維)之矢量。該特徵量如後述，用於對焦點位置推定模型之輸入。
特徵量輸出模型係例如包含神經網路而構成。神經網路亦可為多層者。即，特徵量輸出模型亦可藉由深層學習(Deep learning)而產生。又，神經網路亦可為卷積神經網路(CNN：Convolutional Neural Network)。
於特徵量輸出模型，設置用於對輸入層輸入基於圖像之資訊之神經元。例如，輸入至特徵量輸出模型之資訊為圖像之各像素之像素值。該情形時，於輸入層設置圖像之像素數量之神經元，對各個神經元輸入對應像素之像素值。如後述，與輸入至特徵量輸出模型之資訊相關之圖像，設為預先設定尺寸之圖像(例如224×224像素之圖像)。
另，輸入至特徵量輸出模型之資訊只要為基於圖像者，則亦可為各像素之像素值以外。例如，該資訊亦可設為為了減輕攝像環境之影響而對圖像進行先前之圖像處理等前處理所得之、對特徵量輸出模型輸入用之特徵量。藉由進行此種前處理，可謀求機械學習之效率及產生之特徵量輸出模型之精度提高等。
於特徵量輸出模型，設置用於對輸出層輸出特徵量之神經元。例如，設置特徵量之矢量之維數之神經元。
焦點位置推定模型係輸入自特徵量輸出模型輸出之特徵量，推定與該特徵量相關之圖像對應之合焦時之焦點位置之模型。焦點位置推定模型係例如輸出顯示拍攝和輸入之特徵量相關之圖像時之焦點位置、與合焦時之焦點位置之差量之資訊，來作為合焦時之焦點位置之推定結果。差量例如為自與合焦時之焦點位置對應之焦點距離，減去與拍攝特徵量相關之圖像時之焦點位置對應之焦點距離之值。即，該情形時，顯示將合焦時之焦點位置之位置設為0時之座標系中拍攝圖像時之焦點位置之值，成為輸出值。合焦時之焦點位置，係用於使焦點對準與輸入之特徵量相關之圖像上所映現之攝像對象物後拍攝之焦點位置。藉由自拍攝與輸入之特徵量相關之散焦圖像時之焦點位置，將焦點位置變更上述差量後拍攝，而可拍攝聚焦圖像。
該情形時，亦可預先設定上述差量之候補，焦點位置推定模型亦可輸出就該等候補表示候補適當程度之值。例如，將差量之候補設為+50 μm、0 μm、-50 μm、-100 μm、……，焦點位置推定模型輸出就各個候補表示適當程度之值。例如，將該值最高之候補，設為上述差量。或者，焦點位置推定模型亦可輸出上述差量值本身。
或者，焦點位置推定模型亦可輸出顯示合焦時之焦點位置本身之資訊(例如，與合焦時之焦點位置對應之焦點距離)。該情形時，亦可預先設定合焦時之焦點位置本身之候補，焦點位置推定模型輸出對於該等候補顯示候補適當程度之值。或者，焦點位置推定模型亦可輸出上述合焦時之焦點位置值本身。
焦點位置推定模型例如包含神經網路而構成。神經網路亦可為多層者。即，焦點位置推定模型亦可藉由深層學習(Deep learning)而產生。又，神經網路亦可為卷積神經網路(CNN)。
於焦點位置推定模型，設置用以對輸入層輸入特徵量之神經元。例如，於輸入層，設置與設置於特徵量輸出模型之輸出層之神經元對應之神經元。即，於輸入層，設置設置於特徵量輸出模型之輸出層之數量之神經元。於焦點位置推定模型，設置用以輸出上述合焦時之焦點位置之推定結果之神經元。例如，設置候補數量之神經元(輸出每個候補之值之情形)或1個神經元(輸出上述差量或合焦時之焦點位置本身之情形)。
另，特徵量輸出模型及焦點位置推定模型亦可由神經網路以外構成。
假設特徵量輸出模型及焦點位置推定模型作為人工智能軟體之一部分即程式模組使用。特徵量輸出模型及焦點位置推定模型例如用於具備CPU及記憶體之電腦，電腦之CPU按照來自記憶於記憶體之模型之指令動作。例如，電腦之CPU以按照該指令，對模型輸入資訊，進行對應於模型之運算，自模型輸出結果之方式動作。具體而言，電腦之CPU以如下方式動作：按照該指令，對神經網路之輸入層輸入資訊，基於神經網路中之預學習之權重係數等參數進行運算，自神經網路之輸出層輸出結果。
學習用圖像取得部21係取得與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像之學習用圖像取得機構。學習用圖像取得部21亦可取得檢測出來自攝像對象物之放射之圖像、檢測出對攝像對象物照射光時之來自攝像對象物之光之圖像、或檢測出對攝像對象物照射光時之攝像對象物之電性特性之圖像，作為學習用圖像。學習用圖像取得部21亦可取得將特定波長之光照射至攝像對象物時之圖像，作為學習用圖像。學習用圖像取得部21取得與取得之學習用圖像各者對應之合焦時之焦點位置相關之合焦位置資訊。
例如，學習用圖像取得部21取得由檢查裝置40或觀察裝置50拍攝之圖像。該圖像為映現學習用圖像用之攝像對象物者。學習用圖像用之攝像對象物例如亦可為圖2所示之標準樣本60。或者，學習用圖像用之攝像對象物亦可為此外者(例如，由檢查裝置40或觀察裝置50拍攝者)。例如，如圖4所示，學習用圖像取得部21自取得之圖像70切出部分圖像，作為學習用圖像71。學習用圖像71為用以產生上述2個預學習模型之機械學習所使用之圖像。因此，學習用圖像取得部21取得可適當產生預學習模型之程度之數量之複數個學習用圖像71。
由於本實施形態自散焦圖像推定合焦時之焦點位置，故於複數個學習用圖像71包含散焦圖像。又，亦可該散焦圖像為複數個，其等相關之焦點位置為各種位置。即，與其等相關之焦點位置對應之焦點距離亦可為各種距離。又，亦可於複數個學習用圖像71中包含聚焦圖像。圖4中，顯示取得之圖像70為3個之例。顯示圖4之圖像70之部分之縱向為攝像方向(焦點位置方向、Z軸方向)。
學習用圖像71與用於對特徵量輸出模型之輸入之圖像對應。該情形時，特徵量輸出模型輸入基於藉由檢查裝置40或觀察裝置50拍攝之圖像之與學習用圖像71相同尺寸之部分圖像，而非該圖像整體之資訊。因此，學習用圖像取得部21自取得之圖像70切出用於特徵量輸出模型之輸入之、預先設定尺寸之部分圖像即學習用圖像71。圖像70中切出學習用圖像71之位置為映現攝像對象物之部分。但，亦可於學習用圖像71中包含未映現攝像對象物之學習用圖像71。圖像70中切出學習用圖像71之位置亦可預先設定。又，亦可將對圖像70進行圖像辨識並推定為映現攝像對象物之位置，設為切出學習用圖像71之位置。
如圖4所示，學習用圖像取得部21亦可自1個圖像70切出複數個學習用圖像71。自圖像70切出複數個學習用圖像71之情形時，學習用圖像71之位置亦可重複。
檢查裝置40或觀察裝置50中，進行攝像，產生成為學習用圖像71之基礎之圖像。此時，例如檢查裝置40或觀察裝置50中，固定攝像方向(Z軸方向)以外之攝像時之位置(XY)，進行焦點位置不同之複數次連續攝像。此時，如圖4所示，焦點位置按一定間隔(梯級)(△Z)不同。用於檢查裝置40或觀察裝置50之學習用圖像71的攝像亦可以上述以外之方法進行。
又，學習用圖像取得部21亦可將由檢查裝置40或觀察裝置50拍攝之圖像70本身設為學習用圖像。該情形時，用於向特徵量輸出模型之輸入之圖像亦設為圖像70之尺寸。又，學習用圖像取得部21亦可自檢查裝置40或觀察裝置50以外取得圖像70。
又，如上所述，學習用圖像71亦可為檢測出來自攝像對象物之放射之圖像(用於發光、發熱分析之圖像)、檢測出對攝像對象物照射光時之來自攝像對象物之光之圖像(用於圖案分析之圖像)、或檢測出對攝像對象物照射光時之攝像對象物之電性特性之圖像(用於雷射分析之圖像)。又，學習用圖像71亦可為將特定波長之光(例如，用於檢查之特定波長之光)照射至攝像對象物時之圖像。該等為檢查裝置40或觀察裝置50通常使用之圖像之種類。但，產生1組特徵量輸出模型及焦點位置推定模型之情形時，亦可僅將任意種類之圖像設為學習用圖像71。該情形時，產生之1組特徵量輸出模型及焦點位置推定模型與特定圖像之種類對應。
發光分析所使用之光之波長根據檢查裝置40之驅動電壓及設計規則而不同。又，實際之光學系統中，產生因調整及光學元件之特性所致之每個波長之焦點偏差。又，有與觀察圖案影像(圖像)之焦點位置不同之位置上，檢測靈敏度最大之情形。考慮該等情況，亦可如上所述使用特定之每個波長之圖像，產生每個波長之特徵量輸出模型。例如，亦可使用標準波長(1100 nm)及與標準波長不同之每個波長(900nm、1300 nm)之圖像，產生每個波長之特徵量輸出模型。
又，產生1組特徵量輸出模型及焦點位置推定模型之情形時，亦可僅將由檢查裝置40或觀察裝置50之任意機種(種類)拍攝之圖像(亦包含部分圖像)設為學習用圖像71。該情形時，產生之1組特徵量輸出模型及焦點位置推定模型與特定機種之檢查裝置40或觀察裝置50對應。即，特徵量輸出模型及焦點位置推定模型反映檢查裝置40或觀察裝置50之特徵。如此，藉由使學習用圖像與特定種類之圖像或特定機種之檢查裝置40或觀察裝置50對應，可設為更高精度之預學習模型。或者，對於焦點位置推定模型，亦可複數個圖像之種類或機種共通。
學習用圖像71之攝像時之焦點位置相關之焦點位置資訊與各學習用圖像71建立對應。焦點位置資訊例如為顯示上述焦點位置之資訊。但，若焦點位置資訊為焦點位置相關之資訊，可用於上述預學習模型之產生，則亦可為上述以外者。焦點位置資訊例如作為檢查裝置40或觀察裝置50之圖像拍攝時之資訊獲得。例如，學習用圖像取得部21自檢查裝置40或觀察裝置50接收而取得與焦點位置資訊建立對應之圖像。
又，學習用圖像取得部21取得與取得之學習用圖像各者對應之合焦時之焦點位置相關之合焦位置資訊。合焦位置資訊例如為顯示合焦時之焦點位置之資訊。但，若合焦位置資訊為合焦時之焦點位置相關之資訊，可用於上述預學習模型之產生，則亦可為上述以外者。合焦位置資訊由先前之測定合焦時之焦點位置之方法等獲得。例如，學習用圖像取得部21藉由受理利用測定獲得之合焦位置資訊之由使用者對電腦10之輸入操作，而取得合焦位置資訊。
學習用圖像取得部21將取得之各資訊輸出至特徵量輸出模型產生部22及焦點位置推定模型產生部23。
特徵量輸出模型產生部22為自藉由學習用圖像取得部21取得之學習用圖像71，藉由機械學習產生特徵量輸出模型之特徵量輸出模型產生機構。特徵量輸出模型產生部22根據與互不相同之2個學習用圖像71建立對應之焦點位置資訊，將該2個學習用圖像71之特徵量進行比較，基於比較結果進行機械學習。特徵量輸出模型產生部22亦可於互不相同之2個學習用圖像彼此係相同之焦點位置之情形時，以該2個學習用圖像71之特徵量之差量變小之方式進行機械學習，且於互不相同之2個學習用圖像71彼此係不同之焦點位置之情形時，以該2個學習用圖像71之特徵量之差量變大之方式進行機械學習。
特徵量輸出模型產生部22如下所述，產生特徵量輸出模型。特徵量輸出模型產生部22自學習用圖像取得部21，輸入學習用圖像71、及該學習用圖像71相關之焦點位置資訊。特徵量輸出模型產生部22使用自輸入之複數個學習用圖像71選擇之2個學習用圖像71作為一組，進行用以產生特徵量輸出模型之機械學習。用於機械學習之組包含彼此相同之焦點位置相關之學習用圖像71之組、及互不相同之焦點位置相關之學習用圖像71之組兩者。例如，同一焦點位置相關之學習用圖像71之組例如如圖4所示，亦可為自同一圖像70切出之學習用圖像71。學習用圖像71之組之選擇只要以滿足上述條件之方式，以預先設定之方法進行即可。又，學習用圖像71之組亦可自攝像方向(Z軸方向)以外之攝像時之位置(XY)相同之圖像70選擇。
特徵量輸出模型產生部22將基於選擇之組之學習用圖像71之資訊，作為對特徵量輸出模型之輸入進行機械學習。如圖4所示，若將1組學習用圖像71各者輸入至特徵量輸出模型80，則對於學習用圖像71之各者，獲得特徵量作為輸出。圖4中，以柱狀圖顯示特徵量即矢量之各要素之值。此時，將輸入一學習用圖像71之特徵量輸出模型80設為學習對象，將輸入另一學習用圖像71之特徵量輸出模型80設為比較對象。但，該等特徵量輸出模型80為學習中途之相同者。
特徵量輸出模型產生部22參照焦點位置資訊，將輸出之2個特徵量進行比較，基於比較結果進行機械學習。特徵量輸出模型產生部22於由焦點位置資訊所示之2個學習用圖像71之焦點位置為彼此相同之焦點位置(即，為同一平面)之情形時，以該2個學習用圖像71之特徵量之差量變小之方式進行機械學習。特徵量輸出模型產生部22於由焦點位置資訊所示之2個學習用圖像之焦點位置為互不相同之焦點位置(即，Z位置不同)之情形時，以該2個學習用圖像71之特徵量之差量變大之方式進行機械學習。另，為自同一圖像切出之2個學習用圖像71之情形時，2個學習用圖像71之焦點位置成為彼此相同之焦點位置。又，2個學習用圖像71之焦點位置以視為彼此相同程度接近之情形時，2個學習用圖像71之焦點位置亦可視為彼此相同之焦點位置。
即，自位於同一焦點面之圖像切出之部分圖像彼此之特徵量無關於切出位置，相關性變大。另一方面，自位於不同焦點面之圖像切出之部分圖像彼此之特徵量之相關性變小。如此，藉由機械學習，自特徵量輸出模型輸出之特徵量反映對應於焦點位置之特徵。
具體而言，2個學習用圖像71之焦點位置為彼此相同之焦點位置之情形時，特徵量輸出模型產生部22將以下之loss_xy作為損失函數進行機械學習。 【數1】
Figure 02_image001
此處，i(0～n)為顯示特徵量之矢量之要素之後綴(suffix)。特徵量之矢量之通道數(維數)為n+1。Ft 0～Ft n為自學習對象之特徵量輸出模型80輸出之特徵量之矢量之各要素之值。Fc 0～Fc n為自比較對象之特徵量輸出模型80輸出之特徵量之矢量之各要素之值。SD i為關於各特徵量之要素i之標準偏差。藉由如上述將差量除以標準偏差算出error i，而使每個通道之差量之偏差一致。損失為各通道之誤差之平均(之正平方根)。
2個學習用圖像71之焦點位置為互不相同之焦點位置之情形時，特徵量輸出模型產生部22將以下之loss_z作為損失函數進行機械學習。 【數2】
Figure 02_image002
即，此時之損失函數為2個學習用圖像71之焦點位置為彼此相同之焦點位置時之損失函數之倒數。基於損失函數之機械學習本身，即特徵量輸出模型之參數之更新只要與先前同樣進行即可。另，損失函數無需為上述，只要為遵循上述基準者即可。
特徵量輸出模型產生部22重複進行學習用圖像71之組之選擇與機械學習，產生特徵量輸出模型。例如，特徵量輸出模型產生部22與先前同樣直至特徵量輸出模型之產生基於預先設定之條件收斂為止，或者以預先設定之規定次數進行上述重複而產生特徵量輸出模型。
特徵量輸出模型產生部22亦可使用以機械學習產生之現有之預學習模型，產生特徵量輸出模型。作為現有之預學習模型，與本實施形態之特徵量輸出模型同樣，使用輸入基於圖像之資訊之模型。即，亦可使用與本實施形態之特徵量輸出模型之輸入共通之現有之預學習模型。現有之預學習模型例如為用以進行圖像辨識之模型，具體而言，為ResNet、VGG、Mobile Net等。對於特徵量輸出模型之產生，使用現有之預學習模型之一部分。如圖5所示，刪除現有之預學習模型81之輸出側之層，將直至現有之預學習模型81之中間層之部分用於特徵量輸出模型之產生。用於產生特徵量輸出模型之現有之預學習模型81中，可包含所有中間層，亦可僅包含中間層之一部分。
特徵量輸出模型產生部22輸入現有之預學習模型之上述一部分，作為機械學習之開始時點之特徵量輸出模型。即，特徵量輸出模型產生部22使用現有之預學習模型之上述一部分，作為特徵量輸出模型之初始參數進行微調。又，亦可將對預學習模型之上述一部分之輸出側施加新的輸出層者，作為機械學習之開始時點之特徵量輸出模型。又，施加新的輸出層之情形時，亦可將對預學習模型之上述一部分輸出側與新的輸出層間施加新的中間層者，作為機械學習之開始時點之特徵量輸出模型。
另，特徵量輸出模型產生部22亦可不使用現有之預學習模型地產生特徵量輸出模型。例如，亦可與先前之機械學習同樣，將以隨機值為初始參數之模型作為機械學習之開始時點之特徵量輸出模型。
藉由將現有之預學習模型用於特徵量輸出模型之產生，而具有以下優點。可大幅縮短學習時間。即使較少學習用圖像71亦可產生高精度之特徵量輸出模型，即，可輸出更適當之特徵量之特徵量輸出模型。上述現有之預學習模型獲得已分離低抽象度之特徵之能力。因此，這是由於僅進行使用新的學習用圖像71之以高抽象度之特徵為中心之學習即可。
特徵量輸出模型產生部22將產生之特徵量輸出模型輸出至焦點位置推定模型產生部23及焦點位置推定系統30。另，產生之特徵量輸出模型亦可用於本實施形態之用途以外。該情形時，例如特徵量輸出模型產生部22對使用特徵量輸出模型之其他裝置或模組，發送或輸出特徵量輸出模型。或者，特徵量輸出模型產生部22亦可將產生之特徵量輸出模型記憶於電腦10或其他裝置，可利用於使用特徵量輸出模型之其他裝置或模組。
焦點位置推定模型產生部23為根據藉由學習用圖像取得部21取得之合焦位置資訊，藉由機械學習，產生焦點位置推定模型之焦點位置推定模型產生機構。焦點位置推定模型如上述，輸入自藉由特徵量輸出模型產生部22產生之特徵量輸出模型輸出之特徵量，推定與該特徵量相關之圖像對應之合焦時之焦點位置。
焦點位置推定模型產生部23，如下所述產生焦點位置推定模型。焦點位置推定模型產生部23自學習用圖像取得部21輸入學習用圖像71、及該學習用圖像71相關之合焦位置資訊。焦點位置推定模型產生部23自特徵量輸出模型產生部22輸入特徵量輸出模型。
焦點位置推定模型產生部23將基於學習用圖像71之資訊輸入至特徵量輸出模型，取得自特徵量輸出模型之輸出，即該學習用圖像71之特徵量。焦點位置推定模型產生部23將取得之特徵量作為對於焦點位置推定模型之輸入，將基於與輸入之特徵量相關之學習用圖像71之合焦位置資訊之資訊，作為焦點位置推定模型之輸出，進行機械學習。基於合焦位置資訊之資訊，設為與焦點位置推定模型之輸出對應之資訊。焦點位置推定模型輸出上述每個候補之值之情形時，基於合焦位置資訊之資訊係例如為將符合合焦位置資訊之候補之值設為1，將不符合合焦位置資訊之候補之值設為0之每個候補之值(獨熱矢量)。焦點位置推定模型輸出上述差量或焦點位置本身之值之情形時，基於合焦位置資訊之資訊係根據合焦位置資訊本身或合焦位置資訊算出之該值。焦點位置推定模型產生部23於進行機械學習前，產生基於相當於焦點位置推定模型之輸出之合焦位置資訊之資訊。
機械學習本身，即焦點位置推定模型之參數更新只要與先前同樣進行即可。焦點位置推定模型產生部23與先前同樣直至焦點位置推定模型之產生基於預先設定之條件收斂為止，或者以預先設定之規定次數反覆進行機械學習處理之重複，來產生焦點位置推定模型。
焦點位置推定模型產生部23將產生之焦點位置推定模型輸出至焦點位置推定系統30。另，產生之焦點位置推定模型亦可用於本實施形態之用途以外。該情形時，例如焦點位置推定模型產生部23對使用焦點位置推定模型之其他裝置或模組發送或輸出焦點位置推定模型。或者，焦點位置推定模型產生部23亦可將產生之焦點位置推定模型記憶於電腦10或其他裝置，可利用於使用焦點位置推定模型之其他裝置或模組。以上為特徵量輸出模型產生系統20之功能。
接著，說明本實施形態之焦點位置推定系統30之功能。如圖1所示，焦點位置推定系統30構成為具備推定對象圖像取得部31、焦點位置推定部32及控制部33。
焦點位置推定系統30於檢查裝置40或觀察裝置50中進行攝像對象物之攝像時，推定合焦時之焦點位置。該推定首先於檢查裝置40或觀察裝置50中，進行攝像對象物之攝像(合焦用之攝像)。該攝像中，焦點位置未必於攝像對象物上存在焦點，即，無需為合焦時之焦點位置。因此，該攝像所得之圖像亦可為散焦圖像。例如，該圖像亦可為如圖6(a)所示之散焦圖像。圖6係半導體器件之圖像。圖6(a)所示之散焦圖像為攝像時之焦點位置離開合焦時之焦點位置+5 nm時之圖像。
焦點位置推定系統30自該圖像推定合焦時之焦點位置。使用推定之合焦時之焦點位置，於檢查裝置40或觀察裝置50中進行攝像，藉此可獲得攝像對象物上存在焦點之圖像，即聚焦圖像。例如，獲得如圖6(b)所示之聚焦圖像。圖6(b)所示之聚焦圖像為與圖6(a)之散焦圖像對應者。
推定對象圖像取得部31為取得推定對象圖像之推定對象圖像取得機構。推定對象圖像為焦點位置推定系統30中用於推定合焦時之焦點位置之圖像。又，推定對象圖像為用於對特徵量輸出模型之輸入之圖像。即，推定對象圖像與上述學習用圖像71對應。
推定對象圖像取得部31取得由檢查裝置40或觀察裝置50拍攝之圖像。此時之檢查裝置40或觀察裝置50之攝像為上述之合焦用之攝像。例如，推定對象圖像取得部31自取得之圖像切出部分圖像，將其設為推定對象圖像。
推定對象圖像取得部31自取得之圖像切出用於特徵量輸出模型之輸入之、預先設定尺寸之部分圖像即推定對象圖像。圖像中切出推定對象圖像之位置為映現攝像對象物之部分。圖像中切出推定對象圖像之位置亦可預先設定。又，亦可將對圖像進行圖像辨識並推定為映現攝像對象物之位置設為切出推定對象圖像之位置。
用於對特徵量輸出模型之輸入之圖像為由檢查裝置40或觀察裝置50拍攝之圖像之尺寸之情形時，推定對象圖像取得部31亦可將由檢查裝置40或觀察裝置50拍攝之圖像本身設為推定對象圖像。
又，推定對象圖像之種類為與上述學習用圖像相同之種類。例如，推定對象圖像可為檢測出來自攝像對象物之放射之圖像、檢測出對攝像對象物照射光時之來自攝像對象物之光之圖像、或檢測出對攝像對象物照射光時之攝像對象物之電性特性之圖像。又，推定對象圖像亦可為將特定波長之光(例如，用於檢查之特定波長之光)照射至攝像對象物時之圖像。
推定對象圖像取得部31將取得之推定對象圖像輸出至焦點位置推定部32。
焦點位置推定部32為焦點位置推定機構，其使用特徵量輸出模型，根據藉由推定對象圖像取得部31取得之推定對象圖像輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置。焦點位置推定部32亦可使用焦點位置推定模型，從自特徵量輸出模型輸出之特徵量，推定與推定對象圖像對應之合焦時之焦點位置。
焦點位置推定部32預先輸入並記憶由特徵量輸出模型產生系統20產生之特徵量輸出模型及焦點位置推定模型，用於推定。焦點位置推定部32自推定對象圖像取得部31輸入推定對象圖像。
焦點位置推定部32將基於推定對象圖像之資訊輸入至特徵量輸出模型，取得自特徵量輸出模型之輸出即推定對象圖像之特徵量。焦點位置推定部32將取得之特徵量輸入至焦點位置推定模型，取得自焦點位置推定模型之輸出，即顯示與推定對象圖像對應之合焦時之焦點位置之資訊，作為該焦點位置之推定結果。焦點位置推定部32將顯示與取得之推定對象圖像對應之合焦時之焦點位置之資訊輸出至控制部33。
控制部33為基於由焦點位置推定部32推定之焦點位置，控制攝像對象物之攝像時之焦點位置之控制機構。控制部33自焦點位置推定部32，輸入顯示與推定對象圖像對應之合焦時之焦點位置之資訊。控制部33對於檢查裝置40或觀察裝置50，以攝像時之焦點位置成為由輸入之資訊所示之合焦時之焦點位置之方式進行控制。接受控制之檢查裝置40或觀察裝置50例如使載台46動作，調整攝像時之焦點位置。藉此，由檢查裝置40或觀察裝置50拍攝之圖像成為聚焦圖像。如此，控制部33進行檢查裝置40或觀察裝置50中之自動聚焦控制。以上為焦點位置推定系統30之構成。
接著，使用圖7及圖8之流程圖，說明由本實施形態之電腦10執行之處理(電腦10進行之動作方法)。首先，使用圖7之流程圖，說明產生特徵量輸出模型及焦點位置推定模型時執行之處理，即本實施形態之特徵量輸出模型產生系統20所執行之處理，即特徵量輸出模型產生方法。
本處理中，首先，藉由學習用圖像取得部21，取得與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像(S01，學習用圖像取得步驟)。又，藉由學習用圖像取得部21，取得與學習用圖像之各者對應之合焦時之焦點位置相關之合焦位置資訊。接著，藉由特徵量輸出模型產生部22，根據學習用圖像利用機械學習產生特徵量輸出模型(S02，特徵量輸出模型產生步驟)。此時，根據與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像71之特徵量進行比較，基於比較結果進行機械學習。接著，藉由焦點位置推定模型產生部23，自合焦位置資訊，藉由機械學習，產生焦點位置推定模型(S03，焦點位置推定模型產生步驟)。
將產生之特徵量輸出模型及焦點位置推定模型自特徵量輸出模型產生系統20輸出至焦點位置推定系統30。焦點位置推定系統30中，記憶特徵量輸出模型及焦點位置推定模型，用於以下之處理。以上為本實施形態之特徵量輸出模型產生系統20所執行之處理，即特徵量輸出模型產生方法。
接著，使用圖8之流程圖，說明推定與推定對象圖像對應之合焦時之焦點位置時執行之處理，即本實施形態之焦點位置推定系統30所執行之處理，即焦點位置推定方法。
本處理中，首先，藉由推定對象圖像取得部31，取得推定對象圖像(S11，推定對象圖像取得步驟)。推定對象圖像係基於藉由檢查裝置40或觀察裝置50之合焦用之攝像獲得之圖像者。接著，藉由焦點位置推定部32，使用特徵量輸出模型，自推定對象圖像輸出推定對象圖像之特徵量。接著，藉由焦點位置推定部32，使用焦點位置推定模型，自推定對象圖像之特徵量推定與推定對象圖像對應之合焦時之焦點位置(S12，焦點位置推定步驟)。
接著，藉由控制部33，基於推定之上述焦點位置，控制檢查裝置40或觀察裝置50對攝像對象物新攝像時之焦點位置(S13，控制步驟)。藉此，由檢查裝置40或觀察裝置50拍攝之圖像成為聚焦圖像。以上為本實施形態之焦點位置推定系統30所執行之處理，即焦點位置推定方法。
本實施形態中，藉由機械學習，產生輸出圖像之特徵量之特徵量輸出模型。此時，依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。根據該產生，例如藉由使用輸入基於圖像之資訊之現有之預學習模型，可於短時間產生特徵量輸出模型。即，根據本實施形態，可以短時間之學習，產生焦點位置之推定等基於圖像之推定所使用之預學習模型即特徵量輸出模型。
但，如上述，特徵量輸出模型之產生無需使用現有之預學習模型。該情形時，亦可產生可輸出對應於焦點位置之適當特徵量之特徵量輸出模型。
又，如上述，用於產生特徵量輸出模型之機械學習亦可於互不相同之2個學習用圖像彼此係相同之焦點位置之情形時，以該2個學習用圖像之特徵量之差量變小之方式進行，且於互不相同之2個學習用圖像彼此係不同之焦點位置之情形時，以該2個學習用圖像之特徵量之差量變大之方式進行。根據該構成，可確實且適當地產生特徵量輸出模型。但，機械學習無需如上述般進行，只要基於2個學習用圖像之特徵量之比較結果進行即可。
又，如上述，學習用圖像及推定對象圖像亦可為檢測出來自攝像對象物之放射之圖像、檢測出對攝像對象物照射光時之來自攝像對象物之光之圖像、或檢測出對攝像對象物照射光時之攝像對象物之電性特性之圖像。再者，學習用圖像及推定對象圖像亦可為將特定波長之光照射至攝像對象物時之圖像。根據該等構成，可進行與使用之圖像之種類對應之適當之特徵量輸出模型之產生、及特徵量輸出模型之使用。但，學習用圖像及推定對象圖像不限定於上述者，只要為與焦點位置對應之圖像即可。
又，如本實施形態，特徵量輸出模型產生系統20亦可進而具備產生焦點位置推定模型之焦點位置推定模型產生部23。根據該構成，可產生自圖像推定合焦時之焦點位置之焦點位置推定模型。即，根據該構成，可配合特徵量輸出模型，以短時間之學習產生基於圖像之焦點位置之推定所使用之預學習模型。
但，特徵量輸出模型產生部20亦可不具備焦點位置推定模型產生部23。即，特徵量輸出模型產生系統20亦可為僅產生特徵量輸出模型之構成。又，產生之特徵量輸出模型亦可用於合焦時之焦點位置推定以外之用途。
本實施形態之焦點位置推定系統30中，對於合焦時之焦點位置之推定，使用上述特徵量輸出模型。因此，根據本實施形態，可以短時間之準備時間，進行基於圖像之合焦時之焦點位置推定。又，根據本實施形態之焦點位置推定系統30，可藉由1次合焦用攝像，推定合焦時之焦點位置。因此，與一面改變焦點位置一面進行複數次攝像，探索合焦時之焦點位置之情形相比，可迅速推定合焦時之焦點位置。
又，對於合焦時之焦點位置推定，亦可使用上述焦點位置推定模型。根據該構成，可確實且適當推定合焦時之焦點位置。但，對於合焦時之焦點位置推定，無需使用上述焦點位置推定模型，只要從自特徵量輸出模型輸出之特徵量進行推定即可。
又，如本實施形態，焦點位置推定系統30亦可進而具備：控制部33，其基於推定之焦點位置，控制檢查裝置40或觀察裝置50拍攝攝像對象物時之焦點位置。根據該構成，檢查裝置40或觀察裝置50中，可進行存在焦點之攝像對象物之攝像。但，焦點位置推定系統30亦可不具備控制部33。即，焦點位置推定系統30只要推定合焦時之焦點位置即可。
又，可以包含本實施形態之焦點位置推定系統30與上述檢查裝置40或觀察裝置50之一連串系統構成。即，本實施形態之半導體檢查系統亦可設為包含焦點位置推定系統30與檢查裝置40之系統。又，本實施形態之活體觀察系統亦可設為包含焦點位置推定系統30與觀察裝置50之系統。
焦點位置推定系統30之合焦時之焦點位置推定亦可對相對於由檢查裝置40或觀察裝置50拍攝之圖像之複數個位置進行。該情形時，推定對象圖像取得部31自檢查裝置40或觀察裝置50所拍攝之圖像之複數個位置之各者，切出並取得複數個推定對象圖像。例如，推定對象圖像取得部31自圖像之映現攝像對象物之複數個部分切出推定對象圖像。焦點位置推定部32對複數個推定對象圖像之各者推定合焦時之焦點位置。例如，焦點位置推定部32亦可產生顯示每個位置之合焦時之焦點位置之焦點圖。控制部33亦可基於每個位置之合焦時之焦點位置，於檢查裝置40或觀察裝置50中，以按照每個位置調整焦點位置進行攝像之方式進行控制。
圖9顯示按照每個位置推定之合焦時之焦點位置(焦點圖)。圖9(a)顯示與攝像方向(Z軸方向)垂直之面(XY平面)之、攝像對象物90之每個位置之合焦時之焦點位置。圖9(b)顯示自側面(Y軸)觀察攝像方向(Z軸方向)之面(XZ平面)之、攝像對象物90之每個位置之合焦時之焦點位置。圖9之各值表示推定對象圖像之攝像時之焦點位置與合焦時之焦點位置之差量。
檢查鋪滿μLED之晶圓之情形時，例如即使於晶圓之中心進行焦點位置之對位，亦導致於靠近晶圓之邊之部分產生模糊。因此，藉由如上述產生並控制焦點圖，可於每個位置適當拍攝可用於檢查之圖像。另，對於攝像對象為如上述之半導體器件以外，例如活體樣本等，亦可採取上述構成。
另，本實施形態中，電腦10包含特徵量輸出模型產生系統20與焦點位置推定系統30，但特徵量輸出模型產生系統20與焦點位置推定系統30亦可分別獨立實施。
接著，說明用以執行上述一連串特徵量輸出模型產生系統20及焦點位置推定系統30之處理之特徵量輸出模型產生程式及焦點位置推定程式。如圖10所示，特徵量輸出模型產生程式200存儲於插入至電腦並存取，或電腦具備之電腦可讀取之記錄媒體210中形成之程式存儲區域211內。記錄媒體210亦可為非暫態記錄媒體。
特徵量輸出模型產生程式200構成為具備學習用圖像取得模組201、特徵量輸出模型產生模組202、及焦點位置推定模型產生模組203。藉由執行學習用圖像取得模組201、特徵量輸出模型產生模組202、及焦點位置推定模型產生模組203而實現之功能與上述特徵量輸出模型產生系統20之學習用圖像取得部21、特徵量輸出模型產生部22、及焦點位置推定模型產生部23之功能分別相同。
如圖11所示，焦點位置推定程式300存儲於插入至電腦並存取，或電腦具備之電腦可讀取之記錄媒體310中形成之程式存儲區域311內。記錄媒體310亦可為非暫態記錄媒體。另，記錄媒體310亦可與記錄媒體210相同。
焦點位置推定程式300構成為具備推定對象圖像取得模組301、焦點位置推定模組302、及控制模組303。藉由執行焦點位置推定模組302與控制模組303而實現之功能與上述焦點位置推定系統30之推定對象圖像取得部31、焦點位置推定部32、及控制部33之功能分別相同。
另，特徵量輸出模型產生程式200及焦點位置推定程式300亦可構成為其一部分或全部經由通信線路等傳輸媒體傳輸，由其他機器接收並記錄(包含安裝)。又，特徵量輸出模型產生程式200及焦點位置推定程式300之各模組亦可安裝於複數個電腦之任一者，而非1個電腦。該情形時，藉由該複數個電腦之電腦系統進行上述一連串處理。
10:電腦 20:特徵量輸出模型產生系統 21:學習用圖像取得部 22:特徵量輸出模型產生部 23:焦點位置推定模型產生部 30:焦點位置推定系統 31:推定對象圖像取得部 32:焦點位置推定部 33:控制部 40:檢查裝置 41:相機 42:載置部 43:光源 44:光學系統 45:物鏡 46:載台 50:觀察裝置 60:標準樣本 70:圖像 71:學習用圖像 80:特徵量輸出模型 81:預學習模型 90:攝像對象物 200:特徵量輸出模型產生程式 201:學習用圖像取得模組 202:特徵量輸出模型產生模組 203:焦點位置推定模型產生模組 210:記錄媒體 211:程式存儲區域 300:焦點位置推定程式 301:推定對象圖像取得模組 302:焦點位置推定模組 303:控制模組 310:記錄媒體 311:程式存儲區域 S01～S03:步驟 S11～S13:步驟 △Z:一定間隔
圖1係顯示本發明之實施形態之特徵量輸出模型產生系統及焦點位置推定系統之構成之圖。 圖2係顯示檢查裝置之一部分構成之例之圖。 圖3(a)～(d)係每個焦點位置拍攝之圖像之例。 圖4係用以說明利用機械學習產生特徵量輸出模型之圖。 圖5係顯示用於產生特徵量輸出模型之現有之預學習模型之圖。 圖6(a)、(b)係顯示散焦圖像及聚焦圖像之例之圖。 圖7係顯示本發明之實施形態之特徵量輸出模型產生系統所執行之處理即特徵量輸出模型產生方法之流程圖。 圖8係顯示本發明之實施形態之焦點位置推定系統所執行之處理即焦點位置推定方法之流程圖。 圖9(a)、(b)係模式性顯示產生之焦點圖之圖。 圖10係與記錄媒體一起顯示本發明之實施形態之特徵量輸出模型產生程式之構成之圖。 圖11係與記錄媒體一起顯示本發明之實施形態之焦點位置推定程式之構成之圖。
10:電腦
20:特徵量輸出模型產生系統
21:學習用圖像取得部
22:特徵量輸出模型產生部
23:焦點位置推定模型產生部
30:焦點位置推定系統
31:推定對象圖像取得部
32:焦點位置推定部
33:控制部
40:檢查裝置
50:觀察裝置

Claims (11)

  1. 一種焦點位置推定系統，其係推定與推定對象圖像對應之合焦時之焦點位置者，且包含： 推定對象圖像取得機構，其取得推定對象圖像；及 焦點位置推定機構，其使用輸入基於圖像之資訊、輸出該圖像之特徵量之特徵量輸出模型，根據藉由上述推定對象圖像取得機構取得之推定對象圖像，輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置；且 上述特徵量輸出模型係根據與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像，藉由機械學習而產生，且依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。
  2. 如請求項1之焦點位置推定系統，其中上述焦點位置推定機構使用推定與特徵量相關之圖像對應之合焦時之焦點位置之焦點位置推定模型，根據自上述特徵量輸出模型輸出之特徵量，推定與推定對象圖像對應之合焦時之焦點位置， 上述焦點位置推定模型係根據與上述學習用圖像之各者對應之合焦時之焦點位置相關之合焦位置資訊，藉由機械學習而產生。
  3. 如請求項1或2之焦點位置推定系統，其進而包含：控制機構，其基於由上述焦點位置推定機構推定之焦點位置，控制攝像對象物之攝像時之焦點位置。
  4. 一種半導體檢查系統，其包含： 請求項1至3中任一項之焦點位置推定系統； 載置部，其載置半導體器件來作為上述焦點位置推定系統相關之攝像對象物；及 檢查部，其檢查上述半導體器件。
  5. 一種活體觀察系統，其包含： 請求項1至3中任一項之焦點位置推定系統； 載置部，其載置活體樣本來作為上述焦點位置推定系統相關之攝像對象物；及 觀察部，其觀察上述活體樣本。
  6. 一種焦點位置推定方法，其係推定與推定對象圖像對應之合焦時之焦點位置者，且包含： 推定對象圖像取得步驟，其取得推定對象圖像；及 焦點位置推定步驟，其使用輸入基於圖像之資訊、輸出該圖像之特徵量之特徵量輸出模型，根據上述推定對象圖像取得步驟中取得之推定對象圖像，輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置；且 上述特徵量輸出模型係根據與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像，藉由機械學習而產生，且依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。
  7. 如請求項6之焦點位置推定方法，其中上述焦點位置推定步驟中，輸入自上述特徵量輸出模型輸出之特徵量，使用推定與該特徵量相關之圖像對應之合焦時之焦點位置之焦點位置推定模型，推定與推定對象圖像對應之合焦時之焦點位置， 上述焦點位置推定模型係根據與上述學習用圖像之各者對應之合焦時之焦點位置相關之合焦位置資訊，藉由機械學習而產生。
  8. 如請求項6或7之焦點位置推定方法，其進而包含：控制步驟，其基於上述焦點位置推定步驟中推定之焦點位置，控制攝像對象物之攝像時之焦點位置。
  9. 一種焦點位置推定程式，其係使電腦作為推定與推定對象圖像對應之合焦時之焦點位置之焦點位置推定系統動作者， 且使電腦作為以下機構發揮功能： 推定對象圖像取得機構，其取得推定對象圖像；及 焦點位置推定機構，其使用輸入基於圖像之資訊、輸出該圖像之特徵量之特徵量輸出模型，根據藉由上述推定對象圖像取得機構取得之推定對象圖像，輸出推定對象圖像之特徵量，根據輸出之特徵量推定與推定對象圖像對應之合焦時之焦點位置；且 上述特徵量輸出模型係根據與攝像時之焦點位置相關之焦點位置資訊建立對應之複數個學習用圖像，藉由機械學習而產生，且依照與互不相同之2個學習用圖像建立對應之焦點位置資訊，將該2個學習用圖像之特徵量進行比較，基於比較結果進行機械學習。
  10. 如請求項9之焦點位置推定程式，其中上述焦點位置推定機構輸入自上述特徵量輸出模型輸出之特徵量，使用推定與該特徵量相關之圖像對應之合焦時之焦點位置之焦點位置推定模型，推定與推定對象圖像對應之合焦時之焦點位置， 上述焦點位置推定模型係根據與上述學習用圖像之各者對應之合焦時之焦點位置相關之合焦位置資訊，藉由機械學習而產生。
  11. 如請求項9或10之焦點位置推定程式，其使上述電腦亦作為控制機構發揮功能， 該控制機構基於由上述焦點位置推定機構推定之焦點位置，控制攝像對象物之攝像時之焦點位置。
TW111114923A 2021-07-19 2022-04-20 焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統 TW202305437A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-118889 2021-07-19
JP2021118889 2021-07-19

Publications (1)

Publication Number Publication Date
TW202305437A true TW202305437A (zh) 2023-02-01

Family

ID=84979880

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111114923A TW202305437A (zh) 2021-07-19 2022-04-20 焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統

Country Status (7)

Country Link
US (1) US20240160089A1 (zh)
EP (1) EP4336238A1 (zh)
JP (2) JP7291303B1 (zh)
KR (1) KR20240026280A (zh)
CN (1) CN117693703A (zh)
TW (1) TW202305437A (zh)
WO (1) WO2023002679A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311102A (ja) * 1996-05-24 1997-12-02 Hitachi Ltd フロー式粒子画像解析方法および装置
EP2023127B1 (en) * 2006-05-31 2017-12-20 Olympus Corporation Biological specimen imaging method and biological specimen imaging apparatus
EP2775349B1 (en) 2007-03-08 2021-08-11 Cellavision AB A method for determining an in-focus position and a vision inspection system
JP5577885B2 (ja) * 2010-06-28 2014-08-27 ソニー株式会社 顕微鏡及び合焦点方法
WO2015107927A1 (ja) * 2014-01-17 2015-07-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP3770666A4 (en) * 2018-03-22 2021-05-05 FUJIFILM Corporation DEVICE, PROCESS AND PROGRAM FOR MEASURING THE QUANTITY OF DEFOCATION AND DISCRIMINATOR
JP2020060602A (ja) * 2018-10-04 2020-04-16 キヤノン株式会社 焦点調整装置およびその制御方法ならびにプログラム
WO2020071499A1 (ja) * 2018-10-05 2020-04-09 富士フイルム株式会社 フォーカス位置評価装置、方法、及びプログラム
DE102018219867B4 (de) * 2018-11-20 2020-10-29 Leica Microsystems Cms Gmbh Lernender Autofokus
JP7494490B2 (ja) * 2020-03-05 2024-06-04 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法

Also Published As

Publication number Publication date
JPWO2023002679A1 (zh) 2023-01-26
CN117693703A (zh) 2024-03-12
WO2023002679A1 (ja) 2023-01-26
KR20240026280A (ko) 2024-02-27
JP2023111948A (ja) 2023-08-10
US20240160089A1 (en) 2024-05-16
JP7291303B1 (ja) 2023-06-14
EP4336238A1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
JP7082715B2 (ja) 深層畳み込みニューラルネットワークを用いたレーザ加工システムの加工誤差の検出
US20170098117A1 (en) Method and apparatus for robustly collecting facial, ocular, and iris images
CN108601505B (zh) 成像设备、成像方法和成像系统
US20150187058A1 (en) Image processing method, image processing system, and storage medium storing image processing program
KR101624120B1 (ko) 3차원 형상 계측용 구조광의 국소 영역별 패턴 광원 조사 시스템 및 방법
JP7205013B1 (ja) 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル
TW202305659A (zh) 傾斜推定系統、傾斜推定方法、傾斜推定程式、半導體檢查系統及活體觀察系統
JP4872035B2 (ja) 撮像装置、撮像画像距離測定方法、撮像画像距離測定プログラム、及び記録媒体
TW202305437A (zh) 焦點位置推定系統、焦點位置推定方法、焦點位置推定程式、半導體檢查系統及活體觀察系統
TW202305673A (zh) 特徵量輸出模型產生系統、特徵量輸出模型產生方法、特徵量輸出模型產生程式及特徵量輸出模型
US10475198B2 (en) Microscope system and specimen observation method
US20160363541A1 (en) Inspection apparatus and inspection method
JP2005045194A (ja) 針痕読取装置および針痕読取方法
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
KR20210021171A (ko) 제품 검사 장치 및 방법과, 이를 이용한 반도체 제조 시스템 및 제조 방법
US20240044771A1 (en) Method for characterising sperm cells
KR102204449B1 (ko) 광간섭 방식을 이용한 컨포말 코팅 두께 측정 장치
KR102357212B1 (ko) 랜덤 포레스트 기반의 오토포커싱 장치 및 방법
Vail Explorations in Monocular Distance And Ranging (MODAR) Techniques for Real-World Applications
US20220222775A1 (en) Sample observation apparatus
CN114166146A (zh) 一种基于构建编码图像投影的三维测量方法和设备
KR20140096749A (ko) 광학 시스템 및 이를 이용한 3차원 정보 추출 방법