TWI811758B - 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體 - Google Patents

用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI811758B
TWI811758B TW110129282A TW110129282A TWI811758B TW I811758 B TWI811758 B TW I811758B TW 110129282 A TW110129282 A TW 110129282A TW 110129282 A TW110129282 A TW 110129282A TW I811758 B TWI811758 B TW I811758B
Authority
TW
Taiwan
Prior art keywords
sample
images
focal plane
focus
receiving
Prior art date
Application number
TW110129282A
Other languages
English (en)
Other versions
TW202223471A (zh
Inventor
丹尼斯 Ｙ 夏羅寇
東尼斯拉夫 依瓦諾
強納森 李
Original Assignee
美商奈米創尼克影像公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商奈米創尼克影像公司 filed Critical 美商奈米創尼克影像公司
Publication of TW202223471A publication Critical patent/TW202223471A/zh
Application granted granted Critical
Publication of TWI811758B publication Critical patent/TWI811758B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Abstract

一種計算系統自一影像感測器接收定位於一顯微鏡系統之一樣本台上之一樣本之至少兩個影像。該計算系統將該至少兩個影像提供給一自動對焦模型用於偵測至該樣本之一焦平面之至少一個距離。該計算系統經由該自動對焦模型，識別至該樣本之該焦平面之該至少一個距離。基於該識別，該計算系統自動調整該樣本台相對於該顯微鏡系統之一物鏡之一位置。

Description

用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體
本發明大體而言係關於一種用於自動對焦顯微鏡系統之深度學習模組。
找到焦平面對於成像系統係重要的。在正確焦平面上，所有關注之特徵清晰可見且具有高對比度。在顯微鏡中，找到此平面通常藉由利用一對比度評分度量來評估一影像之對焦程度及利用一Z軸搜尋演算法將系統引導至具有更高對比度評分之一影像完成。然而，歸因於跨一寬Z軸範圍收集及評估大量影像，此對焦程序可能會耗時。此外，識別一給定樣本之最佳對比度評分度量係一項非常重要的任務。例如，在樣本檢測之領域，此等挑戰會阻礙高處理量生產目標，該等目標涉及需要對焦每樣本之多個位置的大量樣本之檢測。在另一實例中，在光敏生物樣本之檢測領域中，歸因於在對樣本進行傳統對焦期間長時間暴露於光，可能會發生樣本之光漂白。
在一些實施例中，本文揭示一種顯微鏡系統。該顯微鏡系統包含用於對一樣本成像之一光學系統及用於自動對焦該光學系統之一焦 點偵測系統。該光學系統包含一物鏡及經組態以在成像期間支撐該樣本之一樣本台。該焦點偵測系統包含包含一處理器及一記憶體之一計算系統。該記憶體在其上儲存有程式碼，該程式碼在由該處理器執行時使該計算系統執行操作。該等操作包含由該計算系統自該光學系統接收定位於該樣本台上之該樣本之至少兩個影像。該等操作進一步包含由該計算系統將該至少兩個影像提供給一自動對焦模型用於偵測至該樣本之一焦平面之至少一個距離。該等操作進一步包含經由該自動對焦模型，識別至該樣本之該焦平面之該至少一個距離。該等操作進一步包含基於該識別，由該計算系統自動調整該樣本台相對於該顯微鏡系統之該物鏡之一位置。
在一些實施例中，本文揭示一種方法。一計算系統自一影像感測器接收定位於一顯微鏡系統之一樣本台上之一樣本之至少兩個影像。該計算系統將該至少兩個影像提供給一自動對焦模型用於偵測至該樣本之一焦平面之至少一個距離。該計算系統經由該自動對焦模型，識別至該樣本之該焦平面之該至少一個距離。基於該識別，該計算系統自動調整該樣本台相對於該顯微鏡系統之一物鏡之一位置。
在一些實施例中，本文揭示一種非暫時性電腦可讀媒體。該非暫時性電腦可讀媒體包含一或多個指令序列，該指令序列當由一處理器執行時使一計算系統執行操作。該等操作包含由該計算系統自一影像感測器接收定位於一顯微鏡系統之一樣本台上之一樣本之至少兩個影像。該等操作進一步包含由該計算系統將該至少兩個影像提供給一自動對焦模型用於偵測至該樣本之一焦平面之至少一個距離。該等操作進一步包含經由該自動對焦模型，識別至該樣本之該焦平面之該至少一個距離。該等操作進一步包含基於該識別，由該計算系統自動調整該樣本台相對於該顯微鏡 系統之一物鏡之一位置。
10:顯微鏡系統
12:光學系統
14:焦點偵測系統
16:樣本台
18:物鏡
20:光源
22:垂直照明器
24:可調整F制光圈
26:影像感測器
28:馬達
30:驅動機構
32:計算系統
34:連接
36:馬達
40:連接
42:操作員輸入單元
100:自動對焦模型
200:架構
202:卷積區塊
204:密集輸出層
206:卷積層
210:最大池化層
212:批量歸一化層
300:方法
302:步驟
304:步驟
306:步驟
308:步驟
400:系統匯流排計算系統
405:匯流排
410:處理器
412:快取區
415:系統記憶體
420:唯讀記憶體(ROM)
425:隨機存取記憶體(RAM)
430:儲存裝置
432:服務1
434:服務2
435:輸出裝置
436:服務4
440:通信介面
445:輸入裝置
450:電腦系統
455:處理器
460:晶片組
465:輸出
470:儲存裝置
475:RAM
480:橋接器
485:使用者介面組件
490:通信介面
S:樣本
為了能夠詳細地理解本發明之上述特徵之方式，可藉由參考實施例進行上文簡要概述之本發明之一更具體描述，該等實施例之一些繪示於附圖中。然而，應注意，附圖僅繪示本發明之典型實施例且因此不應被認為係對其範疇之限制，因為本發明可允許其他同樣有效之實施例。
圖1繪示根據實例實施例之一例示性顯微鏡系統。
圖2繪示根據實例實施例之一自動對焦模型之一架構。
圖3係繪示根據實例實施例之自動對焦一顯微鏡系統之一方法之一流程圖。
圖4A繪示根據實例實施例之一系統匯流排計算系統架構。
圖4B繪示根據實例實施例之具有一晶片組架構之一電腦系統。
為了便於理解，在可行情況下使用相同附圖標記來指示共同於附圖之相同元件。經考慮，在一個實施例中揭示之元件可有益地用於其他實施例而無需具體敘述。
本申請案主張2020年8月7日申請之美國臨時申請案第63/062,592號之優先權，該案之全部內容以引用的方式併入本文中。
對焦係一顯微鏡系統之一重要功能，且自1970年代以來一直在進行對自動對焦之研究。已探索分為兩類之不同解決方案-硬體自動對焦，其使用附接至顯微鏡之特殊硬體來對焦系統，及軟體自動對焦，其使用在影像資料上運行之演算法來對焦系統。
市售之硬體自動對焦系統通常在共焦位移組態中利用一雷射或白光來判定對焦位置。儘管準確及快速，但此等系統可非常昂貴，需要適當反射樣本，且可導致成像偽影。已提出若干其他基於硬體之對焦方法，其等需要較便宜之硬體來執行對焦，使用使用一相位感測器獲取之資料，且接著應用深度強化學習來預測對焦距離，計算一散焦影像之傅立葉變換在相干LED照明下拍攝，且接著使用一全連接傅立葉神經網路來預測焦點。儘管經濟得多，但此等方法之兩者需要安裝額外硬體，其需要一相位感測器及一LED圖案照明器。對於一些系統，安裝此硬體可能不可行。本系統不需要額外硬體。
另一方面，軟體演算法藉由即時調整Z軸、藉由在各種Z軸位置處獲取影像並執行計算來執行對最佳焦平面之一搜尋。此對原始影像之計算(亦稱為評分)計算一度量，其允許量化一影像之對焦程度。通常，一對焦得分係藉由將一邊緣偵測內核(諸如一Sobel內核)應用於影像中之每一像素並將像素值相加來計算之一對比度度量。結合評分度量，接著可採用若干不同搜尋演算法來識別正確焦平面。可採用一線性或二進制搜尋來在一預定搜尋窗口內找到焦平面。替代地，可使用一拋物線搜尋來消除對一預定搜尋窗口之要求。此演算法假設對焦得分函數係一拋物線，且接著計算得分函數之導數來估計對焦得分拋物線之峰值。在具有良好信雜比及足夠數量邊緣特徵之影像中，對比度評分函數準確判定焦平面。然而，藉由移動顯微鏡卡盤及獲取影像來執行搜尋演算法可能會耗時。
為了克服習知對焦演算法之時間限制，本文中所描述之一或多種技術利用相隔一短距離(例如在z方向上)拍攝之至少兩個影像，其在一次拍攝中預測至焦平面之偏移距離。例如，本文中所描述之一或多種 技術可使用一回歸卷積神經網路(CNN)模型，該模型根據來自一樣本樣本之不同X、Y及Z軸位置之資料進行訓練。由於此方法無需掃描z軸即預測一次對焦之距離，因此與經典方法相比，其快得多。即使輸入資料有限，本方法亦以一非常高準確度找到至焦距之偏移。在一些實施例中，一對比度度量可用於驗證預測位置在景深內。在一些實施例中，諸如當未達到焦平面時，可反覆運算該程序或執行一精細對焦演算法以校正任何錯誤。
在一些實施例中，至少兩個影像可僅在其等Z軸位置上不同。在一些實施例中，至少兩個影像在其等X、Y軸位置上額外地可不同。在此一實施例中，自動對焦模型可預測在一些點至焦平面之偏移距離。此方法可允許在X及Y方向上移動，同時等待Z軸移動，其可允許更快獲取一樣本上許多點處之估計焦點位置。
在一些實施例中，取決於經分析之樣本，該程序可重複多個級別。在一些實施例中，此等操作可應用於具有多個焦平面之樣本，因此允許一致地選擇樣本內之一特定焦平面。
在一些實施例中，該程序可應用於明場及暗場成像兩者。在一些實施例中，該程序可應用於螢光成像。在一些實施例中，該程序可應用於UV成像。
如上文所論述，習知顯微鏡對焦方法執行透過Z軸之一耗時掃描以便估計焦平面。本文中所描述之一或多個技術藉由提供一系統來改良習知方法，該系統實施一深度學習模型以使用一組距離拍攝之至少兩個影像之一輸入在一次拍攝中預測自任何初始位置至焦平面之距離偏移。此等兩個影像之差異可透過一回歸CNN模型處理，該模型可經訓練以學習離焦像差量與距焦平面之距離之間的一直接映射。在一些實施例中，可 自樣本上不同表面位置處及距焦點不同距離處之樣本樣本獲取一訓練資料集。在一些實施例中，可使用具有Tenengrad評分度量之一拋物線自動對焦演算法來判定地面實況焦平面。在一些實施例中，可在裸露及圖案化樣本樣本上測試CNN模型。該模型能夠以高可靠性判定對焦位置，且比依賴經典電腦視覺之習知方法快得多。此外，本系統可偵測未找到焦平面之罕見情況，且應用一精細對焦演算法來校正結果。通過收集充分訓練資料，當前深度學習對焦模型提供比習知對焦方法顯著快之一替代方法。
一種用於自動對焦之習知方法係使用深度強化學習，其透過若干粗略及精細步驟來學習一自動對焦策略以使系統對焦。與此系統不同，本方法以一單一步驟達成對焦。其他習知方法使用CNN特徵來產生一概率分數，該概率分數用於偵測失焦影像及/或CNN及手工製作之特徵之一組合以產生用於對焦系統之一對焦品質預測。與此等方法不同，本系統經組態以直接預測至焦點之距離而非一些抽象焦點度量。
另一習知方法描述自一單一散焦影像產生一對焦影像之一單次自動對焦。例如，此方法利用一生成對抗網路(GAN)，該網路自一對對焦及離焦影像學習。與當前模型之一個關鍵區別在於，其經設計用於一在線設置並產生一對焦距離。相比之下，此習知模型產生一合成離線對焦影像。進一步言之，另一習知自動對焦方法使用一殘差CNN自一單一散焦影像獲得焦距。此方法主張點擴展函數(PSF)中之不對稱性允許CNN識別焦平面之偏移方向，而無需一第二影像。由於本系統在進行判定時利用至少兩個影像，因此本系統無需進行類似假設。
仍進一步言之，另一習知方法利用在一固定距離處拍攝之兩個影像之間的差異，其接著饋送至一CNN中以預測焦距。在一對稱PSF 之情況下，差異固有地編碼行進方向(向上或向下)。另一方面，本系統使用一自定義神經網路架構，而非利用一現成神經網路。本系統亦對不同類型之影像資料執行實驗，該影像資料沒有特徵且更難以對焦。
圖1繪示根據實例實施例之例示性顯微鏡系統10。顯微鏡系統10可包含用於對一樣本成像之一光學系統12及用於自動對焦之一焦點偵測系統14。顯微鏡系統10可採用一修改反射光顯微鏡作為光學系統12，但應注意一透射光顯微鏡可類似地適用。
光學系統12可包含在一物鏡18下方承載一樣本S之一樣本台16。光學系統12可進一步包含一光源20及用於照射樣本S之一垂直照明器22。光學系統12亦可包含一可調整F制光圈24。一影像感測器26可接收透過物鏡18透射之影像。在一些實施例中，影像感測器26可被認為係焦點偵測系統14之一組件。
焦點偵測系統14可包含一馬達28及驅動機構30，驅動機構30操作以朝向及遠離物鏡18移動樣本台16(且因此其上之樣本S)。驅動機構30可代表可由馬達28旋轉以推進樣本台16之一螺桿。例如，樣本台16可藉由在一個方向(例如順時針)上旋轉驅動機構30而在一向上方向上移動。類似地，樣本台16可藉由在相反方向(例如逆時針)上旋轉驅動機構30而在一向下方向上移動。應瞭解，儘管在本圖中可將驅動機構30體現為一螢幕，但亦可使用其他驅動機構。物鏡18及樣本S之相對移動係重要的，使得驅動機構可替代地或另外操縱顯微鏡以相對於樣本S移動其。通常，驅動機構30可為使得台16及因此其上之樣本S可以非常小增量移動，大約為微米或更較佳為奈米，因為透過本設備及方法憑經驗判定之景深之量值通常非常小。馬達28可由一計算系統32控制，透過一或多個連接34或其 他適當機構(諸如無線通信)與馬達28通信。
在一些實施例中，焦點偵測系統14亦可包含一馬達36以打開及關閉F制光圈24。類似於馬達28，馬達36亦可由計算系統32控制，透過一或多個連接34或其他適當機構(諸如無線通信)與馬達36通信。
在一些實施例中，計算系統32及影像感測器26可經由一或多個連接40或其他適當機構(諸如無線通信)通信。一操作員輸入單元42(諸如一鍵盤、觸控螢幕監測器或其他標準構件)可用於允許一操作員輸入所需控制及資料。
如所展示，計算系統32可包含一自動對焦模型100。自動對焦模型100可經組態以為了對焦光學系統12之目的而自動調整樣本台16相對於物鏡18之一位置。自動對焦模型100可代表圖1中所描繪之一回歸卷積神經網路(根據例示性實施例繪示基於U-Net架構之一預測模型)以基於樣本之兩個影像之一輸入來預測一帶正負號之至焦點之距離(例如正負距離)。例如，自動對焦模型100可識別兩個影像之間至焦點之一差異。此差異可自動編碼對焦方向，因為若在焦平面上方，則上影像可能不太對焦，且若在焦平面下方，則可能更對焦；因此，具一帶正負號差異。
圖2係繪示根據實例實施例之自動對焦模型100之一例示性架構200之一方塊圖。自動對焦模型可包含五個卷積區塊202，接著係一密集輸出層204。各卷積區塊202可包含具有3x3濾波器之一卷積層206、一整流線性啟動函數(ReLU)(未展示)及具2之一降採樣因數之一最大池化層210。在一些實施例中，可在各最大池化層210之後引入一批量歸一化層212。
在一些實施例中，自動對焦模型100可使各連續卷積區塊 202中之特徵圖之數目加倍，自四個開始且直至六十四個。自動對焦模型100可進一步包含一輸出密集層204。輸出密集層204可包含具有完全連接至先前卷積層之一線性啟動之一單一節點。在一些實施例中，可使用一線性啟動來達成至焦點之距離之正值及負值。可選擇架構200以避免過度擬合，但其大小使其訓練有效。
在訓練期間，計算系統32可使用一均方根誤差(RMSE)作為一損失函數，其如下定義：
Figure 110129282-A0305-02-0011-1
在一些實施例中，計算系統32可使用一He正常初始化器來初始化自動對焦模型100之權重。在一些實施例中，計算系統32可在訓練期間使用一Adam優化器。例如，計算系統32可使用具有0.0001之一初始學習率及在驗證損失之平台期以10之一冪衰減之一學習率之一Adam優化器。然而，熟習此項技術者理解可使用其他學習率。在一些實施例中，計算系統32可將自動對焦模型100訓練約100個時期，例如約16個用於訓練及約4個用於驗證之一批量大小。在測試期間，計算系統32可藉由計算影像距一最佳焦點位置之距離來評估一影像是否在焦點上，如藉由一參考自動對焦演算法判定，及檢查此距離是否落於物鏡18之景深(DoF)內。例如，對於一5X物鏡，距離約為12.2μm。計算系統32接著可如下計算對焦影像之百分比：
Figure 110129282-A0305-02-0011-2
在一些實施例中，用於判定焦平面之參考自動對焦演算法可為具有Tenengrad評分度量之拋物線搜尋對焦。
在一些實施例中，資料集可用nSpecTM，一自動檢測平台產生。在一些實施例中，顯微鏡系統10可在F制光圈24關閉的情況下以約5x放大率掃描一裸樣本且在F制光圈24打開的情況下掃描一圖案化樣本。如所展示，顯微鏡系統10可掃描跨各樣本分佈之複數個位置。在各位置處，顯微鏡系統10可收集影像之一Z堆疊。例如，所收集之影像之Z堆疊可在焦平面周圍以一約1μm間隔在約+300μm至約-300μm之範圍內，使得每位置共約600個影像。在一些實施例中，可根據經驗或藉由作為焦深(DOF)之函數之步長之關聯來設定針對兩個附近影像之接近度之增量z移動以及與訓練集相關聯之z移動之判定。例如，若一特定物鏡之DOF為20μm，則可將步長判定為DOF之一函數，諸如：DOF之5%且將步長指定為1μm。如熟習此項技術者認識到，可使用其他範圍、間隔及影像。在一些實施例中，各影像之尺寸可為約2200x2752。在一些實施例中，各影像可經減半採樣至一約1100x1376單通道影像。樣本輸入影像展示於圖1中。各影像可與其上方約+10μm之一影像配對以計算作為神經網路輸入之差異影像。
在一些實施例中，各位置處之資料經隨機分成訓練集、驗證集及測試集。例如，資料可以一400：100：100比例分成訓練集、驗證集及測試集。在一些實施例中，模型以0.0001之一初始學習率進行訓練且在平台期降低10倍。在一些實施例中，訓練集之批量大小設定為16且驗證集之批量大小設定為4。
在一些實施例中，為了建立預測模型之準確度及速度，顯微鏡系統10可對跨所有資料位置及距焦點不同距離之複數個測試影像運行一測試。在一些實施例中，系統可量測至焦平面之距離之RMSE及對焦影 像之百分比(物鏡之DoF內之影像數目)。
在一些實施例中，為了建立用於比較之傳統對焦演算法之準確度及速度，計算系統32可計算複數個隨機位置處之對焦。在一些實施例中，計算系統32可在距手動判定之真實焦點之+/-300μm、+/-200μm、+/-100μm及0μm處運行當前基於對比度之自動對焦演算法拋物線搜尋並量測其誤差及持續時間。
計算系統32能夠在具有約6.23μm之RMSE之對焦影像中達成約95%之一準確度。與一習知方法相比，拋物線自動對焦具有99%之一準確度及5.89μm之一RMSE。儘管自動對焦模型100可具有一較低對焦百分比，但RMSE類似於習知方法之對焦百分比。然而，計算系統32之平均對焦時間約為0.79秒；相比之下，習知方法之平均對焦時間為2.3秒，慢3倍。自動對焦模型100可需要約0.009秒來進行一自動對焦預測；剩下時間可藉由移動Z軸及獲取輸入影像佔用。因此，計算系統32比當前在該領域使用之系統快得多，且其能夠以更大處理量實現樣本檢測。
在一些實施例中，諸如難以預測一對焦平面之實施例，計算系統32可將樣本台16移動至由自動對焦模型100預測之一位置，拍攝一影像，且使用一對比評分度量評估光學系統12之對焦。
在一些實施例中，來自自動對焦模型100之輸出可用作對焦平面之一估計。計算系統32可使用此估計來使用一或多個精細對焦演算法來識別樣本之焦平面。依此方式，來自自動對焦模型100之輸出可用作計算系統32之一起始位置以識別焦平面而不非至焦平面之一實際距離。
在一些實施例中，來自自動對焦模型100之輸出可為可能接近或含有至焦平面之真實距離之一距離範圍。使用距離範圍，計算系統 32可在距離範圍內實施一或多個精細對焦演算法以識別至焦平面之實際距離。此方法可為有用的，例如，因為其可為計算系統32提供焦距之一更精確估計。依此方式，計算系統32可利用自動對焦模型100來評估樣本之一特定位置處之焦平面而非提供至焦平面之距離之一實際數值。
圖3係繪示根據實例實施例之自動對焦一顯微鏡系統10之一光學系統12之一方法300之一流程圖。方法300可在步驟302處開始。
在步驟302處，計算系統32可接收定位於顯微鏡系統10之樣本台16上之一樣本之至少兩個影像。在一些實施例中，至少兩個影像可在z方向上以一固定分開距離拍攝。在一些實施例中，至少兩個影像可包含在樣本之一焦平面上方拍攝之一第一影像及在樣本之焦平面下方拍攝之一第二影像。在一些實施例中，可在樣本之焦平面上方拍攝至少兩個影像。在一些實施例中，至少兩個影像均可在樣本之焦平面下方拍攝。在一些實施例中，對於至少兩個影像之各影像，樣本台16或樣本台16上之樣本之位置可恆定。在一些實施例中，對於至少兩個影像之各影像，樣本台16或樣本台16上之樣本之位置可改變。
在一些實施例中，對於一給定物鏡18及樣本可存在多個焦平面。依此方式，計算系統32可基於多個焦平面接收多組兩個或兩個以上影像。
在步驟304處，計算系統32可將至少兩個影像提供給自動對焦模型100。自動對焦模型100可代表經組態以識別至樣本之焦平面之一距離之一基於回歸之卷積神經網路。在一些實施例中，至樣本之焦平面之距離可為一帶正負號差異。例如，距離可指示樣本台16是否需要在一正方向上或在一負方向上移動。
在步驟306處，計算系統32可識別至樣本之焦平面之一距離。例如，自動對焦模型100可分析至少兩個影像以識別樣本之焦平面及與焦平面之一帶正負號差異。帶正負號之至焦平面之距離可指示為了使物鏡18對焦而樣本台16可行進之一距離。在一些實施例中，不識別至焦平面之一單一距離，計算系統32可識別一系列至焦平面之距離。例如，自動對焦模型100可分析至少兩個影像以識別樣本之焦平面及一系列帶正負號之至焦平面之距離。
在步驟308處，計算系統32可自動調整樣本台16之一位置。例如，基於至焦平面之識別距離，計算系統32可使馬達28及/或驅動機構30調整樣本台16與物鏡18之間的距離。在一些實施例中，計算系統32可在一正方向上調整樣本台16。在一些實施例中，計算系統32可在一負方向上調整樣本台16。
圖4A繪示根據實例實施例之系統匯流排計算系統400之一架構。系統400之一或多個組件可使用一匯流排405彼此電通信。系統400可包含一處理器(例如，一或多個CPU、GPU或其他類型之處理器)410及將包含系統記憶體415(諸如唯讀記憶體(ROM)420及隨機存取記憶體(RAM)425)之各種系統組件耦合至處理器410的一系統匯流排405。系統400可包含高速記憶體之一快取區，該高速記憶體與處理器410直接連接、非常靠近、或整合為處理器410之部分。系統400可將資料自記憶體415及/或儲存裝置430複製至快取區412以供處理器410快速存取。依此方式，快取區412可提供避免處理器410延遲之一效能提升，同時等待資料。此等及其他模組可控制或經組態以控制處理器410執行各種動作。亦可使用其他系統記憶體415。記憶體415可包含具有不同效能特徵之多種 不同類型之記憶體。處理器410可代表一單一處理器或多個處理器。處理器410可包含一通用處理器或一硬體模組或軟體模組之一或多者，諸如儲存於儲存裝置430中之服務1 432、服務2 434及服務4 436，經組態以控制處理器410，以及一專用處理器，其中軟體指令併入至實際處理器設計中。處理器410本質上可為一完全獨立計算系統，含有多個核心或處理器、一匯流排、記憶體控制器、快取區等等。一多核處理器可對稱或非對稱。
為了使使用者能夠與系統400互動，一輸入裝置445可為任何數目個輸入機構，諸如用於語音之一麥克風、用於手勢或圖形輸入之一觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等等。一輸出裝置435(例如一顯示器)亦可為熟習此項技術者已知之多種輸出機構之一或多者。在一些例項中，多模式系統可使得一使用者能夠提供多種類型之輸入以與系統400通信。通信介面440通常可支配及管理使用者輸入及系統輸出。對任何特定硬體配置之操作沒有限制，且因此此處之基本特徵可容易地替換為如其等經開發之改良硬體或韌體配置。
儲存裝置430可為一非揮發性記憶體且可為一硬碟或可儲存可由一電腦存取之資料之其他類型之電腦可讀媒體，諸如磁帶、快閃記憶卡、固態記憶體裝置、數位多功能光碟、盒式磁帶、隨機存取記憶體(RAM)425、唯讀記憶體(ROM)420及其混合。
儲存裝置430可包含用於控制處理器410之服務432、434及436。考慮其他硬體或軟體模組。儲存裝置430可連接至系統匯流排405。在一個態樣中，執行一特定功能之一硬體模組可包含儲存於與必要硬體組件(諸如處理器410、匯流排405、輸出裝置435(例如一顯示器)等等)連接 之一電腦可讀媒體中之軟體組件以執行該功能。
圖4B繪示根據實例實施例之具有一晶片組架構之一電腦系統450。電腦系統450可為可用於實施所揭示之技術之電腦硬體、軟體及韌體之一實例。系統450可包含一或多個處理器455，其代表能夠執行經組態以執行識別計算之軟體、韌體及硬體之任何數目個實體上及/或邏輯上不同資源。一或多個處理器455可與可控制一或多個處理器455之輸入及輸出之一晶片組460通信。在此實例中，晶片組460將資訊輸出至輸出465(諸如一顯示器)且可讀取及寫入資訊至儲存裝置470，其可(例如)包含磁性媒體及固態媒體。晶片組460亦可自RAM 475讀取資料及寫入資料至RAM 475。可提供用於與各種使用者介面組件485介接之一橋接器480用於與晶片組460介接。此等使用者介面組件485可包含一鍵盤、一麥克風、一觸控偵測及處理電路系統、一指向裝置(諸如一滑鼠)等等。一般而言，系統450之輸入可來自機器產生及/或人為產生之多種來源之任何者。
晶片組460亦可與可具有不同實體介面之一或多個通信介面490介接。此等通信介面可包含用於有線及無線區域網路、用於寬頻無線網路以及個人區域網路之介面。用於產生、顯示及使用本文中所揭示之GUI之方法之一些應用可包含透過實體介面接收有序資料集或由機器本身藉由一或多個處理器455分析儲存於儲存裝置470或475中之資料產生。進一步言之，機器可透過使用者介面組件485接收來自一使用者之輸入且藉由使用一或多個處理器455解釋此等輸入來執行適當功能，諸如瀏覽功能。
可瞭解，實例系統400及450可具有一個以上處理器410、455或聯網在一起之一組或集群之計算裝置之部分以提供更大處理能力。
如上文所提供，習知顯微鏡自動對焦方法在對各影像運行一對焦評分演算法以判定焦平面時執行透過焦軸之一耗時掃描。此程序可妨礙樣本檢測之快速處理量生產排程。此外，其增加光敏樣本之光漂白量。為了規避此等障礙，本系統可實施一深度學習模型來預測-在一次拍攝中-給定在一任意初始位置處拍攝之僅兩個影像之一輸入之一顯微鏡系統之精確對焦距離。自動對焦模型可學習散焦影像與距焦平面之絕對距離之間的映射。自動對焦模型可提供比傳統方法快三倍之對焦且在產生對焦影像時準確率為95%。其可使用一傳統精細對焦方法增強以消除任何錯誤。應注意，由於其速度，本方法可用於快速樣本檢測及光敏樣本樣品之成像。
儘管前述內容係針對本文中所描述之實施例，但在不脫離其基本範疇的情況下可設計其他及進一步實施例。例如，本發明之態樣可以硬體或軟體或硬體及軟體之一組合實施。本文中所描述之一個實施例可實施為與一電腦系統一起使用之一程式產品。程式產品之程式界定實施例之功能(包含本文中所描述之方法)且可包含於各種電腦可讀儲存媒體上。繪示性電腦可讀儲存媒體包含(但不限於)：(i)不可寫入儲存媒體(例如，一電腦內之唯讀記憶體(ROM)裝置，諸如可由一CD-ROM驅動器讀取之CD-ROM光碟、快閃記憶體、ROM晶片或任何類型之固態非揮發性記憶體)，其上永久儲存資訊；及(ii)可寫入儲存媒體(例如，一軟碟驅動器或硬碟驅動器內之軟碟或任何類型之固態隨機存取記憶體)，其上儲存可更改資訊。此電腦可讀儲存媒體在承載指導所揭示之實施例之功能之電腦可讀指令時係本發明之實施例。
熟習此項技術者將瞭解，前述實例係例示性的而非限制性 的。熟習此項技術者在閱讀說明書及研究附圖之後，其所有排列、增強、等效及改良旨在將其包含於本發明之真實精神及範疇內。因此，以下隨附申請專利範圍旨在包含落入此等教示之真實精神及範疇內之所有此類修改、置換及等效物。
10:顯微鏡系統
12:光學系統
14:焦點偵測系統
16:樣本台
18:物鏡
20:光源
22:垂直照明器
24:可調整F制光圈
26:影像感測器
28:馬達
30:驅動機構
32:計算系統
34:連接
36:馬達
40:連接
42:操作員輸入單元
100:自動對焦模型
S:樣本

Claims (20)

  1. 一種顯微鏡系統，其包括：一光學系統，其用於對一樣本成像，該光學系統包括一物鏡及經組態以在成像期間支撐該樣本之一樣本台；及一焦點偵測系統，其用於自動對焦該光學系統，該焦點偵測系統包括包含一處理器及一記憶體之一計算系統，該記憶體在其上儲存有程式碼，該程式碼在由該處理器執行時使該計算系統執行包括以下之操作：由該計算系統自該光學系統接收定位於該樣本台上之該樣本之至少兩個影像，該至少兩個影像係由相對於該樣本台之z位置的任何範圍所拍攝；由該計算系統將該至少兩個影像提供給一自動對焦模型用於偵測至該樣本之一焦平面之至少一個距離；經由該自動對焦模型的一卷積神經網路，基於該至少兩個影像之間的焦點差異，識別至該樣本之該焦平面之一系列帶正負號之距離；及基於該識別，由該計算系統，基於該系列帶正負號之距離，自動調整該樣本台相對於該顯微鏡系統之該物鏡之一位置。
  2. 如請求項1之顯微鏡系統，其中由該計算系統自該光學系統接收定位於該顯微鏡系統之該樣本台上之該樣本之該至少兩個影像包括：接收在一第一z位置處之該至少兩個影像之一第一影像；及接收在一第二z位置處之該至少兩個影像之一第二影像。
  3. 如請求項2之顯微鏡系統，其中該第一z位置與該第二z位置係均在該焦點之上或均在該焦點之下。
  4. 如請求項2之顯微鏡系統，其中該第一z位置係在該焦點之上且該第二z位置係在該焦點之下。
  5. 如請求項1之顯微鏡系統，其中由該計算系統自該光學系統接收定位於該顯微鏡系統之該樣本台上之該樣本之該至少兩個影像包括：接收在該樣本之一第一焦平面處之至少一個影像；及接收在該樣本之一第二焦平面處之至少一個影像。
  6. 如請求項5之顯微鏡系統，其中經由該自動對焦模型識別至該樣本之該焦平面之該系列帶正負號之距離包括：識別至該樣本之該第一焦平面之至少一個第一帶正負號距離；及識別至該樣本之該第二焦平面之至少一個第二帶正負號距離。
  7. 如請求項1之顯微鏡系統，其中由該計算系統自動調整該樣本台相對於該顯微鏡系統之該物鏡之該位置包括：使該顯微鏡系統之一驅動機構調整該樣本台與該物鏡之間的一距離。
  8. 一種自動對焦一顯微鏡系統之方法，其包括： 由一計算系統自一影像感測器接收定位於一顯微鏡系統之一樣本台上之一樣本之至少兩個影像，該至少兩個影像係由相對於該樣本台之z位置的任何範圍所拍攝；由該計算系統將該至少兩個影像提供給一自動對焦模型用於偵測至該樣本之一焦平面之至少一個距離；經由該自動對焦模型的一卷積神經網路，基於該至少兩個影像之間的焦點差異，識別至該樣本之該焦平面之一系列帶正負號之距離；及基於該識別，由該計算系統，基於該系列帶正負號之距離，自動調整該樣本台相對於該顯微鏡系統之一物鏡之一位置。
  9. 如請求項8之方法，其中由該計算系統自該影像感測器接收定位於該顯微鏡系統之該樣本台上之該樣本之該至少兩個影像包括：接收在一第一z位置處之該至少兩個影像之一第一影像；及接收在一第二z位置處之該至少兩個影像之一第二影像。
  10. 如請求項9之方法，其中該第一z位置與該第二z位置係均在該焦點之上或均在該焦點之下。
  11. 如請求項9之方法，其中該第一z位置係在該焦點之上且該第二z位置係在該焦點之下。
  12. 如請求項8之方法，其中由該計算系統自該影像感測器接收定位於該顯微鏡系統之該樣本台上之該樣本之該至少兩個影像包括： 接收在該樣本之一第一焦平面處之至少一個影像；及接收在該樣本之一第二焦平面處之至少一個影像。
  13. 如請求項12之方法，其中經由該自動對焦模型識別至該樣本之該焦平面之該系列帶正負號之距離包括：識別至該樣本之該第一焦平面之至少一個第一帶正負號距離；及識別至該樣本之該第二焦平面之至少一個第二帶正負號距離。
  14. 如請求項8之方法，其中由該計算系統自動調整該樣本台相對於該顯微鏡系統之該物鏡之該位置包括：使該顯微鏡系統之一驅動機構調整該樣本台與該物鏡之間的一距離。
  15. 一種非暫時性電腦可讀媒體，其包括一或多個指令序列，該指令序列當由一處理器執行時使一計算系統執行包括以下之操作：由該計算系統自一影像感測器接收定位於一顯微鏡系統之一樣本台上之一樣本之至少兩個影像，該至少兩個影像係由相對於該樣本台之z位置的任何範圍所拍攝；由該計算系統將該至少兩個影像提供給一自動對焦模型用於偵測至該樣本之一焦平面之至少一個距離；經由該自動對焦模型的一卷積神經網路，基於該至少兩個影像之間的焦點差異，識別至該樣本之該焦平面之一系列帶正負號之距離；及基於該識別，由該計算系統，基於該系列帶正負號之距離，自動調 整該樣本台相對於該顯微鏡系統之一物鏡之一位置。
  16. 如請求項15之非暫時性電腦可讀媒體，其中由該計算系統自該影像感測器接收定位於該顯微鏡系統之該樣本台上之該樣本之該至少兩個影像包括：接收在一第一z位置處之該至少兩個影像之一第一影像；及接收在一第二z位置處之該至少兩個影像之一第二影像。
  17. 如請求項16之非暫時性電腦可讀媒體，其中該第一z位置與該第二z位置係均在該焦點之上或均在該焦點之下，或其中該第一z位置係在該焦點之上且該第二z位置係在該焦點之下。
  18. 如請求項15之非暫時性電腦可讀媒體，其中由該計算系統自該影像感測器接收定位於該顯微鏡系統之該樣本台上之該樣本之該至少兩個影像包括：接收在該樣本之一第一焦平面處之至少一個影像；及接收在該樣本之一第二焦平面處之至少一個影像。
  19. 如請求項18之非暫時性電腦可讀媒體，其中經由該自動對焦模型識別至該樣本之該焦平面之該系列帶正負號之距離包括：識別至該樣本之該第一焦平面之至少一個第一帶正負號距離；及識別至該樣本之該第二焦平面之至少一個第二帶正負號距離。
  20. 如請求項15之非暫時性電腦可讀媒體，其中由該計算系統自動調整該樣本台相對於該顯微鏡系統之該物鏡之該位置包括：使該顯微鏡系統之一驅動機構調整該樣本台與該物鏡之間的一距離。
TW110129282A 2020-08-07 2021-08-09 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體 TWI811758B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063062592P 2020-08-07 2020-08-07
US63/062,592 2020-08-07

Publications (2)

Publication Number Publication Date
TW202223471A TW202223471A (zh) 2022-06-16
TWI811758B true TWI811758B (zh) 2023-08-11

Family

ID=80114352

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112125595A TW202343058A (zh) 2020-08-07 2021-08-09 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體
TW110129282A TWI811758B (zh) 2020-08-07 2021-08-09 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW112125595A TW202343058A (zh) 2020-08-07 2021-08-09 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體

Country Status (7)

Country Link
US (1) US20220046180A1 (zh)
EP (1) EP4193207A1 (zh)
JP (1) JP2023537892A (zh)
KR (1) KR20230021136A (zh)
CN (1) CN116075762A (zh)
TW (2) TW202343058A (zh)
WO (1) WO2022032126A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259053B (zh) * 2023-05-15 2023-07-21 西南科技大学 基于卷积神经网络的医学显微图像成像焦点预测方法
CN117132646B (zh) * 2023-10-26 2024-01-05 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117689892B (zh) * 2024-02-02 2024-04-09 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245173A (en) * 1991-03-29 1993-09-14 Olympus Optical Co., Ltd. Automatic focal-point sensing apparatus sensing high and low magnification
US7576307B2 (en) * 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US20180292638A1 (en) * 2015-12-16 2018-10-11 Ventana Medical Systems, Inc. Auto-focus methods and systems for digital imaging using mutli-spectral trajectories
WO2019159627A1 (ja) * 2018-02-14 2019-08-22 国立研究開発法人理化学研究所 オートフォーカス装置ならびにそれを備える光学装置および顕微鏡
CN106842534B (zh) * 2017-03-22 2019-12-24 上海理工大学 基于双ccd的自动对焦显微镜及测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
AU2002212914A1 (en) * 2000-11-07 2002-05-21 Cellavision Ab Autofocusing
US7729049B2 (en) * 2007-05-26 2010-06-01 Zeta Instruments, Inc. 3-d optical microscope
EP2448246B1 (en) * 2010-10-28 2019-10-09 Axis AB Method for focusing
US9297995B2 (en) * 2011-02-11 2016-03-29 University Of South Florida Automatic stereological analysis of biological tissue including section thickness determination
CN108351504A (zh) * 2015-11-11 2018-07-31 斯科皮奥实验室有限公司 用于在不同照射条件下生成图像的计算显微镜及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245173A (en) * 1991-03-29 1993-09-14 Olympus Optical Co., Ltd. Automatic focal-point sensing apparatus sensing high and low magnification
US7576307B2 (en) * 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US20180292638A1 (en) * 2015-12-16 2018-10-11 Ventana Medical Systems, Inc. Auto-focus methods and systems for digital imaging using mutli-spectral trajectories
CN106842534B (zh) * 2017-03-22 2019-12-24 上海理工大学 基于双ccd的自动对焦显微镜及测量方法
WO2019159627A1 (ja) * 2018-02-14 2019-08-22 国立研究開発法人理化学研究所 オートフォーカス装置ならびにそれを備える光学装置および顕微鏡

Also Published As

Publication number Publication date
KR20230021136A (ko) 2023-02-13
US20220046180A1 (en) 2022-02-10
EP4193207A1 (en) 2023-06-14
TW202223471A (zh) 2022-06-16
JP2023537892A (ja) 2023-09-06
WO2022032126A1 (en) 2022-02-10
CN116075762A (zh) 2023-05-05
TW202343058A (zh) 2023-11-01

Similar Documents

Publication Publication Date Title
TWI811758B (zh) 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體
TWI829694B (zh) 用於提供超解析度成像之精準度回饋及改良超解析度成像之精準度之系統、裝置及方法
US10477097B2 (en) Single-frame autofocusing using multi-LED illumination
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
US10705326B2 (en) Autofocus system for a computational microscope
JP5570945B2 (ja) 正確な寸法検査用の自動焦点ビデオツールおよび方法
JP5727629B2 (ja) 顕微鏡撮像における高速自動焦点合わせ
US9176311B2 (en) Microscope control device and optical distortion correction method
US10534164B2 (en) Digital microscope and focusing method thereof
JP7226852B2 (ja) 基板上の流動的対象を自動的にマッピングするための方法およびシステム
JP2013080144A5 (zh)
US20120249770A1 (en) Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing
Ivanov et al. DeepFocus: a deep learning model for focusing microscope systems
CN114994895A (zh) 用于试样的光片显微镜检测的方法和装置
JP7507760B2 (ja) 学習型のオートフォーカス
US20230186483A1 (en) Method for determining boundaries of a z-stack of images of an object, corresponding optical instrument and computer program therefor
KR102357212B1 (ko) 랜덤 포레스트 기반의 오토포커싱 장치 및 방법
WO2021020262A1 (ja) 顕微鏡、顕微鏡で試料を撮像する方法、プログラム、および制御装置
JP2022509959A (ja) 学習型のオートフォーカス
CN116973380A (zh) 晶圆检测系统、检测方法、电子设备及存储介质
CN116594164A (zh) 用于成像装置的设备和方法