TW201935074A - 在螢光顯微鏡成像期間用於延伸景深的方法及設備 - Google Patents
在螢光顯微鏡成像期間用於延伸景深的方法及設備 Download PDFInfo
- Publication number
- TW201935074A TW201935074A TW108103156A TW108103156A TW201935074A TW 201935074 A TW201935074 A TW 201935074A TW 108103156 A TW108103156 A TW 108103156A TW 108103156 A TW108103156 A TW 108103156A TW 201935074 A TW201935074 A TW 201935074A
- Authority
- TW
- Taiwan
- Prior art keywords
- sample
- single image
- image
- deconvolution
- imaging device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003384 imaging method Methods 0.000 title claims abstract description 63
- 238000000799 fluorescence microscopy Methods 0.000 title description 3
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000005284 excitation Effects 0.000 claims abstract description 9
- 238000005516 engineering process Methods 0.000 claims description 22
- 230000001629 suppression Effects 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 239000007850 fluorescent dye Substances 0.000 claims description 5
- 229940028444 muse Drugs 0.000 claims 3
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 claims 3
- 238000000386 microscopy Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 230000003746 surface roughness Effects 0.000 description 2
- 241000961787 Josa Species 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- PYWVYCXTNDRMGF-UHFFFAOYSA-N rhodamine B Chemical compound [Cl-].C=12C=CC(=[N+](CC)CC)C=C2OC2=CC(N(CC)CC)=CC=C2C=1C1=CC=CC=C1C(O)=O PYWVYCXTNDRMGF-UHFFFAOYSA-N 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本案所揭示的實施例是關於一種用於執行具有延伸景深的顯微鏡成像的系統。該系統包括用於保持樣品的平台，和用於照射該樣品的光源，其中該光源產生在230 nm至300 nm範圍內的波長的紫外光，以促成顯微鏡的紫外線表面激發(MUSE)成像。該系統還包括成像裝置，其包括放大該經照射的樣品的物鏡，和捕獲該經放大的樣品的單個影像的傳感器陣列。該系統還包括控制器，其控制該成像裝置和/或該平台，以在該單個影像的獲取時間期間掃描該樣品的焦平面範圍。該系統額外包括影像處理系統，其使用反卷積技術來處理該單個影像以產生具有延伸景深的最終影像。
Description
本案所揭示的實施例是關於用於執行螢光顯微鏡成像的技術。更具體地，本案所揭示的實施例是關於用於增加透過螢光顯微鏡成像獲取的影像的景深的技術。
為了利於在螢光顯微鏡中的高解析度，典型地使用高數值孔徑(NA)透鏡以獲取影像。不幸的是，使用高NA透鏡顯然限制顯微鏡的景深，這意味著只有極薄的焦平面內的特徵可聚焦，而不位於焦平面其它特徵會失焦。對於薄切片顯微鏡的載玻片而言，這通常不是一個問題，因為組織安置在載玻片上幾乎是平坦形貌。然而，這種有限的景深對於位在顯微鏡的成像平面上未切片的組織在成像時會成為問題。這原因在於組織表面粗糙度在微觀尺度上的程度，這使得幾乎不可能同時在聚焦時具有所有重要特徵。
研究人員試圖透過在獲取影像時改變成像裝置的焦點(或改變樣品與成像裝置的距離)來解決這種有限的景深問題，以便從許多不同的成像平面收集資訊。然後透過反卷積處理得到的模糊影像以產生最終影像，該影像在一定範圍的景深中聚焦。(例如，參見2008年10月28日美國專利號No. 7,444,014，題為“Extended Depth of Focus Microscopy”，由發明人Michael E. Dresser等人發表)。不幸的是，這種技術需要大量的計算來確定z
維度中目標的位置，這使得它對於廣泛的應用來說是不切實際的。
因此，需要一種在高解析度螢光顯微鏡成像期間延伸景深的技術，其不具有現有技術的性能問題。
本案所揭示的實施例是關於一種用於執行具有延伸景深的顯微鏡成像的系統。該系統包括用於保持樣品的平台，和用於照射該樣品的光源，其中該光源產生在230 nm至300 nm範圍內的波長的紫外光，以促成顯微鏡的紫外線表面激發(MUSE)成像。該系統亦包括成像裝置，其包括放大該經照射的樣品的物鏡，和捕獲該經放大的樣品的單個影像的傳感器陣列。該系統還包括控制器，其控制該成像裝置和/或該平台，以在該單個影像的獲取時間期間掃描該樣品的焦平面範圍。該系統額外包括影像處理系統，其使用反卷積技術來處理該單個影像以產生具有延伸景深的最終影像。
在一些實施例中，在掃描該樣品的該焦平面範圍的同時，該系統使用可調式透鏡來改變該成像裝置的焦點。
在一些實施例中，掃描該樣品的該焦平面範圍涉及移動以下的一個或多個：該樣品；該物鏡；透鏡筒，其結合到該成像裝置中；和該傳感器陣列。
在一些實施例中，移動該樣品、該物鏡、該透鏡筒或該傳感器中的一個或多個涉及使用以下的一個或多個：壓電致動器；線性致動器；和音圈。
在一些實施例中，捕獲該樣品的該單個影像包括：捕獲該樣品的多重影像；和組合該多重影像以產生該樣品的該單個影像。
在一些實施例中，處理該單個影像包括：將該反卷積技術應用於該單個影像的多重彩色平面，該單個影像的多重彩色平面係分開用具有拜耳圖案(Bayer pattern)的傳感器獲得，以產生多重反卷積彩色平面；和組合該多重反卷積彩色平面，以產生具有該延伸景深的該最終影像。
在一些實施例中，處理該單個影像涉及使用二維(2D)反卷積。
在一些實施例中，該2D反卷積包括基於傅立葉轉換(Fourier-transform based)的反卷積。
在一些實施例中，該影像處理系統在產生該最終影像時另外使用基於機器學習的雜訊抑制技術和/或解析度增強技術。
在一些實施例中，該基於機器學習的雜訊抑制和/或解析度增強技術涉及在反卷積影像和地面實況(ground truth)影像之間建立映射。
在一些實施例中，其中該樣品使用一種或多種螢光染料預先染色。
以下描述經呈現以使得本領域技術人員能夠製造和使用本實施例，並且於特定應用及其要求的情況下提供以下描述。對於本領域技術人員來說，對所揭示的實施例的各種修改是顯而易見的，並且在不脫離本實施例的精神和範圍的情況下，在此定義的一般原理可以應用於其他實施例和應用。因此，本發明的實施例不限於所示的實施例，而是與符合本文揭示的原理和特徵的最寬範圍相一致。
在該詳細描述中描述的資料結構和程式碼通常儲存在電腦可讀儲存媒體上，該電腦可讀儲存媒體可以是可以儲存供電腦系統使用的程式碼和/或資料的任何裝置或媒體。電腦可讀儲存媒體包括但不限於揮發性記憶體、非揮發性記憶體、磁碟和光儲存裝置，例如磁碟驅動器、磁帶、CD(光碟)、DVD(數位通用碟或數位視訊碟)，或能夠儲存現在已知或以後開發的電腦可讀媒體的其他媒體。
在具體實施方式部分中描述的方法和過程可以體現為程式碼和/或資料，其可以儲存在如上所述的電腦可讀儲存媒體中。當電腦系統讀取並執行儲存在電腦可讀儲存媒體上的程式碼和/或資料時，電腦系統執行體現為資料結構和程式碼並儲存在電腦可讀儲存媒體中的方法和過程。此外，下面描述的方法和過程可以包括在硬體模組中。例如，硬體模組可以包括但不限於專用積體電路(ASIC)晶片、現場可編程閘陣列(FPGA)以及現在已知或以後開發的其他可程式化邏輯器件。啟用硬體模組後，硬體模組將執行硬體模組中包含的方法和過程。在具體實施方式部分中描述的方法和過程可以體現為程式碼和/或資料，其可以儲存在如上所述的電腦可讀儲存媒體中。
討論
討論
MUSE(具有UV表面激發的顯微鏡)是一種新的顯微鏡方法，它提供了一種簡單且廉價的成像技術，可以從新鮮或固定的組織直接快速地產生具有增強的空間和顏色資訊的診斷品質影像。成像過程是非破壞性的，允許下游分子分析。(參見Farzad Fereidouni等，“Microscopy with UV Surface Excitation (MUSE) for slide-free histology and pathology imaging”, Proc. SPIE 9318, Optical Biopsy XIII: Toward Real-Time Spectroscopic Imaging and Diagnosis, 93180F, 2015年3月11日)。
為了利於MUSE成像，樣品用普通螢光染料短暫染色，然後進行280 nm紫外光激發，由於在該波長下光的穿透深度有限，而產生高表面加權的影像。該方法還利用“USELESS”現象(具有長發射斯托克斯位移(Stokes shift)的UV染色激發)以用於在可見光範圍內產生廣譜影像。請注意，MUSE即使在單個快照中也能輕鬆地提供表面形貌資訊，雖然不是完全三維的，但影像是易於獲取且易於解釋，從而可以更深入地了解組織結構。
不幸的是，處理具有固有深度資訊的樣品可能在確定適當的焦點以及捕獲延伸景深影像方面產生問題。我們開發了一種加速和有效的技術，透過採用掃描聚焦獲取技術在MUSE成像期間延伸景深。我們還開發了一種快速自動對焦的新方法。這些功能共同構成了MUSE功能和易用性。
因為MUSE是透過使用短的紫外(UV)光(典型為280 nm)激發以對組織進行寬場螢光成像來進行操作，MUSE技術只能將厚的標本的表面成像。組織內的物件未被MUSE可視化的事實允許捕獲延伸的焦距深度所需的計算操作省略了先前解決該問題的方法所需的計算密集型操作。(請注意，MUSE是唯一一種僅使用表面加權特徵即時捕獲影像的寬場UV成像技術。)
用於在改變焦點的z
軸位置的同時捕獲單個圖像的先前技術需要物件估計步驟作為延伸景深(EDOF)計算的一部分，因為那些非表面加權成像方法在成像體積內的不同深度處獲得了多個信號。例如，參見美國專利號No. 7,444,014(上文引用)中的圖3中的流程圖中的步驟310。相比之下，我們新的MUSE EDOF技術僅檢測沿樣品表面的發光物件，這些物件可能是平的，也可能不是平的。這 允許省略美國專利號No. 7,444,014中描述的計算上昂貴的“物件估計步驟”。
優點
優點
我們新的MUSE EDOF成像技術具有許多優點。
(1)此技術與傳統的顯微鏡設計兼容。只需要對傳統顯微鏡設計進行次要改變。這些改變可以包括將顯微鏡物鏡組裝在壓電致動器上(或使用其他機械平台)，使得焦平面掃描操作可以與相機的影像獲取同步。
(2)不需要額外的資料或影像獲取。由於壓電致動器的快速響應，在EDOF影像獲取過程中不延長影像獲取時間。
(3)該技術利於近即時分析。在操作期間，壓電致動器(或其他機械裝置)被配置成在相機的獲取時間內將顯微鏡載物台或物鏡移動到期望的範圍(~100 μm)以捕獲單個影像。該技術以與相機同步的方式掃描所需範圍，並從所有層收集光。透過使用這種影像獲取技術，我們基本上將物件的三維(3D)輪廓與3D點擴散函數(PSF)卷積而整合為二維(2D)影像。根據卷積定理，z
方向上的積分從卷積中得出，並且變成與2D PSF卷積的物件。因此，分析方法基本上是影像的2D反卷積。請注意，存在大量可用於執行2D卷積的方法。然而，由於時間限制，我們專注於基於傅立葉轉換的技術。
(4)該技術還有助於降低雜訊。儘管基於PSF的反卷積是有效的，但它們會在結果影像中添加可變量的雜訊。為了減少這種雜訊，我們可以使用基於機器學習的雜訊抑制技術，該技術透過在反卷積影像和使用多個單獨平面獲得的“地面實況”EDOF影像之間建立映射來進行操作。這些可以組合成具有低得多的雜訊的單個EDOF影像，但是以多重影像獲取和非常長的計算時間為代價。請注意，使用基於機器學習的映射(基於樣品類型到樣品類型)允許我們獲取快速的單個影像掃描聚焦影像，並計算高品質、低雜訊的結果影像。透過在傅立葉轉換影像中應用自定義窗函數來抑制低信號高頻分量，也可以實現雜訊抑制。(參見例如“Optical Systems with Resolving Powers Exceeding the Classical Limit,” JOSA Vol. 56, Issue 11, 第1463-1471頁, 1966)。該技術提供即時雜訊抑制，因為它簡單地包括將窗函數乘以傅立葉轉換影像。另一種雜訊抑制技術是標準的維納濾波(Wiener filtering)。(參見 Wiener, Norbert, 1949, Extrapolation, Interpolation, and Smoothing of Stationary Time Series. New York: Wiley)。
這種技術的一個主要優點是速度。請注意，影像獲取時間不受掃描限制，因為掃描操作是透過相機曝光時間同步的。此外，由於收集的資料有限，相關的分析技術不需要來自多個層的資料。
顯微鏡系統
顯微鏡系統
圖1示出了根據所揭示的實施例的示例性顯微鏡系統，其在改變樣品和成像裝置之間的距離的同時捕獲樣品110的影像。更具體地，圖1示出的成像裝置，它由一個傳感器陣列102和物鏡104組成。該成像裝置獲取樣品110的影像，該樣品110附著到可移動的平台108。在成像過程期間，光源106用UV光照射樣品110，UV光具有280 nm的波長以促成MUSE成像。請注意，圖1中所示的所有組件都由控制器112操作。
因為平台108是可移動的，所以可以使穿過樣品110的焦平面的移動與傳感器陣列102收集影像同步。例如，平台108可用於在100 ms窗口中將樣品110朝向物鏡104移動1微米/毫秒，在此期間傳感器陣列102收集影像。(在替代實施例中，可以移動物鏡104和/或傳感器陣列102而非平台108)。而且，可以採用任何類型的線性致動器(例如壓電換能器或音圈)來移動平台108。
請注意，收集影像的時間比使成像裝置飽和的時間長得不切實際，因此我們只能為每個焦平面收集有限的光量。為了解決這個問題，我們可以拍攝更多影像，然後對它們進行平均。
圖2示出了顯微鏡系統的替代設計，其使用物鏡204改變其焦距以移動焦平面以取代使用可移動平台。如圖2所示，物鏡204包括焦距調節器205，其可用於改變焦平面的位置。
捕獲和處理影像
圖3呈現了示出根據所揭示的實施例的用利於影像的延伸景深的方而式捕獲和處理影像的過程的流程圖。在操作期間，系統透過成像裝置捕獲樣品的單個影像，其中該樣品被在230 nm至300 nm範圍內的波長的紫外光照射以促成顯微鏡的紫外線表面激發(MUSE)成像，並且其中成像裝置包括放大樣品的物鏡，以及捕獲經放大的樣品的單個影像的傳感器陣列(步驟302)。在捕獲樣品的單個影像的同時，系統控制成像裝置和/或保持樣品的平台，以在單個影像的獲取時間期間掃描樣品的焦平面範圍(步驟304)。接下來，系統使用反卷積技術來處理單個影像，以產生具有延伸景深的最終影像(步驟306)。最後，系統可選地使用基於機器學習的雜訊抑制技術和/或解析度增強技術來產生最終影像(步驟308)。例如，系統可以使用機器學習技術，例如產生式對抗網路(GAN)。
捕獲和處理影像
圖3呈現了示出根據所揭示的實施例的用利於影像的延伸景深的方而式捕獲和處理影像的過程的流程圖。在操作期間，系統透過成像裝置捕獲樣品的單個影像，其中該樣品被在230 nm至300 nm範圍內的波長的紫外光照射以促成顯微鏡的紫外線表面激發(MUSE)成像，並且其中成像裝置包括放大樣品的物鏡，以及捕獲經放大的樣品的單個影像的傳感器陣列(步驟302)。在捕獲樣品的單個影像的同時，系統控制成像裝置和/或保持樣品的平台，以在單個影像的獲取時間期間掃描樣品的焦平面範圍(步驟304)。接下來，系統使用反卷積技術來處理單個影像，以產生具有延伸景深的最終影像(步驟306)。最後，系統可選地使用基於機器學習的雜訊抑制技術和/或解析度增強技術來產生最終影像(步驟308)。例如，系統可以使用機器學習技術，例如產生式對抗網路(GAN)。
在處理步驟306期間，我們假設透過軸向軸上的影像層的總和，得出z
軸上的卷積，並且我們有與PSF的總和進行卷積的物件的總和。
對於3D物件，透過將3D PSF與物件輪廓卷積來確定來自不同軸層的影像：
(1)
藉由將累積強度定義為
且累積PSF為
並假設光僅來自表面層
我們可以採用方程式(1)在軸向軸上兩邊的積分：
(2)
並可以透過應用的反卷積濾波器來恢復物件：
(3)
(1)
藉由將累積強度定義為
且累積PSF為
並假設光僅來自表面層
我們可以採用方程式(1)在軸向軸上兩邊的積分：
(2)
並可以透過應用的反卷積濾波器來恢復物件：
(3)
對於近即時處理，基於逆傅立葉轉換的方法會是可接受的。在這些方法中，對總和的影像進行傅立葉轉換並除以OTF(PSF的傅立葉轉換)以從模糊影像中對總和的PSF進行反卷積。雖然速度很快，但這些基於FFT的方法不幸地雜訊很大，需要適當的雜訊抑制，例如透過維納濾波。透過使用執行傅立葉轉換的快速方法，例如由West快速傅立葉轉換(the Faster Fourier Transform in the West, 簡稱FFTW)軟體庫使用的方法，其是由麻省理工學院的Matteo Frigo和Steven G. Johnson開發，對於9百萬像素影像的EDOF可以在一秒鐘內返回。
如圖4中出現的影像所示，透過使用上述EDOF處理技術，我們能夠從具有相當大的表面粗糙度的樣品開始有效地重建完全聚焦的影像。圖4示出了用羅丹明(rhodamine)和Hoechst染色的腎樣品的影像。圖4中的右欄示出了來自左欄中的紅色方塊的放大區域。
請注意，包括厚組織的腎樣品的擴展表面形貌使得即使使用傳統的自動聚焦也難以獲得對焦影像，如列A所示，其中以最佳焦點拍攝單個影像。相反地，列B示出了更清晰、反卷積的透過焦點的單個影像，且列C示出了10幀z-
堆疊的反卷積平均。請注意，雖然列C中的影像(由多個z
平面構成)顯示的雜訊遠遠小於列B中的噪聲，但是獲取這些影像所需的時間要長近10倍，而處理多個z
平面影像的時間仍要長得多。我們的目標是在獲取和處理列B資料所需的時間內實現列C的品質。
圖5呈現了根據所揭示的實施例的過程的流程圖，該過程分別地對所捕獲影像的彩色平面進行反卷積，然後組合反卷積影像。(該流程圖著重在圖3中顯示的流程圖中步驟306中發生的操作。)在步驟306中處理單個影像時，系統將反卷積技術分別應用於單個影像的多重彩色平面以產生多個反卷積彩色平面(步驟502)。然後，系統組合多個反卷積的彩色平面以產生具有延伸景深的最終影像(步驟504)。圖6呈現了示例，其示出了根據所揭示的實施例，如何可以在組合之前，來自拜耳傳感器的不同顏色分量的影像被分別地反卷積。
對於本領域技術人員來說，對所揭示的實施例的各種修改是顯而易見的，並且在不脫離本發明的精神和範圍的情況下，這裡定義的一般原理可以應用於其他實施例和應用。因此，本發明不限於所示的實施例，而是與符合本文揭示的原理和特徵的最寬範圍相一致。
已經出於說明和描述的目的呈現了前述實施例的描述。它們並非旨在窮舉或將本說明書限制於所揭示的形式。因此，許多修改和變化對於本領域技術人員來說是顯而易見的。另外，以上揭示內容並非旨在限制本說明書。本說明書的範圍由所附申請專利範圍限定。
102‧‧‧傳感器陣列
104‧‧‧物鏡
106‧‧‧光源
108‧‧‧平台
110‧‧‧樣品
112‧‧‧控制器
204‧‧‧物鏡
205‧‧‧焦距調節器
302、304、306、308‧‧‧步驟
502、504‧‧‧步驟
本專利案或申請案包含至少一張彩色圖式。具有彩色圖式的本專利案或本專利申請案揭示的副本將在請求和支付必要費用後由本公司提供。
圖1示出了根據所揭示的實施例的顯微鏡系統，其在改變樣品和成像裝置之間的距離的同時捕獲樣品的影像。
圖2示出了根據所揭示的實施例的顯微鏡系統，其在改變到樣品的焦距的同時捕獲樣品的影像。
圖3呈現了示出根據所揭示的實施例的用利於影像的延伸景深的方式而捕獲和處理影像的過程的流程圖。
圖4示出了根據所揭示的實施例如何透過延伸景深(EDOF)技術來改善影像。
圖5呈現了根據所揭示的實施例的過程的流程圖，該過程分別地對所捕獲影像的彩色平面進行反卷積，然後組合反卷積影像。
圖6示出了根據所揭示的實施例，如何可以在組合之前分別地對不同顏色分量的示例性影像進行反卷積。
Claims (33)
- 一種用於執行具有延伸景深的顯微鏡成像的系統，包括： 用於保持樣品的平台； 用於照射該樣品的光源，其中該光源產生在230 nm至300 nm範圍內的波長的紫外光，以促成顯微鏡的紫外線表面激發(MUSE)成像； 成像裝置，包括， 物鏡，其放大該經照射的樣品，和 傳感器陣列，其捕獲該經放大的樣品的單個影像； 控制器，其控制該成像裝置和/或該平台，以在該單個影像的獲取時間期間掃描該樣品的焦平面範圍；和 影像處理系統，其使用反卷積技術來處理該單個影像，以產生具有延伸景深的最終影像。
- 根據申請專利範圍第1項所述的系統，其中在掃描該樣品的該焦平面範圍的同時，該系統使用可調式透鏡來改變該成像裝置的焦點。
- 根據申請專利範圍第1項所述的系統，其中掃描該樣品的該焦平面範圍涉及移動以下的一個或多個： 該樣品； 該物鏡； 透鏡筒，其結合到該成像裝置中；和 該傳感器陣列。
- 根據申請專利範圍第3項所述的系統，其中移動該樣品、該物鏡、該透鏡筒或該傳感器中的一個或多個涉及使用以下的一個或多個： 壓電致動器； 線性致動器；和 音圈。
- 根據申請專利範圍第1項所述的系統，其中捕獲該樣品的該單個影像包括： 捕獲該樣品的多重影像；和 組合該多重影像以產生該樣品的該單個影像。
- 根據申請專利範圍第1項所述的系統，其中處理該單個影像包括： 將該反卷積技術應用於該單個影像的多重彩色平面，該單個影像的多重彩色平面係分開用具有拜耳圖案(Bayer pattern)的傳感器獲得，以產生多重反卷積彩色平面；和 組合該多重反卷積彩色平面，以產生具有該延伸景深的該最終影像。
- 根據申請專利範圍第1項所述的系統，其中處理該單個影像涉及使用二維(2D)反卷積。
- 根據申請專利範圍第7項所述的系統，其中該2D反卷積包括基於傅立葉轉換(Fourier-transform based)的反卷積。
- 根據申請專利範圍第1項所述的系統，其中該影像處理系統在產生該最終影像時另外使用基於機器學習的雜訊抑制技術和/或解析度增強技術。
- 根據申請專利範圍第9項所述的系統，其中該基於機器學習的雜訊抑制和/或解析度增強技術涉及在反卷積影像和地面實況(ground truth)影像之間建立映射。
- 根據申請專利範圍第1項所述的系統，其中該樣品使用一種或多種螢光染料預先染色。
- 一種用於執行具有延伸景深的顯微鏡成像的方法，包括： 透過成像裝置捕獲樣品的單個影像，其中該樣品被以在230 nm至300 nm範圍內的波長的紫外光照射，以促成顯微鏡的紫外線表面激發(MUSE)成像，並且其中該成像裝置包括放大該樣品的物鏡，以及捕獲該經放大的樣品的該單個影像的傳感器陣列； 其中在捕獲該樣品的該單個影像的同時，該方法控制該成像裝置和/或保持該樣品的平台，以在該單個影像的獲取時間期間掃描該樣品的該焦平面範圍；和 使用反卷積技術來處理該單個影像，以產生具有延伸景深的最終影像。
- 根據申請專利範圍第12項所述的方法，其中在掃描該樣品的該焦平面範圍的同時，該方法使用在該成像裝置中的可調式透鏡來改變該成像裝置的焦點。
- 根據申請專利範圍第12項所述的方法，其中掃描該樣品的該焦平面範圍涉及移動以下的一個或多個： 該樣品； 該物鏡； 透鏡筒，其結合到該成像裝置中；和 該傳感器陣列。
- 根據申請專利範圍第14項所述的方法，其中移動該樣品、該物鏡、該透鏡筒或該傳感器中的一個或多個涉及使用以下的一個或多個： 壓電致動器； 線性致動器；和 音圈。
- 根據申請專利範圍第12項所述的方法，其中捕獲該樣品的該單個影像包括： 捕獲該樣品的多重影像；和 組合該多重影像以產生該樣品的該單個影像。
- 根據申請專利範圍第12項所述的方法，其中處理該單個影像包括： 將該反卷積技術應用於該單個影像的多重彩色平面，該單個影像的多重彩色平面係分開用具有拜耳圖案的傳感器獲得，以產生多重反卷積彩色平面；和 組合該多重反卷積彩色平面，以產生具有該延伸景深的該最終影像。
- 根據申請專利範圍第12項所述的方法，其中處理該單個影像涉及使用二維(2D)反卷積。
- 根據申請專利範圍第18項所述的方法，其中該2D反卷積包括基於傅立葉轉換的反卷積。
- 根據申請專利範圍第12項所述的方法，其中該方法進一步包括：在產生該最終影像時使用基於機器學習的雜訊抑制技術和/或解析度增強技術。
- 根據申請專利範圍第20項所述的方法，其中該基於機器學習的雜訊抑制和/或解析度增強技術涉及在反卷積影像和地面實況影像之間建立映射。
- 根據申請專利範圍第12項所述的方法，其中該樣品使用一種或多種螢光染料預先染色。
- 一種儲存指令的非暫時性電腦可讀儲存媒體，該指令在由顯微鏡成像系統的控制器執行時，致使該顯微鏡成像系統執行具有延伸景深的顯微鏡成像的方法，該方法包括： 透過成像裝置捕獲樣品的單個影像，其中該樣品被以在230 nm至300 nm範圍內的波長的紫外光照射，以促成顯微鏡的紫外線表面激發(MUSE)成像，並且其中該成像裝置包括放大該樣品的物鏡，以及捕獲該經放大的樣品的該單個影像的傳感器陣列； 其中在捕獲該樣品的該單個影像的同時，該方法控制該成像裝置和/或保持該樣品的平台，以在該單個影像的獲取時間期間掃描該樣品的該焦平面範圍；和 使用反卷積技術來處理該單個影像以產生具有延伸景深的最終影像。
- 根據申請專利範圍第23項所述的非暫時性電腦可讀儲存媒體，其中在掃描該樣品的該焦平面範圍的同時，該非暫時性電腦可讀儲存媒體使用可調式透鏡來改變該成像裝置的焦點。
- 根據申請專利範圍第23項所述的非暫時性電腦可讀儲存媒體，其中掃描該樣品的該焦平面範圍涉及移動以下的一個或多個： 該樣品； 該物鏡； 透鏡筒，其結合到該成像裝置中；和 該傳感器陣列。
- 根據申請專利範圍第25項所述的非暫時性電腦可讀儲存媒體，其中移動該樣品、該物鏡、該透鏡筒或該傳感器中的一個或多個涉及使用以下的一個或多個： 壓電致動器； 線性致動器；和 音圈。
- 根據申請專利範圍第23項所述的非暫時性電腦可讀儲存媒體，其中捕獲該樣品的該單個影像包括： 捕獲該樣品的多重影像；和 組合該多重影像以產生該樣品的該單個影像。
- 根據申請專利範圍第23項所述的非暫時性電腦可讀儲存媒體，其中處理該單個影像包括： 將該反卷積技術應用於該單個影像的多重彩色平面，該單個影像的多重彩色平面係分開用具有拜耳圖案的傳感器獲得，以產生多重反卷積彩色平面；和 組合該多重反卷積彩色平面，以產生具有該延伸景深的該最終影像。
- 根據申請專利範圍第23項所述的非暫時性電腦可讀儲存媒體，其中處理該單個影像涉及使用二維(2D)反卷積。
- 根據申請專利範圍第29項所述的非暫時性電腦可讀儲存媒體，其中該2D反卷積包括基於傅立葉轉換的反卷積。
- 根據申請專利範圍第23項所述的非暫時性電腦可讀儲存媒體，其中該方法進一步包括：在產生該最終影像時使用基於機器學習的雜訊抑制技術和/或解析度增強技術。
- 根據申請專利範圍第31項所述的非暫時性電腦可讀儲存媒體，其中該基於機器學習的雜訊抑制和/或解析度增強技術涉及在反卷積影像和地面實況影像之間建立映射。
- 根據申請專利範圍第23項所述的非暫時性電腦可讀儲存媒體，其中該樣品使用一種或多種螢光染料預先染色。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862623320P | 2018-01-29 | 2018-01-29 | |
| US62/623,320 | 2018-01-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201935074A true TW201935074A (zh) | 2019-09-01 |
Family
ID=67395691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108103156A TW201935074A (zh) | 2018-01-29 | 2019-01-28 | 在螢光顯微鏡成像期間用於延伸景深的方法及設備 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210132350A1 (zh) |
| CN (1) | CN111656163A (zh) |
| CA (1) | CA3089228A1 (zh) |
| TW (1) | TW201935074A (zh) |
| WO (1) | WO2019148142A2 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114114665B (zh) * | 2021-11-26 | 2022-08-16 | 深圳先进技术研究院 | 一种硬件相关明场显微镜拍摄系统及方法 |
| CN115359105B (zh) * | 2022-08-01 | 2023-08-11 | 荣耀终端有限公司 | 景深扩展图像生成方法、设备及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6570613B1 (en) * | 1999-02-26 | 2003-05-27 | Paul Howell | Resolution-enhancement method for digital imaging |
| IL148664A0 (en) * | 2002-03-13 | 2002-09-12 | Yeda Res & Dev | Auto-focusing method and device |
| WO2004075107A2 (en) * | 2003-02-18 | 2004-09-02 | Oklahoma Medical Research Foundation | Extended depth of focus microscopy |
| US7978346B1 (en) * | 2009-02-18 | 2011-07-12 | University Of Central Florida Research Foundation, Inc. | Methods and systems for realizing high resolution three-dimensional optical imaging |
| WO2014175220A1 (ja) * | 2013-04-26 | 2014-10-30 | 浜松ホトニクス株式会社 | 画像取得装置、試料のフォーカスマップを作成する方法及びシステム |
| CN103487926B (zh) * | 2013-08-27 | 2016-08-10 | 北京航空航天大学 | 显微视觉检测系统景深扩展装置及方法 |
| US9625387B2 (en) * | 2014-09-16 | 2017-04-18 | Lawrence Livermore National Security, Llc | System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents |
| WO2016049544A1 (en) * | 2014-09-25 | 2016-03-31 | Northwestern University | Devices, methods, and systems relating to super resolution imaging |
| CN109690554B (zh) * | 2016-07-21 | 2023-12-05 | 西门子保健有限责任公司 | 用于基于人工智能的医学图像分割的方法和系统 |
-
2019
- 2019-01-28 US US16/962,825 patent/US20210132350A1/en not_active Abandoned
- 2019-01-28 TW TW108103156A patent/TW201935074A/zh unknown
- 2019-01-28 CN CN201980010750.8A patent/CN111656163A/zh active Pending
- 2019-01-28 WO PCT/US2019/015485 patent/WO2019148142A2/en active Application Filing
- 2019-01-28 CA CA3089228A patent/CA3089228A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN111656163A (zh) | 2020-09-11 |
| US20210132350A1 (en) | 2021-05-06 |
| CA3089228A1 (en) | 2019-08-01 |
| WO2019148142A3 (en) | 2020-04-30 |
| WO2019148142A2 (en) | 2019-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8019136B2 (en) | Optical sectioning microscopy | |
| Biggs | 3D deconvolution microscopy | |
| US11169367B2 (en) | Three-dimensional microscopic imaging method and system | |
| JP4806630B2 (ja) | 多軸統合を用いて三次元対象物の光学的画像データを取得する方法 | |
| JP2002531840A (ja) | コンピュータを使用した適応画像形成装置及び方法 | |
| JP7436379B2 (ja) | 入力信号データにおけるベースライン推定のための装置および方法 | |
| US7444014B2 (en) | Extended depth of focus microscopy | |
| JP6503221B2 (ja) | ３次元情報取得装置、及び、３次元情報取得方法 | |
| EP3420393B1 (en) | System for generating a synthetic 2d image with an enhanced depth of field of a biological sample | |
| JP2015192238A (ja) | 画像データ生成装置および画像データ生成方法 | |
| Bai et al. | Imaging enhancement of light-sheet fluorescence microscopy via deep learning | |
| WO2021188839A1 (en) | Single-shot autofocusing of microscopy images using deep learning | |
| TW201935074A (zh) | 在螢光顯微鏡成像期間用於延伸景深的方法及設備 | |
| WO2008144434A1 (en) | Structured standing wave microscope | |
| Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
| JP2015191362A (ja) | 画像データ生成装置および画像データ生成方法 | |
| Garud et al. | Volume visualization approach for depth-of-field extension in digital pathology | |
| EP3716200B1 (en) | Image processing apparatus and method for use in an autofocus system | |
| Sahay et al. | Shape extraction of low‐textured objects in video microscopy | |
| KR101088117B1 (ko) | 이미지 센서를 이용한 고속 이미징 장치 및 방법 | |
| Fan et al. | A two-stage method to correct aberrations induced by slide slant in bright-field microscopy | |
| Beckers et al. | Real-time, extended depth DIC microscopy | |
| Ikoma | Computational Fluorescence Microscopy for Three Dimensional Reconstruction | |
| US20230186483A1 (en) | Method for determining boundaries of a z-stack of images of an object, corresponding optical instrument and computer program therefor | |
| Geng et al. | Blind optical sectioning and super-resolution imaging in multifocal structured illumination microscopy |