TW202138867A - 提供參數估計的裝置和方法 - Google Patents

提供參數估計的裝置和方法 Download PDF

Info

Publication number
TW202138867A
TW202138867A TW109142218A TW109142218A TW202138867A TW 202138867 A TW202138867 A TW 202138867A TW 109142218 A TW109142218 A TW 109142218A TW 109142218 A TW109142218 A TW 109142218A TW 202138867 A TW202138867 A TW 202138867A
Authority
TW
Taiwan
Prior art keywords
image
phase
image group
phase shift
optical
Prior art date
Application number
TW109142218A
Other languages
English (en)
Inventor
奧斯丁 柯爾貝特
波 陸
羅伯特 隆格洛一斯
喬瑟夫 皮恩托
瑜 陳
彼得 紐恩曼
洪吉 任
Original Assignee
美商伊路米納有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商伊路米納有限公司 filed Critical 美商伊路米納有限公司
Publication of TW202138867A publication Critical patent/TW202138867A/zh

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

一種方法用於產生呈現對應於結構化照明顯微鏡術(SIM)光學系統的參數值的報告。參數值至少部分地基於對應於用SIM光學系統捕獲的影像組的所執行的調變計算。至少部分地基於第一影像組中的全部影像的平均FWHM值來識別最小FWHM切片。對識別出的最小FWHM切片執行參數估計。至少部分地基於所執行的估計來識別最佳焦點對準參數。對該組中的每個影像執行相位估計。至少部分地基於識別出的最佳焦點對準參數來執行調變計算。該報告至少部分地基於所執行的調變計算。

Description

提供參數估計的裝置和方法
本發明大體上係關於提供參數估計的裝置和方法相關申請
本申請案主張2019年12月6日提交的標題為“Apparatus and Method of Providing Parameter Estimation”的美國臨時專利申請號62/944,692的優先權,該臨時專利申請案的記載內容通過引用被全部併入本文。
在該部分中討論的主題不應被假設為現有技術,僅僅作為它在該部分中的提及的結果。類似地,在該部分中提到的或者與作為背景提供的主題相關聯的問題不應被假設為先前在現有技術中已經被認識到的。在該部分中的主題僅代表不同的方法,其就本身而言也可以對應於所主張的技術的實現方式。
結構化照明顯微鏡術(SIM)是一類由多個較低分辨率源影像重建超分辨率影像的計算成像演算法。為了確保成功的重建,源原始影像應該具有高品質。高品質原始影像需要成像儀器的光學性能的謹慎調整、校準和評估。除了傳統成像儀器表徵,SIM成像光學設備還有需要被進一步表徵和驗證的額外部件。
期望的是提供用於利用在SIM系統內、特別是在用於對生物樣本(例如核苷酸序列)成像的SIM系統內、的成像光學設備和相關光學部件來促進品質控制和校準的系統和方法。本文描述了用於處理使用SIM捕獲的影像以克服先前存在的挑戰並實現如本文所述的益處的設備、系統和方法。
一個實現方式涉及一種方法,其包括接收多個影像組,多個影像組中的每個影像組包括在光學系統中使用結構化照明顯微鏡術(SIM)在離受驗對象有一定距離處所捕獲的影像,該距離不同於在多個影像組中的另外的影像組中影像被捕獲時離受驗對象的距離,多個影像組中的每個影像具有相關聯通道和相關聯光柵角度。該方法還包括至少部分地基於對應於第一影像組的距離來使第一影像組與多個影像組隔離。該方法還包括測量對應於第一影像組中的每個影像的半高全寬(FWHM)值。該方法還包括至少部分地基於在第一影像組中的影像上的平均FWHM值來識別最小FWHM切片。該方法還包括在對應於第一影像組的所識別出的最小FWHM切片中執行參數估計。該方法還包括至少部分地基於對應於第一影像組的所執行的參數估計來識別最佳焦點對準參數(best in-focus parameters)。該方法還包括至少部分地基於對應於第一影像組的所執行的參數估計來儲存所識別出的最佳焦點對準參數。該方法還包括對在第一影像組中的每個影像執行相位估計。該方法還包括至少部分地基於對應於第一影像的識別出的最佳焦點對準參數來執行調變計算。該方法還包括至少部分地基於對應於第一影像組的所執行的調變計算來產生呈現對應於光學系統的參數值的報告。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括至少部分地基於對應於第二影像組的距離來使第二影像組與多個影像組隔離。該方法還包括測量對應於在第二影像組中的每個影像的半高全寬(FWHM)值。該方法還包括至少部分地基於在第二影像組中的影像上的平均FWHM值來識別最小FWHM切片。該方法還包括在對應於第二影像組的識別出的最小FWHM切片中執行參數估計。該方法還包括至少部分地基於對應於第二影像組的所執行的參數估計來識別最佳焦點對準參數。該方法還包括至少部分地基於對應於第二影像組的所執行的參數估計來儲存識別出的最佳焦點對準參數。該方法還包括對在第二影像組中的每個影像執行相位估計。該方法還包括至少部分地基於對應於第二影像組的識別出的最佳焦點對準參數來執行調變計算。所產生的報告至少部分地基於對應於第一影像組的所執行的調變計算和對應於第二影像組的所執行的調變計算的組合。
在方法的一些實現方式中,諸如本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,測量對應於在第一影像組中的每個影像的FWHM值是在第一影像組中的每個影像的中心估計視口上加以執行的。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,在對應於第一影像組的識別出的最小FWHM切片中執行參數估計是在識別出的最小FWHM切片的中心估計視窗上加以執行的。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,所儲存的最佳焦點對準參數包括光柵間距或光柵角度中的一者或兩者。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,對第一影像組中的每個影像執行相位估計包括執行Wicker相位估計。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,所產生的報告是以表格的形式。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,該方法還包括將報告中的參數與預定義的參數規範集進行比較。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括確定報告中的參數偏離預定義的參數規範集,以及至少部分地基於對報告中有參數偏離預定義的參數規範集的確定來調整在光學系統中的一個或多個特徵。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,多個影像組中的每個影像組包括十二個影像。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,多個影像組中的每個影像具有從包括第一顏色通道和第二顏色通道的群組中選擇的相關聯通道,使得多個影像組包括對應於第一顏色通道的影像和對應於第二顏色通道的影像。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,多個影像組中的每個影像組包括對應於第一顏色通道的影像和對應於第二顏色通道的影像。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,多個影像組中的每個影像具有從包括第一光柵角度和第二光柵角度的群組中選擇的相關聯光柵角度,使得多個影像組包括對應於第一光柵角度的影像和對應於第二光柵角度的影像。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,多個影像組中的每個影像組包括對應於第一光柵角度的影像和對應於第二光柵角度的影像。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,該方法還包括捕獲多個影像組。該方法還包括,當捕獲多個影像組時,相對於一個或多個相位遮罩將光源從第一定位移動到第二定位,或者相對於光源將一個或多個相位遮罩從第一定位移動到第二定位,第一定位提供第一光柵角度,以及第二定位提供第二光柵角度。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,針對對應於第一影像組中的每個影像的每個光柵角度,使用原始未重構零值相位來執行測量對應於第一影像組中的每個影像的FWHM值。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,所產生的報告包括從包括以下項的群組中選擇的參數值:在光學系統中的物鏡和受驗對象之間的距離、對應於多個影像組中的每個影像的通道、角度刻度(angle index)、調變、FWHM值、光柵間距和光柵角度。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,該方法還包括捕獲多個影像組。捕獲多個影像組包括當光學系統的物鏡被定位於離受驗對象的第一距離處時捕獲第一影像組。捕獲多個影像組還包括當光學系統的物鏡被定位於離受驗對象的第二距離處時捕獲第二影像組。捕獲多個影像組還包括當光學系統的物鏡被定位於離受驗對象的第三距離處時捕獲第三影像組。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,調變計算包括含有對應於第一影像組中的影像的條紋圖案(pattern)的定向和週期的因素。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,受驗對象包括核苷酸。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,該方法還包括計算在第一影像組中的影像對之間的相移,所述影像對中的每對影像共享通道和光柵角度。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,所產生的報告包括計算出的相移。
在方法的一些實現方式中,諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中,該方法還包括將計算出的相移與預定相移範圍進行比較。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括確定至少一個計算出的相移在預定相移範圍之外。該方法還包括:響應於確定至少一個計算出的相移在預定相移範圍之外,計算增益值以校正在預定相移範圍之外的相移。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括至少部分地基於計算出的增益值來建立新相移電壓。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括將新相移電壓施加到壓電元件,該壓電元件用於在光學系統內提供相移。該方法還包括用施加到壓電元件的新相移電壓來捕獲新影像組。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括計算在新影像組中的影像對之間的相移,影像對中的每對影像共享通道和光柵角度。該方法還包括將新影像的計算出的相移與預定相移範圍進行比較。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括確定新影像的至少一個計算出的相移在預定相移範圍之外。該方法還包括:響應於確定新影像的至少一個計算出的相移在預定相移範圍之外,計算已更新的增益值以校正在預定相移範圍之外的新影像的相移。
在方法的一些實現方式中,諸如在本概述的前面段落中描述的方法的一些實現方式中,該方法還包括至少部分地基於計算出的已更新的增益值來建立額外的新相移電壓。
在一些實現方式中,一種裝置包括朝著目標發射結構化照射明的第一光學組件。第一光學組件包括光發射組件、將第一圖案賦予由光發射組件發射的光的第一相位遮罩、將第二圖案賦予由光發射組件發射的光的第二相位遮罩、以及調整由第一相位遮罩和第二相位遮罩結構化的光的相位的相位調整組件。該裝置還包括第二光學組件。第二光學組件包括捕獲由第一光學組件照明的目標的影像的影像感測器。該裝置還包括處理器。處理器接收多個影像組,多個影像組中的每個影像組包括使用第二光學組件在離受驗對象有一定距離處所捕獲的影像,所述距離不同於在所述多個影像組中的另外的影像組中影像被捕獲時離受驗對象的距離,多個影像組中的每個影像具有相關聯通道和相關聯光柵角度。處理器還至少部分地基於對應於第一影像組的距離來使第一影像組與多個影像組隔離。處理器還測量對應於第一影像組中每個影像的半高全寬(FWHM)值。處理器還至少部分地基於在第一影像組中的影像上的平均FWHM值來識別最小FWHM切片。處理器還在對應於第一影像組的識別出的最小FWHM切片中執行參數估計。處理器還至少部分地基於對應於第一影像組的所執行的參數估計來識別最佳焦點對準參數。處理器還至少部分地基於對應於第一影像組的所執行的參數估計來儲存識別出的最佳焦點對準參數。處理器還對第一影像組中的每個影像執行相位估計。處理器還至少部分地基於對應於第一影像組的識別出的最佳焦點對準參數來執行調變計算。處理器還至少部分地基於對應於第一影像組的所執行的調變計算來產生呈現對應於光學系統的參數值的報告。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,目標包括樣本容器。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,目標包括在樣本容器中的生物樣本。
在裝置的一些實現方式中,諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中,光發射組件在至少兩個通道中發射光。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,至少兩個通道包括至少兩種顏色,至少兩種顏色中的每種顏色對應於至少兩個通道的相對應通道。
在裝置的一些實現方式中,諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中,第一光學組件還包括光柵切換器(grating switcher),光柵切換器選擇性地引導或允許從光發射組件發射的光朝向第一相位遮罩或第二相位遮罩。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,光柵切換器包括至少一個可移動反射元件。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,光柵切換器還包括可旋轉板以支撐可移動反射元件,可旋轉板是可旋轉的,從而以相對於第一相位遮罩或第二相位遮罩來選擇性地定位反射元件,從而以選擇性地引導或允許從光發射組件發射的光朝向第一相位遮罩或第二相位遮罩。
在裝置的一些實現方式中,諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中,相位調整組件包括可移動反射元件。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,相位調整組件還包括致動器以移動可移動反射元件。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,致動器沿著線性路徑來移動可移動反射元件。
在裝置的一些實現方式中,諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中,致動器包括壓電元件。
在裝置的一些實現方式中,諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中,處理器還計算在第一影像組中的影像對之間的相移,所述影像對中的每對影像共享通道和光柵角度。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,處理器還將計算出的相移與預定相移範圍進行比較。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,處理器還確定至少一個計算出的相移在預定相移範圍之外。處理器還響應於確定有至少一個計算出的相移在預定相移範圍之外,計算增益值以校正在預定相移範圍之外的相移。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,處理器還至少部分地基於計算出的增益值來建立新相移電壓。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,相位調整組件包括壓電元件以調整由第一相位遮罩和第二相位遮罩結構化的光的相位,新相移電壓啟動壓電元件以提供更接近預定值範圍的相移。
在裝置的一些實現方式中,諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中,該裝置還包括含有預先形成的光學圖案的瞄準設備。瞄準設備使第一光學組件能夠朝著預先形成的光學圖案發射結構化照明。瞄準設備還使影像感測器能夠捕獲由第一光學組件照明的預先形成的光學圖案的影像。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,預先形成的光學圖案包括點陣列。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,陣列中的點以無序排列定位。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,陣列中的點彼此間隔開至少有預定的最小間距距離。
在裝置的一些實現方式中,諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中,預先形成的光學圖案包括至少一個線對。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置中的任一個的一些實現方式中,第一相位遮罩的第一圖案包括第一組線。第二相位遮罩的第二圖案包括第二組線。至少一個線對的線被佈置成相對於第一組線中的線和相對於第二組線中的線是偏角的。
在裝置的一些實現方式中,諸如在本概述的六個前面段落中描述的裝置中的任一個的一些實現方式中,瞄準設備還包括含有響應於來自第一光學組件的光而發出螢光的流體的流體填充通道。
在裝置的一些實現方式中,諸如在本概述的前面段落中描述的裝置的一些實現方式中,流體填充通道具有從大約2 µm到大約10 µm的深度。
在裝置的一些實現方式中,諸如在本概述的六個前面段落中描述的裝置中的任一個的一些實現方式中,流體填充通道具有大約3 µm的深度
在一些實現方式中,處理器可讀取媒體包括被配置為通過執行在本概述的前面段落中的任一個中描述的方法中的任一個或多個的方法來使計算系統處理資料的內容。
應當認識到,前述概念和下面更詳細討論的額外概念的所有組合(假設這樣的概念不相互不一致)被設想為本文記載的創造性主題的一部分,並且實現如本文描述的益處/優點。特別是,在本記載的結尾處出現的所主張的主題的所有組合被設想為本文記載的創造性主題的一部分。
在一些方面中,在本文記載了用於利用在SIM系統內、特別是在用於對生物樣本(例如核苷酸序列)成像的SIM系統內的成像光學設備和相關光學部件促進品質控制和校準的方法和系統。
在對生物樣本(例如核苷酸序列)成像的背景中,SIM可以提供從具有來自數百萬個樣本點的螢光信號的流動池中分辨密集地擠在一起的樣本的能力,從而減少對處理所需的試劑並增加影像處理輸送量。在一些情況下,SIM可以實現對比Abbe衍射限制更密集地被擠在一起的螢光樣本的分辨,以用於分辨毗鄰的光源。生物樣本可以在流動池上的有規律地間隔開的奈米井中,或者它們可以在隨機地分佈的簇中。相比於相關光學系統的Abbe衍射限制,相鄰的奈米井可以更靠近地定位在一起。雖然本示例涉及在流動池的奈米井上的生物樣本,但是本文的教導可以應用於在其他的各種佈置中的生物樣本和在採用用SIM的其他類型的系統中的生物樣本。因此,本文的教導不一定限於生物樣本的成像。
I.引言
結構化照明可以產生具有數倍於正常照明的所分辨的照明源的影像。具有變化的角度和相位位移的結構化照明的多個影像用於將緊密間隔的、以其他方式不可分辨的高空間頻率特徵變換成可由光學系統感測的較低頻率信號,且不違反Abbe衍射限制。這個限制是由於光和光學設備的性質而在物理上強加在成像上,並被表示為發射波長和最終物鏡的數值孔徑(NA)的函數。應用SIM重建,來自多個影像的信息從空間域變換到傅立葉域內,被組合和處理,然後被重建為增強的影像。在SIM系統和方法中處理的一組較低分辨率源影像可以被定義為“SIM堆疊”。可以用位於相對於所成像的主題的相對應的z定位或距離處的物鏡來獲取在每個SIM堆疊中的影像。可以獲取同一主題的幾個SIM堆疊,每個SIM堆疊具有的z定位與同一主題的其他SIM堆疊中的z定位不同。
在SIM中,在照明源和樣本之間使用光柵或產生干涉圖案,以產生照明圖案,例如在強度上根據正弦或餘弦函數變化的圖案。在SIM背景中,除了產生結構化照明圖案的表面以外,“光柵”有時還用於指所投影的結構化照明圖案。可選地,可以產生結構化照明圖案作為在分離的相干光束的部分之間的干涉圖案。
例如,如圖1A所示,結構化照明到樣本平面上的投影將照明圖案與在樣本中的螢光(或反射)源混合以引起有時被稱為Moire條紋或混疊的新信號。新信號將高空間頻率信息移動到可以在不違反Abbe衍射限制的情況下捕獲的較低空間頻率。
在捕獲用如圖1A所示的1D強度調變圖案或如圖1B所示的2D強度調變圖案照明的樣本的影像之後,線性等式系統被解出並用於從Moire條紋或混疊的多個影像中提取包含從較高空間頻率移動到較低空間頻率的信息的新信號的部分。
為瞭解出線性等式,用逐步移動或移位的結構化照明圖案捕獲若干影像。每角度變化相位的影像可以被捕獲以用於分析,且然後由用於傅立葉域移位和重組的波段被分離。增加影像的數量可以通過增加信雜比來提高所重建的影像的品質。然而,它也可以增加計算時間。波段分離的影像的傅立葉表示被移動和求和以產生重建和(reconstructed sum)。最終,逆快速傅立葉變換(FFT)由重建和來重建新的高分辨率影像。
當與2D調變照明圖案一起使用時,用於1D調變照明的標準演算法可以涉及修改。這可以包括照明尖峰間距和照明尖峰角度估計,這可以涉及2D波段分離。修改還可包括Wicker相位估計,其從兩個點(而不是一個點)工作,以便在兩個維度上估計相位。1D干涉圖案可以由如圖1A所示的一維衍射光柵或者作為兩個光束的干涉圖案的結果而被產生。在一些實例中,在樣本的成像期間,可以在各種圖案相位(例如0°、120°和240°)處獲取樣本的條紋圖案的三個影像,使得在樣本上的每個位置被暴露於一定範圍的照明強度,該過程通過圍繞光軸將圖案定向旋轉到2個(例如45°、135°)或3個(例如0°、60°和120°)單獨角來進行重複。
圖1B示出了可由2D衍射光柵或由兩對相干光束的干涉產生的強度分佈。特別是,2D結構化照明可以由疊加在彼此上的兩個正交1D衍射光柵形成。如在1D結構化照明圖案的情況中的,2D照明圖案可以通過使用2D衍射光柵或通過在兩對相干光束之間產生有規律地重複的條紋圖案的干涉產生。兩條光束沿y軸產生強度圖案(水平明暗線),且因此被稱為y對入射光束。另外兩個光束沿x軸產生強度圖案(垂直明暗線),且被稱為x對入射光束。y對光束與x對光束的干涉產生2D照明圖案。圖1B示出了這種2D照明圖案的強度分佈。
圖1C示出了在被定位於矩形的角處的流動池的表面處的奈米井10的佈置。圖1C還示出了投影到奈米井10上的結構化照明條紋圖案的線20。在所示的示例中,線20相對於奈米井10的對準稍微有角度地偏移,使得線20既不與奈米井10的行也不與奈米井10的列完全對準(或平行)。可選地,線20可以具有與奈米井10的列或行的對準或者具有奈米井10的其他空間佈置的任何其他合適的空間關係。當使用1D結構化照明時,照明尖峰角度被選擇成使得影像沿著連接矩形的對角地相對的角的線被獲取。例如,可以在+45度和-45度角度下獲取兩組三個影像(總共六個影像)。因為沿對角線的距離大於在矩形的任兩條邊之間的距離,較高分辨率影像被實現。奈米井10可以被佈置在其他幾何佈置中,例如在六邊形中。然後可以沿著六邊形的三條對角線中的每一條獲取三幅或多個影像,導致例如九個或十五個影像。
II.術語
如在本文對提到結構化照明參數所使用的,術語“頻率”意在指在結構化照明圖案(例如條紋或網格圖案)的條紋或線之間的間距的倒數,因為頻率和週期是逆向地相關的。例如,具有在條紋之間的較大間距的圖案將比具有在條紋之間的較低間距的圖案具有更低的頻率。
如在本文對提到結構化照明參數所使用的,術語“相位”意在指照明樣本的結構化照明圖案的相位。例如,可以通過相對於被照明的樣本平移結構化照明圖案來改變相位。
如在本文對提到結構化照明參數所使用的,術語“定向”意在指在結構化照明圖案(例如條紋或網格圖案)和由該圖案照明的樣本之間的相對定向。例如,可以通過相對於被照明的樣本旋轉結構化照明圖案來改變定向。
如在本文對提到結構化照明參數所使用的,術語“預測(predict)”或“預測(predicting)”意在指:(i)計算參數的值而不直接測量參數,或者(ii)從對應於參數的所捕獲的影像估計參數。例如,可以通過在時間t2和t3直接測量或估計(例如從所捕獲的相位影像)的相位值之間的內插來在時間t1預測結構化照明圖案的相位,其中t2 < t1 < t3。作為另一示例,可以通過從在時間t2和t3直接測量或估計(例如從所捕獲的相位影像)的頻率值外插來預測在時間t1結構化照明圖案的頻率,其中t2 < t3 < t1。
如在本文對提到由衍射光柵衍射的光所使用的,術語“級(order)”或“級數(order number)”意在指整數波長的數量,其表示對於相長干涉的來自衍射光柵的相鄰狹縫或結構的光的光程差。入射光束在重複的一系列光柵結構或其他分束結構上的相互作用可以將光束的部分從原始光束重定向或衍射到可預測的角方向內。術語“零級”或“零級最大值”意在指由衍射光柵發射的中心亮條紋,其中沒有衍射。術語“一級”意在指衍射到零級條紋的任一側的兩個亮條紋,其中光程差為± 1個波長。級越高則從原始光束衍射到的角度越大。光柵的屬性可以被操縱以控制有多少光束強度被引導到各個級內。例如,可以製造相位光柵以最大化非零級光束的透射,並最小化零級光束的透射。
如在本文所使用的,術語“光學傳遞函數”或它的縮寫形式“OTF”意在指將成像系統的響應描述為空間頻率的函數的複值傳遞函數。可以從點擴散函數的傅立葉變換導出OTF。在本文描述的示例中,只有OTF的振幅部分是重要的。OTF的振幅部分可被稱為“調變傳遞函數”或它的縮寫形式“MTF”。
如在本文中對提到樣本所使用的,術語“特徵”意在指在圖案中的可以根據相對位置與其他點或區域區分開的點或區域。單獨的特徵可以包括特定類型的一個或多個分子。例如,特徵可以包括具有特定序列的單個靶核酸分子,或特徵可以包括具有相同序列(和/或其互補序列)的若干核酸分子。
如在本文所使用的,術語“xy平面”意在指由在笛卡爾坐標系統中的直線軸x和y定義的2維區域。當關於偵測器和由偵測器觀察的物體被使用時,該區域可以進一步被指定為與光束軸或在偵測器和被偵測的物體之間的觀察的方向正交。
如本文中所使用的,術語“z坐標”意在指指定沿著與在笛卡爾坐標系統中的xy平面正交的軸的點、線或區域的位置的信息。在特定的實現方式中,z軸正交於由偵測器觀察的物體的區域。例如,可以沿著z軸指定光學系統的聚焦的方向。
如在本文所使用的,術語“光學地耦合”意在指一個元件適合於將光直接或間接地照到另一元件。
如在本文所使用的,以單數形式列舉並以詞“一(a)”或“一(an)”開始的元件或步驟應被理解為不排除多個所述元件或步驟,除非這樣的排除被明確規定。此外,對“一個實現方式”的提及沒有被規定為被解釋為排除也合併了所列舉的特徵的另外的實現方式的存在。此外,除非明確地規定相反的情況,否則“包括”或“具有”帶有特定屬性的一個元件或多個元件的實現方式可以包括另外的元件,而不管它們是否具有該屬性。
在整個這個說明書中使用的術語“基本上”、“大約”和“大致”用於描述並說明例如由於在處理中的偏差而引起的小波動。例如,它們可以指小於或等於±5%,例如小於或等於±2%,例如小於或等於±1%,例如小於或等於±0.5%,例如小於或等於±0.2%,例如小於或等於±0.1%,例如小於或等於±0.05%。
術語“基於”應該被理解為意指某事物至少部分地由它被指示為“基於”的事物確定。為了指示某事物必須一定完全由某個其他事物確定,它被描述為排他地基於無論它完全由什麼確定。
如在本文所使用的,根據背景,術語“核苷酸序列”或“多核苷酸序列”應被理解為包括多核苷酸分子以及分子的基礎序列。多核苷酸的序列可以包含指示特定物理特性的信息(或對該信息編碼)。
III.成像系統部件和佈置的示例
在SIM系統的一些實現方式中,線性偏振光束被引導穿過光學分束器,該光學分束器將光束分成兩個或多個單獨的級,該兩個或多個單獨的級可以被組合並作為具有正弦強度變化的干涉條紋圖案投影在所成像的樣本上。為了在樣本平面處實現最大調變,分離的光束在功率上是相等的。衍射光柵是可以產生具有高程度的相干性和穩定的傳播角度的光束的分束器的示例。當兩個這樣的光束組合時,在它們之間的干涉可以產生均勻的、有規律地重複的條紋圖案,其中間距由包括在干涉光束之間的角度的因素確定。在條紋週期(FP)、入射角(ɵ)和光的波長(λ)之間的關係可以用下面的等式(I)表示: FP = λ÷2sin(ɵ),                  (I) 其中條紋週期(FP)和光的波長(λ)具有相同的單位(例如nm),以及ɵ是相對於表面法線的用弧度表示的入射角。
圖2-4B示出了SIM成像系統可以採取的不同形式的示例。應當注意,雖然這些系統主要在產生1D照明圖案的SIM成像系統的背景中被描述,但是本文記載的技術可以用產生較高維照明圖案(例如二維網格圖案)的SIM成像系統來實現。
圖2示出了根據本文描述的一些實現方式的可實現結構化照明參數預測的SIM成像系統100。例如,系統100可以是利用空間結構化激發光對生物樣本成像的結構化照明螢光顯微系統。
在系統2的示例中,光發射器150被配置為輸出由準直透鏡151準直的光束。準直光由光結構化光學組件155結構化(圖案化(patterned)),並由分色鏡160引導通過物鏡142到位於運動平臺170上的樣本容器110的樣本上。在螢光樣本的情況下,樣本響應於結構化激發光而發出螢光,並且所得到的光由物鏡142收集並被引導到相機系統140的影像感測器以偵測螢光。
光結構化光學組件155包括一個或多個光學衍射光柵或其他分束元件(例如分束器立方體或板)以產生投影到樣本容器110的樣本上的光圖案(例如通常正弦樣的條紋)。衍射光柵可以是一維或二維透射或反射光柵。衍射光柵可以是正弦振幅光柵或正弦相位光柵。在一些版本中,光結構化光學組件155包括一對相位遮罩,其中每個相位遮罩包括一塊玻璃,其具有蝕刻到玻璃內的刻度。
在一些實現方式中,衍射光柵可以不利用旋轉台來改變結構化照明圖案的定向。在其他實現方式中,衍射光柵可以安裝在旋轉臺上。在一些實現方式中,衍射光柵在成像系統的操作期間可以是固定的(即,不需要旋轉或線性運動)。例如,在下面進一步描述的特定實現方式中,衍射光柵可以包括垂直於彼此定向的兩個固定的一維透射衍射光柵(例如水平衍射光柵和垂直衍射光柵)。
如在圖2的示例中所示的,光結構化光學組件155輸出第一級衍射光束,同時阻擋或最小化所有其他級,包括零級。然而,在可選的實現方式中,可以將另外的級的光投影到樣本上。
在每個成像週期期間,成像系統100利用光結構化光學組件155來獲取在各種相位處的多個影像,條紋圖案在調變方向上(例如在x-y平面中並垂直於條紋)橫向地移位,這個過程通過圍繞光軸(即,相對於樣本的x-y平面)旋轉圖案定向來重複一次或多次。然後,所捕獲的影像可以用計算方式被重建以產生較高分辨率影像(例如,具有大約兩倍於單獨影像的橫向空間分辨率的影像)。
在系統100中,光發射器150可以是非相干光發射器(例如,發射由一個或多個激發二極體輸出的光束)或者相干光發射器,例如由一個或多個雷射器或雷射二極體輸出的光的發射器。如在系統100的示例中所示的,光發射器150包括用於引導待輸出的光束的光纖152。然而,可以使用光發射器150的其它配置。在多通道成像系統(例如,利用光的多個波長的多通道螢光顯微鏡)中利用結構化照明的實現方式中,光纖152可以光學地耦合到多個不同的光源(未示出),每個光源發射不同波長的光。儘管系統100被示為具有單個光發射器150,但是在一些實現方式中多個光發射器150可以被包括。例如,在下面進一步討論的利用多個臂的結構化照明成像系統的情況下,可以包括多個光發射器。
在一些實現方式中,系統100可以包括投影透鏡156,投影透鏡156可以包括沿著z軸鉸接的透鏡元件以調整結構化光束形狀和路徑。例如,投影透鏡156的部件可以被鉸接以說明在容器110中的樣本的樣本厚度的範圍(例如不同的蓋玻片厚度)。
在系統100的示例中,流體輸送模組或設備190可以將試劑(例如螢光標記的核苷酸、緩衝液、酶、裂解試劑等)的流引導至(並且穿過)樣本容器110和廢料排出閥120。樣本容器110可以包括一個或多個基底,在該一個或多個基底上提供樣本。例如,在系統分析大量不同的核酸序列的情況下,樣本容器110可以包括一個或多個基底,待測序的核酸在該一個或多個基底上被鍵合、附著或關聯。基底可以包括核酸可附著到的任何惰性基底或基質,例如玻璃表面、塑料表面、乳膠、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯醯胺凝膠、金表面和矽晶圓。在一些應用中,基底在通道或在橫越樣本容器110的矩陣或陣列中形成的多個定位處的其他區域內。系統100還可包括可以可選地調節在樣本容器110內的流體的溫度條件的溫度站致動器130和加熱器/冷卻器135。
在特定實現方式中,樣本容器110可以被實現為包括透明蓋板、基底和在其間包含的液體的圖案化流動池,並且生物樣本可以位於透明蓋板的內表面或基底的內表面處。流動池可以包括其被圖案化到基底內的所定義的陣列(例如六邊形陣列、矩形陣列等)內的大量(例如數千、數百萬或數十億)井(也被稱為奈米井)或區域。每個區域可以形成生物樣本(例如DNA、RNA或例如使用邊合成測序而被測序的另一基因材料)的簇(例如單克隆簇)。流動池還可以被劃分成多個間隔開的線道(例如八個線道),每個流道包括簇的六邊形陣列。
樣本容器110可以被安裝在樣本台170上以提供樣本容器110相對於物鏡142的移動和對準。樣本台可以具有一個或多個致動器以允許它在三個維度中的任一個維度上移動。例如,從笛卡爾坐標系統方面來說,可以提供致動器以允許台相對於物鏡在x、y和z方向上移動。這可以允許在樣本容器110上的一個或多個樣本位置被定位成與物鏡142光學地對準。可以通過移動樣本台本身、物鏡、成像系統的某個其他部件或前述項的任何組合來實現樣本台170相對於物鏡142的移動。另外的實現方式還可以包括在靜止樣本上方移動整個成像系統。可選地,樣本容器110可以在成像期間是固定的。
在一些實現方式中,聚焦(z軸)部件175可被包括以控制光學部件相對於樣本容器110在聚焦方向(通常被稱為z軸或z方向)上的定位。聚焦部件175可包括物理地耦合到光學台或樣本台或兩者的一個或多個致動器,以使在樣本台170上的樣本容器110相對於光學部件(例如物鏡142)移動以為成像操作提供適當的聚焦。例如,致動器可以例如通過直接或間接地機械、磁性、流體地或以其他方式附接到台或與台接觸來物理地耦合到相應的台。一個或多個致動器可以被配置為在將樣本台保持在同一平面內(例如,保持垂直於光軸的水平或橫平姿態)時在z方向上移動該台。一個或多個致動器也可以被配置為使台傾斜。例如,可以這樣做了,使得樣本容器110可以動態地被調整(leveled)以說明在它的表面中的任何坡度。
從樣本位置處的被成像的測試樣本發出的結構化光可以穿過分色鏡160被引導至相機系統140的一個或多個偵測器。在一些實現方式中,可以包括具有一個或多個發射濾波器的濾波器切換組件165,其中一個或多個發射濾波器可以用於穿過特定的發射波長並阻擋(或反射)其他發射波長。例如,一個或多個發射濾波器可以用於在成像系統的不同通道之間切換。在特定實現方式中,發射濾波器可以被實現為分色鏡,其將不同波長的光直接發射到相機系統140的不同影像感測器。
相機系統140可以包括一個或多個影像感測器以監測和跟蹤樣本容器110的成像(例如測序)。相機系統140可以被實現為例如電荷耦合設備(CCD)影像感測器攝像機,但是其他影像感測器技術(例如有源像素感測器)也可以被使用。雖然相機系統140和相關光學部件在圖2中被示為被定位於樣本容器110上方,但是一個或多個影像感測器或其他相機部件可以多種其他方式被合併到系統100中,這鑒於本文的教導對於本領域中的技術人員明顯的。例如,一個或多個影像感測器可以被定位於樣本容器110下方,或者甚至可以集成到樣本容器110中。
來自相機系統140的輸出資料(例如影像)可以被傳遞到可以被實現為軟體應用程式的實時SIM成像部件191,如下面進一步所述,該軟體應用程式可以重建在每個成像週期期間捕獲的影像以創建具有較高空間分辨率的影像。所重建的影像可以考慮隨著時間的過去而預測的結構照明參數的變化。此外,給定先前所估計和/或預測的SIM參數,SIM成像部件191可用於跟蹤所預測的SIM參數和/或做出SIM參數的預測。
控制器195可以被提供來控制結構化照明成像系統100的操作,包括使系統100的各種光學部件同步。控制器可以被實現來控制系統操作的方面,例如光結構化光學組件155的配置(例如,衍射光柵的選擇和/或線性平移)、投影透鏡156的移動、聚焦部件175的啟動、台移動和成像操作。控制器還可以被實現來控制系統100的硬體元件以校正結構化照明參數隨著時間的變化。例如,控制器可以被配置成將控制信號傳輸到馬達或控制光結構化光學組件155、運動台170或系統100的一些其他元件的配置的其他設備,以校正或補償結構化照明相位、頻率和/或定向隨著時間的變化。在實現方式中,可以根據使用SIM成像部件191預測的結構化照明參數來傳輸這些信號。在一些實現方式中,控制器195可以包括用於儲存對應於不同時間和/或樣本定位的所預測和/或估計的結構化照明參數的記憶體。
在各種實現方式中,可以使用硬體、演算法(例如機器可執行指令)或前述項的組合來實現控制器195。例如,在一些實現方式中,控制器可以包括一個或多個CPU、GPU或具有相關記憶體的處理器。作為另一示例,控制器可以包括控制操作的硬體或其他電路,例如電腦處理器和其上儲存有機器可讀取指令的非暫時性電腦可讀取媒體。例如,該電路可以包括下列項中的一個或多個:現場可編程閘陣列(FPGA)、專用積體電路(ASIC)、可編程邏輯裝置(PLD)、複雜可編程邏輯裝置(CPLD)、可編程邏輯陣列(PLA)、可編程陣列邏輯(PAL)和其他類似的處理設備或電路。作為又一個示例,控制器可以包括該電路與一個或多個處理器的組合。
圖3示出了可合併到系統中的可選的光學組件200(例如,代替光學組件155)的示例。該示例的光學組件200包括光發射組件210、固定反射元件220、相位遮罩組件230、光柵切換器250、可調整反射元件270和投影透鏡組件280。光發射組件210可以包括多種部件,包括但不限於相干光的源(例如至少一個雷射器等)和一對變形棱鏡、非相干光的源和準直器或者如鑒於本文的教導將對本領域中的技術人員明顯的任何其他合適的部件。在一些版本中,光發射組件210可操作來經由兩個或多個單獨通道(例如藍色通道和綠色通道)發射光。在光在兩個或多個單獨通道中發射的版本中,系統100可以包括兩個或多個對應的影像感測器,使得每個影像感測器專用於對應的影像感測器。此外,在一些版本中,光發射組件210可操作來以預定頻率以脈衝形式發射光(例如,使用高速快門等)。
本示例的反射元件220包括反射鏡,其定位相對於光學組件200的其他部件是固定的。如下面更詳細描述的,反射元件220被定位和配置成在光學組件200的操作期間朝著相位遮罩組件230和光柵切換器250反射從光發射組件210發射的光。
如在圖4中最佳所見,本示例的相位遮罩組件230包括固定地安裝到底座240的一對三角形玻璃元件232、242。每個玻璃元件232、242包括沿著玻璃元件232、242一側的反射器234、244。每個玻璃元件232、242還包括沿著玻璃元件232、242的另一側的相位遮罩236、246。在本示例中,每個相位遮罩236、246包括形成被蝕刻到玻璃元件232、242的玻璃內的光柵或條紋圖案的刻度(例如平行狹縫或凹槽等)。刻度間距可以被選擇以在合適的角度下衍射光,並為了系統100的操作被調整到所成像的樣本的最小可分辨特徵尺寸。如下面將更詳細描述的,這些相位遮罩236、246被配置成在光學組件200的操作期間產生Moire條紋或混疊。雖然在本示例中通過在玻璃元件232、242的玻璃中的所蝕刻的刻度形成相位遮罩236、246,但是相位遮罩236、246可以被形成的其他合適的方式鑒於本文的教導對本領域中的技術人員將是明顯的。在光學組件200的操作期間,整個相位遮罩組件230相對於光學組件200的其他部件保持靜止。
為了提高系統的效率,可以阻擋(即,從投影在樣本110上的照明圖案中濾除)由每個相位遮罩236、246輸出的零級光束和所有其他更高級衍射光束。例如,光束阻擋元件(未示出)(例如順序濾波器)可以插入到在相位遮罩組件230之後的光路內。在一些實現方式中,衍射光柵相位遮罩236、246可以被配置成將光束衍射成僅第一級,並且零級(未衍射的光束)可以被某個光束阻擋元件阻擋。
如圖3所示,本示例的光柵切換器250包括安裝到軸杆254的板252。軸杆254還與馬達256耦合,馬達256可操作來使軸杆254和板252繞著軸A旋轉。板252的一端260包括一對反射鏡262、264,每個反射鏡262、264被安裝到板252的相對側。板252的另一端266限定允許光通過的開口268,如下所述。在一些版本中,馬達256是步進馬達。可選地,馬達256可以採取任何其他合適的形式;以及馬達256可以用旋轉運動的任何其他合適的源代替。如圖5A-5D所示並且如下面將更詳細描述的,馬達256可被啟動以通過繞著軸A旋轉軸杆254和板252來在第一狀態(圖5A-5B)和第二狀態(圖5C-5D)之間轉換光柵切換器250。當光柵切換器250在第一狀態中時,光柵切換器250和相位遮罩組件230可提供第一光柵角度。當光柵切換器250在第二狀態中時,光柵切換器250和相位遮罩組件230可以提供第二光柵角度。
也如圖3所示,本示例的可調整反射元件270包括與致動器272耦合的反射鏡,使得致動器272可操作來沿著線性路徑LP1驅動反射元件270。在這個示例中,線性路徑LP1與軸A平行。在一些版本中,致動器272包括壓電元件。作為另一示例,致動器272可以包括螺線管。在一些其他版本中,致動器272包括與可操作來將旋轉運動轉換成線性運動的機械組件(例如,齒條和小齒輪或蝸輪和螺母等)耦合的步進馬達或其他旋轉驅動源。如下面更詳細描述的,隨著致動器272改變反射元件270沿著線性路徑LP1的定位,致動器272和反射元件270一起可操作來提供對通過光學組件200傳輸的光的相位調變。換句話說,致動器272和反射元件270可以一起提供相位調整組件。
作為示例,致動器272可操作來在致動器272的操作期間在大約5 µm的整個運動範圍內驅動反射元件270,這可提供大約240度的條紋運動,如下面更詳細所述。可選地,致動器272可操作來在致動器272的操作期間在範圍從大約2 µm到大約10 µm的整個運動範圍內驅動反射元件270。如下面更詳細描述的,致動器272可被驅動以在沿著線性路徑的整個運動範圍內阻止反射元件在兩個、三個或多個不同定位處的運動。
投影透鏡組件280可以包括一個或多個透鏡元件(例如管狀透鏡)和如鑒於本文的教導對本領域中的技術人員將明顯的各種其他部件。穿過投影透鏡組件280的光最終可以到達樣本容器110(例如流動池等)。在一些實例中,這可以使在樣本容器110中的生物材料發出螢光,這樣的螢光被影像感測器(例如相機系統140的影像感測器)拾取,以實現對生物材料的分析。本示例的投影透鏡組件280與致動器282耦合,該致動器282可操作來沿著線性路徑LP2驅動投影透鏡組件280的至少一部分。在一些版本中,致動器282包括壓電元件。作為另一示例,致動器282可以包括螺線管。在一些其他版本中,致動器282包括與可操作來將旋轉運動轉換成線性運動的機械組件(例如,齒條和小齒輪或蝸輪和螺母等)耦合的步進馬達或其他旋轉驅動源。如下面更詳細描述的,隨著致動器282改變投影透鏡組件280的至少一部分沿著線性路徑LP2的定位,致動器282和投影透鏡組件280一起可操作來提供SIM光柵焦平面的調整。
如上面所提到的,本示例的系統100包括控制器195。控制器195可用於控制光學組件200的操作和系統100的其他特徵,包括使光學組件200和系統100的各種部件同步。控制器195可以被實現來控制系統操作的方面,例如馬達256的啟動、致動器272的啟動、投影透鏡組件280的一個或多個元件經由致動器282的移動、聚焦部件175的啟動、相機系統140的啟動以及其他成像操作。控制器還可以被實現來控制系統100的硬體元件以校正結構化照明參數隨著時間的變化。例如,控制器可以被配置為向設備(例如馬達256、致動器272等)傳輸控制信號以校正或補償結構化照明相位、頻率和/或定向隨著時間的變化。在實現方式中,可以根據使用SIM成像部件預測的結構化照明參數來傳輸這些信號。在一些實現方式中,控制器可以包括用於儲存對應於不同時間和/或樣本定位的所預測和/或估計的結構化照明參數的記憶體。
圖5A-5D示出了在各種操作階段的光學組件200。在圖5A所示的階段,光發射組件210朝著反射元件220發射光,反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在這個階段,光柵切換器250處於第一狀態中,使得從反射元件220反射的光由反射鏡262進一步反射。由反射鏡262反射的光穿過玻璃元件242並到達反射器244,反射器244朝著相位遮罩246反射光。當光穿過相位遮罩246時,相位遮罩246向光提供圖案化形式。該圖案化或結構化光然後穿過板252的開口268,並到達反射元件270,反射元件270然後朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後,結構化光到達作為目標進行成像的物體(例如樣本容器110);以及相機系統140捕獲目標物體的第一影像。
在利用圖5A所示的光學組件200的配置獲取第一影像之後,致動器272被啟動以將反射元件270從線性路徑LP1上的第一定位驅動到線性路徑LP1上的第二定位,使得光學組件200然後處於圖5B所示的配置。在圖5B所示的階段,光發射組件210朝著反射元件220發射光,反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在這個階段,光柵切換器250處於第一狀態中,使得從反射元件220反射的光被反射鏡262進一步反射。由反射鏡262反射的光穿過玻璃元件242並到達反射器244,反射器244朝著相位遮罩246反射光。當光穿過相位遮罩246時,相位遮罩246向光提供圖案化形式。該圖案化或結構化光然後穿過板252的開口268,並到達反射元件270,反射元件270然後朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後,結構化光到達作為目標進行成像的物體(例如樣本容器110);以及相機系統140捕獲目標物體的另一影像。
在圖5A所示的階段和圖5B所示的階段之間的唯一差異是反射元件270處於第二狀態中(即,在沿著線性路徑LP1的第二定位處)。因此,因為反射元件270在這個操作階段期間在不同的定位處,所以用在圖5B所示的配置中的光學組件200所捕獲的影像將具有與用在圖5A所示的配置中的光學組件200所捕獲的影像不同的相位。
在本文描述的過程的一些版本中,在行進到圖5C所示和下面描述的階段之前,當光柵切換器250處於第一狀態中時,致動器272被啟動以將反射元件270沿著線性路徑LP1驅動到第三定位。在該過程的這樣版本中,當光柵切換器250處於第一狀態中時,相機系統140可以捕獲三個影像,這些影像中的每一個影像基於反射元件270沿著線性路徑LP1的相應定位而代表不同的相位。當然,致動器272也可以被啟動以將反射構件270驅動到第四定位、第五定位等,使得當光柵切換器250處於第一狀態時的任何期望數量的相位可以在影像的捕獲期間被採用。
在光柵切換器250處於圖5A-5B所示的第一狀態中的情況下期望數量的影像被獲取之後,馬達256被啟動以使軸杆254繞著軸A旋轉,從而使板252繞著軸A旋轉以將光柵切換器250轉變到圖5C-5D所示的第二狀態。在圖5C所示的階段,致動器272也被啟動以將反射元件270從第二狀態(即,在線性路徑LP1上的第二定位)返回到第一狀態(即,在線性路徑LP1上的第一定位)。在一些其他版本中,緊接著在光柵切換器250從第一狀態轉變到第二狀態之後,反射元件270保持在第二狀態中;以及當反射元件270處於第二狀態中並且光柵切換器250處於第二狀態中時,在影像被捕獲之後,反射元件270轉變到第一狀態。
在圖5C所示的階段,光發射組件210朝著反射元件220發射光,反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在光柵切換器250現在處於第二狀態中的情況下,從反射元件220反射的光穿過開口268並進一步穿過玻璃元件232。穿過玻璃元件232的光到達反射器234,反射器234朝著相位遮罩236反射光。當光穿過相位遮罩236時,相位遮罩236向光提供圖案化形式。然後,該圖案化或結構化光從反射鏡264反射。反射鏡264朝著反射元件270反射結構化光,然後反射元件270朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後,結構化光到達作為目標進行成像的物體(例如樣本容器110);以及相機系統140捕獲目標物體的另一影像。
在影像利用圖5C所示的光學組件200的配置被獲取之後,致動器272被啟動以將反射元件270從第一狀態(即,在線性路徑LP1上的第一定位)驅動到第二狀態(即,在線性路徑LP1上的第二定位),使得光學組件200然後處於圖5D所示的配置。在圖5D所示的階段,光發射組件210朝著反射元件220發射光,反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在光柵切換器250現在處於第二狀態的情況下,從反射元件220反射的光穿過開口268並進一步穿過玻璃元件232。穿過玻璃元件232的光到達反射器234,反射器234朝著相位遮罩236反射光。當光穿過相位遮罩236時,相位遮罩236向光提供圖案化形式。然後,該圖案化或結構化光從反射鏡264反射。反射鏡264朝著反射元件270反射結構化光,然後反射元件270朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後,結構化光到達作為目標進行成像的物體(例如樣本容器110);以及相機系統140捕獲目標物體的另一影像。
在圖5C所示的階段和圖5D所示的階段之間的唯一差異是反射元件270處於第二狀態中(即,在沿著線性路徑LP1的第二定位處)。因此,因為反射元件270在這個操作階段期間處於不同的定位處,所以在圖5D所示的配置中用光學組件200所捕獲的影像將具有與在圖5C所示的配置中用光學組件200所捕獲的影像不同的相位。
在本文描述的過程的一些版本中,在完成捕獲影像的過程之前,致動器272被啟動以當光柵切換器250處於第二狀態中時將反射元件270沿著線性路徑LP1驅動到第三定位。在該過程的這樣版本中,當光柵切換器250處於第二狀態中時,相機系統140可以捕獲三個影像,這些影像中的每一個影像基於反射元件270沿著線性路徑LP1的相應定位而代表不同的相位。當然,致動器272也可以被啟動以將反射構件270驅動到第四定位、第五定位等,使得當光柵切換器250處於第二狀態中時的任何期望數量的相位可以在影像的捕獲期間被採用。
如上面所提到的,可以通過兩個或多個單獨通道(例如藍色通道和綠色通道)來執行影像捕獲過程。換句話說,可以通過兩個或多個單獨通道來執行上面參考圖5A-5D描述的過程。光發射組件210可操作來提供兩個通道;或者每個通道可以具有它自己的光發射組件210。在一些版本中,通過光學組件200來同時啟動兩個單獨通道。在一些其他版本中,第一通道在圖5A所示的階段期間被啟動,然後第二通道在圖5A所示的階段期間被啟動,然後第一通道在圖5B所示的階段期間被啟動,然後第二通道在圖5B所示的階段期間被啟動,依此類推,直到第二通道在圖5D所示的階段期間被啟動為止。作為又一示例,每個通道可以具有它自己的專用光學組件200。在一些這樣版本中,可以利用另外的光學部件來使每個光學組件200的投影透鏡組件280能夠將來自每個通道的光投影到同一目標(例如樣本容器110)。鑒於本文的教導,一個或多個光學組件200可以實現兩個或多個通道的使用的其他合適的方式對本領域中的技術人員將明顯。還應當理解,在系統100內的其他部件(例如濾波器切換組件165)還可以實現兩個或多個通道的使用。在一個通道是藍色的而另一個通道是綠色的版本中,藍色通道可以利用在從大約450 nm到大約500 nm的範圍內的波長處的光操作;以及綠色通道可以利用在從大約500 nm到大約570 nm的範圍內的波長處的光操作。
也如上面所提到的,在系統100中使用光學組件200成像的主題可以包括在流動池的奈米井中的一個或多個生物樣本(例如核苷酸等),使得一些形式的樣本容器110可以包括流動池。這種奈米井可以規則的重複圖案來佈置。對於矩形圖案,可以基本上沿著連接在圖案中的矩形的相對角的兩條對角線使用兩個結構化照明角,使得結構化照明的強度尖峰被定向成基本上垂直於兩條對角線。可選地,結構化照明角可以沿著與矩形奈米井圖案方向相同的方向(即,不沿著矩形的相對角)被定向。
對於奈米井的重複的六邊形圖案,在三條對角線連接在圖案中的六邊形的相對角的情況下,可以使用三個結構化照明角,強度尖峰基本上垂直於三條對角線。可選地,可以與具有奈米井的六邊形圖案的流動池結合來使用兩角照明圖案,使得不一定在所有情況下都與奈米井的六邊形圖案結合來使用三個結構化照明角。此外,結構化照明角可以沿著與六邊形奈米井圖案方向相同的方向(即,不沿著六邊形的相對角)被定向。
不管奈米井的圖案的種類如何,相比於相關光學系統的Abbe衍射限制,相鄰的奈米井都可以更靠近地被定位在一起。可選地,樣本可以隨機地分佈在沒有奈米井的成像平面上。或者,樣本可以規則地佈置在除了奈米井之外的某個結構上的成像平面上。
IV.影像處理演算法的示例
A.SIM影像處理方法的概述
由光學感測器或影像感測器(例如,如集成到相機系統140中的)捕獲的影像可以被稱為分塊。如下所述的影像處理演算法可以將所捕獲的影像塊細分成子分塊。每個子分塊可以被獨立地評估。接近中心的子分塊可以與其他子分塊不同地被處理。流動池的成像週期可以捕獲具有一些重疊的影像分塊。子分塊可以彼此獨立地、甚至並行地被重建。從增強的子分塊進行的重建可以被縫合在一起以創建具有增強的空間分辨率的所重建的分塊。在一些實例中,影像分塊被細分成子分塊,使得峰線在子分塊內近似均勻地間隔開,從而從橫越透鏡的視場所重建的子分塊實現更好的影像質量。
在一些實例中,為每個子分塊映射至少三個參數。這樣的參數可以包括照明尖峰角度、照明尖峰間距和相位位移。照明尖峰角度也可以被稱為光柵角度。照明尖峰間距也可以被稱為光柵間距。換句話說,照明尖峰間距定義光柵的週期(例如,在由相位遮罩236、246定義的平行線之間的間距)。相位位移或相位是投影到樣本平面上的結構化照明圖案或光柵的移動(例如,基於如由致動器272驅動的反射元件270沿著線性路徑LP1的定位)。換句話說,相位可以被定義為在正交於光柵的方向上從公共參考點到重複照明圖案的起點的距離。相位可以用弧度或度數表示;並且可以被認為是重複模式週期的分數(a fraction of the repeating pattern periodicity)。相位位移也可被稱為光柵相位。可以使用二次曲面畸變模型來映射角度和間距。
下文描述了可用於估計用於SIM影像重建的參數的技術的示例。所記載的一些技術補償由於透鏡缺陷而失真或彎曲的條紋峰線。被期望是平行的圖案線在影像的中心附近開始平行,但傾向於在透鏡的邊緣附近會聚或變得不平行。這影響照明尖峰角度或定向、照明尖峰間距和相位偏移。圖8A示出了將影像分塊分成被稱為子分塊或子視窗或子場的重疊區域。子分塊足夠小,使得為整個子分塊給出令人滿意的重建的參數可以被設置。在一些版本中,每個子分塊包括光學感測器的512 x 512個像素。可以使用更大或更小的數量,包括但不限於256、400、1024、2048和4096;或者在256到4096個像素的範圍內。子分塊可以重疊光學感測器的至少2個像素。可以使用更大或更小的數量。例如,對於512像素寬的視窗,可以使用最多達256像素重疊;以及對於1024像素寬,可以使用最多達512重疊。
可以在兩個步驟中執行參數估計。首先,可以對影像的近中心子分塊執行參數估計。然後,可以對其他子分塊執行參數估計,並與近中心子分塊比較,以相對於近中心子分塊的參數來確定失真和對失真的校正。
圖6A至圖6C示出了全視場(FOV)的物理方面。在一個實現方式中,使用5472像素x 3694像素的矩形感測器。當然,可以使用正方形感測器或不同尺寸的感測器,例如,5472 x 5472個像素,或4800 x 4800個像素。當使用矩形感測器時,最靠近透鏡的邊緣的失真最大。透鏡常常是圓形的,所以矩形感測器在長邊上不與在短邊上一樣靠近透鏡的邊緣。
圖6A呈現示出橫越全視場(FOV)的條紋間距失真的兩個圖示。在左側的圖300是由於進行放大的透鏡的失真而使平行線彎曲的簡化描繪300。所描繪的線被規定為在影像平面中是平行的。通過透鏡被觀察,它們看起來相對於在中心中的間距會聚在右端和左端處。在右側的圖302是另一個放大的示例。在這個圖中,條紋線在左上角和右下角之間被對角地定向。條紋間距被放大,以使其更容易被看到。條紋線相對於中心會聚在左上角和右下角處。對於特定製造商的透鏡,條紋圖案可以是不均勻的。
圖6B和圖6C描繪了對於綠色和藍色雷射照明的在影像平面中的名義上平行的條紋尖峰之間的影像中的間距的測量。色標指示在2.8和2.22之間的間距的變化。在兩個圖中,色標指示在平行線之間的中心間距為約2.14。在圖6B的右上角中看到在綠色波長照明下的不規則性。在圖6C中沿著右邊邊緣和左邊緣看到在藍色波長照明下的更明顯的不規則性。在這些圖中,條紋圖案是從圖的左下角到右上角的一系列成45°角的平行線。因此,在圖6C中在箭頭的方向上測量間距。這些圖說明瞭對由透鏡引起的失真的校正。因為透鏡單獨地被製造和安裝,所以期望在組裝之後對單獨系統的校準和校正。
圖6D示出了在影像分塊中的全視場(FOV)的子分塊或子場。在該圖中,所示的子分塊是512像素 x 512像素。這些子分塊可以細分所示視場,或者可以重疊。子分塊可以更大或更小。例如,400x400和1024x1024像素子分塊已被證明是可使用的。該圖示出了5x7個子分塊。上面說到的較大的感測器可以具有8x11個子分塊。可以使用子分塊的其他配置,例如3x3、5x5、5x7、9x9、9x16。較大的感測器可以分成更多的子分塊。子分塊可以重疊光學感測器的至少2個像素。更大和更小數量的像素可以用於在子分塊之間的重疊。例如,對於512像素寬的子分塊,可以使用最多達256像素重疊,而對於1024像素寬的子分塊,可以使用最多達256像素重疊。與圖6B和圖6C一致,存在都在透鏡的最佳位置(sweet spot)上的幾個候選近中心子分塊304,包括在奇數×奇數子分塊陣列中的中心子分塊。如在本文所使用的,近中心子分塊包括感測器的中心像素,或者鄰接包括中心像素的子分塊。在平坦的且具有小誤差的一些光學系統中,更遠離鄰接中心子分塊的子分塊可用作參考,而不影響整體失真補償。
所記載的技術包括映射在由影像感測器捕獲的基本上全視場上測量的失真。從規則結構化照明進行的增強分辨率SIM重建所依賴於的三個參數包括條紋圖案的條紋間距、條紋角度和相位位移。這些變量也被稱為結構化照明或光柵圖案的間距、角度和相位偏移。可以使用多項式曲面(polynomial surfaces)橫越全視場來擬合離中心分塊值的間距和角度偏差。二次和三次表面都被研究。也可以使用高階多項式。
影像分塊上的條紋間距和條紋角度都可以通過二次曲面來擬合。敏感度分析表明,二次曲面幾乎與三次曲面一樣好地擬合。二次曲面根據下列等式(II)擬合: f(x,y) = c0 + (cl*x) + (c2*y) + (c3*x*y) + (c4 *x2 ) + (c5*y2 )           (II)
相位估計的一個實現方式採用由2013年Wicker等人在他們的標題為“Phase Optimisation for Structured Illumination Microscopy”的文章第3章中提出的技術。來自2015年Lal等人的標題為“Structured Illumination Microscopy Image Reconstruction Algorithm”和來自2013年Wicker等人的文章的等式幫助解釋Wicker相位估計。
下面的等式(III)(取自2015年Lal等人的文章)分離獲取的影像
Figure 02_image001
Figure 02_image003
Figure 02_image005
中的頻率分量的三個波段:
Figure 02_image007
Figure 02_image009
Figure 02_image011
。混合矩陣使用利用對應於圖案角度或定向0的正弦照明強度圖案
Figure 02_image013
捕獲的影像的相位φ1 、φ2 、φ3 的估計。Wicker 等人在2013年提到在定向處第n個影像的相位為φn 。如果相位具有足夠的精度是已知的,去混合或波段分離過程將在頻域中從觀察到的影像
Figure 02_image001
Figure 02_image003
Figure 02_image005
不完全地分離空間頻率分量。實際上,三個空間頻率分量
Figure 02_image007
Figure 02_image009
Figure 02_image011
將包含來自其他分量的或多或少的剩餘信息,如通過下列等式(III)提供的噪聲項所表示的:
Figure 02_image017
(III) 其中
Figure 02_image019
具有三個分量的這個公式是從正弦或餘弦照明的傅立葉變換得出的。不同的照明函數可以改變等式。
因此,照明正弦強度圖案相位的精確知識可能很重要。因為在實驗裝置中精確地控制這些相位並不總是可能的,從所獲取的影像資料確定照明圖案相位可能是合乎需要的。Wicker等2013年提出了對在選定頻率下使用相干正弦照明獲取的SIM資料的相位估計技術。相干照明從具有非常小的照明尖峰間距`s'的精細光柵產生良好的圖案對比度,這增強了重建的分辨率。我們使用照明圖案的尖峰頻率來取回第n個影像的照明圖案相位。照明圖案的尖峰頻率也被稱為傅立葉尖峰。
下面的等式(IV)(來自Wicker等人2013年提出的文章)呈現了關於在頻域中的頻率
Figure 02_image021
上所獲取的影像
Figure 02_image023
的等式(II)的廣義形式。每個影像包括與不同的相位疊加的被稱為
Figure 02_image025
Figure 02_image027
Figure 02_image029
Figure 02_image031
的三個分量。注意,這三個分量是與等式(III)中的
Figure 02_image033
Figure 02_image035
Figure 02_image037
相同的三個分量。
Figure 02_image039
(IV)
注意,在等式(IV)中的“c”被稱為照明圖案的對比度。在沒有噪聲的情況下,“c”與等式(2)中的混合矩陣M中的調變因子“m”相同。為了確定
Figure 02_image041
,在等式(IV)中的頻率
Figure 02_image043
Figure 02_image045
(其是照明圖案的尖峰頻率)代替,得出下面的等式(V):
Figure 02_image047
(V)
等式(V)示出了圖案相位
Figure 02_image041
近似等於在頻率
Figure 02_image045
上所獲取的影像
Figure 02_image051
的相位。當三個準則被遵循時,圖案相位
Figure 02_image041
的近似估計可以產生良好的結果。首先,照明圖案的對比度c應該足夠大。其次,樣本功率譜應該隨著頻率增加而足夠快地下降。當這兩個準則被遵循時,等式(V)以最後一項為主,且因此可以被簡化為下列等式(VI):
Figure 02_image053
(VI)
對於任何實值樣本,中心頻率
Figure 02_image055
將是實值的。此外,如果點擴散函數(PSF)
Figure 02_image057
是實數且對稱的,則光學傳遞函數(OTF)
Figure 02_image059
將是實數。OTF是點擴散函數的卷積。點擴散函數是成像系統的光學傳遞函數的空間域版本。名稱“點擴散函數”指示所有物理光學系統在某種程度上使光的點模糊(擴散),模糊的量由光學部件的品質確定。成像系統的分辨率由PSF的大小限制。對於不對稱的PSF,應考慮OTF的相位。
第三,在圖案頻率
Figure 02_image061
處的OTF應該足夠大以克服噪聲。如果OTF太小,在所獲取的影像中的噪聲可能顯著改變在
Figure 02_image063
處測量的相位。為了支持偵測OTF,這種相位估計方法不能用於在外部的圖案頻率
Figure 02_image063
。對於這樣的頻率,
Figure 02_image066
= 0。
光學系統的OTF可以在實驗上被確定。例如,Lal等人2015年提出通過得到具有稀疏地分佈的100nm螢光微球的樣本的若干影像來計算OTF。對應於多於100個微球的強度分佈然後被疊加並取平均以得到關於系統PSF的近似。該PSF的傅立葉變換提供了系統OTF的估計。在這個背景的情況下,相位估計技術可以應用於子分塊。
估計分塊相對於全視場(FOV)的相位位移可能是有用的,使得在一個子分塊中的相位測量可以外推到橫越分塊的其他子分塊。可以使用上面提出的二次模型從子分塊的照明尖峰角度和照明尖峰間距來估計全FOV的照明尖峰角度和照明尖峰間距。相位位移可以是較不規則的,因為它取決於子分塊的像素幾何形狀,這可能產生不規則的階躍函數,而不是平滑函數。可以使用橫越全FOV影像的子分塊的公共參考系統來表示相位估計。子分塊坐標空間可以被映射到全FOV坐標空間。
B.SIM系統的品質控制方法的示例
在SIM光學系統中的各種結構和操作參數可能不利地影響SIM重建超分辨率影像的品質。例如,在包含透鏡(例如,在上述透鏡組件280內,集成到相機系統140中的一些其他透鏡)的任何光學系統中,至少一個透鏡可以包括一個或多個結構像差,這可能在由相機系統140捕獲的影像中產生失真。作為另一示例,在光學組件200內或在系統100的光路內的其他地方的部件的定位可能偏離預定的規範,並且這樣的偏離可能在由相機系統140捕獲的影像中產生失真。在SIM影像重建中使用的計算可能對在使用具有像差的透鏡或使用具有其他像差的光學組件200所捕獲的源影像中的失真是敏感的。增加視場,使用大部分透鏡而不是在中心中的最佳位置可能增強SIM影像重建對由透鏡中的像差引起的失真的敏感性。因此,下面描述的示例通過提供用於偵測上述像差(和其他像差)的系統和方法並根據需要進行調整以解釋這樣的像差(如果可能的話)來提供對上面識別的影像失真挑戰的解決方案。換句話說,下文描述了如何進行在SIM光學系統中的結構和操作參數的品質控制檢查或驗證以確定它們是否在預定義的規範內的示例。因此,下面提供的品質控制和驗證教導可以提供克服由在透鏡或光學組件的其他部件中的像差帶來的已知挑戰的益處。
品質控制檢查過程可以包括在兩個焦平面(一個是光學焦平面,以及另一個是SIM光柵焦平面)之間的比較。可以通過觀察物鏡142的定位來建立光學焦平面,物鏡142提供在樣本容器110中的生物樣本的最佳聚焦。在本示例中,可以通過沿著z軸朝著和遠離樣本容器110移動系統100的物鏡142來調整光學焦平面。可以通過啟動致動器282沿著線性路徑LP2移動投影透鏡組件280來調整SIM光柵焦平面。可以通過觀察投影透鏡組件280的定位來建立SIM光柵焦平面,尖峰品質條紋或尖峰干涉可以在該定位處從由相位遮罩236、246提供的結構光圖案被觀察到。理想的SIM組件配置可以提供盡可能靠近光學焦平面的SIM光柵焦平面(例如,在光學焦平面的大約10 nm內的SIM光柵焦平面)。在SIM光柵焦平面和光學焦平面之間的這個差異可以被視為“共焦”。
下面的描述提到在處理方法中的SIM堆疊的處理。在本示例中,每個SIM堆疊包括12個影像——來自兩個通道的6個影像。對於每個通道,六個影像的組包括當光柵切換器250處於第一狀態(例如,如圖5A-5B所示)中時利用反射元件270在沿著線性路徑LP1的三個不同定位處獲取的三個影像以及當光柵切換器250處於第二狀態(例如,如圖5C-5D所示)中時利用反射元件270在沿著線性路徑LP1的相同的三個不同定位處所獲取的另外三個影像。因此,在SIM堆疊中的每個通道的六個影像的組代表兩個不同光柵角度或照明尖峰角度中的每一個的三個不同相位。可選地,可以使用任何其他合適數量的影像來形成每個SIM堆疊,並且這樣的影像可以基於除了上面描述的參數之外的參數而彼此不同。每個SIM堆疊可以在不同的z定位處被收集,意味著可以用位於離樣本容器110不同距離處的物鏡142來收集每個SIM堆疊。僅作為示例,可以在從大約20個不同的z定位到大約40個不同的z定位處收集SIM堆疊。不同的z定位可以任何合適的間隔(例如從大約0.1 µm到大約1.0 µm,或者從大約0.2 µm到大約0.8 µm,或者大約0.5 µm的間隔)間隔開。
該過程可以通過針對每個z定位收集SIM堆疊來開始,如在圖7的方塊400中所示。如上面所提到的,每個SIM堆疊可以包括12個影像。接下來,可以讀取每個SIM堆疊以針對在堆疊中的每個影像來測量半高全寬(FWHM),如在圖7的方塊402中所示。可以在每個通道和每個光柵角的中心估計視窗上測量FWHM(光柵角基於在SIM堆疊中的影像被捕獲時的光柵切換器250的狀態)。為了提供中心估計視窗,可以將影像裁剪到中心區域以省略外邊緣和角區域,在外邊緣和角區域中相對高的失真也許是可能的。可以使用每個角的原始的、未重建的相位0來完成在每個通道和每個光柵角的中心估計視窗上的FWHM值的測量。對於每個通道-角度對只測量一個相位可以節省計算成本,並且可以提供足夠的結果。
在針對每個SIM堆疊測量FWHM之後,該過程將確定額外的SIM堆疊是否需要被處理,如在圖7的方塊404中所示,應當理解的是,每個SIM堆疊對應於唯一的相應z定位。如果另外的SIM堆疊需要被處理,則該過程將繼續針對這些SIM堆疊測量FWHM,直到針對所有SIM堆疊測量了FWHM為止。一旦針對所有SIM堆疊(即,所有z定位,在第一遍期間)測量了FWHM,則該過程就將識別具有最佳聚焦z定位的SIM堆疊,如在圖7的方塊406中所示。然後,該過程將測量在具有最佳聚焦z定位的SIM堆疊中的影像的光柵間距、角度和相位,如在圖7的方塊408中所示。
在測量在具有最佳聚焦z定位的SIM堆疊中的影像的光柵間距、角度和相位之後,該過程然後將針對在所有SIM堆疊中的每個通道-角度對來測量調變和相位(即,在第二遍期間,在所有z定位處),如在圖7的方塊410和412中所示。條紋調變是條紋干涉圖案強度的定量度量(取值從0到1,其中1是假設完全干涉和無透射損耗的理論最大值)。基於條紋圖案的定向和週期的準確估計,預測計算準確調變值。當更遠離光柵最佳焦平面的z定位被處理時,調變值被預期越接近0時越降低。
一旦針對在所有的SIM堆疊(即,所有的z定位)中的每個通道-角度對測量了調變和相位,該過程針對每個SIM堆疊(即,每個z定位)而將所有FWHM、光柵間距、角度、相位和調變作成表格,如在圖7的方塊414中所示。在該表格完成之後,對於每個通道-角度對,該過程將擬合關於z定位相對於FWHM和z定位相對於調變的多項式模型或曲線,如在圖7的方塊中416所示。
在針對每個通道-角度對擬合多項式模型或曲線之後,該過程可以針對每個通道-角度對來計算共焦度量,如在圖7的塊418中所示。這個共焦值可以如下被計算: 共焦=最小FWHM z位置-最大調變z位置。                 (VII) 如上面所提到的,可能期望的有共焦值,其中SIM光柵焦平面盡可能靠近光學焦平面(例如,在光學焦平面的大約10 nm內的SIM光柵焦平面)。
在一些實現方式中,該過程可以產生表格或其他報告。基於上述過程,表格或其他報告可以陳列對應於在手邊的成像系統的各種參數。僅作為示例,在報告包括表格的版本中,表格的列可以包括z高度(即,在物鏡142和樣本容器110之間的距離)、通道、角度刻度、調變、FWHM、光柵間距、光柵角度和任何其他合適的參數。可以將表格中的參數與預定義的規範進行比較以提供品質控制檢查。
在表格或其他報告中的任何參數相對於規範偏離超過容許量的情況下,可以對光學組件200或系統100的其他部件做出調整以試圖將那些偏離的參數帶入規範內。例如,光學組件200的一些版本可以使調整能夠固定相移或調變。作為示例,在共焦值相對於規範偏離超過容許量的情況下,調整可以包括移動投影透鏡部件280、移動相機系統140、移動電光調變器或移動某個其他部件。作為另一示例,在相位值相對於規範偏離超過容許量的情況下,調整可以包括校準用於驅動致動器272的電壓,以便為所有光學配置在樣本處實現正確量的條紋平移。作為另一示例,在品質控制檢查顯露在傾斜或色差中的像差的情況下,部件相機系統140可以被可移動地調整,但是這樣的移動可能影響共焦。如鑒於本文的教導對本領域中的技術人員將明顯的,可以提供其他合適種類的調整。
可以再次執行上面所述的品質控制檢查過程,以查看調整是否實際上將偏離的參數帶進規範內。在不可能進行調整以將偏離的參數帶進規範內的情況下,光學組件200的部件或系統100的為偏離的參數負責的其他部件可以被替換。在這樣的部件不可能被替換的情況下,完全拒斥光學組件200或系統100可能也是合乎需要的。
C.相位校準方法的示例
如上所述,光學組件200可以通過致動器272的啟動來提供相移,這可以通過改變反射元件270沿著線性路徑LP1的定位來改變光學組件200的相位。也如上面所提到的,致動器272可以包括壓電動力元件或任何其他合適的部件。在致動器272包括壓電動力元件的版本中,反射元件270沿著線性路徑LP1的定位可以基於施加到壓電動力元件的電壓而變化。因此,不同的相位可以與提供到致動器272的不同的對應電壓相關聯。致動器272和反射元件270的電壓-移動校準曲線可以直接影響相位移動的準確度。這又可能影響通過包括了致動器272和反射元件270的系統100提供的SIM重建的品質。因此,提供用於校準致動器272的電壓以實現準確的相移的方法可能是合乎需要的。下面參考圖8詳細描述了這種方法的示例。在一些實例中,可以在光學組件200被首次使用之前執行這個過程。此外或者可選地,該過程可以在一些情況下被執行,其中使用上面參考圖7描述的過程獲得的資料顯露了資料指示光學組件200的相移是不準確的。
在本示例中,像上面描述的十二影像SIM堆疊一樣,使用由十二影像SIM堆疊定義的工作單元來執行校準致動器272的電壓的方法。如上所述,該十二影像SIM堆疊可以包括來自每個通道的六個影像。對於每個通道,六個影像的組包括當光柵切換器250處於第一狀態(例如,如圖5A-5B所示)中時利用反射元件270在沿著線性路徑LP1的三個不同定位處獲取的三個影像以及當光柵切換器250處於第二狀態(例如,如圖5C-5D所示)中時利用反射元件270在沿著線性路徑LP1的相同的三個不同定位處獲取的另外三個影像。換句話說,對於光柵切換器250的每個狀態,對於每個通道的每組六個影像將具有三個相關相位(例如,相位0、相位1和相位2)。換句話說,每個通道-角度對可以具有在三個相對應的相位處的三個影像。當然,該過程可以替代地應用於通道、角度和相位配對的任何其他組合。
如在圖8的方塊500中所示,相位校準過程可以選擇在SIM堆疊中的具有最佳聚焦的影像開始,其具有估計視窗大小N、第一相位步長(例如120度)和第二相位步長(例如240度)的相位步進目標以及小於10度的相位偏差目標。
接下來,該過程可以包括將影像視場的中心視窗裁剪成預定尺寸(例如,1024 x 1024像素),如在圖8的方塊502中所示。利用這個所裁剪的影像,該過程可以執行SIM參數估計以針對每個通道和每個角度識別光柵間距、光柵角度和調變,如在圖8的方塊504中所示。可以根據上面在圖7所示的過程的上下文中提供的教導來執行這個SIM參數估計。
一旦SIM參數估計被完成,該過程就可以對每個通道-角度對執行Wicker相位細化過程以估計每個影像的相位,如在圖8的方塊506中所示。可以根據上面的教導來執行Wicker相位估計過程。
該過程還可以從來自每個通道-角度對的三個相位影像中的每一個相位影像中收集三個相位值,如在圖8的方塊508中所示。接下來,該過程可以針對每個通道-角度對展開相位,如在圖8的方塊510中所示,因此相位值是逐步單調地增加的。該相位展開可以包括向每個連續的通道-角度對增加360度。
然後,對於每個通道-角度對,如在圖8的方塊512中所示,該過程可以將在第一影像和第二影像之間的相移計算為phase_shift_12 = 展開的相位2 - 展開的相位1。類似地,對於每個通道-角度對,該過程然後可以將在第一影像和第三影像之間的相移計算為phase_shift_13 = 未展開的相位3 - 未展開的相位1。
然後,該過程可以通過SIM堆疊來評估所有phase_shift_12值和所有phase_shift_13值,如在圖8的方塊514中所示。如果所有phase_shift_12值和所有phase_shift_13值都在預定範圍內(例如,在目標相移步長的10度內),則該過程可以在電壓被適當地校準的情況下被認為是完成的,如在圖8的方塊522中所示。
如果通過SIM堆疊對所有phase_shift_12值和所有phase_shift_13值的評估顯露所有phase_shift_12值和所有phase_shift_13值不在預定範圍內,則該過程可以繼續計算為每個通道-角度對實現期望的設定點目標所需的比例增益,如在圖8的方塊516中所示。為此目的,該過程可以將在第一影像和第二影像之間的相移的增益計算為gain12 = 120/(phase_shift_12),其中phase_shift_12值以度為單位。該過程可以將在第一影像和第三影像之間的相移的增益計算為gain13 = 240/(phase_shift_13),其中phase_shift_13值以度為單位。可以針對每個通道-角度對執行這些比例增益計算。
在比例增益計算完成之後,該過程可以通過將計算出的增益應用於現有電壓值來為致動器272建立新電壓,如在圖8的方塊518中所示。對於第一相位(例如,“相位0”),電壓可以保持不變。對於第二相位(例如,“相位1”),新電壓可以是第二相位(相位1)的原始電壓乘以如上計算的gain12值的因子。對於第三相位(例如,“相位2”),新電壓可以是第三相位(相位2)的原始電壓乘以如上計算的gain13值的因子。可以針對每個通道-角度執行這些新電壓計算。
一旦為每個通道-角度對建立了新電壓,新電壓就可以在新的SIM影像堆疊被捕獲時施加到致動器272,如在圖8的方塊520中所示。然後,可以如圖8所示重複上述過程,以確定新電壓是否將所有phase_shift_12值和所有phase_shift_13值帶進預定範圍內。如果新電壓實際上將所有phase_shift_12值和所有phase_shift_13值帶進預定範圍內,則該過程可以完成。如果新電壓還沒有將所有phase_shift_12值和所有phase_shift_13值帶進預定範圍內,則該過程可以根據需要重複多次,直到電壓將所有phase_shift_12值和所有phase_shift_13值帶進預定範圍內為止。
D.可選的目標設備的示例
如上所述,系統100可以提供樣本容器110作為用於成像的目標。在一些其他實例中,提供目標設備來代替樣本容器100可能是合乎需要的,該目標設備專用於校準和品質控制檢查目的。這樣的專用目標設備可以依尺寸被製造和配置成代替樣本容器110來安置在系統100內,使得專用目標設備可以具有與由樣本容器提供的厚度和成像表面類似的厚度和成像表面。專用目標設備還可以包括在影像目標表面上的一個或多個光學圖案。在SIM系統的背景中,特別注意如何定義這些光學圖案可能是必要的。可以適合於如在非SIM系統中使用的專用目標設備的光學圖案可能不適合於在SIM系統中使用。例如,使用與彼此平行且與彼此一致地分開的直線陣列的光學圖案、在完美網格中排列的點陣列或具有有規律地重複的元素的一些其他圖案可以不在SIM系統中提供期望的Moire混疊效應。換句話說,這樣的圖案可能不允許在結構上照明的條紋頻率尖峰從目標圖案的偽影頻率尖峰被辨別出。
鑒於前述內容,在專用於在SIM系統中使用的目標設備中的光學圖案內提供隨機化可能是合乎需要的。這可以包括以隨機、無序方式佈置的點、線或其他特徵的圖案。在一些實例中,光學圖案可以是偽隨機化的。這種偽隨機化的示例在圖9A和9B中示出。在圖9A中,一組點在有序佈置中被示出,使得點彼此等距地間隔開。圖9A的這個配置可適合於在非SIM系統的目標設備中使用而不適合在SIM系統的目標設備中使用。為了提供偽隨機化,目標設計可以有序陣列點開始,且然後以隨機化方式移動每個點以到達如在圖9B中所示的圖案。在如圖9B所示點在偽隨機化圖案中的情況下,該配置可適合於在SIM系統的目標設備中使用。
在上面參考圖9A和圖9B描述的示例中,圖9B的圖案是“偽隨機化的”而不是“隨機化的”,因為該圖案最初在有序佈置中被提供。這個“偽隨機化”可能相對於“完全隨機化”是優選的,因為隨機化過程(即,將圖9A的圖案轉換成如在圖9B中所示的圖案)可以允許在“偽隨機化”圖案中的點之間提供特定的最小量的間距。換句話說,偽隨機化過程可以確保在圖案中的點至少從彼此間隔開特定距離。這在SIM成像中可能很重要,因為如果在目標光學圖案中的點太接近彼此,SIM成像結果可能是不可接受的或否則是不太理想的。除了實施最小點間距規則之外,偽隨機化可以其他方式允許來自圖9A的有序陣列的點的重新定位是完全隨機的。
除了包括如上所述的點的圖案之外或代替包括如上所述的點的圖案,用於在SIM系統中校準和品質控制檢查的專用目標設備還可以包括其他光學特徵。例如,目標設備可以包括圖案化線陣列。這種線陣列可以包括線對。每個線對可以在結構化照明的所需/預期角度下傾斜。因此,當圖案化光移動進和移動出線對的相位時,所得到的強度差異(作為相長/同相和相消/反相干涉的結果)可以實現對在兩個圖案之間的平行度的測量。如圖10所示,當結構化照明(b/d)與線對(a)同相(b)和異相(d)地移動時,這將分別從相長干涉和相消干涉導致更多(c)或更少(e)的所測量的強度。如果兩個圖案(所印刷的線對和結構化照明)是完全平行的/成同角度的,則所得到的強度分佈可以被預期提供一致地成角度的線,如在圖11A中所示的那些。然而,如果結構化照明圖案是偏角的,則所得到的強度特徵(intensity signature)可以顯露循環的暗部分,如在圖11B中所示的那些,取決於偏軸角的度數。
專用目標設備包括含有響應於來自光學組件200的光而發出螢光的流體的流體通道也可能是期望的。在樣本容器110還可能包含流體通道(例如,作為流動池的一部分)這方面來說,一些這樣流體通道可能是相對厚的。相對厚的流體通道可能不太有利於SIM成像,因為可以測量到的重新成像的條紋的調變較少。
圖12示出了基於流體通道的深度的不同調變曲線的示例。曲線600示出了隨相位變化的以調變形式的輸入信號。曲線602示出了來自相對厚的流體通道(例如,大約75 µm厚)的信號的示例,其表示重新成像的條紋的調變。如所示,對相對厚的流體通道的重新成像的調變基本上小於輸入調變。曲線604示出了來自相對薄的流體通道(例如,大約3 µm厚)的信號的示例,其表示重新成像的條紋的調變。如所示,相比於對相對厚的流體通道的重新成像的調變,對相對薄的流體通道的重新成像的調變基本上更接近輸入調變。僅作為示例,對相對厚的流體通道的重新成像的調變可以是輸入調變的大約30%;而相對薄的通道的重新成像的調變可以是輸入調變的大約70%。曲線606示出了來自甚至更薄的流體通道(例如,任意地,薄於3 µm)的信號的示例,其表示重新成像的條紋的調變。
如通過比較這些曲線600、602、604、606可以看到的,流體通道越細,重新成像的調變就越接近輸入調變。當流體通道的厚度接近0 µm時,重新成像的調變接近輸入調變。這可能鼓勵設計出在可製造前提下盡可能薄的流體通道。然而,使流體通道變得太薄可能不利地影響在流體通道中的染料的光穩定性。因此,在流體通道中的染料的光穩定性和重新成像的調變的準確度之間進行適當平衡可能是合乎需要的。僅作為示例,在大約3 µm的流體通道厚度的情況下,可以找到適當的平衡。可選地,在從大約2 µm到大約10 µm的流體通道厚度的情況下,可以找到可接受的平衡。
V.其他約定
提供前述描述以使本領域中的技術人員能夠實踐本文描述的各種配置。雖然參考各種附圖和配置特別描述了主題技術,但是應當理解,這些僅僅是為了說明的目的,並且不應當被視為限制主題技術的範圍。
可能有實現主題技術的許多其他方式。本文描述的各種功能和元素可以與所示出的那些功能和元素不同地被實踐而不偏脫離主題技術的範圍。對這些實現方式的各種修改對本領域中的技術人員可以是容易明顯的,並且在本文限定的一般原理可應用於其它實現方式。因此,可由本領域中的普通技術人員對主題技術做出許多修改而不偏離主題技術的範圍。例如,可以使用不同數量的給定模組或單元,可以使用一種或更多種不同類型的給定模組或單元,可以添加給定模組或單元,或者可以省略給定模組或單元。
可以使用電腦系統來實現本文描述的示例的一些版本,該電腦系統可以包括通過總線子系統與多個週邊設備通信的至少一個處理器。這些週邊設備可以包括儲存子系統,其包括例如記憶體設備和文件儲存子系統、用戶介面輸入設備、用戶介面輸出設備和網絡介面子系統。輸入和輸出設備可以允許用戶與電腦系統交互作用。網絡介面子系統可以提供到外部網絡的介面,包括到在其他電腦系統中的相對應的介面設備的介面。用戶介面輸入設備可以包括鍵盤;指向設備,例如滑鼠、軌跡球、觸控板或圖形輸入板;掃描器;合併到顯示器內的觸控式螢幕;音頻輸入設備,例如語音識別系統和麥克風;以及其他類型的輸入設備。一般而言,術語“輸入設備”的使用意欲包括將信息輸入到電腦系統內的所有可能類型的設備和方式。
用戶介面輸出設備可以包括顯示子系統、印表機、傳真機或非視覺顯示器,例如音頻輸出設備。顯示子系統可以包括陰極射線管(CRT)、平板設備(例如液晶顯示器(LCD))、投影設備或用於創建可視影像的一些其他機構。顯示子系統還可以提供非視覺顯示器,例如音頻輸出設備。一般而言,術語“輸出設備”的使用意欲包括將信息從電腦系統輸出到用戶或另一機器或電腦系統的所有可能類型的設備和方式。
儲存子系統可以儲存提供本文描述的一些或所有模組和方法的功能的編程和資料結構。這些軟體模組通常可以由電腦系統的處理器單獨地或者與其他處理器結合來執行。在儲存子系統中使用的記憶體可以包括多個記憶體,包括用於在程式執行期間儲存指令和資料的主隨機存取記憶體(RAM)和儲存固定指令的唯讀記憶體(ROM)。檔案儲存子系統可以為程式和資料檔案提供永久儲存,並且可以包括硬碟、軟碟連同相關可移動媒體、CD-ROM機、光碟片或可移動媒體盒。實現特定實現方式的功能的模組可以由在儲存子系統中或者在由處理器可訪問的其他機器中的檔案儲存子系統來儲存。
電腦系統本身可以具有不同類型,包括個人電腦、便攜式電腦、工作站、電腦終端、網絡電腦、電視機、大型主機、伺服器場(server farm)、廣泛分佈的一組鬆散地聯網的電腦或任何其他資料處理系統或用戶設備。由於電腦和網絡的不斷變化的性質,本文描述的電腦系統的示例僅意欲作為用於說明所記載的技術目的的特定示例。具有比本文描述的電腦系統更多或更少的部件的電腦系統的許多其他配置是可能的。
作為製造物品而不是方法,非暫時性電腦可讀取媒體(CRM)可以被加載有由處理器可執行的程式指令。程式指令當被執行時實現上面所述的電腦實現的方法中的一個或多個。可選地,程式指令可以被加載在非暫時性CRM上,並且當與適當的硬體組合時成為實踐所記載的方法的電腦實現的系統中的一個或多個的部件。
帶下劃線和/或斜體的標題和子標題僅為了方便而被使用,不限制主題技術,並且不與主題技術的描述的解釋有關地被提到。本領域中的普通技術人員已知或後續將知道的在整個本記載中描述的各種實現方式的元素的所有結構和功能等同物通過引用被明確地併入本文並被規定為由主題技術包括。此外,本文記載的內容沒有一個被規定為貢獻給公眾,而無論這樣的記載是否在上面的描述中被明確地敘述。
應當認識到,前述概念和下面更詳細討論的額外概念的所有組合(假設這樣的概念不相互不一致)被設想為本文記載的創造性主題的一部分。特別是,在本記載的結尾處出現的所主張的主題的所有組合被設想為本文記載的創造性主題的一部分。
10:奈米井 20:線 100:結構化照明成像系統 110:樣本容器 120:廢料排出閥 130:溫度站致動器 135:加熱器/冷卻器 140:相機系統 142:物鏡 150:光發射器 151:準直透鏡 152:光纖 155:光學組件 156:投影透鏡 160:分色鏡 165:濾波器切換組件 170:運動台 175:聚焦部件 190:流體輸送模組或設備 191:SIM成像部件 195:控制器 200:光學組件 210:光發射組件 220:固定反射元件 230:相位遮罩組件 232:玻璃元件 234:反射器 236:相位遮罩 240:底座 242:玻璃元件 244:反射器 246:相位遮罩 250:光柵切換器 252:板 254:軸杆 256:馬達 260:一端 262:反射鏡 264:反射鏡 266:另一端 268:開口 270:可調整反射元件 272:致動器 280:投影透鏡組件 282:致動器 300:圖/簡化描繪 302:圖 304:子分塊 600:曲線 602:曲線 604:曲線 606:曲線 A:軸 LP1:線性路徑 LP2:線性路徑
在附圖和下面的描述中闡述了一個或多個實現方式的細節。從描述、附圖和請求項中,其他特徵、方面及優點將變得明顯。
[圖1A]描繪了通過使用具有一維(1D)調變的光柵進行的Moire條紋形成的示例。
[圖1B]描繪了由二維(2D)結構化照明圖案產生的照明強度的曲線圖示。
[圖1C]描繪了奈米井佈置的幾何圖案的示例。
[圖2]描繪了可以利用空間結構化激發光以對樣本成像的SIM生物樣本成像系統的示意圖。
[圖3]描繪了用於在圖2的SIM生物樣本成像系統中使用的可選的光學組件的示例的示意圖。
[圖4]描繪了圖3的光學組件的相位遮罩組件的示意圖。
[圖5A]描繪了具有處於第一狀態的光柵切換器和處於第一狀態的可調整反射元件的圖3的光學組件的示意圖。
[圖5B]描繪了具有處於第一狀態的光柵切換器和處於第二狀態的可調整反射元件的圖3的光學組件的示意圖。
[圖5C]描繪了具有處於第二狀態的光柵切換器和處於第一狀態的可調整反射元件的圖3的光學組件的示意圖。
[圖5D]描繪了具有處於第二狀態的光柵切換器和處於第二狀態的可調整反射元件的圖3的光學組件的示意圖。
[圖6A]是由於進行放大的透鏡的失真而使平行線彎曲的簡化描繪。
[圖6B]示出了對在標稱平行線之間的間距的波長進行的第一組測量。
[圖6C]描繪了對在標稱平行線之間的間距的波長進行的第二組測量。
[圖6D]描繪了全視場(FOV)影像的子分塊或子場的示例。
[圖7]描繪了用於在SIM成像系統中的品質控制檢查的過程的示例的流程圖。
[圖8]描繪了用於在SIM成像系統中的相位校準的過程的示例的流程圖。
[圖9A]描繪了用於在非SIM成像系統中使用的專用目標設備的光學圖案。
[圖9B]描繪了用於在SIM成像系統中使用的專用目標設備的光學圖案。
[圖10]描繪了示出通過在SIM成像系統中的相長干涉和相消干涉可獲得的不同光強度的示例的曲線圖。
[圖11A]描繪了同角結構化照明圖案的強度分佈的示例。
[圖11B]描繪了偏角結構化照明圖案的強度分佈的示例。
[圖12]描繪了通過對厚度變化的流體通道的SIM成像的再成像調變信號。
將認識到,一些或所有附圖是用於說明目的的示意性表示。附圖被提供是為了說明一個或多個實現方式的目的,明確地理解它們將不用於限制請求項的範圍或含義。
10:奈米井
20:線

Claims (20)

  1. 一種方法,包括: 接收多個影像組,所述多個影像組中的每個影像組包括在光學系統中使用結構化照明顯微鏡術(SIM)在離受驗對象有一定距離處所捕獲的影像,所述距離不同於在所述多個影像組中的另外的影像組中影像被捕獲時的離所述受驗對象的距離,所述多個影像組中的每個影像具有相關聯通道和相關聯光柵角度; 至少部分地基於對應於第一影像組的距離來使所述第一影像組與所述多個影像組隔離; 測量對應於所述第一影像組中的每個影像的半高全寬(FWHM)值; 至少部分地基於在所述第一影像組中的所述影像上的平均FWHM值來識別最小FWHM切片; 對與所述第一影像組相對應的所識別出的所述最小FWHM切片執行參數估計; 至少部分地基於對應於所述第一影像組的所執行的所述參數估計來識別最佳焦點對準參數; 至少部分地基於對應於所述第一影像組的所執行的所述參數估計來儲存所識別出的所述最佳焦點對準參數; 對在所述第一影像組中的每個影像執行相位估計; 至少部分地基於對應於所述第一影像組的所識別出的所述最佳焦點對準參數來執行調變計算;以及 至少部分地基於對應於所述第一影像組的所執行的所述調變計算來產生呈現對應於所述光學系統的參數值的報告。
  2. 根據請求項1所述的方法,還包括: 至少部分地基於對應於第二影像組的距離來使所述第二影像組與所述多個影像組隔離; 測量對應於在所述第二影像組中的每個影像的半高全寬(FWHM)值; 至少部分地基於在所述第二影像組中的所述影像上的平均FWHM值來識別最小FWHM切片; 在對應於所述第二影像組的所識別出的所述最小FWHM切片中執行參數估計; 至少部分地基於對應於所述第二影像組的所執行的所述參數估計來識別最佳焦點對準參數; 至少部分地基於對應於所述第二影像組的所執行的所述參數估計來儲存所識別出的所述最佳焦點對準參數; 對在所述第二影像組中的每個影像執行相位估計;以及 至少部分地基於對應於所述第二影像組的所識別出的所述最佳焦點對準參數來執行調變計算; 所產生的所述報告至少部分地基於對應於所述第一影像組的所執行的所述調變計算和對應於所述第二影像組的所執行的所述調變計算的組合。
  3. 根據請求項1或2所述的方法,測量對應於在所述第一影像組中的每個影像的所述FWHM值是在所述第一影像組中的每個影像的中心估計視窗上加以執行的。
  4. 根據請求項1或2所述的方法,在對應於所述第一影像組的所識別出的所述最小FWHM切片中執行參數估計是在所識別出的所述最小FWHM切片的中心估計視窗上加以執行的。
  5. 根據請求項1或2所述的方法,還包括: 將所述報告中的參數與預定義的參數規範集進行比較; 確定所述報告中有參數偏離所述預定義的參數規範集;以及 至少部分地基於所述報告中有參數偏離所述預定義的參數規範集的所述確定來調整在所述光學系統中的一個或多個特徵。
  6. 根據請求項1或2所述的方法,所產生的所述報告包括從由以下項組成的群組中選擇的參數值:在所述光學系統中的物鏡和所述受驗對象之間的距離、對應於所述多個影像組中的每個影像的通道、角度刻度、調變、FWHM值、光柵間距和光柵角度。
  7. 根據請求項1或2所述的方法,還包括計算在所述第一影像組中的影像對之間的相移,所述影像對中的每對影像共享通道和光柵角度,所產生的所述報告包括所計算出的所述相移。
  8. 根據請求項7所述的方法,還包括: 將所計算出的所述相移與預定相移範圍進行比較; 確定所計算出的所述相移中的至少一個在所述預定相移範圍之外;以及 響應於確定所計算出的所述相移中的至少一個在所述預定相移範圍之外,計算增益值以校正在所述預定相移範圍之外的所述相移。
  9. 根據請求項8所述的方法,還包括: 至少部分地基於所計算出的所述增益值來建立新相移電壓; 將所述新相移電壓施加到壓電元件,所述壓電元件用於在所述光學系統內提供相移;以及 用施加到所述壓電元件的所述新相移電壓來捕獲新影像組。
  10. 一種處理器可讀取媒體,包括被配置為使計算系統通過執行根據請求項1到9中的任一項所述的方法來處理資料的內容。
  11. 一種裝置,包括: 第一光學組件,所述第一光學組件朝著目標發射結構化照明,所述第一光學組件包括: 光發射組件; 第一相位遮罩,所述第一相位遮罩將第一圖案賦予由所述光發射組件發射的光; 第二相位遮罩,所述第二相位遮罩將第二圖案賦予由所述光發射組件發射的光;及 相位調整組件,所述相位調整組件調整由所述第一相位遮罩和所述第二相位遮罩結構化的光的相位; 第二光學組件,所述第二光學組件包括捕獲由所述第一光學組件照明的所述目標的影像的影像感測器;以及 處理器,所述處理器執行下列操作: 接收多個影像組,所述多個影像組中的每個影像組包括使用所述第二光學組件在離受驗對象有一定距離處所捕獲的影像,所述距離不同於在所述多個影像組中的另外的影像組中影像被捕獲時離所述受驗對象的距離,所述多個影像組中的每個影像具有相關聯通道和相關聯光柵角度; 至少部分地基於對應於第一影像組的距離來使所述第一影像組與所述多個影像組隔離; 測量對應於所述第一影像組中每個影像的半高全寬(FWHM)值; 至少部分地基於在所述第一影像組中的所述影像上的平均FWHM值來識別最小FWHM切片; 對與所述第一影像組對應的所識別出的所述最小FWHM切片執行參數估計; 至少部分地基於對應於所述第一影像組的所執行的所述參數估計來識別最佳焦點對準參數; 至少部分地基於對應於所述第一影像組的所執行的所述參數估計來儲存所識別出的所述最佳焦點對準參數; 對所述第一影像組中的每個影像執行相位估計; 至少部分地基於對應於所述第一影像組的所識別出的所述最佳焦點對準參數來執行調變計算;以及 至少部分地基於對應於所述第一影像組的所執行的所述調變計算來產生呈現對應於光學系統的參數值的報告。
  12. 根據請求項11所述的裝置,所述目標包括樣本容器。
  13. 根據請求項11或12所述的裝置,所述第一光學組件還包括光柵切換器,所述光柵切換器選擇性地引導或允許從所述光發射組件發射的光朝向所述第一相位遮罩或所述第二相位遮罩。
  14. 根據請求項11或12所述的裝置,所述相位調整組件包括可移動反射元件。
  15. 根據請求項14所述的裝置,所述相位調整組件還包括致動器以移動所述可移動反射元件。
  16. 根據請求項11或12所述的裝置,所述處理器還計算在所述第一影像組中的影像對之間的相移,所述影像對中的每對影像共享通道和光柵角度。
  17. 根據請求項16所述的裝置,所述處理器還將所計算出的所述相移與預定相移範圍進行比較。
  18. 根據請求項17所述的裝置,所述處理器還進行以下操作: 確定所計算出的所述相移中的至少一個在所述預定相移範圍之外;以及 響應於確定所計算出的所述相移中的至少一個在所述預定相移範圍之外,計算增益值以校正在所述預定相移範圍之外的相移。
  19. 根據請求項18所述的裝置,所述處理器還至少部分地基於所計算出的所述增益值來建立新相移電壓,所述相位調整組件包括壓電元件以調整由所述第一相位遮罩和所述第二相位遮罩結構化的光的相位,所述新相移電壓啟動所述壓電元件以提供更接近所述預定值範圍的相移。
  20. 根據請求項11或12所述的裝置,還包括:包含預先形成的光學圖案的瞄準設備,所述瞄準設備使所述第一光學組件能夠朝著所述預先形成的光學圖案發射結構化照明,所述瞄準設備使所述影像感測器能夠捕獲由所述第一光學組件照明的所述預先形成的光學圖案的影像。
TW109142218A 2019-12-06 2020-12-01 提供參數估計的裝置和方法 TW202138867A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962944692P 2019-12-06 2019-12-06
US62/944,692 2019-12-06

Publications (1)

Publication Number Publication Date
TW202138867A true TW202138867A (zh) 2021-10-16

Family

ID=74003916

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142218A TW202138867A (zh) 2019-12-06 2020-12-01 提供參數估計的裝置和方法

Country Status (13)

Country Link
US (2) US11243390B2 (zh)
EP (1) EP4070145A1 (zh)
JP (1) JP2023503738A (zh)
KR (1) KR20220112175A (zh)
CN (2) CN115576094A (zh)
AU (1) AU2020398201A1 (zh)
BR (1) BR112021019595A2 (zh)
CA (1) CA3134978A1 (zh)
IL (2) IL302506A (zh)
MX (1) MX2021010437A (zh)
SA (1) SA521430479B1 (zh)
TW (1) TW202138867A (zh)
WO (1) WO2021113422A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2022004773A (es) * 2019-10-21 2022-05-16 Illumina Inc Sistemas y metodos para microscopia de iluminacion estructurada.
TW202138867A (zh) 2019-12-06 2021-10-16 美商伊路米納有限公司 提供參數估計的裝置和方法
CN113466192A (zh) * 2021-06-16 2021-10-01 浙大宁波理工学院 一种超高速实时超分辨率显微成像方法
US20230082607A1 (en) * 2021-09-14 2023-03-16 The Texas A&M University System Three dimensional strobo-stereoscopic imaging systems and associated methods
CN115615359B (zh) * 2022-11-15 2023-03-10 中国科学院长春光学精密机械与物理研究所 一种基于结构光投影的动态3d测量误差补偿方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771376B2 (en) * 1999-07-05 2004-08-03 Novartis Ag Sensor platform, apparatus incorporating the platform, and process using the platform
JP3727543B2 (ja) * 2000-05-10 2005-12-14 三菱電機株式会社 画像表示装置
US7230695B2 (en) * 2004-07-08 2007-06-12 Asahi Glass Company, Ltd. Defect repair device and defect repair method
JP4606831B2 (ja) * 2004-08-31 2011-01-05 浜松ホトニクス株式会社 光パターン形成方法および装置、ならびに光ピンセット装置
DE102006044229B4 (de) * 2006-09-20 2023-09-28 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters
US20100157086A1 (en) * 2008-12-15 2010-06-24 Illumina, Inc Dynamic autofocus method and system for assay imager
US8941720B2 (en) * 2011-02-02 2015-01-27 National Tsing Hua University Method of enhancing 3D image information density
JP6140737B2 (ja) * 2012-02-23 2017-05-31 ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ 多焦点構造化照射顕微鏡検査システムおよび方法
US9360660B2 (en) * 2012-05-24 2016-06-07 Northwestern University Methods and apparatus for laser scanning structured illumination microscopy and tomography
US9885859B2 (en) 2012-07-05 2018-02-06 Martin Russell Harris Structured illumination microscopy apparatus and method
US9350921B2 (en) 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
DK3039409T3 (da) 2013-08-28 2018-01-29 Illumina Inc Optisk opretningsværktøj
WO2016054118A1 (en) * 2014-09-29 2016-04-07 Howard Hughes Medical Institute Non-linear structured illumination microscopy
TWI772752B (zh) 2017-01-07 2022-08-01 美商伊路米納有限公司 光學偵測裝置以及方法
SG11201811323XA (en) 2017-01-31 2019-01-30 Illumina Inc Fluidic devices and methods of manufacturing the same
NL2020623B1 (en) * 2018-01-24 2019-07-30 Illumina Inc Structured illumination microscopy with line scanning
TW202138867A (zh) 2019-12-06 2021-10-16 美商伊路米納有限公司 提供參數估計的裝置和方法

Also Published As

Publication number Publication date
BR112021019595A2 (pt) 2021-11-30
IL302506A (en) 2023-06-01
IL286661B2 (en) 2023-10-01
US11243390B2 (en) 2022-02-08
US11885953B2 (en) 2024-01-30
SA521430479B1 (ar) 2023-01-10
CN112925090A (zh) 2021-06-08
CN112925090B (zh) 2022-11-04
AU2020398201A1 (en) 2021-09-23
CA3134978A1 (en) 2021-06-10
WO2021113422A8 (en) 2021-09-10
JP2023503738A (ja) 2023-02-01
WO2021113422A1 (en) 2021-06-10
CN115576094A (zh) 2023-01-06
MX2021010437A (es) 2022-01-11
US20220113532A1 (en) 2022-04-14
EP4070145A1 (en) 2022-10-12
IL286661A (en) 2021-10-31
IL286661B1 (en) 2023-06-01
US20210173194A1 (en) 2021-06-10
KR20220112175A (ko) 2022-08-10

Similar Documents

Publication Publication Date Title
TW202138867A (zh) 提供參數估計的裝置和方法
CN114829906B (zh) 用于结构化照明显微术的系统和方法
JP6195830B2 (ja) 適応光学系を有する顕微鏡検査法
CN101946202B (zh) 观察装置
TWI291013B (en) Digital-structured micro-optic three-dimensional confocal surface profile measuring system and technique
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
JP2016534389A (ja) 開口走査フーリエタイコグラフィ撮像
US20230393379A1 (en) Apparatus and method of estimating values from images
JP7126257B2 (ja) 光学計測装置
JP6979693B2 (ja) 光学計測装置
WO2000067060A1 (en) Methods and apparatus for improved depth resolution using out-of-focus information in microscopy
Kim et al. Color three-dimensional imaging based on patterned illumination using a negative pinhole array
JP2022118395A (ja) 光学計測装置及び光学計測装置のデータ演算方法
WO2008152605A1 (en) Multi-spot scanning optical device for imaging of a sample
Ou Computational Microscopy: Breaking the Limit of Conventional Optics