TW202138866A - 從影像中估計值的裝置和方法 - Google Patents

Abstract

一種用於產生關於結構化照明顯微鏡術（SIM）光學系統的失真模型的方法。相對於多個影像來移動滑動視窗以限定多個子分塊。每個子分塊表示相對應的影像的一部分。估計關於每個子分塊的參數。參數包括從包括以下項的群組中選擇的兩個或多個參數：調變、角度、間距、相位偏移和相位偏差。估計與每個子分塊相關聯的半高全寬（FWHM）值。至少部分地基於以預定格式儲存的估計出的參數和FWHM值與估計出的中心視窗參數的組合來估計失真模型。可至少部分地基於估計出的失真模型來產生二維影像。二維影像可包括指示在光學系統中何處出現失真的表示。

Description

從影像中估計值的裝置和方法

本發明大體上係關於從影像中估計值的裝置和方法。相關申請

本申請案主張2019年12月6日提交的標題為“Apparatus and Method of Estimating Values from Images”的美國臨時專利申請號62/944,687的優先權，該臨時專利申請案的記載內容通過引用被全部併入本文。

在該部分中討論的主題不應被假設為現有技術，僅僅作為它在該部分中的提及的結果。類似地，在該部分中提到的或者與作為背景提供的主題相關聯的問題不應被假設為先前在現有技術中已經被認識到的。在該部分中的主題僅代表不同的方法，其就本身而言也可對應於所主張的技術的實現方式。

結構化照明顯微鏡術（SIM）是一類由多個較低解析度源影像重建超解析度影像的計算成像演算法。為了確保成功的重建，源原始影像應該具有高品質。高品質原始影像需要成像儀器的光學性能的謹慎調整、校準和評估。除了傳統成像儀器表徵，SIM成像光學設備還有需要被進一步表徵和驗證的額外部件。

期望的是提供用於利用在SIM系統內、特別是在用於對生物樣本（例如核苷酸序列）成像的SIM系統內的成像光學設備和相關光學部件促進品質控制和校準的系統和方法。本文描述了用於處理使用SIM捕獲的影像以克服先前存在的挑戰並實現如本文所述的益處的設備、系統和方法。

一種實現方式涉及一種方法，該方法包括接收在光學系統中使用結構化照明顯微鏡術（SIM）捕獲的多個影像，多個影像中的每個影像具有第一視場。該方法還包括限定視窗，該視窗限定表示第一視場的一部分的第二視場，使得第二視場小於第一視場。該方法還包括相對於多個影像中的每個影像來移動視窗。該方法還包括當相對於多個影像中的每個影像來移動視窗時從多個影像中的每個影像捕獲多個子分塊，多個子分塊中的每個子分塊表示多個影像中的相對應的影像的一部分，由多個子分塊中的每個子分塊所表示的部分是在與多個子分塊中的子分塊被捕獲的時刻對應的定位處由第二視場限定的。該方法還包括估計與多個子分塊中的每個子分塊相關聯的參數，參數包括從包含以下項的群組中選擇的兩個或多個參數：調變、角度、間距、相位偏移和相位偏差。該方法還包括估計與多個子分塊中的每個子分塊相關聯的半高全寬（FWHM）值。該方法還包括以預定格式儲存估計出的參數和FWHM值。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，多個影像包括十二個影像。

在方法的一些實現方式中，諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中，多個影像包括與第一顏色相關聯的第一組影像和與第二顏色相關聯的第二組影像。

在方法的一些實現方式中，諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中，多個影像包括與第一光柵定向相關聯的第一組影像和與第二光柵定向相關聯的第二組影像。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，該方法還包括捕獲多個影像。該方法還包括當捕獲多個影像時相對於一個或多個相位遮罩將光源從第一定位移動到第二定位，第一定位提供第一光柵定向，以及第二定位提供第二光柵定向。

在方法的一些實現方式中，諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中，多個影像包括與第一相位相關聯的第一組影像和與第二相位相關聯的第二組影像。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，該方法還包括捕獲多個影像。該方法還包括當捕獲多個影像時將反射元件從第一定位移動到第二定位，第一定位提供第一相位，以及第二定位提供第二相位。

在方法的一些實現方式中，諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中，預定格式包括表格。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，表格是二維表格的形式。

在方法的一些實現方式中，諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中，該方法還包括估計中心視窗參數，該中心視窗參數對應於在第一視場內的中心區域。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，該方法還包括至少部分地基於以預定格式儲存的估計出的參數和FWHM值以及估計出的中心視窗參數的組合來估計失真模型。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，估計失真模型包括從以預定格式儲存的估計出的參數和FWHM值減去估計出的中心視窗參數。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，估計失真模型包括將二次曲面函數擬合到減去的結果。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，將二次曲面函數擬合到減去的結果包括使用收縮估計器。

在方法的一些實現方式中，諸如在本概述的前面四個段落中任一個段落中描述的那些方法中的任一個的一些實現方式中，該方法還包括通過計算針對估計出的失真模型的確定係數並將計算出的確定係數與預定閾值進行比較來驗證估計出的失真模型。

在方法的一些實現方式中，諸如在本概述的前面五個段落中任一個段落中描述的那些方法中的任一個的一些實現方式中，該方法還包括估計相位偏移並將相位偏移應用於估計出的失真模型。

在方法的一些實現方式中，諸如在本概述的前面六個段落中任一個段落中描述的那些方法中的任一個的一些實現方式中，該方法還包括至少部分地基於估計出的失真模型來產生二維影像，該二維影像包括指示在所述光學系統中何處出現失真的表示。

在方法的一些實現方式中，諸如在本概述的前面七個段落中任一個段落中描述的那些方法中的任一個的一些實現方式中，該方法還包括在光學系統中使用SIM來捕獲後續的多個影像。該方法還包括至少部分地基於多個影像來產生高解析度影像，產生高解析度影像包括至少部分地基於估計出的失真模型來調整來自後續的多個影像的資料。

在方法的一些實現方式中，諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中，該方法還包括在光學系統中使用SIM來捕獲後續的多個影像。該方法還包括至少部分地基於多個影像來產生高解析度影像，產生高解析度影像包括至少部分地基於以預定格式儲存的估計出的參數和FWHM值來調整來自後續的多個影像的資料。

在方法的一些實現方式中，諸如在本概述的前面兩個段落中任一個段落中描述的那些方法中的任一個的一些實現方式中，後續的多個影像包括核苷酸的影像。

在方法的一些實現方式中，諸如在本概述的任何前面段落中描述的那些方法中的任一個的一些實現方式中，該方法還包括在光學系統中使用SIM來捕獲多個影像，接收到的多個影像包括捕獲到的多個影像。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，多個捕獲到的影像是光學目標的影像。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，光學目標包括染料，並且對多個影像的捕獲包括激發染料中的分子。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，染料具有平均發射波長，並且激發染料中的分子包括朝著染料發射激發光，激發光具有基本上比染料的平均發射波長更長的波長。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，染料包括香豆素(Coumarin)染料。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，激發光具有至少大約520 nm的波長。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，該方法還包括在藍色波長處觀測綠色雷射產生的條紋。

在一些實現方式中，一種裝置包括朝著目標發射結構化照明的第一光學組件。第一光學組件包括光發射元件、將第一圖案賦予由光發射組件發射的光的第一相位遮罩、將第二圖案賦予由光發射組件發射的光的第二相位遮罩以及調整由第一相位遮罩和第二相位遮罩結構化的光的相位的相位調整組件。該裝置還包括第二光學組件。第二光學組件包括捕獲由第一光學組件照明的目標的影像的影像感測器。該裝置還包括處理器。處理器接收使用影像感測器捕獲的多個影像，多個影像中的每個影像具有第一視場。處理器還限定視窗，該視窗限定表示第一視場的一部分的第二視場，使得第二視場小於第一視場。處理器還相對於多個影像中的每個影像移動視窗。處理器還在相對於多個影像中的每個影像移動視窗時從多個影像中的每個影像捕獲多個子分塊，多個子分塊中的每個子分塊表示多個影像中的相對應的影像的一部分，由多個子分塊中的每個子分塊表示的部分是在與多個子分塊中的子分塊被捕獲的時刻對應的定位處由第二視場限定的。處理器還估計與多個子分塊中的每個子分塊相關聯的參數，參數包括從包含以下項的群組中選擇的兩個或多個參數：調變、角度、間距、相位偏移和相位偏差。處理器還估計與多個子分塊中的每個子分塊相關聯的半高全寬（FWHM）值。處理器還以預定格式儲存估計出的參數和FWHM值。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，目標包括樣本容器。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，目標包括在樣本容器中的生物樣本。

在裝置的一些實現方式中，諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中，光發射組件在至少兩個通道中發射光。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，至少兩個通道包括至少兩種顏色，至少兩種顏色中的每種顏色對應於至少兩個通道的相對應的通道。

在裝置的一些實現方式中，諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中，第一光學組件還包括光柵切換器（grating switcher）。光柵切換器選擇性地引導或允許從光發射組件發射的光朝向第一相位遮罩或第二相位遮罩。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，光柵切換器包括至少一個可移動反射元件。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，光柵切換器還包括支撐可移動反射元件的可旋轉板。可旋轉板是可旋轉的以從而相對於第一相位遮罩或第二相位遮罩選擇性地定位反射元件，以從而選擇性地引導或允許從光發射組件發射的光朝向第一相位遮罩或第二相位遮罩。

在裝置的一些實現方式中，諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中，相位調整組件包括可移動反射元件。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，相位調整組件還包括移動可移動反射元件的致動器。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，致動器沿著線性路徑移動可移動反射元件。

在裝置的一些實現方式中，諸如在本概述的兩個前面段落中任一個中描述的裝置中的任一個的一些實現方式中，致動器包括壓電元件。

在裝置的一些實現方式中，諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中，處理器還估計中心視窗參數，該中心視窗參數對應於在第一視場內的中心區域。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，處理器還至少部分地基於以預定格式儲存的估計出的參數和FWHM值以及估計出的中心視窗參數的組合來估計失真模型。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，處理器還通過包括從以預定格式儲存的估計出的參數和FWHM值減去估計出的中心視窗參數來估計失真模型。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，處理器還通過將二次曲面函數擬合到減去的結果來估計失真模式。

在裝置的一些實現方式中，諸如在本概述的前面段落中描述的裝置的一些實現方式中，處理器還通過包括使用收縮估計器將二次曲面函數擬合到減去的結果來估計失真模式。

在裝置的一些實現方式中，諸如在本概述的前面四個段落中任一個段落中描述的裝置中的任一個的一些實現方式中，處理器還通過計算針對估計出的失真模型的確定係數並將計算出的確定係數與預定閾值進行比較來驗證失真模型。

在裝置的一些實現方式中，諸如在本概述的任何前面五個段落中描述的裝置中的任一個的一些實現方式中，處理器還估計相位偏移，並將相位偏移應用於估計出的失真模型。

在裝置的一些實現方式中，諸如在本概述的前面六個段落中任一個段落中描述的裝置中的任一個的一些實現方式中，處理器還至少部分地基於估計出的失真模型來產生二維影像，該二維影像包括指示在所述光學系統中何處出現失真的表示。

在裝置的一些實現方式中，諸如在本概述的前面六個段落中任一個段落中描述的裝置中的任一個的一些實現方式中，處理器還在光學系統中使用SIM來捕獲後續的多個影像，並且至少部分地基於多個影像來產生高解析度影像。產生高解析度影像包括至少部分地基於估計出失真模型來調整來自後續的多個影像的資料。

在裝置的一些實現方式中，諸如在本概述的任何前面段落中描述的裝置中的任一個的一些實現方式中，處理器還在光學系統中使用SIM來捕獲後續的多個影像，並且至少部分地基於多個影像來產生高解析度影像。產生高解析度影像包括至少部分地基於以預定格式儲存的估計出的參數和FWHM值來調整來自後續的多個影像的資料。

在一些實現方式中，一種方法包括在光學系統中使用結構化照明顯微鏡術（SIM）來捕獲多個影像。多個捕獲到的影像是光學目標的影像。光學目標包括染料。捕獲多個影像包括激發染料中的分子。該染料具有平均發射波長。激發染料中的分子包括朝著染料發射激發光。激發光具有基本上比染料的平均發射波長更長的波長。該方法還包括觀測多個影像中的條紋。觀測到的條紋在與第一顏色相關聯的第一波長。觀測到的條紋通過光源發射與第二顏色相關聯的第二波長的光產生。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，染料包括香豆素染料。

在方法的一些實現方式中，諸如在本概述的前面段落中描述的方法的一些實現方式中，激發光具有至少大約520 nm的波長。

在方法的一些實現方式中，諸如在本概述的前面三個段落中任一個段落中描述的那些方法中的任一個的一些實現方式中，第一顏色是藍色，以及第二顏色是綠色。

在一些實現方式中，處理器可讀取媒體包括被配置為通過執行在本概述的前面段落中的任一個中描述的方法中的任一個或多個的方法來使計算系統處理資料的內容。

應當認識到，前述概念和下面更詳細討論的額外概念的所有組合（假設這樣的概念不相互不一致）被設想為本文記載的創造性主題的一部分，並且實現如本文描述的益處/優點。特別是，在本記載的結尾處出現的所主張的主題的所有組合被設想為本文記載的創造性主題的一部分。

在一些方面中，在本文記載了用於利用在SIM系統內、特別是在用於對生物樣本（例如核苷酸序列）成像的SIM系統內的成像光學設備和相關光學部件促進品質控制和校準的方法和系統。

在對生物樣本（例如核苷酸序列）成像的背景中，SIM可以提供從具有來自數百萬個樣本點的螢光信號的流動池中分辨密集地擠在一起的樣本的能力，從而減少對處理所需的試劑並增加影像處理輸送量。在一些情況下，SIM可以實現對比Abbe衍射限制更密集地被擠在一起的螢光樣本的分辨，以用於分辨毗鄰的光源。生物樣本可以在流動池上的有規律地間隔開的奈米井中，或者它們可以在隨機地分佈的簇中。相比於相關光學系統的Abbe衍射限制，相鄰的奈米井可以更靠近地定位在一起。雖然本示例涉及在流動池的奈米井上的生物樣本，但是本文的教導可以應用於在其他的各種佈置中的生物樣本和在採用用SIM的其他類型的系統中的生物樣本。因此，本文的教導不一定限於生物樣本的成像。

I．引言

結構化照明可以產生具有數倍於正常照明的所分辨的照明源的影像。具有變化的角度和相位位移的結構化照明的多個影像用於將緊密間隔的、以其他方式不可分辨的高空間頻率特徵變換成可由光學系統感測的較低頻率信號，且不違反Abbe衍射限制。這個限制是由於光和光學設備的性質而在物理上強加在成像上，並被表示為發射波長和最終物鏡的數值孔徑（NA）的函數。應用SIM重建，來自多個影像的資訊從空間域變換到傅立葉域內，被組合和處理，然後被重建為增強的影像。在SIM系統和方法中處理的一組較低解析度源影像可以被定義為“SIM堆疊”。可以用位於相對於所成像的主題的相對應的z定位或距離處的物鏡來獲取在每個SIM堆疊中的影像。可以獲取同一主題的幾個SIM堆疊，每個SIM堆疊具有的z定位與同一主題的其他SIM堆疊中的z定位不同。

在SIM中，在照明源和樣本之間使用光柵或產生干涉圖案，以產生照明圖案，例如在強度上根據正弦或餘弦函數變化的圖案。在SIM背景中，除了產生結構化照明圖案的表面以外，“光柵”有時還用於指所投影的結構化照明圖案。可選地，可以產生結構化照明圖案作為在分離的相干光束的部分之間的干涉圖案。

例如，如圖1A所示，結構化照明到樣本平面上的投影將照明圖案與在樣本中的螢光（或反射）源混合以引起有時被稱為Moire條紋或混疊的新信號。新信號將高空間頻率資訊移動到可以在不違反Abbe衍射限制的情況下捕獲的較低空間頻率。

在捕獲用如圖1A所示的1D強度調變圖案或如圖1B所示的2D強度調變圖案照明的樣本的影像之後，線性等式系統被解出並用於從Moire條紋或混疊的多個影像中提取包含從較高空間頻率移動到較低空間頻率的資訊的新信號的部分。

為瞭解出線性等式，用逐步移動或移位的結構化照明圖案捕獲若干影像。每角度變化相位的影像可以被捕獲以用於分析，且然後由用於傅立葉域移位和重組的波段被分離。增加影像的數量可以通過增加信雜比來提高所重建的影像的品質。然而，它也可以增加計算時間。波段分離的影像的傅立葉表示被移動和求和以產生重建和（reconstructed sum）。最終，逆快速傅立葉變換（FFT）由重建和來重建新的高解析度影像。

當與2D調變照明圖案一起使用時，用於1D調變照明的標準演算法可以涉及修改。這可以包括照明尖峰間距和照明尖峰角度估計，這可以涉及2D波段分離。修改還可包括Wicker相位估計，其從兩個點（而不是一個點）工作，以便在兩個維度上估計相位。1D干涉圖案可以由如圖1A所示的一維衍射光柵或者作為兩個光束的干涉圖案的結果而被產生。在一些實例中，在樣本的成像期間，可以在各種圖案相位（例如0°、120°和240°）處獲取樣本的條紋圖案的三個影像，使得在樣本上的每個位置被暴露於一定範圍的照明強度，該過程通過圍繞光軸將圖案定向旋轉到2個（例如45°、135°）或3個（例如0°、60°和120°）單獨角來進行重複。

圖1B示出了可由2D衍射光柵或由兩對相干光束的干涉產生的強度分佈。特別是，2D結構化照明可以由疊加在彼此上的兩個正交1D衍射光柵形成。如在1D結構化照明圖案的情況中的，2D照明圖案可以通過使用2D衍射光柵或通過在兩對相干光束之間產生有規律地重複的條紋圖案的干涉產生。兩條光束沿y軸產生強度圖案（水平明暗線），且因此被稱為y對入射光束。另外兩個光束沿x軸產生強度圖案（垂直明暗線），且被稱為x對入射光束。y對光束與x對光束的干涉產生2D照明圖案。圖1B示出了這種2D照明圖案的強度分佈。

圖1C示出了在被定位於矩形的角處的流動池的表面處的奈米井10的佈置。圖1C還示出了投影到奈米井10上的結構化照明條紋圖案的線20。在所示的示例中，線20相對於奈米井10的對準稍微有角度地偏移，使得線20既不與奈米井10的行也不與奈米井10的列完全對準（或平行）。可選地，線20可以具有與奈米井10的列或行的對準或者具有奈米井10的其他空間佈置的任何其他合適的空間關係。當使用1D結構化照明時，照明尖峰角度被選擇成使得影像沿著連接矩形的對角地相對的角的線被獲取。例如，可以在+45度和-45度角度下獲取兩組三個影像（總共六個影像）。因為沿對角線的距離大於在矩形的任兩條邊之間的距離，較高解析度影像被實現。奈米井10可以被佈置在其他幾何佈置中，例如在六邊形中。然後可以沿著六邊形的三條對角線中的每一條獲取三幅或多個影像，導致例如九個或十五個影像。

II．術語

如在本文對提到結構化照明參數所使用的，術語“頻率”意在指在結構化照明圖案（例如條紋或網格圖案）的條紋或線之間的間距的倒數，因為頻率和週期是逆向地相關的。例如，具有在條紋之間的較大間距的圖案將比具有在條紋之間的較低間距的圖案具有更低的頻率。

如在本文對提到結構化照明參數所使用的，術語“相位”意在指照明樣本的結構化照明圖案的相位。例如，可以通過相對於被照明的樣本平移結構化照明圖案來改變相位。

如在本文對提到結構化照明參數所使用的，術語“定向”意在指在結構化照明圖案（例如條紋或網格圖案）和由該圖案照明的樣本之間的相對定向。例如，可以通過相對於被照明的樣本旋轉結構化照明圖案來改變定向。

如在本文對提到結構化照明參數所使用的，術語“預測（predict）”或“預測（predicting）”意在指：（i）計算參數的值而不直接測量參數，或者（ii）從對應於參數的所捕獲的影像估計參數。例如，可以通過在時間t2和t3直接測量或估計（例如從所捕獲的相位影像）的相位值之間的內插來在時間t1預測結構化照明圖案的相位，其中t2 ＜ t1 ＜ t3。作為另一示例，可以通過從在時間t2和t3直接測量或估計（例如從所捕獲的相位影像）的頻率值外插來預測在時間t1結構化照明圖案的頻率，其中t2 ＜ t3 ＜ t1。

如在本文對提到由衍射光柵衍射的光所使用的，術語“級（order）”或“級數（order number）”意在指整數波長的數量，其表示對於相長干涉的來自衍射光柵的相鄰狹縫或結構的光的光程差。入射光束在重複的一系列光柵結構或其他分束結構上的相互作用可以將光束的部分從原始光束重定向或衍射到可預測的角方向內。術語“零級”或“零級最大值”意在指由衍射光柵發射的中心亮條紋，其中沒有衍射。術語“一級”意在指衍射到零級條紋的任一側的兩個亮條紋，其中光程差為± 1個波長。級越高則從原始光束衍射到的角度越大。光柵的屬性可以被操縱以控制有多少光束強度被引導到各個級內。例如，可以製造相位光柵以最大化非零級光束的透射，並最小化零級光束的透射。

如在本文所使用的，術語“光學傳遞函數”或它的縮寫形式“OTF”意在指將成像系統的回應描述為空間頻率的函數的複值傳遞函數。可以從點擴散函數的傅立葉變換匯出OTF。在本文描述的示例中，只有OTF的振幅部分是重要的。OTF的振幅部分可被稱為“調變傳遞函數”或它的縮寫形式“MTF”。

如在本文中對提到樣本所使用的，術語“特徵”意在指在圖案中的可以根據相對位置與其他點或區域區分開的點或區域。單獨的特徵可以包括特定類型的一個或多個分子。例如，特徵可以包括具有特定序列的單個靶核酸分子，或特徵可以包括具有相同序列（和/或其互補序列）的若干核酸分子。

如在本文所使用的，術語“xy平面”意在指由在笛卡爾坐標系統中的直線軸x和y定義的2維區域。當關於偵測器和由偵測器觀測的物體被使用時，該區域可以進一步被指定為與光束軸或在偵測器和被偵測的物體之間的觀測的方向正交。

如本文中所使用的，術語“z座標”意在指指定沿著與在笛卡爾坐標系中的xy平面正交的軸的點、線或區域的位置的資訊。在特定的實現方式中，z軸正交於由偵測器觀測的物體的區域。例如，可以沿著z軸指定光學系統的聚焦的方向。

如在本文所使用的，術語“光學地耦合”意在指一個元件適合於將光直接或間接地照到另一元件。

如在本文所使用的，以單數形式列舉並以詞“一（a）”或“一（an）”開始的元件或步驟應被理解為不排除多個所述元件或步驟，除非這樣的排除被明確規定。此外，對“一個實現方式”的提及沒有被規定為被解釋為排除也合併了所列舉的特徵的另外的實現方式的存在。此外，除非明確地規定相反的情況，否則“包括”或“具有”帶有特定屬性的一個元件或多個元件的實現方式可以包括另外的元件，而不管它們是否具有該屬性。

在整個這個說明書中使用的術語“基本上”、“大約”和“大致”用於描述並說明例如由於在處理中的偏差而引起的小波動。例如，它們可以指小於或等於±5%，例如小於或等於±2％，例如小於或等於±1％，例如小於或等於±0.5％，例如小於或等於±0.2％，例如小於或等於±0.1％，例如小於或等於±0.05％。

術語“基於”應該被理解為意指某事物至少部分地由它被指示為“基於”的事物確定。為了指示某事物必須一定完全由某個其他事物確定，它被描述為排他地基於無論它完全由什麼確定。

如在本文所使用的，根據背景，術語“核苷酸序列”或“多核苷酸序列”應被理解為包括多核苷酸分子以及分子的基礎序列。多核苷酸的序列可以包含指示特定物理特性的資訊（或對該資訊編碼）。

III．成像系統部件和佈置的示例

在SIM系統的一些實現方式中，線性偏振光束被引導穿過光學分束器，該光學分束器將光束分成兩個或多個單獨的級，該兩個或多個單獨的級可以被組合並作為具有正弦強度變化的干涉條紋圖案投影在所成像的樣本上。為了在樣本平面處實現最大調變，分離的光束在功率上是相等的。衍射光柵是可以產生具有高程度的相干性和穩定的傳播角度的光束的分束器的示例。當兩個這樣的光束組合時，在它們之間的干涉可以產生均勻的、有規律地重複的條紋圖案，其中間距由包括在干涉光束之間的角度的因素確定。在條紋週期（FP）、入射角（ɵ）和光的波長（λ）之間的關係可以用下面的等式（I）表示： FP = λ÷2sin(ɵ)，                                              （I） 其中條紋週期（FP）和光的波長（λ）具有相同的單位（例如nm），以及ɵ是相對於表面法線的用弧度表示的入射角。

圖2-4B示出了SIM成像系統可以採取的不同形式的示例。應當注意，雖然這些系統主要在產生1D照明圖案的SIM成像系統的背景中被描述，但是本文記載的技術可以用產生較高維照明圖案（例如二維網格圖案）的SIM成像系統來實現。

圖2示出了根據本文描述的一些實現方式的可實現結構化照明參數預測的SIM成像系統100。例如，系統100可以是利用空間結構化激發光以對生物樣本成像的結構化照明螢光顯微系統。

在圖2的示例中，光發射器150被配置為輸出由準直透鏡151準直的光束。準直光由光結構化光學組件155結構化（圖案化（patterned）），並由分色鏡160引導通過物鏡142到位於運動平臺170上的樣本容器110的樣本上。在螢光樣本的情況下，樣本回應於結構化激發光而發出螢光，並且所得到的光由物鏡142收集並被引導到相機系統140的影像感測器以偵測螢光。

光結構化光學組件155包括一個或多個光學衍射光柵或其他分束元件（例如分束器立方體或板）以產生投影到樣本容器110的樣本上的光圖案（例如通常正弦樣的條紋）。衍射光柵可以是一維或二維透射或反射光柵。衍射光柵可以是正弦振幅光柵或正弦相位光柵。在一些版本中，光結構化光學組件155包括一對相位遮罩，其中每個相位遮罩包括一塊玻璃，其具有蝕刻到玻璃內的刻度。

在一些實現方式中，衍射光柵可以不利用旋轉台來改變結構化照明圖案的定向。在其他實現方式中，衍射光柵可以安裝在旋轉臺上。在一些實現方式中，衍射光柵在成像系統的操作期間可以是固定的（即，不需要旋轉或線性運動）。例如，在下面進一步描述的特定實現方式中，衍射光柵可以包括垂直於彼此定向的兩個固定的一維透射衍射光柵（例如水平衍射光柵和垂直衍射光柵）。

如在圖2的示例中所示的，光結構化光學組件155輸出第一級衍射光束，同時阻擋或最小化所有其他級，包括零級。然而，在可選的實現方式中，可以將另外的級的光投影到樣本上。

在每個成像週期期間，成像系統100利用光結構化光學組件155來獲取在各種相位處的多個影像，條紋圖案在調變方向上（例如在x-y平面中並垂直於條紋）橫向地移位，這個過程通過圍繞光軸（即，相對於樣本的x-y平面）旋轉圖案定向來重複一次或多次。然後，所捕獲的影像可以用計算方式被重建以產生較高解析度影像（例如，具有大約兩倍於單獨影像的橫向空間解析度的影像）。

在系統100中，光發射器150可以是非相干光發射器（例如，發射由一個或多個激發二極體輸出的光束）或者相干光發射器，例如由一個或多個雷射器或雷射二極體輸出的光的發射器。如在系統100的示例中所示的，光發射器150包括用於引導待輸出的光束的光纖152。然而，可以使用光發射器150的其它配置。在多通道成像系統（例如，利用光的多個波長的的多通道螢光顯微鏡）中利用結構化照明的實現方式中，光纖152可以光學地耦合到多個不同的光源（未示出），每個光源發射不同波長的光。儘管系統100被示為具有單個光發射器150，但是在一些實現方式中多個光發射器150可以被包括。例如，在下面進一步討論的利用多個臂的結構化照明成像系統的情況下，可以包括多個光發射器。

在一些實現方式中，系統100可以包括投影透鏡156，投影透鏡156可以包括沿著z軸鉸接的透鏡元件以調整結構化光束形狀和路徑。例如，投影透鏡156的部件可以被鉸接以說明在容器110中的樣本的樣本厚度的範圍（例如不同的蓋玻片厚度）。

在系統100的示例中，流體輸送模組或設備190可以將試劑（例如螢光標記的核苷酸、緩衝液、酶、裂解試劑等）的流引導至（並且穿過）樣本容器110和廢料排出閥120。樣本容器110可包括一個或多個基底，在該一個或多個基底上提供樣本。例如，在系統分析大量不同的核酸序列的情況下，樣本容器110可以包括一個或更多個基底，待測序的核酸在該一個或多個基底上被鍵合、附著或關聯。基底可以包括核酸可附著到的任何惰性基底或基質，例如玻璃表面、塑膠表面、乳膠、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯醯胺凝膠、金表面和矽晶圓。在一些應用中，基底在通道或在橫越樣本容器110的矩陣或陣列中形成的多個定位處的其他區域內。系統100還可包括可以可選地調節在樣本容器110內的流體的溫度條件的溫度站致動器130和加熱器/冷卻器135。

在特定實現方式中，樣本容器110可以被實現為包括透明蓋板、基底和在其間包含的液體的圖案化流動池，並且生物樣本可以位於透明蓋板的內表面或基底的內表面處。流動池可以包括其被圖案化到基底內的所定義的陣列（例如六邊形陣列、矩形陣列等）內的大量（例如數千、數百萬或數十億）井（也被稱為奈米井）或區域。每個區域可以形成生物樣本（例如DNA、RNA或例如使用邊合成測序而被測序的另一基因材料）的簇（例如單克隆簇）。流動池還可以被劃分成多個間隔開的線道（例如八個線道），每個流道包括簇的六邊形陣列。

樣本容器110可以被安裝在樣本台170上以提供樣本容器110相對於物鏡142的移動和對準。樣本台可具有一個或多個致動器以允許它在三個維度中的任一個維度上移動。例如，從笛卡爾坐標系統方面來說，可提供致動器以允許台相對於物鏡在x、y和z方向上移動。這可以允許在樣本容器110上的一個或多個樣本位置被定位成與物鏡142光學地對準。可以通過移動樣本台本身、物鏡、成像系統的某個其他部件或前述項的任何組合來實現樣本台170相對於物鏡142的移動。另外的實現方式還可以包括在靜止樣本上方移動整個成像系統。可選地，樣本容器110可以在成像期間是固定的。

在一些實現方式中，聚焦（z軸）部件175可被包括以控制光學部件相對於樣本容器110在聚焦方向（通常被稱為z軸或z方向）上的定位。聚焦部件175可包括物理地耦合到光學台或樣本台或兩者的一個或多個致動器，以使在樣本台170上的樣本容器110相對於光學部件（例如物鏡142）移動以為成像操作提供適當的聚焦。例如，致動器可以例如通過直接或間接地機械、磁性、流體地或以其他方式附接到台或與台接觸來物理地耦合到相應的台。一個或多個致動器可以被配置為在將樣本台保持在同一平面內（例如，保持垂直於光軸的水平或橫平姿態）時在z方向上移動該台。一個或多個致動器也可以被配置為使台傾斜。例如，可以這樣做了，使得樣本容器110可以動態地被調整（leveled）以說明在它的表面中的任何坡度。

從樣本位置處的被成像的測試樣本發出的結構化光可以穿過分色鏡160被引導至相機系統140的一個或多個偵測器。在一些實現方式中，可包括具有一個或多個發射濾波器的濾波器切換組件165，其中一個或多個發射濾波器可用於穿過特定的發射波長並阻擋（或反射）其他發射波長。例如，一個或多個發射濾波器可用於在成像系統的不同通道之間切換。在特定實現方式中，發射濾波器可被實現為分色鏡，其將不同波長的光直接發射到相機系統140的不同影像感測器。

相機系統140可包括一個或多個影像感測器以監測和跟蹤樣本容器110的成像（例如測序）。相機系統140可被實現為例如電荷耦合設備（CCD）影像感測器攝像機，但是其他影像感測器技術（例如有源像素感測器）也可以被使用。雖然相機系統140和相關光學部件在圖2中被示為被定位於樣本容器110上方，但是一個或多個影像感測器或其他相機部件可以多種其他方式被合併到系統100中，這鑒於本文的教導對於本領域中的技術人員明顯的。例如，一個或多個影像感測器可以被定位於樣本容器110下方，或者甚至可以集成到樣本容器110中。

來自相機系統140的輸出資料（例如影像）可以被傳遞到可以被實現為軟體應用程式的即時SIM成像部件191，如下面進一步所述，該軟體應用程式可以重建在每個成像週期期間捕獲的影像以創建具有較高空間解析度的影像。所重建的影像可以考慮隨著時間的過去而預測的結構照明參數的變化。此外，給定先前所估計和/或預測的SIM參數，SIM成像部件191可用於跟蹤所預測的SIM參數和/或做出SIM參數的預測。

控制器195可以被提供來控制結構化照明成像系統100的操作，包括使系統100的各種光學部件同步。控制器可以被實現來控制系統操作的方面，例如光結構化光學組件155的配置（例如，衍射光柵的選擇和/或線性平移）、投影透鏡156的移動、聚焦部件175的啟動、台移動和成像操作。控制器還可以被實現來控制系統100的硬體元件以校正結構化照明參數隨著時間的變化。例如，控制器可以被配置成將控制信號傳輸到馬達或控制光結構化光學組件155、運動台170或系統100的一些其他元件的配置的其他設備，以校正或補償結構化照明相位、頻率和/或定向隨著時間的變化。在實現方式中，可以根據使用SIM成像部件191預測的結構化照明參數來傳輸這些信號。在一些實現方式中，控制器195可以包括用於儲存對應於不同時間和/或樣本定位的所預測和/或估計的結構化照明參數的記憶體。

在各種實現方式中，可以使用硬體、演算法（例如機器可執行指令）或前述項的組合來實現控制器195。例如，在一些實現方式中，控制器可以包括一個或多個CPU、GPU或具有相關記憶體的處理器。作為另一示例，控制器可包括控制操作的硬體或其他電路，例如電腦處理器和其上儲存有機器可讀取指令的非暫時性電腦可讀取媒體。例如，該電路可以包括下列項中的一個或多個：現場可程式設計閘陣列（FPGA）、專用積體電路（ASIC）、可程式設計邏輯裝置（PLD）、複雜可程式設計邏輯裝置（CPLD）、可程式設計邏輯陣列（PLA）、可程式設計陣列邏輯（PAL）和其他類似的處理設備或電路。作為又一個示例，控制器可以包括該電路與一個或多個處理器的組合。

圖3示出了可合併到系統中的可選的光學組件200（例如，代替光學組件155）的示例。該示例的光學組件200包括光發射組件210、固定反射元件220、相位遮罩組件230、光柵切換器250、可調整反射元件270和投影透鏡組件280。光發射組件210可以包括多種部件，包括但不限於相干光的源（例如至少一個雷射器等）和一對變形棱鏡、非相干光的源和準直器或者如鑒於本文的教導將對本領域中的技術人員明顯的任何其他合適的部件。在一些版本中，光發射組件210可操作來經由兩個或多個單獨通道（例如藍色通道和綠色通道）發射光。在光在兩個或多個單獨通道中發射的版本中，系統100可以包括兩個或多個對應的影像感測器，使得每個影像感測器專用於對應的影像感測器。此外，在一些版本中，光發射組件210可操作來以預定頻率以脈衝形式發射光（例如，使用高速快門等）。

本示例的反射元件220包括反射鏡，其定位相對於光學組件200的其他部件是固定的。如下面更詳細描述的，反射元件220被定位和配置成在光學組件200的操作期間朝著相位遮罩組件230和光柵切換器250反射從光發射組件210發射的光。

如在圖4中最佳所見，本示例的相位遮罩組件230包括固定地安裝到底座240的一對三角形玻璃元件232、242。每個玻璃元件232、242包括沿著玻璃元件232、242一側的反射器234、244。每個玻璃元件232、242還包括沿著玻璃元件232、242的另一側的相位遮罩236、246。在本示例中，每個相位遮罩236、246包括形成被蝕刻到玻璃元件232、242的玻璃內的光柵或條紋圖案的刻度（例如平行狹縫或凹槽等）。刻度間距可以被選擇以在合適的角度下衍射光，並為了系統100的操作被調整到所成像的樣本的最小可分辨特徵尺寸。如下面將更詳細描述的，這些相位遮罩236、246被配置成在光學組件200的操作期間產生Moire條紋或混疊。雖然在本示例中通過在玻璃元件232、242的玻璃中的所蝕刻的刻度形成相位遮罩236、246，但是相位遮罩236、246可以被形成的其他合適的方式鑒於本文的教導對本領域中的技術人員將是明顯的。在光學組件200的操作期間，整個相位遮罩元件230相對於光學組件200的其他部件保持靜止。

為了提高系統的效率，可以阻擋（即，從投影在樣本110上的照明圖案中濾除）由每個相位遮罩236、246輸出的零級光束和所有其他更高級衍射光束。例如，光束阻擋元件（未示出）（例如順序濾波器）可以插入到在相位遮罩組件230之後的光路內。在一些實現方式中，衍射光柵相位遮罩236、246可以被配置成將光束衍射成僅第一級，並且零級（未衍射的光束）可以被某個光束阻擋元件阻擋。

如圖3所示，本示例的光柵切換器250包括安裝到軸杆254的板252。軸杆254還與馬達256耦合，馬達256可操作來使軸杆254和板252繞著軸A旋轉。板252的一端260包括一對反射鏡262、264，每個反射鏡262、264被安裝到板252的相對側。板252的另一端266限定允許光通過的開口268，如下所述。在一些版本中，馬達256是步進馬達。可選地，馬達256可以採取任何其他合適的形式；以及馬達256可以用旋轉運動的任何其他合適的源代替。如圖5A-5D所示並且如下面將更詳細描述的，馬達256可被啟動以通過繞著軸A旋轉軸杆254和板252來在第一狀態（圖5A-5B）和第二狀態（圖5C-5D）之間轉換光柵切換器250。當光柵切換器250在第一狀態中時，光柵切換器250和相位遮罩組件230可提供第一光柵角度。當光柵切換器250在第二狀態中時，光柵切換器250和相位遮罩組件230可以提供第二光柵角度。

也如圖3所示，本示例的可調整反射元件270包括與致動器272耦合的反射鏡，使得致動器272可操作來沿著線性路徑LP1驅動反射元件270。在這個示例中，線性路徑LP1與軸A平行。在一些版本中，致動器272包括壓電元件。作為另一示例，致動器272可以包括螺線管。在一些其他版本中，致動器272包括與可操作來將旋轉運動轉換成線性運動的機械元件（例如，齒條和小齒輪或蝸輪和螺母等）耦合的步進馬達或其他旋轉驅動源。如下面更詳細描述的，隨著致動器272改變反射元件270沿著線性路徑LP1的定位，致動器272和反射元件270一起可操作來提供對通過光學組件200傳輸的光的相位調變。換句話說，致動器272和反射元件270可以一起提供相位調整元件。

作為示例，致動器272可操作來在致動器272的操作期間在大約5 µm的整個運動範圍內驅動反射元件270，這可提供大約240度的條紋運動，如下面更詳細所述。可選地，致動器272可操作來在致動器272的操作期間在範圍從大約2 µm到大約10 µm的整個運動範圍內驅動反射元件270。如下面更詳細描述的，致動器272可被驅動以在沿著線性路徑的整個運動範圍內阻止反射元件在兩個、三個或多個不同定位處的運動。

投影透鏡組件280可以包括一個或多個透鏡元件（例如管狀透鏡）和如鑒於本文的教導對本領域中的技術人員將明顯的各種其他部件。穿過投影透鏡組件280的光最終可以到達樣本容器110（例如流動池等）。在一些實例中，這可以使在樣本容器110中的生物材料發出螢光，這樣的螢光被影像感測器（例如相機系統140的影像感測器）拾取，以實現對生物材料的分析。本示例的投影透鏡組件280與致動器282耦合，該致動器282可操作來沿著線性路徑LP2驅動投影透鏡組件280的至少一部分。在一些版本中，致動器282包括壓電元件。作為另一示例，致動器282可以包括螺線管。在一些其他版本中，致動器282包括與可操作來將旋轉運動轉換成線性運動的機械元件（例如，齒條和小齒輪或蝸輪和螺母等）耦合的步進馬達或其他旋轉驅動源。如下面更詳細描述的，隨著致動器282改變投影透鏡組件280的至少一部分沿著線性路徑LP2的定位，致動器282和投影透鏡組件280一起可操作來提供SIM光柵焦平面的調整。

如上面所提到的，本示例的系統100包括控制器195。控制器195可用於控制光學組件200的操作和系統100的其他特徵，包括使光學組件200和系統100的各種部件同步。控制器195可以被實現來控制系統操作的方面，例如馬達256的啟動、致動器272的啟動、投影透鏡組件280的一個或多個元件經由致動器282的移動、聚焦部件175的啟動、相機系統140的啟動以及其他成像操作。控制器還可以被實現來控制系統100的硬體元件以校正結構化照明參數隨著時間的變化。例如，控制器可以被配置為向設備（例如馬達256、致動器272等）傳輸控制信號以校正或補償結構化照明相位、頻率和/或定向隨著時間的變化。在實現方式中，可以根據使用SIM成像部件預測的結構化照明參數來傳輸這些信號。在一些實現方式中，控制器可以包括用於儲存對應於不同時間和/或樣本定位的所預測和/或估計的結構化照明參數的記憶體。

圖5A-5D示出了在各種操作階段的光學組件200。在圖5A所示的階段，光發射組件210朝著反射元件220發射光，反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在這個階段，光柵切換器250處於第一狀態中，使得從反射元件220反射的光由反射鏡262進一步反射。由反射鏡262反射的光穿過玻璃元件242並到達反射器244，反射器244朝著相位遮罩246反射光。當光穿過相位遮罩246時，相位遮罩246向光提供圖案化形式。該圖案化或結構化光然後穿過板252的開口268，並到達反射元件270，反射元件270然後朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後，結構化光到達作為目標進行成像的物體（例如樣本容器110）；以及相機系統140捕獲目標物體的第一影像。

在利用圖5A所示的光學組件200的配置獲取第一影像之後，致動器272被啟動以將反射元件270從線性路徑LP1上的第一定位驅動到線性路徑LP1上的第二定位，使得光學組件200然後處於圖5B所示的配置。在圖5B所示的階段，光發射組件210朝著反射元件220發射光，反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在這個階段，光柵切換器250處於第一狀態中，使得從反射元件220反射的光被反射鏡262進一步反射。由反射鏡262反射的光穿過玻璃元件242並到達反射器244，反射器244朝著相位遮罩246反射光。當光穿過相位遮罩246時，相位遮罩246向光提供圖案化形式。該圖案化或結構化光然後穿過板252的開口268，並到達反射元件270，反射元件270然後朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後，結構化光到達作為目標進行成像的物體（例如樣本容器110）；以及相機系統140捕獲目標物體的另一影像。

在圖5A所示的階段和圖5B所示的階段之間的唯一差異是反射元件270處於第二狀態中（即，在沿著線性路徑LP1的第二定位處）。因此，因為反射元件270在這個操作階段期間在不同的定位處，所以用在圖5B所示的配置中的光學組件200所捕獲的影像將具有與用在圖5A所示的配置中的光學組件200所捕獲的影像不同的相位。

在本文描述的過程的一些版本中，在行進到圖5C所示和下面描述的階段之前，當光柵切換器250處於第一狀態中時，致動器272被啟動以將反射元件270沿著線性路徑LP1驅動到第三定位。在該過程的這樣版本中，當光柵切換器250處於第一狀態中時，相機系統140可以捕獲三個影像，這些影像中的每一個影像基於反射元件270沿著線性路徑LP1的相應定位而代表不同的相位。當然，致動器272也可以被啟動以將反射構件270驅動到第四定位、第五定位等，使得當光柵切換器250處於第一狀態時的任何期望數量的相位可以在影像的捕獲期間被採用。

在光柵切換器250處於圖5A-5B所示的第一狀態中的情況下期望數量的影像被獲取之後，馬達256被啟動以使軸杆254繞著軸A旋轉，從而使板252繞著軸A旋轉以將光柵切換器250轉變到圖5C-5D所示的第二狀態。在圖5C所示的階段，致動器272也被啟動以將反射元件270從第二狀態（即，在線性路徑LP1上的第二定位）返回到第一狀態（即，在線性路徑LP1上的第一定位）。在一些其他版本中，緊接著在光柵切換器250從第一狀態轉變到第二狀態之後，反射元件270保持在第二狀態中；以及當反射元件270處於第二狀態中並且光柵切換器250處於第二狀態中時，在影像被捕獲之後，反射元件270轉變到第一狀態。

在圖5C所示的階段，光發射組件210朝著反射元件220發射光，反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在光柵切換器250現在處於第二狀態中的情況下，從反射元件220反射的光穿過開口268並進一步穿過玻璃元件232。穿過玻璃元件232的光到達反射器234，反射器234朝著相位遮罩236反射光。當光穿過相位遮罩236時，相位遮罩236向光提供圖案化形式。然後，該圖案化或結構化光從反射鏡264反射。反射鏡264朝著反射元件270反射結構化光，然後反射元件270朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後，結構化光到達作為目標進行成像的物體（例如樣本容器110）；以及相機系統140捕獲目標物體的另一影像。

在影像利用圖5C所示的光學組件200的配置被獲取之後，致動器272被啟動以將反射元件270從第一狀態（即，在線性路徑LP1上的第一定位）驅動到第二狀態（即，在線性路徑LP1上的第二定位），使得光學組件200然後處於圖5D所示的配置。在圖5D所示的階段，光發射組件210朝著反射元件220發射光，反射元件220朝著相位遮罩組件230和光柵切換器250反射光。在光柵切換器250現在處於第二狀態的情況下，從反射元件220反射的光穿過開口268並進一步穿過玻璃元件232。穿過玻璃元件232的光到達反射器234，反射器234朝著相位遮罩236反射光。當光穿過相位遮罩236時，相位遮罩236向光提供圖案化形式。然後，該圖案化或結構化光從反射鏡264反射。反射鏡264朝著反射元件270反射結構化光，然後反射元件270朝著投影透鏡組件280反射結構化光。在穿過投影透鏡組件280之後，結構化光到達作為目標進行成像的物體（例如樣本容器110）；以及相機系統140捕獲目標物體的另一影像。

在圖5C所示的階段和圖5D所示的階段之間的唯一差異是反射元件270處於第二狀態中（即，在沿著線性路徑LP1的第二定位處）。因此，因為反射元件270在這個操作階段期間處於不同的定位處，所以在圖5D所示的配置中用光學組件200所捕獲的影像將具有與在圖5C所示的配置中用光學組件200所捕獲的影像不同的相位。

在本文描述的過程的一些版本中，在完成捕獲影像的過程之前，致動器272被啟動以當光柵切換器250處於第二狀態中時將反射元件270沿著線性路徑LP1驅動到第三定位。在該過程的這樣版本中，當光柵切換器250處於第二狀態中時，相機系統140可以捕獲三個影像，這些影像中的每一個影像基於反射元件270沿著線性路徑LP1的相應定位而代表不同的相位。當然，致動器272也可以被啟動以將反射構件270驅動到第四定位、第五定位等，使得當光柵切換器250處於第二狀態中時的任何期望數量的相位可以在影像的捕獲期間被採用。

如上面所提到的，可以通過兩個或多個單獨通道（例如藍色通道和綠色通道）來執行影像捕獲過程。換句話說，可以通過兩個或多個單獨通道來執行上面參考圖5A-5D描述的過程。光發射組件210可操作來提供兩個通道；或者每個通道可以具有它自己的光發射組件210。在一些版本中，通過光學組件200來同時啟動兩個單獨通道。在一些其他版本中，第一通道在圖5A所示的階段期間被啟動，然後第二通道在圖5A所示的階段期間被啟動，然後第一通道在圖5B所示的階段期間被啟動，然後第二通道在圖5B所示的階段期間被啟動，依此類推，直到第二通道在圖5D所示的階段期間被啟動為止。作為又一示例，每個通道可以具有它自己專用的光學組件200。在一些這樣版本中，可以利用另外的光學部件來使每個光學組件200的投影透鏡組件280能夠將來自每個通道的光投影到同一目標（例如樣本容器110）。鑒於本文的教導，一個或多個光學組件200可以實現兩個或多個通道的使用的其他合適的方式對本領域中的技術人員將明顯。還應當理解，在系統100內的其他部件（例如濾波器切換元件165）還可以實現兩個或多個通道的使用。在一個通道是藍色的而另一個通道是綠色的版本中，藍色通道可以利用在從大約450 nm到大約500 nm的範圍內的波長處的光操作；以及綠色通道可以利用在從大約500 nm到大約570 nm的範圍內的波長處的光操作。

也如上面所提到的，在系統100中使用光學組件200成像的主題可以包括在流動池的奈米井中的一個或多個生物樣本（例如核苷酸等），使得一些形式的樣本容器110可以包括流動池。這種奈米井可以規則的重複圖案來佈置。對於矩形圖案，可以基本上沿著連接在圖案中的矩形的相對角的兩條對角線使用兩個結構化照明角，使得結構化照明的強度尖峰被定向成基本上垂直於兩條對角線。可選地，結構化照明角可以沿著與矩形奈米井圖案方向相同的方向（即，不沿著矩形的相對角）被定向。

對於奈米井的重複的六邊形圖案，在三條對角線連接在圖案中的六邊形的相對角的情況下，可以使用三個結構化照明角，強度尖峰基本上垂直於三條對角線。可選地，可以與具有奈米井的六邊形圖案的流動池結合來使用兩角照明圖案，使得不一定在所有情況下都與奈米井的六邊形圖案結合來使用三個結構化照明角。此外，結構化照射明角可以沿著與六邊形奈米井圖案方向相同的方向（即，不沿著六邊形的相對角）被定向。

不管奈米井的圖案的種類如何，相比於相關光學系統的Abbe衍射限制，相鄰的奈米井都可以更靠近地被定位在一起。可選地，樣本可以隨機地分佈在沒有奈米井的成像平面上。或者，樣本可以規則地佈置在除了奈米井之外的某個結構上的成像平面上。

IV．影像處理演算法的示例

A．SIM影像處理方法的概述

由光學感測器或影像感測器（例如，如集成到相機系統140中的）捕獲的影像可以被稱為分塊。如下所述的影像處理演算法可以將所捕獲的影像塊細分成子分塊。每個子分塊可以被獨立地評估。接近中心的子分塊可以與其他子分塊不同地被處理。流動池的成像週期可以捕獲具有一些重疊的影像分塊。子分塊可以彼此獨立地、甚至並行地被重建。從增強的子分塊進行的重建可以被縫合在一起以創建具有增強的空間解析度的所重建的分塊。在一些實例中，影像分塊被細分成子分塊，使得峰線在子分塊內近似均勻地間隔開，從而從橫越透鏡的視場所重建的子分塊實現更好的影像品質。

在一些實例中，為每個子分塊映射至少三個參數。這樣的參數可以包括照明尖峰角度、照明尖峰間距和相位位移。照明尖峰角度也可以被稱為光柵角度。照明尖峰間距也可以被稱為光柵間距。換句話說，照明尖峰間距定義光柵的週期（例如，在由相位遮罩236、246定義的平行線之間的間距）。相位位移或相位是投影到樣本平面上的結構化照明圖案或光柵的移動（例如，基於如由致動器272驅動的反射元件270沿著線性路徑LP1的定位）。換句話說，相位可以被定義為在正交於光柵的方向上從公共參考點到重複照明圖案的起點的距離。相位可以用弧度或度數表示；並且可以被認為是重複模式週期的分數（a fraction of the repeating pattern periodicity）。相位位移也可被稱為光柵相位。可以使用二次曲面畸變模型來映射角度和間距。

下文描述了可用於估計用於SIM影像重建的參數的技術的示例。所記載的一些技術補償由於透鏡缺陷而失真或彎曲的條紋峰線。被期望是平行的圖案線在影像的中心附近開始平行，但傾向於在透鏡的邊緣附近會聚或變得不平行。這影響照明尖峰角度或定向、照明尖峰間距和相位偏移。圖8A示出了將影像分塊分成被稱為子分塊或子視窗或子場的重疊區域。子分塊足夠小，使得為整個子分塊給出令人滿意的重建的參數可以被設置。在一些版本中，每個子分塊包括光學感測器的512 x 512個像素。可以使用更大或更小的數量，包括但不限於256、400、1024、2048和4096；或者在256到4096個像素的範圍內。子分塊可以重疊光學感測器的至少2個像素。可以使用更大或更小的數量。例如，對於512像素寬的視窗，可以使用最多達256像素重疊；以及對於1024像素寬，可以使用最多達512重疊。

可以在兩個步驟中執行參數估計。首先，可以對影像的近中心子分塊執行參數估計。然後，可以對其他子分塊執行參數估計，並與近中心子分塊比較，以相對於近中心子分塊的參數來確定失真和對失真的校正。

圖6A至圖6C示出了全視場（FOV）的物理方面。在一個實現方式中，使用5472像素x 3694像素的矩形感測器。當然，可以使用正方形感測器或不同尺寸的感測器，例如，5472 x 5472個像素，或4800 x 4800個像素。當使用矩形感測器時，最靠近透鏡的邊緣的失真最大。透鏡常常是圓形的，所以矩形感測器在長邊上不與在短邊上一樣靠近透鏡的邊緣。

圖6A呈現示出橫越全視場（FOV）的條紋間距失真的兩個圖示。在左側的圖300是由於進行放大的透鏡的失真而使平行線彎曲的簡化描繪300。所描繪的線被規定為在影像平面中是平行的。通過透鏡被觀測，它們看起來相對於在中心中的間距會聚在右端和左端處。在右側的圖302是另一個放大的示例。在這個圖中，條紋線在左上角和右下角之間被對角地定向。條紋間距被放大，以使其更容易被看到。條紋線相對於中心會聚在左上角和右下角處。對於特定製造商的透鏡，條紋圖案可以是不均勻的。

圖6B和圖6C描繪了對於綠色和藍色雷射照明的在影像平面中的名義上平行的條紋尖峰之間的影像中的間距的測量。色標指示在2.8和2.22之間的間距的變化。在兩個圖中，色標指示在平行線之間的中心間距為約2.14。在圖6B的右上角中看到在綠色波長照明下的不規則性。在圖6C中沿著右邊邊緣和左邊緣看到在藍色波長照明下的更明顯的不規則性。在這些圖中，條紋圖案是從圖的左下角到右上角的一系列成45°角的平行線。因此，在圖8C中在箭頭的方向上測量間距。這些圖說明瞭對由透鏡引起的失真的校正。因為透鏡單獨地被製造和安裝，所以期望在組裝之後對單獨系統的校準和校正。

圖6D示出了在影像分塊中的全視場（FOV）的子分塊或子場。在該圖中，所示的子分塊是512像素 x 512像素。這些子分塊可以細分所示視場，或者可以重疊。子分塊可以更大或更小。例如，400x400和1024x1024像素子分塊已被證明是可使用的。該圖示出了5x7個子分塊。上面說到的較大的感測器可以具有8x11個子分塊。可以使用子分塊的其他配置，例如3x3、5x5、5x7、9x9、9x16。較大的感測器可以分成更多的子分塊。子分塊可以重疊光學感測器的至少2個像素。更大和更小數量的像素可以用於在子分塊之間的重疊。例如，對於512像素寬的子分塊，可以使用最多達256像素重疊，而對於1024像素寬的子分塊，可以使用最多達256像素重疊。與圖6B和圖6C一致，存在都在透鏡的最佳位置（sweet spot）上的幾個候選近中心子分塊304，包括在奇數×奇數子分塊陣列中的中心子分塊。如在本文所使用的，近中心子分塊包括感測器的中心像素，或者鄰接包括中心像素的子分塊。在平坦的且具有小誤差的一些光學系統中，更遠離鄰接中心子分塊的子分塊可用作參考，而不影響整體失真補償。

所記載的技術包括映射在由影像感測器捕獲的基本上全視場上測量的失真。從規則結構化照明進行的增強解析度SIM重建所依賴於的三個參數包括條紋圖案的條紋間距、條紋角度和相位位移。這些變數也被稱為結構化照明或光柵圖案的間距、角度和相位偏移。可以使用多項式曲面（polynomial surfaces）橫越全視場來擬合離中心分塊值的間距和角度偏差。二次和三次表面都被研究。也可以使用高階多項式。

影像分塊上的條紋間距和條紋角度都可以通過二次曲面來擬合。敏感度分析表明，二次曲面幾乎與三次曲面一樣好地擬合。二次曲面根據下列等式（II）擬合： f(x,y) = c0 + (cl*x) + (c2*y) + (c3*x*y) + (c4 *x² ) + (c5*y² )     （II）

相位估計的一個實現方式採用由2013年Wicker等人在他們的標題為“Phase Optimisation for Structured Illumination Microscopy”的文章第3章中提出的技術。來自2015年Lal等人的標題為“Structured Illumination Microscopy Image Reconstruction Algorithm”和來自2013年Wicker等人的文章的等式幫助解釋Wicker相位估計。

下面的等式（III）（取自2015年Lal等人的文章）分離獲取的影像

、

、

中的頻率分量的三個波段：

、

、

。混合矩陣使用利用對應於圖案角度或定向0的正弦照明強度圖案

捕獲的影像的相位φ₁ 、φ₂ 、φ₃ 的估計。Wicker等人在2013年提到在定向處第n個影像的相位為φ_n 。如果相位具有足夠的精度是已知的，去混合或波段分離過程將在頻域中從觀測到的影像

、

、

不完全地分離空間頻率分量。實際上，三個空間頻率分量

、

、

將包含來自其他分量的或多或少的剩餘資訊，如通過下列等式（III）提供的雜訊項所表示的：

（III） 其中

具有三個分量的這個公式是從正弦或餘弦照明的傅立葉變換得出的。不同的照明函數可以改變等式。

因此，照明正弦強度圖案相位的精確知識可能很重要。因為在實驗裝置中精確地控制這些相位並不總是可能的，從所獲取的影像資料確定照明圖案相位可能是合乎需要的。Wicker等2013年提出了對在選定頻率下使用相干正弦照明獲取的SIM資料的相位估計技術。相干照明從具有非常小的照明尖峰間距`s'的精細光柵產生良好的圖案對比度，這增強了重建的解析度。我們使用照明圖案的尖峰頻率來取回第n個影像的照明圖案相位。照明圖案的尖峰頻率也被稱為傅立葉尖峰。

下面的等式（IV）（來自Wicker等人2013年提出的文章）呈現了關於在頻域中的頻率

上所獲取的影像

的等式（II）的廣義形式。每個影像包括與不同的相位疊加的被稱為

、

、

的三個分量。注意，這三個分量是與等式（III）中的

、

、

相同的三個分量。

（IV）

注意，在等式（IV）中的“c”被稱為照明圖案的對比度。在沒有雜訊的情況下，“c”與等式（2）中的混合矩陣M中的調變因數“m”相同。為了確定

，在等式（IV）中的頻率

用

（其是照明圖案的尖峰頻率）代替，得出下面的等式（V）：

（V）

等式（V）示出了圖案相位

近似等於在頻率

上所獲取的影像

的相位。當三個準則被遵循時，圖案相位

的近似估計可以產生良好的結果。首先，照明圖案的對比度c應該足夠大。其次，樣本功率譜應該隨著頻率的增加而足夠快地下降。當這兩個準則被遵循時，等式（V）以最後一項為主，且因此可以被簡化為下列等式（VI）：

（VI）

對於任何實值樣本，中心頻率

將是實值的。此外，如果點擴散函數（PSF）

是實數且對稱的，則光學傳遞函數（OTF）

將是實數。OTF是點擴散函數的卷積。點擴散函數是成像系統的光學傳遞函數的空間域版本。名稱“點擴散函數”指示所有物理光學系統在某種程度上使光的點模糊（擴散），模糊的量由光學部件的品質確定。成像系統的解析度由PSF的大小限制。對於不對稱的PSF，應考慮OTF的相位。

第三，在圖案頻率

處的OTF應該足夠大以克服雜訊。如果OTF太小，在所獲取的影像中的雜訊可能顯著改變在

處測量的相位。為了支持偵測OTF，這種相位估計方法不能用於在外部的圖案頻率

。對於這樣的頻率，

= 0。

光學系統的OTF可以在實驗上被確定。例如，Lal等人2015年提出通過得到具有稀疏地分佈的100nm螢光微球的樣本的若干影像來計算OTF。對應於多於100個微球的強度分佈然後被疊加並取平均以得到關於系統PSF的近似。該PSF的傅立葉變換提供了系統OTF的估計。在這個背景的情況下，相位估計技術可以應用於子分塊。

估計分塊相對於全視場（FOV）的相位位移可能是有用的，使得在一個子分塊中的相位測量可以外推到橫越分塊的其他子分塊。可以使用上面提出的二次模型以從子分塊的照明尖峰角度和照明尖峰間距來估計全FOV的照明尖峰角度和照明尖峰間距。相位位移可以是較不規則的，因為它取決於子分塊的像素幾何形狀，這可能產生不規則的階躍函數，而不是平滑函數。可以使用橫越全FOV影像的子分塊的公共參考系統來表示相位估計。子分塊座標空間可以被映射到全FOV座標空間。

B．SIM系統的校準方法的示例

在SIM光學系統中的各種結構和指令引數可能不利地影響SIM重建超解析度影像的品質。例如，在包含透鏡（例如，在上述透鏡組件280內，集成到相機系統140中的一些其他透鏡）的任何光學系統中，至少一個透鏡可以包括一個或多個結構像差，這可能在由相機系統140捕獲的影像中產生失真。在SIM影像重建中使用的計算可能對在使用具有像差的透鏡或使用具有其他像差的光學組件200所捕獲的源影像中的失真是敏感的。增加視場，使用大部分透鏡而不是在中心中的最佳位置可能增強SIM影像重建對由透鏡中的像差引起的失真的敏感性。因此，下面描述的示例提供了用於偵測這些透鏡像差並在影像處理期間根據需要進行調整以解釋這樣像差的系統和方法。

下面的描述提到在處理方法中的SIM堆疊的處理。在本示例中，每個SIM堆疊包括12個影像——來自兩個通道的6個影像。對於每個通道，六個影像的組包括當光柵切換器250處於第一狀態（例如，如圖5A-5B所示）中時利用反射元件270在沿著線性路徑LP1的三個不同定位處獲取的三個影像以及當光柵切換器250處於第二狀態（例如，如圖5C-5D所示）中時利用反射元件270在沿著線性路徑LP1的相同的三個不同定位處獲取的另外三個影像。因此，在SIM堆疊中的每個通道的六個影像的組代表兩個不同光柵角度或照明尖峰角度中的每一個的三個不同相位。可選地，可以使用任何其他合適數量的影像來形成每個SIM堆疊，並且這樣的影像可以基於除了上面描述的參數之外的參數而彼此不同。

為了說明在光學元件中的缺陷，本示例的過程建立由這些缺陷產生的失真的圖。因為缺陷從一個系統100到另一系統100將變化，這個映射過程是在特定的基礎上針對每個系統100被執行的，使得每個系統100將具有它自己的相關失真圖。雖然本示例是在使用光學組件200和系統100捕獲的SIM影像的背景中被提供的，但是，如鑒於本文的教導對本領域中的技術人員將明顯的，下面描述的過程可以用各種其他類型的光學元件和系統來實現。下面描述的過程不限於光學組件200和系統100的背景。

為了產生失真圖，該過程使用“滑動視窗”方法來分析影像的SIM堆疊。在這種方法中，處理器僅在給定時刻分析SIM堆疊的方形裁剪區域或子分塊，但是視窗在整個過程中沿著SIM堆疊的視場滑動並且在視窗的滑動期間反覆運算地分析若干子分塊，使得所分析的子分塊最終與彼此重疊，並且共同限定SIM堆疊的視場的相當大的部分（如果不是全部）。對於由滑動視窗反覆運算器產生的每個子分塊，針對每個通道和每個角度估計半高全寬（FWHM）和參數。來自每個子分塊的所有這些所估計的參數和FWHM被保存在二維表格中。在一些實例中，本文描述的校準過程的目標是測量調變均勻性、間距和光柵角度均勻性（其饋送到二次曲面估計器以提供失真模型）以及相位偏差均勻性。

在圖7中示出了上面所述的過程。如在圖7的塊400中所示，該過程以識別最佳聚焦SIM堆疊開始。如上面所提到的，可在以特定增量（例如大約0.5 µm）調整的z定位處捕獲多個SIM堆疊，使得一個SIM堆疊可以由於該SIM堆疊的特定z定位而容易提供比其他SIM堆疊更好的聚焦。本領域中的技術人員已知的常規方法可用於從其他SIM堆疊中識別最佳聚焦SIM堆疊。在識別出最佳聚焦SIM堆疊之後，該過程還可以限定“估計視窗”，其可以包括在SIM堆疊中的每個影像的中心中的視窗（即，在SIM堆疊中的每個影像的視圖的中心區域）。該估計視窗可以針對參數估計目的而被假設具有最佳影像品質；並且可以在該過程中隨後被利用，如下所述。估計視窗的大小和配置可以被預先確定。

接下來，如在圖7的方塊402中所示，該過程可以將滑動視窗反覆運算器應用於所識別的最佳聚焦SIM堆疊。該滑動視窗反覆運算器可以限定滑動視窗，滑動視窗在給定時刻僅查看在SIM堆疊中的每個影像的整個視場的一部分。因此，滑動視窗反覆運算器可以通過以下方式來掃描在SIM堆疊中的每個影像：在SIM堆疊中的每個影像的整個視場上移動滑動視窗，在給定時刻僅處理影像的一部分。如下面參考圖8A-8C所提到的，滑動視窗可以提供與彼此重疊的連續視圖。滑動視窗的步幅（例如移動的距離和速度）、滑動視窗的大小和滑動視窗的配置可以被預先確定。

當滑動視窗在影像上滑動時，滑動視窗反覆運算器可以任何合適的頻率從SIM堆疊中的每個影像捕獲資料。在一些版本中，滑動視窗可以從彼此重疊的影像的區域捕獲資料。這樣的一個示例在圖8A-8C中被示出，圖8A-8C示出了穿過影像502的滑動視窗500。如所示，滑動視窗500在第三資料捕獲時刻（圖8C）的定位510具有與滑動視窗在第二資料捕獲時刻（圖8B）的定位520的一些空間重疊512；以及滑動視窗500在第二資料捕獲時刻的定位520具有與滑動視窗在第一資料捕獲時刻（圖8A）的定位530的一些空間重疊522。在一些實現方式中，空間重疊512、522可以是滑動視窗500的大小的大約60%至大約90%，以提供速度和解析度的最佳平衡。作為另一示例，在滑動視窗500具有512個像素的大小時，滑動視窗500的步幅可以高達大約200個像素。可選地，空間重疊512、522可以小於滑動視窗500的大小的大約60%或者大於滑動視窗500的大小的大約90%。

滑動視窗反覆運算器可以最終產生多個子分塊，其表示對應於上面提到的資料捕獲時刻的基本影像的部分。因為每個子分塊是從在SIM堆疊（例如十二個基本影像的堆疊）中的對應影像得到的，考慮堆疊中的子分塊對應於從中得到子分塊的SMI堆疊可能是有益的。這樣的子分塊可以是從在SIM堆疊中的基本影像的相同區域得到的，使得子分塊是在空間上相關。為了簡略表達的目的，在空間上相關的子分塊的這個集合可以被稱為子分塊SIM堆疊。

在滑動視窗反覆運算器被應用之後，該過程然後可以應用於由滑動視窗反覆運算器產生的每個子分塊。特別是，且如在圖7的方塊404中所示，該過程可以針對在每個子分塊中的每個通道和每個光柵角度提供參數估計。所估計的參數可以包括調變、光柵角度、間距（即，局部光柵間距或局部SIM照明圖案週期）、相位偏移、相位偏差或各種其他參數。參數估計可以包括傅立葉域演算法，其首先針對光柵圖案的尖峰來執行粗略搜索（利用各種預處理以增強尖峰的可見性）。在粗略位置被識別之後，可以執行高解析度網格搜索演算法（fine-resolution grid-search algorithm）以最大化目標函數（在給定尖峰位置處的調變值）。如在圖7的方塊406中所示，該過程還可以針對在每個子分塊中的每個通道和每個光柵角度來估計FWHM。

一旦參數被估計以及針對每個子分塊的每個角度和每個光柵角度FWHM被估計，這些值就可以被保存用於後續使用，如在圖7的方塊408中所示。在一些版本中，值被儲存在二維表格中。可選地，可使用任何其他合適的儲存形式。在該過程的一些版本中，過程可以在這個階段結束。

在該過程的一些其他版本中，如在圖7的方塊410中所示，該過程通過針對在SIM堆疊中的每個基本影像估計中心視窗參數來繼續。在本示例中，該過程的這個部分是針對在SIM堆疊中的每個基本影像來執行的；而不是針對由滑動視窗反覆運算器產生的每個子分塊來執行的。該中心視窗對於避免可能在每個影像的邊緣和角附近更可能出現的失真可能是合乎需要的。

一旦中心視窗參數被估計，該過程就可以估計失真模型，如在圖7的方塊412中所示。下面將參考圖9更詳細地描述這樣的失真模型可以如何被估計的示例。如在圖7的方塊414中所示，所估計的失真模型可用於產生二維參考影像。二維參考影像可以示出在使用在手邊的光學組件200和系統100所捕獲的影像中出現失真的已知區域。因此，二維參考影像可以提供後續可被用於確定已知失真確切地位於什麼地方的圖。

在光學組件200和系統100的正常使用過程期間，在光學組件200和系統100被用於捕獲在樣本容器110中的生物樣本等的SIM影像之前，可以使用參考光學目標來執行上述過程。換句話說，上述過程可以在光學組件和系統100的第一次使用期間如同校準過程一樣被執行。一旦使用上述過程產生了二維參考影像，當在光學組件200和系統100的正常使用期間在樣本容器110中的生物樣本等的SIM影像後續被捕獲時，該二維參考影像就可以被考慮進SIM重建模式內，如在圖7的方塊416中所示。例如，SIM重建過程可以在重建期間提供調整以考慮在二維參考影像中被標出的已知失真。通過將如在二維參考影像中標出的已知失真考慮進去，SIM重建過程可以最終產生更準確的SIM影像。

圖9示出了可被執行來估計失真模型的過程的示例，如上面參考圖7的方塊412所述。因此，圖9表示可以在圖7所示的過程的執行期間執行的子過程。在該示例中，對於每個參數，失真模型估計過程從上面提到的二維表格減去所估計的中心視窗參數，如在圖9的方塊600中所示。這包括將絕對值轉換為相對於中心視窗的偏差。換句話說，各種SIM參數（角度、每個角度的間距和通道組合）的原始估計值被轉換成相對於中心視窗的偏差參數。為了實現此，該過程可以將這些值除以中心值（其中偏差被表示為在特定影像子集位置處的參數與在中心視窗處的相同參數之比）。可選地，該過程可以減去中心值（其中偏差被表示為離中心位置的偏移）。

然後，對於每個參數，該過程通過收縮估計器（shrinkage estimator）以最小平方回歸來擬合二次曲面函數，如在圖9的方塊602中所示。該過程然後通過確保確定係數（R² ）超過某個閾值（例如95）來驗證模型，如在圖9的方塊604中所示。例如，可以通過在垂直於光柵方向（例如在相位遮罩236、246上的線的方向）的特定位置處對所擬合的二次曲面函數採樣來表徵光柵失真度量。雖然在本示例中使用最小平方回歸來擬合二次曲面函數，但是任何其他合適的擬合算法也可以被使用。此外，可以使用任何其他合適的函數形式（即，除了二次曲面以外的函數形式）。

返回到本示例，該過程然後將所擬合的參數添加到失真模型資料結構中，如在圖9的方塊606中所示。此時，該過程通過如在圖9的方塊608中所示的估計相位偏移並且如在圖9的方塊610中所示的將所估計的相位偏移儲存在資料結構（例如表格）中來完成失真模型的估計。在隨後的SIM影像重建期間，可以通過使用所儲存的表格來將所儲存的估計出的相位偏移外推至SIM影像上的任何其他視窗。

C．在SIM系統中的反斯托克斯發射的積分

當螢光團被光激發使得螢光團發出螢光並由此發射光時，由螢光團發射的光的光譜相對於激發光的光譜位移（shift）。這種位移被稱為斯托克斯（Stokes）位移。這可能歸因於下面的事實：由螢光團發射的光子的能量小於由螢光團吸收的激發光子的能量。該能量差可能是由於通過當螢光團處於激發態中時出現的分子振動而失去的能量所引起的。當周圍的溶劑分子與被激發的螢光團碰撞時，失去的能量可以作為熱被散發到周圍的溶劑分子。在斯托克斯位移情形中，發射光可以具有比激發光的波長更長的波長。

在一些情況下，由螢光團發射的光子的能量大於由螢光團吸收的激發光子的能量。因此，發射光可以具有比激發光的波長更短的波長。在由螢光團發射的光子的能量大於由螢光團吸收的激發光子的能量的情形中，由螢光團進行的發射可被視為反斯托克斯（Anti-Stokes）發射。

圖10示出示了來自包含螢光團的染料的反斯托克斯發射的示意圖。如所示，相對長的波長的泵浦光子（pump photon）700從在基態流形702內的高位波茲曼能級被吸收到激發態S1流形704的底部，如箭頭706所示。經由光子誘導躍遷在S1流形704的振動能級當中的隨後熱化，緊隨而來的是如箭頭708所示發射到S0基態內，導致發射較高能量的光子710連同染料媒體的隨後冷卻。在這個示例中，“S0”和“S1”指染料分子的單線態電子態（singlet electronic states）。S命名法指分子電子態的總電子自旋。此外，染料分子還可以支援由T1、T2等標識的三重態自旋態。在本示例中，焦點在單線態電子基態構型（S0）和S1激發單線態構型之間的吸收和自發發射過程上。染料分子的電子態也耦合到分子的振動模式。在給定電子態內的振動模式的多重態可被稱為振動流形。術語“電子振動（vibronic）”可以用來指染料分子的電子振動狀態。

在系統100的一些實現方式中，在樣本容器110的定位處的影像目標可以包括與第一通道（例如第一顏色）相關聯的第一染料和與第二通道（例如第二顏色）相關聯的第二染料。在本示例中，第一染料是香豆素染料（Coumarin dye），第一通道是藍色通道，第二染料是若丹明染料（Rhodamine dye），以及第二通道是綠色通道。可選地，可使用任何其他合適種類的染料或通道顏色。在本示例中，當光源（例如在光發射組件210中的藍色雷射器）發射與藍色通道相關聯的光時，SIM成像可以通過從香豆素染料進入藍色通道內的螢光導致對藍色雷射產生的條紋的光學偵測。此外，當光源（例如在光發射組件210中的綠色雷射器）發射與綠色通道相關聯的光時，SIM成像可以通過來自若丹明染料的斯托克斯發射導致對在綠色通道中的綠色雷射干涉條紋的光學偵測。然而，在綠色發射波長處的低調變傳遞函數（MTF）可以導致弱的條紋可見度或對比度，使偵測處於特定波長（例如600 nm）的綠色雷射產生的條紋變得特別難。

為了克服由於斯托克斯位移在綠色波長處可觀測到的低對比度，提供允許在藍色波長處觀測綠色雷射產生的條紋的方法。因為藍色通道支援增加的MTF乘積，相比於可以其他方式得到的，所得到的綠色條紋可以被觀測到以更高的對比度值具有更高的保真度。產生在比實際雷射激發波長更短的波長的發射的方法可以依賴於在染料分子內的反斯托克斯螢光的現象。反斯托克斯過程涉及由光子進行的染料分子的激發，光子的波長基本上比染料的平均發射波長更長。在影像目標包括香豆素藍色染料的情況下，香豆素藍色染料可以由更長波長（例如520 nm）的綠色雷射激發。如圖10所示，香豆素染料從基態S0流形702的高位熱激發振動模式到激發態S1流形704的底部的綠色雷射激發，緊隨而來的接著是在上S1流形704內的熱化，導致比初始激發波長700短得多的波長發射710。這個較短波長/較高能量發射710可以允許在藍色波長處觀測綠色雷射產生的條紋。換句話說，被調諧到藍色通道的相機可以觀測由綠色雷射器產生的藍色發射，使得激發通道和觀測通道可以彼此不同。

V．其他

提供前述描述以使本領域中的技術人員能夠實踐本文描述的各種配置。雖然參考各種附圖和配置特別描述了主題技術，但是應當理解，這些僅僅是為了說明的目的，並且不應當被視為限制主題技術的範圍。

可能有實現主題技術的許多其他方式。本文描述的各種功能和元素可以與所示出的那些功能和元素不同地被實踐而不偏脫離主題技術的範圍。對這些實現方式的各種修改對本領域中的技術人員可以是容易明顯的，並且在本文限定的一般原理可應用於其它實現方式。因此，可由本領域中的普通技術人員對主題技術做出許多修改而不偏離主題技術的範圍。例如，可以使用不同數量的給定模組或單元，可以使用一種或更多種不同類型的給定模組或單元，可以添加給定模組或單元，或者可以省略給定模組或單元。

可以使用電腦系統來實現本文描述的示例的一些版本，該電腦系統可以包括通過匯流排子系統與多個週邊設備通信的至少一個處理器。這些週邊設備可以包括儲存子系統，其包括例如記憶體設備和檔案儲存子系統、使用者介面輸入裝置、使用者介面輸出設備和網路介面子系統。輸入和輸出設備可以允許使用者與電腦系統交互作用。網路介面子系統可以提供到外部網路的介面，包括到在其他電腦系統中的相對應的周邊設備的介面。使用者介面輸入裝置可以包括鍵盤；指向設備，例如滑鼠、軌跡球、觸控板或圖形輸入板；掃描器；合併到顯示器內的觸控式螢幕；聲音輸入裝置，例如語音辨識系統和麥克風；以及其他類型的輸入裝置。一般而言，術語“輸入裝置”的使用意欲包括將資訊輸入到電腦系統內的所有可能類型的設備和方式。

使用者介面輸出設備可以包括顯示子系統、印表機、傳真機或非視覺顯示器，例如音訊輸出設備。顯示子系統可以包括陰極射線管（CRT）、平板設備（例如液晶顯示器（LCD））、投影設備或用於創建可視影像的一些其他機構。顯示子系統還可以提供非視覺顯示器，例如音訊輸出設備。一般而言，術語“輸出設備”的使用意欲包括將資訊從電腦系統輸出到使用者或另一機器或電腦系統的所有可能類型的設備和方式。

儲存子系統可以儲存提供本文描述的一些或所有模組和方法的功能的程式設計和資料結構。這些軟體模組通常可以由電腦系統的處理器單獨地或者與其他處理器結合來執行。在儲存子系統中使用的記憶體可以包括多個記憶體，包括用於在程式執行期間儲存指令和資料的主隨機存取記憶體（RAM）和儲存固定指令的唯讀記憶體（ROM）。檔案儲存子系統可以為程式和資料檔案提供永久儲存，並且可以包括硬碟、軟碟連同相關可移動媒體、CD-ROM機、光碟片或可移動媒體盒。實現特定實現方式的功能的模組可以由在儲存子系統中或者在由處理器可訪問的其他機器中的檔案儲存子系統來儲存。

電腦系統本身可以具有不同類型，包括個人電腦、可擕式電腦、工作站、電腦終端、網路電腦、電視機、大型主機、伺服器場（server farm）、廣泛分佈的一組鬆散聯網的電腦或任何其他資料處理系統或使用者設備。由於電腦和網路的不斷變化的性質，本文描述的電腦系統的示例僅意欲作為用於說明所記載的技術的目的的特定示例。具有比本文描述的電腦系統更多或更少的部件的電腦系統的許多其他配置是可能的。

作為製造物品而不是方法，非暫時性電腦可讀取媒體（CRM）可以被載入有由處理器可執行的程式指令。程式指令當被執行時實現上面所述的電腦實現的方法中的一個或多個。可選地，程式指令可以被載入在非暫時性CRM上，並且當與適當的硬體組合時成為實踐所記載的方法的電腦實現的系統中的一個或多個的部件。

帶底線和/或斜體的標題和子標題僅為了方便而被使用，不限制主題技術，並且不與主題技術的描述的解釋有關地被提到。本領域中的普通技術人員已知或後續將知道的在整個本記載中描述的各種實現方式的元素的所有結構和功能等同物通過引用被明確地併入本文並被規定為由主題技術包括。此外，本文記載的內容沒有一個被規定為貢獻給公眾，而無論這樣的記載是否在上面的描述中被明確地敘述。

應當認識到，前述概念和下面更詳細討論的額外概念的所有組合（假設這樣的概念不相互不一致）被設想為本文記載的創造性主題的一部分。特別是，在本記載的結尾處出現的所主張的主題的所有組合被設想為本文記載的創造性主題的一部分。

10:奈米井 20:線 100:結構化照明成像系統 110:樣本容器 120:廢料排出閥 130:溫度站致動器 135:加熱器/冷卻器 140:相機系統 142:物鏡 150:光發射器 151:準直透鏡 152:光纖 155:光學組件 156:投影透鏡 160:分色鏡 165:濾波器切換組件 170:運動台 175:聚焦部件 190:流體輸送模組或設備 191:SIM成像部件 195:控制器 200:光學組件 210:光發射組件 220:固定反射元件 230:相位遮罩組件 232:玻璃元件 234:反射器 236:相位遮罩 240:底座 242:玻璃元件 244:反射器 246:相位遮罩 250:光柵切換器 252:板 254:軸杆 256:馬達 260:一端 262:反射鏡 264:反射鏡 266:另一端 268:開口 270:可調整反射元件 272:致動器 280:投影透鏡組件 282:致動器 300:圖/簡化描繪 302:圖 304:子分塊 500:滑動視窗 502:影像 510:定位 512:空間重疊 520:定位 522:空間重疊 530:定位 700:泵浦光子 702:基態流形 704:S1流形 706:箭頭 708:箭頭 710:光子 A:軸 LP1:線性路徑 LP2:線性路徑

在附圖和下面的描述中闡述了一個或多個實現方式的細節。從描述、附圖和請求項中，其他特徵、方面及優點將變得明顯。

[圖1A]描繪了通過使用具有一維（1D）調變的光柵進行的Moire條紋形成的示例。

[圖1B]描繪了由二維（2D）結構化照明圖案產生的照明強度的曲線圖示。

[圖1C]描繪了奈米井佈置的幾何圖案的示例。

[圖2]描繪了可以利用空間結構化激發光以對樣本成像的SIM生物樣本成像系統的示意圖。

[圖3]描繪了用於在圖2的SIM生物樣本成像系統中使用的可選的光學組件的示例的示意圖。

[圖4]描繪了圖3的光學組件的相位遮罩組件的示意圖。

[圖5A]描繪了具有處於第一狀態的光柵切換器和處於第一狀態的可調整反射組件的圖3的光學元件的示意圖。

[圖5B]描繪了具有處於第一狀態的光柵切換器和處於第二狀態的可調整反射元件的圖3的光學組件的示意圖。

[圖5C]描繪了具有處於第二狀態的光柵切換器和處於第一狀態的可調整反射元件的圖3的光學組件的示意圖。

[圖5D]描繪了具有處於第二狀態的光柵切換器和處於第二狀態的可調整反射元件的圖3的光學組件的示意圖。

[圖6A]是由於進行放大的透鏡的失真而使平行線彎曲的簡化描繪。

[圖6B]示出了對在標稱平行線之間的間距的波長進行的第一組測量。

[圖6C]描繪了對在標稱平行線之間的間距的波長進行的第二組測量。

[圖6D]描繪了全視場（FOV）影像的子分塊或子場的示例。

[圖7]描繪了用於產生失真模型並在SIM成像中應用失真模型的過程的示例的流程圖。

[圖8A-8C]描繪了穿過影像的滑動視窗的示意圖。

[圖9]描繪了示出用於估計失真模型的過程的示例的流程圖。

[圖10]描繪了反斯托克斯（Anti-Stokes）發射的示意圖。

將認識到，一些或所有附圖是用於說明目的的示意性表示。附圖被提供是為了說明一個或多個實現方式的目的，明確地理解它們將不用於限制請求項的範圍或含義。

10:奈米井

20:線

Claims (20)

1. 一種方法，包括： 接收在光學系統中使用結構化照明顯微鏡術（SIM）所捕獲的多個影像，所述多個影像中的每個影像具有第一視場； 限定視窗，所述視窗限定表示所述第一視場的一部分的第二視場，使得所述第二視場小於所述第一視場； 相對於多個影像中的每個影像來移動所述視窗； 當相對於所述多個影像中的每個影像來移動所述視窗時從所述多個影像中的每個影像捕獲多個子分塊，所述多個子分塊中的每個子分塊表示所述多個影像中的相對應的影像的一部分，由所述多個子分塊中的每個子分塊所表示的所述部分是在與所述多個子分塊中的子分塊被捕獲的時刻對應的定位處由所述第二視場限定的； 估計與所述多個子分塊中的每個子分塊相關聯的參數，所述參數包括從包含以下項的群組中選擇的兩個或多個參數：調變、角度、間距、相位偏移和相位偏差； 估計與所述多個子分塊中的每個子分塊相關聯的半高全寬（FWHM）值；以及 以預定格式儲存估計出的參數和FWHM值。
2. 根據請求項1所述的方法，還包括估計中心視窗參數，所述中心視窗參數對應於在所述第一視場內的中心區域。
3. 根據請求項2所述的方法，還包括至少部分地基於以所述預定格式儲存的估計出的所述參數和FWHM值與估計出的所述中心視窗參數的組合來估計失真模型，估計所述失真模型包括從以所述預定格式儲存的估計出的所述參數和FWHM值減去估計出的所述中心視窗參數。
4. 根據請求項3所述的方法，估計所述失真模型包括將二次曲面函數擬合到所述減去的結果。
5. 根據請求項3或4所述的方法，還包括通過下列操作來驗證估計出的所述失真模型： 針對估計出的所述失真模型計算確定係數；以及 將計算出的所述確定係數與預定閾值進行比較。
6. 根據請求項3或4所述的方法，還包括至少部分地基於估計出的所述失真模型來產生二維影像，所述二維影像包括指示在所述光學系統中何處出現失真的表示。
7. 根據請求項3或4所述的方法，還包括： 在所述光學系統中使用SIM來捕獲後續多個影像；以及 至少部分地基於所述多個影像來產生高解析度影像，產生所述高解析度影像包括至少部分地基於估計出的所述失真模型來調整來自所述後續多個影像的資料。
8. 根據請求項1到4中的任一項所述的方法，捕獲到的所述多個影像是光學目標的影像，所述光學目標包括染料，對所述多個影像的捕獲包括激發所述染料中的分子，所述染料具有平均發射波長，激發所述染料中的所述分子包括朝著所述染料發射激發光，所述激發光具有基本上比所述染料的平均發射波長更長的波長。
9. 一種處理器可讀取媒體，其包括被配置為使得計算系統通過執行根據請求項1到8中的任一項所述的方法來處理資料的內容。
10. 一種裝置，包括： 第一光學組件，所述第一光學組件朝著目標發射結構化照明，所述第一光學組件包括： 光發射組件； 第一相位遮罩，所述第一相位遮罩將第一圖案賦予由所述光發射組件發射的光； 第二相位遮罩，所述第二相位遮罩將第二圖案賦予由所述光發射組件發射的光；以及 相位調整組件，所述相位調整組件調整由所述第一相位遮罩和所述第二相位遮罩所結構化的光的相位； 第二光學組件，所述第二光學組件包括捕獲由所述第一光學組件所射明的所述目標的影像的影像感測器；以及 處理器，所述處理器執行下列操作： 接收使用所述影像感測器所捕獲的多個影像，所述多個影像中的每個影像具有第一視場； 限定視窗，所述視窗限定表示所述第一視場的一部分的第二視場，使得所述第二視場小於所述第一視場； 相對於多個影像中的每個影像移動所述視窗； 在相對於所述多個影像中的每個影像來移動所述視窗時從所述多個影像中的每個影像捕獲多個子分塊，所述多個子分塊中的每個子分塊表示所述多個影像中的相對應的影像的一部分，由所述多個子分塊中的每個子分塊所表示的所述部分是在與所述多個子分塊中的子分塊被捕獲的時刻對應的定位處由所述第二視場限定的； 估計與所述多個子分塊中的每個子分塊相關聯的參數，所述參數包括從包含以下項的群組中選擇的兩個或多個參數：調變、角度、間距、相位偏移和相位偏差； 估計與所述多個子分塊中的每個子分塊相關聯的半高全寬（FWHM）值；以及 以預定格式儲存估計出的參數和FWHM值。
11. 根據請求項10所述的裝置，所述處理器還估計中心視窗參數，所述中心視窗參數對應於在所述第一視場內的中心區域。
12. 根據請求項11所述的裝置，所述處理器還至少部分地基於以所述預定格式儲存的估計出的所述參數和FWHM值與估計出的所述中心視窗參數的組合來估計失真模型。
13. 根據請求項12所述的裝置，所述處理器還通過包括從以所述預定格式儲存的估計出的所述參數和FWHM值中減去估計出的所述中心視窗參數來估計所述失真模型。
14. 根據請求項13所述的裝置，所述處理器還通過將二次曲面函數擬合到所述減去的結果來估計所述失真模式。
15. 根據請求項14所述的裝置，所述處理器還通過包括使用收縮估計器將所述二次曲面函數擬合到所述減去的所述結果來估計所述失真模式。
16. 根據請求項12到15中的任一項所述的裝置，所述處理器還通過下列操作來驗證所述失真模型： 針對估計出的所述失真模型計算確定係數；以及 將所計算出的所述確定係數與預定閾值進行比較。
17. 根據請求項12到15中的任一項所述的裝置，所述處理器還： 估計相位偏移；以及 將所述相位偏移應用於估計出的所述失真模型。
18. 根據請求項12到15中的任一項所述的裝置，所述處理器還至少部分地基於估計出的所述失真模型來產生二維影像，所述二維影像包括指示在所述光學系統中何處出現失真的表示。
19. 根據請求項11到15中的任一項所述的裝置，所述處理器還： 在所述光學系統中使用SIM來捕獲後續多個影像；以及 至少部分地基於所述多個影像來產生高解析度影像，產生所述高解析度影像包括至少部分地基於以所述預定格式儲存的估計出的所述參數和FWHM值來調整來自所述後續多個影像的資料。
20. 一種方法，包括： 在光學系統中使用結構化照明顯微鏡術（SIM）來捕獲多個影像，捕獲到的所述多個影像是光學目標的影像，所述光學目標包括染料，對所述多個影像的捕獲包括激發所述染料中的分子，所述染料具有平均發射波長，激發所述染料中的所述分子包括朝著所述染料發射激發光，所述激發光具有基本上比所述染料的所述平均發射波長更長的波長；以及 觀測所述多個影像中的條紋，所觀測到的所述條紋處在與第一顏色相關聯的第一波長，所觀測到的所述條紋通過光源發射與第二顏色相關聯的第二波長的光來產生。

Images