TWI710864B - 圖樣角度空間選擇結構照明成像 - Google Patents

Abstract

本公開提供了結構照明顯微術(SIM)成像系統。在一組實現方式中，SIM成像系統可以被實現為多臂SIM成像系統，由此，系統的每個臂包括光發射器和具有相對於系統的光軸的特定的固定取向的分束器(例如透射式繞射光柵)。在第二組實現方式中，SIM成像系統可以被實現為多分束器滑動SIM成像系統，其中一個線性運動台安裝有具有相對於系統的光軸的相應的固定取向的多個分束器。在第三組實現方式中，SIM成像系統可以被實現為圖樣角度空間選擇SIM成像系統，由此，固定的二維繞射光柵與空間濾波器輪結合來使用，以在樣品上投射一維條紋圖樣。

Description

圖樣角度空間選擇結構照明成像

本申請案相關於圖樣角度空間選擇結構照明成像。

相關申請的交叉引用

本申請案主張2018年1月16日提交的且標題為“Pattern Angle Spatial Selection Structured Illumination Imaging”的美國臨時專利申請號62/618,059和2018年3月20日提交的且標題為“Pattern Angle Spatial Selection Structured Illumination Imaging”的荷蘭專利申請號N2020620的優先權。上面提到的申請案中的每一個的全部內容通過引用被併入本文。

結構照明顯微術(SIM)描述了一種技術，通過該技術，空間結構化(即，圖樣化)的光可用於對樣品成像，以將顯微鏡的橫向解析度提高兩倍或更多倍。在某些情況下，在樣品的成像期間，在各個圖樣相位(例如0°、120°和240°)下採集樣品的條紋圖樣的三個圖像，使得樣品上的每個位置暴露於一定範圍的照明強度，該過程通過繞光軸將圖樣取向旋轉到3個單獨的角度(例如0°、60°和120°)來重複。所捕獲的圖像(例如，九個圖像)可以被組合成具有擴展的空間頻率頻寬的單個圖像，該圖像可以被再轉換到真實空間中以生成具有比由傳統顯微鏡捕獲的圖像更高解析度的圖像。

在當前SIM系統的一些實現方式中，線性偏振光束被引導通過 將光束分成兩個或更多個單獨的級的光學分束器，這些級可以被組合並作為具有正弦強度變化的干涉條紋圖樣投射在被成像的樣品上。繞射光柵是可以產生具有高程度的相干性和穩定傳播角的光束的分束器的例子。當兩個這樣的光束組合時，在它們之間的干涉可以產生均勻的、有規則地重複的條紋圖樣，其中間距由包括在干涉光束之間的角度在內的因素確定。如果多於兩個光束被組合，則因而得到的圖樣通常包含條紋間距的混合物，結果是在最大強度和最小強度之間的差異(也被稱為“調變深度”)減小了，使它變得較不適合於SIM目的。

在當前SIM系統的一些實現方式中，通過圍繞光軸旋轉分束元件來控制所投射的圖樣的取向，並且通過跨軸橫向地移動元件來調整圖樣的相位。在這樣的系統中，繞射光柵通常安裝在平移台上，平移台又安裝在旋轉台上。此外，這種系統常常利用線性偏振器來在由光源發射的光在光柵處被接收之前使其偏振。

本文公開的實現方式涉及結構照明系統和方法。

在第一組實現方式中，SIM成像系統可以被實現為多臂SIM成像系統，其中系統的每個臂包括光發射器和具有相對於系統的光軸的特定的固定取向的分束器(例如透射式繞射光柵)。

在多臂SIM成像系統的一個實現方式中，該系統包括：第一光學臂，該第一光學臂包括發射光的第一光發射器以及第一分束器，該第一分束器分離由第一光發射器發射的光以將第一多個條紋投射在樣品的平面上；以及第二光學臂，該第二光學臂包括發射光的第二光發射器以及第二分束器，該第二分束器分離由第二光發射器發射的光以將第二多個條紋投射在樣品的平面 上。在該實現方式中，該系統還可以包括組合第一臂和第二臂的光路的光學元件。此外，該系統可以包括圖像感測器以收集由樣品發射的光。在一些實現方式中，樣品可以包括以矩形陣列或六邊形陣列有規則地圖樣化的多個特徵。

在一些實現方式中，第一分束器包括第一透射式繞射光柵，以及第二分束器包括第二透射式繞射光柵。在一些實現方式中，第一分束器包括第一反射式繞射光柵，以及第二分束器包括第二反射式繞射光柵。在一些實現方式中，第一分束器和第二分束器各自包括分束器立方體(cube)或板。

在一些實現方式中，第一光發射器和第二光發射器發射非偏振光，並且第一透射式繞射光柵和第二透射式繞射光柵使由第一光發射器和第二光發射器中的相應光發射器發射的非偏振光繞射。

在一些實現方式中，組合第一多個條紋和第二多個條紋的光路的光學元件包括具有孔的反射鏡，其中該反射鏡被佈置成反射由第一繞射光柵繞射的光，並且孔被佈置成使由第二繞射光柵繞射的至少第一級光穿過。在一些實現方式中，組合第一臂和第二臂的光路的光學元件包括偏振分束器，其中第一繞射光柵使垂直偏振光繞射，並且其中第二繞射光柵使水平偏振光繞射。

在一些實現方式中，多臂SIM成像系統包括使第一多個條紋和第二多個條紋相移的一個或更多個光學元件。

在一些實現方式中，使第一多個條紋和第二多個條紋相移的一個或更多個光學元件包括使第一多個條紋相移的第一旋轉光學視窗和使第二多個光學條紋相移的第二旋轉光學視窗。在一些實現方式中，使第一多個條紋和第二多個條紋相移的一個或更多個光學元件包括平移第一繞射光柵的第一線性運動台和平移第二繞射光柵的第二線性運動台。在一些實現方式中，使第一多個條紋和第二多個條紋相移的一個或更多個光學元件包括單個旋轉光學視窗，其中該單個旋轉光學視窗在到樣品的光路中定位在具有孔的反射鏡之後。

在一些實現方式中，單個旋轉光學視窗的旋轉軸從每個光柵的光軸偏移約45度。

在一些實現方式中，第一多個條紋在樣品平面上從第二多個條紋成角度地偏移(angularly offset)約90度。

在一些實現方式中，該系統還包括：將第一多個條紋和第二多個條紋中的每一個投射在樣品上的物鏡。

在一些實現方式中，該系統還包括：用於阻擋由第一繞射光柵和第二繞射光柵中的每一個發射的零級光的一個或更多個光束阻擋器。在特定實現方式中，一個或更多個光束阻擋器包括布拉格光柵(Bragg grating)。

在多臂SIM成像系統的一個實現方式中，一種方法包括：開啟結構照明系統的第一光學臂，該第一光學臂包括發射光的第一光發射器和使由第一光發射器發射的光繞射以將被定向在特定方向上的第一多個條紋投射在樣品的平面上的第一繞射光柵；捕獲樣品的第一多個相位圖像，其中在第一多個圖像的捕獲期間，第一多個條紋的位置在樣品的平面上移動；開啟結構照明系統的第二光學臂，第二光學臂包括發射光的第二光發射器和使由第二光發射器發射的光繞射以將第二多個條紋投射在樣品的平面上的第二繞射光柵，其中第二多個條紋在樣品的平面上從第一多個條紋成角度地偏移；以及捕獲用第二多個條紋照亮的樣品的第二多個相位圖像，其中在第二多個條紋的捕獲期間，第二多個條紋的位置在樣品的平面上移動。在該方法的實現方式中，第一繞射光柵和第二繞射光柵是透射式繞射光柵，其中結構照明系統包括具有孔的反射鏡，以反射由第一繞射光柵繞射的光並使由第二繞射光柵繞射的至少第一級光穿過。

在實現方式中，該方法還包括：使用至少第一多個所捕獲的相位圖像和第二多個所捕獲的相位圖像來以計算方式重建具有比第一多個所捕獲 的相位圖像和第二多個所捕獲的相位圖像中的每一個更高的解析度的一個或更多個圖像。在實現方式中，第一多個條紋在樣品平面上從第二多個條紋成角度地偏移約90度。

在實現方式中，通過旋轉定位在樣品與第一光柵和第二光柵中的每個之間的光路中的單個光學視窗來使第一多個條紋和第二多個條紋相移，其中單個旋轉光學視窗的旋轉軸從每個光柵的光軸偏移。

在該方法的實現方式中，在捕獲第一多個相位圖像之後，關閉結構照明系統的第一光學臂並且開啟該結構照明系統的第二光學臂。

在該方法的實現方式中，第一繞射光柵和第二繞射光柵在圖像捕獲期間是機械地固定的。

在第二組實現方式中，SIM成像系統可以被實現為多分束器滑動SIM成像系統(multiple beam splitter slide SIM imaging system)，其中一個線性運動台安裝有具有相對於系統的光軸的相應固定取向的多個分束器。

在多分束器滑動SIM成像系統的一個實現方式中，該系統包括：發射光的光發射器；安裝有第一分束器和第二分束器的線性運動台，其中第一分束器分離由光發射器發射的光以將第一多個條紋投射在樣品的平面上，並且其中第二分束器分離由光發射器發射的光以將第二多個條紋投射在樣品的平面上；以及收集由樣品發射的光的圖像感測器。在實現方式中，線性運動台是一維線性運動台，其中線性運動台沿著一個維度平移以將第一分束器和第二分束器中的每一個光學地耦合到光發射器，其中第一分束器沿著一個維度與第二分束器相鄰。在實現方式中，第一多個條紋在樣品平面上從第二多個條紋成角度地偏移約90度。

在實現方式中，第一分束器包括第一透射式繞射光柵，以及第二分束器包括第二透射式繞射光柵。第一繞射光柵和第二繞射光柵可以從一個 維度成角度地偏移(即，圍繞光的傳播方向旋轉)。在特定實現方式中，第一繞射光柵和第二繞射光柵從一個維度成角度地偏移大約±45度。

在一些實現方式中，第一繞射光柵和第二繞射光柵可以整合到安裝在線性運動台上的單個光學元件中。在繞射光柵被整合到單個光學元件中的實現方式中，單個光學元件可以包括被圖樣化有第一繞射光柵的第一側和與第一側相鄰的被圖樣化有第二繞射光柵的第二側。

在一些實現方式中，該系統還可以包括：用於阻擋由第一繞射光柵和第二繞射光柵中的每一個發射的零級光的一個或更多個光束阻擋器。

在一些實現方式中，該系統還可以包括：在線性運動台和物鏡之間的光路中的投影透鏡。投影透鏡可以將第一繞射光柵和第二繞射中的每一個的傅立葉轉換投射到物鏡的入射光瞳中。

在一些實現方式中，該系統還可以包括在安裝在線性運動台上的部件上形成的對準圖樣(alignment pattern)，其中該對準圖樣分離由光發射器發射的光以將圖樣投射在樣品的平面上以用於成像對準。對準圖樣可以形成在包括第一繞射光柵和第二繞射光柵中的至少一個的基板上。所投射的圖樣可以包括具有比所投射的第一多個條紋和第二多個條紋低的頻率的線。

在一些實現方式中，該系統還可以包括：使投射在樣品的平面上的第一多個條紋和第二多個條紋相移的光學相位調變器。在這樣的實現方式中，光學相位調變器可以是與線性運動台分離的部件。

在多分束器滑動SIM成像系統的一個實現方式中，一種方法包括：開啟結構照明成像系統的光發射器，該結構照明成像系統包括安裝有第一繞射光柵和第二繞射光柵的一維線性運動台，其中該線性運動台沿著一個維度平移；沿著一個維度平移線性運動台以使由第一繞射光柵投射在樣品上的第一多個條紋相移；平移線性運動台以將第二繞射光柵光學地耦合到光發射器；以 及在將第二繞射光柵光學地耦合到光發射器之後，沿著一個維度平移線性運動台以使由第二繞射光柵投射在樣品上的第二多個條紋相移。第一繞射光柵和第二繞射光柵可以是透射式繞射光柵，並且可以從平移的一個維度成角度地偏移。例如，第一繞射光柵和第二繞射光柵可以從一個維度成角度地偏移大約±45度。

在實現方式中，該方法還可以包括：將線性運動台沿一個維度平移多次以使由第一繞射光柵投射在樣品上的第一多個條紋相移多次；以及在將第二繞射光柵光學地耦合到光發射器之後，將線性運動台沿一個維度平移多次以使由第二繞射光柵投射在樣品上的第二多個條紋相移多次。

在實現方式中，該方法還可以包括：每當線性運動台被平移以使第一多個條紋相移之後捕獲樣品的圖像；以及每當線性運動台被平移以使第二多個條紋相移之後捕獲樣品的圖像。所捕獲的圖像可用於以計算方式重建具有比每個所捕獲的圖像更高的解析度的圖像。

在該方法的實現方式中，每當第一多個條紋或第二多個條紋在樣品上被相移時，線性運動台沿著一個維度平移幾乎相同的距離。

在特定實現方式中，當第二繞射光柵光學地耦合到光發射器時，線性運動台被平移大約10mm和15mm之間。

在第三組實現方式中，SIM成像系統可以被實現為圖樣角度空間選擇SIM成像系統(pattern angle spatial selection SIM imaging system)，由此，固定的二維繞射光柵與空間濾波器輪(spatial filter wheel)結合來使用，以將一維條紋圖樣投射在樣品上。

在圖樣角度空間選擇SIM成像系統的一個實現方式中，該系統包括：發射光的光發射器；二維繞射光柵，其使由光發射器發射的光繞射，以將被定向在第一方向上的第一多個條紋投射在樣品平面上，並將被定向在垂直 於第一方向的第二方向上的第二多個條紋投射在樣品平面上；以及空間濾波器輪，其使在第一或第二方向中的相應方向上從二維繞射光柵接收的繞射光穿過，並阻擋在第一或第二方向中的相應方向上的光，該空間濾波器輪包括第一多個孔和與第一多個孔正交的第二多個孔。第一多個孔可以使在第一方向上由二維繞射而繞射的光穿過，以及第二多個孔可以使在第二方向上由二維繞射而繞射的光穿過。

在一些實現方式中，該系統還包括：阻擋由二維繞射光柵透射的0級光的光束阻擋元件。在特定實現方式中，光束阻擋元件包括繞射光學元件，該繞射光學元件被圖樣化以反射垂直於該元件的光並使其它角度的光穿過。

在一些實現方式中，空間濾波器輪反射從二維繞射光柵接收的未穿過的光的繞射級。

在一些實現方式中，二維繞射光柵是透射式繞射光柵。透射式繞射光柵可以設置在接收來自光發射器的光的固體光學裝置的表面上或者形成在該表面上。透射式繞射光柵的色散角可以被佈置成使得0級光在固體光學裝置的遠側上被阻擋。在一些實現方式中，固體光學裝置包括斜面，以繞射和輸出由二維透射式繞射光柵繞射的第一級光。在特定實現方式中，斜面包括聚焦透鏡。在一些實現方式中，投影透鏡接收由固體光學裝置輸出的光。

在一些實現方式中，二維繞射光柵是二維反射式繞射光柵。二維反射式繞射光柵可以設置在固體光學裝置的與接收來自光發射器的光的固體光學裝置的孔相對的表面上或形成在該表面上。固體光學裝置可以包括反射內表面，以反射由二維反射式繞射光柵繞射的第一級光並通過固體光學裝置的出口面將該第一級光輸出。在特定實現方式中，出口面包括繞射聚焦透鏡。在一些實現方式中，投影透鏡接收由固體光學裝置輸出的光。

在一些實現方式中，該系統還包括：使第一多個條紋和第二多個條紋相移的一個或更多個光學元件。在特定實現方式中，使第一多個條紋和第二多個條紋相移的一個或更多個光學元件包括沿垂直的兩個方向傾斜的平行板光學裝置。

在圖樣角度空間選擇SIM成像系統的一個實現方式中，一種方法包括：開啟結構照明成像系統的光發射器，該結構照明成像系統包括二維繞射光柵；在二維繞射光柵處接收由光發射器發射的光，以輸出被定向在第一方向上的第一繞射光和被定向在垂直於第一方向的第二方向上的第二繞射光；使第一繞射光穿過空間濾波器輪的第一多個孔，並在空間濾波器輪處阻擋第二繞射光；將穿過第一多個孔的第一繞射光作為第一多個條紋投射在樣品平面上；以及捕獲由樣品發射的光的第一多個相位圖像，其中在第一多個圖像的捕獲期間，第一多個條紋在樣品平面上相移。第一多個條紋可以通過(例如，使用運動台)移動樣品、通過移動所投射的條紋或者通過移動樣品和所投射的條紋二者來相移。

在實現方式中，該方法還包括：旋轉空間濾波器輪，使得它使第二繞射光穿過空間濾波器輪的第二多個孔，並在空間濾波器輪處阻擋第一繞射光；將穿過第二多個孔的第二繞射光作為與第一多個條紋正交的第二多個條紋投射在樣品平面上；以及捕獲由樣品發射的光的第二多個相位圖像，其中在第二多個圖像的捕獲期間，第二多個條紋在樣品平面上相移。

在該方法的特定實現方式中，二維繞射光柵是在固體光學裝置的表面上形成或設置在固體光學裝置的表面上的二維透射式繞射光柵，並且該方法還包括：在固體光學裝置的與透射式繞射光柵相對的一側處阻擋由透射式繞射光柵輸出的0級光；以及從固體光學裝置的斜面繞射和輸出由二維透射式繞射光柵繞射的第一級光。

在該方法的特定實現方式中，二維繞射光柵是在固體光學裝置的與接收來自光發射器的光的固體光學裝置的孔相對的表面上形成或設置在該表面上的二維反射式繞射光柵，並且該方法還包括：在固體光學裝置的表面處反射由二維反射式繞射光柵繞射的第一級光。

根據結合附圖理解的下面的詳細描述，所公開的技術的其他特徵和態樣將變得明顯，附圖通過例子的方式示出了根據所公開的技術的在本文所述的一些實現方式的特徵。該概述不旨在限制由申請專利範圍和等同物限定的本文所述的任何發明的範圍。

應該認識到，前述概念的所有組合(假設這些概念不相互矛盾)被認為是本文公開的發明主題的一部分。特別地，出現在本公開結尾處的要求保護的主題的所有組合被認為是本文公開的發明主題的一部分。

100:結構照明成像系統/系統

110:樣品容器

120:廢液閥

130:溫度站致動器

135:加熱器/冷卻器

140:照相機系統

142:物鏡

150:光發射器

151:準直透鏡

152:光纖

155:光結構化光學元件

156:投影透鏡

160:二向色鏡

165:濾波器切換元件

170:樣品台

175:聚焦(z軸)部件/聚焦部件

190:流體輸送模組或設備

200:雙臂SIM成像系統/SIM成像系統/成像系統/系統

210A:光發射器

210B:光發射器

220A:光準直器/準直器

220B:光準直器/準直器

230A:垂直光柵/光柵/相位調變器

230B:水平光柵/光柵/相位調變器

240A:光學相位調變器/旋轉光學視窗/旋轉視窗/視窗

240B:光學相位調變器/旋轉視窗/視窗

250A:投影透鏡

250B:投影透鏡

260:反射鏡

261:孔

265:投影透鏡

270:物鏡

271:樣品

280:半反射鏡

290:照相機

300:系統

310:旋轉光學視窗/視窗

400:雙臂SIM成像系統/系統

410A:線性運動台/台

410B:線性運動台/台

500:方法

510:操作

520:操作

530:操作

540:操作

550:下一臂

560:操作

570:操作

700:雙臂SIM成像系統/SIM成像系統/系統

900:雙臂SIM成像系統/系統

910A:光發射器

910B:光發射器

920A:光準直器

920B:光準直器

930A:繞射光柵

930B:繞射光柵

940A:中繼透鏡

940B:中繼透鏡

945:反射光學裝置

950:光束組合元件

960:平行板光學元件

1000:雙光柵滑動SIM成像系統

1010:光發射器

1011:光纖

1020:第一光準直器

1030:線性運動台/運動台

1031:光柵/第一光柵

1032:光柵/繞射光柵

1040:投影透鏡

1050:二向色鏡

1060:物鏡

1070:樣品

1080:照相機

1100:方法

1110:操作

1120:操作

1130:操作

1140:操作

1150:操作

1160:光源

1170:操作

1300:雙光柵滑動SIM成像配置

1310:光纖

1320:準直器

1330:線性運動台/台

1331:光柵/第一繞射光柵

1332:光柵/第二繞射光柵

1340:投影透鏡

1350:轉向鏡

1400:系統

1410:發射器

1420:準直器

1430:二維光柵/二維繞射光柵

1440:零級光束阻擋器/光束阻擋元件

1450:光學相位調變器/移相器

1460:投影透鏡

1470:空間濾波器遮罩

1471:孔

1472:孔

1480:向色鏡

1490:物鏡

1491:樣品

1495:照相機

1500:系統

1510:光學器件

1511:光柵

1512:斜面

1600:成像系統/系統

1605:對準圖樣標記

1610:固體光學器件/光學器件

1611:光柵

1612:出口面

1613:內表面

1614:入口窗口

1615:光柵

1625:透明通光孔

1710:樣品

1711:特徵

1740:圖像感測器元件

1760:結構化激發光

1761:光

1900:系統

1910:光發射器

1920:第一光準直器

1930:線性運動台

1931:第一繞射光柵

1932:第二繞射光柵

1940:光學相位調變器

參考以下附圖詳細描述了根據一個或更多個實現方式的本公開。這些圖僅出於說明的目的而被提供，並且僅描繪示例實現方式。此外，應當注意，為了說明的簡單和清楚，圖中的元素不一定按比例繪製。

本文包括的一些圖從不同視角示出了公開的技術的各種實現方式。儘管附隨的描述性文本可以將這樣的視圖稱為“頂”、“底”或“側”視圖，但這樣的提及僅僅是描述性的，並且不暗示或要求所公開的技術在特定的空間取向上被實現或使用，除非另外明確地說明。

圖1示出了根據本文描述的一些實現方式的用空間結構化光照亮樣品的結構照明成像系統。

圖2是示出根據本文描述的一些實現方式的雙臂結構照明顯微術(SIM)成像系統的一個示例光學配置的光學圖。

圖3是示出根據本文描述的一些實現方式的雙臂SIM成像系統的另一示例光學配置的光學圖。

圖4是示出根據本文描述的一些實現方式的雙臂SIM成像系統的另一示例光學配置的光學圖。

圖5是示出根據本文描述的一些實現方式的、可以由多臂SIM成像系統在一個成像週期期間執行以使用結構化光來創建高解析度圖像的示例方法的操作流程圖。

圖6示出了根據本文描述的一些實現方式的、可以在圖像捕獲期間由雙臂SIM成像系統的垂直光柵和水平光柵投射到樣品的平面上的簡化照明條紋圖樣。

圖7示出了根據本文描述的一些實現方式的、使用偏振分束器以用垂直偏振光照亮垂直光柵並用水平偏振光照亮水平光柵的雙臂SIM成像系統的示例實驗設計。

圖8A示出了利用20x/0.75 NA顯微鏡、使用圖7的示例SIM成像系統捕獲的無焦鏡像(afocal mirror image)和螢光幻燈片。

圖8B示出了使用帶有珠狀流動池(beaded flowcell)的圖7的系統獲取的條紋調變測量結果。該曲線圖示出在該示例中當圖7的平行板W2的角度改變時在相位調整週期期間的典型的特徵圖像強度變化。

圖9示出了根據本文描述的一些實現方式的雙臂SIM成像系統的另一示例光學配置。

圖10A是示出根據本文描述的一些實現方式的在第一繞射光柵位置上的雙光柵滑動SIM成像系統的示例光學配置的示意圖。

圖10B是示出根據本文描述的一些實現方式的、圖10A的雙光柵滑動SIM成像系統在第二繞射光柵位置上的示例光學配置的示意圖。

圖11是示出根據本文描述的一些實現方式的、可以由多光柵滑動SIM成像系統在一個成像週期期間執行以使用結構化光來創建高解析度圖像的示例方法的操作流程圖。

圖12示出了根據本文描述的一些實現方式的、可以在圖像捕獲期間由雙光柵滑動SIM成像系統的第一繞射光柵和第二繞射光柵投射到樣品的平面上的簡化照明條紋圖樣。

圖13是示出根據本文描述的一些實現方式的示例雙光柵滑動SIM成像配置的圖。

圖14是示出根據本文描述的一些實現方式的圖樣角度空間選擇SIM成像系統的示例光學配置的示意圖。

圖15是示出根據本文描述的一些實現方式的圖樣角度空間選擇SIM成像系統的另一示例光學配置的示意圖。

圖16是示出根據本文描述的一些實現方式的圖樣角度空間選擇SIM成像系統的另一示例光學配置的示意圖。

圖17示出可以在多光柵滑動SIM成像系統的一些實現方式中使用的對準圖樣的一個例子。

圖18示出了根據本文描述的一些實現方式的、可以在SIM成像系統的圖像感測器元件上形成的樣品。

圖19示出了根據本文描述的一些實現方式的示例雙光柵滑動SIM成像系統的一些部件。

附圖不是詳盡的且不將本公開限於所公開的精確形式。

如在本文用於指由繞射光柵繞射的光的，術語“級(order)”或 “級數”意欲意指整數波長的數量，其表示來自相鄰的繞射光柵狹縫或結構的建設性干涉的光的路徑長度差。在重複的一系列光柵結構或其他分束結構上的入射光束的相互作用可以將光束的部分重定向或繞射到偏離原始光束的可預測的角方向中。術語“零級”或“零級最大值”意欲指由繞射光柵發射的中央亮條紋，其中沒有繞射。術語“第一級”意欲指繞射到零級條紋的兩側的兩個亮條紋，其中路徑長度差為±1個波長。更高級的光被繞射到偏離原始光束的更大的角度中。光柵的特性可以被操縱以控制多少光束強度被引導到不同級內。例如，可以製造相位光柵以使±1級光束的透射最大化，並使0級光束的透射最小化。

如在本文用於指樣品的，術語“特徵”意欲意指圖樣中的可以根據相對位置與其他的點或區域區分開的點或區域。單獨的特徵可以包括特定類型的一個或更多個分子。例如，特徵可以包括具有特定序列的單個靶核酸分子，或特徵可以包括具有相同序列(和/或其互補序列)的幾個核酸分子。

如本文所使用的，術語“xy平面”意欲意指由在笛卡爾坐標系中的直線軸x和y所定義的2維區域。當參考檢測器和由檢測器觀察的物件被使用時，該區域可以被進一步指定為與光束軸或在檢測器和被檢測物件之間的觀察方向正交。

如本文中所使用的，術語“z座標”意欲意指指定沿著與xy平面正交的軸的點、線或區域的位置的資訊。在特定實現方式中，z軸正交於由檢測器所觀察到的物件的區域。例如，可以沿著z軸指定光學系統的聚焦方向。

如本文所使用的，術語“光學耦合”旨在指代一個元件適用於將光直接或間接地傳到另一元件。

如上面所提到的，SIM系統的已存在的實現方式將繞射光柵安裝在平移台上，平移台又安裝在旋轉台上。此外，這種系統常常在光在光柵處被接收之前利用線性偏振器來使光源偏振。這種已存在的設計對於在高輸送量 顯微鏡系統中使用遭受許多缺點。首先，因為旋轉台在圖像集的採集期間必須旋轉光柵幾次(例如，三次)，這減慢儀器的速度並影響它的穩定性。通常，最快的光柵台可以旋轉大約幾十毫秒(ms)，這對成像速度強加機械輸送量限制。其次，已存在的設計具有較差的可重複性，因為旋轉台的機械公差限制了結構照明圖樣從一個圖像採集組到下一個圖像採集組的可重複性。這也對SIM系統強加更高的成本，因為它需要非常精確的旋轉台。

第三，由於為了旋轉光柵而進行的致動的次數，已存在的SIM設計對於在高輸送量顯微鏡系統中使用不是最可靠的。例如，如果每秒採集一個SIM圖像集，則旋轉台每年可能需要數百萬到數千萬次致動。第四，已存在的SIM設計具有低的光學效率，因為線性偏振器阻擋在光柵處接收的光的至少50%。

為此，在本文公開的技術的實現方式針對改進的SIM系統和方法。

根據本文公開的技術的第一組實現方式，SIM成像系統可以被實現為多臂SIM成像系統，由此，系統的每個臂包括光發射器和具有相對於系統的光軸的特定的固定取向的分束器(例如透射式繞射光柵)。根據這些實現方式，在SIM成像系統中的分束器是可旋轉地固定的(即，不需要機械旋轉)，這可以提供改進的系統速度、可靠性和可重複性。對於被成像的對象主要沿著2個垂直軸(即垂直和水平)被定向的系統，可能使用2個圖樣角度而不是通常用於隨機定向的對象的3個角度來實現增強的空間解析度。在特定實現方式中，該系統可以被實現為雙臂SIM成像系統，其包括固定垂直光柵和固定水平光柵以將相應的條紋圖樣投射在被成像的樣品上。可以使用其他對的正交光柵和圖樣角度，假定它們與樣品物件的取向對準。此外，該系統可以包括具有孔的反射鏡，以用無損方式將兩個臂組合到光路中。

根據本文公開的技術的第二組實現方式，SIM成像系統可以被實現為多分束器滑動SIM成像系統，其中一個線性運動台安裝有具有相對於系統的光軸的相應的固定取向的多個分束器(例如繞射光柵)。在特定實現方式中，SIM成像系統可以被實現為雙光柵滑動SIM成像系統，由此，投射在被成像的樣品上的光柵圖樣的所有相移或旋轉可以通過沿著單個運動軸線性地平移運動台來進行，以選擇兩個光柵中的一個或者實現由所選擇的光柵產生的圖樣的相移。在這樣的實現方式中，僅需要具有單個發射器和單個線性運動台的單個光學臂來照亮樣品，這可以提供系統優勢，例如減少移動系統部件的數量以改善速度、複雜性和成本。另外，在這樣的實現方式中，偏振器的缺乏可以提供高光學效率的優點。

根據本文公開的技術的第三組實現方式，SIM成像系統可以被實現為圖樣角度空間選擇SIM成像系統，由此，固定的二維繞射光柵與空間濾波器輪結合來使用，以在樣品上投射一維繞射圖樣。在這樣的實現方式中，成像系統的主要光學部件可以保持靜止，這可以提高光學系統(和照明圖樣)的穩定性，並最小化系統的移動元件的重量、振動輸出和成本。

在描述本文中所公開的系統和方法的各種實現方式之前，描述可以利用其實現本文中所公開的技術的示例環境是有用的。一個這樣的示例環境是用空間結構化光照亮樣品的在圖1中所示的結構照明成像系統100的環境。 例如，系統100可以是利用空間結構化激發光來對生物樣品成像的結構照明螢光顯微鏡系統。

在圖1的例子中，光發射器150被配置為輸出由準直透鏡151準直的光束。準直光由光結構化光學元件155結構化(圖樣化)，並由二向色鏡160引導通過物鏡142到達位於運動台170上的樣品容器110的樣品上。在螢光樣品的情況下，樣品回應於結構化激發光而發螢光，並且所產生的光由物鏡142收 集並將被引導到照相機系統140的圖像感測器以檢測螢光。

在以下進一步描述的各種實現方式中的光結構化光學元件155包括一個或更多個光學繞射光柵或其他分束元件(例如分束器立方體或板)，以產生投射到樣品容器110的樣品上的光的圖樣(例如條紋，通常為正弦的)。 繞射光柵可以是一維或二維透射或反射光柵。繞射光柵可以是正弦振幅光柵或正弦相位光柵。

如下面參考具體實現方式進一步描述的，在系統100中，繞射光柵不像上面討論的已存在的系統的典型的結構照明顯微鏡系統一樣需要旋轉台。在一些實現方式中，繞射光柵可以在成像系統的操作期間是固定的(即，不需要旋轉或線性運動)。例如，在下面進一步描述的特定實現方式中，繞射光柵可以包括垂直於彼此定向的兩個固定的一維透射式繞射光柵(例如水平繞射光柵和垂直繞射光柵)。

如圖1的例子所示的，光結構化光學元件155輸出繞射光束的第一級(例如，m=±1級)，同時阻擋或最小化所有其它級，包括零級。然而，在替代的實現方式中，可以將額外級的光投射到樣品上。

在每個成像週期期間，成像系統100利用光結構化光學元件155來獲取在不同相位處的多個圖像，其中條紋圖樣在(例如，在x-y平面中並垂直於條紋的)調變方向上橫向移位，該過程通過圍繞光軸(即，相對於樣品的x-y平面)旋轉圖樣取向而重複一次或更多次。所捕獲的圖像然後可以用計算方式被重建以生成更高解析度的圖像(例如，具有大約是單獨圖像的橫向空間解析度的兩倍的解析度的圖像)。

在系統100中，光發射器150可以是非相干光發射器(例如，發射由一個或更多個激發二極體輸出的光束)或者相干光發射器，例如由一個或更多個雷射器或雷射二極體輸出的光的發射器。如系統100的例子所示的，光 發射器150包括用於引導要輸出的光束的光纖152。然而，可以使用光發射器150的其它配置。在多通道成像系統(例如，利用多個波長的光的多通道螢光顯微鏡)中利用結構照明的實現方式中，光纖152可以光學地耦合到多個不同的光源(未示出)，每個光源發射不同波長的光。儘管系統100被示為具有單個光發射器150，但是在一些實現方式中，可以包括多個光發射器150。例如，在下面進一步討論的利用多個臂的結構照明成像系統的情況下，可以包括多個光發射器。

在一些實現方式中，系統100可以包括投影透鏡156，投影透鏡156可以包括透鏡元件，該透鏡元件沿著z軸鉸接(articulate)以調整結構化光束形狀和路徑。例如，投影透鏡的部件可以被鉸接以考慮在容器110中的樣品的樣品厚度的範圍(例如，不同的蓋玻片厚度)。

在系統100的例子中，流體輸送模組或設備190可將試劑(例如螢光標記核苷酸、緩衝液、酶、解理試劑等)的流引導至(並且穿過)樣品容器110和廢液閥120。樣品容器110可以包括在其上設置樣品的一個或更多個基板。例如，在系統分析大量不同核酸序列的情況下，樣品容器110可以包括待測序的核酸被鍵合、附著或結合在其上的一個或更多個基板。基板可以包括核酸可附著到其的任何惰性基板或基質，諸如例如玻璃表面、塑膠表面、乳膠、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯醯胺凝膠、金表面和矽晶片。在一些應用中，基板在通道內或在處於形成在樣品容器110上的矩陣或陣列中的多個位置處的其他區域內。系統100還可包括溫度站致動器130和加熱器/冷卻器135，其可以可選地調節在樣品容器110內的流體的溫度狀況。

在特定實現方式中，樣品容器110可以被實現為包括半透明蓋板、基板和包含在其間的液體的圖樣化流動池，並且生物樣品可以位於半透明蓋板的內表面或基板的內表面處。流動池可以包括被圖樣化成在基板中的所定 義的陣列(例如，六邊形陣列、矩形陣列等)的大量(例如，數千、數百萬或數十億)的井或區域。每個區域可以形成諸如DNA、RNA或可以例如使用合成測序而被測序的另一種基因組材料的生物樣品的簇(例如，單克隆簇)。流動池還可以被劃分成多個間隔開的流道(例如，八個流道)，每個流道包括簇的六邊形陣列。在美國專利第8,778,848號中描述了可以被用於本文中所公開的實現方式中的示例流動池。

樣品容器110可以安裝在樣品台170上，以提供樣品容器110相對於物鏡142的移動和對準。樣品台可以具有一個或更多個致動器，以允許其在三個維度中的任何一個維度中移動。例如，就笛卡爾坐標系而言，可以提供致動器以允許台相對於物鏡在X、Y和Z方向上移動。這可以允許樣品容器110上的一個或更多個樣品位置被定位成與物鏡142光學對準。樣品台170相對於物鏡142的移動可以通過移動樣品台本身、物鏡、成像系統的某個其他部件或前述項的任何組合來實現。在一些實現方式中，樣品台170的移動可以在結構照明成像期間實現，以相對於樣品移動結構照明條紋來改變相位。其他實現方式還可以包括遍及(over)靜止樣品地移動整個成像系統。可替代地，樣品容器110可以在成像期間是固定的。

在一些實現方式中，可包括聚焦(z軸)部件175以控制在聚焦方向(通常被稱為z軸或z方向)上光學部件相對於樣品容器110的定位。聚焦部件175可包括物理耦合到光學台或樣品台或兩者的一個或更多個致動器，以使樣品台170上的樣品容器110相對於光學部件(例如，物鏡142)移動，以對成像操作提供適當的聚焦。例如，致動器可以例如通過直接或間接地機械、磁性、流體或其他方式附接到台或接觸台而物理耦合到相應的台。一個或更多個致動器可以被配置為在保持樣品台在同一平面內(例如，保持垂直於光軸的位準或水平姿態)的同時在z方向上移動該台。一個或更多個致動器也可以被配 置為使台傾斜。例如，這可以被完成，使得樣品容器110可以被動態地變平以考慮其表面的任何坡度。

應當認識到，儘管圖1示出了用於將兩個光束級組合並投射到被成像的樣品上作為干涉條紋圖樣的物鏡142的使用，但是也可以使用其它合適的裝置來組合兩個光束和/或將干涉圖樣投射在樣品上。重定向光束的任何裝置可能就足夠了(例如，使用反射鏡)，假定光束所穿過的路徑長度在光束的時間相干長度內。此外，在一些實現方式中，兩個光束級對於超過分束器(例如繞射光柵)的一定距離可以自動重疊。在這樣的實現方式中，干涉圖樣可能出現在光柵附近，去除了額外的投影系統的需要--如果繞射光柵被放置得足夠靠近樣品。因此，應該認識到，這裡描述的SIM的實現可以應用於不依賴物鏡系統來投射干涉圖樣的系統。

從在樣品位置處被成像的測試樣品發出的結構化光可以通過二向色鏡160被引導至照相機系統140的一個或更多個檢測器。在一些實現方式中，可以包括具有一個或更多個發射濾波器的濾波器切換元件165，其中一個或更多個發射濾波器可以用於使特定發射波長穿過並阻擋(或反射)其他發射波長。例如，一個或更多個發射濾波器可用於在成像系統的不同通道之間切換。在特定實現方式中，發射濾波器可以被實現為二向色鏡，其將不同波長的發射光引導到照相機系統140的不同圖像感測器。

照相機系統140可以包括一個或更多個圖像感測器以監測和跟蹤樣品容器110的成像(例如測序)。照相機系統140可以被實現為例如電荷耦合設備(CCD)圖像感測器照相機，但是也可以使用其他圖像感測器技術，例如作用像素感測器(例如互補金屬氧化物半導體(CMOS)圖像感測器)。在一些實現方式中，結構照明成像系統100可以利用在樣品的作用平面(active plane)中的圖像感測器(例如作用像素感測器)。在這樣的實現方式中，被成 像的樣品可以被圖樣化和/或排列在圖像感測器上。

來自照相機系統140的輸出資料(例如圖像)可以被傳送到可以被實現為軟體應用的即時分析模組(未示出)，如下文進一步描述的，該軟體應用可以重建在每個成像週期期間捕獲的圖像，以創建具有更高空間解析度的圖像。可替代地，輸出資料可以被存儲用於在稍後時間的重建。

儘管未示出，但是控制器可以被提供來控制結構照明成像系統100的操作，包括使系統100的各種光學部件同步。控制器可以被實現為控制系統操作的各方面，諸如例如，光結構化光學元件155的配置(例如，繞射光柵的選擇和/或線性平移)、投影透鏡156的移動、聚焦、台移動和成像操作。在各種實現方式中，可以使用硬體、演算法(例如機器可執行指令)或前述的組合來實現控制器。例如，在一些實現方式中，控制器可以包括具有相關聯的記憶體的一個或更多個CPU或處理器。作為另一個例子，控制器可以包括用於控制操作的硬體或其他電路，諸如電腦處理器和其上存儲有機器可讀取指令的非臨時性電腦可讀取媒體。例如，該電路可以包括以下中的一個或更多個：現場可程式化閘極陣列(FPGA)、特定應用積體電路(ASIC)、可程式化邏輯裝置(PLD)、複雜可程式化邏輯裝置(CPLD)、可程式化邏輯陣列(PLA)、可程式化陣列邏輯(PAL)或其他類似的處理設備或電路。作為又一個例子，控制器可以包括該電路與一個或更多個處理器的組合。

多臂結構照明顯微術成像系統

根據在本文公開的技術的一些實現方式，SIM成像系統可以被實現為多臂SIM成像系統，其中系統的每個臂包括光發射器和具有相對於系統的光軸的特定的固定取向的光柵。

圖2是示出根據本文描述的一些實現方式的雙臂SIM成像系統200的一個示例光學配置的光學圖。系統200的第一臂包括光發射器210A、用於 準直由光發射器210A輸出的光的光準直器220A、在相對於光軸的第一取向上的繞射光柵230A、旋轉視窗240A和投影透鏡250A。系統200的第二臂包括光發射器210B、用於準直由光發射器210B輸出的光的光準直器220B、在相對於光軸的第二取向上的繞射光柵230B、旋轉視窗240B和投影透鏡250B。儘管繞射光柵在這個例子中被示出，但是在其它實現方式中，諸如分束器立方體或板的其它分束元件可以用於分離在SIM成像系統200的每個臂處接收的光。

每個光發射器210A-210B可以是非相干光發射器(例如，發射由一個或更多個發光二極體(LED)輸出的光束)或者相干光發射器，例如由一個或更多個雷射器或雷射二極體輸出的光的發射器。在系統200的例子中，每個光發射器210A-210B是輸出由相應準直器220A-220B準直的光束的光纖。

在一些實現方式中，每個光纖可以光學地耦合到相應的光源(未示出)，例如雷射器。在成像期間，可以使用位於在光纖和光源之間的光路中的高速快門(未示出)或者通過在成像期間以預定頻率向光纖的相應光源加以脈衝來接通或斷開每個光纖。在一些實現方式中，每個光纖可以光學地耦合到同一光源。在這樣的實現方式中，分束器或其它合適的光學元件可用於將光從光源引導到每個光纖中。在這樣的例子中，可以使用位於在光纖和分束器之間的光路中的高速快門(未示出)來接通或斷開每個光纖。

在示例SIM成像系統200中，第一臂包括固定垂直光柵230A以將在第一取向上的光柵圖樣(例如分隔號紋圖樣)投射到樣品上，以及第二臂包括固定水平光柵230B以將在第二取向上的光柵圖樣(例如水平條紋圖樣)投射到樣品271上。與已存在的SIM成像系統不同，SIM成像系統200的光柵不需要被機械旋轉或平移，這可以提供改進的系統速度、可靠性和可重複性。

如圖2的例子所示的，光柵230A-230B可以是透射式繞射光柵，包括形成到玻璃基板或其它合適表面中的多個繞射元件(例如平行狹縫或凹 槽)。光柵可以被實現為相位光柵，其提供光柵材料的折射率的週期性變化。 凹槽或特徵間距可以被選擇成以合適的角度繞射光，並被調整到被成像的樣品的最小可分辨特徵尺寸，以用於SIM成像系統200的操作。在其它實現方式中，光柵可以是反射式繞射光柵。

在SIM成像系統200的例子中，垂直和水平圖樣偏移大約90度。 在其它實現方式中，光柵的其它取向可用於產生大約90度的偏移。例如，光柵可以被定向成使得它們投射從樣品271的x或y平面偏移±45度的圖像。示例SIM成像系統200的配置在具有在矩形網格上的特徵的有規則地圖樣化的樣品271的情況下可能是特別有利的，因為結構化解析度增強可以僅使用兩個垂直光柵(例如垂直光柵和水平光柵)來實現。

在系統200的例子中，光柵230A-230B被配置成將輸入光束繞射成多個級(例如，0級、±1級、±2級等)，其中±1級可以投射在樣品271上。如該例子所示的，垂直光柵230A將準直光束繞射成第一級繞射光束(±1級)，在頁的平面上傳播第一級，以及水平光柵230B將準直光束繞射成第一級繞射光束，在頁的平面上方和下方(即，在垂直於頁的平面中)傳播該級。為了提高系統的效率，零級光束和所有其他更高級光束(即，±2級或更高級)可被阻擋(即，從投射在樣品271上的照明圖樣中濾出)。例如，光束阻擋元件(未示出)例如級濾波器(order filter)可以被插入到在每個繞射光柵之後的光路中，以阻擋0級光束和更高級光束。在一些實現方式中，繞射光柵230A-230B可以被配置成僅將光束繞射到第一級內，並且0級(非繞射光束)可以被某個光束阻擋元件阻擋。

每個臂包括光學相位調變器240A-240B或移相器，以使由每個光柵230A-230B輸出的繞射光相移。例如，在結構化成像期間，每個繞射光束的光學相位可以被移動結構化圖樣的每個條紋的間距(λ)的某個分數(例 如，1/2、1/3、1/4等)。在圖2的例子中，相位調變器240A和240B被實現為旋轉視窗，其可以使用檢流計或其他旋轉致動器來旋轉和調變每個繞射光束的光路長度。例如，視窗240A可以圍繞垂直軸旋轉以向左或向右移動由垂直光柵230A投射在樣品271上的圖像，並且視窗240B可以圍繞水平軸旋轉以向上或向下移動由水平光柵230B投射在樣品271上的圖像。

在下文進一步描述的其他實現方式中，改變繞射光的光路長度的其他相位調變器(例如線性平移台、楔形物等)可以被使用。此外，儘管光學相位調變器240A-240B被示為放置在光柵230A-230B之後，但是在其他實現方式中，它們可以放置在照明系統中的其他位置處。在一些實現方式中，單個相位調變器可以針對不同的條紋圖樣在兩個不同的方向上操作，或者單個相位調變器可以使用單個運動來調節兩個路徑長度，如下所述。

在示例系統200中，具有孔261的反射鏡260以無損方式(例如，除了在反射塗層中的小吸收之外，沒有光功率的顯著損失)將兩個臂組合到光路中。反射鏡260可以定位成使得來自每個光柵的繞射級在空間上被分辨，並且不需要的級可以被阻擋。反射鏡260通過孔261使由第一臂輸出的第一級光通過。反射鏡260反射由第二臂輸出的第一級光。因此，通過開啟或關閉每個發射器或者通過打開和關閉引導光源的光通過光纖電纜的光學快門，結構照明圖樣可以從垂直取向(例如光柵230A)切換到水平取向(例如光柵230B)。在其他實現方式中，可以通過使用光學開關以改變照亮樣品的臂來切換結構照明圖樣。

在示例成像系統200中還示出了投影透鏡265、半反射鏡280、物鏡270和照相機290。投影透鏡265可以與透鏡250A結合來使用，以將光柵230A的傅立葉轉換投射到物鏡270的入射光瞳中。類似地，投影透鏡265可以與透鏡250B結合來使用，以將光柵230B的傅立葉轉換投射到物鏡270的入射光瞳中。 投影透鏡265也可以被實現為沿著z軸鉸接，以調節在樣品平面上的光柵焦點。 半反射鏡280可以是二向色鏡，以將從每個臂接收到的結構照明光向下反射到物鏡270中，用於投射到樣品271上，並使由樣品271發射的光(例如，在不同於激發的波長處發射的螢光)穿過到照相機290上。

值得注意的是，由於偏振器的缺乏，系統200的例子可以提供高光學效率。此外，根據物鏡270的數值孔徑設置，非偏振光的使用可能對圖樣對比度沒有顯著影響。

應當注意，為了簡單起見，SIM成像系統200的光學部件可以從前面的討論中省略。此外，儘管系統200在此例子中被示為單通道系統，但是在其他實現方式中，它可以被實現為多通道系統(例如，通過使用兩個不同的照相機和以兩個不同波長發射的光源)。

圖3是示出根據本文描述的一些實現方式的雙臂SIM成像系統300的另一示例光學配置的光學圖。在系統300中，大的旋轉光學視窗310可以放置在具有孔261的反射鏡260之後。在這種情況下，可以使用視窗310來代替視窗240A和240B，以調變由垂直和水平繞射光柵輸出的兩組繞射光束的相位。 代替相對於光柵之一的光軸平行，旋轉視窗310的旋轉軸可以從垂直和水平光柵中的每一個的光軸偏移45度(或某個其它角度偏移)，以允許沿著視窗310的一個公共旋轉軸的兩個方向相移。在一些實現方式中，旋轉視窗310可以由圍繞標稱光束軸旋轉的楔形光學裝置代替。

圖4是示出根據本文描述的一些實現方式的雙臂SIM成像系統400的另一示例光學配置的光學圖。在系統400中，光柵230A和230B安裝在各自的線性運動台410A和410B上，線性運動台410A和410B可以被平移以改變由光柵230A和230B發射的光的光路長度(以及因而改變相位)。線性運動台410A-410B的運動軸可以是垂直的或以其他方式從它們各自光柵的取向偏移，以實現 光柵圖樣沿著樣品271的平移。在實現方式中，台410A和410B可以各自利用交叉滾子軸承、線性電機、高準確度線性編碼器和/或其他技術來提供光柵的精確線性平移，以使所投射的圖像相移。

圖5是示出根據本文描述的一些實現方式的、可以由多臂SIM成像系統在一個成像週期期間執行以使用結構化光來創建高解析度圖像的示例方法500的操作流程圖。在實現方式中，可以執行方法500來對整個樣品或較大樣品的位置進行成像。將結合圖6描述方法500，圖6示出了可以在圖像捕獲期間由雙臂SIM成像系統的垂直光柵和水平光柵投射到樣品271的平面上的簡化照明條紋圖樣。例如，SIM成像系統200可以使用垂直光柵230A和水平光柵230B來產生圖6所示的水平和垂直照明圖樣，而相位調變器240A和240B可以被設置到三個不同的位置以產生所示的三個相移。

在操作510，開啟對應於第一光柵取向的第一臂，以開始使用第一臂來生成照明圖樣。例如，在成像系統200的實現方式中，位於在光纖210A和光源之間的路徑中的高速快門可以被打開或以其他方式被啟動，使得光源不被阻擋。可替代地，一個或更多個光源可以被開啟或關閉(例如，加以脈衝)，或者光學開關可以用於引導光源通過第一臂的光路(例如，通過第一或第二發射器之一)。在某些情況下，操作510還可以包括(例如，在第一成像週期的情況下)開啟光源。

一旦第一臂被開啟，在操作520第一光柵圖樣就可以被投射在樣品上，並且圖像可以被捕獲。例如，如圖6所示，垂直光柵230A可以在樣品271上投射第一級照明條紋。由樣品發射的任何光可以被照相機290捕獲，並且第一圖樣(例如垂直圖樣)的第一相位圖像可以被捕獲。例如，位於樣品271的不同特徵處的螢光染料可以發螢光，並且所產生的光可以被物鏡270收集並且被引導至照相機290的圖像感測器以檢測螢光。

如果需要捕獲額外的相移圖像(操作530)，則在操作540由光柵投射的圖樣可以被相移以捕獲圖樣的下一個相位圖像。例如，在系統200的實現方式中，由垂直光柵230A投射的圖樣的相位可以通過旋轉光學視窗240A來相移。可替代地，可以使用其它光學相位調變器─諸如平移台或旋轉光學楔形物--來移動相位。例如，如在圖6的例子中所示的，相位可以被移動條紋圖樣的間距(λ)的1/3，使得投射在樣品上的圖樣從所捕獲的先前圖像偏移1/3λ。在一些實現方式中，由光柵投射的圖樣可以通過(例如使用運動台)移動樣品而所投射的條紋保持靜止來相移。在一些實現方式中，由光柵投射的圖樣可以通過移動樣品和所投射的條紋二者來相移。操作520-540可以重複，直到第一圖樣的所有相位圖像(例如，在圖6的情況下的垂直圖樣的三個相移圖像)被捕獲為止。

一旦捕獲了圖樣的所有相位圖像，就可以在操作560開啟對應於SIM成像系統的第二光柵取向的第二臂。例如，在成像系統200的實現方式中，位於在光纖210B和光源之間的路徑中的高速快門可以被打開或以其他方式被啟動，使得光源不被阻擋。可替代地，一個或更多個光源可以被開啟或關閉(例如，加以脈衝)，或者光學開關可以用於引導光源通過第二臂的光路。此外，另一個臂可以被關閉。然後通過重複操作520-540，可以針對下一臂550捕獲一系列相位圖像。例如，如圖6所示，水平光柵230B可以在樣品271上投射第一級照明條紋，並且投射條紋可以在位置上移動1/3λ，以捕獲水平圖樣的三個相位圖像。作為另一個例子，由光柵投射的圖樣可以通過(例如使用運動台)移動樣品而所投射的條紋保持靜止或者通過移動樣品和所投射的條紋二者來相移。

一旦在成像週期中捕獲了所有圖像，就可以在操作570從所捕獲的圖像構建高解析度圖像。例如，可以從圖6中所示的六個圖像重建高解析度圖像。可以使用合適的演算法來組合這些不同的圖像，以合成具有比任何單獨 分量圖像明顯更好的空間解析度的樣品的單個圖像。

應當注意，儘管方法500主要在單通道成像(例如，使用具有單一波長的光源對樣品成像)的上下文中被描述，但是在一些實現方式中，方法500可以適合於多通道成像(例如，使用具有不同波長的光源對樣品成像)。 在這樣的實現方式中，方法500可以針對成像系統的每個通道(例如，順序地或並行地)重複，以針對每個通道生成高解析度圖像。

儘管在本文描述的雙臂SIM成像系統200的實現方式迄今為止在利用具有孔261的反射鏡260來無損地組合雙臂的光路的系統200的上下文中被描述，但是在替代的實現方式中，水平和垂直光柵230A-230B的兩個圖像可以通過使用偏振分束器代替具有孔的反射鏡來無損地被組合並且用垂直偏振光照亮垂直光柵以及用水平偏振光照亮水平光柵。在這樣的實現方式中，可以通過開啟和關閉相應的偏振照明源來將結構照明圖樣從水平切換到垂直。

作為例子，圖7示出了雙臂SIM成像系統700的示例實驗設計，該雙臂SIM成像系統700使用偏振分束器來組合臂的光路，並且用垂直偏振光照亮垂直光柵以及用水平偏振光照亮水平光柵。在圖7的實現方式中，水平和垂直光柵是G1和G2，水平和垂直旋轉視窗是W1和W2，以及用於組合水平和垂直點陣影像的偏振分束器是PBS2。光纖耦合模加擾多模雷射器的輸出是Fiber1。

圖8A示出了利用20x/0.75 NA顯微鏡、使用示例SIM成像系統700捕獲的無焦鏡像和螢光幻燈片。無焦鏡像具有84%的條紋可見度。螢光幻燈片圖像具有6.6%的條紋可見度。

圖8B示出了使用具有珠狀流動池的系統700獲取的條紋調變測量結果。該曲線圖示出了當圖7的平行板W2的角度改變時在相位調整週期期間典型特徵圖像強度的變化。

圖9示出了根據本文描述的一些實現方式的雙臂SIM成像系統 900的另一示例光學配置。系統900的第一臂包括光發射器910A(例如光纖)、用於準直由光發射器910A輸出的光的光準直器920A、在相對於光軸的第一取向上的繞射光柵930A以及中繼透鏡940A。系統900的第二臂包括光發射器910B、用於準直由光發射器910B輸出的光的光準直器920B、在相對於光軸的第二取向上的繞射光柵930B以及中繼透鏡940B。

系統900還包括用於組合光學系統的兩個臂的光束組合元件950。如所示，光束組合元件950包括具有孔以使來自系統的第二臂的結構化光穿過的45°棱鏡以及用於反射從第一臂接收的結構化光的鏡面。在進入光束組合元件950之前，每個結構化光束穿過具有一對孔的空間濾波器，以使±1級通過並阻擋其它級。從第一平面中的第一臂發出的結構化光可以由反射光學裝置945引導到光束組合元件950中。在系統900中，平行板光學元件960用作相位調節器，並且可以旋轉以在光束組合元件950之後在每個取向上移動結構化光。

儘管在本文描述的實現方式迄今為止在包括被定向在兩個不同角度下的兩個光柵的雙臂結構照明成像系統的上下文中被描述，但應注意在其他實現方式中，可以實現具有多於兩個臂的系統。在具有在矩形網格上的特徵的有規則地圖樣化的樣品的情況下，如上所述，解析度增強可以僅以兩個垂直角度(例如，垂直光柵和水平光柵)來實現。另一方面，對於在其他樣品(例如，六邊形圖樣化樣品)的所有方向上的圖像解析度增強，可以使用三個光柵角度。例如，三臂系統可以包括三個光發射器和三個固定繞射光柵(每個臂一個)，其中每個繞射光柵圍繞系統的光軸被定向，以在樣品上投射相應的圖樣取向(例如，0°圖樣、120°圖樣或240°圖樣)。在這樣的系統中，可以使用帶有孔的附加反射鏡來以無損方式將附加光柵的附加圖像組合到系統中。可替代地，這樣的系統可以利用一個或更多個偏振分束器來組合每個光柵的圖像。

多光柵滑動結構照明顯微術成像系統

根據本文公開的技術的一些實現方式，SIM成像系統可以被實現為多光柵滑動SIM成像系統，其中一個線性運動台安裝有具有相對於系統的光軸的相應的固定取向的多個繞射光柵(或其他分束光學元件)。

圖10A-10B是示出根據本文描述的一些實現方式的雙光柵滑動SIM成像系統1000的示例光學配置的示意圖。如下文進一步描述的，在系統1000的配置中，投射在樣品1070上的光柵圖樣的所有改變(例如，圖樣相移或旋轉)可以通過沿著單個運動軸線性地平移運動台1030以選擇光柵1031或1032(即，選擇光柵取向)或使光柵1031-1032之一相移來做出。

系統1000包括光發射器1010(例如光學地耦合到光源的光纖1011)、用於準直由光發射器1010輸出的光的第一光準直器1020(例如準直透鏡)、安裝有第一繞射光柵1031(例如水平光柵)和第二繞射光柵1032(例如垂直光柵)的線性運動台1030、投影透鏡1040、半反射鏡1050(例如二向色鏡)、物鏡1060、樣品1070和照相機1080。為了簡單起見，SIM成像系統1000的光學部件可以從圖10A中省略。此外，儘管系統1000在此例子中被示為單通道系統，但是在其他實現方式中，它可以被實現為多通道系統(例如，通過使用兩個不同的照相機和以兩個不同波長發射的光源)。

如圖10A所示，光柵1031(例如水平繞射光柵)可以將準直光束繞射成第一級繞射光束(在頁的平面上)。如圖10B所示，繞射光柵1032(例如垂直繞射光柵)可以將光束繞射到第一級內(在頁的平面的上方和下方)。在該配置中，僅需要具有單個發射器1010(例如光纖)和單個線性運動台的單個光學臂來對樣品1070成像，這可以提供系統優勢，例如減少移動系統部件的數量以改善速度、複雜性和成本。另外，在系統1000中，偏振器的缺乏可以提供前面提到的高光學效率的優點。示例SIM成像系統200的配置在具有在矩形網格上的特徵的有規則地圖樣化的樣品1070的情況下可能是特別有利的， 因為結構化解析度增強可以僅使用兩個垂直光柵(例如垂直光柵和水平光柵)來實現。

為了提高系統的效率，由每個光柵輸出的零級光束和所有其他更高級繞射光束(即，±2級或更高級)可以被阻擋(即，從投射在樣品1070上的照明圖樣中濾出)。例如，光束阻擋元件(未示出)(諸如級濾波器)可以被插入到在運動台1030之後的光路中。在一些實現方式中，繞射光柵1031-1032可以被配置成將光束僅繞射到第一級內，並且0級(非繞射光束)可以由某個光束阻擋元件阻擋。

在系統1000的例子中，這兩個光柵可以被佈置成離運動軸大約±45°(或者從運動軸偏移某個其它角度，例如大約+40°/-50°、大約+30°/-60°等)，以便可以沿著線性運動的單個軸為每個光柵1031-1032實現相移。在一些實現方式中，兩個光柵可以組合成一個物理光學元件。例如，物理光學元件的一側可以具有在第一取向上的光柵圖樣，並且物理光學元件的相鄰側可以具有在與第一取向正交的第二取向上的光柵圖樣。

單軸線性運動台1030可以包括一個或更多個致動器，以允許它相對於樣品平面沿著X軸或者相對於樣品平面沿著Y軸移動。在操作期間，線性運動台1030可以提供足夠的行程(例如大約12-15mm)和準確度(例如大約小於0.5微米可重複性)，以使得準確的照明圖樣被投射用於有效的圖像重建。 在自動成像系統例如螢光顯微鏡中利用運動台1030的實現方式中，運動台1030可被配置為提供高速操作、最小振動產生和長工作壽命。在實現方式中，線性運動台1030可以包括交叉滾子軸承、線性電機、高準確度線性編碼器和/或其他部件。例如，運動台1030可以被實現為可以使用控制器而平移的高精度步進器或壓電運動台。

圖11是示出根據本文描述的一些實現方式的、可以由多光柵滑 動SIM成像系統在一個成像週期期間執行以使用結構化光來創建高解析度圖像的示例方法1100的操作流程圖。根據實現方式，可以執行方法1100以對整個樣品或較大樣品的位置進行成像。將結合圖12描述方法1100，圖12示出了可以在圖像捕獲期間由雙光柵滑動SIM成像系統的第一繞射光柵和第二繞射光柵投射到樣品1070的平面上的簡化照明條紋圖樣。例如，SIM成像系統1000可以使用第一繞射光柵1031和第二繞射光柵1032來生成圖12中所示的照明圖樣。如在圖12的例子中所示的，兩個光柵在樣品1070的表面上投射分隔號紋圖樣，並且佈置成偏離線性運動台1030的運動軸大約±45°。

在操作1110，光源被開啟。例如，可以啟動光學快門以將光發射器1010的光纖光學地耦合到光源。作為另一例子，光源可被加以脈衝，或者光學開關可以用於引導光源通過光發射器的光路。在操作1120，可以將第一光柵圖樣投射在樣品上，並且可以捕獲圖像。例如，如圖12所示，第一光柵(例如光柵1031)可以在樣品1070上投射第一級照明條紋。由樣品發射的任何光可以被照相機1080捕獲，並且第一圖樣(例如+45°圖樣)的第一相位圖像可以被捕獲。例如，位於樣品1070的不同特徵處的螢光染料可以發螢光，並且所產生的光可以被物鏡1060收集並且被引導至照相機1080的圖像感測器以檢測螢光。

為了捕獲額外的相移圖像，在操作1140可以通過平移線性運動台來使由光柵投射的圖樣相移。在圖12的例子中，這些相移運動被示為步驟1和2。相移運動可以提供光柵的小(例如，大約3至5微米或更小)的移動，以稍微移動投射在光柵上的條紋圖樣。

作為特定例子，考慮在圖11的樣品處的條紋的間距λ為2100nm的情況。在這種情況下，在樣品中捕獲三個相移圖像，需要λ/3或700nm的所投射的條紋的相移。假設有10X的物鏡照明放大率，單軸線性運動台的所需相移步長(線性平移)可被計算為700nm * 10 * sqrt(2)或大約9.9μm。在這種情況 下，sqrt(2)因數解釋在光柵的取向和運動台的運動軸之間的45度偏移。更一般地，在該示例配置中，在每個相移步驟期間的線性運動台的平移距離可以通過

×MAG×

來描述，其中MAG是照明放大率。

在捕獲繞射光柵的所有相移圖像(操作1130)之後，在操作1150，系統可以通過平移線性運動台來切換繞射光柵，以將另一繞射光柵光學地耦合到成像系統的光源1160(例如，從圖10A到圖10B的轉換)。在圖12的例子中，該運動被示為步驟3。在繞射光柵改變的情況下，線性運動台可以提供相對大的平移(例如大約12-15mm)。

然後，通過重複操作1120-1140，可以針對下一光柵捕獲一系列相位圖像。例如，如圖12所示，第二繞射光柵可以在樣品1070上投射第一級照明條紋，並且所投射的條紋可以通過平移線性運動台來在位置上移動λ/3以捕獲光柵圖樣的三個相位圖像(例如，圖12的步驟4和5)。

一旦在成像週期中捕獲了所有圖像，就可以在操作1170從所捕獲的圖像構建高解析度圖像。例如，可以從在圖12中示意性示出的六個圖像重建高解析度圖像。如前述例子所示的，多光柵滑動SIM成像系統有利地可以利用單個線性致動器在條紋角度和相位之間切換，從而節省結構照明成像系統的成本和減小複雜性。

圖13是示出示例的雙光柵滑動SIM成像配置1300的圖。如所示，配置1300可以包括發射光的光纖1310、準直器1320、安裝有第一和第二繞射光柵1331-1332的線性運動台1330、投影透鏡1340和轉向鏡1350。在這個例子中，光柵1331-1332嵌入同一物件中，沿著台1330的運動軸相鄰於彼此。未示出的其它部件可以類似於圖10A中的部件，例如二向色鏡1050、物鏡1060和樣品1070。

在一些實現方式中，雙光柵滑動SIM成像系統的線性運動台或 滑動裝置(slide)可以安裝有一個或更多個附加的較低頻率圖樣，以說明由成像光柵(例如，佈置在偏離線性運動台的運動軸大約±45°處的兩個光柵)投射在樣品上的條紋圖樣的對準。例如，圖10A-10B的線性運動台1030可以安裝有附加對準圖樣，或者圖13的線性運動台1330可以安裝有附加對準圖樣。在兩個成像光柵如圖13所示的嵌入在同一基板中的情況下，對準光柵也可以嵌入在該基板中，或者它可以被併入在單獨的基板中。對準圖樣可以放置在兩個成像光柵之間或者在運動台上的某個其他合適的位置上。

當被照亮時，對準圖樣可以被配置成將具有較低頻率和/或較大間距的圖樣投射到樣品上。由於這些特性，光柵相對於樣品的粗略對準可能變得容易。對準圖樣可以被實現為平行線、正交線和/或相比其它光柵具有更低頻率的狹縫的光柵。在一些實現方式中，可以使用多個對準圖樣。圖17示出了可以在本公開的實現方式中使用的對準圖樣的一個例子。如該例子所示的，對準圖樣標記1605被實現在與光柵1615相同的基板上的透明通光孔(clear aperture)1625之外。在這個例子中，對準圖樣被實現為兩組正交線。依靠這個實現方式，可以檢查光柵傾斜。在一些實現方式中，所示的對準圖樣可以在多個區域(例如，基板的四個角)中實現。

在使用期間，對準圖樣可以被照亮以投射圖樣。可以在SIM成像系統製造期間、在現場安裝之後或在現場服務工程師檢查期間利用對準圖樣。在一些實現方式中，可以在雙光柵滑動SIM成像系統的操作期間利用對準圖樣。例如，在樣品的成像開始之前，對準圖樣可以被照亮以投射對準圖樣。

在雙光柵滑動SIM成像系統的一些實現方式中，光學相位調變器(例如旋轉視窗)可以用於相位調諧，該光學相位調變器是與線性運動台不同的單獨部件。在這樣的實現方式中，光學相位調變器可以代替線性運動台用於相位調諧(例如，線性運動台可能僅用於在兩個光柵之間切換)。依靠這樣 的實現方式，可以通過顯著減少運動台隨著時間的過去所需的平移的數量以及通過消除使用運動台進行精細平移(例如，μm的數量級)以選擇相位的需要來潛在地提高系統的速度、準確度和/或可靠性。

光學相位調變器可以放置在光源和樣品之間的光路中的光柵之後(例如，直接在運動台之後)。圖19示出了根據這樣的實現方式的一個示例雙光柵滑動SIM成像系統1900的一些部件。如所示，系統1900包括光發射器1910(例如，光學地耦合到光源的光纖)、用於準直由光發射器1910輸出的光的第一光準直器1920(例如準直透鏡)、安裝有第一繞射光柵1931(例如水平光柵)和第二繞射光柵1932(例如，垂直光柵)的線性運動台1930以及使由每個光柵輸出的繞射光相移的光學相位調變器1940。

圖樣角度空間選擇結構照明顯微術成像系統

根據本文公開的技術的一些實現方式，SIM成像系統可以被實現為圖樣角度空間選擇SIM成像系統，由此，固定的二維繞射光柵與空間濾波器輪結合來使用，以在樣品上投射一維繞射圖樣。

圖14是示出根據本文描述的一些實現方式的圖樣角度空間選擇SIM成像系統1400的示例光學配置的示意圖。為了簡單起見，SIM成像系統1400的光學部件可以從圖14中省略。此外，儘管系統1400在此例子中被示為單通道系統，但是在其他實現方式中，它可以被實現為多通道系統(例如，通過使用兩個不同的照相機和以兩個不同波長發射的光源)。

如所示，系統1400包括光發射器1410(例如光纖)、用於準直由發射器1410發射的光的準直器1420、二維光柵1430、零級光束阻擋器1440、光學相位調變器1450、投影透鏡1460、空間濾波器輪1470、二向色鏡1480、物鏡1490、樣品1491和照相機1495。

在該示例配置中，光柵1430是被配置成在垂直的兩個方向上將 輸入光束繞射到多個級(例如，0級、±1級、±2級等)內的二維透射式繞射光柵。為了提高系統的效率和性能，零級光束和所有其他更高級光束(即，±2級或更高級)可被阻擋(即，從投射在樣品1491上的照明圖樣中濾出)。在更高的級可能以寬的角度被繞射出時，在這些角度處它們可以使用各種濾波元件被濾出，0級分量朝著樣品直接穿過在光束路徑中的光柵。為了阻擋0級分量，可以將光束阻擋元件1440插入在光路中的二維繞射光柵1430之後。例如，光束阻擋元件1440可以是體積布拉格光柵(VBG)--一種可以被圖樣化以反射垂直於該元件的光(例如，0級光)並使其他角度的光(諸如+1和-1級)穿過的繞射光學元件。在0級被去除的情況下，可以使用更小和更緊湊的光學裝置來將+1和-1級向下聚焦到物鏡上。

光學相位調變器1450(例如旋轉視窗)可用於改變入射光的相位，以調整在樣品1491上的圖樣相位位置。例如，光學相位調變器1450可以包括各種移動光學元件，包括以與光軸的可變角度傾斜的平行板光學裝置、繞光軸旋轉的楔形光學裝置、被傾斜以平移光束的反射鏡、電光元件或聲光元件。 在一個特定的實現方式中，光學相位調變器1450可以被實現為沿垂直的兩個方向傾斜的平行板光學裝置，以調節兩個不同光柵角度圖樣的相位。可替代地，在一些實現方式中，可以通過(例如使用運動台)移動樣品而所投射的圖樣保持靜止或者通過移動樣品和所投射的圖樣兩者來調整圖樣相位位置。

在系統1400的例子中，可旋轉的空間濾波器輪1470可以包括定向在垂直的兩個方向上的多個孔(例如，垂直的一組孔1471和水平的一組孔1472)，用於選擇用於投射在樣品1491上的垂直點陣影像或水平點陣影像。例如，通過旋轉空間濾波器輪，光柵圖樣之一的+/-1級可以穿過一組孔中的一個孔，以在樣品1491上產生水平或分隔號紋圖樣。在實現方式中，空間濾波器輪1470可被實現為輕量遮罩或空間濾波器(例如，包括多個埠或孔的旋轉盤)。

在系統1400的配置中，系統1400的主要光學部件可以保持靜止，這可以提高光學系統(和照明圖樣)的穩定性，並最小化移動元件的重量、振動輸出和成本。因為一些光束強度(例如，高達50%)可能需要在空間濾波器輪1470的每個取向上被濾出，在一些實現方式中，空間濾波器可以被配置成將不需要的光束(例如，未通過的繞射光柵圖樣的級)反射到光束收集器(beam dump)中，以用於適當的熱管理。

圖15是示出根據本文描述的一些實現方式的圖樣角度空間選擇SIM成像系統1500的另一示例光學配置的示意圖。在示例成像系統1500中，二維透射光柵和光束阻擋元件的功能可以整合到固體光學裝置1510中。另外，投影透鏡的功能可以整合到固體光學裝置1510中。在該示例實現方式中，二維透射光柵1511被製造在接收來自發射器1410的準直光的光學裝置1510的表面(光學裝置1510的輸入端)上或以其他方式設置在該表面上。光柵1511的色散角可以被佈置成使得0級光可以在光學裝置的遠側上被阻擋。在兩個方向上，期望的+1和-1級可以通過斜面1512(光學裝置1510的輸出端)從光學裝置1510射出，斜面1512在光學期望的方向上使+1和-1級繞射。這些輸出面可以包括繞射聚焦透鏡。可替代地，可以使用單獨的光學裝置作為投影透鏡，以將光束聚焦到物鏡1490上。在系統1500中，如上所述，可以使用移相器1450和旋轉空間濾波器遮罩1470。

圖16是示出根據本文描述的一些實現方式的圖樣角度空間選擇SIM成像系統1600的另一示例光學配置的示意圖。在示例成像系統1600中，固體光學裝置1610可以再次用於整合二維光柵和光束阻擋元件的功能。此外，它可以整合投影透鏡的功能。與示例成像系統1500相比，固體光學裝置1610的輸入端是將接收到的光引導到二維反射光柵1611的入口窗口1614或孔。因為光柵1611在這個例子中是反射性的，所以0級光可以通過入口窗口1614反射回外 面。在每個垂直方向上，期望的+1和-1級繞射光可以從光學裝置1610的相應反射塗層內表面1613反射，並通過出口面1612射出。在實現方式中，這些出口面可以包括繞射聚焦透鏡。可替代地，可以使用單獨的投影透鏡光學裝置1615來將光束聚焦到物鏡1490上。在系統1600中，如上所述，可以使用移相器1450和旋轉空間濾波器遮罩1470。

儘管本公開的一些實現方式已經在使用一個或更多個光學裝置來將所收集的激發光(例如，被物鏡重新收集的光)重新成像到圖像感測器(例如CCD照相機感測器)上的SIM成像系統的上下文中在附圖中示出，但是應當認識到，這裡描述的各種實現方式可以應用於利用在被成像的樣品的作用平面中的圖像感測器(例如CMOS感測器)的SIM成像系統。作為說明性例子，圖18示出了根據本文描述的一些實現方式的可以在SIM成像系統的圖像感測器元件1740上形成的樣品1710。例如，樣品的特徵可以與圖像感測器的像素用光微影法對準。由圖樣化樣品1710回應於結構照明而發射的任何光由圖像感測器元件1740收集，圖像感測器元件1740在該例子中位於樣品1710的正下方。 在圖像感測器元件1740上形成樣品1710可以提供確保樣品1710的圖樣化特徵1711在成像期間相對於圖像感測器元件1740的特定感光點(photosite)(例如像素)保持對準的優點。

樣品1710可以被圖樣化並與圖像感測器元件1740對準，使得圖像感測器元件1740的每個光感測器(例如像素)具有在它之上形成和/或安裝的一個或更多個特徵1711。如圖18的例子所示的，樣品1710在圖像感測器元件1740上被圖樣化，使得一個特徵1711在圖像感測器元件1740的像素陣列的每個像素上形成。在其他實現方式中，可以在每個像素上形成多於一個特徵。

例如，在螢光樣品的情況下，樣品的被照亮的特徵1711可以回應於結構化激發光1760而發螢光，並且由特徵1711發射的所產生的光1761可以 由圖像感測器元件1740的感光點(例如像素)收集以檢測螢光。例如，如圖18所示，圖像感測器元件1740的像素(1,1)和(1,3)可以收集由在它之上定位或圖樣化的樣品的特徵1711發射的光1761。在一些實現方式中，層(未示出)可以提供在樣品1710和圖像感測器元件1740之間的隔離(例如，以將圖像感測器元件從樣品的流體環境遮罩)。在其他實現方式中，樣品1710可以安裝和排列在圖像感測器元件1740上。

應該注意，儘管圖18示出了SIM成像系統的示例表示，其中SIM條紋在正確的取向上與樣品的特徵對齊，但實際上，這並不一定或一般是對SIM成像的情況。例如，隨著時間和/或空間，可能存在相鄰條紋之間的間距、結構照明圖樣的相位或角度和/或條紋圖樣相對於被照亮的樣品的取向的漂移。 由於SIM參數的這些變化，在一些情況下，一些被照亮的特徵可能是80%被照射“在其上(on)”，而其他特徵可能是60%被照射“在其上”，以及還有其他特徵可能是20%被照射“在其上”。因此，應該認識到，在這樣的系統中，SIM成像演算法可以用於在圖像重建期間考慮這些過程變化。例如，可以估計和/或預測結構照明參數隨時間的過去的變化，以考慮這些變化。

如本文中所使用的，術語模組可以描述可以根據本申請的一個或更多個實現方式執行的給定的功能單元。如本文中所使用的，可以利用任何形式的硬體、軟體或其組合來實現模組。例如，可以實現一個或更多個處理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、邏輯部件、軟體常式或其他機構以組成模組。在實現方式中，本文中所描述的各種模組可以被實現為離散模組或者所描述的功能和特徵可以部分地或全部地在一個或更多個模組之間共用。換句話說，如對於本領域的普通技術人員在閱讀本說明書之後將明顯的是，本文中所描述的各種特徵和功能可以在任何給定的應用中實現並且可以以各種組合和排列在一個或更多個單獨的或共用的模組中實現。儘管各種特徵或 功能性元件可以被單獨描述或聲明為單獨的模組，但本領域的普通技術人員將理解的是，這些特徵和功能可以在一個或更多個公共軟體和硬體元件之間共用，並且這種描述並非要求或暗示使用單獨的硬體或軟體部件來實現這樣的特徵或功能。

在本文檔中，術語“電腦可讀取媒體”、“電腦可用媒體”和“電腦程式媒體”通常用於指非臨時性媒體、揮發性或非揮發性媒體，諸如例如記憶體、存儲單元和媒體。這些和其他各種形式的電腦程式媒體或電腦可用媒體可涉及將一個或更多個指令的一個或更多個序列攜帶到處理設備以用於執行。具體實現在媒體上的這些指令通常被稱為“電腦程式代碼”或“電腦程式產品”(其可以以電腦程式或其他分組的形式進行分組)。

儘管上面從各種示例實現和實現方式方面進行描述，但是應當理解，在一個或更多個單獨的實現方式中描述的各種特徵、方面和功能在它們的應用性中不限於它們被描述所使用的特定實現方式，而是替代地可以單獨地或在各種組合中應用於本申請的一個或更多個其他實現方式，而不管這樣的實現方式是否被描述以及這樣的特徵是否被呈現為所描述的實現方式的一部分。 因此，本申請的廣度和範圍不應受任何上述示例實現方式的限制。

應該認識到，前述概念的所有組合(假設這些概念不相互矛盾)被認為是本文公開的發明主題的一部分。特別地，出現在本公開結尾處的要求保護的主題的所有組合被認為是本文公開的發明主題的一部分。

在整個本公開(包括申請專利範圍)中使用的術語“大體上”和“大約”用於描述並考慮到諸如由於處理中的變化而引起的小波動。例如，它們可以指小於或等於±5%，諸如小於或等於±2%，諸如小於或等於±1%，諸如小於或等於±0.5%，諸如小於或等於±0.2%，諸如小於或等於±0.1%，諸如小於或等於±0.05%。

在可應用的範圍內，本文的術語“第一”、“第二”、“第三”等僅僅被用來示出由這些術語描述的相應的物件作為單獨的實體，並且不意味著暗示時間順序的意義，除非本文另外明確指出。

除非另有明確說明，否則本文檔中使用的術語和短語及其變體應解釋為開放式而不是與此相對的限制性的。作為前述例子：術語“包括(including)”應理解為意指“包括但不限於”等；術語“例子”用於提供討論中的專案的一些實例，而不是其窮盡的或限制列表；術語“一(a)”或“一(an)”應理解為意指“至少一個”、“一個或更多個”等；並且例如“常規”、“傳統”、“正常”、“標準”、“已知”和類似含義的術語的形容詞不應被解釋為將所描述的項目限制為給定時間段或者作為給定的時間的可用項，而是應該被理解為涵蓋現在或將來任何時候可用或已知的常規、傳統、正常或標準技術。同樣地，在本文檔涉及本領域普通技術人員明顯的或已知的技術的情況下，這樣的技術涵蓋現在或將來任何時間對技術人員明顯的或已知的那些技術。

在某些情況下，擴展詞和短語如“一個或更多個”、“至少”、“但不限於”或其他類似短語的存在不應被解讀為意指在這樣的擴展短語可能不存在的情況下想要或需要較窄的情況。術語“模組”的使用並不暗示被描述或要求保護作為模組的一部分的部件或功能都被配置在共同的封裝中。實際上，模組的各種部件中的任一個或所有─無論是控制邏輯還是其他部件--可以被組合在單個封裝中或單獨地被維護，並且可以進一步分佈在多個分組或封裝中或者跨多個位置分佈。

另外，本文闡述的各種實現方式是從示例方塊圖、流程圖和其他圖示方面來描述的。如在閱讀本文檔後對本領域中的普通技術人員將變得明顯的，所示出的實現方式及其各種替代方案可以在沒有對所示例子的限制的情況下實現。例如，方塊圖及其伴隨的描述不應被解釋為強制特定的架構或配 置。

雖然在上面描述了本公開的各種實現方式，但是應該理解，它們僅作為示例而非限制的方式被呈現。同樣地，各個圖可以描繪本公開的示例架構或其他配置，其被實現以用於幫助理解可以包括在本公開中的特徵和功能。本公開不限於所示的示例架構或配置，而是可以使用各種替代架構和配置來實施期望特徵。實際上，對於本領域技術人員而言將明顯的是，可以如何實施替代的功能、邏輯或物理劃分和配置來實施本公開的期望特徵。另外，除了在本文描繪的那些之外的許多不同的組成模組名稱可以被應用於各種分塊。另外，關於流程圖、操作描述和方法請求項，步驟在本文被呈現的順序不應要求各種實現方式以相同的順序被實現來執行所述功能，除非上下文另有規定。

200:雙臂SIM成像系統/SIM成像系統/成像系統/系統

210A:光發射器

210B:光發射器

220A:光準直器/準直器

220B:光準直器/準直器

230A:垂直光柵/光柵/相位調變器

230B:水平光柵/光柵/相位調變器

240A:光學相位調變器/旋轉光學視窗/旋轉視窗/視窗

240B:光學相位調變器/旋轉視窗/視窗

250A:投影透鏡

250B:投影透鏡

260:反射鏡

261:孔

265:投影透鏡

270:物鏡

271:樣品

280:半反射鏡

290:照相機

Claims (20)

1. 一種結構照明成像系統，包括：發射光的光發射器；二維繞射光柵，其使由所述光發射器發射的光繞射以將被定向在第一方向上的第一多個條紋投射在樣品平面上並將被定向在垂直於所述第一方向的第二方向上的第二多個條紋投射在所述樣品平面上；以及空間濾波器輪，其使在所述第一方向或所述第二方向中的相應方向上從所述二維繞射光柵接收的繞射光穿過並且阻擋在所述第一方向或所述第二方向中的相應方向上的光，所述空間濾波器輪包括第一多個孔和與所述第一多個孔正交的第二多個孔，其中所述第一多個孔使在所述第一方向上由所述二維繞射光柵而繞射的光穿過，並且其中所述第二多個孔使在所述第二方向上由所述二維繞射光柵而繞射的光穿過。
2. 根據請求項1所述的結構照明成像系統，還包括阻擋由所述二維繞射光柵透射的0級光的光束阻擋元件。
3. 根據請求項2所述的結構照明成像系統，其中，所述光束阻擋元件包括被圖樣化以反射垂直於所述光束阻擋元件的光並使其他角度的光穿過的繞射光學元件。
4. 根據請求項1所述的結構照明成像系統，其中，所述空間濾波器輪反射從所述二維繞射光柵接收的未穿過的繞射級光。
5. 根據請求項1所述的結構照明成像系統，其中，所述二維繞射光柵是透射式繞射光柵。
6. 根據請求項5所述的結構照明成像系統，還包括固體光學裝置，其中所述透射式繞射光柵被設置在接收來自所述光發射器的光的所述固體光學裝置的表面上或者形成在所述表面上。
7. 根據請求項6所述的結構照明成像系統，其中，所述透射式繞射光柵的色散角被佈置成使得0級光在所述固體光學裝置的遠側上被阻擋。
8. 根據請求項7所述的結構照明成像系統，其中，所述固體光學裝置包括繞射和輸出由所述二維繞射光柵繞射的第一級光的斜面。
9. 根據請求項8所述的結構照明成像系統，其中，所述斜面包括聚焦透鏡。
10. 根據請求項8所述的結構照明成像系統，還包括接收由所述固體光學裝置輸出的光的投影透鏡。
11. 根據請求項1所述的結構照明成像系統，其中，所述二維繞射光柵是二維反射式繞射光柵。
12. 根據請求項11所述的結構照明成像系統，還包括固體光學裝置，其中所述二維反射式繞射光柵被形成在所述固體光學裝置的與接收來自所述光發射器的光的所述固體光學裝置的孔相對的表面上或者設置在所述表面上。
13. 根據請求項12所述的結構照明成像系統，其中，所述固體光學裝置還包括反射內表面，所述反射內表面反射由所述二維反射式繞射光柵繞射的第一級光並通過所述固體光學裝置的出口面將所述第一級光輸出。
14. 根據請求項13所述的結構照明成像系統，其中，所述出口面包括繞射聚焦透鏡。
15. 根據請求項13所述的結構照明成像系統，還包括用於接收由所述固體光學裝置輸出的光的投影透鏡。
16. 根據請求項1所述的結構照明成像系統，還包括使所述第一多個條紋和所述第二多個條紋相移的一個或更多個光學元件，其中，使所述第一多個條紋和所述第二多個條紋相移的所述一個或更多個光學元件包括沿垂直的 兩個方向傾斜的平行板光學裝置。
17. 一種使用結構化光來創建圖像的方法，包括：開啟結構照明成像系統的光發射器，所述結構照明成像系統包括二維繞射光柵；在所述二維繞射光柵處接收由所述光發射器發射的光以輸出被定向在第一方向上的第一繞射光和被定向在垂直於所述第一方向的第二方向上的第二繞射光；使所述第一繞射光穿過空間濾波器輪的第一多個孔，並在所述空間濾波器輪處阻擋所述第二繞射光；將穿過所述第一多個孔的所述第一繞射光作為第一多個條紋投射在樣品平面上；以及捕獲由樣品發射的光的第一多個相位圖像，其中在所述第一多個圖像的捕獲期間所述第一多個條紋在所述樣品平面上被相移。
18. 根據請求項17所述的方法，還包括：旋轉所述空間濾波器輪，使得所述空間濾波器輪使所述第二繞射光穿過所述空間濾波器輪的第二多個孔，並在所述空間濾波器輪處阻擋所述第一繞射光；將穿過所述第二多個孔的所述第二繞射光作為正交於所述第一多個條紋的第二多個條紋投射在所述樣品平面上；以及捕獲由樣品發射的光的第二多個相位圖像，其中在所述第二多個圖像的捕獲期間所述第二多個條紋在所述樣品平面上被相移。
19. 根據請求項17所述的方法，其中，所述二維繞射光柵是形成在固體光學裝置的表面上的二維透射式繞射光柵，其中所述方法還包括：在所述固體光學裝置的與所述透射式繞射光柵相對的一側處阻擋由所述透 射式繞射光柵輸出的0級光；以及從所述固體光學裝置的斜面繞射和輸出由所述二維透射式繞射光柵繞射的第一級光。
20. 根據請求項17所述的方法，其中，所述二維繞射光柵是形成在固體光學裝置的與接收來自所述光發射器的光的所述固體光學裝置的孔相對的表面上的二維反射式繞射光柵，其中所述方法還包括：在所述固體光學裝置的表面處反射由所述二維反射式繞射光柵繞射的第一級光。

Images