JP7399669B2 - 構造化照明を備えた三次元顕微鏡法のための高速化された方法および装置 - Google Patents

Description

本発明は、顕微鏡を使用して試料を撮像するための方法および装置に関し、顕微鏡を使用して、試料の焦点面に焦点が合わされ、前記焦点面が構造化照明光により複数の位相で連続的に照明され、試料によって位相ごとに放射および／または散乱された試料光が検出器を使用して個々の（構造化された）個別画像に記録されて、（個別画像に対して）解像度が増加した最終画像を個別画像から再構成することができるようにする。この場合の構造化とは、試料への照明光が一定の空間周波数を有する少なくとも１つの成分を有することを意味する。

顕微鏡の解像度は、顕微鏡の対物レンズ内の試料が受ける光の回折のため、対物レンズの開口および光の波長に依存する。可視光の利用可能な波長範囲は有限であるため、顕微鏡の解像度は基本的に制限がある（アッベ（Abbe）１８７３）。画像化される試料の空間周波数に関して、これは、周波数空間における顕微鏡の光学伝達関数のサポートが、座標原点の周りの有限領域に制限されることを意味する。その結果、顕微鏡は、サポートが消失しない中央区間にある空間周波数のみを撮像することができる。

試料の構造化照明（ＳＩＭ「構造化照明顕微鏡法」）では、照明の励起強度と試料の発光強度とが線形関係にある場合、解像度をおよそ２倍に横方向に改善することができる。ＳＩＭは、例えば、特許文献１および非特許文献１において開示されている。これは、例えば、光学格子の下流の照明光の正弦波干渉による、検査対象の試料上の空間光構造の生成に基づいている。実空間の顕微鏡対物レンズの点広がり関数（ＰＳＦ）による試料応答の畳み込みにより、周波数領域でＯＴＦのサポートの外側にある試料構造の空間周波数の領域が、元の空間周波数の強度を重ね合わせる中央サポート区間にシフトする。光構造は、複数の異なる位相位置で連続的に生成され、それぞれの場合に、個別画像が各位相位置において記録される。

ＳＩＭ法によれば、相互作用を記述する連立方程式を解くことにより、シフトされた空間周波数と元の空間周波数との重ね合わせを含む一組のそのような個別画像から、サポート区間の元の空間周波数と、構造化照明によってサポート区間に一時的にシフトされている元のより高い空間周波数との両方を含む一貫性のある最終画像を再構成することが可能である。その結果、最終画像は、均一な照明による従来の単一記録よりもより高い横方向解像度を有する。この解像度は、回折限界の解像度よりもより精細であるため、超解像度と呼ばれる。しかしながら、構造化の異なる位相位置および方向による複数の記録には、測定期間全体にわたって光学装置および試料の高い安定性が必要である。さらに、個別画像の必要な数により、有効なフレームレートが低下する。

（検出の光軸に対して横方向の）横方向解像度の改善に加えて、ＳＩＭは、（ＯＳ－ＳＩＭとして知られる）焦点面の一組の個別画像から（検出の光軸に沿って）改善された軸方向の解像度により、試料を貫通する光学断面を生成するためにも利用することができる。最終画像は、準共焦点画像となり、軸方向の解像度も共焦点顕微鏡の解像度にほぼ対応する。構造化照明によりＮ個の焦点面において一組の画像が記録される場合、準共焦点最終画像のｚスタックをそこから再構成することができる。

しかしながら、ＳＩＭはまた、軸方向に超解像度を達成できるように複数の焦点面に拡張することもできる（３Ｄ－ＳＩＭとして知られているもの）。この拡張のために、試料への照明も軸方向に構造化する必要があり、Ｎ個の焦点面の各々に対して、関連する焦点面からの専用の一組の個別画像が記録される。Ｎ個すべての焦点面での相互作用を記述する連立方程式から、Ｎ個の軸方向の、特にまた横方向の超解像度最終画像からｚスタックを計算することができる。完全なｚスタックを得るために、焦点面は、ナイキスト－シャノンサンプリング定理により、顕微鏡によって軸方向に光学的に分解可能な最小距離の最大で半分の相互の距離（即ち、光学解像度に比べて２倍精細な軸方向の解像度）に配置する必要がある。即ち、例えば、ＮＡ＝１．４の高開口対物レンズの場合、約１１０ｎｍである。

ＳＩＭを超える解像度の改善は、励起強度と試料から放射される光の強度との間に非線形関係が生じるように試料を（照明または他の方法を用いて）励起することで実現することができる（「飽和パターン励起顕微鏡法（saturated pattern excitation microscopy）」：ＳＰＥＭ）。ＳＰＥＭは、例えば、特許文献１に開示されている。蛍光顕微鏡法の場合、非線形励起は、例えば、照明構造領域における蛍光色素の励起の部分的な飽和を生じさせる高い照明強度によって行われる。その結果、ＳＩＭの場合よりも対象物構造のより高い空間周波数がＯＴＦのサポートの区間にシフトされる。解くべき連立方程式における非線形相互作用を考慮することにより、これらのより高い周波数を再構成することも可能である。しかしながら、ＳＰＥＭの場合、ＳＩＭの場合よりも小さい位相ステップ、従って、さらに多くの個別画像が必要である。ＳＰＥＭは、三次元でも実行することができる。

独国特許出願公開第１９９０８８８３号明細書

エム．グスタフソン（M. Gustafsson）、「構造化照明顕微鏡法を使用した２倍の横方向解像度限界の克服（Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy）」、ジャーナルオブマイクロスコピー（Journal of Microscopy）、２０００年、１９８号、８２頁

本発明は、導入部で記載したタイプの方法および顕微鏡を改善して、測定期間を短縮し、かつ試料負荷を低減することができるようにするという目的に基づいている。

この目的は、請求項１に特定された特徴を有する方法と、請求項１５に特定された特徴を有する顕微鏡とによって達成される。
本発明の有利な改良点は、従属請求項に特定されている。

本発明によれば、第１の焦点面とは異なる第２の焦点面に焦点を合わせ、前記第２の焦点面に対しても異なる照明位相で個別画像を記録し、２つの焦点面の個別画像から最終画像を再構成し、最終画像は、前記焦点面間に位置する試料平面を表すように使用される顕微鏡が提供される。しかしながら、この追加の試料平面の個別画像は記録されないか（前記追加の試料平面には焦点が合っていない）、または、いずれにしても、追加の試料平面に焦点を合わせた記録中の個別画像は最終画像の再構成には使用されない。

例えば、試料をｚ方向に移動したり、対物レンズをｚ方向に移動したり、場合によっては対物レンズの内部焦点を調整したりすることにより、さまざまな焦点面に焦点を合わせることができる。

本発明の原理は、（特定、測定、計算、または推定された）点広がり関数に基づいて、単一の焦点面から構造化照明下で記録された個別画像のセットから焦点面以外の他の平面（即ち、これらの他の平面からの強度）に関する情報を確認することも、顕微鏡が有限の被写界深度のために、瞬間的な焦点面以外の他の試料平面も捕捉することから、可能であるということである。上記の他の試料平面は、鮮明に画像化され得ないが、これはまさに利用可能な一部の深度情報が存在する場所である。前記一部の深度情報は、焦点外の光を識別するためにＯＳ－ＳＩＭにおいて使用される。しかしながら、焦点面の外側から検出された強度は、使用されずに失われる。

代わりに、その強度は、焦点外の試料平面の画像を計算するために有利に使用することができる。典型的に焦点面に対して鏡面対称（および通常、検出の光軸に対して回転対称）であるＰＳＦの場合に必要なことは、鏡面対称から生じる深度情報のあいまいさを解決することである。これは、２つの異なる焦点面からの深度情報を使用して、２つの焦点面間に位置する試料平面を再構成することにより行われる。

本発明によれば、３Ｄ－ＳＩＭ（または３Ｄ－ＳＰＥＭ）から既知の連立方程式を使用して、前記追加の試料平面に関する個別画像が記録されていないにもかかわらず、そのような追加の試料平面から最終画像を再構成することができることが分かった。

このようにして、ｚスタックの記録に必要な焦点面の数は、顕微鏡で光学的に解像可能な最小の軸方向距離の半分よりも大きくなる焦点面間の距離（即ち、光学解像度に比べて２倍未満の軸方向の解像度に対応する距離）を選択し、従って、初期には形式的にナイキストシャノンサンプリング定理に違反している距離を選択することにより有利に低減することができる。追加の（焦点合わせされていない）試料平面を近似評価に組み込むことにより、ナイキストシャノンサンプリング定理が効果的に満たされる。追加の試料平面は、「見かけの」焦点面と見なすことができ、かつＳＩＭの連立方程式においては焦点面として記述される。本発明により、記録された焦点面は、例えば、互いに約３３０ｎｍの軸方向距離で配置することができ、さらに、約１１０ｎｍのみの軸方向距離で平面の完全な最終画像を計算することが可能である。計算によってのみ含まれている追加の試料平面（見かけの焦点面）の各々に関して、それぞれの場合に、「実際の」焦点面を省略することができるため、対応する多数の照明位相での個別画像の記録が不要になる。このようにして、測定時間は大幅に短縮され、同様に、試料はあまり頻繁に照射される必要がなく、結果として全体的に短い時間となるため、試料へのストレスが少なくなる。

好ましくは、追加の試料平面が間に位置する２つの焦点面は、顕微鏡の被写界深度によって決定され、かつ個別画像に記録される深度領域が、光軸に沿って互いに重なるような距離だけ最大でも離間して配置される。換言すれば、追加の試料平面が間に位置する２つの焦点面は、顕微鏡によって光学的に分解可能な最小の軸方向距離よりも小さい距離（即ち、光学解像度よりもより精細な軸方向解像度に対応している距離）だけ離間していることが好ましいが、より好ましくは、上記の最小の光学的に分解可能な距離の半分以上である。これらの距離条件は、ＰＳＦの寸法によって近似的に表すこともできる。追加の試料平面が間にある焦点面間の距離は、軸方向におけるＰＳＦの半値全幅（ＦＷＨＭ）よりも大きくなるように好ましくは選択される。追加の試料平面が間に位置する焦点面間の距離は、軸方向におけるＰＳＦの半値全幅の２倍よりも小さくなるように好ましくは選択される。

好ましくは、焦点面および焦点面間に位置する試料平面の両方において、光構造と試料の光学特性および顕微鏡の点広がり関数との相互作用を記述する連立方程式の少なくとも１つの解が、近似的に特定される。特に、次の連立方程式または数学的に等価な連立方程式を使用することができる。

特に有利なのは、近似解のために線形回帰、特に正則化が使用される実施形態、特に、すべての特異値の実際のサブセットのみが特定される打ち切り特異値分解（truncated singular value decomposition）が使用される実施形態である。

個別画像を横方向に光学的にオーバーサンプリングすることにより、特に顕微鏡の光学系の光学解像度の２倍の解像度により記録することにより、近似の精度を向上させることができる。このために、次の連立方程式または数学的に等価な連立方程式を使用することができる。

好ましくは、構造化照明は、試料で生成された光構造が、特に横方向の周期性および／または軸方向の周期性により規則的に構造化されるように行われ、特に、光構造が、照明位相の各々における異なる位置および／または異なる方向に配置される。

特に有利な実施形態では、焦点面間に位置する追加の試料平面を表す最終画像は、焦点面の個別画像と比較して増加した横方向の解像度および／または軸方向の解像度で再構成することができる。しかしながら、超解像度に到達することは必ずしも必要ではない。例えば、ＯＳ－ＳＩＭのように、準共焦点解像度で焦点面および追加の試料平面（単数または複数）の光学断面のみを作成することも可能である。

その解は、顕微鏡の点広がり関数のモデルに基づいて、特に、計算によって照明位相を分離した後、個別画像を近似的に逆畳み込み（deconvolution）する連立方程式の解と同等である。

焦点合わせされていない追加の平面の再構成は、逆畳み込みにおいて、個別画像の１つ、特に正確に１ピクセルの（強度）部分が異なる最終画像に割り当てられるという事実により、対応して行われる。好ましくは、逆畳み込みにおいて、個別画像の１つの、特に正確に１ピクセルの（強度）部分は、焦点面の１つを表す最終画像の少なくとも１つに部分的に割り当てられ、かつ焦点面間に位置する試料平面を表す最終画像に部分的に割り当てられる。特に、焦点面間に位置する試料平面を表す最終画像への割り当ては、少なくとも２つの最も近い焦点面の個別画像の強度に基づいて行うことができる。

便宜上、二次元空間分解検出器を使用して個別画像を記録し、ここで、特に、検出器の前に試料を光学的に切片化するストップは配置されていない。その結果、個別画像の迅速な記録が行われる。代替的に、共焦点の走査検出が可能である。

特に好ましいのは、軸非対称性を生成するために顕微鏡の点広がり関数が操作されない実施形態である。これにより、装置のコストを低く抑えることができる。特に、この方法では、複雑で高価な位相マスクを省略することができる。

同様に特に好ましいのは、個別画像の各々の記録中に正確に１つの焦点面のみが焦点合わせされる実施形態である。このようにして、複数の焦点面を同時に撮像するための複雑な光学系を省略することができる。

本発明は、上述の方法の１つを実行するように構成された制御ユニットを有する顕微鏡をも含む。さらに、顕微鏡は、光源、試料内のさまざまな焦点面に焦点を合わせするための手段（例えば、調整可能な対物レンズ、調整可能な試料ステージ、検出ビーム経路における波面マニピュレータ）、瞬間的な焦点面からの個別画像を記録するための二次元空間分解検出器、および試料に構造化照明光を生成するための手段、例えば、回折格子、空間光変調器（ＳＬＭ）、マイクロミラーアレイ（ＤＭＤ）、または、光構造を形成するために顕微鏡の対物レンズの後側焦点面において試料と干渉するパターンを提供する光ガイドを含む。構造化照明光を生成するための手段は、光源内の、例えば発光ダイオードアレイの形で実現することも可能である。

方法のステップが記述されている限り、これらの方法のステップを実行するために顕微鏡の制御ユニットを構成することができる。
本発明は、蛍光試料または非蛍光試料で実現することができる。蛍光試料の場合、光源は、試料に提供される蛍光色素の励起のために適切に具体化される。光源は、励起強度の幅広い変化を可能にするために、１つまたは複数のレーザー、特に強度調整可能な変調器を含むことが好ましい。

本発明は、例示的な実施形態に基づいて以下により詳細に説明される。

顕微鏡を示す図である。 複数の位相における構造化照明の原理を示す図である。 記録される焦点面および追加の試料平面のスタックを示す図である。 ３つの干渉次数を有する照明を示す図である。 ５つの干渉次数を有する照明を示す図である。

すべての図面において、対応する部材には同じ参照番号が付されている。
図１は、古典的な顕微鏡法、即ち解像度が回折限界の顕微鏡法と、超解像度顕微鏡法、即ち解像度が回折限界を超えた顕微鏡法との両方を実行することができる顕微鏡１を示す。

顕微鏡１は試料２を捕捉する。さらに、顕微鏡１は、すべての顕微鏡法の放射線が通過する対物レンズ３を有する。
対物レンズ３は、ビームスプリッタ４を介して、チューブレンズ５と共に試料をＣＣＤ検出器６上に結像する。ＣＣＤ検出器６は、この例では、一般的に可能性のあるエリア検出器である。この構成において、顕微鏡１は従来の光学顕微鏡モジュール７を有し、試料２から対物レンズ３およびチューブレンズ５を介してＣＣＤ検出器６までのビーム経路は、従来の広視野検出ビーム経路８と対応している。図１の双方向矢印で示されているように、ビームスプリッタ４は、米国特許出願公開第２００８／００８８９２０号明細書のように、異なるダイクロイック特性を有するビームスプリッタまたはアクロマティックビームスプリッタ間で切り替えられるように交換可能である。

さらに、ビーム経路内で対物レンズ３に接続されているのはレーザー走査モジュール９であり、レーザー走査モジュール９のＬＳＭ照明および検出ビーム経路は、同様にビームスプリッタ機能を有するスイッチングミラー１１を介して対物レンズ３へのビーム経路に結合される。従って、スイッチングミラー１１からビームスプリッタ４を介して対物レンズ３に至るビーム経路は、照明ビーム経路および検出ビーム経路が組み合わされたビーム経路である。これは、レーザー走査モジュール９に関しても、広視野検出ビーム経路８に関しても当てはまる。なぜなら、以下に説明するように、広視野検出ビーム経路８、即ちＣＣＤ検出器６とともに顕微鏡法を実現する照明放射は、スイッチングミラー１１にも結合されるからである。

スイッチングミラー１１およびビームスプリッタ４は組み合わされてビームスプリッタモジュール１２を形成し、その結果、用途に応じてスイッチングミラー１１とビームスプリッタ４を交換する可能性がある。これは、双方向矢印でも示されている。さらに、ビームスプリッタモジュール１２には、広視野検出ビーム経路８に配置され、かつ広視野検出ビーム経路８を介して伝播することができるスペクトル成分を適切にフィルタリングする放射フィルタ１３が設けられている。ビームスプリッタモジュール１２の放射フィルタ１３は、当然ながら同様に交換可能である。

レーザー走査モジュール９は、光ファイバーモジュール１４を介してレーザーモジュール１５から動作に必要なレーザー放射を受け取る。
図１に示す構成では、様々な顕微鏡法の照明放射が通過する集合照明ビーム経路１６は、ビームスプリッタモジュール１２、より具体的にはスイッチングミラー１４で結合される。個々の照明モジュールの異なる照明ビーム経路は、この集合照明ビーム経路１６に結合される。例えば、広視野照明モジュール１７は、試料２がチューブレンズ２７および対物レンズ３を介して広視野で照明されるように、広視野照明放射をスイッチングミラー１８を介して集合照明ビーム経路１６に結合する。広視野照明モジュール１７は、例えば、ＨＢＯランプを有することができる。さらなる照明モジュールとして設けられるのは、スイッチングミラー１８の適切な位置決めによりＴＩＲＦ照明を実現するＴＩＲＦ照明モジュール１９である。この照明のために、ＴＩＲＦ照明モジュール１９は、光ファイバー２０を介してレーザーモジュール１５から放射を受ける。ＴＩＲＦ照明モジュール１９は、長手方向に変位可能なミラー２１を有する。長手方向の変位により、ＴＩＲＦ照明モジュール１９によって放射された照明ビームは、放射された照明ビームの主伝搬方向に対して垂直に変位し、その結果、ＴＩＲＦ照明は、対物レンズの光軸に関して調整可能な角度で対物レンズ３に入射する。このようにして、カバースリップでの全内部反射に必要な角度を確保することができる。当然ながら、他の手段もこの角度調整を行うのに適している。

さらに、集合照明ビーム経路に結合されているのは、同様に光ファイバー（ここではさらに指定されていない）を介してレーザーモジュール１５からの放射線を受け取り、点状または線状のビーム分布を走査方式で試料２全体にガイドするマニピュレータモジュール２２の照明ビーム経路である。従って、マニピュレータモジュール２２は、レーザー走査顕微鏡の照明モジュールに実質的に対応し、その結果、マニピュレータモジュール２２は、レーザー走査モジュール９の検出器またはＣＣＤ検出器６の広視野検出と組み合わせた方法で動作させることもできる。

顕微鏡１により試料２に伝達することができるカットオフ周波数より低い格子定数を有する格子２３が、集合照明ビーム経路１６にさらに設けられている。格子２３は、例えば、試料上に結像される照明ビーム経路１６の平面（試料の中間画像）に配置することができる。格子２３は、集合照明ビーム経路１６の光軸に対して横方向に変位可能である。この変位のために、対応する変位駆動装置２４が設けられている。

回転子駆動装置２６によって回転される画像フィールド回転子２５は、照明方向における格子の下流の集合照明ビーム経路１６にさらに配置される。画像フィールド回転子は、例えばアッベケーニッヒプリズムとすることができる。

顕微鏡１のモジュールおよび駆動装置ならびに検出器は、すべて、ライン（ここではさらに示されていない）を介して制御装置２８に接続されている。この接続は、例えばデータおよび制御バスを介して実現することができる。制御装置２８は、異なる動作モードで顕微鏡１を制御する。

従って、制御装置２８は、顕微鏡１での古典的顕微鏡検査、即ち、広視野顕微鏡検査（ＷＦ）、レーザー走査顕微鏡検査（ＬＳＭ）、および全反射による蛍光顕微鏡検査（ＴＩＲＦ）の実行を可能にする。

図１の顕微鏡は、レーザー走査照明に適した実質的に２つのモジュール、特にレーザー走査モジュール９およびマニピュレータモジュール２２を有する。当然ながら、他の組み合わせも可能である。前記モジュールは、試料２上でチューブレンズを介して対物レンズ３と結合されている。マニピュレータモジュール２２は、検出は無く、レーザー走査モジュールの励起部のみを含む。その結果、試料を点状に照明することができ、照明スポットを試料２上で走査することができる。

好ましくは、点状照明と線状照明との切り替えが行われる切り替えユニット、例えば切り替えレンズまたは円柱レンズも、マニピュレータモジュール２２内に配置される。前記線状照明は、格子２３が線状照明のラインにおいて旋回し、かつラインに垂直に配置される場合に特に有利である。代替的に、線状照明は、試料２の構造化照明の動的（連続）生成に使用することができる。

可変に調整可能なストライプ変調器またはＤＭＤまたはＳＬＭを格子２３の代替として使用して、試料２への構造化照明を生成することもできる。その場合、変位駆動装置２４および格子２３を内外に旋回させる機能は、当然ながらもはや必要ではない。

画像フィールド回転子２５は、格子２３によって（または格子２３を置換する要素によって）生成される構造化照明が、集合照明ビーム経路１６の光軸の周りに回転して、構造化照明が試料２における異なる角度に位置するようにすることを可能にする。

個々の動作タイプを切り替えるために、スイッチングミラー１８および１１とビームスプリッタ４とが適切に調整される。実現の際、この切り替えのために、折り畳みミラーまたは可傾ミラーを使用することができ、その結果、動作タイプ間の切り替えを連続的に行うことができる。代替的に、さまざまなモジュールの同時動作を可能にするダイクロイックミラーも可能である。

ビームスプリッタ４は、好ましくは、二色性ビームスプリッタとして具現化され、スペクトル特性は、ＣＣＤ検出器６を用いて検出される標識分子からの蛍光発光のスペクトル成分が広視野検出ビーム経路８に入り、残りのスペクトル成分が可能であれば送達されるように調整可能である。異なる放射特性を有する標識分子の利用可能性に関する柔軟性を高めるために、複数の異なるビームスプリッタ４および放射フィルタ１３が、例えばフィルタホイール上で交換可能な方法でビームスプリッタモジュール１２に配置される。

上記の顕微鏡は、超解像度の最終画像を生成するように機能することができる。このために、制御装置２８は、例えば適切なプログラミングによる適切な構成を有する。
図２は、ＳＩＭ方法に従って単一焦点面を用いて超解像度画像を生成するために使用される概念を概略的に示している。図１の顕微鏡１下の試料は、広視野で繰り返し撮像され、その際、異なる照明状態が設定される。

図２は、単一の焦点面からの個別画像４０のセット３０を示し、このセット３０は、照明ビーム経路１６を介した構造化照明を使用して試料に適用される、個別画像４０のセット３０が含んでいる光構造４１が異なる。図に示すように、例えば、格子２３を使用して生成される横方向の、例えば周期的な光構造４１は、個別画像４０ごとに異なる。合計で、この例は、構造４１の３つの異なる方向と、構造４１の３つの異なる変位位置とで構成される９個の個別画像４０を含む。位相という用語の下で、さまざまな方向および変位位置が共にグループ化される。もちろん、ＳＩＭの原理に関連して上記で引用した文献から既知であるように、より多数の異なる位相も可能である。

しかしながら、示されている構造４１は、単なる事例であると理解されるべきである。特に、個別画像４０のセット３０は、ライン構造である必要はない。概略的に描かれたラインを、ラインに沿ってさらに構造化することもできる。最初に引用したＳＩＭの文献で使用されているラインタイプの構造を使用するのではなく、シー．ミュラー（C. Mueller）およびジェイ．エンダーライン（J. Enderlein）による「画像走査顕微鏡（Image scanning microscopy）」、フィジカルレビューレターズ（Physical Review Letters）、１０４、１９８１０１（２０１０）から既知であるように、共焦点検出により走査される共焦点またはライン照明を使用することも同様に可能である。この原理はＩＳＭと呼ばれる。その場合、もちろん９個の方向の構造化照明が設けられるのではなく、試料の走査から取得される適切な複数の個別画像が設けられる。各個別画像４０は、特定の走査位置、即ち画像の走査中の特定の走査状態に対応している。

制御ユニット２８は、以下に説明する方法で、記録された個別画像４０から超解像度の最終画像５０を計算する。
照明パターンＩ（ｘ，ｙ，ｚ）は、試料２との相互作用のために、その光学特性Ｓ（ｘ，ｙ，ｚ）によって乗算され、検出ＰＳＦ Ｈ（ｘ，ｙ，ｚ）で振動される（convulsed）。

ここで、ｚ_０は、構造化照明のタルボットパターン（Talbot pattern）および瞬間的な焦点面に対する試料の変位を示し、ｚは瞬間的な焦点面の位置を示す。ｚ＝０を設定することにより、

となる。

ｘ、ｙ、ｚに関するフーリエ変換は次のようになる。

ｚ方向の離散等距離サンプリングは、ディラックのくし型関数（Dirac comb function）（https://en.wikipedia.org/wiki/Dirac_comb）で表すことができる。

ここで、Δｚは、ｚ方向のサンプリング間隔を示す。ここでの具体的な計算の合計インデックスｋは、最終画像が特定されるべきすべての軸方向の試料平面に亘って、即ち、完全性のために、ここで与えられた無限級数ではなく、整数の有限領域に亘って実行される。

ｘ、ｙ、ｚに関する方程式（４）のフーリエ変換は次のようになる。

ディラックくしの期間Δｚのフーリエ変換は、ここでも再びディラックくしであるが、期間１／Δｚである。しかしながら、ここで合計インデックスｋは、周波数領域における波数ベクトルの成分ｋ_ｘ，ｋ_ｙ，ｋ_ｚと混同すべきではない。

方程式（３）を方程式（５）に挿入すると、一般に有効な連立方程式が得られ、これにより、任意のフーリエ変換された照明パターンＩ^ｆ（ｋ’_ｘ，ｋ’_ｙ、ｋ’_ｚ）が混合されない。

上記のように、無限級数は、具体的な計算において計算されるべき試料平面上の有限和によって置き換えられる必要がある。

連立方程式は、さまざまな照明位相で具体的に使用される照明パターンＩ（ｘ，ｙ，ｚ）、より具体的には、そのフーリエ変換Ｉ^ｆ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）、顕微鏡の検出ＰＳＦ Ｈ（ｘ，ｙ，ｚ）、より具体的にはそのフーリエ変換Ｈ^ｆ（ｘ，ｙ，ｚ）（即ち、ＯＴＦ）、および記録された個別画像４０またはＩＳ_ｅｍ（ｘ，ｙ，ｚ）、より具体的には、記録された個別画像４０のフーリエ変換ＩＳ^ｆ _ｅｍ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）に基づいて解くことができる。

連立方程式を解くことにより、照明装置の分離と、顕微鏡のＯＴＦによってそれ自体は伝達可能ではないが、構造化照明による個別画像において周波数シフトされた形で含まれる空間周波数成分の周波数領域における元の場所へのシフトが生じる。

解は、試料の光学特性のフーリエ変換

である。解はまた、照明構造のパターンとの相互作用のために、顕微鏡１によって光学的に伝達可能なものよりも高い周波数成分を含む。逆フーリエ変換により、そこから、各記録された焦点面の横方向および／または軸方向の超解像度の最終画像を計算することができる。

個別画像４０のセット３０が、連立方程式によって記述される各平面に対して異なる照明位相で記録される場合、これは従来の３Ｄ－ＳＩＭに対応する。ここで、連立方程式は完全に決定されているか、または過剰に決定されており、かつ概して説明されているすべての平面について同時に解かれている。連立方程式を解くことは、その後の逆フーリエ変換と組み合わせて、逆畳み込みと見なすことができ、その理由は、顕微鏡のＰＳＦにより試料から放射される光の畳み込みが実質的に逆操作されるからである。

しかしながら、連立方程式によって記述された各平面に対して個別画像４０のセット３０を記録する必要は全くなく、代わりに、平面（単数または複数）を省略することができる。連立方程式は一見未定である（underdetermined）ため、再構成の問題は不良設定（ill-posed）である。それにもかかわらず、省略された平面についても、その光学特性の、したがって最終画像の再構成を行うことができるように、近似的に解くことができる。この連立方程式は、複数の焦点面に亘って同時に解かれる。

近似解は、例えば周波数領域における線形回帰、特に正則化によって得られる。最も単純なケースでは、補間を実行することができる。好ましくは、打ち切り特異値分解が実行されるか、または逆畳み込みがＳＶＤベースの制約の下で行われる。

対応する小さな検出器ピクセルによる光軸に対して横方向のより精細なサンプリング（横方向のオーバーサンプリング）により、より安定した正則化を可能にする追加の独立した測定値が生成される。通常のＳＩＭでは、横方向のオーバーサンプリングは冗長である。しかしながら、オーバーサンプリングされた追加のピクセルを使用して式（６）を拡張することができる。

ここで、ｉ、ｊは周波数領域における追加のピクセルを示し、Δｘ、Δｙは、光軸を横切るサンプリング間隔を示す。これにより、近似解の精度が向上する。横方向のオーバーサンプリングの代わりに、またはそれに加えて、より多くの照明位相も解の精度を改善することができる。上記のように、無限級数は、具体的な計算において計算されるべき試料平面上の有限和によって置き換えられる必要がある。

図３は、試料２内に位置する焦点面Ｆ_１、Ｆ_２、Ｆ_３の例を示す。対物レンズ３の焦点は、これらの焦点面に連続的に設定される。各焦点面に関して、試料２は、例えば図２に示す照明位相により構造化された方法で照明される。９つの照明位相の一つにおいて、瞬間的な焦点面は、例えば９つの個別画像の個々の１つにおいて回折限界の方法で記録される。３つの焦点面の場合、２７個の個別画像が存在する。

焦点面Ｆ_１、Ｆ_２、Ｆ_３は、ナイキスト基準で許可されている距離よりもさらに離れた位置に配置されている。互いからの距離は、まさに隣接する焦点面Ｆ_１およびＦ_２と隣接する焦点面Ｆ_２およびＦ_３の被写界深度範囲が常に重複するようなものである。焦点面Ｆ_１、Ｆ_２、Ｆ_３の間に、試料には、焦点が合った個別画像が記録されない（「追加の」）試料平面Ｘ_１およびＸ_２がある。これらの平面からの強度は、焦点面Ｆ_１、Ｆ_２、Ｆ_３からの個別画像において焦点が合っていないもののみが検出される。追加の試料平面Ｘ_１およびＸ_２は、追加の試料平面Ｘ_１およびＸ_２とともに焦点面Ｆ_１、Ｆ_２およびＦ_３がナイキスト基準を満たすように、例えば、５つの平面がすべて等距離に配置されるように、隣接する焦点面から離間して配置される。

３つの焦点面Ｆ_１、Ｆ_２、Ｆ_３の個々の照明位相と２つの追加の試料平面Ｘ_１、Ｘ_２とを用いて連立方程式（６）を近似的に解くことにより、５つの超解像度の最終画像５０（それぞれの場合に、各焦点面および各追加の試料平面に対する１つの最終画像）を計算することができる。近似解に関して、連立方程式（６）は、例えば、最初に打ち切り特異値分解を使用して正規化され、その後、解かれる。

２つの可能性のある具体的な照明パターンを図４および図５に示す。対物レンズ３の後側焦点面にある図４に示す３つのビームは、焦点面において試料に、さらなる平面のタルボット効果のために、軸方向に繰り返される平行ストライプの格子パターンを生成する。

ここで、α_０は中央ビームの強度を示し、αは他のビームの強度を示す。ｋ_ｘ＾，ｋ_ｙ＾は、生成される格子のｘおよびｙ成分であり、ｋ_ｚ＾は、タルボット周波数に対応し、φ_０は、タルボットパターンの位相（焦点面に対するタルボットパターンの変位）であり、φ_ｉｊは、いくつかのビームのペアワイズ干渉（pair-wise interference）のために光軸に対して横方向に生成される格子の位相である。

方程式（３）に挿入すると、次のようになる。

ここで、Ａ_ｎ（ｎ＝０．．．２）は、次数の対応する強度である。この結果、周波数領域で分離される５つの強度成分が得られる。このためには、５つの異なる照明位相φからの５個の個別画像が必要である。

この照明パターンの方程式（６）および（７）は、次の形式を取る（上記のように、無限級数は、具体的な計算では、計算される試料平面に亘って有限和に置き換えられる必要がある）。

対物レンズ３の後側焦点面にある図５に示す５つのビームは、焦点面において試料に、さらなる平面のタルボット効果のために、軸方向に繰り返される二次元格子パターンを生成する。

変数は、式（８）と同じ意味を有する。

方程式（３）への挿入の結果、

となる。

ここで、Ａ_ｎ（ｎ＝０．．．６）は、次数の対応する強度である。この結果、１３個の強度成分が周波数領域で分離される。このためには、１３の異なる照明位相φからの１３個の個別画像が必要である。

この照明パターンの方程式（６）および（７）は、次の形式を取る（上記のように、無限級数は、具体的な計算では、計算される試料平面に亘って有限和に置き換えられる必要がある）。

参照番号のリスト
１…顕微鏡
２…試料
３…対物レンズ
４…ビームスプリッタ
５…チューブレンズ
６…ＣＣＤ検出器
７…光学顕微鏡モジュール
８…広視野検出ビーム経路
９…レーザー走査モジュール
１１…スイッチングミラー
１２…ビームスプリッタモジュール
１３…放射フィルタ
１４…光ファイバー
１５…レーザーモジュール
１６…集合照明ビーム経路
１７…広視野照明モジュール
１８…スイッチングミラー１８
１９…ＴＩＲＦ照明モジュール
２０…光ファイバー
２１…ミラー
２２…マニピュレータモジュール
２３…格子
２４…変位駆動装置
２５…画像フィールド回転子
２６…回転子駆動装置
２７…チューブレンズ
２８…制御装置
３０…個別画像のセット
４０…個別画像
４１…照明構造
５０…最終画像
Ｆ_ｉ…焦点面
Ｘ_ｉ…追加の試料平面

Claims (18)

1. 顕微鏡（１）を使用して試料を撮像する方法であって、前記顕微鏡（１）を使用して、試料（２）の焦点面に焦点が合わされ、前記焦点面が構造化照明光（４１）により連続的に複数の位相で照明され、位相ごとに試料（２）から放射および／または散乱された試料光が、検出器（６）を使用して個々の個別画像（４０）に記録されて、前記個別画像（４０）から解像度が増加した最終画像（５０）が再構成され、第１の焦点面とは異なる第２の焦点面に焦点を合わせ、かつ前記第２の焦点面に対しても異なる照明位相で個別画像（４０）を記録するように前記顕微鏡（１）が使用される方法において、２つの焦点面の前記個別画像（４０）から最終画像（５０）が再構成され、前記最終画像は、焦点面間に位置する試料平面を表し、追加の試料平面が間に位置する前記２つの焦点面間の距離が、前記顕微鏡によって光学的に分解可能な最小の軸方向距離よりも短く、かつ前記顕微鏡によって光学的に分解可能な前記最小の軸方向距離の半分より大きく、前記最終画像（５０）の再構成のために、焦点面および焦点面間に位置する試料平面の両方において、光構造と試料の光学特性との相互作用および前記顕微鏡の点広がり関数との相互作用を記述する連立方程式の少なくとも１つの解が近似的に特定されることを特徴とする方法。
2. 以下の連立方程式、または以下の連立方程式と数学的に等価な連立方程式
   
   が使用され、
   ｋ _ｘ ，ｋ _ｙ ，ｋ _ｚ は、周波数領域における波数ベクトルの成分であり、
   ＩＳ ^ｆ _ｅｍ は、照明パターンＩと試料の光学特性Ｓとの積で畳み込まれた顕微鏡の検出ＰＳＦ Ｈのｚ方向における離散等距離ディラックサンプリングのフーリエ変換であり、
   Ｉ ^ｆ は、照明パターンＩのフーリエ変換であり、
   Ｓ ^ｆ は、試料の光学特性Ｓのフーリエ変換であり、
   Ｈ ^ｆ は、顕微鏡の検出ＰＳＦ Ｈのフーリエ変換である、請求項１に記載の方法。
3. 近似解のために、線形回帰が使用される、請求項１または２に記載の方法。
4. 近似解のために、正則化が使用される、請求項１乃至３のいずれか一項に記載の方法。
5. 近似解のために、すべての特異値の実際のサブセットのみが特定される打ち切り特異値分解が使用される、請求項１乃至４のいずれか一項に記載の方法。
6. 前記個別画像が、横方向に光学的にオーバーサンプリングされる、請求項１乃至５のいずれか一項に記載の方法。
7. 以下の連立方程式、または以下の連立方程式と数学的に等価な連立方程式
   
   の少なくとも１つの解が特定され、
   ｋ _ｘ ，ｋ _ｙ ，ｋ _ｚ は、周波数領域における波数ベクトルの成分であり、
   ＩＳ ^ｆ _ｅｍ は、照明パターンＩと試料の光学特性Ｓとの積で畳み込まれた顕微鏡の検出ＰＳＦ Ｈのｚ方向における離散等距離ディラックサンプリングのフーリエ変換であり、
   Ｉ ^ｆ は、照明パターンＩのフーリエ変換であり、
   Ｓ ^ｆ は、試料の光学特性Ｓのフーリエ変換であり、
   Ｈ ^ｆ は、顕微鏡の検出ＰＳＦ Ｈのフーリエ変換である、請求項１乃至６のいずれか一項に記載の方法。
8. 試料で生成される光構造が、横方向の周期性および／または軸方向の周期性により規則的に構造化され、かつ照明位相の各々における異なる位置および／または異なる方向に配置される、請求項１乃至７のいずれか一項に記載の方法。
9. 焦点面間に位置する試料平面を表す前記最終画像（５０）が、前記個別画像と比較して増加した解像度で再構成される、請求項１乃至８のいずれか一項に記載の方法。
10. 前記個別画像または前記最終画像は、前記顕微鏡の点広がり関数のモデルに基づいて、計算により照明位相を分離した後、近似的に逆畳み込みされる、請求項１乃至９のいずれか一項に記載の方法。
11. 逆畳み込みにおいて、前記個別画像の１つの（強度）部分、または正確に１つのピクセルの（強度）部分が異なる最終画像に割り当てられる、請求項８に記載の方法。
12. 逆畳み込みにおいて、前記個別画像の１つの（強度）部分、または正確に１ピクセルの（強度）部分が、焦点面の１つを表す最終画像の少なくとも１つに部分的に割り当てられ、かつ焦点面間に位置する試料平面を表す最終画像に部分的に割り当てられる、請求項９に記載の方法。
13. 焦点面間に位置する試料平面を表す最終画像への割り当てが、少なくとも２つの最も近い焦点面の個別画像の強度に基づいて行われる、請求項９または１０に記載の方法。
14. 二次元空間分解検出器が前記個別画像を記録するために使用され、試料光と光学的に交差するストップが検出器の前に配置されていない、請求項１乃至１３のいずれか一項に記載の方法。
15. 前記顕微鏡の点広がり関数は、軸非対称性が生じるように補正されない、請求項１乃至１４のいずれか一項に記載の方法。
16. 前記個別画像の各々の記録中に、前記顕微鏡を使用して正確に１つの焦点面のみが焦点合わせされる、請求項１乃至１５のいずれか一項に記載の方法。
17. 請求項１乃至１６のいずれか一項に記載の方法を実行するように構成された制御ユニット（２８）を含む顕微鏡（１）であって、光源と、試料（２）内の異なる焦点面に焦点を合わせるための手段と、瞬間的な焦点面の個別画像（４０）を記録するための二次元空間分解検出器（６）と、試料（２）内への構造化照明光（４１）を生成するための手段とを備える、顕微鏡。
18. 検出器（６）の前に試料光と光学的に交差するストップが配置されておらず、かつ／または軸非対称性が生じるように前記顕微鏡の点広がり関数が補正されない、請求項１７に記載の顕微鏡。