JP6715180B2

JP6715180B2 - 超解像顕微鏡の、又はそれに関する改良

Info

Publication number: JP6715180B2
Application number: JP2016525013A
Authority: JP
Inventors: ハーテル，ニコラス，アンソニー
Original assignee: University of Leicester
Current assignee: University of Leicester
Priority date: 2013-10-21
Filing date: 2014-10-21
Publication date: 2020-07-01
Anticipated expiration: 2034-10-21
Also published as: US9946060B2; GB201318598D0; WO2015059462A2; JP2016537624A; US20160252718A1; EP3060953A2; WO2015059462A3

Description

本発明は、超解像顕微鏡の、又はそれに関する改良に関し、特に構造化照明顕微鏡法(SIM) に関し、とりわけSIMによって生成された画像の改善された処理方法に関する。

顕微鏡における最近の発展は、見かけの回折限界[1]によって予測されたものを超える空間分解能の大幅な改善をもたらしている。新しい技術は収集速度（acquisition speed）の向上をもたらし、多光子顕微鏡及び他の新しい顕微鏡技術の導入は組織内の深部の構造の画像化を可能にする。従って、組織内の深部の高速超解像画像を生成するためにこれらの全ての進歩をもたらすことは、魅力的な見込みがある。超解像画像化や超解像精細（super-resolution definition）は、適用可能な回折限界（光/電磁放射（EMR）の回折に起因し、アッベ（1873）に述べられたように従来の顕微鏡の解像度は限られる。）よりも高解像度の画像の取り込みを可能にする、一連の手法として説明されるであろう。

光活性化局在性顕微鏡法（photoactivated localization microscopy ;PALM）[2]及び確率的光学再構築顕微鏡法（stochastic optical reconstruction microscopy;STORM）[3,4]等、これまで確率的画像化方式として説明されたすべての超解像技術は、空間分解能の最高の向上をもたらす。これらの、及び多数の関連技術は、任意の時点でそれらの位置を高精度に特定することを可能にするために蛍光体のサブセットのみが活性である、という原理に依存する。各単分子が識別され、高精度で位置が特定され、デコンボリューションされ（deconvolved）、超解像度画像が再構築される。最大毎秒0.5フレームの速度が生細胞において報告されている[5] 一方、これらの方法は一般に非常に遅く、より一般的には、固定された試料のために使用される。

誘導放出抑制（Stimulated emission depletion ;STED）も回折限界未満の解像度を達成し、確率論的手法よりも大幅に高速であり、それは動的な画像化に有用な可能性を秘めている[6]。例えば脳切片において、128×128ピクセルの小領域に対して毎秒約4フレーム、又は512×512ピクセルに対して毎秒1フレームの速度に達する２光子レーザ走査顕微鏡により、方位分解能（lateral resolution）の3倍の向上が達成された[7]。しかしながら、STEDの標準的な方法は、距離分解能（axial resolution）の向上には何ら繋がらない。共焦点顕微鏡法のそれに比べ、軸方向の分割能力（axial sectioning ability）が著しく低いため、これは多光子画像化において重大な欠点である。

構造化照明顕微鏡法（SIM）は、解像度のより控えめな（<2倍）増大を実現するが[8]、近年それは、生体試料の比較的高速の光学切片（optical sectioning）に適用されている[9]。 SIMにおいては、試料を連続して励起するため、方位及び位相が変化する光のパターンが使用される。解像度の増大は、適切な画像処理による照明パターンの干渉及び試料の蛍光によって達成される。

最近のあるSIMの実装は、所定の期間にわたって試料全体が照明されるよう、デジタルマイクロミラー（digital micro-mirror）などのプログラム可能な照明装置を用いた試料上のまばらな（sparse）照明の走査点を含む。試料から放出される光を検出するためにカメラが使用される。続いて、高解像度で光学的に切片化された（optically sectioned）画像を生成するために、カメラからの連続する画像が使用されることができる。[9]に記載された特定の技術は、従来の技術を超える速度と分解能の向上のために提供される。この技術は、任意の時点で配置され、よく分離されている照明の各点に依存し、「デジタルピンホール（digital pinhole）」としてカメラの画素（camera pixel）を用いる。一連の各画像は、毎秒約11フレームの速度で、高解像度で光学的に切片化された画像を生成するために処理されることができる。特に、この技術は、検出された画像内の照明点（illumination point）の位置を決定することに依存する。その後、これらの位置を中心とする予め設定された直径のより小さい部分画像（subimage）が抽出される。部分画像は、その後に強調され（２次元のガウスマスク（Gaussian mask）により増幅される（multiplied））、予想される照明点に再び中心を置かれる（re-centred）。これは各予想された照明位置でのピンホールの影響をデジタルにシミュレートする。検出された画像内の他の位置からの焦点発光（focus emission）を潜在的に排除することにより、連続する画像から生成された合成画像は改善された解像度を提供することができる。

しかしながら、上記の方法はいくつかの欠点を持っている。特に、この技術は、処理される潜在的な情報を減らしながら、予想される照明点以外の位置からの焦点スポットの内部を潜在的に無視する。この技術はまた、試料の撮像に先立つカメラ上の正確な照明点の識別に依存し、そのために長期の測定は機器の動きや経時のドリフトの影響を受けやすい。さらに、それぞれの予想される照明点において、予め設定された直径の部分画像を抽出することは、最終画像を生成する際に、焦点内及び焦点外の両方の発光スポットが使用されることを意味する。

従って、本発明の一つの目的は、超解像顕微鏡の、又はそれに関する改良を提供することにあり、特に赤外からX線スペクトルの構造化照明のような、構造化照明顕微鏡法によって生成される処理画像の、又はそれに関する改良を提供することにある。

本発明の第一の観点によれば、試料の以下の構造化照明によって取り込まれた画像の処理方法であって、前記方法は、各取り込み画像内の複数の発光スポットを識別し；該複数の発光スポットを検証し（verifying）；及び前記複数の発光スポットから前記試料の強調画像を再構築するステップを含む、方法が提供される。

好ましくは、前記方法は、各取り込み画像内の複数の発光スポットを識別し；識別された各スポットの中心を決定し；識別された各スポットにおける部分画像の同心（concentric）を抽出し；各部分画像を強調し；抽出された複数の部分画像を複数の強調された部分画像と交換し；及び前記複数の強調された部分画像を含む強調画像を生成するステップを含む。

いくつかの実施形態では、前記方法は、例えば、PALM、STORM及び超解像光ゆらぎイメージング（super-resolution optical fluctuation imaging ;SOFI）などの超解像顕微鏡の他の形態で使用されるステップを含む。

前記方法は、所望の波長範囲内の複数の発光スポットを選択するステップを含でもよい。いくつかの実施形態では、単一の発光波長範囲が存在してもよい。代替的な実施形態では、2又はそれ以上の波長範囲が存在してもよい。

前記方法は、それらが予想される照明位置の中心に位置しようとなかろうと、複数の焦点スポットの合った（focus spot）の識別及び処理のみを行うステップを含むことができ、従って、公知のSIM法と比較して、解像度の向上が達成されることができる。具体的には、焦点の合ったスポットの適切な選択により、距離分解能の大幅な改善が達成されることができる。粒子追跡のために導かれた位置特定ルーチン（localisation routine）と同様に、PALM及びSTORMのような確率的画像化方式と共に使用するのに適したものを含むがこれらに限定されない任意の適切な位置特定方法を使用し、発光スポットが識別されてもよい。方法の選択は、得られたデータの間隔の密度に依存するであろう。いくつかの実施形態では、重複する複数の信号を含むように見える画像データの領域に、複数の点像分布関数(PSFs)を繰り返しフィッティングすることを含む方法を介して、発光スポットが配置されてもよい。他の実施形態では、それぞれ可能性ある発光スポットの位置から予想される画像を最初に計算することにより、潜在的に重複する画像データから発光スポットの複数の座標を抽出し；及び、この完全な予備知識に照らして前記複数の実際の信号を生じる複数の発光スポットの位置を決定するステップを含む圧縮センシング（compressed sensing）を用い、発光スポットが配置されてもよい。一連の画像全体で行われた蛍光測定に適合するように蛍光体密度（fluorophore density）のモデルを最適化するベイジアン局在顕微鏡法（Bayesian Localization Microscopy）で使用される方法を使用し、発光スポットが配置されてもよい。好ましい実施形態では、スポットは、スポット径と信号雑音比とに基づき、一般化尤度比検定（GLRT）分割法を用いて識別されてもよい。前記GLRTの閾値が反復して調整されてもよい。

発光スポットは、それらの直径が集光光学系の予想される点像分布関数（PSF）の直径と一致する場合に識別されてもよい。前記予想PSFは、計算されてもよく、実験によって決定されてもよい。複数のスポットは、それらが予想される直径に等しいか、又は前記予想される直径よりも閾値未満異なる場合に、前記予想PSFと一致する直径を持つように決定されてもよい。前記閾値は、前記PSFの予想される標準偏差に基づいてもよい。前記閾値は、反復して調整されてもよい。

前記方法は、前記PSF直径及び/又は閾値を適切に選択することにより、前記画像の軸焦点（axial focus）を選択するステップをさらに含んでもよい。

粒子の位置特定及び追跡のために使用される方法、並びにPALM/ STORM及びSOFIのような確率的超解像画像化方式を含むが、これらに限定されない任意の適切な位置特定方法を使用し、それぞれ識別されたスポットの中心の位置が特定されてもよい。それぞれ識別されたスポットの中心は、一定の標準偏差の対称なガウス関数の非線形カーブフィッティングを用いて決定されてもよい。前記標準偏差の値は、推定に基づいて決められてもよく、又は識別された複数のスポットから求められた平均値に基づいて決められてもよい。

それぞれの画像又は部分画像の強調は、SIM、PALM、STORM及びSOFIのために開発された技術を含むが、これらに限定されない任意の適切な技術によって行われてもよい。一つの好ましい実施形態において、強調は、ガウスマスクを用いて行われてもよい。ガウスマスクは、固定された標準偏差を有してもよく、又はユーザが定義した標準偏差を有してもよい。強調は、追加的又は代替的に部分画像のスケーリングを含んでもよい。好ましい実施形態ではオーダ（order ）2のスケールファクタが部分画像に適用されてもよい。

前記方法は、複数の強調画像のシーケンス（a sequence of）から合成画像を生成するステップをさらに含んでもよい。合成画像は、合成画像のピクセルサイズに対応する、選択されたバイナリサイズの２乗（square bin size）で、前記複数の発光スポットの位置の２次元ヒストグラムを計算して生成されてもよい。これは、続いて、その局所的な強度がバイナリ占有率（bin occupancy）に比例したピクセル化画像として表示されてもよい。いくつかの実施形態では、合成画像は、位置データ（localization data）の四分木表現（quad-tree representation）に基づく四分木ベースの適応ヒストグラム（Quad-Tree Based Adaptive Histogram）から形成されてもよい。他の実施形態では、合成画像は、例えば、ドロネー三角分割（Delaunay Triangulation）に基づく視覚化のような三角測量技術を用いて形成されてもよい。ルーシー・リチャードソン・デコンボリューション（Lucy-Richardson deconvolution）を含むが、これに限定されないデコンボリューション方式を含む、その後の処理ステップが適用されてもよい。

前記方法は、複数の異なる条件下で複数の合成画像を生成し、前記複数の合成画像を比較する追加のステップを含んでもよい。これは、複数の活性部位(site)、又は合成画像の間の条件の変化に対応した部位の識別を可能とする。比較は、他から１つの合成画像を差し引く（subtraction）形態をとることができる。異なる条件は、温度、化学物質暴露、電気又は磁気刺激等の変化を含んでもよい。

前記方法は、画像化領域内の1又はそれ以上の位置の時間変化をモニタするステップを含んでもよい。これは、合成画像を生成するために使用される複数のシーケンスの画像上の前記選択された複数の位置で、複数の発光スポットを比較することによって達成されてもよい。異なる条件下で生成された合成画像を比較する場合、前記方法は、合成画像を生成するために使用される画像を比較することを含んでもよい。これは、異なる条件に起因する時間的変化をモニタすることを可能とする。

本発明の第２の観点(aspect)によれば、試料の連続する複数の分離した点を選択的に照明し；前記照明から生じる複数の画像を取り込み；及び、本発明の第１の観点の方法に従って前記複数の画像を処理するステップを含む、超解像画像化技術が提供される。

試料の分離された点(point)は、まばらに分離された点であってもよい。

本発明の第２の観点の方法は、所望又は必要に応じて、本発明の第１の観点の方法のいずれか又はすべての特徴を組み込んでもよい。照明される点は、画像化領域上に設けられてもよい。画像化領域は、任意の所望の形状を有してよい。特に、必要又は所望に応じて、形状は、単純、規則的、不規則又は複雑であってもよい。いくつかの実施形態では、画像化領域の形状は、試料内の関心ある領域の既知又は疑わしい形状によって決定されてもよい。照明される点は、任意の適切なパターンに従って配置されてもよい。好ましくは、照明された複数の点（spot）が格子パターンに従って並び、それは例えば、正方形格子パターン又は三角格子パターン等の任意の多角形のパターンであってもよい。パターン内の点分離が繰り返し決定されてもよい。その代わりに、照明された点は、規則的なパターンなしに配置されてもよい。

前記照明が実質的に単色であってもよい。代替の実施形態では、前記照明は、２又はそれ以上の波長を含んでもよい。

好ましくは、それぞれの照明パターンが強調画像を生成するために使用される。好ましくは、前記方法は、複数の強調画像のシーケンスから合成画像を生成するステップをさらに含む。前記シーケンス内の画像の数は、各パターンにおける照明点の数によって決定されてもよい。特に、前記シーケンス内の画像の数は、１つの照明パターンにおける照明点の数に関連してもよい。格子パターンの場合、シーケンス内の画像の数は、全体のパターンを照明するために必要なラスタ数の２乗であってもよい。

本発明の第３の観点によれば、試料の連続する複数の分離した点を選択的に照明し；前記照明から生じる複数の画像を取り込み；及び、本発明の第１の観点の方法に従って前記複数の画像を処理するステップを含む、超解像多光子画像化技術が提供される。

本発明の第３の観点の方法は、所望又は必要に応じて、本発明の第１の観点又は第２の観点の方法のいずれか又はすべての特徴を組み込んでもよい。

本発明の第４の観点によれば、超解像撮像装置であって、試料の連続する複数の分離した点を選択的に照明するよう動作可能なプログラム可能な照明装置；前記照明から生じる複数の画像を取り込むように動作可能な検出装置；及び、本発明の第１の観点の方法に従って前記取り込まれた複数の画像を処理するよう動作可能な処理装置、を含む装置が提供される。

本発明の第４の観点の装置は、所望又は必要に応じて、本発明の第１の観点、第２の観点又は第３の観点の方法のいずれか又はすべての特徴を組み込んでもよく、超解像多光子画像化のための装置であってもよい。

前記プログラム可能な照明装置は、電磁放射源と、ビームステアリング（beam steering）手段とを含んでもよい。電磁放射の波長は、赤外線、可視光、紫外線又はX線放射などの赤外からX線の範囲であってもよい。好ましい実施形態ではEMRは、赤外線、可視光又は紫外線スペクトルである。EMR源は、連続又はパルス状の放射源（emission source）であってもよい。いくつかの実施形態において、電磁放射線は、LEDによって提供される。他の実施形態では、電磁放射源は、レーザを含むことができる。レーザは、例えば、パルスレーザ又は波長可変（tunable）レーザなどの任意のタイプのレーザを含むことができる。

前記照明装置は、試料に実質的に単色を照明するよう動作可能であってもよい。その代わり、前記照明装置は、試料に２又はそれ以上の波長を用いて照明するよう動作可能であってもよい。

EMRが構造化された方法（structured fashion）で試料に送達され、さらに処理中に検出可能な信号を発することを条件とし、例えば電波、マイクロ波、ガンマ線である、赤外からX線スペクトルの外側でEMR源を利用することも可能であろう。

ビームステアリング手段は、デジタルマイクロミラー、又はシリコンプログラム可能なアレイ上の液晶（LCOS）、又はガルバノミラーを含むがこれらに限定されない、任意の適切な形態をとってもよい。好ましい実施形態では、ビームステアリング手段は、複数の音響光学偏向器（AODs）を含んでもよい。このような実施形態では、複数のAODによって生起される複数のレーザパルスの空間的及び時間的な乱れ（disruption）を補償するための補償手段が設けられてもよい。好ましい実施形態では、前記補償手段は、音響光学変調器（AOM）を含む。

前記検出装置は、CCD、CMOS若しくは sCMOSカメラ、又は一連の（an array of）光検出器を含むがこれらに限定されない適切な装置を含んでもよい。好ましい実施形態において、前記検出装置は、CCD又はsCMOSカメラを含んでもよい。

前記検出装置は、単一の所望の波長範囲内、又は、２又はそれ以上の波長範囲内の複数の発光スポットを選択するよう動作可能であってもよい。２又はそれ以上の波長範囲が存在する場合、複数の所望の波長は、フィルタリングすることにより、又は発光スプリッタによって選択されてもよい。

本発明がより明確に理解できるようにするため、それらの実施形態が、その添付図面を参照しながら例としてのみ記述される。

本発明における使用に適した構造化照明顕微鏡（SIM）のための装置の概略図である。 SIMを用いて取得された均一に蛍光を発する試料の画像への、本発明の処理技術の適用を示す図である。従来技術の方法によって得られたのと対比した、本発明の方法で得られた結果の比較図である。本発明の方法及び装置を用いて得られた結果における、距離分解能の増大の比較図である。本発明の方法及び装置を用いて得られた結果における、距離分解能の増大の比較図である。本発明の方法及び装置を用いて得られた結果における、方位分解能の増大の比較図である。本発明の方法及び装置を用いて得られた結果における、方位分解能の増大の比較図である。本発明の方法及び装置を用いて得られた結果における、方位分解能の増大の比較図である。二つの異なる波長での発光を利用して画像を生成するための本発明の画像化方法の使用を示す図である。二つの異なる波長での発光を利用して画像を生成するための本発明の画像化方法の使用を示す図である。画像領域内の時間的変化を調べるための本発明の使用を示す図である。

図1を参照すると、構造化照明顕微鏡（SIM）のための装置10が示される。装置は、一連のレーザパルスを生成するように動作可能なパルスフェムト秒Mi Tai（登録商標；チタンサファイア）レーザ11を含む。レーザパルスは、アクロマチック（achromatic ）1/2波長板λ/2；平面ミラー（plain mirror）M1-M10；結像レンズ（tube lens）TL、及び対物顕微鏡（objective microscope ）13を含む光学装置を介して試料12に向けられている。試料12の上にまばらに分離した一連の点を連続して照明するよう、一対の音響光学偏向器AODx、AODyによってレーザパルスが導かれ（steer）、照明点は典型的にはn×nの格子パターン内に配置される。それにもかかわらず、単純な格子に代わる照明パターンが可能である。必要又は所望に応じ、照明領域が規則的、複雑、又は不規則な形状を有し得ることも可能である。

レーザパルスの時間的及び空間的なばらつき（dispersion）を補償するために、音響光学変調器AOMが光学装置内に設けられている。必要に応じて装置は、レーザビームの時間的及び空間的なばらつきを補正するために追加の補償光学系を有してもよい。

照明の結果、試料は、顕微鏡対物レンズ13により集められて光電子増倍管PMT及びカメラ14を含むイメージセンサに向けられる光を放射する。本実施例では、カメラはsCMOSカメラであるが、適切な場合に代替のカメラ又は検出器が使用されてもよいことは当業者であれば理解するであろう。光電子増倍管PMTは、本発明に従うもの以外の代替の検出モードのために利用される装置を可能とする。

カメラ14は連続した画像を取り込むように動作可能であり、発光の各画像は照明パターンの１つの照明に由来する。使用時には、格子パターン内にまばらに分離した点の配列を走査するために複数のAODが使用される。カメラ14は、格子パターンの１つの照明に由来する発光の画像を取り込むように動作可能である。視野の全体が最終的に覆われるよう、次いで格子は順次シフトされ、さらなる画像が取り込まれる。強調画像を生成するため、本発明では配列内の各画像は、図2に関して記載された方法に従って処理される。次に、一連の強調画像が合成画像を生成するために組み合わされる。n×nの格子に対し、照明を完了するためにp回ラスター(raster)されるレーザビームを必要とし、合成画像を生成するためにp²の画像のスタック(stack)が処理されるために必要である。例えば、各軸上に16点を持つ格子は、一つの超解像画像のために16² = 256の別々のフレームを必要とする。

図2を参照すると、これは、8×8格子を使用した均一に蛍光を発する試料12の、単一の照明から生じる単一の画像に適用される方法を示す。図2aにおいて、取り込まれた画像は、8×8の発光スポットの格子を含む。スポットは、確率的又はゆらぎ解析に基づく超解像度法[10]のために以前に開発された幾つかのアルゴリズムの１つを用いて識別され、位置を特定されることができる。このようなアルゴリズムの幾つかは、Igor Proと呼ばれるローカライザ（Localizer）[11]で使用するために開発されたパッケージに含まれている。

回折限界の点光源からの光は、顕微鏡の光学系によって定義される点像分布関数（point-spread function ;PSF）を持つ２次元ガウス分布を有するスポットを形成する。顕微鏡のPSFが既知である場合には、焦点の位置から発生する光は既知の直径を有し、これは、正確に焦点の合った光を識別し、焦点の合っていない光を破棄するスポット識別ルーチンに通知するために使用されることができる。これらのルーチンの要件を満たさないスポットは、さらなる処理から排除される。上記に使用されたPSFの直径を変化させることにより、本発明の方法は、画像の距離分解能を効果的に変化させることができる。

具体的には、スポットを識別するため、閾値レベルを超える信号対雑音比（図2b）を持つ一般化尤度比検定（GLRT）が使用され、焦点の合ったスポット（図2d）を識別するため、顕微鏡13のPSFの標準偏差（PSF SD）の推定値が使用される。

より詳細には、スポットの識別は、顕微鏡のPSFを近似する２次元ガウス分布を使用するサージ(Serge)ら（2008）の方法に従って実行されてもよい。一般化尤度比検定（GLRT）などの最適な検出検査は、まず、各画像内のガウスピークを識別するために適用される。画像強度は、画像ノイズ：ターゲットがH1 / H0比によって識別されることを考慮し、粒子の存在（H1）又は非存在（H0）のそれぞれの確率が比較されるスライディングウィンドウ（sliding window）で分析される。ピークがノイズから著しく分離される場合、この比は高くなる。ピークの検出には二つのパラメータが必要とされる。これらは、n×nピクセルのウィンドウサイズ、及び誤警報率（false alarm rate）（PFApeak）である。ウィンドウサイズは、可能性がある長期のバックグラウンドの変動を制限しながら、バックグラウンドの正確な見積もりを保証するために最適化されるべきである。決定の精度は、一定誤警報率を固定することで設定される。上記PFApeakは、強度及びバックグラウンドとは独立しており、その結果として実験的な画像取得からも独立している。

この初期のバイナリ識別に続き、識別されたスポットの強度、サブピクセルの位置、幅、及びオフセットが次に見積もられる必要があり得る（図2c）。いくつかの方法の１つが使用されることができる。特に適切な方法は、固定された標準偏差を有する対称ガウス分布の非線形カーブフィッティングを使用することである。様々なフィルタリング試験（filtering test）は、推定される異常点を除去するために使用されることができる。このような方法は、スポットの中心を高精度に識別することを可能にし、方位（xy）分解能を改善する更なる処理を可能とする。

このアルゴリズムに基づく検出方法の利点は、事前に各スポットの正確な位置を知る必要がないことである。欠点は、この方法が焦点内に残っている弱い蛍光スポットを見逃す可能性があることである。このような場合、均一に蛍光を発する試料を用いて以前に位置を特定したスポットの座標を使用し、又は弱い蛍光スポットの位置を予測することが可能である。

各スポットの中心座標は、それぞれ識別されたスポットと同心の部分画像（図2e）を生成するために使用される。次に、各部分画像には、既知の標準偏差の２次元のガウスマスクの形状のデジタルピンホールが適用される（図2f）。ガウスマスクの適用に続いて、各部分画像は、2倍にスケーリング（scaled）される（図2g）。次に、強調画像を提供するため、部分画像は、元の中心座標で空白画像(blank image)に戻される（図2h）。強調された一連の画像を組み合わせることは、合成超解像画像を生成することを可能にする。

最終的な画像を規定するため、3つの重要なパラメータが使用された。 GLRT閾値及び顕微鏡13のPSFの標準偏差（PSF SD）の推定値は、スポットを識別し、かつ位置を決めるために使用された。PSF SDは、特定の目的及びスポット分離に一般に共通するが、このパラメータは、スポット検出を最適化するためにGLRT閾値に沿って繰り返し調整されてもよい。スポット分離はきわめて重要である。単一フレーム内のスポット間の距離を小さくすることは、超RAMP（Super-RAMP）画像当たりのフレームを少なくすることを可能にし：スポットが互いに近すぎる場合、それらは容易に分解することはできず；スポットが離れすぎている場合、単一の点の分解能の向上はポイント間のギャップで最終画像を粒状（granular）のままにする。理想的なスポット分離は、良好な識別及び低減された粒度を確実にするために繰り返し見出されてもよい。最終画像の品質を決定する第3の重要なパラメータは、「デジタルピンホール」のサイズ、従って最終画像の解像度を決定する２次元のガウスマスクの標準偏差である。標準偏差の値を小さくすることはスポットの解像度を向上させるが、スポット間隔が大きすぎる場合には最終画像の粒状性（granularity）を生じさせる可能性がある。

図3を参照すると、上側の画像は、標準的な多光子画像（左）と、本発明の方法に従って生成された同等の合成画像（右側）と、を比較した花粉粒子の最大投影を示す。すぐ下側に比較のために示されるものは、標準的な多光子画像（左）と、本発明の方法に従って生成された同等の合成画像（右側）と、を使用して様々な深さ（7μｍ、19μｍ、37μｍ及び63μｍ）で撮られた断面である。図3の画像において、示される水平及び垂直のスケールバーはそれぞれ20μｍを表す。図に示すように、標準的な多光子画像化技術と比較した場合、本発明によって達成された画像解像度の明らかな増大が見られる。

図4aは、本発明の方法に従って生成された同等の画像43、44と比較して、従来技術の方法を用いてどのような画像41、42が得られたかの説明を提供する。画像41、43は、撮像される対象(object)の上からの（top-down）斜視図を示す。画像42、44は、撮像される対象の側面斜視図を示す。図に示すように、標準的な多光子画像化技術と比較した場合、本発明によって達成された画像の方位（lateral）及び距離（axial）分解能の明らかな増大が見られる。

図4bは、標準偏差が変化するガウスマスクを適用するときに得られる、解像度の定量的な増大の図を示す。破線より下の値は超解像を示す。5ピクセルから0.2ピクセルまでのSDを有するガウスマスクが調査された。適用されたガウスマスクの標準偏差（SD）の減少に伴って、半値全幅（FWHM）が減少することが示される。狭いFWHMは解像度の向上と相関し、標準的な多光子画像化技術と比べて2.8倍の距離分解能の向上が生じる。このパターンは、SD値を1.6に小さくすると観察される。

図5aを参照すると、従来技術によって得られた画像51は、種々のガウスマスクを適用後に得られた画像52、53、54よりも解像度が劣ることがわかる。ガウスマスクのSD値を下げると、方位分解能の著しい増大が生じる。これは、従来技術によって得られた画像を検討して２つの分離した輝点が識別できないのに対し、ガウスマスクの適用時にはそれが可能であることが理解できる。

図5b及び5cは、本発明によって達成された解像度の定量的な増大の図を示す。図5bは、図5aに示された対応する画像を横切るプロファイル（断面）を示す。従来技術により得られた画像51を横切るプロファイルでは、単一ピーク、すなわち１つの対象のみの存在を示すことがわかる。ガウスマスクを適用後に得られた画像を横切るプロファイルは２つの別々のピークを示し、従って画像内の２つの対象の識別を示す。得られたプロファイルのFWHMは、SD値の減少に伴って減少する。このことは、図5aで、小さいSD値では２つの輝点がより容易に識別できるが、従来技術を用いて得られた画像51では識別不能であるとしてさらに示されている。

図5cは、適用されるガウスマスクのSD値の関数としてFWHMがどのように変化するかを示す。SD値が1.6を下回ると、FWHMは理論的限界（破線52によって示される）よりも狭いことが分かる。また、先行技術によって達成された画像で得られたFWHM値が提供されるが、5.0を下回るSD値のガウスマスクを用いると、解像度の顕著な向上（FWHM値の減少）が見られることが分かる。さらに、SD値が低くなるほど解像度が向上し、1.6未満のSD値のガウスマスクを使用すると、理論的限界よりも高い解像度の画像を提供することができる。

上述の例の画像が単一波長での発光スポットを使用して生成された一方、多色画像化（multicolour imaging）を実行することも可能である。これは、試料が比較的ブロードな(broad)吸収若しくは発光スペクトルを有するか、又は異なる吸収若しくは発光スペクトルを有する2又はそれ以上の蛍光物質を同時に使用する場合に特に有用である。2つの発光波長を有する2つのカラー画像を得るために、フィルタが使用されてもよい。その代わり及び好ましくは、それぞれの各発光色をカメラ14の別個の領域上に分離するため、発光スプリッタ（図示せず）が使用されてもよい。これに関し、その大きなチップサイズのために、sCMOSカメラが特に適している。

2又はそれ以上のカラー画像は同時に取り込まれるが、それらは依然として分離され正確に配列される必要があるため、多色画像の配列（alignment）は、本発明に従う超解像画像化（超RAMP）によって容易になる。本発明は、蛍光タンパク質を含む蛍光体の広範囲の活性化のための範囲内となる、〜750及び920 nmの間で操作することができる。従って、活性化波長を変化させることによって、又は発光波長に基づいて分離することによって、複数の蛍光体のどちらか一方を識別することができる。

図6a及び6bを参照すると、本発明に係る2色のカラー画像が示される。花粉粒子は780 nmで活性化され、505-540 nm及び690-740 nmの発光波長でsCMOSカメラ上に同時に取り込まれた。20μｍの軸方向距離で断面が撮影された。各位置での画像の緑と赤の対が構築（construct）され、その後、同じ設定を使用して分割、配列及び結合された。標準的な多光子画像がパネルa）に示され、本発明を用いて得られた画像がパネルb）に示されている。スケールバーは5μmを表す。下部はZ位置1及び10μmで撮影された画像の例である。

上記の例は単一の活性化波長と複数の発光波長に関するが、本発明は、単色又は多色画像化のために複数の活性化波長を使用することも可能である。

本方法は、異なる条件（温度、化学物質暴露、電気又は磁気刺激等の変化を含むが、これらに限定されない）の適用に起因する試料の変化をモニタするために使用されてもよい。これは、蛍光カルシウム（fluorescent calcium）、電圧又はpHセンサのような、それらの蛍光特性が動的に変化する蛍光センサ又は蛍光化合物を用い、これらの異なる条件下で得られた試料の画像を生成し、上記画像を比較することによって達成されることができる。通常は、これは他から1つの画像を差し引く（subtract）か、又は検知された化合物に応答しなかった、スペクトルが異なる参照蛍光体につき同時に取り込まれた画像と比較することを含むであろう。

合成画像を生成するために使用されるシーケンス内の個々の画像についても比較されることができる。これは、撮像された試料内の時間的変化がモニタされることを可能とする。異なる条件の下で生成された合成画像を比較する場合には、各シーケンス内の個々の画像は、異なる条件により生じた異なる時間的変化を説明するために比較されてもよい。

図7a-7dを参照すると、異なる初期条件下で生成された画像を比較した例が示される。図7aでは、試料は全細胞であり、パッチクランプされ、蛍光カルシウム指示薬（fluorescent calcium indicator）で満たされた。その後、刺激の影響と、カルシウム依存性蛍光（calcium-dependent fluorescence）の空間的変化を示すために生成された異なる画像と、を説明するため、本発明の方法を用いて同時画像のスタック（concurrent image stack）の対が生成された。

最初の対照（control）スタック（Ctrl）の間、電気刺激は加えられなかった。第２の間、10の刺激（stim）の集中（burst）が加えられた。普通の突起（上）、及び本発明に従った画像（下）が構築され、蛍光の差（Diff）を示すために刺激の前と間の画像が差し引かれた。スケールバーは2μmを表す。本発明を用いて得られた画像は、明瞭な棘、棘の頸部、及び下にある樹状突起を明らかにし、さらに蛍光の増加は主に棘の頸部に制限されていることを明らかにした。

図7bでは、体細胞（soma）、及びカルシウム応答が観察されなかった近接する樹状突起を含む領域について、図7aに相当する画像が示される。スケールバーは10μmを表す。

図7a、7bで本発明を使用して得られた画像は、離れた複数の樹状突起と体細胞を含む不活性領域だけでなく、棘及び下方の樹状突起の正確な位置の識別を可能とする。例えば、図7bの標準的な多光子画像は、どこで変化が発生したかを正確に確立することはできないものの、棘及び樹状突起領域の双方のカルシウムの一般的な増加を示す。これらの画像は、増加が明らかに主に棘で発生したことを示す。さらに、本発明に従う画像によってもたらされる方位及び距離分解能の向上は、樹状突起に由来するように見えるカルシウム増加が、実際には樹状突起の上に突出した棘から来たことを明らかにした。

図7cに示すように、明確に識別された棘及び下方の樹状突起から、カルシウムの経時の変化の測定値を抽出することができる。測定は、識別された棘及び樹状突起の上に置かれた関心ある領域と、刺激の間に撮影されたものから差し引かれた、刺激が無いときの蛍光の変化と、から得られ、結果の違いが経時的にプロットされた。本発明における画像を生成するために使用される連続したフレームが60ミリ秒間隔で撮影される間、毎秒16.6データポイントの速度で、カルシウムの経時の時間的測定が得られることができる。図7dに示すように、活性な棘からのピークの増加は、支えとなる樹状突起からのそれよりも著しく大きくなった（*P<0.05;スチューデントのt検定）。

上記実施形態は単なる一例として記載されているに過ぎない。多くの変形例が、添付の特許請求の範囲に規定される本発明の範囲から逸脱することなく可能である。

参考文献
1. Abbe, E. Beitrage zur Theorie des Mikroskops und der mikroskopischen Wahrnehmung. Arch. f. Mikroskop. Anat. 9, 413-468 (1873).
2.Betzig, E. et al. Imaging intracellular fluorescent proteins at nanometer resolution. Science 313, 1642-1645 (2006).
3.Hess, S.T., Girirajan, T.P. & Mason, M.D. Ultra-high resolution imaging by fluorescence photoactivation localization microscopy. Biophys J 91, 4258-4272 (2006).
4.Rust, M.J., Bates, M. & Zhuang, X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM). Nat Methods 3, 793-795 (2006).
5.Jones, S.A., Shim, S.H., He, J. & Zhuang, X. Fast, three-dimensional super-resolution imaging of live cells. Nat Methods 8, 499-508 (2011).
6.Hell, S.W. & Wichmann, J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy. Opt Lett 19, 780-782 (1994).
7.Ding, J.B., Takasaki, K.T. & Sabatini, B.L. Supraresolution imaging in brain slices using stimulated-emission depletion two-photon laser scanning microscopy. Neuron 63, 429-437 (2009).
8.Gustafsson, M.G. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy. Journal of microscopy 198, 82-87 (2000).
9.York, A.G. et al. Resolution doubling in live, multicellular organisms via multifocal structured illumination microscopy. Nat Methods 9, 749-754 (2012).
10.Serge, A., Bertaux, N., Rigneault, H. & Marguet, D. Dynamic multiple-target tracing to probe spatiotemporal cartography of cell membranes. Nat Methods 5, 687-694 (2008).
11.Dedecker, P., Duwe, S., Neely, R. K. & Zhang, J. Localizer: fast, accurate, open-source, and modular software package for superresolution microscopy. Journal of biomedical optics 17, 126008 (2012).

Claims

試料の以下の構造化照明によって取り込まれた画像の処理方法であって、前記方法は、各取り込み画像内の複数の発光スポットを識別し；それらの直径が集光光学系の予想される点像分布関数（PSF）の直径と一致する場合に、該複数の発光スポットの焦点が合っているか否かを識別することによる更なる処理に適した検証を行い；及び前記検証された複数の発光スポットから前記試料の強調画像を再構築するステップを含む、方法。
各取り込み画像内の複数の発光スポットを識別し；識別された各スポットの中心を決定し、識別された各スポットにおける部分画像の同心を抽出し；各部分画像を強調し；抽出された複数の部分画像を複数の強調された部分画像と交換し；及び前記複数の強調された部分画像を含む強調画像を生成するステップを含む、請求項１に記載の方法。
複数の発光スポットを識別する前記ステップは、重複する複数の信号を含むように見える画像データの領域に、複数の点像分布関数を繰り返しフィッティングすることを含む、請求項１又は２に記載の方法。
複数の発光スポットを識別する前記ステップは、それぞれ可能性ある発光スポットの位置から予想される画像を最初に計算することにより、潜在的に重複する画像データから発光スポットの複数の座標を抽出し；及び、前記可能性ある発光スポットの位置から予想される画像の知識に照らして前記複数の実際の信号を生じる複数の発光スポットの位置を決定するステップを含む、請求項１〜３のいずれか一項に記載の方法。
強調画像を再構築する前記ステップは、合成画像のピクセルサイズに対応するように選択されたバイナリサイズの２乗で、前記複数の発光スポットの位置の２次元ヒストグラムを計算し；及びその局所的な強度がバイナリ占有率に比例したピクセル化画像として前記ヒストグラムを表示するステップを含む、請求項１〜４のいずれか一項に記載の方法。
強調画像を再構築する前記ステップは、位置データの四分木表現に基づく四分木ベースの適応ヒストグラムを形成することを含む、請求項１〜４のいずれか一項に記載の方法。
前記スポットの検証は、均一に蛍光を発する試料を用いて以前に位置を特定したスポットの座標を使用することを含む、請求項１〜６のいずれか一項に記載の方法。
スポットは、スポット径と信号雑音比とに基づき、一般化尤度比検定（GLRT）分割法を用いて識別される、請求項１〜７のいずれか一項に記載の方法。
前記方法は、前記PSFの直径及び/又は、前記PSFの直径からの変化の閾値を選択することにより、前記画像の軸焦点を選択するステップをさらに含む、請求項８に記載の方法。
それぞれ識別されたスポットの中心は、一定の標準偏差の対称なガウス関数の非線形カーブフィッティングを用いて決定される、請求項１〜９のいずれか一項に記載の方法。
部分画像の強調は、ガウスマスク又は前記部分画像のスケーリングを用いて行われる、請求項２〜１０のいずれか一項に記載の方法。
前記方法は、複数の強調画像のシーケンスから合成画像を生成するステップをさらに含む、請求項１〜１１のいずれか一項に記載の方法。
前記方法は、複数の異なる条件下で複数の合成画像を生成し、前記複数の合成画像を比較する追加のステップを含む、請求項１２に記載の方法。
前記方法は、合成画像を生成するために使用される前記シーケンスの画像上の前記選択された複数の位置で、複数の発光スポットを比較するステップを含む、請求項１２又は１３に記載の方法。
試料の連続する複数の分離した点を選択的に照明し；前記照明から生じる複数の画像を取り込み；及び、請求項１〜１４のいずれか一項に記載の方法に従って前記複数の画像を処理するステップを含む、超解像画像化方法。
前記照明された複数の点が、繰り返し決定される格子パターンに従って並ぶ、請求項１５に記載の方法。
それぞれの照明パターンが強調画像を生成するために使用される、請求項１５又は１６に記載の方法。
前記方法は、複数の強調画像のシーケンスから合成画像を生成するステップをさらに含み、前記シーケンス内の画像の数は、１つの照明パターンにおける照明点の数に関連する、請求項１７に記載の方法。
超解像撮像装置であって、試料の連続する複数の分離した点を選択的に照明するよう動作するプログラム可能な照明装置；前記照明から生じる複数の画像を取り込むように動作可能な検出装置；及び、請求項１〜１８のいずれか一項に記載の方法に従って前記取り込まれた複数の画像を処理するよう動作可能な処理装置、を含む装置。
前記プログラム可能な照明装置は、レーザ；複数の音響光学偏向器（AODs）を含むビームステアリング手段；及び音響光学変調器（AOM）を含む補償手段、を含む、請求項１９に記載の装置。