JP7228917B2 - 局在化顕微鏡法のための方法及びシステム - Google Patents

Description

本発明の実施は、複数の時間スケールのスライディング時間フィルタを順次に適用することにより個々の画像フレーム内の観測された発光体（ｅｍｉｔｔｅｒｓ、エミッタ）／蛍光体（ｆｌｕｏｒｏｐｈｏｒｅｓ、フルオロフォア）の密度を低減するよう、局在化顕微鏡法（ｌｏｃａｌｉｓａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ）における画像系列（シーケンス）を処理する方法及びシステムに関する。密度が低減されたことにより、高密度データ及び低密度データの分析方法を、これらの方法を高密度の発光体を含むデータに適用したときに通常生じてしまう画像アーチファクトを生成することなく、順次にこれらデータに適用することが可能となる。

局在化顕微鏡法は、一般に超解像と呼ばれる、回折限界を超えた画像分解能を得るための、光学顕微鏡法における手法である。これは、試料（サンプル）の構造を、蛍光間欠性又は蛍光「点滅性」を示す蛍光分子を用いて化学的に標識化（ラベリング）することを含んでいる。蛍光間欠性は、化学物質を添加することにより、及び、適切な強度（ｉｎｔｅｎｓｉｔｙ、輝度）と波長を持つ光を照射することにより、制御できる。試料の構造を蛍光標識し、蛍光の発光間欠性を制御する手段は、大きく２つの種類に分類される。確率的光学再構成顕微鏡法（Ｓｔｏｃｈａｓｔｉｃ Ｏｐｔｉｃａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ、ＳＴＯＲＭ）は、試料を蛍光有機色素分子で標識化する。蛍光間欠性は、通常、酸素消去酵素と化学的還元剤とを添加して促進される。光活性化局在性顕微鏡法（Ｐｈｏｔｏ Ａｃｔｉｖａｔａｂｌｅ Ｌｏｃａｌｉｓａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ、ＰＡＬＭ）は、構造の標識化に蛍光タンパク質を用いるが、このタンパク質は、短波長の可視光／近紫外光を適用することにより、非発光状態から発光状態へ、又は、ある発光状態から、それより長い波長の別の発光状態へ切り替えることができる（紫外光は、ＳＴＯＲＭにおける発光体／蛍光体を再活性化することもできる）。

試料の画像は、典型的な局在化顕微鏡法装置に取り込まれると、その大きさが回折限界に近い複数の蛍光「スポット（ｓｐｏｔ）」から構成されることになる。これらのスポットの大きさが、装置の点像分布関数（又は点拡がり関数、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、ＰＳＦ）を定義する。各スポットは、自然に又は意図して、適切な発光状態へ切り替えられた単一の発光体（エミッタ）／蛍光体（フルオロフォア）によって生成されたものである。これら蛍光スポットが互いに重なり合わないように十分に離れていれば、間違いなく、アクティブな発光体／蛍光体が１つのみそのスポットに寄与していると想定できる。そして、発光体の位置は、蛍光スポットの大きさよりもはるかに高い精度（通常は１０ｎｍから３０ｎｍの精度）で、その蛍光発光から特定できる。これが局在化（ローカライゼーション、位置の特定）として知られる処理であり、コンピューターソフトウェアに実装されたアルゴリズムによって常に実行される。十分な数の発光体／蛍光体が首尾よく局在化されると、これらの局在化された位置から、試料の構造を高解像度で推定できる。発光体／蛍光体の発光画像は、通常、従来の広視野蛍光顕微鏡に取り付けた高感度（ｓＣＭＯＳ／ＥＭＣＣＤ）カメラを用いて、連続した画像フレームの長い系列として取得される。順次の各フレームにおいて、活性状態にある発光体／蛍光体のいくつかが発光状態から切り替わり、それまでは発光していなかった他のいくつかが発光状態へ切り替わる。活性状態にある発光体／蛍光体を十分に分離しなければならないという要件により、各フレームにおける活性状態にある発光体／蛍光体の数は相対的に少なく制限されることになるので、通常、試料の構造を正確に再構成するには数万個の画像フレームが必要となる。使用するカメラの速度の制限は、画像の取得に数分かかることを意味するが、この時間は、研究中の構造に対する多くの動的な変化、例えば生細胞試料で常時に見られる変化、を捉えるには長すぎる。

上記の要約で述べ、公表されている先行技術の例として以下のものを挙げることができる：（ＳＴＯＲＭの参考文献）「Ｓｕｂ－ｄｉｆｆｒａｃｔｉｏｎ－ｌｉｍｉｔ ｉｍａｇｉｎｇ ｂｙ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｃａｌ ｒｅ－ｃｏｎｓｔｒｕｃｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ」，Ｒｕｓｔ，Ｍ．，Ｂａｔｅｓ，Ｍ．，及びＺｈｕａｎｇ，Ｘ．著，Ｎａｔ．Ｍｅｔｈｏｄｓ，３巻，ページ７９３～７９６，２００６年；（ＰＡＬＭの参考文献）「Ｉｍａｇｉｎｇ ｉｎｔｒａｃｅｌｌｕｌａｒ ｆｌｕｏｒｅｓｃｅｎｔ ｐｒｏｔｅｉｎｓ ａｔ ｎａｎｏｍｅｔｅｒ ｒｅｓｏｌｕｔｉｏｎ」，Ｂｅｔｚｉｇ，Ｅ．他著，Ｓｃｉｅｎｃｅ，３１３巻，ページ１６４２～１６４５，２００６年；並びに、（ＰＡＬＭの参考特許文献）「Ｏｐｔｉｃａｌ ｍｉｃｒｏｓｃｏｐｙ ｗｉｔｈ ｐｈｏｔｏｔｒａｎｓｆｏｒｍａｂｌｅ ｏｐｔｉｃａｌ ｌａｂｅｌｓ」，ＷＯ２００６／１２７５９２，Ｈｅｓｓ，Ｈａｒｏｌｄ Ｆ．

各画像フレーム内のアクティブな発光体／蛍光体の数を増やし、正確な再構成に必要なフレーム数を減らすことにより、取得速度を大幅に高めることができる。しかし、局在化方法／アルゴリズムは、個々の発光体の蛍光発光パターン（スポット）の実質的な重なりに対処できねばならない。アクティブな発光体間の典型的な距離がＰＳＦ未満である実験の形態は、高密度局在化顕微鏡法と呼ばれている。この形態に達すると、単一のガウスフィッティング（Ｇａｕｓｓｉａｎ ｆｉｔｔｉｎｇ）などの標準的な単発光体のアルゴリズムは、各発光体の検出及び／又は正確な位置特定に失敗することになる。さらに、近接し且つ分離された発光体／蛍光体のフィッティング位置は、相互の中心へ向くバイアスを含む。これは、再構成される超解像画像における、人工的な鮮鋭化（Ａｒｔｉｆｉｃｉａｌ ｓｈａｒｐｅｎｉｎｇ）、誤ったクラスタリング、構造の欠落などの実質的なアーチファクトにつながる。人工的な鮮鋭化は、フーリエリング相関（Ｆｏｕｒｉｅｒ Ｒｉｎｇ Ｃｏｒｒｅｌａｔｉｏｎ、ＦＲＣ）のような測定指標で測定した場合でさえ、高解像の誤った印象を与えることから、特に問題である。現在、局在化顕微鏡法による再構成において、これらのアーチファクトの存在を検出する方法はない。試験に付された試料のグラウンドトゥルース構造に関する知見はほとんどないため、これらのアーチファクトを本物の構造と簡単に間違えてしまう可能性がある。

上記のさらなる先行技術である代表的な文献として以下のものを挙げることができる：（アーチファクトの参考文献）「Ａｒｔｉｆａｃｔｓ ｉｎ ｓｉｎｇｌｅ－ｍｏｌｅｃｕｌｅ ｌｏｃａｌｉｚａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ」，Ｂｕｒｇｅｒｔ，Ａ．，Ｌｅｔｓｃｈｅｒｔ，Ｓ．，Ｄｏｏｓｅ，Ｓ．及びＳａｕｅｒ，Ｍ．著，Ｈｉｓｔｏｃｈｅｍｉｓｔｒｙ ａｎｄ Ｃｅｌｌ Ｂｉｏｌｏｇｙ，１４４巻，ページ１２３～１３１，２０１５年；（アーチファクトの参考文献）「Ｌｏｃａｌ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｄｅｔｅｒｍｉｎｅｓ ｉｍａｇｉｎｇ ｓｐｅｅｄ ｉｎ ｌｏｃａｌｉｚａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ」，Ｆｏｘ－Ｒｏｂｅｒｔｓ，Ｐ．他著，Ｎａｔｕｒｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，８巻，ページ１３５５８，２０１７年；並びに、（ＦＲＣの参考文献）「Ｍｅａｓｕｒｉｎｇ ｉｍａｇｅ ｒｅｓｏｌｕｔｉｏｎ ｉｎ ｏｐｔｉｃａｌ ｎａｎｏｓｃｏｐｙ」，Ｎｉｅｕｗｅｎｈｕｉｚｅｎ，Ｒ．Ｐ．Ｊ．他著，Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ，１０巻，ページ５５７～５６２，２０１３年

発光体ＰＳＦが重なり合う状況に対処するため、いくつかのアプローチが開発されてきたが、それでも、発光体密度が十分に高い場合には、依然として、それら全てで画像アーチファクトが生じてしまう。これらのアプローチについて、以下に簡単に要約する。

ｉ) 複発光体フィッティング法（Ｍｕｌｔｉ Ｅｍｉｔｔｅｒ ｆｉｔｔｉｎｇ）
この方法は、低密度発光体のデータで用いられる標準的な単発光体－単フレームフィッティング法の拡張である。この方法では、ＰＳＦのスケールの画像の局所的最大値が識別されて、その最大値の周囲の画像の小さな部分（セクション）が選択される（単発光体フィッティングと同様）。１つ又は複数の発光体に対して、典型的なＰＳＦがこの部分にフィッティングされる。通常、フィッティングの統計的に有意な改善が観察されなくなるまで、寄与する発光体の数は増加する。通常、正則化項（ｒｅｇｕｌａｒｉｓａｔｉｏｎ ｔｅｒｍ）を導入して、フィッティングされた蛍光体の数、及び／又は、それらの強度に課される拘束条件を制限する。この方法は、発光体間の間隔が小さ過ぎず（約２５０ｎｍ）、且つ、密度が依然として明確に定義された局所的最大値を観察できるほど十分に低く、そして、重なり合う蛍光体の数がそれなりに（ｆａｉｒｌｙ）少ない場合には、有効に働く。しかしながら、これらの条件のいずれかが満たされない場合は、失敗する傾向にある。複発光体フィッティングの先行技術として、例えば以下のものを挙げることができる：（ＭＥフィッティングの参考文献）「Ｓｉｍｕｌｔａｎｅｏｕｓ ｍｕｌｔｉｐｌｅ－ｅｍｉｔｔｅｒ ｆｉｔｔｉｎｇ ｆｏｒ ｓｉｎｇｌｅ ｍｏｌｅｃｕｌｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｉｎｇ」，Ｈｕａｎｇ，Ｆ．，Ｓｃｈｗａｒｔｚ，Ｓ．，Ｂｙａｒｓ，Ｊ．及びＬｉｄｋｅ，Ｋ．著，Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，２巻，ページ１３７７～１３９３，２０１１年；並びに、（ＭＥフィッティングの参考文献）「ＤＡＯＳＴＯＲＭ： ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｈｉｇｈ－ｄｅｎｓｉｔｙ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ」，Ｈｏｌｄｅｎ，Ｓ．Ｊ．，Ｕｐｈｏｆｆ，Ｓ．及びＫａｐａｎｉｄｉｓ，Ａ．Ｎ．著，Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ，８巻，ページ２７９～２８０，２０１１年。

ｉｉ）圧縮センシング法（Ｃｏｍｐｒｅｓｓｅｄ ｓｅｎｓｉｎｇ）
圧縮センシング法は、幅広い分野と用途に及ぶ、十分に確立された信号処理方法である。この方法は、特定の条件下で、それが十分に疎（スパース）である（含まれているものはほとんどゼロである）場合に、サンプリングされていない信号を実質的に復元させることができる最適化手法である。超解像顕微鏡法の場合、この方法は、より多く且つより小さな画素を伴う各画像フレームに対して、より高解像な変換を行うことを意味している。そして、これらの変換されたフレームは全て合計され、最終的な超解像画像が生成される。最適化を実行するには、特定の諸条件が満たされる必要がある。試料の構造は疎でなければならない、つまり、ほとんどの試料は、標識化された構造を含んでいてはならない。この条件は、微小管（ｍｉｃｒｏ－ｔｕｂｕｌｅｓ）などの生物学的構造については全体的に当てはまることもあるかもしれないが、局所的には必ずしも当てはまらないであろう。また、装置のＰＳＦは正確に既知でなければならず、しかも、どこでも一定でなければならない。これは、例えば、ある程度の焦点のドリフト又は収差はほぼ常に存在するので、当てはまる可能性は低い。背景の変化も、分析される画像の大きさに対して小さくなければならない。

この方法は、発光体の密度が高い場合に個々の発光体を識別するという点で、単発光体フィッティングより大幅に優れている一方、蛍光体の典型的な感覚がＰＳＦの全幅の半分の最大値未満になると、精度は大幅に低下する。圧縮センシング法では、最適化を実行するためにいくつかの数学的手法が使われるが、これらの手法は、特定の条件下でアーチファクトを生成することが知られている。これらが超解像顕微鏡法にどのように適用されるかは未だ知られていない。

圧縮センシング顕微鏡法の先行技術として、例えば以下のものを挙げることができる：（圧縮センシング顕微鏡法の参考文献）「Ｆａｓｔｅｒ ＳＴＯＲＭ ｕｓｉｎｇ ｃｏｍｐｒｅｓｓｅｄ ｓｅｎｓｉｎｇ」，Ｚｈｕ，Ｌ，Ｚｈａｎｇ，Ｗ．，Ｅｌｎａｔａｎ，Ｄ．，及びＨｕａｎｇ，Ｂ．著，Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ，９巻，ページ７２１～７２３，２０１２年。

ｉｉｉ）ＳＯＦＩ：超解像光学的変動イメージング法
この方法では、画像系列全体にわたる強度の変動が分析される。画素輝度の時間トレースでの自己又は相互キュムラントを特定の次数（ｓｐｅｃｉｆｉｅｄ ｏｒｄｅｒ）計算する。変動がクラスタ化しているところでは蛍光体の密度が高くなり、そのため、この方法は、個々の変動を個々の蛍光体に関連付けない。計算値のマップは、超解像画像を形成する。この方法において知られているアーチファクトは、平均相対強度より高い試料領域の明るさを誇張する傾向があることであるが、これは、各蛍光体の「点滅」特性による悪影響を受けたものである。これにより、超解像画像では、明るさが低い構造を検出できなくなる可能性がある。回折限界よりも著しく高い解像度を得るためには、キュムラントを高次まで計算しなければならず、この問題を大きく悪化させてしまう。

ＳＯＦＩの先行技術として、例えば以下のものを挙げることができる：（ＳＯＦＩの参考文献）「Ｆａｓｔ， ｂａｃｋｇｒｏｕｎｄ－ｆｒｅｅ， ３ｄ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｏｐｔｉｃａｌ ｆｌｕｃｔｕａｔｉｏｎ ｉｍａｇｉｎｇ （ＳＯＦＩ）」Ｄｅｒｔｉｎｇｅｒ，Ｔ．，Ｃｏｌｙｅｒａ，Ｒ．，Ｉｙｅｒａ，Ｇ．，Ｗｅｉｓｓａ，Ｓ．，及びＥｎｄｅｒｌｅｉｎ，Ｊ．著，Ｐｒｏｃ．Ｎａｔｌ．Ａｃａｄ．Ｓｃｉ．，１０６巻，ページ２２２８７～２２２９２，２００９年。

ｉｖ）３Ｂ：ベイズ法での点滅と退色（Ｂａｙｅｓｉａｎ ｂｌｉｎｋｉｎｇ ａｎｄ ｂｌｅａｃｈｉｎｇ）
ここで採用するアプローチは、蛍光体の光スイッチング（「点滅性」）及び光退色の挙動を示す画像系列全体にフィッティングする試料のモデル構造を見つけ出す試みである。初期の推測から始め、蛍光体の位置は、それ以上の改善が観察されなくなるまで繰り返し調整される。この方法は、それなりに少ない数のフレームから高解像度を得ることができるが、発光体間の間隔が小さい場合は、複発光体フィッティングと同じく鮮鋭化するアーチファクトの影響を受ける。また、計算量が非常に多く、計算時間は他のいずれの方法よりもはるかに長くかかる。このため、大規模な計算リソースが利用可能でない限り、適用は極めて小さな画像に制限される。

先行技術として、例えば以下のものを挙げることができる：（３Ｂの参考文献）「Ｂａｙｅｓｉａｎ ｌｏｃａｌｉｚａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ ｒｅｖｅａｌｓ ｎａｎｏｓｃａｌｅ ｐｏｄｏｓｏｍｅ ｄｙｎａｍｉｃｓ」，Ｃｏｘ，Ｓ．他著，Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ，９巻，ページ１９５～２００，２０１２年。

ｖ）ＳＲＲＦ：超解像放射状変動法（Ｓｕｐｅｒ －ｒｅｓｏｌｕｔｉｏｎ ｒａｄｉａｌ ｆｌｕｃｔｕａｔｉｏｎｓ）
ＳＲＲＦは、発光体の局在化と高次の時間相関（ＳＯＦＩ等）とを組み合わせたハイブリッドシステムとみなせる。第１の部分では、画像内での局所的な放射対称性のサブ画素マップが、画素の輝度の空間勾配から生成される。発光体が位置する場所では、局所的な放射対称性の程度は高いはずである。これらの「放射状マップ（ｒａｄｉａｌｉｔｙ ｍａｐ)」の１つが、系列中の各フレームに対して生成される。その後、「放射状マップ」の系列全体がＳＯＦＩと同様の方法で分析されるが、今回は、各「放射状マップ」のサブ画素の時間トレースにおける時間相関を計算する。そして、これらの値により最終的な超解像画像が生成される。この方法は、局在化と時間分析についての長所と短所の両方を備えている。両方の段階で有用な解像度向上を得ることができるが、近接した蛍光体に対して、他のフィッティング法と同じく人工的に鮮鋭化したアーチファクトを生じ、ＳＯＦＩで見られる構造における明るい方の部分と暗い方の部分／欠け部分とのコントラストも誇張される。

ＳＲＲＦの先行技術として、例えば以下のものを挙げることができる：（ＳＲＲＦの参考文献）「Ｆａｓｔ ｌｉｖｅ－ｃｅｌｌ ｃｏｎｖｅｎｔｉｏｎａｌ ｆｌｕｏｒｏｐｈｏｒｅ ｎａｎｏｓｃｏｐｙ ｗｉｔｈ ＩｍａｇｅＪ ｔｈｒｏｕｇｈ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｒａｄｉａｌ ｆｌｕｃｔｕａｔｉｏｎｓ」，Ｇｕｓｔａｆｓｓｏｎ，Ｎ．他著，Ｎａｔｕｒｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，７巻，ページ１２４７１，２０１６年。

ｖｉ）ＢＡＬＭ：退色／点滅支援型局在化顕微鏡法（Ｂｌｅａｃｈｉｎｇ／ｂｌｉｎｋｉｎｇ ａｓｓｉｓｔｅｄ ｌｏｃａｌｉｓａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ）
この方法は、解像度を上げるのに役立つ時間情報を得るために画像系列全体を調べるのではなく、単に、一方のフレームから他方のフレーム（隣り合うペア）を減算することによって、一度に２つのフレームを比較するだけのものである。この方法は、顕著な強度スイッチング挙動を示さない、又は、光スイッチングバッファを用いない、蛍光標識を対象とする。初めに、大部分の蛍光体は発光状態にある。時間が経つにつれて、スイッチ「オフ」になる又は光退色する。特定の画像フレームにおいてスイッチ「オフ」になる又は光退色する蛍光体は、現在のフレームから後続のフレームを差し引くことにより検出できる。次に、局在化アルゴリズムがこの「差分」フレームに適用される。先行するフレームを差し引くことにより、より稀な「スイッチオン」事象を分離することができる。

しかし、この方法は、従来の局在化顕微鏡法や上記の他の高密度手法と比べて、いくつかの欠点がある。最も重要なことは、この方法はほぼ間違いなく高密度手法ではないということである。各差分フレームの発光体密度は、発光体の近接を解決することができる局在化アルゴリズムの能力によって制限されるため、高い忠実度の超解像の再構成を生成するには、同様な数のフレームが必要になる。同じフレームでは「オフ」（又は「オン」）になった重なり合う発光体は分離されない。同様に、一の発光体がスイッチ「オフ」になる際に、近接の発光体が同じフレーム内でスイッチ「オン」になると、それらは「差分」フレームで相互に部分的にあいまいになり、不確かな局在化につながる。蛍光体がゆっくりと切り替わる／退色するだけならば、それらの放出された光子の大部分は差分フレームから無視されて、正確とは程遠い局在化（バイアスを受けない場合）につながる。ほとんどの蛍光体が発光しているとき、個々の画素の輝度値は非常に高い。光子ショットノイズ及びカメラの読出しノイズも、差分信号と比較して高くなる。それゆえ、従来の局在化顕微鏡法よりもはるかに低い信号対ノイズ比となるため、局在化精度の低下につながり、得られる解像度は低くなる。

ＢＡＬＭの先行技術として、例えば以下のものを挙げることができる：（ＢＡＬＭの参考文献）「Ｂｌｅａｃｈｉｎｇ／ｂｌｉｎｋｉｎｇ ａｓｓｉｓｔｅｄ ｌｏｃａｌｉｚａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ ｆｏｒ ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｉｎｇ ｕｓｉｎｇ ｓｔａｎｄａｒｄ ｆｌｕｏｒｅｓｃｅｎｔ ｍｏｌｅｃｕｌｅｓ」，Ｂｕｒｎｅｔｔｅ，Ｄ．Ｔ．，Ｓｅｎｇｕｐｔａ，Ｐ．，Ｄａｉ，Ｙ．，Ｌｉｐｐｉｎｃｏｔｔ－Ｓｃｈｗａｒｔｚ，Ｊ．及びＫａｃｈａｒ，Ｂ．著，ＰＮＡＳ，１０８巻，ページ２１０８１～２１０８６，２０１１年。

ｖｉｉ）多色検出法（Ｍｕｌｔｉ ｃｏｌｏｕｒ ｄｅｔｅｃｔｉｏｎ）
先に述べた方法は全て、多色検出法と組み合わせて使うことができる。この局在化顕微鏡法のバリエーションでは、試料内の２つ以上の異なる構造を、異なる発光波長（色）の蛍光分子で標識化する。含まれる装置は、従来の局在化顕微鏡の場合と同じであるが、収集された蛍光発光の光路に光学フィルタが追加される。光学フィルタの通過帯域は、２つの蛍光マーカ分子の発光波長を分離するように選択される。フィルタリングされた蛍光は、その後、別々のカメラ上の画像となる、又は、単一のカメラのセンサの別々の領域上の画像となる。したがって、各蛍光マーカに対応する複数の画像系列を生成できて、試料内の複数の構造を同時に画像化することが可能となる。しかしながら、複数の蛍光マーカの適切な「点滅性」を操作することは困難な場合があり、この方法は色収差によって影響を受ける可能性もある。多色局在化顕微鏡法の先行技術として、例えば以下のものを挙げることができる：（多色法の参考文献）「Ｓｕｂｄｉｆｆｒａｃｔｉｏｎ－Ｒｅｓｏｌｕｔｉｏｎ Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｃｏｎｖｅｎｔｉｏｎａｌ Ｆｌｕｏｒｅｓｃｅｎｔ Ｐｒｏｂｅｓ」，Ｈｅｉｌｅｍａｎｎ，Ｍ．，Ｖａｎ ｄｅ Ｌｉｎｄｅ，Ｓ．，Ｓｃｈｕｔｔｐｅｌｚ，Ｍ．，Ｋａｓｐｅｒ，Ｒ．，Ｓｅｅｆｅｌｄｔ，Ｂ．，Ｍｕｋｈｅｒｊｅｅ，Ａ．，Ｔｉｎｎｅｆｅｌｄ，Ｐ．及びＳａｕｅｒ，Ｍ．著，Ａｎｇｅｗ Ｃｈｅｍ Ｉｎｔ Ｅｄ Ｅｎｇｌ．，４７巻３３号，ページ６ｌ７２～６，２００８年。

本発明の実施は、高密度下での局在化を可能にし、よって、そうしない場合よりも高い空間分解能を達成するための、顕微鏡画像を処理する方法及びシステムを提供するものである。これは、近接する発光体から得られる画像データの時間的な冗長性を利用することによって達成され、これらの近接する発光体は、さもなければ、それら発光体が同時に発光する又は同時に蛍光を発する単発光体として分離されるが、わずかに異なる（しかし重なる可能性はある）時間で発光する又は蛍光を発するので、異なる時間帯域幅の異なるフィルタによる時間フィルタリング（時間的なフィルタ処理）にかけることができ、よって２つの発光体を分離できる。実質的に、異なる時間（的）フィルタは、２つの発光体の異なる発光時間又は蛍光時間を効果的に強調するために一緒に機能する異なる時定数を有しており、これにより２つの近接する発光体を別々に分離できる。

上記に鑑み、一の態様からは、局在化顕微鏡法のための方法が提供される。すなわち：顕微鏡によって取り込まれた顕微鏡画像フレームの時間（的な）系列を受け取るステップであって、画像フレームはその中に発光体又は蛍光体を含む画像である、ステップと；少なくとも１つの時間的フィルタを用いて、フレームの系列内のそれぞれの同じ画素位置の画素値のそれぞれの集合（セット）を時間的にフィルタ処理することにより、フレーム内のそれぞれの同じ画素位置についての時間的にフィルタ処理された画素値の少なくとも１つの集合を取得するステップと；時間的にフィルタ処理された画素値の少なくとも１つの集合を局在化アルゴリズムへ入力として提供しそれに依存して発光体又は蛍光体の局在化を可能にするステップと；を含む。

一実施において、この時間的フィルタ処理は、フレーム内の同一の各画素位置についての時間的にフィルタ処理された画素値の少なくとも２つの集合を取得するために、異なる時間的特性を有する少なくとも２つの異なる時間的フィルタを使用するステップを含み、時間的にフィルタ処理された画素値の少なくとも２つの集合は、発光体又は蛍光体の位置特定を可能にするために局在化アルゴリズムへ提供される。

さらなる特徴及び態様は、添付の特許請求の範囲から明らかになるであろう。

本発明のさらなる特徴及び利点は、単なる例として提示される、本発明の実施の以下の説明、並びに、添付図面から明らかになるであろう。ここで、同様の符号は同様の部分を示す。

アルゴリズムの典型的な実施の形態のフロー図である。 本発明の一実施に係る局在化顕微鏡装置を示す図である。 一実施に係る処理前及び処理後のフレーム系列の図であって、低減された発光体の密度を示すものである。 ハール（Ｈａａｒ）ウェーブレットを用いるフィルタセットの一例を示した図である。

本発明の実施はそれぞれ、各画像内のアクティブな発光体／蛍光体の数を減らすために、局在化顕微鏡法を用いて取得された一連の画像を処理する方法及びシステムを含む。この手法は、任意の局在化方法／アルゴリズムに先立って画像系列に適用され、発明の対象であるこの手法による出力は、はるかに長い画像系列であり、各画像フレーム内のアクティブな発光体／蛍光体の数は少なくなっている。次に、選択した局在化方法／アルゴリズムを、出力画像系列に適用して、個々の発光体／蛍光体の位置を特定（ｌｏｃａｌｉｚｅ）し、超解像画像を生成する。本発明の別の実施は、複数の時間的なフィルタ処理の方法を、局在化方法／アルゴリズムと組み合わせて、単一の方法／アルゴリズムとすることであろう。フィルタ処理は、発光状態で現れる隣接フレームの数に基づいて、重なり合う発光体／蛍光体の発光を分離する。より正確には、より明るい若しくはより暗い発光状態又は非発光状態に切り替わる前のそれなりに一定の強度を維持した隣接画像フレームの数に基づく。

フィルタのセットは、隣接する／近接するフレームの画素値のさまざまな時間スケールでの比較を構成する任意のセットである。各フィルタは、それが比較する最初の画像フレームと最後の画像フレームとの間の時間（フレーム数に関連）を表す特徴的な時間スケールを有するだろう。次に、各フィルタは、その特徴的な時間スケールにおける発光体の強度変動事象／スイッチング事象を他の全ての事象から分離する。使用する時間スケールの範囲は、これらの事象の大部分を捕捉するように、発光体の変動／スイッチングの時間スケールの範囲を反映したものとなる。フィルタの時間スケールの上限は、一般には画像系列の長さよりはるかに短くなるが、通常はこのような長い時間スケールでの発光体の変動はないであろう。

このフィルタは、入力された画像系列から構成された一連の画素輝度の時間トレースに適用される。輝度の時間トレースは、この系列内の全ての画像フレーム内の特定の画素ｘ、ｙの値を順に照合する（連結する）ことによって生成される。特定の特性を持つ時間スケールを有するフィルタが、画素輝度の時間トレースにおける特定の点と、記録された出力値とに適用される。そして、フィルタは時間トレースにおける複数の点（通常は複数だが、必ずしも全ての点ではない）に適用されて、結果である各値が前の値に追加されて、出力画素輝度の時間トレースを生成する。この工程は、元の画像系列の各画素の輝度トレースごとに繰り返され、等しい数の、出力画素輝度の時間トレースを生成する。これらの出力輝度トレースは元の画素位置ｘ、ｙで再構成されて、出力画像系列を作成する。次に、この工程が、セット内の次のフィルタ及び後続の全てのフィルタに対して繰り返され、各出力の画像系列が前のものに追加されることで、元の系列よりもはるかに長い、トータルな出力系列が生成される。

画素輝度の時間トレース内の異なる点へフィルタを適用する順序は、構造の時間的な進展が観察されない限り、そしてそれが全てのそのようなトレースに対して維持される限り、重要ではない。各フィルタが適用される順序も重要ではない。代替として、各フィルタを単一の入力輝度時間トレースへ順次に適用し、その出力を、はるかに長い出力時間トレースに追加することもできる。フィルタを適用する順序が一貫している限り、これらの長い出力トレースは、その後、前述のように最終的な出力画像系列に結合される。

発光体の輝度が変動するとき、又は発光体の発光の状態が切り替わるとき、その位置のＰＳＦ幅内の全ての画素の時間トレースは、その時点での輝度変化（変動）を示す。ＰＳＦが同一画像フレーム内の最初の切り替え輝度が重なる他の蛍光体がない場合、隣接する画素間のこれらの変動の相対的な大きさは、装置のＰＳＦを反映することになる。しかし、同一画像フレーム内で２つ以上の近接する発光体が輝度を切り替える場合、発光体のＰＳＦの範囲内のいくつかの画素が、時間トレースにおける、複数の発光体に起因する輝度の変化を示す一方、その他の画素は、単一の発光体のみに起因する輝度のみを示す。しかしながら、単一の発光体のＰＳＦと重なり合う他の発光体のいずれにおいても、前と後の両方での輝度の切り替えが互いに同じ相対量で且つ同じ画像フレームで生じることはきわめて稀なことである。それゆえ、フレームからフレームへの個々の画素の輝度の変動に対する各発光体の寄与度は、その変動が持続した画像フレームの数に基づいて分離できる。これは、複数の時間スケールによる時間フィルタリングによって実現される。いくつかのフレームにわたり画素の輝度値を比較することにより、各フィルタの出力は、輝度変動のサブセットのみを含む画像系列となり、その時間スケールは、適用されるフィルタの特徴的な時間スケールに左右される。ここでも、個々の発光体が輝度を切り替える場合、そのＰＳＦ内の全てのフィルタリングされた画素トレースは、ＰＳＦの形状を表す値と一致する出力を示すが、今回は、適用されたフィルタの特徴的な時間スケールによって設定された時間スケールにおいて切り替わる発光体に限られる。ここで、異なる時間スケールの発光体からの信号ノイズがフィルタを通過した場合には、同じ空間的一致が共有されず、隣接する画素の強度は装置のＰＳＦを再現しない。局在化アルゴリズムは、装置のＰＳＦに従って強度分布を特定し、ノイズを排除する一方でそれらの位置を特定するように設計される。

言い換えると、短い時間スケールのフィルタの出力は、特定の少数の画像フレームの間で発光状態にあった発光体／蛍光体のみの蛍光「スポット」を含む画像系列である。一方、長い時間スケールのフィルタの出力には、多数のフレームの間で発光していた発光体／蛍光体のみが含まれる。各フレーム内の発光体の数（及び発光体の密度とＰＳＦの重なり合う部分）は大幅に減り、局在化アルゴリズムは発光体の位置をより正確に見つけることができる。複数のフィルタの時間スケールの結果を組み合わせることにより、ほぼ全ての発光体／蛍光体が少なくとも１つの画像フレームに現れる。これにより、重大な画像アーチファクトがなく、高解像度の再構成の生成に十分な数の局在化が可能となる。

複数の時間スケールによる時間フィルタリングは、多色イメージングの代替／補足として更に用いられる。短い方の時間スケールと長い方の時間スケールのフィルタの出力を組み合わせて、「ハイパス」と「ローパス」のペアとすることができる（又は３つ以上のグループに分けたものならばバンドパスである）。試料が「速い／良い」で点滅する１つの蛍光体と、「遅い／劣る」で点滅する１つの蛍光体とで標識化されていたとすると、たとえそれらが同じ発光波長であっても、各フィルタのペアは、２つの蛍光体のうちの一方又は他方のいずれだけからの発光を主として含むことになろう。したがって、先に述べた多色イメージングの短所は回避される。

さらなる特徴及び利点は、以下の詳細な説明から明らかになるであろう。

本発明の実施例を、各図を参照して、ここに説明する。特に、図２は、画像化された試料において発光体／蛍光体について高解像度の局在化を可能にするために、本明細書に記載する手法に従って処理されることになる画像を取り込むために使用できる顕微鏡装置の一例を示したものである。

より詳細には、図２には、本発明の一実施に係る、局在化顕微鏡法の画像系列の取得で通常用いられる装置の例が示されている。対象となる蛍光標識化された試料（２０４）は、試料ステージ（２０２）により、高開口数の対物レンズ（２０６）に対して固定／調節可能な相対位置に保持される。１つ又は複数の励起光源（２２０）は、一般に１つ又は複数の励起波長と１つ又は複数の活性化波長とからなり、両波長は、ビーム結合光学系（２２２）によって共通の光路に沿って方向付けられる。光源は、レーザーであっても、他のコリメートされた（ｃｏｌｌｉｍａｔｅｄ、平行な、視準の合った）高強度光源であってもよい。さらに、ビーム拡大望遠部（ｂｅａｍ ｅｘｐａｎｄｉｎｇ ｔｅｌｅｓｃｏｐｅ)（２１８）などのビーム調節光学系を使用して、ビーム強度分布及びコリメーション（ｃｏｌｌｉｍａｔｉｏｎ）を変更することができる。次に、光源はダイクロイックミラー（主要なダイクロイック２０８）により、対物レンズ（２０６）を通って試料（２０４）の上に反射される。主要なダイクロイック（２０８）の位置までの光源の結合及び方向付けは、光ファイバによっても部分的又は全面的に達成できる。ビーム方向付け／調節光学系は、通常、対物レンズを介してビーム経路を変更する何らかの手段を設けることにより、試料の境界面において励起光の全（又はそれに近い）反射（ＴＩＲＦ）を実現する。

個々の発光体／蛍光体からの蛍光光は、対物レンズによって集められ、主要ダイクロイックを通過し、チューブレンズ（２１０）を通るように光学系（２１６）によって方向付けられる。これは、画像を形成するデジタルカメラ（２１２）のセンサに光を集束させる。このカメラは、含まれる微弱レベルの光を検出するのに十分な感度が必要であり、また１秒あたり複数（約１００枚）の画像を取り込むのに十分な速度も必要である。したがって、通常は科学計測用ＣＭＯＳ（ｓＣＭＯＳ）、又は電子増倍型ＣＣＤ（ＥＭＣＣＤ）カメラが使用される。出力データストリームは、コンピュータ（２１４）に記録される。

コンピュータ（２１４）には、ハードディスク、フラッシュドライブ、メモリカードなどのデータ記憶媒体２２４が設けられ、データ記憶媒体２２４上には、顕微鏡装置によって取り込まれた画像から得られた画素データの形式で処理されるデータ、処理後の画像の形式での処理出力、及び、実行時にコンピュータを制御して入力画像に必要な処理を実行し出力画像を取得する実行可能プログラムであって、本実施の形態の場合は一般的な制御プログラム（２２６）、ハールウェーブレットカーネル（Ｈａｒｒ Ｗａｖｅｌｅｔ Ｋｅｒｎｅｌ、ＨＷＫ）計算プログラム（２２８）、及び局在化プログラム（２３０）を格納できる。一般的な制御プログラム（２２６）は、処理全体を制御し、必要に応じてＨＷＫ計算プログラムと局在化プログラムとを呼び出す。ＨＷＫ計算プログラム（２２８）は、取り込まれた顕微鏡画像の個々の画素に関連する画素データのそれぞれの入力ストリームを受け取り、それらに以下に説明する方法でハールウェーブレット関数を適用することで、各画素に対して画素データの出力ストリームを生成する。ここで、それぞれのハールウェーブレット関数でフィルタリングされた画素データが出力されるが、それぞれの出力は、異なる次数のハールウェーブレット関数（例えば、１次から４次）のそれぞれに適用して取得されたものであり、それらの出力が連結され若しくは結合されて、画素ごとに出力される画素ストリームを形成する。出力された画素ストリームには、入力された画素ストリームの輝度の増加又は減少に対応して、正の値と負の値の両方が含まれる。これらを処理するには、絶対値を取る、又は、出力の画素ストリームの大きさを２倍にして、正の値と負の値を２つの連続する出力の画素ストリームに分離してから、絶対値を付加するとよい。このような場合には、全ての欠損値はゼロで埋められる。３番目の選択肢としては、大きな固定オフセット値を全ての出力画素値に加え、出力画像系列に負の画素値がないようにする（例えば、入力のダイナミックレンジの半分）。次に、出力画像系列は、発光体に対応する最大値と最小値の両方からなる。この状況で、局在化アルゴリズムは、より正確な局在化を生成する可能性が高い負及び正の振幅のモデルであるＰＳＦに適合できなければならない。したがって、出力画素ストリームには入力ストリームより多くのデータが含まれる。というのは、特定の入力の画素に適用されるハールウェーブレット関数の各次数に対して１つの出力画素値（又は正値と負値が分離されている場合は２つの画素値）が生成されるからである。

例えば、１次から４次のＨＷＫ関数が入力画素ストリームに適用されたならば、出力画素ストリームは、各入力画素値に対して、４つ（又は正値と負値が分離されている場合は８つ）の画素値（１次から４次のＨＷＫ関数の各々によって１つ／２つが生成される）を有する。これらの４つ（又は８つ）の値は、通常、出力画素ストリームにおいて一方が他方の後に連結され、画素ごとの出力画素ストリームは、局在化プログラム２３０によってその入力として用いられ、ＨＷＫフィルタリング処理された画素に基づいて発光体を局在化することができる。この点に関して、この局在化プログラム２３０は、画素ごとの出力ストリーム２３４をＨＷＫ計算プログラム２２８から受け取ること、及び、顕微鏡からの生の画素ストリーム２３２に対してではなくこれらの出力ストリームに対して発光体／蛍光体の局在化を実施することを除き、従来のオペレーションのものである。もちろん、他の実施として、例えば、バターワース（Ｂｕｔｔｅｒｗｏｒｔｈ）フィルタ又はチェビシェフ（Ｃｈｅｂｙｓｈｅｖ）フィルタなどの、ハールウェーブレット関数以外の他の時間フィルタ関数を適用してもよい。したがって、本明細書におけるＨＷＫフィルタについての説示は、単なる例に過ぎず、より一般的には、異なる長さの時間で持続する事象を区別できる他の時間フィルタ関数を用いてもよい。

図１は、本発明の一実施で実行される処理をより詳細に示すフロー図である（ただし、さらなるグラフによる例については後に説明する）。ここで、一般的なスキーマとしては、各時間フィルタは、次の画素トレースへ移る前に、ある画素輝度時間トレースの各ポイントに対して順番に順次適用される。次に、各出力時間トレースが画像系列に再結合された後に、次のフィルタを用いてこの手順を繰り返し、その結果を前の結果に追加する。しかし、画素時間トレースにおけるある単一の点について各フィルタを順番に適用し、各結果を出力時間トレースに追加した後に、入力時間トレースにおいて次の位置へ移ることも、同様に有効な処理である。さもなければ、全ての画素輝度トレースの同一時点におけるフィルタの結果を組み合わせて、その結果を出力系列に追加する画像に形成した後、時間トレースにおける次の点へ移ることもできる。これらの統合が実行される順番は、画像系列全体で一貫性が維持されている限り、又は一貫性が維持されていないとしても出力ファイル内の統合の順番が分かっている場合には、重要ではない。

上記の観点より、図１は、本発明の一実施において実行可能な処理フロー図の一の例を示すが、この処理は、フィルタごと、画素位置ごとに作動する処理である。すなわち入力の画像系列に対して、第１の時間フィルタ、例えばｎ次のＨＷＫフィルタが画素ごとに画素の各ストリームに適用され、その処理は全ての画素位置がそのフィルタで処理されるまで行われる。その後、ｎ＋１次のフィルタを適用しながら処理は繰り返されるが、その処理は再び映像系列全体に対して全ての画素位置が処理されるまで行われる。その後、全てのフィルタが適用されるまで、順番に各次数のフィルタに対してこの処理が繰り返されるが、この場合、その出力画像系列（ここでは入力系列よりもはるかに長くなり、具体的には入力系列の長さにｘ（又は２ｘ）を乗じたものになる。ここで、ｘは、適用される異なる次数のフィルタの数である）がその後、発光体検出のための局在化アルゴリズムへ出力される。

図１を参照してより詳細に説明すると、ｓ．１．２において、顕微鏡の画像系列がｓ．１．２で受信され、次にｓ．１．４において、適用される処理用の時間フィルタ（例えば、ＨＷＫ、バターワース、チェビシェフ等）が選択され、最初に適用されるフィルタの次数が選択される。次にｓ．１．６において、受信された画像フレーム内の最初の画素の位置、例えば、フレーム内の画素位置（ａ，ｂ）が選択される。次に、入力の顕微鏡法フレーム系列の各フレームにおける選択された画素の位置に対する画素値を調べることにより、ある画素の時間トレース又はストリームが作成される。すなわち、例えば、系列内の各フレームから位置（ａ，ｂ）の全ての画素値をまとめて１つの系列に連結することによって、フレーム内のピクセル位置（ａ，ｂ）に対して１つの画素データのストリームが取得される。

ｓ．１．１０において、画素時間トレース／ストリームの開始点が選択され、ｓ．１．１２において、選択されたフィルタが、選択された開始点及びその周辺の画素値へ適用される。次に、ｓ．１．２２において、フィルタの結果（フィルタ計算の詳細は後述する）が取得され、その後、特定の画素の位置（ａ、ｂ）について出力時間トレースがその結果を含むように開始される。ｓ．１．２４において、フレームの系列内の画素（ａ、ｂ）の全てにフィルタが適用されたかどうかが評価され、適用されていない場合は、ｓ．１．２６において系列内の次の画素が選択されて、処理はｓ．１．１０へ戻る。この処理ループを繰り返すことにより、時間フィルタは、画素位置（ａ，ｂ）に対してその画素の時間トレース／ストリーム内の全ての画素に適用される。

フィルタの結果の中には、負値の結果となったものがある可能性があり、それらは削除しなければならない。そして、先に述べた選択肢に応じて、画素時間トレースにおいてクリーンアップルーチンが実行され、後で詳細を述べる方法で負値を処理してから、出力系列における位置（ａ，ｂ）に対する画素トレースとして、出力における画素位置（ａ、ｂ）の出力トレースを処理する。次に、同じ方法でフレーム内の次の画素位置（たとえば（ａ＋１，ｂ）を処理でき、処理はｓ．１．６へ戻る。顕微鏡法のフレームの各画素の位置について上記ステップを繰り返すことにより、現在選択されている時間フィルタに対する画素トレースが各画素位置について得られる（ｓ．１．３４）。

その後の処理で、所望の時間フィルタが全て適用されたかどうかが判定される。この点で、通常は、より高次のフィルタ、例えば１次から４次のハールウェーブレットフィルタ、又はバターワースフィルタも適用されるであろう。全てのフィルタが適用されていない場合は、ｓ．１．４０で、次のフィルタが選択され（例えば、１次のＨＷＫフィルタが適用されたばかりであれば２次のフィルタが選択される等）、処理はｓ．１．４のループの先頭へ戻る。このように、各フレームにおける同一位置（ａ，ｂ）での対応する画素は、第１の時間フィルタを用いて処理され、その後、同一位置（ａ，ｂ）にある対応する各画素は、第２の時間フィルタ（例えば、より高次のフィルタ）を用いて処理される等、全てのフィルタが各画素トレースに適用されるまで行われる。ひとたび全てのフィルタが適用されると、フィルタ処理された画素トレースの集合を、例えば既知の順番で連結することによって集め、その後、局在化アルゴリズムへの入力として用いることができる。

画素輝度時間トレースのフィルタリングが個々の発光体の蛍光の寄与をいかに分離するかの実証実験を図３に示す。上の３つの画像（３０２，３０４，３０６）は、発光状態と非発光状態との間でランダムに切り替わる２つの近接した（すなわち、ＰＳＦより小さい間隔で分離された）蛍光体のシミュレーションにおける３つの連続フレームを示している。一方の蛍光体は「ａ」とマーク付けられた画素の中心に位置し、他方の蛍光体は画素「ｃ」の中心に位置する。中央のフレーム（３０４）では、両方の蛍光体が発光状態にあり、その場合、個々のＰＳＦ（蛍光スポット）は実質的に重なり合う。先のフレームと後のフレーム（それぞれ３０２と３０６）では、「ａ」の蛍光体のみが発光している。２つの発光体の切り替わりは、対応する画素輝度時間トレース（３０８）で確認できるが、この図では、画像（３０２，３０４，３０６）における「ａ」、「ｂ」、「ｃ」とマーク付けられた３つの画素は、系列のフレーム７９，８０及び８１に対応するとして示されている。フレーム７６では、画素「ｃ」にある蛍光体のみが発光しており、このことは、画素「ｃ」の輝度が画素「ｂ」の輝度よりも高く、同様に画素「ｂ」の輝度が画素「ａ」の輝度よりも高いことに反映されている。「ａ」での蛍光体のみがフレーム７８、７９、８１及び８２で発光している場合は、逆の比（ｒａｔｉｏ）が成り立つ。フレーム８０では、画素輝度時間トレースにおける変動が観察される。フレーム８０での３つの画素間におけるこの変動の相対的な大きさは、「ｃ」にある蛍光体のみが発光している場合のフレーム７６で観測された変動と非常に類似している。この変動は、フィルタを適用することにより、残りの時間トレースから分離できる。

これらの３つの画素に対し、フィルタ関数として第１のハールウェーブレット（図４及び以下で説明する）を用いた結果（３１０）では、単フレームの間だけ継続する変動のみが示される。「ａ」にある蛍光体がオンに切り替わる場合（フレーム７８）及び値がゼロに近い他の場合と比較して、またフレーム８０で両方が一緒に発光している場合であっても、「ｃ」にある蛍光体が発光状態に切り替わると、３つの画素の輝度比が逆転する（フレーム７６及び８０）。フィルタ処理された全ての画素輝度時間トレースが一の画像系列に再結合された場合、フレーム８０に対応するフィルタ処理された画像（３１２）は、画素「ｃ」に中心を有するＰＳＦの大きさである蛍光スポットを示す。フィルタとして第３のハールウェーブレットを適用することにより、フレーム７８からフレーム８２の間で発光状態に切り替わる「ａ」にある蛍光体によって引き起こされるより長い時間変動が分離される。この場合のフレーム８０に対応するフィルタ処理された系列からの画像（３１４）は、画素「ａ」に中心を有するＰＳＦの大きさである蛍光「スポット」を示す。フレーム８０における２つの発光体からの蛍光の寄与（３０４）は、互いに２つの別々の画像フレーム（３１２及び３１４）に分離されたことになる。この状態においては標準の低密度用の局在化アルゴリズムでも２つの発光体／蛍光体の位置を高精度に個別に局在化できるはずだが、以前の場合であれば、２つの発光体の存在を識別できず、それ故に２つの蛍光体の間の中央の位置に誤って局在化されて、再構成においてアーチファクトを生じさせる。第１のハールウェーブレットフィルタからの出力は、単一フレームの時間より長く続く発光体の変動によるノイズを含む。「ａ」にある蛍光体が５フレームの期間(フレーム７８からフレーム８２）発光した際のこのフィルタ処理された系列からの出力フレームの例（３１６）は、このノイズの相対的な振幅がＰＳＦを正確に反映していないことを示している。しかしながら、いくつかの局在化アルゴリズムは往々にして、このノイズを蛍光「スポット」としてフィッティングしようとする場合があり、再構成での画質低下につながる。これらの局在化へのフィッティングは強度が低く、物理的には広くも狭くもなく、必要に応じて、再構成時に用いられる局在化のリストから簡単に削除できる。この方法で分離できる重なり合う発光体の数は、それらが全て異なる時間スケールの変動に起因する限り、十分な信号対ノイズが与えられるので、本質的に制限はない。

フィルタセットは、隣接する又は近接するフレームの範囲にわたり、画素の輝度値を比較する任意のセットとすることができる。各フィルタは、輝度の変動に敏感な特徴的な時間スケールを有する。この観点から説明する例は、ハールウェーブレット関数をフィルタセットとして用いる。図４は、最初の４つのウェーブレット（それぞれ４０２，４０４，４０６，４０８）を示す。これらの関数は、データ圧縮局面では画像分析に広く使われてきた。ここで述べる方法で輝度時間トレースに適用した場合、これらの関数は、変化する時間スケールでのトレースにおけるある時点の前後の平均強度値の差分を示す。図３の（ｂ）でマーク付けられた画素時間トレースへ第１のハールウェーブレットフィルタを適用したものを、開始フレーム８０（４１０）及びフレーム８２（４１２）に対するものとして示し、同様に第３のハールフィルタをフレーム８０へ適用したもの（４１４）を示す。

ここで、アルゴリズムの正確な実装の形態を２つの例で示す。どちらの例も上記ハールウェーブレット関数をフィルタセットとして用いる。最初の例は、含まれる個々のステップを強調して、行列の乗算により画素輝度時間トレースへフィルタを適用する方法を示す。次の例は、より簡潔な方法の実施として、時間トレースをカーネルと畳み込み演算する。

行列乗算の例：
第１のステップでは、未処理の画像系列から画素輝度トレースの集合を作成する。

ここで、ｘ，ｙは画素インデックス、ｔはフレーム番号である。各画素について、順に、その輝度トレースＸ（ｔ）（列ベクトルとして）にハール行列を乗算して、その変換トレースＹ（ｔ’）を生成する。

ハール行列の非ゼロ要素は以下のように与えられる：

ここで、ｉ，ｊは行と列のインデックスであり、ｆｌｏｏｒ（．．）は最も近い整数に切り捨てることを示し、Ｎはフレームの総数であって２の整数乗になるように切り捨てる必要があるものである。正の整数ｍは、ハールウェーブレット変換（ＨＷＴ）の「レベル」を表す。各レベルは、最短（ｍ＝１）から最長（ｍ＝ｌｏｇ_２Ｎ）までで、元の時間トレースにおいて異なる長さの蛍光体の点滅、及びＤＣ成分に対応する。これは、単一フレームから画像の長さの半分まで続く輝度の変動（点滅）に一定の背景値（試料とカメラ成分の和）を加えたものに対応する。ｍの適切な値については後述する。単純な４フレームの輝度トレースのＨＷＴの例を以下に示す：

ここで、ハール行列の異なるフィルタレベルは、ｍ＝１（下の２行）、ｍ＝２（第２行）、及び背景（最上行）となる。

次の段階では、変換された輝度トレースへフィルタ（レベルｍ）を適用する。これは、ハール行列の特定のレベルに対応しない列ベクトルの全ての要素をゼロに設定することによって行われる。

フィルタ処理された画素の輝度トレースを取得するためにＨＷＴの逆行列を適用する必要がある。ハール行列の逆行列は、その転置行列（ｔｒａｎｓｐｏｓｅ）と等しいため、簡単に求めることができる。

フィルタ処理された画素の輝度トレースＺ^（ｍ）は次式で与えられる：

下記は、式（４）の変換された輝度トレースに対してフィルタレベルｍ＝１を適用した後の上記の逆変換の例である。

フィルタ処理された輝度トレースには、大きさが等しく符号が反対の奇数／偶数フレームのペアが含まれることに留意すべきである。これは単一ハール周波数成分を使用することによる避けられない結果であるが、符号の空間的相関は物理的に意味がある。ＰＳＦと同じ大きさの正値のクラスタは、奇数フレームから偶数フレームへと発光体の輝度が増加することを示す。反対に、同様の負値の集まりは、発光体輝度が低下することを示す。これは、奇数番号のフレームでは全ての負値をゼロに調整し（ｃｒｏｐｐｉｎｇ）、且つ偶数番号のフレームでは全ての正値をゼロに調整してから－１を乗じることにより、オンとオフの遷移を区別するメカニズムを提供する。フィルタ処理された輝度トレースに対するこの調整手順は、次の条件式で表される：

ここで、Ｚ’^（ｍ）（ｔ）は、調整された画素の輝度トレースである。

この変換フィルタ逆変換処理は、画像系列内の全ての画素に対して繰り返され、フィルタ処理されていないトレースＸ_ｘｙの集合からフィルタ処理された輝度トレースＺ_ｘｙ ^（ｍ）の集合を生成する。これらが再び組み合わされ、フィルタ処理された画像系列Ｉ_ｎ ^（ｍ）が形成される。

最初のフィルタリングのレベルであるｍ＝１の場合、ＨＷＴは輝度値を２つの隣接フレームの中の１つとのみ比較する。これは、全てのウェーブレット関数について１フレームだけシフトする(ハール行列の列を回転する)処理を繰り返すことにより、より簡単に修正できる。同様に、画像系列を１フレームだけ周期的に回転させることも有効である。これは偶数フレームを奇数フレームと比較することになる（２と３、４と５．．．）。この新しい画素の輝度トレースは以下のように与えられる：

次に、この新しい画素の輝度トレースの集合Ｘ’（ｔ）に対して、処理が繰り返される。結果である画像系列はその前の画像系列に追加され、フレーム数は元のデータの２倍になる。

最終的な出力の画像系列は、所望のフィルタレベルｍの各々に対して全処理を繰り返し、その結果の画像系列を合わせて追加することで取得され、元の画像系列よりはるかに長い画像系列が生成される。フィルタレベルｍ＞１を実行すると、式７の出力は２^{（ｍ－１）}個の重複フレームを生成する。したがって、式９へ進む前に、Ｚ^（ｍ）のうち２^{（ｍ－１）}番目を除く全ての要素を削除でき、その結果、輝度トレースは短くなり、式１１から得られる画像系列は短くなる。しかし、出力の重複が生じる前に元の画像系列を２^{（ｍ－１）}回並べ替える（ｐｅｒｍｕｔｅ）ことができるので、各フィルタレベルは依然として合計で２Ｎ個のフレームを出力する。

適用するフィルタレベルの適切な数は、蛍光体の点滅特性に依存することになる。本質的に、その一つは、発光体の「オン」時間の大部分をカバーする時間スケールの範囲を選択する試みである。したがって、この手順を、３番目、４番目又はそれ以上のレベルに対して続けることができるが（４，８，１６．．．フレーム比較に対応する）、蛍光体の点滅特性が悪い場合やバッファ条件が最適からほど遠い場合を除いて、５番目のレベルを過ぎると十分に長く「オン」である発光体の数は少なくなる。しかし、より多くのフィルタレベルを選択することは、画像系列の大きさの増加及び関連する分析時間の増加以外に短所がほとんどない。実際には、元のフレームの総数Ｎが１０^４個以上である場合、ＨＷＴ計算における計算負荷は非常に重くなる可能性がある。したがって、画像系列はより小さな部分（例えば、２５６フレーム）に分割され得る。各部分は個別に処理され、その結果は単一画像系列に追加される。これは、Ｎが２の累乗でない場合に多過ぎるフレームが破棄されてしまうことも防げる。

必要な数のフィルタレベルが適用されると、単発光体若しくは複発光体フィッティングアルゴリズムを用いた通常の方法により、又はＳＯＦＩ若しくはＳＲＲＦ等の非線形画像処理手法により、出力画像系列を分析できる。フィッティングを実行する際の唯一の差異は、背景が削除されているため、カメラの基準レベルをゼロに設定する必要があることである。さらに、フィルタリング、特に最初（ｍ＝１）のフィルタレベルは、画素輝度トレースへのノイズ（ショットノイズ、読出しノイズ等）の相対的な寄与を増加させる。これは、特に元の系列における発光体の輝度が低い場合に、処理される画像において比較的高輝度の単一画素を生成する可能性がある（３１６参照）。局在化アルゴリズムは、非常に狭い場合（単一実体の場合）又は非常に広い場合（拡散したクラスタの場合）の発光体ＰＳＦとして、これらをフィッティングしようとするかもしれない。アルゴリズムがそれをサポートしていれば、非物理的と言えるほどに広い又は狭いＰＳＦを用いて行う局在化を、未処理データを用いて行うよりも大幅に省略することによって、再構成の画質を改善することができるが、それでもなお、未処理データの場合よりも多くの数の局在化が残る（注：代替として、アルゴリズムの出力段階にフィルタを導入して、これらの局所的に明るい画素を削除することもできる）。これは、偽ノイズによって引き起こされる局在化が、一般には、「実際の」発光体信号よりも低い輝度によるものだからである（信号対ノイズが非常に低い場合を除く）。低輝度における局在化をフィルタリングすることも（程度は低いが）効果的であり、３Ｄ局在化顕微鏡法の非点収差レンズ法とも両立できる。

カーネル畳み込み（Ｋｅｒｎｅｌ ｃｏｎｖｏｌｕｔｉｏｎ）の例：
ハールフィルタは、１次元の画像カーネルとして同様に表現できる。最初の３つのハールカーネルの大きさは、それぞれ、２、４、８であり、次のように与えられる：

先に述べたように、各画素を個別に輝度時系列として扱う。したがって、画像スタック（ｌ（ｘ，ｙ，ｔ））が与えられると、ある画素位置ｘ，ｙに対して、時系列はＸ（ｔ）＝ｌ（ｘ，ｙ，ｔ）となる。次に、Ｘとカーネルとの畳み込みを計算する：

等、ここで＊は離散的畳み込みの演算子である。Ｘをパディングしないので、結果であるＺはＸよりも短くなる。画素ｘ，ｙに対して、様々なＺを連結することによって最終的な時系列を作成する：

ここで、ｎ_ｉはＺ_ｉにおける要素の数である。蛍光体がオフに切り替わると、Ｚに負値が生じる。最後のステップでは、正値と負値をＺ’に分離する。

代替として、絶対値を使うこともできる：

最終的な時間系列Ｚ’のそれぞれを画像スタックに再構成し、ＴｈｕｎｄｅｒＳＴＯＲＭ等のサードパーティアルゴリズムで各フレームを個別に分析する。

このアルゴリズムの実施は、計算が非常に高速であり、その後の局在化分析よりもはるかに短い時間しかかからない。単発光体のガウシアンフィッティングと組み合わせると、精度が向上するだけでなく、計算が最も高速な高密度方法の１つになる。

（ＴｈｕｎｄｅｒＳＴＯＲＭの参考文献）「ＴｈｕｎｄｅｒＳＴＯＲＭ：Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ＩｍａｇｅＪ ｐｌｕｇ－ｉｎ ｆｏｒ ＰＡＬＭ ａｎｄ ＳＴＯＲＭ ｄａｔａ ａｎａｌｙｓｉｓ ａｎｄ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｉｎｇ． Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ」，Ｏｖｅｎｓｙ，Ｍ．，Ｋｒｉｚｅｋ，Ｐ．，Ｂｏｒｋｏｖｅｃ，Ｊ．，Ｓｖｉｎｄｒｙｃｈ，Ｚ．及びＨａｇｅｎ，Ｇ．Ｍ．著，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３０巻，ページ２３８９～２３９０、２０１４年

追加、削除、又は置換のいずれかよる様々なさらなる改変を、先に述べた実施に行って、さらなる実施が提供されてもよいが、それらの全ては付帯する特許請求の範囲に含まれることとする。

Claims (15)

1. 顕微鏡によって取り込まれた顕微鏡画像フレームの時間的な系列を受け取るステップであって、前記顕微鏡画像フレームはその中に発光体又は蛍光体を含む画像である、ステップと；
   前記顕微鏡画像フレーム内の同じ画素位置のそれぞれに対する時間的にフィルタ処理された複数の画素値のそれぞれの集合を取得するために、異なる時間的特性を有する複数の時間的フィルタを用いて、前記顕微鏡画像フレームの前記系列における前記同じ画素位置のそれぞれに対する画素値の集合のそれぞれを時間的にフィルタ処理するステップと；
   前記時間的にフィルタ処理された画素値の前記集合のそれぞれを局在化アルゴリズムへの入力として提供することによりそれに依存して発光体又は蛍光体の局在化を可能とするステップと；を備える、
   局在化顕微鏡法のための方法。
2. 前記時間的にフィルタ処理するステップは、
   前記顕微鏡画像フレーム内の画素位置に対して、前記顕微鏡画像フレーム内の前記同じ画素位置での画素値に対応する画素輝度の時間トレースを形成するステップと；
   第１の時間的フィルタを前記画素輝度の時間トレース内の前記画素値に適用して第１のフィルタ処理された画素輝度の時間トレースを取得するステップと；
   少なくとも前記第１の時間的フィルタとは異なる第２の時間的フィルタを、前記画素輝度の時間トレース内の前記画素値に適用して第２のフィルタ処理された画素輝度の時間トレースを取得するステップと；
   前記第１のフィルタ処理された画素輝度の時間トレースと前記第２のフィルタ処理された画素輝度の時間トレースとを組み合わせて、前記局在化アルゴリズムへの入力のためのフィルタ処理された単一の出力画素輝度の時間トレースとするステップと；を備える、
   請求項１に記載の方法。
3. 少なくとも前記第１の時間的フィルタ及び前記第２の時間的フィルタとは異なる第３の時間的フィルタを前記画素輝度の時間トレース内の前記画素値に適用して、第３のフィルタ処理された画素輝度の時間トレースを取得するステップと；
   前記第１のフィルタ処理された画素輝度の時間トレースと、前記第２のフィルタ処理された画素輝度の時間トレースと、前記第３のフィルタ処理された画素輝度の時間トレースとを組み合わせて、前記局在化アルゴリズムへの入力のためのフィルタ処理された単一の出力画素輝度の時間トレースとするステップと；を更に備える、
   請求項２に記載の方法。
4. 組み合わされた出力画素輝度の時間トレースを形成するために、前記第１、前記第２、及び前記第３のフィルタ処理された画素輝度の時間トレースが連結される、
   請求項３に記載の方法。
5. 前記時間的フィルタは、
   ｉ）ハールウェーブレットカーネル；
   ｉｉ）バターワース；又は
   ｉｉｉ）チェビシェフ；を備えるグループから選択される、
   請求項１乃至請求項４のいずれか１項に記載の方法。
6. 前記時間的特性は、画素のフィルタ処理された値が現在検出されている現フレームの周辺の連続フレームの数に関係し、前記フィルタ処理された値の計算に寄与する、
   請求項１乃至請求項５のいずれか１項に記載の方法。
7. 前記顕微鏡を単独で用いた場合の解像度よりも高い解像度で前記画像内の発光体又は蛍光体の前記画素位置を識別するために、時間的にフィルタ処理された画素値の前記集合のそれぞれに対して前記局在化アルゴリズムを適用するステップを更に備える、
   請求項１乃至請求項６のいずれか１項に記載の方法。
8. コンピュータ読取可能な顕微鏡画像フレームを生成するように構成された顕微鏡法のシステムと；
   プロセッサと；
   前記プロセッサによって実行されると、前記プロセッサに所定の動作を実行させるコンピュータ読取可能な命令を格納するコンピュータ読取可能な記憶媒体であって、前記所定の動作は、
   ｉ）前記顕微鏡法のシステムによって取り込まれた顕微鏡画像フレームの時間的な系列を受け取る動作であって、前記顕微鏡画像フレームはその中に発光体又は蛍光体を含む画像である、動作と；
   ｉｉ）前記顕微鏡画像フレーム内の同じ画素位置のそれぞれに対する時間的にフィルタ処理された複数の画素値のそれぞれの集合を取得するために、異なる時間的特性を有する複数の時間的フィルタを用いて、前記顕微鏡画像フレームの前記系列における前記同じ画素位置のそれぞれに対する画素値の集合のそれぞれに対して時間的にフィルタ処理する動作と；
   ｉｉｉ）時間的にフィルタ処理された画素値の前記集合のそれぞれを局在化アルゴリズムへの入力として提供することによりそれに依存して発光体又は蛍光体の局在化を可能とする動作と；を備える、前記コンピュータ読取可能な記憶媒体と；を備える、
   局在化顕微鏡法のシステム。
9. 前記時間的にフィルタ処理する動作は、
   前記顕微鏡画像フレーム内の画素位置に対して、前記顕微鏡画像フレーム内の前記同じ画素位置での画素値に対応する画素輝度の時間トレースを形成する動作と；
   第１の時間的フィルタを前記画素輝度の時間トレース内の前記画素値に適用して、第１のフィルタ処理された画素輝度の時間トレースを取得する動作と；
   少なくとも前記第１の時間的フィルタとは異なる第２の時間的フィルタを前記画素輝度の時間トレース内の前記画素値に適用して、第２のフィルタ処理された画素輝度の時間トレースを取得する動作と；
   前記第１のフィルタ処理された画素輝度の時間トレースと前記第２のフィルタ処理された画素輝度の時間トレースとを組み合わせて、前記局在化アルゴリズムへの入力のためのフィルタ処理された単一の出力画素輝度の時間トレースとする動作と；を備える、
   請求項８に記載のシステム。
10. 前記所定の動作は、少なくとも前記第１の時間的フィルタ及び前記第２の時間的フィルタとは異なる第３の時間的フィルタを前記画素輝度の時間トレース内の前記画素値に適用して、第３のフィルタ処理された画素輝度の時間トレースを取得する動作と；
    前記第１のフィルタ処理された画素輝度の時間トレースと、前記第２のフィルタ処理された画素輝度の時間トレースと、前記第３のフィルタ処理された画素輝度の時間トレースとを組み合わせて、前記局在化アルゴリズムへの入力のためのフィルタ処理された単一の出力画素輝度の時間トレースとする動作と；を更に備える、
    請求項９に記載のシステム。
11. 組み合わされた出力画素輝度の時間トレースを形成するために、前記第１、前記第２及び前記第３のフィルタ処理された画素輝度の時間トレースが連結される、
    請求項１０に記載のシステム。
12. 前記時間的フィルタは、
    ｉ）ハールウェーブレットカーネル；
    ｉｉ）バターワース；又は、
    ｉｉｉ）チェビシェフ；を備えるグループから選択される、
    請求項８乃至請求項１１のいずれか１項に記載のシステム。
13. 前記時間的特性は、画素のフィルタ処理された値が現在検出されている現フレームの周辺の連続フレームの数に関係し、前記フィルタ処理された値の計算に寄与する、
    請求項８乃至請求項１２のいずれか１項に記載のシステム。
14. 前記所定の動作は、顕微鏡を単独で用いた場合の解像度よりも高い解像度で前記画像内の発光体又は蛍光体の前記画素位置を識別するために、時間的にフィルタ処理された画素値の前記集合のそれぞれに対して前記局在化アルゴリズムを適用する動作を更に備える、
    請求項８乃至請求項１２のいずれか１項に記載のシステム。
15. コンピュータによって実行されると、前記コンピュータに請求項１乃至請求項７のいずれか１項に記載の方法を実行させるコンピュータ読取可能な命令を備える、
    コンピュータプログラム。
    
    

Images