JP6066925B2 - 顕微鏡計器内におけるカメラによる画像処理のためのシステムおよび方法 - Google Patents

Description

関連出願の相互参照
本出願は、２０１１年１月１２日に出願した仮出願第６１／４３２０１５号の利益を主張するものである。

本開示は蛍光顕微鏡法に関し、詳細には蛍光顕微鏡法を実施するために使用されるシステムおよび方法に関する。

近年、回折限界を超える光学顕微鏡法の解像度を高くするための多くの技法が開発されている。これらの技法のいくつかは、視野に存在している分子のサブセットの蛍光を確率的に活性化させるステップ、活性化される分子の画像をディジタルカメラを使用して取得するステップ、コンピュータに画像を転送するステップ、および次に可逆的または不可逆的に分子の蛍光を非活性化するステップが必要である。このプロセスは、存在している分子のほとんどすべてのプールが適切にサンプルされるまで多数のサイクルにわたって繰り返され、このサイクルは４０，０００サイクル以上に及ぶことがある。次に、この多数の画像の個々の画像が、単一のガウス分布を蛍光体画像セントロイドすなわちスポットに当てはめるか、またはガウスをこれらに重畳させるかのいずれかによって解析される。次に、分子毎の当てはめの位置および確率が、個々の画像を連続的にコンピュータのメモリに記憶し、ガウスの当てはめの相互相関を実施し、次に分子毎の当てはめの位置および信頼度を記憶することによって決定される。画像の収集は比較的速やかに達成することができるが、これらの技法には、比較的少数の画素位置を獲得するために大量の画像データの取得および処理が必要であるため、このような多数の画像の取扱いおよび処理は比較的速度が遅い。例えば４０，０００サイクルを使用して４０，０００個の個々の画像が取得され、これは、単一の２５６キロバイトの最終画像を生成するために２０ギガバイトのデータを処理することになる。これらの理由により、技術者、科学者および顕微鏡製造者は、これらの画像を取り扱い、処理するためのより少ない計算要求システムおよび方法の探求を続けている。

画像処理のほとんどが蛍光顕微鏡計器のカメラの中で実施される、標本の超解像顕微鏡法を実行するための様々なシステムおよび方法が説明される。一態様では、カメラは、標本の最終超解像画像を生成するために、多重チャネル光源から出力される励起光を制御し、標本の中間画像の取得を制御し、中間画像の画像処理を実施する機械可読命令を実行するための１つまたは複数のプロセッサを含む。

超解像顕微鏡法を実施するための蛍光顕微鏡計器の一例を示す略図である。 カメラの実施態様の例を示す略図である。 カメラの実施態様の他の例を示す略図である。 カメラの実施態様の他の例を示す略図である。 物体平面内の点光源から出力され、広がって、対応する像平面にスポットを生成する光を受け取る光学システムを示す図である。 像平面の一次元のエアリーの円盤の一例を示す図である。 光学システムと結合した回折限界を示す図である。 像平面に画像を生成するための、物体中の点光源のまばらな確率的分布の処理を示す図である。 最終超解像画像を得るための超解像蛍光顕微鏡法の一例を示す図である。 蛍光顕微鏡のカメラおよびコンピュータによって実行される超解像方法の一例の制御流れ図である。 蛍光顕微鏡のカメラおよびコンピュータによって実行される超解像方法の一例の制御流れ図である。 顕微鏡計器のカメラおよびコンピュータによって実行される超解像方法の一例の制御流れ図である。

蛍光顕微鏡計器のカメラの中で標本の超解像顕微鏡法を実行するためのシステムおよび方法によれば、典型的には計器コンピュータに転送されるデータの量が著しく低減され、延いてはコンピュータによって使用されるデータ記憶装置の量が低減され、また、カメラとコンピュータの間の高速インタフェースの必要性が除去される。さらに、ほとんどの画像処理をカメラの中で実施し、カメラからコンピュータへの多数のデータ転送を回避することにより、蛍光顕微鏡計器の総合的な性能が改善される。

図１は、超解像顕微鏡法を実施するために使用される蛍光顕微鏡計器１００の一例を略図で示したものである。計器１００は、光源１０２、励起フィルタ１０４、二色性ミラー１０６、対物レンズ１０８、放出フィルタ１１０、カメラ１１２およびコンピュータ１１４を含む。光源１０２は、いくつかの個別のレーザを使用して構成することができ、個々のレーザが単一波長の実質的に単色性の光ビーム、または電磁スペクトルの波長の狭帯域内の光を放出する。個々のレーザによって放出される光は、一般に「チャネル」と呼ばれている。例えば、図１に示されているように、光源１０２は、別様にパターン化された線１１６および１１８で示されている励起光の２つの異なるビームを放出する。これらのビーム１１６および１１８は、個々のビームの波長範囲を狭くする励起フィルタ１０４を透過する。二色性ミラー１０６は、ビーム１１６および１１８を対物レンズ１０８に向けて反射し、対物レンズ１０８は、これらのビームをステージ１２０の上に配置されている標本（図示せず）に向けて導く。標本は、いくつかの異なるコンポーネントから構成することができ、それらの多くには蛍光プローブのラベルが振られる。ビーム１１６は、蛍光体を活性状態に変える周波数を有する活性化ビームであってもよく、また、ビーム１１８は、蛍光体を活性状態にして蛍光を発生させる異なる周波数を有する励起ビームであってもよい。蛍光体から放出される蛍光の一部は、対物レンズ１０８によって集められ、ビーム１３２に平行化される。二色性ミラー１０６はビーム１３２の透過を許容し、また、放出フィルタ１１０は、ビーム１３２から漂遊励起光を除去する。蛍光はカメラ１１２によって捉えられ、標本の単一画像が生成される。図１に示されているように、カメラ１１２は、光源１０２およびコンピュータ１１４に電子接続されている。カメラ１１２は、以下で説明するように、光源１０２の動作を制御し、取得された標本の画像を処理するように構成されている。詳細には、カメラ１１２は、以下で説明する超解像蛍光顕微鏡法を実行するために光源１０２の動作を制御する。図１には、同じく、コンピュータ１１４に電子接続されたカメラ１１２が示されている。特定の実施形態では、カメラ１１２は、以下でより詳細に説明するように、標本のすべての画像を取得し、これらの画像を処理して、記憶および／または表示のためにコンピュータ１１４に送られる最終超解像画像にするように指示することによって超解像蛍光顕微鏡法を実行する。別法としては、カメラ１１２およびコンピュータ１１４は、同じく以下でより詳細に説明するように、画像の処理を分割することも可能である。

標本のコンポーネントにラベルを振るために使用される蛍光体は、典型的にはいくつかの異なる電子状態を有しており、図１にはその一例が電子帯線図１２２によって示されている。蛍光体が標本に導入されると、標本のコンポーネントに結合するプローブに蛍光体が付着される。蛍光体は、最初は、電子エネルギーの基底状態１２４であってもよい、蛍光を発しない暗い状態にある。超解像顕微鏡法では、標本の中間画像がカメラ１１２によって取得される。カメラ１１２は、比較的少数の蛍光体を電子エネルギーの活性状態１２６に確率的に変えるために、短い時間期間の間、周波数がｖ_ａで、強度が極めて小さい活性化ビーム１１６を放出するよう光源１０２に指示する。次に、カメラ１１２は、ビーム１１６をターン「オフ」し、既に活性状態にある蛍光体のサブセットのみを蛍光を発する電子エネルギーの状態１２８に変える、周波数がｖ_ｅのビーム１１８を放出するよう光源１０２に指示する。図１の例では、蛍光を発する状態にある蛍光体は、より低いエネルギー１３０の中間状態へ移行し、引き続いて熱緩和によって活性状態へ戻る際に、周波数がＶ_ｆの蛍光励起光を放出する。特定の実施形態では、カメラ１１２が蛍光を発している蛍光体の画像の取得を終了すると、カメラ１１２は、活性化した蛍光体が方向矢印１３４によって示されている１００サイクル、１０００サイクルまたはそれ以上の励起／放出サイクルに遭遇するだけの十分な時間期間の間、ビーム１１８の放出を継続するよう光源１０２に指示する。励起ビーム１１８によって継続して照明されている蛍光体は、最終的には、エネルギーレベル１３６によって示されているブリーチ状態すなわち非活性状態へ移行する。別法としては、光源１０２は、蛍光体を活性状態から非活性状態に変える第３の光ビーム（図示せず）を放出することも可能である。活性状態から非活性状態への蛍光体の変化は、ビーム１１６および１１８のいずれかによって照明されると、完了するか、あるいは活性状態すなわち蛍光を発する状態へ移行することができない分子に蛍光体を部分的に再構成することができる。

カメラ１１２は、最終超解像画像を生成するために光を捉え、中間画像を記憶し、中間画像を処理するように動作する計算デバイスであってもよい。図２Ａ〜２Ｃは、カメラ１１２の実施態様の例を略図で示したものである。図２Ａの例では、カメラ１１２は、１つまたは複数のプロセッサ２０２、メモリ２０４、検出器２０６、ビデオインタフェースまたはカメラインタフェース２０８、および１つまたは複数のコンピュータ可読媒体２１０を含む。これらのコンポーネントの各々は、１つまたは複数のバス２１２に作動的に結合されている。プロセッサ２０２は、内部メモリを備えた単一の多重コアプロセッサであってもよい。メモリ２０４は、ＤＲＡＭまたはＳＲＡＭあるいは任意の他の適切なメモリなどのメインメモリであってもよい。検出器２０６は、アレイすなわちＣＭＯＳ検出器のアレイまたはＣＣＤ検出器のアレイを含んだ複数の光検出器であってもよい。インタフェース２０８は、ローカル・エリア・ネットワーク（「ＬＡＮ」）、無線ＬＡＮ、４Ｇ移動広域ネットワーク（「ＷＡＮ」）またはＷｉＭａｘ ＷＡＮであってもよい。コンピュータ可読媒体２１０は、機械可読命令の記憶に関与し、また、実行のためのプロセッサ２０２への提供に関与する任意の適切な非一時的媒体であってもよい。例えばコンピュータ可読媒体２１０は、磁気ディスク、フラッシュメモリ、光ディスクまたは磁気ディスクドライブであってもよい。また、コンピュータ可読媒体２１０は、以下で説明する超解像蛍光顕微鏡法画像処理を実施するための機械可読命令２１４を記憶することも可能である。また、コンピュータ可読媒体２１０は、オペレーティングシステム２１６およびネットワーク機械可読命令２１８を記憶することも可能である。オペレーティングシステム２１６は、マルチユーザ、多重処理、多重タスキング、マルチスレッディングおよび実時間であってもよく、また、入力デバイスからの入力の認識、キーボード、キーパッドまたはマウスからの入力の認識、コンピュータ１１４への出力の送信、媒体２１０上のファイルおよびディレクトリのトラックの維持、ディスクドライブ、モニタおよびプリンタなどの周辺デバイスの制御、および１つまたは複数のバス２１２上の通信量の管理などのタスクを実施することができる。ネットワークアプリケーション２１８は、ＴＣＰ／ＩＰ、ＨＴＴＰ、イーサネット（登録商標）、ＵＳＢおよびＦｉｒｅＷｉｒｅを始めとする通信プロトコルを実施するための機械可読命令などの、ネットワーク接続を確立し、維持するための様々なコンポーネントを含む。別法としては、図２Ｂは、バス２１２に結合された、中間画像を処理して以下で説明する最終超解像画像を生成するためのディジタル信号プロセッサ（「ＤＳＰ」）２２０を含んだカメラ１１２の一例を示したものである。ＤＳＰ２２０は、複数のプロセッサ、多重ポート局部メモリおよび入力／出力制御を有することができる。ＤＳＰ２２０は、メモリ２０４およびＩ／Ｏコントローラへ、また、メモリ２０４およびＩ／Ｏコントローラからデータを転送することができ、それと同時に局部メモリからのデータを処理することができる。機械可読命令をＤＳＰ２２０アーキテクチャ中にマップするために、メモリ２０４内のデータのブロックが、ＤＳＰ２２０プロセッサ内での処理のためにより小さいサブセットに分解される。別法としては、図２Ｃは、バス２１２に結合された、中間画像を処理して以下で説明する最終超解像画像を生成するためのグラフィック処理装置（「ＧＰＵ」）２２２を含んだカメラ１１２の一例を示したものである。ＧＰＵ２２２は、メモリを速やかに操作し、速やかに変更して画像の処理を加速するように設計された特殊な計算デバイスである。別法としては、カメラ１１２は、バス２１２に結合された、中間画像を処理して以下で説明する最終超解像画像を生成するように個別化される特定用途向け集積回路（「ＡＳＩＣ」）を含むことも可能である。

カメラ１１２は、単独で、あるいはコンピュータ１１４と相俟って、蛍光体ラベルが振られた標本を回折限界解像度よりはるかに小さい解像度で画像化することができるように開発された任意の様々な超解像蛍光顕微鏡技法を実行することができる。これらの技法は、典型的には、放出している蛍光体が互いに約２００ｎｍより広い間隔を隔てていることを条件として、標本の蛍光体ラベルが振られたコンポーネントの異なるサブセットから放出される蛍光の一連の中間画像を経時的に収集することに基づいている。言い換えると、標本中の放出している蛍光体の位置を従来の光学顕微鏡法によって解像することができることを条件として、特定の事例では、１０ｎｍ未満の解像度で標本中の蛍光体の位置を決定することができる。しかしながら、蛍光放出信号を解釈することができるのは、放出している蛍光体がサンプル内にまばらに配置されている場合のみであるため、蛍光体ラベルが振られた標本の最終超解像画像を構築するために多数の中間画像が、まばらな、確率的に分布している、活性化された蛍光体の異なるサブセットから生成される。カメラ１１２によって取得される個々の中間画像は、まばらに配置された蛍光体のサブセットの回折限界画像である。カメラ１１２および顕微鏡の光学システムを透過する光は、直線伝搬から逸脱し、検出器２０６部分に位置している、カメラ１１２の像平面で若干広がることになる。光学システムは、標本の物体平面からの光をカメラ１１２の像平面に導いて集束させるカメラレンズおよび顕微鏡の他の光学コンポーネントであってもよい。円形の開口を備えた光学システムが、物体平面内の点光源、例えば蛍光を放出している蛍光体から出力される平面波を受け取ると、対応する、明るく、鮮明に画定された画像点が像平面に存在する代わりに、光は、実際には、エアリーの円盤と呼ばれる、交番する明るい環と暗い環から構成される円形のスポットに広がる。図３は、標本の物体平面３０６の点光源（ｘ、ｙ）３０４から出力される光を受け取る顕微鏡の光学システム３０２の一例を示したものである。例えば点光源３０４は蛍光を発している蛍光体であってもよい。光学システム３０２は、光を広げて、カメラの対応する像平面３１０にスポット３０８を生成する。点光源３０４から出力される光は、光学システム３０２によって、点（ｘ’、ｙ’）３１２を中心とするスポット３０８に変換される強度Ｉ／（ｘ、ｙ）を有しており、対応する強度分布が対称エアリーの円盤３１４によってスポット３０８の上に示されている。

図４は、像平面内の一次元のエアリーの円盤の一例を示したものである。水平軸４０２は、図３に示されている点３１２などの像平面内の点（ｘ’、ｙ’）を通っている像平面内の線であり、また、垂直軸４０３は強度を表している。エアリーの円盤は、高く、比較的狭い中央ピーク４０４を有しており、徐々に低くなる高さ４０５〜４１４の二次ピークは、中央ピークから外側に向かって延在している。曲線の高さは強度に対応している。エアリーの円盤の表面の任意の点は、像平面上の対応する位置で観察した強度に対応している。言い換えると、光学システムによって生成される、物体平面内の点光源の画像は、エアリーの円盤の中央ピーク４０４に対応する中央の明るい円盤として出現し、半径が徐々に大きくなる光の同心の環は、中央のピークを取り囲んでいる環またはリッジに対応している。

エアリーの円盤の半径は、隣接するエアリーの円盤の重畳を決定し、したがって画像の回折限界を決定する。図５は、光学システムと結合した回折限界を示したものである。物体平面内の距離ｓ_１５０６だけ分離された２つの点（ｘ_１、ｙ_１）５０２および（ｘ_２、ｙ_２）５０４を考察する。光学システムから出力されるこれらの２つの点の画像は、画像点（ｘ’_１、ｙ’_１）および（ｘ’_２、ｙ’_２）を中心とする２つのエアリーの円盤５０８および５１０として出現する。点光源５０２および５０４からの光の、像平面内の円盤５０８および５１０によって表されている強度分布を有するスポットへの広がりは、回折に関連する現象である。ｓ_１が十分に大きく、したがって像平面内の円盤５０８の中心と円盤５１０の中心の間の対応する距離ｓ’_１５１２がエアリーの円盤を分離し、したがって図５に曲線５１４によって示されている２つのエアリーの円盤の和が明確に双峰を維持している場合、像平面内の点５０２および５０４の画像は互いに区別することができる。しかしながら、物体平面内の２つの点５１６および５１８が十分に短い距離ｓ_２５２０だけ分離され、したがって像平面内のこれらの２つの点の対応する画像５２２および５２４が重畳し、したがって曲線５２６によって示されている２つのエアリーの円盤の輪が単一のピークに合体している場合、これらの２つの点５１６および５１８を像平面内で互いに区別することはできない。従来の光学顕微鏡法の最小間隔すなわち最大解像度は、概ね、

と見なされ、上式で、
θは、光学システム入射し、あるいは光学システムから射出することができる光の最大円錐の半角であり、
λは光の波長であり、
ηは、光学システムが動作している媒体の屈折率であり、
ＮＡは、顕微鏡対物レンズの開口数である。

入力画像中の最小間隔すなわち最大解像度は、左側の円盤の第１の右側の零点と一致する右側の円盤の第１の左側の零点におけるエアリーの円盤間の間隔に対応する。結像させることができる、蛍光を発している任意の２つの隣接する蛍光体の最小分離すなわち最大解像度は、光学顕微鏡システムの約２００ｎｍに対応する。像平面内における点光源のエアリーの円盤画像は回折の結果として生じるため、最小間隔すなわち最大解像度は「回折限界」と呼ばれている。

任意の時点で同時に活性化される蛍光体の密度が、活性化された蛍光体の任意の対が少なくとも２００ｎｍだけ分離される密度になることを保証するために、カメラ１１２は、エネルギーが

の極めて少数の光子が物体平面に到達するよう、強度が極めて小さい活性化ビーム１１６を放出するように光源１０２を動作させる。実際に物体平面に到達する少数の光子のみが蛍光体のサブセットを励起し、励起される蛍光体は、任意の２つの光子が間隔が２００ｎｍ未満の２つの蛍光体を活性化させる可能性が極めて小さくなるよう、物体平面全体にわたって確率的に分布される。したがってカメラ１１２によって取得される画像は、重畳していない完全なエアリーの円盤のまばらな分布から構成される。

図６は、蛍光を発している４つの蛍光体６０４のまばらな確率的分布の物体平面６０２、および結果として得られる、蛍光を発しているこれらの４つの蛍光体の超解像画像６０６を生成するために使用されるプロセスの一例を示したものである。物体平面６０２内の蛍光を発している蛍光体のまばらな確率的分布は、上で説明したように強度が極めて小さいビーム１１６で標本を励起することによって生成される。カメラ１１２の光学システム６０８は、蛍光を発する点光源（ｘ、ｙ）４０４などの物体平面６０２内の蛍光を発する個々の点光源から出力される光を受け取り、受け取った光を広げて、対応する像平面６１０内にスポット６１２などの４つの対応するスポットを生成する。像平面６１０内の個々のスポットの強度分布は、蛍光を発している点光源６０４に対応する、スポット６１２におけるエアリーの円盤などのエアリーの円盤によって特性化される。カメラ１１２は、個々のスポットへの二次元ガウス分布の曲線当てはめによって画像を処理する。例えば曲線６１４は、スポット６１２へのガウス分布曲線当てはめを表している。個々のガウス分布の極大と結合した（ｘ’、ｙ’）座標は、個々のスポットのセントロイド座標として取られる。結果として得られる超解像画像６０６は、スポット近似によって得られる個々のセントロイドに強度値を割り当てることによって生成される。例えばセントロイド座標（ｘ’_１、ｙ’_１）は、ガウス分布６１４の極大に対応し、セントロイド座標（ｘ’_１、ｙ’_１）６１６と結合している強度値が、物体平面６０２内の点６０４に位置している、蛍光を発している蛍光体に対応する画素を画像６０６中に形成する。結果として得られる画像６０６は、物体平面６０２内の点光源に対応する、まばらな、確率的に分布した画素の超解像中間画像である。カメラは画像データを記憶することができる。

図７は、標本の最終超解像画像を得るために使用することができる超解像蛍光顕微鏡法の一例を示したものである。標本には、蛍光体の位置が正確に決定されると、これらの位置が相俟って、蛍光顕微鏡使用者にとって重要な構造、コンポーネントまたは小器官の画像を生成することになることを保証するための十分な密度の蛍光体を使用してラベルが振られている。次に、標本が固定され、図６を参照して上で説明したように、中間画像毎に蛍光体の微小サブセットを活性化し、活性化された蛍光体からの蛍光放出を励起することによって標本からいくつかの中間画像が生成される。蛍光体を互いに十分に分離して、上で説明した分離制約を満足するために、蛍光体のサブセットのみが活性化される。蛍光体は、最初は蛍光を発しない暗い状態である。標本は、蛍光体のサブセットを暗い状態から活性状態に変える周波数の光でぼんやりと照明される。蛍光体の微小サブセットの活性化は、その性質が確率的である。活性化は、図５を参照して上で説明したように、蛍光体間の平均間隔が回折限界距離（すなわち２００ｎｍ）よりはるかに長くなり、したがって活性化された２つの蛍光体の間隔が短くなりすぎて、それらのエアリーの円盤画像が、中央ピークを観察することができなくなる範囲まで重畳し、そのために蛍光体位置のセントロイドを正確に計算することができなくなるようなことにはならないことを保証するために、ぼんやりした照明を使用して実施される。次に、活性化された蛍光体が蛍光を発するよう、標本が励起光で照明される。次に、中間画像のためのデータ収集に引き続いて、図１を参照して上で説明したように、活性蛍光体が、それらを再び活性化させることができないよう、また、後続する中間画像のためのデータを収集している間、それらが蛍光を発しないよう、活性蛍光体をブリーチするのに最も有効な特定の波長の明るい光で照明される。図７に示されているように、例えば中間画像１〜８の各々は、まばらに配置された、活性化された蛍光体の異なるセットからデータを収集することによって生成される。言い換えると、中間画像１〜８の各々は、図６を参照して上で説明したように獲得され、処理される。次に、中間画像が１つに合体７０２され、標本中の蛍光体ラベルが振られた構造、小器官、細胞成分または他の特徴７０６を示す最終合成超解像画像７０４が生成される。

図８は、カメラによって実行される超解像顕微鏡方法の一例の制御流れ図８００を示したものである。この方法によれば、中間画像データの収集、最終超解像画像を生成するための画像処理、コンピュータへのデータの送信およびコンピュータからのデータの受信、および光源の操作がカメラによって実施される。ブロック８０１で、この方法は、コンピュータに指示して、最終超解像画像のための解像品質を供給するよう蛍光顕微鏡オペレータを促し、あるいはこの方法は、コンピュータに指示して、最終超解像画像を生成するために取得すべき中間画像の総数を表す閾値パラメータＮ_ｔｈを供給するようオペレータを促す。コンピュータは、カメラを起動して解像品質または閾値パラメータＮ_ｔｈをカメラに送る。次に、カメラは、ブロック８０２〜８１０を参照してこれから説明する操作を実行する。ブロック８０２で中間画像インデックスＮがゼロに初期化される。ブロック８０３〜８０９のホワイルループでは、図６〜７を参照して上で説明したようにいくつかの中間画像が生成される。ステップ８０４〜８０９のホワイルループの個々の繰返しでは、ブロック８０４で蛍光体の次のセットが活性化され、活性化される蛍光体の密度は、図６〜７を参照して上で説明した最大解像可能密度以下である。ブロック８０５で、活性化された蛍光体からの蛍光放出が励起され、また、次のデータセットが経時的に収集される。ブロック８０６で、図６を参照して上で説明したように、データを解析して点光源画像のセントロイドを見出すことにより、収集されたデータから中間画像が生成される。ブロック８０７で、図７を参照して上で説明したように、超解像画像を生成するために、中間画像が既に蓄積されている、あるいは記録されている中間画像と合体されるか、あるいは画像インデックスがインクリメントされる。ブロック８０８で、適切な解像度の最終画像を生成するだけの十分なデータが蓄積されるか、あるいは生成された中間画像の数が閾値Ｎ^ｔｈより多くなると、方法はブロック８１０へ進行し、あるいはさもなければ方法はブロック８０９へ進行し、ブロック８０４〜８０８が繰り返される。ブロック８０９で、活性化された蛍光体が、活性化された蛍光体をブリーチするために適切な波長の光によって明るく照明され、後続する中間画像からそのセットの蛍光体が除去される。ブロック８１０で、図７を参照して上で説明したように最終超解像画像が生成され、最終画像をコンピュータに転送することによって超解像画像化プロセスが終了する。ブロック８１１でコンピュータが最終画像を記憶する。

図９は、顕微鏡計器のカメラおよびコンピュータによって実行される超解像顕微鏡方法の一例の制御流れ図９００を示したものである。この方法によれば、タスクの実行がカメラとコンピュータの間で分割される。詳細には、中間画像収集および光源の動作に対する制御はカメラによって実施され、一方、最終超解像画像はコンピュータによって選択される。ブロック９０１で、この方法は、コンピュータに指示して、最終超解像画像のための解像品質を供給するよう蛍光顕微鏡オペレータを促し、あるいはこの方法は、コンピュータに指示して、最終超解像画像を生成するために取得すべき中間画像の総数を表す閾値パラメータＮ_ｔｈを供給するようオペレータを促す。ブロック９０２で中間画像インデックスＮがゼロに初期化される。ブロック９０３〜９０９のホワイルループでは、方法の実行がカメラに切り換わり、図６〜７を参照して上で説明したようにいくつかの中間画像がカメラによって生成され、また、画像と結合したデータがカメラによってメモリに蓄積されるか、あるいは記録される。ステップ９０４〜９０８のホワイルループの個々の繰返しでは、ブロック９０４で蛍光体の次のセットが活性化され、活性化される蛍光体の密度は、図６〜７を参照して上で説明した最大解像可能密度以下である。ブロック９０５で、活性化された蛍光体からの蛍光放出が励起され、また、次のデータセットが経時的に収集される。ブロック９０６で、図６を参照して上で説明したように、データを解析して点光源画像のセントロイドを見出すことにより、収集されたデータから中間画像が生成される。ブロック９０７で、図７を参照して上で説明したように、超解像画像を生成するために、既に蓄積されている中間画像を使用して中間画像が合体される。ブロック９０８で超解像画像がカメラからコンピュータに送られる。ブロック９０９でコンピュータがインデックスＮをインクリメントする。ブロック９１０で、適切な解像度の最終画像を生成するだけの十分なデータが蓄積されるか、あるいは生成された中間画像の数が閾値Ｎ^ｔｈより多くなると、方法はブロック９１１へ進行し、あるいはさもなければ方法はブロック９１２へ進行し、ブロック９１２で、活性化された蛍光体が、活性化された蛍光体をブリーチするために適切な波長の光によって明るく照明され、後続する中間画像からそのセットの蛍光体が除去され、ブロック９０４〜９０８が繰り返される。ブロック９１１で、図７を参照して上で説明したように、最終超解像画像を生成するために、蓄積された中間画像データがさらに処理される。ブロック９１１でコンピュータが最終画像を記憶し、超解像画像化プロセスが終了する。

代替実施形態では、中間画像の画像取得および生成はカメラによって実施することができ、一方、光源の制御、中間画像データの蓄積、および最終画像を生成するための蓄積された画像データの処理はコンピュータによって実施される。図１０は、顕微鏡計器のカメラおよびコンピュータによって実行される超解像顕微鏡方法の一例の制御流れ図１０００を示したものである。ブロック１００１で、この方法は、コンピュータに指示して、最終超解像画像のための解像品質を供給するよう蛍光顕微鏡オペレータを促し、あるいはこの方法は、コンピュータに指示して、閾値パラメータＮ_ｔｈを供給するようオペレータを促す。ブロック１００２で中間画像インデックスＮがゼロに初期化される。ブロック１００３〜１０１０のホワイルループの個々の繰返しでは、ブロック１００４で蛍光体の次のセットが活性化され、活性化される蛍光体の密度は、図６〜７を参照して上で説明した最大解像可能密度以下である。ブロック１００５で、活性化された蛍光体からの蛍光放出が励起される。ブロック１００６および１００７では、方法の実行がカメラに切り換わる。ブロック１００６で標本の画像が取得され、また、ブロック１００７で、図６を参照して上で説明したように、画像データを解析して点光源画像のセントロイドを見出すことによって中間画像を生成するために画像が処理される。ブロック１００８で、コンピュータが、カメラによって生成された中間画像を記憶し、図７を参照して上で説明したように、超解像画像を生成するために、この中間画像を既に蓄積されている中間画像と合体する。ブロック１００９で画像インデックスがインクリメントされる。ブロック１０１０で、適切な解像度の最終画像を生成するだけの十分なデータが蓄積されるか、あるいは生成された中間画像の数が閾値Ｎ^ｔｈより多くなると、方法はブロック１０１２へ進行し、あるいはさもなければ方法はブロック１０１１へ進行し、ブロック１０１１で、活性化された蛍光体が、活性化された蛍光体をブリーチするために適切な波長の光によって明るく照明され、後続する中間画像からそのセットの蛍光体が除去され、ブロック１００４〜１０１０が繰り返される。ブロック１０１２で、図７を参照して上で説明したように、最終超解像画像を生成するために、蓄積された中間画像データがさらに処理される。ブロック１０１３でコンピュータが最終画像を記憶し、超解像画像化プロセスが終了する。

以上の説明には、説明を目的として、本開示の完全な理解を提供するために特定の名称が使用されている。しかしながら、本明細書において説明されているシステムおよび方法を実践するための特定の詳細は不要であることは当業者には明らかであろう。特定の例についての以上の説明は、実例および説明を目的として提供されたものである。それらには、それらが余す所のないものであること、あるいは本開示を説明されている厳密な形態に限定することは意図されていない。上記の教示の観点から、明らかに多くの修正および変更が可能である。これらの例は、本開示の原理および実際的な用途を最も良好に説明するために示され、記述されており、したがって当業者は、企図されている特定の使用に適した様々な修正を加えて、本開示および様々な例を最も良好に利用することができる。本開示の範囲は、特許請求の範囲およびそれらの均等物によって定義されることが意図されている。

Claims (9)

1. 活性化光ビームおよび励起光ビームを放出するための光源と、
   前記活性化光ビームおよび前記励起光ビームを受け取り、前記活性化光ビームおよび前記励起光ビームを発光体でラベルが振られた標本に導くための対物レンズと、
   前記発光体のサブセット毎に中間画像を取得し、前記標本の最終超解像画像を生成するために、前記中間画像を処理し、処理された中間画像を合体するカメラであって、ガウス分布曲線を前記発光体に対応するスポットに当てはめ、前記スポットのセントロイド座標を特定するように構成されているカメラと、
   を有し、
   前記活性化光ビームは、前記発光体のサブセットを活性状態に変え、前記励起光ビームは、前記発光体のサブセットを、前記活性状態から、蛍光を発する状態に変え、これにより、光が放出され、前記中間画像の生成が行われる、蛍光顕微鏡計器。
2. 前記活性化光ビームおよび前記励起光ビームで前記標本を照明するよう前記光源に繰返し指示するために前記カメラが前記光源と通信し、前記カメラが、前記標本の前記最終超解像画像を生成するために前記発光体のサブセット毎に前記中間画像を経時的に記録する、請求項１に記載の蛍光顕微鏡計器。
3. 前記カメラが、前記標本の前記最終超解像画像を生成するために、前記記録された中間画像を処理する、請求項１または２に記載の蛍光顕微鏡計器。
4. 前記カメラが、個々の中間画像を取得した後に前記発光体のサブセットを光ブリーチするよう前記光源に指示する、請求項１から３のいずれか一項に記載の蛍光顕微鏡計器。
5. 前記活性化光ビームは、前記発光体のサブセットを前記活性状態に確率的に変えるための強度が小さいビームである、請求項１から４のいずれか一項に記載の蛍光顕微鏡計器。
6. 前記発光体は、前記活性化光ビームによって照明されると活性化され、また、前記励起光ビームによって照明されると励起されて蛍光を放出する蛍光体である、請求項１から５のいずれか一項に記載の蛍光顕微鏡計器。
7. 前記活性化光ビームが第１の周波数の活性化光ビームであり、前記励起光ビームが、前記第１の周波数とは異なる第２の周波数の励起光ビームである、請求項１から６のいずれか一項に記載の蛍光顕微鏡計器。
8. 前記カメラが、前記記録された中間画像から前記最終超解像画像を生成するための、ディジタル信号プロセッサ、グラフィック処理装置または特定用途向け集積回路を含む、請求項１から７のいずれか一項に記載の蛍光顕微鏡計器。
9. １つまたは複数のプロセッサとコンピュータ可読媒体とを有するカメラであって、
   前記コンピュータ可読媒体には、前記１つまたは複数のプロセッサに以下の動作を実行させるための機械可読命令が記録されており、
   標本内の発光体のサブセットを活性状態に変えるために前記標本の少なくとも一部を照明するための動作、
   光の放出および中間画像の生成を行うために、前記活性状態の前記発光体のサブセットを、蛍光を発する状態に励起するための動作、
   前記発光体のサブセットの前記中間画像を前記カメラのメモリに記録するための動作、
   前記発光体のサブセットを光ブリーチするための動作、
   前記照明するための動作、前記励起するための動作、前記記録するための動作、および前記光ブリーチするための動作を繰り返し実行し、前記カメラのメモリに、前記発光体の異なるサブセットに対応する複数の中間画像を記録するための動作、および
   最終超解像画像を生成するために前記カメラを使用して前記複数の中間画像を処理するための動作、
   更に、ガウス分布曲線を前記発光体に対応するスポットに当てはめ、前記スポットのセントロイド座標を特定するように構成されている、カメラ。
   

Images