JP5891000B2 - サンプル構造の顕微鏡結像用の方法および装置 - Google Patents

サンプル構造の顕微鏡結像用の方法および装置 Download PDF

Info

Publication number
JP5891000B2
JP5891000B2 JP2011228719A JP2011228719A JP5891000B2 JP 5891000 B2 JP5891000 B2 JP 5891000B2 JP 2011228719 A JP2011228719 A JP 2011228719A JP 2011228719 A JP2011228719 A JP 2011228719A JP 5891000 B2 JP5891000 B2 JP 5891000B2
Authority
JP
Japan
Prior art keywords
active state
image signal
single frames
predetermined
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011228719A
Other languages
English (en)
Other versions
JP2012103691A (ja
Inventor
フェリング ヨーナス
フェリング ヨーナス
Original Assignee
ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー
ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45065639&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5891000(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー, ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー filed Critical ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー
Publication of JP2012103691A publication Critical patent/JP2012103691A/ja
Application granted granted Critical
Publication of JP5891000B2 publication Critical patent/JP5891000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、請求項1および10のプリアンブル部分(所謂おいて書き部分)にそれぞれ従った、サンプル構造の顕微鏡結像用の方法および装置に関する。
ごく最近、光学顕微鏡結像方法が開発され、この方法を用いれば、個別マーカー、特に蛍光分子の連続的で確率論的な局在性に基づいて、従来の光学顕微鏡における回折依存の解像限界より小さいサンプル構造を結像することができる。かかる方法は、例えば、特許文献1、特許文献2、特許文献3、特許文献4、特許文献5、非特許文献1および非特許文献2に説明されている。顕微鏡法のこの新しい分野はまた、局在性顕微鏡法と呼ばれる。適用される方法は、例えば、(F)PALM((蛍光)光活性化局在性顕微鏡法)、PALMIRA(独立画像取得型PALM)、GSD(IM)(基底状態抑制(個別分子リターン)顕微鏡法)、または(F)STORM((蛍光)確率論的光学再構成顕微鏡法)なる名称の下で文献において周知である。
新しい方法には、結像されるサンプル構造が、識別可能な2つの状態、すなわち「明」状態および「暗」状態を有するマーカーを備えるという共通点がある。例えば、蛍光染料がマーカーとして用いられる場合に、明状態は、それらが蛍光発光できる状態であり、暗状態は、それらが蛍光発光できない状態である。結像光学系の従来の解像限界より高い解像度でサンプル構造を結像するために、マーカーの小さなサブセットが、繰り返し明状態にされる。下記では、このサブセットは、活性サブセットと呼ばれる。これに関連して、「活性」サブセットを形成するマーカーの密度が、次のように選択されることになる。すなわち、明状態における、およびしたがって光学顕微鏡によってマーカーを結像できる状態における隣接マーカーの平均距離が、結像光学系の解像限界より大きいように選択されることになる。活性サブセットを形成するマーカーは、光学系の解像限界によってサイズが決定される、各マーカーの光点の形態をした光分布が検出されるように、センサ素子の空間解像配列上に結像される。
上記のように、活性サブセットに含まれるマーカーの密度が非常に低いので、マーカーの平均距離が、光学顕微鏡結像の解像限界によって予め決定される最小距離を超える場合には、所望の活性状態が存在する。この活性状態によって、センサ素子配列により検出される各光点が、正確に1つの活性化されたマーカーから生じることが保証される。
上記の方法は、図1に示されている。図1の左側では、一連の生データ単一フレームが示され、それらは、1、...、Nの番号を付けられている。これらの生データ単一フレームにおいて結像された光点のそれぞれは、所望の活性状態にある活性マーカーサブセットから生じる。すなわち、そのマーカー密度が非常に低いので、マーカーの平均距離が、光学顕微鏡結像の解像限界によって予め決定された最小距離より大きいことが保証される。
図1の右上部には、生データ単一フレーム1...、Nの重ね合わせからもたらされた全体画像が示されている。この全体画像は、結像されるサンプル構造を詳細に再現しない、分散され空間的に解像されていない光分布を有する。
図1の右下部には、生データ単一フレームから決定された光分布の重心の重ね合わせからもたらされた全体画像が示されている。この全体画像は、サンプル構造を、その3つの同心円環を備えた本例において詳細によく識別できるように、はるかに高い解像度を有する。
上記の方法で達成されることになる局在性精度を定量化するために、図2を参照する。図2では、図1に示した状況が、単に概略的に再び図示される。図2の上部には、一連の生データ単一フレームが示されている。結像されるサンプル構造は、同心円環で構成されるが、図2では破線で示され、かつ参照符号2で識別される。
活性サブセットの個々のマーカーは、光分布4、すなわち、そのサイズが、結像光学系の解像能力によって決定され、かつ図2においてΔXAbbで識別される光分布4を生成する。図2に概略的に示すように、マーカーは、光分布4が重ならないように、サイズΔXAbbより小さい平均距離を互いに対して有する。
図2の下部には、重心決定によって得られた、光分布4からもたらされる光分布6が示されている。達成可能な局在性精度は、光分布6のサイズΔXSPによって与えられる。局在性精度ΔXSP用に、下記が適用される。
Figure 0005891000
ここで、nは、光分布4ごとに検出される光子数を示す。局在性精度ΔXSPは、典型的には、約10〜50nmの範囲である。
生データ単一フレームの捕捉前に、上記の活性状態が確立されることになる。この活性状態が確立される基となる初期状態は、方法から方法へと異なる。基本的に、2つの方法、すなわち「ボトムアップ」方法と呼ばれる方法、および「トップダウン」方法と呼ばれる方法が、区別されなければならない。ボトムアップ方法では、最初に、全てのマーカーは、それらの暗状態にある。高解像度局在性のために必要とされるような活性マーカーサブセットの生成は、適切な活性化によって、例えば活性化光の照射によって達成される。これは、例えば(F)PALM方法の場合である。それとは対照的に、トップダウン方法では、最初に、全てのマーカーは、それらの明状態、すなわち光学顕微鏡によってそれらを結像できる状態にある。次に、活性マーカーサブセットを生成するために、ほとんどのマーカーは、例えば再び光の照射によって暗状態にされる。ここで、マーカーは、いわゆる「切り替え可能な」マーカー、例えば切り替え可能なタンパク質とすることができる。同様に、これらのマーカーは、例えば、励起光で照射された場合に寿命の長い暗状態、例えば三重項状態に変化する(したがって、真の意味で切り替え不可能なマーカーである)従来の特定の蛍光染料とすることができる。例えば、GSD(IM)方法は、これを使用する。
ボトムアップ方法およびトップダウン方法の両方において、個々のマーカーの高解像度局在性を可能にするだけの所定の活性状態を再現可能に確立するのは比較的困難である。特に、この所定の活性状態が存在するか否かを、容易な方法で決定することは、今日まで不可能である。したがって、多すぎるマーカーが、それらの明状態にあり、その結果、マーカーによって生成された光分布が、生データ単一フレームにおいて互いに空間的に分離されないことがしばしば発生する。これによって、サンプル構造の光学顕微鏡結像がより困難になる。特に、実際の測定を開始することができる状況、すなわち、実際に非常に少数のマーカーだけが、依然として明状態にあるので、マーカーによって生成された光分布が、十分に高確率で光分布の分離検出を可能にする空間分布を有する状況、の判定をより困難にする。
国際公開第2006/127692A2号パンフレット 独国特許出願公告第102006021317B3号明細書 国際公開第2007/128434A1号パンフレット 米国特許出願公開第2009/0134342A1号明細書 独国特許出願公開第102008024568A1号明細書
"Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy(STORM)",Nature Methods 3,793−796(2006),M. J. Rust,M. Bates,X. Zhuang "Resolution of Lambda/10 in fluorescence microscopy using fast single molecule photo-switching",Geisler C.et al,Appl. Phys. A,88,223−226(2007)
本発明の目的は、マーカーが互いから十分に長い平均距離を有する所定の活性状態が存在するか否かを、容易で正確なやり方で決定できるように、請求項1のプリアンブルに従ってサンプル構造の光学顕微鏡結像用の方法を開発することである。
本発明は、この目的を、所定の活性状態の存在が次の点でチェックされることにおいて、請求項1の特徴部分に従って解決する。すなわち、少なくとも2つのテスト単一フレームが、時間間隔を置いて生成され、かつ少なくともセンサ素子の一部に対して、2つのテスト単一フレーム間の画像信号におけるそれぞれの時間的変化が検出され、かつ画像信号のそれらの全体における検出された時間的変化が所定量を超える場合に、所定の活性状態の存在が決定される点である。
本発明は、次の発見に基づいている。すなわち、マーカーによって放射された光信号が空間的に別々に検出される状態では、これらの信号のその全体における時間的変化が、光信号が別々に検出されない場合におけるよりも大きいという発見に基づいている。最初の場合において、いわゆる点滅は、顕微鏡画像において識別することができ、したがって、それは、マーカーの所望の活性状態の存在にとっては典型的である。この点滅は、次の点において生じる。すなわち、マーカーが、それらの明状態から、つまり光学顕微鏡がマーカーを結像できる状態から、それらの暗状態(例えば、光退色による)へ繰り返しランダムに変化し、他のマーカーが、それらの暗状態から明状態(この状態では、マーカーは、暗状態に再び変化する前に、再びある数の光子を放射する)に変化する点において発生する。
本発明は、上述の現象を用いて、所定の活性状態が存在するか否かをチェックする。これは、次の点において行われる。すなわち、少なくとも2つのテスト単一フレームが、間隔を置いて捕捉され、センサ素子によって生成された画像信号の変化が、上記の点滅がどれほど明確であるかの尺度として判定されるという点で行われる。明状態におけるマーカーの空間的密度が非常に高いために、個々のマーカーによって放射される光信号が互いに空間的に重なる場合には、点滅動作は、それほど明確ではない。より多くのマーカーが、それらの光信号を同一のセンサ素子上に放射すればするほど、顕微鏡画像における点滅動作はそれだけ弱くなる。その場合に、個々のセンサ素子によって受信される光信号の時間的な平均化が行われる。
したがって、本発明は、間隔を置いて捕捉された2つのテスト単一フレーム間の変化に基づいて点滅動作用の尺度を検出し、かつそれに基づいて、サンプル構造の実際の結像を開始できるときを決定することを意図している。
好ましくは、画像信号の検出された変化に基づいて、2つのテスト単一フレームの対応する画像信号の時間的相関関係が決定され、所定の活性状態の存在は、時間的相関関係が所定の相関閾値より下にある場合に決定される。2つの連続する単一フレームの時間的相関関係は、点滅動作およびしたがって所望の活性状態の存在を決定する、適切な測定量である。点滅動作が活発であればあるほど、2つのテスト単一フレーム間の時間的相関関係は、それだけ低くなる。
本発明の方法の有利な発展において、検出された画像信号が第1の値の範囲内にある場合に、2つのテスト単一フレームの検出された画像信号のそれぞれに第1の値を割り当てることと、検出された画像信号が第1の値の範囲に対して相補的である第2の値の範囲内にある場合に、第1の値と異なる第2の値を、2つのテスト単一フレームの検出された画像信号のそれぞれに割り当てることと、が規定される。例えば、値0は、所定の閾値より小さい画像信号に割り当てることができるのに対して、値1は、この閾値以上の画像信号に割り当てられる。したがって、2つのテスト単一フレームから、それぞれ値1および0だけを含むデータセットが導き出され、したがって、例えば、時間的相関関係の判定によって点滅動作を検出することに特によく適している。
2つのテスト単一フレームが生成される間隔は、次のように設定されるのが好ましい。すなわち、間隔が、光学顕微鏡によってマーカーを結像できる状態にマーカーが留まる平均期間の約1〜3倍にほぼ等しいように設定されるのが好ましい。間隔がこの範囲内にある限り、所定の活性状態が存在する場合には、十分に活発な、したがって2つのテスト単一フレームに基づいて決定できる点滅動作が提供されることが保証される。
所定の活性状態が存在するならば、画像信号のそれらの全体における検出された変化が、所定量をもはや超えなくなるまで、2つのテスト単一フレームが生成される時間間隔を縮小しながら、活性状態を繰り返しチェックするのが好ましく、かつセンサ素子の露光時間は、画像信号のそれらの全体における検出された変化が、所定量をもはや超えない間隔を考慮しながら設定される。したがって、この方法の好ましい実施形態は、所望の活性状態から開始して、活性状態がもはや存在しなくなるまで、2つのテスト単一フレームが生成される時間間隔を連続的に縮小することを規定する。このアプローチによって、できるだけ好ましい露光時間、すなわち、できるだけ短いが、しかし活性状態の存在を確実に検出するのに必要なだけ長い時間を見つけることが可能になる。
最初に説明したように、通常は、複数の単一フレームの画像シーケンスが、サンプル構造を結像するために捕捉される。この場合に、本発明のテストステップが、各単一フレームの捕捉前に実行される。すなわち、所定の活性状態の存在が、各単一フレームの捕捉の前にチェックされる。ここで、一テストステップ中に捕捉されたテスト単一フレーム(必要ならば修正された形態で)を画像シーケンスの単一フレームとして用いることは、所定の活性状態の存在がこのテストステップで決定されたならば、さらに有利である。同様に、テスト単一フレームの1つだけを画像シーケンスの単一フレームとして用いることが可能である。
本発明は、さらに、請求項10に示す特徴を有する、サンプル構造の光学顕微鏡結像用の装置を提供する。
下記において、図に関連して本発明をより詳細に説明する。
一連の生データ単一フレームと同様に、重心の決定前および後における、これらのフレームで構成された全体画像を示す。 重心の決定前および後における、図1に示す画像シーケンスの概略図を示す。 本発明による方法を実行するための光学顕微鏡の構造を示す。 実施形態に関連して、本発明による方法を説明するために流れ図を示す。 所定の活性状態が存在しない場合、および所定の活性状態が存在する場合における2つの連続する生データ単一フレームをそれぞれ示す。
図3は、サンプル構造の光学顕微鏡結像用の本発明の方法を実現するのに適した実施形態としての光学顕微鏡20を示す。
光学顕微鏡20には、2つのレンズ24および26で構成されたレンズ系に励起光を放射する光源22が含まれる。このレンズ系は、光源22によって放射された励起光を所望の方法でコリメートする役割をする。次に、コリメートされた励起光は、集光レンズ28に入射する。集光レンズ28は、対物レンズ30の絞りに励起光を合焦させる。ここで、励起光は、最初は、励起光に対して透過性のダイクロイックミラー32を通過する。次に、対物レンズ30から出た励起光は、スライド36に取り付けられたサンプル構造34に入射する。
最初に説明したように、サンプル構造34は、マーカー、例えば蛍光分子を備える。ここで、最初に言及した方法を用いて、これらのマーカーのそれぞれの部分を明状態、すなわち光学顕微鏡によってマーカーを結像できる状態にし、それによって、活性サブセットを生成してもよい。
サンプル構造34から放射された光は、対物レンズ30を通過し、ダイクロイックミラー32に入射する。ダイクロイックミラー32は、それが、サンプル構造34から放射された光を反射し、したがってこの光を、空間解像光検出器40に光を合焦するレンズ38上に導くように設計されている。光検出器40は、センサ素子、例えばCCD素子のマトリックス状配列によって形成される。これらのセンサ素子のそれぞれは、それが受信した光を電気画像信号に変換する。次に、画像信号は、制御ユニット42に出力される。制御ユニット42は、個々の顕微鏡コンポーネントを制御し、かつ特に、光検出器40から受信した画像信号を処理する機能を有する。
図3に示す光学顕微鏡20を用いれば、サンプル構造34は、図1に関連して最初に説明したように結像される。したがって、一連の生データ単一フレームが捕捉され、そのそれぞれのために、マーカーの別個の活性サブセットが結像される。次に、画像解析プロセスでは、各生データ単一フレームにおいて、光分布の重心が、制御ユニット42によって決定されるが、これらの重心は、明状態にあるマーカーを表す。次に、生データ単一フレームから決定された光分布の重心は、高度に解像された全体画像へと組み合わされる。
ここで、本発明による方法は、次のことを規定する。すなわち、それぞれの生データ単一フレームの生成の前に、高解像度光学顕微鏡結像のために必要な活性状態が存在するかどうか、つまりそれぞれの活性マーカーサブセットに含まれるマーカーが、光学顕微鏡結像の解像限界によって予め決定された最小距離より大きい、互いからの平均距離を有するかどうかがチェックされることを規定する。これは、図4による流れ図に関連して下記で説明する。
図4に示すプロセスは、ステップS1で始まる。ステップS2において、生データ単一フレームを数える制御変数pが、値1に設定される。
ステップS2に続き、かつステップS3〜S6で形成されるループは、N単一フレームの所望のシーケンス(p=1、...、N)を生成する役割をする。したがって、ステップS3(p=1)が、第1の生データ単一フレームとして生成される生データ単一フレーム用に初めて実行されるときに、マーカーの一部は、光学顕微鏡によってマーカーを結像できる状態にされて、最初の活性マーカーサブセットを生成する。
ここで、本発明は、ステップS4において、次のことに関するチェックを規定する。すなわち、所望の活性状態が存在するかどうか、つまり第1の活性マーカーサブセットに含まれるマーカーが、光学顕微鏡結像の解像限界によって予め決定された最小距離より大きい、互いからの平均距離を有するかどうかに関するチェックを規定する。この本発明のチェックは、やはり以下でさらに詳細に説明する。ステップS4におけるチェックが、所定の活性状態が存在するという結果になる場合には、図4によるプロセスは、ステップS5で継続され、ステップS5では、p番目の生データ単一フレームが生成される。その後、ステップS6において、制御変数pは、値1だけ増分される。しかしながら、ステップS4において、所定の活性状態がまだ存在しないという結果になる場合には、プロセスは、ステップS3にもどり、ステップS3において、所望の空間的密度を備えたマーカーを、光学顕微鏡によってマーカーを結像できる状態にし、かくして所望の活性状態を確立するために、別の試みがなされる。ステップS3およびS4で形成されるループは、ステップS4におけるチェックが、所定の活性状態が存在するという結果になるまで続けられる。
ステップS7において、制御変数pが、単一フレームの総数Nに既に達したかどうかどうかが毎回チェックされる。これが真でない場合には、プロセスは、ステップS3に戻る。制御変数pが値Nに達したらすぐに、すなわち所望の数Nの単一フレームが生成されたらすぐに、図4に示すプロセスは終了する。
最初に説明したように、重心は、所望の高解像度を備えた全体画像を得るために、生データ単一フレームにおいて決定されなければならない。本実施形態において、重心は、既にステップS4において、さもなければ図4に示すプロセスの終了後にのみ決定することができる。
下記において、ステップS3で実行される活性状態のチェックをより詳細に説明する。
ステップS3において活性状態をチェックするために、最初に、2つのテスト単一フレームが、2つの生データ単一フレームの形態で、間隔を置いて捕捉される。本実施形態において、この間隔は、画像信号を生成するために光検出器40が必要とする露光時間によって定義される。これは、第1の生データ単一フレームを生成した後で、光検出器40が、第2の生データ単一フレームを直ちに生成し始めることを意味する。次に、これらの2つのテスト単一フレームに基づいて、所望の活性状態が存在するか否かを決定するために、点滅動作が検出される。
本実施形態において、点滅動作は、2つのテスト単一フレームの時間的相関関係が決定されることによって検出される。これは、例えば、次の関係によって行われる。
Figure 0005891000
この関係において、kは相関パラメータを示し、rijは、光検出器40を形成するセンサ素子のマトリックス状配列において、i番目の行およびj番目の列に位置するセンサ素子の画像信号の信号値を、2つのテスト単一フレームの第1の捕捉されたテスト単一フレーム用に示し、ここで、i=1、2、...、nおよびj=1、2、...、mであり、nは、行の総数を示し、mは、列の総数を示す。したがって、
Figure 0005891000
は、2つのテスト単一フレームの、後の時点で捕捉された単一フレーム用のi番目の行およびj番目の列に配置されたセンサ素子における画像信号の信号値を示す。
上記で提示した関係は、次のことを表す。すなわち、各センサ素子用に、2つのテスト単一フレームの信号値が互いに乗算され、次に、この積が、全てのセンサ素子にわたって合計されることを表す。このように得られた和は、それが、2つのテスト単一フレームのうちの1つの信号値の二乗和で割られることによって正規化される。次に、このようにして決定された相関パラメータkは、0と1との間の値を取る。すなわち0≦k≦1である。値kが値0に近い場合に、2つのテスト単一フレーム間の時間的相関関係は低い。すなわち、2つのテスト単一フレーム間で別個の変化が生じる。これは、今度は、点滅動作が活発であり、したがって所望の活性状態が存在することを意味する。
対照的に、相関パラメータkが値1に近い場合には、時間的相関関係は高く、2つのテスト単一フレーム間でわずかな変化だけが生じる。これは、今度は、点滅動作が低調であることを意味する。この場合に、光学顕微鏡によってマーカーを結像できる状態にあるマーカーの空間的密度は、まだ高すぎて、所望の局在性精度を達成するために、さらに低減されなければならない。
所定の活性状態が存在するか否かに関する判定を伝達するために、0と1との間の閾値が前もって設定される。相関パラメータkが、この閾値より小さい場合に、点滅動作が十分に活発であり、したがって所定の活性状態が存在すると仮定される。対照的に、これが真でない場合に、光学顕微鏡によってマーカーを結像できる状態におけるマーカーの空間的密度は、さらに低減すべきである。
本実施形態において、相関パラメータkは、全てのセンサ素子を考慮して検出される。しかしながら、相関パラメータkを決定するためにセンサ素子の一部だけを用いることも同様に可能である。
相関パラメータkを決定するための上記で提示した関係は、光を受信しないセンサ素子が、値0を有する画像信号を放射すると仮定する。しかしながら、背景騒音がある場合、すなわちこの場合にそれぞれのセンサ素子が、0より大きい値を有する画像信号を放射する場合には、これは、平均された背景騒音が差し引かれるという点で、上記で提示した式で考慮することができる。
信号値rijおよび
Figure 0005891000
が所定の閾値より大きいか否かに依存して、これらの信号値のそれぞれに値1または値0のいずれかを割り当てることがまた可能である。この方策によって、値0および1だけを有する2つのテスト単一フレームのそれぞれからデータセットが得られ、これによって、相関パラメータkの決定はより簡単になる。
決定された相関パラメータkが比較されることになる閾値は、個々のケースに対して定義されることになるエラー耐性に依存して設定するのが好ましい。「エラー」によって分かることは、単一のマーカーからではなく、互いに対する距離が、光学顕微鏡結像の解像限界によって予め決定された最小距離より小さいいくつかのマーカーから生じる光分布の検出である。
図5には、生データ単一フレームにおけるマーカー密度の影響を示す実例が示されている。これらの例において、Rh6Gで染色されたPtK2細胞の微小管が、光学顕微鏡で結像される。毎回、2つの連続する生データ単一フレームが示される。
図5の2つの上部の生データ単一フレームにおいて、光学顕微鏡によってマーカーを結像できる状態におけるマーカーの密度は、高すぎる。すなわち、所望の活性状態は存在しない。したがって、2つの連続的に捕捉された生データ単一フレームは、互いにほんのわずかしか異ならない。
対照的に、図5における2つの下部の生データ単一フレームの場合には、光学顕微鏡によってマーカーを結像できる状態におけるマーカーの密度は、非常に低いので、所望の活性状態が存在する。2つの連続的に捕捉された生データ単一フレームの比較から分かるように、この活性状態では個々のマーカーを検出することができる。さらに、2つの生データ単一フレームの一方において光信号を放射するマーカーが、もう一方の生データ単一フレームにおいてほとんど検出できないこと(逆も同様である)が明らかになる。これは、これらの生データ単一フレームが捕捉される場合に、点滅動作が活発であることを意味する。
2 結像されるサンプル構造
4 光分布
6 光分布
20 光学顕微鏡
22 光源
24 レンズ
26 レンズ
28 集光レンズ
30 対物レンズ
32 ダイクロイックミラー
34 サンプル構造
38 レンズ
40 空間解像光検出器
42 制御ユニット
ΔXAbb 光分布4のサイズ
ΔXSP 光分布6のサイズ

Claims (10)

  1. サンプル構造(34)の光学顕微鏡結像のための方法であって、
    前記サンプル構造(34)が、光学顕微鏡によって結像できる状態にすることができるマーカーを備え、
    前記マーカーの一部が光学顕微鏡によって結像できる状態にされることによって、活性マーカーサブセットが生成され、
    前記活性マーカーサブセットに含まれるマーカーが前記光学顕微鏡結像の解像限界によって予め決定された最小距離より大きい、互いからの平均距離を有する所定の活性状態が存在する場合に、前記サンプル構造(34)が、画像信号をそれぞれ生成するセンサ素子の配列(40)上に結像され、これらの画像信号が、その全体にて、前記サンプル構造(34)の単一フレームをもたらすものである、結像方法において、
    少なくとも2つのテスト単一フレームが時間間隔を置いて生成され、かつ少なくとも前記センサ素子の一部に対して、前記2つのテスト単一フレーム間の前記画像信号のそれぞれの時間的変化が検出され、かつ前記画像信号のその全体で検出された時間的変化が所定量を超える場合に前記所定の活性状態の存在が決定されることで、前記所定の活性状態の存在がチェックされることを特徴とする方法。
  2. 前記画像信号の前記検出された変化に基づいて、前記2つのテスト単一フレームの対応する画像信号の時間的相関関係が決定され、前記時間的相関関係が所定の相関閾値より下にある場合に前記所定の活性状態の存在が決定されることを特徴とする、請求項1に記載の方法。
  3. 前記時間的相関関係が、次の関係、
    Figure 0005891000
    に従って決定され、
    ここで、kが相関パラメータを示し、
    ijが、n個の行およびm個の列を備えたマトリックス状のセンサ素子配列にて、i番目の行およびj番目の列に位置する前記センサ素子の前記画像信号の信号値を、前記2つのテスト単一フレームの第1の捕捉されたテスト単一フレーム用に示し、ここでi=1、2、...、nであり、j=1、2、...、mであり、
    Figure 0005891000
    が、前記2つのテスト単一フレームの、後の時点で捕捉された単一フレーム用に、前記i番目の行および前記j番目の列に配置された前記センサ素子における前記画像信号の信号値を示すことを特徴とする、請求項2に記載の方法。
  4. 前記検出された画像信号が第1の値の範囲内にある場合に、前記2つのテスト単一フレームの前記検出された画像信号のそれぞれに第1の値が割り当てられること、および前記検出された画像信号が前記第1の値の範囲に対して相補的な第2の値の範囲内にある場合に、前記第1の値と異なる第2の値が、前記2つのテスト単一フレームの前記検出された画像信号のそれぞれに割り当てられることを特徴とする、請求項1〜3のいずれか一項に記載の方法。
  5. 前記2つのテスト単一フレームが生成される間隔が、光学顕微鏡によって結像できる状態に前記マーカーが留まる平均期間の1〜3倍に等しいように設定されることを特徴とする、請求項1〜4のいずれか一項に記載の方法。
  6. 前記センサ素子の露光時間が、光学顕微鏡によって結像できる状態に前記マーカーが留まる前記平均期間に等しいように設定されることを特徴とする、請求項5に記載の方法。
  7. 前記所定の活性状態が存在するならば、前記画像信号のその全体での前記検出された変化が、前記所定量をもはや超えなくなるまで、前記2つのテスト単一フレームが生成される前記間隔を縮小しながら、前記活性状態が繰り返しチェックされること、および前記センサ素子の前記露光時間が、前記画像信号のその全体での前記検出された変化が、前記所定量をもはや超えない前記間隔を考慮して設定されることを特徴とする、請求項1〜6のいずれか一項に記載の方法。
  8. 単一フレームの画像シーケンスが捕捉され、かつ各単一フレームの捕捉前に前記所定の活性状態の存在がチェックされることを特徴とする、請求項1〜7のいずれか一項に記載の方法。
  9. 前記所定の活性状態の存在が決定されている場合に、前記2つのテスト単一フレームの少なくとも1つが、前記画像シーケンスの単一フレームとして用いられることを特徴とする、請求項8に記載の方法。
  10. サンプル構造の光学顕微鏡結像のための装置であって、光学顕微鏡によって結像できる状態にすることができるマーカーを前記サンプル構造に備えるように構成された手段と、
    前記マーカーの一部を、光学顕微鏡によって結像できる状態にすることによって、活性マーカーサブセットを生成するように構成された手段と、
    前記活性マーカーサブセットに含まれるマーカーが、前記光学顕微鏡結像の解像限界によって予め決定された最小距離より大きい、互いからの平均距離を有する所定の活性状態が存在する場合に、画像信号をそれぞれが生成するセンサ素子の配列上に前記サンプル構造を結像するように構成された手段であって、これらの画像信号が、全体で、前記サンプル構造の単一フレームをもたらす手段と、
    を備えて構成される装置において、
    少なくとも2つのテスト単一フレームが時間間隔を置いて生成され、かつ少なくとも前記センサ素子の一部に対して、前記2つのテスト単一フレーム間の前記画像信号におけるそれぞれの時間的変化が決定され、かつ前記画像信号のその全体での前記検出された時間的変化が所定量を超える場合に、前記所定の活性状態の存在が決定されることで、前記所定の活性状態の存在をチェックするように構成された手段を有することを特徴とする装置。
JP2011228719A 2010-10-19 2011-10-18 サンプル構造の顕微鏡結像用の方法および装置 Active JP5891000B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102010038265.5 2010-10-19
DE102010038265 2010-10-19
DE102011001091.2 2011-03-04
DE102011001091.2A DE102011001091C5 (de) 2010-10-19 2011-03-04 Verfahren und Einrichtung zur mikroskopischen Bildaufnahme einer Probenstruktur

Publications (2)

Publication Number Publication Date
JP2012103691A JP2012103691A (ja) 2012-05-31
JP5891000B2 true JP5891000B2 (ja) 2016-03-22

Family

ID=45065639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011228719A Active JP5891000B2 (ja) 2010-10-19 2011-10-18 サンプル構造の顕微鏡結像用の方法および装置

Country Status (5)

Country Link
US (1) US8922638B2 (ja)
EP (1) EP2444792B1 (ja)
JP (1) JP5891000B2 (ja)
CN (1) CN102539395B (ja)
DE (1) DE102011001091C5 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012205032A1 (de) * 2012-03-28 2013-10-02 Carl Zeiss Microscopy Gmbh Hochauflösende Fluoreszenzmikroskopie
US10551293B2 (en) * 2015-11-17 2020-02-04 Korea Advanced Institute Of Science And Technology Apparatus for detecting sample properties using chaotic wave sensor
GB201704275D0 (en) * 2017-03-17 2017-05-03 Science And Tech Facilities Council Super-resolution microscopy

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4515899B2 (ja) * 2004-12-17 2010-08-04 オリンパス株式会社 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム
EP2453239B1 (en) * 2005-05-23 2017-04-26 Harald F. Hess Optical microscopy with transformable optical labels
DE102006021317B3 (de) * 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US7776613B2 (en) * 2006-08-07 2010-08-17 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
US7838302B2 (en) * 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
DE102008021641A1 (de) * 2008-04-30 2009-11-05 Carl Zeiss Microlmaging Gmbh Auflösungsgesteigerte Lumineszenzmikroskopie
TR201901658T4 (tr) * 2008-05-20 2019-02-21 Univ Health Network Floresan bazli görüntüleme ve i̇zleme i̇çi̇n ci̇haz ve metot
DE102008024568A1 (de) * 2008-05-21 2009-12-03 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden Abbilden einer interessierenden Struktur einer Probe
WO2009141410A1 (en) * 2008-05-21 2009-11-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. High spatial resolution imaging of a structure of interest in a specimen
DE102008059328A1 (de) * 2008-11-27 2010-06-02 Carl Zeiss Microimaging Gmbh Auflösungsgesteigerte Mikroskopie
EP2438555B1 (en) * 2009-06-02 2017-03-08 Sofast GmbH Superresolution optical fluctuation imaging (sofi)

Also Published As

Publication number Publication date
DE102011001091C5 (de) 2022-07-14
JP2012103691A (ja) 2012-05-31
CN102539395B (zh) 2016-05-04
EP2444792A1 (de) 2012-04-25
EP2444792B1 (de) 2018-10-10
CN102539395A (zh) 2012-07-04
DE102011001091A1 (de) 2012-04-19
US8922638B2 (en) 2014-12-30
DE102011001091B4 (de) 2017-09-14
US20120092479A1 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
CN109844503B (zh) 用于高空间分辨率地确定样品中的分离的、以激励光可激励以发射发光的分子的位置的方法
US7880150B2 (en) High spatial resolution imaging of a structure of interest in a specimen
Israel et al. Quantum correlation enhanced super-resolution localization microscopy enabled by a fibre bundle camera
JP2018517171A (ja) 共焦点レーザ走査顕微鏡を使用した蛍光走査顕微鏡法の信号の評価
JP2011514532A (ja) 蛍光顕微鏡において単一色素分子の局在化のための方法および装置
JP2012530947A (ja) 顕微鏡画像における蛍光事象の評価方法
US10119914B2 (en) Fast high-resolution microscopy method and fast high-resolution microscope
US8822956B2 (en) High-resolution fluorescence microscopy
JP6715180B2 (ja) 超解像顕微鏡の、又はそれに関する改良
US11885809B2 (en) Methods and devices for determining a guest structure on a host structure
US11086119B2 (en) Fluorescence-lifetime imaging microscopy method having time-correlated single-photon counting
US10338369B2 (en) Method and device for setting a suitable evaluation parameter for a fluorescence microscope
JP5891000B2 (ja) サンプル構造の顕微鏡結像用の方法および装置
CN116391143A (zh) 通过自适应扫描定位单个荧光染料分子的方法和荧光显微镜
US9885705B2 (en) Cell analysis using dynamic biophysical methods
US20220057329A1 (en) Method and apparatus for detecting fluorescence signals in a three-dimensional region of a sample
Karuka et al. Assessing Location and Distribution of Proteins at the Nuclear Envelope from Dual Color Z-Scan Intensity Profiles
Mazloom-Farsibaf Investigation of Membrane Protein Dynamics using Correlative Single-particle Tracking and Super-resolution Microscopy Combined with Bayesian Inference of Diusion in Arbitrary Landscapes
Larkin et al. Photon event distribution sampling: an image formation technique for scanning microscopes that permits tracking of sub‐diffraction particles with high spatial and temporal resolutions
Hernandez et al. Multifocus structure illumination microscopy
Kohler et al. 3D Particle Localization in Living Cells by Deep Learning
Axmann et al. Single‐Molecule Microscopy in the Life Sciences
Jazani Single-Focus Confocal Data Analysis with Bayesian Nonparametrics
Brameshuber et al. Comprehensive Fluorophore Blinking Analysis Platform as a Prerequisite for Cluster Detection via Photoavticated Localization Microscopy
CN117589731A (zh) 改进的荧光相关光谱方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150825

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160222

R150 Certificate of patent or registration of utility model

Ref document number: 5891000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250