JP6393474B2 - 高分解能3d位置特定顕微鏡検査方法 - Google Patents

高分解能3d位置特定顕微鏡検査方法 Download PDF

Info

Publication number
JP6393474B2
JP6393474B2 JP2013256205A JP2013256205A JP6393474B2 JP 6393474 B2 JP6393474 B2 JP 6393474B2 JP 2013256205 A JP2013256205 A JP 2013256205A JP 2013256205 A JP2013256205 A JP 2013256205A JP 6393474 B2 JP6393474 B2 JP 6393474B2
Authority
JP
Japan
Prior art keywords
position data
uncertainty
image
location
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013256205A
Other languages
English (en)
Other versions
JP2014123124A (ja
Inventor
ノビカウ ヤウヘニ
ノビカウ ヤウヘニ
カルクブレナー トーマス
カルクブレナー トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2014123124A publication Critical patent/JP2014123124A/ja
Application granted granted Critical
Publication of JP6393474B2 publication Critical patent/JP6393474B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、蛍光エミッタを含む試料を高分解能に3D位置特定する顕微鏡検査方法に関するものであり、この方法では、試料中の蛍光エミッタが、蛍光光線を放出するように励起され、試料が空間分解能により広視野に結像され、励起は、空間分解能を基準にして少なくとも若干の蛍光エミッタが孤立されるように行われ、位置特定分析では、結像の深さ方向にあるz座標と、z座標に直交するx座標およびy座標とを含む3次元位置データが、各孤立された蛍光エミッタに対して、空間分解能を超える精度によって決定される。
本発明はさらに、蛍光エミッタを含む試料を3D位置特定顕微鏡検査するための高分解能顕微鏡に関するものであり、この高分解能顕微鏡は、蛍光光線を放出させるために試料中の蛍光エミッタを励起するように構成された励起装置と、試料を空間分解能により結像するように構成された結像装置とを有し、励起装置は、空間分解能を基準にして少なくとも若干の蛍光エミッタが結像中に孤立されるように構成されており、この顕微鏡は位置特定分析装置を有し、位置特定分析装置は、結像の深さ方向にあるz座標と、z座標に直交するx座標およびy座標とを含む3次元位置データを、各孤立された蛍光エミッタに対して、空間分解能を超える精度で決定するように構成されている。
従来技術では、顕微鏡検査における回折限界を克服するための種々の方法が開発された。特許文献1または特許文献2から、PALMと略される方法(photo activated localization microscopy)が公知である。この方法は、試料を結像するためにマーキング物質を使用し、このマーキング物質は例えば光線によって活性化することができる。活性化状態でだけマーキング物質は特定の蛍光光線を放出することができる。マーキング物質の非活性化分子は、励起光線の入射後にも蛍光光線を放出しないか、または少なくとも知覚できる蛍光光線を放出しない。したがって活性化光線は一般的に切替信号と称される。ここでPALM法では、切替信号が次のように生成される。すなわち、活性化されたマーキング分子の少なくとも所定の割合が隣接する活性化分子から、これらのマーキング分子が顕微鏡検査の光学的分解能に適度に分離されるように、または画像処理方法によって後から分離することができるように離間されるよう切替信号が生成される。このことを、蛍光エミッタの部分集合が孤立される、と呼ぶ。蛍光光線の記録後、これらの孤立されたエミッタについて、分解能限界に起因するそれらの光線分布の中心が求められる。そこから計算により分子の位置を、光学的分解能が本来可能であるよりも高精度で決定することができる。この工程は、位置決定と称される。回折分布の計算による重心決定により向上された分解能は、英語の専門文献では「super resolution(超解像)」とも称される。超解像は、試料中において活性化されたマーキング分子の少なくとも部分集合が光学的分解能により区別できること、すなわち孤立されていることを必要とする。この場合に、それらの空間位置をより高精度で決定し、これらを位置特定することができる。
個々のマーキング分子を孤立させるために、このPALM原理は統計的効果を有効に利用する。所定の強度の切替信号の受信後に、蛍光光線のために励起可能なマーキング分子では、切替信号の強度を調整することにより、試料の所定の面積範囲内に存在するマーキング分子が活性化する確率を、光学的分解能内で区別することのできるマーキング分子だけが蛍光光線を放射する十分な部分領域が存在するように小さくすることができる。
PALM原理は、検出すべき分子の活性化に関してさらに開発された。つまり、例えば長期には蛍光発光しないが、短期には蛍光発光する状態を有する分子では、スペクトル的に励起光線とは異なる活性化光線により別個に活性化する必要がまったくない。むしろ試料は、最初に強度の高い照明光線によって、分子の圧倒的な割合が蛍光能力のない長期の状態(例えばトリプレット状態)となるように活性化される。残りのこの場合に、まだ蛍光発光する分子は、これにより光学的分解能に関して孤立される。
PALM原理は、専門文献において現在では、例えばSTORM等の他の省略があることをさらに述べておく。本明細書では、蛍光分子がまず孤立され、それから位置特定することにより使用されるアパーチャの光学的分解能を超えた空間分解能を達成する全ての顕微鏡検査記録に対して略語PALMを使用する。このPALM法は、照明に対しては高い空間分解能を必要としないという利点を有する。簡単な広視野照明が可能である。
PALM原理は、孤立された分子から成るそれぞれの部分集合を含む試料の多数の個別画像が記録されることを必要とする。試料を全体で結像するためには、全ての個別画像の集合が、可及的に全ての分子が少なくとも一度は部分集合に含まれていたことを保証しなければならない。したがって、PALM法は通常、多数の個別画像を必要とし、このことは全体画像の記録にある程度の時間が掛かることの原因となる。このことは特段の計算コストに結び付く。なぜなら、各個別画像において計算により多数の分子を位置特定しなければならないからである。大量のデータが発生する。
この位置特定精度は、個別画像における位置特定により側方にだけ、すなわちカメラの画像面に割り当てられた平面内にだけ達成される。したがって、この方法は、この観点では、2次元の試料分析に制限される。したがって、PALM原理は、試料の薄い層からの蛍光体だけが放射することを保証するTIRF励起法と組み合わされる。
PALM法での重要なパラメータの1つは位置特定不確実性である。この位置特定不確実性は、それぞれ検知された蛍光エミッタが最終画像で提示される位置決め誤差を表す。とりわけ、この画像中に後続の方法ステップで構造を発見すべき場合、位置特定不確実性は重要なファクタである。したがって、科学的文献は、非常に早期から、どのようにしたら位置特定不精度を求めることができるのかという問題を投げかけている。非特許文献1では、位置特定された各蛍光エミッタに、位置データに関して2Dガウス分布を割り当てる。この2Dガウス分布の標準偏差は、求められた位置決め誤差に相当する。蛍光エミッタを2次元位置特定することのできる精度は、非特許文献2では、ピクセルサイズ、光子数、およびバックグランド光線の強度(従来技術ではバックグランド変動とも称される)の関数として導出された。さらに、位置特定の不精度は、点画像広がり関数ならびにセンサの画素化の最終的大きさに依存する。この刊行物に記載された導出法は、従来技術では理想化しすぎた近似法、すなわち位置特定不精度を過度に小さく予測する近似法であるとして批判された。これについては非特許文献3を参照されたい。しかし、特に問題なのは、この位置特定不精度データが、2次元の位置特定顕微鏡検査にしか適用できないことである。したがって、これらのデータは、蛍光発光するマーキング分子の位置特定を、試料の結像を基準にして深さ方向である第3の空間方向にも可能とする位置特定顕微鏡検査のさらなる改善のためには使用することができない。これに関しては、従来技術から同様のアプローチが公知である。ここで「深さ方向」とは、光入射に沿った方向、すなわち光軸に沿った方向であると理解される。
非特許文献4には、PALM原理のための結像光線路が記載されており、この結像光線路内には弱い円筒レンズがあり、この円筒レンズが所期のようにアジマス歪みを引き起こす。これにより、分子の画像は、この分子が焦点面の上方または下方、すなわち点画像広がり関数の対象点の上方または下方に存在すると直ちに、カメラ上で楕円に歪まされる。歪みの配向および強度から、蛍光発光するマーキング分子の深さ位置に関する情報が得られる。この方法の欠点は、局所的環境と分子双極子の配向も蛍光発光するマーキング分子の画像の歪みを引き起こし得ることであり、この蛍光発光するマーキング分子の画像の歪みは深さ位置とは関係がない。このような蛍光発光するマーキング分子にはその後、それらの配向に応じて間違った深度値が割り当てられる。
非特許文献5は、点画像広がり関数を、結像での空間的位相変調器によって二重らせん構造に修正することを提案する。この場合、蛍光発光する個々のマーキング分子の点画像は二重スポットになり、その深さ位置は、二重スポットの共通の軸の角度配向に符号化される。
非特許文献6によれば、蛍光発光するマーキング分子から放射される光子が自分自身とも干渉される。そのために、4π配置に取り付けられた2つの対物レンズが使用され、これらの対物レンズは蛍光発光するマーキング分子を同時に観察する。このようにして得られた部分光線路は、特別の3ウェイビームスプリッタによって干渉される。これにより得られた各画像がカメラにより検知される。これら画像の強度比が、深さ位置についての情報を与える。
非特許文献7および非特許文献8には、50/50ビームスプリッタが結像光線路に取り付けられ、このビームスプリッタが試料の結像を2つの部分画像に分割するアプローチが記載されている。これら2つの画像は独立して検知される。付加的に、これにより得られた部分光線路の1つに光学的経路差が導入される。そして、この光学的経路差は、2つの部分光線路から2つの対象面が生じ、これら対象面がz方向に、すなわち深さ方向に光学的最小分解能の約半分だけ、または全光学的最小分解能(例えば700nm)だけ離れて配置されるように導入される。これら2つの面に間にあるマーキング分子の深さ位置がここでは、同じマーキング分子の2つの部分画像の分析(例えば、点広がり画像の幅に関しての)によって、または3次元点画像広がり関数の相応のフィッティングによって得られる。この方法は、サブピクセルの精度で2つの部分画像の重ね合わせを達成するために、2つの高解像度の部分画像と、光線路の正確な調整と、較正測定とを必要とする。さらにマーキング分子の2つの部分画像は、通常、形状が異なる。なぜなら、結像システムの点画像広がり関数の側方広がりが、観察される対象面の位置に依存して変化するからである。
3D高分解能に関するその他さらなる参考文献として特許文献3では、非特許文献7と同様のアプローチが行われ、試料の画像が2つの部分画像に分割される。
高分解能位置特定顕微鏡検査およびとりわけまた3D位置特定のためのさらなる文献として、非特許文献9、非特許文献10、非特許文献8、非特許文献12および非特許文献13が挙げられる。
国際公開第2006/127692号 独国特許出願公開第102006021317号明細書 独国特許出願公開第102009060490号明細書
ベッツッヒら(Betzig et al.),Science 313,1642−1645,2006 トンプソンら(Thompson et al.),Biophysical Journal 82,2775,2002 ウィリアムソンら(Williamson et al.),Nature Immunology 12,655,2011 ビー・フアンら(B.Huang et al.),Science 319,810ページ,2008 パバニら(Pavani et al.),PNAS 106,2995ページ,2009 シュテンゲルら(Shtengel et al.),PNAS 106,3125ページ,2009 トプラックら(Toprak et al.),Nanolet.7,3285−3290ページ,2007 ジュエッテら(Juette et al.),Nature Methods 5,527ページ,2008 バッデリーら(Baddeley et al.),Microscopy & Microanalysis 16,64,2010 バッデリーら(Baddeley et al.),PlosOne 6, e20645,2011 ムロジアノスキーら(Mlodzianoski et al.),Optics Express 19,15009,2011 モルテンセンら(Mortensen et al.),Nature Methods 7,377,2010 オーウェンら(Owen et al.),Journal of BioPhotonics 3, 446, 2010
本発明の基礎とする課題は、3次元位置特定顕微鏡検査にも適する、孤立された蛍光エミッタの位置特定不精度を決定するための方法を提供することである。
この課題は、本発明の第1変形例では、蛍光エミッタを含む試料を高分解能に3D位置特定する次の顕微鏡検査方法によって解決される。すなわち、この方法では、試料中の蛍光エミッタが蛍光光線を放出するように励起され、試料が空間分解能により広視野に結像され、励起は、空間分解能を基準にして少なくとも若干の蛍光エミッタが孤立されるように行われ、位置特定分析では、結像の深さ方向にあるz座標と、このz座標に直交するx座標およびy座標とを含む3次元位置データが、各孤立された蛍光エミッタに対して空間分解能を超える精度によって決定され、位置特定不確実性テーブルが作成され、位置特定不確実性テーブルは位置データの不確実性を指示し、すなわち少なくとも位置データのz座標に関して、z座標と結像の際に広視野に収集された光子の数の関数として指示し、位置特定された各蛍光エミッタに対して、位置特定不確実性テーブルにアクセスしながら、位置特定分析で決定された位置データに対する位置データ不確実性を求めるのである。
この課題は、第2変形例では、蛍光エミッタを含む試料を高分解能に3D位置特定する次の顕微鏡検査方法によって解決される。すなわち、この方法では、試料中の蛍光エミッタが蛍光光線を放出するように励起され、試料が空間分解能により広視野に結像され、励起は、空間分解能を基準にして少なくとも若干の蛍光エミッタが孤立されるように行われ、位置特定分析では、結像の深さ方向にあるz座標と、このz座標に直交するx座標およびy座標とを含む3次元位置データが、各孤立された蛍光エミッタに対して空間分解能を超える精度によって決定され、位置特定不確実性が求められ、位置特定不確実性は位置データの不確実性を指示し、すなわち少なくとも位置データのz座標に関して、z座標と結像の際に広視野に収集された光子の数の関数として指示し、位置特定された各蛍光エミッタに対して、位置特定不確実性テーブルにアクセスしながら、位置特定分析で決定された位置データに対する位置データ不確実性を求め、位置特定不確実性をシミュレーションによって求め、シミュレーションは、
a)理想的な点形状の蛍光エミッタの画像を、蛍光エミッタが1つの画像に対して放出する所定数の光子に対して、とりわけ平均光子数に対してシミュレートするステップと、
b)シミュレートされた画像を点画像広がり関数により、拡張された画像に修正し、ここで点画像広がり関数は好ましくは蛍光エミッタの所定の位置データに依存するステップと、
c)拡張された画像を、統計的なノイズの影響を考慮して、ノイズの入った拡張された画像に修正し、ここで統計的なノイズの影響は光子数に依存するステップと、
d)シミュレートされた位置データを、ノイズの入った拡張された画像から得るために、拡張された画像に位置特定分析を施すステップと、
e)ステップb)からd)を、統計的なノイズの影響の種々の値について複数回繰り返し、このようにして得られた複数のシミュレートされた位置データから分散を、または複数のシミュレートされた位置データと所定の位置データとの差の分散を決定し、分散から所定の位置データの不確実性を求めるステップと、を有するのである。
課題は、第1の変形例では同様に、蛍光エミッタを含む試料を3D位置特定する顕微鏡検査のための次の高分解能顕微鏡によって解決される。すなわち、この顕微鏡は、蛍光光線を放出させるために試料中の蛍光エミッタを励起するように構成された励起装置と、試料を空間分解能により結像するように構成された結像装置とを有し、励起装置は、空間分解能を基準にして少なくとも若干の蛍光エミッタが結像中に孤立されるように構成されており、顕微鏡は位置特定分析装置を有し、位置特定分析装置は、結像の深さ方向にあるz座標と、このz座標に直交するx座標およびy座標とを含む3次元位置データを、各孤立された蛍光エミッタに対して、空間分解能を超える精度で決定するように構成されており、位置特定分析装置は、位置特定不確実性テーブルを有し、位置特定不確実性テーブルは、位置データの不確実性を指示し、すなわち少なくとも位置データのz座標に関して、z座標と広視野カメラに収集された光子の数の関数として指示し、位置特定分析装置は、位置特定された各蛍光エミッタに対して、位置特定不確実性テーブルにアクセスしながら、前もって決定された位置データに対する位置データ不確実性を求めるように構成されている。
本発明は、第1変形例では、少なくとも位置データのz座標に関する不確実性を含む位置特定不確実性テーブルを使用する。本発明者らは、このような不確実性に対しては、z座標自体も、それぞれの蛍光エミッタの結像の際に広視野に収集された光子の数も重要であることを認識する。両方のデータは、各孤立された蛍光エミッタに対する位置特定分析から既知である。第2変形例では、位置特定不確実性がオンラインで、シミュレーションによって求められる。
位置特定(位置データとも称する)の不確実性は、顕微鏡光学系、広視野結像部および位置特定分析のアルゴリズムから統合された使用されるシステム全体により決定される。これにより達成される位置特定精度は、例えばトンプソンら(Thompson et al)のように、2次元位置特定精度分析のために必要な仮定および近似に依存しないで実験的に決定することができる。このために、例えば、使用される結像の点画像広がり関数を設定する広がりよりも小さい広がりを備える蛍光粒子を、所望のスペクトル特性によって(例えば励起波長および放射波長に関して)、これらの蛍光粒子が広視野結像中に点画像を提示するよう励起することができる。このような蛍光粒子を複数回、広視野に結像し、位置特定分析をこれら各結像で実行すれば、個々の位置データの分散が、システムに結び付いた位置特定不精度を直接的に提供する。択一的に、個々の位置データと粒子の実際の位置との間の偏差の分散も、位置特定不精度に対するベースとすることができる。位置特定分析で使用されるアルゴリズムは、この措置では、1つの画像に寄与した光子の数に依存する分散を提供する。したがって、システム全体に対して位置特定不確実性テーブルを作成するために多次元テーブルが生成され、この多次元テーブルには位置特定不確実性が、z座標の関数としてだけではなく、それぞれの蛍光エミッタの結像の際に広視野に収集された光子数Nの関数としてもファイルされる。位置特定精度に作用し、したがって位置特定不確実性テーブルの実験的決定でパラメータとして考慮することのできる顕微鏡検査画像記録のさらなるパラメータは、いわゆるバックグランド変動、点画像広がり関数を記述するパラメータ、それぞれの蛍光エミッタのx位置とy位置(例えば点画像広がり関数の位置に依存する変化または位置に依存する収差を考慮するために)、または光線の偏光である。
バックグランド変動は、位置特定分析の際に観察されるピクセルに入射するが、位置特定された蛍光エミッタからは発しない光子を把捉する。ここで、この光子は、物理的にはまったく存在しておらず、したがって検出(例えば広視野カメラ)のノイズ作用に起因すべき、広視野結像で検出された光子であり得る。しかし、物理的に実際の検出された光子であって、散乱過程等によりピクセルに入射したが、孤立された蛍光エミッタからは発しない、例えば他の深度平面に由来する蛍光エミッタから発する光子でもあり得る。
位置特定不確実性テーブルは実験的に求めることができる。このために、好ましくは、少なくとも1つの較正測定が少なくとも1つの較正体、すなわち蛍光エミッタにおいて実行される。
しかし、位置特定不確実性を、この位置特定不確実性へのシステム全体の作用をモデル的に観察するシミュレーションによって求めることもできる。これにより、位置特定不確実性テーブルを準備して作成することもできる(第1の変形例)。または、位置特定不確実性を直接計算することができる(第2の変形例)。シミュレーションでは、相応の位置データを備える理想的な点形状の蛍光エミッタから出発する。この理想的蛍光エミッタの画像は、蛍光エミッタが1画像当たりに出力する所定数の光子に対して、例えば平均光子数に対してシミュレーションされる。引き続きこのシミュレートされた画像が、実際の顕微鏡に可及的に対応する点画像広がり関数によって、拡張された画像に修正される。ここで点画像広がり関数は、真の顕微鏡の場合のように位置データに依存する。次に拡張された画像は統計的なノイズの影響に曝され、このようにしてノイズの入った拡張された画像に修正される。統計的なノイズの影響は、これが所定数の光子に依存するようシミュレートされる。次に、このようにして得られたノイズの入った拡張された画像には、位置特定分析が施される。好ましくは、ノイズの入った拡張された画像に対して3次元位置データが得られる。このステップは何回も繰り返される。ここで形成された個々の画像は、統計的なノイズの影響に基づいて容易に区別され、対応して蛍光エミッタは区別して位置特定される。これら複数の画像、例えば100の画像により種々の位置特定が容易になり、したがって、位置データのシミュレーションが容易になる。光子は、ノイズの入った個別の画像における相違に関して、例えばポアソン統計学に従うため、すなわち相違は(シミュレートされた)ピクセルに常に均等には分散されておらず、さらに自由選択でバックグランド変動bにより各個別画像においてピクセル明度が容易に区別されるので、各個別画像ごとに別の位置特定が行われる。シミュレートされた位置データを互いに比較することにより、または所定の(実際の)位置データと比較することにより、位置データの不確実性が得られる。これらのステップを実行した後、所定の位置データおよび所定数の光子に対する不確実性データが得られる。
したがって、これらのステップは場合により、位置特定不確実性テーブルを得るために、光子の数の種々の設定に対して、および3次元位置データの種々の設定に対して繰り返される。この位置特定不確実性テーブルは、位置データおよび光子数に対してある種の値領域をカバーしている。
したがって、位置特定不確実性テーブルを実験的に作成することの代わりにシミュレーションを使用するために、本発明の方法の改善形態は好ましくは以下のステップを有する。
a)理想的な点形状の蛍光エミッタの画像を、蛍光エミッタが1つの画像に対して出力する所定数の光子に対して、とりわけ平均光子数に対してシミュレートするステップと、
b)このシミュレートされた画像を点画像広がり関数により、拡張された画像に修正し、ここで点画像広がり関数は好ましくは蛍光エミッタの所定の位置データに依存するステップと、
c)拡張された画像を、統計的なノイズの影響を考慮してノイズの入った拡張された画像に修正し、ここで統計的なノイズの影響は所定数の光子に依存するステップと、
d)拡張された画像に位置特定分析を施し、シミュレートされた位置データを、ノイズの入った拡張された画像から獲得するステップと、
e)ステップb)からd)を、統計的なノイズの影響の種々の値に対して複数回繰り返し、そこから得られた複数のシミュレートされた位置データの分散、または複数のシミュレートされた位置データと所定の位置データとの間の相違の分散を決定し、分散から所定の位置データの不確実性を求めるステップと、
f)ステップa)からe)を、光子の数の種々の設定に対して、および3次元位置データの種々の設定に対して繰り返すステップと、を有する。
統計的なノイズを考慮することは、シミュレーションにおいて(2つの変形例によれば)特に好ましくは、ノイズの入った画像を外乱を形成するモンテカルロシミュレーションによって実現することができる。各繰り返しでは、統計的な外乱の別の状態が使用される。このためにポアソン分布の評価が特に好ましく、このポアソン分布の(公知のようにただ1つの)パラメータは所定数の光子に基づく。ここでは、位置特定された分子当たりの平均光子数が特に好適であることが証明されている。したがって、モンテカルロシミュレーションの各実行の際に、ノイズの入った画像の修正のために、とりわけ画像ピクセルへの光子の分布に関して、別の統計的な外乱状態を使用する。これは例えばポアソン分布により得られた値である。
前述のシミュレーションは、シミュレートされた画像またはノイズの入った画像に、前述のバックグランド変動に相当するバックグランドノイズが付加的に付与されている場合には、付加的にまたバックグランドノイズを広視野画像検出の際に考慮することができる。この場合、画像にバックグランドノイズを直接付与するか、またはバックグランドノイズに独立して統計的なノイズの影響を付与し、それからステップb)で得られた画像と組み合わせる。同等の選択肢は、点画像広がり関数にバックグランドノイズを考慮する成分を付与することである。
位置特定不確実性テーブルは、当然のことであるが、適切でなければならず、考慮されたパラメータの測定の際に発生し得る値領域全体に対して、不確実性データを提示すべきである。一般的に言えば、位置特定不確実性テーブルは、これが(n−1)次元の表面を規定することにより、n次元のパラメータ空間をカバーする。この表面は、n次元のパラメータ空間の所定の支持個所によって与えられる。支持個所の数をできるだけ少数に維持したい場合には、支持個所の間にあるパラメータ値に対しては位置特定不精度テーブル内で内挿補間を実行するのが合目的である。検出された値領域の外にあるパラメータ値に対しては、外挿補間が考えられる。この措置の際に、内挿補間または外挿補間により発生する誤差をできるだけ小さく維持するために、位置特定不確実性テーブルを、3次元位置データを求める位置特定分析内で反復的に形成し、または拡張するのが好ましい。その際、反復ステップは、位置特定分析が位置データの値を提供するとき、かつ位置特定不確実性テーブルの対応の支持個所から特定の最小限度だけ離れた光子の数ごとのうちの少なくとも一方において常に実行される。したがって、入力パラメータに対してステップ幅を備える値領域をまず規定すれば、位置特定不確実性テーブルがこの値領域とステップ幅に対して形成され、実際の稼働で既存の支持個所から過度に離れている内挿補間または外挿補間を実行しなければならないこととなる場合には、この位置特定不確実性テーブルは常に補完される。このような場合、シミュレーションによって位置特定不確実性テーブルは相応に補完される。このことは、PALM全体画像形成またはPALMデータ評価の間に完全に実行することができる。
位置特定不確実性テーブルを実験的に決定するために、励起光線の出力、例えば蛍光励起のレーザ出力の変化と、蛍光エミッタの適切な選択とによって光子数を調整することができる。バックグランド変動は、照明角度の変化によって変化させることができる。例えば、僅かなバックグランドの原因となるTIRF照明を、より多くのバックグランド光線となるEPI照明と、種々の関連で組み合わせることができる。付加的に、励起強度変化および白色光による広視野照明のうちの少なくとも一方も、バックグランド変動の変化のために使用することができる。
z位置は、位置特定不確実性テーブルを実験的に決定する際に、試料の走行または対象物の走行により、すなわち一般的には試料と対象物との間の相対位置の変化により修正することができる。
同じことがx位置/y位置に対しても当てはまり、これらの位置は付加的に蛍光エミッタの選択によってさらに変化することができる。この種の実験的な調整によって所定のパラメータの値領域を求めることができ、これにより位置特定不確実性テーブルを十分に密な多数の支持個所により形成することができる。
以下で、方法ステップを説明する場合、これらは適切に構成された制御装置を有する顕微鏡の相応の稼働によって実現することができる。したがって、方法的特徴について説明する場合、これらは、例えば適切なオペレーションプログラムによる制御装置の適切な構成に該当する。反対のことも、もちろん当てはまり、例えば相応のプログラミング手段によって達成された制御装置の特徴は、相応の稼働方法の同等の方法的特徴に該当し、これを開示するものである。
前述のおよび後でさらに説明する特徴は、記載の組合せだけでなく、本発明の枠を逸脱することなく他の組合せでも、または単独でも使用可能であることは自明である。
以下に本発明を、例えば本発明の重要な特徴も開示する添付図面に基づき、さらに詳しく説明する。
PALM法を実施するための顕微鏡の概略図。 PALM法において図1の顕微鏡により高解像度画像を形成するためのフローチャート。 図2の方法で使用される位置特定不精度テーブルを作成するためのフローチャート。 位置特定不精度テーブルを実験的に決定するための方法に対するフローチャート。 図4のフローチャートによる方法に対して択一的または補完的なシミュレーションによってテーブルを少なくとも部分的に作成するためのフローチャート。
図1は、試料2を高分解能に結像する顕微鏡1を概略的に示す。ここで概念「高分解能」は、従来技術では通常のように、結像の回折限界を超えて向上された空間分解能を有する結像方法に対して使用される。顕微鏡1は、蛍光エミッタを含む試料2を結像するために用いられる。照明個所(励起装置)3からの光線によって蛍光エミッタが、蛍光光線を放出するように励起される。広視野カメラ(結像装置)4がビームスプリッタ5を介して蛍光発光する試料2を結像する。顕微鏡1の稼働は制御装置6によって制御される。この制御装置は、相応の(それ以上特定されない)制御線路を介して、試料2の存在するテーブル、広視野カメラ4および照明源3と接続されており、制御装置はこれらのエレメントを制御し、またはデータをそれらから受け取り、とりわけ広視野カメラの画像データを受け取る。
制御装置6は、顕微鏡1が位置特定に基づく顕微鏡検査方法、例えばPALM法を実施するように構成されている。
ここで実施される方法の経過は、図2にフローチャートとして示されている。ステップS1でのこの方法のスタート後、励起ステップS2で試料2が照明源3から照射される。その際、この照射は、個々の蛍光エミッタが結像の空間解像度に関して孤立されるように行われる。結像は後続の画像記録ステップS3で行われる。画像記録ステップS3は、少なくとも個々の蛍光エミッタが隣接する蛍光エミッタに対して、広視野結像の空間分解能よりも大きな間隔を有することにより、試料の広視野画像を提供する。
引き続く位置特定ステップS4は、これら孤立された蛍光エミッタに対して画像中の位置データを決定する。この画像は、回折限界により本来可能であるよりも大きな空間分解能を備えている。このことは、位置特定ステップS4において、1つの孤立された蛍光エミッタから記録された光線がちょうど1つの蛍光エミッタからだけ発するものであることが既知であることによって行われる。この知識により、この蛍光エミッタが存在する場所を、回折限界により可能であるよりも大きな精度によって求めることができる。位置特定ステップS4で行われる位置特定分析は、1つの孤立された蛍光エミッタのエアリーディスク(Airy disc)について、ここで位置データを意味する重心を求めることであると、簡単に表現することができる。このような位置特定分析は、従来技術で種々のアプローチが公知であり、例えば明細書の冒頭部分に挙げた刊行物も公知である。
ステップS4では、孤立された蛍光エミッタの位置データが3次元で求められる。すなわち入射する光線または結像の方向で試料2内に存在する深さ方向と、これに垂直のx/y平面である。
位置特定ステップS4では高分解能の位置データに加えて位置特定不精度も決定される。この位置特定不精度は、位置データを求める際の位置特定誤差を表す。位置特定不精度の決定について、以下、図3から図5に基づきさらに詳細に説明する。
位置特定ステップS4を一度実施すると、前に実施された画像記録ステップS3の広視野画像中に孤立されている蛍光エミッタに対してだけ位置データが得られる。したがって、可及的に全ての蛍光エミッタについて試料を処理するために、ステップS2からS4が複数回繰り返され、これにより可及的に全ての蛍光エミッタを孤立された蛍光エミッタの部分集合内に一度有するようにする。したがって、位置特定ステップS4には解除ステップS5が続き、この解除ステップでは試料が十分な程度に結像されたか否かが検査される。このために、例えば、位置特定ステップS4の先行の全ての検出から得られた多量の位置データにアクセスすることができる。この種の問い合わせは、従来技術で当業者には公知である。なぜなら、このことは、PALM法または位置決め精度を求めずに動作する他の位置特定に基づく高分解能方法でも行われるからである。試料が十分に包括的に検出されたなら(イエス分岐)、ステップS6で画像出力が行われる。それ以外の場合(ノー分岐)、ステップS2からS4が再度実行される。このとき再度の実行の際には、できるだけ他の蛍光エミッタが孤立されるようにする。そのために従来技術では種々の可能性が存在し、例えば蛍光励起可能性に関してスイッチオフまたはスイッチオンすることのできる蛍光エミッタを使用すること等がある。この関連で従来技術を参照されたい。
最も一般的な(最も簡単であるので)方法は、まず全ての画像データを記録し(そして場合により記憶し)、次に、これまで説明したように各個別画像に対してプロセッシングを実行することである。
全体画像を画像出力ステップS6で出力した後、ステップS7で本方法は終了し、そして試料2は、光学的結像限界を超える空間分解能で結像される。ここでは、蛍光エミッタの各位置データに対して不精度も指示される。この不精度は、とりわけ、(フローチャートには示していない)さらなるステップで全体画像にある構造が特定される場合に有利である。
すでに述べたように、孤立された蛍光エミッタに対する位置特定ステップS4では、位置データだけではなく位置データの不確実性も求められる。このことは、少なくともz方向で、すなわち深さ方向で行われるが、好ましくは他の2つの座標でも行われる。
図3は、位置特定ステップS4の可能な実施形態に対するフローチャートを示す。このフローチャートには、データアクセスが破線の二重矢印によって示されている。位置特定ステップS4に対する出発点は、先行の画像記録ステップS3で準備されたカメラ生データ7である。このカメラ生データにアクセスしながら、孤立された蛍光エミッタに対する位置データを提供する位置特定分析9が実行される。ここで位置特定分析9は、例えば顕微鏡1により解像することのできる3次元体積を表す点画像広がりデータ14にアクセスする。
位置特定分析9の結果として、孤立された蛍光エミッタに対する位置データを指示する分子データ10が得られる。この分子データ10はさらに、各孤立された蛍光エミッタに対して、すなわち各同定された位置データに対して、ちょうどこの蛍光エミッタの位置データの検出のために位置特定分析で使用された光子の数Nを含んでいる。光子の数Nは位置特定分析9から既知であり、通常、この数はすでに、各ピクセルに対していくつの光子がそこに収集されたかを指示するカメラ生データ7に含まれている。
さらに、位置特定分析9の結果として、バックグランド変動bを記述する光子数が既知となる。通常、この数は、孤立された蛍光エミッタごとに検出される平均光子数であるが、この蛍光エミッタからの光線には起因すべきでない。これは仮想光子であり得る。すなわち、ノイズ過程に基づき光子検出の際に検出されたと指示される光子である。または散乱過程等に基づき孤立された蛍光エミッタからは発しないが、この蛍光エミッタに割り当てられた体積内で誤って検出された真の光子である。したがって、分子データ10は、位置データならびに光子の数N、およびバックグランド変動bに関する光子数を含んでおり、これは各孤立された蛍光エミッタに対して含んでいる。バックグランド変動bに該当するデータは省略することができる。
後続の不精度決定12では、少なくともz座標と収集された変動の数Nに基づき、z座標に関する位置不精度が求められる。トンプソンら(Thompson et al.)の過度に楽観的な公式により作業したくない場合には、これはオプションとしてx座標とy座標に基づいても行うこともできる。バックグランド変動bも使用する。しかし、これは省略することができる。
不精度決定12では、前述の入力パラメータに依存して位置不精度を送出するテーブル(位置特定不確実性テーブル)15にアクセスする。通常、これは、絶対的位置不精度である。ここでは、絶対ゼロ点からの間隔を基準にした相対的位置不精度または関数的に規定された他の位置不精度も可能である。これはテーブル15の構築および構造に依存する。
不精度決定12の結果として、さらなる分子データ13が存在する。この分子データ13は、それぞれの蛍光エミッタの位置データの少なくともz座標、オプションとしてx座標およびy座標のうちの少なくとも一方に対する不精度データの点で分子データ10とは異なる。
図3の方法で使用されるテーブル15は、実験的に求めることができる。このことを以下、図4に基づいて説明する。これとは択一的にまたは補完的に、テーブル15をシミュレーションによって得ることもできる。実験的に求められたテーブル15の支持個所密度または支持個所領域が十分でないことが、この方法で確定される場合、シミュレーションを実験的な獲得の完全な代替とすることも、実験的に求めた基本テーブルの補完にすることも可能である。実験的なテーブルの獲得を、以下図4に基づき、シミュレーションベースのテーブルの獲得を図5に基づき説明する。
図4は、テーブル15に対して実験的に値を決定するためのフローチャートを示す。この方法の開始前に、パラメータ空間と値領域がテーブル15に対して設定される。例として、図4の説明では、テーブル15がパラメータz、Nおよびbを、すなわちz座標、孤立された1つの蛍光エミッタに対して収集された光子の数、およびバックグランド変動に対する尺度を含むことが前提である。これらのパラメータに対する値領域は、後の測定の際に予想される値がこれによりカバーされるよう選択される。さらに、ステップ幅が値領域に対して設定される。その際、これは実験的に利用できる調整可能性を考慮して行われる。
次に、明細書の一般的部分ですでに説明したように、較正測定18のために較正体が準備される。この較正体は、広がりのある蛍光粒子を有し、この広がりは使用される顕微鏡により分解すべき最小の構造よりも格段に小さい。したがって、蛍光粒子は、点画像広がり関数以下の広がりを有する。公知の蛍光粒子は、例えばいわゆる量子ドットである。蛍光粒子の広がり対する上限は既知であるから、粒子は既知の空間広がりを有する。さらにこの粒子の空間位置も正確に既知である。
較正測定18では較正体が複数回結像される。こうして得られたこれらの各広視野画像において、較正測定18の構成部分である位置特定ステップS3で、蛍光発光するエミッタに対する位置データが獲得される。蛍光発光するエミッタはさらに較正体内で孤立されている。
このようにして分子データ10が蛍光粒子に対して、すなわち較正測定18中に得られた個々の各記録に対して得られる。次にテーブル15に対する値を、各個別画像に対する分子データ10で得られた位置データの比較および既知の位置データとの比較により求めることができる。択一的にテーブル15のデータを、位置データの標準偏差を求めるために個別画像の分子データを相互にだけ比較することによって得ることも可能である。この択一例のためには、蛍光粒子の実際の空間位置がまったく未知でなければならない。この場合、較正体に対しては、蛍光粒子が顕微鏡の分解能限界以下の空間広がりを有しているという知識だけが必要である。択一的に(上記参照)実際の位置データとの比較を行うことができる。
分子データの比較は、実験的に実施される方法の全ての場合において、前述の実施例では蛍光粒子により実現されたそれぞれ孤立された蛍光エミッタに対してテーブル15が不精度を指示すべきである(最低限の場合でz座標)という点で、位置データが記録された個別画像相互間で比較されるか、または較正体内の既知の実際の位置データと比較されることを意味する。
較正測定18、分子データ10の形成および比較19は、規定のパラメータ空間内に以前に設定された値領域の全ての支持個所に対して実行される。対応する値を顕微鏡検査の実験的修正によって変化することについては、明細書の一般的部分を参照されたい。そこには対応する措置と手段がすでに述べられている。
図4のフローチャートの終了時に、図3の不精度決定12で使用されるテーブル15が作成される。
ここで、テーブル15が支持個所を有していないパラメータ空間の値が発生する場合、テーブル15内で内挿補間ないし外挿補間される。テーブル15は全体的にも部分的にも、シミュレーションによって得ることもできる。
図5は、対応するフローチャートを示す。ここでは、エレメント、例えば図4のエレメントに対応するデータ等には同じ参照符号が付してある。
図5のフローチャートは、図2のステップS4、すなわち位置特定ステップを詳細に示す。このステップは、画像記録で形成されたカメラ生データ7からスタートする。まずステップ8で、位置データ不精度を指示するためのテーブルがすでに存在するか否かが問い合わされる。これが存在しなければ(ノー分岐)、シミュレーション16により継続される。シミュレーション16については以下でさらに説明する。シミュレーションは点画像広がりデータ14にアクセスし、テーブル15を作成する。この状態では以前にテーブルがまったく存在していないから、所定の値領域と前もって設定された支持個所密度を備える所定のパラメータ空間内でテーブルが占有または作成される。
問い合わせ8でテーブルが存在していると、イエス分岐により位置特定分析に進む。テーブル15がすでに前もってシミュレーションで作成されているか(例えばステップS4の先行の実施におけるステップ16ですでに実施されているか)、または位置特定テーブルがすでに実験的に形成されていることにより、テーブル15はすでに存在することができる。したがって、図5のフローチャートは、テーブル15が純粋にシミュレーションに基づいて形成される変形例も、実験的に形成されたテーブル15がシミュレーションにより補完される実施形態もカバーする。
位置特定分析9は、カメラ生データ7にも、点画像広がり関数14にもアクセスする。位置特定分析は、すでに述べたように、分子データ10を提供する。次にステップ11で、これらの分子データについて、すなわち少なくともzとnの対応する値について、しかし、オプションとして付加的にx、yおよびbについても、テーブル15のカバーされる値領域内にあるか否かが問い合わされる。領域内にあれば(イエス分岐)、次のステップ12で不精度が決定される。ここでは分子データ10にもテーブル15にもアクセスされる。結果として、拡張された分子データ13が得られる。
ステップ11での問い合わせで、対応する値が全体的にテーブル15の外にあるか、または次の支持個所がテーブル15内で過度に離れていれば、ステップ17でシミュレーションが再度実行される。このシミュレーションは実質的にシミュレーション16に対応する。しかし、パラメータ空間に対して、問い合わせステップ11とこれの基礎となる分子データ10により設定される値領域を使用する。このシミュレーション17も点画像広がり関数14にアクセスする。このシミュレーションは、すでに存在するテーブル16を補完する。
シミュレーション16または17は、明細書の一般的部分ですでに説明した原理に従う。
したがって、まず、相応の値領域を備える入力パラメータ空間が設定される。引き続き各支持個所に対して、すなわちテーブルに対する値を形成すべき(少なくともz座標に関する)位置データに対して、理想的な点形状のエミッタの画像を所定数の光子によってシミュレートし、点画像広がり関数で処理する。これは、使用される顕微鏡の結像特性を考慮する拡張された画像を得るためである。この拡張された画像は、統計的なノイズの影響を考慮してノイズの入った拡張された画像に修正され、この画像では統計的なノイズの影響が光子数に依存して考慮される。このことは、明細書の一般的部分ですでに説明したようにシミュレーションで、例えばモンテカルロシミュレーションで行うことができる。次に、拡張されノイズの入った画像には位置特定分析が施され、このことは、この画像に対する3次元位置データを提供する。このステップは各個々のパラメータ集合(例えばz,N,b,x,y)に対して、k回繰り返される。これにより、1つの蛍光エミッタのシミュレーションに対してk個の位置特定が得られ、これらの位置特定は統計的影響に基づいて区別される。したがって、k個の位置データから成る1つのクラウドが得られる。このクラウドは、位置データ相互の比較により、または既知の位置データとの比較により、例えばシグマリミット等の設定の後に不確実性を生み出す。これらのステップは、ここで、シミュレーションを行うべき多次元テーブルの各支持個所について繰り返される。したがって、シミュレーション16と17の相違は、実質的にシミュレーションを行う値領域の選択だけである。
テーブル15を使用することの代わりに、図5に類似する1つの方法では、各位置データに対して所属の位置不確実性がシミュレーションにより計算される。この実施形態は、図5のフローチャートに対応するが、問い合わせ8が省略され、イエス分岐により直ちに継続される点が変更されている。問い合わせ11も同様に省略され、ノー分岐に進む。とりわけ、シミュレーション17の結果は不確実性決定12に直接転送され、テーブル15には書き込まれない。
1…顕微鏡、2…試料、3…照明個所(励起装置)、4…広視野カメラ(結像装置)、5…ビームスプリッタ、6…制御装置(位置特定分析装置)、14…点画像広がりデータ(点画像広がり関数)、15…位置特定不確実性テーブル。

Claims (17)

  1. 蛍光エミッタを含む試料(2)を高分解能に3D位置特定する顕微鏡検査方法であって、・試料中の蛍光エミッタが、蛍光光線を放出するように励起され、該試料が空間分解能により広視野(4)に結像され、
    ・励起は、該空間分解能を基準にして少なくとも若干の蛍光エミッタが孤立されるように行われ、
    ・位置特定分析(S3)において、結像の深さ方向であるz座標と、該z座標に直交するx座標およびy座標とを含む3次元位置データを、各孤立された蛍光エミッタに対して、該空間分解能を超える精度によって決定する方法において、
    ・位置特定不確実性テーブル(15)を作成し、該位置特定不確実性テーブルは、該位置データの不確実性を、少なくとも該3次元位置データのz座標に関して、該z座標と該結像の際に該広視野(4)に収集された光子の数の関数として提示し、
    ・各位置特定された蛍光エミッタに対して、該位置特定不確実性テーブル(15)にアクセスしながら、該位置特定分析で決定された3次元位置データに対して位置データ不確実性を求める、ことを特徴とする方法。
  2. 前記位置特定不確実性テーブル(15)は、少なくとも1つの較正測定を少なくとも1つの較正体で実施することにより作成され、該較正体は、結像の分解能限界以下の空間広がりを備える蛍光エミッタを有し、該蛍光エミッタは該分解能限界を基準にして孤立されている、ことを特徴とする請求項1に記載の方法。
  3. 前記位置特定不確実性テーブル(15)は、シミュレーションによって作成され、シミュレーションは、
    a)理想的な点形状の蛍光エミッタの画像を、該蛍光エミッタが1つの画像のために出力する所定数の光子に対して、とりわけ平均光子数に対してシミュレートするステップと、b)該シミュレートされた画像を点画像広がり関数(14)により1つの拡張された画像に修正するステップと、
    c)該拡張された画像を、統計的なノイズの影響を考慮してノイズの入った拡張された画像に修正し、ここで該統計的なノイズの影響は該所定数の光子に依存するステップと、
    d)該拡張された画像に前記位置特定分析を施し、これによりシミュレートされた位置データを該ノイズの入った拡張された画像から獲得するステップと、
    e)該ステップb)からd)を、該統計的なノイズの影響の種々の値に対して複数回繰り返し、そこから得られた複数のシミュレートされた位置データの分散、または該複数のシミュレートされた位置データと該所定の位置データとの間の相違の分散を決定し、該分散から該所定の位置データの不確実性を求めるステップと、
    f)該ステップa)からe)を、前記光子の数の種々の設定に対して、および前記3次元位置データの種々の設定に対して繰り返すステップと、
    を有する、ことを特徴とする請求項1に記載の方法。
  4. 蛍光エミッタを含む試料(2)を高分解能に3D位置特定する顕微鏡検査方法であって、・試料中の蛍光エミッタが、蛍光光線を放出するように励起され、該試料が空間分解能により広視野(4)に結像され、
    ・励起は、該空間分解能を基準にして少なくとも若干の蛍光エミッタが孤立されるように行われ、
    ・位置特定分析(S3)において、結像の深さ方向であるz座標と、該z座標に直交するx座標およびy座標とを含む3次元位置データを、各孤立された蛍光エミッタに対して、該空間分解能を超える精度によって決定する方法において、
    ・位置特定不確実性テーブル(15)が求められ、該位置特定不確実性テーブル(15)は、該位置データの不確実性を、少なくとも該3次元位置データのz座標に関して、該z座標と該結像の際に該広視野(4)に収集された光子の数の関数として提示し、
    ・各位置特定された蛍光エミッタに対して、前記位置特定不確実性テーブル(15)にアクセスしながら、該位置特定分析で決定された位置データに対して位置データ不確実性を求め、
    ・該位置特定不確実性は、シミュレーションによって求められ、シミュレーションは、
    a)理想的な点形状の蛍光エミッタの画像を、該蛍光エミッタが1つの画像のために出力する所定数の光子に対して、とりわけ平均光子数に対してシミュレートするステップと、b)該シミュレートされた画像を点画像広がり関数(14)により1つの拡張された画像に修正し、ここで該点画像広がり関数(14)は好ましくは該蛍光エミッタの所定の位置データに依存するステップと、
    c)該拡張された画像を、統計的なノイズの影響を考慮してノイズの入った拡張された画像に修正し、ここで該統計的なノイズの影響は該光子の数に依存するステップと、
    d)該拡張された画像に該位置特定分析を施し、これによりシミュレートされた位置データを該ノイズの入った拡張された画像から獲得するステップと、
    e)該ステップb)からd)を、該統計的なノイズの影響の種々の値に対して複数回繰り返し、そこから得られた複数のシミュレートされた位置データの分散、または該複数のシミュレートされた位置データと該所定の位置データとの間の分散を求め、該分散から該所定の位置データの不確実性を求めるステップと、
    を有する、ことを特徴とする方法。
  5. 前記ステップc)の繰り返しで、前記ノイズの入った画像はモンテカルロシミュレーションによって外乱が形成され、ここで各繰り返しでは、統計的な外乱の別の状態が使用されことを特徴とする請求項3または4に記載の方法。
  6. 前記点画像広がり関数(14)は、実験的な調査から、または理論的なモデルから導出される、ことを特徴とする請求項3から5までのいずれか一項に記載の方法。
  7. 前記ステップd)の前に画像にバックグランドノイズを付与することを特徴とする請求項3から6までのいずれか一項に記載の方法。
  8. 前記位置特定不確実性テーブル(15)は、前記位置特定分析(S3)内で反復的に形成または拡張され、ここで反復ステップは、次に、前記位置特定分析(S3)が位置データの値を提供するとき、かつ前記位置特定不確実性テーブル(15)の対応する既存の値から特定の最小限度だけ離れた光子の数のうちの少なくとも一方において実行される、ことを特徴とするそれぞれ請求項3を引用する請求項5から7までのいずれか一項または請求項3に記載の方法。
  9. 前記位置特定不確実性テーブル(15)はさらに不確実性を、前記広視野(4)に結像する際に検出されたバックグランド光線の変動強度、および前記広視野(4)に結像する際にそれぞれ孤立された蛍光エミッタに対して収集された光子の偏光のうちの少なくとも1つのパラメータの関数として指示する、ことを特徴とする請求項1から8までのいずれか一項に記載された方法であるが、当該方法が請求項4を直接または間接的に引用する場合には、請求項4または請求項5から7までのいずれか一項を引用しない方法。
  10. 前記位置特定不確実性テーブル(15)は、前記位置データの前記x座標および前記y座標に関する不確実性も、前記x座標と前記y座標の関数として指示する、ことを特徴とする請求項1から9までのいずれか一項に記載された方法であるが、当該方法が請求項4、または請求項4を直接もしくは間接的に引用する場合には請求項5から7までのいずれか一項を引用しない方法。
  11. 前記位置特定された蛍光エミッタの1つに対するz座標および光子の数のうちの少なくとも一方が、前記位置特定不確実性テーブル(15)の対応する値から離れている場合、前記位置特定不確実性テーブル(15)に基づいて内挿補間または外挿補間される、ことを特徴とする請求項1から10までのいずれか一項に記載された方法であるが、当該方法が請求項4、または請求項4を直接もしくは間接的に引用する場合には請求項5から7までのいずれか一項を引用しない方法。
  12. 蛍光エミッタを含む試料を3D位置特定顕微鏡検査するための高分解能顕微鏡であって、該高分解能顕微鏡は、
    ・蛍光光線を放出させるために試料(2)中の該蛍光エミッタを励起するように構成された励起装置(3)と、該試料(2)を空間分解能により結像するように構成された結像装置(4)とを有し、ここで、
    ・該励起装置(3)は、該空間分解能を基準にして少なくとも若干の蛍光エミッタが該結像中に孤立されるように構成されており、該高分解能顕微鏡(1)は、
    ・位置特定分析装置(6)を有し、該位置特定分析装置(6)は、該結像の深さ方向におけるz座標と、該z座標に直交するx座標およびy座標とを含む3次元位置データを、各孤立された蛍光エミッタに対して、該空間分解能を超える精度で決定するように構成されている、高分解能顕微鏡において、
    ・該位置特定分析装置(6)は位置特定不確実性テーブル(15)を有し、該位置特定不確実性テーブル(15)は、3次元位置データの不確実性を、少なくとも該3次元位置データのz座標に関して、z座標と広視野カメラ(4)に収集された光子の数の関数として提示し、
    ・該位置特定分析装置(6)は、各位置特定された蛍光エミッタに対して、該位置特定不確実性テーブル(15)にアクセスしながら、以前に決定された3次元位置データに対する位置データ不確実性を求めるように構成されている、ことを特徴とする高分解能顕微鏡。
  13. 前記位置特定分析装置(6)が、請求項4を引用しない請求項5から10までのいずれか一項に記載の方法を実施するか、または請求項2もしくは請求項3に記載の方法を実施するように構成された、請求項12に記載の高分解能顕微鏡。
  14. 蛍光エミッタを含む試料を3D位置特定顕微鏡検査するための高分解能顕微鏡であって、・蛍光光線を放出させるために試料(2)中の該蛍光エミッタを励起するように構成された励起装置(3)と、該試料(2)を空間分解能により結像するように構成された結像装置(4)とを有し、ここで、
    ・該励起装置(3)は、該空間分解能を基準にして少なくとも若干の蛍光エミッタが該結像中に孤立されるように構成されており、該高分解能顕微鏡(1)は、
    ・位置特定分析装置(6)を有し、該位置特定分析装置(6)は、該結像の深さ方向におけるz座標と、該z座標に直交するx座標およびy座標とを含む3次元位置データを、各孤立された蛍光エミッタに対して、該空間分解能を超える精度で決定するように構成されている、高分解能顕微鏡において、
    該位置特定分析装置(6)は、請求項4に記載の方法を実施するように構成されている、ことを特徴とする高分解能顕微鏡。
  15. 前記点画像広がり関数(14)は、該蛍光エミッタの所定の位置データに依存する、請求項3に記載の方法。
  16. 前記統計的な外乱の別の状態は、ポアソン分布の評価によって得られ、該ポアソン分布のパラメータは前記所定数の光子に基づいている、請求項5に記載の方法。
  17. 前記バックグランドノイズは、前記所定の位置データに依存する、請求項7に記載の方法。
JP2013256205A 2012-12-21 2013-12-11 高分解能3d位置特定顕微鏡検査方法 Active JP6393474B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012224306.2 2012-12-21
DE201210224306 DE102012224306A1 (de) 2012-12-21 2012-12-21 Verfahren zur hochauflösenden 3D-Lokalisierungsmikroskopie

Publications (2)

Publication Number Publication Date
JP2014123124A JP2014123124A (ja) 2014-07-03
JP6393474B2 true JP6393474B2 (ja) 2018-09-19

Family

ID=49880402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013256205A Active JP6393474B2 (ja) 2012-12-21 2013-12-11 高分解能3d位置特定顕微鏡検査方法

Country Status (4)

Country Link
US (2) US10031327B2 (ja)
EP (1) EP2752699B1 (ja)
JP (1) JP6393474B2 (ja)
DE (1) DE102012224306A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10830639B2 (en) * 2014-09-25 2020-11-10 Northwestern University Devices, methods, and systems relating to super resolution imaging
EP3382439A4 (en) * 2015-11-27 2019-12-11 Nikon Corporation MICROSCOPE, OBSERVATION METHOD, AND IMAGE PROCESSING PROGRAM
DE102016212348A1 (de) * 2016-07-06 2018-01-11 Carl Zeiss Microscopy Gmbh Verfahren zur quantitativen Auswertung von Mikroskopbilddaten, Mikroskop und Softwareprodukt
DE102017105103A1 (de) 2017-03-10 2018-09-13 Carl Zeiss Microscopy Gmbh 3D-Mikroskopie
DE102018114090A1 (de) * 2018-06-13 2019-12-19 SURFACE CONCEPT GmbH Bildverarbeitungsvorrichtung und Verfahren zur Bildverarbeitung, insbesondere für ein superauflösendes Mikroskop
DE102018122652A1 (de) 2018-09-17 2020-03-19 Carl Zeiss Microscopy Gmbh Spektralauflösende, hochauflösende 3D-Lokalisierungmikroskopie
US20220122284A1 (en) * 2019-01-29 2022-04-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Fast volumetric imaging system and process for fluorescent tissue structures and activities
US11815454B2 (en) 2020-03-27 2023-11-14 Samsung Electronics Co., Ltd. Method and system for optimizing Monte Carlo simulations for diffuse reflectance spectroscopy
CN115100033B (zh) * 2022-05-20 2023-09-08 浙江大学 一种荧光显微图像超分辨重建方法和装置以及计算设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5389101A (en) * 1992-04-21 1995-02-14 University Of Utah Apparatus and method for photogrammetric surgical localization
JP4709278B2 (ja) * 2005-05-23 2011-06-22 エフ. ヘスス ハラルド 光変換可能な光学標識を用いる光学顕微鏡法
JP4572162B2 (ja) * 2005-11-22 2010-10-27 株式会社ジーオングストローム 顕微鏡装置
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US7924432B2 (en) * 2006-12-21 2011-04-12 Howard Hughes Medical Institute Three-dimensional interferometric microscopy
JP5218723B2 (ja) * 2007-06-14 2013-06-26 株式会社Ihi 蛍光探傷方法および蛍光探傷装置
WO2009115108A1 (en) * 2008-03-19 2009-09-24 Ruprecht-Karls-Universität Heidelberg A method and an apparatus for localization of single dye molecules in the fluorescent microscopy
DE102008021641A1 (de) * 2008-04-30 2009-11-05 Carl Zeiss Microlmaging Gmbh Auflösungsgesteigerte Lumineszenzmikroskopie
WO2010065538A1 (en) * 2008-12-02 2010-06-10 The Regents Of The University Of California Imaging arrangement and microscope
DE102009060490A1 (de) 2009-12-22 2011-06-30 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Bildteileranordnung

Also Published As

Publication number Publication date
US20140176678A1 (en) 2014-06-26
EP2752699A1 (de) 2014-07-09
US10031327B2 (en) 2018-07-24
US10139611B2 (en) 2018-11-27
DE102012224306A1 (de) 2014-06-26
US20180307025A1 (en) 2018-10-25
JP2014123124A (ja) 2014-07-03
EP2752699B1 (de) 2019-07-31

Similar Documents

Publication Publication Date Title
JP6393474B2 (ja) 高分解能3d位置特定顕微鏡検査方法
Sage et al. Super-resolution fight club: assessment of 2D and 3D single-molecule localization microscopy software
Gorelick et al. PIE-scope, integrated cryo-correlative light and FIB/SEM microscopy
US10955331B2 (en) Imaging or measurement methods and systems
EP2966492B1 (en) Method and apparatus for single-particle localization using wavelet analysis
JP6148256B2 (ja) 高分解能3d蛍光顕微鏡法のための顕微鏡および方法
US20180329225A1 (en) Pattern Detection at Low Signal-To-Noise Ratio
JP6144280B2 (ja) 高分解能3d蛍光顕微鏡法のための顕微鏡および方法
US9607804B2 (en) Scanning transmission electron microscope having multiple beams and post-detection image correction
US10475168B2 (en) Method for generating a result image and optical device
Carlini et al. Correction of a depth-dependent lateral distortion in 3D super-resolution imaging
US20160267658A1 (en) Scanning Microscope and Method for Determining the Point Spread Function (PSF)of a Scanning Microscope
JP2012530947A (ja) 顕微鏡画像における蛍光事象の評価方法
Yang et al. Deep-learning-based virtual refocusing of images using an engineered point-spread function
JP2023179460A (ja) 特異分布と深層学習とに基づく超解像計測法
CN105261544B (zh) 校准扫描透射带电粒子显微镜的方法
Martínez et al. Superresolution method for a single wide‐field image deconvolution by superposition of point sources
JP7472134B2 (ja) 試料の3次元領域の蛍光信号を検出するための方法および装置
WO2021053245A1 (en) Pattern activated structured illumination localization microscopy
Hinterer et al. Robust and bias-free localization of individual fixed dipole emitters achieving the Cramér Rao bound for applications in cryo-single molecule localization microscopy
Joglekar et al. A sensitized emission based calibration of FRET efficiency for probing the architecture of macromolecular machines
US20200088983A1 (en) Method and device for determining a property of an object
Furia et al. Confocal Microscopy for High‐Resolution and High‐Content Analysis of the Cell Cycle
Taylor et al. Model‐free quantification and visualization of colocalization in fluorescence images
Larkin et al. Photon event distribution sampling: an image formation technique for scanning microscopes that permits tracking of sub‐diffraction particles with high spatial and temporal resolutions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R150 Certificate of patent or registration of utility model

Ref document number: 6393474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250