JP5883855B2 - 試料構造を光学顕微鏡法で撮像する方法及び装置 - Google Patents

試料構造を光学顕微鏡法で撮像する方法及び装置 Download PDF

Info

Publication number
JP5883855B2
JP5883855B2 JP2013517222A JP2013517222A JP5883855B2 JP 5883855 B2 JP5883855 B2 JP 5883855B2 JP 2013517222 A JP2013517222 A JP 2013517222A JP 2013517222 A JP2013517222 A JP 2013517222A JP 5883855 B2 JP5883855 B2 JP 5883855B2
Authority
JP
Japan
Prior art keywords
image data
data set
image
individual
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013517222A
Other languages
English (en)
Other versions
JP2013533507A (ja
Inventor
マルクス デューバ
マルクス デューバ
フォルカー ザイフリート
フォルカー ザイフリート
Original Assignee
ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー
ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー, ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー filed Critical ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー
Publication of JP2013533507A publication Critical patent/JP2013533507A/ja
Application granted granted Critical
Publication of JP5883855B2 publication Critical patent/JP5883855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、試料構造を光学顕微鏡法で撮像する方法及び装置に関する。
近年、個々のマーカー(特に、蛍光分子)の逐次確率的局在化に基づいて、従来の光学顕微鏡の回折に関連する解像限界よりも小さな試料構造を表示可能な光学顕微鏡撮像法が開発された。そのような方法は、例えば、特許文献1、特許文献2、特許文献3、特許文献4、特許文献5;非特許文献1;非特許文献2に記載されている。顕微鏡のこの新しい部門は「局在顕微鏡法」とも呼ばれる。該当する方法は、例えば、PALM、FPALM、(F)STORM、PALMIRA、又はGSDIMの名称の下でも文献において既知である。
この新しい方法では共通して、撮像すべき試料構造は、2つの区別可能な状態、すなわち、「明」状態及び「暗」状態を有するマーカーを用いて準備される。例えば、蛍光染料がマーカーとして使用される場合、明状態は蛍光可能状態であり、暗状態は非蛍光可能状態である。試料構造を、像生成光学系の従来の解像限界よりも小さな分解能で撮像するには、マーカーの小さなサブセットが繰り返し、明状態に準備される。このサブセットを以下、「アクティブサブセット」と呼ぶ。アクティブサブセットは、明状態−−ひいては光学顕微鏡法により撮像可能な状態−−での隣接マーカーの平均間隔が、撮像光学系の撮像限界よりも大きくなるように選択しなければならない。アクティブサブセットの輝度信号が、空間分解光検出器、例えば、CCDカメラに撮像される。したがって、像生成光学系の解像限界によってサイズが決まる光点の形態の光の分布が、各マーカーから取得される。
結果として、複数の個々の未処理データ像が、個々の像データセットの形態で取得され、像データセットのそれぞれでは、異なるアクティブサブセットが撮像される。像解析プロセスでは、次に、光分布(明状態のマーカーを表す)の中心点が、個々の各未処理データ像で特定される。次に、個々の未処理データ像から識別された光分布の中心点が、全体像データセットの形態の1つの全体図に組み合わせられる。この全体図により生成される高分解能全体図は、マーカーの分布を反映する。したがって、「未処理データ」は以下、中心点位置を特定するために、像解析プロセスをまだ受けていないデータとして理解される。
撮像すべき試料構造を表現する複製のために、十分に多数の信号を検出しなければならない。しかし、特定のアクティブサブセット内のマーカーの数は、明状態で2つのマーカーの間に存在しなければならない最小平均間隔により制限されるため、試料構造を完全に撮像するには、非常に多数の個々の未処理データ像を取得しなければならない。個々の未処理データ像の数は通常、10,000〜100,000の範囲内にある。
個々の未処理データ像の取得に必要な時間の最短端は、光検出器の最高像取得速度により制限される。これは、全体図に必要な一連の個々の未処理データ像の合計取得時間が比較的長くなることに繋がる。したがって、合計取得時間は、数時間という長い時間になり得る。
この長い合計取得時間にわたり、像生成光学系に対する撮像中の試料の移動が生じ得る。すべての個々の未処理データ像は、高分解能全体像を生成するために、中心点特定後に結合しなければならないため、2つの連続した個々の未処理データ像の取得中に生じる試料と像生成光学系とのいかなる相対移動も、全体像の空間分解能を低下させる。多くの場合、この相対移動は、例えば、熱膨張若しくは熱収縮により、機械的応力により、又は機械部品に使用される潤滑剤の一貫性の変化により生じるシステムの系統的な機械的移動(「機械的ドリフト」とも呼ばれる)から生じる。
上述した問題を図1〜図3を参照して以下に説明する。
図1aは、3つの同心円環で構成される試料構造2を概略的に示す。以下、撮像すべきこの試料構造2の構造的特徴、特に同心円環の互いの間隔が小さく、光学顕微鏡法撮像の回折限界解像限界を下回ると仮定する。
次に、図1aに示される試料構造2にマーカーが提供され、これらのマーカーを明状態にすると(それにより、光学顕微鏡法により撮像できる)、結果として生成されるのは、光学顕微鏡法撮像の回折限界分解性能により、図1bに示される類いの顕微鏡像であり、この像では、マーカーが提供された試料構造2の個々の円環はもはや区別不可能である。図1bでは(及び図2及び図3でも)、図1aに示される試料構造2は破線の円形線で示されて、この状況を示す。図1bに示されるように、ここでの結果はぼやけ、したがって、ハッチングで示される空間的に分解されていない光分布4である。
図2aは、一連の個々の未処理データ像を示し、像のそれぞれでは、マーカーのアクティブサブセットが撮像される。アクティブマーカーは、個々の未処理データ像では、像生成光学系の解像分解によってサイズが決まる広がった光点6として見える。図2aが示すように、光点6はそれぞれ、光点6のサイズを決めるこの解像限界よりも大きな、平均間隔を互いの間にあけて存在している。
図2bは、個々の未処理データ像から、上述した像解析プロセスで光点6の中心点位置8が識別される様式を示す。次に、個々の未処理データ像から特定される中心点位置8を結合して、図2cに示される全体図にする。したがって、2cの全体図は、図1aに示される試料構造2の高分解能全体像を示す。
図3a及び図3bは、撮像中の試料構造2と像生成光学系との、2つの連続した個々の未処理データ像の取得中に生じる相対移動の結果として、全体像の空間分解能の低下がどのように生じ得るかを示す。この例では、単に説明のために、第1の個々の未処理データ像から特定される中心位置は、円10で示され、第1の個々の未処理データ像の直後の第2の個々の未処理データ像から特定される中心点位置は、正方形12で示されるものと仮定する。
図3aは、機械的ドリフトがない理想的な状況を示す。2つの個々の未処理データ像から識別された中心点位置10及び12は、図1aに示される試料構造2を精密に再現する。図3bは、機械的ドリフトが、第1の個々の未処理データ像に対して第2の個々の未処理データ像を変位させる場合を示す。第2の個々の未処理データ像から導出される中心点位置12は、それに対応して、第1の個々の未処理データ像から導出される中心点位置10からずれる。この結果は、全体像の空間分解能の低下である。
機械的ドリフトを補償するいくつかの方法が既知である。例えば、参照マーカー、例えば、金ナノ粒子又は蛍光ナノ粒子で試料構造に印を付け、像取得中に同時に、例えば、さらなる検出器を用いて位置を光学的に感知することが提案されている。或いは、機械的ドリフトは、適したセンサ、例えば、容量性距離測定装置を使用して測定することもできる。次に、ドリフトを補償するため、又は識別された中心点位置を補正するために、適した制御を機構に適用して、感知された像オフセットを使用することができる。しかし、あらゆる場合で、機械的ドリフトを補償するために必要な費用は割合高い。
特許文献6には、機械的ドリフトの補償が提供される局在顕微鏡法が開示されている。このために、個々の像間の相関が計算され、補正変数がそこから識別される。さらなる局在顕微鏡法が開示される文献(特許文献7、特許文献8及び特許文献9)をさらに参照する。
WO 2006/127692 A2号 DE 10 2006 021 317 B3 WO 2007/128434 A1号 US 2009/0134342 A1 DE 10 2008 024 568 A1 US 2008/0182336 A1 US 7,675,045 B1 DE10 2008 049 878 A1 WO 2010/062364 A1
「Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy(STORM)」,Nature Methods 3,793−796(2006),M.J.Rust,M.Bates,X.Zhuang 「Resolution of Lambda/10 in fluorescence microscopy using fast single molecule photo-switching」,Geisler C.et al,Appl.Phys.A,88,223−226(2007)
本発明の目的は、わずかな技術的費用で機械的ドリフトを確実に補償可能な、試料構造を光学顕微鏡法で撮像する方法及び装置を記載することである。
本発明は、以下のステップ、すなわち、
局在光学顕微鏡法により撮像可能な状態に移行可能なマーカーを用いて試料構造を準備するステップと、
像毎に、各々、マーカーのうちの全体のサブセットのみが、光学顕微鏡法により撮像可能な状態に移行するようにして、試料構造の逐次撮像により個々の像データセットを生成するステップであって、各サブセットのマーカーは互いの間に平均間隔を有し、平均間隔は、撮像される各マーカーの1つを表す光分布の範囲を決める光学顕微鏡法撮像の解像分解よりも大きい、ステップと、
複数の連続した個々の像データセットがそれぞれ結合される少なくとも2つのデータブロックを生成するステップと、
各データブロックに含まれる個々の像データセットをデータブロック毎に重ねて、対応する重畳像データセットをもたらすステップと、
前記少なくとも2つのデータブロックの重畳像データセット間のドリフトに基づいた像オフセットを識別するステップであって、ドリフトに基づいた像オフセットのそのような識別が、撮像された試料構造(2,34)それ自体にだけ基づいて識別するステップと、
識別された像オフセットに基づいて、前記データブロックの1つの重畳像データセットのうちの少なくとも1つに含まれる個々の像データセットを補正するステップと、
撮像されたマーカーを表す光分布の中心点位置を特定するステップと、
中心点位置をオフセット補正済みの局在顕微鏡法の全体像に組み入れるステップと、
によりこの目的を方法に関して達成する。
本発明は、個々の像データセットを結合して、少なくとも2つの(しかし、一般には3つ以上の)データブロックにし、各データブロックに含まれる個々の像データセットを重ねて、重畳像データセットをもたらすことを提供する。すると、重畳像データセットは、個々の各像データセットよりもはるかに多数のマーカーを含む。各データブロックが大きいほど、すなわち、各重畳像データセットをもたらすために重ねられる個々の像データセットが多いほど、各重畳像データセットに含まれる構造情報はより完全になる。次に、重畳像データセットに含まれる構造情報を使用して、連続した各重畳像データセット間の像オフセットを識別する。
各像オフセットが識別される時間分解能は、各重畳像データセットに含まれる個々の像データセットの数と相関する。その数が小さいほど、時間分解能は高くなる(個々の各像の像取得時間が一定であると仮定して)。したがって、一方では、像オフセットの提供に十分な構造情報が提供され、他方では、可能な限り最高の時間分解能が達成されるように設定された、各重畳像データセットに結合される個々の像データセットの数を選択することが望ましい。
本発明による方法は、ドリフト補償のために別個の測定装置を必要とせずに、又は追加の準備費用なし、例えば、参照マーカーの使用なしで、ドリフト補償を達成できるという利点を有する。したがって、ドリフトは、適したソフトウェアプログラムを使用して純粋に計算で補償して、像生成系に対する試料構造の望ましくない機械的移動を補償することができる。
本発明による方法は、すべての既知の顕微鏡方法、特に、PALM、FPALM、(F)STORM、PALMIRA、又はGSDIM等のすべての局在顕微鏡方法で使用可能である。これは、マーカー(通常、光活性化可能な分子)を明状態(すなわち、光学顕微鏡法で撮像可能)と暗状態とで切り替えるプロセスがどのように実現されるかに関係なく当てはまる。
結合されて各データブロックになる連続した個々の像データセットの数は、好ましくは、データブロック間の相互相関により作られた補正係数が所定の閾値よりも大きくなるように定義される。相互相関は、一方では、実行できる補正ステップ数が可能な限り多くなるように可能な限り小さく、しかし他方では、データブロックが全体的に確率的な性質のものではない大きな実際像のオフセットを特定するために十分な構造情報を含むのに十分に大きくもなるようにブロックサイズを定義する能力を提供する。ここで、補正係数は、データブロックに含まれる構造情報の重要性表示を表す。
各データブロック内の連続した個々の像データセットの数は、別の方法で決定することもできる。例えば、この数は、各重畳像データセット内で識別された中心点位置の平均間隔に基づいて決定することができる。各重畳像データセットで感知されるマーカーの数を利用して、重畳像データセットをもたらすために重ねられる個々の像データセットの数を定義することもできる。さらなる可能性は、各重畳像データセット内で感知されたマーカーの確率的分布を解析し、個々の像データセットの数をそこから決定することである。
この数は、個々の重畳像データセットで同じである必要はない。特に、スイッチオフプロセス、すなわち、明状態から暗状態へのマーカーの変換が、漂白により行われる場合(例えば、国際公開第2006/127692 A3号パンフレットの場合のように)、重畳像データセットを時間順に大きくすることが有利であり得る。
この方法の有利な実施形態では、補間関数が、識別された像オフセットに基づいて決定され、上記関数の値は個々の像オフセット値を構成し、それに基づいて、各重畳像データセット内の個々の像データセットが補正される。それにより、各重畳像データセットに含まれる個々の各像データセットを、別個の像オフセット値を用いて補正することが可能であり、それにより、さらに高精度のドリフト補償が可能になる。
撮像されたマーカーを表す光分布の中心点位置は、オフセット補正前又は後に特定することができる。前者の場合、最初に、少なくとも1つの重畳像データセットに含まれる個々の像データセットは、識別された像オフセットに基づいて補正され、次に、撮像されたマーカーを表す光分布の中心点位置が特定される。後者の場合、逆に、最初に、撮像されたマーカーを表す光分布の中心点位置が、個々の像データセット内で特定され、次に、少なくとも1つの重畳データセットに含まれる個々の像データセットの中心点位置が、識別された像オフセットに基づいて補正される。
像オフセットは、様々な方法を使用して識別することができる。好ましい実施形態では、像オフセットは、例えば、「Object Modeling by Registration of Multiple Range Images」,Y.Chen and G.Medioni,Proc.IEEE Conf.On Robotics and Automation,1991;並びに「A Method for Registration of 3−D Shapes」,P.Besl and M.McKay,Trans.PAMI,Vol.14,No.2,1992に記載のように、「反復最近点」(ICP)アルゴリズムに従って識別される。このアルゴリズムを用いて、いわゆるポイントクラウドを互いに適合させることが可能であり、ポイントクラウドの間隔が最小化されるようなポイントクラウドの座標変換が決定される。これは、1つのポイントクラウドのポイント毎に、その他のポイントクラウドの各最近傍ポイントを特定することを含む。間隔の二乗和は、変換パラメータを適合することにより最小化される。これは、最適が見つけられるまで繰り返し行われる。
しかし、像オフセットの識別は、上述した方法に限定されない。例えば、像オフセットは、重畳像データセット内の共通の下位構造を検出することにより識別することもできる。下位構造の検出は、ここでは、適した像解析、例えば、エッジ検出又はパターン認識により行われる。
相互相関により、2つの重畳像データセットの像オフセットを特定することも可能である。
この方法のさらなる有利な改良形態では、複数のサイクルで像オフセットを繰り返し識別し、データブロックに結合される個々の像データセットの数をサイクル毎に変更することにより、像シフトの連続した時間経過が識別される。これは、本発明による像オフセット解析が、異なるデータブロック分類で繰り返され、それにより、像ドリフトの連続時間経過を検出することを意味する。
像オフセットを識別する状況の中では、品質パラメータを決定し、品質パラメータに基づいて、全体像の分解能を示す変数を識別することが好ましい。上述した方法、例えば、ICPアルゴリズム又は相互相関により、像重畳精度の表示であり、したがって、像重畳精度の品質パラメータを表す特徴付けパラメータ(例えば、ICPアルゴリズムの様々なマトリックス又は相互相関係数)を決定することができる。そのような品質パラメータに基づいて、連続したドリフト補正後に予期される有効像分解能を示すことができる。
さらに有利な改良形態では、中心点位置が3つの空間寸法で特定される。これは、本発明によるドリフト補償を、一平面(通常、X−Y平面と呼ばれる)のみならず、さらにその平面に直交する平面(通常、Z方向と呼ばれる)でも行うことができることを意味する。この種のいわゆる「3D」用途に関しては、例えば、「Three-dimensional sub-100 nm resolution fluorescence microscopy of thick samples」,Juette,Manuel F.et al,Nature Methods 5,2008,pp.527−529を参照する。
本発明による方法は、識別された像オフセットに基づいて個々の像データセットの補正を提供する。この方法ステップへの追加又は代替として、識別された像オフセットを使用し、識別された像オフセットに従って光学顕微鏡の構成要素を移動させて、光学顕微鏡の像生成系に対する試料構造のドリフト移動を補償することも可能である。光学顕微鏡の上述した構成要素は、例えば、試料構造が保持される試料ホルダである。制御は、この状況では、閉制御ループで顕微鏡構成要素に適用することができる。この改良形態には、技術費用の増大が関連するが、恐らく、光軸に沿った機械的ドリフト、すなわち、焦点面ドリフトの補償に関して有利である。
本発明はさらに、上述した方法を実行する手段を有する装置に関する。
これらの手段は、好ましくは、グラフィックスプロセッサを含む。この種のグラフィックスプロセッサ(GPU)は、方法を構成する方法ステップの並列化の良好な性能により、本発明による方法の実行に特に適する。これは特に、像オフセットを識別する方法ステップ及び撮像されたマーカーを表す光分布の中心点位置を特定する方法ステップに当てはまる。
本発明について図を参照してさらに詳細に以下において説明する。
光学顕微鏡法により撮像すべき構造上の特徴が光学顕微鏡法撮像の解像限界よりも小さい例示的な試料構造を概略的に示す。 マーカーを用いて準備された図1aによる試料構造の分解能が制限された光学顕微鏡像を示す概略図である。 それぞれでマーカーのアクティブサブセットが撮像された一連の個々の未処理データ像を示す。 個々の未処理データ像から識別された中心点位置を有する図2aの像シーケンスに対応するシーケンスを示す。 図2bに示される中心点位置が結合される高分解能全体像である。 2つの連続した個々の未処理データ像からの中心点位置が、例示のために結合される、図1aによる試料構造のドリフトのない全体像である。 図3aにより、2つの連続した個々の未処理データ像の中心点位置が結合される、図1aによる試料構造のドリフトの影響を受けた全体像である。 本発明による方法を実行する光学顕微鏡の構築を示す。 複数のデータブロックに結合される一連の個々の未処理データ像を示す。 各データブロックに結合される個々の未処理データ像が重ねられた重畳像を示す。 図5bに示される像に対応し、識別された中心点位置が示される重畳像を示す。 ドリフト関連の像オフセットを識別し補正する本発明による方法ステップを有するフローチャートである。
図4は、例示的な実施形態として、試料構造を撮像する本発明による方法の実行に適した光学顕微鏡20を示す。
光学顕微鏡20は光源22を含み、光源22は、2枚のレンズ24及び26から構成されるレンズ系に励起光を発する。このレンズ系は、光源22から発せられた励起光を所望のようにコリメートするように機能する。次に、コリメートされた励起光は集束レンズ28に入射する。集束レンズ28は、励起光を対物レンズ30の開口部に結像し、励起光はまず、励起光にとって透明なダイクロイックミラー32を通過する。対物レンズ30から出た励起光は、標本スライド36に搭載された試料構造34に入射する。
上述したように、試料構造34は、マーカー、例えば、蛍光分子を用いて準備される。上述した方法を利用して、これらのマーカーの各部分を明状態に移行させ、それにより、アクティブサブセットを生成することができる。
試料構造34から発せられた光は、対物レンズ30を通過し、ダイクロイックミラー32に入射する。ダイクロイックミラー32は、試料構造34から発せられた光を反射し、それにより、光を光検出器40、例えば、CCDカメラに向けて集束させるレンズ38に向けるように実施される。光検出器40は、受けた光を電気信号に変換し、電気信号をグラフィックスプロセッサ42に出力する。
図4の光学顕微鏡により実行される方法の本発明による態様を、図5a、図5b、及び図5cを参照して以下に示す。ここでは、図4にただ示された試料構造34が図1aによる試料構造2と同一であると仮定する。
図5aは、1〜nと順に付番された一連の個々の像を示し、nは1よりも大きな整数である。これらの個々の像1,…,nのそれぞれは、試料構造34の準備に用いられたマーカーの異なるアクティブサブセットを示す。特定のサブセットのマーカーは、図4による光学顕微鏡20の回折限界解像限界よりも大きな平均間隔だけ互いに離間された空間分布を示す。簡潔にするために、示される個々の像のうちの最初の3つのみの、マーカーの光学顕微鏡法撮像により生成される光分布を図5aに示す。
光検出器40により生成された図5aによる個々の像1,…,nは、グラフィックスプロセッサ42により処理可能な未処理データを含む対応する個々の像データセットに変換される。個々の像データセットが生成されると、像データセットを結合して、図5aに示されるm個のデータブロックにする。この例では、1番目のデータブロックはN個の個々の像データセットを含み、2番目のデータブロックはN個の個々の像データセットを含み、…、m番目のデータブロックはN個のデータセットを含む。
各データブロックに含まれる個々の像データセットが結合されて、重畳像データセットになる。したがって、1番目のデータブロックのN個の個々の像データセットは、1番目の対応する像データセットをもたらし、2番目のデータブロックのN個の個々の像データセットは2番目の重畳像データセットをもたらし、…、m番目のデータブロックのN個の個々の像データセットはm番目の重畳像データセットをもたらす。対応する重畳像を図5bに示す。重畳像データセットは、個々の各像よりもはるかに多数のマーカー信号を含む(特定のデータブロックサイズN、N、…、Nに応じて)。
データブロックサイズN、N、…、Nは、一方では、2つの連続した重畳像データセット間の像オフセットを識別するのに十分な構造情報を重畳像データセットが含むように選択される。他方、データブロックサイズN、N、…、Nは、可能な限り多数のデータブロックが作成され、2つの連続した重畳像データセットのそれぞれ間の像オフセットを可能な限り頻繁に識別できるように、十分に小さくなるようにも意図される。結果として、像ドリフトを高い時間分解能で補正することができる。適したデータブロックサイズN、N、…、Nを決定する方法の例について、図6のフローチャートを参照して後述する。
図5bによる重畳像データセットは、マーカーに対応する光分布を含み、上記分布の範囲は光学顕微鏡20の回折限界分解能力によって決まる。したがって、重畳像データセットはなお未処理データ、すなわち、中心点補正前のデータを含む。連続した重畳像データセット間の像オフセットは、未処理データ自体に基づいて(すなわち、図5bに示される重畳像データセットに基づいて)識別することもでき、又は個々の像データセット内の中心点位置を特定し、中心点位置を重ねた後に識別することもできる。像オフセットを識別するために、後者の場合に利用されるデータセットを図5cに示す。
ドリフト関連の像オフセットの、本発明による識別及び補正の具体的で例示的な実施形態について、図6のフローチャートを参照して後述する。
まず、ステップST1及びST2において、1番目及び2番目のデータブロックに適したブロックサイズが決定される。これは、各データブロックに含まれる個々の像データセットの数が決定されることを意味する。例示的な本実施形態では、相互相関方法が、ステップST1においてこのために使用される、すなわち、大きさSと大きさSとの相互相関(記号○の中に×で示される)が計算される。2つの大きさS及びSは、上述した重畳像データセットを構成し、Sは1番目のデータブロックに関連付けられた個々の像データセットAの和又は重畳であり、Sは2番目のデータブロックに関連付けられた個々の像データセットAの和又は重畳である。ステップST1において、n及びmのそれぞれは制御変数を示し、nは、1番目のデータブロック又は1番目の重畳像データセットの最後の個々の像データセットの数を示し、nは、2番目のデータブロック又は2番目の重畳像データセットの最後の個々の像データセットの数を示す。ステップST1及びST2により構成されるループの開始時に、nは初期値Δに設定される。大きさCは相互相関マトリックスを表す。
相互相関マトリックスが、ステップST1において最初に計算されると、ステップST2は、ステップST2においてMax(C)として示されるマトリックスCの最大が、所定の閾値SWよりも大きいか否かを判断する。閾値SWは、Max(C)が閾値SWよりも大きい場合、相互相関が有意であり、すなわち、2つの大きさS1及びS2のそれぞれが、2つの対応する重畳像データセット間のオフセットの特定に十分な構造情報を含むように事前に決定される。ステップST2でのMax(C)が閾値SWよりも大きい場合、方法はステップST3に続く。その他の場合、nはΔだけ増やされ、ステップST1が再び実行される。したがって、ST1及びST2で構成されるループは、Max(C)が所定の閾値SWよりも大きくなるのに十分な回数を通して循環される。
ステップST3において、1番目のデータブロックに対応する1番目の重畳像データセットと2番目のデータブロックに対応する2番目の重畳像データセットとの平均オフセット
Figure 0005883855
が、相互相関マトリックスC内の大きさMax(C)の位置に基づいて特定され、保存される。次に、方法はステップST4及びST5で構成されるループに進む。ステップST1に対応するステップST4において、2つの重畳像データセットSとSi+1との相互相関が計算されて、相互相関マトリックスCを識別する。したがって、ステップST4が最初に実行される場合、制御変数iは2に等しい。これは、2番目の重畳像データセットと3番目の重畳像データセットとの相互相関が特定されていることを意味する。
ステップST5は、Max(C)が閾値SWよりも大きいか否かを判断する。大きい場合、iは1だけインクリメントされて、方法は再びST4に飛び、3番目の重畳像データセットと4番目の重畳像データセットとの相互相関が特定される。他方、ステップST5において大きさMax(C)が閾値SW以下の場合、ni+1がΔだけ増やされる。すなわち、さらなる個々の像データセットが3番目の重畳像データセットに追加される(Δの大きさに従って)。次に、ステップST4及びST5が、Max(C)が閾値SWを超えるのに十分な回数、繰り返される。
ステップST4及びST5で構成されるループが十分な回数循環し、したがって、制御変数iが、全体の一連の個々の像データセット(図5a参照)が適したサイズの重畳像データセットに分割されたポイントまで増やされると、連続した重畳像データセット間の平均オフセット
Figure 0005883855
が、ステップST6において特定され、保存される。
次に、ステップST7において、各重畳像データセットに含まれる個々の像データセットは、合算されたオフセット
Figure 0005883855
に基づいて補正され、imaxは、ステップST4及びST4で構成されるループの最後のサイクル後の制御変数iの値を示す。これは、例えば、2番目の重畳像データセット(j+1=2)の個々の像データセットが平均オフセット
Figure 0005883855
を用いて補正され、3番目の重畳像データセット(i+1=3)の個々の像データセットが平均オフセット
Figure 0005883855
を用いて補正され、4番目の重畳像データセット(i+1=4)の個々の像データセットが平均オフセット
Figure 0005883855
を用いて補正されること等を意味する。
次に、個々の像データセット内の撮像されたマーカーを表す光分布の中心点位置が特定され、それにより特定された中心点位置は、像ドリフトが補償されるオフセット補正済みの全体像に組み入れられる。
図6に示される方法は、単なる例として理解すべきである。この例示的な方法では、例えば、重畳像データセット間の像オフセットの識別は、未処理データに基づいて、すなわち、撮像されたマーカーを表す光分布の中心点位置をまだ含まないデータに基づいて行われる。しかし、まず、個々の像データセット内の中心点位置を識別し、次に、中心点位置に基づいて像オフセットを識別するだけでも同様に可能である。
上述した例示的な実施形態では、各々、2つの連続する重畳像データセット間の像オフセット
Figure 0005883855
が特定される。しかし、重畳像データセットのうちの一方(通常、最初の重畳像データセット)を基準データセットとして決定し、次に、その基準データセットに対する、続く重畳像データセットのそれぞれの像オフセットを識別することも同様に可能である。
図6に示される方法は、連続する重畳像データセット間の像オフセットのみならず、各重畳像データセットに含まれる個々の像データセット間の像オフセットも特定され、次に補正されるように変更することもできる。これは、例えば、オフセット
Figure 0005883855
に基づいて、言わば、離散した大きさ
Figure 0005883855
を連続補間する関数を識別することにより行うことができる。この補間関数により、次に、個々の各像データセットの像オフセット値を特定することができ、個々の各像データセットをそれに対応して補正することができる。結果として、ドリフト補正はさらにより精密になる。
識別された像オフセット
Figure 0005883855
を使用して、ドリフト補償のために、光学顕微鏡20の構成要素、例えば、試料ホルダ36に制御を直接適用することも可能なことにさらに留意されたい。このために、例えば、グラフィックスプロセッサ42は、像オフセット
Figure 0005883855
に対応して、制御変数を生成することができ、制御変数を用いて、位置決め部材(図4に示されず)、例えば、モータは、機械的ドリフトが補償されるように、対物レンズ30に対して上述した顕微鏡構成要素を移動させるように制御される。この場合、状況によっては、個々の像データセットの上述したオフセット補正を省くことが可能である。

Claims (15)

  1. 以下のステップ、すなわち
    局在光学顕微鏡法により撮像可能な状態に移行可能であるマーカーを用いて試料構造(2、34)を準備するステップと、
    像毎に、各々、前記マーカーのうちの全体のサブセットのみが、光学顕微鏡法により撮像可能な状態に移行するようにして、前記試料構造(2、34)を逐次撮像することにより、個々の像データセットを生成するステップであって、前記サブセットのそれぞれの前記マーカーが、それぞれ撮像されたマーカーの1つを表す光分布の範囲を決める光学顕微鏡法撮像の解像限界よりも大きい平均間隔を互いの間に有する、個々の像データセットを生成するステップと、
    複数の連続した個々の像データセットがそれぞれ結合された少なくとも2つのデータブロックを生成するステップと、
    前記データブロックのそれぞれに含まれる前記個々の像データセットをデータブロック毎に重ねて、対応する重畳像データセットをもたらすステップと、
    前記少なくとも2つのデータブロックの前記重畳像データセット間のドリフトに基づいた像オフセットを識別するステップであって、ドリフトに基づいた像オフセットのそのような識別が、撮像された試料構造(2,34)それ自体にだけ基づいて識別するステップと、
    前記識別された像オフセットに基づいて、前記データブロックの1つの前記重畳像データセットのうちの少なくとも1つに含まれる前記個々の像データセットを補正するステップと、
    前記撮像されたマーカーを表す前記光分布の中心点位置を特定するステップと、
    前記中心点位置をオフセット補正済みの局在顕微鏡法の全体像に組み入れるステップと、
    を有する、試料構造(2、34)を光学顕微鏡法で撮像する方法。
  2. 前記データブロックのそれぞれに結合される連続した個々の像データセットの数は、前記データブロック間の相互相関により生成される相関係数が所定の閾値(SW)よりも大きくなるように定義される、請求項1に記載の方法。
  3. 3つ以上の重畳像データセットの状況では、前記重畳像データセットのうちの1つは基準データセットとして決定され、その他の重畳像データセットのそれぞれの前記像オフセットは、前記基準データセットに対して特定される、請求項1又は2に記載の方法。
  4. 3つ以上の重畳像データセットの状況では、前記像オフセットは、2つの連続する重畳像データセット間で、各々特定される、請求項1又は2に記載の方法。
  5. 補間関数が、前記識別された像オフセットに基づいて決定され、前記関数により求められる値は、前記重畳像データセット内の前記個々の像データセットが補正される基となる個々の像オフセット値を構成する、請求項1〜4のいずれか一項に記載の方法。
  6. 最初に、前記少なくとも1つの重畳像データセットに含まれる前記個々の像データセットが、前記識別された像オフセットに基づいて補正され、次に、前記撮像されたマーカーを表す前記光分布の前記中心点位置が特定される、請求項1〜5のいずれか一項に記載の方法。
  7. 最初に、前記撮像されたマーカーを表す前記光分布の前記中心点位置が、前記個々の像データセットにおいて特定され、次に、前記少なくとも1つの重畳像データセットに含まれる前記個々の像データセットの中心点位置が、前記識別された像オフセットに基づいて補正される、請求項1〜5のいずれか一項に記載の方法。
  8. 前記像オフセットはICPアルゴリズムに従って識別される、請求項1〜7のいずれか一項に記載の方法。
  9. 前記像オフセットは、前記重畳像データセット内の共通の下位構造を検出することにより識別される、請求項1〜7のいずれか一項に記載の方法。
  10. オフセットの連続経時変化が、複数のサイクルで前記像オフセットを繰り返し識別することにより、および、サイクル毎に、前記データブロックに結合される個々の像データセットの数を変更することにより識別される、請求項1〜9のいずれか一項に記載の方法。
  11. 前記像オフセットを識別する状況では、品質パラメータが決定され、前記品質パラメータに基づいて、全体像の分解能を示す変数が識別される、請求項1〜10のいずれか一項に記載の方法。
  12. 前記中心点位置は3つの空間寸法で特定される、請求項1〜11のいずれか一項に記載の方法。
  13. 前記データブロックの1つの前記重畳像データセットのうちの少なくとも1つに含まれる前記個々の像データセットを補正する代わりに、光学顕微鏡(20)の構成要素が、前記光学顕微鏡(20)の像生成系に対する前記試料構造(2、34)のドリフト移動を補償するために、前記識別された像オフセットに従って移動する、請求項1〜12のいずれか一項に記載の方法。
  14. 請求項1〜13のいずれか一項に記載の方法を実行する手段を有する装置(20)。
  15. 前記手段はグラフィックスプロセッサ(24)を含む、請求項14に記載の装置(20)。
JP2013517222A 2010-06-29 2011-06-27 試料構造を光学顕微鏡法で撮像する方法及び装置 Active JP5883855B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010017630.3A DE102010017630B4 (de) 2010-06-29 2010-06-29 Verfahren und Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur
DE102010017630.3 2010-06-29
PCT/EP2011/060688 WO2012000923A1 (de) 2010-06-29 2011-06-27 Verfahren und einrichtung zur lichtmikroskopischen abbildung einer probenstruktur

Publications (2)

Publication Number Publication Date
JP2013533507A JP2013533507A (ja) 2013-08-22
JP5883855B2 true JP5883855B2 (ja) 2016-03-15

Family

ID=44584135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013517222A Active JP5883855B2 (ja) 2010-06-29 2011-06-27 試料構造を光学顕微鏡法で撮像する方法及び装置

Country Status (4)

Country Link
US (1) US9772485B2 (ja)
JP (1) JP5883855B2 (ja)
DE (1) DE102010017630B4 (ja)
WO (1) WO2012000923A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077132A1 (de) 2011-04-27 2012-01-12 Automotive Lighting Reutlingen Gmbh Lichtmodul eines Kraftfahrzeugs zur Erzeugung einer Grundverteilung für eine Fernlicht-Lichtverteilung
DE102012205032A1 (de) * 2012-03-28 2013-10-02 Carl Zeiss Microscopy Gmbh Hochauflösende Fluoreszenzmikroskopie
DE102013106895B4 (de) * 2013-07-01 2015-09-17 Leica Microsystems Cms Gmbh Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
DE102019008989B3 (de) * 2019-12-21 2021-06-24 Abberior Instruments Gmbh Verfahren zur Störungskorrektur und Laserscanningmikroskop mit Störungskorrektur
BR112021026660A2 (pt) * 2019-12-31 2022-07-12 Illumina Inc Funcionalidade de foco automático em análise de amostra óptica

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2798760B1 (fr) 1999-09-17 2002-03-29 Univ Joseph Fourier Reconstitution de surfaces en trois dimensions par utilisation de modeles statistiques
DE10111226A1 (de) * 2001-03-08 2002-09-19 Deutsches Krebsforsch Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
JP4746653B2 (ja) * 2003-02-03 2011-08-10 辰巳電子工業株式会社 自動写真作成装置
DE10361327A1 (de) 2003-12-27 2005-07-21 Leica Microsystems Heidelberg Gmbh Verfahren zur Korrektur des Drifts bei einem optischen Gerät
JP4378272B2 (ja) 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
EP2453239B1 (en) 2005-05-23 2017-04-26 Harald F. Hess Optical microscopy with transformable optical labels
JP4823204B2 (ja) * 2005-08-31 2011-11-24 国立大学法人岐阜大学 医用画像処理装置
US8121399B2 (en) 2005-12-16 2012-02-21 Ihi Corporation Self-position identifying method and device, and three-dimensional shape measuring method and device
JP4650751B2 (ja) * 2005-12-16 2011-03-16 株式会社Ihi 三次元形状データの位置合わせ方法と装置
DE102006006001B3 (de) * 2006-02-08 2007-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US7838302B2 (en) * 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
US7776613B2 (en) 2006-08-07 2010-08-17 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
JP3928977B1 (ja) * 2006-09-22 2007-06-13 国立大学法人岐阜大学 医用画像処理装置、画像処理方法及びプログラム
US7489592B2 (en) * 2007-02-19 2009-02-10 Coda Octopus Group Inc Patch test for 3D sonar data
JP2008259044A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像合成装置及び画像合成装置の制御方法
WO2009059378A1 (en) * 2007-11-09 2009-05-14 Commonwealth Scientific & Industrial Research Organisation Differential aberration correction microscopy (dac)
DE102008011993A1 (de) * 2008-02-29 2009-09-10 Leica Microsystems Cms Gmbh Synchronisierte Bildgebung mittels optischer Verfahren und Rasterkraftmikroskopie
DE102008024568A1 (de) 2008-05-21 2009-12-03 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden Abbilden einer interessierenden Struktur einer Probe
JP2009300951A (ja) * 2008-06-17 2009-12-24 Olympus Corp 生体観察装置
DE102008049878A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
US7675045B1 (en) * 2008-10-09 2010-03-09 Los Alamos National Security, Llc 3-dimensional imaging at nanometer resolutions
WO2010062364A1 (en) * 2008-10-31 2010-06-03 University Of Maine System Board Of Trustees Nanoscale imaging of molecular positions and anisotropies

Also Published As

Publication number Publication date
JP2013533507A (ja) 2013-08-22
DE102010017630A1 (de) 2011-12-29
US9772485B2 (en) 2017-09-26
WO2012000923A1 (de) 2012-01-05
DE102010017630B4 (de) 2016-06-02
US20130222568A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
US10477097B2 (en) Single-frame autofocusing using multi-LED illumination
JP6714508B2 (ja) 試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法、並びに試料内の複数の点物体を局在化するための光学顕微鏡装置
JP6063865B2 (ja) 試料構造の顕微鏡像を取得する局在顕微鏡装置及び方法
JP5883855B2 (ja) 試料構造を光学顕微鏡法で撮像する方法及び装置
CN109844503B (zh) 用于高空间分辨率地确定样品中的分离的、以激励光可激励以发射发光的分子的位置的方法
JP5814709B2 (ja) タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
US20090116707A1 (en) Discrete event distribution sampling apparatus and methods
EP3035104B1 (en) Microscope system and setting value calculation method
JP2014530387A (ja) 顕微鏡、およびspim顕微鏡検査方法
CN102841079A (zh) 用于试样的图像显示方法及其光学显微设备
CN107202780B (zh) 一种基于散斑照明的超分辨显微方法和装置
JP2014056065A (ja) 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
JP4307815B2 (ja) 共焦点レーザ走査型顕微鏡装置及びそのプログラム
JP6434296B2 (ja) 顕微鏡システム、設定値算出方法、及び、プログラム
EP4025902A1 (en) High speed scanning systems for super resolution imaging
US20220057329A1 (en) Method and apparatus for detecting fluorescence signals in a three-dimensional region of a sample
JP2014041128A (ja) 回転オフセットを有する2つのカメラを備えたマシンビジョン検査システム
JP2016515718A (ja) 点状物体の局在化のための光学顕微鏡法
JP6563517B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5718012B2 (ja) 走査型レーザ顕微鏡
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
JP2021184264A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
JP2010160022A (ja) 生体観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150522

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160208

R150 Certificate of patent or registration of utility model

Ref document number: 5883855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250