JP6714508B2 - 試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法、並びに試料内の複数の点物体を局在化するための光学顕微鏡装置 - Google Patents

試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法、並びに試料内の複数の点物体を局在化するための光学顕微鏡装置 Download PDF

Info

Publication number
JP6714508B2
JP6714508B2 JP2016522575A JP2016522575A JP6714508B2 JP 6714508 B2 JP6714508 B2 JP 6714508B2 JP 2016522575 A JP2016522575 A JP 2016522575A JP 2016522575 A JP2016522575 A JP 2016522575A JP 6714508 B2 JP6714508 B2 JP 6714508B2
Authority
JP
Japan
Prior art keywords
sample
depth
lateral
field range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016522575A
Other languages
English (en)
Other versions
JP2016525225A (ja
Inventor
フェリング、ヨーナス
Original Assignee
ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー
ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー, ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー filed Critical ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー
Publication of JP2016525225A publication Critical patent/JP2016525225A/ja
Application granted granted Critical
Publication of JP6714508B2 publication Critical patent/JP6714508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、試料内の複数の点物体を局在化するための光学顕微鏡的方法に関し、該方法においては、物体空間内に配置された試料が、物体空間内で自身の光軸線に沿って予め定められたz方向の軸方向の大きさの被写界深度範囲を有する結像光学系を用い、検知器へ結像され、そして試料内に含まれる点物体が、検知器において試料の結像により生成される試料画像に基づき、光軸線に対して直角の方向における点物体の横方向のx/y位置を検出することにより、被写界深度範囲内において局在化される。
近年、個々のマーカ、特に複数の蛍光分子の順次的で確率的な局在化に基づき、典型的な光学顕微鏡の回折に起因する分解能限界よりも小さい試料構造体を描写させる光学顕微鏡的結像方法が開発されている。そのような方法は、例えば、下記特許文献1〜6、下記非特許文献1、2において説明されている。顕微鏡検査のこの新たな形式は、局在顕微鏡検査(Lokalisierungsmikroskopie)とも称される。そこで適用される方法は、それらの文献において、例えば、(F)PALM((Fluorescence) Photoactivation Localization Microscopy)、PALMIRA(PALM with Independently Running Acquisition)、GSD(IM)(Ground State Depletion (Individual Molecule Return) Microscopy)、或いは、(F)STORM((Fluorescence) Stochastic Optical Reconstruction Microscopy)との名称で知られている。
これらの新たな方法は、結像すべき試料構造体が、2つの区別可能な状態、即ち「明」状態と「暗」状態を有する点物体、所謂マーカを用いて調製されるということにより共通している。例えば蛍光色素がマーカとして使用される場合には、明状態が蛍光可能状態であり、暗状態が蛍光不能状態である。有利な実施形態においては、例えば下記特許文献6及び下記特許文献1におけるように、光切替可能又は光活性化可能な蛍光分子が使用される。また選択的に例えば下記特許文献2におけるように、標準的な蛍光分子の固有の暗状態を利用することが可能である。
結像光学系の典型的な分解能限界よりも高い分解能を用いて試料構造体を結像させるために、マーカの少数の一部分が反復して明状態へと移される。この際、最も簡単な場合、これらのアクティブな一部分を構成するマーカの密度は、隣接するマーカ同士の平均的な間隔が、明状態において、従って光学顕微鏡的に結像可能な状態において、結像光学系の分解能限界よりも大きいように選択することができる。アクティブな一部分を構成するマーカは、空間分解能を有する光検知器、例えばCCDカメラへ結像され、それにより点状の各マーカから、光点のかたちの1つの光分布が検知され、この際、光点の大きさは、光学系の分解能限界により決定されている。
このようにして多数の生データ個別画像が記録され、これらの生データ個別画像の夫々には、異なった他のアクティブな一部分が結像されている。そして画像評価プロセスにより、各生データ個別画像において、明状態にある点状のマーカを表わす光分布の重心位置が決定される。そして生データ個別画像から検出された光分布の重心位置は、全体画像データセットの形式の全体描写において総和とされる。この全体描写により得られる高解像度の全体画像は、マーカの分布を反映している。
結像すべき試料構造体の描写的に忠実な再現のためには、十分に多くのマーカ信号が検知されなくてはならない。しかしその都度アクティブな一部分において評価可能なマーカの数は限られているので、試料構造体を完全に結像するためには、極めて多くの生データ個別画像が記録されなくてはならない。典型的に生データ個別画像の数は、数万枚の範囲にあり、この際、複雑な構造体についてそれらの構造体を解像可能とするためには、比較的単純な構造体よりも更に多くの画像を記録する必要があるので、その範囲は、大きく変化する。
物体面(以下「xy面」とも称される)内におけるマーカの上述の横方向(光軸線を縦方向としたときの横方向)の位置決定の他、軸方向(以下「z方向」とも称される)の位置決定を行うことも可能である。この際、軸方向は、結像光学系の光軸線に沿った方向、即ち光の主伝播方向を意味している。
3次元的な局在化は、下記非特許文献3〜5において記載されているように、所謂「パーティクル・トラッキング」エクスペリメントから知られている。それらは、個別分子の上述の切替(Schalten)及び局在化を基礎とする画像提供方法において既に適用もされている。それに関しては、下記非特許文献6、7が参照される。従来技術には、更に下記非特許文献8が参照される。
z方向における点状の物体の局在化は、基本的にカメラの検知面において検知された光点の変化を評価することにより行われ、この変化は、その検知面に対して光学的に共役の焦点面又は焦平面から点物体が外れたときに目で見ることができる。この際、以下、点物体としては、結像光学系、特に検知用対物レンズの回折に起因する分解能限界よりも寸法が小さい物体として理解される。この場合、検知用対物レンズは、そのような物体を3次元の焦点光分布のかたちで画像空間へ結像する。焦点光分布は、カメラの検知面において所謂「ポイント・スプレッド・ファンクション(Point-Spread-Function)」即ち点像分布関数又は略語としてPSFにより特徴付けられている光点を発生させる。点物体がz方向において焦点を超えて移動されると、即ち点物体が焦点面に対して直角方向に移動されると、PSFの大きさと形状は変化する。つまり検知された光点に対応する検知信号を、PSFの大きさと形状に関して分析すると、それにより物体の実際のz位置の推定位置を得ることが可能である。
点物体が焦点面から離れすぎている場合には、カメラの検知面において発生された光点は、それに対応する測定信号が通常の測定ノイズ内ではもはや検知不能であるほど、ぼやけている。つまり物体空間(物体の存在する空間)内には、z方向において中央の焦点面又は焦平面をまたぐ範囲であって、該範囲内では、z方向における点物体の局在化にとって評価可能であるために点物体がまだ十分に鮮明な光点を検知面において発生させることのできる範囲が存在する。z方向において焦点面を含むこの範囲は、以下「被写界深度範囲(Schaerfentiefenbereich)」と称される。
WO 2006/127692 A2 DE 10 2006 021 317 B3 WO 2007/128434 A1 US 2009/0134342 A1 DE 10 2008 024 568 A1 WO 2008/091296 A2
しかし3次元の局在化には、1つの点物体に由来するPSFが検知面に関して対称性であるという基本的な問題(3次元から2次元にするときの問題)がある。このことは、確かに点物体が焦点面から外れるとPSFは変化し、それにより焦点面に対する点物体の間隔を決定できることを意味している。しかしPSFの変化は、焦点面の両側に対して対称性であり、従って焦点面のどちら側において点物体が被写界深度範囲内にあるのかを決定することはできない。
上述の問題をいかに回避可能とするかについて様々な方法が知られている。例えば当業者の間では「非点収差方法(Astigmatismusverfahren)」(上記非特許文献3、4、6)や「バイプレーン方法(Bi-Plane-Verfahren)」(上記非特許文献5、7)や「二重螺旋方法(Doppelhelixverfahren)」(上記非特許文献8)と称される方法である。これらの方法は、z方向における点物体の局在化のために、検知器において発生された光点が所定の特性値(特性パラメータ)を決定するために分析され、この特性値に対して点物体のz位置が対応されることにおいて共通している。この対応(割り当て)は、特性値を点物体のz位置と関連付ける先立って決定された対応情報に基づいて行われる。特性値としては、例えば非点収差方法におけるように、光点の形状を特徴付ける値か、或いはバイプレーン方法の場合のように、2つの光点の大きさを互いに関連付ける値が考慮され、この際、前記2つの光点は、1つの同じ光点に由来し、複数の検知面において発生され、これらの検知面の対応の焦点面は、物体空間内ではz方向において互いにずらされている。
また100nmを遥かに下回り、部分的には数nmの領域に至るまでの分解能が達成される局在顕微鏡においては、各結像光学系により必然的に発生する光学的な結像誤差が重大な問題を呈する。物体空間内で測定される分解能がほぼ250nmの領域で達成されるという回折限界をもつ古典的な顕微鏡において、結像誤差は、正確なレンズ製造か又は補助的な補正要素により十分に低減可能であるが、このことは、今日まで局在顕微鏡において容易に可能であるというわけではない。局在顕微鏡において分解能は極めて高く、残存する結像誤差は、重要な意味をもつことになる。そのような結像誤差の例は、色収差や、球面収差や、画像域の横方向の歪み、即ち光軸線に対して直角の面内におけるPSFの歪みをもたらす結像誤差などである。画像域の横方向の歪みの一例は、コマ収差である。
本発明の課題は、画像域の横方向の歪みができるだけ少ない技術的な手間で信頼性をもって修正される、冒頭に記載した形式の点物体を局在化するための光学顕微鏡的方法を構成することである。
本発明は、前記課題を、本発明の第1の視点により、点物体が局在化される被写界深度範囲が、物体空間内で光軸線に沿って試料に対して相対的に、少なくとも一回、被写界深度範囲の軸方向の大きさよりも小さい予め定められた軸方向のz変位距離分だけ移動され、軸方向に移動された被写界深度範囲において、試料が結像光学系を用いて新たに検知器へ結像されて1つの更なる試料画像が生成され、この更なる試料画像に基づき、新たに点物体の横方向のx/y位置が検出され、異なる試料画像(複数)に基づいて検出された夫々同じ点物体の横方向のx/y位置(複数)の間における横方向のx/y位置ずれ(複数)が検出され、そして検出された横方向のx/y位置ずれに依存し、所定の修正情報が作成され、該修正情報に基づき、異なる試料画像のうち少なくとも1つの試料画像に基づいて検出された点物体の横方向のx/y位置が修正されることにより解決する。
より詳しくは、前記本発明の第1の視点において、試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法であって、
物体空間内に配置された前記試料は、前記物体空間内で自身の光軸線に沿って予め定められたz方向の軸方向の大きさの被写界深度範囲を有する結像光学系を用い、検知器へ結像され、そして
前記試料内に含まれる前記点物体は、前記検知器において前記試料の結像により生成される試料画像に基づき、前記光軸線に対して直角の方向における前記点物体の横方向のx/y位置を検出することにより、前記被写界深度範囲内において局在化されるという形式の方法であり、
前記点物体が局在化される前記被写界深度範囲は、前記物体空間内で前記光軸線に沿って前記試料に対して相対的に、少なくとも一回、前記被写界深度範囲の軸方向の前記大きさよりも小さい予め定められた軸方向のz変位距離分だけ移動され、軸方向に移動された前記被写界深度範囲において、前記試料は、前記結像光学系を用いて新たに前記検知器へ結像されて1つの更なる試料画像が生成され、
この更なる試料画像に基づき、新たに前記点物体の横方向のx/y位置が検出され、
異なる前記試料画像に基づいて検出された夫々同じ前記点物体の横方向のx/y位置の間における横方向のx/y位置ずれが検出され、そして
検出された横方向の前記x/y位置ずれから、所定の修正情報が生成され、該修正情報は、前記被写界深度範囲内の所定の基準面から前記点物体までの間隔の関数であり、該修正情報を用いて横方向の画像歪みが修正されること、及び、
前記被写界深度範囲内において、前記光軸線に対して直角に位置する少なくとも1つの基準面であって、前記被写界深度範囲の移動時には、前記被写界深度範囲に対して相対的に定置に留まる基準面が定義され、
前記試料画像の1つが、基準画像として確定され、該基準画像に基づき、1つの比較構造体であって、前記基準画像の記録時に前記被写界深度範囲の前記基準面内に配置されている前記点物体の少なくとも1つを表わす比較構造体が定義され、
前記比較構造体は、少なくとも1つの他の前記試料画像において特定され、
異なる前記試料画像に基づき、夫々、前記比較構造体の横方向のx/y位置が検出され、
異なる前記試料画像に基づいて検出された前記比較構造体の横方向のx/y位置の間における横方向のx/y位置ずれが決定され、そして
前記修正情報は、前記比較構造体に対して検出された横方向の前記x/y位置ずれに依存して作成されることを特徴とする。
更に本発明の第2の視点により、試料内の複数の点物体を局在化するための光学顕微鏡装置であって、
物体空間内で自身の光軸線に沿って予め定められたz方向の軸方向の大きさの被写界深度範囲を有する結像光学系と、
前記物体空間内に配置された試料が前記結像光学系により結像される検知器と、
前記結像光学系が前記検知器において生成させる試料画像に基づき、前記光軸線に対して直角の方向における前記点物体の横方向のx/y位置を検出することにより、前記被写界深度範囲内において、前記試料内に含まれる前記点物体を局在化する制御ユニットとを有するという形式の光学顕微鏡装置であり、
前記制御ユニットにより制御される位置調節ユニットが、前記点物体が局在化される前記被写界深度範囲を、前記物体空間内で前記光軸線に沿って前記試料に対して相対的に、少なくとも一回、前記被写界深度範囲の軸方向の前記大きさよりも小さい予め定められた軸方向のz変位距離分だけ移動させ、前記結像光学系は、軸方向に移動された前記被写界深度範囲において、前記試料を新たに前記検知器へ結像し、1つの更なる試料画像を生成させ、
前記制御ユニットは、更なる前記試料画像に基づき、新たに前記点物体の横方向のx/y位置を検出し、
前記制御ユニットは、異なる前記試料画像に基づいて検出された夫々同じ前記点物体の横方向のx/y位置の間における横方向のx/y位置ずれを検出し、そして
前記制御ユニットは、検出された横方向の前記x/y位置ずれから、所定の修正情報を作成し、該修正情報は、前記被写界深度範囲内の所定の基準面から前記点物体までの間隔の関数であり、前記制御ユニットは、該修正情報を用いて横方向の画像歪みを修正すること
を特徴とする光学顕微鏡装置が提供される。
より詳しくは、試料内の複数の点物体を局在化するための光学顕微鏡装置であって、
物体空間内で自身の光軸線に沿って予め定められたz方向の軸方向の大きさの被写界深度範囲を有する結像光学系と、
前記物体空間内に配置された試料が前記結像光学系により結像される検知器と、
前記結像光学系が前記検知器において生成させる試料画像に基づき、前記光軸線に対して直角の方向における前記点物体の横方向のx/y位置を検出することにより、前記被写界深度範囲内において、前記試料内に含まれる前記点物体を局在化する制御ユニットとを有するという形式の光学顕微鏡装置であり、
前記制御ユニットにより制御される位置調節ユニットが、前記点物体が局在化される前記被写界深度範囲を、前記物体空間内で前記光軸線に沿って前記試料に対して相対的に、少なくとも一回、前記被写界深度範囲の軸方向の前記大きさよりも小さい予め定められた軸方向のz変位距離分だけ移動させ、前記結像光学系は、軸方向に移動された前記被写界深度範囲において、前記試料を新たに前記検知器へ結像し、1つの更なる試料画像を生成させ、
前記制御ユニットは、更なる前記試料画像に基づき、新たに前記点物体の横方向のx/y位置を検出し、
前記制御ユニットは、異なる前記試料画像に基づいて検出された夫々同じ前記点物体の横方向のx/y位置の間における横方向のx/y位置ずれを検出し、そして
前記制御ユニットは、検出された横方向の前記x/y位置ずれから、所定の修正情報を作成し、該修正情報は、前記被写界深度範囲内の所定の基準面から前記点物体までの間隔の関数であり、前記制御ユニットは、該修正情報を用いて横方向の画像歪みを修正すること、但し、
前記被写界深度範囲内において、前記光軸線に対して直角に位置する少なくとも1つの基準面であって、前記被写界深度範囲の移動時には、前記被写界深度範囲に対して相対的に定置に留まる基準面が定義され、
前記試料画像の1つが、基準画像として確定され、該基準画像に基づき、1つの比較構造体であって、前記基準画像の記録時に前記被写界深度範囲の前記基準面内に配置されている前記点物体の少なくとも1つを表わす比較構造体が定義され、
前記比較構造体は、少なくとも1つの他の前記試料画像において特定され、
異なる前記試料画像に基づき、夫々、前記比較構造体の横方向のx/y位置が検出され、
異なる前記試料画像に基づいて検出された前記比較構造体の横方向のx/y位置の間における横方向のx/y位置ずれが決定され、そして
前記修正情報は、前記比較構造体に対して検出された横方向の前記x/y位置ずれに依存して作成されることを特徴とする。
尚、本願の特許請求の範囲に付記されている図面参照符号は、専ら本発明の理解の容易化のためのものであり、図示の形態への限定を意図するものではないことを付言する。
本発明において、以下の形態が可能である。
(形態1)試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法であって、
物体空間内に配置された前記試料は、前記物体空間内で自身の光軸線に沿って予め定められたz方向の軸方向の大きさの被写界深度範囲を有する結像光学系を用い、検知器へ結像され、そして
前記試料内に含まれる前記点物体は、前記検知器において前記試料の結像により生成される試料画像に基づき、前記光軸線に対して直角の方向における前記点物体の横方向のx/y位置を検出することにより、前記被写界深度範囲内において局在化されるという形式の方法であり、
前記点物体が局在化される前記被写界深度範囲は、前記物体空間内で前記光軸線に沿って前記試料に対して相対的に、少なくとも一回、前記被写界深度範囲の軸方向の前記大きさよりも小さい予め定められた軸方向のz変位距離分だけ移動され、軸方向に移動された前記被写界深度範囲において、前記試料は、前記結像光学系を用いて新たに前記検知器へ結像されて1つの更なる試料画像が生成され、
この更なる試料画像に基づき、新たに前記点物体の横方向のx/y位置が検出され、
異なる前記試料画像に基づいて検出された夫々同じ前記点物体の横方向のx/y位置の間における横方向のx/y位置ずれが検出され、そして
検出された横方向の前記x/y位置ずれに依存し、所定の修正情報が作成され、該修正情報に基づき、異なる前記試料画像のうち少なくとも1つの試料画像に基づいて検出された前記点物体の横方向のx/y位置が修正されること。
(形態2)前記方法において、前記被写界深度範囲内において、前記光軸線に対して直角に位置する少なくとも1つの基準面であって、前記被写界深度範囲の移動時には、前記被写界深度範囲に対して相対的に定置に留まる基準面が定義され、
前記試料画像の1つが、基準画像として確定され、該基準画像に基づき、1つの比較構造体であって、前記基準画像の記録時に前記被写界深度範囲の前記基準面内に配置されている前記点物体の少なくとも1つを表わす比較構造体が定義され、
前記比較構造体は、少なくとも1つの他の前記試料画像において特定され、
異なる前記試料画像に基づき、夫々、前記比較構造体の横方向のx/y位置が検出され、
異なる前記試料画像に基づいて検出された前記比較構造体の横方向のx/y位置の間における横方向のx/y位置ずれが決定され、そして
前記修正情報は、前記比較構造体に対して検出された横方向の前記x/y位置ずれに依存して作成されることが好ましい。
(形態3)前記方法において、前記被写界深度範囲は、複数のステップにおいて軸方向に移動され、
これらのステップの各ステップにおいて、前記基準画像に基づいて検出された前記比較構造体の横方向のx/y位置に対し、対応の前記試料画像に基づいて検出された前記比較構造体の横方向のx/y位置ずれが検出され、そして
前記修正情報として所定の対応関数が作成され、該対応関数の関数値は、夫々、各々のステップにおいて検出された対応の前記比較構造体の横方向の前記x/y位置ずれを、前記光軸線に沿ったそれらの軸方向のz位置に依存して表わしていることが好ましい。
(形態4)前記方法において、前記被写界深度範囲のステップごとの移動により検出された複数の関数値の間に位置する前記対応関数の値は、補間法により決定されることが好ましい。
(形態5)前記方法において、前記点物体の横方向のx/y位置は、画像処理により、対応の前記試料画像において直接的に修正されることが好ましい。
(形態6)前記方法において、前記点物体の横方向のx/y位置は、対応の前記試料画像から取得されたデータセットにおいて修正され、この修正されたデータセットに基づき、修正された試料画像が生成されることが好ましい。
(形態7)前記方法において、前記比較構造体は、少なくとも1つの他の前記試料画像において、前記検知器により検知された画像輝度に依存して特定されることが好ましい。
(形態8)前記方法において、横方向の前記x/y位置ずれは、相関分析法により検出されることが好ましい。
(形態9)前記方法において、軸方向の個々の前記z変位距離の合計は、実質的に前記被写界深度範囲のz方向の軸方向の前記大きさと同じであることが好ましい。
(形態10)前記方法において、軸方向の前記z変位距離は、センサを用いて検知されることが好ましい。
(形態11)前記方法において、前記被写界深度範囲は、前記光軸線に沿って前記試料が前記結像光学系に対して相対的に移動されるか又は前記光軸線に沿って前記結像光学系が前記試料に対して相対的に移動されることにより、軸方向の前記z変位距離分だけ、前記物体空間内において前記光軸線に沿って前記試料に対して相対的に移動されることが好ましい。
(形態12)前記方法において、前記光軸線に沿った各々の前記点物体のz位置は、各々の前記試料画像において前記点物体を描写する光点の特性値を検出し、この特性値に対し、予め定められた対応情報に基づいてz位置を対応させることにより検出されることが好ましい。
(形態13)前記方法において、前記試料画像において検出された前記点物体のz位置は、予め定められた軸方向の前記z変位距離に依存して他の前記試料画像において検出された同じ前記点物体のz位置と比較され、そして
この比較に依存し、所定のz修正情報が作成され、該z修正情報に基づき、前記対応情報に依存して検出された前記点物体のz位置が修正されることが好ましい。
(形態14)試料内の複数の点物体を局在化するための光学顕微鏡装置であって、
物体空間内で自身の光軸線に沿って予め定められたz方向の軸方向の大きさの被写界深度範囲を有する結像光学系と、
前記物体空間内に配置された試料が前記結像光学系により結像される検知器と、
前記結像光学系が前記検知器において生成させる試料画像に基づき、前記光軸線に対して直角の方向における前記点物体の横方向のx/y位置を検出することにより、前記被写界深度範囲内において、前記試料内に含まれる前記点物体を局在化する制御ユニットとを有するという形式の光学顕微鏡装置であり、
前記制御ユニットにより制御される位置調節ユニットが、前記点物体が局在化される前記被写界深度範囲を、前記物体空間内で前記光軸線に沿って前記試料に対して相対的に、少なくとも一回、前記被写界深度範囲の軸方向の前記大きさよりも小さい予め定められた軸方向のz変位距離分だけ移動させ、前記結像光学系は、軸方向に移動された前記被写界深度範囲において、前記試料を新たに前記検知器へ結像し、1つの更なる試料画像を生成させ、
前記制御ユニットは、更なる前記試料画像に基づき、新たに前記点物体の横方向のx/y位置を検出し、
前記制御ユニットは、異なる前記試料画像に基づいて検出された夫々同じ前記点物体の横方向のx/y位置の間における横方向のx/y位置ずれを検出し、そして
前記制御ユニットは、検出された横方向の前記x/y位置ずれに依存し、所定の修正情報を作成し、該修正情報に基づき、前記制御ユニットは、異なる前記試料画像のうち少なくとも1つの試料画像に基づいて検出された前記点物体の横方向のx/y位置を修正すること。
(形態15)前記光学顕微鏡装置において、前記被写界深度範囲の軸方向の前記z変位距離を検知するためのセンサが設けられていることが好ましい。

結像誤差を、機器による措置によってのみ、特に結像光学系に使用される光学要素のできるだけ誤差のない製造によってのみ修正することが試みられる従来の解決策と比べ、本発明は、結像誤差の修正が局在化された位置の分析からのみ行われるという方式を選択している。また追加的な校正処理や、専ら光学誤差の決定のために意図される測定処理は不必要であり、それにより技術的な手間が多大に減少される。
本発明による解決策は、物体空間内で元の被写界深度範囲と移動された被写界深度範囲との間に光軸線に沿った所定の重なり合い(オーバーラップ)があるような、結像光学系の光軸線に沿った被写界深度範囲の移動を考慮している。この重なり合いは、光軸線に沿って被写界深度範囲を移動させる分の軸方向のz変位距離が被写界深度範囲のz方向の軸方向の大きさよりも小さいことにより達成される。この際、z変位距離は、例えば、被写界深度範囲のz方向の軸方向の大きさの、5〜90%、10〜80%、15〜70%、20〜60%、又は25〜50%の範囲内にある。勿論これらの値範囲は、例示としてのみ理解されるべきである。
従って本発明により、被写界深度範囲の軸方向の大きさよりも小さい軸方向のz変位距離分だけ被写界深度範囲を移動させることは、観察された両方の被写界深度範囲、即ち元の被写界深度範囲と移動された被写界深度範囲が、光軸線に沿って上述の重なり合いを有することとして理解すべきである。このことは、本発明が被写界深度範囲の複数回の移動による以下の一連のステップをもカバーしていることを意味し、即ちこの一連のステップにおいては、この一連のステップが、観察される複数の被写界深度範囲の間において最終的に所望の軸方向の重なり合いが実現されていることを全体としてもたらす限り、個々のステップにおいて被写界深度範囲は、被写界深度範囲の大きさよりも大きな変位距離分だけ移動されてよいということである。
また本発明は、複数の点物体により提供される3次元構造体から、唯一の試料画像だけを記録するのではなく、光軸線に沿って移動された被写界深度範囲を用い、少なくとも1つの更なる試料画像を記録することを考慮しており、それにより同じ複数の点物体が被写界深度範囲において異なるz位置に結像される。
本発明により修正すべき画像域の横方向の歪みにより、両方の試料画像内の前記点物体は、それらの夫々のz位置に依存し、それらの横方向のx/y位置について位置ずれを有する。これらの横方向のx/y位置ずれから修正情報を作成することができ、該修正情報は、画像域の横方向の歪みに関する尺度である。そしてこの修正情報は、結像誤差を伴う点物体の横方向のx/y位置を修正するために利用することが可能である。
既に冒頭で述べたように、本発明による物体空間内の被写界深度範囲としては、当該範囲内では1つの点物体が検知器において1つの光点を発生させ、該光点が、該点物体の局在化のために評価可能であるためにまだ十分に鮮明であるという、中央の焦平面又は焦点面をまたぐz方向の範囲として理解される。この際、この最大可能な被写界深度範囲を完全に利用し尽くすことは必要ではない。つまり所望の局在化精度に依存して被写界深度範囲を意図的に小さくすること、従って既にかなりぼけているがまだ評価可能である光点を評価から除外することは有意義であると言える。横方向のx/y位置の決定のために、検知器において発生した光点は、必ずしも空間的に厳密に互いに離れている必要はない。例えば上記文献からマルチフィット方法(multi-fit-Verfahren)や最尤方法(maximum-likelihood-Verfahren)として知られているような適切なアルゴリズム方法を介し、重なり合う光分布を、それらの点物体の位置が決定可能であるように分析することができる。
本発明による方法は、結像光学系の光学要素に起因する結像誤差を修正することだけに適しているわけではない。つまり本発明は、試料自体に起因する光学ノイズを修正することも可能にする。そのような光学ノイズは、多くの場合、試料内で光学ノイズが発生する箇所、又は周辺温度に依存する。従ってこれらの光学ノイズは、例えば多大な技術的な手間をもって光学的な修正要素を適切に制御しようとする従来の方法では、管理が困難である。この管理の困難さは、これらの従来の方法が通常は結像誤差の反復修正を考慮しており、該反復修正では試料が反復して記録され、従って変化してはならないので、尚一層のことである。それに対し、局在顕微鏡において検知器により検知される信号は、点滅する個別分子により常に変化し、従って通常は一試料画像が正確に他の試料画像と同じになることはない。
1つの点物体の横方向のx/y位置としては、以下、z軸が結像光学系の光軸線と平行に位置する直交座標系(デカルト座標系)と関連し、x軸の方向及び/又はy軸の方向において測定される位置(ポジション)として理解することができ、この際、x軸とy軸は、z軸に対して直角に配設されている。
好ましくは、被写界深度範囲内において、光軸線に対して直角に位置する少なくとも1つの基準面が定義され、該基準面は、被写界深度範囲の移動時には、被写界深度範囲に対して相対的に定置に留まる。この際、試料画像の1つが、基準画像として確定され、この際、この基準画像に基づき、1つの比較構造体が定義され、該比較構造体は、基準画像の記録時に被写界深度範囲の基準面内に配置されている点物体の少なくとも1つを表わしている。そして比較構造体が少なくとも1つの他の試料画像において特定される。異なる複数の試料画像に基づき、夫々、比較構造体の横方向のx/y位置が検出される。引き続き、異なる試料画像に基づいて検出された比較構造体(基準構造体)の横方向のx/y位置の間における横方向のx/y位置ずれが決定される。そして最後に所定の修正情報が、比較構造体に対して検出された横方向のx/y位置ずれに依存して作成される。
基準面は、例えば被写界深度範囲内の中央の焦平面又は焦点面である。この基準面は、光軸線に沿った被写界深度範囲の移動と共に移動され、それによりいわば物体空間を走査する。基準画像として確定される試料画像の1つに基づき、比較構造体が定義され、該比較構造体は、他の試料画像内にもあるが、そこでは異なったz位置にあり、従って画像域の横方向の歪みに起因し、対応の被写界深度範囲内において他のx/y位置にあることにもなる。つまり比較構造体を用いることにより、横方向のx/y位置ずれをz位置に依存して信頼性をもって検出することができる。
好ましくは、被写界深度範囲は、複数のステップにおいて軸方向に移動される。これらのステップの各ステップにおいて、基準画像に基づいて検出された比較構造体の横方向のx/y位置に対し、対応の試料画像に基づいて検出された比較構造体の横方向のx/y位置ずれが検出される。修正情報として所定の対応関数(Zuordnungsfunktion)が作成され、該対応関数の関数値は、夫々、各々のステップにおいて検出された対応の比較構造体の横方向のx/y位置ずれを、光軸線に沿ったそれらの軸方向のz位置に依存して表わしている。この対応関数は、所謂修正規則を表わし、該修正規則は、基準面から点物体までの間隔に依存し、横方向のx/y位置の修正を行い、該修正は、画像域の横方向の歪みにより発生するこの点物体の誤り局在化を補償ないし相殺する。
被写界深度範囲のステップごとの移動により検出された複数の関数値の間に位置する対応関数の値は、例えば補間法により決定することが可能である。従って被写界深度範囲のステップごとの移動では、離散的に検出された幾つかの関数値だけが存在するにもかかわらず、連続的な対応関数を検出することが可能である。
可能な一実施形態において、点物体の横方向のx/y位置は、画像処理により、対応の試料画像において直接的に修正される。このことは、予め記憶された位置を修正し、修正された位置に基づいて新たに試料画像を生成するという回りくどい方法を行うことなく、ユーザに対し、点物体の修正された位置が直接的に表示されるという利点を有する。(また点物体の横方向のx/y位置は、対応の試料画像から取得されたデータセットにおいて修正され、この修正されたデータセットに基づき、修正された試料画像が生成されることも考慮される。)
好ましくは、比較構造体は、少なくとも1つの他の試料画像において、検知器により検知された画像輝度に依存して特定され、即ち検知器において発生され、この構造体に寄与する光点の総数を考慮して特定される。この実施形態は、移動された被写界深度範囲において検出されたx/y位置が、それまで結像誤差を伴っていた位置を修正するためだけに利用されるのではなく、同時に高解像度の全局在画像を生成させるために援用されると特に有利である。それにより全局在画像において、好ましくない輝度差を回避することが可能である。(因みに横方向のx/y位置ずれは、相関分析法により検出することが可能である。)
軸方向の個々のz変位距離の合計は、実質的に被写界深度範囲のz方向の軸方向の大きさと同じである。しかし全体として被写界深度範囲をz方向において、被写界深度範囲の大きさよりも大きな区間分、変位させることも同様に可能である。つまりこの場合、個々のステップにおいて生成された試料画像を点物体の位置の修正後に1つの全局在画像にまとめると、この全局在画像は、z方向において、被写界深度範囲よりも大きな範囲をカバーすることになる。従って特に複雑な3次元構造体を高解像度で結像させることができる。
好ましくは、軸方向のz変位距離は、センサを用いて検知される。それにより点物体の横方向のx/y位置の修正のために入力される軸方向のz変位距離が常に正確に分かっていることが保証されている。
試料に対して相対的な被写界深度範囲の移動は、光軸線に沿って試料が結像光学系に対して相対的に移動されるか又は光軸線に沿って結像光学系が試料に対して相対的に移動されることにより行うことが可能である。しかし本発明は、このことに限定されているわけではない。つまり例えば、結像光学系の光軸線に沿って物体空間内で被写界深度範囲を移動させるために、変形可能レンズや、変形可能ミラーや、空間的な光変調器などを使用することも同様に可能である。原理的には、任意の方式で被写界深度範囲を移動させることが可能である。
特に有利な一実施形態において、光軸線に沿った夫々の点物体のz位置は、夫々の試料画像において点物体を描写する光点の特性値(特性パラメータ)を検出し、この特性値に対し、予め定められた対応情報に基づいてz位置を対応させることにより検出される。特性値としては、例えば冒頭に記載した非点収差方法におけるように、点物体を表わす光点の形状を特徴付ける値が考慮される。選択的には、既知のバイプレーン方法の場合のように、2つの光点の大きさを互いに関連付ける特性値を利用することも可能であり、この際、前記2つの光点は、1つの同じ光点に由来し、複数の検知面において発生され、これらの検知面の対応の焦点面は、物体空間内ではz方向において互いにずらされている。
好ましくは、所定の試料画像において検出された点物体のz位置は、予め定められた軸方向のz変位距離に依存して他の試料画像において検出された同じ点物体のz位置と比較される。そしてこの比較に依存し、所定のz修正情報が作成され、該z修正情報に基づき、上記の対応情報に依存して検出された点物体のz位置が修正される。この実施形態は、実際の光学顕微鏡的測定に先立って決定されており且つ当該測定において検出された特性値と点物体の軸方向のz位置との間の対応を可能とする対応情報が、多くの場合は不正確であり、従ってz位置の精密な決定が困難であるという問題を排除してくれる。この場合、z修正情報に基づき(最初から不正確な)対応情報を修正することが可能である。
本発明の更なる一視点により、請求項14に記載した、点物体を局在化するための光学顕微鏡装置が提供される。
以下、図面を用いて本発明の実施例を詳細に説明する。
本発明の一実施例による光学顕微鏡装置を模式的に示す図である。 一方の断面図は、物体空間内で歪みのないPSFを示し、他方の断面図は、物体空間内でコマ収差により歪んだPSFを示す、2つの模式的な断面図である。 コマ収差のない3次元のパイプ状の構造体を示す、2つの模式的な図である。 コマ収差のあるパイプ状の構造体を示す、図3に対応する2つの模式的な図である。 X字形の構造体を、被写界深度範囲と該X字形の構造体の画像と共に示す、模式的な図である。 X字形の構造体と該X字形の構造体の画像を、本発明による一例の方法の第1ステップにおいて示す、模式的な図である。 X字形の構造体と該X字形の構造体の画像を、該方法の第2ステップにおいて示す、模式的な図である。 X字形の構造体と該X字形の構造体の画像を、該方法の第3ステップにおいて示す、模式的な図である。 X字形の構造体と該X字形の構造体の画像を、該方法の第4ステップにおいて示す、模式的な図である。 X字形の構造体と該X字形の構造体の画像を、該方法の第5ステップにおいて示す、模式的な図である。 図6〜図10に示されたステップによる比較構造体の横方向のx位置を示すグラフである。 本発明による対応関数を示すグラフであり、該対応関数の関数値は、z位置に依存する横方向のx位置ずれを示している。
図1は、試料14を検知器16へ結像する結像光学系12を備えた光学顕微鏡装置10を純粋に模式的な図として示している。この際、試料14は、試料支持体28上に配置されている。
結像光学系12は、被写界深度範囲(Schaerfentiefenbereich)18を有し、該被写界深度範囲18は、光軸線Oに沿って軸方向の大きさtを有する。以下、光軸線Oは、直交座標系(デカルト座標系)のz軸と平行であり、該直交座標系の他のx軸とy軸は光軸線Oに対して直角に配設されていることが前提とされる。
光学顕微鏡装置10は、更に制御ユニット20を含んでおり、該制御ユニット20は、光学顕微鏡装置10の全稼働を制御する。特に制御ユニット20は、局在化(位置を特定すること Lokalisierung)のために必要な計算と評価を行う計算手段を有する。更に制御ユニット20は、ピエゾアクチュエータ(圧電駆動器)22を制御し、該ピエゾアクチュエータ22を用い、結像光学系12は、被写界深度範囲18を光軸線Oに沿って即ちz方向において移動させるために、光学軸線Oに沿って移動される。制御ユニット20と接続されたセンサ24は、結像光学系12及びそれと共に被写界深度範囲18が物体空間内で移動するz変位距離を検知する。
試料14は、多数の点物体26を含んでおり、これらの点物体26は、結像すべき構造体(観察対象)に付着する蛍光マーカにより構成されている。顕微鏡的記録中、点物体26は、個々に光点として検知器16へ結像される。そのように発生された光点は、点物体26の局在化のために制御ユニット20において評価される。
図1による光学顕微鏡装置10は、試料14に含まれる点物体26を物体空間内で局在化するために用いられる。そのために光学顕微鏡装置10の制御ユニット20は、光軸線Oに沿った夫々の点物体26のz位置、並びに光軸線Oに対して直角に位置する平面内における横方向(ラテラル)のx/y位置を検出する。
以下、例えばコマ収差により発生する画像域の横方向の歪みが本発明によりどのように修正されるかについて説明する。
この際、先ず図2〜図4に関連し、横方向の画像歪みが、横方向において点物体26を局在化するときの精度に対してどのように影響するのかについて具体的に説明する。
図2には、コマ収差が3次元空間内で夫々の点物体に対応するPSFの歪みをどのようにもたらすかについて具体的に示されている。この際、図2の左側の部分図には、先ず誤差のない1つのPSF(点像分布関数)30の理想の場合が示されており、このPSF30は、図2においてz’で記されたこのPSF30の縦軸線に沿って放射状に対称性を有している。この際、PSF30の縦軸線z’は、光軸線Oと平行であり、従って図2において示された座標系のz軸と平行に位置している。
コマ収差は、PSF30の歪みをもたらし、この歪みにより、図2の右側の部分図に示されているように、PSF30の放射状の対称性が破壊される。放射状の対称性のこの破壊は、xy面内のPSF30の重心の横方向の移動をもたらす。図2から直接的に見て取れるように、横方向の重心移動は、z位置に依存している。
つまりコマ収差は、様々なz位置において、個々の点物体に対応するPSFの重心が、もはや同じxy位置には存在しないということをもたらす。またコマ収差に代わり、空間内でPSFの傾きが観察される場合にも、対応する現象が得られる。
つまり重心移動という上述の現象を結果として伴う結像誤差がある場合、このことは、図3と図4の比較が示しているように、高解像度の試料画像において画像誤差をもたらすことになる。この際、図3は、3次元のパイプ状の構造体32の画像を示しており、該構造体32は、z軸に沿って延在している。この構造体32は、例えば適切な色素で着色されているべきであり、その色素の複数の分子が冒頭に説明した方式で局在化される。その後、検出されて保存された複数の位置情報から、1つの高解像画像が作り上げられる。このことは、図3の右側の部分図において、3次元空間内で局在化された全ての点物体に基づく一例の2次元投影図として具体的に示されている。この2次元投影図では、観察された構造体は、円形で描写されている。
図3が誤差のない場合を示しているのに対し、図4は、画像域の横方向の歪みの影響を具体的に示している。それによると画像域の横方向の歪みは、図4の左側の部分図が示しているように、z位置は確かに異なるがx/y位置は同じとなる分子位置が誤って様々なx/y位置へ移されてしまうということをもたらす。従ってその2次元投射図では、図4の右側の部分図が示しているように、本来の円形からのずれが見られる。
以下、図5〜図12に関連し、上述した画像域の横方向の歪みが本発明によりどのように修正されるかについて、例を用いて説明する。
図5は、左側の図部分において、X字形の構造体32を示しており、該構造体32は、例としてxz面内に延在している。x字形の構造体32は、適切な色素で着色されているべきであり、それらの色素が局在化すべき点物体26(図1参照)を構成している。これらの色素の局在化のためにそれらの位置が、図5で矩形面として示された被写界深度範囲18内において検出される。それから生成される高解像画像が図5の右側の図部分に描写されている。従ってこの右側の図部分は、左側の図部分に示された物体空間に対して光学的に共役とされている画像空間を示している。
以下、説明を簡単にするために、結像光学系12がx方向においてのみ画像域の歪みを引き起こすものと想定する。結果としてx方向において歪んだ画像は、連続線(太線)を用いて示されている。それに対し、画像域の歪みを伴わない理想的な結像の場合に生成されるであろう画像は、鎖線で示されている。
更に図5では、被写界深度範囲18の(z方向で見て)中央の焦点面又は焦平面が符号34で示されている。この際、図5の左側の図部分においても、図5の右側の図部分においても(そして更なる図6〜図10においても)、左側の図部分は、物体空間を示し、右側の図部分は、それに対する光学的に共役な画像空間を示しているが、同じ符号が付けられていることを指摘しておく。
図6〜図10には、複数の点物体26の横方向のx/y位置について本発明による修正を行うために、どのように被写界深度範囲18が、複数のステップの夫々において、光軸線Oに沿って物体空間内でz変位距離Δz分だけ移動されるかについて示されている。
図6〜図10に示された方法は、以下の考察に基づいている。x方向における画像域の横方向の歪みの結果、被写界深度範囲18内においてx位置は確かに同じであるがzが異なる複数の点物体は、結像光学系12により生成される画像内では、異なるx位置において描写される。しかし物体空間と画像空間との間のx位置対応が定義に従い正しいとされる被写界深度範囲18内のz位置を定義することが可能である。従って被写界深度範囲18内のこのz位置は、基準位置(Referenzposition)を構成する。それに対応し、物体空間内でこのz位置にあるxy面は、基準面を定義する。この実施例において被写界深度範囲18の中央の焦点面34は、そのような基準面として援用される。(実際のケースないし本出願の文脈において、コマ収差(画像域の横方向の歪み)は、特に被写界深度範囲内の(異なるz位置における)2つの異なるxy面が横方向(即ちxy方向)において互いにずれていることを意味する。1つの面は、それ自体で見ると画像域の横方向の歪みを含むものではない。画像域の横方向の歪みは、あくまでも、複数の異なる面の横方向のずれに基づくものであり、それにより全3D画像の画像域の横方向の歪みが発生する。上記基準面として焦点面34とは異なる面を選択することも可能である。例えば被写界深度範囲の最下部の面、即ち図5においてx軸の位置する面や、或いは被写界深度範囲の最上部の面を選択することも可能であろう。)図6〜図10において示された一連のステップは、所定の対応関数を修正情報として作成することを目的としており、該対応関数は、基準面34から1つの点物体までの間隔に依存してx位置の修正を考慮しており、該修正は、画像域の横方向の歪みにより発生したx方向の誤り局在化を正に補償ないし相殺する。
本実施例において前記対応関数は、X字形の構造体32の1つの画像だけでなく、夫々Δz分だけずらされた被写界深度範囲18を有する全部で5つの画像が生成されることにより作成される。
本実施例の修正方法は、図6によるステップ1において開始し、該ステップ1において、基準面として機能する被写界深度範囲18の焦点面34は、物体空間内で光軸線Oに沿ってポジションzに位置している。図6の右側の図部分は、この配置構成から結果として得られる1つの高解像画像を示している。
引き続き、図7によるステップ2において、結像光学系12とその被写界深度範囲18は、既知のz変位距離Δz(=z−z)分だけ光軸線Oに沿って移動され、それにより基準面として機能する焦点面34は、ポジションzに到達する。再びこの配置構成において1つの高解像画像が生成され、この際、結果として得られる画像を、先行のステップ1において生成された画像と比較してΔz分だけ移動させてしまうことのないように(即ち互いの画像間のΔz分のずれをなくすために)z方向において局在化された位置が、対応して大きさΔz分だけ修正される。そのようにして生成された画像においてX字形の構造体32は、z方向のz以外の全てのz位置において歪んで描写されており、このことは、再び鎖線で示された理想構造体と比べて見ることができる。図6と図7の比較が示すように、高解像画像内の歪みは、被写界深度範囲18の移動と共に変化しており、これは、X字形の構造体32が被写界深度範囲18内において自身の位置を変化させるからである。
図8〜図10において示されているように、引き続き更なるステップ3、4、5において、被写界深度範囲18は、相次いで、夫々、予め定められたz変位距離Δz分だけ光軸線Oに沿って移動される。それにより基準面34は、言わばX字形の構造体32を物体空間内で光軸線Oに沿って走査することになる。
5つの高解像画像の生成後、例えば、ステップ3において基準面34内にあるX字形の構造体32の部分が比較構造体(Vergleichsstruktur)として選択される。この比較構造体は、引き続き、ステップ1、2、4、5において生成された他の画像においても特定される。そして比較構造体の横方向のx位置が、異なるステップにおいて生成された個々の画像に基づいて検出される。比較構造体は、個々の画像の記録時には、被写界深度範囲18に対して相対的に異なるz位置にあったので、x方向における画像域の歪みの結果、画像ごとに異なるx位置が得られることになる。これらのx位置は、図11によるグラフにおいて個々のステップ1〜5に対するものとして示されている。
最終的に所望の対応関数は、ステップ3(図8)において検出された比較構造体のx位置(x)に対する、ステップ1、2、4、5において検出された比較構造体の横方向のx位置ずれを、対応するz位置(z,z,z,z)に対してプロットすることにより得られる。このことが図12によるグラフに示されている。そしてステップ1〜5に対応する、対応関数(割当て関数 Zuordnungsfunktion)の5つの関数値を、最終的に連続的な対応関数を取得するために、例えば補間法の方式において中間値を作成するためのノード(節点)として利用することが可能である。歪みのない高解像画像を生成させるために、そのような対応関数を用いることにより、全てのz位置に対して横方向の位置ずれを表わすことが可能である。
10 光学顕微鏡装置
12 結像光学系
14 試料
16 検知器
18 被写界深度範囲
20 制御ユニット
22 位置調節ユニット(ピエゾアクチュエータ)
24 センサ
26 点物体
28 試料支持体
30 PSF(点像分布関数)
32 パイプ状の構造体
32 X字形の構造体
34 基準面(被写界深度範囲の焦点面)

Claims (10)

  1. 試料(14)内の複数の点物体(26)を局在化するための局在顕微鏡検査の光学顕微鏡的方法であって、
    物体空間内に配置された前記試料(14)は、前記物体空間内で自身の光軸線(O)に沿って予め定められたz方向の軸方向の大きさ(t)の被写界深度範囲(18)を有する結像光学系(12)を用い、検知器(16)へ結像され、そして
    前記試料(14)内に含まれる前記点物体(26)は、前記検知器(16)において前記試料(14)の結像により生成される試料画像に基づき、前記光軸線(O)に対して直角の方向における前記点物体(26)の横方向のx/y位置を検出することにより、前記被写界深度範囲(18)内において局在化されるという形式の方法であり、
    前記点物体(26)が局在化される前記被写界深度範囲(18)は、前記物体空間内で前記光軸線(O)に沿って前記試料(14)に対して相対的に、少なくとも一回、前記被写界深度範囲(18)の軸方向の前記大きさ(t)よりも小さい予め定められた軸方向のz変位距離(Δz)分だけ移動され、軸方向に移動された前記被写界深度範囲(18)において、前記試料(14)は、前記結像光学系(12)を用いて新たに前記検知器(16)へ結像されて1つの更なる試料画像が生成され、
    この更なる試料画像に基づき、新たに前記点物体(26)の横方向のx/y位置が検出され、
    異なる前記試料画像に基づいて検出された夫々同じ前記点物体(26)の横方向のx/y位置の間における横方向のx/y位置ずれが検出され、そして
    検出された横方向の前記x/y位置ずれから、所定の修正情報が生成され、該修正情報は、前記被写界深度範囲(18)内の所定の基準面(34)から前記点物体(26)までの間隔の関数であり、該修正情報を用いて横方向の画像歪みが修正されること、及び、
    前記被写界深度範囲(18)内において、前記光軸線(O)に対して直角に位置する少なくとも1つの基準面(34)であって、前記被写界深度範囲(18)の移動時には、前記被写界深度範囲(18)に対して相対的に定置に留まる基準面(34)が定義され、
    前記試料画像の1つが、基準画像として確定され、該基準画像に基づき、1つの比較構造体であって、前記基準画像の記録時に前記被写界深度範囲(18)の前記基準面(34)内に配置されている前記点物体(26)の少なくとも1つを表わす比較構造体が定義され、
    前記比較構造体は、少なくとも1つの他の前記試料画像において特定され、
    異なる前記試料画像に基づき、夫々、前記比較構造体の横方向のx/y位置が検出され、
    異なる前記試料画像に基づいて検出された前記比較構造体の横方向のx/y位置の間における横方向のx/y位置ずれが決定され、そして
    前記修正情報は、前記比較構造体に対して検出された横方向の前記x/y位置ずれに依存して作成されること
    を特徴とする方法。
  2. 前記被写界深度範囲(18)は、複数のステップにおいて軸方向に移動され、
    これらのステップの各ステップにおいて、前記基準画像に基づいて検出された前記比較構造体の横方向のx/y位置に対し、対応の前記試料画像に基づいて検出された前記比較構造体の横方向のx/y位置ずれが検出され、そして
    前記修正情報として所定の対応関数が作成され、該対応関数の関数値は、夫々、各々のステップにおいて検出された対応の前記比較構造体の横方向の前記x/y位置ずれを、前記光軸線(O)に沿ったそれらの軸方向のz位置に依存して表わしていること
    を特徴とする、請求項に記載の光学顕微鏡的方法。
  3. 前記被写界深度範囲(18)のステップごとの移動により検出された複数の関数値の間に位置する前記対応関数の値は、補間法により決定されること
    を特徴とする、請求項に記載の光学顕微鏡的方法。
  4. 前記点物体(26)の横方向のx/y位置は、画像処理により、対応の前記試料画像において直接的に修正されること
    を特徴とする、請求項又はに記載の光学顕微鏡的方法。
  5. 前記点物体(26)の横方向のx/y位置は、対応の前記試料画像から取得されたデータセットにおいて修正され、この修正されたデータセットに基づき、修正された試料画像が生成されること
    を特徴とする、請求項又はに記載の光学顕微鏡的方法。
  6. 軸方向の個々の前記z変位距離(Δz)の合計は、実質的に前記被写界深度範囲(18)のz方向の軸方向の前記大きさ(t)と同じであること
    を特徴とする、請求項1〜のいずれか一項に記載の光学顕微鏡的方法。
  7. 軸方向の前記z変位距離(Δz)は、センサ(24)を用いて検知されること
    を特徴とする、請求項1〜のいずれか一項に記載の光学顕微鏡的方法。
  8. 前記被写界深度範囲(18)は、前記光軸線(O)に沿って前記試料(14)が前記結像光学系(12)に対して相対的に移動されるか又は前記光軸線(O)に沿って前記結像光学系(12)が前記試料(14)に対して相対的に移動されることにより、軸方向の前記z変位距離(Δz)分だけ、前記物体空間内において前記光軸線(O)に沿って前記試料(14)に対して相対的に移動されること
    を特徴とする、請求項1〜のいずれか一項に記載の光学顕微鏡的方法。
  9. 試料内の複数の点物体(26)を局在化するための光学顕微鏡装置(10)であって、
    物体空間内で自身の光軸線(O)に沿って予め定められたz方向の軸方向の大きさ(t)の被写界深度範囲(18)を有する結像光学系(12)と、
    前記物体空間内に配置された試料(14)が前記結像光学系(12)により結像される検知器(16)と、
    前記結像光学系(12)が前記検知器(16)において生成させる試料画像に基づき、前記光軸線(O)に対して直角の方向における前記点物体(26)の横方向のx/y位置を検出することにより、前記被写界深度範囲(18)内において、前記試料(14)内に含まれる前記点物体(26)を局在化する制御ユニット(20)とを有するという形式の光学顕微鏡装置であり、
    前記制御ユニット(20)により制御される位置調節ユニット(22)が、前記点物体(26)が局在化される前記被写界深度範囲(18)を、前記物体空間内で前記光軸線(O)に沿って前記試料(14)に対して相対的に、少なくとも一回、前記被写界深度範囲(18)の軸方向の前記大きさ(t)よりも小さい予め定められた軸方向のz変位距離(Δz)分だけ移動させ、前記結像光学系(12)は、軸方向に移動された前記被写界深度範囲(18)において、前記試料(14)を新たに前記検知器(16)へ結像し、1つの更なる試料画像を生成させ、
    前記制御ユニット(20)は、更なる前記試料画像に基づき、新たに前記点物体(26)の横方向のx/y位置を検出し、
    前記制御ユニット(20)は、異なる前記試料画像に基づいて検出された夫々同じ前記点物体(26)の横方向のx/y位置の間における横方向のx/y位置ずれを検出し、そして
    前記制御ユニット(20)は、検出された横方向の前記x/y位置ずれから、所定の修正情報を作成し、該修正情報は、前記被写界深度範囲(18)内の所定の基準面(34)から前記点物体(26)までの間隔の関数であり、前記制御ユニット(20)は、該修正情報を用いて横方向の画像歪みを修正すること、但し、
    前記被写界深度範囲(18)内において、前記光軸線(O)に対して直角に位置する少なくとも1つの基準面(34)であって、前記被写界深度範囲(18)の移動時には、前記被写界深度範囲(18)に対して相対的に定置に留まる基準面(34)が定義され、
    前記試料画像の1つが、基準画像として確定され、該基準画像に基づき、1つの比較構造体であって、前記基準画像の記録時に前記被写界深度範囲(18)の前記基準面(34)内に配置されている前記点物体(26)の少なくとも1つを表わす比較構造体が定義され、
    前記比較構造体は、少なくとも1つの他の前記試料画像において特定され、
    異なる前記試料画像に基づき、夫々、前記比較構造体の横方向のx/y位置が検出され、
    異なる前記試料画像に基づいて検出された前記比較構造体の横方向のx/y位置の間における横方向のx/y位置ずれが決定され、そして
    前記修正情報は、前記比較構造体に対して検出された横方向の前記x/y位置ずれに依存して作成されること
    を特徴とする光学顕微鏡装置。
  10. 前記被写界深度範囲(18)の軸方向の前記z変位距離を検知するためのセンサ(24)が設けられていること
    を特徴とする、請求項に記載の光学顕微鏡装置。
JP2016522575A 2013-07-01 2014-07-01 試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法、並びに試料内の複数の点物体を局在化するための光学顕微鏡装置 Active JP6714508B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013106895.2A DE102013106895B4 (de) 2013-07-01 2013-07-01 Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
DE102013106895.2 2013-07-01
PCT/EP2014/063918 WO2015000877A1 (de) 2013-07-01 2014-07-01 Lichtmikroskopisches verfahren der lokalisationsmikroskopie zur lokalisierung von punktobjekten

Publications (2)

Publication Number Publication Date
JP2016525225A JP2016525225A (ja) 2016-08-22
JP6714508B2 true JP6714508B2 (ja) 2020-06-24

Family

ID=51033216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016522575A Active JP6714508B2 (ja) 2013-07-01 2014-07-01 試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法、並びに試料内の複数の点物体を局在化するための光学顕微鏡装置

Country Status (4)

Country Link
US (1) US10234672B2 (ja)
JP (1) JP6714508B2 (ja)
DE (1) DE102013106895B4 (ja)
WO (1) WO2015000877A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013016368B4 (de) * 2013-09-30 2024-05-16 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Mikroskopieverfahren zum Untersuchen einer mikroskopischen Probe
LU92620B1 (de) * 2014-12-19 2016-06-20 Leica Microsystems Rastermikroskop
EP3382439A4 (en) * 2015-11-27 2019-12-11 Nikon Corporation MICROSCOPE, OBSERVATION METHOD, AND IMAGE PROCESSING PROGRAM
EP3538941A4 (en) 2016-11-10 2020-06-17 The Trustees of Columbia University in the City of New York METHODS FOR FAST IMAGING OF HIGH RESOLUTION LARGE SAMPLES
DE102017104736B9 (de) * 2017-03-07 2020-06-25 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Vorrichtung zum räumlichen Messen nanoskaliger Strukturen
JP6932036B2 (ja) * 2017-07-31 2021-09-08 シスメックス株式会社 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置
DE102017129519B4 (de) * 2017-12-12 2020-08-06 Technische Universität Ilmenau Anordnung und Verfahren zur simultanen Messung der Fluoreszenz einzelner Schichten in einem Schichtsystem, beispielsweise dem Augenhintergrund
DE102018132875A1 (de) * 2018-12-19 2020-06-25 Abberior Instruments Gmbh Fluoreszenzlichtmikroskopie mit erhöhter axialer Auflösung
CN111382592B (zh) * 2018-12-27 2023-09-29 杭州海康威视数字技术股份有限公司 活体检测方法和设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DD154643A1 (de) * 1980-11-20 1982-04-07 Peter Schwensow Vorrichtung zur mikroskopischen beobachtung mit erweitertem schaerfentiefebereich
DD261224A1 (de) * 1985-04-29 1988-10-19 Univ Berlin Humboldt Verfahren zur tiefenscharfen abbildung raeumlicher objekte
ATE170989T1 (de) * 1986-04-09 1998-09-15 Zeiss Carl Fa Strahlungsmodulierendes mikroskop mit rückfaltung
ATE132252T1 (de) 1990-08-31 1996-01-15 Commw Scient Ind Res Org Interferenzmikroskop
DE19502472A1 (de) * 1995-01-27 1996-08-01 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Aufnehmen eines Objektes
US6472671B1 (en) * 2000-02-09 2002-10-29 Jean I. Montagu Quantified fluorescence microscopy
US8005314B2 (en) * 2005-12-09 2011-08-23 Amnis Corporation Extended depth of field imaging for high speed object analysis
JP2000251823A (ja) * 1999-02-25 2000-09-14 Jeol Ltd 走査型荷電粒子ビーム装置における試料傾斜観察方法
JP4103302B2 (ja) 2000-05-15 2008-06-18 株式会社日立製作所 キャピラリアレイを用いた電気泳動装置及びそれに用いられるサンプルプレートアセンブリ
DE10039520A1 (de) 2000-08-08 2002-02-21 Leica Microsystems Vorrichtung zur Untersuchung und Manipulation von mikroskopischen Objekten
DE10257423A1 (de) * 2002-12-09 2004-06-24 Europäisches Laboratorium für Molekularbiologie (EMBL) Mikroskop
US7639419B2 (en) * 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
JP4600395B2 (ja) * 2004-09-22 2010-12-15 株式会社ニコン 顕微鏡システムおよび画像処理方法
EP2453239B1 (en) 2005-05-23 2017-04-26 Harald F. Hess Optical microscopy with transformable optical labels
JP4812443B2 (ja) * 2006-01-27 2011-11-09 オリンパス株式会社 走査型共焦点レーザ顕微鏡
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US7776613B2 (en) 2006-08-07 2010-08-17 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
US8217992B2 (en) * 2007-01-11 2012-07-10 The Jackson Laboratory Microscopic imaging techniques
US8564792B2 (en) 2007-12-21 2013-10-22 President And Fellows Of Harvard College Sub-diffraction limit image resolution in three dimensions
WO2009115108A1 (en) 2008-03-19 2009-09-24 Ruprecht-Karls-Universität Heidelberg A method and an apparatus for localization of single dye molecules in the fluorescent microscopy
US7772569B2 (en) * 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
DE102008024568A1 (de) 2008-05-21 2009-12-03 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden Abbilden einer interessierenden Struktur einer Probe
US7675045B1 (en) * 2008-10-09 2010-03-09 Los Alamos National Security, Llc 3-dimensional imaging at nanometer resolutions
US8693742B2 (en) 2008-12-17 2014-04-08 The Regents Of The University Of Colorado Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function
DE102009043744A1 (de) * 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Verfahren und Mikroskop zur dreidimensional auflösungsgesteigerten Mikroskopie
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
DE102010017630B4 (de) * 2010-06-29 2016-06-02 Leica Microsystems Cms Gmbh Verfahren und Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur
DE102010036709A1 (de) 2010-07-28 2012-02-02 Leica Microsystems Cms Gmbh Einrichtung und Verfahren zur mikroskopischen Bildaufnahme einer Probenstruktur
DE102010044013A1 (de) 2010-11-16 2012-05-16 Carl Zeiss Microimaging Gmbh Tiefenauflösungsgesteigerte Mikroskopie
DE102011055294B4 (de) * 2011-11-11 2013-11-07 Leica Microsystems Cms Gmbh Mikroskopische Einrichtung und Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten in einer Probe
DE102012200344A1 (de) * 2012-01-11 2013-07-11 Carl Zeiss Microscopy Gmbh Mikroskopsystem und Verfahren für die 3-D hochauflösende Mikroskopie
DE102012201003A1 (de) * 2012-01-24 2013-07-25 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren für die hochauflösende 3-D Fluoreszenzmikroskopie

Also Published As

Publication number Publication date
DE102013106895A1 (de) 2015-01-08
US20160370570A1 (en) 2016-12-22
US10234672B2 (en) 2019-03-19
DE102013106895B4 (de) 2015-09-17
WO2015000877A1 (de) 2015-01-08
JP2016525225A (ja) 2016-08-22

Similar Documents

Publication Publication Date Title
JP6714508B2 (ja) 試料内の複数の点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法、並びに試料内の複数の点物体を局在化するための光学顕微鏡装置
JP6411472B2 (ja) レーザスキャニング顕微鏡、および特に高解像度のスキャニング顕微鏡法で結像収差を修正する方法
CN103105382B (zh) 用于对样本中的点状目标进行三维定位的显微装置和方法
JP6146265B2 (ja) 顕微鏡システムおよびオートフォーカス方法
JP7453981B2 (ja) ライトフィールド結像システムの較正
JP6063865B2 (ja) 試料構造の顕微鏡像を取得する局在顕微鏡装置及び方法
Liu et al. Single-molecule tracking and its application in biomolecular binding detection
CN102841079A (zh) 用于试样的图像显示方法及其光学显微设备
Liu et al. Design and experimental validation of novel optics-based autofocusing microscope
CN102981260A (zh) 用于点状物体的三维定位的显微镜设备和显微镜方法
JP4572162B2 (ja) 顕微鏡装置
US11067510B2 (en) System and method for estimating and compensating for sample drift during data acquisition in fluorescence microscopy
Liu et al. Precise autofocusing microscope with rapid response
JP5883855B2 (ja) 試料構造を光学顕微鏡法で撮像する方法及び装置
JP6659531B2 (ja) 点状物体の局在化のための光学顕微鏡法
JP5626367B2 (ja) 焦点位置維持装置及び顕微鏡
WO2009014648A2 (en) Unique digital imaging method
JP2014089311A (ja) 顕微鏡装置及び画像形成方法
Schmidt et al. Method for high frequency tracking and sub-nm sample stabilization in single molecule fluorescence microscopy
EP2486438B1 (en) Three-dimensionally localizing light emitting molecules of unknown orientation and unknown z-position
Temprine et al. Three-dimensional photoactivated localization microscopy with genetically expressed probes
US20230236400A1 (en) Method, arrangement and microscope for three-dimensional imaging in microscopy using an asymmetric psf
You Subcellular Trafficking with Single Molecule Microscopy in Three Dimensions
Heydarian Particle fusion in localization microscopy
CN117517199A (zh) 用于定位样本中单个发射体的方法和光学显微镜

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180921

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190821

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200605

R150 Certificate of patent or registration of utility model

Ref document number: 6714508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250