JP5707408B2 - 顕微鏡画像を形成するための方法および顕微鏡 - Google Patents

顕微鏡画像を形成するための方法および顕微鏡 Download PDF

Info

Publication number
JP5707408B2
JP5707408B2 JP2012531254A JP2012531254A JP5707408B2 JP 5707408 B2 JP5707408 B2 JP 5707408B2 JP 2012531254 A JP2012531254 A JP 2012531254A JP 2012531254 A JP2012531254 A JP 2012531254A JP 5707408 B2 JP5707408 B2 JP 5707408B2
Authority
JP
Japan
Prior art keywords
image
illumination
sample
microscope
tirf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012531254A
Other languages
English (en)
Other versions
JP2013506163A (ja
JP2013506163A5 (ja
JP2013506163A6 (ja
Inventor
クレッペ、インゴ
ノヴィカウ、ヤウヘニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2013506163A publication Critical patent/JP2013506163A/ja
Publication of JP2013506163A6 publication Critical patent/JP2013506163A6/ja
Publication of JP2013506163A5 publication Critical patent/JP2013506163A5/ja
Application granted granted Critical
Publication of JP5707408B2 publication Critical patent/JP5707408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/56Optics using evanescent waves, i.e. inhomogeneous waves
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures

Description

本発明は、顕微鏡画像を形成するための方法および顕微鏡に関する。
いわゆる全反射蛍光(英語:「total internal reflection fluorescence」、TIRF)を使用する顕微鏡は、蛍光顕微鏡の特別の形式である。このような顕微鏡はたとえば特許文献1(そのたとえば図9と10C)に開示されている。図1は、関連性を説明する。試料Pの蛍光体Fがもっぱらエバネッセント照明場Eにより、カバーガラスDと試料との境界面の後方の薄い層内で蛍光Fに励起される。試料内のエバネッセント照明場Eは、励起光線TがカバーガラスD内を全反射になる角度θでカバーガラス・試料境界面へ案内されることによって形成される。薄い層だけが蛍光励起されることにより、とくに高い軸方向の分解能が達成できる。TIRF顕微鏡の光軸方向の分解能は、試料へのエバネッセント場の浸入深度dから得られる。入射角θに依存して次式から軸方向分解能が得られる。
ここでλは励起波長、nはカバーガラスの屈折率、nは試料の媒体の屈折率である。
照明は典型的には図2に概略的に示すように顕微鏡対物レンズOを通して行われ、その縁部領域では照明光が、対物レンズOを去った後対物レンズOの光軸と、全反射角θ以上の角度で交差する。励起光Tに対して必要な大きな入射角を可能にするためには、顕微鏡対物レンズOが大きな開口数を有していなければならない。対応する蛍光は、同じ対物レンズOにより集光され、CCDカメラ(図示せず)に結像される。
同様に特許文献1から、顕微鏡解像度を高めるために光切換可能な蛍光色素を使用することが公知である(英語:「Photo−activated Localization Microscopy」;PALM、PAL−Mとも)。活性化波長においては非常に強度の弱い光によりランダムに分布した極めて少数の蛍光体が励起可能な状態に変換され(活性化され)、引き続き公知のように励起波長の光によって蛍光が励起される。残りの非活性化蛍光体は、励起波長によって蛍光が励起されない。ランダムに分布しているので、活性化され励起された蛍光体は、通例、蛍光事象から発生して回折限界で広がった点光源結像の強度分布が互いに重ならないように空間的に離れて存在する。このことはとりわけ、回折広がりのため強度分布が必然的に複数の画素(英語:「picture elements」;ピクセル)にわたって伸長する2次元画像への投影に当てはまる。PAL顕微鏡では、通例は空間的に重ならないそれぞれ少数の蛍光事象を備える多数の個別画像が記録される。ここで蛍光体の小さな群の活性化は、最後に活性化された蛍光体が脱色して初めて繰り返される。個々の蛍光事象の起源が、回折広がりした強度分布に基づき、個別画像においてサブピクセル分解能での補償計算により位置特定され、高分解能の結果画像に登録される。
光学的画像形成システムの側方分解能を、周期的パターンの照明によって対象物を走査することにより改善する方法を開示する。
本発明の枠内での高分解能の顕微鏡法が特許文献2に述べられており、ここでは周期的構造を備える対象物が走査される。
特許文献3では、構造化された照明によって非線形のプロセスが利用される。非線形性として蛍光の飽和が用いられる。照明光線モジュレータによって形成される構造化された光により、対象空間スペクトルが光学的システムの伝達関数に対して偏移される。具体的にスペクトルの偏移は、対象物空間周波数V0が空間周波数V0−Vmにおいて伝達されることを意味し、ここでVmは構造化された照明の周波数である。このシステムにより伝達可能な最大空間周波数が規定されれば、これは、偏移周波数Vmだけ伝達関数の最大周波数より上にある対象物の空間周波数の転移を可能にする。このアプローチは、画像形成のための復元アルゴリズムと、1つの画像に対して複数の記録の使用を必要とする。したがって高分解能顕微鏡法の対応する説明に関連して同様に完全に援用する特許文献3は、使用の構造化された広視野照明を使用し、たとえば振幅/位相グリッドによりストライプ状の変調が刻まれる。試料内の蛍光も同様に広視野で検知される。変調が少なくとも3つの異なる回転状態、たとえば0°、120°、および240°にもたらされ、各回転位置で変調が少なくとも3つの異なる位置に移動される。回転位置の各移動(すなわち全部で少なくとも9つの画像位置)において試料が広視野に検知される。さらにグリッドは、使用される光学的構成で伝達できる限界周波数にできるだけ近い周波数を有する。次に、フーリエ変換を使用して前記のスペクトル偏移が行われ、とくに0次と±1次の回折次数が画像内で評価される。この顕微鏡法もSIM法と称される。
SIM法の改善形態は、変調のストライプ方向に対して垂直の線形照明により達成することができる。この場合、線形照明を行い、ラインに沿ってストライプ構造が再び見出される。線形照明は変調によって構造化される。線形照明により、共焦点のスリット検知とさらなる分解能向上が可能となる。この方法もSLIMと省略される。
分解能のさらなる向上は、照明光線変調が、構造化された照明の明るい領域では飽和に達するほど強烈な照明光線によって試料の蛍光が実施される場合に得られる。この場合、蛍光に関しての試料上での変調はもはや正弦波分布せず、飽和作用のため光学的限界周波数のさらに高次の高調波を有する。この方法は、飽和パターン励起顕微鏡法(SPEE)とも省略される。
国際公開第2006/127692(A2)号パンフレット 米国特許第5867604号明細書 欧州特許第1157297(B1)号明細書
本発明は以下に、独立請求項による、顕微鏡の回折限界より低い顕微鏡分解能を達成する方法および装置を記述する。好ましい改善形態は従属請求項の対象である。
従来技術を示す図である。 従来技術を示す図である。 本発明による顕微鏡を示す図である。 本発明のコンビネーション顕微鏡によって得られる種々の顕微鏡画像の重なりを概略的に示す図である。 本発明のための光学的構成の実施形態を示す図である。 構造化された(SIM)照明についてのTIRFに対して格納された個別画像を示す図である。 画像の結合の工程を示す図である。
図3には、古典的な顕微鏡法、すなわち分解能が回折により制限される顕微鏡1が図示されており、この古典的な顕微鏡法は高分解能の顕微鏡法、すなわちその分解能が回折限界を越えて上昇された顕微鏡法と同時に実施することができる。顕微鏡1はモジュール型に構成されており、本発明をより良く説明するために大規模な拡張バージョンで説明する。しかし少数のモジュールによる縮小した構造も可能である。モジュール型構造も必然ではなく、一体型または非モジュール型構造も同じように可能である。図の例の顕微鏡1は従来のレーザ走査顕微鏡をベースに組み立てられており、試料2を検知する。
対物レンズ3を有し、すべての顕微鏡法について光線がこの対物レンズ3を通る。対物レンズ3はビームスプリッタ4を介して鏡筒レンズ5とともに試料をCCD検出器6上に結像する。このCCD検出器6は、一般的に可能な平面検出器に対する一例である。その点で顕微鏡1は従来の光顕微鏡モジュール7を有し、試料2から対物レンズ3と鏡筒レンズ5を通ってCCD検出器6に至る光線路は従来の広視野検出光線路8に相当する。ビームスプリッタ4は、図1の双方向矢印により示されるように、異なるダイクロイック特性を有するビームスプリッタと米国特許出願公開第2008/0088920号による無色収差ビームスプリッタとを切り換えることができるように交換可能である。
対物レンズ3への光線路にはさらにレーザ走査モジュール9が結合されており、そのLSM照明光線路および検出光線路は、同様にビームスプリッタ機能を有する切換ミラー11を介して対物レンズ3への光線路に入力結合される。したがって切換ミラー11からビームスプリッタ4を通って対物レンズ3への光線路は、照明光線路および検出光線路が1つにされる光線路である。このことはレーザ走査顕微鏡9に対しても、すなわち広視野検出光線路8に対しても当てはまる。なぜなら後でさらに説明するように、切換ミラー11で照明光線も入力結合され、照明光線が広視野検出光線路8と関連して、すなわちCCD検出器6と関連して顕微鏡法を実現するからである。
切換ミラー11とビームスプリッタ4は1つのビームスプリッタモジュール12に統合され、これにより切換ミラー11とビームスプリッタ4を適用に応じて交換することができる。これは双方向矢印により表されている。さらにビームスプリッタモジュール12には放射フィルタ13が設けられており、この放射フィルタ13は広視野検出光線路8内にあって、広視野検出光線路8を通って伝播することのできるスペクトル成分を適切にフィルタリングする。もちろんビームスプリッタモジュール12内の放射フィルタ13も交換可能である。
レーザ走査モジュール9は、動作に必要なレーザ光線を、光導体ファイバ14を介してレーザモジュール15から受け取る。
図1に示した構造では、ビームスプリッタモジュール12に、より正確には切換ミラー14に集光照明光線路16が入力結合され、この集光照明光線路16を通って種々の顕微鏡法に対する照明光線が延在する。この集光照明光線路16には、個々の照明モジュールの種々の部分照明光線路が入力結合される。たとえば広視野照明モジュール17が切換ミラー18を介して、広視野照明光線を集光照明光線路16に結合し、これにより鏡筒レンズ27と対物レンズ3を介して試料2が広視野照明される。広視野照明モジュールはたとえばHBOランプを有することができる。別の照明モジュールとして、切換ミラー18が適切な位置にあるときにTIRF照明を実現するTIRF照明モジュール19が設けられている。そのためにTIRF照明モジュール19は、レーザモジュール15から光導体ファイバ20を介して光線を受け取る。TIRF照明モジュール19は、縦方向に可動のミラー21を有する。縦方向の運動により、TIRF照明モジュール19から出力される照明光線が、出力された照明光線の主伝播方向に対して垂直に移動され、これにより結果として対物レンズ3にTIRF照明が、対物レンズ3の光軸に対して調整可能な角度の下で入射する。このようにして、カバーガラスでの全反射に必要な角度を簡単に保証することができる。もちろんこの角度調整を行うためには他の手段も適する。TIRF照明モジュール19は、照明光線が光軸に入射するようミラー21を調整することにより、広視野照明源としても動作することができる。
さらに集光照明光線路には、マニピュレータモジュール22の照明光線路が入力結合される。このマニピュレータモジュール22も同様に、詳細に図示しない光導体ファイバを介してレーザモジュール15から光線を受け取り、点状または線状の光線分布を試料2の上で走査しながら案内する。したがってマニピュレータモジュール22はレーザ走査顕微鏡の照明モジュールに実質的に対応し、したがってマニピュレータモジュール22はレーザ走査モジュール9または広視野検出の検出器ともCCD検出器6によって組み合わせて駆動することができる。
集光照明光線路16にはさらに光線モジュレータとしてストライプグリッド23が設けられている。このストライプグリッド23は照明光線路の中間画像面にあり、その格子定数は顕微鏡1により試料2に伝達することのできる限界周波数よりも下にある。グリッド23は、これに入射する照明光線をストライプ状に変調する。グリッド23は、集光照明光線路16の光軸に対して横方向に可動であり、光線路から外れるように旋回することもできる。そのために対応する移動駆動部24が設けられている。
照明方向に集光照明光線路16中には、さらに画像野ロータ25がグリッドに後置されている。この画像野ロータ25はロータ駆動部26によって回転される。画像野ロータはたとえば、アッベ・ケーニッヒプリズムとすることができる。
顕微鏡1のモジュールと駆動部ならびに検出器はすべて、詳細に図示しない線路を介して制御装置28と接続されている。この接続はたとえばデータおよび制御バスを介して行うことができる。制御装置28は、顕微鏡1を種々の動作モードで制御する。
制御装置28は顕微鏡1において、古典的な顕微鏡法、すなわち広視野顕微鏡法(WF)、レーザ走査顕微鏡法(LSM)、および内部全反射(TIRF)を行う蛍光顕微鏡法を実施するように構成されており、これらは解像度の高い顕微鏡法、たとえば冒頭に述べたPAL−M、SIM、SLIM、SPEM、STED、RESOLFTと組み合わされ、これらも互いに組み合わされる。図の顕微鏡1はレーザ操作照明に適した実質的に2つのモジュール、すなわちレーザ走査モジュール9とマニピュレータモジュール22を有する。もちろん別の組合せも可能である。これらのモジュールは、対物レンズ3を備える鏡筒レンズを介して試料2に結合される。マニピュレータモジュール22はレーザ走査モジュールの励起部分を含むだけであり、したがって検出は行わない。これにより試料を点状に照明することができ、照明スポットを試料2の上にラスタ化することができる。好ましくはマニピュレータモジュール22内には切換ユニット、たとえば切換レンズまたはシリンダレンズがあり、これにより点状の照明と線状の照明とを切り換えることができる。線状の照明はとりわけ、集光照明光線路16の中間画像内に存在するグリッド23が旋回して入れられており、線状の照明のラインに対して垂直である場合にとくに有利である。この場合、マニピュレータモジュール22によって簡単にSLIM顕微鏡法が実現できる。
グリッド23の代わりに可変調節可能なストライプモジュレータまたはDMDを、試料2に構造化された照明を形成するために使用することもできる。この場合当然、移動駆動部24およびグリッド23の入/出旋回性も不要である。
画像野ロータ25により、グリッド23(またはこれを置換するエレメント)により形成される構造化された照明を、集光照明光線路16の光軸を中心に回転することができ、それにより構造化された照明が試料2内で種々の角度をとる。したがってマニピュレータモジュール22または広視野照明モジュール17の駆動により、制御装置28によるグリッド23の適切な調整とそれぞれ組み合わせて、顕微鏡1によりSIM、SLIMまたはSPEMの顕微鏡法を実施することができる。もちろん切換ミラー18は適切な位置にもたらされるべきである。
グリッド23が外れるように旋回されている場合、古典的な広視野照明を広視野照明モジュール17により、または古典的なTIRF照明をTIRF照明モジュール19により行うことができる。
個々の動作形式を切り換えるために、切換ミラー18と11ならびにビームスプリッタ4が適切に調整される。そのために実現例ではフリップミラーまたは旋回ミラーを使用することができ、動作形式を順番に切り換えることができる。その代わりに、異なるモジュールの同時動作を可能にするダイクロイックミラーも可能である。
ビームスプリッタ4は好ましくはダイクロイックビームスプリッタとして構成されており、そのスペクトル特性を調整して、CCD検出器6によって検出することのできるマーキング分子の蛍光放射のスペクトル成分は広視野検出光線路8に達し、その他のスペクトル成分はできるだけ透過されるようにすることができる。種々の放射特性を備えるマーキング分子の使用可能性についての柔軟度を高めるために、ビームスプリッタモジュール12には複数の異なるビームスプリッタ4と放射フィルタ13が交換可能に、たとえばフィルタホイール上に配置されている。
図4は、本発明のコンビネーション顕微鏡によって得られる種々の顕微鏡画像の重なりを概略的に示す。ここで顕微鏡画像29は古典的顕微鏡法、たとえば通常の蛍光顕微鏡から広視野照明源17と広視野検出を使用して得られるものである。これに対して顕微鏡画像30は、解像度の高い方法、たとえばSIM顕微鏡法またはPAL顕微鏡法から得られるものである。顕微鏡画像29内には構造31があり、構造32は解像度の高い顕微鏡画像30内に存在する。制御装置28は、矢印により象徴される重畳過程33でそれぞれの画像を1つの全体画像に重ね合わせる。重ね合わせは2次元または3次元で、そして2つの変形についてそれぞれ時間を介しても行うことができる。図は、2次元表示を例示する。図はさらに、解像度の高い顕微鏡画像30が解像度の低い顕微鏡画像29と組み合わされること、すなわち解像度の異なる2つの顕微鏡法を組み合わせて、1つの全体画像が得られることを概略的に示すものである。図から、解像度の低い画像29を用いることで初めて、解像度の高い顕微鏡画像30の解像度の高い細部間の関連性が明らかになることが分かる。
図5は、本発明のためのさらなる光学的構成の実施形態を示す。
光導体ファイバ、コリメートレンズおよび偏向ミラーからなるファイバ入力結合5.1を介して、照明光が入力結合される。
偏向ミラー5.2を介して照明光は、TIRFモードにおいて画像野を縮小するために好ましくは調整可能なテレスコープ5.3を介しフリップ可能なミラー5.4に達する。このミラー5.4によってTIRF角度を調整することができる。
さらなるテレスコープ5.5と偏向ミラー5.6ならびに偏光を回転するための回転可能なλ/2プレートを介して、コリメートされた光は上に述べたように照明を構造化するためのグリッド5.8の面に、さらに画像回転のための回転可能プリズム5.9、鏡筒レンズ5.10を介して概略的にのみ図示した顕微鏡に達する。前記グリッド5.8は好ましくは交換可能であり、圧電駆動部によって光軸に対して垂直に微細に移動可能であり、顕微鏡はZ調整のために圧電駆動部を有する。顕微鏡には公知のようにLSM5.11光線路が結合されている(独国特許第19702753号明細書参照)。広視野検出のために、ここでは2つの平行なCCDカメラ5.12が検出部に配置されている。
図5に基づき、TIRF照明と構造化された照明(SIM)のためのコンビネーション機器に格納される画像は、2つの方法から形成できることがさらに明らかである。好ましくはTIRF照明と、引き続く検出のためにグリッドが外れるように旋回される。
1つまたは複数の受信器5.1により、グリッドが入るように旋回されているときには、複数のグリッド相での照明と引き続く計算によって高解像度の広視野画像が求められる。
同じ対物レンズを使用すればSIM記録での画像野とTIRF記録での画像野は同じであり、したがって画像野の計算は問題なく可能である。異なる対物レンズを使用する場合、または記録条件が別のものに変化する場合、当業者には公知の画像野を適合するための措置、たとえば使用される対物レンズの較正および画像野の計算補正が行われる。
したがってデータ記録は、SIMに対して必要なすべての画像を含む画像の時間的順序で行われ、TIRF画像は光線路中にグリッドなしで、すなわち構造化なしで記録される。記録順序は重要ではなく、ハードウエアに応じて速度の利点を提供するだけである。たとえば照明をTIRFに変化することが時間を要する場合、この運動を一度だけ実施するのが好ましい。すなわちTIRF画像は画像シーケンスの始めまたは終了で記録する。言い替えると、対象物支持体の近傍にある薄いTIRF小プレートは計算により「側方に」構造化することができる。
Z調整によって積層したSIM画像を形成することもでき、積層体の下方の画像(対象物の最下層)では追加でTIRF記録が行われる。ここで最下層とは、カバーガラスの近傍にある層を意味する。倒立式顕微鏡とは異なる場合には、「最上」層とすることもできよう。したがって驚くことには、この最下層に対する画像データの乗算後に、z方向に関して、しかしY/Y方向にも横側方に良好に分解された画像が発生する。したがってデータ記録の後、たとえばSIMに対してはたとえば15の画像(5相は、0度、72度、144度等の5相、5.9の調整による3つの画像方向)と記録された1つのTRIF画像が存在する。
図6には、構造化された(SIM)照明についてのTIRF6abと6bに対して格納された個別画像が示されている。
これらは6c)で計算的に互いに結合され(好ましくは乗算され)、これにより画像6d)が計算される。この画像6d)は、対象物支持体の近傍で記録された画像に、両方の画像に存在する対象物Oに対する側方構造を追加で付与している。
画像の本来の結合は、図7に示すようにTIRF画像によるSIMデータのフィルタ工程で行われる。これは簡単な乗算により実行することができる。この図は、SIMデータの計算の2つの意味のある経過と、TIRF画像との組合せを行うことのできる個所を示す。
工程1〜4、6はすべて標準SIM計算であり、工程5はここで新たに導入されたTIRF重み付けの工程である。詳細には次のように経過する:
1.15の画像が、SIMに対して通例のようにまず前処理される(たとえばバックグラウンドを差引き(場合により追加のバックグラウンド画像の記録により)、それぞれ5つの相を同じ平均的強度にスケーリングし、フーリエ変換のアーティファクトを回避するために画像の縁部を減衰する)。
2.これに、分離マトリクスの最適化後に実際に分離するために、次数をまず予備分離する工程が続く。ここで次数とは、グリッドの種々の回折次数により形成されたモアレパターンを意味し、それらの線形結合が各個別の画像で観察される。種々の相画像を記録することにより、線形等式システムが得られ、その解が分離された絶対値(次数)である。誘導の詳細は、「広視野蛍光顕微鏡法の横方向分解能の倍増(Doubling the lateral resolution of wide field fluorescence microscopy)」、グスタフソン(Gustafson)、Agard、Sedat、SPIE Vol.3919(2000)、1605−7422にも記載されている。
画像中において、TIRF切片法とは関係のない関連性(蛍光体の濃度)を得るために、乗算後にさらに、線形の場合に対する補正である正規化を行うべきである。すなわち平方根を開き、これにより側方の強度関係が得られたままとなる。すなわちTIRFとSIMに見られる強度値が、重み付け後に、2乗されていないそれらの元の値を再び獲得する。
図7aと7bには可能な経過が示されている。
これらは以下の工程である(これらの工程についての式と関係についての説明も参照のこと)
1.画像前処理(たとえばバックグラウンドの除去、平滑化フィルタの適用)
2.次数の予備分離
3.分離マトリクスの最適化
4.次数の分離
5.TIRFによる次数のフィルタリング、たとえば乗算と好ましくはこれに続く正規化(たとえば平方根)
6.次数の組合せ(共通の計算と画像表示)。
図7aには、構造化された照明により記録された画像の個々の次数の記録および計算をまず実施し、次にTIRF画像と計算し、そして次数から1つの画像を計算して格納すること(工程5)が示されており、図7bではまずTIRF記録が行われ、その後に構造化された画像が記録され、次数が計算され、TIRF画像と計算され、続いて画像の次数が組み合わされる。
SIM法の数学的基礎について、以下補充的に挙げる(前記刊行物も参照のこと):
フーリエ空間での照明パターン:
ただしa、aおよびaは強度照明次数の振幅、kは格子ベクトルを表す。格子ベクトルk=(x,y)は格子周波数(“ピクセルサイズ”/|k|)と方向(atan2(y/x))についての情報を含む。
画像形成:I(k)は光学的変換関数(OTF)Hex(k)と乗算される
ex(k)=Hex(k)I(k) (2)
ex(k)が対象S(k)によりフーリエ空間で畳み込まれる。
(k)が放射OTF、Hem(k)と乗算される。
(1)を(4)に代入すると次式
になる。ただし次数は
である。次数強度a、aおよびaをD(k)に代入すると次式
になる。
次数の分離:5つの次数D(k)、D−1(k)、D(k)、D−2(k)およびD(k)を分離するためには、少なくとも5つの画像(N=5)を異なる位相n=1、...、Nにより記録しなければならない:
集合(8)は以下のようにマトリクス形式に書き換えることができる:
I=AD’ (9)
ただし
である。
位相は、線形等式システム(8)が線形に依存しない等式から発生するように選択すべきであることに注意。集合(8)は以下のようにD(k)、D−1(k)、D(k)、D−2(k)およびD(k)について解くことができる。
分離マトリクスの最適化:位相□が十分に正確に既知であることを前提にして次数を式(8)にしたがって分離する。分離マトリクスの最適化では:位相□が十分に正確に既知であることを前提にして次数を式(8)にしたがって分離する。しかし実験ではこの値はプリセット値と実質的に異なることがしばしばあり、したがって格子周波数と位相は次数とともにデータから決定すべきである。したがってまず位相に対するプリセット値により式(8)にしたがい分離される(図7の工程2による次数の予備分離)。
続いてこの予備分離された次数が、予備分離された次数間の相互相関を最小にすることにより、分離マトリクスAを最適化(分離マトリクスの最適化、図7の工程3)するために使用される。このマトリクスAにより、最後に次数の分離(図7の工程4)が行われる。
ここでは個々の次数のTIRF画像によるフィルタリングを乗算によって行うことができる(TIRFによる次数のフィルタリング、図7の工程5)。平方根を開くことによる正規化は画像における相関強度を獲得する。なぜならTIRFと広視野画像において同じ明るさに見られる強度は同じ明度値を保持しており、しかしTIRFで良好に識別できない他の強度はより暗く示され、したがって所望のz切片法が行われる。
解像度の高い画像が、グスタフソン(Gustaffson)らが記載したのと同じように次数の組合せ(周波数空間での移動とOTFの重み付けによる次数の合計)によって合成される(次数の合計、図7の工程6)。

Claims (7)

  1. 顕微鏡画像の形成方法であって、
    a)それぞれ顕微鏡対物レンズを介して、TIRF法により試料が照明され、
    b)所定のパターンを有する構造の移動による種々の位相位置において試料が構造化照明され、
    少なくとも1つの試料領域の画像をそれぞれ形成するために、前記a)及びb)による方法の試料光が検出され、
    前記a)及びb)にしたがって形成された試料画像が計算により結合され、新たな試料画像を形成するために結果が格納される、顕微鏡画像の形成方法。
  2. 試料の画像形成方法であって、
    顕微鏡法によって異なる位置分解能を実現し、
    少なくとも2つの顕微鏡法、すなわち、
    構造化された線形照明または広視野照明により試料を発光励起し、所定のパターンを有する構造を回転し、各回転位置に対して複数回移動し、それぞれ発光する試料を所定の光学的分解能で平面検出器上に結像し、このようにして得られた画像からフーリエ分析を含む計算処理によって、所定の光分解能を超えて上昇した位置分解能で第1の顕微鏡画像を形成する第1の顕微鏡法と、
    TIRF照明モジュールを介して試料を対物レンズにより、カバーガラスに配置された試料に全反射が生じるように斜めに照明し、該試料を位置分解して検出し、第2の顕微鏡画像を形成する第2の顕微鏡法と
    を組み合わせ、
    第1の顕微鏡画像と第2の顕微鏡画像とを互いに画素ごとに計算することにより結合する、請求項1に記載の試料の画像形成方法。
  3. 計算的に結合した結果が画像で表示される、請求項1または2に記載の方法。
  4. 構造化された照明の複数の異なる位相における画像記録により次数を分離する工程と、
    次数をTIRF画像によりフィルタリングする工程と、
    次数を共通の計算により組合せ、画像で表示する工程と
    を特徴とする請求項1または2に記載の方法。
  5. TIRF照明を形成するための第1の照明手段と、構造化された照明を形成するための第2の照明手段とが設けられており、
    TIRF画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
    TIRF画像と、所定のパターンを有する構造の移動による種々の位相位置において構造化された照明から計算された試料の画像とを格納するための手段が設けられており、
    前記画像を乗算により結合するための手段が設けられている、
    とりわけ請求項1乃至4のいずれか1項に記載の方法を実施するための顕微鏡。
  6. 前記顕微鏡は、
    試料を検知する、顕微鏡法のための対物レンズと、
    少なくとも部分的に一致している、対物レンズを通る検出光線路および少なくとも1つの照明光線路と、
    該検出光線路に結合されており、鏡筒レンズと平面検出器とを有し、該対物レンズとともに該試料を該平面検出器上に結像する顕微鏡モジュールと、
    該照明光線路に結合されており、対物レンズにより試料を広視野照明するための広視野照明モジュールと、
    照明光線路中に照明方向で該広視野照明モジュールに後置された照明光線モジュレータであって、制御装置により制御可能であり、照明光線路中で作動または非作動可能であり、照明光線の作動状態ではストライプ状の変調を行う照明光線モジュレータと
    を有し、
    該照明光線モジュレータは、ストライプ状の変調が照明光線路の光軸に対して垂直に移動可能であるように制御可能であり、
    該試料の上に配置されたカバーガラスに全反射が生じるように該試料を該対物レンズによって斜めに照射するため、同様に該制御装置により制御されるTIRF照明モジュールが照明光線路に作動可能に結合されており、エバネッセント場に励起された試料光が検出器に達し、その検出信号が格納され、
    TIRF画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
    TIRF画像と、所定のパターンを有する構造の移動による種々の位相位置において構造化された照明から形成された試料の画像とを格納するための手段が設けられており、
    前記画像を乗算により結合するための手段が設けられている、
    請求項5に記載の、分解能が異なる少なくとも2つの顕微鏡法により試料を顕微鏡観察するように構成されたコンビネーション顕微鏡。
  7. 計算によって発生した画像を画像表示するための手段が設けられている、請求項5または6に記載の顕微鏡。
JP2012531254A 2009-09-30 2010-09-29 顕微鏡画像を形成するための方法および顕微鏡 Active JP5707408B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009043747A DE102009043747A1 (de) 2009-09-30 2009-09-30 Verfahren zur Erzeugung eines Mikroskopbildes und Mikroskop
DE102009043747.9 2009-09-30
PCT/EP2010/005295 WO2011038817A1 (de) 2009-09-30 2010-08-28 Verfahren zur erzeugung eines mikroskopbildes und mikroskop

Publications (4)

Publication Number Publication Date
JP2013506163A JP2013506163A (ja) 2013-02-21
JP2013506163A6 JP2013506163A6 (ja) 2013-05-02
JP2013506163A5 JP2013506163A5 (ja) 2013-10-10
JP5707408B2 true JP5707408B2 (ja) 2015-04-30

Family

ID=42761248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012531254A Active JP5707408B2 (ja) 2009-09-30 2010-09-29 顕微鏡画像を形成するための方法および顕微鏡

Country Status (5)

Country Link
US (1) US9588045B2 (ja)
EP (1) EP2483732B1 (ja)
JP (1) JP5707408B2 (ja)
DE (1) DE102009043747A1 (ja)
WO (1) WO2011038817A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009043747A1 (de) 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Verfahren zur Erzeugung eines Mikroskopbildes und Mikroskop
DE102010026205A1 (de) * 2010-07-06 2012-01-12 Carl Zeiss Microlmaging Gmbh Mikroskop, insbesondere Fluoreszenzmikroskop, dichroitischer Strahlteiler und dessen Verwendung
DE102011077269A1 (de) * 2011-06-09 2012-12-13 Carl Zeiss Microimaging Gmbh Hochauflösende Lumineszenzmikroskopie
JP5915748B2 (ja) * 2012-07-27 2016-05-11 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡
GB201215771D0 (en) * 2012-09-04 2012-10-17 Univ Nottingham Monitoring and/or characterising biological or chemicl material
EP2801854B1 (en) 2013-05-10 2017-07-19 Ruprecht-Karls-Universität Heidelberg Method and apparatus for combination of localization microscopy and structured illumination microscopy
WO2015164383A1 (en) 2014-04-22 2015-10-29 Q-State Biosciences, Inc. Models for parkinson's disease studies
JP2016181643A (ja) * 2015-03-25 2016-10-13 株式会社アマダホールディングス 半導体レーザ発振器
WO2016187543A1 (en) * 2015-05-21 2016-11-24 Q-State Biosciences, Inc. Optogenetics microscope
KR20170042432A (ko) * 2015-10-08 2017-04-19 삼성전자주식회사 포토레지스트 패턴의 검사 방법
WO2019056022A1 (en) * 2017-09-18 2019-03-21 Apollo Medical Optics, Ltd. INTERFERENCE IMAGING DEVICE AND ITS APPLICATION
DE102018108657B4 (de) * 2018-04-12 2024-03-28 Jenoptik Optical Systems Gmbh Vorrichtung zur Aufnahme wenigstens eines mikroskopischen Bildes und Verfahren zur Aufnahme eines mikroskopischen Bildes
US10901202B2 (en) * 2018-09-19 2021-01-26 Illumina, Inc. Structured illumination of a sample
DE102019118003B3 (de) * 2019-07-03 2020-10-22 Leibniz-Institut für Photonische Technologien e. V. Mikroskopieanordnung und Mikroskopieverfahren für eine großflächige, hochauflösende chirale Bildgebung sowie deren Verwendung
KR102258893B1 (ko) * 2019-11-28 2021-05-31 재단법인대구경북과학기술원 내시현미경의 수직 분해능 최적화 장치, 최적화 광학 시스템 및 최적화 방법
CN112326665B (zh) * 2020-09-28 2023-12-19 之江实验室 一种基于空间分步式移频照明的缺陷检测系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867604A (en) 1995-08-03 1999-02-02 Ben-Levy; Meir Imaging measurement system
DE19758745C5 (de) 1997-01-27 2008-09-25 Carl Zeiss Jena Gmbh Laser-Scanning-Mikroskop
DE19908883A1 (de) 1999-03-02 2000-09-07 Rainer Heintzmann Verfahren zur Erhöhung der Auflösung optischer Abbildung
US6255642B1 (en) * 1999-06-23 2001-07-03 Massachusetts Institute Of Technology Standing wave total internal reflection imaging
JP4414722B2 (ja) * 2003-10-15 2010-02-10 オリンパス株式会社 レーザー顕微鏡
EP1741485A1 (en) * 2004-03-27 2007-01-10 Niigata Technology Licensing Organization Photoreactive thin film processing method and photoreactive thin film processing apparatus
DE102004034983A1 (de) 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop
DE102004034998A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop mit bewegter Lochscheibe und Verwendung
EP2453240B1 (en) 2005-05-23 2016-12-28 Harald F. Hess Optical microscopy with phototransformable optical labels
US7485875B2 (en) * 2005-07-22 2009-02-03 Carl Zeiss Microimaging Gmbh Resolution-enhanced luminescence microscopy
GB0707433D0 (en) * 2007-04-18 2007-05-23 Stfc Science & Technology Fluorescence measurement
DE102008009216A1 (de) * 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US20090318815A1 (en) * 2008-05-23 2009-12-24 Michael Barnes Systems and methods for hyperspectral medical imaging
US8019136B2 (en) * 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
DE102009043747A1 (de) 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Verfahren zur Erzeugung eines Mikroskopbildes und Mikroskop

Also Published As

Publication number Publication date
US9588045B2 (en) 2017-03-07
DE102009043747A1 (de) 2011-03-31
WO2011038817A1 (de) 2011-04-07
EP2483732B1 (de) 2023-06-21
JP2013506163A (ja) 2013-02-21
EP2483732A1 (de) 2012-08-08
US20130068967A1 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
JP5707408B2 (ja) 顕微鏡画像を形成するための方法および顕微鏡
JP2013506163A6 (ja) 顕微鏡画像を形成するための方法および顕微鏡
EP2732326B1 (en) Microscopy with adaptive optics
JP6059190B2 (ja) 分解能の向上した顕微鏡法および顕微鏡
JP6329896B2 (ja) 高分解能ルミネッセンス顕微鏡法
US8704196B2 (en) Combination microscopy
JP4747243B2 (ja) 試料の光学的深部分解による光学的把握のための方法および装置
EP2776784B1 (en) Method and system for improving resolution in laser imaging microscopy
US9086536B2 (en) Talbot imaging devices and systems
Murray Methods for imaging thick specimens: confocal microscopy, deconvolution, and structured illumination
US20160377546A1 (en) Multi-foci multiphoton imaging systems and methods
JP5784393B2 (ja) 標本観察装置
US9726877B2 (en) High-resolution luminescence microscopy
US9404867B2 (en) Luminescence microscopy
WO2017042556A1 (en) Polarisation microscope
Luo et al. Area scanning method for 3D surface profilometry based on an adaptive confocal microscope
JP2006031011A (ja) 光走査型顕微鏡およびそれの使用
US20120140057A1 (en) Microscope for Measuring Total Reflection Fluorescence
US8294728B2 (en) Process for generating display images from acquired recorded images, and means for carrying out the process
US9507137B2 (en) Microscope with structured illumination using displaceable grid structures
KR20220110661A (ko) 이미지들로부터 값들을 추정하는 장치 및 방법
WARD Development of enhanced multi-spot structured illumination microscopy with fluorescence difference
Dibaji Foroushani VOLUMETRIC IMAGING USING THE PUPIL-MATCHED REMOTE FOCUSING TECHNIQUE IN LIGHT-SHEET MICROSCOPY
Pacheco et al. Optics of Biomedical Instrumentation
US20160370296A1 (en) 3D tessellation imaging

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140806

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150302

R150 Certificate of patent or registration of utility model

Ref document number: 5707408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250