JP6131568B2 - 顕微鏡装置及び画像形成方法 - Google Patents

顕微鏡装置及び画像形成方法 Download PDF

Info

Publication number
JP6131568B2
JP6131568B2 JP2012239080A JP2012239080A JP6131568B2 JP 6131568 B2 JP6131568 B2 JP 6131568B2 JP 2012239080 A JP2012239080 A JP 2012239080A JP 2012239080 A JP2012239080 A JP 2012239080A JP 6131568 B2 JP6131568 B2 JP 6131568B2
Authority
JP
Japan
Prior art keywords
image
fluorescent
sample
coordinate list
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012239080A
Other languages
English (en)
Other versions
JP2014089311A (ja
Inventor
浩明 中山
浩明 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012239080A priority Critical patent/JP6131568B2/ja
Publication of JP2014089311A publication Critical patent/JP2014089311A/ja
Application granted granted Critical
Publication of JP6131568B2 publication Critical patent/JP6131568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Description

本発明は、顕微鏡装置及び画像形成方法に関する。
従来から、超解像顕微鏡として、STORM(Stochastic Optical Reconstruction Microscopy)が知られている(例えば特許文献1、2参照)。この顕微鏡では、観察試料として、蛍光物質又は蛍光物質を付着させたものが用いられる。この蛍光物質は、所定波長の活性化光を照射すると活性化し、後に活性化光とは異なる波長の励起光を照射すると蛍光を発して不活性化する特性を有する。観察試料に対して微弱な活性化光を照射することで低密度で蛍光物質が活性化する。その後に励起光を照射して活性化状態の蛍光物質のみを発光させることで蛍光画像を取得する。このようにして取得した蛍光画像では、低密度で発光する蛍光物質の像が個々に分離されたものとなるため、個々の像の重心位置を求めることができる。このような蛍光物質の位置を求めるステップを複数回、例えば数百回〜数万回以上繰り返し、蛍光物質の全ての像を各々の位置に配置した一枚の画像を作成することにより、高分解能の観察画像を得ることができる。
また、超解像顕微鏡装置として、試料面(XY平面)内での分解能だけではなく、試料の厚み方向(Z方向)の分解能も向上させることが可能となる三次元方式のSTORMが知られている(例えば、非特許文献1参照)。このような三次元方式のSTORMでは、結像光学系にシリンドリカルレンズを挿入して試料の像に所定の非点収差を与えることで、蛍光物質の像を楕円形状とし、その楕円率からZ方向の座標を求めることができる。
米国特許出願公開第2008/0032414号 米国特許出願公開第2008/0182336号
Bo Huang,et.al.Science 319,810-813(2008)
しかしながら、上記三次元方式のSTORMにおいては、結像光学系に用いられるシリンドリカルレンズにおいて曲率が付いている方向と付いていない方向とで結像倍率が異なるので、特定の方向に縮むことで観察画像に歪みが生じるという課題があった。
本発明は上記課題を解決するためになされたものであり、歪みの無い高分解能の観察画像を得ることができる顕微鏡装置及び画像形成方法を提供することを目的とする。
本発明の第1態様に従えば、活性化光及び励起光の照射、又は励起光の照射により蛍光を発する蛍光物質を含む試料に、前記活性化光及び前記励起光、又は前記励起光を照射する照明光学系と、対物レンズを介して前記試料から発生された蛍光を受けるとともに、非点収差が付与された前記試料の蛍光像を形成する結像系と、前記結像系からの前記試料の蛍光像を撮像する撮像装置と、前記非点収差が付与された前記試料の蛍光像における蛍光輝点の位置情報を、予め算出した位置補正係数を用いて補正する補正部と、補正された前記蛍光輝点の位置情報に基づいて、試料画像を生成する画像生成部とを備える顕微鏡装置が提供される。
また、本発明の第2態様に従えば、活性化光及び励起光の照射、又は励起光の照射により蛍光を発する蛍光物質を含む試料に、前記活性化光及び前記励起光、又は前記励起光を照射することにより発生した蛍光に対して非点収差が付与された前記試料の蛍光像を用いた画像形成方法であって、前記非点収差が付与された前記試料の蛍光像における蛍光輝点の位置情報を、予め算出した位置補正係数を用いて補正するステップと、補正された前記蛍光輝点の位置情報に基づいて、試料画像を生成するステップと、を備える画像形成方法が提供される。
本発明の態様によれば、歪みの無い高分解能の観察画像を得ることができる。
第一実施形態に係る顕微鏡装置の概略構成を示す図。 本実施形態に係るシリンドリカルレンズユニットの構成を示す図。 顕微鏡装置の結像光学系の概略構成を示す図。 1個の蛍光物質が撮像装置上に形成する像の形状を示す図。 蛍光物質のZ座標と像のX,Y方向各々の幅との関係を示すグラフ。 (a),(b)は、対物レンズの倍率及びシリンドリカルレンズの焦点距離と非点隔差との関係を示す図。 シリンドリカルレンズによる倍率特性が像に与える影響を説明した図。 顕微鏡装置が取得するSTORM画像を概念的に示した図。 (a),(b)は、制御部の詳細構造を示す図。 本実施形態の画像形成方法を示すフローチャートである。 座標リストに基づいて位置補正係数を算出するステップを概念的に示す図。 座標リストに基づいて位置補正係数を算出するステップを概念的に示す図。 標本を用いた変形例を説明する図。 第ニ実施形態に係る顕微鏡装置の概略構成を示す図。 本実施形態に係るシリンドリカルレンズユニットの構成を示す図。 第三実施形態に係る顕微鏡装置の概略構成を示す図。 本実施形態に係るシリンドリカルレンズユニットの構成を示す図。 シリンドリカルレンズユニットを回転軸方向から視た構成を示す図。 (a),(b)は、各シリンドリカルレンズの位置関係を示す図。 第四実施形態に係るシリンドリカルレンズユニットの概略構成を示す図。
以下、図面を参照して本発明の顕微鏡装置の一実施形態に係る構成について説明する。なお、本実施形態は、発明の要旨をより良く理解させるために具体的に説明するものであり、特に指定のない限り、本発明を限定するものではない。また、以下の説明で用いる図面は、特徴をわかりやすくするために、便宜上、要部となる部分を拡大して示している場合があり、各要請要素の寸法比率などが実際と同じであるとは限らない。
(第一実施形態)
図1は本実施形態に係る顕微鏡装置の概略構成を示す図である。顕微鏡装置100は、図1に示されるように、制御部25と、照明系(照明光学系)10と、試料8を載置するステージ123と、ステージ123上の試料8に対向配置される対物レンズユニット12Aと、結像光学系(結像系)7と、結像光学系7により結像された試料8の像を撮像するカメラ(撮像装置)14と、リレー光学系15と、を備えている。
本実施形態に係る顕微鏡装置100は、超解像顕微鏡技術(Stochastic Optical Reconstruction Microscopy;STORM)を用い、二次元方式或いは三次元方式のSTORMに対応した顕微鏡装置である。顕微鏡装置100では、蛍光物質を標識として付与された試料を用いる。この蛍光物質は、所定波長の活性化光を照射されると活性化する。また、この蛍光物質は、活性化状態で活性化光とは異なる波長の励起光を照射されると蛍光を発して不活性化する。そして、励起光と活性光とを用いて試料中の一部の蛍光物質のみを発光させることで離散的に分布した蛍光を観察する動作を繰り返す。これにより取得した多数の蛍光画像を用いて試料画像を形成することができる。なお、蛍光物質はCy5やAlexa647などの有機化合物を含むことができる。また、蛍光物質は、PA−GFPなどの蛍光タンパク質を含むことができる。
制御部25は、顕微鏡装置100を総合的に制御するコンピュータであり、記憶部26と、表示部27と、カメラコントローラ34と、照明系10と、結像光学系7と、に接続されている。本実施形態において、制御部25は、少なくとも、これらの装置を制御するための制御信号を生成する制御信号生成機能を備えている。
記憶部26は、例えば半導体メモリやハードディスクなどからなり、制御部25において使用されるプログラムや制御部25から供給されるデータ(蛍光画像、座標リストなど)を、制御部25から読出可能な状態で記憶する。
表示部27は、例えばモニタ(表示装置)やプリンタ(印刷装置)であり、制御部25から出力される画像データに基づく映像を表示、印刷する機能を提供する。本実施形態では、表示部27としてモニタを用いている。
カメラコントローラ34は、カメラ(撮像装置)14を駆動制御する。カメラ14は、例えばCCD等の撮像素子により構成されるものである。カメラコントローラ34は、制御部25から入力される制御信号に基づいてカメラ14を動作させ、試料8から放射された蛍光の画像を取得し、取得した蛍光画像を制御部25に出力する。
照明系10は、レーザ台40と、ファイバ9と、レンズ2,3と、エキサイタフィルター4と、を含む。レーザ台40は、第1のレーザ光源41aと、第2のレーザ光源41bとを有する。第1のレーザ光源41aは、試料に付与した蛍光物質を活性化するための活性化光L1を照射するものである。第1のレーザ光源41aは、試料に含まれる蛍光物質に適合する波長の活性化光L1を射出する。第1のレーザ光源41aとして、例えば、蛍光物質の種類に応じて、緑色レーザ(波長532nm)、赤色レーザ(波長633nm、657nm)、紫色レーザ(波長405nm)、青色レーザ(波長457nm)などを用いることができる。
第2のレーザ光源41bは、試料に付与した蛍光物質を発光させるための励起光L2を照射するものである。第2のレーザ光源41bは、試料に含まれる蛍光物質に適合する波長の励起光L2を射出する。第2のレーザ光源41bとして、例えば、蛍光物質の種類に応じて、緑色レーザ(波長532nm)、赤色レーザ(波長633nm、657nm)、紫色レーザ(波長405nm)、青色レーザ(波長457nm)などを用いることができる。レーザ台40は、レーザ光源41a、41b各々の前に配置されたシャッター42a、42bと、レーザ光源41bからの光L2を反射するミラー43と、レーザ光源41aからの光L1は透過し、レーザ光源41bからの光L2は反射するダイクロイックミラー44と、入射したレーザ光の強度を調整する音響光学素子45と、レーザ光をファイバ9の入射端に集光するためのカプラー46と、を有する。なお、レーザ台40には制御部25が接続されている。制御部25はシャッター42aおよびシャッター42bの開閉を制御し、活性化光L1、励起光L2の照射を切り替えるようになっている。また、同時に、制御部25は音響光学素子45を制御し、ファイバに入射するレーザ光の強度を調整する。
照明系10と対物レンズユニット12Aとの光路の間には、ダイクロイックミラー5が配置されている。対物レンズユニット12Aは、焦点深度の浅い低倍率対物レンズ12aと、焦点深度の深い高倍率対物レンズ12bと、を含む。以下、説明の都合上、低倍率対物レンズ12aと高倍率対物レンズ12bとを総称して対物レンズ12と呼ぶこともある。照明系10からの照明光は、ダイクロイックミラー5により反射されることで対物レンズ12の瞳面に集光する。これにより、対物レンズ12から射出された照明光が試料8を照明する。
上述のようにして制御部25は、レーザ光源41a、41bから活性化光L1および励起光L2を試料8に照射する。試料8から発せられた光は対物レンズ12に入射し、平行光となって射出される。その光は、ダイクロイックミラー5、バリアフィルター6を透過した後、結像光学系7に入射する。結像光学系7は、結像レンズ20と、プリズム21と、アフォーカル光学系を構成するレンズ22,23と、これらレンズ22,23間に設けられたシリンドリカルレンズユニット(非点隔差変更装置)50と、を含む。
プリズム21には制御部25が接続されている。また、プリズム21には不図示の進退機構が設けられており、プリズム21が光路に対して出し入れ可能とされている。すなわち、プリズム21は光路中に挿入された場合、対物レンズ12からの光を反射してカメラ14へと導くようになっている。
リレー光学系15は、結像レンズ20の後方に、ミラー11、レンズ13、ミラー16、レンズ17,18、ミラー19を配置することで構成される。上記プリズム21が光路から退避することで、試料8からの光はリレー光学系15によってリレーされ、接眼レンズ37を介して観察者(観察眼)38により試料8の像として観察される。
具体的に、結像レンズ20からの光はミラー11によって反射された後、一次像24aを形成する。また、一次像24aからの光はレンズ13を通過した後ミラー16によって反射され、レンズ17,18を通過し、ミラー19によって反射され、二次像24bを形成する。観察者38は、接眼レンズ37を通して二次像24bを目視観察することができる。なお、リレー光学系15は、例えば観察者38が試料8における画像取得領域を設定する初期設定時に使用されるものである。
本実施形態に係る顕微鏡装置100は、結像光学系7による試料8の像に後述する非点収差を付与し、この像をカメラ14により撮像することで試料8の三次元情報を取得可能となっている。
本実施形態においては、結像光学系7による試料8の像に非点収差を付与すべく、結像光学系7がレンズ22、23間に図2に示すシリンドリカルレンズユニット50を備えている。シリンドリカルレンズユニット50には制御部25が接続されている。シリンドリカルレンズユニット50は、図2に示されるようにシリンドリカルレンズ101,102と、これらシリンドリカルレンズ101,102をレンズ22、23間に進退させるスライダ部(進退部)105と、を備えている。スライダ部105は、レンズ22、23間にシリンドリカルレンズ101,102をスライド可能に保持するスライド板105aと、該スライド板105aをスライドさせる駆動部105bとを含む。駆動部105bには制御部25が接続されている。
スライド板105aには、シリンドリカルレンズ101,102の保持部101a,102aと、開口部106とが設けられている。これら保持部101a,102aおよび開口部106は、スライド板105aのスライド方向(水平方向)に沿って配置されている。開口部106は、レンズ22を通過した光を遮ることなく通過させる大きさに設定されている。シリンドリカルレンズ101,102は、保持部101a,102aに嵌合されることでスライド板105aに保持されている。なお、シリンドリカルレンズ101、102は、それぞれが異なる焦点距離を有している。具体的に、シリンドリカルレンズ102はシリンドリカルレンズ101よりも焦点距離が短く設定されている。
シリンドリカルレンズ101,102の各矢印A,Bは各レンズの母線方向を示し、本実施例においては、例えば共にスライド板105aのスライド方向と直交する鉛直方向に設定されている。これにより、シリンドリカルレンズ101,102のいずれを用いた場合であっても、カメラ14上に形成される試料8の像の楕円方向が変化するのを防止している。代替的に、シリンドリカルレンズ101,102は、その母線方向が共に水平方向(スライド板105aのスライド方向)となるように配置できる。
シリンドリカルレンズユニット50のこのような構成において、制御部25が駆動部105bを駆動してスライド板105aをスライドする。これに伴い、シリンドリカルレンズユニット50は、結像光学系7の光路中に挿入するシリンドリカルレンズ101,102を切り替え可能である。これにより、顕微鏡装置100は後述のように三次元方式にて試料8の画像を取得することが可能となっている。また、顕微鏡装置100は、スライド板105aを駆動することで結像光学系7内の光路中に開口部106を挿入可能となっており、二次元方式にて試料8の画像を取得することも可能となっている。
図3は、顕微鏡装置100の結像光学系の概略構成図であり、具体的にはスライド板105aによりシリンドリカルレンズ101が光路中に挿入された状態を示している。なお、説明を分かりやすくするため、照明系10、結像レンズ20、プリズム21、およびレンズ22,23等については図示を省略している。また、説明の都合上、図3においてXYZ座標系を設定し、適宜このXYZ座標系を用いて説明を行う。XYZ座標系は、例えば、水平面に沿ってX軸及びY軸が設定され、鉛直方向に沿って上向きにZ軸が設定される。なお、このXYZ座標系は図3内においてのみ有効なものとする。
試料8からの光は対物レンズ12に入射して平行光束となり、結像レンズ20に入射する。図3に示す状態では、結像レンズ20とカメラ14との間にシリンドリカルレンズ101が配置された場合について説明する。シリンドリカルレンズ101は、母線方向がY方向となるように配置されている。シリンドリカルレンズ101はX方向には屈折力を持つが、Y方向(母線方向)には屈折力を持たない状態とされている。
図4は試料8の表面に存在する1個の蛍光物質がカメラ14上に形成する像の形状を示す図である。通常、結像光学系の分解能より小さい蛍光物質はカメラ14上に円形の像を形成する。本実施形態では、シリンドリカルレンズ101を含む結像光学系7を用いることで、像はそのZ座標によってX方向の幅(Wx)、Y方向の幅(Wy)がそれぞれ変化する。像が円形(Wx=Wy)となる蛍光物質のZ座標をZ=0とする(対物レンズ12の焦点面ではない)と、Z>0のとき、像はX方向に長軸を持った楕円(Wx>Wy)となり、また、Z<0のとき、像はY方向に長軸を持った楕円(Wx<Wy)となる。すなわち、試料8に付与した1個の蛍光物質がカメラ14上に形成する像は、後述のようにZ座標によって、X方向の幅とY方向の幅がそれぞれ変化する。
図5は蛍光物質のZ座標(横軸)と像のX,Y方向各々の幅(縦軸)との関係を示すグラフである。X,Y方向の幅Wx、WyはそれぞれZ<0、Z>0に極小値を持つ。換言すると、Wxは、0未満の、あるZ位置(シリンドリカルレンズ101のX方向における撮像面と共役な位置)で極小となる。Wyは、0を超える、あるZ位置(対物レンズ12の焦点面)で極小となる。Z=0においてWx=Wyとなる。Wx,Wyがそれぞれ極小となるZ座標の差Δが非点隔差である。換言すると、非点隔差は、Wxが極小となるZ位置と、Wyが極小となるZ位置との差である。
顕微鏡装置100は、結像レンズ3とカメラ14との間にシリンドリカルレンズ101を配置した場合の像の変化率(X方向の幅とY方向の幅との比率;Wy/Wx)とZ座標とを関連付けたデータでありかつ予め実験等により求められたデータを記憶部26に記憶している。顕微鏡装置100において、試料8の表面に存在する蛍光物質の各々がカメラ14上に形成する像の形状を撮像したデータと、記憶部26内に記憶されているデータとを比較することで像(蛍光物質)のZ座標を検出することが可能である。このように顕微鏡装置100は非点収差が付与された像をカメラ14で撮像し、各画像から蛍光物質の位置(Z方向も含む)を求め、それらを一枚の画像中に配置する。したがって、顕微鏡装置100を用いて三次元情報(Z座標)を含む高解像度の試料8の画像を取得可能である。
上述の非点隔差は対物レンズの焦点深度に合わせて所定の量となるように調整する必要がある。図6(a)は対物レンズの焦点深度に対して非点隔差が比較的大きい場合の、ZとWx、Wyの関係を示したグラフである。
対物レンズの焦点深度に対して非点隔差が比較的大きい場合には、図6(a)に示されるように、Z=0の位置からわずかにZがずれただけでWxもしくはWyが非常に大きくなる。像が過度に大きくなると、カメラ14上における強度が下がり、S/Nが低下する。その結果、取得した画像から求められるWx、Wyの誤差が大きくなる傾向にあり、像のZ座標を正しく求めることができない可能性がある。
一方、図6(b)は対物レンズの焦点深度に対して非点隔差が比較的小さい場合の、ZとWx、Wyの関係を示したグラフである。対物レンズの焦点深度に対して非点隔差が比較的小さい場合には、図6(b)に示されるように、Z=0近辺における楕円率(Wy/Wx)の変化率が小さい。その結果、像から求めたWx,Wyに含まれるわずかに誤差が、Z座標の算出結果では大きな誤差となる傾向にあり、像のZ座標を正しく求めることができない可能性がある。
そこで、三次元方式の画像観察を行う場合、対物レンズ12の焦点深度に合わせて適切な焦点距離のシリンドリカルレンズを使用することで、非点隔差を最適な範囲に調整することができる。
具体的には、非点隔差を対物レンズの焦点深度の2倍程度とすることが望ましい。対物レンズの開口数をNA、対物レンズの標本側の面に接する媒質の屈折率をn、色素の蛍光波長をλとすると、焦点深度FDは下記の式で表される。
FD=(nλ)/(2NA) …(1)
一方、シリンドリカルレンズの焦点距離をf、シリンドリカルレンズから像面までの距離をdとすると、シリンドリカルレンズによって生じる像側での非点隔差Δ’は下記の式で表される。
Δ‘=(D)/(F+D) …(2)
また、対物レンズの倍率をβとすると、非点隔差を物体側に換算した値Δは下記の式で表される。
Δ=(nΔ‘)/(β) …(3)
非点隔差を焦点深度の2倍とするためには、下記の条件式を満たせばよい。
Δ=2FD …(4)
式(1)〜(4)をfについて解くと、下記の式が得られる。
F=(D・NA)/(β・λ) …(5)
したがって、利用する対物レンズに合わせて、シリンドリカルレンズの焦点距離が式(5)を満たすように切り替えれば、適切な非点隔差が得られる。
例えば、倍率100倍、NA1.4の対物レンズで蛍光波長550nmの蛍光色素を観察する場合には、像面から50mmの位置に焦点距離841mmのシリンドリカルレンズを配置すれば良い。また、倍率60倍、NA1.4の対物レンズを用いる場合には、シリンドリカルレンズの焦点距離を2425mmに切り替えればよい。また、倍率20倍、NA0.75の対物レンズを利用する場合には、シリンドリカルレンズの焦点距離を6342mmに切り替えればよい。
本実施形態に係る顕微鏡装置100は、シリンドリカルレンズユニット50が焦点深度の浅い対物レンズ12aに対応するシリンドリカルレンズ101と、焦点深度の深い対物レンズ12aに対応するシリンドリカルレンズ102とを含む。シリンドリカルレンズ101の焦点距離は、シリンドリカルレンズ102の焦点距離と異なる。すなわち、顕微鏡装置100は、焦点距離が互いに異なる複数のシリンドリカルレンズ101,102を含み、使用される対物レンズ12の焦点深度に合わせて適切な焦点距離のシリンドリカルレンズを選択するように構成されている。
顕微鏡装置100において、低倍率対物レンズ12aを使用して三次元方式による画像取得を行う場合、制御部25がシリンドリカルレンズユニット50の駆動部105bを駆動し、スライド板105aをスライドさせることで結像光学系7内の光路にシリンドリカルレンズ101を挿入する。一方、顕微鏡装置100において、観察者38によって高倍率対物レンズ12bが選択されると、制御部25によりシリンドリカルレンズユニット50の駆動部105bを駆動し、スライド板105aをスライドさせて結像光学系7からの光の光路にシリンドリカルレンズ102を挿入する。
以上のように顕微鏡装置100において、画像取得条件に応じて対物レンズ12の倍率、開口数が変更される。また、顕微鏡装置100において、焦点深度が変化した場合でも、対物レンズ12に対応して最適な焦点距離を有するシリンドリカルレンズ101,102のいずれか一方が選択される。したがって、所定範囲の非点隔差を設定することができ、三次元方式による試料8の画像観察を精度良く行うことができる。
また、顕微鏡装置100において、観察者38が二次元方式による画像取得を希望した場合、制御部25によりシリンドリカルレンズユニット50の駆動部105bを駆動し、スライド板105aをスライドさせて結像光学系7からの光の光路に開口部106を挿入する。このとき、試料8からの光は開口部106を通過するため、シリンドリカルレンズを通過する場合のように楕円状に像が変形することがなく、カメラ14上において円形の像となる。これにより、顕微鏡装置100において、カメラ14が撮像した円形の像に基づき、試料8の二次元画像を取得することができる。
また、上述の実施形態では、シリンドリカルレンズ101,102と対物レンズ12との対応関係が二種類の場合について説明したが、三種類以上のシリンドリカルレンズ及び対物レンズを組み合わせる場合についても本発明は適用可能である。例えば、シリンドリカルレンズの種類の数は、2、3、4、5、6、7、8、9、10、又はそれ以上にできる。この場合、各シリンドリカルレンズは、対応付けられた対物レンズ12と組み合わされた際に最適な非点隔差を設定可能な焦点距離を有している。
ところで、顕微鏡装置100においては、三次元方式による画像取得を行う場合に用いるシリンドリカルレンズ101、102は、試料8の像に上述のような非点収差を付与するため、例えば、一方向においては曲率が付いているものの、他方向においては曲率が付いていない形状を有している(図3に示されるシリンドリカルレンズ101参照)。そのため、シリンドリカルレンズ101、102は、曲率が付いている方向と曲率が付いていない方向とで倍率が異なる。具体的に、図7に示されるように、シリンドリカルレンズ101、102は、例えば、曲率が付いていない方向をY軸に一致させ、曲率が付いている方向をX軸に一致させた場合、X軸方向の倍率がY軸方向における倍率よりも数%程度小さくなる。そのため、取得されるSTORM画像においては、その蛍光輝点の位置を規定するY座標はズレが無い値を得られるものの、X座標は所定方向にズレた値となってしまう。従って、図8に示されるように、顕微鏡装置100が取得するSTORM画像は、所定方向(X方向)に縮んで歪んでしまうといった問題が生じる。
そこで、結像系7(シリンドリカルレンズ101又は102とレンズ23)の設計値に基づいて、シリンドリカルレンズ101、102の構造に起因した歪みを補正する設計補正係数(設計補正値)を算出し、該設計補正係数を用いることでSTORM画像の座標を補正することが考えられる。設計補正係数は、X座標に関する設計補正係数aと、Y座標に関する設計補正係数bとを含み、予め下記の計算式に基づいて算出される。設計補正係数aと設計補正係数bとは、異なる値となる。上記設計補正係数a,bは記憶部26に記憶されている。
なお、シリンドリカルレンズ101、102は、Z方向における倍率については倍率差を生じさせないため、顕微鏡装置100により取得されるSTORM画像についてZ方向の歪みを考慮する必要は無い。そのため、以下の説明において、蛍光輝点の座標値の補正については、x,y座標のみを考慮するものとし、z座標については考慮しない。
ここで、上記設計補正係数a、bは、以下のようにして算出することができる。
以下、例えば、シリンドリカルレンズ101がX方向に沿って曲率を有しているものとする。なお、カメラ14に試料8の像を結像させるレンズ23の焦点距離をf、シリンドリカルレンズ101の焦点距離をf、レンズ23からシリンドリカルレンズ101までの距離をdとする。
ここで、例えばレンズ23とシリンドリカルレンズ101の合成焦点距離をX方向、Y方向でそれぞれf、fとすると、これらf及びfは、下記の式で規定される。
=1/(1/f+1/f−d/f)=f/(f+f−d) …(6)
=f …(7)
また、対物レンズ12の焦点距離をfとすると、X方向、Y方向の倍率βx、βyはそれぞれ下記の式で規定される。
β=f/f=f/f(f+f−d) …(8)
β=f/f=f/f …(9)
また、シリンドリカルレンズ101を結像系7の光路から外した場合の倍率βは、下記の式で規定される。
β=f/f …(10)
したがって、設計補正係数a,bは、それぞれ下記の式で規定される。
a=β/β=(f+f−d)/f …(11)
b=β/β=1 …(12)
例えば、レンズ23の焦点距離が200mm、シリンドリカルレンズ101の焦点距離が2000mm、レンズ23からシリンドリカルレンズ101までの距離を100mmとすると、設計補正係数a、は、1.05、設計補正係数bは、1.0と算出される。
なお、上記説明においては、シリンドリカルレンズ101に対応した設計補正係数a,bを算出する場合を例に挙げたが、シリンドリカルレンズ102についても同様に算出することができる。
しかしながら、上記設計補正係数a,bであっても、シリンドリカルレンズ101、102の製造誤差や、シリンドリカルレンズユニット50(シリンドリカルレンズ101、102)が結像系7に組み込まれた際の組み付け誤差を補正することは難しい。そのため、結像光学系7に生じる組み立て誤差(例えば、シリンドリカルレンズ101,102やレンズ23におけるZ軸回りの回転方向の位置ズレ)に起因した位置ズレ(座標値のズレ)は、上記設計補正係数a,bを用いても補正することができない。
これに対し、本実施形態に係る顕微鏡装置100は、組み付け誤差等の影響を受けない、より正確な位置補正係数a´、b´を算出し、該位置補正係数a´、b´を用いて後述のように三次元方式で取得したSTORM画像の歪みを補正することを可能としたものである。
具体的に本実施形態に係る顕微鏡装置100において、制御部25が、図9(a)に示すような蛍光画像取得部25aと、画像解析部25bと、補正部25cと、画像生成部25dとを備えている。
制御部25の蛍光画像取得部25aは、図9(b)に示すようにカメラコントローラ34と接続されており、カメラコントローラ34を介してカメラ14を作動させることにより試料8の蛍光画像G(G1,G2)を取得する。取得された蛍光画像は、直接又は記憶部26を介して画像解析部25b及び画像生成部25dに出力される。
画像解析部25bは、入力された蛍光画像を解析することにより蛍光輝点Pに対応する蛍光物質の位置や蛍光強度を特定し、蛍光物質の位置に対応する座標リストRを作成する。座標リストRは、蛍光輝点Pの解析により得られた重心位置、ピーク強度、ピーク幅等を含むデータ構造体であり、図9(b)では重心位置をプロットした図を用いて座標リストR(第1の座標リストR1及び第2の座標リストR2)を概念的に表示している。作成された座標リストRは、直接又は記憶部26を介して補正部25cに出力される。詳細については後述するが、第1の座標リストR1とは、非点収差を付与しない試料8の蛍光画像(シリンドリカルレンズ101,102を介しない蛍光画像)を解析することで作成されるものである。第2の座標リストR2とは、非点収差を付与した試料8の蛍光画像(シリンドリカルレンズ101,102を介した蛍光画像)を解析することで作成されるものである。
補正部25cは、第1の座標リストR1及び第2の座標リストR2を用いることにより補正された第2の座標リストR2’を作成する。例えば、補正部25cは、第1の座標リストR1及び第2の座標リストR2を利用して位置補正係数a´,b´を算出し、該位置補正係数a´,b´を用いて第2の座標リストR2を補正し、補正された第2の座標リストR2’を作成する。
画像生成部25dは、補正部25cによって補正された第2の座標リストR2’を元に、各輝点を1枚の画像上に配置し、STORM画像を作成する。
作成されたSTORM画像は、例えば表示部27に出力されることで表示される。
顕微鏡装置100は、制御部25に備えられた上記の機能を組み合わせて実行することにより、後述する画像形成方法の実施に必要な各種の動作を実現する。したがって、制御部25は、試料8に励起光L2が繰り返し照射されることで撮像装置が撮像した複数の像に基づいて蛍光画像を取得する画像取得部と、撮像装置が撮像した非点収差が付与されていない試料8の蛍光像における蛍光輝点の位置を解析することで構築した第1の座標リストと、撮像装置が撮像した非点隔差を付与した試料8の像における蛍光輝点の位置を解析することで構築した第2の座標リストとから予め算出した位置補正係数を用いて、非点収差が付与された試料の蛍光像における蛍光輝点の位置情報(第2の座標リスト)を補正する補正部と、補正された蛍光輝点の位置情報に基づいて、試料8の画像を生成する画像生成部との機能を兼ね備えたものとなる。これにより、顕微鏡装置100は、シリンドリカルレンズ101、102を用いて非点収差を付与することに起因して生じる歪みを補正したSTORM画像を生成することができる。
続いて、顕微鏡装置100の動作、及び顕微鏡装置100における画像形成方法について説明する。
図10は、本実施形態の画像形成方法を示すフローチャートである。本実施形態の画像形成方法は、観察条件設定ステップS101と、第1の座標リストR1を形成するステップS102と、画像取得ステップS103と、第2の座標リストR2を形成するステップS104と、補正ステップS105と、画像生成ステップS106とを有する。なお、以下では、顕微鏡装置100にて、三次元方式によるSTORM撮像処理を行う場合を前提として説明する。
まず、顕微鏡装置100のステージ123上に、標識として蛍光物質を付与された試料8がセットされる。観察対象となる試料8は、例えば培養液に浸漬された細胞などである。蛍光物質としては、活性化光L1を照射されることにより活性化状態へ移行し、活性化状態で活性化光L1とは異なる波長の励起光L2を照射されると蛍光を発して不活性化する蛍光物質が用いられる。また、この蛍光物質は、励起光L2が照射されることで蛍光を発して不活性化した後、再び活性化光L1が照射されると再び活性化状態となる。具体的には、米国特許公開第2008/0032414号明細書に記載されたものを用いることができ、例えば、2種類のシアニン染料を結合させた染料対(Cy3−Cy5染料対、Cy2−Cy5染料対、Cy3−Alexa647染料対など)を用いることができる。
上記の染料対において、一方の染料(第1の染料)が励起光により発光する光放射部分を形成し、他方の染料(第2の染料)が、光照射に応答して第1の染料を活性化するか、あるいは第1の染料の状態を切り替えるスイッチとして機能する活性化部分を形成する。
例えば、Cy3−Cy5染料対では、Cy5が光放射部分であり、Cy3はCy5を活性化可能な活性化部分である。したがって、Cy3−Cy5染料対を含む蛍光物質に、Cy3の吸収波長に対応する緑色レーザ(532nm)を照射すると、光放射部分であるCy5が活性化され、Cy5が蛍光状態に移行する。そして、Cy5が蛍光状態にある蛍光物質に対してCy5の吸収波長に対応する赤色レーザ(633nm)を照射すると、Cy5が発光するとともに、非活性状態(暗状態)に戻る。
STORMでは、蛍光物質における蛍光状態と暗状態とのスイッチング動作を制御することで、試料8に付与された蛍光物質のごく一部のみを選択的に発光させ、蛍光物質を1分子レベルで検出可能としている。
ステージ123への試料8のセットが完了したならば、ステージ123を駆動することにより、試料8の観察視野がセットされる。この最初の観察領域のセット動作は、観察者38による手動操作により行ってもよく、制御部25によりステージ123を移動させ、予め設定された座標位置にステージ123を配置することにより行ってもよい。
観察領域のセットが完了したならば、次に、観察条件設定ステップS101に移行する。
観察条件設定ステップS101は、観察者38により入力された条件に基づいて画像取得条件を選択するステップS11と、ステップS11で選択された対物レンズ12に対応するシリンドリカルレンズ101,102を選択するステップS12と、を含む。
まず、ステップS11において、観察者38が選択した対物レンズ12の種類(倍率)についての情報が顕微鏡装置100に対して入力される。
続いて、ステップS12では、顕微鏡装置100は、上記ステップS11において選択された対物レンズ12の焦点深度に合わせた適切な焦点距離を有するシリンドリカルレンズを上記シリンドリカルレンズ101,102の一方から選択するようにシリンドリカルレンズユニット50を駆動させる。
(第1の座標リストR1の形成ステップS102)
本実施形態においては、観察条件設定ステップS101の終了後、第1の座標リストR1を形成するステップS102に移行する。
ステップS102において、顕微鏡装置100は、スライド板105aの開口部106を結像系7の光路に挿入した状態で試料8に対して活性化光L1を照射するとともに励起光L2を照射して蛍光画像G1を取得する。
具体的に、活性化光L1は、レーザ台40内の第1のレーザ光源41aから試料8に対して照射される。なお、このとき照射される活性化光L1の強度レベルは非常に低く抑えられており、これにより試料8に含まれる蛍光物質のうちの一部のみが確率的に活性化される。また、活性化光L1は全反射照明、落射照明のいずれの形態で試料に照射してもよい。
励起光L2は、レーザ台40内のシャッター42a、42b及び音響光学素子45を切り替えて第2のレーザ光源9bから試料8に照射される。すると、活性化光L1で活性化されている蛍光物質のみが選択的に発光する。なお、蛍光を発した蛍光物質は不活性状態に移行する。
顕微鏡装置100において、制御部25の蛍光画像取得部25aはこの蛍光物質が発する蛍光を、カメラコントローラ34を介してカメラ14を動作させることで撮影し、蛍光画像G1(図9参照)を取得する。蛍光画像取得部14aは、取得した1枚の蛍光画像G1を記憶部26に記憶させる。
ここで、結像系7の光路には、シリンドリカルレンズ101,102が挿入されていないため、試料8の蛍光画像G1には非点収差が付与されない。制御部25は、画像解析部25bにより記憶部26に蓄積されている蛍光画像G1を解析し、第1の座標リストR1を作成する。
具体的に、画像解析部25bは、図9に示した蛍光画像G1から蛍光輝点Pfを特定し、その強度ピークをGaussian関数又は楕円Gaussian関数にフィッティングすることで、蛍光輝点Pfに対応する蛍光物質の位置、蛍光輝点Pfの強度等を特定する。例えば、蛍光輝点Pfの強度ピークを二次元Gaussian関数にフィッティングし、ピークの中心位置(重心位置)を特定することにより蛍光物質の位置を特定する。また蛍光輝点Pfの輝度を、観測された強度ピークからバックグラウンドの蛍光輝度を差し引くことにより算出する。このようにして蛍光画像G1について重心位置の座標値や輝度値を取得し、それらを連結したデータ構造体として第1の座標リストR1を作成する。作成された第1の座標リストR1は、記憶部26に記憶される。なお、重心位置の座標値の原点は、結像系7の光軸上に設定される。
なお、蛍光画像G1を複数取得し、該複数の蛍光画像G1に基づいて上記第1の座標リストR1を作成するようにしてもよい。この場合、後述する画像取得ステップ(STORM撮影処理)と同様、試料8に活性化光L1を照射するステップと、試料8に励起光L2を照射して蛍光画像G1を撮像するステップとを繰り返すようにすればよい。
(画像取得ステップS103)
上記ステップS102(第1の座標リストR1の形成ステップ)が完了したならば、次に、画像取得ステップS103に移行する。
画像取得ステップS103は、試料8に対して活性化光L1を照射するステップS13と、試料8に対して励起光L2を照射して蛍光画像G2を取得するステップS14と、撮像処理の終了を判定するステップS15とを含む。
三次元方式の画像取得ステップS103においては、スライド板105aによりシリンドリカルレンズ101又は102を結像系7の光路に挿入した状態で試料8の蛍光画像G2を取得する。そのため、試料8の蛍光画像G2には非点収差が付与されたものとされている。
まず、ステップS13では、レーザ台40内の第1のレーザ光源41aから試料8に対して活性化光L1を照射する。
次に、ステップS14では、第2のレーザ光源9bから試料8に励起光L2が照射される。なお、蛍光を発した蛍光物質は不活性状態に移行する。制御部25の蛍光画像取得部25aは、この蛍光物質が発する蛍光を、カメラコントローラ34を介してカメラ14を動作させることで撮影し、蛍光画像G2(図2参照)を取得する。蛍光画像取得部14aは、取得した蛍光画像G2を記憶部26に記憶させる。取得された蛍光画像G2は、直接又は記憶部26を介して画像解析部25bに出力される。
次に、ステップS15において、予め設定された枚数の蛍光画像G2の取得が終了したか否かが判定される。蛍光画像G2の枚数が予定枚数(例えば数百〜数万枚)に達していない場合には、ステップS13に戻り、上述したステップS13〜S15の実行動作が繰り返される。
なお、ステップS14において発光した蛍光物質は、発光後に不活性化されるため、ステップS15からステップS13に戻って活性化光L1の照射が再度行われる際には、試料8に含まれる蛍光物質は不活性状態に戻っている。そのため、ステップS13を再実行するたびに、活性化される蛍光物質は確率的に異なるものとなり、その後のステップS14で取得される蛍光画像G2は、前のサイクルで取得された蛍光画像G2とは概ね異なる蛍光輝点のパターンを示すものとなる。
ステップS15において終了と判定された場合には、ステップS17に移行する。
これにより、画像取得ステップS103が完了する。
(第2の座標リストR2の形成ステップS104)
本実施形態においては、上記画像取得ステップS103とともに、第2の座標リストR2を形成するステップS104を並行して進めている。
ステップS104において、画像解析部25bは、蛍光画像G2から蛍光輝点Psを特定し、その強度ピークをGaussian関数又は楕円Gaussian関数にフィッティングすることで、蛍光輝点Psに対応する蛍光物質の位置、蛍光輝点Psの強度等を特定する。
例えば、蛍光輝点Psの強度ピークを二次元Gaussian関数にフィッティングし、ピークの中心位置(重心位置)を特定することにより蛍光物質の位置を特定する。また、蛍光輝点Psの輝度を、観測された強度ピークからバックグラウンドの蛍光輝度を差し引くことにより算出する。このようにして蛍光画像G2について重心位置の座標値や輝度値を取得し、それらを連結したデータ構造体として第2の座標リストR2を作成する。作成された第2の座標リストR2は、記憶部26に記憶される。なお、重心位置の座標値の原点は、結像系7の光軸上に設定される。
本実施形態において、第2の座標リストR2の形成ステップは、上述のように画像取得ステップS103と並行して進行されるため、画像取得ステップS103において取得される蛍光画像G2の増加に伴って、第2の座標リストR2を随時更新する。すなわち、第2の座標リストR2は、画像取得ステップS103において全ての蛍光画像G2の撮像が終了したタイミングで、全ての蛍光画像G2の蛍光輝点Psについての座標をリストとして取得する。
画像取得ステップS103及びステップS104(第2の座標リストR2の形成ステップ)が完了したならば、次に、補正ステップS105に移行する。
補正ステップS105は、上記ステップにより記憶部26に記憶された第1の座標リストR1及び第2の座標リストR2を用いて位置補正係数a´,b´を算出するステップS17と、算出した位置補正係数a´,b´を用いて第2の座標リストR2を補正するステップS18と、を含む。
ここで、位置補正係数a´,b´は、第1の座標リストR1の情報(蛍光画像G1における蛍光輝点Pfの各座標(x,y))と、第2の座標リストR2の情報(蛍光画像G2における蛍光輝点Psの各座標(X,Y))とを直接比較し、同一の蛍光輝点同士の座標の差分を取ることで算出できる。
しかしながら、蛍光画像G2における蛍光輝点の座標は、シリンドリカルレンズを用いて非点収差を付与することの影響によって試料8上で実際に蛍光を発している輝点の位置(座標)とは異なる。そのため、蛍光画像G2に含まれる複数の蛍光輝点Psのそれぞれが、蛍光画像G1に含まれる複数の蛍光輝点Pfのうちのいずれと対応するものであるかは判断不可である。
そこで、本実施形態では、上記ステップS17にて以下の各ステップを採用している。
ステップS17は、第2の座標リストR2を設計補正係数a,bを用いて補正することで補正座標リストCR2を取得するステップSS1と、第1の座標リストR1と補正座標リストCR2とを比較し、該リストR1,R2の中からそれぞれ同一の蛍光輝点を選択するステップSS2と、選択した同一の蛍光輝点の座標に基づいて位置補正係数a´,b´を算出するステップSS3と、を含む。なお、位置補正係数a´,b´は一度算出してしまえば、結像系7の光学特性等が変化しない限り、それ以降の画像取得ステップ103(STORM撮像処理)において再度算出する必要は無く、共通に使用することができる。
まず、顕微鏡装置100は、結像系7の設計値に基づいて設定された上記設計補正係数a,bを用いて、第2の座標リストR2の蛍光画像G2についての座標(x,y)を補正し、仮の座標データ(x´,y´)を含む補正座標リストCR2を取得する(ステップSS1)。
具体的に、制御部25の画像解析部25bは、記憶部26に記憶された上記設計補正係数a,bを読み出し、第2の座標リストR2の各座標データ(X,Y)に掛けることで補正座標(X´,Y´)=(aX,bY)を求めて上記補正座標リストCR2を形成する。補正座標リストCR2の補正座標(X´,Y´)は、シリンドリカルレンズ101又は102に起因して生じた歪みを補正した座標である。
続いて、画像解析部25bは、第1の座標リストR1における各座標(x,y)と、上記補正座標リストCR2における補正座標(X´,Y´)とを比較し、該リストR1,CR2の中からそれぞれ同一の蛍光輝点を選択する(ステップSS2)。その後、選択した同一の蛍光輝点の座標に基づいて位置補正係数a´,b´を算出する(ステップSS3)。
図11、12は、ステップSS2、SS3を概念的に示す図である。
具体的に、ステップSS2において、画像解析部25bは、図11に示すように、各リストCR2、R1の各々において各座標間の距離dを演算により算出する。そして、距離dが所定の閾値S以下となる関係を有する蛍光輝点同士を概ね同一の蛍光輝点ペアと判定し、各座標リストCR2、R1から同一の蛍光輝点ペアをそれぞれ選択する。
ここで、上記所定の閾値Sとは、結像系7において生じる可能性のある組み立て誤差に起因する歪み(例えば、0.05mm)程度に設定されているものである。すなわち、各座標間の距離dが所定の閾値S以下の場合とは、各座標リストCR2、R1の蛍光輝点同士の座標が組み立て誤差程度しか相違しない事を意味する。そこで、本実施形態においては、座標位置が組み立て誤差程度だけ異なる蛍光輝点同士を同一の蛍光輝点とみなすこととした。
なお、結像系7に生じる組み立て誤差が完全にゼロであれば、補正座標(X´,Y´)のいずれかが座標(x,y)のいずれかに一致することもあり得る。この場合、距離dがゼロとなる。しかしながら、上述したように結像系7に生じる組み立て誤差を完全にゼロとする(無くす)ことは困難であることから、本実施形態においては、各座標が概ね一致する場合(距離dが閾値S以下となる場合)を、各座標が同一の蛍光輝点であると判定し、同一の蛍光輝点ペアとして選択する。
画像解析部25bは、上記演算の結果、第1の座標リストR1及び第2の座標リストR2の各々から蛍光輝点ペアを複数選択する。
具体的に、画像解析部25bは、図12(a)、(b)に示されるように、第1の座標リストR1における複数の蛍光輝点Pfの中から選択した蛍光輝点Pf1〜Pf8と、第2の座標リストR2における複数の蛍光輝点Psの中から選択した蛍光輝点Ps1〜Ps8とから構成される蛍光輝点ペアP1〜P8を選択する。すなわち、蛍光輝点Pf1及び蛍光輝点Ps1は同一の蛍光輝点ペアの1つであり、蛍光輝点Pf2及び蛍光輝点Ps2、蛍光輝点Pf3及び蛍光輝点Ps3、蛍光輝点Pf4及び蛍光輝点Ps4、蛍光輝点Pf5及び蛍光輝点Ps5、蛍光輝点Pf6及び蛍光輝点Ps6、蛍光輝点Pf7及び蛍光輝点Ps7、蛍光輝点Pf8及び蛍光輝点Ps8はそれぞれ同一の蛍光輝点ペアである。
このように複数の蛍光輝点ペアが選択された場合、画像解析部25bは、以下のようにして2組の蛍光輝点ペアを選択する。
具体的に、画像解析部25bは、第1の座標リストR1及び第2の座標リストR2のそれぞれにおいて、他の蛍光輝点ペアの蛍光輝点に対する距離が最も離間した関係となる蛍光輝点ペアを2組選択する。
画像解析部25bは、図12(a)、(b)に示すように、第1の座標リストR1における8個の蛍光輝点ペアP1〜P8のうちの、蛍光輝点Pf1、Pf2の各座標(U,V)、(U,V)と蛍光輝点Ps1、Ps2の補正座標(X´,Y´)、(X´,Y´)との距離が最も離間した関係にあると判定した。この場合、画像解析部25bは、他の蛍光輝点ペアの蛍光輝点に対する距離が最も離間した関係となる蛍光輝点ペアを2組として、第1の座標リストR1の中の蛍光輝点Pf1、Pf2と第2の座標リストR2の中の蛍光輝点Ps1、Ps2とを含む蛍光輝点ペアP1,P2を選択する。
このように、ステップSS2においては、蛍光画像G2の座標(X,Y)として、設計補正係数a,bにより、シリンドリカルレンズを用いて非点収差を付与することの影響によるズレの無い座標(X´,Y´)に変換(補正)したものを用いることで、蛍光画像G1の蛍光輝点Pfと蛍光画像G2の蛍光輝点Psとを直接的に比較することとした。従って、蛍光画像G1及び蛍光画像G2の中から、それぞれ概ね同一の蛍光輝点(すなわち、それぞれの座標が概ね一致することで試料8上の同じ輝点から照射されたとみなされた蛍光)を選択できる。
上記ステップSS2が終了した後、ステップSS3に移行する。
ステップSS3において、画像解析部25bは、選択した蛍光輝点ペアP1,P2の各座標からより正確な位置補正係数a´,b´を演算により算出する。具体的に、画像解析部25bは、蛍光輝点Pf1、Pf2におけるX座標間の距離u(u=U−U)と、Y座標間の距離v(v=V−V)とを算出する。また、画像解析部25bは、蛍光輝点Ps1、Ps2においてもX座標間の距離x(x=X−X)と、Y座標間の距離y(y=Y−Y)とを算出する。
上記演算結果から、画像解析部25bは、位置補正係数a´(a´=u/x),b´(b´=v/y)を算出する。この位置補正係数a´,b´によれば、同一の蛍光輝点において、非点収差が付与されない座標(ズレの無い座標)と、非点収差が付与された座標(ズレのある座標)とを直接比較することで算出されたものである。そのため、位置補正係数a´,b´は、シリンドリカルレンズ101,102の設計値から算出された上記設計補正係数a,bでは補正ができない、結像系7において生じる組み立て誤差についても補正可能なものとなる。
画像解析部25bは、算出した位置補正係数a´,b´を画像生成部25dに出力する。
以上のステップにより、位置補正係数a´,b´を算出するステップS17が完了する。
位置補正係数a´,b´を算出するステップS17の完了後、ステップS18に移行する。
ステップS18において、補正部25cは、位置補正係数a´,b´を用いてステップS104によって得られた第2の座標リストR2を補正する。具体的に、補正部25cは、第2の座標リストR2のX,Y座標にそれぞれ位置補正係数a´,b´を掛ける演算を行い、補正された第2の座標リストR2´を作成する。
(画像生成ステップS106)
上記ステップS105が完了したならば、次に、画像生成ステップS106に移行する。
ステップS19において、画像生成部25dは、補正された第2の座標リストR2´を元に、各輝点を1枚の画像上に配置し、STORM画像を生成する。
位置補正係数a´,b´は、上述のように設計補正係数a,bが補正できない結像系7の組み立て誤差も補正できるので、より精度の高いSTORM画像を三次元方式で取得することができる。
以上のように顕微鏡装置100によれば、シリンドリカルレンズ101,102を用いることで三次元方式のSTORM撮像処理を行った場合であっても、位置補正係数a´,b´により歪みの無い状態に補正された精度の良いSTORM画像を得ることができる。よって、三次元方式による試料8の画像観察を精度良く行うことができる。
なお、上記説明では、画像取得ステップS103の完了後に、補正ステップS105を開始する場合を例に挙げた。位置補正係数a´,b´の算出に使用される第2の座標リストR2は、画像取得ステップS103の進行とともに随時更新される。すなわち、第2の座標リストR2に含まれる蛍光輝点Psは、画像取得ステップS103の進行に伴って増加する。そのため、画像取得ステップS103の途中で補正ステップS105を開始すると、第2の座標リストR2に含まれる蛍光輝点Psと、第1の座標リストR1に含まれる蛍光輝点Pfとの中から同一の蛍光輝点が選択されないおそれがあるためである。
これに対し、補正ステップS105のうち位置補正係数a´,b´を算出するステップS17については、画像取得ステップS103の途中から開始してもよい。
第1の座標リストR1の蛍光輝点Pfと同じ輝点から発せられた蛍光が、補正ステップS105におけるいずれのタイミングで撮像された蛍光画像G2に含まれるかを判断するのは難しい。そのため、補正ステップS105の途中からステップS17を開始した場合であっても、第1の座標リストR1に含まれる蛍光輝点Pfと、随時更新される第2の座標リストR2の蛍光輝点Psとの中から同一の蛍光輝点が選択され、位置補正係数a´,b´を算出できる可能性もあり得る。
また、上記実施形態においては、補正ステップS105で使用する第1の座標リストR1及び第2の座標リストR2を試料8の撮像結果に基づいて作成する場合を例に挙げた。すなわち、上記実施形態においては、試料8の蛍光画像を用いて位置補正係数a´,b´を算出していた。
これに対し、試料8に代えて図13に示されるような格子状の標本80を用いることで、STORM撮像ステップよりも先に、上記位置補正係数a´,b´を算出することもできる。標本80は、格子部分80aに、試料8と同様の蛍光を発する蛍光物質が複数設けられている。
この場合、まず、顕微鏡装置100は、スライド板105aの開口部106を結像系7の光路に挿入した状態で標本80の蛍光画像G1を取得し、記憶部26に記憶させる。この場合、結像系7の光路には、シリンドリカルレンズ101,102が挿入されていないため、標本80の蛍光画像G1には非点収差が付与されない。制御部25は、画像解析部25bにより記憶部26に蓄積されている蛍光画像G1を解析し、上記実施形態と同様に第1の座標リストR1を作成する。
続いて、顕微鏡装置100は、スライド板105aにより例えばシリンドリカルレンズ101を光路中に挿入した状態で標本80の蛍光画像G2(非点収差が付与された蛍光画像)を取得し、記憶部26に記憶させる。制御部25は、画像解析部25bにより記憶部26に蓄積されている蛍光画像G2を解析し、第2の座標リストR2を作成する。
制御部25は、上記第1の座標リストR1及び第2の座標リストR2に基づいて、上記実施形態と同様のステップを行うことで、シリンドリカルレンズ101に対応する位置補正係数a´,b´を算出し、記憶部26に記憶しておく。
なお、標本80から取得される蛍光画像G1、G2は、試料8から取得される離散的な蛍光輝点とは異なり、全ての蛍光輝点が同時に発光することで構成される。蛍光画像G1、G2は、格子部分80aに設けられた複数の蛍光物質により平面形状が格子状となる。そのため、画像解析部25bは、蛍光画像G1、G2を解析することで、図13に示されるように格子部分80aのX、Y方向の距離を算出する。画像解析部25bは、例えば、蛍光画像G1におけるX、Y方向の距離をそれぞれu,vとし、蛍光画像G2におけるX、Y方向の距離をそれぞれx,yと算出する。この場合、画像解析部25bは、位置補正係数a´(a´=u/x),b´(b´=v/y)を算出することができる。
このように標本80を用いれば、試料8の画像取得ステップ103(STORM撮像ステップ)よりも先に、位置補正係数a´,b´を取得できるので、STORM撮影ステップと並行して位置補正係数を算出する場合に比べて、制御部25による処理フローを単純化することができる。
また、上記実施形態においては、第1の座標リストR1を画像取得ステップ103の前に作成した後、画像取得ステップ103の途中で第2の座標リストR2を作成する場合を例に挙げた。しかしながら、第1の座標リストR1を作成するタイミング(蛍光画像G1を撮像するタイミング)は、上記実施形態に限られることはない。
例えば、シリンドリカルレンズ101を用いた画像取得ステップ103において複数の蛍光画像G2を取得している途中で、一時的にシリンドリカルレンズ101を結像系7の光路から退避させて蛍光画像G1を取得することで第1の座標リストR1を形成し、その後、再度シリンドリカルレンズ101を結像系7の光路に挿入することで画像取得ステップ103を再開して蛍光画像G2を取得することで第2の座標リストR2を更新するようにしてもよい。或いは、シリンドリカルレンズ101を用いた三次元方式の画像取得ステップ103が終了して第2の座標リストR2が形成された後、シリンドリカルレンズ101を結像系7の光路から退避させ、蛍光画像G1を取得することで第1の座標リストR1を形成するようにしてもよい。
また、上記実施形態においては、顕微鏡装置100として、シリンドリカルレンズユニット50が2つのシリンドリカルレンズ101、102を結像系7の光路上に入れ替え可能に挿入することができる場合を例に挙げた。しかしながら、顕微鏡装置の態様としては、例えば、試料8の像に非点収差を付与可能となるように結像系7の光路上に1つのシリンドリカルレンズを進退可能な構成であってもよい。この場合、対物レンズ12の倍率は固定となる。すなわち、顕微鏡装置が、試料8の像に非点収差を付与した状態と付与しない状態とを切り替え可能な光学部材を備えた態様であればよい。よって、シリンドリカルレンズに代えて、シリンドリカルレンズと同様の円柱表面状の凸面を有するミラーや、前記円柱表面状を反対に凹ませた凹面を有するミラーを備えることで、試料8の像に非点収差を付与する状態と付与しない状態とを切り替え可能な態様の顕微鏡装置であってもよい。
また、上記実施形態においては、第1の座標リストR1及び第2の座標リストR2のそれぞれにおいて、他の蛍光輝点ペアの蛍光輝点に対する距離が最も離間した関係となる蛍光輝点ペアを2組選択し、選択した蛍光輝点ペアの座標データを用いて位置補正係数a´,b´を算出する場合を説明した。
しかしながら、補正部25cは、第1の座標リストR1及び第2の座標リストR2から選択した複数の蛍光輝点ペアP1〜P8の座標データに関する演算値の平均値に基づいて位置補正係数a´,b´を算出するようにしてもよい。すなわち、各蛍光輝点ペアP1〜P8を用いて、位置補正係数a´,b´を複数パターン算出し、これら複数の演算値(位置補正係数a´、b´)の平均値に基づいて1つの位置補正係数a´,b´を算出するようにしてもよい。これによれば、1個の演算値を用いる場合よりも高精度な位置補正係数a´,b´を得ることができる。
また、上記実施形態においては、補正部25cが第1の座標リストR1及び第2の座標リストR2を用いることにより算出した位置補正係数a´,b´を用いて第2の座標リストR2を補正し、補正された第2の座標リストR2´を元に各輝点を1枚の画像上に配置してSTORM画像を作成する場合を説明した。
しかしながら、例えばSTORM画像の精度要求が比較的低い場合は、シリンドリカルレンズ101、102の製造誤差や、シリンドリカルレンズユニット50(シリンドリカルレンズ101、102)が結像系7に組み込まれた際の組み付け誤差が許容されることも想定される。
このような場合、補正部25cは、位置補正係数として設計補正係数(設計補正値)a,bのみを用いて第2の座標リストR2を補正して第2の座標リストR2´を作成するようにしてもよい。画像生成部25dは、補正部25cが設計補正係数a,bに基づいて補正した第2の座標リストR2´を元に、各輝点を1枚の画像上に配置し、STORM画像を作成する。なお、この場合においては、顕微鏡装置100は、第1の座標リストR1を取得する必要が無い。そのため、第1の座標リストR1の形成ステップS102が不要となるので、STORM画像の作成処理を短縮することができる。
この構成によれば、顕微鏡装置100は、予め算出されて記憶部26に記憶された設計補正係数a,bを用いて、第2の座標リストR2を補正することができるので、位置補正係数a´,b´を算出するステップS17を無くすことができる。よって、顕微鏡装置100は、ステップS17の終了を待つことなく、第2の座標リストR2の取得と並行して補正された第2の座標リストR2´を作成するステップS18を行うことができる。よって、上記実施形態に比べて、STORM画像を短時間で表示部27に出力させることができる。
(第二実施形態)
次に、顕微鏡装置の第二実施形態について説明する。なお、本実施形態に係る構成と第一実施形態に係る構成とは、対物レンズユニット及びシリンドリカルレンズユニットの構成のみが異なる。そのため、以下の説明ではシリンドリカルレンズユニットの構成を主に説明し、第一実施形態と同じ構成及び部材については同一の符号を付し、その詳細な説明については省略若しくは簡略化するものとする。
図14は本実施形態に係る顕微鏡装置の概略構成を示す図であり、図15は本実施形態におけるシリンドリカルレンズユニットの構成を示す図である。
本実施形態においては、図14に示すように対物レンズユニット112Aが、第1の対物レンズ112a、第2の対物レンズ112b、第3の対物レンズ112c、第4の対物レンズ112d、および第5の対物レンズ112eを含んでいる。これら第1〜第5の対物レンズ112a〜112eは、この順に焦点深度が深く設定されている。すなわち、第1対物レンズ112aの焦点深度が最も浅く、対物レンズ112eの焦点深度が最も深く設定されている。以下、説明の都合上、第1〜第5の対物レンズ112a〜112eを総称して対物レンズ112と呼ぶこともある。
本実施形態に係る顕微鏡装置200において、図14に示すように、結像光学系7におけるレンズ22、23間にシリンドリカルレンズユニット150が設けられている。本実施形態に係るシリンドリカルレンズユニット150は、図14,15に示すように複数のシリンドリカルレンズ201〜205と、これらシリンドリカルレンズ201〜205をレンズ22、23間に進退させるターレット部(進退部)215と、を備えている。ターレット部215は、シリンドリカルレンズ201〜205を保持する円板部材215aと、該円板部材215aの中心を通る回転軸J周りに回転させることでレンズ22、23間にシリンドリカルレンズ201〜205の各々を進退可能とする回転駆動部215bと、を含む。
円板部材215aには、シリンドリカルレンズ201〜205の保持部201a〜205aと、開口部206とが設けられている。これら保持部201a〜205aおよび開口部206は、円板部材215aの周方向(回転方向)に沿って配置されている。開口部206は、レンズ22を通過した光を遮ることなく通過させる大きさに設定されている。シリンドリカルレンズ201〜205は、例えば保持部201a〜205aに嵌合されることで円板部材215aに保持されている。
シリンドリカルレンズ201〜205内の矢印は各レンズの母線方向を示し、本実施例においては、例えばそれぞれが円板部材215aの径方向に向かうように取り付けられている。すなわち、各レンズの母線方向は回転軸Jが通る円板部材215aの中心に対して放射方向に設定されており、各シリンドリカルレンズ201〜205がレンズ22、23間に挿入された場合に、各々のレンズの母線が鉛直方向となるように配置されている。これにより、シリンドリカルレンズ201〜205のいずれを用いた場合においても、カメラ14上に形成される試料8の楕円方向の向きが変化してしまうのを防止している。なお、シリンドリカルレンズ201〜205は、その母線方向が共に円周方向(径方向と直交する方向)となるように配置されていても構わない。シリンドリカルレンズ201〜205は、それぞれが異なる焦点距離を有しており、具体的にシリンドリカルレンズ205からシリンドリカルレンズ201の順に焦点距離が短く設定されている。すなわち、シリンドリカルレンズ205の焦点距離が最も長く、シリンドリカルレンズ201の焦点距離が最も短く設定されている。
本実施形態において、対物レンズ112のうち、最も焦点深度の浅い第1の対物レンズ112aと、シリンドリカルレンズユニット150のうち最も焦点距離の長いシリンドリカルレンズ205とが対応付けられている。一方、最も焦点深度の深い第5の対物レンズ112eと、シリンドリカルレンズユニット150のうち最も焦点距離の短いシリンドリカルレンズ201とが対応付けられている。また、第2の対物レンズ112bとシリンドリカルレンズ204とが対応付けられており、第3の対物レンズ112cとシリンドリカルレンズ203とが対応付けられており、第4の対物レンズ112dとシリンドリカルレンズ202とが対応付けられている。
このような構成に基づいて、顕微鏡装置200は、観察者38によって選択された対物レンズ112の種類に応じて、制御部25によりシリンドリカルレンズユニット150の回転駆動部215bを駆動し、円板部材215aを回転させて結像光学系7の光路中に対応するシリンドリカルレンズ201〜205を挿入する。これにより、顕微鏡装置200において、観察者38が希望する画像取得条件に応じて対物レンズ112の倍率、開口数を変更した場合でも、対物レンズ112に対応する最適なシリンドリカルレンズ201〜205を設定することができ、三次元方式による試料8の画像観察を精度良く行うことができる。
また、顕微鏡装置200において、観察者38が二次元方式による画像取得を希望した場合、制御部25によりシリンドリカルレンズユニット150の回転駆動部215bを駆動し、円板部材215aを回転させて結像光学系7の光路に開口部206を挿入する。このとき、試料8からの光は開口部206を通過するため、シリンドリカルレンズ201〜205を通過する場合のように楕円状に像が変形することがなく、カメラ14上において円形の像となる。これにより、顕微鏡装置200において、カメラ14が撮像した円形の像に基づき、二次元方式で試料8の二次元画像を取得することができる。
また、本実施形態に係る顕微鏡装置200においても、各シリンドリカルレンズ201〜205の設計値に基づいて予め算出された設計補正係数a,bが記憶部26にそれぞれ記憶されている。
顕微鏡装置200は、上記実施形態と同様、観察条件設定ステップS101において観察者38により選択された対物レンズ112a〜112eの焦点深度に合わせた適切な焦点距離を有するシリンドリカルレンズを上記シリンドリカルレンズ201〜205の中から選択するようにシリンドリカルレンズユニット150を駆動させる。
顕微鏡装置200は、上記実施形態と同様、蛍光画像G1,G2から取得した第1の座標リストR1及び第2の座標リストR2を解析することで、シリンドリカルレンズ201〜205毎に位置補正係数a´,b´を算出し、記憶部26にそれぞれ記憶する。なお、各シリンドリカルレンズ201〜205の位置補正係数a´,b´を算出する場合、各々の設計補正係数a,bが使用される。
これにより、顕微鏡装置200は、シリンドリカルレンズ201〜205毎に異なるSTORM画像の歪みをそれぞれ補正することができる。よって、シリンドリカルレンズ201〜205を変更した場合であっても、種々の倍率で歪みの無いSTORM画像を精度良く取得することができる。
なお、上述の実施形態では、シリンドリカルレンズ201〜205と対物レンズ112との対応関係が五種類の場合について説明したが、それ以下、或いは六種類以上の場合についても本発明は適用可能である。例えば、シリンドリカルレンズ201〜205と対物レンズ112との対応関係の数は、2、3、4、5、6、7、8、9、10、又はそれ以上にできる。
(第三実施形態)
次に、顕微鏡装置の第三実施形態について説明する。なお、本実施形態に係る構成と第一、第二実施形態に係る構成とは、シリンドリカルレンズユニットの構成のみが異なる。そのため、以下の説明ではシリンドリカルレンズユニットの構成を主に説明し、上記実施形態と同じ構成及び部材については同一の符号を付し、その詳細な説明については省略若しくは簡略化するものとする。
図16は本実施形態に係る顕微鏡装置300の概略構成を示す図であり、図17は本実施形態におけるシリンドリカルレンズユニットの構成を示す図である。
本実施形態に係る顕微鏡装置300は、図16に示すように、結像光学系7におけるレンズ22、23間にシリンドリカルレンズユニット250が設けられている。本実施形態に係るシリンドリカルレンズユニット250は、一対のシリンドリカルレンズ301,302と、これらシリンドリカルレンズ301,302を保持する回転シリンダー部315と、を含む。回転シリンダー部315は、一対のシリンドリカルレンズ301,302の各々が所定の回転軸K周りに回転可能な状態で保持している。ここで、シリンドリカルレンズ301,302における所定の回転軸Kは、結像光学系7内の像の光線束の中心軸と平行な軸により規定される。これらシリンドリカルレンズ301,302が互いに回転することで非点隔差を連続的に変化させることが可能となっている。
シリンドリカルレンズ301,302は互いの焦点距離の正負が異なり、絶対値が等しい関係となっている。具体的に本実施形態では、図17に示すようにシリンドリカルレンズ301として凹型シリンドリカルレンズを用い、シリンドリカルレンズ302として凸型シリンドリカルレンズを用いた。
図18はシリンドリカルレンズユニット250を回転軸Kの軸方向から視た図である。図18における矢印Aはシリンドリカルレンズ301の母線方向を示し、図18における矢印Bはシリンドリカルレンズ302の曲率方向(母線方向と垂直な方向)を示しており、矢印A,Bがなす角度をθとする。なお、図18においては、説明を分かり易くするため、シリンドリカルレンズ301,302の形状を円形で簡略化して示している。図19(a)は矢印A,Bのなす角度θが0度の場合におけるシリンドリカルレンズ301,302の状態を示す平面図であり、図19(b)は矢印A,Bのなす角度θが90度の場合におけるシリンドリカルレンズ301,302の状態を示す平面図である。
シリンドリカルレンズ301,302は、2本の矢印A,Bの中線C(合成母線)を常に鉛直方向に保ちつつ、θが変化するように互いが回転するようになっている。すなわち、シリンドリカルレンズ301,302は、各々が反対方向に同じ角度ずつ回転するようになっており、矢印A及びBと中線Cとのなす角度はそれぞれθ/2となっている。このようにシリンドリカルレンズユニット250は、矢印A,Bの中線Cを常に鉛直方向に保つことでカメラ14上に形成される試料8の像の楕円方向が回転してしまうのを防止している。
シリンドリカルレンズユニット250は、図19(a)に示されるようにθが0度の時、鉛直方向と水平方向でのレンズの屈折力の差が最大となるため、非点隔差が最大となる。一方、図19(b)に示されるようにθが90度の時、鉛直方向と水平方向でのレンズの屈折力の差が無くなるため、非点隔差は0となる。このようにシリンドリカルレンズユニット250は、θを0度から90度の間で調整することで、非点隔差を連続的に変化させることが可能となっている。なお、顕微鏡装置300は、予め実験等により求めた、対物レンズ112の焦点深度と、この焦点深度に対応した非点隔差を発生させるレンズ301,302の回転角度θとを関連付けたデータを記憶部26内に記憶している。
顕微鏡装置300において、観察者38によって選択された対物レンズ112の種類に応じて、制御部25によりシリンドリカルレンズユニット250の回転シリンダー部315を駆動し、一対のシリンドリカルレンズ301,302の所定角度だけ回転させる。これにより、顕微鏡装置300において、観察者38が希望する画像取得条件に応じて対物レンズ112の倍率、開口数を変更した場合でも、対物レンズ112の焦点深度に対応した最適な非点隔差を設定することができ、精度の高い三次元方式による試料8の画像観察を提供できる。
また、顕微鏡装置300において、観察者38が二次元方式による画像取得を希望した場合、制御部25によりシリンドリカルレンズユニット250の回転シリンダー部315を駆動し、一対のシリンドリカルレンズ301,302の角度θを90度とする。このとき、試料8からの光はシリンドリカルレンズ301,302を通過する際に非点収差が生じないため、像が変形することがなく、カメラ14上において円形の像となる。これにより、顕微鏡装置300において、カメラ14が撮像した円形の像に基づき、二次元方式で試料8の画像を取得することができる。
また、本実施形態に係る顕微鏡装置300においても、シリンドリカルレンズユニット250の設計値に基づいて予め算出された設計補正係数a,bが記憶部26にそれぞれ記憶されている。具体的にシリンドリカルレンズユニット250は、一対のシリンドリカルレンズ301,302の角度θに応じて非点隔差が変化する。本実施形態に係る設計補正係数a,bは、例えばシリンドリカルレンズ301,302の回転角度θと非点隔差とを関連付けたデータに基づいて算出される。
顕微鏡装置300は、上記実施形態と同様、観察条件設定ステップS101において観察者38により選択された対物レンズ112の焦点深度に合わせた適切な焦点距離を有するようにシリンドリカルレンズ301,302の回転角度θを調整するようにシリンドリカルレンズユニット250を駆動させる。
顕微鏡装置300は、上記実施形態と同様、蛍光画像G1,G2から取得した第1の座標リストR1及び第2の座標リストR2を解析することで、シリンドリカルレンズユニット250の非点隔差(シリンドリカルレンズ301,302の回転角度θ)毎に位置補正係数a´,b´を算出し、記憶部26にそれぞれ記憶する。なお、本実施形態において、シリンドリカルレンズユニット250において非点隔差を生じさせない場合は、シリンドリカルレンズ301,302の角度θを90度とすればよい。また、シリンドリカルレンズユニット250の非点隔差毎の位置補正係数a´,b´を算出する場合、シリンドリカルレンズ301,302の回転角度θに対応した設計補正係数a,bが使用される。
これにより、顕微鏡装置300は、シリンドリカルレンズ301,302の回転角度θに応じて異なるSTORM画像の歪みをそれぞれ補正することができる。よって、対物レンズ112に対応させてシリンドリカルレンズ301,302の回転角度θを変化させた場合であっても、種々の倍率において歪みの無いSTORM画像を精度良く取得することができる。
(第四実施形態)
次に、顕微鏡装置の第四実施形態について説明する。なお、本実施形態に係る構成は、上記第二、第三実施形態に係る構成とは、シリンドリカルレンズユニットの構成のみが異なる。そのため、以下の説明ではシリンドリカルレンズユニットの構成を主に説明し、第一実施形態と同じ構成及び部材については同一の符号を付し、その詳細な説明については省略若しくは簡略化するものとする。
図20は本実施形態に係るシリンドリカルレンズユニットの構成を示す図である。本実施形態に係るシリンドリカルレンズユニットは、第一実施形態のシリンドリカルレンズユニットの一部構成と第三実施形態のシリンドリカルレンズユニットの一部構成とを組み合わせたものである。
具体的に、本実施形態に係るシリンドリカルレンズユニット350は、図20に示すように、一対のシリンドリカルレンズ401,402を保持した回転シリンダー部415と、スライダ部(進退部)405と、を備えている。スライダ部405は、回転シリンダー部415をスライド可能に保持するスライド板405aと、該スライド板405aをスライドさせる駆動部405bとを含む。
スライド板405aには、回転シリンダー部415の保持部415aと、開口部306とが設けられている。これら保持部315aおよび開口部306は、スライド板405aのスライド方向(水平方向)に沿って配置されている。開口部306は、レンズ22を通過した光を遮ることなく通過させる大きさに設定されている。回転シリンダー部415は、保持部415aに嵌合されることでスライド板405aに保持されている。
本実施形態においては、シリンドリカルレンズ401、402のいずれも凸型シリンドリカルレンズを用いた。そのため、凸型凹型のシリンドリカルレンズを組み合わせた第三実施形態のように非点隔差を0にすることができないものの、本実施形態では上記開口部306を組み合わせることで非点隔差が0の状態(二次元方式による画像観察)を可能としている。
本実施形態に係る顕微鏡装置において、三次元方式による画像取得を行う場合、制御部25によってシリンドリカルレンズユニット350の駆動部405bを駆動し、スライド板405aをスライドさせて結像光学系7内の光路に回転シリンダー部415を挿入する。このとき、制御部25は観察者38によって選択された対物レンズ112の種類に応じて、回転シリンダー部415を駆動し、一対のシリンドリカルレンズ401,402の所定角度だけ回転させる。これにより、顕微鏡装置において、観察者38が希望する画像取得条件に応じて対物レンズの倍率、開口数を変更した場合でも、対物レンズの焦点深度に対応した最適な非点隔差を設定することができ、三次元方式による試料8の画像観察を精度良く行わせることができる。
また、本実施形態に係る顕微鏡装置において、観察者38が二次元方式による画像取得を希望した場合、制御部25によりシリンドリカルレンズユニット350の駆動部405bを駆動し、スライド板405aをスライドさせて結像光学系7からの光の光路に開口部306を挿入する。このとき、試料8からの光は開口部306を通過するため、シリンドリカルレンズを通過する場合のように楕円状に像が変形することがなく、カメラ14上において円形の像となる。これにより、顕微鏡装置は、カメラ14が撮像した円形の像に基づき、二次元方式にて試料8の画像を取得することができる。
また、本実施形態においても、シリンドリカルレンズユニット350の設計値に基づいて予め算出された設計補正係数a,bが記憶部26にそれぞれ記憶されている。具体的にシリンドリカルレンズユニット350は、一対のシリンドリカルレンズ401,402の角度θに応じて非点隔差が変化する。そのため、設計補正係数a,bは、例えばシリンドリカルレンズ401,402の回転角度θと非点隔差とを関連付けたデータに基づいて算出される。
本実施形態に係る顕微鏡装置は、上記第三実施形態と同様、観察条件設定ステップS101において観察者38により選択された対物レンズ112の焦点深度に合わせた適切な焦点距離を有するようにシリンドリカルレンズ401,402の回転角度θを調整するようにシリンドリカルレンズユニット350を駆動させる。
本実施形態に係る顕微鏡装置は、上記第三実施形態と同様、蛍光画像G1,G2から取得した第1の座標リストR1及び第2の座標リストR2を解析することで、シリンドリカルレンズユニット350の非点隔差(シリンドリカルレンズ401,402の回転角度θ)毎に位置補正係数a´,b´を算出し、記憶部26にそれぞれ記憶する。なお、本実施形態において、シリンドリカルレンズユニット350において非点隔差を生じさせない場合は、スライド板405aをスライドさせて結像光学系7からの光の光路に開口部306を挿入すればよい。また、シリンドリカルレンズユニット350の非点隔差毎の位置補正係数a´,b´を算出する場合、シリンドリカルレンズ401,402の回転角度θに対応した設計補正係数a,bが使用される。
これにより、本実施形態に係る顕微鏡装置は、シリンドリカルレンズ401,402の回転角度θに応じて異なるSTORM画像の歪みをそれぞれ補正することができる。よって、対物レンズ112に対応させてシリンドリカルレンズ401,402の回転角度θを変化させた場合であっても、種々の倍率において歪みの無いSTORM画像を精度良く取得することができる。
なお、第二実施形態に係るターレット部を用いて、回転シリンダーと開口部とを切り替える構成を採用するようにしてもよい。また、上記第四実施形態では、一対のシリンドリカルレンズ401、402として、凸型シリンドリカルレンズと凸型シリンドリカルレンズとの組み合わせを用いたが、凹型シリンドリカルレンズと凹型シリンドリカルレンズとの組み合わせを用いるようにしてもよい。
以上の実施例では、活性化用と励起用に波長の異なる2つのレーザを用いる顕微鏡装置について説明してきた。一方、励起用のレーザのみを用いた顕微鏡として、dSTORM(direct Stochastic Optical Reconstruction Microscopy)が知られている。dSTORMにおいては、従来のSTORMのように活性化用のレーザを照射することなく、蛍光物質の自発的な明滅を元に、少数の蛍光色素のみの画像を取得する。本発明の非点隔差変更装置は、dSTORMにも適用可能である。
また、本発明は、米国発行特許発明第7626695号明細書等に開示されたPLAM("Photo Activated Localization Microscopy(光活性化ローカライゼーション顕微鏡法)")や、米国発行特許発明第8174692号明細書等に開示された GSDIM("Ground State Depletion and Individual Molecular return(基底状態抑制及び個別分子復帰)")にも適用可能である。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
7…結像光学系(結像系)、10…照明系(照明光学系)、12,112…対物レンズ、14…カメラ(撮像装置)、25…制御部、25c…画像生成部、25d…画像補正部、100,200,300…顕微鏡装置、101,102、201〜205…シリンドリカルレンズ、R1…第1の座標リスト、R2…第2の座標リスト、P1〜P8…蛍光輝点ペア、S…閾値、a,b…設計補正係数、a´,b´…位置補正係数

Claims (16)

  1. 活性化光及び励起光の照射、又は励起光の照射により蛍光を発する蛍光物質を含む試料に、前記活性化光及び前記励起光、又は前記励起光を照射する照明光学系と、
    対物レンズと、シリンドリカルレンズと、結像レンズとを含み、前記試料の像を形成する結像光学系と、
    前記結像光学系において形成された前記試料の像を撮像する撮像装置と、
    制御部とを有し、
    前記制御部は、前記撮像装置により撮像された前記試料の像に含まれる非点収差に関する情報に基づいて、前記試料の像に含まれる蛍光輝点位置情報を算出し、
    前記算出した位置情報を、予め算出した位置補正係数を用いて補正し、
    前記補正した位置情報に基づいて、前記蛍光物質の三次元における位置情報を示す画像を生成し、
    前記結像レンズの焦点距離をftとし、前記シリンドリカルレンズの焦点距離をfcとし、前記結像レンズから前記シリンドリカルレンズまでの距離をdとしたとき、
    前記シリンドリカルレンズの曲率を有する方向に対応する前記位置補正係数aが以下の式1で規定される
    顕微鏡装置。
    Figure 0006131568
  2. 活性化光及び励起光の照射、又は励起光の照射により蛍光を発する蛍光物質を含む試料に、前記活性化光及び前記励起光、又は前記励起光を照射する照明光学系と、
    対物レンズを介して前記試料の像を形成する結像光学系と、
    前記結像光学系において形成された前記試料の像を撮像する撮像装置と、
    制御部とを有し、
    前記制御部は、前記撮像装置により撮像された前記試料の像に含まれる蛍光輝点の位置情報を算出し、
    前記算出した位置情報を、予め算出した位置補正係数を用いて補正し、
    前記補正した位置情報に基づいて、前記蛍光物質の三次元における位置情報を示す画像を生成し、
    前記結像光学系は、非点収差が付与された前記試料の像と、前記非点収差が付与されていない前記試料の像を形成し、
    前記制御部は、前記位置補正係数を、前記非点収差が付与された前記試料の像における蛍光輝点の位置情報と前記非点収差が付与されていない前記試料の像における蛍光輝点の位置情報とを用いて算出する顕微鏡装置。
  3. 前記非点収差が付与されていない前記試料の像における蛍光輝点の位置情報は、座標データで表された第1の座標リストであり、
    前記非点収差が付与された前記試料の像における蛍光輝点の位置情報は、座標データで表された第2の座標リストであり、
    前記制御部は、
    前記第1の座標リストにおける蛍光輝点と前記第2の座標リストにおける蛍光輝点との距離が所定の閾値以下となる関係を有する蛍光輝点同士を蛍光輝点ペアとして前記第1の座標リスト及び前記第2の座標リストそれぞれから選択する動作と、
    前記第1の座標リスト及び前記第2の座標リストから選択した前記蛍光輝点ペアに関する情報を用いて前記位置補正係数を算出する動作と、を実行する
    請求項記載の顕微鏡装置。
  4. 前記制御部は、前記蛍光輝点ペアを複数選択する
    請求項記載の顕微鏡装置。
  5. 前記制御部は、前記複数の蛍光輝点ペアの中から、前記第1の座標リストにおいて距離が最も離間した関係となる2つの蛍光輝点と、前記第2の座標リストにおいて距離が最も離間した関係となる2つの蛍光輝点とを含む2組の蛍光輝点ペアを選択し、該選択した2組の蛍光輝点ペアの座標データを用いて前記位置補正係数を算出する
    請求項記載の顕微鏡装置。
  6. 前記制御部は、前記第1の座標リスト及び前記第2の座標リストから選択した前記複数の蛍光輝点ペアの座標データに関する演算値の平均値に基づいて前記位置補正係数を算出する
    請求項記載の顕微鏡装置。
  7. 前記制御部における前記蛍光輝点ペアを選択する動作は、
    前記結像光学系の設計値に基づいて設定される設計補正値を用いて、前記第2の座標リストの前記蛍光輝点の座標データを補正した補正座標リストを算出する動作と、
    前記第1の座標リストにおける蛍光輝点と前記補正座標リストにおける蛍光輝点との距離が所定の閾値以下となる関係を有する蛍光輝点同士を前記蛍光輝点ペアとして前記第1の座標リスト及び前記補正座標リストそれぞれから選択する動作と含む
    請求項に記載の顕微鏡装置。
  8. 前記撮像装置は、前記非点収差を付与した前記試料の像を複数回撮像し、前記非点収差を付与しない前記試料の像を少なくとも1回撮像する
    請求項のいずれか一項に記載の顕微鏡装置。
  9. 前記撮像装置は、前記非点収差を付与しない前記試料の像を撮像する動作を、前記非点収差を付与した前記試料の像を撮像する動作よりも先のタイミング又は後のタイミングで行う
    請求項のいずれか一項に記載の顕微鏡装置。
  10. 活性化光及び励起光の照射、又は励起光の照射により蛍光を発する蛍光物質を含む試料に、前記活性化光及び前記励起光、又は前記励起光を照射して撮像された前記試料の像を用いて画像を形成する画像形成方法であって、
    記試料の像における蛍光輝点の位置情報を、前記試料の像に含まれる非点収差に関する情報に基づいて算出し、前記算出した位置情報を、予め算出した位置補正係数を用いて補正するステップと、
    正した位置情報に基づいて、前記蛍光物質の三次元における位置情報を示す画像を生成するステップと、を備え
    前記試料の像を形成する結像光学系は、前記試料の像を形成する結像レンズと、シリンドリカルレンズと、を含み、
    前記結像レンズの焦点距離をftとし、前記シリンドリカルレンズの焦点距離をfcとし、前記結像レンズから前記シリンドリカルレンズまでの距離をdとしたとき、
    前記試料の像において前記非点収差が付与される方向に対応する前記位置補正係数aが以下の式1で規定される画像形成方法。
    Figure 0006131568
  11. 活性化光及び励起光の照射、又は励起光の照射により蛍光を発する蛍光物質を含む試料に、前記活性化光及び前記励起光、又は前記励起光を照射して撮像された前記試料の像を用いて画像を形成する画像形成方法であって、
    前記試料の像に含まれる蛍光輝点の位置情報を算出し、前記算出した位置情報を、予め算出した位置補正係数を用いて補正するステップと、
    補正した位置情報に基づいて、前記蛍光物質の三次元における位置情報を示す画像を生成するステップと、を備え、
    前記補正するステップは、非点収差が付与された前記試料の像における蛍光輝点の位置情報と、前記非点収差が付与されていない前記試料の像における蛍光輝点の位置情報とを用いて前記位置補正係数を算出する
    画像形成方法。
  12. 前記非点収差が付与されていない前記試料の像における蛍光輝点の位置情報は、座標データで表された第1の座標リストであり、
    前記非点収差が付与された前記試料の像における蛍光輝点の位置情報は、座標データで表された第2の座標リストであり、
    前記補正するステップは、
    前記第1の座標リストにおける蛍光輝点と前記第2の座標リストにおける蛍光輝点との距離が所定の閾値以下となる関係を有する蛍光輝点同士を蛍光輝点ペアとして前記第1の座標リスト及び前記第2の座標リストそれぞれから選択するステップと、
    前記第1の座標リスト及び前記第2の座標リストから選択した前記蛍光輝点ペアに関する情報を用いて前記位置補正係数を算出するステップと、を実行する
    請求項1記載の画像形成方法。
  13. 前記補正するステップは、前記蛍光輝点ペアを複数選択するステップを含む
    請求項1記載の画像形成方法。
  14. 前記補正するステップは、前記複数の蛍光輝点ペアの中から、前記第1の座標リストにおいて距離が最も離間した関係となる2つの蛍光輝点と、前記第2の座標リストにおいて距離が最も離間した関係となる2つの蛍光輝点とを含む2組の蛍光輝点ペアを選択し、該選択した2組の蛍光輝点ペアの座標データを用いて前記位置補正係数を算出する
    請求項1記載の画像形成方法。
  15. 前記補正するステップは、前記第1の座標リスト及び前記第2の座標リストから選択した前記複数の蛍光輝点ペアの座標データに関する演算値の平均値に基づいて前記位置補正係数を算出する
    請求項1記載の画像形成方法。
  16. 前記蛍光輝点ペアを選択するステップは、
    前記試料の像を形成する結像光学系の設計値に基づいて設定される設計補正値を用いて、前記第2の座標リストの前記蛍光輝点の座標データを補正した補正座標リストを算出するステップと、
    前記第1の座標リストにおける蛍光輝点と前記補正座標リストにおける蛍光輝点との距離が所定の閾値以下となる関係を有する蛍光輝点同士を前記蛍光輝点ペアとして前記第1の座標リスト及び前記補正座標リストそれぞれから選択するステップと含む
    請求項1記載の画像形成方法。
JP2012239080A 2012-10-30 2012-10-30 顕微鏡装置及び画像形成方法 Active JP6131568B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012239080A JP6131568B2 (ja) 2012-10-30 2012-10-30 顕微鏡装置及び画像形成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012239080A JP6131568B2 (ja) 2012-10-30 2012-10-30 顕微鏡装置及び画像形成方法

Publications (2)

Publication Number Publication Date
JP2014089311A JP2014089311A (ja) 2014-05-15
JP6131568B2 true JP6131568B2 (ja) 2017-05-24

Family

ID=50791258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012239080A Active JP6131568B2 (ja) 2012-10-30 2012-10-30 顕微鏡装置及び画像形成方法

Country Status (1)

Country Link
JP (1) JP6131568B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2573693Y2 (ja) 1992-12-04 1998-06-04 市光工業株式会社 多方向スイッチ

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090211A1 (ja) 2015-11-27 2017-06-01 株式会社ニコン 顕微鏡装置
JPWO2018131173A1 (ja) * 2017-01-16 2019-12-12 株式会社ニコン 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
GB201704275D0 (en) * 2017-03-17 2017-05-03 Science And Tech Facilities Council Super-resolution microscopy
JP2020042283A (ja) * 2019-11-14 2020-03-19 株式会社ニコン 顕微鏡装置
CN116503471B (zh) * 2023-06-28 2023-08-29 南开大学 K次近邻位置云图的单分子定位成像漂移校正方法与系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP4197915B2 (ja) * 2002-09-19 2008-12-17 オリンパス株式会社 実体顕微鏡用撮影装置
AU2005333561A1 (en) * 2005-06-24 2007-01-04 Digitalglobe, Inc. Method and apparatus for determining a location associated with an image
JP2007065528A (ja) * 2005-09-02 2007-03-15 Konica Minolta Photo Imaging Inc 変倍光学系および撮像装置
JPWO2007043382A1 (ja) * 2005-10-07 2009-04-16 株式会社ニコン 顕微鏡装置及び画像生成方法
WO2009085218A1 (en) * 2007-12-21 2009-07-09 President And Fellows Of Harvard College Sub-diffraction limit image resolution in three dimensions
WO2011152523A1 (ja) * 2010-06-03 2011-12-08 株式会社ニコン 顕微鏡装置
JP5197785B2 (ja) * 2011-03-30 2013-05-15 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP5747690B2 (ja) * 2011-07-04 2015-07-15 株式会社ニコン 顕微鏡装置及び画像形成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2573693Y2 (ja) 1992-12-04 1998-06-04 市光工業株式会社 多方向スイッチ

Also Published As

Publication number Publication date
JP2014089311A (ja) 2014-05-15

Similar Documents

Publication Publication Date Title
JP5459399B2 (ja) 顕微鏡装置
JP7670886B2 (ja) ライトフィールド結像システムの較正
EP3513241B1 (en) Light-field microscope with selective-plane illumination
JP6131568B2 (ja) 顕微鏡装置及び画像形成方法
JP6453220B2 (ja) Spim顕微鏡法のための顕微鏡および方法
JP5894180B2 (ja) 深さ分解能が向上した顕微鏡検査
JP5599314B2 (ja) 試料の検査のための方法および光学装置
JP5221614B2 (ja) 3次元共焦点観察用装置及び観察焦点面変位・補正ユニット
JP5747690B2 (ja) 顕微鏡装置及び画像形成方法
JP6342842B2 (ja) 走査型顕微鏡システム
JP5132480B2 (ja) 顕微鏡
CN110114709A (zh) 确定荧光强度的方法和显微镜
US20180180867A1 (en) Microscope and setting support method
Murray Methods for imaging thick specimens: confocal microscopy, deconvolution, and structured illumination
CN111189807A (zh) 基于波动的荧光显微术
JPWO2020157681A5 (ja)
WO2013176549A1 (en) Optical apparatus for multiple points of view three-dimensional microscopy and method
Erdélyi et al. Origin and compensation of imaging artefacts in localization-based super-resolution microscopy
JP6659531B2 (ja) 点状物体の局在化のための光学顕微鏡法
JP2024501730A (ja) 基板厚誤差を補償するための方法およびシステム
Temprine et al. Three-dimensional photoactivated localization microscopy with genetically expressed probes
JP6602855B2 (ja) ミラーデバイス
EP3907548A1 (en) Light sheet microscope and method for imaging an object
WO2018131173A1 (ja) 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170403

R150 Certificate of patent or registration of utility model

Ref document number: 6131568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250