JPWO2008132976A1

JPWO2008132976A1 - 顕微鏡装置

Info

Publication number: JPWO2008132976A1
Application number: JP2009511746A
Authority: JP
Inventors: 大内　由美子; 由美子大内
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-04-12
Filing date: 2008-04-07
Publication date: 2010-07-22
Anticipated expiration: 2028-04-07
Also published as: EP2136233B1; US20090296205A1; EP2136233A4; US7808701B2; EP2136233A1; WO2008132976A1; JP4835750B2

Abstract

回折格子８により発生した回折光は、第２対物レンズ９を通り、反射ミラー２０５で偏向されて第１対物レンズ１０により、標本１１の表面に縞模様の照明光を形成する。これにより、標本１１から発生した蛍光は、第１対物レンズ１０、反射ミラー２０５、第２対物レンズ９を通り、回折格子８に、標本１１の像を結像する。回折格子８を光学系から取り外し、反射ミラー２０５の代わりにダイクロイックミラーを配置すれば、標本１１からの蛍光は、ダイクロイックミラーを透過して結像レンズ５２により、撮像装置５３の撮像面に、標本１１の像を結像する。これにより、通常の蛍光顕微鏡と切り換えて使用することが可能な、回折光を利用した顕微鏡装置を提供することができる。

Description

本発明は、顕微鏡装置に関するものである。

生物標本などの被観察物を超解像観察するための手法に、照明光を空間変調する手法があり、特開平１１−２４２１８９号公報（特許文献１）、米国再発行特許第３８３０７号公報（特許文献２）、W.Lukosz,"Optical systems with resolving powers exceeding the clasical limit.II",Journal of the Optical Society of America,Vol.37,PP.932,1967（非特許文献１）、W.Lukosz and M.Marchand,Opt. Acta. 10,241,1963（非特許文献２）等に記載されている。

これらの手法では、空間変調された照明光で被観察物の構造の空間周波数を変調し、解像限界を超える高い空間周波数の情報を顕微鏡光学系の結像に寄与させる。但し、超解像画像を観察するためには変調された被観察物の像（変調像）を復調する必要がある。復調の方法は大別して２種類あり、光学的な復調（非特許文献１、２参照）と、演算による復調（特許文献１、２参照）とがある。なお、光学的な復調は、回折格子などの空間変調素子を用いて変調像を再変調することによって実現する。
特開平１１−２４２１８９号公報米国再発行特許発明第３８３０７号明細書 W.Lukosz,"Optical systems with resolving powers exceeding the clasical limit.II",Journal of the Optical Society of America,Vol.37,PP.932,1967 W.Lukosz and M.Marchand,Opt. Acta. 10,241,1963

しかし、演算による復調は複雑な演算処理を要するので時間がかかり、被観察物をリアルタイム観察することが難しい。一方、光学的な復調は回折格子などの空間変調素子を用いるので時間はかからないが、その復調精度は空間変調素子の形状精度や配置精度などに依存するので、良好な超解像画像を得ることが難しい。

因みに、非特許文献２に記載の復調方法（光学的な復調）では、変調に関する光路と復調に関する光路とを平行にし、変調と復調とに共通の回折格子の異なる部分を用いることで配置精度の問題改善を図っているが、変調に関わる光学系の瞳と復調に関わる光学系の瞳とを共役にすることができないため、観察視野が極端に狭いという欠点がある。

また、被観察物を顕微鏡間で再配置することなく、超解像観察と通常の簡便な蛍光観察の双方を行いたいという要望もある。

本発明は、このような事情に鑑みてなされたもので、通常の蛍光顕微鏡と切り換えて使用することが可能な、超解像顕微鏡装置を提供することを課題とする。

前記課題を解決するための第１の手段は、照射光を受光して、回折光を形成する空間変調素子と、
前記回折光を試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空間変調素子面に結像させる対物光学系と、
撮像手段と、
前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系と、
を有する顕微鏡装置であって、
前記対物光学系中には、光分離手段と反射部材とが、択一的に光路に挿脱可能に配置されており、前記光分離手段が光路に挿入されたときに前記試料面からの光が向かう方向と、前記反射部材が光路に挿入されたときに前記試料面からの光が向かう方向とが、異なる方向とされていることを特徴とする顕微鏡装置である。

前記課題を解決するための第２の手段は、照射光を受光して、回折光を形成する空間変調素子と、前記回折光を試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空聞変調素子面に結像させる対物光学系と、
撮像手段と、
前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系と、
を有することを特徴とする顕微鏡装置であって、
前記空問変調素子は、光路に挿脱可能に配置され、
前記対物光学系中には、光分離手段と反射部材とが、択一的に前記光路に挿脱可能に配置さており、前記光分離手段が前記光路に挿入されたときには、前記空問変調素子は前記光路から取り除かれ、前記反射部材が前記光路に挿入されたときには、前記空間変調素子は前記光路に挿入されていることを特徴とする顕微鏡装置である。

前記課題を解決するための第３の手段は、前記第１の手段又は第２の手段であって、前記反射部材が光路に挿入されたときには、前記試料面からの光は前記空間変調素子面に結像し、前記光分離手段が光路に挿入されたときには、前記リレー光学系とは別のリレー光学系を介して、前記試料面から発生した光による試料面の像を、前記撮像手段とは別の撮像手段の撮像面に結像するようにされていることを特徴とするものである。

前記課題を解決するための第４の手段は、前記第１の手段から第３の手段のいずれかであって、前記反射部材は、厚さが1.5mmより厚い反射ミラーであることを特徴とするものである。

前記課題を解決するための第５の手段は、前記第１の手段から第３の手段のいずれかであって、前記反射部材は、反射プリズムであることを特徴とするものである。

前記課題を解決するための第６の手段は、照射光を受光して、回折光を形成する空間変調素子と、
前記回折光を試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空問変調素子面に結像させる対物光学系と、
撮像装置と、
前記空間変調素子面で再変調された光の像を前記撮像装置の撮像面に結像させるリレー光学系と、
を有する顕微鏡装置であって、
前記空間変調素子は挿脱可能に配置されていることを特徴とする顕微鏡装置である。

本発明によれば、通常の蛍光顕微鏡と切り換えて使用することが可能な、超解像顕微鏡装置を提供することができる。

本発明の実施の形態の１例である顕微鏡装置の光学系の概要を示す図である。本発明の実施の形態の１例である顕微鏡装置の光学系の概要を示す図である。照明光／結像光分離手段の例の概要を示す図である。顕微鏡装置を空間変調された照明光を使用した超解像用顕微鏡として使用する場合に用いるブロックを示す図である。ミラーの代わりに反射プリズムを配置したブロックを示す図である。制御・演算装置の制御に関する動作フローチャートである。制御・演算装置の演算に関する動作フローチャートである。復調像の画像データを示す図である。３つの復調像の画像データ波数空間上で合成し、１つの合成画像データを得る様子を示す図である。

符号の説明

１…光源、２…コレクタレンズ、３…レンズ、４…励起フィルタ、５…ダイクロイックミラー、６…バリアフィルタ、７…レンズ、７…レンズ、８…回折格子、９…第２対物レンズ、１０…第１対物レンズ、１１…標本、１２…レンズ、２１…瞳、２２…標本１１の共役面、２３…回折格子８の像、２４…再変調像の拡大像、２５…撮像装置、３１…光源像、３２…瞳面、４０…アクチュエータ、４１…回転ステージ、４２…演算装置、４３…画像表示装置、５１…回転ステージ、５２…結像レンズ、５３…撮像装置、５４…標本の表面の像、２０１…励起フィルタ、２０２…ダイクロイックミラー、２０３…バリアフィルタ、２０４…ブロック、２０５…反射ミラー、２０６…ブロック、ＬＳ１…照明光学系、ＬＳ２…観察光学系、ＬＳ２１…対物光学系、ＬＳ２２…リレー光学系

以下、本発明の実施の形態の例を、図を用いて説明する。図１、図２は、本発明の実施の形態の１例である顕微鏡装置の光学系の概要を示す図である。図１には、この顕微鏡装置を、空間変調された照明光を利用した超解像顕微鏡として使用している場合の光線が示されている。

図１に示すとおり、本顕微鏡装置には、回転ステージ５１に配置された光源１、コレクタレンズ２、レンズ３、励起フィルタ４、ダイクロイックミラー５、レンズ７、回折格子８、第２対物レンズ９、反射ミラー２０５、第１対物レンズ１０、蛍光色素で標識された標本（生物標本など）１１、バリアフィルタ６、レンズ１２、撮像装置２５（ＣＣＤカメラなど）、制御・演算装置４２（回路やコンピュータなど）、画像表示装置４３、アクチュエータ４０、回転ステージ４１が配置される。又、蛍光顕微鏡として使用する場合に使用される結像レンズ５２と撮像装置５３が配置されている。

このうち、光源１、コレクタレンズ２、レンズ３、励起フィルタ４、ダイクロイックミラー５、レンズ７、回折格子８、第２対物レンズ９、反射ミラー２０５、第１対物レンズ１０が照明光学系ＬＳ１を構成しており、第１対物レンズ１０、反射ミラー２０５、第２対物レンズ９、回折格子８、レンズ７、ダイクロイックミラー５、バリアフィルタ６、レンズ１２が観察光学系ＬＳ２を構成している。また、第１対物レンズ１０、反射ミラー２０５と第２対物レンズ９とが対物光学系ＬＳ２１を構成し、レンズ７とレンズ１２とがリレー光学系ＬＳ２２を構成している。照明光学系ＬＳ１と観察光学系ＬＳ２とは、第１対物レンズ１０からダイクロイックミラー５までの光路を共有している。

照明光学系ＬＳ１の光源１は、光軸から所定距離ｄだけ偏心した位置に配置されている。光源１からの光は、コレクタレンズ２において平行光に変換され、レンズ３により瞳共役面に光源像３１を形成する。その光源像３１からの光は、励起フィルタ４によって波長選択されたのちダイクロイックミラー５によって偏向され、照明光学系ＬＳ１と観察光学系ＬＳ２との共通光路へ入り、レンズ７により標本１１の共役面２２上に集光する。この光は、その共役面２２に配置された回折格子８によって、そのまま直進する０次光の他に、０次光と光軸に関して対称な方向に１次光を生じる。それぞれの光束は第２対物レンズ９へ入射し、平行光に変換された後、反射ミラー２０５によって９０°偏向され、第１対物レンズ１０を介して標本１１上に２光束干渉縞を形成する。（このとき、第１対物レンズ１０の後側焦点面に光源像３２が形成される。）。これによって標本１１は、空間変調された照明光で照明（構造化照明）される。なお、図１において２１は、瞳である。

ここで、回折格子８は、例えば、１次元の周期構造をもつ位相型又は振幅型の回折格子である。特に、振幅型の回折格子は波長特性が良いため、光源１に白色光源を使用できるので好ましい。光源１としては、白色光源の代わりに単一波長の光源を用いてもよいし、レーザ光源からの光を光ファイバで導き、その端面に形成される二次光源を光源１として用いてもよい。

また、構造化照明の輝度分布（回折格子８の像２３の輝度分布）を正弦波状にするために、回折格子８で生じる次数２以上の余分な回折成分を除去することが望ましい。その際には、回折格子８よりも後段の適当な箇所（例えば第１対物レンズ１０の瞳面）で除去するとよい。或いは、回折格子８の濃度分布を予め正弦波状にしておけば、余分な回折成分の発生を抑え、光量の損失を抑えることができる。

本実施の形態では、回折格子８により生じる回折光のうち、０次光(回折しないで直進する光)Ｄ０と、１次光Ｄ１が、対物レンズの光軸に対称となるように、予め光源１を偏心させてある。また、光源１の偏心量ｄは、回折格子８のピッチとコレクタレンズ２、レンズ３、レンズ７の合成焦点距離から計算で求めることができる。

回折格子のピッチをＰｇ、光源の波長をλ、コレクタレンズ２、レンズ３、レンズ７の合成焦点距離をｆ22とすれば、光源の偏心量ｄは、
ｄ＝ｆ22×λ／（２×Ｐｇ） … （１）
となる。

さて、Ｄ０とＤ１は、第１対物レンズ１０の瞳面３２にそれぞれ集光する。この集光点は、第１対物レンズ１０の瞳径のなるべく端(光軸から離れた位置)に設定すると、超解像の効果が高いので望ましい。その場合、回折格子８による照明光の回折光のうち、０次光と１次光以外の光は、第１対物レンズ１０の有効径内には入射できないのでその後の系に影響しない。瞳面３２にそれぞれ集光したＤ０とＤ１は、それぞれ平行光束となって第１対物レンズ１０を出射し、標本１１上に２光束干渉縞を形成する。

これにより、構造化照明された光を励起光として標本１１上では蛍光が発生する。このときに第１対物レンズ１０側から見た標本１１の構造は、構造化照明により変調されている。変調された構造には、モアレ縞が生じている。このモアレ縞は、標本１１が有する微細構造と構造化照明のパターンとが成すモアレ縞であり、標本１１の微細構造が、構造化照明の空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像限界を超える高い空間周波数の構造の光までもが、第１対物レンズ１０によって捉えられることになる。

第１対物レンズ１０によって捉えられた蛍光は、第１対物レンズ１０、反射ミラー２０５及び第２対物レンズ９からなる対物光学系ＬＳ２１により、共役面２２上に標本１１の変調像を形成する。その変調像は、その共役面２２に配置された回折格子８によって再変調される。このようにして生じた再変調像では、空間周波数を変化させた標本１１の構造が、元の空間周波数に戻される。この再変調像に、標本１１の復調像が含まれている。

但し、この再変調像には、復調像にとって不要な回折成分が含まれている。不要な回折成分とは、標本１１から射出された０次回折光に対し回折格子８で生じた±１次回折成分、標本１１から射出された−１次回折光に対する０次回折成分、標本１１から射出された＋１次回折光に対する０次回折成分である。これらの不要な回折成分を再変調像から除去するためには、回折格子８を１周期分若しくはＮ周期分（Ｎは自然数）動かして平均化すればよい。

再変調像からの蛍光は、レンズ７を介してダイクロイックミラー５を透過した後、観察光学系ＬＳ２の単独光路へ入り、バリアフィルタ６を透過したのち、レンズ１２を介して再変調像の拡大像２４を形成する。つまり、回折格子８で再変調された再変調像は、レンズ７及びレンズ１２からなるリレー光学系ＬＳ２２によって、拡大像２４へとリレーされる。この拡大像２４は、撮像装置２５によって撮像され、再変調像の画像データが生成される。なお、撮像装置２５で撮像する場合、回折格子８を１周期若しくはＮ周期（Ｎは自然数）動かしている間、再変調像を蓄積することによって平均化すれば、復調像の画像データを得ることができる。

この画像データは、標本１１を構造化照明によって超解像観察するための情報を含む。その画像データは、制御・演算装置４２によって取り込まれ、演算が施されてから、画像表示装置４３へと送出される。

以上、本顕微鏡装置は、標本１１の共役面２２から標本１１までの光路を照明光学系ＬＳ１と観察光学系ＬＳ２とで完全に共通光路にすると共に、共役面２２に回折格子８を配置している。本顕微鏡装置ではこの回折格子８により、標本１１の微細構造の変調を図る。そして、変調された標本１１の微細構造は、この位置に配置された回折格子８により、自動的に再変調される。

なお、回折格子８は、アクチュエータ４０によって格子線に直交する方向Ｄｂへ移動可能である。この移動により、構造化照明の位相が変化する。制御・演算装置４２がアクチュエータ４０及び撮像装置２５を制御し、１フレーム分の画像データを蓄積している間にその位相を１周期分若しくはＮ周期分（Ｎは自然数）だけ変化させることで、その画像データから、構造化照明のパターンと、再変調時に生じた不要な回折成分とを消去する。

あるいは、撮像装置２５の撮像素子としてＣＣＤなど電荷蓄積型の撮像素子を用い、構造化照明の位相が１周期分若しくはＮ周期分（Ｎは自然数）だけ変化するのに必要な時間を蓄積時間とすることで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。

あるいは、撮像装置２５の撮像素子としてＮＭＯＳ、ＣＭＯＳなど電荷蓄積型ではない撮像素子を用い、更に各画素の出力にローパスフィルター、もしくは、積分回路を接続しておくことで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。その際には、接続するローパスフィルター、もしくは、積分回路の時定数として構造化照明の位相が１周期分若しくはＮ周期分（Ｎは自然数）だけ変化するのに必要な時間以上とする。

また、回折格子８は、回転ステージ４１によってアクチュエータ４０と共に光軸の周りを回転可能である。この回転により、構造化照明の方向が変化する。制御・演算装置４２が回転ステージ４１及び撮像装置２５を制御し、構造化照明の方向を複数方向に変化させる度に画像データを取得すれば、複数方向に亘り超解像観察するための情報を得ることができる。これにより、標本１１の二次元の超解像観察が可能となる。

また、以上の動作に必要なプログラムは、例えばＣＤ−ＲＯＭなどの記録媒体やインターネットを介して制御・演算装置４２に予めインストールされている。

ここで、回折格子８を回転ステージ４１によって光軸の周りを回転させる際、光源１を偏心させる方向も、光軸に対して回転させる必要があるが、その手段の例は、回転ステージ５１によって行われ、詳細は、前述の、特願２００６−３３４２１１号に記載されている。

なお、本実施の形態では、１次元の構造周期を持つ回折格子８と、その回折格子８を１方向（格子線に直交する方向）に移動させるアクチュエータ４０とを使用したが、２次元の周期構造を持つ回折格子と、その回折格子を２方向（格子線に直交する方向）に移動させるアクチュエータとを使用すれば、２方向に亘る超解像画像の情報を略同時に取得することができるので、さらなる高速化を図ることができる。

さらに、上述した各実施形態の顕微鏡装置は、リレーされた再変調像（拡大像２４）を撮像装置２５で検出したが、拡大像２４を接眼レンズを介して肉眼で観察できるように変形されてもよい。

また、上述した各実施形態の顕微鏡装置は、空間変調素子として回折格子を使用したが、入射光束に対し同様の作用をする別の空間変調素子を使用してもよい。例えば、回折格子８の代わりに透過型液晶表示素子などの空間変調素子を用いれば、構造化照明の位相変化及び方向変化を電気的に行うことができ、アクチュエータや回転ステージを用いずに構成し、さらなる高速化を図ることができる。

図２には、この顕微鏡装置を、通常の蛍光顕微鏡として使用する場合の光線が示されている。なお、以下の図において、前出の図に示された構成要素と同じ構成要素には、同じ符号を付して、その説明を省略することがある。図１と図２を比較すると、図２においては、反射部材である反射ミラー２０５が光路から取り外され、その代わりに、照明光の波長を選択する励起フィルタ２０１、照明光／結像光分離手段であるダイクロイックミラー２０２、及びバリアフィルタを２０３が１つのブロック２０４に納められて光路に挿入されている。又、回折格子８は光路から取り外されている。

よって、光源１から放出された照明光は、回折格子８があった位置までは、図１に示したのと同じ光路をたどるが、回折格子８の影響を受けることなくそのまま進み、第２対物レンズ９を透過し、さらに励起フィルタ２０１を透過し、ダイクロイックミラー２０２で反射されて第１対物レンズ１０により、標本１１面をケーラー照明する。

照明光により標本１１の表面から発生した蛍光は、第１対物レンズ１０を通り、ダイクロイックミラー２０２を透過し、さらにバリアフィルタ２０３を透過した後、結像レンズ５２により、標本１１の表面の像５４を、撮像装置５３の撮像面に結像する。すなわち、通常の蛍光顕微鏡として使用することができる。

図１及び図２に示したように、反射部材である反射ミラー２０５と照明光／結像光分離手段であるダイクロイックミラー２０２との入れ替え、及び回折格子８の光路よりの挿脱のみの操作により、回折光を利用した超解像顕微鏡装置、通常の蛍光顕微鏡として切り換えて使用することができる。

図３に、照明光／結像光分離手段の例の概要を示す。この照明光／結像光分離手段は、照明光の波長を選択する励起フィルタ２０１、ダイクロイックミラー２０２、バリアフィルタ２０３が１つのブロック２０４に収められ、ブロック２０４は不図示のターレットにより、選択されて光路に挿入される。

図４は、この顕微鏡装置を空間変調された照明光を使用した超解像顕微鏡として使用する場合に用いるブロック２０６を示す。励起フィルタとバリアフィルタはなく、ダイクロイックミラーの代わりに反射ミラー２０５を収めている。このブロック２０６を光路に挿入すると、構造化照明光は１００％反射して標本を照明し、標本からの変調された蛍光もまた１００％反射して、照明装置の方へ進む（通常の蛍光顕微鏡の観察部へは進まない）。そして、前述のように、空間変調素子によって再変調され、撮像装置により時間積分データを画像取得されて超解像画像を得る。

したがって、ブロック２０４を光路に挿入すれば、標本の蛍光を通常の蛍光顕微鏡の観察部へ導くことができ、ブロック２０６に切り換えれば、空間変調素子８によって再変調された画像を撮像装置２５へ導くことができる。

このような顕微鏡装置において、反射ミラー２０５を、ダイクロイックミラー２０２と同じ形状とし、蒸着膜の仕様をダイクロイックミラーから反射ミラーに変更すれば、基板ガラスやホールド金物を共通化してコストダウンできるという効果がある。しかし以下に示す考察により、反射ミラー２０５はダイクロイックミラー２０２よりも厚くする方が望ましいことがわかった。

通常の顕微鏡では、ダイクロイックミラー２０２の形状は厚さ１ｍｍ前後、外径が２５ｍｍ×３５ｍｍ前後である。その理由はスペースを節約して、広視野観察をするためであるが、外径に比して厚みが薄いため、特に長径方向が撓みやすい。ダイクロイックミラーが撓んだ場合、反射光路については、ダイクロイックミラーの反射面のみの影響を受けるため、入射する光束が反射面の長径方向と短径方向で与えられる光学パワーが異なり、反射後の結像性能に非点収差が生じてしまう。一方透過光路については、ダイクロイックミラーの反射面と裏面の双方を透過するため、両面がそろって撓んでいれば、結像性能にほとんど影響がない。そして通常は、照明光は高性能な結像性能を要求されないから、撓んだダイクロイックミラーによって非点収差が生じても問題にならない。

しかしながら、本顕微鏡装置の場合は、照明光学系で縞パターンを投影しているため、高い結像性能が要求される上、標本からの結像光も反射ミラーで反射するから、撓みによる結像性能の劣化は避けなければならない。そのため、本実施の形態では、ダイクロイックミラーの基板を厚くしてたわまないようにした。

反射ミラー２０５は、空間変調された照明光を使用した超解像顕微鏡用として使用される。この場合には、上述ように、照明光学系で縞パターンを投影しているため、高い結像性能が要求される上、標本からの結像光は反射ミラー２０５で反射するから、撓みによる結像性能の劣化は避けなければならない。この理由により、反射ミラー２０５の厚さは、通常のダイクロイックミラー２０２の厚さより厚い、1.5mm超えとすることが好ましい。又は、反射ミラーの代わりに反射プリズムを使用することが好ましい。

図５には、ミラーの代わりに反射プリズムを配置したブロックを示すものである。図５（ａ）は斜面に蒸着をしていない、全反射プリズムの例、図５（ｂ）は斜面に反射膜を蒸着し、光束はプリズム内部に入らない構成の例である。図５（ａ）に示すものの方が、反射率を高くできるが、プリズム入射面と射出面での反射光がノイズとなる場合があるので、図５（ｂ）に示す構成がより好ましい。

以下、図１に示された、制御・演算装置４２の制御に関する動作を説明する。図６は、制御・演算装置４２の制御に関する動作フローチャートである。図６に示すとおり、制御・演算装置４２は、再変調像の画像データを取得するに当たり、撮像装置２５の露光開始（ステップＳ１１）から露光終了（ステップＳ１３）までの期間に、構造化照明の位相を１周期分だけ変化させる（ステップＳ１２）。

このようにして取得された画像データは、構造化照明の位相変化中における再変調像の時間積分であり、構造化照明の輝度分布は正弦波状なので、この画像データからは、構造化照明のパターンは消去される。また、この画像データからは、再変調時に生じた不要な回折成分も消去される。よって、この画像データは、復調像を表す。なお、これらの消去には、これ以外にも、上述したとおり何通りかの方法が適用可能である。

さらに、制御・演算装置４２は、構造化照明の方向を変化させてから（ステップＳ１５）、再びステップＳ１１〜Ｓ１３の処理を行い、構造化照明のパターンの消去された別の復調像の画像データを取得する。

そして、以上のステップＳ１１〜Ｓ１３における復調像の画像データの取得処理は、構造化照明の方向が予め決められた全方向に設定されるまで（ステップＳ１４がＹＥＳとなるまで）繰り返され、構造化照明のパターンの消去された復調像の画像データが、設定された方向の数だけ取得される。

例えば、制御・演算装置４２は、ステップＳ１１〜Ｓ１３の処理を、構造化照明の方向が０°，１２０°，２４０°の３方向に設定されるまで繰り返し、構造化照明のパターンの消去された３つの復調像の画像データＩ_１、Ｉ_２、Ｉ_３を取得する。これらの復調像の画像データＩ_１、Ｉ_２、Ｉ_３の間では、超解像の方向が１２０°ずつ異なる。

図７は、制御・演算装置４２の演算に関する動作フローチャートである。ここでは、超解像の方向が１２０°ずつ異なる３つの復調像の画像データＩ_１、Ｉ_２、Ｉ_３を取得した場合の演算を説明する。

先ず、制御・演算装置４２は、３つの復調像の画像データＩ_１、Ｉ_２、Ｉ_３の各々をフーリエ変換し、波数空間で表現された３つの復調像の画像データＩ_ｋ１、Ｉ_ｋ２、Ｉ_ｋ３を得る（ステップＳ２１）。これら復調像の画像データＩ_ｋ１、Ｉ_ｋ２、Ｉ_ｋ３を図８（Ａ），（Ｂ），（Ｃ）に示した。

図８（Ａ），（Ｂ），（Ｃ）において符号Ｉ_ｋ＋１、Ｉ_ｋ−１は、変調された状態で（±１次回折光として）対物光学系ＬＳ２１によって伝達された成分（±１次変調成分）を示し、符号Ｉ_ｋ０は、変調されない状態で（０次回折光として）対物光学系ＬＳ２１によって伝達された成分（０次変調成分）を示す。各々の円内は、ＭＴＦ（Modulation Transfer Function）が０でない領域を示す。また、符号Ｄｂは、超解像の方向（構造化照明の方向）を示し、符号Ｋは、構造化照明の空間周波数を示す。

続いて、制御・演算装置４２は、３つの復調像の画像データＩ_ｋ１、Ｉ_ｋ２、Ｉ_ｋ３を、図９に示すとおり波数空間上で合成し、１つの合成画像データＩ_ｋを得る（ステップＳ２２）。この演算は、単純な加算でもよいが、ＭＴＦを考慮してデコンボリューションを施す処理であることが望ましい。デコンボリューション処理としては、例えばウィナーフィルタを利用した手法があるが、このとき、Ｉ_ｋは、周波数ｆの関数として以下のように計算される。

ただし、ｊは回折格子８の方向（０°、１２０°、２４０°）、ＭＴＦ_ｊ（ｆ）は、回折格子の各方向における復調後の実効ＭＴＦであり、対物光学系のＮＴＦ（ｆ）を用いて以下の（３）式で表される。ただし、Ｇ_０、Ｇ_１はそれぞれ回折格子の０次、１次回折効率、ｆ_ｊは回鉄格子による変調周波数である。また、ＭＴＦ^＊ _ｊ（ｆ）の＊は、このＭＴＦが複素数であることを示す。

Ｉ_ｋｊ（ｆ）は空間周波数ｆにおけるｊ番目の画像の信号強度、Ｃは、ノイズのパワースペクトルから決まる定数を示す。

この処理によって、合成画像データＩ_ｋの低周波数成分の寄与が大きくなりすぎるのを抑えることで、高周波数成分の相対的な寄与が小さくなるのを防ぐことができる。

続いて、制御・演算装置４２は、合成画像データＩ_ｋを逆フーリエ変換し、実空間で表現された画像データＩを得る。この画像データＩは、１２０°ずつ異なる３方向に亘る標本１１の超解像画像を表現する（ステップＳ２３）。制御・演算装置４２は、この画像データＩを画像表示装置４３へ送出し、超解像画像を表示する。

以上、本実施の形態における顕微鏡装置では、標本１１からの光が回折格子８で再変調され、さらに回折格子８を動かして平均化して不要な回折成分を除去することによって復調像を得ている。従って、復調演算をしない分だけ復調像の画像データは高速に得られる。

しかも、変調と再変調とに同一の回折格子８の同一の領域が用いられるので、仮にその回折格子８に形状誤差や配置誤差、あるいはその回転角に誤差があったとしても、変調のパターンと再変調のパターンとを同一にすることができる。従って、回折格子８の形状誤差や配置誤差、回転調整誤差は、復調像の画像データに対しノイズを殆ど与えない。このことは、構造化照明の位相を変化させたときや、構造化照明の方向を変化させたときにも同様に当てはまる。したがって、本顕微鏡装置では超解像画像が高精度に得られる。

また、本顕微鏡装置では、複数の画像データを合成する際に（図７ステップＳ２２）、
デコンボリューションを行うので、高周波数成分の減衰の少ない良好な超解像画像を得ることができる。

なお、以上の実施の形態においては、蛍光顕微鏡を例として説明したが、本発明は蛍光顕微鏡に限定されるものではなく、反射顕微鏡にも適用することができる。その場合には、光分散手段として、ダイクロイックミラーではなく、ハーフミラーを用いる。そして、反射部材とハーフミラーを切り替えることで、反射照明と構造化照明を切り替えることができるようになる。

また、図１に示す顕微鏡装置において、結像レンズ５２、撮像装置５３が存在せず、反射ミラー２５とダイクロイックミラー２０２との切替機構がなく、反射ミラー２５のみを固定配置する構成で、回折格子８が挿脱可能な機構となっている顕微鏡装置に変更してもよい。

すなわち、超解像観察の場合は、回折格子８を挿入した状態の照明光学系ＬＳ１を用いて標本１１を構造化照明し、そこから発生した蛍光を回折格子８を介して、観察光学系ＬＳ２を用いて撮像装置２５に結像させる。一方、通常の蛍光観察の場合は、回折格子８を挿入しない状態の照明光学系ＬＳ１を用いて標本１１をケーラー照明し、そこから発生した蛍光を観察光学系ＬＳ２を用いて撮像装置２５に結像させる。

Claims

照射光を受光して、回折光を形成する空間変調素子と、
前記回折光を試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空間変調素子面に結像させる対物光学系と、
撮像手段と、
前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系と、
を有する顕微鏡装置であって、
前記対物光学系中には、光分離手段と反射部材とが、択一的に光路に挿脱可能に配置されており、前記光分離手段が光路に挿入されたときに前記試料面からの光が向かう方向と、前記反射部材が光路に挿入されたときに前記試料面からの光が向かう方向とが、異なる方向とされていることを特徴とする顕微鏡装置。
照射光を受光して、回折光を形成する空間変調素子と、前記回折光を試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空聞変調素子面に結像させる対物光学系と、
撮像手段と、
前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系と、
を有することを特徴とする顕微鏡装置であって、
前記空問変調素子は、光路に挿脱可能に配置され、
前記対物光学系中には、光分離手段と反射部材とが、択一的に前記光路に挿脱可能に配置さており、前記光分離手段が前記光路に挿入されたときには、前記空問変調素子は前記光路から取り除かれ、前記反射部材が前記光路に挿入されたときには、前記空間変調素子は前記光路に挿入されていることを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置であって、前記反射部材が光路に挿入されたときには、前記試料面からの光は前記空間変調素子面に結像し、前記光分離手段が光路に挿入されたときには、前記リレー光学系とは別のリレー光学系を介して、前記試料面から発生した光による試料面の像を、前記撮像手段とは別の撮像手段の撮像面に結像するようにされていることを特徴とする顕微鏡装置。
請求項２に記載の顕微鏡装置であって、前記反射部材が光路に挿入されたときには、前記試料面からの光は前記空間変調素子面に結像し、前記光分離手段が光路に挿入されたときには、前記リレー光学系とは別のリレー光学系を介して、前記試料面から発生した光による試料面の像を、前記撮像手段とは別の撮像手段の撮像面に結像するようにされていることを特徴とする顕微鏡装置。
前記反射部材は、厚さが1.5mmより厚い反射ミラーであることを特徴とする請求項１又は請求項２に記載の顕微鏡装置。
前記反射部材は、反射プリズムであることを特徴とする請求項１又は請求項２に記載の顕微鏡装置。
照射光を受光して、回折光を形成する空間変調素子と、
前記回折光を試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空問変調素子面に結像させる対物光学系と、
撮像装置と、
前記空間変調素子面で再変調された光の像を前記撮像装置の撮像面に結像させるリレー光学系と、
を有する顕微鏡装置であって、
前記空間変調素子は挿脱可能に配置されていることを特徴とする顕微鏡装置。