JP4831072B2 - 顕微鏡装置 - Google Patents

Description

本発明は、顕微鏡装置に関する。

生体標本などの被観察物を超解像観察するための手法に、照明光を空間変調する手法がある（特許文献１，２，非特許文献１，２など参照）。この手法では、空間変調された照明光で被観察物の構造の空間周波数を変調し、解像限界を超える高い空間周波数の情報を顕微鏡光学系の結像に寄与させる。
但し、超解像画像を観察するためには変調された被観察物の像（変調像）を復調する必要がある。復調の方法は大別して２種類あり、光学的な復調（非特許文献１，２参照）と、演算による復調（特許文献１，２参照）とがある。なお、光学的な復調は、回折格子などの空間変調素子を用いて変調像を再変調することによって実現する。
特開平１１−２４２１８９号公報 米国再発行特許発明第３８３０７号明細書 W.Lukosz,"Optical systems with resolving powers exceeding the clasical limit.II",Journal of the Optical Society of America,Vol.37,PP.932,1967 W.Lukosz and M.Marchand,Opt. Acta. 10,241,1963

しかし、演算による復調は複雑な演算処理を要するので時間が掛かり、被観察物をリアルタイム観察することが難しい。
一方、光学的な復調は回折格子などの空間変調素子を用いるので時間は掛からないが、その復調精度は空間変調素子の形状精度や配置精度などに依存するので、良好な超解像画像を得ることが難しい。

因みに、非特許文献２に記載の復調方法（光学的な復調）では、変調に関する光路と復調に関する光路とを平行にし、変調と変調とに共通の回折格子の異なる部分を用いることで配置精度の問題改善を図っているが、変調に関わる光学系の瞳と復調に関わる光学系の瞳とを共役にすることができないため、観察視野が極端に狭いという欠点がある。
そこで本発明は、高速に超解像画像の情報を生成することのできる顕微鏡装置を提供することを目的とする。

本発明の顕微鏡装置は、被観察物から射出した光の中間像を形成する結像光学系と、前記中間像の形成面に配置され、前記中間像となる前記光から次数の異なる複数の回折光を発生させる空間変調素子と、前記複数の回折光を干渉させることにより前記中間像の像を形成するリレー光学系と、前記結像光学系の光路を共有し、前記空間変調素子のパターンを前記結像光学系の光路を介して前記被観察物上に投影することにより、空間的に変調された照明光で前記被観察物上を照明する照明光学系と、を備えたことを特徴とする。

なお、本発明の顕微鏡装置には、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの位相を変化させる位相変化手段が更に備えられてもよい。
また、本発明の顕微鏡装置には、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方向変化手段が更に備えられてもよい。

また、本発明の顕微鏡装置には、前記中間像の像を検出してその像のデータを生成する検出手段と、前記位相の変化中における前記像の時間積分データを前記検出手段から取得する取得手段とが更に備えられてもよい。
また、本発明の顕微鏡装置には、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方向変化手段が更に備えられ、前記取得手段は、前記方向の異なる複数の状態の各々において前記時間積分データを取得してもよい。

また、本発明の顕微鏡装置には、前記取得された複数の前記時間積分データを合成する演算手段が更に備えられてもよい。
また、前記演算手段は、前記複数の時間積分データに共通して含まれる空間周波数成分を平均化して合成してもよい。
また、本発明の顕微鏡装置には、前記中間像の像を検出してその像のデータを生成する検出手段と、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方向変化手段と、前記位相及び前記方向の変化中における前記像の時間積分データを前記検出手段から取得する取得手段とが更に備えられてもよい。

また、前記検出手段として電荷蓄積型撮像素子が用いられ、前記取得手段は、前記撮像素子の蓄積時間を、前記照明パターンの位相が整数周期変化する時間とほぼ等しくしてもよい。
また、前記検出手段として電荷蓄積型ではない撮像素子が用いられ、前記取得手段は、前記照明パターンの位相が整数周期変化する時間とほぼ等しい時定数を持つローパスフィルター、もしくは、積分回路を前記撮像素子の各画素に備えてもよい。

また、本発明の顕微鏡装置には、前記中間像の像を検出してその像のデータを生成する検出手段が少なくとも備えられ、前記リレー光学系の物体側開口数ＮＡ’は、前記結像光学系の物体側開口数ＮＡ_obj，前記結像光学系の結像倍率Ｍ、定数ａに対してＮＡ’＞ａ・ＮＡ_obj／Ｍの式を満たし、前記定数ａは、少なくとも前記検出手段の階調で分解できる限界画像コントラストを考慮しつつ、前記結像光学系及びリレー光学系を介して前記検出手段で検出される前記像のコントラストから逆算して算出されることが望ましい。

また、前記定数ａの範囲が、２＜ａであることが望ましい。
また、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの空間周波数の上限は、前記結像光学系及びリレー光学系のＭＴＦ及び瞳径を考慮して決定され、前記照明パターンの空間周波数の下限は、超解像効果を考慮して決定されることが望ましい。

また、前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの空間周波数ｋをｋ＝ｂ*（２＊ＮＡ／λ）で表す場合、０．５＜ｂ＜０．９８であることが望ましい。但し、ＮＡは開口数、λは波長、ｂは定数である。
また、前記空間変調素子が回折格子であって、０次回折光の強度に対する、１次回折光の強度の比ｅ１が、０．３７＜ｅ１＜１．９であることが望ましい。

本発明によれば、高速に超解像画像の情報を生成することのできる顕微鏡装置が実現する。

第１実施形態の顕微鏡装置の概略構成図である。 観察光学系ＬＳ２の標本１１からレンズ７までの結像光束の開口数を説明する図である。 空間周波数ｋ０に適当な値を代入して計算した本実施の形態の顕微鏡装置において、ＮＡ／λで規格化した空間周波数に対する再変調後のＭＴＦを示した図である。 空間周波数をＮＡ／λで規格化した、無収差光学系のインコヒーレント結像のＭＴＦである。 第１実施形態の制御・演算装置４２の制御に関する動作フローチャートである。 制御・演算装置４２の演算に関する動作フローチャートである。 ステップＳ２１を説明する図である。 ステップＳ２２を説明する図である。 第２実施形態の制御・演算装置４２の制御に関する動作フローチャートである。

［第１実施形態］
本発明の顕微鏡装置の第１実施形態を説明する。
先ず、本顕微鏡装置の構成を説明する。
図１は、本顕微鏡装置の概略構成図である。図１に示すとおり、本顕微鏡装置には、光源１、コレクタレンズ２、レンズ３、励起フィルタ４、ダイクロイックミラー５、レンズ７、回折格子８、第２対物レンズ９、対物レンズ１０、蛍光色素で標識された標本（生体標本など）１１、バリアフィルタ６、レンズ１２、撮像装置（ＣＣＤカメラなど）２５、制御・演算装置（回路やコンピュータなど）４２、画像表示装置４３、アクチュエータ４０、回転ステージ４１が配置される。

このうち、光源１、コレクタレンズ２、レンズ３、励起フィルタ４、ダイクロイックミラー５、レンズ７、回折格子８、第２対物レンズ９、対物レンズ１０が照明光学系ＬＳ１を構成しており、対物レンズ１０、第２対物レンズ９、回折格子８、レンズ７、ダイクロイックミラー５、バリアフィルタ６、レンズ１２が観察光学系ＬＳ２を構成している。また、対物レンズ１０と第２対物レンズ９とが結像光学系ＬＳ２１を構成し、レンズ７とレンズ１２とがリレー光学系ＬＳ２２を構成している。照明光学系ＬＳ１と観察光学系ＬＳ２とは、対物レンズ１０からダイクロイックミラー５までの光路を共有している。

照明光学系ＬＳ１の光源１からの光は、コレクタレンズ２において平行光に変換され、レンズ３により瞳共役面３１に光源像を形成する。その光源像３１からの光は、励起フィルタ４によって波長選択されたのちダイクロイックミラー５によって偏向され、照明光学系ＬＳ１と観察光学系ＬＳ２との共通光路へ入り、レンズ７により標本１１の共役面２２上に集光する。共役面２２から射出した光は、その共役面２２に配置された回折格子８を介してレンズ９へ入射し、平行光に変換された後、対物レンズ１０を介して標本１１上に回折格子８の像２３を形成する（このとき、対物レンズ１０の後側焦点面に光源像３２が形成される。）。これによって標本１１上は、空間変調された照明光で照明（構造化照明）される。

ここで、回折格子８は、例えば、１次元の周期構造をもつ位相型又は振幅型の回折格子である。特に、振幅型の回折格子は波長特性が良いため、光源１に白色光源を使用できるので好ましい。光源１としては、白色光源の代わりに単一波長の光源を用いてもよいし、レーザ光源からの光を光ファイバで導き、その端面に形成される二次光源を光源１として用いてもよい。

また、構造化照明の輝度分布（回折格子８の像２３の輝度分布）を正弦波状にするために、回折格子８で生じる次数２以上の余分な回折成分を除去することが望ましい。その際には、回折格子８よりも後段の適当な箇所（例えば対物レンズ１０の瞳面）で除去するとよい。或いは、回折格子８の濃度分布を予め正弦波状にしておけば、余分な回折成分の発生を抑え、光量の損失を抑えることができる。

さて、構造化照明された光を励起光として標本１１上では蛍光が発生する。このときに対物レンズ１０側から見た標本１１の構造は、構造化照明により変調されている。変調された構造には、モアレ縞が生じている。このモアレ縞は、標本１１が有する微細構造と構造化照明のパターンとが成すモアレ縞であり、標本１１の微細構造が、構造化照明の空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像限界を超える高い空間周波数の構造の光までもが、対物レンズ１０によって捉えられることになる。

対物レンズ１０によって捉えられた蛍光は、対物レンズ１０及び第２対物レンズ９からなる結像光学系ＬＳ２１により、共役面２２上に標本１１の変調像を形成する。その変調像は、その共役面２２に配置された回折格子８によって再変調される。このようにして生じた再変調像では、空間周波数を変化させた標本１１の構造が、元の空間周波数に戻される。この再変調像に、標本１１の復調像が含まれている。

但し、この再変調像には、復調像にとって不要な回折成分が含まれている。不要な回折成分とは、標本１１から射出された０次回折光に対し回折格子８で生じた±１次回折成分、標本１１から射出された−１次回折光に対する０次回折成分、標本１１から射出された＋１次回折光に対する０次回折成分である。これらの不要な回折成分を再変調像から除去するためには、回折格子８を１周期分若しくはＮ周期分（Ｎは自然数）動かして平均化すればよい。

再変調像からの蛍光は、レンズ７を介してダイクロイックミラー５を透過した後、観察光学系ＬＳ２の単独光路へ入り、バリアフィルタ６を透過したのち、レンズ１２を介して再変調像の拡大像２４を形成する。つまり、回折格子８で再変調された再変調像は、レンズ７及びレンズ１２からなるリレー光学系ＬＳ２２によって、拡大像２４へとリレーされる。この拡大像２４は、撮像装置２５によって撮像され、再変調像の画像データが生成される。なお、撮像装置２５で撮像する場合、回折格子８を１周期若しくはＮ周期（Ｎは自然数）動かしている間、再変調像を蓄積することによって平均化すれば、復調像の画像データを得ることができる。

この画像データは、標本１１を構造化照明によって超解像観察するための情報を含む。その画像データは、制御・演算装置４２によって取り込まれ、演算が施されてから、画像表示装置４３へと送出される。
以上、本顕微鏡装置は、標本１１の共役面２２から標本１１までの光路を照明光学系ＬＳ１と観察光学系ＬＳ２とで完全に共通光路にすると共に、その共役面２２に回折格子８を配置している。本顕微鏡装置ではこの回折格子８により、標本１１の微細構造の変調を図る。そして、変調された標本１１の微細構造は、この位置に配置された回折格子８により、自動的に再変調される。

なお、回折格子８は、アクチュエータ４０によって格子線に直交する方向Ｄｂへ移動可能である。この移動により、構造化照明の位相が変化する。制御・演算装置４２がアクチュエータ４０及び撮像装置２５を制御し、１フレーム分の画像データを蓄積している間にその位相を１周期分若しくはＮ周期分（Ｎは自然数）だけ変化させることで、その画像データから、構造化照明のパターンと、再変調時に生じた不要な回折成分とを消去する。

あるいは、撮像装置２５の撮像素子としてＣＣＤなど電荷蓄積型の撮像素子を用い、構造化照明の位相が１周期分若しくはＮ周期分（Ｎは自然数）だけ変化するのに必要な時間を蓄積時間とすることで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。
あるいは、撮像装置２５の撮像素子としてＮＭＯＳ、ＣＭＯＳなど電荷蓄積型ではない撮像素子を用い、更に各画素の出力にローパスフィルター、もしくは、積分回路を接続しておくことで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。その際には、接続するローパスフィルター、もしくは、積分回路の時定数として構造化照明の位相が１周期分若しくはＮ周期分（Ｎは自然数）だけ変化するのに必要な時間以上とする。

また、回折格子８は、回転ステージ４１によってアクチュエータ４０と共に光軸の周りを回転可能である。この回転により、構造化照明の方向が変化する。制御・演算装置４２が回転ステージ４１及び撮像装置２５を制御し、構造化照明の方向を複数方向に変化させる度に画像データを取得すれば、複数方向に亘り超解像観察するための情報を得ることができる。これにより、標本１１の二次元の超解像観察が可能となる。

また、以上の動作に必要なプログラムは、例えばＣＤ−ＲＯＭなどの記録媒体やインターネットを介して制御・演算装置４２に予めインストールされている。
次に、本顕微鏡装置のリレー光学系ＬＳ２２に必要な条件を説明する。
図２は、本顕微鏡装置における観察光学系ＬＳ２の標本１１からレンズ７までの結像光束の開口数を説明する図である。なお、図２では、光束の広がりの変化をわかりやすくするために、回折格子８の像２３と標本１１とをずらして描き、標本１１の共役面２２と回折格子８とをずらして描いた。

図２に示すとおり、標本１１の高い空間周波数の構造で発生した蛍光ＬＡは射出角度が大きいため、通常は破線のとおり進行して対物レンズ１０の瞳径内に入射することができない。しかし、その蛍光ＬＡは回折格子８の像２３（つまり構造化照明）により変調されるので、その射出角度が低周波数側（つまり小角度）に変化したものは、実線のとおり進行して対物レンズ１０の瞳径内に入射することが可能になる。

この蛍光ＬＡは、結像光学系ＬＳ２１によって共役面２２上に結像した後、回折格子８において再変調される。再変調された蛍光ＬＡ’の射出角度は、高周波側（つまり大角度）に戻されている。
このような蛍光ＬＡ’を含む結像光束を導光するためには、リレー光学系ＬＳ２２の物体側開口数ＮＡ’を、予め大きく設定しておく必要がある。

特に、構造化照明の空間周波数（つまり回折格子８の格子周波数）が高いほど、その結像光束の開き角は大きくなるので、リレー光学系ＬＳ２２の物体側開口数ＮＡ’も大きくする必要がある。
但し、一般に、構造化照明による超解像効果は、対物レンズ１０の解像限界の２倍程度である。なぜなら、照明光学系ＬＳ１によって標本１１上に投影される構造化照明の空間周波数は、対物レンズ１０の解像限界が上限だからである。したがって、リレー光学系ＬＳ２２の物体側開口数ＮＡ’は、或る程度大きければ十分である。

例えば、結像光学系ＬＳ２１内の対物レンズ１０の開口数を１．４９，結像光学系ＬＳ２１の結像倍率を６０倍とする。このとき、結像光学系ＬＳ２１の中間像側（回折格子８側）の開口数は、以下の値となる。
１．４９／６０＝０．０２４
このとき、回折格子８によって再変調された後の光束のうち復調に寄与できる０，±１次の回折光は、これらの中心が回折格子８による回折角に相当する間隔だけ離れて並ぶと共に、結像光学系ＬＳ２１の中間像側の瞳径を半径とした円形になるため、最大で以下の値をとる。
３×０．０２４＝０．７２
したがって、リレー光学系ＬＳ２２の物体側開口数ＮＡ’は、０．０７２あれば十分である。リレー光学系ＬＳ２２がこのスペックを満たすことは特に難しいことではない。

この値となるのは上記０，±１次回折光が最大の間隔で並ぶとき、すなわち、最大の超解像効果が得られるときであるが、回折格子８による回折角が小さく最大の超解像効果が得られない場合のＮＡ‘は上記の値より小さくともよい。
その場合でも超解像効果として従来の顕微鏡の１．５倍程度を持たせることが望ましく、この場合のＮＡ‘は、
２×０．２４＝０．０４８
であればよい。

以上の条件を一般化すると、以下の（ｉ），（ｉｉ）のとおりになる。
（ｉ）リレー光学系ＬＳ２２の物体側開口数ＮＡ’は、結像光学系ＬＳ２１の物体側開口数ＮＡ_objと結像倍率Ｍとに対し、少なくともＮＡ’＞a・ＮＡ_obj／Ｍの式を満たす必要がある（aは定数であり、結像光学系ＬＳ２１の中間像側の瞳径と回折格子８による回折角との値に依存して決定される）。

（ｉｉ）超解像効果として最低でも１．５倍程度を持たせることが望ましく、その場合には、リレー光学系ＬＳ２２の物体側開口数ＮＡ’は、結像光学系ＬＳ２１の物体側開口数ＮＡ_objと結像倍率Ｍとに対し、おおよそＮＡ’＝２ＮＡ_obj／Ｍの式を満たしていればよい。
但し、現実的には撮像装置２５で取得された画像のコントラストの観点から検討する必要がある。

リレー光学系ＬＳ２２の瞳面には結像光学系ＬＳ２１の瞳の像ができるが、回折格子８によって結像光学系ＬＳ２１からの光が回折されるため、リレー光学系ＬＳ２２の瞳面には結像光学系ＬＳ２１の瞳が光軸を中心に０次回折光、±１次回折光、±２次回折光として対称に並んでいる。
通常の顕微鏡画像を持つ空間周波数成分は、上記０次回折光、±１次回折光、±２次回折光のうち互いに同じ次数の光同士による干渉の結果得られるが、標本１１を構造化照明したことにより得られる超解像の情報は、０次回折光と±１次回折光、±１次回折光と±２次回折光、といった具合に隣り合う回折光が干渉した結果、像面に画像として再現される。

ところで、回折格子８の複素振幅は一般にその符号が反転しながら減衰していくため、０次回折光と＋１次回折光による画像は、＋１次回折光と＋２次回折光による画像、＋２次回折光と＋３次回折光による画像、・・・により打ち消され、コントラストを減衰させてしまう。
このため、できるだけ多くの０次回折光、±１次回折光の成分が通過でき、±２次以上の高次回折光の成分はできるだけ通過できないようなリレー光学系ＬＳ２２が必要となる。

以上の検討内容と、さらに撮像装置２５の検出能力とを考慮して、リレー光学系ＬＳ２２の物体側開口数ＮＡ‘を決める必要がある。
コントラストの減衰を検討する際、解像限界の空間周波数ではコントラストが０になってしまうので、ここではその９割の空間周波数の構造の画像コントラストを用いて評価することとする。結像光学系ＬＳ２１の開口数ＮＡ、波長λとすると、回折格子８によって再変調された解像限界ｋｇは、構造化照明の空間周波数ｋ０とすると、
ｋｇ＝２＊ＮＡ／λ+ｋ０
で表され、その９割の空間周波数をｋｇｈとすると、
ｋｇｈ＝０．９＊（２＊ＮＡ／λ+ｋ０）
となる。

図３は、空間周波数ｋ０に適当な値を代入して計算した本実施形態の顕微鏡装置において、ＮＡ／λで規格化した空間周波数に対する再変調後のＭＴＦを示した図である。但し、リレー光学系ＬＳ２２の瞳径は、結像光学系ＬＳ２１の像側瞳が回折格子８で回折された０，±１次回折光だけが入るようなサイズとした。
図３を用いて、空間周波数ｋｇｈに対する再変調後のＭＴＦを算出する。図３からＭＴＦが0になる（解像限界のとき）ときの規格化空間周波数（横軸の値）は、約３．７であり、前述したようにその９割の空間周波数（約３．７＊０．９＝約３．３３）で評価すると、そのときのＭＴＦの値は約０．０２５である。

撮像装置２５に１０２４階調の撮像素子を用いる場合、素子が認識できる画像コントラストの最低値は、２／１０２４≒０．００２である。この場合は、上記ｋｇｈのＭＴＦが０．００２となる空間周波数まで観察可能であり、前述の解像限界のときの規格化空間周波数の９割の空間周波数は十分観測可能ということになる。
撮像装置２５に２５６階調の撮像素子を用いる場合、素子が認識できる画像コントラストの最低値は、２／２５６≒０．０１である。この場合も、前述の解像限界のときの規格化空間周波数の９割の空間周波数は十分観測可能ということになる。

また、構造化照明のピッチ（縞のピッチ）は、装置や光学系の状況を考慮した上で適当な超解像を得るため所定の範囲内である必要がある。ピッチの下限（どこまで細かくできるか）を決めるファクターは結像光学系ＬＳ２１のＭＴＦによる縞コントラストの減衰であり、ピッチの上限（どこまで粗くできるか）を決めるファクターは超解像の効果（解像力を増加させる割合）である。

まず、ピッチの下限の決定方法について説明する。ピッチを決定するために考慮すべきＭＴＦは以下の2種類である。
（１）所定波長の光を用いて回折格子８のパターンを結像光学系ＬＳ２１を介して標本１１へ投影する場合の結像光学系ＬＳ２１のＭＴＦをＭＴＦ_ilとする。これにより構造化照明のコントラストが決定される。
（２）構造化照明された標本１１からの所定波長の光（反射光、蛍光）を観察光学系LSを介して撮像素子上へ結像する場合の結像光学系ＬＳ２１のＭＴＦをＭＴＦ_imとする。これにより撮像素子上の像のコントラストが決定される。

ここで、（１）に示すＭＴＦは、照明光がインコヒーレントの場合（例えば、光源がランプ等の場合）は回折格子８のパターンのピッチが細かくなるにしたがって減衰する。一方コヒーレントの場合は、パターンのピッチが光学系の分解能以上であればピッチによらずＭＴＦ_il＝１である。（２）に示すＭＴＦは、標本１１から撮像素子までの結像関係がインコヒーレント結像の場合（照明光がインコヒーレントの場合、或いは照明光がコヒーレントの場合であっても標本１１からの蛍光（インコヒーレント光）を結像する場合）に減衰を考慮する必要がある。なお、コヒーレント結像の場合は、（１）と同様に光学系の分解能以上であればＭＴＦ_im＝１であるため減衰を考慮する必要がないが、そもそもコヒーレント結像の場合の解像力は、インコヒーレント結像の半分しかなく、本発明の目的には合わないのでここでは考えない。

なお、インコヒーレント照明―インコヒーレント結像の場合、全体のＭＴＦは、
ＭＴＦ_total1＝ＭＴＦ_il＊ＭＴＦ_im
で表される。ここでＭＴＦ_imは再変調後のリレー光学系まで含んだＭＴＦである。
コヒーレント照明―インコヒーレント結像の場合、全体のＭＴＦは、
ＭＴＦ_total2＝１＊ＭＴＦ_im
で表される。

ｋを構造化照明のピッチの逆数（縞の空間周波数）とし、ｋの値を光学系の解像限界（λ／２ＮＡ）で規格化するパラメータｂ を導入して、
ｋ＝ｂ＊(２＊ＮＡ／λ)
と表す。
図４は空間周波数をＮＡ／λで規格化した、無収差光学系のインコヒーレント結像のＭＴＦである。すなわち、空間周波数ｋに対するＭＴＦを考えるとき図４の横軸を２ｂと読み替えればよい。

撮像装置２５が１０２４階調の撮像素子とすると、取得するコントラストの下限が０．００２であるので、
（１）インコヒーレント照明―インコヒーレント結像の場合、
ＭＴＦ_total1＝ＭＴＦ_il＊ＭＴＦ_im＞０．００２より、
ＭＴＦ_il＊ ＭＴＦ_im＞０．００２
ここで、ＭＴＦ_il＝ＭＴＦ_imより
ＭＴＦ_il＞０．０４５が必要である。
（２）コヒーレント照明―インコヒーレント結像の場合、
ＭＴＦ_total2＝１＊ＭＴＦ_im＞０．００２
ＭＴＦ_im＞０．００２が必要である。

（１）のＭＴＦ_il＝ＭＴＦ_im＞０．０４５の場合は、図４から２ｂ＜１．７７すなわちｂ＜０．８９となり、（２）のＭＴＦ_im＞０．００２の場合は、図４から２ｂ＜１．９７すなわちｂ＜０．９８となる。
同様に撮像装置素子２５の撮像素子が２５６階調とすると、取得するコントラストの下限は０．０１になるので、
（１）の場合ＭＴＦ_il＝ＭＴＦ_im＞０．１となり、図４から２ｂ＜１．６１すなわちｂ＜０．８１となり、（２）のＭＴＦ_im＞０．０１の場合は、図４から２ｂ＜１．９１すなわちｂ＜０．９６となる。

また、他は同じ条件で、撮像装置２５が取得するコントラストの下限に少し余裕を持たせて０．０１５とすると、
（１）の場合ＭＴＦ_il＝ＭＴＦ_im＞０．１２となり、図４から２ｂ＜１．５５すなわちｂ＜０．７８となり、（２）のＭＴＦ_im＞０．０１５の場合は、図４から２ｂ＜１．８９すなわちｂ＜０．９５となる。

以上説明したようにして照明と結像のコヒーレンシーで場合分けして算出したｂの範囲から、設定した所定のＮＡ、λは１）では照明の対物レンズＮＡ,照明波長（励起波長）、２）では結像の対物レンズＮＡ、観察波長（蛍光波長）を用いることにより、ｋの範囲が決定される。
次に、ピッチの上限の決定方法について説明する。

超解像効果αは、α＝（２＊ＮＡ／λ＋ｋ）／（２＊ＮＡ／λ）で表せる。すなわち、ｋ＝ (２＊ＮＡ／λ)＊(α−１) であるので、超解像効果αの値に依存して、設定した所定のＮＡ、λ（反射または蛍光の波長）を用いることによりｋの値が決定される。
前述と同様にｋ＝ｂ＊(２＊ＮＡ／λ)とおけば、ｂ＝α−１であり、例えば、超解像効果αを１．５倍にする場合はｂ＝０．５となり、１．７倍にする場合はｂ＝０．７となる。

以上をまとめると、ｂの好ましい範囲は０．５＜ｂ＜０．９８である。
また、光源１を照明光学系ＬＳ１の光軸に対して、回折格子８の格子パターンと直交する方向へ所定量シフトして、回折格子８による回折光のうち０次光と１次回折光が照明光学系ＬＳ１の光軸に対して対称になるように構成すると、標本１１上に形成される構造化照明の空間周波数をより高く設定することができる。所定のシフト量ｓは、光源１から回折格子８までの光学系の合成焦点距離をｆｃ、回折格子８の１次回折角をθｇとするとき、

となるよう設定するとよい。
ここで、回折格子８の０次光強度に対する１次回折光強度の比は、標本１１上に形成される構造化照明のコントラストや、復調画像のＭＴＦのスペクトル成分比を最適化するために、ある所定の範囲内にある必要がある。
例えば、構造化照明の空間周波数を照明光学系の解像限界程度とし、照明光学系ＬＳ１の瞳面の直径方向に最も離れた２点に光源１の像を集光させるとすると、標本１１上に形成される構造化照明のコントラストＣ１は、照明光学系ＬＳ１内の回折格子８における０次光強度ｉ１０ に対する１次回折光強度ｉ１１の比をｅ１としたとき、以下のとおり表される。

構造化照明のコントラストＣ１は高い方が好ましい。仮にＣ１＞０．８とすると、０．２５＜ｅ１＜３．９ …（Ａ）という範囲が得られる。
ちなみに、回折格子８における０次光強度ｉ１０と１次回折光強度ｉ１１は、

である。ここでｊは回折格子８の振幅分布もしくは位相分布が矩形形状であれば、ｊ＝０．８、正弦波形状であればｊ＝１である。
さらに、この構造化照明で標本１１が回折されるがその際の回折強度は、
１次回折光強度Ｉ１は、

０次光強度Ｉ０は、

そして、この標本１１からの結像光が、結像光学系ＬＳ２１の回折格子８で再変調されるときの０次光強度ｉ２０に対する１次回折強度ｉ２１の比をｅ１とすると、以下のとおり表される。

ｅ２は高い方が好ましいが、１を超える場合には低周波のスペクトル強度が下がるため、復調像が標本１１の構造の高周波成分を強調したような画像になってしまい、好ましくない。一般の光学系で見慣れたスペクトル強度分布を考慮するとｅ２＞０．１５くらいあればよい。そのときｅ１＞０．３７であり、これは（Ｂ）の範囲を規定する。
また、さらに、再変調後、不要な回折成分を時間積分することでＤＣ成分に変換されて復調像を得るが、その際のＤＣ成分の割合ｄは、

さらに（３）式より

で表せる。ｊ＝１として、ｄ＜０．８とするとｅ１＜６．６であり、ｄ＜０．７とすると、ｅ１＜１．９…（Ｃ）程度である。
上記（Ａ）（Ｂ）（Ｃ）の範囲を考慮すると、照明光学系ＬＳ１内の回折格子８における０次光強度ｉ１０に対する１次回折光強度ｉ１１の比をｅ１としたとき、好ましいｅ１の範囲は、
０．３７＜ｅ１＜１．９
である。
０次光強度に対する１次回折光の強度比は、一般に位相型回折格子であれば段差、Ｄｕｔｙ比で決定され、濃度型回折格子であれば、ＯＤ(光学濃度)、Ｄｕｔｙ比で決定される。上記好ましいｅ１になるように、上記の製造パラメータを制御すればよい。

次に、制御・演算装置４２の制御に関する動作を説明する。
図５は、制御・演算装置４２の制御に関する動作フローチャートである。図５に示すとおり、制御・演算装置４２は、再変調像の画像データを取得するに当たり、撮像装置２５の露光開始（ステップＳ１１）から露光終了（ステップＳ１３）までの期間に、構造化照明の位相を１周期分だけ変化させる（ステップＳ１２）。

このようにして取得された画像データは、構造化照明の位相変化中における再変調像の時間積分であり、構造化照明の輝度分布は正弦波状なので、この画像データからは、構造化照明のパターンは消去される。また、この画像データからは、再変調時に生じた不要な回折成分も消去される。よって、この画像データは、復調像を表す。なお、これらの消去には、これ以外にも、上述したとおり何通りかの方法が適用可能である。

さらに、制御・演算装置４２は、構造化照明の方向を変化させてから（ステップＳ１５）、再びステップＳ１１〜Ｓ１３の処理を行い、構造化照明のパターンの消去された別の復調像の画像データを取得する。
そして、以上のステップＳ１１〜Ｓ１３における復調像の画像データの取得処理は、構造化照明の方向が予め決められた全方向に設定されるまで（ステップＳ１４ＹＥＳとなるまで）繰り返され、構造化照明のパターンの消去された復調像の画像データが、設定された方向の数だけ取得される。

例えば、制御・演算装置４２は、ステップＳ１１〜Ｓ１３の処理を、構造化照明の方向が０°，１２０°，２４０°の３方向に設定されるまで繰り返し、構造化照明のパターンの消去された３つの復調像の画像データＩ₁，Ｉ₂，Ｉ₃を取得する。これらの復調像の画像データＩ₁，Ｉ₂，Ｉ₃の間では、超解像の方向が１２０°ずつ異なる。
次に、制御・演算装置４２の演算に関する動作を説明する。

図6は、制御・演算装置４２の演算に関する動作フローチャートである。ここでは、超解像の方向が１２０°ずつ異なる３つの復調像の画像データＩ₁，Ｉ₂，Ｉ₃を取得した場合の演算を説明する。
先ず、制御・演算装置４２は、３つの復調像の画像データＩ₁，Ｉ₂，Ｉ₃の各々をフーリエ変換し、波数空間で表現された３つの復調像の画像データＩ_k1，Ｉ_k2，Ｉ_k3を得る（ステップＳ２１）。これら復調像の画像データＩ_k1，Ｉ_k2，Ｉ_k3を図7（Ａ），（Ｂ），（Ｃ）に示した。

なお、図7（Ａ），（Ｂ），（Ｃ）において符号Ｉ_k+1，Ｉ_k-1は、変調された状態で（±１次回折光として）結像光学系ＬＳ２１によって伝達された成分（±１次変調成分）を示し、符号Ｉ_k0は、変調されない状態で（０次回折光として）結像光学系ＬＳ２１によって伝達された成分（０次変調成分）を示す。また、符号Ｄｂは、超解像の方向（構造化照明の方向）を示し、符号Ｋは、構造化照明の空間周波数を示す。

続いて、制御・演算装置４２は、３つの復調像の画像データＩ_k1，Ｉ_k2，Ｉ_k3を、図8に示すとおり波数空間上で合成し、１つの合成画像データＩ_kを得る（ステップＳ２２）。
３つの復調像の画像データＩ_k1，Ｉ_k2，Ｉ_k3は、互いのデータ範囲を重複させている（共通の空間周波数成分を含んでいる）ので、制御・演算装置４２は、合成に当たり、重複したデータについてはそれらの平均値をとり、その平均値を合成画像データＩ_kのデータとする。この平均によって、合成画像データＩ_kの低周波数成分の寄与が大きくなりすぎるのを抑えることで、高周波数成分の相対的な寄与が小さくなるのを防ぐことができる。

続いて、制御・演算装置４２は、合成画像データＩ_kを逆フーリエ変換し、実空間で表現された画像データＩを得る。この画像データＩは、１２０°ずつ異なる３方向に亘る標本１１の超解像画像を表現する（ステップＳ２３）。制御・演算装置４２は、この画像データＩを画像表示装置４３へ送出し、超解像画像を表示する。
以上、本顕微鏡装置では、図１に示したとおり標本１１からの光が回折格子８で再変調され、さらに回折格子８を動かして平均化して不要な回折成分を除去することによって復調像を得ている。したがって、復調演算をしない分だけ復調像の画像データは高速に得られる。

しかも、変調と再変調とに同一の回折格子８の同一の領域が用いられるので、仮にその回折格子８に形状誤差や配置誤差があったとしても、変調のパターンと再変調のパターンとを同一にすることができる。したがって、回折格子８の形状誤差や配置誤差は、復調像の画像データに対しノイズを殆ど与えない。このことは、構造化照明の位相を変化させたときや、構造化照明の方向を変化させたときにも同様に当てはまる。したがって、本顕微鏡装置では超解像画像が高精度に得られる。

また、本顕微鏡装置では、標本１１の共役面２２に回折格子８を配置する都合上、その共役面２に形成された再変調像をリレーしてから撮像素子２５で撮像する必要がある。しかし、本顕微鏡装置のリレー光学系ＬＳ２２などは、上述した条件（条件（ｉ）、（ｉｉ）、その他の条件）を満足するので、超解像に必要な情報を確実に取得することができる。

また、本顕微鏡装置では、複数の画像データを合成する際に（図6ステップＳ２２）、それら画像データが共通して有する空間周波数成分を平均化するので、高周波数成分の減衰の少ない良好な超解像画像を得ることができる。
［第２実施形態］
本発明の顕微鏡装置の第２実施形態を説明する。ここでは、第１実施形態との相違点のみ説明する。相違点は、制御・演算装置４２の動作にある。

図9は、本実施形態の制御・演算装置４２の制御に関する動作フローチャートである。図9に示すとおり、制御・演算装置４２は、復調像の画像データを取得するに当たり、撮像装置２５の露光開始（ステップＳ３１）から露光終了（ステップＳ３５）までの期間に、構造化照明の位相を１周期分変化させてから（ステップＳ３２）、さらに構造化照明の方向を変化させて（ステップＳ３４）、再びステップＳ３２における位相変化処理を行う。

このステップＳ３２における位相変化処理は、構造化照明の方向が予め決められた全方向に設定されるまで（ステップＳ３３ＹＥＳとなるまで）繰り返され、その後、制御・演算装置４２は撮像装置２５の露光を終了して画像データを取得する（ステップＳ３５）。
例えば、制御・演算装置４２は、ステップＳ３２における位相変化処理を、構造化照明の方向が０°，１２０°，２４０°の３方向に設定されるまで繰り返し、構造化照明のパターンの消去された１つの復調像の画像データを取得する。

このようにして取得された復調像の画像データは、構造化照明の位相だけでなく方向の変化中における再変調像の時間積分を示す。よって、この復調像の画像データは、そのまの状態で複数方向に亘る標本１１の超解像画像を表す。したがって、本実施形態の制御・演算装置４２は、この復調像の画像データをそのまま画像表示装置４３へ送出して超解像画像を表示する。

以上、本実施形態では、撮像装置２５の露光期間内に構造化照明の位相だけでなく方向をも変化させるので、超解像画像を第１実施形態よりも高速に得ることができる。
なお、本実施形態では、１次元の構造周期を持つ回折格子８と、その回折格子８を１方向（格子線に直交する方向）に移動させるアクチュエータ４０とを使用したが、２次元の周期構造を持つ回折格子と、その回折格子を２方向（格子線に直交する方向）に移動させるアクチュエータとを使用すれば、２方向に亘る超解像画像の情報を略同時に取得することができるので、さらなる高速化を図ることができる。

［その他］
なお、上述した各実施形態の顕微鏡装置は、リレーされた再変調像（拡大像２４）を撮像装置２５で検出したが、拡大像２４を接眼レンズを介して肉眼で観察できるように変形されてもよい。
また、上述した各実施形態の顕微鏡装置は、空間変調素子として回折格子を使用したが、入射光束に対し同様の作用をする別の空間変調素子を使用してもよい。

例えば、回折格子８の代わりに透過型液晶表示素子などの空間変調素子を用いれば、構造化照明の位相変化及び方向変化を電気的に行うことができ、アクチュエータや回転ステージを用いずに構成し、さらなる高速化を図ることができる。
さらに、上述の各実施形態では蛍光顕微鏡への応用であったが、特にこれに限定されるものではなく、同様に反射顕微鏡を構成することもできる。

Claims (15)

1. 被観察物から射出した光の中間像を形成する結像光学系と、
   前記中間像の形成面に配置され、前記中間像となる前記光から次数の異なる複数の回折光を発生させる空間変調素子と、
   前記複数の回折光を干渉させることにより前記中間像の像を形成するリレー光学系と、
   前記結像光学系の光路を共有し、前記空間変調素子のパターンを前記結像光学系の光路を介して前記被観察物上に投影することにより、空間的に変調された照明光で前記被観察物上を照明する照明光学系と、
   を備えたことを特徴とする顕微鏡装置。
2. 請求項１に記載の顕微鏡装置において、
   前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの位相を変化させる位相変化手段を更に備えた
   ことを特徴とする顕微鏡装置。
3. 請求項１又は請求項２に記載の顕微鏡装置において、
   前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方向変化手段を更に備えた
   ことを特徴とする顕微鏡装置。
4. 請求項２に記載の顕微鏡装置において、
   前記中間像の像を検出してその像のデータを生成する検出手段と、
   前記位相の変化中における前記像の時間積分データを前記検出手段から取得する取得手段と
   を更に備えたことを特徴とする顕微鏡装置。
5. 請求項４に記載の顕微鏡装置において、
   前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方向変化手段を更に備え、
   前記取得手段は、
   前記方向の異なる複数の状態の各々において前記時間積分データを取得する
   ことを特徴とする顕微鏡装置。
6. 請求項５に記載の顕微鏡装置において、
   前記取得された複数の前記時間積分データを合成する演算手段を更に備えた
   ことを特徴とする顕微鏡装置。
7. 請求項６に記載の顕微鏡装置において、
   前記演算手段は、
   前記複数の時間積分データに共通して含まれる空間周波数成分を平均化して合成する
   こと特徴とする顕微鏡装置。
8. 請求項２に記載の顕微鏡装置において、
   前記中間像の像を検出してその像のデータを生成する検出手段と、
   前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの方向を変化させる方向変化手段と、
   前記位相及び前記方向の変化中における前記像の時間積分データを前記検出手段から取得する取得手段と
   を更に備えたことを特徴とする顕微鏡装置。
9. 請求項４〜請求項８の何れか一項に記載の顕微鏡装置において、前記検出手段として電荷蓄積型撮像素子が用いられ、前記取得手段は、前記撮像素子の蓄積時間を、前記照明パターンの位相が整数周期変化する時間とほぼ等しくすることを特徴とする顕微鏡装置。
10. 請求項４〜請求項８の何れか一項に記載の顕微鏡装置において、前記検出手段として電荷蓄積型ではない撮像素子が用いられ、前記取得手段は、前記照明パターンの位相が整数周期変化する時間とほぼ等しい時定数を持つローパスフィルター、もしくは、積分回路を前記撮像素子の各画素に備えたことを特徴とする顕微鏡装置。
11. 請求項１〜請求項１０の何れか一項に記載の顕微鏡装置において、
    前記中間像の像を検出してその像のデータを生成する検出手段を少なくとも備え、 前記リレー光学系の物体側開口数ＮＡ’は、
    前記結像光学系の物体側開口数ＮＡ_obj，前記結像光学系の結像倍率Ｍ、定数ａに対してＮＡ’＞ａ・ＮＡ_obj／Ｍの式を満たし、
    前記定数ａは、
    少なくとも前記検出手段の階調で分解できる限界画像コントラストを考慮しつつ、前記結像光学系及びリレー光学系を介して前記検出手段で検出される前記像のコントラストから逆算して算出されることを特徴とする顕微鏡装置。
12. 請求項１１に記載の顕微鏡装置において、
    前記定数ａの範囲が、２＜ａであることを特徴とする顕微鏡装置。
13. 請求項１〜請求項１２の何れか一項に記載の顕微鏡装置において、
    前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの空間周波数の上限は、前記結像光学系及びリレー光学系のＭＴＦを考慮して決定され、前記照明パターンの空間周波数の下限は、超解像効果を考慮して決定されることを特徴とする顕微鏡装置。
14. 請求項１〜請求項１３の何れか一項に記載の顕微鏡装置において、
    前記空間変調素子のパターンが前記照明光学系によって前記被観察物上に投影されてできる照明パターンの空間周波数ｋをｋ＝ｂ*（２＊ＮＡ／λ）で表す場合、０．５＜ｂ＜０．９８であることを特徴とする顕微鏡装置。
    但し、ＮＡは開口数、λは波長、ｂは定数である。
15. 請求項１〜請求項１４の何れか一項に記載の顕微鏡装置において、
    前記空間変調素子が回折格子であって、０次回折光の強度に対する、１次回折光の強度の比ｅ１が、０．３７＜ｅ１＜１．９であることを特徴とする顕微鏡装置。

Images