JP5641427B2 - 顕微鏡装置及び観察方法 - Google Patents

Description

本発明は、顕微鏡装置及び観察方法に関する。

生体標本などの被観察物を超解像観察するための手法として、照明光を空間変調する手法がある（例えば、特許文献１，２、非特許文献１，２など参照）。この手法では、空間変調された照明光で被観察物の構造の空間周波数を変調し、解像限界を超える高い空間周波数の情報を顕微鏡光学系の結像に寄与させる。但し、超解像画像を観察するためには変調された被観察物の変調像を再変調（復調）する必要がある。

復調する方法は大別して２種類あり、演算による復調（特許文献１，２参照）と、光学的な復調（非特許文献１，２参照）とがある。

演算による復調は、複雑な演算処理を要するので時間がかかり、被観察物をリアルタイムで観察することが難しい。また、ＣＣＤなどの撮像素子を介するために直接の眼視観察は不可能である。

光学的な復調は、光学的な復調では接眼レンズを通した復調像の眼視観察が可能である。また、回折格子などの空間変調素子を用いて変調像を復調するので時間はかからない。しかし、その復調精度は空間変調素子の形状精度や配置精度などに依存するため、良好な超解像画像を得ることが難しい。

ちなみに、非特許文献２に記載の復調方法（光学的な復調）は、変調に関する光路と復調に関する光路とを平行にし、変調と復調とに共通の回折格子の異なる部分を用いることで配置精度の問題改善を図っている。この方法では、変調に関わる光学系の瞳と復調に関わる光学系の瞳とを共役にすることができないため、観察視野が極端に狭いという欠点がある。

上記のような問題を解決するための手段として、特許文献３で公知とされた顕微鏡装置がある。その発明による顕微鏡装置では、被観察物から射出した光の中間像を形成する結像光学系と、前記中間像をリレーするリレー光学系と、前記結像光学系の光路を共有し、前記結像光学系の光路を介して前記被観察物を照明する照明光学系と、前記中間像の形成面に配置される空間変調素子とを備え、この空間変調素子による空間変調像で被観察物を構造化照明し、構造化照明により変調された被観察物からの光を空間変調素子において自動的に復調することによって、画像演算によらず超解像を得ることができるようになっている。

特開平１１−２４２１８９号公報 米国再発行特許発明第３８３０７号明細書 国際公開ＷＯ２００７／０４３３１４号公報

W.Lukosz,"Optical systems with resolving powers exceeding the classical limit.II",Journal of the Optical Society of America,Vol.37,PP.932,1967 W.Lukosz and M.Marchand,Opt.Acta.10,241,1963

しかしながら、従来の顕微鏡装置において目的の超解像画像を得るためには、回折格子を格子の繰り返し周期の繰り返し方向に沿って動かすことで空間変調像の空間変調像位相を変化させ、回折格子が整数周期動いた時間だけ画像積分を行う必要があった。従来の手法では、回折格子の整数周期分だけ画像積分を行わないと、撮像素子で取得した画像上の照明光量が均一とならず、画像上に縞が残ってしまう。そのため、露光時間制御には極めて高い精度が必要であるという問題があった。

本発明は、このような問題に鑑みてなされたものであり、高速に超解像画像の情報を生成することができる顕微鏡装置及び観察方法を提供することを目的とする。

このような目的を達成するため、本発明は、光源から射出された光の空間周波数を変調する空間変調素子を有し、前記空間変調素子によって形成される空間変調像を標本に照明する照明光学系と、前記照明光学系により照明された前記標本からの光を前記空間変調素子上に中間像として結像させる結像光学系と、前記中間像をリレーするリレー光学系と、前記リレー光学系によりリレーされた前記中間像を撮像する撮像装置と、前記標本を照明する前記空間変調像の空間変調像位相を変化させる位相変化手段とを有する顕微鏡装置である。そして、前記空間変調素子は、前記結像光学系に関して前記標本と共役な位置において前記結像光学系の光軸に沿って近接して配置された第１回折格子および第２回折格子から構成され、前記第２回折格子は、前記結像光学系の光軸に対して平行な回転軸を中心に回転可能に構成され、前記照明光学系の開口数をＮＡ、前記光源から射出された光の波長をλ、前記第１回折格子が有する第１回折格子パターンにより形成された空間変調像の空間周波数をＦ１、前記第２回折格子が有する第２回折格子パターンにより形成された空間変調像の空間周波数をＦ２、空間周波数Ｆの絶対値の最小値および最大値を夫々ｍｉｎ(Ｆ)およびｍａｘ(Ｆ)としたとき、空間周波数Ｆ１および空間周波数Ｆ２が以下の条件式（１）〜（３）を満足するように前記第１回折格子パターンおよび前記第２回折格子パターンが構成され、前記位相変化手段は、前記回転軸を中心に前記第２回折格子を回転させることにより、前記第１回折格子および前記第２回折格子により形成される前記空間変調像の空間変調像位相を変化させることを特徴とする。
ｍｉｎ(Ｆ１) ＞ ２ＮＡ／λ …（１）
ｍｉｎ(Ｆ２) ＞ ２ＮＡ／λ …（２）
ｍａｘ(Ｆ１−Ｆ２) ＜ ２ＮＡ／λ …（３）

なお、前記第２回折格子パターンは、前記回転軸に対して回転対称な放射状のパターンによって構成され、前記第２回折格子パターンの回転方向の空間周波数をFθ、前記第２回折格子上の顕微鏡視野に相当する領域において最も外側の半径をｒ _max 、前記照明光学系の開口数をＮＡ、前記光源から射出された光の波長をλ、前記照明光学系により空間変調像を１／Ｍ倍で前記標本に照明したとき、以下の条件式を満足するように前記第２回折格子パターンが設定されることが好ましい。
ｒ _max ／Ｆθ ＜ Ｍ・λ／２ＮＡ

また、前記第１回折格子パターンは、同一の繰り返し周期で、繰り返し方向が互いに異なるパターンを少なくとも３つ有することが好ましい。
また、前記第１回折格子および前記第２回折格子は、前記結像光学系の焦点深度内に互いに近接して設置されていることが好ましい。

また、前記第１回折格子および前記第２回折格子は、前記光源から射出された光の空間周波数を変調するための連続した回折格子パターンを夫々有し、前記中間像を撮像する撮像時間をＴ、前記空間変調像の空間周波数をＦθ、前記撮像装置の階調数をｍとしたとき、前記第２回折格子は、毎秒ｍ／（２π^２ＦθＴ）以上の回転数で回転されることが好ましい。

また、 前記第１回折格子および前記第２回折格子は、前記光源から射出された光の空間周波数を変調するための連続した回折格子パターンを夫々有し、前記中間像を撮像する撮像時間をＴ、前記空間変調像の空間周波数をＦθとしたとき、前記第２回折格子は、毎秒１００／（２π^２ＦθＴ）以上の回転数で回転されることが好ましい。

また、前記回折格子は、位相型の回折格子であることが好ましい。

また、前記回折格子は、濃度型の回折格子であることが好ましい。

また、前記撮像装置により撮像された前記中間像から前記標本の画像を生成する画像処理手段を有することが好ましい。

また、前記リレー光学系によりリレーされた前記中間像を観察するための接眼レンズを有することが好ましい。

また、本発明の観察方法は、光源から射出された光の空間周波数を空間変調素子によって変調し、前記空間変調素子によって形成された空間変調像を照明光学系により標本に照明し、前記照明光学系により照明された前記標本からの光を結像光学系により前記空間変調素子上に中間像を結像し、リレー光学系により前記中間像をリレーし、前記リレー光学系によりリレーされた前記中間像を撮像装置により撮像し、前記標本を照明する前記空間変調像の空間変調像位相を位相変化手段により変化させる。そして、前記空間変調素子は、前記結像光学系に関して前記標本と共役な位置において前記結像光学系の光軸に沿って近接して配置された第１回折格子および第２回折格子から構成され、前記第２回折格子は、前記結像光学系の光軸に対して平行な回転軸を中心に回転可能に構成され、前記照明光学系の開口数をＮＡ、前記光源から射出された光の波長をλ、前記第１回折格子が有する第１回折格子パターンにより形成された空間変調像の空間周波数をＦ１、前記第２回折格子が有する第２回折格子パターンにより形成された空間変調像の空間周波数をＦ２、空間周波数Ｆの絶対値の最小値および最大値を夫々ｍｉｎ(Ｆ)およびｍａｘ(Ｆ)としたとき、空間周波数Ｆ１および空間周波数Ｆ２が以下の条件式（１）〜（３）を満足するように前記第１回折格子パターンおよび前記第２回折格子パターンが構成され、前記位相変化手段は、前記第１回折格子および前記第２回折格子により形成される前記空間変調像の空間変調像位相を、前記回転軸を中心に前記第２回折格子を回転させることにより変化させることを特徴とする。
ｍｉｎ(Ｆ１) ＞ ２ＮＡ／λ …（１）
ｍｉｎ(Ｆ２) ＞ ２ＮＡ／λ …（２）
ｍａｘ(Ｆ１−Ｆ２) ＜ ２ＮＡ／λ …（３）

本発明によれば、高速に超解像画像の情報を生成することができる顕微鏡装置及び観察方法を提供することができる。

第１実施形態に係る顕微鏡装置の概略構成図である。 固定回折格子の空間変調パターン例を示す図である。 回転回折格子の空間変調パターン例を示す図である。 固定回折格子と回転回折格子とにより生成されるモアレパターン例を示す図である。 固定回折格子と回転回折格子との位置関係を説明する図である。 放射状の空間変調パターン例を示す図である。 第２実施形態に係る顕微鏡装置の概略構成図である。 第２実施形態に係る顕微鏡装置に使用するリング状回折格子の変形例を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。本発明に係る顕微鏡装置の第１実施形態を図１に示す。第１実施形態に係る顕微鏡装置Ｍ１には、光源１と、コレクタレンズ２と、レンズ３と、励起フィルタ４と、ダイクロイックミラー５と、レンズ７と、固定回折格子８１と、回転回折格子８２と、第２対物レンズ９と、対物レンズ１０と、蛍光色素で標識された標本（生体標本など）１１と、バリアフィルタ６と、レンズ１２と、撮像素子（ＣＣＤカメラなど）２５と、制御・演算装置（回路やコンピュータなど）４２と、画像表示装置４３と、第１のモータ２６と、第２のモータ２７とが配置される。

このうち、光源１と、コレクタレンズ２と、レンズ３と、励起フィルタ４と、ダイクロイックミラー５と、レンズ７と、固定回折格子８１と、回転回折格子８２と、第２対物レンズ９と、対物レンズ１０とが照明光学系ＬＳ１を構成しており、対物レンズ１０と、第２対物レンズ９と、固定回折格子８１と、回転回折格子８２と、レンズ７と、ダイクロイックミラー５と、バリアフィルタ６と、レンズ１２とが観察光学系ＬＳ２を構成している。また、対物レンズ１０と第２対物レンズ９とが結像光学系ＬＳ２１を構成し、レンズ７とレンズ１２とがリレー光学系ＬＳ２２を構成している。照明光学系ＬＳ１と観察光学系ＬＳ２とは、対物レンズ１０からダイクロイックミラー５までの光路を共有している。

固定回折格子８１は、結像光学系ＬＳ２１の光軸に対して垂直に設置される。固定回折格子８１の表面には空間変調パターンが形成されており、第１のモータ２６によって結像光学系ＬＳ２１の光軸の周りに回転軸８１ａを中心として回転可能に構成されている。空間変調パターンについて、詳細は後述する。また、回転回折格子８２は、第２のモータ２７によって結像光学系ＬＳ２１の光軸に平行な回転軸８２ａを中心として回転可能に構成されている。これらモータ２６及び２７は、いずも制御・演算装置４２によりその駆動が制御されている。また、光路中に挿入する空間変調パターンが選択・交換できるように、固定回折格子８１及び回転回折格子８２は挿脱可能に構成されている。

固定回折格子８１及び回転回折格子８２は、結像光学系ＬＳ２１の光軸に沿って前後に近接して設置されている。この構成によれば、固定回折格子８１及び回転回折格子８２により生成されるモアレ像２３のコントラストを上げることができるとともに、良好に復調作業を行うことができる。なお、固定回折格子８１及び回転回折格子８２は、結像光学系ＬＳ２１の焦点深度内に近接して設置されていることが好ましい。

照明光学系ＬＳ１の光源１からの光は、コレクタレンズ２において平行光に変換され、レンズ３により瞳共役面に光源像３１を形成する。光源像３１からの光は、励起フィルタ４によって波長選択された後、ダイクロイックミラー５によって偏向され、照明光学系ＬＳ１と観察光学系ＬＳ２との共通光路へ入り、レンズ７により標本１１の共役面２２上に集光する。共役面２２から射出した光は、共役面２２に配置された固定回折格子８１と回
転回折格子８２とを介して第２対物レンズ９へ入射し、平行光に変換された後、対物レンズ１０を介して標本１１上に固定回折格子８１と回転回折格子のモアレ像２３を形成する。標本１１は、空間変調された照明光であるモアレ像２３によって照明（構造化照明）される。このとき、対物レンズ１０の後側焦点面には光源像３２が形成される。

なお、固定回折格子８１と回転回折格子８２は、位相型又は濃度型の回折格子であることが好ましい。位相型の回折格子は、濃度型の回折格子に比べて光の利用効率が高く、０次光及び±１次光で９０％以上の光を利用することができる。濃度型の回折格子は、位相型の回折格子に比べて製造が容易であり、波長依存性が良いため、光源１の波長に依存せず使用することができる。光源１としては、白色光源とこの白色光源から放射されたブロードな光から一部の波長の光を取り出すフィルタとから構成されたものを用いても、もしくは、単一波長の光源を用いても、レーザ光源からの光を光ファイバで導き、その端面に形成される二次光源を用いてもよい。

また、標本１１にモアレ像２３の輝度分布の他に、固定回折格子８１のみによる輝度分布や回転回折格子８２のみによる輝度分布が発生しないように構成していることが好ましい。すなわち、標本１１に照明される固定回折格子８１により形成された第１の空間変調パターンが持つ空間周波数と回転回折格子８２により形成された第２の空間変調パターンが持つ空間周波数の夫々が、照明光学系ＬＳ１の解像限界空間周波数に比べて高くなるように設定すればよい。

そのため、照明光学系ＬＳ１の開口数をＮＡ、照明光の波長をλ、標本１１に照明される固定回折格子８１の回折格子パターンにより形成された第１の空間変調像が持つ空間周波数をＦ１、回転回折格子８２の回折格子パターンにより形成された第２の空間変調像が持つ空間周波数をＦ２、空間周波数Ｆの絶対値の最小値と最大値を夫々ｍｉｎ（Ｆ）とｍａｘ（Ｆ）としたとき、空間周波数Ｆ１と空間周波数Ｆ２が次式（１）〜（３）を満足するように設計する。

ｍｉｎ（Ｆ１）＞２ＮＡ／λ …（１）
ｍｉｎ（Ｆ２）＞２ＮＡ／λ …（２）
ｍａｘ（Ｆ１−Ｆ２）＜２ＮＡ／λ …（３）

上述したように、これらの条件式（１）〜（３）の下においては、第１の空間変調像と第２の空間変調像がそのまま標本１１に照明されることはない。従って、固定回折格子８１と回転回折格子８２とにより生成されたモアレ像２３のみが標本１１に照明され、単一周期の構造化照明を施すことができる。

回転回折格子８２は、例えば図２に示すような空間変調パターンを持った回折格子である。回転回折格子８２の空間変調パターンは、回転軸を中心に放射状に細かく伸びたパターンとなっており、回転方向に沿って空間変調像位相が変化する。空間変調像位相とは、標本１１に照明される空間変調像の位相のことである。従って、回転回折格子８においては、回転軸を中心として回転させてもその空間変調パターンの空間変調像位相が変化するだけで、空間変調パターンの構造は変化しない。但し、回転回折格子８２のパターンは、回転軸を含む任意の位置を始点とした放射状のパターンであればよく、図６のような回転軸に対して回転対称な放射状のパターンであっても良い。即ち、放射状のパターンとは、単一の始点を持つ複数の線によってパターンの周期が決定され、単一または複数の始点から描かれた線に沿って特性の異なる領域が交互に配置されているパターンであり、回転軸を中心にパターンを回転させた時に、パターンが持つ空間周波数がほぼ一定となる。

また、固定回折格子８１は、例えば図３に示すような空間変調パターンを持った回折格
子である。固定回折格子８１の空間変調パターンは、固定回折格子８１と回転回折格子８２とで生成されるモアレ像２３が特定の一方向に周期を持った像（例えば、図４参照）となるように作成された空間変調パターンとなっている。

ここで固定回折格子８１の空間変調パターンの設計方法として一例を挙げる。固定回折格子８１の空間変調パターンが持つ波数ベクトルをＫ₁（ｘ，ｙ）、回転回折格子８２の
空間変調パターンが持つ波数ベクトルをＫ₂（ｘ，ｙ）、構造化照明に必要なモアレ像が
持つ波数ベクトルをＫ_m（ｘ，ｙ）としたとき、波数ベクトルＫ_m（ｘ，ｙ）は次式（４）又は（５）で表せる。

K_m(x,y)＝K₁(x,y)−K₂(x,y) …（４）
K_m(x,y)＝K₂(x,y)−K₁(x,y) …（５）

従って、固定回折格子８１の空間変調パターンが持つ波数ベクトルＫ₁（ｘ，ｙ）は、
次式（６）と表せる。

K₁(x,y)＝K₂(x,y)±K_m(x,y) …（６）

但し、回転回折格子８２の空間変調パターンは、回転によって波数ベクトルＫ₂（ｘ，
ｙ）ではなく空間変調像位相のみが変化するものとなっていなければならないので、放射状の空間変調パターンとなる。回転中心を原点とする極座標表示（ｒ，θ）でその空間変調パターンを表すと、ｒには依存せず、θのみの関数となる。回転方向の空間周波数をＦθとすると、回転回折格子８２を通過する光の空間変調像位相φ₁（θ）が、φ₁（θ）＝πcos２π（Ｆθ・θ）となるようにしておく。なお、このとき空間変調パターンが実際
に使用される領域の外周部ｒ_maxにおいて回折格子の周期がｒ_maxωとなる。そのため、周期ｒ_maxωの回折格子によって標本１１形成される空間変調パターンが解像限界以下とな
るようにｒ_maxとＦθの値を設定する。

具体的には、回転回折格子８２上の顕微鏡視野に相当する領域で最も外側の半径をｒ_maxとすると、その周上での回折格子の周期はｒ_max／Ｆ_θとなる。この周期が、開口数ＮＡの対物レンズ１０を含む照明光学系ＬＳ１により空間変調された照明を１／Ｍ倍で標本１１に投影しようとしたときに解像限界以下となっている必要がある。そのため、照明光の波長をλexとすると、r_max／Ｆ_θ＜Ｍ（λex）／（２ＮＡ）となる。

すなわち、開口数ＮＡの対物レンズ１０を通して、標本１１に１／Ｍ倍で、励起波長λexで構造化照明される場合に、回転回折格子８２の視野に相当する領域のうち最も外周となるｒ_maxの位置において、Ｆθ＞２ｒ_max（ＮＡ）／｛Ｍ（λex）｝を満たすような、Ｆθ（１／ラジアン）なる角度周期で回折格子が作成されている回転回折格子８２を用意すればよい。

ところで、上記の（ｒ，θ）＝（ｒcosθ，ｒsinθ）であるから、空間変調像位相φ₁
（θ）はφ₁（θ）＝ａcos（ωtan^-1（ｙ／ｘ））である。上記ではφ₁（θ）が連続的に変化するものとしたが、同一周期で空間変調像位相変化が０とａとなるような２値の変化でもかまわない。また、ａの値は必要な回折ビームの０次光と１次光の強度比を勘案して決めればよい。０次光が不要であればａの値はπである。

このように作成した回転回折格子８２の空間変調パターンが持つ波数ベクトルＫ₂（ｘ
，ｙ）と所望のモアレ像が持つ波数ベクトルＫ_m（ｘ，ｙ）から、固定回折格子８１の空
間変調パターンが持つ波数ベクトルＫ₁（ｘ，ｙ）は上述の式（３）のようにＫ₁（ｘ，ｙ）＝Ｋ₂（ｘ，ｙ）±Ｋ_m（ｘ，ｙ）の関係となるように設計すればよい。そして、上記の
式で決定された波数ベクトルＫ₁（ｘ，ｙ）を使って、次式（７）で表せる空間変調像位
相分布を持った固定回折格子８１を設計製作すればよい。

φ(r)＝πcos(K₁(x,y)・r) …（７）

さて、固定回折格子８１と回転回折格子８２とで生成されるモアレ像２３により構造化照明された光を励起光として、標本１１では蛍光が発生する。このときに対物レンズ１０側から見た標本１１の構造は、構造化照明により変調されている。変調された構造には、モアレ縞が生じている。このモアレ縞は、標本１１が有する微細構造と構造化照明の空間変調像（モアレ像）とがなすモアレ縞であり、標本１１の微細構造が構造化照明の空間変調像が持つ空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像限界を超える高い空間周波数の構造の光までもが、対物レンズ１０によって捉えられることになる。

対物レンズ１０によって捉えられた蛍光は、対物レンズ１０及び第２対物レンズ９からなる結像光学系ＬＳ２１により、共役面２２上に標本１１の変調像を形成する。その変調像は、共役面２２に配置された固定回折格子８１と回転回折格子８２とによって再変調される。このように再変調することで、空間周波数を変化させた標本１１の構造が元の空間周波数に戻され、標本１１の微細構造の情報を含む復調像を得る。

但し、この復調像には不要な回折成分が含まれている。不要な回折成分とは、標本１１から射出された０次回折光に対し回折格子８で生じた±１次回折成分、標本１１から射出された−１次回折光に対する０次回折成分、標本１１から射出された＋１次回折光に対する０次回折成分である。これらの不要な回折成分を復調像から除去するためには、回転回折格子８２を第２のモータ２７により回転させることで、固定回折格子８１と回転回折格子８２とによって生成されるモアレ像２３の空間変調像位相を変化させ、モアレ像２３が持つ繰り返し周期に対して正確に整数倍変化する時間を画像積分時間とすればよい。実際には、回転回折格子８２を第２のモータ２７により高い回転数で回転させることで、観察時間内に極めて多くの周期のモアレ像２３を照明して平均化することでも充分であり、その際には画像積分時間の精密な制御は不要となる。

そのための、回転回折格子８２に必要となる回転数及び撮影中の空間変調像位相変化量について説明する。本実施形態のような光学的に変調及び復調を行う構造化照明顕微鏡では、撮像素子２５上に結像している画像成分として、目的とする超解像の画像の他に、モアレ像２３の空間変調像位相とともに空間変調像位相が変化する成分と、モアレ像２３の空間変調位像の２倍で空間変調像位相が変化する成分とがあり、これらの成分は有限な観察時間によって積分され、ＤＣ成分となればよい。そのため、理想的には露光中のモアレ像２３の空間変調像位相変化量は２πの整数倍となる必要があるが、実際にはさまざまな事情から空間変調像位相変化が２πの整数倍とならない可能性があり、ｎ周期だけ空間変調像位相を変化させようとしたときの空間変調像位相誤差がαである場合、実際の空間変調像位相変化量ΔφはΔφ＝２πｎ＋αであり、復調画像に空間変調像位相誤差αに起因する縞状のコントラストが残る可能性がある。

上記２つの不要な画像成分の強度比は回折格子の回折効率により大きく異なるが、最悪条件として、モアレ像２３の空間変調像位相の変化の２倍で空間変調像位相変化をする画像成分に比べてモアレ像２３の空間変調像位相の変化と等しい空間変調像位相変化をする画像成分が充分大きいと仮定すると、その成分の強度Ｉ_DCは次式（８）で表せる。なお、式（８）において、Ｉ_oは信号の平均強度を、Ｋは構造化照明の波数ベクトルを、ｒは画
像中の位置ベクトルを示す。

式（８）において、Ｉ_DCはＫｒ＋α＝±π／２のときにそれぞれ最大値、最小値をとるので、誤差αによって画像中に残る縞のコントラストは、次式（９）で表せる。

計算機のモニターなど通常の画像表示装置は８ビットの階調を持っているため、最もコントラストが高くなる場合でも上記のコントラストが８ビットの階調において無視できる量０．５／２⁸＝１／５１２となっている必要がある。さらに、２πｎに比べてαが充分
小さいと近似すると、次式（１０）と表せる。

従って、構造化照明について８２周期以上の積分を行えば、空間変調像位相誤差αがどれほどあっても、復調画像に残る縞パターンは無視できることになる。

一般に、２枚の回折格子の間に発生するモアレ像２３の空間変調像位相は、片方の回折格子を固定していれば、もう一方の回折格子の空間変調像位相変化に等しい。従って、本実施形態における２枚の回折格子８１及び８２のモアレ像２３による構造化照明の空間変調像位相変化は、回転回折格子８２のパターンの空間変調像位相変化と等しくなる。

上記のように観察時間Ｔ秒に対して８２周期以上の積分を行う必要があることから、回転回折格子８２の回転方向の空間周波数をＦθとすると、観察時間Ｔ秒中に８２／Ｆθラジアンの回転が必要となる。従って、回転回折格子８２の回転速度として、毎秒８２／（２πＦθＴ）以上が必要である。

ここで、撮像素子２５の階調数をｍとおくと、ｍ＝２⁸なので式（１０）はｎ＞ｍ／π
となる。また、回転回折格子８２の回転速度として、毎秒ｍ／（２π²ＦθＴ）以上が必
要であると表すことができる。

また、回転回折格子８２上の顕微鏡視野に相当する領域で最も外側の半径をｒ_maxとす
ると、その半径上のある点における回折格子の周期はr_max／Ｆθである。この周期は、開口数ＮＡの対物レンズ１０を含む照明光学系ＬＳ１により空間変調された照明を１／Ｍ倍で標本１１上に投影しようとしたときに解像限界以下となっている必要があるため、照明光の波長をλexとすると、r_max／Ｆθ＜Ｍ（λex）／（２ＮＡ）となる。

つまり、本実施形態においては、Ｆθ＞２ｒ_max（ＮＡ）／｛Ｍ（λex）｝なる格子パ
ターンを持った回転回折格子８２を、毎秒ｍ／（２π²ＦθＴ）回転で、第２のモータ２
７により回転させればよい。なお、回転速度は理想的には撮像素子２５の階調数に応じて決まるが、顕微鏡に搭載した撮像素子２５にかかわらず、階調数ｍ＝１００と仮定した回転速度以上で回転させれば、本発明の効果を得ることができる。

次に、制御・演算装置４２が行う、固定回折格子８１を回転させる第１のモータ２６と、回転回折格子８２を回転させる第２のモータ２７の制御について説明する。上記のように、本顕微鏡装置では、固定回折格子８１と回転回折格子８２とで、構造化照明に必要なモアレ像２３を生成する。回転回折格子８２は任意の軸に対して放射状なパターンを備えているため、必要な構造化照明の方向を変えるためには固定回折格子８１のパターンを変える必要がある。以下、構造化照明の方向として、例えば３方向を必要とする場合について説明する。

ここで、構造化照明の方向として３方向としたのは、２方向のみの場合はそれらの中間方向に超解像効果があまり得られないが、３方向ではそれら３方向の間の方向でも超解像効果の最大となる方向と比べて遜色のない程度までの超解像効果が得られるからである。なお、４方向以上とすると撮像枚数の増加の割には照明方向の間における超解像の低下を抑える効果が少なくなる。

固定回折格子８１と回転回折格子８２は、図５に示すような位置関係、すなわちそれぞれの回転軸８１ａと回転軸８２ａを平行に離しつつ、互いの領域を一部重複させた状態で設置されており、重なった領域のほぼ中央が顕微鏡視野と共役になっている。固定回折格子８１は、その回転軸８１ａの周りに回転対称な３つの領域に上述の設計方法に従って設計製作した空間変調パターン（パターン１、パターン２、パターン３）を持つ。回転軸８１ａに接続された第１のモータ２６により１２０度毎に回転し、必要なパターンを顕微鏡視野に相当する場所に移動できるようになっている。また、回転回折格子８２は、回転軸８１ｂを中心に放射状に細かく伸びたパターンを持ち、回転軸８２ａに接続された第２のモータ２７により回転する。

超解像画像の撮影の際には、まず固定回折格子８１を第１のモータ２６により回転させ、パターン１を顕微鏡視野と略共役となる位置に移動させる。そして、所望の観察時間だけ、撮像素子２５の図示していないシャッターを開き露光を行う。このとき同期させたレーザーシャッターを制御し、露光期間だけ励起光を標本１１に照射することで余計な光退色を抑えることが望ましい。次に、固定回折格子８１を第１のモータ２６により１２０度回転させ、パターン２が顕微鏡視野と略共役となる位置に移動させる。そして、パターン１における観察時間と同じ時間、撮像素子２５のシャッターを開き露光を行う。このとき、同期させたレーザーシャッターを制御し、露光期間だけ励起光を標本１１に照射することで余計な光退色を抑えることが、パターン１と同様に望ましい。最後に、固定回折格子８１を第１のモータ２６により２４０度回転させ、パターン３が顕微鏡視野と略共役となる位置に移動させ、上記のパターン１，２と同様に露光する。

固定回折格子８１及び回転回折格子８２で再変調された復調像は、レンズ７を介してダイクロイックミラー５を透過した後、観察光学系ＬＳ２の単独光路へ入り、バリアフィルタ６を透過し、レンズ１２を介して復調像の拡大像２４を形成する。拡大像２４は、撮像素子２５によって撮像され、復調像の画像データが生成される。

この画像データは、標本１１を構造化照明によって超解像観察するための情報を含む。画像データは、制御・演算装置４２によって取り込まれ、そのまま画像表示装置４３へ送出されてもよいし、所定の演算が施されてから、画像表示装置４３へと送出されてもよい。例えば所定の演算は、固定回折格子８１の空間変調パターンが異なる複数の画像データを一枚の画像に合成する処理や、画像の調整などである。

また、回転回折格子８２を、眼視観察において復調像の空間変調像位相誤差を無視できる程度高速に回転した状態であれば、復調像を直接接眼レンズで観察することも可能である。さらに、回転回折格子８２を空間変調像位相誤差が無視できる程度高速に回転させ、固定回折格子８１を復調像の方向依存性が無視できる程度の速度で断続的に回転させることで、繰り返し周期の繰り返し方向が異なる復調像を１枚の画像に重ね合わせた像を観察やできるようになる。なお、眼視観察において変化が認識不能な時間は、人の場合（通常時）おおよそ１／６０秒といわれている。

以上、第１実施形態に係る本顕微鏡装置Ｍ１は、標本１１の共役面２２から標本１１までの光路を照明光学系ＬＳ１と観察光学系ＬＳ２とで完全に共通光路にするとともに、その共役面２２に固定回折格子８１と回転回折格子８２とを配置している。本顕微鏡装置ではこれら固定回折格子８１と回転回折格子８２とにより、標本１１の微細構造の変調を図る。そして、変調された標本１１の微細構造は、この位置に配置された固定回折格子８１と回転回折格子８２とにより、自動的に復調される。

また、固定回折格子８１は、第１のモータ２６によって光軸の周りを回転可能に構成されており、固定回折格子８１の別のパターンを光路中に挿入することができる。この操作により、モアレ像２３による構造化照明の方向が変化する。制御・演算装置４２が第１のモータ２６及び撮像素子２５を制御し、超解像観察をするための情報を得ることができる。これにより、標本１１の二次元の超解像観察が可能となる。

続いて、本発明に係る顕微鏡装置の第２実施形態について、図７を用いて説明する。第２実施形態に係る顕微鏡装置Ｍ２は、第１実施形態に係る顕微鏡装置Ｍ１と比較して、固定回折格子８１と回転回折格子８２とがリング状回折格子８３に置き換えられた状態となっており、他の構成はほぼ同様の構成であるため、同一の部材には同じ符号を付して詳細な説明を省略する。

第２実施形態に係る顕微鏡装置Ｍ２には、光源１と、コレクタレンズ２と、レンズ３と、励起フィルタ４と、ミラー５と、ダイクロイックミラー１５と、レンズ７と、リング状回折格子８３と、第２対物レンズ９と、対物レンズ１０と、標本１１と、バリアフィルタ６と、レンズ１２と、撮像素子２５と、制御・演算装置４２と、画像表示装置４３と、リング状回折格子８３を回転させるための回転機構２８とが配置される。

このうち、光源１と、コレクタレンズ２と、レンズ３と、励起フィルタ４と、ミラー５と、レンズ７と、リング状回折格子８３と、第２対物レンズ９と、対物レンズ１０とが照明光学系ＬＳ１を構成しており、対物レンズ１０と、第２対物レンズ９と、リング状回折格子８３と、レンズ７と、ミラー５と、ダイクロイックミラー１５と、バリアフィルタ６と、レンズ１２とが観察光学系ＬＳ２を構成している。また、対物レンズ１０及び第２対物レンズ９が結像光学系ＬＳ２１を構成しており、レンズ７及びレンズ１２がリレー光学系ＬＳ２２を構成している。

照明光学系ＬＳ１からの光源１からの光はコレクタレンズ２で平行光に変換され、レンズ３で瞳共役面３１に光源像を形成する。光源像からの光はダイクロイックミラー１５を透過し励起フィルタ４で波長選択され、ミラー５によって偏向される。偏向された光はレンズ７によって標本１１の共役面２２上に集光する。共役面２２に集光された光は、リング状回折格子８３の回転により共役面２２に位置したリング状回折格子８３の一部によって空間変調される。空間変調された光は第２対物レンズ９で平行光に変換され、対物レンズ１０によって標本１１上に結像される。これによって標本１１上は、構造化照明される。

空間変調された励起光による標本１１からの蛍光は、対物レンズ１０及び第２対物レンズ９からなる結像光学系ＬＳ２１を通り、標本１１から射出した蛍光の中間像の形成面すなわち共役面２２に位置したリング状回折格子８３で再変調される。再変調された蛍光は、レンズ７を通りミラー５で偏向され、ダイクロイックミラー１５で反射してバリアフィルタ６を透過し、レンズ１２によって撮像素子２５上に復調像を形成する。撮像素子２５で撮像された情報は、制御・演算装置４２によって取り込まれ、そのまま画像表示装置４３へと送出されてもよいし、所定の演算が施されてから、画像表示装置４３へと送出されてもよい。なお、リング状回折格子８３を眼視観察において変化が認識不能な時間内に、空間変調像位相誤差と取得する画像の方向依存性が無視できる程度高速に回転させるのであれば、撮像素子２５を接眼レンズに置き換えて直接観察することができる。

本顕微鏡装置で使用するリング状回折格子８３は、回折格子のピッチが同一で、回折格子の繰り返し方向のみが異なる、複数種類の空間変調パターンを有している。図７では、３種類の空間変調パターン８３ａ〜８３ｃを有するリング状回折格子８３が例示されている。

なお、リング状回折格子８３は、回折格子の繰り返し方向のみが異なる３種類以上の空間変調パターンを保持していることが好ましい。それは、第１実施形態の説明で記載したように、空間変調素子として回折格子を用いる場合、１種類の回折格子の繰り返し方向、すなわち１種類の位置情報を持つ回折格子だけでは標本１１からの情報を全て得ることができないためである。

また、空間変調された照明光による回折像が標本１１に照明されるために、空間変調パターンによって標本１１に照明される空間変調像が、照明光学系ＬＳ１の解像限界以下の空間周波数を持つことが好ましい。そのため、照明光学系ＬＳ１の開口数をＮＡ、照明光の波長をλ、標本１１に照明されるリング状回折格子８３の回折格子パターンにより形成された空間変調像が持つ空間周波数をＦ、空間周波数Ｆの絶対値の最大値をｍａｘ（Ｆ）としたとき、空間周波数Ｆが次式（１１）を満足するように設計する。

ｍａｘ（Ｆ）＜２ＮＡ／λ …（１１）

また、定数をｂとして、Ｆ＝ｂ*（２＊ＮＡ／λ）で表す場合、０．５＜ｂ＜０．９８
であることが好ましい。

リング状回折格子８３が回転することで、標本１１に投影される空間変調像が持つ繰り返し周期の繰り返し方向が変わらない限り、空間変調像の空間変調像位相のみが連続的に変化する。

また、復調像に含まれる不要な回折成分を除去するために、観察時間内に極めて多くの周期の空間変調像を照明して平均化し、画像積分時間の精密な制御が不要となる、空間変調像の空間変調像位相変化速度を考える。そのために必要な空間変調パターンの繰返し周期数ｎは、第１実施形態での導出方法と同様であり、ここでの説明は省略する。繰り返し周期の単位幅をｐ、回折格子パターンの全長ＬをＬ＝ｐｍ／π、観察時間をＴとしたとき、各空間変調パターンにつき繰返し周期数がｎ以上かつ毎秒Ｌ／Ｔ以上の速度で、空間変調パターンの空間変調像位相を変化させることが好ましい。そのために、リング状回折格子８３は、ｎ周期以上連続した空間変調パターンを備えている。

従って、第２実施形態においても、構造化照明について８２周期以上の積分を行えば、空間変調像位相誤差αがどれほどあっても、復調画像に残る縞パターンは無視できるよう
になっている。

このようなリング状回折格子８３は、結像光学系ＬＳ２１の光軸と直交する方向に不図示の回転軸を有し、回転軸に連結された回転機構２８によって回転される。また、共役面２２に位置するリング状回折格子８３の一部と標本１１とは、互いに略平行をなすように配置される。また、共役面２２で光を空間変調する部分以外のリング状回折格子８３と回転機構２８とは、各光学系と干渉しない位置に設置される。

以上、第２実施形態に係る顕微鏡装置Ｍ２は、標本１１の共役面２２から標本１１までの光路を照明光学系ＬＳ１と観察光学系ＬＳ２とで完全に共通光路にするとともに、その共役面２２にリング状固定回折格子８３を配置している。本顕微鏡装置ではこのリング状回折格子８３により、標本１１の構造化照明を行う。そして、標本１１の微細構造が空間変調され、リング状回折格子８３により自動的に復調される。

リング状回折格子８３は、結像光学系ＬＳ２１の光軸と直交する方向に回転軸を有し、回転機構２８によって回転可能である。この回転により、空間変調像の空間変調像位相や繰返し周期の繰り返し方向が変化する。

制御・演算装置４２は、回転機構２８及び撮像素子２５を制御し、超解像観察をするための情報を得ることができる。これにより、標本１１の二次元の超解像観察が可能となる。

なお、リング状回折格子は、上記のように円柱状である必要はない。例えば、図８に示すリング状回折格子８４のように、円錐の一部を切り出したような形状で、その回転軸１３が結像光学系ＬＳ２１の光軸１４と所定の角度θをなすように配置される構成であってもよい。その場合、所定の角度θは、共役面２２に位置する回折格子の一部が標本１１と略平行になるように決定される。

以上のように、本発明を分かりやすくするため実施形態の構成要件を付して説明したが、本発明がこれに限定されるものではないことは言うまでもない。

１ 光源 ２ コレクタレンズ
３ レンズ ４ 励起フィルタ
５ ダイクロイックミラー ６ バリアフィルタ
７ レンズ
８１ 固定回折格子（第１の素子） ８２ 回転回折格子（第２の素子）
８３ リング状回折格子
９ 第２対物レンズ １０ 対物レンズ
１１ 標本 １２ レンズ
２５ 撮像素子 ２６ 第１のモータ
２７ 第２のモータ （位相変化手段） ２８ 回転機構
４２ 制御・演算装置（画像処理手段） ４３ 画像表示装置
ＬＳ１ 照明光学系 ＬＳ２ 観察光学系
ＬＳ２１ 結像光学系 ＬＳ２２ リレー光学系
Ｍ１ 顕微鏡装置（第１実施形態）
Ｍ２ 顕微鏡装置（第２実施形態）

Claims (18)

1. 光源から射出された光の空間周波数を変調する空間変調素子を有し、前記空間変調素子によって形成される空間変調像を標本に照明する照明光学系と、
   前記照明光学系により照明された前記標本からの光を前記空間変調素子上に中間像として結像させる結像光学系と、
   前記中間像をリレーするリレー光学系と、
   前記リレー光学系によりリレーされた前記中間像を撮像する撮像装置と、
   前記標本を照明する前記空間変調像の空間変調像位相を変化させる位相変化手段とを有する顕微鏡装置であって、
   前記空間変調素子は、前記結像光学系に関して前記標本と共役な位置において前記結像光学系の光軸に沿って近接して配置された第１回折格子および第２回折格子から構成され、
   前記第２回折格子は、前記結像光学系の光軸に対して平行な回転軸を中心に回転可能に構成され、
   前記照明光学系の開口数をＮＡ、前記光源から射出された光の波長をλ、前記第１回折格子が有する第１回折格子パターンにより形成された空間変調像の空間周波数をＦ１、前記第２回折格子が有する第２回折格子パターンにより形成された空間変調像の空間周波数をＦ２、空間周波数Ｆの絶対値の最小値および最大値を夫々ｍｉｎ(Ｆ)およびｍａｘ(Ｆ)としたとき、空間周波数Ｆ１および空間周波数Ｆ２が以下の条件式を満足するように前記第１回折格子パターンおよび前記第２回折格子パターンが構成され、
   ｍｉｎ(Ｆ１) ＞ ２ＮＡ／λ
   ｍｉｎ(Ｆ２) ＞ ２ＮＡ／λ
   ｍａｘ(Ｆ１−Ｆ２) ＜ ２ＮＡ／λ
   前記位相変化手段は、前記回転軸を中心に前記第２回折格子を回転させることにより、前記第１回折格子および前記第２回折格子により形成される前記空間変調像の空間変調像位相を変化させることを特徴とする顕微鏡装置。
2. 前記第２回折格子パターンは、前記回転軸に対して回転対称な放射状のパターンによって構成され、前記第２回折格子パターンの回転方向の空間周波数をFθ、前記第２回折格子上の顕微鏡視野に相当する領域において最も外側の半径をｒ _max 、前記照明光学系の開口数をＮＡ、前記光源から射出された光の波長をλ、前記照明光学系により空間変調像を１／Ｍ倍で前記標本に照明したとき、以下の条件式を満足するように前記第２回折格子パターンが設定されることを特徴とする請求項１に記載の顕微鏡装置。
   ｒ _max ／Ｆθ ＜ Ｍ・λ／２ＮＡ
3. 前記第１回折格子パターンは、同一の繰り返し周期で、繰り返し方向が互いに異なるパターンを少なくとも３つ有することを特徴とする請求項１または２に記載の顕微鏡装置。
4. 前記第１回折格子および前記第２回折格子は、前記結像光学系の焦点深度内に互いに近接して設置されていることを特徴とする請求項１〜３のいずれか一項に記載の顕微鏡装置。
5. 前記第１回折格子および前記第２回折格子は、前記光源から射出された光の空間周波数を変調するための連続した回折格子パターンを夫々有し、
   前記中間像を撮像する撮像時間をＴ、前記空間変調像の空間周波数をＦθ、前記撮像装置の階調数をｍとしたとき、前記第２回折格子は、毎秒ｍ／（２π^２ＦθＴ）以上の回転数で回転されることを特徴とする請求項１〜４のいずれか一項に記載の顕微鏡装置。
6. 前記第１回折格子および前記第２回折格子は、前記光源から射出された光の空間周波数を変調するための連続した回折格子パターンを夫々有し、
   前記中間像を撮像する撮像時間をＴ、前記空間変調像の空間周波数をＦθとしたとき、前記第２回折格子は、毎秒１００／（２π^２ＦθＴ）以上の回転数で回転されることを特徴とする請求項１〜４のいずれか一項に記載の顕微鏡装置。
7. 前記回折格子は、位相型の回折格子であることを特徴とする請求項１〜６のいずれか一項に記載の顕微鏡装置。
8. 前記回折格子は、濃度型の回折格子であることを特徴とする請求項１〜６のいずれか一項に記載の顕微鏡装置。
9. 前記撮像装置により撮像された前記中間像から前記標本の画像を生成する画像処理手段を有することを特徴とする請求項１〜８のいずれか一項に記載の顕微鏡装置。
10. 前記リレー光学系によりリレーされた前記中間像を観察するための接眼レンズを有することを特徴とする請求項１〜９のいずれか一項に記載の顕微鏡装置。
11. 光源から射出された光の空間周波数を空間変調素子によって変調し、前記空間変調素子によって形成された空間変調像を照明光学系により標本に照明し、
    前記照明光学系により照明された前記標本からの光を結像光学系により前記空間変調素子上に中間像を結像し、
    リレー光学系により前記中間像をリレーし、
    前記リレー光学系によりリレーされた前記中間像を撮像装置により撮像し、
    前記標本を照明する前記空間変調像の空間変調像位相を位相変化手段により変化させ、
    前記空間変調素子は、前記結像光学系に関して前記標本と共役な位置において前記結像光学系の光軸に沿って近接して配置された第１回折格子および第２回折格子から構成され、
    前記第２回折格子は、前記結像光学系の光軸に対して平行な回転軸を中心に回転可能に構成され、
    前記照明光学系の開口数をＮＡ、前記光源から射出された光の波長をλ、前記第１回折格子が有する第１回折格子パターンにより形成された空間変調像の空間周波数をＦ１、前記第２回折格子が有する第２回折格子パターンにより形成された空間変調像の空間周波数をＦ２、空間周波数Ｆの絶対値の最小値および最大値を夫々ｍｉｎ(Ｆ)およびｍａｘ(Ｆ)としたとき、空間周波数Ｆ１および空間周波数Ｆ２が以下の条件式を満足するように前記第１回折格子パターンおよび前記第２回折格子パターンが構成され、
    ｍｉｎ(Ｆ１) ＞ ２ＮＡ／λ
    ｍｉｎ(Ｆ２) ＞ ２ＮＡ／λ
    ｍａｘ(Ｆ１−Ｆ２) ＜ ２ＮＡ／λ
    前記位相変化手段は、前記第１回折格子および前記第２回折格子により形成される前記空間変調像の空間変調像位相を、前記回転軸を中心に前記第２回折格子を回転させることにより変化させることを特徴とする観察方法。
12. 前記第２回折格子パターンは、前記回転軸に対して回転対称な放射状のパターンによって構成され、前記第２回折格子パターンの回転方向の空間周波数をFθ、前記第２回折格子上の顕微鏡視野に相当する領域において最も外側の半径をｒ _max 、前記照明光学系の開口数をＮＡ、前記光源から射出された光の波長をλ、前記照明光学系により空間変調像を１／Ｍ倍で前記標本に照明したとき、以下の条件式を満足するように前記第２回折格子パターンが設定されることを特徴とする請求項１１に記載の観察方法。
    ｒ _max ／Ｆθ ＜ Ｍ・λ／２ＮＡ
13. 前記第１回折格子パターンは、同一の繰り返し周期で、繰り返し方向が互いに異なるパターンを少なくとも３つ有することを特徴とする請求項１１または１２に記載の観察方法。
14. 前記第１回折格子および前記第２回折格子は、前記結像光学系の焦点深度内に互いに近接して設置されていることを特徴とする請求項１１〜１３のいずれか一項に記載の観察方法。
15. 前記第１回折格子および前記第２回折格子は、前記光源から射出された光の空間周波数を変調するための連続した回折格子パターンを夫々有し、
    前記中間像を撮像する撮像時間をＴ、前記空間変調像の空間周波数をＦθ、前記撮像装置の階調数をｍとしたとき、前記第２回折格子は、毎秒ｍ／（２π^２ＦθＴ）以上の回転数で回転されることを特徴とする請求項１１〜１４のいずれか一項に記載の観察方法。
16. 前記第１回折格子および前記第２回折格子は、前記光源から射出された光の空間周波数を変調するための連続した回折格子パターンを夫々有し、
    前記中間像を撮像する撮像時間をＴ、前記空間変調像の空間周波数をＦθとしたとき、
    前記第２回折格子は、毎秒１００／（２π^２ＦθＴ）以上の回転数で回転されることを特徴とする請求項１１〜１４のいずれか一項に記載の観察方法。
17. 前記回折格子は、位相型の回折格子であることを特徴とする請求項１１〜１６のいずれか一項に記載の観察方法。
18. 前記回折格子は、濃度型の回折格子であることを特徴とする請求項１１〜１６のいずれか一項に記載の観察方法。