JP5136422B2

JP5136422B2 - 顕微鏡装置及び画像処理方法

Info

Publication number: JP5136422B2
Application number: JP2008549307A
Authority: JP
Inventors: 浩明中山; 日佐雄大澤; 由美子大内
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-12-12
Filing date: 2007-12-10
Publication date: 2013-02-06
Anticipated expiration: 2027-12-10
Also published as: US20090225407A1; JPWO2008072597A1; EP2093601A1; EP2093601A4; WO2008072597A1; US7969652B2; EP2093601B1

Description

本発明は、顕微鏡装置及び画像処理方法に関するものである。

生物標本などの被観察物を超解像観察するための手法に、照明光を空間変調する手法があり、特開平１１−２４２１８９号公報（特許文献１）、米国再発行特許第３８３０７号公報（特許文献２）、W.Lukosz,"Optical systems with resolving powers exceeding the clasical limit.II",Journal of the Optical Society of America,Vol.37,PP.932,1967（非特許文献１）、W.Lukosz and M.Marchand,Opt. Acta. 10,241,1963（非特許文献２）等に記載されている。

これらの手法では、空間変調された照明光で被観察物の構造の空間周波数を変調し、解像限界を超える高い空間周波数の情報を顕微鏡光学系の結像に寄与させる。但し、超解像画像を観察するためには変調された被観察物の像（変調像）を復調する必要がある。復調の方法は大別して２種類あり、光学的な復調（非特許文献１、２参照）と、演算による復調（特許文献１、２参照）とがある。なお、光学的な復調は、回折格子などの空間変調素子を用いて変調像を再変調することによって実現する。
特開平１１−２４２１８９号公報米国再発行特許発明第３８３０７号明細書 W.Lukosz,"Optical systems with resolving powers exceeding the clasical limit.II",Journal of the Optical Society of America,Vol.37,PP.932,1967 W.Lukosz and M.Marchand,Opt. Acta. 10,241,1963

しかし、演算による復調は複雑な演算処理を要するので時間がかかり、被観察物をリアルタイム観察することが難しい。一方、光学的な復調は回折格子などの空間変調素子を用いるので時間はかからないが、その復調精度は空間変調素子の形状精度や配置精度などに依存するので、良好な超解像画像を得ることが難しい。

因みに、非特許文献２に記載の復調方法（光学的な復調）では、変調に関する光路と復調に関する光路とを平行にし、変調と変調とに共通の回折格子の異なる部分を用いることで配置精度の問題改善を図っているが、変調に関わる光学系の瞳と復調に関わる光学系の瞳とを共役にすることができないため、観察視野が極端に狭いという欠点がある。

本発明はこのような事情に鑑みてなされたもので、高速に超解像画像の情報を生成することのできる顕微鏡装置を提供すること、及びそれを使用して超解像画像を得ることができる画像処理方法を提供することを課題とする。

前記課題を解決するための第１の手段は、斜め入射する略平行光束の、０次回折光である照射光を受光して、前記０次回折光と１次回折光とを形成する空間変調素子と、前記０次回折光と前記１次回折光とを試料面上で干渉させて干渉縞を形成し、前記試料面上において前記干渉縞によって変調を受けた光を前記空間変調素子面に結像させる対物光学系と、撮像手段と、前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系とを有することを特徴とする顕微鏡装置である。

前記課題を解決するための第２の手段は、前記第１の手段であって、前記対物光学系と前記リレー光学系を合わせた光学系の光軸は、光源から前記試料面に至る照明光学系の光軸と、少なくとも前記空間変調素子よりも光源側の所定位置から前記試料面まで同一とされており、前記光源からの照明光の中心軸を前記同一の光軸よりずらす光路移動光学系と、前記光路移動光学系を通過した前記照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系
を有することを特徴とするものである。

前記課題を解決するための第３の手段は、前記第２の手段であって、前記照射光学系が、前記リレー光学系の一部であることを特徴とするものである。

前記課題を解決するための第４の手段は、前記第２の手段又は第３の手段であって、前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して２次光源を形成するコリメータレンズと、前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸上を前記試料面方向に進む光とし、前記光路移動光学系に入射させる光路偏向手段とを有し、前記照明光の主光線は、前記コレクタレンズの中心、前記コリメータレンズの中心、前記リレー光学系の光軸を通って、前記光路移動光学系に入射するようにされていることを特徴とするものである。

ここで、光路偏向部材には、所定の比率で光を透過、及び反射させるミラー又はプリズムや、ダイクロイックミラー、ダイクロイックプリズムが含まれる。又、主光線とは、光源の中心から射出する最も強度の強い光線を示す。

前記課題を解決するための第５の手段は、前記第２の手段又は第３の手段であって、前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して２次光源を形成するコリメータレンズと、前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸と平行に前記試料面方向に進む光とし、前記照射光学系に入射させる光路偏向部材とを有し、前記光源からの照明光は、前記光路移動光学系を透過した後、前記コレクタレンズに入射し、前記光路偏向部材により反射された後、前記照射光学系に入射するようにされていることを特徴とするものである。

前記課題を解決するための第６の手段は、前記第２の手段から第５の手段のいずれかであって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系も光軸を中心として回転可能とされ、前記空間変調素子の回転量と前記光路移動光学系を回転させたときにそれに伴って回転する主光線の回転量とを同一にすることが可能とされていることを特徴とするものである。

前記課題を解決するための第７の手段は、前記第２の手段から第５の手段のいずれかであって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系に、光路を移動させる光学素子が複数設けられ、複数の当該光学素子は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされていることを特徴とするものである。

前記課題を解決するための第８の手段は、前記第１の手段であって、前記対物光学系と前記リレー光学系を合わせた光学系の光軸は、光源から前記試料面に至る照明光学系の光軸と、少なくとも前記空間変調素子よりも光源側の所定位置から前記試料面まで同一とされており、前記照明光学系の光軸から離れた位置に設けられた光源と、前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して２次光源を形成するコリメータレンズと、前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸に平行に前記試料面方向に進む光とする光路偏向部材と、前記光路偏向部材で反射された照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系とを有することを特徴とするものである。

前記課題を解決するための第９の手段は、前記第８の手段であって、前記照射光学系が、前記リレー光学系の１部であることを特徴とするものである。

前記課題を解決するための第１０の手段は、前記第８の手段又は第９の手段であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源も前記照明光学系の光軸を中心として回転可能とされ、両者の回転量を同一にすることが可能とされていることを特徴とするものである。

前記課題を解決するための第１１の手段は、前記第８の手段又は第９の手段であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源が複数設けられ、複数の当該光源は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされていることを特徴とする。

前記課題を解決するための第１２の手段は、前記第１の手段から第１１の手段のいずれかであって、前記空間変調素子と前記対物光学系によって前記試料面上に形成される干渉縞の位相を変化させることが可能とされており、前記撮像手段の撮像時間は、前記位相が整数周期変化する時間とほぼ等しくされていることを特徴とするものである。

前記課題を解決するための第１３の手段は、前記第６の手段、第７の手段、第１０の手段、第１１の手段のいずれかである顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行い、得られた複数枚の画像データをフーリエ変換して、フーリエ変換データ画像を取得し、これらのフーリエ変換画像データに対して２次元平面上で、ＭＴＦを考慮したデコンボリューション処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法である。

本発明によれば、高速に超解像画像の情報を生成することのできる顕微鏡装置を提供すること、及びそれを使用して精度の良い映像を得ることができる画像処理方法を提供することができる。

本発明の第１の実施の形態である顕微鏡装置の光学系の概要を示す図である。回折格子を光軸周りに回転させるときの様子を示す図である。本発明の第２の実施の形態である顕微鏡装置の光学系の概要を示す図である。本発明の第３の実施の形態である顕微鏡装置の光学系の概要を示す図である。本発明の第４の実施の形態である顕微鏡装置の光学系の概要を示す図である。本発明の第５の実施の形態である顕微鏡装置の光学系のうち、光源から回折格子までの光学系を示す概念図である。本発明の第６の実施の形態である顕微鏡装置の光学系のうち、光源から回折格子までの光学系を示す概念図である。制御・演算装置の制御に関する動作フローチャートである。制御・演算装置の演算に関する動作フローチャートである。復調像の画像データを示す図である。３方向の復調された画像データを合成する状態を示す図である。

符号の説明

１…光源、２…コレクタレンズ、３…コリメータレンズ、４…励起フィルタ、５…ダイクロイックミラー、６…蛍光フィルタ、７…平行平板ガラス、８…レンズ、９…回折格子、１０…第２対物レンズ、１１…第１対物レンズ、１２…標本（蛍光試料）、１３…レンズ、１４…イメージローテータ、２２…標本共役面、２３…像、２４…拡大像、２５…撮像装置、３１…光源像（瞳共役面）、３２…第１対物レンズの瞳面、４０…アクチュエータ、４１…回転ステージ、４２…制御・演算装置、４３…画像表示装置、５１…回転ステージ、５２…電動ステージ、５３…回転ステージ、１０１…光源、１０２…ミラー、１０３…ミラー、１０４…ミラー、１０５…光ファイバ、１０５ａ…射出端、１０６…光ファイバ、１０６ａ…射出端、１０７…光ファイバ、１０７ａ…射出端、１１２…部分透過ミラー、１１３…部分透過ミラー、１２１…回転拡散板、１２２…軸、１２３…カップリングレンズ、Ｓ１〜Ｓ３…シャッタ、ＬＳ１…照明光学系、ＬＳ２…観察光学系、ＬＳ２１…対物光学系、ＬＳ２２…リレー光学系、Ｄ０…０次回折光、Ｄ１…１次回折光

以下、本発明の実施の形態の例を、図を用いて説明する。図１は、本発明の第１の実施の形態である顕微鏡装置の光学系の概要を示す図である。この顕微鏡装置は、光源１、コレクタレンズ２、コリメータレンズ３、励起フィルタ４、ダイクロイックミラー５、蛍光フィルタ６、光路移動光学系である平行平板ガラス７、照射光学系であるレンズ８、空間変調素子である回折格子９、第２対物レンズ１０、第１対物レンズ１１、レンズ１３、撮像装置（ＣＣＤカメラなど）２５、制御・演算装置（回路やコンピュータなど）４２、画像表示装置４３、アクチュエータ４０、回転ステージ４１等から構成され、標本（蛍光試料）１２から発生する蛍光による標本１２の像を撮像装置２５で撮像して処理する。

このうち、光源１、コレクタレンズ２、コリメータレンズ３、励起フィルタ４、ダイクロイックミラー５、平行平板ガラス７、レンズ８、回折格子９、第２対物レンズ１０、第１対物レンズ１１は照明光学系ＬＳ１を構成する。また、第１対物レンズ１１、第２対物レンズ１０、回折格子９、レンズ８、平行平板ガラス７、蛍光フィルタ６、ダイクロイックミラー５、レンズ１３は観察光学系ＬＳ２を構成する。また、第１対物レンズ１１と第２対物レンズ１０とが対物光学系ＬＳ２１を構成し、レンズ８とレンズ１３とがリレー光学系ＬＳ２２を構成している。照明光学系ＬＳ１と観察光学系ＬＳ２とは、第１対物レンズ１１からダイクロイックミラー５までの光路を共有している。

光源１からの発散光はコレクタレンズ２によって平行光線に変換され、コリメータレンズ３によって瞳共役面に光源像３１を形成する。その光源像３１からの光は、励起フィルタ４によって波長選択された後、ダイクロイックミラー５によって反射され、標本面の方向へと進む。標本の反射像を観察する場合には、ダイクロイックミラーの代わりにハーフミラーを使用してもよい。又、場合によっては、偏光ビームスプリッタを使用することができる。

そして、この光が平行平板ガラス７を通過する際、光源の中心から発せられ、コレクタレンズ２、コリメータレンズ３の中心を通る光軸上の光線（以下、この光線を便宜的に「主光線」と称する）は、平行平板ガラス７の両面での屈折により、光軸から所定距離ｄだけシフトする。その後、レンズ８によって光軸に対して所定角度傾いた平行光線に変換され、標本共役面２２に配置された回折格子９を照射する。

回折格子９は、そのまま直進する０次回折光と光軸に関して対称な方向に１次回折光を生じさせるように、予め格子常数を設定してある。それぞれの光束は第２対物レンズ１０によって光軸に平行な平行光線に変換され、第１対物レンズ１１によって標本面上で干渉し、二光束干渉縞を形成する。これによって標本１２は、空間変調された照明光で照明（構造化照明）される。

ここで、回折格子９は、例えば、１次元の周期構造をもつ位相型又は振幅型の回折格子である。位相型の回折格子は、回折次数の強度比を設定する自由度が高いという利点がある。又、振幅型の回折格子は波長特性が良いため、光源１に白色光源を使用できる利点がある。光源１としては、白色光源の代わりに単一波長の光源を用いてもよいし、レーザ光源からの光を光ファイバで導き、その端面に形成される二次光源を光源１として用いてもよい。

また、構造化照明の輝度分布（回折格子９の像２３の輝度分布）を正弦波状にするために、回折格子９で生じる−１次成分及び次数２以上の余分な回折成分を除去することが望ましい。その際には、回折格子９よりも後段の適当な箇所（例えば第１対物レンズ１１の瞳面３２）で除去するとよい。あるいは、回折格子９の濃度分布を予め正弦波状にしておけば、２次以上の回折成分の発生を抑え、光量の損失を抑えることができる。

本実施の形態では、回折格子９により生じる回折光のうち、０次回折光Ｄ０と１次回折光Ｄ１が対物光学系（第２対物レンズ１０、第１対物レンズ１１）の光軸に対して対称になるように、照明光を回折格子９に対して所定の角度傾けて入射させている。それは、レンズ８の前に配置した平行平板ガラス７によって主光線を光軸からずらすことで実現させている。照明光を所定角度傾けるために必要なずれ量ｄは、光源１の波長、レンズ８の焦点距離、回折格子９のピッチから計算で求めることができる。

光源１の波長をλ、レンズ８の焦点距離をｆ_８、回折格子９のピッチをＰ_ｇとすると、必要なずれ量ｄは、
ｄ＝ｆ_８×λ／（２×Ｐ_ｇ） …（１）
となる。

一方、平行平板ガラス７の屈折率をｎ、厚さをｔ、傾け角をαとしたとき、平行平板ガラスによる光線ののずれ量ｄは、

となる。

ここで、平行平板ガラス７の傾け角αとは、回折格子９の格子線の方向を回転軸として回転する角度を意味する。

したがって、（１）、（２）式を満たす光学系を組むことで、回折格子９により生じる回折光のうち、０次回折光Ｄ０と１次回折光Ｄ１が対物レンズの光軸に対称になるようにすることが可能となる。

さて、０次回折光Ｄ０と１次回折光Ｄ１は、第１対物レンズ１１の瞳面３２にそれぞれ集光する。この集光点は、第１対物レンズ１１の瞳径のなるべく端（光軸から離れた位置）に設定すると、超解像の効果が高いので望ましい。その場合、回折格子９による照明光の回折光のうち、０次回折光と１次回折光以外の光は、第１対物レンズ１１の有効径内には入射できないのでその後の系に影響しない。第１対物レンズ１１の瞳面３２にそれぞれ集光した０次回折光Ｄ０と１次回折光Ｄ１は、それぞれ平行光束となって対物レンズを出射し、標本１２上で干渉し、二光束干渉縞を形成する。

これにより、標本１２上では、構造化照明された光を励起光として蛍光が発生する。このときに第１対物レンズ１１側から見た標本１２の構造は、構造化照明により変調されている。変調された構造には、モアレ縞が生じている。このモアレ縞は、標本１２が有する微細構造と構造化照明のパターンとが成すモアレ縞であり、標本１２の微細構造が、構造化照明の空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像限界を超える高い空間周波数の構造の光までもが、第１対物レンズ１１によって捉えられることになる。

第１対物レンズ１１によって捉えられた蛍光は、第１対物レンズ１１及び第２対物レンズ１０からなる対物光学系ＬＳ２１により、標本共役面２２上に標本１２の変調像を形成する。その変調像は、その標本共役面２２に配置された回折格子９によって再変調される。このようにして生じた再変調像では、空間周波数を変化させた標本１２の構造が、元の空間周波数に戻される。この再変調像に、標本１２の復調像が含まれている。

但し、この再変調像には、復調像にとって不要な回折成分が含まれている。不要な回折成分とは、標本１２から射出された構造化照明による０次回折光に対し回折格子９で生じた±１次回折成分、標本１２から射出された構造化照明による−１次回折光に対する０次回折成分、標本１２から射出された構造化照明による＋１次回折光に対する０次回折成分である。これらの不要な回折成分を再変調像から除去するためには、回折格子９を１周期分若しくはＮ周期分（Ｎは自然数）動かして平均化すればよい。

再変調像からの蛍光は、レンズ８を介してダイクロイックミラー５を透過した後、観察光学系ＬＳ２の単独光路へ入り、蛍光フィルタ６を透過したのち、レンズ１３を介して再変調像の拡大像２４を形成する。つまり、回折格子９で再変調された再変調像は、レンズ８及びレンズ１３からなるリレー光学系ＬＳ２２によって、拡大像２４へとリレーされる。この拡大像２４は、撮像装置２５によって撮像され、再変調像の画像データが生成される。なお、撮像装置２５で撮像する場合、回折格子９を１周期若しくはＮ周期（Ｎは自然数）動かしている間、再変調像を蓄積することによって平均化すれば、復調像の画像データを得ることができる。

この画像データは、標本１２を構造化照明によって超解像観察するための情報を含む。その画像データは、制御・演算装置４２によって取り込まれ、演算が施されてから、画像表示装置４３へと送出される。

以上、本顕微鏡装置は、標本１２の共役面（標本共役面）２２から標本１２までの光路を照明光学系ＬＳ１と観察光学系ＬＳ２とで完全に共通光路にすると共に、その標本共役面２２に回折格子９を配置している。本顕微鏡装置ではこの回折格子９により、標本１２の微細構造の変調を図る。そして、変調された標本１２の微細構造は、この位置に配置された回折格子９により、自動的に再変調される。

なお、回折格子９は、アクチュエータ４０によって格子線に直交する方向Ｄｂへ移動可能である。この移動により、構造化照明の位相が変化する。制御・演算装置４２がアクチュエータ４０及び撮像装置２５を制御し、１フレーム分の画像データを蓄積している間にその位相を１周期分若しくはＮ周期分（Ｎは自然数）だけ変化させることで、その画像データから、構造化照明のパターンと、再変調時に生じた不要な回折成分とを消去する。

あるいは、撮像装置２５の撮像素子としてＣＣＤなど電荷蓄積型の撮像素子を用い、構造化照明の位相が１周期分若しくはＮ周期分（Ｎは自然数）だけ変化するのに必要な時間を蓄積時間とすることで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。

あるいは、撮像装置２５の撮像素子としてＮＭＯＳ、ＣＭＯＳなど電荷蓄積型ではない撮像素子を用い、更に各画素の出力にローパスフィルター、もしくは、積分回路を接続しておくことで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。その際には、接続するローパスフィルター、もしくは、積分回路の時定数として構造化照明の位相が１周期分若しくはＮ周期分（Ｎは自然数）だけ変化するのに必要な時間以上とする。

また、回折格子９は、回転ステージ４１によってアクチュエータ４０と共に光軸の周りを回転可能である。この回転により、構造化照明の方向が変化する。制御・演算装置４２が回転ステージ４１及び撮像装置２５を制御し、構造化照明の方向を複数方向に変化させる度に画像データを取得すれば、複数方向に亘り超解像観察するための情報を得ることができる。これにより、標本１２の二次元の超解像観察が可能となる。以上の動作に必要なプログラムは、例えばＣＤ−ＲＯＭなどの記録媒体やインターネットを介して制御・演算装置４２に予めインストールされている。

ここで、構造化照明の方向を変化させるためには、回折格子９の回転に伴って、照明光の斜入射の方向も回転させなければならない。回折格子９を回転させる際、平行平板ガラス７も光軸に対して回転させる必要がある。図２に、回折格子９を光軸周りに回転させるときの様子を示す。回折格子９について、図１の紙面右方向をｘ軸の正の方向、紙面に垂直に手前をｙ軸の正の方向、光軸をｚ軸とし対物レンズに向かう方向を正の方向とする。そして、回折格子９をｚ軸周りにθ回転させた状態が図２に示されている。このとき、平行平板ガラス７も同様にｚ軸周りにθ回転させればよい。これは、平行平板ガラス７と回折格子９を同一の回転ステージ上に固定し、それをｚ軸周りに回転させることで実現される。以上、本実施形態では、平行平板ガラス７と回折格子９を同一の回転ステージに固定して回転するので、斜光照明の向きを精度良く再現することができる。

図３は、本発明の第２の実施の形態である顕微鏡装置の光学系の概要を示す図である。

次に本発明の第２実施形態について説明する。以下の図において、前出の図に示された構成要素と同じ構成要素には、同じ符号を付してその説明を省略することがある。この実施の形態と第１の実施の形態の違いは、本実施の形態においては、図１においてダイクロイックミラー５の後に配置されていた平行平板ガラス７を、光源１の直後に配置することである。このようにしても、回折格子９により生じる回折光のうち、０次回折光Ｄ０と１次回折光Ｄ１が対物レンズの光軸に対称になるように、平行平板ガラス７によって軸上光線を光軸からずらすことが可能となる。必要なずれ量ｄは、光源１の波長、コレクタレンズ２、コリメータレンズ３、レンズ８の合成焦点距離、回折格子９のピッチから計算で求めることができ、それを達成するための平行平板のパラメータも計算で求めることができる。

光源１の波長をλ、コレクタレンズ２、コリメータレンズ３、レンズ８の合成焦点距離をｆ_８、回折格子９のピッチをＰ_ｇとすると、必要なずれ量ｄは、前記（１）式と同じとなる。また、平行平板ガラス７の屈折率をｎ、厚さをｔ、傾け角をαとしたとき、平行平板ガラス７による軸上光線の光軸からのずれ量ｄは、前記（２）式と同じとなる。したがって、（１）、（２）式を満たす光学系を組むことで、回折格子９により生じる回折光のうち、０次回折光Ｄ０と１次回折光Ｄ１が対物レンズの光軸に対称にすることが可能となる。

回折格子９を回転させて構造化照明の方向を変化させる際、光源像３１も同じ角度だけ回転させて、斜光照明の方向を回転させる必要がある。そのためには、平行平板ガラス７を、光軸を回転軸として、回折格子９の回転角と同じだけ回転させればよい。これは、平行平板ガラスを回転ステージ５１上に設置し、これを制御・演算装置４２によって、回折格子９の回転ステージ４１の駆動と同期させて制御することで実現される。本実施の形態によれば、平行平板ガラス７の回転機構を対物光学系と離して配置するので、平行平板ガラス７の回転による振動が、対物光学系に伝わりにくいという利点がある。

図４は、本発明の第３の実施の形態である顕微鏡装置の光学系の概要を示す図である。第２の実施の形態においては、図３において、回折格子９を回転させる際、平行平板ガラス７を回転ステージ５１によって光軸を回転軸として回転させる必要があった。本実施の形態においては、予め回折格子の停止位置を決めておき、各停止角度について、格子線の方向を回転軸として傾け角αだけ回転させた平行平板ガラス７１、７２、７３を用意し、回折格子９の回転停止角度に合わせて切り替えることで、斜光照明の方向を切り替える。

回折格子９の回転は、現実には３方向で十分であり、一次元回折格子のため、１８０°回転しても機能は同じである。光源像３１の光軸周りの角度が、（３）式を満たすようなθ１、θ２、θ３となるように傾けた３つの平行平板ガラス７１、７２、７３を電動ステージ５２上に設置する。

θ３−θ２＝θ２−θ１＝６０° …（３）
そして、回折格子の角度がθ１、θ２、θ３のとき、平行平板ガラス７１、７２、７３がそれぞれ光路に入るように電動ステージ５２をスライドさせる。これによって、回折格子の回転停止角度に合わせて切り替えることで、斜光照明の方向を切り替えることが可能となる。本実施の形態によれば、平行平板ガラス７１、７２、７３の角度を初めに精度良く調整しておけば、その後の繰り返し再現性がよいという利点がある。

図５は、本発明の第４の実施の形態である顕微鏡装置の光学系の概要を示す図である。この実施の形態と第２の実施の形態の違いは、図３において平行平板ガラス７の代わりにイメージローテータ１４を配置すること、光源１を光軸（コレクタレンズ、コリメータレンズ３の中心軸）からずらすことである。これによって、回折格子９により生じる回折光のうち、０次回折光Ｄ０と１次回折光Ｄ１が対物レンズの光軸に対称になるように、軸上光線を光軸からずらすことが可能となる。このとき、必要な光源１の偏芯量ｄは、（１）式で表される。

そして、回折格子９を回転させる際、光源像３１も同じ角度だけ回転させる必要がある。そのためには、イメージローテータ１４を光軸を回転軸に、回折格子９の回転角の半分だけ回転させればよい。これは、イメージローテータ１４を回転ステージ５３上に設置し、これを制御・演算装置４２によって、回折格子９の回転ステージ４１の駆動と同期させて制御することで実現される。本実施の形態によれば、イメージローテータ１４の回転角は回折格子９の回転角の半分で済むので、回転ステージの回転量を抑えられるという利点がある。又、イメージローテータ１４を使用せず、光源１を光軸の回りに、回折格子９と同じ回転角だけ回転させてもよい。

図６は、本発明の第５の実施の形態である顕微鏡装置の光学系のうち、光源１から回折格子９までの光学系を示す概念図である。各構成要素の実際の配置を無視して、互いの関係だけを示すものである。各構成要素の位置関係は、光源部を除いて、図５に示すものと同じである。ただし、励起フィルタ４およびダイクロイックミラー５を省略して描いてある。

図６（ａ）に示すように、レーザなどの光源１０１からの光はミラー１０２、１０３、１０４のいずれかで折り曲げられ、光ファイバ１０５、１０６、１０７に入射する。光ファイバ１０５、１０６、１０７の射出端１０５ａ、１０６ａ、１０７ａのいずれかから射出された光は、この射出面を２次光源として、コレクタレンズ２、コリメータレンズ３、レンズ８によって、回折格子９を照明し、０次光と１次光を光軸に対称に生じさせる。

光源１０１がレーザの場合、ビームに拡がりがない、コヒーレンスノイズを除去する必要があるなどのために、回転拡散板１２１を光路に挿入することができる。回転拡散板１２１は円盤状の拡散板を軸１２２を回転軸に高速で回転させるものである。そして、回転拡散板１２１によって拡散され拡がりをもった光束を、光ファイバ１０５、１０６、１０７に効率よく導入するために、カップリングレンズ１２３を使用して、適当な倍率で回転拡散板１２１上の光束径を光ファイバ入射端面に結像することができる。こうすれば、光量損失を抑えた上で、ビームに拡がりを持たせ、コヒーレンスノイズを抑えることができる。

また、光源１０１と回転拡散板１２１の間に、ＮＤフィルタや公知のアッテネータを挿入することにより、光源の出力光量を光学系に必要な光量まで低減することが可能である。

さて、回折格子９の回転は、現実には３方向で十分である。（図６（ｄ））。したがって、図６（ｂ）に示すように、光ファイバの射出端面Ａにおいて、３本の光ファイバ端は、例えば式（３）を満たすようなθ１、θ２、θ３の角度で、光軸からｄだけ偏心した位置に固定しておく。

θ３−θ２＝θ２−θ１＝６０° … （３）
０次光と１次光の左右を問わなければ図３（ｃ）に示すように、射出端１０６ａを（ｂ）の位置から反転させθ２＋１８０°の位置にし、バランスよく固定することも可能である。この場合、θ１、θ２、θ３のいずれを１８０度反転させてもよい。

そして、ミラー１０２と１０３は光路から除外できるように切替え可能としておく。そして、回折格子９の角度がθ１であるとき、ミラー１０２を挿入、回折格子９の角度がθ２であるとき、ミラー１０２を除外の上、ミラー１０３を挿入、回折格子９の角度がθ３であるとき、ミラー１０２、１０３とも除外すれば、対応した角度に光ファイバ端を配置することができ、回折格子の回転に伴って斜光照明の方向を回転することができる。

この実施の形態では、可動部が光ファイバを介して顕微鏡本体から離れるので、振動が伝わりにくいという利点がある。

図７は、本発明の第６の実施の形態である顕微鏡装置の光学系のうち、光源１から回折格子９までの光学系を示す概念図である。各構成要素の実際の配置を無視して、互いの関係だけを示すものである。各構成要素の位置関係は、光源部を除いて、図５に示すものと同じである。ただし、励起フィルタ４およびダイクロイックミラー５を省略して描いてある。

本実施の形態の、第５の実施の形態との違いは、ミラー１０２、１０３、１０４の代わりに、部分透過ミラー１１２と１１３を配置して、光源からの光を光ファイバ１０５、１０６、１０７に各々１／３ずつ光量分割している点である。そして各光ファイバの手前にシャッタＳ１、Ｓ２、Ｓ３を配置し、回折格子９の方向変換に伴って、該当する光路のシャッタのみ開く構成にする。すなわち、回折格子９が角度θ１の時は、Ｓ１のみ開けて、Ｓ２、Ｓ３は閉じ、回折格子９が角度θ２の時はＳ２のみ開け、Ｓ１、Ｓ３は閉じ、回折格子９が角度θ３の時はＳ３のみ開け、Ｓ１、Ｓ２は閉じるといった具合である。この実施の形態では、可動部がシャッタのみのため切替が高速にできるという利点がある。

なお、図６、図７では、３本の光ファイバ１０５、１０６、１０７を別々に描いたが、本発明はこれに限定されるものではなく３本の光ファイバを一束にバンドルしたものでも良いし、予め一つのクラッドの中に３本のコアを配置した光ファイバを利用することもできる。

なお、上述した各実施形態の顕微鏡装置は、リレーされた再変調像（拡大像２４）を撮像装置２５で検出したが、拡大像２４を接眼レンズを介して肉眼で観察できるように変形されてもよい。

また、上述した各実施形態の顕微鏡装置は、空間変調素子として回折格子を使用したが、入射光束に対し同様の作用をする別の空間変調素子を使用してもよい。例えば、回折格子９の代わりに透過型液晶表示素子などの空間変調素子を用いれば、構造化照明の位相変化及び方向変化を電気的に行うことができ、アクチュエータや回転ステージを用いずに構成し、さらなる高速化を図ることができる。さらに、上述の各実施形態では蛍光顕微鏡への応用であったが、特にこれに限定されるものではなく、同様に反射顕微鏡を構成することもできる。

以下、図１〜図５に示された、制御・演算装置４２の制御に関する動作を説明する。図８は、制御・演算装置４２の制御に関する動作フローチャートである。図８に示すとおり、制御・演算装置４２は、再変調像の画像データを取得するに当たり、撮像装置２５の露光開始（ステップＳ１１）から露光終了（ステップＳ１３）までの期間に、構造化照明の位相を１周期分だけ変化させる（ステップＳ１２）。

このようにして取得された画像データは、構造化照明の位相変化中における再変調像の時間積分であり、構造化照明の輝度分布は正弦波状なので、この画像データからは、構造化照明のパターンは消去される。また、この画像データからは、再変調時に生じた不要な回折成分も消去される。よって、この画像データは、復調像を表す。なお、これらの消去には、これ以外にも、上述したとおり何通りかの方法が適用可能である。

さらに、制御・演算装置４２は、構造化照明の方向を変化させてから（ステップＳ１５）、再びステップＳ１１〜Ｓ１３の処理を行い、構造化照明のパターンの消去された別の復調像の画像データを取得する。

そして、以上のステップＳ１１〜Ｓ１３における復調像の画像データの取得処理は、構造化照明の方向が予め決められた全方向に設定されるまで（ステップＳ１４がＹＥＳとなるまで）繰り返され、構造化照明のパターンの消去された復調像の画像データが、設定された方向の数だけ取得される。

例えば、制御・演算装置４２は、ステップＳ１１〜Ｓ１３の処理を、構造化照明の方向が０°，１２０°，２４０°の３方向に設定されるまで繰り返し、構造化照明のパターンの消去された３つの復調像の画像データＩ_１、Ｉ_２、Ｉ_３を取得する。これらの復調像の画像データＩ_１、Ｉ_２、Ｉ_３の間では、超解像の方向が１２０°ずつ異なる。

図９は、制御・演算装置４２の演算に関する動作フローチャートである。ここでは、超解像の方向が１２０°ずつ異なる３つの復調像の画像データＩ_１、Ｉ_２、Ｉ_３を取得した場合の演算を説明する。

先ず、制御・演算装置４２は、３つの復調像の画像データＩ_１、Ｉ_２、Ｉ_３の各々をフーリエ変換し、波数空間で表現された３つの復調像の画像データＩ_ｋ１、Ｉ_ｋ２、Ｉ_ｋ３を得る（ステップＳ２１）。これら復調像の画像データＩ_ｋ１、Ｉ_ｋ２、Ｉ_ｋ３を図１０（Ａ），（Ｂ），（Ｃ）に示した。

図１０（Ａ），（Ｂ），（Ｃ）において符号Ｉ_ｋ＋１、Ｉ_ｋ−１は、変調された状態で（±１次回折光として）対物光学系ＬＳ２１によって伝達された成分（±１次変調成分）を示し、符号Ｉ_ｋ０は、変調されない状態で（０次回折光として）対物光学系ＬＳ２１によって伝達された成分（０次変調成分）を示す。各々の円内は、ＭＴＦ（Modulation Transfer Function）が０でない領域を示す。また、符号Ｄｂは、超解像の方向（構造化照明の方向）を示し、符号Ｋは、構造化照明の空間周波数を示す。

続いて、制御・演算装置４２は、３つの復調像の画像データＩ_ｋ１、Ｉ_ｋ２、Ｉ_ｋ３を、図１１に示すとおり波数空間上で合成し、１つの合成画像データＩ_ｋを得る（ステップＳ２２）。この演算は、単純な加算でもよいが、ＭＴＦを考慮してデコンボリューションを施す処理であることが望ましい。デコンボリューション処理としては、例えばウィナーフィルタを利用した手法があるが、このとき、Ｉ_ｋは、周波数ｆの関数として以下のように計算される。

ただし、ｊは回折格子９の方向（０°、１２０°、２４０°）、ＭＴＦ_ｊ（ｆ）は、回折格子の各方向における復調後の実効ＭＴＦであり、対物光学系のＮＴＦ（ｆ）を用いて以下の（５）式で表される。ただし、Ｇ_０、Ｇ_１はそれぞれ回折格子の０次、１次回折効率、ｆ_ｊは回鉄格子による変調周波数である。また、ＭＴＦ^＊ _ｊ（ｆ）の＊は、このＭＴＦが複素数であることを示す。

Ｉ_ｋｊ（ｆ）は空間周波数ｆにおけるｊ番目の画像の信号強度、Ｃは、ノイズのパワースペクトルから決まる定数を示す。

この処理によって、合成画像データＩ_ｋの低周波数成分の寄与が大きくなりすぎるのを抑えることで、高周波数成分の相対的な寄与が小さくなるのを防ぐことができる。

続いて、制御・演算装置４２は、合成画像データＩ_ｋを逆フーリエ変換し、実空間で表現された画像データＩを得る。この画像データＩは、１２０°ずつ異なる３方向に亘る標本１２の超解像画像を表現する（ステップＳ２３）。制御・演算装置４２は、この画像データＩを画像表示装置４３へ送出し、超解像画像を表示する。

以上、本実施の形態における顕微鏡装置では、標本１２からの光が回折格子９で再変調され、さらに回折格子９を動かして平均化して不要な回折成分を除去することによって復調像を得ている。従って、復調演算をしない分だけ復調像の画像データは高速に得られる。

しかも、変調と再変調とに同一の回折格子９の同一の領域が用いられるので、仮にその回折格子９に形状誤差や配置誤差、あるいはその回転角に誤差があったとしても、変調のパターンと再変調のパターンとを同一にすることができる。従って、回折格子９の形状誤差や配置誤差、回転調整誤差は、復調像の画像データに対しノイズを殆ど与えない。このことは、構造化照明の位相を変化させたときや、構造化照明の方向を変化させたときにも同様に当てはまる。したがって、本顕微鏡装置では超解像画像が高精度に得られる。

また、本顕微鏡装置では、複数の画像データを合成する際に（図９ステップＳ２２）、
デコンボリューションを行うので、高周波数成分の減衰の少ない良好な超解像画像を得ることができる。

Claims

斜め入射する略平行光束の、０次回折光である照射光を受光して、前記０次回折光と１次回折光とを形成する空間変調素子と、
前記０次回折光と前記１次回折光とを試料面上で干渉させて干渉縞を形成し、前記試料面上において前記干渉縞によって変調を受けた光を前記空間変調素子面に結像させる対物光学系と、
撮像手段と、
前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系と、
を有することを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置であって、
前記対物光学系と前記リレー光学系を合わせた光学系の光軸は、光源から前記試料面に至る照明光学系の光軸と、少なくとも前記空間変調素子よりも光源側の所定位置から前記試料面まで同一とされており、
前記光源からの照明光の中心軸を前記同一の光軸よりずらす光路移動光学系と、
前記光路移動光学系を通過した前記照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系
を有することを特徴とする顕微鏡装置。
前記照射光学系が、前記リレー光学系の一部であることを特徴とする請求項２に記載の顕微鏡装置。
請求項２に記載の顕微鏡装置であって、
前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、
前記コレクタレンズを透過した前記照明光を集光して２次光源を形成するコリメータレンズと、
前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸上を前記試料面方向に進む光とし、前記光路移動光学系に入射させる光路偏向部材
とを有し、
前記照明光の主光線は、前記コレクタレンズの中心、前記コリメータレンズの中心、前記リレー光学系の光軸を通って、前記光路移動光学系に入射するようにされていることを特徴とする顕微鏡装置。
請求項２に記載の顕微鏡装置であって、
前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、
前記コレクタレンズを透過した前記照明光を集光して２次光源を形成するコリメータレンズと、
前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸と平行に前記試料面方向に進む光とし、前記照射光学系に入射させる光路偏向部材
とを有し、
前記光源からの照明光は、前記光路移動光学系を透過した後、前記コレクタレンズに入射し、前記光路偏向部材により反射された後、前記照射光学系に入射するようにされていることを特徴とする顕微鏡装置。
請求項２に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系も光軸を中心として回転可能とされ、前記空間変調素子の回転量と前記光路移動光学系を回転させたときにそれに伴って回転する主光線の回転量とを同一にすることが可能とされていることを特徴とする顕微鏡装置。
請求項２に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系に、光路を移動させる光学素子が複数設けられ、複数の当該光学素子は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされていることを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置であって、
前記対物光学系と前記リレー光学系を合わせた光学系の光軸は、光源から前記試料面に至る照明光学系の光軸と、少なくとも前記空間変調素子よりも光源側の所定位置から前記試料面まで同一とされており、
前記照明光学系の光軸から離れた位置に設けられた光源と、
前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、
前記コレクタレンズを透過した前記照明光を集光して２次光源を形成するコリメータレンズと、
前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸に平行に前記試料面方向に進む光とする光路偏向部材と、
前記光路偏向部材で反射された照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系
とを有することを特徴とする顕微鏡装置。
前記照射光学系が、前記リレー光学系の一部であることを特徴とする請求項８に記載の顕微鏡装置。
請求項８に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源も前記照明光学系の光軸を中心として回転可能とされ、両者の回転量を同一にすることが可能とされていることを特徴とする顕微鏡装置。
請求項８に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源が複数設けられ、複数の当該光源は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされていることを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置であって、前記空間変調素子と前記対物光学系によって前記試料面上に形成される干渉縞の位相を変化させることが可能とされており、前記撮像手段の撮像時間は、前記位相が整数周期変化する時間とほぼ等しくされていることを特徴とする顕微鏡装置。
請求項６に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行い、得られた複数枚の画像データをフーリエ変換してフーリエ変換データ画像を取得し、これらのフーリエ変換画像データに対して２次元平面上で、ＭＴＦを考慮したデコンボリューション処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。
請求項７項に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行い、得られた複数枚の画像データをフーリエ変換してフーリエ変換データ画像を取得し、これらのフーリエ変換画像データに対して２次元平面上で、ＭＴＦを考慮したデコンボリューション処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。
請求項１０に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行い、得られた複数枚の画像データをフーリエ変換してフーリエ変換データ画像を取得し、これらのフーリエ変換画像データに対して２次元平面上で、ＭＴＦを考慮したデコンボリューション処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。
請求項１１に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行い、得られた複数枚の画像データをフーリエ変換してフーリエ変換データ画像を取得し、これらのフーリエ変換画像データに対して２次元平面上で、ＭＴＦを考慮したデコンボリューション処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。