JP4978470B2 - 顕微鏡装置及び観察方法 - Google Patents

Description

本発明は、顕微鏡装置及び観察方法に関する。

近年、顕微鏡光学系の分解能よりも高い分解能で標本を観察する超解像技術が提案された（特許文献１など）。特許文献１には、標本を構造化照明して変調像を生成し、その構造化照明の位相を変化させながら変調像を撮像素子で複数回検出し、それら変調像を演算で復調して超解像画像を得る構造化照明手法が開示されている。

因みに、通常の顕微鏡光学系の伝達関数には、空間周波数ゼロの近傍にミッシングコーンと呼ばれる凹部が存在するので、標本に含まれる空間周波数の低いパターンについては光軸方向に分解して観察することはできなかった。しかし、構造化照明手法によれば伝達関数が実質的に拡大されるので（伝達関数は、顕微鏡光学系の伝達関数を構造化照明の空間周波数だけずらして重ね合わせたものに相当する。）、構造化照明の空間周波数さえ適切に設定すれば、ミッシングコーンを無くし、光軸方向に高い分解能で観察することが可能になると考えられる。
特開平１１−２４２１８９号公報

しかしながら、この構造化照明手法には、次に述べる問題があった。

一般に、超解像を必要とするような顕微鏡光学系は高開口数の対物レンズを利用しているが、開口数が高くなるほど焦点深度は浅くなる。このとき、標本の被観察面以外からの光が撮像素子へ多く入射するので、構造化照明のコントラストは、事実上低くなる。

一方、構造化照明手法では、構造化照明のコントラストが低いほど超解像画像を得ることが難しくなる。なぜなら、構造化照明のコントラストが低いと、変調画像に含まれる±１次変調成分の強度が０次変調成分の強度に比べて低くなるのに対し、変調画像に重畳されるノイズ強度は強度の高い０次変調成分に支配されるので、超解像に重要な±１次変調成分がノイズに埋もれてしまうからである。

そこで本発明は、被観察物の超解像画像の情報を高いＳＮ比で取得することのできる顕微鏡装置及び観察方法を提供することを目的とする。

本発明の顕微鏡装置は、標本の被観察面を線状の照明光で照明する照明光学系と、前記照明光を線方向に空間変調する変調手段と、前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系と、前記被観察面からの光を検出する検出器と、前記空間変調の位相を変化させる機構と、前記位相の異なる複数の検出信号に共通して含まれる各次数の変調成分を抽出し、それらの変調成分をそれぞれ波数空間上で前記空間変調の空間周波数の分だけずらして並べ直すことにより、復調像のデータを取得する演算部とを備えたことを特徴とする。

なお、本発明の顕微鏡装置は、前記照明光を前記被観察面に対して相対的に回転させる機構を更に備えてもよい。

また、本発明の何れかの顕微鏡装置は、前記被観察面上を前記照明光で走査する機構を更に備えてもよい。

また、本発明の顕微鏡装置は、前記機構を駆動しながら前記検出器からの検出信号を複数回取得する制御手段を更に備えてもよい。

また、本発明の観察方法は、標本の被観察面へ線状の照明光を照明する手順と、前記照明光を線方向に空間変調する手順と、前記空間変調された照明光で照明された前記被観察面からの光を結像する手順と、前記被観察面からの光を検出する手順と、前記空間変調の位相を変化させる手順と、前記位相の異なる複数の検出信号に共通して含まれる各次数の変調成分を抽出し、それらの変調成分をそれぞれ波数空間上で前記空間変調の空間周波数の分だけずらして並べ直すことにより、復調像のデータを取得する手順とを備えたことを特徴とする。

本発明によれば、被観察物の超解像画像の情報を高いＳＮ比で取得することのできる顕微鏡装置及び観察方法が実現する。

以下、本発明の実施形態を説明する。本実施形態は、顕微鏡装置の実施形態である。

先ず、本顕微鏡装置の構成を説明する。

図１、図２は、本顕微鏡装置の光学系部分の構成を示す図である。図１（Ａ），（Ｂ）は、顕微鏡装置の光路を９０°異なる角度から見た図である。図２は、図１（Ａ），（Ｂ）中の符号Ａで示す箇所以降の光路を示す。

図１、図２に示すように、本顕微鏡装置には、レーザ光源などの光源１、ビーム整形レンズ２、回折格子４、アクチュエータ１９、コリメータレンズ５、ダイクロイックミラー６、走査ユニット７、反射鏡８、集光レンズ１５、１次元光検出器（ラインセンサ）１６、コンピュータや回路などからなるデータ処理装置１７、スキャナレンズ９、イメージローテータ１８、第２対物レンズ１１、反射鏡１２、対物レンズ１３、蛍光物質で標識された標本１４、不図示の画像表示装置などが配置される。なお、反射鏡８，１２などは光路配置上必要となったものであり、必須ではない。また、必要に応じて、ダイクロイックミラー６の入射光路や射出光路に励起フィルタやバリアフィルタなどを配置してもよい。

光源１から射出した光は、ビーム整形レンズ２の３枚のシリンドリカルレンズ２１，２２，２３により、線状の断面を持った平行光（１次元方向に伸びた平行光）に整形される。断面の長手方向は、少なくとも対物レンズ１３の視野の幅に相当する長さを持っていることが望ましい。

この平行光は、標本１４と光学的に共役な位置に配置された回折格子４へ入射し、各次数の回折成分を発生させる。その回折方向は、平行光の長手方向である。

回折格子４は、例えば、位相型や振幅型の１次元回折格子（図では透過型の回折格子）である。特に、位相型は０次回折成分が殆ど発生しないので好ましい。但し、現実には多少の０次回折成分が漏れ出てしまうため、瞳位置に０次回折成分をする遮光部材を配置し、０次回折成分が標本１４に到達しないようにしておく（０次遮光をする）ことが望ましい。因みに、０次遮光は、振幅型の回折格子を利用した場合にも必要となる。０次遮光のためには、瞳位置に配置される走査ユニット７の中央に吸収膜を形成してもよいが、回折格子４とコリメータレンズ５との間にリレー光学系を設けると共に、そのリレー光学系中の瞳位置に遮光部材を配置する方が望ましい。また、回折格子４は、アクチュエータ１９によって格子線に直交する方向へ移動可能である。

この回折格子４において発生した±１次回折成分は、コリメータレンズ５を介してダイクロイックミラー６へ入射し、そのダイクロイックミラー６を透過する。それら±１次回折成分は、走査ユニット７、反射鏡８、及びスキャナレンズ９を介して１次像面１０上に回折格子４の空間像（線状の空間像）を形成する。この空間像は、イメージローテータ１８、第２対物レンズ１１、反射鏡１２、及び対物レンズ１３を介して標本１４上に投影される。したがって、標本１４上は、線状の照明光、しかもその長手方向にかけて正弦波状に空間的に強度変調された照明光で照明（構造化照明）される。なお、対物レンズ１３の焦点面は、標本１４中の被観察面に一致している。この被観察面のみに着目すると、構造化照明のコントラストは高いが、被観察面の上下層まで含めてみると、構造化照明のコントラストは低くなっている。

標本１４上の線状の照明領域Ｅでは、蛍光が発生する。発生した蛍光は対物レンズ１３により集められ、反射鏡１２、第２対物レンズ１１、イメージローテータ１８、スキャナレンズ９、反射鏡８、走査ユニット７を介してダイクロイックミラー６へ到達する。その蛍光は、ダイクロイックミラー６で反射され、集光レンズ１５を介して照明領域Ｅの像を形成する。照明領域Ｅは空間変調されているため、その像は、各次数の変調成分を含んだ変調像となっている。この変調像は、照明領域Ｅと共役な位置に配置された１次元光検出器１６によって検出される。この位置に配置された１次元光検出器１６によれば、標本１４の被観察面以外からの余分な光の多くがカットされるので、照明領域Ｅの短手方向に関し共焦点効果を得ることができる。この共焦点効果によると、構造化照明の実際のコントラストが低かったとしても、１次元光検出器１６が生成した変調像の輝度分布データを扱う際には、構造化照明のコントラストを実質的に高くすることができる。

１次元光検出器１６が生成した変調像の輝度分布データは、データ処理装置１７へ送られる。データ処理装置１７は、輝度分布データに対し演算を施して標本１４の超解像画像を取得し、それを不図示の画像表示装置上に表示する。

なお、データ処理装置１７は、この演算の他に、顕微鏡装置内の各部を駆動して必要な情報を取得するための制御も行う。データ処理装置１７が走査ユニット７を駆動すると、照明領域Ｅがその短手方向に移動するので、標本１４上を照明領域Ｅで走査することができる。また、アクチュエータ１９を駆動すると、照明領域Ｅの構造化照明の位相（空間変調の位相）が変化する。また、イメージローテータ１８を駆動すると、標本１４における照明領域Ｅの方向を回転させることができる。

なお、イメージローテータ１８は、回折格子４や走査ユニット７よりも標本１４側に配置されるので、照明領域Ｅの方向を回転させると、構造化方向Ｄｂ及び走査方向Ｄａも一緒に回転する。よって、照明領域Ｅに対する構造化方向Ｄｂ及び走査方向Ｄａは不変である。

次に、データ処理装置１７の制御に関する手順を詳細に説明する。

図３は、データ処理装置１７の制御に関する動作フローチャートである。図３に示すとおり、データ処理装置１７は、標本１４上を照明領域Ｅで走査しながら１次元光検出器１６を繰り返し駆動して複数の輝度データを取得し、それら輝度データを合成して標本１４の２次元の変調像の画像データを取得する（Ｓ１１）。以下で説明する画像データは、照明領域Ｅを走査して輝度データを合成したものをいう。

さらに、データ処理装置１７は、変調像の画像データの取得（Ｓ１１）を、構造化照明の位相を変化させながら複数回行う（Ｓ１１〜Ｓ１３のループ）。例えば、データ処理装置１７は、位相を２π／Ｎずつ変化させながらＮ（Ｎ≧３）個の変調像の画像データを取得する。

取得したＮ個の変調像の画像データをＩ_1j（ｊは位相番号であり、ｊ＝１，２，…，Ｎ）とおき、図４（Ａ）に示した。これら変調像の画像データＩ_1j（ｊ＝１，２，…，Ｎ）の全体には、その構造化方向Ｄｂ（図４ではＸ方向）へ超解像化するための情報が含まれる。

さらに、データ処理装置１７は、Ｎ個の変調像の画像データの取得（Ｓ１１〜Ｓ１３のループ）を、照明領域Ｅの回転位置θを変化させ標本上を走査し、複数回行う（Ｓ１１〜Ｓ１５のループ）。例えば、データ処理装置１７は、照明領域Ｅの回転位置を１２０°ずつ変化させながら、Ｎ個の変調像の画像データの取得を合計３回行う。

図４（Ａ）に示すＮ個の画像データＩ_1j（ｊ＝１，２，…，Ｎ）の取得時の回転位置θをθ＝０°とし、回転位置θ＝１２０°の下で取得されたＮ個の変調像の画像データをＩ_2j（ｊ＝１，２，…，Ｎ）とおき、図４（Ｂ）に示した。また、回転位置θ＝２４０°の下で取得されたＮ個の変調像の画像データをＩ_3j（ｊ＝１，２，…，Ｎ）とおき、図４（Ｃ）に示した。

変調像の画像データＩ_1j（ｊ＝１，２，…，Ｎ）と、変調像の画像データＩ_2j（ｊ＝１，２，…，Ｎ）と、変調像の画像データＩ_3j（ｊ＝１，２，…，Ｎ）とでは、回転位置θが１２０°ずつ異なるので、構造化方向Ｄｂも１２０°ずつ異なる。

よって、これら３Ｎ個の変調像の画像データＩ_Mj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の全体には、１２０°ずつ異なる３方向へ超解像化するための情報が含まれる（なお、Ｍは回転位置番号である。）。

次に、データ処理装置１７の演算に関する手順を詳細に説明する。

図５は、データ処理装置１７の演算に関する動作フローチャートである。

（ステップＳ２１）
データ処理装置１７は、３Ｎ個の変調像の画像データＩ_Mj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の各々をフーリエ変換し、波数空間で表現された３Ｎ個の変調像の画像データＩ_kMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）を得る。なお、波数空間で表現されたデータには、波数空間上の座標ｋを示す添え字「ｋ」を付す。

（ステップＳ２２）
データ処理装置１７は、回転位置θ＝０°の下で取得したＭ＝１の変調像の画像データＩ_k1j（ｊ＝１，２，３，…Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分Ｉ_kL（Ｌは次数であり、Ｌ＝＋１，０，−１）を抽出し、図６（Ａ）に示すように±１次変調成分を０次変調成分に対して構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩ_k1を取得する。なお、図６において、各変調成分Ｉ_kL（Ｌ＝＋１，０，−１）のデータ範囲を示す円のサイズは、構造化照明をしなかった場合の解像限界に対応している。また、ｋ_X軸，ｋ_Y軸は、図４中に示した実空間上のＸ軸，Ｙ軸に対応している。

また、データ処理装置１７は、回転位置θ＝１２０°の下で取得したＭ＝２の変調像の画像データＩ_k2j（ｊ＝１，２，３，…，Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分Ｉ_kL（Ｌ＝＋１，０，−１）を抽出し、それらを図６（Ｂ）に示すように構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩ_k2を取得する。

また、データ処理装置１７は、回転位置θ＝２４０°の下で取得したＭ＝３の変調像の画像データＩ_k3j（ｊ＝１，２，３，…，Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分Ｉ_kL（Ｌ＝＋１，０，−１）を抽出し、それらを図６（Ｃ）に示すように構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩ_k3を取得する。

なお、本ステップの演算には、式（１）で表される方程式を適用することができる。

但し、Ｏ_k（ｋ＋ＬＫ）Ｐ_k（ｋ）がＩ_kLに相当し、ｍ_Lは、Ｌ次変調成分Ｉ_kLの回折強度を表す。因みに、Ｏ_k（ｋ）は、標本１４が有する実際のパターンを波数空間で表現したものであり、Ｐ_k（ｋ）は、標本１４から１次元光検出器１６までの顕微鏡光学系の伝達関数である。

特に、Ｎ＞３のとき、本ステップの演算には、式（２）で表される最小自乗法を適用することができる。最小自乗法によれば、複数のデータに重畳されているノイズの影響を抑えることができる。

但し、ｂ_Lj＝ｍ_Lｅｘｐ(２πｉｊ／Ｎ）である。

（ステップＳ２３）
データ処理装置１７は、図６に示した３つの復調像の画像データＩ_kM（Ｍ＝１，２，３）を図７に示すように合成して１つの復調像の画像データＩ_kを得る。３つの復調像の画像データＩ_kM（Ｍ＝１，２，３）の各々に含まれる０次変調成分Ｉ_k0は互いに共通の量を表しているので、その０次変調成分Ｉ_k0を基準として３つの復調像の画像データＩ_kM（Ｍ＝１，２，３）を合成すれば、その合成精度を高めることができる。

（ステップＳ２４）
データ処理装置１７は、復調像の画像データＩ_kを逆フーリエ変換して実空間で表現された復調像の画像データＩを得る。この復調像の画像データＩは、１２０°ずつ異なる３方向に亘る標本１４の超解像画像を表現する。この超解像画像が、不図示の画像表示装置へ表示される（以上、ステップＳ２４）。

以上まとめると、本顕微鏡装置は、標本１４を所定方向（Ｄｂ）へ亘り構造化照明すると共に、その非構造化方向（Ｄａ）に関しては共焦点効果が得られるような構成となっている。この共焦点効果により、構造化照明の実質的なコントラストは高まる。したがって、変調像の画像データＩ_Mj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の各々のＳＮ比は高まり、その分だけ標本１４の超解像画像は高精度に求まる。

また、本顕微鏡装置では、共焦点効果を得るために照明光を線状に整形するので、１度に取得できる情報が標本１４の１次元の情報のみとなるが、標本１４上を照明領域Ｅで走査するための機構（走査ユニット７）と、その機構及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、標本１４の２次元の変調像の画像データを確実に取得することができる。

また、本顕微鏡装置には、構造化照明の位相を変化させるための機構（アクチュエータ１９）と、その機構及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、復調像の画像データを確実に取得するための情報（位相の異なる複数の変調像の画像データ）を取得することができる。

また、本顕微鏡装置には、構造化方向Ｄｂを変化させるための機構（イメージローテータ１８）と、イメージローテータ１８及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、超解像化の方向を確実に複数化することができる。

（その他）
なお、本実施形態では、照明領域Ｅの回転位置を変化させるために、光の方向を回転させるイメージローテータ１８を使用したが、標本１４の配置方向を回転させる回転ステージを使用してもよい。但し、イメージローテータ１８を使用した方が回転位置の再現性を高めることができるので好ましい。

また、本実施形態では、超解像化の方向を１２０°ずつ異なる３方向に設定したが、その方向の数や種類は変更されてもよい。なお、方向が１方向のみである場合には、イメージローテータ１８を省略することが可能である。

また、本実施形態では、変調像から復調像を得るための復調演算を波数空間で行った（図５を参照）が、例えば、特開平１１−２４２１８９号公報のように、復調演算を実空間上で行ってもよい。因みに、特開平１１−２４２１８９号公報の復調演算は、位相の異なる３個の変調像の画像データを線形の演算式に当てはめるものである。その演算式は、上述した式（１）を実空間で表現したものに相当する。

また、本実施形態では、必要なデータを取得する手順の全てが自動化されたが（図３参照）、その手順の一部を手動で行うこととしてもよい。

また、本実施形態では、取得したデータを処理する手順の全てが自動化されたが（図５参照）、その手順の一部又は全部を手計算で行うこととしてもよい。

実施形態の顕微鏡装置の光学系部分の構成を示す図である。 図１のＡ以降の光学系を示す図である。 データ処理装置１７の制御に関する動作フローチャートである。 取得した３Ｎ個の変調像の画像データを示す図である。 データ処理装置１７の演算に関する動作フローチャートである。 ステップＳ２２の処理を説明する図である。 ステップＳ２３の処理を説明する図である。

Claims (5)

1. 標本の被観察面を線状の照明光で照明する照明光学系と、
   前記照明光を線方向に空間変調する変調手段と、
   前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系と、
   前記被観察面からの光を検出する検出器と、
   前記空間変調の位相を変化させる機構と、
   前記位相の異なる複数の検出信号に共通して含まれる各次数の変調成分を抽出し、それらの変調成分をそれぞれ波数空間上で前記空間変調の空間周波数の分だけずらして並べ直すことにより、復調像のデータを取得する演算部と
   を備えたことを特徴とする顕微鏡装置。
2. 請求項１に記載の顕微鏡装置において、
   前記照明光を前記被観察面に対して相対的に回転させる機構を更に備えた
   ことを特徴とする顕微鏡装置。
3. 請求項１又は請求項２に記載の顕微鏡装置において、
   前記被観察面上を前記照明光で走査する機構を更に備えた
   ことを特徴とする顕微鏡装置。
4. 請求項２又は請求項３に記載の顕微鏡装置において、
   前記機構を駆動しながら前記検出器からの検出信号を複数回取得する制御手段を更に備えた
   ことを特徴とする顕微鏡装置。
5. 標本の被観察面へ線状の照明光を照明する手順と、
   前記照明光を線方向に空間変調する手順と、
   前記空間変調された照明光で照明された前記被観察面からの光を結像する手順と、
   前記被観察面からの光を検出する手順と、
   前記空間変調の位相を変化させる手順と、
   前記位相の異なる複数の検出信号に共通して含まれる各次数の変調成分を抽出し、それらの変調成分をそれぞれ波数空間上で前記空間変調の空間周波数の分だけずらして並べ直すことにより、復調像のデータを取得する手順と
   を備えたことを特徴とする観察方法。

Images