JP4123305B2 - 画像作成方法および顕微鏡装置 - Google Patents

Description

本発明は、画像作成方法および顕微鏡装置に関するものである。

光学顕微鏡の分解能は対物レンズの開口数と波長により決まり、分解能を高めるためには、一般に波長を短くするか開口数を大きくするより方法がないとされてきた。その一方で、開口数と波長により決定されるそれよりも高い分解能で標本を観察したいと言う要求がある。

この要求に答える技術の一つとして W. Lukoszが "Optical systems with resolving powers exceeding the classical limit. II", Journal of the Optical Society of America, Vol.37, no.7 (1967) で示した格子超解像と呼ばれる技術がある。この手法では、観察物体の近傍に置いた回折格子で標本像を空間変調し、標本と撮像素子の間に存在する結像光学系を通りえない空間周波数成分を撮像素子へ導き、撮像素子近傍の回折格子で復調して高い分解能を持った光学顕微鏡を構成しようというものである。これは、Lukosz自身が認めているように現実的ではないが、より現実的にしたものとして、 例えば、 J. T. Frohn らが "True optical resolution beyond the Rayleigh limit achieved by standing wave illumination", PNAS, Vol.97, No.13 で紹介している顕微鏡構成がある。

この顕微鏡構成と画像処理については、例えば、特開平１１−２４２１８９号公報に、照明光学系に観察する標本付近の照明光の空間周波数を変調する手段を設け、空間周波数を変調しながら複数の撮影画像を取得し、これら複数の撮影画像を復調することにより、高分解能の画像を得る方法が記載されている。特開平１１−２４２１８９号公報に記載された復調方法では、複数の撮影画像をもとに線形計算により画像を生成している。

しかし、特開平１１−２４２１８９号公報に記載された復調方法には撮影画像に含まれるノイズの寄与が考慮されていないため、復調によって得られた画像はノイズ成分の影響で誤ったものとなる可能性がある。

一般に光検出器から出力される光信号には、暗電流ノイズ、サーマルノイズ、ショットノイズといったノイズ成分を含んでいる。暗電流ノイズは撮像環境が一定であればその他の条件には依存せずほぼ一定の付近で変化を示すノイズである。サーマルノイズは撮像環境および撮像条件に依存するノイズ成分である。ショットノイズは撮像環境や撮像条件にはあまり影響を受けないが、信号強度に大きく依存するノイズである。

撮像画像中には常にその信号強度に依存したノイズ成分と依存しないノイズ成分が含まれており、特に明るくない標本を撮像した画像中ではどちらも相対的に無視できない大きさとなるため、ノイズ成分を正しく取り出すことなしには実用上十分な画像回復は困難である。そこで、高倍率の顕微鏡観察において明るい撮像を行うためには、光源の強度を大きくするなどして標本上の光密度を高くすることが必要であったが、その反面、標本へのダメージが大きいという問題があった。

構造化照明顕微鏡技術では、特開平１１−２４２１８９号公報にも記載されているように、厚みや高低の有る標本を観察した際には焦点面近傍の信号成分を選択的に取り出すことができ、従来型顕微鏡において除去できなかった焦点深度外からのぼけ像を画像処理中に除去することができ、光軸方向の高い解像度をも持つことが知られている。しかしながら、このように厚みの有る標本を観察した場合は、画像処理において除去される焦点深度外からの信号は画像処理前には信号中に混入しておりこれもノイズ源となるため、信号強度に依存するノイズ成分は画像処理後の画像成分に対して相対的に大きくなることがあるという問題があった。

本発明は、ノイズ成分を低下させた高分解能の画像を得ることを目的とする。

本発明は、正弦波状に空間変調された照明光により標本を照明し、前記照明光により照明された前記標本からの光を結像させ、取得した画像から画像演算処理により標本像を作成する画像作成方法において、前記標本上での前記照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を取得し、これら撮像された複数枚の画像を構成する空間周波数成分の各々についてこれらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本像を作成することを特徴とする画像作成方法を提供する。

ここで、ｂ_ｌｊ＝ｍ_ｌexp（ｉφ_ｊ）（ｍ_ｌは前記照明光の変調振幅、φ_ｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉ_ｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐ_ｋ（ｋ）は光学系の伝達関数である。

また、光源と、標本と光学的に共役な位置に配置された回折格子を含み、前記光源からの光を前記回折格子により変換された、正弦波状に空間変調した光を前記標本へ照明する照明光学系と、前記回折格子を変調する変調装置と、前記標本からの空間変調された標本像を撮像する撮像手段と、
前記撮像手段で撮像した、前記標本上での照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を構成する空間周波数成分の各々について、これらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本の画像を生成する画像生成装置とを有することを特徴とする顕微鏡装置を提供する。

ここで、ｂ_ｌｊ＝ｍ_ｌexp（ｉφ_ｊ）（ｍ_ｌは前記照明光の変調振幅）、φ_ｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉ_ｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐ_ｋ（ｋ）は光学系の伝達関数である。

第１実施形態に記載された顕微鏡装置の全体概略図である。

図１は、照明光の位相を変調する顕微鏡の構成の例である。照明光学系は、光源から順に、ランプ光源１、コレクタレンズ２、リレーレンズ３、開口絞り４、フィールドレンズ５、回折格子６、コンデンサレンズ７、瞳共役位置に配置された折返しミラー８、リレーレンズ９、視野絞り１０、第二対物レンズ１１、ハーフミラー１２により構成される。

回折格子６は紙面の垂直方向に1次元の透過率分布を持つ回折格子であり、破線で示す回折光を生じさせる。後述する理由により本技術で高い空間分解能を得るためには前記回折格子は標本上に変調された照明光が投影できる範囲で周期の細かいものが望ましい。

前記回折格子として光源の波長に対して1/2波長の光路差となるような位相回折格子が望ましいが、十分細かい正弦波状の照明を標本に対して行えればいいので、例えば透過率を変調させた結像限界付近の周期を持った格子に対して斜光照明を行うか、あるいは±１次光の回折が結像できる周期の回折格子に対して±１次光のみが透過できるように対物レンズの瞳と共役な面に遮光板を置いてもよい。

回折格子６によって±１次光はそれぞれフィールドレンズ７周辺部を通るように分離され、＋１次光と−１次光は折返しミラーの周辺部の位置にそれぞれスポットを作る。ここで、折返しミラー８上で±１次光が重ならないように開口絞り４を調節しておく。光源として単色光を利用した場合には上記±１次光が重なることはないため、開口絞りはなくてもよい。

折返しミラー８で偏向された±１次光は対物レンズの瞳面１４の周縁部を通り、標本１５付近で互いに干渉することにより縞構造を有する照明光を照射する。

撮影は、撮像装置１７によって行われる。図示しない回折格子駆動装置により、各格子パターンと直交する方向に正確にその周期の1/NだけずらしながらＮ枚の画像を取得する。ただし、Ｎは４以上であり、できるだけ大きいことが望ましい。

これらの複数の撮影画像を演算手段１９により演算することにより標本の画像を作成する。演算の内容を次に示す。

点像強度分布P_ｒ(x)を持つ顕微鏡光学系において、標本O_ｒ(x)にある強度分布をもった照明を与えると標本における回折光は空間変調を受ける。単一の空間周波数成分Ｋを持つ正弦波状の照明の場合、空間変調成分としては、0,±1次の3変調成分となる。これらの空間変調を
m_ｌ exp(ilKx+φ),(l=-1,0,1)
と表記すると、空間変調を受けた標本の像は、

と表すことができる。ここで、*は畳み込み積分を表す。

以下、実空間における量には添え字ｒを、端数空間における量には添え字ｋをつけて表すこととする。

式(1)をフーリエ変換し、波数空間で表記すると、

ここで、P_ｒ(x)のフーリエ変換P_ｋ(k)は光学系の伝達関数 (OTF; Optical Transfer
Function)を表している。

式(2)におけるl=-1,1に対応するO_Ｋ(k-K),O_ｋ(k+K)は、標本の持つ空間周波数成分を照明が持つ空間周波数Ｋだけずらすことを意味しており、P_ｋ(k)という空間周波数成分しか取得することのできない顕微鏡光学系であっても、標本が持つ高い空間周波数成分を取得できることを表している。このため、照明パターンの周期はこの顕微鏡光学系で結像できる範囲でできるだけ短いことが望ましい。

前述のように格子をずらしながら撮像を行うと、同一の変調周波数、変調振幅を持ち、変調位相φのみ異なる画像がＮ枚得られるが、このときのj番目の画像信号強度 I_ｋj(k)は、ｊ番目の画像の構造化照明位相をφ_ｊと表すと、

であり、Ｎ個の方程式が得られる。

これらの方程式ではO_ｋ(k+lK),(l=-1,0,1)が未知数であるため、N=3でも解くことができるが、撮像画像I_ｋj(k)にノイズが含まれていると、そのノイズの影響で得られる結果が正確ではなくなる。このように観測量にノイズが含まれているような場合には、できるだけ多くの撮像を行い、未知数をより真値に近い値に導くための手法として最小自乗法が有用であることを見出した。

そこで、上記N>3の画像に対して最小自乗法を適用することで最も尤もらしい O_ｋ(k+lK)を求めることができる。

具体的には、b_ｌｊ= m_ｌexp(iφ_ｊ)とおいて、

を解くことでO_ｋ(k+lK)P_ｋ(k)を求める。

以上の最小自乗処理により信号がいわば平均化されるため、元画像に重畳していたノイズの影響を低く抑えたO_ｋ(k+lK)P_ｋ(k)を求めることができる。

P_ｋ(k)は既知であるか、あるいはあらかじめ計測しておくことができるので、O_ｋ(k+lK)を求めることができる。ここで、単純にO_ｋ(k+lK)P_ｋ(k)をP_ｋ(k)で割ることでO_ｋ(k+lK)を求めることもできるが、ウィナーフィルタなどノイズの影響を受けにくい公知の手法を利用することが望ましい。

強度分布を持たない照明を与えた場合の顕微鏡光学系が持つP_ｋ(k)が検出可能な範囲は、光波長λ、対物レンズのNAに対して、k=-2NA/λ〜2NA/λであるから、上記で得られたO_ｋ(k+lK)はl=-1,0,1に対して、k=-2NA/λ-K〜2NA/λ-K、k=2NA/λ〜2NA/λ、k=-2NA/λ+K〜2NA/λ+Kの情報を含む。従って、O_ｋ(k+lK)全体としてはk=-2NA/λ-K〜2NA/λ+Kまでの情報を含むので、これをO_ｋ(k)と定義しなおして逆フーリエ変換を行い実空間の情報O_ｒ(x)に戻すことで、高い解像度を持った顕微鏡画像を得ることができる。

この結果得られた像は、空間変調がなされた１次元方向のみに高い解像度を持つが、空間変調を施す方向を少なくとも２方向に変化させ、それぞれの方向について１次元と同様の処理を施すことで２次元方向の高い解像度を持った顕微鏡を構成することもできる。

あるいは、少なくとも2方向の空間変調画像に対して2次元の最小自乗法による連立方程式を構成しておき、これを解くことでも2次元方向の高い解像度を持った顕微鏡を構成することができる。

具体的には、例えば3方向に空間変調を施した場合には、3つの方向d=1,2,3に対してO_ｋｄ(k+lK)P_ｋ(k)が未知数となるので、これらを求めればいいが、３つの０次回折成分O_ｋ１(k)P_ｋ(k)、O_ｋ２(k)P_ｋ(k)、O_ｋ３(k)P_ｋ(k)は共通のものであるため連立方程式は7本となり、それぞれの変調方向の画像数をN_ｄ (d=1,2,3)とすると、

である。これを解くことで０次変調成分O_ｋ(k)P_ｋ(k)、および、３つの方向の±１次成分 O_ｋｄ(k±K)P_ｋ(k)を求めることができる。

この場合は３方向の空間変調それぞれについて３以上の構造化照明位相における画像を処理して７つの未知数を求める問題であり、未知数よりもデータが多い状態となっている。

このような場合には最小自乗法を利用せずに一意にO_ｋｄ(k+lK)P_ｋ(k)を求めることはできない。従って、１次元変調の方向を変えて２次元解像度を向上させる際には、上記手法はきわめて有効である。

図１は、照明光の位相を変調する顕微鏡の構成の例である。照明光学系は、光源から順に、ランプ光源１、コレクタレンズ２、リレーレンズ３、開口絞り４、フィールドレンズ５、回折格子６、コンデンサレンズ７、瞳共役位置に配置された折返しミラー８、リレーレンズ９、視野絞り１０、第二対物レンズ１１、ハーフミラー１２により構成される。

回折格子６は光軸に対して垂直な面内で直行する正弦波状の透過率分布を持つ回折格子である。回折格子６は光軸に対して垂直な面内の2方向に格子パターンがあればよく、必ずしも直交している必要はないが、演算処理が単純となるため直交していたほうが望ましい。

この回折格子は紙面に垂直な方向の格子によって破線で示す回折光を生じさせる。また、紙面内の方向の格子によって、紙面の上下を通る図示しない回折光が生じる。本技術により高い空間分解能を得るためには前記回折格子は標本上に変調された照明光が投影できる範囲で周期の細かいものが望ましい。このため、前記回折光のうち考慮しなければならないのは±１次光のみとなる。２方向の格子の周期は同じであるほうが望ましいが、２方向の解像度が異なることが問題とならない場合には、２方向の周期は異なっていてもかまわない。

前記回折格子は０次光成分が十分少ない必要があるため、光源の波長に対して1/2波長の光路差となるような位相回折格子が望ましいが、十分細かい正弦波状の照明を標本に対して行えればいいので、例えば透過率を変調させた結像限界付近の周期を持った格子に対して斜光照明を行うか、あるいは±１次光の回折が結像できる周期の回折格子に対して±１次光のみが透過できるように対物レンズの瞳と共役な面に遮光板を置いてもよい。

回折格子６によって±１次光はそれぞれフィールドレンズ７周辺部を通るように分離され、＋１次光と−１次光は折返しミラーの周辺部の位置にそれぞれスポットを作る。ここで、折返しミラー８上で±１次光が重ならないように開口絞り４を調節しておく。光源として単色光を利用した場合には上記±１次光が重なることはないため、開口絞りはなくてもよい。

折返しミラー８で偏向された±１次光は対物レンズの瞳面１４の周縁部を通り、標本１５付近で互いに干渉することにより縞構造を有する照明光を照射する。

撮影は、撮像装置１７によって行われる。回折格子が直行する2方向の格子となっているため、標本上には直行する2方向の格子パターンが照明されている。図示しない回折格子駆動装置により、各格子パターンの方向に正確にその周期の1/Nだけ位置をずらしながら画像を取得する。

すなわち、まず一方の格子の方向(これをY方向とする)に1/Nづつ位置をずらしながらＮ枚の画像を取得する。次にもう一方の格子の方向(これをＸ方向とする)に1/Nだけ位置をずらしてから、Ｙ方向に1/Nづつ位置をずらしながらＮ枚の画像を取得する。以下、これを繰り返して、Ｘ方向についてもＮ回位置をずらすことでＮ^２枚の画像を取得する。

上記のように格子をずらしながら撮像を行うと、一方の格子パターンにおける同一位相の画像がＮ枚取得できるが、これらの画像はもう一方の格子パターンにより変調振幅が異なる。すなわち、上記格子パターンの方向をそれぞれｘ、ｙ方向とすると、構造化照明強度Ｉ_ｒｉは一般に、
Ｉ_ｒｉ=(1/4)Ｉ_ｒｉ０(1+cos(Ｋ_ｘx+φ_ｘ ) )(1+cos(Ｋ_ｙy +φ_ｙ)) (6)
と書けるので、ｘ方向にφ_ｘ=0,...,2πj/N,...,2π(N-1)/Nとなるようにずらすと、ある特定のｘにおけるｙ方向の照明振幅は、cos(2πj/N)に比例した値を持つことになる。すなわち変調振幅の異なる画像が得られることになる。

これらの複数の撮影画像を演算手段１９により演算することにより標本の画像を作成する。演算処理は先の例で述べた手法を２次元に拡張して適用すればよい。

Claims (9)

1. 正弦波状に空間変調された照明光により標本を照明し、
   前記照明光により照明された前記標本からの光を結像させ、取得した画像から画像演算処理により標本像を作成する画像作成方法において、
   前記標本上での前記照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を取得し、これら撮像された複数枚の画像を構成する空間周波数成分の各々についてこれらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本像を作成することを特徴とする画像作成方法。
   

   

   ここで、ｂ_ｌｊ＝ｍ_ｌexp（ｉφ_ｊ）（ｍ_ｌは前記照明光の変調振幅、φ_ｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉ_ｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐ_ｋ（ｋ）は光学系の伝達関数である。
2. 前記標本上における照明光の位相を変化させながら、前記複数枚の画像を取得することを特徴とする請求の範囲第１項に記載の画像作成方法。
3. 前記標本上での照明光の変調振幅を変化させながら、前記複数枚の画像を取得することを特徴とする請求の範囲第１項に記載の画像作成方法。
4. 前記標本に対して前記空間変調された前記照明光を施す方向が３方向であり、
   前記（４）式に代えて、以下の式に示す最小自乗法を適用することにより
   １つの０次光変調成分、各３つの±1次光変調成分を分離することを特徴とする請求項１から３のいずれか１項に記載の画像作成方法。
   

   

   ここで、Ｎdは前記照明光を施す各方向の画像数、ｍ_ｌは前記照明光の変調振幅、φ_ｊはｊ番目の前記画像の前記照明光の変調位相である。又、Ｉ_ｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐ_ｋ（ｋ）は光学系の伝達関数である。
5. 光源と、
   標本と光学的に共役な位置に配置された回折格子を含み、前記光源からの光を前記回折格子により変換された、正弦波状に空間変調した光を前記標本へ照明する照明光学系と、
   前記回折格子を変調する変調装置と、
   前記標本からの空間変調された標本像を撮像する撮像手段と、
   前記撮像手段で撮像した、前記標本上での照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を構成する空間周波数成分の各々について、これらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本の画像を生成する画像生成装置とを有することを特徴とする顕微鏡装置。
   

   

   ここで、ｂ_ｌｊ＝ｍ_ｌexp（ｉφ_ｊ）（ｍ_ｌは前記照明光の変調振幅、φ_ｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉ_ｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐ_ｋ（ｋ）は光学系の伝達関数である。
6. 前記撮像手段は、前記標本上での照明光の位相を変化させた複数枚の画像を撮像することを特徴とする請求項５に記載の顕微鏡装置。
7. 前記撮像手段は、前記標本上での照明光の変調振幅を変化させた複数枚の画像を撮像することを特徴とする請求項５に記載の顕微鏡装置。
8. 前記回折格子は、光軸に垂直な面内に２方向の格子パターンを有し、
   前記変調装置は、前記２方向のそれぞれに対して垂直な方向に前記回折格子を移動することを特徴とする請求項５から請求項７のうちいずれか１項に記載の顕微鏡装置。
9. 前記回折格子は、光軸に垂直な面内に１方向の格子パターンを有し、
   前記標本に対して前記空間変調された前記光を３方向から施して取得した複数の画像を用いて、前記（４）式に代えて以下の式に示す最小自乗法を適用することにより、１つの０次光変調成分、各３つの±1次光変調成分を分離することを特徴とする請求項５から７のうちいずれか１項に記載の顕微鏡装置。
   

   

   ここで、Ｎdは前記照明光を施す各方向の画像数、ｍ_ｌは前記照明光の変調振幅、φ_ｊはｊ番目の前記画像の前記照明光の変調位相である。又、Ｉ_ｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐ_ｋ（ｋ）は光学系の伝達関数である。

Images