以下では、適宜図面を参照しながら、一実施形態の定量位相画像生成装置、定量位相画像生成方法、およびプログラム等について説明する。本実施形態の定量位相画像生成装置は、対象物における間隔Δz離れた複数の位置のそれぞれに、対物レンズの焦点(つまり、合焦面)を配置しつつ照明光を照射し、焦点が配置されたそれぞれの領域(つまり、それぞれの合焦面)からの光を検出し、当該検出により取得したデータに基づいて定量位相画像を作成するものであり、当該間隔Δzは、対物レンズの開口数、照明光の波長および対物レンズと対象物の間の屈折率などに基づいて設定する。
ここで、定量位相画像とは、対象物における厚さの変化と屈折率の変化を積とする位相を表す(画像化した)画像である。既存の位相差画像や微分干渉画像は、位相に振幅が混ざる干渉画像であるため、対象物の位相を完全に定量化することはできないが(振幅が無視でき、かつ位相が小さい条件のみ定量化できるが)、定量位相画像は、対象物の位相が2倍、3倍、4倍等の様々な値に変化しても、定量的な位相を表すことができるため、対象物の位相を定量化した画像と称することもできる。
図1は、本実施形態の定量位相画像生成装置の構成を示す概念図である。定量位相画像生成装置1は、顕微鏡、すなわち定量位相顕微鏡であり、顕微鏡本体部100と、情報処理部40とを備える。顕微鏡本体部100は、対象物Sに照明光を照射する透過照明光学系10と、ステージ8と、結像光学系7と、落射照明光学系110と、検出部9とを備える。結像光学系7は、対物光学系20と、フィルターキューブ120と、リレー光学系30とを備える。
なお、情報処理部40の機能は顕微鏡本体部100から物理的に離れた電子計算機等に配置してもよい。
透過照明光学系10は、光源11と、レンズ12と、バンドパスフィルター13と、視野絞り14と、レンズ15と、開口絞り16と、集光レンズ17とを備える。対物光学系20は、対物レンズ21を備える。対物レンズ21としては、対物レンズ21a,21b,および21cの複数の対物レンズを選択して使用できる。リレー光学系30は、結像レンズ31と、ビームスプリッター32と、ミラー33a,33b,および33cと、レンズ34a,34b,34cと、接眼レンズ35とを備える。接眼レンズ35は眼Eを近づけて覗き込むことができるように構成されている。
なお、交換可能な対物レンズ21の数は特に限定されない。また、顕微鏡本体部100に含まれる光学系の態様は、対象物Sの所望の面の画像を撮像により取得することができれば特に限定されない。
図1において、顕微鏡本体部100の光学系の光軸を一点鎖線L1で示し、光源11からの照明光(光束)を二点鎖線L2で模式的に示した。対物レンズ21のうち、対象物Sに焦点を配置しているレンズを対物レンズ21aとすると、後に詳述する対物レンズ21aの光軸Loは、顕微鏡本体部100の光軸L1と一致しているため、これを図1においてL1(Lo)と示した。検出部9で検出された光の検出信号の流れを実線矢印A1で示し、情報処理部40による顕微鏡本体部100の制御を実線矢印A2で模式的に示した。一点鎖線L1,L2、実線矢印A1,A2は以下の実施形態でも同様のものを示す。
光源11は、ハロゲンランプ等の非コヒーレント光源装置を含み、対象物Sに照射する照明光L2を出射する。本実施形態では、光源11は非コヒーレント光を出射し、出射された非コヒーレント光が、後述する開口絞り16を含む透過照明光学系10の各部により、位相復元が可能な光軸に略垂直な波面を有する光とされて対象物Sに照射される構成となっている。「位相復元」とは、後に詳述するが、計測した対象物Sからの光の強度から、強度輸送方程式を用いて対象物Sの位相値を算出することである。照明光L2は、対象物Sの位相計測が可能であればどのような波長の光でも構わないが、可視光で見えづらい対象物を位相計測により可視化できる観点では、そのまま可視光を使用することが簡素で好ましい。
なお、対象物Sに照射する照明光L2は、可視光でなくてもよく、紫外光や赤外光であってもよい。さらに、照明光L2の波面は光軸に略垂直でなくとも、波面の形状が既知であればよく、例えば、照明光L2の波面は略球面であってもよい。また、光源11は、パルスレーザや連続発振(CW)レーザなどのコヒーレント光源を含み、照明光L2としてコヒーレント光を出射してもよい。
光源11から出射した照明光L2は、レンズ12に入射する。レンズ12に入射した照明光L2は、レンズ12により屈折され略平行な光となってレンズ12を出射し、バンドパスフィルター13に入射する。バンドパスフィルター13に入射した照明光L2は、所望の波長範囲の波長成分の光のみがバンドパスフィルター13により透過されて、視野絞り14に入射する。ここで、バンドパスフィルター13により透過される光の波長範囲は、軸上色収差によって発生する、位相を復元する際の、位相の実測値と実際の位相との誤差(後述の位相復元誤差)が大きくなり過ぎないように適宜設定される。バンドパスフィルター13は適宜光路外の位置P1に退避可能に構成される。
なお、光源11としてレーザ光等の波長範囲が狭い光源を用いる際は、バンドパスフィルター13を光路に配置する必要は無い。また、バンドパスフィルター13は用いずに、対象物Sに対して結像側に配置されたフィルターキューブ120のフィルターにより検出する波長範囲を制限してもよい。
視野絞り14に入射した照明光L2は、その光束径が調節されて視野絞り14を出射し、レンズ15に入射する。レンズ15に入射した照明光L2は、レンズ15により収束されてレンズ15を出射し、開口絞り16に入射する。開口絞り16に入射した照明光L2は、その波面が球面状になるように変換され、開口絞り16を出射し、集光レンズ17に入射する。集光レンズ17に入射した照明光L2は、集光レンズ17により屈折され、対象物Sに照射される際に光軸に略垂直な波面を有する光となり、対象物Sに照射される。
対象物Sは、対象物Sにおいて位相の計測を行う対象となる部分またはその近傍に対物レンズ21aの焦点位置が含まれるようにステージ8上に配置される。対象物Sは、特に限定されないが、照明光が対象物Sに照射され透過する際に、振幅の変化の割合は比較的小さく、一方、位相の変化の割合は大きい場合に、本実施形態に係る位相計測の効果がより顕著に得られるので好ましい。このような物体を位相物体と呼ぶ。対象物Sとしては、上記の観点から、特に培養細胞等の細胞のような位相物体が好ましい。
ステージ8は、対物レンズ21aの光軸、および当該光軸に垂直な軸に沿って移動可能に構成されている。ここで、対物レンズ21aの光軸とは、対物レンズ21aの対象物S側のレンズ面の光学中心と対物レンズ21aの焦点を通る直線で示される軸Lo(図5参照)を指す。ステージ8は、モータ等の移動装置による電動駆動により、対象物Sを撮像する際に、対物レンズ21aの光軸Loに沿った移動が可能に構成されている。図5では、対物レンズ21aの光軸Loが、顕微鏡本体部100の光軸L1と一致している点を、Lo(L1)と示した。以下の実施形態では、図1に座標軸900として示すように、顕微鏡本体部100の光軸L1、すなわち対物レンズ21aの光軸Loに平行にz軸をとり、z軸に垂直であって紙面に平行にx軸を取り、x軸及びz軸に垂直にy軸をとる。
対物光学系20は、対物レンズ21を含んで構成される。本実施形態では、対物レンズ21としては、複数の対物レンズ21a,21b,21cを備える。後述するように、定量位相画像生成装置1では、開口数NA等の異なる対物レンズ21a,21b,および21cを交換して対象物Sを撮像して、それぞれの対物レンズ21により得たデータに基づいて位相計測を行う際、得られる位相値のばらつきを抑制するように構成されている。対物レンズ21を変更した際に計測される位相値の変化が大きいと、異なる対物レンズ21を用いて取得したデータの間の比較が難しくなる。また、異なる対物レンズ21を用いて取得したデータのうちどの対物レンズ21を用いて取得したデータが位相を復元する際の精度が高いのか判断が難しい等の理由により、一連の測定に係る作業に負担が生じる。
落射照明光学系110は、水銀ランプ111等を含んで構成され、蛍光観察等のための励起光を出射する。落射照明光学系110から出射した光は、フィルターキューブ120に入射する。
フィルターキューブ120は、励起フィルター121と、ダイクロイックミラー122と、吸収フィルター123とを含んで構成され、落射照明光学系110から入射した光を対象物Sへと反射する一方、対象物Sからの蛍光をリレー光学系30へと透過させる。フィルターキューブ120は、光路外の位置P2に適宜退避できるように構成されている。
励起フィルター121は、落射照明光学系110から入射した励起光の波長範囲を、ダイクロイックフィルター122の反射波長領域にするように透過波長域が設定されており、これにより、励起光の一部の波長範囲の励起光を透過させる。ダイクロイックフィルター122は、励起フィルター121を透過した励起光を対象物Sに向けて反射し、対物レンズ21aから入射した対象物Sからの蛍光を吸収フィルター123へと透過する。吸収フィルター123は、ダイクロイックフィルター122から入射した光のうち、対象物Sや光学系からの不要な散乱光を吸収し、必要な光のみをリレー光学系30の結像レンズ31に出射する。
リレー光学系30の結像レンズ31は、フィルターキューブ120から入射した光を検出部9に結像するように屈折させてビームスプリッター32に出射する。ビームスプリッター32は、フィルターキューブ120から入射した光の一部を検出部9へと反射し、残りは透過させてミラー33aに出射する。ミラー33aで反射した光は、レンズ34a、ミラー33b、レンズ34b、レンズ34cおよびミラー33cの順で、ミラーでの反射またはレンズでの屈折を経て接眼レンズ35に入射する。接眼レンズ35に入射した光は接眼レンズ35により屈折されてユーザの眼Eに入射して知覚される。
検出部9は、CCDやCMOS等の撮像素子の検出器を含んで構成され、リレー光学系30のビームスプリッター32により反射された光を検出する。検出した光に対応する検出信号は不図示のA/D変換器等により適宜A/D変換されて情報処理部40に出力される。言い換えると、検出部9は、対象物9の像を撮像する。
なお、定量位相画像生成装置1では、対象物Sの位相計測に際し、検出部9が、透過照明光学系10からの照明光L2が照射された対象物Sの像を撮像する構成にしたが、落射照明光学系110からの照明光が照射された対象物Sの像を撮像する構成にしてもよい。この場合、落射照明光学系110からの照明光は、対物レンズ21a(対物光学系20)を介して対象物Sに照射され、対象物Sで反射した光に基づく対象物Sの像を検出部9で撮像する。
図2は、情報処理部40の構成を示した図である。情報処理部40は、入力部41と、表示部42と、通信部43と、記憶部44と、制御部50とを備える。制御部50は、装置制御部51と、解析部52とを備える。装置制御部51は、最適条件計算部511を備える。解析部52は、位相復元処理部521と、画像構築部522と、画像解析部523とを備える。
入力部41は、キーボード、マウスおよび/またはタッチパネル等の入力装置により構成され、顕微鏡本体部100による対象物Sの撮像や解析部52による当該撮像により得られたデータの解析に必要な情報等を含む入力データを受け付ける。入力部41は、受け付けた入力データを、後述の記憶部44に適宜記憶させる。
なお、入力データは、後述の通信部43を介して取得してもよい。
表示部42は、液晶モニタ等の表示装置により構成され、顕微鏡本体部100による撮像の条件、当該撮像により得られたデータに基づいて解析部52が生成した解析結果および定量位相画像等を表示する。
通信部43は、インターネット等の通信網を利用して通信を行う通信装置により構成され、顕微鏡本体部100による撮像の条件、当該撮像により得られたデータに基づいて解析部52が生成した解析結果および定量位相画像等を送信したり、適宜必要なデータを送受信したりする。
記憶部44は、不揮発性メモリ等の記憶装置により構成され、制御部50に処理を行わせるプログラム、顕微鏡本体部100による撮像に必要なデータ、当該撮像により得られたデータおよび当該データに基づいて解析部52が生成した解析結果および定量位相画像等を記憶する。
制御部50は、CPU等のマイクロプロセッサ等を含むプロセッサにより構成され、定量位相画像生成装置1を制御する動作の主体として機能する。すなわち、記憶部44等に搭載されているプログラムを実行することにより、顕微鏡本体部100による対象物Sの撮像を行う装置制御処理、当該撮像により得られたデータの位相復元処理等の解析処理、および出力処理等の各種処理を行う。
制御部50の装置制御部51は、ユーザにより入力された入力データに基づいて顕微鏡本体部100による対象物Sの撮像に必要なパラメータを適宜算出するとともに、取得した当該パラメータおよび入力データ等に基づいて顕微鏡本体部100の各部の動作を制御する。
最適条件計算部511は、顕微鏡本体部100が対象物Sにおける複数の位置のそれぞれに対物レンズ21aの焦点を順次配置して検出部9により対象物Sからの光を検出する際に設定するための、当該複数の位置の間隔Δzを算出する。この間隔Δzを焦点間隔と呼ぶ。焦点間隔Δzは、精度よく位相計測を行うために重要なパラメータである。以下、この点に関し、強度輸送方程式を利用した位相計測の方法に基づいて説明する。
図3は、位相物体を透過した光の強度分布が変化する点を説明するための概念図である。対象物Sは、細胞等の位相物体であり、対象物Sには、波面W1,W2,W3により模式的に示されているように、互いに平行で光軸に略垂直な波面を有する平面波が照射されている。平面波の進行方向は矢印A3で示した。対象物Sを透過した光は、振幅は大きく変化しないものの、位相が変化することにより、等位相面、すなわち波面が変化する(波面W4)。ホイヘンス=フレネルの原理で、曲線状の波面を構成する光は、実線矢印A4で示されるように計測面i1に到達する。ここで、後に詳述するように、一例として対物レンズ21aの焦点が配置される対象物Sにおける特定の面(言い換えると、対物レンズ21aの合焦面)を計測面i1と称する。計測面i1は、対物レンズ21aの光軸に実質的に垂直な面である。図3では、計測面i1は平面波の波面W1〜W3と実質的に平行である。計測面i1上では、上述のように対象物Sによる波面の変化に伴い所定の光の強度分布(以下、光強度分布と呼ぶ)が形成される。対象物Sによる透過光の位相の変化と光強度分布との関係に基づいて、透過光の強度を解析することにより、位相の変化を計測する方法が提案されている。本実施形態では、以下に説明する強度輸送方程式を用いた方法を利用する。
伝播する波動における、強度Iと位相φの関係は、強度輸送方程式により記述される。強度輸送方程式は、以下の式(1)および(2)による連立方程式である。詳細は、Paganin D and Nugent KA, “Noninterferometric Phase Imaging withPartially Coherent Light,” Physical Review Letters, Volume 88, pp.2586-2589を参照されたい。
…(1)
…(2)
ここで、∇の添字であるxyは、XY平面(光の伝搬方向に垂直な平面、すなわち本実施形態ではz軸に垂直な平面)を示す。すなわち、式(2)の左辺に現れる∇
xyφは、XY平面における位相φの勾配(gradient)を示す。式(1)の左辺と式(2)の右辺に現れるΦは、式(1)をポアソン方程式の形にして計算しやすいように導入された関数であり、検出したXY平面における強度Iのzに関する微分係数の分布を得て、ポアソン方程式(1)を解くことにより導出できる。式(1)を解いて得た関数Φと光強度分布から、式(2)を解いて位相分布φを算出することができる。
図4は、位相分布φの算出のために行う対象物Sからの光の検出方法を説明するための図である。まず、対象物Sの計測面i1における光強度分布および計測面i1におけるzに関する微分係数分布を得る必要がある。このため、装置制御部51は、図4で示すように、対物レンズ21aの焦点が所望の計測面i1に含まれるように設定して、結像光学系7により検出部9の検出面に対象物9の像を結像させて対象物Sからの光を検出部9に検出させる。検出部9の各画素からの検出信号は、制御部50(図2)に入力され、位相復元処理部521により各画素の位置と検出信号に基づいた光強度とが対応付けられた光強度分布データが生成される。
光強度分布データは、ある座標zの値に対応する計測面上での座標(x、y)の位置に対応する、検出部9における各画素で検出された光の強度分布を表すデータである。光強度分布データは、当該座標x、y、zの値に対応する光強度を示すデータであり、ルックアップテーブルの形式で構築されている。例えば、あるzの値に対応する計測面上での光強度分布を色または階調で区別して二次元にマッピングすることにより、当該zの位置における光の強度分布を示す画像(以下、光強度画像)を作成することができる。
なお、所定の座標x、y、zの値に対応する光強度の値を取り出すことができれば、光強度分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
計測面i1の位置(言い換えると、対物レンズ21aの焦点位置)は、検出部9により検出される対象物Sからの光の光強度のコントラストに基づいた位置に設定されることが好ましい。装置制御部51は、事前に(本実施形態に係る位相計測の前に)取得した対象物Sの三次元の光強度分布データから算出したパラメータ(以下に示す分散vz等の対象物Sからの光の光強度のコントラストを示すパラメータ)に基づいて、計測面i1の位置を設定することができる。上記三次元の光強度分布データを事前に撮像により取得する場合、この光強度分布データの取得のための撮像の際の対象物Sにおける焦点の位置は特に限定されず、適宜設定すればよい。
装置制御部51は、事前に取得した三次元の光強度分布データについて、各zの値に対応した、x方向およびy方向についての二次元の光強度分布をIz(x、y)としたとき、各zの値に対応する光強度分布の分散値vzを以下の式(11)により算出する。
…(11)
ここで、Nxは事前に取得した光強度分布データのx方向のピクセル数、Nyは事前に取得した光強度分布データのy方向のピクセル数、Izの上にバーが示されたものは各zの値に対応する、当該光強度分布データ上の全ての(x,y)についてのIz(x,y)の算術平均等の平均値である。装置制御部51は、算出した各zの値に対応する分散vzに基づいて計測面i1の位置、すなわち、対物レンズ21aの焦点位置を設定する。例えば、装置制御部51は、算出した分散vzのうち、極小となる分散vzに対応するz方向の位置に計測面i1の位置を設定する。言い換えると、装置制御部51は、計測面i1の位置をコントラストが低い光強度分布データに対応するzの値に設置する。
装置制御部51は、最適条件計算部511が算出した焦点間隔Δzに基づいて、対物レンズ21aの焦点位置が、計測面i1上の位置からz軸に沿って−Δzおよび+Δzの距離ずれたそれぞれの位置となるように計測面i2およびi3上に当該焦点位置を順次設定する。焦点間隔Δzの具体的な値の決定方法は後述する。装置制御部51は、これらの計測面i2およびi3にそれぞれ対物レンズ21aの焦点を配置した際に、結像光学系7により検出部9の検出面に対象物Sの像を結像させて対象物Sからの光を検出部9に検出させる。計測面i2およびi3に対物レンズ21aの焦点を配置したそれぞれの場合に対応する検出部9の各画素からの検出信号は、制御部50(図2)に入力され、位相復元処理部521により各画素の位置と検出信号に基づいた光強度とが対応付けられた光強度分布データがそれぞれ生成される。
なお、計測面i1〜i3上に配置される、それぞれの対物レンズ21aの焦点の位置は、それぞれ計測面i1〜i3上に存在すれば、XY平面上の位置は特に限定されない
生成された計測面i2と計測面i3のそれぞれの計測面に対応するそれぞれの光強度分布データは、計測面i1における光強度のzに関する微分係数を算出するのに用いられる。位相復元処理部521は、計測面i2上の点および計測面i3上の点であって、XY平面上での座標が同じ位置等の互いに対応する位置にある2点の強度の値の差分を、計測面i2およびi3の間の距離である2Δzで割ることにより、計測面i1における光強度のzに関する微分係数に相当するdI/dz=(I3−I2)/2Δzを算出する。位相復元処理部521は、算出された光強度のzに関する微分係数分布に対応するデータ(以下、微分係数分布データと呼ぶ)を適宜記憶部44等に記憶させる。微分係数分布データは、座標x、y、zの値に対応する光強度のzに関する微分係数の分布を示すデータであり、ルックアップテーブルの形式で構築されている。
なお、所定の座標x、y、zの値に対応するzに関する微分係数の値を取り出すことができれば、微分係数分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
図5は、対象物Sを撮像する際の対物レンズ21aの焦点と計測面i1〜i3の配置例を示す。図5では、ステージ8上に対象物Sが載置されている。図5では、対物レンズ21aの光軸Loに平行にz軸が設定され、対象物Sから対物レンズ21aへ向かう向きをz軸の+の向きとしている。また、焦点位置Fから対物レンズ21aに入射する光の光束を二点鎖線L200で模式的に示した。図5では、対物レンズ21aの焦点位置Fをz=z0とし、z=z0の点を含んでz軸に垂直な面を計測面i1として示している。
装置制御部51は、モータ等の移動装置を介して電動駆動することによりステージ8を移動させ、計測面i1,i2,i3上にそれぞれ対物レンズ21aの焦点位置を設定する。装置制御部51は、対物レンズ21aの光軸Loに沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を順次配置する。ここで、「対物レンズ21aの光軸Loに沿って互いに焦点間隔Δz離れた複数の位置」とは、当該複数の位置を対物レンズ21aの光軸Loに射影した際に、互いにΔzの距離離れる複数の位置を指す。また、対物レンズ21aは結像光学系7においてステージ8側にあるため、対物レンズ21aの焦点位置Fは対物光学系20または結像光学系7の焦点位置と言い換えることもできる。
装置制御部51の最適条件計算部511は、本実施形態における顕微鏡本体部100の設定情報と後に詳述するパラメータkを用い、焦点間隔Δzを以下の式(100)により算出する。ここで、顕微鏡本体部100の設定情報とは、定量位相画像の生成のために顕微鏡本体部100に設定される情報であり、例えば、対物レンズ21aの開口数、照明光L2の波長、対物レンズ21aと対象物Sとの間の屈折率の情報である。
…(100)
ここで、λは照明光L2の波長であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。nは対物レンズ21aと対象物Sとの間の屈折率であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。装置制御部51は、対物レンズ21aが乾燥対物レンズの場合、対物レンズ21aと対象物Sとの間の雰囲気は空気であるため、空気の屈折率として例えばn=1.00に設定する。一方、対物レンズ21aが液浸対物レンズの場合、装置制御部51は、対物レンズ21aと対象物Sとの間に満たされる浸液の屈折率を屈折率nとして設定する。NAは対物レンズ21aの開口数であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。そして、最適条件計算部511は、顕微鏡本体部100の設定情報に基づいて、焦点間隔Δzを算出する。具体的には、最適条件計算部511は、式(100)に示されたように、対物レンズ21aの開口数NA、照明光L2の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nの情報に基づいて焦点間隔Δzを算出する。
また、パラメータkは1以上の値であり、式(100)において、k=1の場合には、対物レンズ21aの性能を最大限に生かす遮断空間周波数まで、強度輸送方程式により位相復元を行うことができる。kの値が1より大きくなるに従って、強度輸送方程式により位相復元を行うことができる空間周波数は低くなる。以下では、パラメータkを位相復元パラメータと呼ぶ。
なお、対象物Sの実際の位相値と測定した位相値との差を位相復元誤差と称する。高い空間周波数で位相を復元すると、基本的に位相復元誤差が小さくなる。位相復元誤差が小さい場合には、実際の位相値により近い位相を(つまり、より高精度に位相を)復元することになるので、位相を復元する際の精度(位相復元精度と称する)が高いと言うことができる。
最適条件計算部511は、位相復元パラメータkを、25以下に設定することが好ましく、16以下に設定することがより好ましい。位相復元パラメータkが大きくなると、上記の通り、位相復元可能な空間周波数が低くなる。k=25の場合における焦点間隔Δzを採用した場合では、対物レンズ21aの遮断空間周波数の5分の1の空間周波数まで復元することに相当する性能となる。また、k=16の場合における焦点間隔Δzを採用した場合では、対物レンズ21aの遮断空間周波数の4分の1の空間周波数まで復元することに相当する性能となる。可視光での数μm〜数百μm程度の大きさの細胞等の対象物S(位相物体)の観察では、位相復元パラメータkは25以下の比較的大きい値に設定すると細胞全体を検出する上で好ましく、パラメータkが16以下だと、核等の細胞内の比較的大きい構造物を検出しやすくなるためさらに好ましい。
なお、上記の例においては、対物レンズ21aの遮断空間周波数の5分の1や4分の1の空間周波数まで復元することに相当するようにパラメータkの値を決定したが、パラメータkの値はこれらの値に限られることはなく、対象物Sの位相計測に必要な分解能に応じて設定すればよい。
最適条件計算部511が、照明光L2の波長λが340nm、400nm、550nm、700nmおよび1300nmにおける焦点間隔Δzを、位相復元パラメータkを1〜16の範囲として式(100)に基づいて設定する場合の数値範囲の例を以下の表1に示す。
最適条件計算部511は、特に可視光を照明光とした位相の計測に際し、各種の対物レンズ21に対し、位相復元パラメータkを1〜16の範囲として焦点間隔Δzを算出した表1の結果に基づき、焦点間隔Δzを0.07μm以上90.3μm以下に設定することが好ましい。焦点間隔Δzを0.07μm以上90.3μm以下に設定すると、開口数NAが0.3〜1.40等の範囲におけるいずれかの対物レンズ21を用いて、遮断空間周波数の4分の1から遮断空間周波数の全体までを精度よく位相復元することができる。つまり、多くの種類の対物レンズ21について、対物レンズ21の遮断空間周波数の大部分を精度よく(言い換えると、対物レンズ21の性能を活かして)位相復元することができる。なお、対物レンズ21の開口数NAを0.3〜1.40の範囲としたが、この範囲に限られず、任意の開口数NAを有する対物レンズ21を用いてもよい。また、照明光L2の波長を、可視光を中心に340nm、400nm、550nm、700nmおよび1300nmとしたが、この範囲に限られず、可視域の他の波長を含んでもよいし、紫外域や赤外域の波長を含んでもよい。
ここで、焦点間隔Δzが短すぎると(つまり、パラメータkが小さすぎると)、強度輸送方程式(式(1)、(2))によって位相復元する際のバックグラウンドノイズなどのノイズや、焦点位置の移動の際の駆動誤差などの外乱要因により、かえって位相復元誤差が増加するため好ましくない。一方、焦点間隔Δzが大きすぎると(つまり、パラメータkが大きすぎると)、位相復元可能な空間周波数が低下する。したがって、例えば、焦点間隔Δzを0.09μm以上12.3μm以下に設定すると、開口数NAが0.75〜1.20等の比較的広範囲のいずれかの対物レンズ21を用いて、対物レンズ21の遮断空間周波数の大部分をより精度よく位相復元することができる。さらに、焦点間隔Δzを0.10μm以上6.0μm以下に設定すると、開口数NAがおおよそ0.95等の対物レンズ21を用いて、対物レンズ21の遮断空間周波数の大部分をさらに精度よく位相復元することができる。
なお、上述の表1では遮断空間周波数の4分の1まで位相復元できる条件であるk=16を上限値として、式(100)におけるkの範囲を設定したが、最適条件計算部511は、対物レンズ21aによる点像強度分布(Point Spread Function:PSF)に基づいて焦点間隔Δzを設定してもよい。最適条件計算部511は、一例として、当該点像強度分布(PSF)の第一暗環の位置を基準とした場合のkの値であるk=5の条件に基づき、kが5以下の範囲として式(100)に基づいて焦点間隔Δzを設定することができる。一例として、最適条件計算部511は、上述したように、対物レンズ21aの遮断空間周波数まで位相復元が可能となる条件(k=1)を加え、kが1以上5以下の範囲として式(100)に基づいて焦点間隔Δzを設定してもよい。
図6は、点像強度分布とデフォーカス距離との関係を示す図である。図6において点像強度分布(PSF)を得るための対物レンズの条件は、倍率が20倍、開口数NAが0.75の乾燥タイプであり、光の波長は550nmである。横軸は、対物レンズ21aの光軸(z軸)上にとった焦点位置Fからの距離(デフォーカス距離)を示す。縦軸は、各デフォーカス距離に対応するz軸上の点像強度分布PSFの強度を示す。位相復元パラメータk=5に相当する第一暗環の位置は、点像強度分布PSFの強度が0となるz軸上の位置であって、絶対値の最も小さい位置となる。最適条件計算部511は、焦点間隔Δzを焦点位置Fと第一暗環の位置との間の距離に基づいて設定することで、高い空間周波数まで精度よく位相復元を行うことができる。
図7(A)は、照明光の波長λを550nm、対物レンズ21aの倍率を20倍、開口数NAを0.75の乾燥タイプ(n=1.00)とし、焦点間隔Δzを第一暗環がz軸に沿って延びる距離(Δz=1.6μm)として、空間周波数と位相復元する利得との関係を示したものである。位相復元する利得は、対象物S(位相物体)を透過した波面が距離zの面にもたらす光強度分布に関するフレネル・キルヒホッフの積分から導出される、焦点間隔Δzに基づいて変化するコントラスト伝達関数(Contrast Transfer Function:CTF,実線)により示した。
また、図中「Transport Intensity Equation:TIE」で示されている破線は、強度輸送方程式に基づいた位相復元する利得曲線であり、強度輸送方程式がCTFの関数を近似した関数であるため、2つの利得曲線(CTFとTIE)は、高周波数域で解離する。図中、「CTF」と「TIE」で示された2つの曲線が略一致している周波数領域においては、強度輸送方程式に基づいて正確な位相値を復元することができる(つまり、高精度な)。なお、開口数NAを照明光L2の波長λで割った値で得られる遮断空間周波数は、縦軸に平行な二重線で対応する空間周波数の位置に示した。
図7(B)は、照明光L2の波長λ、対物レンズ21aの倍率、開口数NAについては図7(A)と同様の条件で、焦点間隔Δzを0.4μmとして、空間周波数と位相復元する利得との関係を示したものである。図7(A)と図7(B)とを比較すると、焦点間隔Δzが短い図7(B)の場合の方が、CTFとTIEとが略一致する周波数域が広く、より遮断空間周波数に近い周波数域まで位相復元することができることがわかる。
焦点間隔Δzを導出する上述の式(100)において、位相復元パラメータkを一定にすると、位相復元精度を維持しながら、対物レンズ21を交換する等、対物レンズ21の諸元を変化させることができる。ここで、位相復元精度を維持するとは、対物レンズ21を交換する際に、得られる位相の値のばらつきが抑えられることを指す。
図8(A)〜(C)には、遮断空間周波数まで位相復元できる条件で、位相復元パラメータkを一定に保ちながら、式(100)に従い、開口数NA等に基づいて焦点間隔Δzを変化させた場合のコントラスト伝達関数を示した。図8(A)、(B)、(C)は、開口数NAがそれぞれ0.3、0.75および0.95の場合を示している。図8(A)、(B)、(C)のいずれにおいても、コントラスト伝達関数(CTF)が強度輸送方程式に基づく伝達関数(TIE)から解離し始める利得(縦軸)の値は同様である。また、図8(A)でCTFとTIEが一致している周波数領域は、図8(B)、(C)においてCTFとTIEが一致している周波数領域に含まれる。従って、対物レンズ21を交換する場合に、式(100)に基づいて、位相復元パラメータkを一定にしながら、対物レンズ21の開口数NA等に合わせて焦点間隔Δzを変更することで、位相復元する際の位相値を略一定に保つことができる。例えば対物レンズ21の開口数NAが0.3のときに位相復元できる周波数領域に対応する大きさの細胞構造等は、式(100)に基づいて開口数NAが0.75または0.95である対物レンズ21へと交換する際にも、同じ位相値として算出される。従って、同じ対象物Sに対して対物レンズ21を切り替えても位相復元した結果得られた位相のばらつきは小さくなり、対象物Sの定量的な解析が可能となる。
図9(A)〜(C)は、遮断空間周波数の4分の1まで位相復元できる条件で、位相復元パラメータkを一定に保ちながら、式(100)に従い、開口数NA等に基づいて焦点間隔Δzを変化させた場合のコントラスト伝達関数を示した。なお、縦軸に平行な二重線で示す遮断空間周波数は、図8(A)〜(C)で示す遮断空間周波数(図8(A)〜(C)の縦軸に平行な二重線に対応する周波数)の4分の1である。この場合でも、コントラスト伝達関数が強度輸送方程式に基づく伝達関数から解離し始める利得の値は略同様である。従って、この場合においても、図8(A)〜(C)を用いて説明した場合と同様に、対物レンズ21を交換する場合に、式(100)に基づいて焦点間隔Δzを変更することで、位相復元した結果得られた位相のばらつきを小さくすることができる。
なお、空間周波数の低下に伴い伝達関数の値は0へと漸近する。このような空間周波数が0近傍の低周波数領域では、微分演算子∇xyによる演算の際、0による除算によって、計算値が発散する場合がある。図7(A)および(B)を比較すると、図7(B)では、空間周波数の0からの増加に伴う伝達関数の増加が緩やかであるため、上記のように計算値が発散し位相の計測結果に影響し得る。このような影響を避けるため、位相計測により得られた、例えば伝達関数が0.2、0.1等の所定の値以下の低周波数領域での位相の値を、より高い周波数領域での位相の値よりも低く重み付けして計算したり、ウェイティング・ハイパス・フィルターにより光強度分布データにおいて、実座標空間から周波数空間にフーリエ変換した場合に低周波数領域に対応する部分のノイズを除去したりすることができる。
また、光強度分布データの、実座標空間から周波数空間にフーリエ変換した場合に遮断空間周波数より高い周波数領域に対応する部分のノイズについても、ローパスフィルターで適宜除去することが好ましい。ユーザが入力等して設定した対物レンズ21aの開口数NAおよび照明光L2の波長λから、装置制御部51が遮断空間周波数NA/λを算出し、算出された遮断空間周波数に基づいて、光強度分布データの、実座標空間から周波数空間にフーリエ変換した場合に高周波数領域に対応する部分のノイズをウェイティング・フィルターにより除去してもよい。また、特に図7(A)に示すように、コントラスト伝達関数(CTF)と強度輸送方程式に基づく伝達関数(TIE)で示された2つの曲線が略一致している周波数領域以外の周波数領域(すなわち、位相復元されない周波数領域)に対応する光強度分布データの成分についても、位相復元する際のノイズになり得るため、ローパスフィルターで除去することが好ましい。
上述のように、焦点間隔Δzの値を調節することにより位相を復元する際の精度を高くすることができるが、位相を復元する際の精度は、焦点間隔Δzの他、対象物S上のサンプリング間隔を調節することによって高くすることができる。
図10は、サンプリング間隔を説明するための図である。図3について上述した通り、対象物Sを透過して非平面となった波面W4は、計測面i1〜i3(以下、計測面i1〜i3を総称して計測面iと呼ぶ)に位相の変化に基づいた光強度分布を形成する。図10の右側の図は、計測面iを対物レンズ21aの光学中心から見た概念図で、検出部9の個々の画素に対応する部分Gを示した。個々の画素に対応する部分Gは、対象物Sに対応する領域を格子状に覆うように配列される。以下の実施形態で、サンプリング間隔Δx、Δyは、このように対物レンズ21aの焦点位置が設定された計測面iにおける個々の画素に対応する部分Gの幅である。
サンプリング間隔Δx、Δyは、検出部9の画素サイズをP、結像光学系7の横倍率をβとしたとき、Δx=Δy=P/βとなる。ここで、検出部9の画素サイズとは、CCD等の場合、各画素の幅を示し、変形例6で後述するレーザ走査型蛍光観察ユニットを用いた走査型顕微鏡の場合、画素サイズPは、視野数(対角)をスキャン倍率で割ったサイズである。以下では、サンプリング間隔をΔxとして記述する。結像光学系7の横倍率βは、対物レンズ21aの倍率β1とリレー光学系30の倍率β2との積となる。
図11(A)は、サンプリング間隔Δxが互いに異なり、画素数Nが互いに同じ2つの計測条件における、位相復元した場合の周波数利得を示す図である。図中、サンプリング間隔Δxがより大きいΔx=1.6μmのデータ(破線)では、周波数0付近にも大きな周波数利得を示す。サンプリング間隔Δxが大きくなると、低周波数領域をより良好に復元するために周波数サンプリングが多くなる為、光強度分布I1,I2,I3(図4)に含まれるノイズにより位相を復元する際の精度が低下する。反対にサンプリング間隔Δxが小さくなると、光強度分布I1,I2,I3に含まれるノイズによる位相を復元する際の精度の低下が抑制される。
図11(A)より、サンプリング間隔Δxが大きい方が、光強度分布I1,I2,I3に含まれるノイズにより位相を復元する際の精度が低下し、また、サンプリング間隔Δxが倍率βに依存してΔx=P/βによって求まることから、高倍率の対物レンズ21aでは、低倍率の対物レンズ21aと比較して、光強度分布I1,I2,I3に含まれるノイズによる位相を復元する際の精度の低下が抑制される。
図11(B)は、サンプリング間隔Δxは互いに同じで、画素数Nが互いに異なる2つの計測条件における、位相復元した場合の周波数利得を示す図である。図中、画素数Nがより大きいN=4096のデータ(破線)では、周波数0付近にも大きな周波数利得を示す。画素数Nが多いと、低周波数成分の位相物体、すなわち大きい構造体を、より厳密に復元する事ができる。一方、画素数が多いと、光強度分布I1,I2,I3に含まれるノイズにより位相を復元する精度が低下する。
図12(A)は、サンプリング間隔Δxの設定方法を示す概念図である。最適条件計算部511は、点像強度分布(PSF)のエアリーディスクの大きさに基づいて結像光学系7の倍率βを設定する。図12(A)では、検出部9の検出面上に投影される点像強度分布(PSF)のエアリーディスクの直径幅が、画素サイズPの幅と等しい場合の図を模式的に示した。最適条件計算部511は、検出部9の検出面上に投影される点像強度分布(PSF)のエアリーディスクの直径が、画素サイズPの幅よりも大きくなるように結像光学系7の倍率βを設定することが好ましい。あるいは、最適条件計算部511は、検出部9の検出面上に投影される点像強度分布(PSF)のエアリーディスクの面積が、画素サイズPの面積よりも大きくなるように結像光学系7の倍率βを設定することが好ましい。この場合、サンプリング間隔Δx=P/βは以下の式(3)を満たすように照明光の波長λおよび対物レンズ21aの開口数NAに基づいて設定されることになる。
…(3)
式(3)を満たすようにサンプリング間隔Δxが設定されると、点像強度分布よりも1画素の面積が大きいアンダーサンプリングを避けることができるため、アンダーサンプリングによる画質の低下を避けることができる。
最適条件計算部511(図2)は、照明光L2の波長λ、対物レンズ21aの開口数NA、画素サイズP、結像光学系7の横倍率βが式(3)を満たす場合、一例として計測面iの数、すなわち対物レンズ21aの焦点を配置する位置の数を3に設定する。式(3)を満たす条件は、サンプリング間隔Δxが十分小さい条件であり、前述するように、光強度分布I1,I2,I3に含まれるノイズによる位相を復元する際の精度の低下が抑制されるため、少ない撮像回数での位相復元が可能となる。一方、式(3)を満たさない場合、上記対物レンズ21aの焦点を配置する位置の数を3を超える数値に設定する。式(3)を満たさない場合、サンプリング間隔Δxが大きくなり、画像処理でノイズの影響を抑えるため、位相復元のために多くの光強度画像を撮像により取得することが好ましい。なお、対物レンズ21aの焦点を配置する位置の数は、適宜、光強度画像の枚数、光強度分布データの数、又は検出部9による撮像回数等と言い換えることもできる。
図12(B)は、サンプリング間隔Δxの設定方法を示す概念図である。最適条件計算部511は、検出部9の検出面上に投影される点像強度分布(PSF)のエアリーディスクの面積が、画素サイズPの面積の4倍〜5倍になるように結像光学系7の倍率βを設定することが特に好ましい。これにより、光強度分布I1,I2,I3のノイズによる位相を復元する際の精度の低下をより一層抑制することができる。
最適条件計算部511が、上述のように対物レンズ21aの焦点を配置する位置の数および焦点間隔Δzを設定したら、装置制御部51は、設定された対物レンズ21aの焦点を配置する位置の数および焦点間隔Δzに基づいて対象物Sの撮像を行う。対象物Sからの光を検出部9が検出して得られた検出信号は、解析部52の位相復元処理部521(図2)に入力される。
解析部52は、検出部9から入力された検出信号を処理する。解析部52は、当該検出信号から光強度分布データを生成し、この光強度分布データに基づいて定量位相画像を生成する画像生成部として機能する。また、解析部52は、光強度分布データに基づいて復元した対象物Sの位相に基づいて解析を行う。
解析部52の位相復元処理部521は、検出部9の各画素の位置と、入力された検出信号に基づいた光強度とが対応付けられた光強度分布データを生成し、適宜、記憶部44等に記憶させる。位相復元処理部521は、強度輸送方程式(1)(2)および最適条件計算部511が設定した焦点間隔Δz等に基づいて、生成した光強度分布データから計測面i1等を含む対象物Sにおける位相分布φに対応するデータ(以下、位相分布データと呼ぶ)を生成し、適宜記憶部44等に記憶させる。位相分布データは、座標x、y、zの値に位相が対応付けられているデータであり、ルックアップテーブルの形式で構築されている。
なお、所定の座標x、y、zの値に対応する位相値を取り出すことができれば、位相分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
式(3)に基づいて、最適条件計算部511が対物レンズ21aの焦点を配置する位置の数を3を超える値に設定した場合は、位相復元処理部521は、以下に詳述するようにSavitzky−Golay法(以下、SG法と呼ぶ)を用いて光強度分布データから位相を復元することが好ましい。
図13は、Savitzky−Golay法(SG法)を説明するための図である。図13(A)の「元データ」のプロットは、横軸に、特定の一画素(特定画素)における、複数の計測面iに対応する光強度分布データのZ方向座標位置を示し、縦軸に、各Z方向座標位置に対応する、当該特定画素の光強度分布データの画素値を示す図である。図13(A)の例では、ノイズによる1次差分への影響を説明する便宜のため、元データはガウシアンノイズを含む正弦関数としている。破線および実線のグラフは、元データであるガウシアンノイズを加えた正弦関数に対し、それぞれSG法を用いないで直接引き算した1次差分のデータと、SG法を用いて1次差分を計算したデータを示すものである。任意の関数から差分を計算する際、計測したデータから隣り合う関数値を直接引き算すると、図13(A)の「Savitzky−Golay法を用いない1次差分」のデータ(破線)のようにばらつきの大きいデータとなってしまう。
図13(B)は、SG法を説明するための概念図である。SG法では、隣り合う2点から差分を計算することをせず、周辺のデータ点も含め3以上の点から多項式近似曲線を算出して差分を計算する。これにより、図13(A)に示した「Savitzky−Golay法を用いた1次差分」のデータ(実線)のようにSG法を用いない場合と比べてノイズによる影響の少ない1次差分のデータを取得することができる。
画像構築部522(図2)は、位相復元処理部521が生成した位相分布データに基づいて、2次元または3次元の定量位相画像を構築し、記憶部44等に記憶させる。ここで、定量位相画像とは、対象物における厚さの変化と屈折率の変化を積とする位相を表す(画像化)した画像である。具体的には、一例として、定量位相画像は、強度輸送方程式(式(1)、(2))で算出した位相値に応じて階調値を設定した画像である。定量位相画像は、一例として、位相値の大きさに比例した階調のグレースケールを設定した画像である。この場合、定量位相画像では、階調値(位相値の大小)から対象物Sのz方向の厚さ(高さ)についての高低情報を視認することができる。さらに、画像構築部522は、当該位相分布データまたは定量位相画像、および光強度分布I1,I2,I3に基づいて、位相差画像、微分干渉画像、暗視野画像、コントラスト観察画像等の各画像を構築する。以下では、画像構築部522による計算処理によって得られる位相差画像、微分干渉画像、暗視野画像、コントラスト観察画像を、それぞれ計算位相差画像、計算微分干渉画像、計算暗視野画像、計算コントラスト観察画像と呼ぶ。なお、定量位相画像は、強度輸送方程式(式(1)、(2))で算出された位相値に応じて階調値を設定した画像に限られず、既存の他の方法で算出した位相値に応じて階調値を設定した画像であってもよい。
細胞等の、z方向に垂直な方向の幅に比べてz方向の厚みの薄い試料を低コントラスト物体と呼ぶ。以下では、対象物Sが低コントラスト物体として、計算位相差画像、計算微分干渉画像、計算暗視野画像、計算コントラスト観察画像の構築の方法を説明する。低コントラスト物体における結像の式は以下の式(4)で表される。
…(4)
ここで、○の内側にxが記された記号は折りたたみ積分を示す。EPSF(有効点像分布、Effective PointSpread Function)とは、以下の式(5)で定義される量である。
…(5)
ここで、Sは光源強度分布、Gは瞳関数、φは対象物Sを低コントラスト物体として位相復元処理部521が生成した対象物Sの位相分布、P(x,y)は対象物Sの振幅分布を表す。位相分布φは定量位相画像または位相分布データ、振幅分布は光強度分布データからそれぞれ得ることが出来、光源強度分布や瞳関数は顕微鏡本体部100の諸元に応じて設定される。例えば、位相差観察の場合にはSはリング絞りにおける光強度分布に相当し、Gは位相差観察用対物レンズの瞳関数に相当するため、これらの値を用いてEPSFを計算することができる。
図14は、EPSPの一例を示す図であり、具体的な数値は本発明を限定するものではない。式(5)により得られたEPSFは複素量であり、実部(Re[EPSF])と虚部(Im[EPSF])に分離することができる。縦軸の値はEPSFの虚部(Im[EPSF])の最大値で規格化した。
画像構築部522は、各々のEPSFを式(4)の物体の振幅分布および位相分布φに折り畳み積分することで計算位相差画像を構築する。位相差観察の場合にはEPSFを計算すると実部(EPSF)は非常に小さく、虚部(Im[EPSF])の寄与が大きいことから式(4)の第2項の寄与が大きくなり、それにより位相差観察特有の「ハロ」と呼ばれる現象が生じる。また、式(4)の第1項は画像の背景強度を表すが、位相差観察の場合には位相膜の透過率によって直接光の強度が弱められることで背景強度を抑えている。
画像構築部522は、以下のように計算微分干渉画像を構築する。微分干渉画像の場合、光源強度分布Sおよび瞳関数Gは所望の条件に合わせて任意に設定することができるがEPSFの導出方法では式(5)を用いることができない。計算微分干渉画像の構築においては、EPSFをフーリエ変換した物理量であるOTFを以下の式(6)のように定義する。
…(6)
ここで対象物Sを撮像して光強度分布データを得る際のOTFと区別するために対象物Sを撮像して光強度分布データを得る際のOTFをOTF_bf、微分干渉観察のOTFをOTF_dicとすると、OTF_dicは以下の式(7)で表される。
…(7)
ここでΔは微分干渉プリズム(ウォラストンプリズムまたはノマルスキープリズム等)において入射光が2つに分離される量(シャー量(Shear amount))を表し、νi(i;シャー方向の座標)はシャーが生じる方向の空間周波数、θは微分干渉プリズムをスライドさせる(プリズムスライド方式)またはポラライザの角度を変える(セナルモン方式)ことで生じる位相変化量(以下、バイアス(Bias)と呼ぶ)を指す。ユーザが定めたシャー量、バイアスに応じてOTF_dicを求め、それを式(6)に従って逆フーリエ変換することでEPSFが求まる。求めたEPSFの実部(Re[EPSF])と虚部(Im[EPSF])を式(4)に代入すれば計算微分干渉画像が得られる。
画像構築部522は、以下のように計算コントラスト観察画像を構築する。コントラスト観察画像に関しては、特開2017−68203号公報に光源強度分布Sおよび瞳関数Gが記載されており、この光源強度分布Sおよび瞳関数Gに基づいて式(4)(5)を実行すれば計算コントラスト観察画像を構築できる。
画像構築部522は、以下のように計算暗視野画像を構築する。画像構築部522は、計算暗視野画像の構築においては、上述の式(4)(5)を用いず、以下の式(8)等に基づいて、部分コヒーレント計算を実行することにより、計算暗視野画像を構築することができる。
…(8)
ここでoは物体振幅分布、RはTCC(Transmissin Cross Coefficient:相互透過係数)、ξおよびηは回折光(または直接光)の方向余弦を表す。また物体複素振幅分布oは式(9)で表される。
…(9)
また、Rで示されるTCCは以下の式(10)で表される。
…(10)
画像構築部522は、式(8)(9)(10)に光源強度分布S、瞳関数G、低コントラスト物体の位相分布φ、低コントラスト物体の振幅分布P(x,y)等を適宜代入することにより、計算暗視野画像を構築する。
なお、画像構築部522は、式(8)(9)(10)を用いて計算位相差画像、計算微分干渉画像、計算コントラスト観察画像を構築してもよい。画像構築部522が、必要に応じて式(4)(5)に基づいた低コントラスト近似を用いるか、式(8)(9)(10)に基づいた部分コヒーレント結像計算を用いるか選択する構成にしてもよい。計測した位相分布φに基づいて計算位相差画像、計算微分干渉画像、計算暗視野画像、計算コントラスト観察画像等を構築することができれば、その方法は特に限定されない。
画像構築部522は、得られた定量位相画像、計算位相差画像、計算微分干渉画像、計算コントラスト観察画像、計算暗視野画像を適宜つなぎ合わせて、より広い一枚の画像(ステッチング画像)として構成することもできる。本実施形態の定量位相画像の生成方法では、対象物Sがメニスカス形状を有する液面下にある場合でも精度よく位相計測を行うことができるため、メニスカス形状を有する液面が存在する容器側面近傍も含め、対象物Sの配置されている容器全体の位相分布データを精度よく得ることができる。
以上のように計算上で位相差画像、微分干渉画像、暗視野画像、コントラスト観察画像等を構築すると、照明形状、対物レンズ21aの瞳面上での波面形状等の計測条件を任意に変化させた画像を、実際に当該計測条件下(つまり、実際の位相差顕微鏡や微分干渉顕微鏡)で対象物Sの撮像を行うことなく取得でき、場合によっては実際の顕微鏡等による撮像では実現が難しい画像も取得できる。
例えば、撮像により微分干渉画像を得る場合にはシャー方向を変える際にステージを回転させたり、対象物Sを回転させる必要があるが、本手法の場合には上式(7)等の周波数座標の取り方を工夫することで所望のシャー方向で計算微分干渉画像を構築可能である。またプラスチックディッシュ標本など通常、微分干渉観察が出来ないとされるサンプルに対しても定量位相画像から計算微分干渉画像を構築することで解決できる。さらに位相差観察の場合にはしばしば液面の縁に生じるメニスカスの影響で像が正しく得られない問題に直面するが、同じく定量位相画像から計算位相差画像を構築することで解決可能である。また、顕微鏡観察では観察手法ごとに定められた照明形状、対物レンズ21aの瞳面上での波面形状等の計測条件下で観察するが、これによって得られる観察画像は画像処理等の後処理をしなければ当該計測条件により実際に得られた画像のみであり、実際に計測した際とは異なる照明形状、対物レンズ21aの瞳面上での波面形状等の計測条件に対応する画像を得ることはできない。しかし、本手法を用いれば光源強度分布、瞳関数を自在に変えて所望の画像を構築することが可能である。
解析部52の画像解析部523(図2)は、取得した定量位相画像、計算位相差画像、計算微分干渉画像、計算コントラスト観察画像、計算暗視野画像等を解析する。画像解析部523は、取得した定量位相画像から、対象物Sの面積および体積を算出する。
対象物Sの面積は、平面上の対象物Sに対応する領域を、計測した位相分布データに基づいて抽出して二値化により表した後、当該対象物Sに対応する領域の画素数に標本面換算での画素面積すなわちΔxΔy(図10)を掛けることによって算出することができる。
対象物Sの厚さ平均値(すなわち、平均高さ)は、上記対象物Sに対応する領域における各画素に対応する対象物Sの高さを総和して、当該対象物Sに対応する領域の画素数で除算することにより得た値を用いることができる。
対象物Sの体積は、上記で求めた対象物Sの面積と、対象物Sの厚さ平均値との積を対象物Sの体積とする。
なお、対象物Sの面積、厚さ、体積等の計算方法は、上述の方法に特に限定されない。
図15は、画像解析部523が解析した解析結果が表示された表示部42の表示画面の一例を示す図である。図15〜図17の例では、対象物Sとしての細胞の位相分布φを位相復元処理部521が算出した場合を示す。解析結果表示画面D1は、解析パラメータ選択画面D11と、散布図表示画面D12と、定量位相画像表示画面D13とを備える。
解析パラメータ選択画面D11は、画像解析部523が算出した細胞の厚さ平均値や、細胞の面積、細胞の体積等のパラメータ(以下、解析パラメータと呼ぶ)を表示する。解析パラメータ選択画面D11では、各解析パラメータの左に選択ボタンD110が配置されており、ユーザはこの選択ボタンD110をオン状態とオフ状態とに切り替えることにより、散布図表示画面D12の縦軸または横軸に設定される解析パラメータを指定することができる。
散布図表示画面D12は、解析パラメータ選択画面D11で選択された2つの解析パラメータを散布図の横軸および縦軸にとり、位相計測を行った各細胞を当該細胞の解析パラメータに基づいた座標位置にプロットしたグラフを表示している。散布図表示画面D12は、適宜異なる細胞集団を区別して表示するように構成することができる。このグラフにより、複数の細胞の形状を定量化した情報が得られるが、このような解析は、多数の細胞における大量の位相値を自動解析することにおいて特に効果的である。例えば、培養細胞の形状の比較において、異なる培養条件で培養した多くの細胞同士の形状を定量的に比較することができる。また、散布図表示画面D12には、過去に取得したデータの散布図を参照のため表示してもよい。
なお、散布図表示画面D12は2次元の散布図に限らず、適宜3次元の散布図を立体的に示してもよい。
定量位相画像表示画面D13は、顕微鏡本体部100が計測した定量位相画像を表示する。定量位相画像の表示方法は特に限定されず、対象物Sの任意の断面を示してもよいし、任意の方向から見た図を示してもよい。定量位相画像表示画面D13では、位相値を階調や色等により区別して表示することが好ましい。
図16は、画像構築部522が構築した各種計算画像が表示された表示部42の表示画面の一例である。計算画像表示画面D2は、計算画像選択画面D21と、光強度画像表示画面D22と、定量位相画像表示画面D23と、各種計算画像表示画面D24とを備える。
計算画像選択画面D21には、位相差画像、微分干渉画像、暗視野画像、コントラスト観察画像等の計算画像名が、それぞれに対応する選択ボタンD210と共に表示されている。ユーザは各選択ボタンD210をオン状態またはオフ状態に切り替えることにより、各種計算画像表示画面D24に表示される計算画像を選択することができる。
光強度画像表示画面D22および定量位相画像表示画面D23は、それぞれ光強度画像として光強度分布I1,I2および/またはI3に基づく画像、ならびに定量位相画像を表示する。各種計算画像表示画面D24は、計算画像選択画面D21で選択された計算画像を表示する。図16の例では、各種計算画像表示画面D24には計算位相差画像D241と、計算微分干渉画像D242と、計算暗視野画像D243と、計算コントラスト観察画像D244とが表示されている。
図17は、画像構築部522が構築した、様々な条件下の各種計算微分干渉画像が表示された表示部42の表示画面の一例である。計算微分干渉画像表示画面D3は、デフォルト画像表示画面D31と、各種計算微分干渉画像表示画面D32と、パラメータ変更画面D33とを備える。
デフォルト画像表示画面D31は、デフォルト画像として微分干渉画像の陰影方向(シャー方向)と陰影度合(シャー量)およびコントラスト調整量(バイアス量)が予め設定された画像を表示する。
各種計算微分干渉画像表示画面D32は、様々なシャー方向、シャー量、バイアス量が設定された計算微分干渉画像が表示される。図17の例では、図面右方向を0°として、それぞれ0°,45°,90°,135°,180°,225°,270°および315°のシャー方向の計算微分干渉画像D0,D45,D90,D135,D180,D225,D270およびD315が各種計算微分干渉画像表示画面D32に表示されている。
パラメータ変更画面D33は、ユーザが上述のシャー方向、シャー量、バイアス量等の各種パラメータを設定変更するための画面である。図17の例では、シャー方向については0°〜315°の角度範囲、シャー量については1〜5、バイアス量については1〜5の段階で調節できるようになっているが、設定可能なシャー方向、シャー量およびバイアス量は特に限定されない。図17の例では、「全表示」に対応する選択ボタンD331がオン状態になっているため、45°おきに0°〜315°までのシャー方向の各計算微分干渉画像D0、D45,D90,D135,D180,D225,D270およびD315が各種計算微分干渉画像表示画面D32に表示されている。
パラメータ変更画面D33では、シャー方向、シャー量およびバイアス量に関してそれぞれスクロールバーD332,D333およびD334が配置されており、スクロールバーD332〜D334上の所望の数値に対応する位置に矢印D335、D336をユーザが選択して動かすことにより、シャー方向、シャー量およびバイアス量の値を変更できるようになっている。図17の例では、シャー方向に関しては「全表示」が選択されているため、スクロールバーD332上には数値を選択するための矢印は表示されていない。
なお、上述の解析結果表示画面D1、計算画像表示画面D2および計算微分干渉画像表示画面D3の表示の態様は一例であり、示された数値や画像等の例は本発明を限定するものではない。
(定量位相画像生成方法の流れ)
図18は、本実施形態の定量位相画像生成装置に関する定量位相画像生成方法の流れを示すフローチャートである。
ステップS1001において、ユーザ等により、定量位相画像生成装置1のステージ8上に対象物Sが載置される。ステップS1001が終了したら、ステップS1003に進む。ステップS1003において、ユーザが位相計測の計測条件に関する情報を入力する。ステップS1003が終了したら、ステップS1005に進む。
ステップS1005において、最適条件計算部511は、ユーザが入力した情報に基づいて、(I)照明光の波長λ、(II)対物レンズ21aの開口数NA、(III)対物レンズ21aと対象物Sとの間の屈折率n、(IV)結像光学系7の横倍率β、(V)検出部9の画素サイズP、および(VI)位相復元パラメータkを取得する。結像光学系7の横倍率βは、上述の式(3)を満たすように適宜(I)(II)(V)のパラメータから算出してもよい。ステップS1005が終了したら、ステップS1007に進む。ステップS1007において、最適条件計算部511は、ステップS1005で取得したパラメータ(顕微鏡本体部100の設定情報)に基づいて、焦点間隔Δzを算出する。ステップS1007が終了したら、ステップS1009に進む。
ステップS1009において、最適条件計算部511は、上述の式(3)に基づいて、対物レンズ21aの焦点を配置する位置の数を算出する。ステップS1009が終了したら、ステップS1010に進む。ステップS1010において、装置制御部51は、事前に取得した三次元の光強度分布データに対応する光強度のコントラスト等に基づいて計測面i1の位置を設定する。ステップS1010が終了したら、ステップS1011に進む。
ステップS1011において、顕微鏡本体部100は、取得した(I)〜(VI)のパラメータ、算出した焦点間隔Δzおよび対物レンズ21aの焦点を配置する位置の数、ならびに設定した計測面i1の位置に基づいて対象物Sの撮像を行い、位相復元処理部521は対象物Sの計測面iにおける光強度分布データをそれぞれ生成する。ステップS1011が終了したら、ステップS1013に進む。
ステップS1013において、位相復元処理部521は、撮像により取得した光強度分布データを前処理する。位相復元処理部521は、必要に応じて遮断空間周波数より高い周波数領域のノイズをローパスフィルターで除去する等のフィルター処理等を行ったりして、位相復元を行う前の光強度分布データを加工する。ステップS1013が終了したら、ステップS1015に進む。ステップS1015において、位相復元処理部521は、前処理を施した光強度分布データから計測面i1における光強度のzに関する微分係数分布データを生成する。ステップS1015が終了したら、ステップS1017に進む。
ステップS1017において、位相復元処理部521は、強度輸送方程式に基づいて、生成した計測面i1における光強度のzに関する微分係数分布データから位相分布データを生成する。ステップS1017が終了したら、ステップS1019に進む。ステップS1019において、画像構築部522は、生成した位相分布データに基づいて、対象物Sの定量位相画像を生成する。ステップS1019が終了したら、ステップS1021に進む。
ステップS1021において、画像構築部522は、生成した位相分布データおよび/または定量位相画像、ならびに光強度分布データに基づいて、計算位相差画像、計算微分干渉画像、計算暗視野画像および計算コントラスト観察画像等を生成する。ステップS1021が終了したら、ステップS1023に進む。ステップS1021において、画像解析部523は、定量位相画像を含む生成した画像を解析し、解析結果を表示する。ステップS1023が終了したら、処理を終了する。
なお、最適条件計算部511は、顕微鏡本体部100の設定情報として、対物レンズ21aの開口数NA、照明光L2の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nの情報に基づいて焦点間隔Δzを算出することとしたが、ユーザの要求に応じて、顕微鏡本体部100の設定情報のうち、対物レンズ21aの開口数NA、照明光L2の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nの少なくとも1つの情報に基づいて焦点間隔Δzを算出してもよい。具体的には、例えば、対物レンズ21aに乾燥対物レンズを用いる場合、対物レンズ21aと対象物Sとの間の屈折率nを固定値とした上で(式(100)にn=1を代入した上で)、最適条件計算部511は、対物レンズ21aの開口数NAと照明光L2の波長λの情報に基づいて焦点間隔Δzを算出する。さらに、例えば、対物レンズ21aに水を浸液とする特定の対物レンズを用い(例えば、n=1.33の固定値として)、照明光L2の波長λを固定値(例えば、λ=400nm)とする場合、それらの値を式(100)に代入した上で、最適条件計算部511は、対物レンズ21aの開口数NAの情報に基づいて焦点間隔Δzを算出する。また、照明光L2の波長λのみを固定値(例えば、λ=550nm)とする場合、最適条件計算部511は、対物レンズ21aの開口数NAと対物レンズ21aと対象物Sとの間の屈折率nの情報に基づいて焦点間隔Δzを算出する。
同様に、対物レンズ21aの開口数NAを固定値(例えば、NA=0.95)として、最適条件計算部511は、照明光L2の波長λと、対物レンズ21aと対象物Sとの間の屈折率nに基づいて焦点間隔Δzを算出してもよいし、対物レンズ21aの開口数NAを固定値と、照明光L2の波長λ又は対物レンズ21aと対象物Sとの間の屈折率nを固定値として、最適条件計算部511は、対物レンズ21aと対象物Sとの間の屈折率n又は照明光L2の波長λの情報に基づいて焦点間隔Δzを算出してもよい。また、同様に、位相復元パラメータkを固定値とした上で、最適条件計算部511は、対物レンズ21aの開口数NA、照明光L2の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nの少なくとも1つの情報に基づいて焦点間隔Δzを算出してもよいし、対物レンズ21aの開口数NA、照明光L2の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nの少なくとも1つを固定値として、最適条件計算部511は、少なくとも位相復元パラメータkに基づいて焦点間隔Δzを算出してもよい。
なお、透過照明光学系10からの照明光L2が対象物Sの少なくとも一部を透過した後に検出されて取得された1つの光強度分布データさえあれば、光強度分布データは、対象物Sの外部に焦点を配置して撮像した結果取得されたものでもよい。また、計測面i1,i2,i3のうち少なくとも一つの計測面が対象物Sの一部を含めば、他の計測面は対象物Sを含まなくともよい。ここで、上記対象物Sの一部を含む計測面においても、対物レンズ21aの焦点が対象物Sの外部に配置されていてもよい。つまり、それぞれの計測面iの撮像において、対物レンズ21aの焦点は対象物Sの内部に配置されていてもよいし、外部に配置されていてもよい。
なお、それぞれの計測面i1,i2,i3に対応してそれぞれ1つの光強度分布I1,I2,I3を取得すれば、本実施形態に係る位相計測を行うことができる(図4)が、一部または全部の計測面i1,i2,i3について、1つの計測面に対して複数の光強度分布が対応していてもよい。
なお、対象物Sからの光の光強度のコントラストに基づいて計測面i1の位置を設定する際、装置制御部51は、対象物Sからの光の光強度のコントラストを示すパラメータであれば、上記の分散vz以外のパラメータを算出してもよい。例えば、装置制御部51は、以下の式(12)で示される、各zの値に対応する光強度分布Iz(x,y)のXY平面上での勾配の大きさを足し合わせた値gz(以下、勾配加算値と呼ぶ)や、以下の式(13)で示される、各zの値に対応する、XY平面上の光強度のラプラシアンの二乗和Lzを算出してもよい。装置制御部51は、実際には、式(12)(13)に関し以下の積分に対応する値を離散的な数値に基づいた計算により算出する。
…(12)
…(13)
この場合、装置制御部51は、上記に示された勾配加算値gzまたはラプラシアンの二乗和Lzが極小となるz方向の位置に計測面i1の位置を設定することができる。
なお、対象物Sからの光の光強度のコントラストに基づいて計測面i1を設定できれば計測面i1の位置の設定方法は特に限定されない。例えば、装置制御部51は、勾配加算値gz、ラプラシアンの二乗和Lzまたは上述の分散vzが極小となるz方向の位置の他、これらの値が極大や最大、最小等となるz方向の位置に基づいて計測面i1の位置を設定してもよい。また、事前に取得された三次元の光強度分布データの各zの値に対応する光強度画像をユーザが視認し、当該光強度画像のコントラストに基づいて計測面i1の位置を設定してもよい。さらに、ユーザが接眼レンズ35(図1)を介して対象物Sを観察し、観察視野のコントラストに基づいて計測面i1の位置を設定してもよい。
なお、対象物Sからの光の光強度のコントラストに基づいて計測面i1の位置を設定する際、当該光強度のコントラストを算出するために用いる三次元の光強度分布データは、事前に取得するものとしたが、この場合の「事前に」とは、計測面iの位置の設定(上述のフローチャート(図18)のステップS1010)よりも前であれば、特に限定されない。
なお、対物レンズ21aの光軸Loに沿って、対象物Sにおける対物レンズ21aの焦点を所望の間隔Δz移動させ、対象物Sの所望の計測面iからの光を検出できれば、装置制御部51によるステージ8の駆動方法等は特に限定されない。また、対物レンズ21aの焦点と対象物Sとの相対位置を変更できれば、装置制御部51は、ステージ8を対物レンズ21aの光軸Lo(z軸)またはz軸に垂直な軸(x軸若しくはy軸)等の任意の軸に沿って移動可能に構成することができ、またステージ8を三次元空間上の任意の経路に沿って移動させてもよい。また、装置制御部51により、対物レンズ21aが対物レンズ21aの光軸Loに沿って移動することにより、対象物Sにおける対物レンズ21aの焦点を移動させてもよい。この場合も、対物レンズ21aの焦点と対象物Sとの相対位置を変更できれば、装置制御部51は、対物レンズ21aを対物レンズ21aの光軸Lo(z軸)またはz軸に垂直な軸(x軸若しくはy軸)等の任意の軸に沿って移動可能に構成することができ、また対物レンズ21aを三次元空間上の任意の経路に沿って移動させてもよい。さらに、装置制御部51は、ステージ8と対物レンズ21aのどちらか一方を移動可能に構成するだけでなく、ステージ8と対物レンズ21aの両方を移動可能に構成することにより、対物レンズ21aの焦点と対象物Sとの相対位置を変更してもよい。
なお、上述のフローチャートのステップS1003,S1005において、ユーザが位相計測の計測条件に関する情報を入力し、最適条件計算部511がユーザが入力した情報に基づいて(I)〜(VI)の各パラメータを取得する構成としたが、記憶部44に記憶された情報に基づいて設定してもよい。例えば、複数の対象物Sに対してそれぞれ複数の定量位相画像を撮像して取得する際、当該複数の対象物Sが、同じ種類の細胞や、形態等の観点から類似する細胞に分類される場合等、同じ又は類似する位相物体の場合には、記憶部44に記憶された前回または過去の撮像の際における(I)〜(VI)のパラメータを適宜用いるようにしてもよい。なお、対象物Sは細胞に限られない。また、記憶部44に記憶された情報に基づく数値の中から入力部41を介してユーザが選択する等、ユーザの入力と記憶部44に記憶された情報との両方に基づいて(I)〜(VI)の各パラメータを設定してもよい。さらに、最適条件計算部511は、(VI)位相復元パラメータkを必ずしも設定することなく、式(100)等に基づいて算出した焦点間隔Δzを設定してもよい。
上述の実施の形態によれば、次の作用効果が得られる。
(1)本実施形態の定量位相画像生成方法は、対象物Sにおける対物レンズ21aの光軸に沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を配置し、対象物Sからの光を検出することと、上記複数の位置のそれぞれに対応する複数の光強度分布データを生成することと、複数の光強度分布データに基づいて、定量位相画像を生成することを備え、焦点間隔Δzは、対物レンズ21aの開口数NA、照明光の波長λおよび対物レンズ21aと対象物Sとの間の屈折率nに基づいて設定される。これにより、対物レンズ21aの開口数NA、照明光の波長λおよび対物レンズ21aと対象物Sとの間の屈折率nに合わせ、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
また、従来の位相計測では、予め計測された光強度画像に関するノイズ量に基づいて焦点間隔Δzを設定する方法が提案されていたが、本実施形態の方法では、このような事前のノイズ量などの計測の必要は無い。
(2)本実施形態の定量位相画像生成方法または定量位相画像生成装置において、焦点間隔Δzは、生成する定量位相画像において位相を復元する空間周波数を示すパラメータkを用いて設定される。これにより、対物レンズ21aの遮断空間周波数の大部分を利用し少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
(3)本実施形態の定量位相画像生成方法または定量位相画像生成装置において、対物レンズ21aの焦点を配置する位置の数は、対物レンズ21aの開口数NA、対物レンズ21aを含む結像光学系7による横倍率β、および検出部9の画素サイズPに基づいて設定される。これにより、結像光学系7による横倍率βおよび検出部9の画素サイズPに合わせ、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
(4)本実施形態の定量位相画像生成方法または定量位相画像生成装置において、検出部9の検出面における点像強度分布のエアリーディスクの大きさおよび画素サイズPに基づいて、対物レンズ21aの焦点を配置する位置の数が設定される。これにより、当該点像強度分布のエアリーディスクの大きさと画素サイズPとの関係に基づいて、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
(5)本実施形態の定量位相画像生成方法または定量位相画像生成装置において、点像強度分布のエアリーディスクの直径よりも画素サイズPが大きい場合、対物レンズ21aの焦点を配置する位置の数を3を超える値に設定する。これにより、当該点像強度分布のエアリーディスクの大きさに対して画素サイズPが適しているか否かに基づいて、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
(6)本実施形態の定量位相画像生成装置は、対象物Sにおける対物レンズ21aの焦点の、対物レンズ21aの光軸に沿った位置を調整する装置制御部51と、対象物Sからの光を検出する検出部9と、解析部(画像生成部)52と、を備え、対物レンズ21aの光軸に沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を配置した対象物Sからの光を、検出部9が検出し、検出した光に基づいて、解析部52が、上記複数の位置に対応する複数の光強度分布データを生成し、複数の光強度分布データに基づいて、定量位相画像を生成する場合に、装置制御部51は、対物レンズ21aの開口数NA、照明光の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nに基づいて、焦点間隔Δzを設定する。これにより、対物レンズ21aの開口数NA、照明光の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nに合わせ、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。上述の実施形態と同一の部分は、同一の符号により参照し適宜説明を省略する。
(変形例1)
上述の実施形態では、最適条件計算部511が予め設定した焦点間隔Δzの値に基づいて、位相復元処理部521が位相分布φを算出したが、焦点位置Fの調節後、エンコーダーにより実際に移動した焦点間隔Δzを測定し、測定した値に基づいて位相復元処理部521が位相分布φを算出してもよい。これにより、実際の焦点間隔Δzに基づいて位相の復元を行うため、より正確に位相を復元することができる。エンコーダーは、例えば、ステージ8を電動駆動によりz方向に移動させるモータ等の移動装置に設置される。
なお、対物レンズ21aの移動により対物レンズ21aの焦点位置Fが調節される場合には、エンコーダーは、対物レンズ21aを電動駆動によりz方向に移動させるモータ等の移動装置に設置すればよい。対物レンズ21aとステージ8との両方が移動可能に構成されている場合、対物レンズ21aおよびステージ8を電動駆動によりz方向に移動させる複数のモータ等の移動装置のそれぞれに設置された複数のエンコーダーが測定した対物レンズ21aおよびステージ8の移動量に基づいて、位相復元処理部521が焦点間隔Δzを算出してもよい。実際に位相計測のための撮像を行う際の焦点間隔Δzを測定することができれば、その方法は特に限定されない。
本変形例の内容は、上述の実施形態の内容と適宜組み合わせることができる。
(変形例2)
上述の実施形態では、図1で示されたように倒立顕微鏡として定量位相画像生成装置1を構成したが、正立顕微鏡または実体顕微鏡として定量位相画像生成装置を構成してもよい。
実体顕微鏡として定量位相画像生成装置を構成した場合、結像光学系7にズーム機構が備わっており、ズーム倍率β2によって対物レンズ21aの開口数NAも変化する構成にすることができる。以下では、開口数NAが倍率βの関数であることをNA(β)と記述する。結像光学系7の倍率βを、対物レンズ21aの倍率β1とズーム倍率β2の積の関係式β=β1×β2としたとき、装置制御部51は、ズーム倍率β2によって変化する開口数NA(β)に応じた点像強度分布のエアリーディスクの直径1.22λ/NA(β)と、サンプリング間隔Δx=P/βとを比較して、対物レンズ21aの焦点を配置する位置の数を、3枚と設定して位相復元するかどうかを決定しても良い。これにより、ズーム倍率β2に合わせ、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例3)
上述の実施形態では、計測面i1に対し2つの計測面i2,i3を共に焦点間隔Δz離れた位置に設定したが、複数の計測面iを計測面i1に対し互いに異なる焦点間隔Δz隔てて配置してもよい。最適条件計算部511は、複数の計測面iにおける、隣接する計測面iとの焦点間隔Δzを、計測面i1と計測面iとの距離に基づいて異ならせることができる。これにより、計測面iの計測面i1からの距離に合わせ、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例4)
上述の実施形態では、定量位相画像生成装置1に検出部9を1つ設けたが、複数の検出部を設けてもよい。これにより、蛍光画像と定量位相画像を同時に記録すること等ができる。
図19は、本変形例の定量位相画像生成装置2の構成を示す概念図である。定量位相画像生成装置2は、定量位相画像生成装置1と類似した構成を有しているが、接眼レンズ35(図1)の代わりに、結像レンズ36a,36bおよび検出部90を備える点が異なっている。
対象物Sからの蛍光と位相計測のための光の光路の分岐となるビームスプリッター32として、透過:反射=50:50〜透過:反射=20:80等のハーフプリズムまたはハーフミラーを配置することができる。光源11としてハロゲン光源を利用した場合、位相の復元に必要な光強度分布データの取得のための光については、透過光のハロゲン光源出力に余裕がある為、蛍光観察用の光と比較して暗く分配しても問題なく、これにより効率よく対象物Sからの光を検出部9,90の検出面に結像させることができる。
本変形例では、落射蛍光光学系110の励起光を標本に照らすために、検出部9および90の検出面に結像する光のそれぞれに共通な光路にダイクロイック・フィルター122を配置するため、位相計測用の照明光L2の波長は、蛍光観察用の光の波長帯域よりも、長波長側に設定することになる。検出部9に蛍光、検出部90に透過照明光が結像するように、それぞれの検出部9,90の直前に波長選択用の不図示のバリアフィルターを配置してもよい。
なお、検出部9のみだけを使用して、蛍光フィルターキューブ120を挿脱することにより蛍光観察と位相計測とを順次行ってもよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例5)
上述の実施形態では、計測面i1,i2,i3に対物レンズ21aの焦点を順次配置して複数の光強度分布データを順次撮像により取得したが、一度の撮像、すなわちシングルショットで同時に複数の焦点位置Fに対応する光強度分布データを取得してもよい。
図20は本変形例の定量位相画像生成装置3の構成を示す概念図である。定量位相画像生成装置3は、定量位相画像生成装置1と類似した構成を有しているが、ビームスルリッター32の検出部S側の光路に、光路分岐部92および結像レンズ91が配置されており、光路分岐部92で分岐した3つの光路に対応して、3つに分割された検出面を備える検出部93を備える点が異なっている。
光路分岐部92は、三連プリズム等の、対象物Sからの光路を互いに異なる光路長を備える複数の光路に分岐させる光学素子を備え、光路分岐部92で分岐した3つの光路では、それぞれ対物レンズ21aを介して、対物レンズ21aの光軸に沿って対象物S中の異なる位置を焦点位置Fとしているため、これらの焦点位置Fの間隔を焦点間隔Δzに対応させることができる。光路分岐部92で分岐した複数の光路によってそれぞれ実現される対物レンズ21aの焦点位置Fの数が、上述の実施形態における「対物レンズ21aの焦点を配置する位置の数」に対応する。光路分岐部92を三連プリズムとした際、三連プリズムでの対象物Sからの光の透過成分と反射成分の割合については、第一反射面を透過:反射=67:33、第二反射面を透過:反射=50:50、第三反射面を透過:反射=0:100に設計した場合、同時に取得する3つの光強度分布データの平均的な光強度(光強度画像における明るさ)を等しくできるが、光路分岐部92での対象物Sからの光の透過成分と反射成分の割合については適宜設定することができる。
また、光路分岐部92には、MFG:Multi−Focus diffractive Gratingなどの回折光学素子を用いても良い。回折光学素子を用いる事で、対象物Sの3面以上の異なる合焦面の像を、検出部93で同時に検出する事が可能となる。この場合、結像レンズ91を用いて対物瞳面をリレーして、対物瞳と共役位置に回折光学素子を配置する。そして回折光学素子の後に別途結像レンズを用意して、検出部93に結像させればよい。
本変形例の定量位相画像生成方法は、対象物Sにおける対物レンズ21aの光軸に沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を同時に配置し、対象物Sからの光を検出することと、検出した光に基づいて、複数の位置の光強度分布データを生成することと、複数の光強度分布データに基づいて、対象物Sを含む位相分布データを生成することと、位相分布データに基づいて定量位相画像を生成することとを備える。これにより、各z位置に対物レンズ21aの焦点位置を合わせて順次撮像している間に、対象物Sの形態(つまり、位相分布)が変化する場合であっても、一度の撮像で精度よく対象物Sの位相を計測することができる。
本変形例の定量位相画像生成装置は、対物レンズ21aの光軸に沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を同時に配置した対象物Sからの光を、検出部93が対物レンズ21aを通して検出し、検出した光に基づいて、制御部50が、上記複数の位置に対応する複数の光強度分布データを生成する。これにより、各z位置に対物レンズ21aの焦点位置を合わせて順次撮像している間に、対象物Sの形態(つまり、位相分布)が変化する場合であっても、一度の撮像で精度よく対象物Sの位相を計測することができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例6)
上述の実施形態では対象物Sの各計測面iをそれぞれ一度の撮像をすることにより光強度分布データを取得したが、レーザ走査型蛍光観察ユニットを用い、走査型顕微鏡として定量位相画像生成装置を構成してもよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
図21は、本変形例の定量位相画像生成装置4の構成を示す概念図である。図21ではリレー光学系30の記載を省略し、レーザ走査型蛍光観察ユニット300を用いて対象物Sの光強度分布データを撮像により取得する際の光路を二点鎖線L2により模式的に示した。定量位相画像生成装置4は、光路中と光路外の位置P3に移動可能なミラー201と、結像レンズ202と、検出部94と、レーザ走査型蛍光観察ユニット300と、を備える。検出部94は、光電子増倍管等の光検出器を含んで構成される。レーザ走査型蛍光観察ユニット300は、対象物Sからの蛍光を検出する蛍光観察用検出器301と、ピンホール302と、結像レンズ303と、ダイクロイックミラー304と、コリメータレンズ305と、レーザ光源306と、XYスキャナ307と、レンズ308とを備える。
装置制御部51は、レーザ走査型蛍光観察ユニット300のレーザ光源306からレーザ光を出射させる。レーザ光源306から出射したレーザ光はコリメータレンズ305により波面が光軸に略垂直な光等に調整されて出射される。コリメータレンズ305から出射したレーザ光はダイクロイックミラー304で反射されて光軸L20に沿って進み、XYスキャナ307に入射する。XYスキャナ307で進行方向を調整された光はレンズ308で屈折されてビームスプリッター32に入射する。装置制御部51は、レーザ走査型蛍光観察ユニット300からの照明光をビームスプリッター32、結像レンズ31、フィルターキューブ120および対物レンズ21aを介して対象物Sに照射する。光強度分布データの取得には、当該照明光の集光位置を対象物Sの計測面iにおいてXYスキャナ307により二次元的に走査させて各位置からの光を検出する。対象物Sからの蛍光は、対物レンズ21a、フィルターキューブ120、結像レンズ31、ビームスプリッター32、レンズ308およびXYスキャナ307を介してダイクロイックミラー304に入射する。ダイクロイックミラー304に入射した蛍光は、ダイクロイックミラー304を透過して光軸L30に沿って進み結像レンズ303で屈折されてピンホール302を通過した後、蛍光観察用検出器301により検出される。
なお、ステージ8を移動させること等により、対象物Sを光軸L1と垂直な方向(xy方向)等に移動させて対象物Sの各位置からの光を検出してもよい。
図22(A)は、従来の透過照明の明視野観察による位相復元方法における光学系の模式図である。従来の光学系では、光源から、コンデンサレンズ417、物体面、対物レンズ421、結像レンズ412および像面の順で並んでいた。図22(B)は、本変形例の定量位相画像生成装置4における、走査型顕微鏡の検出部94の検出面を含む光学系の模式図である。本変形例の光学系では、光源から対物レンズ21a、物体面、コンデンサレンズ17、結像レンズ202、検出部94の検出面の順で並んでおり、このような場合でも、従来の光学系と等価な構成を実現でき、計測面iにおける光強度分布I1,I2,I3を計測できる。
従来、検出部94に対応する走査型顕微鏡の検出部により、微分干渉画像を計測していた。しかし、プラスチック培養容器等の標本を撮像すると、当該容器等により偏光が変化してしまうため、微分干渉画像の撮像による取得が難しかった。本変形例の定量位相画像生成装置4により、従来96ウェルプレート等のメニスカスによる液面の変化が大きい容器で、良好なコントラストが得られていなかった微分干渉画像も、生成した定量位相画像を介して微分干渉画像に変換させる事で、精度の高い微分干渉画像を構築することができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例7)
対象物Sが緩衝液中等に載置された細胞等であった場合、複数の計測面iを計測する間に、緩衝液中を浮遊する死んだ細胞(浮遊死細胞)が、光強度分布に影響を与え、光強度分布データにおけるノイズとなって位相復元精度を低下させる問題があった。特に、浮遊死細胞が、計測した一部の計測面iまたはその近傍に存在して位相復元精度を低下させる場合があった。このような位相復元精度の低下を回避するため、位相復元処理部521は、上述のSG法を用いて位相復元することができる。
位相復元処理部521は、SG法により、zの関数として計測面i上の各位置の光強度を多項式近似する。これにより、一部の計測面iに対応する光強度分布データで極端な値が存在しても復元される位相値に大きな影響が出ることを防ぐことができる。
SG法による計算量の増加を防ぐため、位相復元処理部521は、まずSG法を適用せずに位相復元を行い、位相復元誤差が所定の閾値を超える画素が有るか否かを判定し、位相復元誤差が所定の閾値を超える画素があった場合にSG法を適用して位相復元処理を行うことが好ましい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例8)
従来の位相復元方法によると、定量位相画像の最も外側の画素近傍の画像辺縁部で、位相復元精度が低下し、実際には位相物体が存在しないにも関わらず、位相値が高く算出されてしまう問題があった。この問題は、画像辺縁部に位相値が大きい(例えば厚い細胞)対象物Sが存在すると、発生しやすい。画像辺縁部またはその近傍に位相物体が存在すると、強度輸送方程式のコントラスト伝達関数に従うフィルター処理により、位相を復元する際、存在しない空間周波数成分に由来する位相成分が生じるため、本来は存在しない輪郭が発生するからである。特に、従来技術では、観察視野の区画に沿って画像辺縁部で位相復元精度が低下するため、当該区画で区切られた定量位相画像をつなぎ合わせたステッチング画像の生成場面では、画像同士を重ね合わせる領域で位相が不自然に変化することなくつなぎ合わせる事が出来なかった。本変形例は、位相復元処理部521が、光強度分布データに前処理を行うことで画像辺縁部の位相復元精度の低下を抑制するものである。
位相復元処理部521は、位相復元する光強度分布データに対応する光強度画像をバックグラウンドと略同じレベルの光強度が分布する画像で囲んだ画像(前処理画像と呼ぶ)に対応するデータ(前処理画像データ)を生成し、前処理画像データに位相復元処理を行う。これにより、前処理画像中の位相復元する光強度画像に対応する部分は、画像の輪郭から離れた位置となるため、当該部分の位相復元精度の低下を抑制させることができる。位相復元処理部521は、前処理画像データの位相復元処理が終わった後、位相復元処理した画像データを元の光強度画像のサイズに戻す。
例えば、強度輸送方程式を、高速フーリエ変換(FFT)を用いて処理する場合、データ数が2のべき乗画像(1024×1024ピクセル、2048×2048ピクセル、4096×4096ピクセル等)に対して好適に計算処理できるため、仮に検出部9の縦横の画素数が1600×1200ピクセルの場合、位相復元処理部521は、2048×2048ピクセルの大きさのバックグラウンドと略同じレベルの強度が分布した光強度分布データを生成して、光強度分布I1,I2,I3に対応する光強度分布データを埋め込む前処理をすることができる。
なお、位相復元処理部521は、光強度が飽和している画素または光強度が閾値よりも大きい画素に対応する位置が、光強度画像の画像辺縁部に含まれるか否かに基づいて、本変形例の前処理を省略するかどうかを判定してもよい。これにより、画像辺縁部で大きい位相復元誤差が発生するリスクがない、光強度画像に対応する光強度分布データの前処理を省略することにより、計算量を減少させて、スループットを向上させる事ができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例9)
対象物Sが緩衝液中に配置された細胞等の場合、緩衝液の液面が表面張力で湾曲しメニスカス形状となり、メニスカス形状の液面の勾配がバックグラウンドの位相値となり、位相復元誤差を増加させてしまう点が従来の定量位相画像の計測では問題となっていた。本変形例では、位相復元処理部521が画像処理を行うことにより、液面のメニスカス形状による位相計測への影響を少なくする。
図23は、液面のメニスカス形状の位相計測への影響を模式的に示す図である。対象物Sを配置する容器にメニスカス形状81があると、定量位相画像においては、対象物Sのバックグラウンドの位相値となって影響する。このバックグラウンドの位相値を位相オフセットと呼ぶ。
位相復元処理部521は、モーフォロジー画像処理により、対象物Sを除くバックグラウンドの位相値を抽出し、定量位相画像から差し引くことで、位相オフセットによる影響を減らす。この方法は、メニスカス形状だけでなく、プラスチック容器の局所的な厚み変化に対しても補正できる。また、位相オフセットを除去した定量位相画像は、ステッチング画像生成で画像同士を重ねる場合でも、正確につなぎ合わせる事ができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
(変形例10)
本実施形態の情報処理部40の情報処理機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述した装置制御部51が行う処理および解析部52が行う処理等の制御部50が行う処理等に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
また、パーソナルコンピュータ(以下、PCと呼ぶ)等に適用する場合、上述した制御に関するプログラムは、CD−ROMやDVD−ROMなどの記録媒体やインターネット等のデータ信号を通じて提供することができる。図24はその様子を示す図である。PC950は、記録媒体953を介してプログラムの提供を受ける。また、PC950は通信回線951との接続機能を有する。コンピュータ952は上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体にプログラムを格納する。通信回線951は、インターネット、PC通信などの通信回線、あるいは専用通信回線などである。コンピュータ952はハードディスクを使用してプログラムを読み出し、通信回線951を介してプログラムをPC950に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線951を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
本変形例のプログラムは、対象物Sに照明光を照射する透過照明光学系10と、対物レンズ21と、対象物Sにおける対物レンズ21aの焦点を対物レンズ21aの光軸に沿って調節する装置制御部51と、対象物Sからの光を検出する検出器と、解析(画像生成部)部52と、を備える定量位相画像生成装置1が、対物レンズ21aの光軸に沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を配置した対象物Sからの光を、検出部9が検出し、検出した光に基づいて解析部52が複数の光強度分布データを生成し、複数の光強度分布データに基づいて、定量位相画像を生成する場合に、定量位相画像生成装置1に入力または記憶された顕微鏡本体部100の設定情報である、対物レンズ21aの開口数NA、照明光の波長λ、および対物レンズ21aと対象物Sの間の屈折率nに基づいて、焦点間隔Δzを設定する設定処理を定量位相画像生成装置1の処理装置に行わせる。これにより、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
本発明は上記実施形態の内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
(実施例)
図1に示された定量位相画像生成装置1と同様の構成の顕微鏡により、異なる対物レンズ(乾式)を用いてHela細胞の位相分布を計測した。計測条件は以下の通りである。「撮像回数」は、光強度分布データを取得するための撮像の回数を示し、異なる3カ所の焦点位置でそれぞれ1回ずつ撮像した。
照明光の波長λ 550nm(500nm〜600nmの範囲に分布)
撮像素子の画素サイズP 6.45μm
対物レンズ番号 倍率 開口数NA 焦点間隔 撮像回数
1 10 0.45 Δz=5.1μm 3
2 20 0.75 Δz=1.6μm 3
3 40 0.6 Δz=2.8μm 3
図25は、対物レンズ1〜3のそれぞれを用いてHela細胞を撮像して取得した光強度分布データから得た、Hela細胞の同一の縦断面(XZ断面)の位相分布を示すグラフである。対物レンズを切り替えても位相のプロファイルが略同一となっている。