実施例の説明に先立ち、本発明のある態様にかかる実施形態の作用効果を説明する。なお、本実施形態の作用効果を具体的に説明するに際しては、具体的な例を示して説明することになる。しかし、後述する実施例の場合と同様に、それらの例示される態様はあくまでも本発明に含まれる態様のうちの一部に過ぎず、その態様には数多くのバリエーションが存在する。したがって、本発明は例示される態様に限定されるものではない。
本実施形態の屈折率分布推定システムでは、撮影画像と推定標本の像が用いられる。撮影画像は、光学装置で取得した標本の画像である。推定標本の像は、シミュレーションで取得した推定標本の画像である。
シミュレーションでは、残差が閾値以下になるように、推定標本の更新が行われる。残差は、推定標本の像と撮影画像との差である。残差が閾値以下になると、撮影画像と同一の推定標本の像が得られるか、又は、撮影画像と略同一の推定標本の像が得られる。
撮影画像の取得では、パーシャルコヒーレント照明が用いられている。よって、シミュレーションも、パーシャルコヒーレント照明を前提としている。
第1のシミュレーションでは、標本は厚みが薄い標本(以下、「薄い標本」という)である。第2のシミュレーションと第3のシミュレーションでは、標本は厚みが厚い標本(以下、「厚い標本」という)である。
本実施形態の屈折率分布推定システムは、パーシャルコヒーレント照明により標本を照明する照明光学系と、標本の光学像を形成する結像光学系と、結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、プロセッサは、標本の屈折率分布を含む推定標本を推定するステップと、照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、複数の第1波面が推定標本を通過した後の複数の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする。
図1は本実施形態の屈折率分布推定システムと撮影画像を示す図である。図1(a)は、屈折率分布推定システムを示す図である。図1(b)は、撮影画像を示す図である。
図1(a)に示すように、屈折率分布推定システム1は、照明光学系2と、結像光学系3と、撮像素子4と、プロセッサ5と、を有する。照明光学系2と結像光学系3で、測定光学系が形成されている。
照明光学系2と結像光学系3との間に、標本6が位置している。標本6は、薄い標本である。結像光学系3の焦点位置Foは、標本6の内部に位置している。例えば、焦点位置Foと標本6の表面6aとの間隔はΔz1である。
標本6には、複数の方向から、光線が同時に入射する。図1(a)では、光線LONと光線LOFFが示されている。光線LONは、光軸AXと平行な光線である。光線LOFFは、光軸AXと交差する光線である。
このように、複数の方向から同時に入射する光線によって、標本6が照明されている。このような照明としては、インコヒーレント照明とパーシャルコヒーレント照明がある。屈折率分布推定システム1では、パーシャルコヒーレント照明が用いられている。
光のコヒーレンスには、時間的コヒーレンスと空間的コヒーレンスが含まれる。ここでのコヒーレンスは、空間的コヒーレンスを指している。
図2は、照明光と照明領域を示す図である。図2(a)は、照明光と照明領域の第1例を示す図である。図2(b)は、照明光と照明領域の第2例を示す図である。各図では、標本に入射する照明光と、結像光学系の瞳位置における照明領域が示されている。
第1例では、光線LONと光線LOFFが照明に用いられている。結像光学系3の瞳位置Puでは、照明領域ILLの形状は円である。照明領域ILLは、結像光学系3の瞳POBよりも狭い。よって、第1例における照明は、パーシャルコヒーレント照明である。
第2例では、光線LOFFだけが照明に用いられている。瞳位置Puでは、照明領域ILLの形状は円環である。照明領域ILLは、瞳POBよりも狭い。よって、第2例における照明は、パーシャルコヒーレント照明である。
図1に戻って説明する。標本6から射出した光は、結像光学系3によって、結像面IPに集光される。結像面IPに、光学像6’が形成される。光学像6’は、標本6の光学像である。
結像面IPには、撮像素子4の撮結像面が位置している。撮像素子4によって、光学像6’の画像の取得が行われる。その結果、図1(b)に示す撮影画像Imea(r)が得られる。rは、(x,y)の2次元座標を示す。
標本6は、薄い標本なので、1つの撮影画像が取得される。よって、結像光学系3と撮像素子4は、光軸方向に移動しない。また、標本6も、光軸方向に移動しない。
撮影画像Imea(r)は、プロセッサ5に入力される。プロセッサ5では、撮影画像Imea(r)を用いて、推定標本の像のシミュレーションが行われる。
図3は、第1のシミュレーションのフローチャートである。図1に示す測定光学系では、照明領域は無数の点光源で形成されている。シミュレーションでは、無数の点光源を扱うことはできない。そこで、照明領域を、複数の微小領域に分割する。
微小領域の各々は、点光源とみなすことができる。照明領域を複数の微小領域に分割することで、点光源の数を少なくすることができる。
図4は、分割された照明領域を示す図である。図4(a)は、分割された照明領域の第1例を示す図である。図4(b)は、分割された照明領域の第2例を示す図である。
第1例では、円形の照明領域が、複数の微小領域に分割されている。第2例では円環形の照明領域が、複数の微小領域に分割されている。
上述のように、微小領域の各々は、点光源とみなすことができる。よって、第1例では、複数の点光源によって、円形の照明領域が形成されている。第2例では、複数の点光源によって、円環形の照明領域が形成されている。
図5は、シミュレーションで用いる光学系を示す図である。シミュレーションで用いる光学系は、撮影画像Imea(r)を取得した測定光学系と同一である。シミュレーションでは、標本6の代わりに、推定標本10が用いられる。
図5には、推定標本10、波面fin m(r)、振幅透過率Ts(r)、波面gout m(r)、撮影画像の取得位置における波面um(r)、及び結像面における波面uimg m(r)が図示されている。
図5では、1番目の光源からNLS番目までの光源が図示されている。光源は、照明光学系2の瞳位置に配置することができる。このようにすることで、照明光学系2の瞳の強度分布が、複数の光源でモデル化することができる。
図3に戻って、シミュレーションについて説明する。シミュレーションは、推定標本を推定するステップと、推定標本の像を算出するステップと、推定標本の屈折率分布を最適化するステップと、推定標本を更新するステップと、推定標本の構造を再構成して出力するステップと、を含む。
ステップS10では、光源の数NLSが設定される。光源の数NLSは、照明領域を微小領域に分割したときの分割数である。シミュレーションでは、図4(a)に示す円形の照明領域が用いられる。
ステップS20は、推定標本を推定するステップである。標本6については、1枚の撮影画像が取得されている。推定標本10は薄い標本なので、1つの薄い層とみなすことができる。よって、振幅透過率の初期値の設定は1回行われる。
ステップS20では、推定標本10における振幅透過率Ts(r)に初期値が設定される。
推定標本10の像を算出するためには、推定標本10の情報、例えば、屈折率分布が必要である。推定標本10は、標本6をモデル化した標本である。よって、推定標本10の屈折率分布に標本6の屈折率分布を用いることができると良い。
しかしながら、標本6の屈折率分布は、撮影画像Imea(r)から正確に得られない。よって、推定標本10の屈折率分布は、推定せざるを得ない。
式(1)に示すように、結像面における屈折率分布n
s(r)は、振幅透過率T
s(r)に変換することができる。よって、ステップS20では、推定標本10における振幅透過率T
s(r)の初期値を設定する。
ここで、
λは、照明光の波長、
dzは、標本の厚み、
である。
振幅透過率Ts(r)の値を撮影画像Imea1(r)から推定できる場合、推定した値を初期値に用いても良い。また、他の方法で振幅透過率Ts(r)の値を推定できる場合、推定した値を初期値に設定することができる。初期値が推定できない場合、例えば、Ts(r)=1とする。
ステップS30では、変数mの値が初期化される。後述のステップS41、ステップS42、ステップS43、ステップS44、及びステップS45は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS40とステップS50は、推定標本の像を算出するステップである。推定標本の像の数は、撮影画像の数と同数である。撮影画像の数は1なので、推定標本の像の数も1である。
ステップS40は、ステップS41、ステップS42、ステップS43、ステップS44、ステップS45、ステップS46、及びステップS47を有する。
ステップS41では、推定標本10へ入射する波面fin m(r)が算出される。fin m(r)は、1番目の光源からNLS番目までの光源から射出された光の波面を表している。
上述のように、照明光学系の瞳の強度分布は、複数の光源でモデル化することができる。1番目の光源からNLS番目までの光源は、モデル化された複数の光源である。第1波面を、モデル化された複数の光源から射出された波面とすると、波面fin m(r)は、第1波面を表している。
上述のように、微小領域の各々は、点光源とみなすことができる。図5では、m番目の光源から照明光Lmが出射されている。照明光Lmは、推定標本10に入射する。
この場合、波面f
in m(r)は、式(2)と式(3)で表される。
ここで、
θ
x,m、θ
y,mは、推定標本への入射角、
である。
ステップS42では、推定標本10から射出される波面g
out m(r)が算出される。薄い標本の場合、波面g
out m(r)は、式(4)で表される。
ここで、
T
s(r)は、推定標本の振幅透過率、
である。
波面gout m(r)は、波面fin m(r)が推定標本10を通過した後の波面である。波面fin m(r)は第1波面を表しているので、波面gout m(r)は第2波面を表している。
推定標本10は薄い標本なので、式(4)に示すように、波面fin m(r)から、波面gout m(r)を直接算出することができる。
ステップS43では、撮影画像の取得位置における波面um(r)が算出される。撮影画像の取得位置は、撮影画像の取得が行われたときの、標本側における結像光学系3の焦点位置Foである。
波面u
m(r)は、式(5)で表される。
ここで、
P
−Δz1{ }は、式(6)で表され、
Δz1は、推定標本の表面から撮影画像の取得位置までの距離、
λは、波長、
uは、瞳面座標(ξ,η)の2次元表記、
F
2Dは、2次元フーリエ変換、
F
2D −1は、2次元フーリエ逆変換、
である。
後述のステップS60では、残差が算出される。残差の算出は、撮影画像と推定標本の像が用いられる。推定標本の像を算出するためには、撮影画像の取得位置における波面を求める必要がある。
上述のように、焦点位置Foと表面6aとの間隔はΔz1である。光の進行方向に向かって測定したときの距離の符号をプラスとすると、撮影画像の取得位置は、表面6aから−Δz1だけ離れた位置になる。
よって、シミュレーションで用いる光学系では、撮影画像の取得位置は、推定標本10の表面10aから−Δz1だけ離れた位置になる。この場合、撮影画像の取得位置における波面は、表面10aから−Δz1だけ離れた位置における波面になる。
式(5)における波面um(r)は、波面gout m(r)が、光の進行方向とは逆の方向にΔz1だけ伝搬した波面である。この波面は、表面10aから−Δz1だけ離れた位置における波面である。よって、式(5)における波面um(r)は、撮影画像の取得位置における波面を表している。
なお、撮影画像の取得位置と表面6aの位置は、厳密には異なる。しかしながら、標本6は薄い標本なので、Δz1の値は非常に小さい。そのため、撮影画像の取得位置と表面6aの位置は、ほぼ同じと見なすことができる。
推定標本10も薄い標本である。そのため、表面10aの位置と、表面10aから−Δz1だけ離れた位置は、ほぼ同じと見なすことができる。すなわち、波面gout m(r)の位置と波面um(r)の位置は、ほぼ同じと見なすことができる。この場合、波面um(r)の代わりに、波面gout m(r)を用いることもできる。
ステップS44では、結像面における波面u
img m(r)が算出される。波面u
m(r)は、結像面IPに伝搬される。このとき、結像光学系3を通過する。結像光学系3は、フーリエ光学系を形成している。よって、式(7)に示すように、結像面IPにおける波面u
img m(r)は、波面u
m(r)と結像光学系の瞳関数P(u)を用いて算出することができる。
ステップS45では、波面uimg m(r)が2乗される。波面uimg m(r)は、光の振幅を表している。よって、波面uimg m(r)を2乗することで、光強度が算出される。
|uimg m(r)|2は、結像面IPに光強度分布を表している。第1強度分布を、結像光学系の結像位置における光強度分布とすると、|uimg m(r)|2は、結像光学系の結像位置における第1光強度分布を表している。
波面fin m(r)、波面gout m(r)、波面um(r)、及び波面uimg m(r)は、m番目の光源から射出された照明光、すなわち、1つの光源から射出された照明光によって生成される波面を表している。
推定標本の像Iest(r)は、全ての光源から射出された照明光によって生成される。よって、全ての光源について、波面fin m(r)、波面gout m(r)、波面um(r)、及び波面uimg m(r)を求めなくてはならない。
ステップS46では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS47が実行される。判断結果がYESの場合は、ステップS50が実行される。
(判断結果がNOの場合:m≠NLS)
判断結果がNOの場合、ステップS47で、変数mの値に1が加算される。ステップS47が終ると、ステップS41に戻る。
ステップS47で、変数mの値が1つ増えている。そのため、別の光源について、ステップS41で波面fin m(r)が算出され、ステップS42で波面gout m(r)が算出され、ステップS43で波面um(r)が算出され、ステップS44で波面uimg m(r)が算出され、ステップS45で|uimg m(r)|2が算出される。
ステップS41、ステップS42、ステップS43、ステップS44、及びステップS45は、全ての光源について|uimg m(r)|2が求まるまで、繰り返し行われる。
(判断結果がYESの場合:m=N
LS)
判断結果がYESの場合、ステップS50で、|u
img m(r)|
2の足し合わせが行われる。その結果、推定標本の像I
est(r)が算出される。推定標本の像I
est(r)は、式(8)で表される。
図6は、推定標本の像を示す図である。推定標本の像Iest(r)は、全ての光源について波面uimg m(r)が求められた場合の像である。図6に示すように、各光源について波面uimg m(r)が算出され、波面uimg m(r)から|uimg m(r)|2が算出され|uimg m(r)|2が全て足し合わされている。その結果、推定標本の像Iest(r)が算出される。
ステップS60で、残差が算出される。残差は、式(9)で表される。式(9)に示すように、残差は、撮影画像I
mea(r)と推定標本の像I
est(r)とから算出される。
式(9)は、行列のノルムを表している。ノルムは、式(10)で表される。
ステップS70では、残差と閾値との比較が行われる。判断結果がNOの場合は、ステップS80が実行される。判断結果がYESの場合は、ステップS110が実行される。
(判断結果がNOの場合:残差≧閾値)
ステップS80では、変数mの値が初期化される。後述のステップS91とステップS92は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS90は、推定標本の屈折率分布を最適化するステップである。
ステップS90は、ステップS91、ステップS92、ステップS93、及びステップS94を有する。
ステップS91では、波面u’m(r)が算出される。波面u’m(r)の算出では、撮影画像Imea(r)と推定標本の像Iest(r)が用いられる。また、波面u’m(r)は、撮影画像の取得位置における波面である。
図7は、波面の補正を示す図である。図7(a)は、推定標本から射出する補正前の波面を示す図である。図7(b)は、撮影画像の取得位置における補正前の波面を示す図である。図7(c)は、撮影画像の取得位置における補正後の波面を示す図である。図7(d)は、推定標本から射出する補正後の波面を示す図である。
図6に示すように、推定標本の像Iest(r)は、波面uimg m(r)に基づいて算出される。また、図6と図7(b)に示すように、波面uimg m(r)は、波面um(r)に基づいて算出される。
図7(a)に示すように、波面um(r)の算出には、振幅透過率Ts(r)が用いられている。振幅透過率Ts(r)は、推定された振幅透過率である。ステップS90の1回目の実行時、この振幅透過率Ts(r)は、標本6の振幅透過率と異なる。
振幅透過率Ts(r)と標本6の振幅透過率との差が大きくなるほど、推定標本の像Iest(r)と撮影画像Imea(r)との差も大きくなる。よって、推定標本の像Iest(r)と撮影画像Imea(r)との差は、振幅透過率Ts(r)と標本6の振幅透過率との差を反映していると見なすことができる。
そこで、式(11)に示すように、推定標本の像Iest(r)と撮影画像Imea(r)と用いて、波面um(r)を補正する。その結果、図7(c)に示すように、補正後の波面、すなわち、波面u’m(r)が得られる。
波面u’m(r)を用いることで、新たな振幅透過率Ts(r)を算出できる。波面u’m(r)は、波面um(r)と異なる。よって、新たな振幅透過率Ts(r)は、波面um(r)を算出したときの振幅透過率とは異なる。
このように、波面u’m(r)を用いて、振幅透過率Ts(r)を算出することができる。ただし、図7(a)に示すように、振幅透過率Ts(r)の算出には、波面gout m(r)が必要である。
図7(a)、(c)に示すように、波面u’m(r)の位置と、波面gout m(r)の位置は異なる。よって、振幅透過率Ts(r)を算出するためには、図7(d)に示すように、波面g’out m(r)が必要である。
波面g’
out m(r)は、式(12)で表される。波面u’
m(r)は補正後の波面なので、波面g’
out m(r)も補正後の波面である。
上述のように、撮影画像の取得位置は、表面10aから−Δz1だけ離れた位置になる。言い換えると、表面10aの位置は、撮影画像の取得位置からΔz1だけ離れた位置になる。よって、表面10aの位置における波面は、撮影画像の取得位置からΔz1だけ離れた位置における波面になる。
式(12)における波面g’out m(r)は、波面u’m(r)が、光の進行方向にΔz1だけ伝搬した波面である。この波面は、影画像の取得位置からΔz1だけ離れた位置における波面である。よって、式(12)における波面g’out m(r)は、表面10aの位置における波面を表している。
表面10aの位置における波面は、fin m(r)が推定標本10を通過した後の波面である。上述のように、fin m(r)は、第1波面を表している。第2波面を、第1波面が推定標本を通過した後の波面とすると、波面g’out m(r)は、第2波面を表している。
上述のように、Δz1の値は非常に小さい。また、推定標本10は薄い標本である。そのため、撮影画像の取得位置と、撮影画像の取得位置からΔz1だけ離れた位置は、ほぼ同じと見なすことができる。すなわち、波面u’m(r)の位置と、波面gout m(r)の位置は、ほぼ同じと見なすことができる。この場合、波面g’out m(r)の代わりに、波面u’m(r)を用いることもできる。
ステップS92では、標本の勾配ΔT
s m(r)が算出される。標本の勾配ΔT
s mは式(13)で表される。標本の勾配ΔT
s m(r)の算出には、例えば、勾配降下法を用いることができる。
ここで、
f
*は、fの複素共役、
δは、ゼロ除算を防ぐための正規化定数、
である。
図7(a)に示すように、波面gout m(r)の算出には、振幅透過率Ts(r)が用いられている。振幅透過率Ts(r)は、推定された振幅透過率である。よって、この振幅透過率Ts(r)は、標本6の振幅透過率と異なる。
振幅透過率Ts(r)と標本6の振幅透過率との差が大きくなるほど、波面gout m(r)と波面g’out m(r)との差も大きくなる。よって、波面gout m(r)と波面g’out m(r)との差は、振幅透過率Ts(r)と標本6の振幅透過率との差を反映していると見なすことができる。
波面fin m(r)、振幅透過率Ts(r)、波面gout m(r)、及び波面g’out m(r)は、既知である。そこで、式(12)に示すように、波面fin m(r)、振幅透過率Ts(r)、波面gout m(r)、及び波面g’out m(r)用いて、標本の勾配ΔTs m(r)を算出することができる。
図8は、標本の勾配を示す図である。
ステップS92で得られる標本の勾配ΔTs m(r)は、1つの光源から射出された照明光における標本の勾配を表している。標本の勾配ΔTs m(r)は、全ての光源から射出された照明光によって決まる。よって、全ての光源について、標本の勾配ΔTs m(r)を求めなくてはならない。
ステップS93では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS94が実行される。判断結果がYESの場合は、ステップS100が実行される。
(判断結果がNOの場合:m≠NLS)
判断結果がNOの場合、ステップS94で、変数mの値に1が加算される。ステップS94が終ると、ステップS91に戻る。
ステップS94で、変数mの値が1つ増えている。そのため、別の光源について、ステップS91で波面u’m(r)が算出され、ステップS92で標本の勾配ΔTs m(r)が算出される。
ステップS91とステップS92は、全ての光源について標本の勾配ΔTs m(r)が求まるまで、繰り返し行われる。
図9は、標本の勾配を示す図である。図9では、全ての光源について、標本の勾配ΔTs m(r)が求められている。
(判断結果がYESの場合:m=NLS)
判断結果がYESの場合、ステップS100で、振幅透過率Ts(r)が更新される。ステップS100は、推定標本を更新するステップするステップである。
更新された振幅透過率T
s(r)は、式(14)で表される。
ここで、
αは、標本の勾配の補正係数、
である。
さらに、標本6を吸収の無い完全位相物体として考える場合、式(15)を用いて、振幅透過率T
s(r)をさらに更新することができる。
ステップS100が終ると、ステップS30に戻る。更新された振幅透過率Ts(r)で、ステップS30からステップS100までが実行される。
ステップS30からステップS100までが繰り返し実行されることで、更新された振幅透過率Ts(r)は、徐々に、標本6の振幅透過率に近づく。すなわち、残差が小さくなる。やがて、残差は閾値よりも小さくなる。
(判断結果がYESの場合:残差<閾値)
ステップ110では、推定標本の屈折率分布が算出される。得られた振幅透過率Ts(r)は、標本6の振幅透過率と同一か、又は、略同一である。得られた振幅透過率Ts(r)と式(1)から、屈折率分布n(r)が求まる。
ステップS110で得られた屈折率分布n(r)を用いることで、推定標本の構造を再構成することができる。再構成された推定標本の構造は、例えば、表示装置に出力することができる。推定標本10は、薄い標本である。第1のシミュレーションでは、薄い標本の構造を再構成することができる。
上述のように、ステップS110で得られた振幅透過率Ts(r)は、標本6の振幅透過率と同一か、又は、略同一である。この場合、屈折率分布n(r)も、標本6の屈折率分布と同一か、又は、略同一と見なすことができる。よって、再構成された推定標本10の構造は、標本6の構造と同一か、又は、略同一と見なすことができる。
第1のシミュレーションでは、ステップS40、ステップS50、及びステップS90が、繰り返し実行される。その結果、振幅透過率Ts(r)が更新される。上述のように、ステップS40とステップS50は、推定標本の像を算出するステップである。ステップS90は、推定標本の屈折率分布を最適化するステップである。
振幅透過率Ts(r)は、推定標本を表している。よって、推定標本の像を算出するステップと推定標本の屈折率分布を最適化するステップが繰り返し実行されることで、推定標本が更新される。
本実施形態の屈折率分布推定システムは、結像光学系の焦点位置と標本の位置との間隔を、結像光学系の光軸方向に変化させる駆動機構を更に備え、駆動機構により間隔を変化させて、複数の間隔のそれぞれに対応する複数の標本の撮影画像を取得し、複数の間隔のそれぞれに対応する複数の推定標本の像を算出し、複数の間隔のそれぞれにおいて、推定標本の屈折率分布を最適化することが好ましい。
図10は、本実施形態の屈折率分布推定システムと照明光を示す図である。図10(a)は、屈折率分布推定システムを示す図である。図10(b)は、照明光を示す図である。図1(a)と同じ構成については同じ番号を付し、説明は省略する。
標本21は、厚い標本である。標本21には、複数の方向から、光線が同時に入射する。図10(a)では、光線LONと光線LOFFが示されている。図10(b)に示すように、光線LOFFだけを照明に用いても良い。
標本21から射出した光は、結像光学系3によって、結像面IPに集光される。結像面IPに、光学像21’が形成される。光学像21’は、標本21の光学像である。
屈折率分布推定システム20は、移動ステージ22を有する。移動ステージ22は、光軸AXの方向に移動する。
上述のように、推定標本の屈折率分布の最適化には、撮影画像が用いられる。標本21は、厚い標本なので、複数の撮像画像が取得される。複数の撮像画像を取得するために、標本21を固定し、移動ステージ22で、結像光学系3の焦点位置を移動させている。
結像光学系3は、例えば、無限遠補正対物レンズと結像レンズを有する。この場合、対物レンズを移動させることで、結像光学系3の焦点位置を移動させることができる。結像光学系3と撮像素子4を固定し、標本21を移動させても良い。
以下、取得された撮像画像が4枚の場合について説明する。
図11は、撮影画像を示す図である。図11(a)は、第1の位置における撮影画像を示す図である。図11(b)は、第2の位置における撮影画像を示す図である。図11(c)は、第3の位置における撮影画像を示す図である。図11(d)は、第4の位置における撮影画像を示す図である。
結像光学系3と標本21との間隔を変化させることで、標本21に対する焦点位置Foが変化する。ここでは、標本21に対する焦点位置Foを、4回変化させている。これにより、以下の4つの撮影画像が取得される。
撮影画像Imea1(r):表面21aからの距離が3×Δzの位置の画像。
撮影画像Imea2(r):表面21aからの距離が2×Δzの位置の画像。
撮影画像Imea3(r):表面21aからの距離がΔzの位置の画像。
撮影画像Imea4(r):表面21aの画像。
撮影画像Imea1(r)、撮影画像Imea2(r)、撮影画像Imea3(r)、及び撮影画像Imea4(r)は、プロセッサ5に入力される。プロセッサ5では、4つの撮影画像を用いて、推定標本の像のシミュレーションが行われる。
図12と図13は、第2のシミュレーションのフローチャートである。第1のフローチャートにおける処置と同じ処理につては、同じ番号を付し、説明は省略する。
図14は、シミュレーションで用いる光学系を示す図である。図5と同じ構成については同じ番号を付し、説明は省略する。
シミュレーションで用いる光学系は、撮影画像Imea1(r)、撮影画像Imea2(r)、撮影画像Imea3(r)、及び撮影画像Imea4(r)を取得した測定光学系と同一である。シミュレーションでは、標本21の代わりに、推定標本30が用いられる。
図14には、推定標本30、波面fin m(r)、振幅透過率Tz(r)、及び波面gout m(r)が図示されている。
推定標本が薄い標本の場合、式(4)に示すように、波面fin m(r)から、波面gout m(r)を直接算出することができる。しかしながら、推定標本が厚い標本の場合、波面fin m(r)から波面gout m(r)を直接算出することは困難である。
推定標本30は、厚い標本である。そこで、光軸方向に沿って、推定標本30を複数の薄い層に置き換える。そして、薄い層の各々について、層の両側の波面を算出する。
図15は、各層における波面を示す図である。波面の算出については後述する。層の数は、取得画像の数と同じにすることができる。ただし、層の数は、取得画像の数よりも多くしても良い。図15では、層の数は、取得画像の数と同じである。
図15では、Z=1の位置が第1層の位置、Z=2の位置が第2層の位置、Z=3の位置が第3層の位置、Z=4の位置が第4層の位置である。
図12、図13を用いて、シミュレーションについて説明する。
ステップS10では、光源の数NLSが設定される。
ステップS200では、層の数NIMが設定される。推定標本30は、厚い標本である。よって、上述のように、推定標本30を複数の薄い層に置き換える。層の数NIMは、薄い層の数を表している。
標本21では、複数の位置で撮影画像が取得される。層の数NIMは、撮影画像が取得された位置の数と同じにすることができる。標本21に対する焦点位置Foを4回変化させている場合、NIM=4になる。
1からNIMまでの数字は、薄い層の位置を表している。例えば、NIM=4の場合、数字の1は第1層の位置を表し、数字の2は第2層の位置を表し、数字の3は第3層の位置を表し、数字の4は第4層の位置を表している。
推定標本の像の算出は、シミュレーションで行われる。そのため、層の数NIMは、自由に設定できる。例えば、層の数NIMは、撮影画像が取得された位置の数よりも多くすることができる。
例えば、NIM=7の場合、薄い層の数は7つである。この場合、7つの推定標本の像が算出される。シミュレーションでは、後述のように、撮影画像と薄い層における推定標本の像が用いられる。よって、推定標本の像が算出される7つ位置には、撮影画像が取得された4つの位置が含まれている。
7つ位置と撮影画像の関係は、例えば、以下のようにすることができる。
数字の1は、第1層の位置を表している。この位置では、撮影画像Imea1(r)が取得されている。また、この位置では、第1層における推定標本の像が算出される。よって、第1層における推定標本の像と撮影画像Imea1(r)が、後述のステップで用いられる。
数字の2は、第2層の位置を表している。この位置で取得された撮影画像は無い。
数字の3は、第3層の位置を表している。この位置では、撮影画像Imea2(r)が取得されている。また、この位置では、第3層における推定標本の像が算出される。よって、第3層における推定標本の像と撮影画像Imea2(r)が、後述のステップで用いられる。
数字の4は、第4層の位置を表している。この位置で取得された撮影画像は無い。
数字の5は、第5層の位置を表している。この位置では、撮影画像Imea3(r)が取得されている。また、この位置では、第5層における推定標本の像が算出される。よって、第5層における推定標本の像と撮影画像Imea3(r)が、後述のステップで用いられる。
数字の6は、第6層の位置を表している。この位置で取得された撮影画像は無い。
数字の7は、第7層の位置を表している。この位置では、撮影画像Imea4(r)が取得されている。また、この位置では、第7層における推定標本の像が算出される。よって、第7層における推定標本の像と撮影画像Imea4(r)が、後述のステップで用いられる。
ステップS210では、補正の回数NCRが設定される。
ステップS220では、変数zの値が初期化される。後述のステップS231は、全ての取得位置に対して実行される。変数zは、ステップS231が実行された回数を表している。
ステップS230は、推定標本を推定するステップである。標本21では、4つの撮影画像が取得されている。上述のように、推定標本30は4つの薄い層に置き換えられている。よって、振幅透過率の初期値の設定は4回行われる。
ステップS230は、ステップS231、ステップS232、及びステップS233を有する。
ステップS231では、推定標本30における振幅透過率Tz(r)に初期値が設定される。
初期値の設定では、強度輸送方程式を用いても良い。強度輸送方程式は、例えば、以下の文献に開示されている。
M. R. Teague, “Deterministic phase retrieval: a Greens function solution,” J. Opt. Soc. Am. 73, 1434-1441(1983)
焦点位置Z0での強度輸送方程式は、式(16)で表される。
ここで、
∇
2は、2次のラプラシアン、
kは、波数、
φ
Z0(r)は,結像面での標本の位相分布、
I
Z0は,光学像の平均光強度、
δI
meaZ0(r)/δ
Zは、結像面から±△zだけ離れた2つのデフォーカス像の差分像、
である。
式(16)を用いると、フォーカス像と2つのデフォーカス像から、標本の位相分布φZ0(r)を簡単に求めることができる。
ただし、2つのデフォーカス像の同一点における光強度の差が0か、又は、非常に小さいと、位相を計測できない。パーシャルコヒーレント照明であっても、照明光の開口数が小さい場合は、この光強度の差が0になるか、又は、非常に小さくなる。そのため、このような場合は、強度輸送方程式を用いて初期値を設定することは難しい。
上述のように、位相分布φZ0(r)は、フォーカス像と2つのデフォーカス像から算出される。フォーカス像、例えば、対物レンズを一定の間隔で、光軸方向に移動させることで取得される。この場合、光軸に沿って、複数のフォーカス像が離散的に取得される。よって、2つのデフォーカス像も離散的に取得される。
式(16)で表される位相分布φZ0(r)は、光軸と直交する面内における位相分布である。フォーカス像と2つのデフォーカス像は離散的に取得されるので、位相分布φZ0(r)を表す面も、光軸に沿って離散的に位置している。
式(17)に示すように、位相分布φ
z(r)は、振幅透過率T
s(r)に変換することができる。このようにして、振幅透過率T
z(r)に初期値を設定することができる。
強度輸送方程式で得られた位相分布φZ0は、位相分布φz(r)に用いることができる。強度輸送方程式を用いて、初期値を設定することができる。なお、初期値の推定が難しい場合、例えば、Tz(r)=1としても構わない。
ステップS232では、変数zの値が取得位置の数NIMと一致したか否かが判断される。判断結果がNOの場合は、ステップS233が実行される。判断結果がYESの場合は、ステップS30が実行される。
(判断結果がNOの場合:z≠NIM)
判断結果がNOの場合、ステップS233で、変数zの値に1が加算される。ステップS233が終ると、ステップS231に戻る。
ステップS233で、変数zの値が1つ増えている。そのため、別の取得位置について、ステップS231で振幅透過率Tz(r)に初期値が設定される。
ステップS231は、全ての取得位置について初期値が設定されるまで、繰り返し行われる。
(判断結果がYESの場合:z=NIM)
ステップS30で、変数mの値が初期化される。後述のステップS240、ステップS41、ステップS42、ステップS251、及びステップS260は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS240で、関数Iestz(r)の値が初期化される。Iestz(r)は、推定標本30の像を表している。上述のように、推定標本30の像は、4つの薄い層に置き換えられている。よって、Iestz(r)は、薄い層の像を表している。
ステップS250とステップS270は、推定標本の像を算出するステップである。推定標本の像の数は、撮影画像の数と同数である。撮影画像の数は4なので、推定標本の像の数も4である。
ステップS250は、ステップS41、ステップS42、ステップS251、ステップS252、ステップS253、及びステップS260を有する。
ステップS41では、推定標本30へ入射する波面fin m(r)が算出される。波面fin m(r)は、上述の式(2)、(3)で表される。
ステップS42では、推定標本30から射出する波面gout m(r)が算出される。波面gout m(r)は、波面fin m(r)に基づいて算出される。推定標本30は4つの薄い層に置き換えられている。よって、薄い層の各々で波面を算出する。
図15では、Z=1の位置が第1層の位置、Z=2の位置が第2層の位置、Z=3の位置が第3層の位置、Z=4の位置が第4層の位置である。
4つの薄い層は、等間隔で並んでいる。隣り合う2つの層の間隔はΔzである。波面は、2つの層の間を伝搬する。よって、Δzは、伝搬距離を表している。
第1層における波面f
1 m(r)は、式(18)と式(3)で表される。
第1層の位置は、推定標本30の表面30bの位置と一致している。表面30bには、波面fin m(r)が入射する。よって、波面f1 m(r)は、波面fin m(r)を表している。図15では、波面f1 m(r)の代わりに、波面fin m(r)が示されている。
第1層における波面g
1 m(r)は、式(19)で表される。
ここで、
T
1(r)は、第1層における振幅透過率、
である。
第2層における波面f
2 m(r)は、波面g
1 m(r)が、Δzだけ伝搬したときの波面である。波面f
2 m(r)は、式(20)で表される。式(20)で、ΔD=Δzとすることで、波面f
2 m(r)を算出することができる。
ここで、P
ΔD{ }は、式(21)で表され、
ΔDは、隣り合う2つの層の間隔、
λは、波長、
uは、瞳面座標(ξ,η)の2次元表記、
F
2Dは、2次元フーリエ変換、
F
2D −1は、2次元フーリエ逆変換、
である。
第2層における波面g
2 m(r)は、式(22)で表される。
ここで、
T
2(r)は、第2層における振幅透過率、
である。
第3層における波面f
3 m(r)は、波面g
2 m(r)が、Δzだけ伝搬したときの波面である。第3層における波面f
3 m(r)は、式(23)で表される。式(21)で、ΔD=Δzとすることで、波面f
3 m(r)を算出することができる。
第3層における波面g
3 m(r)は、式(24)で表される。
ここで、
T
3(r)は、第3層における振幅透過率、
である。
第4層における波面f
4 m(r)は、波面g
3 m(r)が、Δzだけ伝搬したときの波面である。第4層における波面f
4 m(r)は、式(25)で表される。式(21)で、ΔD=Δzとすることで、波面f
4 m(r)を算出することができる。
第4層における波面g
4 m(r)は、式(26)で表される。
ここで、
T
4(r)は、第4層における振幅透過率、
である。
第4層の位置は、推定標本30の表面30aの位置と一致している。表面30aからは、波面gout m(r)が射出される。よって、波面g4 m(r)は、波面gout m(r)を表している。図15では、波面g4 m(r)の代わりに、波面gout m(r)が示されている。
以上のように、推定標本が厚い標本の場合は、複数の薄い層に置き換えると共に、2つの層の間を伝搬する波面を求めることで、波面gout m(r)を算出することができる。
ステップS251では、変数zの値が初期化される。後述のステップS261、ステップS262、及びステップS263は、全ての取得位置に対して実行される。変数zは、これらのステップが実行された回数を表している。
ステップS260は、ステップS261、ステップS262、ステップS263、ステップS264、及びステップS265を有する。
ステップS261では、撮影画像の取得位置における波面u
z m(r)が算出される。波面u
z m(r)は、式(27)で表される。
ここで、
△Dは推定標本の表面から薄い層までの距離、
である。
P
ΔD{ }は、式(28)で表される。
ステップS262では、結像面における波面u
imgz m(r)が算出される。波面u
imgz m(r)は、式(29)で表される。
ステップS263では、波面uimgz m(r)が2乗される。波面uimgz m(r)は、光の振幅を表している。よって、波面uimgz m(r)を2乗することで、光強度が算出される。
|uimgz m(r)|2は、結像面IPに光強度分布を表している。第1強度分布を、結像光学系の結像位置における光強度分布とすると、|uimgz m(r)|2は、結像光学系の結像位置における第1光強度分布を表している。
ステップS264では、変数zの値が取得位置の数NIMと一致したか否かが判断される。判断結果がNOの場合は、ステップS265が実行される。判断結果がYESの場合は、ステップS252が実行される。
(判断結果がNOの場合:z≠NIM)
判断結果がNOの場合、ステップS265で、変数zの値に1が加算される。ステップS265が終ると、ステップS261に戻る。
ステップS265で、変数zの値が1つ増えている。そのため、別の取得位置について、ステップS261、ステップS262、及びステップS263が実行される。
ステップS261、ステップS262、及びステップS263は、全ての取得位置について初期値が設定されるまで、繰り返し行われる。
ステップS250における処理を、第1層と第4層を用いて説明する。第2層と第3層については、第1層と同じように考えれば良い。
図16は、撮影画像の取得位置における波面と結像面における波面を示す図である。図16(a)は、第1層におけるにおける2つの波面を示す図である。図16(b)は、第4層における2つの波面を示す図である。
z=1における撮影画像は、撮影画像Imea1(r)である。撮影画像Imea1(r)は、表面21aからの距離が3×Δzの位置の画像である。第1層は、表面30aから3×Δzだけ離れている。よって、第1層の位置が、撮影画像Imea1(r)の取得位置に対応する。
波面gout m(r)の射出位置は、表面30aと一致している。図16(a)に示すように、波面gout m(r)の射出位置は、第1層の位置と異なる。第1層は、波面gout m(r)の射出位置から3×Δzだけ離れている。
第1層における波面u1 m(r)は、波面gout m(r)が光の進行方向とは反対に3×Δzだけ伝搬したときの波面である。よって、ステップS261においてΔD=−3×Δzとすることで、式(27)と式(28)から、波面u1 m(r)を算出することができる。
波面u1 m(r)が算出されると、ステップS262で、式(29)から、結像面における波面uimg1 m(r)が算出される。
更に、ステップS263で、第1層の像の光強度|uimg1(r)|2が算出される。
z=2における撮影画像は、撮影画像Imea2(r)である。撮影画像Imea2(r)は、表面21aからの距離が2×Δzの位置の画像である。第2層は、表面30aから2×Δzだけ離れている。よって、第2層の位置が、撮影画像Imea2(r)の取得位置に対応する。
波面gout m(r)の射出位置は、第2層の位置と異なる。第2層は、波面gout m(r)の射出位置から2×Δzだけ離れている。
第2層における波面u2 m(r)は、波面gout m(r)が光の進行方向とは反対に2×Δzだけ伝搬したときの波面である。よって、ステップS261においてΔD=−2×Δzとすることで、波面u2 m(r)を算出することができる。
波面u2 m(r)が算出されると、ステップS262で、結像面における波面uimg2 m(r)が算出される。
更に、ステップS263で、第2層の像の光強度|uimg2(r)|2が算出される。
z=3における撮影画像は、撮影画像Imea3(r)である。撮影画像Imea3(r)は、表面21aからの距離がΔzの位置の画像である。第3層は、表面30aからΔzだけ離れている。よって、第3層の位置が、撮影画像Imea3(r)の取得位置に対応する。
波面gout m(r)の射出位置は、第3層の位置と異なる。第3層は、波面gout m(r)の射出位置からΔzだけ離れている。
第3層における波面u3 m(r)は、波面gout m(r)が光の進行方向とは反対にΔzだけ伝搬したときの波面である。よって、ステップS261においてΔD=Δzとすることで、波面u3 m(r)を算出することができる。
波面u3 m(r)が算出されると、ステップS262で、結像面における波面uimg3 m(r)が算出される。
更に、ステップS263で、第3層の像の光強度|uimg3(r)|2が算出される。
z=4における撮影画像は、撮影画像Imea4(r)である。撮影画像Imea4(r)は、表面21aの画像である。第4層は、表面30aと一致している。よって、第4層の位置が、撮影画像Imea4(r)の取得位置に対応する。
波面gout m(r)の射出位置は、表面30aである。図16(b)に示すように、波面gout m(r)の射出位置は、第4層の位置と同じである。
第4層における波面u4 m(r)は、波面gout m(r)同じである。波面gout m(r)を波面u4 m(r)に置き換えることができる。
波面u4 m(r)が算出されると、ステップS262で、結像面における波面uimg4 m(r)が算出される。
更に、ステップS263で、第4層の像の光強度|uimg4(r)|2が算出される。
波面uz m(r)と波面uimgz m(r)は、m番目の光源から射出された照明光、すなわち、1つの光源から射出された照明光によって生成される波面を表している。
推定標本の像Iestz(r)は、取得位置において、全ての光源から射出された照明光によって生成される。よって、全ての光源について、波面を求めなくてはならない。
(判断結果がYESの場合:z=NIM)
ステップS242が実行される。
波面fin m(r)、波面gout m(r)、波面uz m(r)、及び波面uimgz m(r)は、m番目の光源から射出された照明光、すなわち、1つの光源から射出された照明光によって生成される波面を表している。
推定標本の像Iestz(r)は、全ての光源から射出された照明光によって生成される。よって、全ての光源について、波面fin m(r)、波面gout m(r)、波面uz m(r)、及び波面uimgz m(r)を求めなくてはならない。
ステップS252では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS253が実行される。判断結果がYESの場合は、ステップS270が実行される。
(判断結果がNOの場合:m≠NLS)
判断結果がNOの場合、ステップS253で、変数mの値に1が加算される。ステップS253が終ると、ステップS41に戻る。
ステップS253で、変数mの値が1つ増えている。そのため、別の光源について、ステップS41で波面fin m(r)が算出され、ステップS42で波面gout m(r)が算出され、ステップS261で波面uz m(r)が算出され、ステップS262で波面uimgz m(r)が算出され,ステップS263で|uimgz m(r)|2が算出される。
ステップS41、ステップS42、ステップS251、及びステップS260は、全ての光源について|uimgz m(r)|2が求まるまで、繰り返し行われる。
(判断結果がYESの場合:m=N
LS)
判断結果がYESの場合、ステップS270で、|u
imgz m(r)|
2の足し合わせが行われる。その結果、推定標本の像I
estz(r)が算出される。推定標本の像I
estz(r)は、式(30)で表される。
図17は、推定標本の像を示す図である。図17(a)は、第1層における推定標本の像を示す図である。図17(b)は、第4層における推定標本の像を示す図である。
推定標本の像Iest1(r)は、全ての光源について波面uimg1 m(r)が求められた場合の像である。推定標本の像Iest4(r)は、全ての光源について波面uimg4 m(r)が求められた場合の像である。
図17(a)に示すように、各光源について波面uimg1 m(r)が算出され、波面uimg1 m(r)から|uimg1 m(r)|2が算出され、|uimg1 m(r)|2が全て足し合わされている。その結果、第1層における推定標本の像Iest1(r)が算出される。
図17(b)に示すように、各光源について波面uimg4 m(r)が算出され、波面uimg4 m(r)から|uimg4 m(r)|2が算出され、|uimg4 m(r)|2が全て足し合わされている。その結果、第4層における推定標本の像Iest4(r)が算出される。
(判断結果がYESの場合:m=N
LS)
ステップS280で、残差が算出される。残差は、式(31)で表される。式(31)に示すように、残差は、撮影画像I
meaz(r)と推定標本の像I
estz(r)とから算出される。
上述のように、撮影画像の数は4で、推定標本の像の数も4である。よって、Imea1(r)とIest1(r)から、第1層における残差が算出される。Imea2(r)とIest2(r)から、第2層における残差が算出される。Imea3(r)とIest3(r)から、第3層における残差が算出される。Imea4(r)とIest4(r)から、第4層における残差が算出される。
第1層における残差、第2層における残差、第3層における残差、及び第4層における残差から、ステップ70で用いられる残差が算出される。
ステップS70では、残差と閾値との比較が行われる。判断結果がNOの場合は、ステップS290が実行される。判断結果がYESの場合は、ステップS110が実行される。
(判断結果がNOの場合:残差≧閾値)
ステップS290では、変数Lの値が初期化される。後述のステップS301、ステップS302、ステップS303、ステップS304、及びステップS310は、ステップS210で設定した回数だけ実行される。変数Lは、これらのステップが実行された回数を表している。
ステップS300は、ステップS301、ステップS302、ステップS303、ステップS304、ステップS305、ステップS306、及びステップS310を有する。
ステップS301では、1からNIMまでのなかから1つがランダムに選択される。後述のステップS311では、補正後の波面が算出される。補正後の波面の算出では、1つの撮影画像と1つの推定標本の像が用いられる。
上述のように、ステップS270では、複数の推定標本の像が算出される。補正後の波面の算出に用いる推定標本の像は、1つである。よって補正後の波面の算出に用いる推定標本の像を、複数の推定標本の像のなかから選択する。
NIMは、層の数である。NIM=4の場合、ステップS301では、1から4までの数字のなかから、1つの数字がランダムに選択される。
例えば、選択された数字が1の場合、数字の1は第1層を表している。第1層における推定標本の像には、1番目の取得位置における撮影画像が対応する。よって、補正後の波面の算出には、1番目の取得位置における撮影画像と、第1層における推定標本の像が用いられる。
また、例えば、選択された数字が4の場合、選択された数字は第4層を表している。第4層における推定標本の像には、4番目の取得位置における撮影画像が対応する。よって、補正後の波面の算出には、4番目の取得位置における撮影画像と、第4層における推定標本の像が用いられる。
ステップS302では、ステップS301で選択した値が変数zLに入力される。上述のように、ステップS301では、1からNIMまでの数字のなかから、1つの数字がランダムに選択される。例えば、選択された数字が1の場合、ステップS302で、変数zLに1が入力されることになる。
ステップS303では、変数mの値が初期化される。後述のステップS311、ステップS312、及びステップS313は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS310は、推定標本の屈折率分布を最適化するステップである。
ステップS310は、ステップS311、ステップS312、ステップS313、ステップS314、及びステップS315を有する。
ステップS311では、波面u’zL m(r)が算出される。波面u’zL m(r)は、変数zLの値で示される層の位置における波面である。
波面u’zL m(r)の算出では、撮影画像ImeazL(r)と推定標本の像IestzL(r)が用いられる。撮影画像ImeazL(r)は、撮影画像Imeazのうち、変数zLの値で示される位置の撮像画像である。推定標本の像IestzL(r)は、推定標本の像Iestzのうち、変数zLの値で示される位置の推定標本の像である。
図18は、波面の補正を示す図である。図18(a)は、推定標本から射出する補正前の波面を示す図である。図18(b)は、撮影画像の取得位置における補正前の波面を示す図である。図18(c)は、撮影画像の取得位置における補正後の波面を示す図である。図18(d)は、推定標本から射出する補正後の波面を示す図である。
ステップS301で選択された数字が1の場合、すなわち、zL=1の場合について説明する。
図17(a)に示すように、推定標本の像Iest1(r)は、波面uimg1 m(r)に基づいて算出される。また、図17(a)と図18(b)に示すように、波面uimg1 m(r)は、波面u1 m(r)に基づいて算出される。
図18(a)に示すように、波面u1 m(r)の算出には、振幅透過率Tz(r)が用いられている。振幅透過率Tz(r)は、推定された振幅透過率である。ステップS300の1回目の実行時、この振幅透過率Tz(r)は、標本21の振幅透過率と異なる。
振幅透過率Tz(r)と標本21の振幅透過率との差が大きくなるほど、推定標本の像Iestz(r)と撮影画像Imeaz(r)との差も大きくなる。よって、推定標本の像Iestz(r)と撮影画像Imeaz(r)との差は、振幅透過率Tz(r)と標本21の振幅透過率との差を反映していると見なすことができる。
上述のように、zL=1である。そこで、式(32)でzL=1として、推定標本の像Iest1(r)と撮影画像Imea1(r)と用いて、波面u1 m(r)を補正する。その結果、図18(c)に示すように、補正された波面、すなわち、波面u’1 m(r)が得られる。
波面u’1 m(r)を用いることで、新たな振幅透過率を算出できる。波面u’1 m(r)は、波面u1 m(r)と異なる。よって、新たな振幅透過率は、波面u1 m(r)を算出したときの振幅透過率とは異なる。
ステップS312では、補正後の波面g’
out m,zL(r)が算出される。波面g’
out m,zL(r)は、波面u’
zL m(r)がΔDだけ伝搬したときの波面である。波面g’
out m,zL(r)は、式(33)で表される。
上述のように、波面u’1 m(r)を用いて、振幅透過率Tz(r)を算出することができる。ただし、図17(a)に示すように、振幅透過率Tz(r)の算出には、波面gout m(r)の位置における波面が必要である。
図18(a)、(c)に示すように、波面u’1 m(r)の位置と、波面gout m(r)の位置は異なる。よって、振幅透過率Tz(r)を算出するためには、図18(d)に示すように、波面g’out m,1(r)が必要である。
波面g’out m,1(r)は、波面u’1 m(r)が、3×Δzだけ伝搬したときの波面である。式(33)で、ΔD=3×Δz、zL=1とすることで、波面g’out m,1(r)を算出することができる。
ステップS313では、標本の勾配ΔTz m,zL(r)が算出される。ΔTz m,zL(r)は、m番目の光源で照明し、且つ、変数zLの値で示される層の位置における撮影画像と推定標本の像で補正した時の標本の勾配である。
標本の勾配ΔT
z m,zLは式(34)で表される。標本の勾配ΔT
z m,zL(r)の算出には、例えば、勾配降下法を用いることができる。
ここで、
f
*は、fの複素共役
δは、ゼロ除算を防ぐための正規化定数、
である。
上述のように、推定標本30は、複数の薄い層に置き換えられている。よって、薄い層の各々について、標本の勾配ΔTz m,zL(r)を算出する必要がある。
図19は、標本の勾配と波面の伝搬を示す図である。推定標本30が4つの薄い層に置き換えられた場合、つまりNIM=4の場合について説明する。また、zL=1とする。図19(a)は、標本の勾配を示す図である。図19(b)は、波面の伝搬を示す図である。
波面gout m(r)の算出には、振幅透過率T4(r)が用いられている。振幅透過率T4(r)は、推定された振幅透過率である。よって、この振幅透過率T4(r)は、標本21の振幅透過率と異なる。
振幅透過率T4(r)と標本21の振幅透過率との差が大きくなるほど、波面gout m(r)と波面g’out m,1(r)との差も大きくなる。よって、波面gout m(r)と波面g’out m,1(r)との差は、振幅透過率T4(r)と標本21の振幅透過率との差を反映していると見なすことができる。
波面f4 m(r)、振幅透過率T4(r)、波面gout m(r)、及び波面g’out m,1(r)は、既知である。そこで、式(34)でz=4、zL=1とすることで、図19(a)に示すように、標本の勾配ΔT4 m,1(r)を算出することができる。
g4 m(r)と波面gout m(r)は同じなので、g4 m(r)の代わりに、波面gout m(r)を用いれば良い。また、g’4 m,1(r)はg’out m,1(r)と同じなので、g’4 m,1(r)の代わりに、g’out m,1(r)を用いれば良い。
次に、標本の勾配ΔT3 m,1(r)を算出する。標本の勾配ΔT3 m,1(r)の算出には、波面g3 m(r)の位置における波面が必要である。この波面を算出するためには、図19(b)に示すように、波面f’4 m,1(r)が必要である。
波面f’
4 m,1(r)は、式(35)でz=4、zL=1とすることで算出できる。
次に、算出された波面f’4 m,1(r)を用いて、波面g3 m,1(r)の位置における波面を算出する。
図20は、標本の勾配と波面の伝搬を示す図である。図20(a)は、波面の伝搬と標本の勾配を示す図である。図20(b)は、波面の伝搬を示す図である。
図20(a)に示すように、波面g’3 m,1(r)は、波面f’4 m,1(r)がΔzだけ伝搬したときの波面である。これは、第4層から第3層への波面の伝搬である。
上述のように、第3層から第4層への波面の伝搬は、式(25)で表わされる。よって、式(25)において、以下のようにすることで、波面g’3 m,1(r)を算出できる。
波面f4 m(r)を、波面g’3 m,1(r)に置き換える。
波面g3 m(r)を、波面f’4 m,1(r)に置き換える。
ΔD=−Δzとする。
波面f3 m(r)、振幅透過率T3(r)、波面g3 m(r)、及び波面g’3 m,1(r)は、既知である。そこで、式(34)でz=3、zL=1とすることで、図20(b)に示すように、標本の勾配ΔT3 m,1(r)を算出することができる。
波面f’3 m,1(r)は、式(35)でz=3、zL=1とすることで算出できる。
第2層と第1層についても、第3層と同様にして、標本の勾配の算出を行えばよい。
図21は、標本の勾配を示す図である。図21では、第1層における標本の勾配ΔT1 m,1(r)、第2層における標本の勾配ΔT2 m,1(r)、第3層における標本の勾配ΔT3 m,1(r)、及び第4層における標本の勾配ΔT4 m,1(r)、が算出されている。
ステップS313で得られる標本の勾配ΔTz m,1(r)は、m番目の光源で照明し、且つ、第1層の位置における撮影画像と第1層の位置における推定標本の像で補正した時の標本の勾配である。標本の勾配ΔTz m,1(r)は、全ての光源から射出された照明光によって決まる。よって、全ての光源について、標本の勾配ΔTz m,1(r)を求めなくてはならない。
ステップS314では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS315が実行される。判断結果がYESの場合は、ステップS304が実行される。
(判断結果がNOの場合:m≠NLS)
判断結果がNOの場合、ステップS315で、変数mの値に1が加算される。ステップS315が終ると、ステップS311に戻る。
ステップS315で、変数mの値が1つ増えている。そのため、別の光源について、ステップS311で波面uz’m,1(r)が算出され、ステップS312で波面gout’m,1(r)が算出され、ステップS313で標本の勾配ΔTz m,1(r)が算出される。
ステップS311、ステップS312、及びステップS313は、全ての光源について標本の勾配ΔTz m,1(r)が求まるまで、繰り返し行われる。
図22は、標本の勾配を示す図である。図22では、全ての光源について、標本の勾配ΔTz m.1(r)が求められている。
(判断結果がYESの場合:m=NLS)
判断結果がYESの場合、ステップS304で、振幅透過率Tz(r)が更新される。ステップS304は、推定標本を更新するステップするステップである。
更新された振幅透過率T
z(r)は、式(36)で表される。
ここで、
αは、標本の勾配の補正係数、
である。
ステップS305では、変数Lの値が補正の回数NCRと一致したか否かが判断される。判断結果がNOの場合は、ステップS306が実行される。判断結果がYESの場合は、ステップS30が実行される。
(判断結果がNOの場合:m≠NCR)
判断結果がNOの場合、ステップS306で、変数Lの値に1が加算される。ステップS306が終ると、ステップS301に戻る。
ステップS301で、1からNIMまでのなかから1つがランダムに選択される。選択された数字に基づいて、補正に用いる推定標本の像と取得位置が決まる。
そして、ステップS311で波面uz’m,1(r)が算出され、ステップS312で波面gout’m,1(r)が算出され、ステップS313で標本の勾配ΔTz m,1(r)が算出され、ステップS304で振幅透過率Tz(r)が更新される。
ステップS301、ステップS302、ステップS303、ステップS304、及びステップS310は、設定された回数の補正が終るまで、繰り返し行われる。
(判断結果がYESの場合:m=NCR)
判断結果がYESの場合、ステップS30に戻る。更新された振幅透過率Tz(r)で、ステップS30からステップS300までが実行される。
ステップS30からステップS300までが繰り返し実行されることで、更新された振幅透過率Ts(r)は、徐々に、標本21の振幅透過率に近づく。すなわち、残差が小さくなる。やがて、残差は閾値よりも小さくなる。
(判断結果がYESの場合:残差<閾値)
ステップS110では、推定標本の屈折率分布が算出される。得られた振幅透過率Tz(r)は、標本21の振幅透過率と同一か、又は、略同一である。得られた振幅透過率Tz(r)と式(1)から、屈折率分布nz(r)が求まる。
ステップS110で得られた屈折率分布nz(r)を用いることで、推定標本の構造を再構成することができる。再構成された推定標本の構造は、例えば、表示装置に出力することができる。推定標本30は、厚い標本である。第2のシミュレーションでは、厚い標本の構造は、推定標本の3次元構成を再構成することができる。
上述のように、ステップS110で得られた振幅透過率Tz(r)は、標本21の振幅透過率と同一か、又は、略同一である。この場合、屈折率分布nz(r)も、標本21の屈折率分布と同一か、又は、略同一と見なすことができる。よって、再構成された推定標本30の構造は、標本6の構造と同一か、又は、略同一と見なすことができる。
第2のシミュレーションでは、ステップS250、ステップS270、及びステップS310が、繰り返し実行される。その結果、振幅透過率Tz(r)が更新される。上述のように、ステップS250とステップS270は、推定標本の像を算出するステップである。ステップS310は、推定標本の屈折率分布を最適化するステップである。
振幅透過率Tz(r)は、推定標本を表している。よって、推定標本の像を算出するステップと推定標本の屈折率分布を最適化するステップが繰り返し実行されることで、推定標本が更新される。
本実施形態の屈折率分布推定システムは、光源を有し、照明光学系は、コンデンサレンズと、第1開口部材と、を有し、結像光学系は、対物レンズと、結像レンズと、を有し、対物レンズの瞳位置に、第1開口部材の像が結像されることが好ましい。
図23は、本実施形態の屈折率分布推定システムを示す図である。図1(a)と同じ構成については同じ番号を付し、説明は省略する。
屈折率分布推定システム40は、光源41を有する。照明光学系2は、コンデンサレンズ42と、第1開口部材43と、レンズ44と、を有する。結像光学系3は、対物レンズ45と、結像レンズ46と、を有する。
光源41から射出された光は、レンズ44で集光される。集光位置に、第1開口部材43が配置されている。第1開口部材43は、コンデンサレンズ42の前側焦点位置に配置されている。よって、コンデンサレンズ42から、平行光束が標本6に射出される。
標本6は、対物レンズ45の前側焦点位置に配置されている。標本6から対物レンズ45に入射した光は、対物レンズ45から平行光束となって射出される。対物レンズ45から射出された平行光束は、結像レンズ46で集光される。
対物レンズ45の前側焦点位置は、コンデンサレンズ42の後側焦点位置と一致している。よって、対物レンズ45の瞳位置Puに、第1開口部材43の像が結像成される。照明光学系2と結像光学系3には、例えば、顕微鏡の光学系を用いることができる。
本実施形態の屈折率分布推定システムでは、第1開口部材は、輪帯形状の透過部又は減光部を有することが好ましい。
図24は、第1開口部材を示す図である。図24(a)は、第1例を示す図である。図24(b)は、第2例を示す図である。
第1例では、第1開口部材50は、輪帯形状の透過部51と、円形の遮光部52と、輪帯形状の遮光部53と、を有する。透過部51は、減光部にしても良い。
第2例では、第2開口部材60は、輪帯形状の透過部61と、円形の遮光部62と、輪帯形状の遮光部63と、を有する。透過部61は、減光部にしても良い。
第1開口部材50と第2開口部材60では、透過部の位置と、透過部の幅が異なる。透過部51は、透過部61よりも外側に位置している。透過部51の幅は、透過部61の幅よりも狭い。
本実施形態の屈折率分布推定システムは、第1開口部材とは異なる第2開口部材と、第1開口部材と第2開口部材とを切り替える移動機構と、を備えることが好ましい。
図25は、本実施形態の屈折率分布推定システムを示す図である。図9(a)と同じ構成については同じ番号を付し、説明は省略する。
屈折率分布推定システム70は、複数の開口部材を有する。例えば、第1開口部材50と、第2開口部材60と、を使用することができる。第1開口部材50と第2開口部材60は、移動機構71に配置することができる。
移動機構71として、例えば、スライダーを用いることができる。この場合、スライダーを移動することで、第1開口部材50と第2開口部材60のどちらか一方を、光軸AX上に位置させることができる。
移動機構71として、例えば、ターレットを用いることができる。この場合、ターレットを回転することで、第1開口部材50と第2開口部材60のどちらか一方を、光軸AX上に位置させることができる。
図26は、第3のシミュレーションのフローチャートである。第2のフローチャートにおける処置と同じ処理につては、同じ番号を付し、説明は省略する。
ステップS400では、開口部材の数NAPが設定される。上述のように、屈折率分布推定システム70では、複数の開口部材が使用される。
ステップS410では、変数nの値が初期化される。後述のステップS231、ステップS501、ステップS502、ステップS70、ステップS290、及びステップS600は、少なくとも1つの開口部材に対して実行される。変数nは、これらのステップが実行された回数を表している。
ステップS500は、ステップS231、ステップS501、ステップS502、ステップS70、ステップS290、ステップS503、ステップS504、ステップS505、及びステップS600を有する。
ステップS231では、推定標本30における振幅透過率Tz(r)に初期値が設定される。振幅透過率Tz(r)は、z番目の層における振幅透過率である。
図26では、ステップS231しか図示されていない。しかしながら、振幅透過率Tz(r)を算出する具体的な処理は、第2のシミュレーションにおける振幅透過率Tz(r)の算出処理と同じである。よって、振幅透過率Tz(r)の数は、層の数と同じである。
ステップS501では、推定標本の像Iestz n(r)が算出される。推定標本の像Iestz n(r)は、n番目の開口部材を用いたときのz番目の層における推定標本の像である。
図26では、ステップS501しか図示されていない。しかしながら、推定標本の像Iestz n(r)を算出する具体的な処理は、第2のシミュレーションにおける推定標本の像Iestz(r)の算出処理と同じである。よって、推定標本の像Iestz n(r)の数は、層の数と同じである。
推定標本の像I
estz n(r)の算出では、以下の式(37)〜式(44)が用いられる。
ここで、
ΔDは、隣り合う2つの層の間隔、
である。
ここで、
△Dは、推定標本の表面から撮影画像の取得位置までの距離、
である。
ステップS70では、残差と閾値との比較が行われる。判断結果がNOの場合は、ステップS290が実行される。判断結果がYESの場合は、ステップS110が実行される。
(判断結果がNOの場合:残差≧閾値)
ステップS290で変数Lの値が初期化された後、ステップS600が実行される。
ステップS601で、標本の勾配ΔTz n,m,zL(r)が算出される。標本の勾配ΔTz n,m,zL(r)は、n番目の開口部材を用いたときのz番目の層における標本の勾配である。
標本の勾配ΔTz n,m,zL(r)では、m番目の光源で標本が照明されている。また、zL番目の取得位置における撮影画像と、zL番目の層における推定標本の像を用いて、補正が行われている。
標本の勾配ΔT
z n,m,zL(r)の算出では、以下の式(45)〜式(49)が用いられる。
ここで、
△Dは、ZL番目の層から推定標本の表面までの距離、
である。
ステップS601で得られる標本の勾配ΔTz n,m,ZL(r)は、n番目の開口部材を用い、m番目の光源で照明し、且つ、zL番目の位置における撮影画像とzL番目の位置における推定標本の像で補正した時の標本の勾配である。標本の勾配ΔTz n,m,ZL(r)は、全ての光源から射出された照明光によって決まる。よって、全ての光源について、標本の勾配ΔTz n,m,zL(r)を求めなくてはならない。
ステップS602では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS603が実行される。判断結果がYESの場合は、ステップS604が実行される。
(判断結果がNOの場合:m≠NLS)
判断結果がNOの場合、ステップS603で、変数mの値に1が加算される。ステップS603が終ると、ステップS301に戻る。
ステップS603で、変数mの値が1つ増えている。そのため、別の光源について、ステップS601で標本の勾配Tz n,m,zL(r)が算出される。
(判断結果がYESの場合:m=NLS)
判断結果がYESの場合、ステップS604で、振幅透過率Tz(r)が更新される。ステップS604は、推定標本を更新するステップするステップである。
更新された振幅透過率T
z(r)は、式(50)で表される。
ここで、
αは、標本の勾配の補正係数、
である。
ステップS503では、変数nの値が開口部材の数NAPと一致したか否かが判断される。判断結果がNOの場合は、ステップS504が実行される。判断結果がYESの場合は、ステップS505が実行される。
(判断結果がNOの場合:n≠NAP)
判断結果がNOの場合、ステップS504で、変数nの値に1が加算される。ステップS504が終ると、ステップS231に戻る。
ステップS504で、変数nの値が1つ増えている。そのため、別の開口部材について、ステップS500が実行される。
(判断結果がYESの場合:n=NAP)
判断結果がYESの場合、ステップS505で、変数nの値に1が設定される。ステップS505が終ると、ステップS231に戻る。
全ての開口部材についてステップS500を実行しても、残差が閾値よりも大きい場合がある。このような場合は、再び、最初の開口部材を用いて、ステップS500が実行される。
(判断結果がYESの場合:残差<閾値)
ステップS110では、推定標本の屈折率分布が算出される。得られた振幅透過率Tz(r)は、標本21の振幅透過率と同一か、又は、略同一である。得られた振幅透過率Tz(r)と式(15)から、屈折率分布nz(r)が求まる。
図27は、開口部材と撮影画像を示す図である。図27(a)は、第1の開口部材と撮影画像を示す図である。図27(b)は、第2の開口部材と撮影画像を示す図である。図27(c)は、第3の開口部材と撮影画像を示す図である。
第1の開口部材、第2の開口部材及び第3の開口部材は、輪帯形状の透過部を有する。透過部の位置、透過部の幅は、各々の開口部材で異なる。
撮影画像は、XZ面における光学像の画像である。X方向は、光軸と直交する方向である。Z方向は光軸方向である。よって、撮影画像では、線状の画像が光軸方向に積み重なっている。
上述のシミュレーションでは、推定標本における振幅透過率Tz(r)に、初期値が設定されている。第2のシミュレーションで説明したように、初期値の設定に、強度輸送方程式を用いることができる。
図28は、標本、撮影画像、及び初期値の画像を示す図である。図28(a)は、標本を示す図である。図28(b)は、撮影画像を示す図である。図28(c)は、初期値の画像を示す図である。
標本は、フォトニッククリスタルファイバー(以下、「PCF」という)である。撮影画像は、XZ面における光学像の画像である。初期値を示す画像は、式(15)で算出した値に基づく画像である。
図29は、伝達可能な空間周波数帯域を示す図である。図29(a)は、透過部の形状が円形の場合の空間周波数帯域を示す図である。図29(b)は、透過部の形状が輪帯形状の場合の空間周波数帯域を示す図である。
2つの図において、横軸はZ方向、縦軸はX方向、又はY方向である。Y方向は、Z方向とX方向の両方と直交する方向である。また、空間周波数帯域の算出では、開口数が1.4の対物レンズを用い、照明光学系の開口数を変化させている。
標本の像が再生されるためには、標本の持つ空間周波数が結像面まで伝達されなくてはならない。伝達可能な空間周波数が決まる要因として、照明光学系の開口数と、結像光学系の開口数がある。
透過部の形状が円形の場合、図29(a)に示すように、破線で示す範囲の内側には、空間周波数帯域が存在しない。これに対して、透過部の形状が輪帯形状の場合、図29(b)に示すように、破線で示す範囲の内側には、空間周波数帯域が存在する。
破線で示す範囲は、空間周波数が低い範囲である。よって、透過部の形状が輪帯形状の場合、低い空間周波数から高い空間周波数までを、伝達することができる。その結果、標本の像を、より正確に再生することができる。
輪帯形状の位置、輪帯形状の幅によって、伝達可能な空間周波数は変化する。
図30は、標本を示す図である。図30(a)は、標本の全体を示す断面図である。図30(b)は、標本の一部を示す断面図である。
標本は、PCFである。PCFでは、クラッドの直径は180.0μmで、穴の直径は6.0μmで、穴の間隔は12.9μmである。クラッドの屈折率は1.456である。
PCFは液体に浸されている。よって、穴は液体で満たされている。また、PCFの外側も、同じ液体で覆われている。液体の屈折率は1.436である。クラッドの屈折率は、クラッド以外の部分の屈折率よりも0.02だけ高い。
照明光の波長は1500nmである。また、対物レンズの開口数は1.4である。
図31は、撮影画像、伝達可能な空間周波数を示す図、再生像の全体の画像、及び再生像の一部の画像である。図31(a)は、第1輪帯における撮影画像である。図31(b)は、第2輪帯における撮影画像である。図31(c)は、第3輪帯における撮影画像である。図31(d)は、第4輪帯における撮影画像である。
輪帯の位置と輪帯の幅は、照明光学系の開口数で表すことができる。上述のように、4つの輪帯では、以下のようになっている。数値は、照明光学系の開口数である。左側の数値は、輪帯の内側を表している。右側の数値は、輪帯の外側を表している。
第1輪帯:0.14−0.54。
第2輪帯:0.7−0.9。
第3輪帯:1.0−1.1。
第4輪帯:1.15−1.25。
照明光学系の開口数の数値が大きくなるほど、輪帯は外側に位置する。よって、第1輪帯が最も内側に位置し、第4輪帯が最も外側に位置している。
図31(a)、図31(b)、図31(c)、図31(d)は、XZ面における光学像の画像である。
図31(a)、図31(b)、図31(c)、及び図31(d)を比較すると、第1輪帯、第2輪帯、第3輪帯、第4輪帯の順で、画像が鮮明になっている。すなわち、輪帯が外側に位置するほど、画像が鮮明になっている。
画像は、伝達可能な空間周波数帯域に含まれる空間周波数が高くなるほど鮮明になる。上述のように、輪帯が外側に位置するほど、画像が鮮明になっている。よって、輪帯が外側に位置するほど、伝達可能な空間周波数帯域に含まれる空間周波数が高くなる。
このように、輪帯の位置と伝達可能な空間周波数には、相関がある。そこで、複数の輪帯を組み合わせることで、伝達可能な空間周波数帯域に含まれる空間周波数を変えることができる。
図31(e)、図31(f)、図31(g)、及び図31(h)では、伝達可能な空間周波数を示し、輪帯の数と組み合わせは、以下のようになっている。
図31(e):第1輪帯、第2輪帯、第3輪帯、第4輪帯。
図31(f):第1輪帯、第4輪帯。
図31(g):第4輪帯。
図31(h):第1輪帯。
図31(e)、図31(f)、図31(g)、及び図31(h)を比較すると、輪帯が外側に位置するほど、伝達可能な空間周波数に含まれる空間周波数は高くなる。また、輪帯の組み合わせ数が多くなるほど、伝達可能な空間周波数に含まれる空間周波数が多くなる。
標本の像の再生では、撮影画像が用いられる。標本の像をより正確に再生するためには、撮影画像に、低い空間周波数から高い空間周波数までが含まれていると良い。
図31(i)、図31(j)、図31(k)、図31(l)、図31(m)、図31(n)、図31(o)、及び図31(p)では、再生像を示し、輪帯の数と組み合わせは、以下のようになっている。
図31(i)、(m):第1輪帯、第2輪帯、第3輪帯、第4輪帯。
図31(j)、(n):第1輪帯、第4輪帯。
図31(k)、(o):第4輪帯。
図31(l)、(p):第1輪帯。
図31(i)、図31(j)、図31(k)、及び図31(l)を比較すると、輪帯が外側に位置するほど、再生像が鮮明になっている。また、輪帯の組み合わせ数が多くなるほど、再生像が鮮明になっている。
4つの輪帯を用いた場合、2つの輪帯を用いた場合に比べて、PCFの外側のアーチファクトが少ない。そのため、図31(m)と図31(n)から分かるように、4つの輪帯を用いた方が、実際の穴の形状に近くなっている。
穴の径は、PCFの外径よりも小さい、穴の方が、PCFの外形(輪郭)よりも、高い空間周波数を有する。よって、第4輪帯を用いると、再生像において、高い空間周波数の部分を、鮮明に再生することができる。そのため、図31(k)、(o)に示すように、穴の再構成はできている。
しかしながら、第4輪帯を用いると、再生像において、低い空間周波数の部分については情報が欠落している。そのため、図31(k)に示すように、PCFの外形が上下に伸びていている。
また、第1輪帯を用いると、図31(l)に示すようにPCFの外形が、概ね再生できている。しかしながら、第1輪帯を用いると、再生像において、高い低い空間周波数の部分については情報が欠落している。そのため、図31(p)に示すように、穴の再構成ができていない。
このように、複数の輪帯を組み合わせることで、像の再構成に利用できる空間周波数帯域を広げることができる。その結果、像の再構成の性能を向上させることができる。
図32は、標本を示す図と再生像の画像である。図32(a)は、第1標本を示す図である。図32(b)は、第2標本を示す図である。図32(c)は、第1標本の再生像の画像である。図32(d)は、第2標本の再生像の画像である。
第1標本は、50μmの細胞の塊である。第2標本は、100μmの細胞の塊である。照明光の波長は、1.5μmである。1つの細胞の大きさは、10μmである。核の大きさは3μmである。細胞質の屈折率は、1.36である。 核の屈折率は、1.4である。溶液の屈折率1.33である。
図32(c)と図32(d)に示すように、第1標本と第2標本のいずれについても、鮮明な再生像が得られている。
図33は、標本を示す図、初期値の画像、及び再生像の画像である。図33(a)は、標本を示す図である。図33(b)は、初期値の画像である。図33(c)は、標本の再生像の画像である。
標本は、50μmの細胞塊である。図33(c)に示すように、3次元の標本でも鮮明で正確な再生像をえることができている。
本実施形態の屈折率分布推定システムでは、推定標本像を算出するステップは、照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を計算し、複数の第1波面が推定標本を通過した後の複数の第2波面を計算し、複数の第2波面を用いて結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出し、標本の屈折率分布を最適化するステップは、複数の光源のそれぞれについて、複数の第2波面を撮影画像及び推定標本の像を用いて補正した複数の第2補正波面を算出し、複数の第2波面と複数の第2補正波面との誤差から推定標本の屈折率分布の勾配を算出し、屈折率分布の勾配を用いて推定標本の屈折率分布を最適化することが好ましい。
第1波面の計算は、ステップS41で行われる。第2波面の計算は、ステップS42で行われる。第1強度分布の計算は、ステップS45、又はステップS263で行われる。推定標本の像の算出は、ステップS50、又はステップS270で行われる。
標本の屈折率分布を最適化するステップは、ステップS90、又はステップS310である。第2補正波面の算出は、ステップS91、又はステップS311で行われる。推定標本の屈折率分布の勾配の算出は、ステップS92、又はステップS312で行われる。
本実施形態の屈折率分布推定システムでは、推定標本像を算出するステップは、照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を計算するステップと、複数の第1波面が推定標本を通過した後の複数の第2波面を計算するステップと、複数の第2波面から結像光学系の標本側の焦点位置における複数の第3波面を計算するステップと、複数の第3波面と結像光学系の瞳関数とを用いて結像光学系の結像位置における複数の第4波面を計算し、複数の第4波面をそれぞれ2乗して複数の第1強度分布を計算するステップと、複数の第1強度分布を足し合わせることにより、推定標本像を算出するステップと、を有することが好ましい。
第1波面を計算するステップは、ステップS41である。第2波面を計算するステップは、ステップS42である。第3波面を計算するステップは、ステップS43、又はステップS262である。
第1強度分布を計算するステップは、ステップS44とステップS45、又はステップS262とステップS263である。推定標本像を算出するステップは、ステップS50、又はステップS270である。
本実施形態の屈折率分布推定システムでは、標本の屈折率分布を最適化するステップは、複数の光源のそれぞれについて、複数の第2波面を撮影画像及び推定標本の像を用いて補正した複数の第2補正波面を算出し、複数の第2波面と複数の第2補正波面との誤差から推定標本の屈折率分布の勾配を算出し、屈折率分布の勾配を用いて推定標本の屈折率分布を最適化することが好ましい。
本実施形態の屈折率分布推定システムでは、TV正則化を用いて振幅透過率を更新することが好ましい。
TV正則化は、エッジを保持しつつ、振動成分を抑制できる。そのため、ノイズ除去やぼけ画像の修正などの画像処理で用いられる。
振幅透過率T
s(r)又は振幅透過率T
z(r)を、式(51)に示される最小化問題によって、T’
s(r)又は振幅透過率T’
z(r)に更新する。
右辺の第1項は、推定残差のL2ノルムを示す。右辺の第2項は、正則化項と呼ばれ、振幅透過率Ts(r)又は振幅透過率Tz(r)の局所変化が少なければ少ないほど、小さい値をとる性質の関数が一般的に用いられる。τは正則化パラメータと呼ばれる定数である。
この正則化項として、式(52)に示す隣接する画素間の推定値の差分の絶対値和を意味するTV正則化項を加えると、エッジを保持したまま平滑化することができる。
図34は、標本を示す図と再生像の画像である。図34(a)は、標本を示す図である。図34(b)、(c)は撮影画像である。図34(d)、(e)、(f)、(g)、(h)は、標本の再生像の画像である。
標本は円筒である。円筒の直径は10μmである。円筒の屈折率は1.36である。円筒は液体に浸されている。液体の屈折率は1.33である。つまり、円筒の屈折率は、円筒以外の部分の屈折率よりも0.03だけ高い。
照明光の波長は1500nmである。また、対物レンズの開口数は1.4である。
図34(b)、(c)は、XZ面における光学像の画像である。図34(b)の撮影画像では、照明光学系の開口数は1.0である。図34(c)の撮影画像では、照明光学系の開口数は0.5−1.0である。
照明条件、初期値の有無、TV正則化の有無と、各図の関係を以下に示す。
図34(d)と図34(f)の比較から、初期値を設定すると、より正確に像を再生することができることが分かる。
図34(d)と図34(e)の比較から、TV正則化を行うと、エッジを保持しつつ振動成分を抑制できるため、ノイズ除去され自然な画像に再構成できることが分かる。
図34(g)と図34(h)の比較から、輪帯を用いた照明だと、より正確に像を再生することができることが分かる。
本発明には、以下の発明が含まれる。
(付記項1)
複数の方向から同時に入射する光線により標本を照明する照明光学系と、
標本の光学像を形成する結像光学系と、
結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、
撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、
プロセッサは、
標本の屈折率分布を含む推定標本を推定するステップと、
照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、
複数の第1波面が推定標本を通過した後の複数の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、
推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、
更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする屈折率分布推定システム。
(付記項2)
照明光学系は、空間的パーシャルコヒーレントな光で標本を照明することを特徴とする付記項1に記載の屈折率分布推定システム。