JPWO2021024420A1 - 屈折率分布推定システム - Google Patents

屈折率分布推定システム Download PDF

Info

Publication number
JPWO2021024420A1
JPWO2021024420A1 JP2021538624A JP2021538624A JPWO2021024420A1 JP WO2021024420 A1 JPWO2021024420 A1 JP WO2021024420A1 JP 2021538624 A JP2021538624 A JP 2021538624A JP 2021538624 A JP2021538624 A JP 2021538624A JP WO2021024420 A1 JPWO2021024420 A1 JP WO2021024420A1
Authority
JP
Japan
Prior art keywords
sample
image
refractive index
wavefront
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021538624A
Other languages
English (en)
Other versions
JP7133718B2 (ja
Inventor
良政 鈴木
俊朗 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2021024420A1 publication Critical patent/JPWO2021024420A1/ja
Application granted granted Critical
Publication of JP7133718B2 publication Critical patent/JP7133718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/4133Refractometers, e.g. differential
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/086Condensers for transillumination only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/4133Refractometers, e.g. differential
    • G01N2021/4153Measuring the deflection of light in refractometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing

Landscapes

  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

光軸と直交する面内における分解能が高く、標本以外の情報の影響が少ない屈折率分布推定システムを提供する。屈折率分布推定システムは、標本を照明する照明光学系と、標本の光学像を形成する結像光学系と、標本の光学像から撮影画像を取得する撮像素子と、撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、プロセッサは、推定標本を推定するステップと、モデル化した複数の光源から射出された複数の第1波面から結像位置における複数の第1強度分布を計算し、複数の第1強度分布から推定標本の像を算出するステップと、複数の第1波面が推定標本を通過した後の複数の第2波面、撮影画像及び推定標本の像から推定標本の屈折率分布を最適化するステップと、推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、推定標本の構造を再構成して出力するステップと、を含む処理を行う。

Description

本発明は、屈折率分布推定システムに関する。
実際の物体を計算機上の物体モデルで再現する再構成手法がある。この再構成手法では、測定した物体の画像と計算した物体モデルの画像が一致するように、最適化手法で計算機上の物体モデルを変更していく。最終的に、物体の画像と物体モデルの画像が一致した時に、計算機上の物体モデルは実際の物体を再現している。
物体の画像は、測定光学系で取得される。物体モデルの画像がどのような画像になるかは、像演算手法で計算される。そのため、この再構成手法では、測定光学系と、像演算手法の2つが重要である。
測定光学系として、例えば、顕微鏡の光学系を用いることができる。顕微鏡の光学系では、ハロゲンランプ又はLEDを用いて標本の画像を取得する。ハロゲンランプとLEDは、インコヒーレント光源である。
インコヒーレント光源を用いた照明は、照明条件によって、インコヒーレント照明、コヒーレント照明、及びパーシャルコヒーレント照明に分類される。これらの照明について説明する。
顕微鏡では、ケーラー照明が用いられる。ケーラー照明では、光源がコンデンサレンズの焦点面上に配置されるか、又は光源の像がコンデンサレンズの焦点面上に形成される。光源の各点から出た光は、コンデンサレンズで平行光線に変換される。よって、標本は平行光束で照明される。
光源の大きさを変えると、標本面での照明光の空間的コヒーレンスが変化する。照明光の空間的コヒーレンスが変化することで、結像特性が変化する。
インコヒーレント光源であっても、光源の大きさを非常に小さくすると、光源は点光源とみなせるようになる。点光源からの光を標本に照射する照明は、コヒーレント照明と呼ばれる。
光源の大きさを非常に大きくすると、光源は面光源とみなせるようになる。特に、対物レンズの瞳の全域を照明できるように光源の大きさを大きくすると、標本に様々な方向から光源からの光を照射できる。このような照明は、インコヒーレント照明と呼ばれる。
面光源において、対物レンズの瞳の一部を照明できるように、光源の大きさを設定する。このような照明は、パーシャルコヒーレント照明(部分的コヒーレント照明)と呼ばれる。パーシャルコヒーレント照明は、コヒーレント照明とインコヒーレント照明の中間の照明である。
像演算手法は、線形演算と非線形演算に分類できる。線形演算では、標本内の1回の散乱のみが考慮される。非線形演算では、1回の散乱だけでなく、多重散乱も考慮される。
線形演算では、1次ボルン近似を利用している。ボルン近似では、標本で2回以上の散乱が生じても、2回以上の散乱は無視される。線形演算では、標本情報と出力情報が一対一の関係に決まる。そのため、解析的に出力情報を計算できる。出力情報は、例えば、標本の像である。
線形演算について、顕微鏡での結像を例に説明する。標本情報(標本の透過率分布)Oと出力情報(像強度分布)Iを光学系の点像強度分布PSFのコンボリューションの線形システムとみなせるとき、出力情報Iは、以下の式で表される。
I=PSF*O
ここで、*は、コンボリューションを表す。
線形演算では、計算時間は短いが、2回以上の散乱は無視しているため計算精度は低くなる。線形演算を利用して再構成した物体モデルの像は、測定した標本の像を点像強度分布でデコンボリューションして求める。
非線形演算は、標本で複数回の散乱が生じることを考慮した演算手法である。非線形演算の1つに、ビーム伝搬法がある。ビーム伝搬法では、物体モデルを複数の薄い層に置き換える。そして、光が各層を通過する際の波面変化を逐次計算して、物体モデルの像を計算する。
ビーム伝搬法は、線形演算に比べて、より正確に、物体モデルの像を計算できる。
非特許文献1に、測定光学系の照明に顕微鏡のコヒーレント照明を用い、像演算手法にビーム伝搬法を用いて物体の再構成を行う手法が提案されている。
この手法では、LEDアレイが配置された顕微鏡が用いられている。LEDアレイは、照明光学系の瞳位置に配置されている。LEDの点灯位置を変えることで、標本に対して様々な角度で照明が照射される。各照射角度で標本の画像を取得するので、複数の標本の画像が取得される。
取得した標本の画像から、ライトフィールド手法を用いて、標本の屈折率分布の初期値を求める。ライトフィールド手法は、再構成手法の1つである。偏射照明では、ピント位置からの距離に比例して、標本の像の位置がずれる。ライトフィールド手法は、この標本の像の位置ずれを利用して標本を再構成手法する。
初期値が求まったら、勾配降下法を用いて、標本の屈折率分布を正しい値に近づける。勾配降下法は、光源側から順方向に標本内を伝搬した波面と、像情報で補正した波面を像側から逆方向に伝播した波面との差が小さくなるように標本のパラメータを更新していく手法である。波面の伝播計算にはビーム伝搬法が用いられる。
コヒーレント照明を用いた結像光学像では、光軸と直交する面内における分解能が、パーシャルコヒーレント照明を用いた結像光学系に比べて低い。さらに被写界深度が深く標本以外の情報、例えばカバーガラスに付着したゴミも標本の画像として取得されてしまう。そのため、再構成した像における屈折率分布の精度が悪くなる。
本発明は、このような課題に鑑みてなされたものであって、光軸と直交する面内における分解能が高く、標本以外の情報の影響が少ない屈折率分布推定システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る屈折率分布推定システムは、
パーシャルコヒーレント照明により標本を照明する照明光学系と、
標本の光学像を形成する結像光学系と、
結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、
撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、
プロセッサは、
標本の屈折率分布を含む推定標本を推定するステップと、
照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、
複数の第1波面が推定標本を通過した後の複数の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、
推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、
更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする。
本発明の少なくとも幾つかの実施形態に係る屈折率分布推定システムは、
複数の方向から同時に入射する光線により標本を照明する照明光学系と、
標本の光学像を形成する結像光学系と、
結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、
撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、
プロセッサは、
標本の屈折率分布を含む推定標本を推定するステップと、
照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、
複数の第1波面が推定標本を通過した後の複数の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、
推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、
更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする。
本発明によれば、光軸と直交する面内における分解能が高く、標本以外の情報の影響が少ない屈折率分布推定システムを提供することができる。
本実施形態の屈折率分布推定システムと撮影画像を示す図である。 照明光と照明領域を示す図である。 第1のシミュレーションのフローチャートである。 分割された照明領域を示す図である。 シミュレーションで用いる光学系を示す図である。 推定標本の像を示す図である。 波面の補正を示す図である。 標本の勾配を示す図である。 標本の勾配を示す図である。 本実施形態の屈折率分布推定システムと照明光を示す図である。 撮影画像を示す図である。 第2のシミュレーションのフローチャートである。 第2のシミュレーションのフローチャートである。 シミュレーションで用いる光学系を示す図である。 各層における波面を示す図である。 撮影画像の取得位置における波面と結像面における波面を示す図である。 推定標本の像を示す図である。 波面の補正を示す図である。 標本の勾配と波面の伝搬を示す図である。 標本の勾配と波面の伝搬を示す図である。 標本の勾配を示す図である。 標本の勾配を示す図である。 本実施形態の屈折率分布推定システムを示す図である。 第1開口部材を示す図である。 本実施形態の屈折率分布推定システムを示す図である。 第3のシミュレーションのフローチャートである。 開口部材と撮影画像を示す図である。 標本、撮影画像、及び初期値の画像を示す図である。 伝達可能な空間周波数帯域を示す図である。 標本を示す図である。 撮影画像、伝達可能な空間周波数を示す図、再生像の全体の画像、及び再生像の一部の画像である。 標本を示す図と再生像の画像である。 標本を示す図、初期値の画像、及び再生像の画像である。 標本を示す図と再生像の画像である。
実施例の説明に先立ち、本発明のある態様にかかる実施形態の作用効果を説明する。なお、本実施形態の作用効果を具体的に説明するに際しては、具体的な例を示して説明することになる。しかし、後述する実施例の場合と同様に、それらの例示される態様はあくまでも本発明に含まれる態様のうちの一部に過ぎず、その態様には数多くのバリエーションが存在する。したがって、本発明は例示される態様に限定されるものではない。
本実施形態の屈折率分布推定システムでは、撮影画像と推定標本の像が用いられる。撮影画像は、光学装置で取得した標本の画像である。推定標本の像は、シミュレーションで取得した推定標本の画像である。
シミュレーションでは、残差が閾値以下になるように、推定標本の更新が行われる。残差は、推定標本の像と撮影画像との差である。残差が閾値以下になると、撮影画像と同一の推定標本の像が得られるか、又は、撮影画像と略同一の推定標本の像が得られる。
撮影画像の取得では、パーシャルコヒーレント照明が用いられている。よって、シミュレーションも、パーシャルコヒーレント照明を前提としている。
第1のシミュレーションでは、標本は厚みが薄い標本(以下、「薄い標本」という)である。第2のシミュレーションと第3のシミュレーションでは、標本は厚みが厚い標本(以下、「厚い標本」という)である。
本実施形態の屈折率分布推定システムは、パーシャルコヒーレント照明により標本を照明する照明光学系と、標本の光学像を形成する結像光学系と、結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、プロセッサは、標本の屈折率分布を含む推定標本を推定するステップと、照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、複数の第1波面が推定標本を通過した後の複数の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする。
図1は本実施形態の屈折率分布推定システムと撮影画像を示す図である。図1(a)は、屈折率分布推定システムを示す図である。図1(b)は、撮影画像を示す図である。
図1(a)に示すように、屈折率分布推定システム1は、照明光学系2と、結像光学系3と、撮像素子4と、プロセッサ5と、を有する。照明光学系2と結像光学系3で、測定光学系が形成されている。
照明光学系2と結像光学系3との間に、標本6が位置している。標本6は、薄い標本である。結像光学系3の焦点位置Foは、標本6の内部に位置している。例えば、焦点位置Foと標本6の表面6aとの間隔はΔz1である。
標本6には、複数の方向から、光線が同時に入射する。図1(a)では、光線LONと光線LOFFが示されている。光線LONは、光軸AXと平行な光線である。光線LOFFは、光軸AXと交差する光線である。
このように、複数の方向から同時に入射する光線によって、標本6が照明されている。このような照明としては、インコヒーレント照明とパーシャルコヒーレント照明がある。屈折率分布推定システム1では、パーシャルコヒーレント照明が用いられている。
光のコヒーレンスには、時間的コヒーレンスと空間的コヒーレンスが含まれる。ここでのコヒーレンスは、空間的コヒーレンスを指している。
図2は、照明光と照明領域を示す図である。図2(a)は、照明光と照明領域の第1例を示す図である。図2(b)は、照明光と照明領域の第2例を示す図である。各図では、標本に入射する照明光と、結像光学系の瞳位置における照明領域が示されている。
第1例では、光線LONと光線LOFFが照明に用いられている。結像光学系3の瞳位置Puでは、照明領域ILLの形状は円である。照明領域ILLは、結像光学系3の瞳POBよりも狭い。よって、第1例における照明は、パーシャルコヒーレント照明である。
第2例では、光線LOFFだけが照明に用いられている。瞳位置Puでは、照明領域ILLの形状は円環である。照明領域ILLは、瞳POBよりも狭い。よって、第2例における照明は、パーシャルコヒーレント照明である。
図1に戻って説明する。標本6から射出した光は、結像光学系3によって、結像面IPに集光される。結像面IPに、光学像6’が形成される。光学像6’は、標本6の光学像である。
結像面IPには、撮像素子4の撮結像面が位置している。撮像素子4によって、光学像6’の画像の取得が行われる。その結果、図1(b)に示す撮影画像Imea(r)が得られる。rは、(x,y)の2次元座標を示す。
標本6は、薄い標本なので、1つの撮影画像が取得される。よって、結像光学系3と撮像素子4は、光軸方向に移動しない。また、標本6も、光軸方向に移動しない。
撮影画像Imea(r)は、プロセッサ5に入力される。プロセッサ5では、撮影画像Imea(r)を用いて、推定標本の像のシミュレーションが行われる。
図3は、第1のシミュレーションのフローチャートである。図1に示す測定光学系では、照明領域は無数の点光源で形成されている。シミュレーションでは、無数の点光源を扱うことはできない。そこで、照明領域を、複数の微小領域に分割する。
微小領域の各々は、点光源とみなすことができる。照明領域を複数の微小領域に分割することで、点光源の数を少なくすることができる。
図4は、分割された照明領域を示す図である。図4(a)は、分割された照明領域の第1例を示す図である。図4(b)は、分割された照明領域の第2例を示す図である。
第1例では、円形の照明領域が、複数の微小領域に分割されている。第2例では円環形の照明領域が、複数の微小領域に分割されている。
上述のように、微小領域の各々は、点光源とみなすことができる。よって、第1例では、複数の点光源によって、円形の照明領域が形成されている。第2例では、複数の点光源によって、円環形の照明領域が形成されている。
図5は、シミュレーションで用いる光学系を示す図である。シミュレーションで用いる光学系は、撮影画像Imea(r)を取得した測定光学系と同一である。シミュレーションでは、標本6の代わりに、推定標本10が用いられる。
図5には、推定標本10、波面fin (r)、振幅透過率T(r)、波面gout (r)、撮影画像の取得位置における波面u(r)、及び結像面における波面uimg (r)が図示されている。
図5では、1番目の光源からNLS番目までの光源が図示されている。光源は、照明光学系2の瞳位置に配置することができる。このようにすることで、照明光学系2の瞳の強度分布が、複数の光源でモデル化することができる。
図3に戻って、シミュレーションについて説明する。シミュレーションは、推定標本を推定するステップと、推定標本の像を算出するステップと、推定標本の屈折率分布を最適化するステップと、推定標本を更新するステップと、推定標本の構造を再構成して出力するステップと、を含む。
ステップS10では、光源の数NLSが設定される。光源の数NLSは、照明領域を微小領域に分割したときの分割数である。シミュレーションでは、図4(a)に示す円形の照明領域が用いられる。
ステップS20は、推定標本を推定するステップである。標本6については、1枚の撮影画像が取得されている。推定標本10は薄い標本なので、1つの薄い層とみなすことができる。よって、振幅透過率の初期値の設定は1回行われる。
ステップS20では、推定標本10における振幅透過率T(r)に初期値が設定される。
推定標本10の像を算出するためには、推定標本10の情報、例えば、屈折率分布が必要である。推定標本10は、標本6をモデル化した標本である。よって、推定標本10の屈折率分布に標本6の屈折率分布を用いることができると良い。
しかしながら、標本6の屈折率分布は、撮影画像Imea(r)から正確に得られない。よって、推定標本10の屈折率分布は、推定せざるを得ない。
式(1)に示すように、結像面における屈折率分布n(r)は、振幅透過率T(r)に変換することができる。よって、ステップS20では、推定標本10における振幅透過率T(r)の初期値を設定する。
Figure 2021024420
ここで、
λは、照明光の波長、
dzは、標本の厚み、
である。
振幅透過率T(r)の値を撮影画像Imea1(r)から推定できる場合、推定した値を初期値に用いても良い。また、他の方法で振幅透過率T(r)の値を推定できる場合、推定した値を初期値に設定することができる。初期値が推定できない場合、例えば、T(r)=1とする。
ステップS30では、変数mの値が初期化される。後述のステップS41、ステップS42、ステップS43、ステップS44、及びステップS45は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS40とステップS50は、推定標本の像を算出するステップである。推定標本の像の数は、撮影画像の数と同数である。撮影画像の数は1なので、推定標本の像の数も1である。
ステップS40は、ステップS41、ステップS42、ステップS43、ステップS44、ステップS45、ステップS46、及びステップS47を有する。
ステップS41では、推定標本10へ入射する波面fin (r)が算出される。fin (r)は、1番目の光源からNLS番目までの光源から射出された光の波面を表している。
上述のように、照明光学系の瞳の強度分布は、複数の光源でモデル化することができる。1番目の光源からNLS番目までの光源は、モデル化された複数の光源である。第1波面を、モデル化された複数の光源から射出された波面とすると、波面fin (r)は、第1波面を表している。
上述のように、微小領域の各々は、点光源とみなすことができる。図5では、m番目の光源から照明光Lmが出射されている。照明光Lmは、推定標本10に入射する。
この場合、波面fin (r)は、式(2)と式(3)で表される。
Figure 2021024420
Figure 2021024420
ここで、
θx,m、θy,mは、推定標本への入射角、
である。
ステップS42では、推定標本10から射出される波面gout (r)が算出される。薄い標本の場合、波面gout (r)は、式(4)で表される。
Figure 2021024420
ここで、
(r)は、推定標本の振幅透過率、
である。
波面gout (r)は、波面fin (r)が推定標本10を通過した後の波面である。波面fin (r)は第1波面を表しているので、波面gout (r)は第2波面を表している。
推定標本10は薄い標本なので、式(4)に示すように、波面fin (r)から、波面gout (r)を直接算出することができる。
ステップS43では、撮影画像の取得位置における波面u(r)が算出される。撮影画像の取得位置は、撮影画像の取得が行われたときの、標本側における結像光学系3の焦点位置Foである。
波面u(r)は、式(5)で表される。
Figure 2021024420
ここで、
−Δz1{ }は、式(6)で表され、
Figure 2021024420
Δz1は、推定標本の表面から撮影画像の取得位置までの距離、
λは、波長、
uは、瞳面座標(ξ,η)の2次元表記、
2Dは、2次元フーリエ変換、
2D −1は、2次元フーリエ逆変換、
である。
後述のステップS60では、残差が算出される。残差の算出は、撮影画像と推定標本の像が用いられる。推定標本の像を算出するためには、撮影画像の取得位置における波面を求める必要がある。
上述のように、焦点位置Foと表面6aとの間隔はΔz1である。光の進行方向に向かって測定したときの距離の符号をプラスとすると、撮影画像の取得位置は、表面6aから−Δz1だけ離れた位置になる。
よって、シミュレーションで用いる光学系では、撮影画像の取得位置は、推定標本10の表面10aから−Δz1だけ離れた位置になる。この場合、撮影画像の取得位置における波面は、表面10aから−Δz1だけ離れた位置における波面になる。
式(5)における波面u(r)は、波面gout (r)が、光の進行方向とは逆の方向にΔz1だけ伝搬した波面である。この波面は、表面10aから−Δz1だけ離れた位置における波面である。よって、式(5)における波面u(r)は、撮影画像の取得位置における波面を表している。
なお、撮影画像の取得位置と表面6aの位置は、厳密には異なる。しかしながら、標本6は薄い標本なので、Δz1の値は非常に小さい。そのため、撮影画像の取得位置と表面6aの位置は、ほぼ同じと見なすことができる。
推定標本10も薄い標本である。そのため、表面10aの位置と、表面10aから−Δz1だけ離れた位置は、ほぼ同じと見なすことができる。すなわち、波面gout (r)の位置と波面u(r)の位置は、ほぼ同じと見なすことができる。この場合、波面u(r)の代わりに、波面gout (r)を用いることもできる。
ステップS44では、結像面における波面uimg (r)が算出される。波面u(r)は、結像面IPに伝搬される。このとき、結像光学系3を通過する。結像光学系3は、フーリエ光学系を形成している。よって、式(7)に示すように、結像面IPにおける波面uimg (r)は、波面u(r)と結像光学系の瞳関数P(u)を用いて算出することができる。
Figure 2021024420
ステップS45では、波面uimg (r)が2乗される。波面uimg (r)は、光の振幅を表している。よって、波面uimg (r)を2乗することで、光強度が算出される。
|uimg (r)|は、結像面IPに光強度分布を表している。第1強度分布を、結像光学系の結像位置における光強度分布とすると、|uimg (r)|は、結像光学系の結像位置における第1光強度分布を表している。
波面fin (r)、波面gout (r)、波面u(r)、及び波面uimg (r)は、m番目の光源から射出された照明光、すなわち、1つの光源から射出された照明光によって生成される波面を表している。
推定標本の像Iest(r)は、全ての光源から射出された照明光によって生成される。よって、全ての光源について、波面fin (r)、波面gout (r)、波面u(r)、及び波面uimg (r)を求めなくてはならない。
ステップS46では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS47が実行される。判断結果がYESの場合は、ステップS50が実行される。
(判断結果がNOの場合:m≠NLS
判断結果がNOの場合、ステップS47で、変数mの値に1が加算される。ステップS47が終ると、ステップS41に戻る。
ステップS47で、変数mの値が1つ増えている。そのため、別の光源について、ステップS41で波面fin (r)が算出され、ステップS42で波面gout (r)が算出され、ステップS43で波面u(r)が算出され、ステップS44で波面uimg (r)が算出され、ステップS45で|uimg (r)|が算出される。
ステップS41、ステップS42、ステップS43、ステップS44、及びステップS45は、全ての光源について|uimg (r)|が求まるまで、繰り返し行われる。
(判断結果がYESの場合:m=NLS
判断結果がYESの場合、ステップS50で、|uimg (r)|の足し合わせが行われる。その結果、推定標本の像Iest(r)が算出される。推定標本の像Iest(r)は、式(8)で表される。
Figure 2021024420
図6は、推定標本の像を示す図である。推定標本の像Iest(r)は、全ての光源について波面uimg (r)が求められた場合の像である。図6に示すように、各光源について波面uimg (r)が算出され、波面uimg (r)から|uimg (r)|が算出され|uimg (r)|が全て足し合わされている。その結果、推定標本の像Iest(r)が算出される。
ステップS60で、残差が算出される。残差は、式(9)で表される。式(9)に示すように、残差は、撮影画像Imea(r)と推定標本の像Iest(r)とから算出される。
Figure 2021024420
式(9)は、行列のノルムを表している。ノルムは、式(10)で表される。
Figure 2021024420
ステップS70では、残差と閾値との比較が行われる。判断結果がNOの場合は、ステップS80が実行される。判断結果がYESの場合は、ステップS110が実行される。
(判断結果がNOの場合:残差≧閾値)
ステップS80では、変数mの値が初期化される。後述のステップS91とステップS92は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS90は、推定標本の屈折率分布を最適化するステップである。
ステップS90は、ステップS91、ステップS92、ステップS93、及びステップS94を有する。
ステップS91では、波面u’(r)が算出される。波面u’(r)の算出では、撮影画像Imea(r)と推定標本の像Iest(r)が用いられる。また、波面u’(r)は、撮影画像の取得位置における波面である。
波面u’(r)は式(11)で表される。
Figure 2021024420
図7は、波面の補正を示す図である。図7(a)は、推定標本から射出する補正前の波面を示す図である。図7(b)は、撮影画像の取得位置における補正前の波面を示す図である。図7(c)は、撮影画像の取得位置における補正後の波面を示す図である。図7(d)は、推定標本から射出する補正後の波面を示す図である。
図6に示すように、推定標本の像Iest(r)は、波面uimg (r)に基づいて算出される。また、図6と図7(b)に示すように、波面uimg (r)は、波面u(r)に基づいて算出される。
図7(a)に示すように、波面u(r)の算出には、振幅透過率T(r)が用いられている。振幅透過率T(r)は、推定された振幅透過率である。ステップS90の1回目の実行時、この振幅透過率T(r)は、標本6の振幅透過率と異なる。
振幅透過率T(r)と標本6の振幅透過率との差が大きくなるほど、推定標本の像Iest(r)と撮影画像Imea(r)との差も大きくなる。よって、推定標本の像Iest(r)と撮影画像Imea(r)との差は、振幅透過率T(r)と標本6の振幅透過率との差を反映していると見なすことができる。
そこで、式(11)に示すように、推定標本の像Iest(r)と撮影画像Imea(r)と用いて、波面u(r)を補正する。その結果、図7(c)に示すように、補正後の波面、すなわち、波面u’(r)が得られる。
波面u’(r)を用いることで、新たな振幅透過率T(r)を算出できる。波面u’(r)は、波面u(r)と異なる。よって、新たな振幅透過率T(r)は、波面u(r)を算出したときの振幅透過率とは異なる。
このように、波面u’(r)を用いて、振幅透過率T(r)を算出することができる。ただし、図7(a)に示すように、振幅透過率T(r)の算出には、波面gout (r)が必要である。
図7(a)、(c)に示すように、波面u’(r)の位置と、波面gout (r)の位置は異なる。よって、振幅透過率T(r)を算出するためには、図7(d)に示すように、波面g’out (r)が必要である。
波面g’out (r)は、式(12)で表される。波面u’(r)は補正後の波面なので、波面g’out (r)も補正後の波面である。
Figure 2021024420
上述のように、撮影画像の取得位置は、表面10aから−Δz1だけ離れた位置になる。言い換えると、表面10aの位置は、撮影画像の取得位置からΔz1だけ離れた位置になる。よって、表面10aの位置における波面は、撮影画像の取得位置からΔz1だけ離れた位置における波面になる。
式(12)における波面g’out (r)は、波面u’(r)が、光の進行方向にΔz1だけ伝搬した波面である。この波面は、影画像の取得位置からΔz1だけ離れた位置における波面である。よって、式(12)における波面g’out (r)は、表面10aの位置における波面を表している。
表面10aの位置における波面は、fin (r)が推定標本10を通過した後の波面である。上述のように、fin (r)は、第1波面を表している。第2波面を、第1波面が推定標本を通過した後の波面とすると、波面g’out (r)は、第2波面を表している。
上述のように、Δz1の値は非常に小さい。また、推定標本10は薄い標本である。そのため、撮影画像の取得位置と、撮影画像の取得位置からΔz1だけ離れた位置は、ほぼ同じと見なすことができる。すなわち、波面u’(r)の位置と、波面gout (r)の位置は、ほぼ同じと見なすことができる。この場合、波面g’out (r)の代わりに、波面u’(r)を用いることもできる。
ステップS92では、標本の勾配ΔT (r)が算出される。標本の勾配ΔT は式(13)で表される。標本の勾配ΔT (r)の算出には、例えば、勾配降下法を用いることができる。
Figure 2021024420
ここで、
は、fの複素共役、
δは、ゼロ除算を防ぐための正規化定数、
である。
図7(a)に示すように、波面gout (r)の算出には、振幅透過率T(r)が用いられている。振幅透過率T(r)は、推定された振幅透過率である。よって、この振幅透過率T(r)は、標本6の振幅透過率と異なる。
振幅透過率T(r)と標本6の振幅透過率との差が大きくなるほど、波面gout (r)と波面g’out (r)との差も大きくなる。よって、波面gout (r)と波面g’out (r)との差は、振幅透過率T(r)と標本6の振幅透過率との差を反映していると見なすことができる。
波面fin (r)、振幅透過率T(r)、波面gout (r)、及び波面g’out (r)は、既知である。そこで、式(12)に示すように、波面fin (r)、振幅透過率T(r)、波面gout (r)、及び波面g’out (r)用いて、標本の勾配ΔT (r)を算出することができる。
図8は、標本の勾配を示す図である。
ステップS92で得られる標本の勾配ΔT (r)は、1つの光源から射出された照明光における標本の勾配を表している。標本の勾配ΔT (r)は、全ての光源から射出された照明光によって決まる。よって、全ての光源について、標本の勾配ΔT (r)を求めなくてはならない。
ステップS93では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS94が実行される。判断結果がYESの場合は、ステップS100が実行される。
(判断結果がNOの場合:m≠NLS
判断結果がNOの場合、ステップS94で、変数mの値に1が加算される。ステップS94が終ると、ステップS91に戻る。
ステップS94で、変数mの値が1つ増えている。そのため、別の光源について、ステップS91で波面u’(r)が算出され、ステップS92で標本の勾配ΔT (r)が算出される。
ステップS91とステップS92は、全ての光源について標本の勾配ΔT (r)が求まるまで、繰り返し行われる。
図9は、標本の勾配を示す図である。図9では、全ての光源について、標本の勾配ΔT (r)が求められている。
(判断結果がYESの場合:m=NLS
判断結果がYESの場合、ステップS100で、振幅透過率T(r)が更新される。ステップS100は、推定標本を更新するステップするステップである。
更新された振幅透過率T(r)は、式(14)で表される。
Figure 2021024420
ここで、
αは、標本の勾配の補正係数、
である。
さらに、標本6を吸収の無い完全位相物体として考える場合、式(15)を用いて、振幅透過率T(r)をさらに更新することができる。
Figure 2021024420
ステップS100が終ると、ステップS30に戻る。更新された振幅透過率T(r)で、ステップS30からステップS100までが実行される。
ステップS30からステップS100までが繰り返し実行されることで、更新された振幅透過率T(r)は、徐々に、標本6の振幅透過率に近づく。すなわち、残差が小さくなる。やがて、残差は閾値よりも小さくなる。
(判断結果がYESの場合:残差<閾値)
ステップ110では、推定標本の屈折率分布が算出される。得られた振幅透過率T(r)は、標本6の振幅透過率と同一か、又は、略同一である。得られた振幅透過率T(r)と式(1)から、屈折率分布n(r)が求まる。
ステップS110で得られた屈折率分布n(r)を用いることで、推定標本の構造を再構成することができる。再構成された推定標本の構造は、例えば、表示装置に出力することができる。推定標本10は、薄い標本である。第1のシミュレーションでは、薄い標本の構造を再構成することができる。
上述のように、ステップS110で得られた振幅透過率T(r)は、標本6の振幅透過率と同一か、又は、略同一である。この場合、屈折率分布n(r)も、標本6の屈折率分布と同一か、又は、略同一と見なすことができる。よって、再構成された推定標本10の構造は、標本6の構造と同一か、又は、略同一と見なすことができる。
第1のシミュレーションでは、ステップS40、ステップS50、及びステップS90が、繰り返し実行される。その結果、振幅透過率T(r)が更新される。上述のように、ステップS40とステップS50は、推定標本の像を算出するステップである。ステップS90は、推定標本の屈折率分布を最適化するステップである。
振幅透過率T(r)は、推定標本を表している。よって、推定標本の像を算出するステップと推定標本の屈折率分布を最適化するステップが繰り返し実行されることで、推定標本が更新される。
本実施形態の屈折率分布推定システムは、結像光学系の焦点位置と標本の位置との間隔を、結像光学系の光軸方向に変化させる駆動機構を更に備え、駆動機構により間隔を変化させて、複数の間隔のそれぞれに対応する複数の標本の撮影画像を取得し、複数の間隔のそれぞれに対応する複数の推定標本の像を算出し、複数の間隔のそれぞれにおいて、推定標本の屈折率分布を最適化することが好ましい。
図10は、本実施形態の屈折率分布推定システムと照明光を示す図である。図10(a)は、屈折率分布推定システムを示す図である。図10(b)は、照明光を示す図である。図1(a)と同じ構成については同じ番号を付し、説明は省略する。
標本21は、厚い標本である。標本21には、複数の方向から、光線が同時に入射する。図10(a)では、光線LONと光線LOFFが示されている。図10(b)に示すように、光線LOFFだけを照明に用いても良い。
標本21から射出した光は、結像光学系3によって、結像面IPに集光される。結像面IPに、光学像21’が形成される。光学像21’は、標本21の光学像である。
屈折率分布推定システム20は、移動ステージ22を有する。移動ステージ22は、光軸AXの方向に移動する。
上述のように、推定標本の屈折率分布の最適化には、撮影画像が用いられる。標本21は、厚い標本なので、複数の撮像画像が取得される。複数の撮像画像を取得するために、標本21を固定し、移動ステージ22で、結像光学系3の焦点位置を移動させている。
結像光学系3は、例えば、無限遠補正対物レンズと結像レンズを有する。この場合、対物レンズを移動させることで、結像光学系3の焦点位置を移動させることができる。結像光学系3と撮像素子4を固定し、標本21を移動させても良い。
以下、取得された撮像画像が4枚の場合について説明する。
図11は、撮影画像を示す図である。図11(a)は、第1の位置における撮影画像を示す図である。図11(b)は、第2の位置における撮影画像を示す図である。図11(c)は、第3の位置における撮影画像を示す図である。図11(d)は、第4の位置における撮影画像を示す図である。
結像光学系3と標本21との間隔を変化させることで、標本21に対する焦点位置Foが変化する。ここでは、標本21に対する焦点位置Foを、4回変化させている。これにより、以下の4つの撮影画像が取得される。
撮影画像Imea1(r):表面21aからの距離が3×Δzの位置の画像。
撮影画像Imea2(r):表面21aからの距離が2×Δzの位置の画像。
撮影画像Imea3(r):表面21aからの距離がΔzの位置の画像。
撮影画像Imea4(r):表面21aの画像。
撮影画像Imea1(r)、撮影画像Imea2(r)、撮影画像Imea3(r)、及び撮影画像Imea4(r)は、プロセッサ5に入力される。プロセッサ5では、4つの撮影画像を用いて、推定標本の像のシミュレーションが行われる。
図12と図13は、第2のシミュレーションのフローチャートである。第1のフローチャートにおける処置と同じ処理につては、同じ番号を付し、説明は省略する。
図14は、シミュレーションで用いる光学系を示す図である。図5と同じ構成については同じ番号を付し、説明は省略する。
シミュレーションで用いる光学系は、撮影画像Imea1(r)、撮影画像Imea2(r)、撮影画像Imea3(r)、及び撮影画像Imea4(r)を取得した測定光学系と同一である。シミュレーションでは、標本21の代わりに、推定標本30が用いられる。
図14には、推定標本30、波面fin (r)、振幅透過率T(r)、及び波面gout (r)が図示されている。
推定標本が薄い標本の場合、式(4)に示すように、波面fin (r)から、波面gout (r)を直接算出することができる。しかしながら、推定標本が厚い標本の場合、波面fin (r)から波面gout (r)を直接算出することは困難である。
推定標本30は、厚い標本である。そこで、光軸方向に沿って、推定標本30を複数の薄い層に置き換える。そして、薄い層の各々について、層の両側の波面を算出する。
図15は、各層における波面を示す図である。波面の算出については後述する。層の数は、取得画像の数と同じにすることができる。ただし、層の数は、取得画像の数よりも多くしても良い。図15では、層の数は、取得画像の数と同じである。
図15では、Z=1の位置が第1層の位置、Z=2の位置が第2層の位置、Z=3の位置が第3層の位置、Z=4の位置が第4層の位置である。
図12、図13を用いて、シミュレーションについて説明する。
ステップS10では、光源の数NLSが設定される。
ステップS200では、層の数NIMが設定される。推定標本30は、厚い標本である。よって、上述のように、推定標本30を複数の薄い層に置き換える。層の数NIMは、薄い層の数を表している。
標本21では、複数の位置で撮影画像が取得される。層の数NIMは、撮影画像が取得された位置の数と同じにすることができる。標本21に対する焦点位置Foを4回変化させている場合、NIM=4になる。
1からNIMまでの数字は、薄い層の位置を表している。例えば、NIM=4の場合、数字の1は第1層の位置を表し、数字の2は第2層の位置を表し、数字の3は第3層の位置を表し、数字の4は第4層の位置を表している。
推定標本の像の算出は、シミュレーションで行われる。そのため、層の数NIMは、自由に設定できる。例えば、層の数NIMは、撮影画像が取得された位置の数よりも多くすることができる。
例えば、NIM=7の場合、薄い層の数は7つである。この場合、7つの推定標本の像が算出される。シミュレーションでは、後述のように、撮影画像と薄い層における推定標本の像が用いられる。よって、推定標本の像が算出される7つ位置には、撮影画像が取得された4つの位置が含まれている。
7つ位置と撮影画像の関係は、例えば、以下のようにすることができる。
数字の1は、第1層の位置を表している。この位置では、撮影画像Imea1(r)が取得されている。また、この位置では、第1層における推定標本の像が算出される。よって、第1層における推定標本の像と撮影画像Imea1(r)が、後述のステップで用いられる。
数字の2は、第2層の位置を表している。この位置で取得された撮影画像は無い。
数字の3は、第3層の位置を表している。この位置では、撮影画像Imea2(r)が取得されている。また、この位置では、第3層における推定標本の像が算出される。よって、第3層における推定標本の像と撮影画像Imea2(r)が、後述のステップで用いられる。
数字の4は、第4層の位置を表している。この位置で取得された撮影画像は無い。
数字の5は、第5層の位置を表している。この位置では、撮影画像Imea3(r)が取得されている。また、この位置では、第5層における推定標本の像が算出される。よって、第5層における推定標本の像と撮影画像Imea3(r)が、後述のステップで用いられる。
数字の6は、第6層の位置を表している。この位置で取得された撮影画像は無い。
数字の7は、第7層の位置を表している。この位置では、撮影画像Imea4(r)が取得されている。また、この位置では、第7層における推定標本の像が算出される。よって、第7層における推定標本の像と撮影画像Imea4(r)が、後述のステップで用いられる。
ステップS210では、補正の回数NCRが設定される。
ステップS220では、変数zの値が初期化される。後述のステップS231は、全ての取得位置に対して実行される。変数zは、ステップS231が実行された回数を表している。
ステップS230は、推定標本を推定するステップである。標本21では、4つの撮影画像が取得されている。上述のように、推定標本30は4つの薄い層に置き換えられている。よって、振幅透過率の初期値の設定は4回行われる。
ステップS230は、ステップS231、ステップS232、及びステップS233を有する。
ステップS231では、推定標本30における振幅透過率T(r)に初期値が設定される。
初期値の設定では、強度輸送方程式を用いても良い。強度輸送方程式は、例えば、以下の文献に開示されている。
M. R. Teague, “Deterministic phase retrieval: a Greens function solution,” J. Opt. Soc. Am. 73, 1434-1441(1983)
焦点位置Z0での強度輸送方程式は、式(16)で表される。
Figure 2021024420
ここで、
は、2次のラプラシアン、
kは、波数、
φZ0(r)は,結像面での標本の位相分布、
Z0は,光学像の平均光強度、
δImeaZ0(r)/δは、結像面から±△zだけ離れた2つのデフォーカス像の差分像、
である。
式(16)を用いると、フォーカス像と2つのデフォーカス像から、標本の位相分布φZ0(r)を簡単に求めることができる。
ただし、2つのデフォーカス像の同一点における光強度の差が0か、又は、非常に小さいと、位相を計測できない。パーシャルコヒーレント照明であっても、照明光の開口数が小さい場合は、この光強度の差が0になるか、又は、非常に小さくなる。そのため、このような場合は、強度輸送方程式を用いて初期値を設定することは難しい。
上述のように、位相分布φZ0(r)は、フォーカス像と2つのデフォーカス像から算出される。フォーカス像、例えば、対物レンズを一定の間隔で、光軸方向に移動させることで取得される。この場合、光軸に沿って、複数のフォーカス像が離散的に取得される。よって、2つのデフォーカス像も離散的に取得される。
式(16)で表される位相分布φZ0(r)は、光軸と直交する面内における位相分布である。フォーカス像と2つのデフォーカス像は離散的に取得されるので、位相分布φZ0(r)を表す面も、光軸に沿って離散的に位置している。
式(17)に示すように、位相分布φ(r)は、振幅透過率T(r)に変換することができる。このようにして、振幅透過率T(r)に初期値を設定することができる。
Figure 2021024420
強度輸送方程式で得られた位相分布φZ0は、位相分布φ(r)に用いることができる。強度輸送方程式を用いて、初期値を設定することができる。なお、初期値の推定が難しい場合、例えば、T(r)=1としても構わない。
ステップS232では、変数zの値が取得位置の数NIMと一致したか否かが判断される。判断結果がNOの場合は、ステップS233が実行される。判断結果がYESの場合は、ステップS30が実行される。
(判断結果がNOの場合:z≠NIM
判断結果がNOの場合、ステップS233で、変数zの値に1が加算される。ステップS233が終ると、ステップS231に戻る。
ステップS233で、変数zの値が1つ増えている。そのため、別の取得位置について、ステップS231で振幅透過率T(r)に初期値が設定される。
ステップS231は、全ての取得位置について初期値が設定されるまで、繰り返し行われる。
(判断結果がYESの場合:z=NIM
ステップS30で、変数mの値が初期化される。後述のステップS240、ステップS41、ステップS42、ステップS251、及びステップS260は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS240で、関数Iestz(r)の値が初期化される。Iestz(r)は、推定標本30の像を表している。上述のように、推定標本30の像は、4つの薄い層に置き換えられている。よって、Iestz(r)は、薄い層の像を表している。
ステップS250とステップS270は、推定標本の像を算出するステップである。推定標本の像の数は、撮影画像の数と同数である。撮影画像の数は4なので、推定標本の像の数も4である。
ステップS250は、ステップS41、ステップS42、ステップS251、ステップS252、ステップS253、及びステップS260を有する。
ステップS41では、推定標本30へ入射する波面fin (r)が算出される。波面fin (r)は、上述の式(2)、(3)で表される。
ステップS42では、推定標本30から射出する波面gout (r)が算出される。波面gout (r)は、波面fin (r)に基づいて算出される。推定標本30は4つの薄い層に置き換えられている。よって、薄い層の各々で波面を算出する。
図15では、Z=1の位置が第1層の位置、Z=2の位置が第2層の位置、Z=3の位置が第3層の位置、Z=4の位置が第4層の位置である。
4つの薄い層は、等間隔で並んでいる。隣り合う2つの層の間隔はΔzである。波面は、2つの層の間を伝搬する。よって、Δzは、伝搬距離を表している。
第1層における波面f (r)は、式(18)と式(3)で表される。
Figure 2021024420
第1層の位置は、推定標本30の表面30bの位置と一致している。表面30bには、波面fin (r)が入射する。よって、波面f (r)は、波面fin (r)を表している。図15では、波面f (r)の代わりに、波面fin (r)が示されている。
第1層における波面g (r)は、式(19)で表される。
Figure 2021024420
ここで、
(r)は、第1層における振幅透過率、
である。
第2層における波面f (r)は、波面g (r)が、Δzだけ伝搬したときの波面である。波面f (r)は、式(20)で表される。式(20)で、ΔD=Δzとすることで、波面f (r)を算出することができる。
Figure 2021024420
ここで、PΔD{ }は、式(21)で表され、
Figure 2021024420
ΔDは、隣り合う2つの層の間隔、
λは、波長、
uは、瞳面座標(ξ,η)の2次元表記、
2Dは、2次元フーリエ変換、
2D −1は、2次元フーリエ逆変換、
である。
第2層における波面g (r)は、式(22)で表される。
Figure 2021024420
ここで、
(r)は、第2層における振幅透過率、
である。
第3層における波面f (r)は、波面g (r)が、Δzだけ伝搬したときの波面である。第3層における波面f (r)は、式(23)で表される。式(21)で、ΔD=Δzとすることで、波面f (r)を算出することができる。
Figure 2021024420
第3層における波面g (r)は、式(24)で表される。
Figure 2021024420
ここで、
(r)は、第3層における振幅透過率、
である。
第4層における波面f (r)は、波面g (r)が、Δzだけ伝搬したときの波面である。第4層における波面f (r)は、式(25)で表される。式(21)で、ΔD=Δzとすることで、波面f (r)を算出することができる。
Figure 2021024420
第4層における波面g (r)は、式(26)で表される。
Figure 2021024420
ここで、
(r)は、第4層における振幅透過率、
である。
第4層の位置は、推定標本30の表面30aの位置と一致している。表面30aからは、波面gout (r)が射出される。よって、波面g (r)は、波面gout (r)を表している。図15では、波面g (r)の代わりに、波面gout (r)が示されている。
以上のように、推定標本が厚い標本の場合は、複数の薄い層に置き換えると共に、2つの層の間を伝搬する波面を求めることで、波面gout (r)を算出することができる。
ステップS251では、変数zの値が初期化される。後述のステップS261、ステップS262、及びステップS263は、全ての取得位置に対して実行される。変数zは、これらのステップが実行された回数を表している。
ステップS260は、ステップS261、ステップS262、ステップS263、ステップS264、及びステップS265を有する。
ステップS261では、撮影画像の取得位置における波面u (r)が算出される。波面u (r)は、式(27)で表される。
Figure 2021024420
ここで、
△Dは推定標本の表面から薄い層までの距離、
である。
ΔD{ }は、式(28)で表される。
Figure 2021024420
ステップS262では、結像面における波面uimgz (r)が算出される。波面uimgz (r)は、式(29)で表される。
Figure 2021024420
ステップS263では、波面uimgz (r)が2乗される。波面uimgz (r)は、光の振幅を表している。よって、波面uimgz (r)を2乗することで、光強度が算出される。
|uimgz (r)|は、結像面IPに光強度分布を表している。第1強度分布を、結像光学系の結像位置における光強度分布とすると、|uimgz (r)|は、結像光学系の結像位置における第1光強度分布を表している。
ステップS264では、変数zの値が取得位置の数NIMと一致したか否かが判断される。判断結果がNOの場合は、ステップS265が実行される。判断結果がYESの場合は、ステップS252が実行される。
(判断結果がNOの場合:z≠NIM
判断結果がNOの場合、ステップS265で、変数zの値に1が加算される。ステップS265が終ると、ステップS261に戻る。
ステップS265で、変数zの値が1つ増えている。そのため、別の取得位置について、ステップS261、ステップS262、及びステップS263が実行される。
ステップS261、ステップS262、及びステップS263は、全ての取得位置について初期値が設定されるまで、繰り返し行われる。
ステップS250における処理を、第1層と第4層を用いて説明する。第2層と第3層については、第1層と同じように考えれば良い。
図16は、撮影画像の取得位置における波面と結像面における波面を示す図である。図16(a)は、第1層におけるにおける2つの波面を示す図である。図16(b)は、第4層における2つの波面を示す図である。
z=1における撮影画像は、撮影画像Imea1(r)である。撮影画像Imea1(r)は、表面21aからの距離が3×Δzの位置の画像である。第1層は、表面30aから3×Δzだけ離れている。よって、第1層の位置が、撮影画像Imea1(r)の取得位置に対応する。
波面gout (r)の射出位置は、表面30aと一致している。図16(a)に示すように、波面gout (r)の射出位置は、第1層の位置と異なる。第1層は、波面gout (r)の射出位置から3×Δzだけ離れている。
第1層における波面u (r)は、波面gout (r)が光の進行方向とは反対に3×Δzだけ伝搬したときの波面である。よって、ステップS261においてΔD=−3×Δzとすることで、式(27)と式(28)から、波面u (r)を算出することができる。
波面u (r)が算出されると、ステップS262で、式(29)から、結像面における波面uimg1 (r)が算出される。
更に、ステップS263で、第1層の像の光強度|uimg1(r)|が算出される。
z=2における撮影画像は、撮影画像Imea2(r)である。撮影画像Imea2(r)は、表面21aからの距離が2×Δzの位置の画像である。第2層は、表面30aから2×Δzだけ離れている。よって、第2層の位置が、撮影画像Imea2(r)の取得位置に対応する。
波面gout (r)の射出位置は、第2層の位置と異なる。第2層は、波面gout (r)の射出位置から2×Δzだけ離れている。
第2層における波面u (r)は、波面gout (r)が光の進行方向とは反対に2×Δzだけ伝搬したときの波面である。よって、ステップS261においてΔD=−2×Δzとすることで、波面u (r)を算出することができる。
波面u (r)が算出されると、ステップS262で、結像面における波面uimg2 (r)が算出される。
更に、ステップS263で、第2層の像の光強度|uimg2(r)|が算出される。
z=3における撮影画像は、撮影画像Imea3(r)である。撮影画像Imea3(r)は、表面21aからの距離がΔzの位置の画像である。第3層は、表面30aからΔzだけ離れている。よって、第3層の位置が、撮影画像Imea3(r)の取得位置に対応する。
波面gout (r)の射出位置は、第3層の位置と異なる。第3層は、波面gout (r)の射出位置からΔzだけ離れている。
第3層における波面u (r)は、波面gout (r)が光の進行方向とは反対にΔzだけ伝搬したときの波面である。よって、ステップS261においてΔD=Δzとすることで、波面u (r)を算出することができる。
波面u (r)が算出されると、ステップS262で、結像面における波面uimg3 (r)が算出される。
更に、ステップS263で、第3層の像の光強度|uimg3(r)|が算出される。
z=4における撮影画像は、撮影画像Imea4(r)である。撮影画像Imea4(r)は、表面21aの画像である。第4層は、表面30aと一致している。よって、第4層の位置が、撮影画像Imea4(r)の取得位置に対応する。
波面gout (r)の射出位置は、表面30aである。図16(b)に示すように、波面gout (r)の射出位置は、第4層の位置と同じである。
第4層における波面u (r)は、波面gout (r)同じである。波面gout (r)を波面u (r)に置き換えることができる。
波面u (r)が算出されると、ステップS262で、結像面における波面uimg4 (r)が算出される。
更に、ステップS263で、第4層の像の光強度|uimg4(r)|が算出される。
波面u (r)と波面uimgz (r)は、m番目の光源から射出された照明光、すなわち、1つの光源から射出された照明光によって生成される波面を表している。
推定標本の像Iestz(r)は、取得位置において、全ての光源から射出された照明光によって生成される。よって、全ての光源について、波面を求めなくてはならない。
(判断結果がYESの場合:z=NIM
ステップS242が実行される。
波面fin (r)、波面gout (r)、波面u (r)、及び波面uimgz (r)は、m番目の光源から射出された照明光、すなわち、1つの光源から射出された照明光によって生成される波面を表している。
推定標本の像Iestz(r)は、全ての光源から射出された照明光によって生成される。よって、全ての光源について、波面fin (r)、波面gout (r)、波面u (r)、及び波面uimgz (r)を求めなくてはならない。
ステップS252では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS253が実行される。判断結果がYESの場合は、ステップS270が実行される。
(判断結果がNOの場合:m≠NLS
判断結果がNOの場合、ステップS253で、変数mの値に1が加算される。ステップS253が終ると、ステップS41に戻る。
ステップS253で、変数mの値が1つ増えている。そのため、別の光源について、ステップS41で波面fin (r)が算出され、ステップS42で波面gout (r)が算出され、ステップS261で波面u (r)が算出され、ステップS262で波面uimgz (r)が算出され,ステップS263で|uimgz (r)|が算出される。
ステップS41、ステップS42、ステップS251、及びステップS260は、全ての光源について|uimgz (r)|が求まるまで、繰り返し行われる。
(判断結果がYESの場合:m=NLS
判断結果がYESの場合、ステップS270で、|uimgz (r)|の足し合わせが行われる。その結果、推定標本の像Iestz(r)が算出される。推定標本の像Iestz(r)は、式(30)で表される。
Figure 2021024420
図17は、推定標本の像を示す図である。図17(a)は、第1層における推定標本の像を示す図である。図17(b)は、第4層における推定標本の像を示す図である。
推定標本の像Iest1(r)は、全ての光源について波面uimg1 (r)が求められた場合の像である。推定標本の像Iest4(r)は、全ての光源について波面uimg4 (r)が求められた場合の像である。
図17(a)に示すように、各光源について波面uimg1 (r)が算出され、波面uimg1 (r)から|uimg1 (r)|が算出され、|uimg1 (r)|が全て足し合わされている。その結果、第1層における推定標本の像Iest1(r)が算出される。
図17(b)に示すように、各光源について波面uimg4 (r)が算出され、波面uimg4 (r)から|uimg4 (r)|が算出され、|uimg4 (r)|が全て足し合わされている。その結果、第4層における推定標本の像Iest4(r)が算出される。
(判断結果がYESの場合:m=NLS
ステップS280で、残差が算出される。残差は、式(31)で表される。式(31)に示すように、残差は、撮影画像Imeaz(r)と推定標本の像Iestz(r)とから算出される。
Figure 2021024420
上述のように、撮影画像の数は4で、推定標本の像の数も4である。よって、Imea1(r)とIest1(r)から、第1層における残差が算出される。Imea2(r)とIest2(r)から、第2層における残差が算出される。Imea3(r)とIest3(r)から、第3層における残差が算出される。Imea4(r)とIest4(r)から、第4層における残差が算出される。
第1層における残差、第2層における残差、第3層における残差、及び第4層における残差から、ステップ70で用いられる残差が算出される。
ステップS70では、残差と閾値との比較が行われる。判断結果がNOの場合は、ステップS290が実行される。判断結果がYESの場合は、ステップS110が実行される。
(判断結果がNOの場合:残差≧閾値)
ステップS290では、変数Lの値が初期化される。後述のステップS301、ステップS302、ステップS303、ステップS304、及びステップS310は、ステップS210で設定した回数だけ実行される。変数Lは、これらのステップが実行された回数を表している。
ステップS300は、ステップS301、ステップS302、ステップS303、ステップS304、ステップS305、ステップS306、及びステップS310を有する。
ステップS301では、1からNIMまでのなかから1つがランダムに選択される。後述のステップS311では、補正後の波面が算出される。補正後の波面の算出では、1つの撮影画像と1つの推定標本の像が用いられる。
上述のように、ステップS270では、複数の推定標本の像が算出される。補正後の波面の算出に用いる推定標本の像は、1つである。よって補正後の波面の算出に用いる推定標本の像を、複数の推定標本の像のなかから選択する。
IMは、層の数である。NIM=4の場合、ステップS301では、1から4までの数字のなかから、1つの数字がランダムに選択される。
例えば、選択された数字が1の場合、数字の1は第1層を表している。第1層における推定標本の像には、1番目の取得位置における撮影画像が対応する。よって、補正後の波面の算出には、1番目の取得位置における撮影画像と、第1層における推定標本の像が用いられる。
また、例えば、選択された数字が4の場合、選択された数字は第4層を表している。第4層における推定標本の像には、4番目の取得位置における撮影画像が対応する。よって、補正後の波面の算出には、4番目の取得位置における撮影画像と、第4層における推定標本の像が用いられる。
ステップS302では、ステップS301で選択した値が変数zLに入力される。上述のように、ステップS301では、1からNIMまでの数字のなかから、1つの数字がランダムに選択される。例えば、選択された数字が1の場合、ステップS302で、変数zLに1が入力されることになる。
ステップS303では、変数mの値が初期化される。後述のステップS311、ステップS312、及びステップS313は、全ての光源に対して実行される。変数mは、これらのステップが実行された回数を表している。
ステップS310は、推定標本の屈折率分布を最適化するステップである。
ステップS310は、ステップS311、ステップS312、ステップS313、ステップS314、及びステップS315を有する。
ステップS311では、波面u’zL (r)が算出される。波面u’zL (r)は、変数zLの値で示される層の位置における波面である。
波面u’zL (r)の算出では、撮影画像ImeazL(r)と推定標本の像IestzL(r)が用いられる。撮影画像ImeazL(r)は、撮影画像Imeazのうち、変数zLの値で示される位置の撮像画像である。推定標本の像IestzL(r)は、推定標本の像Iestzのうち、変数zLの値で示される位置の推定標本の像である。
波面u’zL (r)は式(32)で表される。
Figure 2021024420
図18は、波面の補正を示す図である。図18(a)は、推定標本から射出する補正前の波面を示す図である。図18(b)は、撮影画像の取得位置における補正前の波面を示す図である。図18(c)は、撮影画像の取得位置における補正後の波面を示す図である。図18(d)は、推定標本から射出する補正後の波面を示す図である。
ステップS301で選択された数字が1の場合、すなわち、zL=1の場合について説明する。
図17(a)に示すように、推定標本の像Iest1(r)は、波面uimg1 (r)に基づいて算出される。また、図17(a)と図18(b)に示すように、波面uimg1 (r)は、波面u (r)に基づいて算出される。
図18(a)に示すように、波面u (r)の算出には、振幅透過率T(r)が用いられている。振幅透過率T(r)は、推定された振幅透過率である。ステップS300の1回目の実行時、この振幅透過率T(r)は、標本21の振幅透過率と異なる。
振幅透過率T(r)と標本21の振幅透過率との差が大きくなるほど、推定標本の像Iestz(r)と撮影画像Imeaz(r)との差も大きくなる。よって、推定標本の像Iestz(r)と撮影画像Imeaz(r)との差は、振幅透過率T(r)と標本21の振幅透過率との差を反映していると見なすことができる。
上述のように、zL=1である。そこで、式(32)でzL=1として、推定標本の像Iest1(r)と撮影画像Imea1(r)と用いて、波面u (r)を補正する。その結果、図18(c)に示すように、補正された波面、すなわち、波面u’ (r)が得られる。
波面u’ (r)を用いることで、新たな振幅透過率を算出できる。波面u’ (r)は、波面u (r)と異なる。よって、新たな振幅透過率は、波面u (r)を算出したときの振幅透過率とは異なる。
ステップS312では、補正後の波面g’out m,zL(r)が算出される。波面g’out m,zL(r)は、波面u’zL (r)がΔDだけ伝搬したときの波面である。波面g’out m,zL(r)は、式(33)で表される。
Figure 2021024420
上述のように、波面u’ (r)を用いて、振幅透過率T(r)を算出することができる。ただし、図17(a)に示すように、振幅透過率T(r)の算出には、波面gout (r)の位置における波面が必要である。
図18(a)、(c)に示すように、波面u’ (r)の位置と、波面gout (r)の位置は異なる。よって、振幅透過率T(r)を算出するためには、図18(d)に示すように、波面g’out m,1(r)が必要である。
波面g’out m,1(r)は、波面u’ (r)が、3×Δzだけ伝搬したときの波面である。式(33)で、ΔD=3×Δz、zL=1とすることで、波面g’out m,1(r)を算出することができる。
ステップS313では、標本の勾配ΔT m,zL(r)が算出される。ΔT m,zL(r)は、m番目の光源で照明し、且つ、変数zLの値で示される層の位置における撮影画像と推定標本の像で補正した時の標本の勾配である。
標本の勾配ΔT m,zLは式(34)で表される。標本の勾配ΔT m,zL(r)の算出には、例えば、勾配降下法を用いることができる。
Figure 2021024420
ここで、
は、fの複素共役
δは、ゼロ除算を防ぐための正規化定数、
である。
上述のように、推定標本30は、複数の薄い層に置き換えられている。よって、薄い層の各々について、標本の勾配ΔT m,zL(r)を算出する必要がある。
図19は、標本の勾配と波面の伝搬を示す図である。推定標本30が4つの薄い層に置き換えられた場合、つまりNIM=4の場合について説明する。また、zL=1とする。図19(a)は、標本の勾配を示す図である。図19(b)は、波面の伝搬を示す図である。
波面gout (r)の算出には、振幅透過率T(r)が用いられている。振幅透過率T(r)は、推定された振幅透過率である。よって、この振幅透過率T(r)は、標本21の振幅透過率と異なる。
振幅透過率T(r)と標本21の振幅透過率との差が大きくなるほど、波面gout (r)と波面g’out m,1(r)との差も大きくなる。よって、波面gout (r)と波面g’out m,1(r)との差は、振幅透過率T(r)と標本21の振幅透過率との差を反映していると見なすことができる。
波面f (r)、振幅透過率T(r)、波面gout (r)、及び波面g’out m,1(r)は、既知である。そこで、式(34)でz=4、zL=1とすることで、図19(a)に示すように、標本の勾配ΔT m,1(r)を算出することができる。
(r)と波面gout (r)は同じなので、g (r)の代わりに、波面gout (r)を用いれば良い。また、g’ m,1(r)はg’out m,1(r)と同じなので、g’ m,1(r)の代わりに、g’out m,1(r)を用いれば良い。
次に、標本の勾配ΔT m,1(r)を算出する。標本の勾配ΔT m,1(r)の算出には、波面g (r)の位置における波面が必要である。この波面を算出するためには、図19(b)に示すように、波面f’ m,1(r)が必要である。
波面f’ m,1(r)は、式(35)でz=4、zL=1とすることで算出できる。
Figure 2021024420
次に、算出された波面f’ m,1(r)を用いて、波面g m,1(r)の位置における波面を算出する。
図20は、標本の勾配と波面の伝搬を示す図である。図20(a)は、波面の伝搬と標本の勾配を示す図である。図20(b)は、波面の伝搬を示す図である。
図20(a)に示すように、波面g’ m,1(r)は、波面f’ m,1(r)がΔzだけ伝搬したときの波面である。これは、第4層から第3層への波面の伝搬である。
上述のように、第3層から第4層への波面の伝搬は、式(25)で表わされる。よって、式(25)において、以下のようにすることで、波面g’ m,1(r)を算出できる。
波面f (r)を、波面g’ m,1(r)に置き換える。
波面g (r)を、波面f’ m,1(r)に置き換える。
ΔD=−Δzとする。
波面f (r)、振幅透過率T(r)、波面g (r)、及び波面g’ m,1(r)は、既知である。そこで、式(34)でz=3、zL=1とすることで、図20(b)に示すように、標本の勾配ΔT m,1(r)を算出することができる。
波面f’ m,1(r)は、式(35)でz=3、zL=1とすることで算出できる。
第2層と第1層についても、第3層と同様にして、標本の勾配の算出を行えばよい。
図21は、標本の勾配を示す図である。図21では、第1層における標本の勾配ΔT m,1(r)、第2層における標本の勾配ΔT m,1(r)、第3層における標本の勾配ΔT m,1(r)、及び第4層における標本の勾配ΔT m,1(r)、が算出されている。
ステップS313で得られる標本の勾配ΔT m,1(r)は、m番目の光源で照明し、且つ、第1層の位置における撮影画像と第1層の位置における推定標本の像で補正した時の標本の勾配である。標本の勾配ΔT m,1(r)は、全ての光源から射出された照明光によって決まる。よって、全ての光源について、標本の勾配ΔT m,1(r)を求めなくてはならない。
ステップS314では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS315が実行される。判断結果がYESの場合は、ステップS304が実行される。
(判断結果がNOの場合:m≠NLS
判断結果がNOの場合、ステップS315で、変数mの値に1が加算される。ステップS315が終ると、ステップS311に戻る。
ステップS315で、変数mの値が1つ増えている。そのため、別の光源について、ステップS311で波面um,1(r)が算出され、ステップS312で波面goutm,1(r)が算出され、ステップS313で標本の勾配ΔT m,1(r)が算出される。
ステップS311、ステップS312、及びステップS313は、全ての光源について標本の勾配ΔT m,1(r)が求まるまで、繰り返し行われる。
図22は、標本の勾配を示す図である。図22では、全ての光源について、標本の勾配ΔT m.1(r)が求められている。
(判断結果がYESの場合:m=NLS
判断結果がYESの場合、ステップS304で、振幅透過率T(r)が更新される。ステップS304は、推定標本を更新するステップするステップである。
更新された振幅透過率T(r)は、式(36)で表される。
Figure 2021024420
ここで、
αは、標本の勾配の補正係数、
である。
ステップS305では、変数Lの値が補正の回数NCRと一致したか否かが判断される。判断結果がNOの場合は、ステップS306が実行される。判断結果がYESの場合は、ステップS30が実行される。
(判断結果がNOの場合:m≠NCR
判断結果がNOの場合、ステップS306で、変数Lの値に1が加算される。ステップS306が終ると、ステップS301に戻る。
ステップS301で、1からNIMまでのなかから1つがランダムに選択される。選択された数字に基づいて、補正に用いる推定標本の像と取得位置が決まる。
そして、ステップS311で波面um,1(r)が算出され、ステップS312で波面goutm,1(r)が算出され、ステップS313で標本の勾配ΔT m,1(r)が算出され、ステップS304で振幅透過率T(r)が更新される。
ステップS301、ステップS302、ステップS303、ステップS304、及びステップS310は、設定された回数の補正が終るまで、繰り返し行われる。
(判断結果がYESの場合:m=NCR
判断結果がYESの場合、ステップS30に戻る。更新された振幅透過率T(r)で、ステップS30からステップS300までが実行される。
ステップS30からステップS300までが繰り返し実行されることで、更新された振幅透過率T(r)は、徐々に、標本21の振幅透過率に近づく。すなわち、残差が小さくなる。やがて、残差は閾値よりも小さくなる。
(判断結果がYESの場合:残差<閾値)
ステップS110では、推定標本の屈折率分布が算出される。得られた振幅透過率T(r)は、標本21の振幅透過率と同一か、又は、略同一である。得られた振幅透過率T(r)と式(1)から、屈折率分布n(r)が求まる。
ステップS110で得られた屈折率分布n(r)を用いることで、推定標本の構造を再構成することができる。再構成された推定標本の構造は、例えば、表示装置に出力することができる。推定標本30は、厚い標本である。第2のシミュレーションでは、厚い標本の構造は、推定標本の3次元構成を再構成することができる。
上述のように、ステップS110で得られた振幅透過率T(r)は、標本21の振幅透過率と同一か、又は、略同一である。この場合、屈折率分布n(r)も、標本21の屈折率分布と同一か、又は、略同一と見なすことができる。よって、再構成された推定標本30の構造は、標本6の構造と同一か、又は、略同一と見なすことができる。
第2のシミュレーションでは、ステップS250、ステップS270、及びステップS310が、繰り返し実行される。その結果、振幅透過率T(r)が更新される。上述のように、ステップS250とステップS270は、推定標本の像を算出するステップである。ステップS310は、推定標本の屈折率分布を最適化するステップである。
振幅透過率T(r)は、推定標本を表している。よって、推定標本の像を算出するステップと推定標本の屈折率分布を最適化するステップが繰り返し実行されることで、推定標本が更新される。
本実施形態の屈折率分布推定システムは、光源を有し、照明光学系は、コンデンサレンズと、第1開口部材と、を有し、結像光学系は、対物レンズと、結像レンズと、を有し、対物レンズの瞳位置に、第1開口部材の像が結像されることが好ましい。
図23は、本実施形態の屈折率分布推定システムを示す図である。図1(a)と同じ構成については同じ番号を付し、説明は省略する。
屈折率分布推定システム40は、光源41を有する。照明光学系2は、コンデンサレンズ42と、第1開口部材43と、レンズ44と、を有する。結像光学系3は、対物レンズ45と、結像レンズ46と、を有する。
光源41から射出された光は、レンズ44で集光される。集光位置に、第1開口部材43が配置されている。第1開口部材43は、コンデンサレンズ42の前側焦点位置に配置されている。よって、コンデンサレンズ42から、平行光束が標本6に射出される。
標本6は、対物レンズ45の前側焦点位置に配置されている。標本6から対物レンズ45に入射した光は、対物レンズ45から平行光束となって射出される。対物レンズ45から射出された平行光束は、結像レンズ46で集光される。
対物レンズ45の前側焦点位置は、コンデンサレンズ42の後側焦点位置と一致している。よって、対物レンズ45の瞳位置Puに、第1開口部材43の像が結像成される。照明光学系2と結像光学系3には、例えば、顕微鏡の光学系を用いることができる。
本実施形態の屈折率分布推定システムでは、第1開口部材は、輪帯形状の透過部又は減光部を有することが好ましい。
図24は、第1開口部材を示す図である。図24(a)は、第1例を示す図である。図24(b)は、第2例を示す図である。
第1例では、第1開口部材50は、輪帯形状の透過部51と、円形の遮光部52と、輪帯形状の遮光部53と、を有する。透過部51は、減光部にしても良い。
第2例では、第2開口部材60は、輪帯形状の透過部61と、円形の遮光部62と、輪帯形状の遮光部63と、を有する。透過部61は、減光部にしても良い。
第1開口部材50と第2開口部材60では、透過部の位置と、透過部の幅が異なる。透過部51は、透過部61よりも外側に位置している。透過部51の幅は、透過部61の幅よりも狭い。
本実施形態の屈折率分布推定システムは、第1開口部材とは異なる第2開口部材と、第1開口部材と第2開口部材とを切り替える移動機構と、を備えることが好ましい。
図25は、本実施形態の屈折率分布推定システムを示す図である。図9(a)と同じ構成については同じ番号を付し、説明は省略する。
屈折率分布推定システム70は、複数の開口部材を有する。例えば、第1開口部材50と、第2開口部材60と、を使用することができる。第1開口部材50と第2開口部材60は、移動機構71に配置することができる。
移動機構71として、例えば、スライダーを用いることができる。この場合、スライダーを移動することで、第1開口部材50と第2開口部材60のどちらか一方を、光軸AX上に位置させることができる。
移動機構71として、例えば、ターレットを用いることができる。この場合、ターレットを回転することで、第1開口部材50と第2開口部材60のどちらか一方を、光軸AX上に位置させることができる。
図26は、第3のシミュレーションのフローチャートである。第2のフローチャートにおける処置と同じ処理につては、同じ番号を付し、説明は省略する。
ステップS400では、開口部材の数NAPが設定される。上述のように、屈折率分布推定システム70では、複数の開口部材が使用される。
ステップS410では、変数nの値が初期化される。後述のステップS231、ステップS501、ステップS502、ステップS70、ステップS290、及びステップS600は、少なくとも1つの開口部材に対して実行される。変数nは、これらのステップが実行された回数を表している。
ステップS500は、ステップS231、ステップS501、ステップS502、ステップS70、ステップS290、ステップS503、ステップS504、ステップS505、及びステップS600を有する。
ステップS231では、推定標本30における振幅透過率T(r)に初期値が設定される。振幅透過率T(r)は、z番目の層における振幅透過率である。
図26では、ステップS231しか図示されていない。しかしながら、振幅透過率T(r)を算出する具体的な処理は、第2のシミュレーションにおける振幅透過率T(r)の算出処理と同じである。よって、振幅透過率T(r)の数は、層の数と同じである。
ステップS501では、推定標本の像Iestz (r)が算出される。推定標本の像Iestz (r)は、n番目の開口部材を用いたときのz番目の層における推定標本の像である。
図26では、ステップS501しか図示されていない。しかしながら、推定標本の像Iestz (r)を算出する具体的な処理は、第2のシミュレーションにおける推定標本の像Iestz(r)の算出処理と同じである。よって、推定標本の像Iestz (r)の数は、層の数と同じである。
推定標本の像Iestz (r)の算出では、以下の式(37)〜式(44)が用いられる。
Figure 2021024420
Figure 2021024420
Figure 2021024420
Figure 2021024420
ここで、
ΔDは、隣り合う2つの層の間隔、
である。
Figure 2021024420
Figure 2021024420
ここで、
△Dは、推定標本の表面から撮影画像の取得位置までの距離、
である。
Figure 2021024420
Figure 2021024420
ステップS70では、残差と閾値との比較が行われる。判断結果がNOの場合は、ステップS290が実行される。判断結果がYESの場合は、ステップS110が実行される。
(判断結果がNOの場合:残差≧閾値)
ステップS290で変数Lの値が初期化された後、ステップS600が実行される。
ステップS601で、標本の勾配ΔT n,m,zL(r)が算出される。標本の勾配ΔT n,m,zL(r)は、n番目の開口部材を用いたときのz番目の層における標本の勾配である。
標本の勾配ΔT n,m,zL(r)では、m番目の光源で標本が照明されている。また、zL番目の取得位置における撮影画像と、zL番目の層における推定標本の像を用いて、補正が行われている。
標本の勾配ΔT n,m,zL(r)の算出では、以下の式(45)〜式(49)が用いられる。
Figure 2021024420
Figure 2021024420
ここで、
△Dは、ZL番目の層から推定標本の表面までの距離、
である。
Figure 2021024420
Figure 2021024420
Figure 2021024420
ステップS601で得られる標本の勾配ΔT n,m,ZL(r)は、n番目の開口部材を用い、m番目の光源で照明し、且つ、zL番目の位置における撮影画像とzL番目の位置における推定標本の像で補正した時の標本の勾配である。標本の勾配ΔT n,m,ZL(r)は、全ての光源から射出された照明光によって決まる。よって、全ての光源について、標本の勾配ΔT n,m,zL(r)を求めなくてはならない。
ステップS602では、変数mの値が光源の数NLSと一致したか否かが判断される。判断結果がNOの場合は、ステップS603が実行される。判断結果がYESの場合は、ステップS604が実行される。
(判断結果がNOの場合:m≠NLS
判断結果がNOの場合、ステップS603で、変数mの値に1が加算される。ステップS603が終ると、ステップS301に戻る。
ステップS603で、変数mの値が1つ増えている。そのため、別の光源について、ステップS601で標本の勾配T n,m,zL(r)が算出される。
(判断結果がYESの場合:m=NLS
判断結果がYESの場合、ステップS604で、振幅透過率T(r)が更新される。ステップS604は、推定標本を更新するステップするステップである。
更新された振幅透過率T(r)は、式(50)で表される。
Figure 2021024420
ここで、
αは、標本の勾配の補正係数、
である。
ステップS503では、変数nの値が開口部材の数NAPと一致したか否かが判断される。判断結果がNOの場合は、ステップS504が実行される。判断結果がYESの場合は、ステップS505が実行される。
(判断結果がNOの場合:n≠NAP
判断結果がNOの場合、ステップS504で、変数nの値に1が加算される。ステップS504が終ると、ステップS231に戻る。
ステップS504で、変数nの値が1つ増えている。そのため、別の開口部材について、ステップS500が実行される。
(判断結果がYESの場合:n=NAP
判断結果がYESの場合、ステップS505で、変数nの値に1が設定される。ステップS505が終ると、ステップS231に戻る。
全ての開口部材についてステップS500を実行しても、残差が閾値よりも大きい場合がある。このような場合は、再び、最初の開口部材を用いて、ステップS500が実行される。
(判断結果がYESの場合:残差<閾値)
ステップS110では、推定標本の屈折率分布が算出される。得られた振幅透過率T(r)は、標本21の振幅透過率と同一か、又は、略同一である。得られた振幅透過率T(r)と式(15)から、屈折率分布n(r)が求まる。
図27は、開口部材と撮影画像を示す図である。図27(a)は、第1の開口部材と撮影画像を示す図である。図27(b)は、第2の開口部材と撮影画像を示す図である。図27(c)は、第3の開口部材と撮影画像を示す図である。
第1の開口部材、第2の開口部材及び第3の開口部材は、輪帯形状の透過部を有する。透過部の位置、透過部の幅は、各々の開口部材で異なる。
撮影画像は、XZ面における光学像の画像である。X方向は、光軸と直交する方向である。Z方向は光軸方向である。よって、撮影画像では、線状の画像が光軸方向に積み重なっている。
上述のシミュレーションでは、推定標本における振幅透過率T(r)に、初期値が設定されている。第2のシミュレーションで説明したように、初期値の設定に、強度輸送方程式を用いることができる。
図28は、標本、撮影画像、及び初期値の画像を示す図である。図28(a)は、標本を示す図である。図28(b)は、撮影画像を示す図である。図28(c)は、初期値の画像を示す図である。
標本は、フォトニッククリスタルファイバー(以下、「PCF」という)である。撮影画像は、XZ面における光学像の画像である。初期値を示す画像は、式(15)で算出した値に基づく画像である。
図29は、伝達可能な空間周波数帯域を示す図である。図29(a)は、透過部の形状が円形の場合の空間周波数帯域を示す図である。図29(b)は、透過部の形状が輪帯形状の場合の空間周波数帯域を示す図である。
2つの図において、横軸はZ方向、縦軸はX方向、又はY方向である。Y方向は、Z方向とX方向の両方と直交する方向である。また、空間周波数帯域の算出では、開口数が1.4の対物レンズを用い、照明光学系の開口数を変化させている。
標本の像が再生されるためには、標本の持つ空間周波数が結像面まで伝達されなくてはならない。伝達可能な空間周波数が決まる要因として、照明光学系の開口数と、結像光学系の開口数がある。
透過部の形状が円形の場合、図29(a)に示すように、破線で示す範囲の内側には、空間周波数帯域が存在しない。これに対して、透過部の形状が輪帯形状の場合、図29(b)に示すように、破線で示す範囲の内側には、空間周波数帯域が存在する。
破線で示す範囲は、空間周波数が低い範囲である。よって、透過部の形状が輪帯形状の場合、低い空間周波数から高い空間周波数までを、伝達することができる。その結果、標本の像を、より正確に再生することができる。
輪帯形状の位置、輪帯形状の幅によって、伝達可能な空間周波数は変化する。
図30は、標本を示す図である。図30(a)は、標本の全体を示す断面図である。図30(b)は、標本の一部を示す断面図である。
標本は、PCFである。PCFでは、クラッドの直径は180.0μmで、穴の直径は6.0μmで、穴の間隔は12.9μmである。クラッドの屈折率は1.456である。
PCFは液体に浸されている。よって、穴は液体で満たされている。また、PCFの外側も、同じ液体で覆われている。液体の屈折率は1.436である。クラッドの屈折率は、クラッド以外の部分の屈折率よりも0.02だけ高い。
照明光の波長は1500nmである。また、対物レンズの開口数は1.4である。
図31は、撮影画像、伝達可能な空間周波数を示す図、再生像の全体の画像、及び再生像の一部の画像である。図31(a)は、第1輪帯における撮影画像である。図31(b)は、第2輪帯における撮影画像である。図31(c)は、第3輪帯における撮影画像である。図31(d)は、第4輪帯における撮影画像である。
輪帯の位置と輪帯の幅は、照明光学系の開口数で表すことができる。上述のように、4つの輪帯では、以下のようになっている。数値は、照明光学系の開口数である。左側の数値は、輪帯の内側を表している。右側の数値は、輪帯の外側を表している。
第1輪帯:0.14−0.54。
第2輪帯:0.7−0.9。
第3輪帯:1.0−1.1。
第4輪帯:1.15−1.25。
照明光学系の開口数の数値が大きくなるほど、輪帯は外側に位置する。よって、第1輪帯が最も内側に位置し、第4輪帯が最も外側に位置している。
図31(a)、図31(b)、図31(c)、図31(d)は、XZ面における光学像の画像である。
図31(a)、図31(b)、図31(c)、及び図31(d)を比較すると、第1輪帯、第2輪帯、第3輪帯、第4輪帯の順で、画像が鮮明になっている。すなわち、輪帯が外側に位置するほど、画像が鮮明になっている。
画像は、伝達可能な空間周波数帯域に含まれる空間周波数が高くなるほど鮮明になる。上述のように、輪帯が外側に位置するほど、画像が鮮明になっている。よって、輪帯が外側に位置するほど、伝達可能な空間周波数帯域に含まれる空間周波数が高くなる。
このように、輪帯の位置と伝達可能な空間周波数には、相関がある。そこで、複数の輪帯を組み合わせることで、伝達可能な空間周波数帯域に含まれる空間周波数を変えることができる。
図31(e)、図31(f)、図31(g)、及び図31(h)では、伝達可能な空間周波数を示し、輪帯の数と組み合わせは、以下のようになっている。
図31(e):第1輪帯、第2輪帯、第3輪帯、第4輪帯。
図31(f):第1輪帯、第4輪帯。
図31(g):第4輪帯。
図31(h):第1輪帯。
図31(e)、図31(f)、図31(g)、及び図31(h)を比較すると、輪帯が外側に位置するほど、伝達可能な空間周波数に含まれる空間周波数は高くなる。また、輪帯の組み合わせ数が多くなるほど、伝達可能な空間周波数に含まれる空間周波数が多くなる。
標本の像の再生では、撮影画像が用いられる。標本の像をより正確に再生するためには、撮影画像に、低い空間周波数から高い空間周波数までが含まれていると良い。
図31(i)、図31(j)、図31(k)、図31(l)、図31(m)、図31(n)、図31(o)、及び図31(p)では、再生像を示し、輪帯の数と組み合わせは、以下のようになっている。
図31(i)、(m):第1輪帯、第2輪帯、第3輪帯、第4輪帯。
図31(j)、(n):第1輪帯、第4輪帯。
図31(k)、(o):第4輪帯。
図31(l)、(p):第1輪帯。
図31(i)、図31(j)、図31(k)、及び図31(l)を比較すると、輪帯が外側に位置するほど、再生像が鮮明になっている。また、輪帯の組み合わせ数が多くなるほど、再生像が鮮明になっている。
4つの輪帯を用いた場合、2つの輪帯を用いた場合に比べて、PCFの外側のアーチファクトが少ない。そのため、図31(m)と図31(n)から分かるように、4つの輪帯を用いた方が、実際の穴の形状に近くなっている。
穴の径は、PCFの外径よりも小さい、穴の方が、PCFの外形(輪郭)よりも、高い空間周波数を有する。よって、第4輪帯を用いると、再生像において、高い空間周波数の部分を、鮮明に再生することができる。そのため、図31(k)、(o)に示すように、穴の再構成はできている。
しかしながら、第4輪帯を用いると、再生像において、低い空間周波数の部分については情報が欠落している。そのため、図31(k)に示すように、PCFの外形が上下に伸びていている。
また、第1輪帯を用いると、図31(l)に示すようにPCFの外形が、概ね再生できている。しかしながら、第1輪帯を用いると、再生像において、高い低い空間周波数の部分については情報が欠落している。そのため、図31(p)に示すように、穴の再構成ができていない。
このように、複数の輪帯を組み合わせることで、像の再構成に利用できる空間周波数帯域を広げることができる。その結果、像の再構成の性能を向上させることができる。
図32は、標本を示す図と再生像の画像である。図32(a)は、第1標本を示す図である。図32(b)は、第2標本を示す図である。図32(c)は、第1標本の再生像の画像である。図32(d)は、第2標本の再生像の画像である。
第1標本は、50μmの細胞の塊である。第2標本は、100μmの細胞の塊である。照明光の波長は、1.5μmである。1つの細胞の大きさは、10μmである。核の大きさは3μmである。細胞質の屈折率は、1.36である。 核の屈折率は、1.4である。溶液の屈折率1.33である。
図32(c)と図32(d)に示すように、第1標本と第2標本のいずれについても、鮮明な再生像が得られている。
図33は、標本を示す図、初期値の画像、及び再生像の画像である。図33(a)は、標本を示す図である。図33(b)は、初期値の画像である。図33(c)は、標本の再生像の画像である。
標本は、50μmの細胞塊である。図33(c)に示すように、3次元の標本でも鮮明で正確な再生像をえることができている。
本実施形態の屈折率分布推定システムでは、推定標本像を算出するステップは、照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を計算し、複数の第1波面が推定標本を通過した後の複数の第2波面を計算し、複数の第2波面を用いて結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出し、標本の屈折率分布を最適化するステップは、複数の光源のそれぞれについて、複数の第2波面を撮影画像及び推定標本の像を用いて補正した複数の第2補正波面を算出し、複数の第2波面と複数の第2補正波面との誤差から推定標本の屈折率分布の勾配を算出し、屈折率分布の勾配を用いて推定標本の屈折率分布を最適化することが好ましい。
第1波面の計算は、ステップS41で行われる。第2波面の計算は、ステップS42で行われる。第1強度分布の計算は、ステップS45、又はステップS263で行われる。推定標本の像の算出は、ステップS50、又はステップS270で行われる。
標本の屈折率分布を最適化するステップは、ステップS90、又はステップS310である。第2補正波面の算出は、ステップS91、又はステップS311で行われる。推定標本の屈折率分布の勾配の算出は、ステップS92、又はステップS312で行われる。
本実施形態の屈折率分布推定システムでは、推定標本像を算出するステップは、照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を計算するステップと、複数の第1波面が推定標本を通過した後の複数の第2波面を計算するステップと、複数の第2波面から結像光学系の標本側の焦点位置における複数の第3波面を計算するステップと、複数の第3波面と結像光学系の瞳関数とを用いて結像光学系の結像位置における複数の第4波面を計算し、複数の第4波面をそれぞれ2乗して複数の第1強度分布を計算するステップと、複数の第1強度分布を足し合わせることにより、推定標本像を算出するステップと、を有することが好ましい。
第1波面を計算するステップは、ステップS41である。第2波面を計算するステップは、ステップS42である。第3波面を計算するステップは、ステップS43、又はステップS262である。
第1強度分布を計算するステップは、ステップS44とステップS45、又はステップS262とステップS263である。推定標本像を算出するステップは、ステップS50、又はステップS270である。
本実施形態の屈折率分布推定システムでは、標本の屈折率分布を最適化するステップは、複数の光源のそれぞれについて、複数の第2波面を撮影画像及び推定標本の像を用いて補正した複数の第2補正波面を算出し、複数の第2波面と複数の第2補正波面との誤差から推定標本の屈折率分布の勾配を算出し、屈折率分布の勾配を用いて推定標本の屈折率分布を最適化することが好ましい。
本実施形態の屈折率分布推定システムでは、TV正則化を用いて振幅透過率を更新することが好ましい。
TV正則化は、エッジを保持しつつ、振動成分を抑制できる。そのため、ノイズ除去やぼけ画像の修正などの画像処理で用いられる。
振幅透過率T(r)又は振幅透過率T(r)を、式(51)に示される最小化問題によって、T’(r)又は振幅透過率T’(r)に更新する。
Figure 2021024420
右辺の第1項は、推定残差のL2ノルムを示す。右辺の第2項は、正則化項と呼ばれ、振幅透過率T(r)又は振幅透過率T(r)の局所変化が少なければ少ないほど、小さい値をとる性質の関数が一般的に用いられる。τは正則化パラメータと呼ばれる定数である。
この正則化項として、式(52)に示す隣接する画素間の推定値の差分の絶対値和を意味するTV正則化項を加えると、エッジを保持したまま平滑化することができる。
Figure 2021024420
図34は、標本を示す図と再生像の画像である。図34(a)は、標本を示す図である。図34(b)、(c)は撮影画像である。図34(d)、(e)、(f)、(g)、(h)は、標本の再生像の画像である。
標本は円筒である。円筒の直径は10μmである。円筒の屈折率は1.36である。円筒は液体に浸されている。液体の屈折率は1.33である。つまり、円筒の屈折率は、円筒以外の部分の屈折率よりも0.03だけ高い。
照明光の波長は1500nmである。また、対物レンズの開口数は1.4である。
図34(b)、(c)は、XZ面における光学像の画像である。図34(b)の撮影画像では、照明光学系の開口数は1.0である。図34(c)の撮影画像では、照明光学系の開口数は0.5−1.0である。
照明条件、初期値の有無、TV正則化の有無と、各図の関係を以下に示す。
Figure 2021024420
図34(d)と図34(f)の比較から、初期値を設定すると、より正確に像を再生することができることが分かる。
図34(d)と図34(e)の比較から、TV正則化を行うと、エッジを保持しつつ振動成分を抑制できるため、ノイズ除去され自然な画像に再構成できることが分かる。
図34(g)と図34(h)の比較から、輪帯を用いた照明だと、より正確に像を再生することができることが分かる。
本発明には、以下の発明が含まれる。
(付記項1)
複数の方向から同時に入射する光線により標本を照明する照明光学系と、
標本の光学像を形成する結像光学系と、
結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、
撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、
プロセッサは、
標本の屈折率分布を含む推定標本を推定するステップと、
照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、結像光学系の結像位置における複数の第1強度分布を計算し、複数の第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、
複数の第1波面が推定標本を通過した後の複数の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、
推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、
更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする屈折率分布推定システム。
(付記項2)
照明光学系は、空間的パーシャルコヒーレントな光で標本を照明することを特徴とする付記項1に記載の屈折率分布推定システム。
以上のように、本発明は、光軸と直交する面内における分解能高く、標本以外の情報の影響が少ない屈折率分布推定システムに適している。
1 屈折率分布推定システム
2 照明光学系
3 結像光学系
4 撮像素子
5 プロセッサ
6 標本
6a 表面
6’ 光学像
10 推定標本
10a 表面
20 屈折率分布推定システム
21 標本
21a 表面
21’ 光学像
22 移動ステージ
30 推定標本
30a、30b 表面
40 屈折率分布推定システム
41 光源
42 コンデンサレンズ
43 第1開口部材
44 レンズ
45 対物レンズ
46 結像レンズ
50 第1開口部材
60 第2開口部材
51、61 透過部
52、53、62、63 遮光部
70 屈折率分布推定システム
71 移動機構
AX 光軸
ON、OFF 光線
Fo 結像光学系の焦点位置
Pu 結像光学系の瞳位置(対物レンズの瞳位置)
ILL 照明領域
OB 結像光学系の瞳
IP 結像面
上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る屈折率分布推定システムは、
パーシャルコヒーレント照明により標本を照明する照明光学系と、
標本の光学像を形成する結像光学系と、
結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、
撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、
プロセッサは、
標本の屈折率分布を含む推定標本を推定するステップと、
照明光学系の瞳の強度分布をモデル化した複数の光源のそれぞれに対応する第1波面を用いて、複数の光源のそれぞれに対応する結像光学系の結像位置における第1強度分布を計算し、複数の光源のそれぞれに対応する第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、
複数の光源のそれぞれに対応する第1波面のそれぞれが推定標本を通過した後の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、
推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、
更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする。
本発明の少なくとも幾つかの実施形態に係る屈折率分布推定システムは、
複数の方向から同時に入射する光線により標本を照明する照明光学系と、
標本の光学像を形成する結像光学系と、
結像光学系により形成された標本の光学像から撮影画像を取得する撮像素子と、
撮影画像から標本の屈折率分布を再構成するプロセッサと、を備え、
プロセッサは、
標本の屈折率分布を含む推定標本を推定するステップと、
照明光学系の瞳の強度分布をモデル化した複数の光源のそれぞれに対応する第1波面を用いて、複数の光源のそれぞれに対応する結像光学系の結像位置における第1強度分布を計算し、複数の光源のそれぞれに対応する第1強度分布を足し合わせることにより、推定標本の像を算出するステップと、
複数の光源のそれぞれに対応する第1波面のそれぞれが推定標本を通過した後の第2波面、撮影画像及び推定標本の像を用いて推定標本の屈折率分布を最適化するステップと、
推定標本の像の算出と推定標本の屈折率分布の最適化とを繰り返して、推定標本を更新するステップと、
更新された推定標本の屈折率分布を用いて推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする。
結像面IPには、撮像素子4の撮像面が位置している。撮像素子4によって、光学像6’の画像の取得が行われる。その結果、図1(b)に示す撮影画像Imea(r)が得られる。rは、(x,y)の2次元座標を示す。
図5では、1番目の光源からNLS番目までの光源が図示されている。光源は、照明光学系2の瞳位置に配置することができる。このようにすることで、照明光学系2の瞳の強度分布、複数の光源でモデル化することができる。
上述のように、波面u’ (r)を用いて、振幅透過率T(r)を算出することができる。ただし、図18(a)に示すように、振幅透過率T(r)の算出には、波面gout (r)の位置における波面が必要である。

Claims (10)

  1. パーシャルコヒーレント照明により標本を照明する照明光学系と、
    前記標本の光学像を形成する結像光学系と、
    前記結像光学系により形成された前記標本の光学像から撮影画像を取得する撮像素子と、
    前記撮影画像から前記標本の屈折率分布を再構成するプロセッサと、を備え、
    前記プロセッサは、
    前記標本の屈折率分布を含む推定標本を推定するステップと、
    前記照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、前記結像光学系の結像位置における複数の第1強度分布を計算し、前記複数の第1強度分布を足し合わせることにより、前記推定標本の像を算出するステップと、
    前記複数の第1波面が前記推定標本を通過した後の複数の第2波面、前記撮影画像及び前記推定標本の像を用いて前記推定標本の屈折率分布を最適化するステップと、
    前記推定標本の像の算出と前記推定標本の屈折率分布の最適化とを繰り返して、前記推定標本を更新するステップと、
    更新された前記推定標本の屈折率分布を用いて前記推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする屈折率分布推定システム。
  2. 前記結像光学系の焦点位置と前記標本の位置との間隔を、前記結像光学系の光軸方向に変化させる駆動機構を更に備え、前記駆動機構により前記間隔を変化させて、複数の間隔のそれぞれに対応する複数の標本の撮影画像を取得し、
    前記複数の間隔のそれぞれに対応する複数の推定標本の像を算出し、
    前記複数の間隔のそれぞれにおいて、前記推定標本の屈折率分布を最適化することを特徴とする請求項1に記載の屈折率分布推定システム。
  3. 光源を有し、
    前記照明光学系は、コンデンサレンズと、第1開口部材と、を有し、
    前記結像光学系は、対物レンズと、結像レンズと、を有し、
    前記対物レンズの瞳位置に、前記第1開口部材の像が結像されることを特徴とする請求項1に記載の屈折率分布推定システム。
  4. 前記第1開口部材は、輪帯形状の透過部又は減光部を有することを特徴とする請求項3に記載の屈折率分布推定システム。
  5. 前記第1開口部材とは異なる第2開口部材と、
    前記第1開口部材と前記第2開口部材とを切り替える移動機構と、を備えることを特徴とする請求項3に記載の屈折率分布推定システム。
  6. 前記推定標本像を算出するステップは、
    前記照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を計算し、
    前記複数の第1波面が推定標本を通過した後の複数の第2波面を計算し、
    前記複数の第2波面を用いて前記結像光学系の結像位置における複数の第1強度分布を計算し、前記複数の第1強度分布を足し合わせることにより、前記推定標本の像を算出し、
    前記標本の屈折率分布を最適化するステップは、
    前記複数の光源のそれぞれについて、前記複数の第2波面を前記撮影画像及び前記推定標本の像を用いて補正した複数の第2補正波面を算出し、
    前記複数の第2波面と前記複数の第2補正波面との誤差から前記推定標本の屈折率分布の勾配を算出し、前記屈折率分布の勾配を用いて前記推定標本の屈折率分布を最適化することを特徴とする請求項1に記載の屈折率分布推定システム。
  7. 前記推定標本像を算出するステップは、
    前記照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を計算するステップと、
    前記複数の第1波面が推定標本を通過した後の複数の第2波面を計算するステップと、
    前記複数の第2波面から前記結像光学系の前記標本側の焦点位置における複数の第3波面を計算するステップと、
    前記複数の第3波面と前記結像光学系の瞳関数とを用いて前記結像光学系の結像位置における複数の第4波面を計算し、前記複数の第4波面をそれぞれ2乗して複数の第1強度分布を計算するステップと、
    前記複数の第1強度分布を足し合わせることにより、前記推定標本像を算出するステップと、を有することを特徴とする請求項1に記載の屈折率分布推定システム。
  8. 前記標本の屈折率分布を最適化するステップは、
    前記複数の光源のそれぞれについて、前記複数の第2波面を前記撮影画像及び前記推定標本の像を用いて補正した複数の第2補正波面を算出し、
    前記複数の第2波面と前記複数の第2補正波面との誤差から前記推定標本の屈折率分布の勾配を算出し、前記屈折率分布の勾配を用いて前記推定標本の屈折率分布を最適化することを特徴とする請求項7に記載の屈折率分布推定システム。
  9. 複数の方向から同時に入射する光線により標本を照明する照明光学系と、
    前記標本の光学像を形成する結像光学系と、
    前記結像光学系により形成された前記標本の光学像から撮影画像を取得する撮像素子と、
    前記撮影画像から前記標本の屈折率分布を再構成するプロセッサと、を備え、
    前記プロセッサは、
    前記標本の屈折率分布を含む推定標本を推定するステップと、
    前記照明光学系の瞳の強度分布をモデル化した複数の光源から射出された複数の第1波面を用いて、前記結像光学系の結像位置における複数の第1強度分布を計算し、前記複数の第1強度分布を足し合わせることにより、前記推定標本の像を算出するステップと、
    前記複数の第1波面が前記推定標本を通過した後の複数の第2波面、前記撮影画像及び前記推定標本の像を用いて前記推定標本の屈折率分布を最適化するステップと、
    前記推定標本の像の算出と前記推定標本の屈折率分布の最適化とを繰り返して、前記推定標本を更新するステップと、
    更新された前記推定標本の屈折率分布を用いて前記推定標本の構造を再構成して出力するステップと、を含む処理を行うことを特徴とする屈折率分布推定システム。
  10. 前記照明光学系は、空間的パーシャルコヒーレントな光で前記標本を照明することを特徴とする請求項9に記載の屈折率分布推定システム。
JP2021538624A 2019-08-07 2019-08-07 屈折率分布推定システム Active JP7133718B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031140 WO2021024420A1 (ja) 2019-08-07 2019-08-07 屈折率分布推定システム

Publications (2)

Publication Number Publication Date
JPWO2021024420A1 true JPWO2021024420A1 (ja) 2021-12-16
JP7133718B2 JP7133718B2 (ja) 2022-09-08

Family

ID=74504002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538624A Active JP7133718B2 (ja) 2019-08-07 2019-08-07 屈折率分布推定システム

Country Status (3)

Country Link
US (1) US11867624B2 (ja)
JP (1) JP7133718B2 (ja)
WO (1) WO2021024420A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3889581A1 (de) * 2020-03-30 2021-10-06 Heraeus Quarzglas GmbH & Co. KG Verfahren zur ermittlung des brechzahlprofils eines zylinderförmigen optischen gegenstandes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150100278A1 (en) * 2013-10-04 2015-04-09 Georgia Tech Research Corporation Systems and methods for quantitative phase imaging with partially coherent illumination
US20160139388A1 (en) * 2013-07-02 2016-05-19 Nanyang Technological University Methods and systems for transport-of-intensity imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160139388A1 (en) * 2013-07-02 2016-05-19 Nanyang Technological University Methods and systems for transport-of-intensity imaging
US20150100278A1 (en) * 2013-10-04 2015-04-09 Georgia Tech Research Corporation Systems and methods for quantitative phase imaging with partially coherent illumination

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BAO Y , ET AL.: "Iterative optimization in tomographic deconvolution phase microscopy", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA A, vol. 35, no. 4, JPN6019041544, 26 March 2018 (2018-03-26), pages 652 - 660, ISSN: 0004842395 *
JENKINS M H , ET AL.: "Three-dimensional quantitative phase imaging via tomographic deconvolution phase microscopy", APPLIED OPTICS, vol. 54, no. 31, JPN6019041548, 27 October 2015 (2015-10-27), pages 9213 - 9227, ISSN: 0004842397 *
RODRIGO J A , ET AL.: "Fast label-free optical diffraction tomography compatible with conventional wide-field microscopes", PROC. OF SPIE, vol. 11060, JPN7019003467, 21 June 2019 (2019-06-21), pages 1106016 - 1, ISSN: 0004842392 *
RODRIGO J A , ET AL.: "Rapid quantitative phase imaging for partially coherent light microscopy", OPTICS EXPRESS, vol. 22, no. 11, JPN6019041541, 27 May 2014 (2014-05-27), pages 13472 - 13483, XP055791180, ISSN: 0004842394, DOI: 10.1364/OE.22.013472 *
SOTO J M , ET AL.: "Label-free quantitative 3D tomographic imaging for partially coherent light microscopy", OPTICS EXPRESS, vol. 25, no. 14, JPN6019041537, 26 June 2017 (2017-06-26), pages 15699 - 15712, XP055791170, ISSN: 0004842393, DOI: 10.1364/OE.25.015699 *
TIAN L , ET AL.: "3D intensity and phase imaging from light field measurements in an LED array microscope", OPTICA, vol. 2, no. 2, JPN6019041546, 28 January 2015 (2015-01-28), pages 104 - 111, ISSN: 0004842396 *

Also Published As

Publication number Publication date
US20220074854A1 (en) 2022-03-10
JP7133718B2 (ja) 2022-09-08
US11867624B2 (en) 2024-01-09
WO2021024420A1 (ja) 2021-02-11

Similar Documents

Publication Publication Date Title
KR101810637B1 (ko) 티코그래피에서 프로브의 보정
Kuś et al. Holographic tomography: hardware and software solutions for 3D quantitative biomedical imaging
AU2009323838B2 (en) Provision of image data
JP4594114B2 (ja) 画像処理装置および屈折率分布測定装置
US9401042B2 (en) Method and apparatus for imaging a three dimensional target object using incident radiation
CN108508588B (zh) 一种多约束信息的无透镜全息显微相位恢复方法及其装置
CN114002190B (zh) 三维光学衍射层析成像方法及装置
CN106094487B (zh) 基于多个记录距离的太赫兹同轴全息成像方法
CN110455834B (zh) 基于光强传输方程的x射线单次曝光成像装置及方法
US20110032586A1 (en) Light microscope with novel digital method to achieve super-resolution
CN112697751B (zh) 多角度照明无透镜成像方法、系统及装置
US20220262087A1 (en) Method and apparatus for super-resolution optical imaging
CN102695939B (zh) 距离计测装置及距离计测方法
US20230418038A1 (en) Microscope system
CN114241072B (zh) 一种叠层成像重建方法及系统
JP7133718B2 (ja) 屈折率分布推定システム
US10466184B2 (en) Providing image data
US20220244516A1 (en) Microscope device and data generation method using microscope
US20220189026A1 (en) Method for detecting a cell event
JP2020190459A5 (ja)
Shen Computational Imaging for Phase Retrieval and Biomedical Applications
Ravizza Imaging of phase objects using partially coherent illumination
WO2023175862A1 (ja) 屈折率分布生成装置、屈折率分布生成方法、屈折率分布生成システム及び記録媒体
WO2023175860A1 (ja) 標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体
JP7173834B2 (ja) 画像シミュレーション装置、及び画像シミュレーション方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210802

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7133718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150