WO2023175860A1

WO2023175860A1 - 標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体

Info

Publication number: WO2023175860A1
Application number: PCT/JP2022/012406
Authority: WO
Inventors: 鈴木良政; 藤井信太朗
Original assignee: 株式会社エビデント
Priority date: 2022-03-17
Filing date: 2022-03-17
Publication date: 2023-09-21

Abstract

高い正確さで画像を回復することができる標本画像生成装置を提供する。　標本画像生成装置１は、メモリ２と、プロセッサ３と、を備える。第１画像は、標本を撮影して得られた画像であり、第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向である。プロセッサ３は、メモリ２から、第１画像を取得し、第１画像を複数のエリアに分割し、メモリ２から、標本の屈折率分布を取得し、屈折率分布を用いて、点像強度分布を算出し、点像強度分布を用いて、第２画像を生成し、第２画像を合成し、第１画像に対応する第３画像を生成する。算出処理において、第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、第１エリアは、点像強度分布を算出する対象のエリアであり、エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成される。

Description

標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体

　本発明は、標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体に関する。

　例えば、顕微鏡や内視鏡では、光学系によって標本の光学像が形成される。光学像を撮像素子で撮影することで、光学像の画像が取得される。

　図１８は、結像の様子、光学像及び光学像の画像を示す図である。図１８（ａ）は、標本が３次元物体の場合の結像の様子を示す図である。図１８（ｂ）は、標本のＸＹ断面における光学像の画像を示す図である。図１８（ｃ）は、光学像のＸＺ断面における画像を示す図である。

　光学系は理想光学系である。光学系の光軸をＺ軸とし、Ｚ軸と直交する軸をＸ軸とし、Ｚ軸とＸ軸の両方と直交する軸をＹ軸とする。ＸＹ断面は、Ｘ軸とＹ軸を含む平面である。ＸＺ断面は、Ｘ軸とＺ軸を含む平面である。

　標本は細胞塊である。細胞塊は、複数の細胞で形成されている。各細胞は、細胞核を有する。

　図１８（ａ）に示すように、標本ＯＢＪは細胞塊なので、標本ＯＢＪは光軸ＡＸと直交する方向だけでなく、光軸ＡＸと平行な方向にも厚みを有する。光学系ＯＳによって、像面ＩＰに光学像ＩＭＧが形成される。

　標本ＯＢＪでは、細胞核だけが蛍光色素で染色されている。そのため、標本ＯＢＪに励起光が照射されると、細胞核だけから蛍光が射出される。その結果、光学像ＩＭＧとして、細胞核の蛍光像が形成される。

　光学像ＩＭＧを撮影することで、光学像の画像ＰＩＣを取得することができる。光学像の画像ＰＩＣでは、細胞核だけが画像化されている。

　像面ＩＰは、合焦面ＦＰと共役である。光学像ＩＭＧは、合焦面ＦＰに位置する標本ＯＢＪのＸＹ断面における光学像を表している。矢印で示すように、標本ＯＢＪと合焦面ＦＰを、光軸ＡＸに沿って相対的に移動させながら光学像を撮影することで、複数の光学像の画像を取得することができる。

　標本ＯＢＪを固定して、光学系ＯＳを標本ＯＢＪに向かって移動させると、標本ＯＢＪの上面、標本ＯＢＪの内部、標本ＯＢＪの底面の順で、合焦面ＦＰが移動する。

　図１８（ｂ）には、５つの光学像の画像が示されている。画像ＰＩＣ1、画像ＰＩＣm-1、画像ＰＩＣm、画像ＰＩＣm+1及び画像ＰＩＣnの各々は、標本ＯＢＪのＸＹ断面における光学像の画像である。例えば、画像ＰＩＣ1は標本ＯＢＪの上面の画像、画像ＰＩＣm-1、画像ＰＩＣm及び画像ＰＩＣm+1は標本ＯＢＪの内部の画像、画像ＰＩＣnは標本ＯＢＪの底面の画像である。

　標本ＯＢＪにおけるＸＹ断面の位置は、各光学像の画像で異なる。そのため、光学像の画像は互いに異なる。

　画像ＰＩＣ1から画像ＰＩＣnまでの各画像から、Ｘ軸と平行な一列のデータを抽出する。一列のデータをＺ軸に沿って並べることで、光学像のＸＺ断面における画像が得られる。

　図１８（ｃ）は、光学像のＸＺ断面における画像を示す図である。画像ＰＩＣxzは、細胞核の画像である。画像の左右方向は、光軸ＡＸに沿う方向である。画像の右は標本ＯＢＪの上面の画像を表し、画像の左は標本ＯＢＪの底面の画像を表している。

　細胞核の形状が球の場合、ＸＺ断面の形状は円である。図１８（ｃ）に示すように、画像ＰＩＣxzでは、細胞核の画像の全てで、変形、鮮鋭度の低下及び明るさの低下が生じている。変形、鮮鋭度の低下及び明るさの低下を画質の劣化とすると、画像ＰＩＣxzでは、画質の劣化が生じている。

　光学像の画像は、光学像の撮影によって得られる。光学像の画像で画質の劣化が生じているということは、光学像で劣化が生じているということである。

　標本が点光源の場合、光学像は点像であることが望ましい。点像が形成されるためには、光学系が無収差の光学系（以下、「理想光学系」という）で、且つ点光源から出た光の全てが光学系に入射していることが必要である。

　しかしながら、光学系の大きさは有限であるため、点光源から出た光の全てを光学系に入射させることはできない。この場合、光学像は回折の影響を受ける。その結果、光学系が理想光学系であっても点像は形成されず、広がりを持つ像が形成される。広がりを持つ像は、点像強度分布と呼ばれる。

　光学像は、点像強度分布を用いて以下の式（１）で表される。
　Ｉ＝Ｏ＊ＰＳＦ　　　（１）
　ここで、
　Ｉは光学像、
　Ｏは標本、
　ＰＳＦは点像強度分布、
　＊はコンボリューション、
である。

　点像強度分布を光学的なフィルタと見なすと、式（１）は、光学像が点像強度分布というフィルタを介して得られること表している。光学像で劣化が生じているということは、フィルタ、すなわち、点像強度分布が、変形、鮮鋭度の低下及び明るさの低下を生じる特性（以下、「劣化特性」とする）を持っているということになる。

　周波数空間では、式（１）は以下の式（２）で表される。
　ＦＩ＝ＦＯ×ＯＴＦ　　　（２）
　ここで、
　ＦＩは光学像のフーリエ変換、
　ＦＯは標本のフーリエ変換、
　ＯＴＦは光学伝達関数、
である。

　ＯＴＦは、点像強度分布のフーリエ変換である。点像強度分布が劣化特性を持っている場合、ＯＴＦも劣化特性を持つ。

　式（２）を変形すると、式（２）は以下の式（３）で表される。
　ＦＯ＝ＦＩ／ＯＴＦ　　　（３）

　ＦＩとＯＴＦを求めることができれば、ＦＯを求めることができる。そして、ＦＯを逆フーリエ変換することで、Ｏを求めることができる。Ｏは標本である。この演算は、デコンボリューションとよばれる。

　図１８（ｃ）に示す画像ＰＩＣxzは、細胞核の光学像の画像である。画像ＰＩＣxzでは、細胞核だけが画像化されている。そのため、画像ＰＩＣxzとＯＴＦの画像を用いてデコンボリューションを行うと、細胞核の画像だけが求まる。

　標本ＯＢＪは細胞塊なので、複数の細胞質と複数の細胞核を有する。しかしながら、画像ＰＩＣxzでは、デコンボリューションを行っても、細胞核の画像だけしか求まらない。細胞質の画像は求まらないので、標本ＯＢＪが求まったとは言い難い。デコンボリューションを行うことで標本が求まるが、標本が求まるか否かは、光学像の画像に依存する。

　画像で考えると、式（１）は、光学像の画像が点像強度分布というフィルタを介して得られた画像であること表している。点像強度分布が劣化特性を持っている場合、Ｉは画質が劣化した光学像の画像と見なすことができ、Ｏは画質が劣化する前の光学像の画像と見なすことができる。

　この場合、式（３）は、画質が劣化した光学像の画像から、画質が劣化する前の光学像の画像が生成されること表している。以下、画質が劣化した光学像の画像を「劣化画像」という。また、画質が劣化する前の光学像の画像は、画質が劣化した画像において、画像の回復が行われたということができる。よって、画質が劣化する前の光学像の画像を「回復画像」という。

　回復画像を生成するためには、点像強度分布を求める必要がある。図１８（ａ）を用いて説明する。図１８（ａ）では、標本ＯＢＪの外側の屈折率をｎ１とし、標本ＯＢＪの内側の屈折率をｎ２としている。

　理想形状を、理想光学系の点像強度分布の形状とする。理想形状では、合焦面と理想光学系の間の屈折率が、予め決められた屈折率と一致している。

　標本ＯＢＪを合焦面ＦＰから遠ざけた状態から、標本ＯＢＪを光学系ＯＳに向かって移動させる。光学系ＯＳは動かないので、標本ＯＢＪの上面が合焦面ＦＰに到達する。この状態（以下、「第１状態」という）では、合焦面ＦＰと光学系ＯＳの間には、屈折率がｎ１の空間だけが存在している。合焦面ＦＰに点光源を配置すると、第１状態の点像強度分布が得られる。

　第１状態では、合焦面ＦＰと光学系ＯＳの間の屈折率はｎ１である。予め決められた屈折率をｎ１とすると、第１状態の点像強度分布は、予め決められた屈折率だけに基づいて得られている。よって、第１状態の点像強度分布の形状は、理想形状と同じである。

　更に標本ＯＢＪを移動させると、合焦面ＦＰが標本ＯＢＪの内部に到達する。この状態（以下、「第２状態」という）では、合焦面ＦＰと光学系ＯＳの間には、屈折率がｎ１の空間と屈折率がｎ２の空間が位置している。合焦面ＦＰに点光源を配置すると、第２状態の点像強度分布が得られる。

　第２状態では、合焦面ＦＰと光学系ＯＳの間の屈折率は、ｎ１とｎ２で決まる。予め決められた屈折率はｎ１なので、ｎ２は予め決められた屈折率ではない。この場合、第２状態の点像強度分布は、予め決められた屈折率と予め決められていない屈折率に基づいて得られている。よって、第２状態の点像強度分布の形状は、理想形状と異なる。

　このように、点像強度分布の形状は、屈折率がｎ２の空間の広さに応じて変化する。よって、点像強度分布の算出では、標本ＯＢＪにおける屈折率分布を適切に考慮しなくてはならない。

　画像を回復する技術が、非特許文献１に開示されている。この回復技術では、厚い標本から取得した光学像の画像と点像強度分布が用いられている。点像強度分布の算出では、標本を複数のブロックに分割し、光軸と平行な一列のブロックの屈折率を用いている。

Sreya Ghosh, Chrysanthe Preza, "Three-dimensional block-based restoration integrated with wide-field fluorescence microscopy for the investigation of thick specimens with spatially variant refractive index", J. of Biomedical Optics, 21(4), 046010 (2016)

　点像強度分布の算出では、１つのブロックに点光源を配置し、標本から射出された波面を求める。点光源から射出された波面は、球面波である。そのため、波面は、点光源が配置されたブロックと接し、且つ光軸と平行な一列のブロックと、一列のブロックの周辺に位置するブロックを伝搬する。

　上述の回復技術では、一列のブロックの屈折率だけを用いて点像強度分布を算出している。この場合、点像強度分布は正確に算出されない。そのため、高い正確さで画像が回復されているとは言えない。

　本発明は、このような課題に鑑みてなされたものであって、高い正確さで画像を回復することができる標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体を提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る標本画像生成装置は、
　メモリと、プロセッサと、を備え、
　第１画像は、標本を撮影して得られた画像であり、
　第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向であり、
　プロセッサは、
　メモリから、第１画像を取得する第１取得処理を実行し、
　取得した第１画像を複数のエリアに分割する分割処理を実行し、
　メモリから、標本の屈折率分布を取得する第２取得処理を実行し、
　取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理を実行し、
　エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、
　エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成し、
　算出処理において、
　第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　第１エリアは、点像強度分布を算出する対象のエリアであり、
　エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含むこと特徴とする。

　また、本発明の少なくとも幾つかの実施形態に係る標本画像生成システムは、
　標本の光学像を形成する観察光学系と、
　光学像を撮影する撮像素子と、
　上記の標本画像生成装置と、を有することを特徴とする。

　また、本発明の少なくとも幾つかの実施形態に係る標本画像生成システムは、
　メモリと、プロセッサと、を備え、
　第１画像は、標本を撮影して得られた画像であり、
　第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向であり、
　プロセッサは、
　メモリから、第１画像を取得する第１取得処理を実行し、
　取得した第１画像を複数のエリアに分割する分割処理を実行し、
　メモリから、標本の屈折率分布を取得する第２取得処理を実行し、
　取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理を実行し、
　エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、
　エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成し、
　算出処理において、
　第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　第１エリアは、点像強度分布を算出する対象のエリアであり、
　エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含み、
　プロセッサは、ＡＩモデルを学習させる機械学習処理を実行し、
　機械学習処理は、複数のデータセットでＡＩモデルを学習させ、
　データセットは、第１画像と第１画像に対応するトレーニングデータを含み、
　第１画像に対応するトレーニングデータは、第１画像に対応する第２画像であることを特徴とする。

　また、本発明の少なくとも幾つかの実施形態に係る標本画像生成方法は、
　第１画像と標本の屈折率分布を用いる標本画像生成方法であって、
　第１画像は、標本を撮影して得られた画像であり、
　第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向であり、
　メモリから、第１画像を取得する第１取得処理を実行し、
　取得した第１画像を複数のエリアに分割する分割処理を実行し、
　メモリから、標本の屈折率分布を取得する第２取得処理を実行し、
　取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理を実行し、
　エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、
　エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成し、
　算出処理において、
　第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　第１エリアは、点像強度分布を算出する対象のエリアであり、
　エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含むこと特徴とする。

　また、本発明の少なくとも幾つかの実施形態に係る記録媒体は、
　標本画像を生成するためのプログラムを記録したコンピュータ読取可能な記録媒体であって、
　第１画像は、標本を撮影して得られた画像であり、
　第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向であり、
　コンピュータに、
　メモリから、第１画像を取得する第１取得処理と、
　取得した第１画像を複数のエリアに分割する分割処理と、
　メモリから、標本の屈折率分布を取得する第２取得処理と、
　取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理と、
　エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理と、
　エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成する処理と、を実行させ、
　算出処理において、
　第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　第１エリアは、点像強度分布を算出する対象のエリアであり、
　エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含むことを特徴する。

　本発明によれば、高い正確さで画像を回復することができる標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体を提供することができる。

本実施形態の標本画像生成装置、顕微鏡システム及び推定システムを示す図である。標本、光学像、光学像の画像及びＸＹ画像群を示す図である。プロセッサで行われる処理のフローチャートである。標本、光学像、及び第１画像を示す図である。第１画像、屈折率画像、第１エリア及びエリア群を示す図である。エリア群を示す図である。第１画像、屈折率画像及びＰＳＦ画像を示す図である。第１画像、第２画像及び第３画像を示す図である。第１画像と第３画像を示す図である。波面の伝搬を示す図である。屈折率画像を示す図である。屈折率画像を示す図である。屈折率画像を示す図である。算出処理のフローチャートである。所定の強度分布とピンホールの透過特性を示す図である。トレーニング処理を示す図である。本実施形態の標本画像生成システムを示す図である。結像の様子、光学像及び光学像の画像を示す図である。

　実施例の説明に先立ち、本発明のある態様にかかる実施形態の作用効果を説明する。なお、本実施形態の作用効果を具体的に説明するに際しては、具体的な例を示して説明することになる。しかし、後述する実施例の場合と同様に、それらの例示される態様はあくまでも本発明に含まれる態様のうちの一部に過ぎず、その態様には数多くのバリエーションが存在する。したがって、本発明は例示される態様に限定されるものではない。

　本実施形態の標本画像生成装置では、標本の光学像の画像を用いる。観察光学系で標本の光学像を形成し、標本の光学像を撮像素子で撮影することで、標本の光学像の画像を取得することができる。

　標本は３次元物体なので、標本の光学像の画像は、ＸＹ画像、ＸＺ画像及びＹＺ画で表すことができる。また、標本の光学像の画像は観察光学系を介して取得されているので、標本の光学像の画像は劣化画像である。

　観察光学系の光軸をＺ軸とし、Ｚ軸と直交する軸をＸ軸とし、Ｚ軸とＸ軸の両方と直交する軸をＹ軸とする。ＸＹ断面は、Ｘ軸とＹ軸を含む平面である。ＸＹ画像は、ＸＹ断面における画像である。ＸＺ断面は、Ｘ軸とＺ軸を含む平面である。ＸＺ画像は、ＸＺ断面における画像である。ＹＺ断面は、Ｙ軸とＺ軸を含む平面である。ＹＺ画像は、ＹＺ断面における画像である。

　本実施形態の標本画像生成装置は、メモリと、プロセッサと、を備え、プロセッサは、メモリから、第１画像を取得する第１取得処理を実行し、取得した第１画像を複数のエリアに分割する分割処理を実行し、メモリから、標本の屈折率分布を取得する第２取得処理を実行し、取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理を実行し、エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成する。算出処理において、第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出する。第１画像は、標本を撮影して得られた画像であり、第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向である。第１エリアは、点像強度分布を算出する対象のエリアであり、エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含む。

　図１は、本実施形態の標本画像生成装置、顕微鏡システム及び推定システムを示す図である。図１（ａ）は、本実施形態の標本画像生成装置を示す図である。図１（ｂ）は、顕微鏡システムを示す図である。図１（ｃ）は、推定システムを示す図である。

　図１（ａ）に示すように、標本画像生成装置１は、メモリ２と、プロセッサ３、とを備える。メモリ２には、第１画像と標本の屈折率分布が保存されている。

　第１画像は、標本を撮影して得られた画像である。第１画像は、例えば、複数のＸＹ画像（以下、「ＸＹ画像群」という）から生成することができる。ＸＹ画像群における各々のＸＹ画像は、標本の光学像の画像である。上述のように、標本の光学像の画像は劣化画像である。よって、第１画像も劣化画像である。

　プロセッサ３で、標本画像を生成する処理が行われる。この処理では、第１画像と標本の屈折率分布が用いられる。第１画像は劣化画像なので、標本画像は回復画像である。よって、プロセッサ３では、劣化画像から標本画像が生成する処理が行われる。

　標本画像生成装置１で第１画像を生成するためには、ＸＹ画像群を標本画像生成装置１に入力する必要がある。ＸＹ画像群の標本画像生成装置１への入力は、入力部４を介して行われる。ＸＹ画像は、例えば、顕微鏡システムで取得することができる。

　図１（ｂ）に示すように、顕微鏡システム１０は、顕微鏡２０と、処理装置３０と、を有する。顕微鏡２０は、本体２１と、対物レンズ２２と、ステージ２３と、落射照明装置２４と、撮像ユニット２５と、コントローラー２６と、を有する。処理装置３０は、入力部３１と、メモリ３２と、プロセッサ３３と、出力部３４を有する。

　ステージ２３上に、標本２７が載置されている。顕微鏡２０では、観察光学系の像面に、標本２７の光学像が形成される。撮像ユニット２５にレンズが配置されている場合、対物レンズ２２、結像レンズ及び撮像ユニット２５のレンズで、観察光学系が形成される。撮像ユニット２５にレンズが配置されていない場合、対物レンズ２２と結像レンズで、観察光学系が形成される。

　撮像ユニット２５は、撮像素子を有する。像面に形成された光学像を撮像素子で撮影することで、光学像の画像が取得される。像面に形成された光学像は、標本２７のＸＹ断面の光学像である。よって、光学像の画像はＸＹ画像である。

　対物レンズ２２とステージ２３は、観察光学系の光軸に沿って相対的に移動させることができる。対物レンズ２２の移動又はステージ２３の移動は、コントローラー２６で行うことができる。標本２７は厚い標本である。よって、対物レンズ２２とステージ２３を相対的に移動させることで、複数の断面についてＸＹ画像を取得することができる。ＸＹ画像群について説明する。

　図２は、標本、光学像、光学像の画像及びＸＹ画像群を示す図である。図２（ａ）は、標本を示す図である。図２（ｂ）、図２（ｃ）及び図２（ｄ）は、光学像と光学像の画像を示す図である。図２（ｅ）は、ＸＹ画像群を示す図である。

　図２（ａ）に示すように、標本５０は３次元物体なので、複数のブロック層で表すことができる。図２（ａ）では、Ｚ軸方向で、標本５０は７つのブロック層に分けられている。ただし、ブロック層の数は７に限られない。標本ＯZ1は一端のブロック層を表し、標本ＯZ7は他端のブロック層を表している。各ブロック層は、標本５０のＸＹ断面を表している。

　標本５０の光学像の形成では、標本ＯZ1から標本ＯZ7までのブロック層を、順番に観察光学系５１の合焦面に位置させる。光学像は平面であるが、見易さのために、光学像をブロック層で表す。また、光学像をブロック層で表しているため、光学像の画像もブロック層で表す。

　標本５０の光学像の形成では、標本５０と観察光学系５１を光軸５２に沿って相対的に移動させる。ここでは、標本５０は移動させず、観察光学系５１を光軸５２に沿って相対的に移動させている。

　図２（ｂ）に示すように、観察光学系５１の合焦面に標本ＯZ1が位置している場合、光学像ＩZ1が形成される。光学像ＩZ1を撮像素子で撮影することで、光学像の画像ＰZ1が取得される。

　図２（ｃ）に示すように、観察光学系５１の合焦面に標本ＯZ4が位置している場合、光学像ＩZ4が形成される。光学像ＩZ4を撮像素子で撮影することで、光学像の画像ＰZ4が取得される。

　図２（ｄ）に示すように、観察光学系５１の合焦面に標本ＯZ7が位置している場合、光学像ＩZ7が形成される。光学像ＩZ7を撮像素子で撮影することで、光学像の画像ＰZ7が取得される。

　画像ＰZ1、画像ＰZ4及び画像ＰZ7は、ＸＹ画像である。画像ＰZ1と画像ＰZ4の間には２つのブロック層が位置している。また、画像ＰZ4と画像ＰZ7の間にも２つのブロック層が位置している。これらのブロック層の画像を、各々、画像ＰZ2、画像ＰZ3、画像ＰZ5及び画像ＰZ6とすると、画像ＰZ2、画像ＰZ3、画像ＰZ5及び画像ＰZ6もＸＹ画像である。

　画像ＰZ1から画像ＰZ7までの全ての画像はＸＹ画像なので、これらの画像からＸＹ画像群が得られる。また、これらの画像を光軸５２の方向に積み重ねることで、立体的なＸＹ画像群が得られる。

　図２（ｅ）には、立体的なＸＹ画像群５３が示されている。ＸＹ画像群５３は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の各々で、明るさの情報を有する。よって、ＸＹ画像群５３から、ＸＹ画像、ＸＺ画像及びＹＺ画像を生成することができる。

　上述のように、第１画像は、ＸＹ画像群から生成される。よって、ＸＹ画像、ＸＺ画像及びＹＺ画像は、いずれも第１画像として用いることができる。

　図１（ｂ）に戻って説明を続ける。顕微鏡２０では、複数の対物レンズをレボルバーに装着することができる。レボルバーを回転させることで、対物レンズの倍率を変更することができる。レボルバーの回転は、コントローラー２６で行うことができる。

　ＸＹ画像は撮像ユニット２５から出力され、処理装置３０に入力される。光学情報、移動情報及び顕微鏡情報（以下、「各種情報」という）は、コントローラー２６から出力され、処理装置３０に入力される。

　光学情報は、例えば、対物レンズの倍率の情報と対物レンズの開口数の情報である。移動情報は、例えば、１回あたりのステージの移動量の情報とステージの移動回数の情報、又は１回あたりの対物レンズの移動量の情報と対物レンズの移動回数の情報である。

　顕微鏡情報は、ＸＹ画像の取得に使用した顕微鏡の情報である。ＸＹ画像の取得に使用できる顕微鏡のタイプは、例えば、蛍光顕微鏡、走査型レーザ顕微鏡（以下、「ＬＳＭ」という）、２光子顕微鏡、シート照明顕微鏡及び発光顕微鏡である。

　ＸＹ画像と各種情報は入力部３１に入力された後、メモリ３２に保存される。複数のＸＹ画像から、ＸＹ画像群が得られる。ＸＹ画像群と各種情報は、出力部３４から出力される。よって、ＸＹ画像群と各種情報を、標本画像生成装置１に入力することができる。ＸＹ画像群と各種情報は、メモリ２に保存される。

　ＸＹ画像群と各種情報は、関連付けておく必要がある。ＸＹ画像群と各種情報の関連付けは、処理装置３０と標本画像生成装置１のどちらで行っても良い。

　ＸＹ画像群と各種情報の入力は、有線又は無線で行うことできる。また、処理装置３０で、ＸＹ画像群と各種情報を記録媒体に記録しても良い。この場合、ＸＹ画像群と各種情報は、記録媒体を介して標本画像生成装置１に入力される。

　上述のように、プロセッサ３で行われる処理では、第１画像と標本の屈折率分布が用いられる。第１画像の生成に必要なＸＹ画像群は、顕微鏡システム２０で生成することができる。標本の屈折率分布は、例えば、推定装置で生成することができる。

　図１（ｃ）に示すように、推定装置４０は、入力部４１と、メモリ４２と、プロセッサ４３と、出力部４４を有する。推定装置４０では、コンピュテーショナルイメージング又は深層学習による推定によって、標本の屈折率分布が推定される。

　コンピュテーショナルイメージングによる屈折分布の推定について説明する。推定では、標本の光学像と推定標本の光学像が用いられる。推定標本の光学像は、仮想光学系を用いたシミュレーションによって取得することができる。標本は３次元物体なので、推定標本も３次元物体である。この場合、推定標本の光学像は、複数の推定ＸＹ画像（以下、「推定ＸＹ画像群」という）で表される。

　屈折率分布は、画像で表すことができる。この場合、標本の屈折率分布は、複数の分布画像（以下、「分布画像群」という）で表すことができる。推定標本の屈折率分布は、複数の推定分布画像（以下、「推定分布画像群」という）で表すことができる。分布画像と推定分布画像は、ＸＹ画像と同様に、ＸＹ断面における屈折率分布の画像である。

　上述のように、推定では、標本の光学像が用いられる。よって、推定装置４０では、入力部４１を介してＸＹ画像群と各種情報が入力される。ＸＹ画像群と各種情報は、メモリ４２に保存される。

　プロセッサ４３では、コンピュテーショナルイメージングによって、推定分布画像群の推定が行われる。推定では、ＸＹ画像群と推定ＸＹ画像群との比較が行われる。具体的には、ＸＹ画像群と推定ＸＹ画像群との違いが小さくなるように、推定分布画像群における屈折率の値が変更される。

　２つの画像の違いは、数値で表すことができる。よって、この数値が閾値よりも小さくまで、２つの画像の比較と屈折率の値の変更を繰返す。そして、この数値が閾値よりも小さくなったときの推定分布画像群を、分布画像群とする。分布画像群は、標本の屈折率分布を表している。よって、標本の屈折率分布が求まる。分布画像群は、出力部４４から出力される。

　分布画像群は、有線又は無線で推定装置４０から標本画像生成装置１に入力することができる。又は、推定装置４０で分布画像群を記録媒体に記録し、記録媒体を介して標本画像生成装置１に入力しても良い。分布画像群は、標本の屈折率分布を表している。よって、標本の屈折率分布を、標本画像生成装置１に入力することができる。分布画像群は、メモリ２に保存される。

　標本画像生成装置１では、標本画像を生成する処理が行われる。標本画像を生成する処理は、プロセッサ３で行われる。プロセッサ３で行われる処理について説明する。

　図３は、プロセッサで行われる処理のフローチャートである。図４は、標本、光学像、及び第１画像を示す図である。図４（ａ）は、標本と光学像を立体的に示す図である。図４（ｂ）は、標本のＸＺ断面を示す図である。図４（ｃ）は、第１画像を示す図である。図４（ｄ）は、標本のＸＺ断面と第１画像を示す図である。図２（ａ）と同じ構成については同じ番号を付し、説明は省略する。

　上述のように、第１画像は、ＸＹ画像群から生成される。ＸＹ画像群は、複数の光学像から得られる。図４（ａ）に示すように、標本５０を動かさずに、観察光学系５１を光軸５２に沿って移動させると、複数の光学像が形成される。

　位置Ｚ1では、標本ＯZ1の光学像ＩZ1が形成される。位置Ｚ7では、標本ＯZ7の光学像ＩZ7が形成される。光学像ＩZ1から光学像ＩZ7までの光学像で、光学像６０が形成される。光学像６０を撮影することで、ＸＹ画像群を取得することができる。

　ＸＹ画像群から、ＸＹ画像、ＸＺ画像及びＹＺ画像を生成することができる。ＸＹ画像、ＸＺ画像及びＹＺ画像は、いずれも第１画像として用いることができる。第１画像として、ＸＺ画像がメモリに保存されているとする。

　ステップＳ１０では、第１取得処理を実行する。第１取得処理では、メモリから第１画像を取得する。

　第１画像は、標本のＸＺ断面における光学像の画像である。図４（ｂ）には、標本７０のＸＺ断面が示されている。標本７０は細胞塊である。細胞塊は、複数の細胞で形成されている。標本７０の各細胞は、細胞質７１と、細胞核７２と、を有する。

　図４（ｃ）は、メモリから取得された第１画像を示している。第１画像８０は蛍光像の画像である。標本７０では、細胞核７２だけが蛍光で染色されている。この場合、細胞核７２の光学像だけが形成される。よって、第１画像８０は、細胞核の画像８１だけを有する。

　第１画像８０は光学像の画像なので、第１画像８０は劣化画像である。細胞核の形状を円とすると、細胞核の画像８１では、形状は楕円になっている。テップＳ１０が終了すると、ステップＳ２０が実行される。

　ステップＳ２０では、分割処理を実行する。分割処理では、取得した第１画像を複数のエリアに分割する。図４（ｄ）に示すように、第１画像８０は、Ｘ軸方向とＺ軸方向の両方で、１１のエリアに分割されている。

　図４（ｄ）では、標本７０と第１画像８０の対応関係を示すために、便宜的に観察光学系と光線を図示している。観察光学系５１’は仮想光学系で、光学的な仕様は観察光学系５１と同じである。

　光学的な結像では、標本の光学像の上下は、標本の上下と逆になる。第１画像８０は画像なので、第１画像８０の生成時に上下を逆にすることができる。よって、図４（ｄ）では、標本７０の上下と第１画像８０の上下は一致している。

　エリア８２の位置は、位置ＯＰ1と対応している。エリア８３の位置は、位置ＯＰ2と対応している。ステップＳ２０が終了すると、ステップＳ３０が実行される。

　ステップＳ３０では、第２取得処理を実行する。第２取得処理では、メモリから、標本の屈折率分布を取得する。屈折率分布の取得については後述する。ステップＳ３０が終了すると、ステップＳ４０が実行される。

　ステップＳ４０では、算出処理を実行する。算出処理では、取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する。具体的には、第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出する。よって、第１エリアとエリア群を決定する必要がある。

　図５は、第１画像、屈折率画像、第１エリア及びエリア群を示す図である。図５（ａ）は、第１画像、屈折率画像及び第１エリアを示す図である。図５（ｂ）は、エリア群の第１例を示す図である。図５（ｃ）は、エリア群の第２例を示す図である。

　第１エリアは、点像強度分布を算出する対象のエリアである。ステップＳ２０では、第１画像８０を複数のエリアに分割している。よって、第１エリアとエリア群は、第１画像８０におけるエリアで決まる。

　ただし、第１画像８０は、標本の光学像の画像である。標本の光学像の画像は、明るさの情報を有するが、屈折率分布の情報は有していない。点像強度分布はエリア群の屈折率分布を用いて算出するので、第１画像８０は点像強度分布の算出に適さない。第１画像８０では、第１エリアは決定できるが、エリア群は決定できない。

　上述のように、分布画像群は、標本の屈折率分布を表している。よって、分布画像群から第１画像に対応する画像（以下、「屈折率画像」という）を取得する。点像強度分布は屈折率分布を用いて算出される。屈折率画像は屈折率分布の画像なので、屈折率画像は点像強度分布の算出に適している。

　屈折率画像はメモリ２に保存しておき、算出処理の実行時にメモリ２から屈折率画像を読み出せば良い。第１画像はＸＺ画像なので、屈折率画像はＸＺ断面の画像である。

　第１画像８０は、複数のエリアに分割されている。よって、図５（ａ）に示すように、屈折率画像９０も複数のエリアに分割されている。屈折率画像９０は、Ｘ軸方向とＺ軸方向の両方で、１１のエリアに分割されている。見易さのために、屈折率画像９０では、細胞核だけが図示されている。

　図４（ｄ）と同じように、屈折率画像９０の上下と第１画像８０の上下は一致している。また、屈折率画像９０と第１画像８０の対応関係を示すために、便宜的に観察光学系５１’と光線を図示している。

　屈折率画像９０において、エリア８２に対応するエリアは、エリア９１である。エリア８３に対応するエリアは、エリア９２である。エリア８４に対応するエリアは、エリア９３である。

　上述のように、屈折率画像９０は、点像強度分布の算出に適している。よって、屈折率画像９０で、第１エリアとエリア群を決定する。

　エリア群の第１例について説明する。図５（ｂ）には、エリア９１、観察光学系５１’、光線１００及び観察光学系の光軸１０１が示されている。画像から光線が放射されることはないので、光線１００は仮想的な光線である。

　第１例では、第１画像８０における第１エリアは、エリア８２である。エリア８２に対応するエリアは、屈折率画像９０ではエリア９１である。よって、屈折率画像９０では、エリア９１が第１エリアである。

　エリア群と所定方向は、次のように規定されている。エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含む。第１画像における所定方向は、仮想観察光学系の光軸方向のうち観察光学系が存在する方向である。

　上述のように、屈折率画像９０で、第１エリアとエリア群を決定する。そこで、上記の規定において、第１画像を屈折率画像に置き換える。この場合、エリア群と所定方向は、次のように規定される。

　エリア群は、屈折率画像において、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含む。屈折率画像の所定方向は、観察光学系の光軸方向のうち仮想観察光学系が存在する方向である。

　屈折率画像９０において、観察光学系５１’に近い側を標本の上面側とし、観察光学系５１’から遠い側を標本の底面側とする。エリア９１は、上面９０ａにおいて光軸１０１と交差する場所に位置している。エリア９１から光線１００が放射される。エリア９１から放射された光線１００は、観察光学系５１’に入射する。

　光線１００は、観察光学系５１’に入射する光である。観察光学系５１’に入射する光は、観察光学系５１’の物体側開口数で決まる。上述のように、標本画像生成装置１では、メモリ２に光学情報が保存されている。

　光学情報は、対物レンズの開口数の情報を有する。対物レンズの開口数は、観察光学系５１’の物体側開口数と見なせる。よって、対物レンズの開口数から、光線１００を特定することができる。

　図５（ｂ）には、所定方向１０２と所定外方向１０３が図示されている。所定方向１０２と所定外方向１０３は、観察光学系５１’の光軸方向である。観察光学系５１’の光軸方向のうち、所定方向１０２には観察光学系５１’が位置しているが、所定外方向１０３には観察光学系５１’は位置していない。

　２つの光線１００は、エリア９１から放射される放射光の光線である。２つの光線１００で挟まれた範囲の内側には、屈折率画像９０のエリアは位置していない。よって、エリア９１の位置では、エリア群におけるエリアの数はゼロである。

　エリア群の第２例について説明する。図５（ｃ）には、エリア９３、中心エリア９４、周辺エリア９５及び周辺エリア９６が示されている。図５（ｂ）と同じ構成については同じ番号を付し、説明は省略する。

　第２例では、第１画像８０における第１エリアは、エリア８４である。エリア８４に対応するエリアは、屈折率画像９０ではエリア９３である。よって、屈折率画像９０では、エリア９３が第１エリアである。

　エリア９３は、底面９０ｂにおいて光軸１０１と交差する場所に位置している。エリア９３から光線１００と光線１０４が放射される。エリア９３から放射された光線１００と光線１０４は、観察光学系５１’に入射する。光線１０４は仮想的な光線である。

　２つの光線１００と２つの光線１０４は、エリア９３から放射される光線である。標本における光の散乱が非常に小さい場合、エリア９３から放射される光線は、２つの光線１００で表される。２つの光線１００で挟まれた範囲の内側には、中心エリア９４と周辺エリア９５が位置している。中心エリア９４と周辺エリア９５で、エリア群が形成されている。光線１００と交差するエリアは、エリア群に含まれていると見なす。

　中心エリア９４と周辺エリア９５は、各々、複数のエリアで構成されている。よって、エリア群は、複数のエリアで構成されている。

　エリア群では、中心エリア９４は、所定方向１０２に向かってエリア９３を延長した範囲に位置している。周辺エリア９５は、中心エリア９４の外側に位置している。

　標本における光の散乱が非常に大きい場合、エリア９３から放射される光線は、２つの光線１０４で表される。２つの光線１０４で挟まれた範囲の内側には、中心エリア９４、周辺エリア９５及び周辺エリア９６が位置している。よって、エリア９４、周辺エリア９５及び周辺エリア９６で、エリア群が形成されている。光線１０４と交差するエリアは、エリア群に含まれていると見なす。

　中心エリア９４、周辺エリア９５及び周辺エリア９６は、各々、複数のエリアで構成されている。よって、エリア群は、複数のエリアで構成されている。

　図６は、エリア群を示す図である。図６（ａ）は、エリア群の第３例を示す図である。図６（ｂ）は、エリア群の第４例を示す図である。

　第３例では、図６（ａ）に示すように、エリア９７が第１エリアである。エリア９７は、上面と底面の間において光軸１０１と交差する場所に位置している。

　標本における光の散乱が非常に小さい場合、エリア９７から放射される光線は、２つの光線１００で表される。２つの光線１００で挟まれた範囲の内側には、中心エリア９４と周辺エリア９５が位置している。中心エリア９４と周辺エリア９５で、エリア群が形成されている。第３例と第２例を比べると、第３例の方がエリア群におけるエリアの数が少ない。

　標本における光の散乱が非常に大きい場合エリア９７から放射される光線は、２つの光線１０４で表される。２つの光線１０４で挟まれた範囲の内側には、中心エリア９４、周辺エリア９５及び周辺エリア９６が位置している。中心エリア９４、周辺エリア９５及び周辺エリア９６で、エリア群が形成されている。

　第４例では、図６（ｂ）に示すように、エリア９８が第１エリアである。エリア９８は、底面において光軸１０１から離れた場所に位置している。

　標本における光の散乱が非常に小さい場合、エリア９８から放射される光線は、２つの光線１００で表される。２つの光線１００で挟まれた範囲の内側には、中心エリア９４と周辺エリア９５が位置している。中心エリア９４と周辺エリア９５で、エリア群が形成されている。第４例と第２例を比べると、第４例の方がエリア群におけるエリアの数が少ない。

　標本における光の散乱が非常に大きい場合、エリア９８から放射される光線は、２つの光線１０４で表される。２つの光線１０４で挟まれた範囲の内側には、中心エリア９４、周辺エリア９５及び周辺エリア９６が位置している。中心エリア９４、周辺エリア９５及び周辺エリア９６で、エリア群が形成されている。

　第１例では、エリア群におけるエリアの数はゼロである。よって、演算処理では、エリア群に含まれる各エリアの屈折率分布は用いられない。点像強度分布は、屈折率画像９０と観察光学系５１’の間の空間の屈折率を用いて算出される。エリア群におけるエリアの数がゼロの場合の算出も、算出処理における算出に含まれるものとする。

　第２例、第３例及び第４例では、周辺エリア９６の外側に位置するエリアは、エリア群に含まれない。よって、これらのエリアは、点像強度分布の算出に用いられない。しかしながら、これらのエリアを点像強度分布の算出に用いても良い。すなわち、第１エリアよりも所定方向１０２側に位置する全てのエリアをエリア群と見なして、点像強度分布を算出しても良い。

　第１エリアは、点像強度分布を算出する対象のエリアである。よって、第１エリアの対象となるエリアを変えていくことで、分割したエリアそれぞれについて、点像強度分布を算出することができる。

　算出処理では、第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出する。第１画像８０における第１エリアは、第２例ではエリア８４である。屈折率画像９０では、エリア９３がエリア８４に対応する。そして、屈折率画像９０では、エリア群は、中心エリア９４と周辺エリア９５で構成されているか、又は中心エリア９４、周辺エリア９５及び周辺エリア９６で構成されている。

　よって、中心エリア９４を構成する各エリアの屈折率分布と、周辺エリア９５を構成する各エリアの屈折率分布を用いて、エリア９３の点像強度分布を算出するか、又は中心エリア９４を構成する各エリアの屈折率分布、周辺エリア９５を構成する各エリアの屈折率分布及び周辺エリア９６を構成する各エリアの屈折率分布を用いて、エリア９３の点像強度分布を算出する。エリア９３の点像強度分布を、第１画像８０におけるエリア８４の点像強度分布として扱えば良い。

　エリア８４は、第１画像８０における第１エリアである。第１画像８０の各エリアは、標本の光学像の明るさの情報を既に有している。よって、第１画像８０とは別に、点像強度分布を有する画像（以下、「ＰＳＦ画像」という）が生成される。

　図７は、第１画像、屈折率画像及びＰＳＦ画像を示す図である。図７（ａ）は、第１画像と屈折率画像を示す図である。図７（ｂ）は、屈折率画像とＰＳＦ画像を示す図である。図７（ａ）は、図５（ａ）と同じ図であるので、説明は省略する。

　第１画像８０は、複数のエリアに分割されている。よって、図７（ｂ）に示すように、ＰＳＦ画像１１０も複数のエリアに分割されている。ＰＳＦ画像１１０は、Ｘ軸方向とＺ軸方向の両方で、１１のエリアに分割されている。

　図７（ａ）と図７（ｂ）との比較からわかるように、ＰＳＦ画像１１０において、エリア１１１に対応するエリアは、エリア８２である。エリア１１２に対応するエリアは、エリア８３である。エリア１１３に対応するエリアは、エリア８４である。よって、ＰＳＦ画像１１０の各エリアは、第１画像８０の第１エリアに対応するエリアの点像強度分布を有している。図７（ｂ）では、一部のエリアのみ、点像強度分布が図示されている。

　図３に戻って説明する。ステップＳ４０が終了すると、ステップＳ５０が実行される。

　ステップＳ５０では、第１生成処理を実行する。第１生成処理では、エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する。

　図８は、第１画像、第２画像及び第３画像を示す図である。図８（ａ）は、第１画像と第２画像を示す図である。図８（ｂ）は、第１画像と第３画像を示す図である。

　図８（ａ）には、第１画像の一部のエリア、ＰＳＦ画像の一部のエリア及び第２画像群が示されている。

　エリアＤＥＧは、第１画像８０の一部のエリアである。エリアＤＥＧは、エリアＤＥＧ１、エリアＤＥＧ２、エリアＤＥＧ３、エリアＤＥＧ４、エリアＤＥＧ５及びエリアＤＥＧ６で形成されている。

　エリアＰＳＦは、ＰＳＦ画像１１０の一部のエリアであって、エリアＤＥＧと対応するエリアである。エリアＰＳＦは、エリアＰＳＦ１、エリアＰＳＦ２、エリアＰＳＦ３、エリアＰＳＦ４、エリアＰＳＦ５及びエリアＰＳＦ６で形成されている。

　第２画像群ＲＥＣは、エリアＤＥＧとエリアＰＳＦに対応するエリアの画像である。第２画像群ＲＥＣは、第２画像ＲＥＣ１、第２画像ＲＥＣ２、第２画像ＲＥＣ３、第２画像ＲＥＣ４、第２画像ＲＥＣ５及び第２画像ＲＥＣ６で形成されている。

　エリアＤＥＧ１の画像は、第１画像である。エリアＰＳＦ１の画像は、点像強度分布である。エリアＤＥＧ１の画像とエリアＰＳＦ１の画像から、第２画像ＲＥＣ１が生成される。

　エリアＤＥＧでは、細胞核の形状は楕円である。第２画像では、細胞核の形状は円である。よって、第１生成処理では、劣化画像から回復画像が生成される。ステップＳ５０が終了すると、ステップＳ６０が実行される。

　第２画像の生成では、エリアＤＥＧの各エリアの画像に対してマスク処理を施すと良い。マスク処理としては、例えば、画像の周辺部をぼかす処理がある。

　ステップＳ６０では、第３画像を生成する。第３画像は、第１画像に対応する画像である。第３画像の生成では、エリアそれぞれに対応する第２画像を合成する。

　図８（ｂ）には、第1画像８０と第３画像１２０が示されている。第３画像１２０は、第２画像を合成することで生成される。第２画像は第１画像８０に基づいて生成され、第３画像は第２画像に基づいて生成される。よって、第３画像１２０は、第１画像８０に対応する画像である。

　第１画像８０では、細胞核の形状は楕円である。第３画像１２０では、細胞核の形状は円である。よって、標本画像生成装置１では、劣化画像から高い画質の回復画像を生成することができる。

　第２画像の合成では、重みづけを行うと良い。隣接する２つの第２画像では、２つの画像の境界で、一方の第２画像からの影響が半分となるようにすれば良い。

　図９は、第１画像と第３画像を示す図である。図９（ａ）は、第１画像を示す図である。図９（ｂ）は、第３画像を示す図である。

　画像の右端は標本の上面の画像を表し、画像の左端は標本の底面の画像を表している。標本の上面から底面の全ての範囲で、画質は第１画像よりも第３画像の方が高い。

　上述のように、点像強度分布の算出では、中心エリアの屈折率分布だけでなく、周辺エリアの屈折率分布が用いられている。よって、中心エリアの屈折率分布だけを用いる回復技術と比べると、高い正確さで点像強度分布を算出することができる。その結果、本実施形態の標本画像生成装置では、高い正確さで画像を回復することができる。

　本実施形態の標本画像生成装置では、プロセッサは、算出処理において、第１エリア内に点光源を設定し、設定した点光源を波源とする第１波面を用いて、第１エリアの点像強度分布を算出することが好ましい。

　図５（ｃ）で説明したように、エリア群は、第１エリアを起点に、所定方向に放射する光の範囲で決まる。第１エリアから射出された光はエリア群を通過して、観察光学系に入射する。そして、観察光学系から射出された光によって点像強度分布が得られる。

　第１エリアを起点に放射する光は、第１エリアに点光源を設定することで得られる。点光源から、点光源を波源とする波面が射出される。この波面を第１波面とすると、第１波面を用いて、第１エリアの点像強度分布を算出することができる。

　本実施形態の標本画像生成装置では、プロセッサは、算出処理において、第１波面と、エリア群に含まれる各エリアに対応する屈折率分布を用いて、第２波面を算出し、算出した第２波面を用いて、第３波面に対応する強度分布を算出し、算出した強度分布を用いて、第１エリアの点像強度分布を算出することが好ましい。第２波面は、所定方向に標本を伝播した波面であり、第３波面は、仮想観察光学系の合焦面の位置の波面である。

　図１０は、波面の伝搬を示す図である。図５（ｃ）と同じ構成については同じ番号を付し、説明は省略する。

　点像強度分布の算出には、屈折率分布が用いられる。よって、屈折率画像９０を用いて説明する。屈折率画像９０では、エリア９３が第１エリアに対応する。よって、エリア９３が合焦面ＦＰに位置している。また、エリア９３に点光源１３０が設定されている。

　点光源１３０から、第１波面ＷＦ1が射出される。第１波面ＷＦ1は、エリア９３から屈折率画像９０の上面１３１に向かって伝搬する。上面１３１は、標本の外縁である。上面１３１側には、観察光学系１３２が位置している。よって、第１波面ＷＦ1は、所定方向に伝搬する。

　波面の伝搬の計算は、シミュレーションで求めることができる。観察光学系１３２は仮想光学系で、例えば、対物レンズ１３３と結像レンズ１３４で形成されている。観察光学系１３２の光学的な仕様は、観察光学系５１と同じである。光学的な仕様、例えば、倍率と開口数は、各種情報に基づいて取得することができる。

　第１波面ＷＦ1はエリア群を伝搬し、上面１３１に到達する。上面１３１から、第２波面ＷＦ2が出射する。第２波面ＷＦ2は、エリア群を伝搬した後の波面である。エリア群は、中心エリア９４と周辺エリア９５で形成されている。よって、第２波面ＷＦ2は、エリア群に含まれる各エリアの屈折率分布を用いて算出することができる。

　観察光学系１３２では、合焦面ＦＰと像面ＩＰが共役である。像面ＩＰにおける点像強度分布１３５を求めるためには、合焦面ＦＰにおける波面が必要である。第２波面ＷＦ2は、上面１３１に位置している。第２波面ＷＦ2を合焦面ＦＰまで伝搬させることで、合焦面ＦＰにおける波面として第３波面ＷＦ3を得ることができる。

　結像光学系１３２は、フーリエ光学系を形成している。第３波面ＷＦ3の結像面に対応する点像強度分布１３５は、結像光学系１３２の瞳関数を用いて算出することができる。算出式を以下に示す。算出式において、ＷＦ3は第３波面、Ｐは結像光学系１３２の瞳関数、Ｕ₁₃₅は像面における波面、Ｉ₁₃₅は像面における強度分布を表す。

　図１０と図５（ｃ）では、エリア群の広さが異なる。図１０における周辺エリア９５の範囲は、図５（ｃ）における周辺エリア９５と周辺エリア９６を足し合わせた範囲よりも広い。図１０では、第１エリアよりも所定方向側に位置する全てのエリアをエリア群と見なして、点像強度分布を算出している。

　点像強度分布１３５を正確に算出するためには、エリア群を構成するエリア全ての屈折率分布を全て用いることが好ましい。図１０では、エリア９３が第１エリアなので、エリア９３から上面１３１までの間に位置する全てのエリアの屈折率分布を用いている。第１エリアから標本の上面までの間に位置する全てのエリアの屈折率分布を用いると、点像強度分布をより正確に算出することができる。

　本実施形態の標本画像生成装置では、プロセッサは、算出処理において、標本を伝搬する波面が、所定方向で、標本の外縁に到達したか否かを判断することが好ましい。第２波面は、外縁に到達したと判断した位置の波面である。

　第１波面ＷＦ1は、エリア９３から上面１３１までの間を伝搬する。よって、第１波面ＷＦ1が、所定方向で、上面１３１に到達したか否かを判断する必要がある。第２波面ＷＦ2は、上面１３１に位置している。よって、第２波面ＷＦ2は、上面１３１に到達したと判断した位置の波面である。

　本実施形態の標本画像生成装置では、第２波面は、標本を通過した後の波面であり、仮想観察光学系に到達する前の波面であることが好ましい。

　点像強度分布１３５の算出では、第３波面ＷＦ3が観察光学系１３２を通過する。第２波面ＷＦ2が観察光学系１２２を通過した後の波面だと、点像強度分布１３５を正確に算出することができない。よって、第２波面ＷＦ2は、上面１３１から射出された波面で、且つ観察光学系１３２に到達する前の波面でなくてはならない。

　本実施形態の標本画像生成装置では、プロセッサは、第２取得処理において、分割したエリアを更に分割した小エリア毎に、屈折率分布を取得することが好ましい。更に、プロセッサは、算出処理において、小エリアの屈折率分布を用いて、小エリアの点像強度分布を算出し、小エリアの点像強度分布を用いて、エリアの点像強度分布を算出することが好ましい。

　図１１は、屈折率画像を示す図である。図１１（ａ）は、屈折率画像の全体を示す図である。図１１（ｂ）は、屈折率画像の一部を示す図である。

　点像強度分布を正確に算出するためには、詳細な屈折率分布を用いれば良い。エリアの数が多いほど又はエリアの面積が小さいほど、詳細な屈折率分布が得られる。屈折率画像９０において、エリア１４０が第１エリアの場合、エリア１４１はエリア群に含まれる。

　図１１（ａ）では、エリア１４１は１つの領域で形成されている。そこで、エリア１４１を、複数の領域に分割する。例えば、図１１（ｂ）に示すように、エリア１４１を１６の小エリア１４２に分割する。この場合、小エリア１４２毎に屈折率分布が得られるので、詳細な屈折率分布を得ることができる。その結果、点像強度分布を正確に算出することができる。

　波面の伝搬の計算では、各小エリア１４２の屈折率分布を用いることができる。また、各小エリア１４２の屈折率分布から、平均の屈折率分布を求めることができる。そこで、波面の伝搬の計算では、平均の屈折率分布をエリア１４１の屈折率分布として用いることができる。

　また、小エリア毎に屈折率分布が得られるので、小エリア毎に点像強度分布を算出することができる。よって、小エリア１４２の点像強度分布を用いて、エリア１４１の点像強度分布を算出することができる。

　本実施形態の標本画像生成装置では、プロセッサは、分割処理で分割したエリアそれぞれについて点像強度分布を仮算出する仮算出処理を実行し、仮算出した点像強度分布の強度ピーク値が、基準の１／５未満のエリアを、仮算出した点像強度分布の強度ピーク値が、基準の１/５以上のエリアよりも小さく設定する分割処理を実行することが好ましい。基準は、標本が存在しないときの点像強度分布の強度ピーク値である。

　図１２は、屈折率画像を示す図である。図１２（ａ）は、最初の分割の状態を示す図である。図１２（ｂ）は、２回目の分割の状態を示す図である。

　点像強度分布は、屈折率分布を用いて算出される。そのため、点像強度分布の形状は、屈折率の分布状態によって異なる。図１２（ａ）に示すように、エリア１５０が第１エリアの場合、エリア１５０より上面１５１側には、１列のエリアが位置している。よって、点像強度分布の算出では、１列のエリアの屈折率分布を考慮することになる。

　これに対して、エリア１５２が第１エリアの場合、エリア１５２より上面１５１側には、１０列のエリアが位置している。よって、点像強度分布の算出では、１０列のエリアの屈折率分布を考慮することになる。

　エリア群に含まれるエリアの数が多くなるほど、屈折率分布の広がりが大きくなる。この場合、例えば、計算対象となる屈折率分布が多くなる。屈折率分布の詳細さは、エリアの数又はエリアの面積の影響を受ける。エリアの数が少ない場合又はエリアの面積が大きい場合、屈折率分布の広がりが大きくなるほど、点像強度分布の形状と理想形状との違いが大きくなる。第１エリアに選ばれたエリアおいて、点像強度分布の形状と理想形状との違いが大きい場合がある。この場合、選択されたエリアでは、詳細な屈折率分布に基づいて点像強度分布を算出することが好ましい。

　そこで、仮算出処理を実行する。仮算出処理では、分割処理で分割したエリアそれぞれについて、点像強度分布を仮算出する。続いて、仮算出した点像強度分布の強度ピーク値に基づいて、図１２（ａ）に示すように、対象エリア１５３と非対象エリア１５４に分ける。

　対象エリア１５３は、強度ピーク値が基準の１／５未満のエリアである。非対象エリア１５４は、強度ピーク値基準の１/５以上のエリアである。基準は、標本が存在しないときの点像強度分布の強度ピーク値である。

　最後に、図１２（ｂ）に示すように、対象エリア１５３の各エリアを、複数のエリアに分割する。その結果、対象エリア１５３の各エリアの大きさを、非対象エリア１５４の各エリアの大きさよりも小さく設定することができる。図１２（ｂ）では、対象エリア１５３の各エリアは、４つのエリアに分割されている。

　本実施形態の標本画像生成装置では、プロセッサは、標本を推定する推定処理を実行し、分割処理において、所定方向に直交する方向で、推定した標本のエリアであり、且つ推定した標本の外縁が属するエリアの大きさを、推定した標本のエリアではないエリアであり、且つ推定した標本の外縁が属さないエリアの大きさよりも、小さく設定することが好ましい。

　本実施形態の標本画像生成装置では、ＸＹ画像群から、ＸＹ画像、ＸＺ画像及びＹＺ画像を生成することができる。よって、第１画像として、ＸＹ画像、ＸＺ画像及びＹＺ画像を用いることができる。ＸＹ画像は、所定方向と直交する面における画像である。

　ＸＹ画像においても、第１エリアに選ばれたエリアおいて、点像強度分布の形状と理想形状との違いが大きい場合がある。この場合、選択されたエリアでは、詳細な屈折率分布に基づいて点像強度分布を算出することが好ましい。

　詳細な屈折率分布は、エリアの数を多くするか又はエリアの面積を小さくすることで得られる。１つのエリアを分割することで、エリアの数を多くすることができる。エリアの数を多くするには、例えば、標本を表しているエリアだけを、分割する対象のエリアとすれば良い。この場合、外縁を用いて分割する対象のエリアを抽出することができる。

　エリアの分割は、第１画像で行われる。屈折率画像は第１画像に対応するため、屈折率画像を用いて説明する。

　図１３は、屈折率画像を示す図である。図１３（ａ）は、第１例のエリアの分割を示す図である。図１３（ｂ）は、第２例のエリアの分割を示す図である。

　図１３（ａ）と図１３（ｂ）に示すように、屈折率画像１６０は、内部エリア１６１と、外部エリア１６２と、外縁エリア１６３と、を有する。

　内部エリア１６１は、外縁１６４の内側に位置しているエリアである。内部エリア１６１には、外縁１６４は属していない。内部エリア１６１は、標本を表している。外部エリア１６２は、外縁１６４の外側に位置しているエリアである。外部エリア１６２には、外縁１６４は属していない。外部エリア１６２は、標本を表していない。外縁エリア１６３は、標本の外縁１６４が属するエリアである。

　第１例のエリアの分割では、図１３（ａ）に示すように、内部エリア１６１の各エリアは、複数のエリアに分割されている。外部エリア１６２の各エリアと外縁エリア１６３の各エリアは、複数のエリアに分割されていない。

　第２例のエリアの分割では、図１３（ｂ）に示すように、内部エリア１６１の各エリアと外縁エリア１６３の各エリアは、複数のエリアに分割されている。外部エリア１６２の各エリアは、複数のエリアに分割されていない。

　第１例でも第２例でも、内部エリア１６１の各エリアは分割されているが、外部エリア１６２の各エリアは分割されていない。内部エリア１６１の各エリアの大きさは、外部エリア１６２の大きさよりも小さく設定されている。

　内部エリア１６１は、標本を表しているエリアであり、且つ外縁１６４が属さないエリアである。外部エリア１６２は、標本を表していないエリアであり、且つ外縁１６４が属さないエリアである。第１例でも第２例でも、標本を表しているエリアであり、且つ外縁が属さないエリアの大きさは、標本を表していないエリアであり、且つ外縁が属さないエリアの大きさよりも小さく設定されている。

　外縁エリア１６３については、第１例と第２例とでエリアの分割が異なる。第１例では、外縁エリア１６３の各エリアは、複数のエリアに分割されていない。これに対して、第２例では、外縁エリア１６３の各エリアは、複数のエリアに分割されている。

　第１例では、外縁エリア１６３の各エリアの大きさは、内部エリア１６１の各エリアの大きさよりも大きく、外部エリア１６２の大きさと同じである。第２例では、外縁エリア１６３の各エリアの大きさは、内部エリア１６１の各エリアの大きさと同じで、外部エリア１６２の大きさよりも小さい。

　第１例でも第２例でも、標本を表しているエリアの数を多くすることができる。この場合、詳細な屈折率分布に基づいて点像強度分布を算出することができる。その結果、所定方向と直交する面における画像においても、高い正確さで画像を回復することができる。

　本実施形態の標本画像生成装置では、ＸＹ画像の取得に使用した顕微鏡の種類によって、算出処理が若干異なる。ＸＹ画像の取得に使用した顕微鏡が蛍光顕微鏡と発光顕微鏡の場合について説明する。

　図１４は、算出処理のフローチャートである。ステップＳ１０の第１取得処理、ステップＳ２０の分割処理及びステップＳ３０の第２取得処理は終了している。よって、第１画像と屈折率画像は、複数のエリアに分割されている。分割数はＮmとＮnである。

　ステップＳ１００では、変数ｍと変数ｎに、それぞれ１を設定する。

　ステップＳ１１０では、第１エリアARE(ｍ,ｎ)を設定する。第１エリアARE(ｍ,ｎ)は、点像強度分布を算出する対象のエリアである。第１画像の各エリアは、屈折率画像における各エリアと一対一で対応している。よって、第１画像で第１エリアARE(ｍ,ｎ)を設定すると、屈折率画像でも第１エリアARE(ｍ,ｎ)が設定される。

　ステップＳ１２０では、エリア群を決定する。エリア群は、点像強度分布の算出に用いられる。エリア群の各エリアは、第１エリアARE(ｍ,ｎ)と観察光学系の物体側開口数で決定することができる。エリア群の決定は、屈折率画像で行う。

　物体側開口数の代わりに、散乱光を用いてエリア群の各エリアを決めても良い。又は、第１エリアARE(ｍ,ｎ)よりも標本の上面側に位置する全てのエリアを、エリア群の各エリアとしても良い。

　ステップＳ１３０では、エリア群における屈折率分布を求める。点像強度分布は、エリア群に含まれる各エリアの屈折率分布を用いて算出される。屈折率画像は、屈折率分布を有する。エリア群の決定は屈折率画像で行われるので、エリア群を決定することで、エリア群における屈折率分布が求まる。

　ステップＳ１４０では、点光源を設定する。点光源は、第１エリアARE(ｍ,ｎ)に設定される。

　ステップＳ１５０では、第１波面を設定する。ステップＳ１６０では、第２波面を算出する。ステップＳ１７０では、第３波面を算出する。ステップＳ１８０では、点像強度分布を算出する。第１波面、第２波面、第３波面、点像強度分布については、既に説明しているので、ここでの説明は省略する。

　ＸＹ画像の取得に使用した顕微鏡は、蛍光顕微鏡と発光顕微鏡である。蛍光顕微鏡では、励起光は合焦面と、合焦面の前後の広い範囲を均一に照明する。また、発光顕微鏡では、励起光は標本に照射されない。いずれの場合も、励起光強度については考慮しなくて良い。よって、点光源で設定した強度分布だけで、点像強度分布を算出することができる。

　ステップＳ１９０では、ＰＳＦ画像PSF(ｍ,ｎ)を生成する。ステップＳ１８０で算出した点像強度分布は、第１エリアARE(ｍ,ｎ)における点像強度分布である。第１エリアARE(ｍ,ｎ)は、変数ｍの値と変数ｎの値で変わる。よって、点像強度分布が算出されるごとに、ＰＳＦ画像PSF(ｍ,ｎ)に点像強度分布を保存する。

　ステップＳ２００では、第１画像PIC1(ｍ,ｎ)を取得する。ステップＳ２１０では、第２画像PIC2(ｍ,ｎ)を生成する。第１画像と第２画像については、既に説明しているので、ここでの説明は省略する。第１画像PIC1(ｍ,ｎ)の取得は、ステップＳ１１０からステップＳ２２０までの間で行えば良い。

　ステップＳ２２０では、変数ｎの値が分割数Ｎnと比較される。変数ｎの値が分割数Ｎnと一致しない場合、ステップＳ２３０が実行される。ステップＳ２３０では、変数ｎの値に１が加算される。

　ステップＳ２３０が終了すると、ステップＳ１１０に戻る。ステップＳ２３０で、変数ｎの値に１が加算されている。よって、新たな第１エリアARE(ｍ,ｎ)について、点像強度分布の算出が行われる。

　ステップＳ２２０で、変数ｎの値が分割数Ｎnと一致する場合、ステップＳ２４０が実行される。ステップＳ２４０では、変数ｍの値が分割数Ｎmと比較される。変数ｍの値が分割数Ｎmと一致しない場合、ステップＳ２５０が実行される。ステップＳ２５０では、変数ｍの値に１が加算される。

　ステップＳ２５０が終了すると、ステップＳ１１０に戻る。ステップＳ２５０で、変数ｍの値に１が加算されている。よって、新たな第１エリアARE(ｍ,ｎ)について、点像強度分布の算出が行われる。

　ステップＳ２４０で、変数ｍの値が分割数Ｎmと一致する場合、ステップＳ２６０が実行される。ステップＳ２６０では、第３画像を生成する。第３画像については、既に説明しているので、ここでの説明は省略する。

　本実施形態の標本画像生成装置では、プロセッサは、算出処理において、設定した点光源の位置における励起光強度を算出し、算出した強度分布と、算出した励起光強度と、を用いて、蛍光強度分布を算出し、算出した蛍光強度分布を用いて、第１エリアの点像強度分布を算出することが好ましい。

　ＸＹ画像の取得に使用した顕微鏡がＬＳＭ、２光子顕微鏡及びシート照明顕微鏡の場合について説明する。

　ＬＳＭと２光子顕微鏡では、励起光は、合焦面上の１点を照明する。例えば、図１０に示す屈折率画像９０において、励起光は上面１３１から点光源１３０に向かって入射する。この場合、励起光は、点光源１３０から放射される光と同じように、屈折率分布の影響を受ける。

　よって、ＬＳＭと２光子顕微鏡では、励起光強度を考慮しなくてはならない。励起光強度は、以下のようにして求めることができる。

　ステップ１では、励起光の集光位置を波源とする波面の振幅分布を計算する。この時、屈折率画像９０における屈折率分布は使用しない。励起光の集光位置は点光源を設定するエリア内の位置、すなわち第１エリア内の位置である。

　ステップ２では、ステップ１で計算した波面の振幅分布を用いて、励起光の集光位置における振幅分布を計算する。この時、屈折率画像９０における屈折率分布を使用する。

　ステップ３で、ステップ２で計算した励起光の集光位置における振幅分布を用いて、点光源位置における励起光強度Ｉex(Pi)を計算する。

　所定の強度分布ＩFL(Pi)は、ＸＹ画像の取得に使用した顕微鏡が蛍光顕微鏡又は発光顕微鏡の場合の強度分布である。所定の強度分布ＩFL(Pi)は、点光源で設定した強度分布基づいて算出した像面における強度分布である。

　ＸＹ画像の取得に使用した顕微鏡が蛍光顕微鏡の場合、所定の強度分布ＩFL(Pi)は蛍光強度分布である。顕微鏡がＬＳＭ、２光子顕微鏡及びシート照明顕微鏡では、蛍光顕微鏡と同じように蛍光像が形成される。よって、顕微鏡がＬＳＭ、２光子顕微鏡及びシート照明顕微鏡でも、所定の強度分布ＩFL(Pi)は蛍光強度分布である。

　強度分布Ｆ１(Pi)は、ＬＳＭを使用した場合の像面における強度分布である。ＬＳＭを使用した場合、強度分布Ｆ１(Pi)は励起光強度の影響を受ける。強度分布Ｆ１(Pi)は以下の式（４）で表される。
　Ｆ１(Pi)＝Ｉex(Pi)×ＩFL(Pi)　　　（４）

　強度分布Ｆ２(Pi)は、２光子顕微鏡を使用した場合の像面における強度分布である。２光子顕微鏡を使用した場合、強度分布Ｆ２(Pi)は励起光強度の影響を受ける。強度分布Ｆ２(Pi)は以下の式（５）で表される。
　Ｆ２(Pi)＝Ｉex(Pi)^２×ＩFL(Pi)　　　（５）

　ＸＹ画像の取得にＬＳＭを使用した場合は、強度分布Ｆ１(Pi)から点像強度分布を算出すれば良い。また、ＸＹ画像の取得に２光子顕微鏡を使用した場合は、強度分布Ｆ２(Pi)から点像強度分布を算出すれば良い。

　所定の強度分布ＩFL(Pi)は蛍光強度分布なので、強度分布Ｆ１(Pi)と強度分布Ｆ２(Pi)も蛍光強度分布である。

　シート照明顕微鏡では、励起光は合焦面を照明する。例えば、図１０に示す屈折率画像９０において、合焦面ＦＰに位置する１つのブロック層に入射する。この場合、１つのブロック層の屈折率分布の影響を受ける。

　よって、シート照明顕微鏡では、励起光強度を考慮しなくてはならない。励起光強度は、以下のようにして求めることができる。

　ステップ１では、１つのブロック層における励起光強度を計算する。この時、屈折率画像９０における屈折率分布を使用する。

　ステップ２では、１つのブロック層のなかで、点光源を設定するエリア、すなわち第１エリア内における励起光強度Ｉ’ex(Pi)を計算する。上述のように、所定の強度分布ＩFL(Pi)は、蛍光強度分布である。

　強度分布Ｆ３(Pi)は、シート照明顕微鏡を使用した場合の像面における強度分布である。シート照明顕微鏡を使用した場合、強度分布Ｆ３(Pi)は励起光強度の影響を受ける。強度分布Ｆ３(Pi)は以下の式（６）で表される。
　Ｆ３(Pi)＝Ｉ’ex(Pi)×ＩFL(Pi)　　　（６）

　ＸＹ画像の取得にシート照明顕微鏡を使用した場合は、強度分布Ｆ３(Pi)から点像強度分布を算出すれば良い。所定の強度分布ＩFL(Pi)は蛍光強度分布なので、強度分布Ｆ３(Pi)も蛍光強度分布である。

　本実施形態の標本画像生成装置では、プロセッサは、算出処理において、励起光強度を、励起光波長の屈折率分布を用いて算出することが好ましい。

　所定の強度分布ＩFL(Pi)の算出、起光強度Ｉex(Pi)の算出及び励起光強度Ｉ’ex(Pi)の算出では、屈折率分布が用いられる。所定の強度分布ＩFL(Pi)の算出は蛍光の強度分布である。蛍光の波長と励起光の波長とは異なる。よって、所定の強度分布ＩFL(Pi)の算出では、蛍光の波長における屈折率分布を用いる。励起光強度Ｉex(Pi)との算出では、励起光の波長における屈折率分布を用いる。

　本実施形態の標本画像生成装置では、第１画像は、共焦点ピンホールを備えた装置で撮影して得られた画像であり、プロセッサは、算出処理において、算出した強度分布を用いて、共焦点ピンホールを通過する光強度を算出し、算出した励起光強度と、算出した光強度と、を用いて蛍光強度を算出し、算出した蛍光強度を用いて、第１エリアの点像強度分布を算出することが好ましい。

　非共焦点型のＬＳＭでは、像面にピンホールが配置されていない。そのため、強度分布Ｆ１(Pi)は式（４）で表される。これに対して、共焦点型のＬＳＭでは、像面にピンホールが配置されている。そのため、所定の強度分布ＩFL(Pi)は、ピンホールの開口部の影響を受ける。

　図１５は、所定の強度分布とピンホールの透過特性を示す図である。破線は所定の強度分布を示し、実線はピンホールの透過特性を示している。ピンホールでは、開口部だけを光が通過する。よって、共焦点ピンホールから射出される光の強度分布Ｉ’FL(Pi)は、所定の強度分布ＩFL(Pi)のうち、実線で示す矩形の範囲内に位置する強度分布で決まる。

　強度分布Ｆ４(Pi)は、共焦点型ＬＳＭを使用した場合の像面における強度分布である。共焦点型ＬＳＭを使用した場合、強度分布Ｆ４(Pi)は励起光強度の影響を受ける。強度分布Ｆ４(Pi)は以下の式（７）で表される。
　Ｆ４(Pi)＝Ｉex(Pi)×Ｉ’FL(Pi)　　　（７）

　ＸＹ画像の取得に共焦点型ＬＳＭを使用した場合は、強度分布Ｆ４(Pi)から点像強度分布を算出すれば良い。所定の強度分布ＩFL(Pi)は蛍光強度分布なので、強度分布Ｆ４(Pi)も蛍光強度分布である。

　本実施形態の標本画像生成装置では、プロセッサは、算出処理において、ビーム伝搬法を用いて第２波面を算出することが好ましい。

　図１０に示すように、第１波面ＷＦ1の位置、第２波面ＷＦ2の位置及び第３波面ＷＦ3の位置は、各々異なる。第１波面ＷＦ1の位置から第２波面ＷＦ2の位置までの間と、第２波面ＷＦ2の位置から第３波面ＷＦ3の位置までの間では、波面が伝搬している。第２波面ＷＦ2の算出と第３波面ＷＦ3の算出には、ビーム伝搬法を用いれば良い。

　ビーム伝搬法では、物体モデルを複数の薄い層に置き換える。そして、光が各層を通過する際の波面変化を逐次計算して、物体モデルの像を計算する。ビーム伝搬法は、例えば、"High-resolution 3D refractive index microscopy of multiple-scattering samples from intensity images" Optica, Vol. 6, No. 9, pp.1211-1219（2019) に、開示されている。

　本実施形態の標本画像生成システムは、標本の光学像を形成する観察光学系と、光学像を撮影する撮像素子と、本実施形態の標本画像生成装置と、を有する。

　本実施形態の標本画像生成システムによれば、高い正確さで画像を回復することができる。

　本実施形態の標本画像生成システムは、メモリと、プロセッサを備え、プロセッサは、メモリから、第１画像を取得する第１取得処理を実行し、取得した第１画像を複数のエリアに分割する分割処理を実行し、メモリから、標本の屈折率分布を取得する第２取得処理を実行し、取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理を実行し、エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成し、算出処理において、第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出する。第１画像は、標本を撮影して得られた画像であり、第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向であり、第１エリアは、点像強度分布を算出する対象のエリアであり、エリア群は、所定方向に、第１エリアを起点に、光線が放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含む。プロセッサは、ＡＩモデルを学習させる機械学習処理を実行し、機械学習処理は、複数のデータセットでＡＩモデルを学習させる。データセットは、第１画像と第１画像に対応するトレーニングデータを含み、第１画像に対応するトレーニングデータは、第１画像に対応する第２画像である。

　本実施形態の標本画像生成装置では、第１画像から、第３画像が生成される。第１画像は劣化画像で、第３画像は回復画像である。第３画像をトレーニングデータと見なすと、第１画像と第３画像は、機械学習のデータとして用いることができる。以下、第１画像を向上する前の画像とし、第３画像を向上した画像という。

　向上した画像は、教師あり機械学習（以下、「教師ありＭＬ」という）でトレーニングされたＡＩモデルを用いて生成することが可能である。

　ＡＩモデルは、トレーニング処理のデータ分析で見つかったパターンに基づいて推論処理を行うことで、明示的にプログラムを行わずに、コンピュータシステムにタスクを実行する機能を提供する。

　推論処理を実行するより前に、ＡＩモデルを継続的または定期的にトレーニング処理をすることができる。

　教師ありＭＬのＡＩモデルは、既存のサンプルデータとトレーニングデータでトレーニングし、新しいデータに関する予測を行うアルゴリズムが含まれる。トレーニングデータは、教師データともいう。

　このようなアルゴリズムは、データ駆動型の予測または結果として表される決定を行うために、サンプルデータとトレーニングデータからＡＩモデルを構築することによって動作する。

　教師ありＭＬは、トレーニング処理を実行するとき、サンプルデータとトレーニングデータを入力すると、入力と出力の関係を最も近似する関数を学習し、学習したＡＩモデルが推論処理を実行するとき、新しいデータ入力時に、同じ関数を実装して対応する出力を生成する。

　一般的に使用される教師ありＭＬアルゴリズムの例としては、ロジスティック回帰（ＬＲ）、ナイーブベイズ、ランダムフォレスト（ＲＦ）、ニューラルネットワーク（ＮＮ）、ディープニューラルネットワーク（ＤＮＮ）、マトリックスファクタリゼーション、サポートベクターマシン（ＳＶＭ）などがある。

　本実施例のトレーニング処理は、教師ありＭＬの処理を実行することができる。トレーニング処理は、ＡＩモデルをトレーニング又は学習する。

　トレーニング処理を実行すると、ＡＩモデルの入力レイヤーに、十分な数のデータセットが入力され、ＡＩモデルを通じて、出力レイヤーに伝播する。

　図１６は、トレーニング処理を示す図である。データセットは、向上する前の画像と、向上した画像と、を含む。向上する前の画像は、サンプルデータである。向上した画像は、サンプルデータに対応するトレーニングデータ又は教師データである。図１６では、サンプルデータは、画像１、画像２等で示されている。向上した画像は、トレーニングデータ１、トレーニングデータ２等である。

　トレーニング処理では、サンプルデータから推定データを生成する最適なパラメータを、例えば、ロス関数を用いて探索し、更新する。入力されたサンプルデータに対して推定データを生成し、生成した推定データとトレーニングと差をロス関数で評価し、ロス関数の値が最も小さくなるようなパラメータを探索する。

　本実施例の推論処理は、トレーニングしたＡＩモデルに対して新たに推論したいデータが入力されると、推論データを出力する推論処理を実行することができる。

　推論処理を実行すると、ＡＩモデルの入力レイヤーに、向上する前の画像を入力し、ＡＩモデルを通じて、出力レイヤーに伝播する。

　推論処理を実行することで、向上する前の画像から向上した画像を生成することができる。

　図１７は、本実施形態の標本画像生成システムを示す図である。図１７（ａ）は、第１例の標本画像生成システムを示す図である。図１７（ｂ）は、第２例の標本画像生成システムを示す図である。図１７（ｃ）は、第３例の標本画像生成システムを示す図である。

　図１７（ａ）に示すように、第１例の標本画像生成システムでは、標本画像生成システム１７０は、本実施形態の標本画像生成装置のみで構成されている。この場合、標本画像生成装置のプロセッサ３（以下、「第１のプロセッサ」という）では、トレーニング処理と推論処理を実行することができる。

　標本画像生成装置１は、第1のプロセッサと第２プロセッサを備えることができる。第２プロセッサは、第1のプロセッサと異なるプロセッサである。第２プロセッサで、トレーニング処理、推論処理を実行することができる。

　標本画像生成装置１は、第１のプロセッサ、第２プロセッサ及び第３プロセッサを備えることができる。第３プロセッサは、第１のプロセッサ及び第２プロセッサと異なるプロセッサである。第２プロセッサでトレーニング処理を実行し、第３プロセッサで推論処理を実行することができる。

　標本画像生成装置１のメモリ２は、トレーニング処理で使用する向上する前の画像と、向上した画像と、推論処理で使用する向上する前の画像と、を記憶する。

　図１７（ｂ）に示すように、第２例の標本画像生成システムでは、標本画像生成システム１８０は、本実施形態の標本画像生成装置１と、学習推論装置１９０と、で構成されている。学習推論装置１９０は、メモリ１９１と、プロセッサ１９２、とを備える。

　学習推論装置１９０では、トレーニング処理と推論処理を実行することができる。この場合、学習推論装置１９０は、メモリと、１つ以上のプロセッサを備える。推論処理は、トレーニング処理と同じプロセッサで実行することができる。推論処理を、トレーニング処理と異なるプロセッサで実行しても良い。

　学習推論装置のメモリ１９１は、トレーニング処理で使用する向上する前の画像と、向上した画像と、推論処理で使用する向上する前の画像と、を記憶する。

　図１７（ｃ）に示すように、第３例の標本画像生成システムでは、標本画像生成システム２００は、本実施形態の標本画像生成装置１と、学習装置２１０と、推論装置２２０と、で構成されている。学習装置２１０は、トレーニング処理を実行し、推論装置２２０は推論処理を実行する。

　学習装置２１０は、メモリ２１１と、プロセッサ２１２、とを備える。推論装置２２０は、メモリ２２１と、プロセッサ２２２と、を備える。学習装置２１０のプロセッサ２１２は、トレーニング処理を実行することができ、推論装置２２０のプロセッサ２２２は、推論処理を実行することができる。

　学習装置２１０のメモリ２１１は、トレーニング処理で使用する向上する前の画像と、向上した画像と、を記憶する。推論装置２２０のメモリ２２１は、推論処理で使用する向上する前の画像を記憶する。

　上述した学習推論装置１９０と学習装置２１０は、トレーニング処理で使用するデータを、標本画像生成装置１から、通信経由で又はＵＳＢメモリなどの記録媒体経由で入力し、それぞれの装置が備えるメモリに記憶する。

　本実施形態の標本画像生成方法は、第１画像と標本の屈折率分布を用いる標本画像生成方法であって、メモリから、第１画像を取得する第１取得処理を実行し、取得した第１画像を複数のエリアに分割する分割処理を実行し、メモリから、標本の屈折率分布を取得する第２取得処理を実行し、取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理を実行し、エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成し、算出処理において、第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出する。第１画像は、標本を撮影して得られた画像であり、第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向であり、第１エリアは、点像強度分布を算出する対象のエリアであり、エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含む。

　本実施形態の標本画像生成方法によれば、高い正確さで画像を回復することができる。

　本実施形態の記録媒体は、標本画像を生成するためのプログラムを記録したコンピュータ読取可能な記録媒体であって、コンピュータに、メモリから、第１画像を取得する第１取得処理と、取得した第１画像を複数のエリアに分割する分割処理と、メモリから、標本の屈折率分布を取得する第２取得処理と、取得した屈折率分布を用いて、分割したエリアそれぞれについて点像強度分布を算出する算出処理と、エリアそれぞれについて算出した点像強度分布を用いて、エリアそれぞれに対応する第２画像を生成する第１生成処理と、エリアそれぞれに対応する第２画像を合成し、第１画像に対応する第３画像を生成する処理と、を実行させ、算出処理において、第１エリアの点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出する。第１画像は、標本を撮影して得られた画像であり、第１画像における所定方向は、仮想観察光学系の光軸方向のうち仮想観察光学系が存在する方向であり、第１エリアは、点像強度分布を算出する対象のエリアであり、エリア群は、第１エリアを起点に、光線が所定方向に放射する範囲の内側にある複数のエリアで構成され、所定方向に第１エリアを延長した範囲の外側にあるエリアを含む。

　本実施形態の記録媒体によれば、高い正確さで画像を回復することができる。

　本発明は、高い正確さで画像を回復することができる標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体に適している。

　１　標本画像生成装置
　２　メモリ
　３　プロセッサ
　４　入力部
　１０　顕微鏡システム
　２０　顕微鏡
　２１　本体
　２２　対物レンズ
　２３　ステージ
　２４　落射照明装置
　２５　撮像ユニット
　２６　コントローラー
　２７　標本
　３０　処理装置
　３１　入力部
　３２　メモリ
　３３　プロセッサ
　３４　出力部
　４０　推定装置
　４１　入力部
　４２　メモリ
　４３　プロセッサ
　４４　出力部
　５０　標本
　５１　観察光学系
　５１’　観察光学系
　５２　光軸
　５３　ＸＹ画像群
　６０　光学像
　７０　標本
　７１　細胞質
　７２　細胞核
　８０　第１画像
　８１　細胞核の画像
　８２、８３、８４　エリア
　９０　屈折率画像
　９０ａ　上面
　９０ｂ　底面
　９１、９２、９３、９７、９８　エリア
　９４　中心エリア
　９５、９６　周辺エリア
　１００、１０４　光線
　１０１　光軸
　１０２　所定方向
　１０３　所定外方向
　１１０　ＰＳＦ画像
　１１１、１１２、１１３　エリア
　１２０　第３画像
　１３０　点光源
　１３１　上面
　１３２　観察光学系
　１３３　対物レンズ
　１３４　結像レンズ
　１３５　点像強度分布
　１４０、１４１　エリア
　１４２　小エリア
　１５０、１５２　エリア
　１５１　上面
　１５３　対象エリア
　１５４　非対象エリア
　１６０　屈折率画像
　１６１　内部エリア
　１６２　外部エリア
　１６３　外縁エリア
　１６４　標本の外縁
　１７０、１８０、２００　標本画像生成システム
　１９０　学習推論装置
　１９１、２１１、２２１　メモリ
　１９２、２１２、２２２　プロセッサ
　２１０　学習装置
　２１１　メモリ
　２１２　プロセッサ
　２２０　推論装置
　２２１　メモリ
　２２２　プロセッサ
　ＯＢＪ　標本
　ＡＸ　光軸
　ＯＳ　光学系
　ＩＰ　像面
　ＩＭＧ光学像　
　ＰＩＣ　光学像の画像
　ＦＰ　合焦面
　ＤＥＧ、ＰＳＦ、ＲＥＣ　エリア
　ＷＦ1　第１波面
　ＷＦ2　第２波面
　ＷＦ3　第３波面

Claims

　メモリと、プロセッサと、を備え、
　第１画像は、標本を撮影して得られた画像であり、
　前記第１画像における所定方向は、仮想観察光学系の光軸方向のうち前記仮想観察光学系が存在する方向であり、
　前記プロセッサは、
　前記メモリから、前記第１画像を取得する第１取得処理を実行し、
　取得した前記第１画像を複数のエリアに分割する分割処理を実行し、
　前記メモリから、前記標本の屈折率分布を取得する第２取得処理を実行し、
　取得した前記屈折率分布を用いて、分割した前記エリアそれぞれについて点像強度分布を算出する算出処理を実行し、
　前記エリアそれぞれについて前記算出した前記点像強度分布を用いて、前記エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、
　前記エリアそれぞれに対応する前記第２画像を合成し、前記第１画像に対応する第３画像を生成し、
　前記算出処理において、
　第１エリアの前記点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　前記第１エリアは、前記点像強度分布を算出する対象のエリアであり、
　前記エリア群は、前記第１エリアを起点に、光線が前記所定方向に放射する範囲の内側にある複数のエリアで構成され、前記所定方向に前記第１エリアを延長した範囲の外側にあるエリアを含むこと特徴とする標本画像生成装置。
　前記プロセッサは、前記算出処理において、
　前記第１エリア内に点光源を設定し、設定した前記点光源を波源とする第１波面を用いて、前記第１エリアの点像強度分布を算出すること特徴とする請求項１に記載の標本画像生成装置。
　前記プロセッサは、前記算出処理において、
　前記第１波面と、前記エリア群に含まれる各エリアに対応する前記屈折率分布を用いて、第２波面を算出し、前記第２波面は、前記所定方向に前記標本を伝播した波面であり、
　算出した前記第２波面を用いて、第３波面に対応する強度分布を算出し、前記第３波面は、前記仮想観察光学系の合焦面の位置の波面であり、
　算出した前記強度分布を用いて、前記第１エリアの点像強度分布を算出すること特徴とする請求項２に記載の標本画像生成装置。
　前記プロセッサは、前記算出処理において、
　前記標本を伝搬する波面が、前記所定方向で、前記標本の外縁に到達したか否かを判断し、
　前記第２波面は、前記外縁に到達したと前記判断した位置の波面であること特徴とする請求項３に記載の標本画像生成装置。
　前記第２波面は、前記標本を通過した後の波面であり、前記仮想観察光学系に到達する前の波面であること特徴とする請求項３に記載の標本画像生成装置。
　前記プロセッサは、前記第２取得処理において、分割した前記エリアを更に分割した小エリア毎に、前記屈折率分布を取得し、
　前記プロセッサは、前記算出処理において、
　前記小エリアの前記屈折率分布を用いて、前記小エリアの点像強度分布を算出し、
　前記小エリアの点像強度分布を用いて、前記エリアの点像強度分布を算出すること特徴とする請求項１に記載の標本画像生成装置。
　前記プロセッサは、
　前記分割処理で分割した前記エリアそれぞれについて点像強度分布を仮算出する仮算出処理を実行し、
　仮算出した点像強度分布の強度ピーク値が、基準の１／５未満の前記エリアを、仮算出した点像強度分布の強度ピーク値が、前記基準の１/５以上の前記エリアよりも小さく設定する前記分割処理を実行し、
　前記基準は、前記標本が存在しないときの点像強度分布の強度ピーク値であること特徴とする請求項１に記載の標本画像生成装置。
　前記プロセッサは、
　前記標本を推定する推定処理を実行し、
　前記分割処理において、
　前記所定方向に直交する方向で、
　推定した前記標本のエリアであり、且つ推定した前記標本の外縁が属さないエリアの大きさを、推定した前記標本のエリアではないエリアであり、且つ推定した前記標本の外縁が属さないエリアの大きさよりも、小さく設定すること特徴とする請求項１に記載の標本画像生成装置。
　前記プロセッサは、前記算出処理において、
　設定した前記点光源の位置における励起光強度を算出し、
　算出した前記強度分布と、算出した前記励起光強度と、を用いて、蛍光強度分布を算出し、
　算出した前記蛍光強度分布を用いて、前記第１エリアの点像強度分布を算出すること特徴とする請求項３に記載の標本画像生成装置。
　前記プロセッサは、前記算出処理において、前記励起光強度を、励起光波長の屈折率分布を用いて算出すること特徴とする請求項９に記載の標本画像生成装置。
　前記第１画像は、共焦点ピンホールを備えた装置で撮影して得られた画像であり、
　前記プロセッサは、前記算出処理において、
　算出した前記強度分布を用いて、前記共焦点ピンホールを通過する光強度を算出し、
　算出した前記励起光強度と、算出した前記光強度と、を用いて蛍光強度を算出し、
　算出した前記蛍光強度を用いて、前記第１エリアの点像強度分布を算出すること特徴とする請求項９に記載の標本画像生成装置。
　前記プロセッサは、前記算出処理において、ビーム伝搬法を用いて前記第２波面を算出すること特徴とする請求項３に記載の標本画像生成装置。
　標本の光学像を形成する観察光学系と、
　前記光学像を撮影する撮像素子と、
　請求項１に記載の標本画像生成装置と、を有することを特徴とする標本画像生成システム。
　メモリと、プロセッサと、を備え、
　第１画像は、標本を撮影して得られた画像であり、
　前記第１画像における所定方向は、仮想観察光学系の光軸方向のうち前記仮想観察光学系が存在する方向であり、
　前記プロセッサは、
　前記メモリから、前記第１画像を取得する第１取得処理を実行し、
　取得した前記第１画像を複数のエリアに分割する分割処理を実行し、
　前記メモリから、前記標本の屈折率分布を取得する第２取得処理を実行し、
　取得した前記屈折率分布を用いて、分割した前記エリアそれぞれについて点像強度分布を算出する算出処理を実行し、
　前記エリアそれぞれについて前記算出した前記点像強度分布を用いて、前記エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、
　前記エリアそれぞれに対応する前記第２画像を合成し、前記第１画像に対応する第３画像を生成し、
　前記算出処理において、
　第１エリアの前記点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　前記第１エリアは、前記点像強度分布を算出する対象のエリアであり、
　前記エリア群は、前記第１エリアを起点に、光線が前記所定方向に放射する範囲の内側にある複数のエリアで構成され、前記所定方向に前記第１エリアを延長した範囲の外側にあるエリアを含み、
　前記プロセッサは、ＡＩモデルを学習させる機械学習処理を実行し、
　前記機械学習処理は、複数のデータセットで前記ＡＩモデルを学習させ、
　前記データセットは、前記第１画像と前記第１画像に対応するトレーニングデータを含み、
　前記第１画像に対応するトレーニングデータは、前記第１画像に対応する前記第２画像であることを特徴とする標本画像生成システム。
　第１画像と標本の屈折率分布を用いる標本画像生成方法であって、
　前記第１画像は、標本を撮影して得られた画像であり、
　前記第１画像における所定方向は、仮想観察光学系の光軸方向のうち前記仮想観察光学系が存在する方向であり、
　前記メモリから、前記第１画像を取得する第１取得処理を実行し、
　取得した前記第１画像を複数のエリアに分割する分割処理を実行し、
　前記メモリから、前記標本の屈折率分布を取得する第２取得処理を実行し、
　取得した前記屈折率分布を用いて、分割した前記エリアそれぞれについて点像強度分布を算出する算出処理を実行し、
　前記エリアそれぞれについて前記算出した前記点像強度分布を用いて、前記エリアそれぞれに対応する第２画像を生成する第１生成処理を実行し、
　前記エリアそれぞれに対応する前記第２画像を合成し、前記第１画像に対応する第３画像を生成し、
　前記算出処理において、
　第１エリアの前記点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　前記第１エリアは、前記点像強度分布を算出する対象のエリアであり、
　前記エリア群は、前記第１エリアを起点に、光線が前記所定方向に放射する範囲の内側にある複数のエリアで構成され、前記所定方向に前記第１エリアを延長した範囲の外側にあるエリアを含むこと特徴とする標本画像生成方法。
　標本画像を生成するためのプログラムを記録したコンピュータ読取可能な記録媒体であって、
　第１画像は、標本を撮影して得られた画像であり、
　前記第１画像における所定方向は、仮想観察光学系の光軸方向のうち前記仮想観察光学系が存在する方向であり、
　前記コンピュータに、
　前記メモリから、前記第１画像を取得する第１取得処理と、
　取得した前記第１画像を複数のエリアに分割する分割処理と、
　前記メモリから、前記標本の屈折率分布を取得する第２取得処理と、
　取得した前記屈折率分布を用いて、分割した前記エリアそれぞれについて点像強度分布を算出する算出処理と、
　前記エリアそれぞれについて前記算出した前記点像強度分布を用いて、前記エリアそれぞれに対応する第２画像を生成する第１生成処理と、
　前記エリアそれぞれに対応する前記第２画像を合成し、前記第１画像に対応する第３画像を生成する処理と、を実行させ、
　前記算出処理において、
　第１エリアの前記点像強度分布を、エリア群に含まれる各エリアの屈折率分布を用いて算出し、
　前記第１エリアは、前記点像強度分布を算出する対象のエリアであり、
　前記エリア群は、前記第１エリアを起点に、光線が前記所定方向に放射する範囲の内側にある複数のエリアで構成され、前記所定方向に前記第１エリアを延長した範囲の外側にあるエリアを含むことを特徴するコンピュータ読取可能な記録媒体。