JP6798625B2 - 定量位相画像生成方法、定量位相画像生成装置およびプログラム - Google Patents
定量位相画像生成方法、定量位相画像生成装置およびプログラム Download PDFInfo
- Publication number
- JP6798625B2 JP6798625B2 JP2019554080A JP2019554080A JP6798625B2 JP 6798625 B2 JP6798625 B2 JP 6798625B2 JP 2019554080 A JP2019554080 A JP 2019554080A JP 2019554080 A JP2019554080 A JP 2019554080A JP 6798625 B2 JP6798625 B2 JP 6798625B2
- Authority
- JP
- Japan
- Prior art keywords
- objective lens
- quantitative phase
- phase image
- light
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 105
- 238000009826 distribution Methods 0.000 claims description 193
- 230000003287 optical effect Effects 0.000 claims description 160
- 238000005286 illumination Methods 0.000 claims description 114
- 238000003384 imaging method Methods 0.000 claims description 85
- 238000001514 detection method Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 22
- 230000001678 irradiating effect Effects 0.000 claims 6
- 238000005259 measurement Methods 0.000 description 112
- 238000004364 calculation method Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 44
- 230000004048 modification Effects 0.000 description 44
- 238000012986 modification Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 41
- 238000004458 analytical method Methods 0.000 description 38
- 210000004027 cell Anatomy 0.000 description 28
- 238000005070 sampling Methods 0.000 description 25
- 238000012546 transfer Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 19
- 238000010276 construction Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 14
- 210000001747 pupil Anatomy 0.000 description 13
- 230000007423 decrease Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000010365 information processing Effects 0.000 description 10
- 230000005284 excitation Effects 0.000 description 9
- 239000007788 liquid Substances 0.000 description 9
- 230000005499 meniscus Effects 0.000 description 9
- 230000001427 coherent effect Effects 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 7
- 239000007853 buffer solution Substances 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 3
- 150000002367 halogens Chemical class 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 210000004748 cultured cell Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- QUTYKIXIUDQOLK-PRJMDXOYSA-N 5-O-(1-carboxyvinyl)-3-phosphoshikimic acid Chemical compound O[C@H]1[C@H](OC(=C)C(O)=O)CC(C(O)=O)=C[C@H]1OP(O)(O)=O QUTYKIXIUDQOLK-PRJMDXOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
- G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
- G01J9/0246—Measuring optical wavelength
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
- G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
- G01J2009/0211—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods for measuring coherence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
- G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
- G01J2009/0269—Microscope type
Description
本発明の第2の態様によると、定量位相画像生成方法は、対象物に照明光を照射することと、対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置のそれぞれに前記対物レンズの焦点を配置して前記対象物からの光を検出することと、検出した前記光に基づいて、前記複数の位置のそれぞれに対応する光強度分布データを生成することと、前記光強度分布データに基づいて、定量位相画像を生成することと、を備え、前記間隔Δzは、0.07μm以上90.3μm以下に設定される。
本発明の第3の態様によると、定量位相画像生成装置は、顕微鏡を備え、前記顕微鏡は、対象物に照明光を照射する照明光学系と、対物レンズと、前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備え、前記装置制御部は、前記顕微鏡の設定情報に基づいて、前記間隔Δzを設定する。
本発明の第4の態様によると、定量位相画像生成装置は、対象物に照明光を照射する照明光学系と、対物レンズと、前記対象物における前記対物レンズの焦点の、前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備え、前記装置制御部は、前記間隔Δzを、0.07μm以上90.3μm以下に設定する。
本発明の第5の態様によると、プログラムは、対象物に照明光を照射する照明光学系と、対物レンズと、前記対象物における前記対物レンズの焦点の、前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備える顕微鏡を備える定量位相画像生成装置に入力または記憶された前記顕微鏡の設定情報に基づいて、前記間隔Δzを設定する設定処理を前記定量位相画像生成装置の処理装置に行わせる。
本発明の第6の態様によると、プログラムは、対象物に照明光を照射する照明光学系と、対物レンズと、前記対象物における前記対物レンズの焦点の、前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備える定量位相画像生成装置の処理装置に、前記間隔Δzを0.07μm以上90.3μm以下に設定する設定処理を行わせる。
ここで、定量位相画像とは、対象物における厚さの変化と屈折率の変化を積とする位相を表す(画像化した)画像である。既存の位相差画像や微分干渉画像は、位相に振幅が混ざる干渉画像であるため、対象物の位相を完全に定量化することはできないが(振幅が無視でき、かつ位相が小さい条件のみ定量化できるが)、定量位相画像は、対象物の位相が2倍、3倍、4倍等の様々な値に変化しても、定量的な位相を表すことができるため、対象物の位相を定量化した画像と称することもできる。
なお、情報処理部40の機能は顕微鏡本体部100から物理的に離れた電子計算機等に配置してもよい。
なお、交換可能な対物レンズ21の数は特に限定されない。また、顕微鏡本体部100に含まれる光学系の態様は、対象物Sの所望の面の画像を撮像により取得することができれば特に限定されない。
なお、対象物Sに照射する照明光L2は、可視光でなくてもよく、紫外光や赤外光であってもよい。さらに、照明光L2の波面は光軸に略垂直でなくとも、波面の形状が既知であればよく、例えば、照明光L2の波面は略球面であってもよい。また、光源11は、パルスレーザや連続発振(CW)レーザなどのコヒーレント光源を含み、照明光L2としてコヒーレント光を出射してもよい。
なお、光源11としてレーザ光等の波長範囲が狭い光源を用いる際は、バンドパスフィルター13を光路に配置する必要は無い。また、バンドパスフィルター13は用いずに、対象物Sに対して結像側に配置されたフィルターキューブ120のフィルターにより検出する波長範囲を制限してもよい。
なお、定量位相画像生成装置1では、対象物Sの位相計測に際し、検出部9が、透過照明光学系10からの照明光L2が照射された対象物Sの像を撮像する構成にしたが、落射照明光学系110からの照明光が照射された対象物Sの像を撮像する構成にしてもよい。この場合、落射照明光学系110からの照明光は、対物レンズ21a(対物光学系20)を介して対象物Sに照射され、対象物Sで反射した光に基づく対象物Sの像を検出部9で撮像する。
なお、入力データは、後述の通信部43を介して取得してもよい。
…(1)
…(2)
ここで、∇の添字であるxyは、XY平面(光の伝搬方向に垂直な平面、すなわち本実施形態ではz軸に垂直な平面)を示す。すなわち、式(2)の左辺に現れる∇xyφは、XY平面における位相φの勾配(gradient)を示す。式(1)の左辺と式(2)の右辺に現れるΦは、式(1)をポアソン方程式の形にして計算しやすいように導入された関数であり、検出したXY平面における強度Iのzに関する微分係数の分布を得て、ポアソン方程式(1)を解くことにより導出できる。式(1)を解いて得た関数Φと光強度分布から、式(2)を解いて位相分布φを算出することができる。
なお、所定の座標x、y、zの値に対応する光強度の値を取り出すことができれば、光強度分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
…(11)
ここで、Nxは事前に取得した光強度分布データのx方向のピクセル数、Nyは事前に取得した光強度分布データのy方向のピクセル数、Izの上にバーが示されたものは各zの値に対応する、当該光強度分布データ上の全ての(x,y)についてのIz(x,y)の算術平均等の平均値である。装置制御部51は、算出した各zの値に対応する分散vzに基づいて計測面i1の位置、すなわち、対物レンズ21aの焦点位置を設定する。例えば、装置制御部51は、算出した分散vzのうち、極小となる分散vzに対応するz方向の位置に計測面i1の位置を設定する。言い換えると、装置制御部51は、計測面i1の位置をコントラストが低い光強度分布データに対応するzの値に設置する。
なお、計測面i1〜i3上に配置される、それぞれの対物レンズ21aの焦点の位置は、それぞれ計測面i1〜i3上に存在すれば、XY平面上の位置は特に限定されない
なお、所定の座標x、y、zの値に対応するzに関する微分係数の値を取り出すことができれば、微分係数分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
…(100)
ここで、λは照明光L2の波長であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。nは対物レンズ21aと対象物Sとの間の屈折率であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。装置制御部51は、対物レンズ21aが乾燥対物レンズの場合、対物レンズ21aと対象物Sとの間の雰囲気は空気であるため、空気の屈折率として例えばn=1.00に設定する。一方、対物レンズ21aが液浸対物レンズの場合、装置制御部51は、対物レンズ21aと対象物Sとの間に満たされる浸液の屈折率を屈折率nとして設定する。NAは対物レンズ21aの開口数であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。そして、最適条件計算部511は、顕微鏡本体部100の設定情報に基づいて、焦点間隔Δzを算出する。具体的には、最適条件計算部511は、式(100)に示されたように、対物レンズ21aの開口数NA、照明光L2の波長λ、および対物レンズ21aと対象物Sとの間の屈折率nの情報に基づいて焦点間隔Δzを算出する。
なお、上記の例においては、対物レンズ21aの遮断空間周波数の5分の1や4分の1の空間周波数まで復元することに相当するようにパラメータkの値を決定したが、パラメータkの値はこれらの値に限られることはなく、対象物Sの位相計測に必要な分解能に応じて設定すればよい。
…(3)
式(3)を満たすようにサンプリング間隔Δxが設定されると、点像強度分布よりも1画素の面積が大きいアンダーサンプリングを避けることができるため、アンダーサンプリングによる画質の低下を避けることができる。
なお、所定の座標x、y、zの値に対応する位相値を取り出すことができれば、位相分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
…(4)
ここで、○の内側にxが記された記号は折りたたみ積分を示す。EPSF(有効点像分布、Effective PointSpread Function)とは、以下の式(5)で定義される量である。
…(5)
ここで、Sは光源強度分布、Gは瞳関数、φは対象物Sを低コントラスト物体として位相復元処理部521が生成した対象物Sの位相分布、P(x,y)は対象物Sの振幅分布を表す。位相分布φは定量位相画像または位相分布データ、振幅分布は光強度分布データからそれぞれ得ることが出来、光源強度分布や瞳関数は顕微鏡本体部100の諸元に応じて設定される。例えば、位相差観察の場合にはSはリング絞りにおける光強度分布に相当し、Gは位相差観察用対物レンズの瞳関数に相当するため、これらの値を用いてEPSFを計算することができる。
…(6)
ここで対象物Sを撮像して光強度分布データを得る際のOTFと区別するために対象物Sを撮像して光強度分布データを得る際のOTFをOTF_bf、微分干渉観察のOTFをOTF_dicとすると、OTF_dicは以下の式(7)で表される。
…(7)
ここでΔは微分干渉プリズム(ウォラストンプリズムまたはノマルスキープリズム等)において入射光が2つに分離される量(シャー量(Shear amount))を表し、νi(i;シャー方向の座標)はシャーが生じる方向の空間周波数、θは微分干渉プリズムをスライドさせる(プリズムスライド方式)またはポラライザの角度を変える(セナルモン方式)ことで生じる位相変化量(以下、バイアス(Bias)と呼ぶ)を指す。ユーザが定めたシャー量、バイアスに応じてOTF_dicを求め、それを式(6)に従って逆フーリエ変換することでEPSFが求まる。求めたEPSFの実部(Re[EPSF])と虚部(Im[EPSF])を式(4)に代入すれば計算微分干渉画像が得られる。
…(8)
ここでoは物体振幅分布、RはTCC(Transmissin Cross Coefficient:相互透過係数)、ξおよびηは回折光(または直接光)の方向余弦を表す。また物体複素振幅分布oは式(9)で表される。
…(9)
また、Rで示されるTCCは以下の式(10)で表される。
…(10)
画像構築部522は、式(8)(9)(10)に光源強度分布S、瞳関数G、低コントラスト物体の位相分布φ、低コントラスト物体の振幅分布P(x,y)等を適宜代入することにより、計算暗視野画像を構築する。
なお、対象物Sの面積、厚さ、体積等の計算方法は、上述の方法に特に限定されない。
なお、散布図表示画面D12は2次元の散布図に限らず、適宜3次元の散布図を立体的に示してもよい。
なお、上述の解析結果表示画面D1、計算画像表示画面D2および計算微分干渉画像表示画面D3の表示の態様は一例であり、示された数値や画像等の例は本発明を限定するものではない。
図18は、本実施形態の定量位相画像生成装置に関する定量位相画像生成方法の流れを示すフローチャートである。
…(12)
…(13)
この場合、装置制御部51は、上記に示された勾配加算値gzまたはラプラシアンの二乗和Lzが極小となるz方向の位置に計測面i1の位置を設定することができる。
(1)本実施形態の定量位相画像生成方法は、対象物Sにおける対物レンズ21aの光軸に沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を配置し、対象物Sからの光を検出することと、上記複数の位置のそれぞれに対応する複数の光強度分布データを生成することと、複数の光強度分布データに基づいて、定量位相画像を生成することを備え、焦点間隔Δzは、対物レンズ21aの開口数NA、照明光の波長λおよび対物レンズ21aと対象物Sとの間の屈折率nに基づいて設定される。これにより、対物レンズ21aの開口数NA、照明光の波長λおよび対物レンズ21aと対象物Sとの間の屈折率nに合わせ、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
また、従来の位相計測では、予め計測された光強度画像に関するノイズ量に基づいて焦点間隔Δzを設定する方法が提案されていたが、本実施形態の方法では、このような事前のノイズ量などの計測の必要は無い。
(変形例1)
上述の実施形態では、最適条件計算部511が予め設定した焦点間隔Δzの値に基づいて、位相復元処理部521が位相分布φを算出したが、焦点位置Fの調節後、エンコーダーにより実際に移動した焦点間隔Δzを測定し、測定した値に基づいて位相復元処理部521が位相分布φを算出してもよい。これにより、実際の焦点間隔Δzに基づいて位相の復元を行うため、より正確に位相を復元することができる。エンコーダーは、例えば、ステージ8を電動駆動によりz方向に移動させるモータ等の移動装置に設置される。
なお、対物レンズ21aの移動により対物レンズ21aの焦点位置Fが調節される場合には、エンコーダーは、対物レンズ21aを電動駆動によりz方向に移動させるモータ等の移動装置に設置すればよい。対物レンズ21aとステージ8との両方が移動可能に構成されている場合、対物レンズ21aおよびステージ8を電動駆動によりz方向に移動させる複数のモータ等の移動装置のそれぞれに設置された複数のエンコーダーが測定した対物レンズ21aおよびステージ8の移動量に基づいて、位相復元処理部521が焦点間隔Δzを算出してもよい。実際に位相計測のための撮像を行う際の焦点間隔Δzを測定することができれば、その方法は特に限定されない。
本変形例の内容は、上述の実施形態の内容と適宜組み合わせることができる。
上述の実施形態では、図1で示されたように倒立顕微鏡として定量位相画像生成装置1を構成したが、正立顕微鏡または実体顕微鏡として定量位相画像生成装置を構成してもよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
上述の実施形態では、計測面i1に対し2つの計測面i2,i3を共に焦点間隔Δz離れた位置に設定したが、複数の計測面iを計測面i1に対し互いに異なる焦点間隔Δz隔てて配置してもよい。最適条件計算部511は、複数の計測面iにおける、隣接する計測面iとの焦点間隔Δzを、計測面i1と計測面iとの距離に基づいて異ならせることができる。これにより、計測面iの計測面i1からの距離に合わせ、少ない撮像回数で、精度よく対象物Sの位相を計測することができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
上述の実施形態では、定量位相画像生成装置1に検出部9を1つ設けたが、複数の検出部を設けてもよい。これにより、蛍光画像と定量位相画像を同時に記録すること等ができる。
なお、検出部9のみだけを使用して、蛍光フィルターキューブ120を挿脱することにより蛍光観察と位相計測とを順次行ってもよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
上述の実施形態では、計測面i1,i2,i3に対物レンズ21aの焦点を順次配置して複数の光強度分布データを順次撮像により取得したが、一度の撮像、すなわちシングルショットで同時に複数の焦点位置Fに対応する光強度分布データを取得してもよい。
また、光路分岐部92には、MFG:Multi−Focus diffractive Gratingなどの回折光学素子を用いても良い。回折光学素子を用いる事で、対象物Sの3面以上の異なる合焦面の像を、検出部93で同時に検出する事が可能となる。この場合、結像レンズ91を用いて対物瞳面をリレーして、対物瞳と共役位置に回折光学素子を配置する。そして回折光学素子の後に別途結像レンズを用意して、検出部93に結像させればよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
上述の実施形態では対象物Sの各計測面iをそれぞれ一度の撮像をすることにより光強度分布データを取得したが、レーザ走査型蛍光観察ユニットを用い、走査型顕微鏡として定量位相画像生成装置を構成してもよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
なお、ステージ8を移動させること等により、対象物Sを光軸L1と垂直な方向(xy方向)等に移動させて対象物Sの各位置からの光を検出してもよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
対象物Sが緩衝液中等に載置された細胞等であった場合、複数の計測面iを計測する間に、緩衝液中を浮遊する死んだ細胞(浮遊死細胞)が、光強度分布に影響を与え、光強度分布データにおけるノイズとなって位相復元精度を低下させる問題があった。特に、浮遊死細胞が、計測した一部の計測面iまたはその近傍に存在して位相復元精度を低下させる場合があった。このような位相復元精度の低下を回避するため、位相復元処理部521は、上述のSG法を用いて位相復元することができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
従来の位相復元方法によると、定量位相画像の最も外側の画素近傍の画像辺縁部で、位相復元精度が低下し、実際には位相物体が存在しないにも関わらず、位相値が高く算出されてしまう問題があった。この問題は、画像辺縁部に位相値が大きい(例えば厚い細胞)対象物Sが存在すると、発生しやすい。画像辺縁部またはその近傍に位相物体が存在すると、強度輸送方程式のコントラスト伝達関数に従うフィルター処理により、位相を復元する際、存在しない空間周波数成分に由来する位相成分が生じるため、本来は存在しない輪郭が発生するからである。特に、従来技術では、観察視野の区画に沿って画像辺縁部で位相復元精度が低下するため、当該区画で区切られた定量位相画像をつなぎ合わせたステッチング画像の生成場面では、画像同士を重ね合わせる領域で位相が不自然に変化することなくつなぎ合わせる事が出来なかった。本変形例は、位相復元処理部521が、光強度分布データに前処理を行うことで画像辺縁部の位相復元精度の低下を抑制するものである。
なお、位相復元処理部521は、光強度が飽和している画素または光強度が閾値よりも大きい画素に対応する位置が、光強度画像の画像辺縁部に含まれるか否かに基づいて、本変形例の前処理を省略するかどうかを判定してもよい。これにより、画像辺縁部で大きい位相復元誤差が発生するリスクがない、光強度画像に対応する光強度分布データの前処理を省略することにより、計算量を減少させて、スループットを向上させる事ができる。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
対象物Sが緩衝液中に配置された細胞等の場合、緩衝液の液面が表面張力で湾曲しメニスカス形状となり、メニスカス形状の液面の勾配がバックグラウンドの位相値となり、位相復元誤差を増加させてしまう点が従来の定量位相画像の計測では問題となっていた。本変形例では、位相復元処理部521が画像処理を行うことにより、液面のメニスカス形状による位相計測への影響を少なくする。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
本実施形態の情報処理部40の情報処理機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述した装置制御部51が行う処理および解析部52が行う処理等の制御部50が行う処理等に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
本変形例の内容は、上述の実施形態および上述の変形例の内容と適宜組み合わせることができる。
図1に示された定量位相画像生成装置1と同様の構成の顕微鏡により、異なる対物レンズ(乾式)を用いてHela細胞の位相分布を計測した。計測条件は以下の通りである。「撮像回数」は、光強度分布データを取得するための撮像の回数を示し、異なる3カ所の焦点位置でそれぞれ1回ずつ撮像した。
照明光の波長λ 550nm(500nm〜600nmの範囲に分布)
撮像素子の画素サイズP 6.45μm
対物レンズ番号 倍率 開口数NA 焦点間隔 撮像回数
1 10 0.45 Δz=5.1μm 3
2 20 0.75 Δz=1.6μm 3
3 40 0.6 Δz=2.8μm 3
Claims (22)
- 顕微鏡による定量位相画像生成方法であって、
対象物に照明光を照射することと、
対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置のそれぞれに前記対物レンズの焦点を配置して前記対象物からの光を検出することと、
検出した前記光に基づいて、前記複数の位置のそれぞれに対応する光強度分布データを生成することと、
前記光強度分布データに基づいて、定量位相画像を生成することと、を含み、
前記間隔Δzは、前記顕微鏡の設定情報に基づいて設定される、定量位相画像生成方法。 - 請求項1に記載の定量位相画像生成方法において、
前記設定情報は、前記対物レンズの開口数NAと、前記照明光の波長λと、前記対物レンズと前記対象物との間の屈折率nとの少なくとも1つの情報を含む、定量位相画像生成方法。 - 請求項1又は2に記載の定量位相画像生成方法において、
前記間隔Δzは、生成する前記定量位相画像において位相を復元する空間周波数を示すパラメータkを用いて設定される、定量位相画像生成方法。 - 請求項4に記載の定量位相画像生成方法において、
前記パラメータkは、1以上16以下である、定量位相画像生成方法。 - 請求項1から5までのいずれか一項に記載の定量位相画像生成方法において、
前記対物レンズの焦点を配置する前記複数の位置の数は、前記対物レンズの開口数NA、前記対物レンズを含む結像光学系による横倍率β、および前記対象物からの前記光を検出する検出器の画素サイズPに基づいて設定する、定量位相画像生成方法。 - 請求項6に記載の定量位相画像生成方法において、
前記検出器の検出面における点像強度分布のエアリーディスクの大きさおよび前記画素サイズPに基づいて、前記対物レンズの焦点を配置する前記複数の位置の数を設定する、定量位相画像生成方法。 - 請求項7に記載の定量位相画像生成方法において、
前記点像強度分布のエアリーディスクの直径よりも前記画素サイズPが大きい場合、前記対物レンズの焦点を配置する前記複数の位置の数を3を超える値に設定する、定量位相画像生成方法。 - 対象物に照明光を照射することと、
対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置のそれぞれに前記対物レンズの焦点を配置して前記対象物からの光を検出することと、
検出した前記光に基づいて、前記複数の位置のそれぞれに対応する光強度分布データを生成することと、
前記光強度分布データに基づいて、定量位相画像を生成することと、を備え、
前記間隔Δzは、0.07μm以上90.3μm以下に設定される定量位相画像生成方法。 - 顕微鏡を備える定量位相画像生成装置であって、
前記顕微鏡は、
対象物に照明光を照射する照明光学系と、
対物レンズと、
前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、
前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、
検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備え、
前記装置制御部は、前記顕微鏡の設定情報に基づいて、前記間隔Δzを設定する、定量位相画像生成装置。 - 請求項10に記載の定量位相画像生成装置において、
前記設定情報は、前記対物レンズの開口数NAと、前記照明光の波長λと、前記対物レンズと前記対象物との間の屈折率nとの少なくとも1つの情報を含む、定量位相画像生成装置。 - 請求項10又は11に記載の定量位相画像生成装置において、
前記装置制御部は、前記間隔Δzを、生成する前記定量位相画像において位相を復元する空間周波数を示すパラメータkを用いて設定する、定量位相画像生成装置。 - 請求項13に記載の定量位相画像生成装置において、
前記パラメータkは、1以上16以下である、定量位相画像生成装置。 - 請求項10から14までのいずれか一項に記載の定量位相画像生成装置において、
前記装置制御部は、前記対物レンズの焦点を配置する前記複数の位置の数を、前記対物レンズの開口数NA、前記対物レンズを含む結像光学系による横倍率β、および前記検出器の画素サイズPを少なくとも用いて設定する、定量位相画像生成装置。 - 請求項15に記載の定量位相画像生成装置において、
前記装置制御部は、前記検出器の検出面における点像強度分布のエアリーディスクの大きさおよび前記画素サイズPの大きさに基づいて、前記対物レンズの焦点を配置する前記複数の位置の数を設定する、定量位相画像生成装置。 - 請求項16に記載の定量位相画像生成装置において、
前記装置制御部は、前記点像強度分布のエアリーディスクの直径よりも前記画素サイズPが大きい場合、前記対物レンズの焦点を配置する前記複数の位置の数を3を超える値に設定する、定量位相画像生成装置。 - 請求項10から17までのいずれか一項に記載の定量位相画像生成装置において、
前記対象物が載置されるステージを備え、
前記ステージを前記対物レンズの前記光軸に沿って移動させる移動装置をさらに有し、
前記移動装置は、前記装置制御部が設定した前記間隔Δzに基づいて、前記ステージを移動させる、定量位相画像生成装置。 - 対象物に照明光を照射する照明光学系と、
対物レンズと、
前記対象物における前記対物レンズの焦点の、前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、
前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、
検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備え、
前記装置制御部は、前記間隔Δzを、0.07μm以上90.3μm以下に設定する定量位相画像生成装置。 - 対象物に照明光を照射する照明光学系と、
対物レンズと、
前記対象物における前記対物レンズの焦点の、前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、
前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、
検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備える顕微鏡を備える定量位相画像生成装置に入力または記憶された前記顕微鏡の設定情報に基づいて、前記間隔Δzを設定する設定処理を前記定量位相画像生成装置の処理装置に行わせるプログラム。 - 請求項20に記載のプログラムにおいて、
前記設定情報は、前記対物レンズの開口数NAと、前記照明光の波長λと、前記対物レンズと前記対象物との間の屈折率nとの少なくとも1つの情報を含む、プログラム。 - 対象物に照明光を照射する照明光学系と、
対物レンズと、
前記対象物における前記対物レンズの焦点の、前記対物レンズの光軸に沿って互いに間隔Δz離れた複数の位置に前記対物レンズの焦点が配置されるように前記焦点の位置を調整する装置制御部と、
前記照明光学系からの照明光の照射により、前記対象物からの光を検出する検出器と、
検出した前記光に基づいて、前記複数の位置に対応する光強度分布データを生成し、前記光強度分布データに基づいて、定量位相画像を生成する画像生成部と、を備える定量位相画像生成装置の処理装置に、
前記間隔Δzを0.07μm以上90.3μm以下に設定する設定処理を行わせるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020190385A JP6969655B2 (ja) | 2017-11-14 | 2020-11-16 | 定量位相画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/040991 WO2019097587A1 (ja) | 2017-11-14 | 2017-11-14 | 定量位相画像生成方法、定量位相画像生成装置およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020190385A Division JP6969655B2 (ja) | 2017-11-14 | 2020-11-16 | 定量位相画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019097587A1 JPWO2019097587A1 (ja) | 2020-10-22 |
JP6798625B2 true JP6798625B2 (ja) | 2020-12-09 |
Family
ID=66539410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019554080A Active JP6798625B2 (ja) | 2017-11-14 | 2017-11-14 | 定量位相画像生成方法、定量位相画像生成装置およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US11808929B2 (ja) |
EP (1) | EP3712596A4 (ja) |
JP (1) | JP6798625B2 (ja) |
WO (1) | WO2019097587A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109581645B (zh) * | 2018-11-22 | 2020-07-24 | 南京理工大学 | 基于光强传输方程的相衬与微分干涉相衬的显微成像方法 |
JP7228189B2 (ja) * | 2019-05-21 | 2023-02-24 | 株式会社ニコン | 細胞毒性を評価する方法及び装置 |
JP7322683B2 (ja) | 2019-12-05 | 2023-08-08 | 株式会社ニコン | 画像処理方法、画像生成装置及び画像処理システム |
US11328406B2 (en) * | 2020-03-05 | 2022-05-10 | Siemens Aktiengesellschaft | System and method for automated microstructure analysis |
KR102339338B1 (ko) * | 2020-03-09 | 2021-12-15 | 주식회사 더웨이브톡 | 영상 정보 획득 장치 |
WO2022070689A1 (ja) * | 2020-09-30 | 2022-04-07 | 株式会社ニコン | 顕微鏡装置、顕微鏡装置の試料屈折率測定方法、および顕微鏡装置の試料屈折率測定プログラム |
WO2022113365A1 (ja) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | 合焦方法、観察装置、およびプログラム |
CN113588034B (zh) * | 2021-07-29 | 2024-01-23 | 上海电力大学 | 一种变压器油中气体体积快速定量监测方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2529942A1 (en) * | 2003-06-19 | 2005-01-06 | Massachusetts Institute Of Technology | Systems and methods for phase measurements |
JP4689171B2 (ja) * | 2004-02-06 | 2011-05-25 | オリンパス株式会社 | 培養細胞の状態計測方法及び計測装置 |
CN102156346B (zh) * | 2005-02-21 | 2012-07-18 | 奥林巴斯株式会社 | 微弱光标本摄像单元及微弱光标本摄像装置 |
CN101147052B (zh) * | 2005-03-25 | 2012-01-11 | 麻省理工学院 | 用于希耳伯特相位成像的系统和方法 |
JP2007192665A (ja) | 2006-01-19 | 2007-08-02 | Kazuo Ishizuka | 位相計測方法および計測装置 |
JP4917404B2 (ja) * | 2006-10-18 | 2012-04-18 | オリンパス株式会社 | 位相物体の可視化方法とその顕微鏡システム |
JP2008292939A (ja) * | 2007-05-28 | 2008-12-04 | Graduate School For The Creation Of New Photonics Industries | 定量位相顕微鏡 |
CN102292662A (zh) * | 2009-01-21 | 2011-12-21 | 加州理工学院 | 用于计算深度切片的定量微分干涉差(dic)设备 |
WO2013018024A1 (en) * | 2011-07-29 | 2013-02-07 | Ecole Polytechnique Federale De Lausanne (Epfl) | Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection |
US20150100278A1 (en) * | 2013-10-04 | 2015-04-09 | Georgia Tech Research Corporation | Systems and methods for quantitative phase imaging with partially coherent illumination |
JP6315655B2 (ja) * | 2013-11-19 | 2018-04-25 | 浜松ホトニクス株式会社 | 細胞画像処理方法、細胞画像処理装置及び細胞画像処理プログラム |
JP6253400B2 (ja) * | 2013-12-26 | 2017-12-27 | オリンパス株式会社 | 画像形成方法、及び、画像形成装置 |
EP3176563B1 (en) * | 2014-07-29 | 2021-06-30 | National University Corporation Hamamatsu University School of Medicine | Identification device and identification method |
JP6408893B2 (ja) * | 2014-12-16 | 2018-10-17 | オリンパス株式会社 | 3次元位置情報取得方法及び3次元位置情報取得装置 |
JP6925774B2 (ja) | 2015-10-02 | 2021-08-25 | 株式会社ニコン | 顕微鏡 |
US10845759B2 (en) * | 2016-05-06 | 2020-11-24 | Uwm Research Foundation, Inc. | Snapshot optical tomography system and method of acquiring an image with the system |
US11651603B2 (en) * | 2018-11-20 | 2023-05-16 | Shimadzu Corporation | Imaging data analyzer |
-
2017
- 2017-11-14 JP JP2019554080A patent/JP6798625B2/ja active Active
- 2017-11-14 WO PCT/JP2017/040991 patent/WO2019097587A1/ja unknown
- 2017-11-14 EP EP17932431.4A patent/EP3712596A4/en active Pending
-
2020
- 2020-05-14 US US15/931,995 patent/US11808929B2/en active Active
-
2023
- 2023-09-15 US US18/368,621 patent/US20240004176A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240004176A1 (en) | 2024-01-04 |
US11808929B2 (en) | 2023-11-07 |
WO2019097587A1 (ja) | 2019-05-23 |
US20200271910A1 (en) | 2020-08-27 |
EP3712596A1 (en) | 2020-09-23 |
JPWO2019097587A1 (ja) | 2020-10-22 |
EP3712596A4 (en) | 2021-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6798625B2 (ja) | 定量位相画像生成方法、定量位相画像生成装置およびプログラム | |
JP6378931B2 (ja) | 顕微鏡装置及び画像取得方法 | |
JP6559555B2 (ja) | 光計測方法および装置 | |
Bian et al. | Autofocusing technologies for whole slide imaging and automated microscopy | |
JP5982405B2 (ja) | オートフォーカス装置を有する顕微鏡及び顕微鏡でのオートフォーカス方法 | |
US8693000B2 (en) | Quantitative phase microscopy for label-free high-contrast cell imaging | |
JP5577885B2 (ja) | 顕微鏡及び合焦点方法 | |
JP6649379B2 (ja) | 生物学的粒子の位置の決定を含む分析方法 | |
JP6231958B2 (ja) | 光画像計測装置 | |
JP7150867B2 (ja) | 顕微鏡システム | |
US20150185460A1 (en) | Image forming method and image forming apparatus | |
JP6534658B2 (ja) | スキャニング顕微鏡、およびスキャニング顕微鏡の点像分布関数(psf)を決定する方法 | |
JP2013178484A (ja) | サンプルの光軸方向シフトに基づくスペックルノイズ除去 | |
EP2831657A2 (en) | Improved confocal microscopy methods and devices | |
US10684221B2 (en) | Light microscope and method for determining a wavelength-dependent refractive index of a sample medium | |
JP6363477B2 (ja) | 3次元形状測定装置 | |
JPWO2018190339A1 (ja) | 収差補正方法及び光学装置 | |
KR101505745B1 (ko) | 이중 검출 반사 공초점 현미경 및 이를 사용하는 시편의 높이의 정보를 검출하는 방법 | |
JP6969655B2 (ja) | 定量位相画像生成装置 | |
JP2019012270A (ja) | 顕微鏡装置及び画像取得方法 | |
JP2021089244A (ja) | 画像生成装置及び画像処理システム | |
JP2021056508A (ja) | イメージング装置および顕微鏡を使用して対象物をイメージングする方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6798625 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |