JPWO2017221330A1 - デジタルホログラフィック撮像装置および試料ホルダ - Google Patents

デジタルホログラフィック撮像装置および試料ホルダ Download PDF

Info

Publication number
JPWO2017221330A1
JPWO2017221330A1 JP2018523195A JP2018523195A JPWO2017221330A1 JP WO2017221330 A1 JPWO2017221330 A1 JP WO2017221330A1 JP 2018523195 A JP2018523195 A JP 2018523195A JP 2018523195 A JP2018523195 A JP 2018523195A JP WO2017221330 A1 JPWO2017221330 A1 JP WO2017221330A1
Authority
JP
Japan
Prior art keywords
mark
intensity distribution
imaging device
test object
digital holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018523195A
Other languages
English (en)
Inventor
岡村 俊朗
俊朗 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017221330A1 publication Critical patent/JPWO2017221330A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0402Recording geometries or arrangements
    • G03H1/0406Image plane or focused image holograms, i.e. an image of the object or holobject is formed on, in or across the recording plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883Reconstruction aspect, e.g. numerical focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/10Modulation characteristics, e.g. amplitude, phase, polarisation
    • G03H2210/12Phase modulating object, e.g. living cell

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

照明部10は、照明光12を被検物4に照射する。試料ホルダ6は、被検物4を保持し、照明光12の一部の振幅および位相の少なくとも一方を変化させるAFマーク9を有する。撮像素子20は、撮像面22に2次元状に配置された複数の画素を含み、撮像面22に形成される干渉パターンの強度分布を撮像し、撮像データS2を出力する。AF処理部80は、撮像データS2にもとづいてAFマーク9に対応する干渉パターンの測定値である第1強度分布を生成し、演算処理によりAFマーク9に対応する干渉パターンの計算値である第2強度分布を演算し、第1強度分布と第2強度分布が近づくようにオートフォーカス処理を行う。再構成演算部30は、撮像データS2にもとづいて、被検物4を表す被写体画像S1を再構成する。

Description

本発明は、デジタルホログラフィック撮像装置に関する。
細胞試料などの位相情報や強度情報を撮影するために、レンズフリーのデジタルホログラフィック撮像装置が利用される。デジタルホログラフィック撮像装置は、被検物に照明光を照射し、その結果得られる干渉パターンを撮像素子によって測定し、干渉パターンから、演算処理によって被検物の位相情報あるいは強度情報を示す画像を再構成(Reconstruct)する。特許文献1あるいは非特許文献1には、関連技術が開示される。
こうしたデジタルホログラフィック撮像装置では、再構成演算において、被検物と撮像素子の距離(光路長)Zが使用される。オプションの光学素子が挿入される場合は光学素子の影響が考慮された換算された正確な距離(以下、単に距離という)が必要である。この距離Zが不正確であると、正しい被写体像を再構成(再生)することができない。そこで再構成演算に先立ち、オートフォーカス(AF)が必要となる。
カメラでは、撮像された像のコントラストが大きくなる方向にフォーカシングレンズを動かし、コントラスト最大となるフォーカシングレンズの位置を求めている。デジタルホログラム撮像装置の場合、撮影されたホログラム画像から被検物の振幅、位相を再構成する際の回折演算(伝搬演算)で利用する距離Zを変化させ、再構成された被検物の振幅画像のコントラストが最大となる距離Zを求めればよい。または、回折演算に利用する距離Zは固定で、被検物と撮像素子の相対的な距離を変化させて、 再構成された被検物の振幅画像のコントラストが最大となる位置を求めてもよい。特許文献1にはこれと関連する技術が開示される。
特許第4772961号公報
「Autofocusing and edge detection schemes in cell volume measurements with quantitative phase microscopy」、OPTICS EXPRESS、13 April 2009、Vol.1、No. 8、p.6476
本発明者は、特許文献1あるいは2に記載の技術について検討した結果、以下の課題を認識するに至った。
被検物が細胞等の位相物体の場合、再構成された被検物の振幅画像はコントラストを持たず、したがって振幅画像から回折演算に利用する距離Zを求めることができない。そこで再構成された被検物の位相画像のコントラストを利用する方法が考えられる。しかしながら位相物体の場合、位相画像のコントラストが大きくても、正確な位相画像とは限らない。
図1は、位相画像のコントラストを説明する図である。細胞等の被検物100は、位相物体とみなすことができ、レンズ作用を有すると考えられる。撮像素子102によって撮像されたホログラムから被検物100の位相画像を再構成するとき、正しい距離ZOBJより小さい値で回折演算を行うと位相画像のコントラストは大きくなり、それより大きい値で演算を行うと、波面は平らに近づくので位相画像のコントラストは小さくなる。被検物の位相分布によってはこの関係は逆転する場合もある。
すなわち、演算に利用する距離Zとコントラストとの関係は、被検物100に依存するため、位相画像のコントラストを、AFの指標として採用することは難しい。なお図1は、透過型の位相物体について説明したが、特許文献1のように反射型の場合も同様の考えが成り立つ。
非特許文献1では、再構成された被検物の位相画像のコントラストをオートフォーカスの指標として使用する代わりに、下記式で表されるSGA(Squared gradient algorithm)指標、あるいはLFA(Laplacian filtering algorithm)指標が用いられる。
ただし、f(x,y)は再構成された被検物の位相画像
x,y 試料面での位置座標
非特許文献1に示されているSGAやLFAのように微分を利用した指標は、正しい距離で被検物を再構成したときに、画像が滑らかになり、間違った距離で再構成すると、ざらざらな画像になりやすい性質を利用している。しかしながら、被検物の位相分布が空間的に高い周波数成分をふくんでいるときは、上記の傾向が明確にあらわれるが、空間的に高い周波数成分を含んでいないときは、明確には現れず、正しい距離付近では、指標の変化が小さく、精度良く回折演算に利用する距離Zを求めることができない。すなわち被検物の位相分布による依存性があり、被検物によってオートフォーカスが行えなかったりすることになる。
本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、被検物に依存しないオートフォーカス技術の提供にある。
本発明のある態様は、デジタルホログラフィック撮像装置に関する。デジタルホログラフィック撮像装置は、照明光を被検物に照射する照明部と、照明光の一部の振幅および位相の少なくとも一方を変化させるAFマークを有し、被検物を保持する試料ホルダと、撮像面に2次元状に配置された複数の画素を含み、撮像面に形成される干渉パターンの強度分布を撮像し、撮像データを出力する撮像素子と、撮像データにもとづいてAFマークに対応する干渉パターンの測定値である第1強度分布を生成し、演算処理によりAFマークに対応する干渉パターンの計算値である第2強度分布を演算し、第1強度分布と第2強度分布が近づくようにオートフォーカス処理を行うオートフォーカス処理部と、撮像データにもとづいて、被検物を表す被写体画像を再構成する再構成演算部と、を備える。
なお、本明細書における「オートフォーカス」とは、被検物と撮像素子の実際の距離と、再構成演算で使用される距離を一致させることをいい、実際の距離を固定して再構成演算で使用される距離を変化させること、および再構成演算で使用される距離を固定し、実際の距離を変化させること、あるいは両方を変化させることを含む。
本発明の別の態様は、デジタルホログラフィック撮像装置に使用され、被検物を保持する試料ホルダに関する。試料ホルダは、被検物と接する試料面に、照明光の一部の振幅および位相の少なくとも一方を変化させるAFマークが配置されている。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
本発明のある態様によれば、被検物に依存しないオートフォーカスが可能となる。
位相画像のコントラストを説明する図である。 実施の形態に係るデジタルホログラフィック撮像装置の基本構成を示す図である。 デジタルホログラフィック撮像装置の原理を説明する図である。 デジタルホログラフィック撮像装置のオートフォーカス動作を説明する図である。 第1実施例に係る試料ホルダの断面図である。 図6(a)、(b)は、第1実施例におけるAFマークを説明する図である。 図7(a)は、被検物の位相分布φOBJ(x,y)を示す図であり、図7(b)は、被検物とAFマークの位置関係を示す図であり、図7(c)は、被検物およびAFマークによって撮像面上に形成される光強度分布I(x,y)を示す図である。 第1実施例に係るオートフォーカス処理のフローチャートである。 第2実施例に係る被検物の画像の再構成演算のフローチャートである。 第2実施例に係る試料ホルダの断面図である。 図11(a)、(b)は、第2実施例におけるAFマークを説明する図である。 被検物およびAFマークによって撮像面上に形成される光強度分布I(x,y)を示す図である。 第2実施例に係る被検物の画像の再構成演算のフローチャートである。 図14(a)〜(e)は、第3実施例に係るAFマークを説明する図である。 AFマークの位相分布の設計方法のフローチャートである。 図16(a)〜(d)は、AFマークの別の例を説明する図である。
(概要)
はじめに、本発明に係るいくつかの実施の形態の概要を説明する。
本発明のひとつの実施の形態は、デジタルホログラフィック撮像装置に関する。デジタルホログラフィック撮像装置は、照明光を被検物に照射する照明部と、照明光の一部の振幅および位相の少なくとも一方を変化させるAFマークを有し、被検物を保持する試料ホルダと、撮像面に2次元状に配置された複数の画素を含み、撮像面に形成される干渉パターンの強度分布を撮像し、撮像データを出力する撮像素子と、撮像データにもとづいてAFマークに対応する干渉パターンの測定値である第1強度分布を生成し、演算処理によりAFマークに対応する干渉パターンの計算値である第2強度分布を演算し、第1強度分布と第2強度分布が近づくようにオートフォーカス処理を行うオートフォーカス処理部と、撮像データにもとづいて、被検物を表す被写体画像を再構成する再構成演算部と、を備える。
AFマークは既知であるから、ある伝搬距離zを仮定したときに、撮像面上にAFマークに起因して形成される第2強度分布は計算可能である。そして計算された第2強度分布と実際に測定された第1強度分布を対比することで、被検物に依存することなくオートフォーカスが可能となる。またオートフォーカスに際して、伝搬距離zを変化させるたびに被検物の像を再生する必要がないため、従来よりも、オートフォーカスに要する時間を短縮できる。
AFマークは、試料ホルダの被検物と接する試料面に形成されてもよい。
AFマークは、照明光の位相のみを変化させてもよい。この場合、試料ホルダの厚みを変化させればよいため、加工が容易であるという利点がある。加えて、被検物が位相物体である場合の演算処理を簡素化できる。
AFマークは、照明光の振幅のみを変化させてもよい。
AFマークは、撮像面において被検物からのゼロ次光の照射される範囲外に干渉パターンを形成するように、設計されてもよい。これにより、オートフォーカスの際に被検物の影響を低減できるため、オートフォーカスの精度を高めることができる。
AFマークの空間分解能が加工限界値より大きくなるように、AFマークに対応する干渉パターンの空間周波数帯域が制限されてもよい。
オートフォーカス処理部は、試料ホルダと撮像面の距離を固定しつつ、第1強度分布を演算する際に使用する距離を変化させてもよい。
オートフォーカス処理部は、AFマークを距離z伝搬させたときの撮像面上の第2強度分布を演算するステップと、第1強度分布と第2強度分布の誤差または類似度を表す指標を計算するステップと、指標を最小化または最大化するように、距離zを変化させるステップと、を繰り返してもよい。
指標は、第1強度分布と第2強度分布の各画素の差分の自乗和であってもよい。
オートフォーカス処理部は、第2強度分布を演算する際に使用する距離を固定し、試料ホルダと撮像面の距離を変化させてもよい。
本発明の別の態様は、デジタルホログラフィック撮像装置に使用され、被検物を保持する試料ホルダに関する。この試料ホルダは、被検物と接する試料面に、照明光の一部の振幅および位相の少なくとも一方を変化させるAFマークが配置されている。
(実施の形態)
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
図2は、実施の形態に係るデジタルホログラフィック撮像装置2の基本構成を示す図である。図面に記載される各部材の寸法(厚み、長さ、幅など)は、理解の容易化のために適宜、拡大縮小されている場合がある。さらには複数の部材の寸法は、必ずしもそれらの大小関係を表しているとは限らず、図面上で、ある部材Aが、別の部材Bよりも厚く(長く)描かれていても、部材Aが部材Bよりも薄い(短い)こともあり得る。
デジタルホログラフィック撮像装置2は位相物体、振幅物体あるいはそれらの両方の特性を有する物体の観察に利用することができ、その観察対象は特に限定されない。本実施の形態では、観察対象(被検物4)として細胞のような位相物体を例とする。被検物4は、試料ホルダ6によって所定の位置に保持される。被検物4が位置する面を試料面(被写体面とも称される)8と称する。デジタルホログラフィック撮像装置2は、被検物4の位相分布φOBJ(x,y)を示す被写体画像S1を出力する。
デジタルホログラフィック撮像装置2は、照明部10、撮像素子20、再構成演算部30、表示装置40を備える。デジタルホログラフィック撮像装置2は本質的にはレンズフリーの光学系で構成しうるが、必要に応じて図示しない光学系を有してもよい。
照明部10は、可干渉性を有する照明光12を被検物4に照射する。照明部10の構成は特に限定されず、半導体レーザやLEDを用いることができる。照明光12は、平面波であってもよいし球面波であってもよいが、図2では平面波として示している。図中、光線を実線で、波面を点線で表すものとする。
撮像素子20は、CCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)センサなどであり、撮像面22に2次元状に配置された複数の画素を含む。撮像素子20は、被検物4や後述のAFマーク9と作用した照明光14が形成する干渉パターンの強度分布I(x,y)を撮像し、撮像データS2を生成する。撮像素子20による撮像は、空間的なサンプリングに他ならない。撮像素子20から出力される撮像データS2は、再構成演算部30に供給され、また後述のAF処理のためにAF処理部80に供給される。
再構成演算部30は、後述のAF処理の完了後に、撮像データS2にもとづいて、被検物4を表す被写体画像S1を演算処理によって再構成する。なお、再構成演算部30および後述のAF処理部80は、汎用コンピュータとソフトウェアプログラムの組み合わせであってもよいし、専用ハードウェアであってもよい。たとえば被写体画像S1の再構成には位相回復法(フーリエ反復法)などが利用可能である。
表示装置40は、再構成演算部30が生成した被写体画像S1を表示する。また表示装置40は、デジタルホログラフィック撮像装置2のユーザインタフェースとしての機能も有する。
図3は、デジタルホログラフィック撮像装置2の原理を説明する図である。位相物体である被検物4は、試料面8の第1方向(x方向)およびそれと垂直な第2方向(y方向)に位相分布φOBJ(x,y)を有する。位相分布φOBJ(x,y)は、被検物4の形状や構造、組成等に応じており、この位相分布φOBJ(x,y)が、デジタルホログラフィック撮像装置2による観測対象である。被検物4を透過した照明光14は、位相分布φOBJ(x,y)に応じた位相シフトを受け、その波面が被検物4によって乱される。被検物4を透過後の照明光14は、被検物4による擾乱(回折)を受けない光と、被検物4により回折された光を含んでおり、それらがz方向に距離zOBJ伝搬し、撮像素子20の撮像面(光電変換面)22に干渉パターンを形成する。
照明光14は、試料ホルダ6を透過して撮像面22に到達するため、距離zOBJは、試料ホルダ6の屈折率を考慮した光路長を表しており、試料面8と撮像面22の物理的な距離と必ずしも一致しないことに留意されたい。後述の仮想距離zも同様である。
撮像素子20は、干渉パターンの光強度分布I(x,y)を示す撮像データS2を生成する。再構成演算部30は、撮像データS2が示す強度分布I(x,y)を演算処理することにより、位相分布φ(x,y)を表す被写体画像S1を再生する。再構成された位相分布φ(x,y)は、被検物4の位相分布φOBJ(x,y)に対応する。
以上がデジタルホログラフィック撮像装置2の基本構成である。続いて、デジタルホログラフィック撮像装置2のオートフォーカスに関連する特徴を説明する。
本実施の形態において、試料ホルダ6には、AFマーク(測距パターンともいう)9が形成されている。また、デジタルホログラフィック撮像装置2にはAF処理部80が設けられている。デジタルホログラフィック撮像装置2における「オートフォーカス処理」は、被検物4と撮像素子20の実際の距離、言い換えれば試料ホルダ6と撮像面22の実際の距離(以下、実距離zOBJと称する)と、再構成演算で使用される距離(以下、仮想距離zあるいは単に距離zと称する)を一致させる処理を意味する。
AFマーク9は、照明光12の一部の振幅および位相の少なくとも一方を変化させる。後述のように、AFマーク9は、試料ホルダ6の被検物4側の表面、すなわち試料面8に形成されてもよいし、被検物4と反対側の表面に形成されてもよいし、試料ホルダ6の内部に形成されてもよい。
AF処理部80は、撮像データS2にもとづいてAFマーク9に対応する干渉パターンの測定値である第1強度分布IAF_MEAS(x,y)を生成する。またAF処理部80は、演算処理によりAFマーク9に対応する干渉パターンの計算値である第2強度分布IAF_CALC(x,y)を演算する。そして第1強度分布IAF_MEAS(x,y)と第2強度分布IAF_CALC(x,y)が近づくように、オートフォーカス処理を行う。
オートフォーカス処理では、(i)実距離zOBJを固定して、仮想距離zを変化させてもよいし、(ii)仮想距離zを固定し、実距離zOBJを変化させてもよいし、(iii)実距離zOBJと仮想距離zの両方を変化させてもよい。(ii)あるいは(iii)の場合、撮像素子20と試料ホルダ6の距離を調節するための可動機構が必要となるところ、(i)の場合はこのような可動機構が不要であるため、デジタルホログラフィック撮像装置2を簡素化できるという利点を有する。以下では、実距離zOBJを固定し、仮想距離zを変化させるものとする。
以上がデジタルホログラフィック撮像装置2の構成である。続いてAF動作を説明する。図4は、デジタルホログラフィック撮像装置2のオートフォーカス動作を説明する図である。後述のように、試料ホルダ6が被検物4を保持した状態でオートフォーカスは可能であるが、ここでは理解の容易化のため、被検物4を無視して説明する。
AFマーク9は既知であるから、AFマーク9からとある仮想距離z離れた撮像面22上に形成される強度分布(第2強度分布IAF_CALC(x,y))は、計算により求めることができる。この伝搬演算には、フレネル回折積分、角スペクトル法などさまざまな手法を用いることができる。第2強度分布IAF_CALC(x,y)は、仮想距離zを変化させると変化する。
計算された第2強度分布IAF_CALC(x,y)と、実際に撮影した第1強度分布IAF_MEAS(x,y)を比較し、それらが一致するように、すなわちそれらの誤差が十分に小さくなるように、仮想距離zを変化させる。仮想距離zの最適化の手法は特に限定されず、山登り法、ニュートン法、準ニュートン法、勾配共役法など、公知のさまざまなアルゴリズムを用いることができる。
以上がデジタルホログラフィック撮像装置2のオートフォーカス動作である。このデジタルホログラフィック撮像装置2によれば、被検物4の形状、構造、組成等に依存することなくオートフォーカスが可能となる。
またオートフォーカスに際して、被検物4の像を、距離zを変化させるたびに繰り返し再構成する必要がないため、従来よりも演算量を大幅に減らすことができ、オートフォーカスに要する時間を短縮できる。
本発明は、上述の説明から導かれるさまざまな装置、システム、方法に及ぶものであり、特定の構成に限定されるものではない。以下、本発明の範囲を狭めるためではなく、発明の本質や動作の理解を助け、またそれらを明確化するために、より具体的な構成例や実施例を説明する。
(第1実施例)
図5は、第1実施例に係る試料ホルダ6aの断面図である。第1実施例では、AFマーク9aは試料ホルダ6aの試料面8に形成され、また照明光12の振幅のみを変化させる。AFマーク9aは、振幅分布AAF(x,y)を有しており、アルミニウムやクロムなどの光を吸収(または反射)する材料を、試料ホルダ6aの試料面8に蒸着し、あるいはスパッタリングにより付着させることで形成できる。
図6(a)、(b)は、第1実施例におけるAFマーク9aを説明する図である。図6(a)には、AFマーク9aの振幅分布AAF(x,y)が、図6(b)には、図6(a)のA−A’線に沿った透過率が示される。透過率は、図5に示す材料の厚みdによってコントロールできる。
図7(a)は、被検物4の位相分布φOBJ(x,y)を示す図であり、図7(b)は、被検物4とAFマーク9aの位置関係を示す図であり、図7(c)は、被検物4およびAFマーク9aによって撮像面22上に形成される光強度分布I(x,y)を示す図である。
AFマーク9aが被検物4の中心に位置していると、AFマーク9aのホログラム(AFマーク9aに対応する干渉パターン)と被検物4aのホログラムが重なってしまい、撮像データS2から第1強度分布IAF_MEAS(x,y)を抽出することが困難となり、オートフォーカスが不正確となる。
一方、AFマーク9aを被検物4から完全に分離し、それらの距離が離れると、試料ホルダ6aが反っている場合や試料ホルダ6と撮像面22が非平行の場合に、AFマーク9aと撮像面22の距離と、被検物4と撮像面22の距離とが不一致となる。したがって、オートフォーカスでAFマーク9aと撮像面22の距離を正しく検出できたとしても、被検物4の画像を正しく再構成できなくなる。
そこで、AFマーク9aは、被検物4の中心から少しずれた位置、たとえば被検物4が配置される領域の周部に形成することが好ましい。
続いて、第1実施例におけるオートフォーカス処理を説明する。上述のように試料ホルダ6aと撮像面22の実距離zOBJを固定しつつ、第2強度分布IAF_CALC(x,y)を演算する際に使用する仮想距離zを変化させる。
オートフォーカス処理部80は、撮像データS2から、AFマーク9aに対応する干渉パターンの測定値である第1強度分布IAF_MEAS(x,y)を抽出する。そして、以下の処理を繰り返す。
(i)回折演算によって、AFマーク9aを距離z伝搬させて、第2強度分布IAF_CALC(x,y)を演算する。
(ii)第1強度分布IAF_MEAS(x,y)と第2強度分布IAF_CALC(x,y)の誤差(または類似度)を表す指標Dを計算する。
(iii)指標Dを最小化(または最大化)するように、距離zを変化させる。
図8は、第1実施例に係るオートフォーカス処理のフローチャートである。フローチャートにおいて、各処理の順序は、支障をきたさない範囲で任意に入れかえることが可能である。このフローチャートでは、山登り法が利用されている。
はじめに、仮想距離zが初期化される(S200)。初期値は、実距離のzOBJの設計値を用いてもよい。続いて撮像データS2から、AFマーク9aに対応する干渉パターンの測定値である第1強度分布IAF_MEAS(x,y)を抽出する(S202)。続いてAFマーク9aを回折演算により仮想距離z伝搬させ、第2強度分布IAF_CALC(x,y)を計算する(S204)。回折演算には、フレネル回折積分の式(1)を用いてもよい。f(x,y)は、複素振幅g(x’,y’)を有する光を、z軸方向に距離z伝搬させた光の複素振幅を表す。
続いて、指標Dを計算し、その値をD1とする(S206)。指標Dとして、第1強度分布IAF_MEAS(x,y)と第2強度分布IAF_CALC(x,y)の各画素の差分の自乗和を用いてもよい。
D=ΣΣ(IAF_MEAS(x,y)−IAF_CALC(x,y)) …(2)
式(2)で定義される指標Dは、2つの強度分布IAF_MEAS(x,y)、IAF_CALC(x,y)の差分(誤差)を表しており、したがって指標Dが小さいほど、zが正しい値zOBJに近いと言える。
そして仮想距離zを所定幅dzだけ増加させ(S208)、新たな距離zを用いて、IAF_CALC(x,y)を計算する(S210)。そしてこのときの指標Dを計算し、その値をD2とする(S212)。
続いて、前回の指標Dの値であるD1と、現在の指標Dの値であるD2が比較される(S214)。そして、D2<D1であれば(S214のY)、すなわち誤差が小さくなっていれば、zの変化の方向が正しいものとされる。そしてD2をD1に代入し(S216)する。そして仮想距離zを所定幅dzだけ増加させ(S218)、新たな距離zを用いて、IAF_CALC(x,y)を計算する(S220)。そしてこのときの指標Dを計算し、その値をD2とする(S222)。そして、D2<D1であれば(S224のY)、すなわち誤差が小さくなっていれば、D2をD1に代入し(S226)し、ステップS218に戻る。ステップS224において、D2≧D1であれば(S224のN)、終了する。
処理S214において、D2≧D1であれば(S214のN)、すなわち誤差が大きくなっていれば、zの変化方向を反転させ、zを所定幅dzだけ減少させ、初期値に戻す(S228)。そしてさらにzを所定幅dzだけ減少させ(S230)新たな距離zを用いて、IAF_CALC(x,y)を計算する(S232)。そしてこのときの指標Dを計算し、その値をD2とする(S234)。そして、D2<D1であれば(S236のY)、すなわち誤差が小さくなっていれば、D2をD1に代入し(S238)し、ステップS230に戻る。ステップS236において、D2≧D1であれば(S236のN)、終了する。終了時の距離zが、実距離zOBJを表している。
以上が第1実施例におけるオートフォーカス動作である。続いて、オートフォーカス後の再構成演算を説明する。図9は、第2実施例に係る被検物4の画像の再構成演算のフローチャートである。撮像素子20から得られる撮像データS2は、撮像面22上の光強度分布I(x,y)を表しており、光の振幅情報√I(x,y)を含むが、光の位相情報が欠落している。再構成処理は、失われた位相情報を回復して、試料面8における位相分布φOBJ(x,y)を再生することに他ならない。
再構成演算部30は、撮像面22上の光強度分布I(x,y)を示す撮像データS2を取得する(S100)。この光強度分布I(x,y)は、AFマーク9aに対応する干渉パターンと、被検物4に対応に対応する干渉パターンを含んでいる。続いて撮像面22上の位相分布p(x,y)に初期値を与える(S102)。位相分布p(x,y)の初期値はランダムでよい。このときの撮像面22上の複素振幅分布f(x,y)を、式(3)にもとづいて演算する(S104)。
続いて、撮像面22上の複素振幅分布f(x,y)を、回折演算によってz軸負方向に距離z、逆伝搬させ、試料面8における複素振幅分布g(x’,y’)を演算する(S106)。ここでの伝搬演算も、フレネル積分の式(4)を利用することができる。
続いて試料面8での制約条件にもとづいて、試料面8での複素振幅分布g(x’,y’)を修正し、更新する(S108)。具体的には被検物4は位相物体であるため、振幅分布に影響を与えないため、試料面8における複素振幅分布g(x’,y’)の振幅成分は、AFマーク9aの振幅分布AAF(x,y)に置き換えることができる。
ただしarg()は、複素数の位相を表す。
そして、ステップS108で得られた複素振幅g(x’,y’)を、回折演算によってz軸方向に距離z伝搬させ、撮像面22における複素振幅分布f(x,y)を演算する(S110)。この演算にも、フレネル積分の式(1)を利用できる。
複素振幅分布f(x,y)を、測定された撮像データS2の光強度分布I(x,y)を利用して修正、更新する(S112)。具体的には、式(6)にしたがい、f(x,y)の位相分布を保持したまま、その振幅分布を測定された強度分布I(x,y)に基づく振幅分布√I(x,y)に置換する。
そして、所定の終了条件を満たしているか否かが判定される(S114)。終了条件は特に限定されない。たとえば繰り返し回数が所定値に達したことを終了条件としてもよい。あるいは、ステップS106で得られる複素振幅分布g(x’,y’)の振幅分布が、十分に平坦化されていることを、終了条件とすることもできる。終了条件を満たさない場合(S114のN)、ステップS106に戻る。
ステップS114において終了条件が満たされたとき(S114のY)、複素振幅分布g(x’,y’)から式(7)にしたがって被検物4の位相分布φ(x,y)を計算する(S116)。この位相分布φ(x,y)が、求めるべき被写体画像S1である。
φ(x,y)=arg(g(x’,y’)) …(7)
(第2実施例)
図10は、第2実施例に係る試料ホルダ6bの断面図である。第2実施例では、AFマーク9bは試料ホルダ6aの試料面8に形成され、照明光12の位相のみを変化させる。AFマーク9bは、位相分布φAF(x,y)を有している。
AFマーク9bの位相分布φAF(x,y)は、試料ホルダ6bの厚さdに応じて制御することができ、したがって試料ホルダ6bを加工する際に、同時にAFマーク9bを形成できるという利点がある。具体的には、試料ホルダ6bの屈折率を考慮した実効的な厚みを計算し、凹凸加工を施せばよい。
図11(a)、(b)は、第2実施例におけるAFマーク9bを説明する図である。図11(a)には、AFマーク9bの位相分布φAF(x,y)が、図11(b)には、図11(a)のA−A’線に沿った位相が示される。
図12は、被検物4およびAFマーク9bによって撮像面22上に形成される光強度分布I(x,y)を示す図である。被検物4、AFマーク9bはともに振幅が一定の位相物体とみなせるが、距離zを伝搬した結果、撮像面22上には干渉パターンに対応する強度分布が形成される。
第2実施例におけるオートフォーカス動作は、第1実施例と同様である。続いて、オートフォーカス後の再構成演算を説明する。図13は、第2実施例に係る被検物4の画像の再構成演算のフローチャートである。図9との相違点のみを説明する。図13のフローチャートでは、図9のステップS108に代えて、ステップS109が実行される。第2実施例では、被検物4およびAFマーク9bはいずれも位相物体であるため、振幅分布に影響を与えない。したがって、試料面8における複素振幅分布g(x’,y’)の振幅成分は、すべて1に置き換えることができる。
また、図13のフローチャートは、図9のステップS116の後に、ステップS118を備える。第2実施例では、ステップS116で得られた試料面8上の位相分布φ(x,y)は、被検物4の位相分布φOBJ(x,y)のみでなく、AFマーク9bの位相分布φAF(x,y)を含んでいる。そこで、AFマーク9bの位相分布φAF(x,y)を減算することにより、被検物4の位相分布φOBJ(x,y)を得ることができる。
(第3実施例)
図14(a)〜(e)は、第3実施例に係るAFマーク9cを説明する図である。図14(a)には、AFマーク9cの位相分布φAF(x,y)が、図14(b)には、図14(a)のA−A’線に沿った位相が示される。また図14(c)は、撮像面22上のAFマーク9cに対応する干渉パターンの強度分布であり、図14(d)は、図14(c)強度分布のB−B’断面の強度分布であり、図14(e)は、図14(c)強度分布のC−C’断面の強度分布である。
第3実施例では、さらなるオートフォーカス精度の向上のために、AFマーク9cは、撮像面22において被検物4からのゼロ次光の照射される範囲外に干渉パターンを形成するように設計される。すなわち撮像面22上で、AFマーク9cの干渉パターンと被検物4の干渉パターンがオーバーラップしない。AFマーク9cは、撮像面22上で干渉パターンが局在化するように設計され、その反面、試料面8上のAFマーク9cは、試料ホルダ6cの全体に広がっている。
(AFマーク9の設計)
撮像面22上にある干渉パターンを形成しうるAFマーク9cは、位相分布φAF(x,y)のみでも、振幅分布AAF(x,y)のみでも、それらの組み合わせでも実現することができる。位相分布φAF(x,y)と振幅分布AAF(x,y)の併用は、2つの分布の厳密な位置合わせが必要となるため製造の難易度が高い。したがってAFマーク9は、位相分布φAF(x,y)のみで設計することが好ましい。
図15は、AFマーク9cの位相分布の設計方法のフローチャートである。はじめに、AFマーク9cに対応する干渉パターンの強度分布IAF(x,y)を定義する(S300)。そして、ランダムな位相分布p(x,y)を生成し(S302)、式(8)にしたがい撮像面22上の複素振幅分布f(x,y)の初期値を計算する(S304)。
続いて、撮像面22上の複素振幅分布f(x,y)を、回折演算によってz軸負方向に距離z、逆伝搬させ、試料面8における複素振幅分布g(x’,y’)を演算する(S306)。ここでの伝搬演算も、フレネル積分の式を利用することができる。
AFマーク9cは位相物体であるため、振幅分布に影響を与えないため、試料面8における複素振幅分布g(x’,y’)の振幅成分をすべて1に置き換える(S308)。
そして、ステップS308で得られた複素振幅g(x’,y’)を、回折演算によってz軸方向に距離z伝搬させ、撮像面22における複素振幅分布f(x,y)を演算する(S310)。
複素振幅分布f(x,y)を、定義した干渉パターンIAF(x,y)を利用して修正、更新する(S312)。具体的には、式(9)にしたがい、f(x,y)の位相分布を保持したまま、その振幅分布を強度分布IAF(x,y)に基づく振幅分布√IAF(x,y)に置換する。
そして、所定の終了条件を満たしているか否かが判定される(S314)。終了条件は特に限定されない。たとえば繰り返し回数が所定値に達したことを終了条件としてもよい。あるいは、ステップS106で得られる複素振幅分布g(x’,y’)の振幅分布が、十分に平坦化されていることを、終了条件とすることもできる。終了条件を満たさない場合(S314のN)、ステップS306に戻る。
ステップS314において終了条件が満たされたとき(S314のY)、複素振幅分布g(x’,y’)から式(10)にしたがってAFマーク9cの位相分布φAF(x,y)を計算する(S316)。
φAF(x,y)=arg(g(x’,y’)) …(10)
以上が第3実施例におけるAFマーク9cの設計方法である。
図16(a)〜(d)は、AFマーク9cの別の例を説明する図である。図16(a)は、AFマーク9cの位相分布φAF(x,y)を示し、図16(b)は、図16(a)のA−A’線に沿った位相を示す。また図16(c)は、撮像面22上のAFマーク9cに対応する干渉パターンの強度分布であり、図16(d)は、図16(c)強度分布のB−B’断面の強度分布である。
図16(c)、(d)に示すように、撮像面22上のAFマーク9に対応する干渉パターンとして、コントラストの高いすなわち高い空間周波数成分が含まれる像を得ようとすると、それを形成するために必要なAFマーク9cの位相分布φAF(x,y)が複雑となり製造が難しくなる。この観点から、AFマーク9cに対応する干渉パターンは、高い空間周波数成分が含まれないように決められていることが好ましい。たとえば図14(c)〜(e)に示すような干渉パターンは、図16(c)、(d)の干渉パターンに比べて低い空間周波数成分で構成されており、したがって、図14(a)、(b)のAFマーク9cは、図16(a)、(b)のAFマーク9cに比べてシンプルであり、製造が容易となる。
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
(第1変形例)
実施の形態では、被検物4が、位相分布を有する位相物体であるとしたが、被検物4は、強度分布を有する振幅物体であってもよいし、位相分布と強度分布を有してもよい。被検物4が振幅物体である場合、再構成演算における制約条件として、位相分布が一定であることが利用できる。
そのほか、再構成演算における制約条件として、被検物4の位相分布φOBJ(x,y)およびφ(x,y)がスパース(まばら)であることを利用してもよい。一例として、変換演算子Ψが導入される。Ψは、行列をスパースにする演算子であり、たとえば離散コサイン変換(DCT)であってもよい。上述したように自然界の画像がまばらであるという特性は、式(11)で表されるような、演算子Ψにより変換された行列の1次ノルムが小さいことに対応する。||L1は1次ノルムを表す。
|Ψ{φOBJ(x,y)}|L1 …(11)
したがって、繰り返し演算において、式(11)の値が所定値より小さいという制約条件を付して、φ(x,y)をφOBJ(x,y)に収束させてもよい。
また、実施の形態では一枚の撮像データS2から被写体画像φ(x,y)を再生したが、条件を変えて測定される複数の撮像データS2にもとづいて、被写体画像φ(x,y)を再生してもよく、公知のアルゴリズムを用いることができる。たとえば照明光12の波長を変化させて、複数の撮像データS2を取得し、被写体画像φ(x,y)を再構成してもよい。
(第2変形例)
実施の形態では、被検物4の透過光を測定するデジタルホログラフィック撮像装置2を説明したが、反射光を測定するタイプであってもよい。この場合において、試料ホルダ6に形成されるAFマークは、反射型で構成してもよいし、透過型で構成してもよい。
(第3変形例)
実施の形態では、AFマーク9を試料面8側に形成したが、その反対の面に形成してもよい。
2…デジタルホログラフィック撮像装置、4…被検物、6…試料ホルダ、8…試料面、9…AFマーク、10…照明部、12,14…照明光、20…撮像素子、22…撮像面、30…再構成演算部、40…表示装置、80…AF処理部。
本発明は、デジタルホログラフィック撮像装置に利用できる。

Claims (11)

  1. 照明光を被検物に照射する照明部と、
    被検物を保持し、前記照明光の一部の振幅および位相の少なくとも一方を変化させるAFマークを有する試料ホルダと、
    撮像面に2次元状に配置された複数の画素を含み、前記撮像面に形成される干渉パターンの強度分布を撮像し、撮像データを出力する撮像素子と、
    前記撮像データにもとづいて前記AFマークに対応する干渉パターンの測定値である第1強度分布を生成し、演算処理により前記AFマークに対応する干渉パターンの計算値である第2強度分布を演算し、前記第1強度分布と前記第2強度分布が近づくようにオートフォーカス処理を行うオートフォーカス処理部と、
    前記撮像データにもとづいて、前記被検物を表す被写体画像を再構成する再構成演算部と、
    を備えるデジタルホログラフィック撮像装置。
  2. 前記AFマークは、前記試料ホルダの前記被検物と接する試料面に形成されることを特徴とする請求項1に記載のデジタルホログラフィック撮像装置。
  3. 前記AFマークは、前記照明光の位相のみを変化させることを特徴とする請求項1または2に記載のデジタルホログラフィック撮像装置。
  4. 前記AFマークは、前記照明光の振幅のみを変化させることを特徴とする請求項1または2に記載のデジタルホログラフィック撮像装置。
  5. 前記AFマークは、前記撮像面において、前記被検物からのゼロ次光の照射される範囲外に干渉パターンを形成するように設計されることを特徴とする請求項1から4のいずれかに記載のデジタルホログラフィック撮像装置。
  6. 前記AFマークの空間分解能が加工限界値より大きくなるように、前記AFマークに対応する干渉パターンの空間周波数帯域が制限されることを特徴とする請求項5に記載のデジタルホログラフィック撮像装置。
  7. 前記オートフォーカス処理部は、前記試料ホルダと前記撮像面の距離を固定しつつ、前記第1強度分布を演算する際に使用する距離を変化させることを特徴とする請求項1から6のいずれかに記載のデジタルホログラフィック撮像装置。
  8. 前記オートフォーカス処理部は、
    回折演算によって、前記AFマークを距離z伝搬させて、第2強度分布を演算するステップと、
    前記第1強度分布と前記第2強度分布の誤差または類似度を表す指標を計算するステップと、
    前記指標を最小化または最大化するように、距離zを変化させるステップと、
    を繰り返すことを特徴とする請求項7に記載のデジタルホログラフィック撮像装置。
  9. 前記指標は、前記第1強度分布と前記第2強度分布の各画素の差分の自乗和であることを特徴とする請求項8に記載のデジタルホログラフィック撮像装置。
  10. 前記オートフォーカス処理部は、前記第1強度分布を演算する際に使用する距離を固定し、前記試料ホルダと前記撮像面の距離を変化させることを特徴とする請求項1から6のいずれかに記載のデジタルホログラフィック撮像装置。
  11. デジタルホログラフィック撮像装置に使用され、被検物を保持する試料ホルダであって、
    前記被検物と接する試料面に、照明光の一部の振幅および位相の少なくとも一方を変化させるAFマークが配置されている試料ホルダ。
JP2018523195A 2016-06-21 2016-06-21 デジタルホログラフィック撮像装置および試料ホルダ Pending JPWO2017221330A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068425 WO2017221330A1 (ja) 2016-06-21 2016-06-21 デジタルホログラフィック撮像装置および試料ホルダ

Publications (1)

Publication Number Publication Date
JPWO2017221330A1 true JPWO2017221330A1 (ja) 2019-04-11

Family

ID=60783821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523195A Pending JPWO2017221330A1 (ja) 2016-06-21 2016-06-21 デジタルホログラフィック撮像装置および試料ホルダ

Country Status (3)

Country Link
US (1) US20190121290A1 (ja)
JP (1) JPWO2017221330A1 (ja)
WO (1) WO2017221330A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262818B1 (en) * 1998-10-07 2001-07-17 Institute Of Applied Optics, Swiss Federal Institute Of Technology Method for simultaneous amplitude and quantitative phase contrast imaging by numerical reconstruction of digital holograms
JP5831867B2 (ja) * 2011-03-30 2015-12-09 国立大学法人島根大学 物質相互作用をリアルタイムに可視化する技術
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
WO2015065995A1 (en) * 2013-10-28 2015-05-07 Trustees Of Boston University Nanoparticles for self referencing calibration
JP6953678B2 (ja) * 2014-11-12 2021-10-27 東洋紡株式会社 有形成分分析装置及び有形成分分析方法

Also Published As

Publication number Publication date
US20190121290A1 (en) 2019-04-25
WO2017221330A1 (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
US10732044B2 (en) Apparatus, systems, and methods for talbot spectrometers
KR101265755B1 (ko) 고해상도 이미징
US9448160B2 (en) Method and apparatus for providing image data for constructing an image of a region of a target object
US20170023472A1 (en) Apparatus and method for quantitive phase tomography through linear scanning with coherent and non-coherent detection
US9995648B2 (en) Optical measurement system and method for measuring critical dimension of nanostructure
CN105324649A (zh) 利用对反射光的光谱波前分析的眼睛计量
JP5743419B2 (ja) 形状測定方法及び装置並びに歪み測定方法及び装置
US9091614B2 (en) Wavefront optical measuring apparatus
TWI797377B (zh) 表面形狀量測裝置以及表面形狀量測方法
US10378963B2 (en) Optical system phase acquisition method and optical system evaluation method
US8917393B2 (en) Method and apparatus for providing image data
US20220074793A1 (en) Method for high-accuracy wavefront measurement base on grating shearing interferometry
US10365164B2 (en) Optical system phase acquisition method and optical system evaluation method
JP5450975B2 (ja) 測定装置および測定方法
JP2019078635A (ja) 測定装置、データ処理装置、データ処理方法およびプログラム
WO2017221330A1 (ja) デジタルホログラフィック撮像装置および試料ホルダ
KR20110089973A (ko) 3차원 빔측정을 통한 광학계의 파면수차 복원방법
JP2021060353A (ja) 光学系の内部誤差の推定方法および計測装置
Sohn et al. Köhler illumination for high-resolution optical metrology
WO2021155378A1 (en) Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi)
KR20170079441A (ko) 진동 환경에서 큰 단차를 갖는 샘플의 높낮이 측정을 위한 디지털 홀로그램 기록재생장치 및 기록재생방법
CN110411983B (zh) 一种高分辨率衍射成像方法及装置
US20230104022A1 (en) Optical metrology with incoherent holography
Chen et al. Reference Wave Design for Wavefront Sensing
Liu et al. Non-interferometric Quantitative Optical Phase Imaging