JP2023531715A - ホログラフィック画像化システムのためのフォーカス調整方法 - Google Patents
ホログラフィック画像化システムのためのフォーカス調整方法 Download PDFInfo
- Publication number
- JP2023531715A JP2023531715A JP2022579916A JP2022579916A JP2023531715A JP 2023531715 A JP2023531715 A JP 2023531715A JP 2022579916 A JP2022579916 A JP 2022579916A JP 2022579916 A JP2022579916 A JP 2022579916A JP 2023531715 A JP2023531715 A JP 2023531715A
- Authority
- JP
- Japan
- Prior art keywords
- reference object
- interest
- image
- sample
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 title claims description 50
- 230000003287 optical effect Effects 0.000 claims abstract description 74
- 238000005286 illumination Methods 0.000 claims description 20
- 238000007654 immersion Methods 0.000 claims description 8
- 244000005700 microbiome Species 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000004793 Polystyrene Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 229920002223 polystyrene Polymers 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241000894006 Bacteria Species 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000961787 Josa Species 0.000 description 1
- 241000191963 Staphylococcus epidermidis Species 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010869 super-resolution microscopy Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0402—Recording geometries or arrangements
- G03H1/0406—Image plane or focused image holograms, i.e. an image of the object or holobject is formed on, in or across the recording plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0033—Adaptation of holography to specific applications in hologrammetry for measuring or analysing
- G03H2001/0044—Adaptation of holography to specific applications in hologrammetry for measuring or analysing holographic fringes deformations; holographic sensors
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
- G03H2001/0204—Object characteristics
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
- G03H2001/0208—Individual components other than the hologram
- G03H2001/0212—Light sources or light beam properties
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/0447—In-line recording arrangement
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
- G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/50—Nature of the object
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
- Automatic Focus Adjustment (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
ホログラフィックイメージャ(2)によって試料(1)の関心表面(6)の画像を取得するためのフォーカス調整方法であって、- 既知の形状を有し、少なくとも位置パラメータを含む特性パラメータによって記述された少なくとも1つの参照オブジェクトを含む試料(1)を配置するステップと、- 取得されたホログラフィック画像内の参照オブジェクトの外観を近似することによって推定された参照オブジェクトの空間パラメータを含む光回折モデルを適用することにより、画像を取得するステップ及び取得平面(2’)に対する参照オブジェクトの位置を決定するステップと、- 参照オブジェクトの位置及び画像取得のフォーカス調整から、取得平面に対する関心表面の位置を決定するステップと、を含む。
Description
本発明は、画像化の分野に関するものであり、より正確には、関心のある表面の画像を取得するためのフォーカス調整を目的として、ホログラフィック方法によって試料の関心のある表面(以下、関心表面と称する。)の位置を特定することに取り組む。
画像化のためのフォーカス調整方法はいくつか開発されている。これらは、画像化システムの物体焦点面(the object focal plane)を設定/選択できるように、典型的には平面(a plane)の、関心表面を正確に測定するための方法であって、したがって、その関心表面の質の高い画像を取得することができる。
例えば、EP3,339,835は、サスペンション内の対象物の試料を通してコヒーレント放射の波面を方向付け、コヒーレント放射の波面と対象物によって回折された放射の波面との間の干渉図を画像センサで捕捉し、少なくとも1つの対象物の焦点面をデジタル的に決定し、画像センサに実質的に平行な像平面及び焦点面に対して所定のオフセットを有する平面における干渉パターンから、少なくとも1つの対象物の焦点の合っていない画像をデジタル的に再構成する方法を提供する。この方法は、さらに、試料内の少なくとも1つの対象物に対応する焦点を外した画像の少なくとも1つの部分を特定し、各部分から対応する対象物の少なくとも1つの特性を計算することを含む。
EP3,339,835によって提供される方法は、実装は容易であるが、少なくとも1つの対象物の焦点面を決定するステップは、精度の欠如などの様々な欠点を有する従来の自動焦点アルゴリズムによって実行され、そのいくつかを以下に説明する。ホログラフィックイメージングシステムの物体焦点面の位置は、生成された画像の品質を最大にするために、撮像される対象物が配置されなければならない面(シャープさ、コントラストなど。)に相当し、ホログラフィックイメージングシステムの光学特性(例えば焦点距離)とその位置を知ることによって大まかに推定することができる。しかしながら、いくつかの困難が生じる。例えば、ホログラフィック顕微鏡の文脈では、関心表面で画像化される物体は通常マイクロメートルのサイズ範囲であるため、物体焦点面の数マイクロメートルの位置誤差は、得られる画像の品質に大きな影響を及ぼす。したがって、画像化されるべき関心表面が平坦な試料の物理的ホルダに対応する最も単純なケース(顕微鏡スライドの場合)でさえ、フォーカス調整は重要であり、複雑で長たらしい場合がある。さらに、試料が複雑又は三次元の物体である場合、画像化することが望まれる関心表面は、試料のホルダの表面としては既知の位置になく、例えばその表面から一定の距離にある場合がある。かかる試料は、画像化システムに対して異なる位置に、画像化される対象の複数の表面を持つ場合もある。さらにまた、関心表面と同様に、物体焦点面(一般に用語の誤用により「焦点面」と呼ばれる)は、光学収差がある場合には平面でない可能性がある。
実際には、多くの場合、画像センサに対する試料の相対位置を記述して、光軸上の異なる位置、つまり光軸上の異なるz座標で取得された一連の画像を取得して分析する必要がある。これらの画像のそれぞれから記述子が抽出され、そこからメリットファクタが導出され、z座標が焦点面の座標であると推定される品質の画像が識別される。これらの方法は、焦点面では画像コントラストが最大であり、メリットファクタは局所コントラスト、勾配、分散、エントロピー、パワースペクトル密度などを最大化することを指すという仮説に基づいている。
かかる仮定はいくつかの場合、特に焦点面に不透明な物体が存在する場合に関連するが、これらの方法はすべての状況に適応されるわけではない。例えば、光を吸収しない物体の明視野顕微鏡では、焦点面であってもコントラストが非常に低く、かかる状況ではほとんどの品質要因が最大化されない可能性がある。
他の方法は特定の材料条件下でのみ使用できる。たとえば、特定のフォーカス調整基準は、純粋な位相シフタ又は振幅アブソーバとしての対象物にのみ使用できる。これは、例えば
Liebling, Mr. & Unser, M. ”Autofocus for digital Fresnel holograms by use of a Fresnelet-sparsity criterion” JOSA A 21, 2424-2430 (2004),、
Dubois, F., Schockaert, C., Callens, N. & Yourassowsky, C. ”Focus plane detection criteria in digital holography microscopy by amplitude analysis” Opt. Express 14, 5895-5908 (2006)、及び
Trujillo, C. A. & Garcia-Sucerquia, J. ”Automatic method for focusing biological specimens in digital lensless holographic microscopy” Opt. Lett. 39, 2569-2572 (2014)のケースである。
Liebling, Mr. & Unser, M. ”Autofocus for digital Fresnel holograms by use of a Fresnelet-sparsity criterion” JOSA A 21, 2424-2430 (2004),、
Dubois, F., Schockaert, C., Callens, N. & Yourassowsky, C. ”Focus plane detection criteria in digital holography microscopy by amplitude analysis” Opt. Express 14, 5895-5908 (2006)、及び
Trujillo, C. A. & Garcia-Sucerquia, J. ”Automatic method for focusing biological specimens in digital lensless holographic microscopy” Opt. Lett. 39, 2569-2572 (2014)のケースである。
他の基準では、照明光にいくつかの波長を使用する必要があり、これは実験的には困難である可能性があり、波長の関数として画像化された対象物の吸収と位相シフトの依存性に関する特定の仮定にまだ依存する。
メリットファクタを介してフォーカス調整に使用するために、光学特性が既知の粒子を試料に追加することが可能になり得る。たとえば、焦点面で非常に高い振幅コントラストと最小の位相コントラストを示す金粒子をこの目的に使用できる。例えば、
Bon, P. et al. ”Three-dimensional nanometre localization of nanoparticles to enhance super-resolution microscopy.” Nat. Comm. 6, 7764 (2015)は、かかる方法を提供する。ただし、このアプローチは正確な位相と振幅の測定を必要とするため、専用の光学機器が必要である。
Bon, P. et al. ”Three-dimensional nanometre localization of nanoparticles to enhance super-resolution microscopy.” Nat. Comm. 6, 7764 (2015)は、かかる方法を提供する。ただし、このアプローチは正確な位相と振幅の測定を必要とするため、専用の光学機器が必要である。
本発明は、低コントラスト物体の明視野画像化などの不利な条件下においても、高性能な装置に頼ることなく、試料の関心表面の画像を画像センサで取得するためのフォーカス調整を可能にすることを目的とする。
この目的のために、本発明は、画像化システムの画像センサによって試料の関心表面又は関心面(a surface of interest)の画像を取得するためのフォーカス調整方法であって、
- 試料を配置するステップであって、関心表面は画像化システムの画像センサの視野内に配置され、試料は、既知の形状を有する参照オブジェクトであって、前記参照オブジェクトに関連する特性パラメータによって記述される、少なくとも1つの参照オブジェクトを含み、特性パラメータは少なくとも参照オブジェクトの位置パラメータを含み、参照オブジェクトは関心表面の位置に対応する位置にある、ステップと、
- 照明光によって試料を照明するステップ、及び、参照オブジェクトによって引き起こされる干渉パターンの、取得平面又は取得面(an acquisition plane)におけるホログラフィック画像を取得するステップと、
- 取得平面に対する前記参照オブジェクトの位置を決定するステップであって、少なくとも1つの参照オブジェクトによる光回折モデルを使用し、光回折モデルは、参照オブジェクトの既知の形状に基づき、かつ、参照オブジェクトに関連する特性パラメータを含み、少なくとも参照オブジェクトの位置パラメータは、光回折モデルの調整によって推定され、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する、ステップと、
- 位置パラメータによって画定された参照オブジェクトの位置から、取得平面に対する関心表面の位置を決定するステップと、
- 取得平面に対する関心表面の位置に基づいて画像取得のフォーカス調整を行うステップと、を含む。
- 試料を配置するステップであって、関心表面は画像化システムの画像センサの視野内に配置され、試料は、既知の形状を有する参照オブジェクトであって、前記参照オブジェクトに関連する特性パラメータによって記述される、少なくとも1つの参照オブジェクトを含み、特性パラメータは少なくとも参照オブジェクトの位置パラメータを含み、参照オブジェクトは関心表面の位置に対応する位置にある、ステップと、
- 照明光によって試料を照明するステップ、及び、参照オブジェクトによって引き起こされる干渉パターンの、取得平面又は取得面(an acquisition plane)におけるホログラフィック画像を取得するステップと、
- 取得平面に対する前記参照オブジェクトの位置を決定するステップであって、少なくとも1つの参照オブジェクトによる光回折モデルを使用し、光回折モデルは、参照オブジェクトの既知の形状に基づき、かつ、参照オブジェクトに関連する特性パラメータを含み、少なくとも参照オブジェクトの位置パラメータは、光回折モデルの調整によって推定され、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する、ステップと、
- 位置パラメータによって画定された参照オブジェクトの位置から、取得平面に対する関心表面の位置を決定するステップと、
- 取得平面に対する関心表面の位置に基づいて画像取得のフォーカス調整を行うステップと、を含む。
本方法は、単純な2次元画像を解析することにより、関心表面の位置を画像センサの取得平面に一致させることでフォーカス調整を行うことができるようにする。従来使用された方法とは異なり、本発明による方法は、取得平面上の位相再構成を必要とせず、いくつかの波長での照明を必要とせず、試料の光軸上のいくつかのz位置の機械的スキャン解析を必要としない。
本発明は、単独で又はそれらの異なる可能な組み合わせに応じて、以下の異なる特徴によって有利に補足される:
- 参照オブジェクトは、試料に添加された人工物であるか、又は、参照オブジェクトは試料中に存在する微生物である;
- 参照オブジェクトは、球形、円筒形、又は楕円形である;
- 光回折モデルは、ミー、一般化ミー、トンプソン、又はレイリーモデルである;
- 参照オブジェクトに関連する特性パラメータは、参照オブジェクトの既知の形状を記述する幾何学的パラメータも含む;
- 参照オブジェクトの幾何学的パラメータは、光回折モデルの調整によって推定され、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する;
- 参照オブジェクトに関連する特性パラメータは、光回折モデルの調整によって推定される参照オブジェクトの屈折率を含み、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する;
- 試料は、浸漬媒体内に置かれ、光回折モデルは、光回折モデルの調整によって推定される浸漬媒体の屈折率を含み、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する;
- 試料は、画像センサの視野内に整列していない少なくとも3つの参照オブジェクトを含み、それらの、前記取得平面に対する位置パラメータは決定され、参照表面又は参照面(the reference surface)の位置を決定するステップは、参照オブジェクトが配置される参照表面の位置を決定するステップを含み、関心表面の位置は、参照オブジェクトの位置と関心表面の位置との間の対応関係によって参照表面の位置から決定される;
- 参照オブジェクトの位置パラメータは、取得平面に対する位置座標を含み、参照表面の位置は位置座標の補間によって決定され、その後、取得平面に対する参照表面のパラメータ座標が決定される;
- 複数のホログラフィック画像は、画像センサによって、異なる位置の前記取得平面において、及び/又は、異なる周波数の照明光で取得され、ホログラフィック画像の取得平面に対する少なくとも1つの参照オブジェクトの位置が決定され、関心表面の位置の決定は少なくとも1つの参照オブジェクトの複数の位置を含む;
- 画像取得のフォーカス調整は、取得平面に対する関心表面の位置から導出された変位距離にわたって、少なくとも画像化システムの光軸に沿って、試料と画像センサとを相対的に変位させることを含む;
- 画像取得のフォーカス調整は、取得平面を変位させる画像化システムの光学部材を変更することを含む;
- 画像取得のフォーカス調整は、取得平面に対する関心表面の位置を含む伝播モデルを使用して取得されたホログラフィック画像を変換することを含む。
- 参照オブジェクトは、試料に添加された人工物であるか、又は、参照オブジェクトは試料中に存在する微生物である;
- 参照オブジェクトは、球形、円筒形、又は楕円形である;
- 光回折モデルは、ミー、一般化ミー、トンプソン、又はレイリーモデルである;
- 参照オブジェクトに関連する特性パラメータは、参照オブジェクトの既知の形状を記述する幾何学的パラメータも含む;
- 参照オブジェクトの幾何学的パラメータは、光回折モデルの調整によって推定され、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する;
- 参照オブジェクトに関連する特性パラメータは、光回折モデルの調整によって推定される参照オブジェクトの屈折率を含み、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する;
- 試料は、浸漬媒体内に置かれ、光回折モデルは、光回折モデルの調整によって推定される浸漬媒体の屈折率を含み、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似する;
- 試料は、画像センサの視野内に整列していない少なくとも3つの参照オブジェクトを含み、それらの、前記取得平面に対する位置パラメータは決定され、参照表面又は参照面(the reference surface)の位置を決定するステップは、参照オブジェクトが配置される参照表面の位置を決定するステップを含み、関心表面の位置は、参照オブジェクトの位置と関心表面の位置との間の対応関係によって参照表面の位置から決定される;
- 参照オブジェクトの位置パラメータは、取得平面に対する位置座標を含み、参照表面の位置は位置座標の補間によって決定され、その後、取得平面に対する参照表面のパラメータ座標が決定される;
- 複数のホログラフィック画像は、画像センサによって、異なる位置の前記取得平面において、及び/又は、異なる周波数の照明光で取得され、ホログラフィック画像の取得平面に対する少なくとも1つの参照オブジェクトの位置が決定され、関心表面の位置の決定は少なくとも1つの参照オブジェクトの複数の位置を含む;
- 画像取得のフォーカス調整は、取得平面に対する関心表面の位置から導出された変位距離にわたって、少なくとも画像化システムの光軸に沿って、試料と画像センサとを相対的に変位させることを含む;
- 画像取得のフォーカス調整は、取得平面を変位させる画像化システムの光学部材を変更することを含む;
- 画像取得のフォーカス調整は、取得平面に対する関心表面の位置を含む伝播モデルを使用して取得されたホログラフィック画像を変換することを含む。
本発明は、ホログラフィック画像化システムにも関し:
- 視野内の取得平面においてホログラフィック画像を取得するように構成された画像センサと、
- 画像センサの視野内に配置された試料を照射するように構成された光源であって、試料は、関心表面を含み、さらに、既知の形状を有する参照オブジェクトであって、参照オブジェクトに関連する特性パラメータによって記述される、少なくとも1つの参照オブジェクトを含み、特性パラメータは少なくとも位置パラメータを含み、参照オブジェクトは関心表面の位置に対応する位置にある、光源と、
- 前記画像センサによって取得されたホログラフィック画像を受信して、取得平面に対する参照オブジェクトの位置を決定する、ように構成された自動データ処理システムであって、少なくとも1つの参照オブジェクトによる光回折モデルを使用し、光回折モデルは、参照オブジェクトの既知の形状に基づき、かつ、参照オブジェクトに関連する特性パラメータを含み、少なくとも前記参照オブジェクトの前記位置パラメータは、前記光回折モデルの調整によって推定され、前記ホログラフィック画像内の前記参照オブジェクトによって引き起こされる干渉パターンを近似し、位置パラメータによって画定された参照オブジェクトの位置から、取得平面に対する関心表面の位置を決定し、ホログラフィック画像化システムが、本発明による、画像センサによって試料の関心表面の画像を取得するためのフォーカス調整方法を実施するように構成されている、自動データ処理システムと、を備える。
- 視野内の取得平面においてホログラフィック画像を取得するように構成された画像センサと、
- 画像センサの視野内に配置された試料を照射するように構成された光源であって、試料は、関心表面を含み、さらに、既知の形状を有する参照オブジェクトであって、参照オブジェクトに関連する特性パラメータによって記述される、少なくとも1つの参照オブジェクトを含み、特性パラメータは少なくとも位置パラメータを含み、参照オブジェクトは関心表面の位置に対応する位置にある、光源と、
- 前記画像センサによって取得されたホログラフィック画像を受信して、取得平面に対する参照オブジェクトの位置を決定する、ように構成された自動データ処理システムであって、少なくとも1つの参照オブジェクトによる光回折モデルを使用し、光回折モデルは、参照オブジェクトの既知の形状に基づき、かつ、参照オブジェクトに関連する特性パラメータを含み、少なくとも前記参照オブジェクトの前記位置パラメータは、前記光回折モデルの調整によって推定され、前記ホログラフィック画像内の前記参照オブジェクトによって引き起こされる干渉パターンを近似し、位置パラメータによって画定された参照オブジェクトの位置から、取得平面に対する関心表面の位置を決定し、ホログラフィック画像化システムが、本発明による、画像センサによって試料の関心表面の画像を取得するためのフォーカス調整方法を実施するように構成されている、自動データ処理システムと、を備える。
本発明の他の特徴、目的及び利点は、以下の説明から明らかになるであろうが、これは純粋に例示的で限定的なものではなく、以下に示す添付図面に関して読むべきである。
図1は、本発明の1つの可能な実施形態によるホログラフィック画像化システムの簡略化された概略図を示す図である。
図2は、本発明の1つの可能な実施形態による、関心表面と参照オブジェクトとを有する試料の概略断面を示す図である。
図3は、参照オブジェクトとして複数のポリスチレンボールを含む試料のホログラフィック画像の実施例を示す図である。
図4は、本発明の1つの可能な実施形態による方法によって決定された、図3の画像の参照オブジェクトの位置を示す3次元モデルを示す図である。
図5は、本発明の1つの可能な実施形態による方法によって決定された、参照オブジェクトの位置から図3の画像をデジタルフォーカス調整した結果を示す図である。
図1は画像化システムを模式的に表したもので、ここでは、ホログラフィック画像化システムの結像面(an image plane)に配置されたデジタル画像センサ2によって試料1を画像化するオンラインホログラフィック画像化システム(an online holographic imaging system)である。画像化システムは、ホログラフィック画像を取得することができるという点で、ホログラフィック画像化システムと称されるが、この同じ画像化システムは、非ホログラフィック画像を取得することもできる。光軸5は、試料1と画像センサ2とを結ぶ。ここでは、この光軸5は直線的に示されているが、構成の関数として、より複雑になる可能性がある。光源4は、ホログラムを取得するために十分にコヒーレントである、つまりコヒーレント又は部分的にコヒーレントである照明光の照明ビームによって、ホログラフィック画像化システムの視野内の試料1を照明するように構成されている。照明光は、ホログラフィック画像化のための従来の特性を持ち、特に追加の制限はない。したがって、照明光はモノクロマティック(例えば、波長が500nm前後の)にすることも、又は、場合によってはいくつかの波長で構成することもでき、例えば次々に使用されることもできる。画像化システムは、試料1と画像センサ2の間の光路上に一組の光学部材8を含むことができる。図の例では、ホログラフィック画像化システムは、試料1とデジタル画像センサ2との間に配置された顕微鏡対物レンズ8aとチューブレンズ8bを備えている。ただし、顕微鏡対物レンズ8aなどの光学部材は任意であり、本発明はレンズ付きホログラフィック顕微鏡や特定の光学部材のセットに限定されない。もちろん、ここで説明する配置は非限定的な例である。任意のホログラフィック画像化システムは、オンラインでもオフラインでも、顕微鏡対物レンズ等の有無にかかわらず使用することができる。実際、この方法は画像化システムによって取得されたホログラフィック画像の使用に依存する。したがって、画像化システムが、参照オブジェクトによって引き起こされる干渉パターンが現れるホログラフィック画像を取得できる限り、この画像化システムは、この方法の実装に適している。画像化システムはまた、図示されていない自動データ処理システムを含み、自動データ処理システムは、少なくとも1つのプロセッサ、メモリを含み、画像センサ2から少なくとも1つのホログラフィック画像を受信し、このホログラフィック画像を、ホログラフィック画像化システムに対する(特にその取得平面(acquisition plane)2’に対する) 関心表面6(the surface of interest 6)の位置を決定するために処理する。
試料1は、画像化されるべき関心表面6を含む。関心表面6は、最も単純な場合には平面であってもよく、曲面であってもよい。関心表面6は、光軸5に垂直な面に延在してもよく、光軸5に垂直な面に対して傾斜していてもよい。関心表面6の位置は、画像化システムにおいて、位置及び可能な傾斜を含む、関心表面6の空間的配置として定義される。特に、試料1が光軸5上のいくつかの位置にいくつかの表面又は層を含む特定の体積を有する三次元物体である場合、関心表面6は試料1の一部であり得る。より一般的には、関心表面6は、画像化を試みる試料1の部分の位置に対応する。通常、試料1は、顕微鏡スライドなどのホルダ12の上に置かれ、有利には関心表面6は、ホルダ12と試料1との間の界面12a、又は図示の例のようにこの界面12aに平行な表面に対応するか、又はホルダ12と試料1との間の界面12aの位置からその位置を推定することができる。関心表面6の選択は、試料1及び観察すべき物についての先験的な知識の形態、例えば、試料1に存在し、ホルダ12の上に置かれている可能性が高い微生物15のサイズなどからの利益を得ることができることに留意すべきである。
試料1は、関心表面6の位置に対応する位置にある少なくとも1つの参照オブジェクト10を含む。参照オブジェクト10は既知の形状を有する。この形状は幾何学的パラメータで記述できるため既知である。あるいは、形状は、少なくとも照明光の波長に関して、例えば、参照オブジェクト10がレイリー散乱のボーダーラインの場合、つまり、この波長の5倍から10倍小さい寸法の場合には、参照オブジェクト10のサイズに関してのみ既知であり得る。この場合、幾何学的パラメータは存在しない。試料1は、好ましくは、いくつかの参照オブジェクト10、少なくとも3つの参照オブジェクト10、さらに好ましくは少なくとも5つの参照オブジェクト10を含む。試料1が多数の参照オブジェクト10を含む可能性がある場合、通常、1又は2ダース以上の参照オブジェクト10が取得された画像に現れる必要はない。
参照オブジェクト10に関連する特性パラメータは、各参照オブジェクト10を個別に配置する少なくとも位置パラメータ、通常は位置座標、を含む。参照オブジェクト10の位置とは、画像化システムにおける参照オブジェクト10の、位置と可能な傾きを含む、空間的配置を意味する。好ましくは、参照オブジェクトに関連する特性パラメータは、参照オブジェクトの既知の形状を記述する幾何学的パラメータも含む。幾何学的パラメータは、参照オブジェクト10の幾何学的形状の事前知識(a priori knowledge)に対応する。この点で、参照オブジェクト10は単純な幾何学的形状を有し、好ましくは、参照オブジェクト10は、球面、円筒形、又は楕円形である。球面形状を有する参照オブジェクト10の場合、幾何学的パラメータは、単に参照オブジェクト10をモデル化する球の半径、その球の中心の位置に対応する位置座標から構成され得る。より一般的には、幾何学的パラメータは、使用されるであろう光回折モデルによって考慮されるパラメータ(例えば、ミーモデル、一般化ミーモデル、トンプソンモデル、レイリーモデル)である。したがって、基本的に球の参照オブジェクト10の場合、ミー光回折モデル(又はローレンツ-ミー解)は、幾何学的パラメータとして球の半径のみを必要とする。基本的に円筒形の参照オブジェクト10の場合、半径と長さだけが形状を記述するのに必要な幾何学的パラメータを構成する。したがって、参照オブジェクト10の全ての幾何学的パラメータを知る必要はないが、参照オブジェクト10の形状の近似に対応し、光回折モデルによって使用されるパラメータのみを知る必要がある。
参照オブジェクト10のサイズは重要ではなく、例えば10nmから100μmの範囲の直径(より大きな寸法)を有することができる。参照オブジェクト10のサイズは二次的なアスペクトに依存する。一方で、参照オブジェクト10のサイズは、照明光の波長、参照オブジェクト10の周囲の媒体との屈折率差、又はホログラフィック画像内の他のオブジェクトによって生成されるコントラストを考慮しても、十分なコントラストを生成できるようにする必要がある。したがって、参照オブジェクト10の直径は、好ましくは10nmより大きく、より好ましくは100nmより大きい。一方、画像センサ2上の参照オブジェクト10の投影面積は、ホログラフィック画像の品質を変えないように、大きすぎてはならない。典型的には、10%未満の投影面積(さらには1%未満が望ましい)は、さもなければ試料1の残りの部分があまりにも高密度でない場合、良好なホログラフィック画像品質を可能にする。さらに、参照オブジェクト10は、試料1の残りの部分、特に関心のある表面6をマスクしてはならない。したがって、参照オブジェクト10のサイズは、画像センサ2の視野内のスペースをあまり取らないように選択される。この点で、参照オブジェクト10は、隣接するのではなく、好ましくは互いに離れており、好ましくは画像センサ2の視野全体に分散して分布している。
参照オブジェクト10は、任意の材料と同様に、屈折率を有する。参照オブジェクト10は試料1の残りの部分とは異なるため、その屈折率は周囲の媒質と非常にわずかではあるが異なる。したがって、参照オブジェクト10の屈折率が参照オブジェクト10の周囲の媒質の屈折率と0.01異なることで、取得した画像における光回折への影響を特定することができ、その方法を実装することができる。ただし、好ましくは、参照オブジェクト10の屈折率は、参照オブジェクト10のすぐ隣にある試料1の部分の屈折率から少なくとも0.05、できれば少なくとも0.1異なる。参照オブジェクト10の屈折率は、好ましくは、既知であり、光回折モデルに入力されている。特に、参照オブジェクト10が不透明である場合、つまり、その屈折率の複素成分が対象となる波長で無限大に向かう傾向があると考えることができる場合は、計算時間を短縮するために調整するパラメータの数を制限し、過剰な調整を避けるために、光回折モデルを適宜変更することができる。透明又は部分的に透明な参照オブジェクト10の場合、参照オブジェクト10の屈折率も不明であるか、又は不正確にしか知られていない可能性があり、回折モデルを使用して、参照オブジェクト10に関連する幾何学的又は位置パラメータと同じ方法で推定することができ、したがって、参照オブジェクト10に関連する特性パラメータの一部であることができる。
試料1は浸漬媒体14を含むことができ、光回折モデルは、回折モデルを使用することによって、オブジェクトと関連する特性パラメータとしての同じ方法で、ホログラフィック画像内の参照オブジェクトによって引き起こされる干渉パターンを近似するために、光回折モデルの調整によって推定される浸漬媒体14の屈折率を含む。
参照オブジェクト10は、関連する特性パラメータによって記述される既知の形状を有するか、又は照明光の波長に関して非常に小さいサイズである必要があるという事実を除けば、参照オブジェクト10の選択にはほとんど制限がない。参照オブジェクト10は不透明又は透明であり、シリカ、ポリスチレン、又は金などの金属などのさまざまな材料で構成され得る。上記の考慮事項に照らして、参照オブジェクト10は試料1に添加された人工物であり得る。人工参照オブジェクトを添加する利点は、主に、その幾何学的パラメータと屈折率、並びにその形状の規則性に関する洗練された知識(the refined knowledge )にある。試料1に添加された人工参照オブジェクト10の場合、これらは、参照オブジェクト10の実際の形状と、回折モデルによって考慮される特性パラメータによって記述される近似との間で最適な妥当性を可能にするために、単純な規則的な形状、好ましくは円筒形又は楕円形、さらに好ましくは球形を有するように選択される。例えば、図2に示す場合、参照オブジェクト10は直径1μmの不透明なポリスチレンボールである。
参照オブジェクト10は、試料1のホルダ12上にも存在し得、試料1との界面でホルダ12の一部を形成し得る。例えば、例えばフォトリソグラフィによってホルダ12の表面12 aをエッチングし、参照オブジェクトの要件(例えば、丸いニブ)を満たすことができる好ましい丸みを帯びた形状を現することができる。
参照オブジェクト10は、試料1に存在する微生物であり得る。例えば、表皮ブドウ球菌 (Staphylococcus epidermidis)という細菌は準球形をしており、特定の範囲の既知のサイズ(したがって調整によって推定できる)と、特定の範囲の既知の屈折率(したがって調整によって推定できる)を有する。さらに、皮膚の細菌フローラの典型であるヒトの共生細菌であり、したがって、画像化されるべき試料に一般的に存在する可能性が高い(自然又は汚染による)。光回折モデルで考慮される可能性の高い幾何学的パラメータで記述できる形状を有し、サイズと屈折率を推定できる微生物であれば、他の種類の微生物を使用することができる。したがって、試料1の天然成分を有利に使用することができる。なお、試料1に添加した不活性な人工物と、試料1に存在する微生物の両方を使用することも可能である。
前述のように、参照オブジェクト10は、関心表面6の位置と対応する位置にあり、すなわち、関心表面6の位置と参照オブジェクト10の位置との間には対応関係がある。特定の構成で問題がない場合、例えば、参照オブジェクト10が試料1の関心表面6(例えば微生物の場合)に自然に存在する場合や、又は関心表面6が、参照オブジェクト1が形成されるホルダ12の表面と一致する場合、他の構成では、参照オブジェクト10の位置と関心表面6との間の対応を確実にするための構成が必要となることがある。関心表面6がホルダ12の表面12aと一致する場合、又は、例えば平行関係によってホルダ12のこの表面12aと結合している場合、残りの試料1をホルダ12上に置く前に、参照オブジェクト10をホルダ12の表面12aに直接堆積させることができる。したがって、残りの試料1を置く前に、あらかじめホルダ12の表面12aに、浮遊する参照オブジェクト10を含む流体浸漬媒体14(例えば水)を堆積させることができる。
試料1を配置すると、試料1は照明光によって照明され、画像センサ2は少なくとも1つの2次元ホログラフィック画像を取得する。これは、分離して取得された画像である場合もあれば、一連の画像である場合もあり、特に、光軸5に沿った試料1に対する取得平面2’の異なる位置及び/又は照明光に対して異なる波長で取得された一連のホログラフィック画像である場合もある。
試料1に対する取得平面2’のこれらの異なる位置は、例えば、モータ駆動ステージによって試料1及びそのホルダ12を各画像取得間で、光軸上で変位させることにより、画像センサ2に対して光軸5に沿って試料1の異なる位置ごとに、得ることができる。また、例えば、モータ駆動レール又はモータ駆動ステージを介してイメージセンサ2を変位させることも可能である。また、取得平面2’を画像センサ2から変位させるために、画像センサ2に入射する光ビームのフォーカシングを変更することにより、ホログラフィック画像化システムの光学部材を変更して、取得平面2’のこれらの異なる位置を得ることも可能である。
上述のように、どのような種類のホログラフィック画像システムでも使用できるように、デジタル画像センサ2の視野内に参照オブジェクト10が存在することによる光学的効果、特に照明光と参照オブジェクト10によって散乱された光との干渉によって発生する干渉図形が、ホログラフィック画像に参照オブジェクトによる干渉パターンとして現れることが、取得画像から明らかになる限り、様々なホログラフィック画像取得技術が使用されることができる。ただし、画像が、参照オブジェクト10(むしろ、それらによって引き起こされる干渉パターン)を画像化するように適合した構成のホログラフィック画像システムで取得され、したがって、当業者に共通の適切な設定(イルミネーションなど。)が行われることは言うまでもない。
図3に、ホログラフィック画像システムの画像センサ2によって取得された二次元の強度ホログラフィック画像の実施例を示す。ここでの参照オブジェクト10は、ホルダ12の表面に配置された直径約1μmの不透明なポリスチレンボールである。この試料は、波長約510nmの照明光によって画像化される。
ホログラフィック画像が取得されると、取得平面2’に対する1つ以上の参照オブジェクト10の位置が決定される。そのために、参照オブジェクト10によって光回折モデルが使用される。回折モデルは、取得されたホログラフィック画像内の参照オブジェクト10を検出し、取得平面2’に対する位置を決定するために使用される。回折モデルは、参照オブジェクト10の特性から、視野内の参照オブジェクト10の存在によって発生する干渉、及び、したがって取得されたホログラフィック画像内の参照オブジェクト10の外観又は出現(the appearance)を、取得平面2’に対する位置の関数として予測することを可能にする。より正確には、光回折モデルは、参照オブジェクト10の幾何学的パラメータ及び参照オブジェクト10の位置座標、並びに場合によっては参照オブジェクト10の屈折率を考慮する。他のパラメータ、特に浸漬媒質14のインデックス若しくは屈折率、又は、照明光の波長、倍率、デジタル開口などの、ホログラフィック画像化システムの特性を考慮することができる。しかしながら、これらの他のパラメータは、ユーザによる、測定器の設計要素であり、既知であり、固定されている。したがって、これらは設定に対応しているだけであり、いずれにせよ同じ画像内の異なる参照オブジェクト10に対して変化することはない。したがって、重要なパラメータは、参照オブジェクト10の幾何学的パラメータと参照オブジェクト10の位置座標であり、程度は低いがその光学特性(特に屈折率)である。
参照オブジェクトに関連する特性パラメータは、モデルによって記述された干渉図形と、取得されたホログラフィック画像に現れる干渉パターンとが最も適合するように調整された変数である。参照オブジェクト10に関連するパラメータ、又は少なくとも参照オブジェクトの位置座標は、光回折モデルで調整することによって推定され、取得されたホログラフィック画像内の参照オブジェクトに起因する干渉パターンを近似する。回折モデルによって記述された干渉図形と取得されたホログラフィック画像に現れる干渉パターンとの間の妥当性により、回折モデルで使用される特性パラメータ(位置パラメータ、幾何パラメータ、光学的パラメータ)は参照オブジェクト10のそれらであると決定することができる。この推定は、1つの基準を最小化することによって行うことができる。これは、尤度最大値に基づく及び/又はアプリオリ(例えば、幾何学的パラメータと光学的パラメータの期待値の二次リマインダ)及び/又は(例えば、幾何学的又は光学的パラメータの許容値の範囲について)制限を含む逆問題アプローチであり得る。例えば、デジタル画像センサ2の各ピクセルによって感知される強度に関するガウス雑音の仮説の下では、この参照オブジェクトを記述する空間パラメータVのベクトルに依存し、画像センサ2がある画像プレーンにおける電磁場及び詳細な強度を予測する、入射波と参照オブジェクトの相互作用による光回折のデータD(つまり、取得した画像)とモデルMとの間の、場合によっては重み付けされた、最小二乗法であり得る。参照オブジェクト10を中心が座標(x,y,z)に位置する半径rの球として用いると、推定されるべきパラメータのベクトルは、V=(x,y,z,r)tの形をとり、パラメータの推定Eは、推定されるパラメータのベクトルVに適用されるデータDとモデルMとの間の差の標準L2を最小化することによって決定される:
ここでWは任意の重み付け行列であり、デッドピクセルや欠落ピクセルを考慮し、又はノイズ共分散行列を考慮できる。この例では、参照オブジェクト10は球形であると仮定され、モデルは通常ミーモデルであることができる。参照オブジェクト10の他の形状は、これらの形状を記述する他の幾何学的パラメータと共に考慮することができる。特に、光回折モデルは、参照オブジェクト10の既知の形状の関数として選択され、モデルは、例えば、ミーモデル、一般化ミーモデル、トンプソンモデル、又はレイリーモデル、又はレイリー・ゾンマフェルト伝播モデルであり得る。ミーモデルは、特に、照明光の波長に相当するサイズの球状の参照オブジェクト10に適応され、一般化ミーモデルは、好ましくは、円筒形又は楕円形の形状のオブジェクトに適用され;トンプソンモデルは、不透明な球形のオブジェクトに適用され、好ましくは、レイリーモデルは照明光の波長の5倍から10倍未満のサイズの、任意の形状の参照オブジェクト10に適用される。
また、屈折率が回折モデルの調整によって推定されるべき特性パラメータの1つである場合、幾何学的及び位置パラメータと同様に、推定されるべきパラメータのベクトルに追加することができる。上の実施例では、推定されるべきパラメータのベクトルは、参照オブジェクト10の屈折率nを有するV=(x、y、z、r、n)tの形をとる。不確実性が発生する光の回折又は伝播に関与する他のパラメータを推定することもできる。ただし、好ましくは、推定されるべきパラメータの数は、方法の精度を変更しないように、できる限り少なくされている。
好ましくは、画像センサ2の視野内にいくつかの参照オブジェクト10が存在し、取得されたホログラフィック画像に現れる。各参照オブジェクト10の位置の決定は、取得平面2’に対するそれぞれの位置パラメータを決定することによって、好ましくは、参照オブジェクト10の後に参照オブジェクト10に対して反復的に行われる。好ましくは、その参照オブジェクト10に関連する特性パラメータが事前に決定されている参照オブジェクト10の出現のたびに取得されたホログラフィック画像のデータから減算することによって、行われる。特に、貪欲タイプのアルゴリズム(a greedy type algorithm)を適用することが可能である。
取得したホログラフィック画像上に3つ以上の整列していない参照オブジェクトが出現する限り、参照オブジェクトの取得平面2’に対する光軸5(z座標)上の相対位置だけでなく、これらの参照オブジェクト10が配置されたいわゆる参照表面の配向も決定することができる。したがって、関心表面6の位置の決定は、参照オブジェクト10の位置の決定に続いて、例えば参照オブジェクト10の位置座標を取得平面2’に対して補間することによって、これらの参照オブジェクト10が配置された参照表面を決定し、参照オブジェクト10が配置されたこの参照表面のパラメトリック座標を決定する、ことを含むことができる。その後、関心表面6の位置は、参照表面と関心表面6との対応によって、この参照表面に対して決定することができる。
図4は、図3の画像の7つの参照オブジェクト10の位置を示す3次元表現であり、取得平面2’に関して、これらの位置は、ボールの位置、幾何学的及び光学的パラメータ、この場合は位置座標(x,y,z)、ボールの半径、及びそれらの屈折率を含む、光回折のミーモデルの調整によって決定される。各点はボールの中心を表す。座標は、光学z軸5及び光学z軸5に垂直なx座標、y座標の両方について、数十マイクロメートル単位で示されている。図4は、参照オブジェクト10が、参照表面上に、この場合はそれらが置かれているホルダ12の表面12a上にうまく配置されていることを示している。
図4の例では、位置を決定できる参照表面6’は、ボールが堆積するホルダ12の表面12aである。これは特に有利な特別な場合であるが、ボールの半径rに対応する距離だけホルダ12からzオフセットされるボールの中心など、別の参照表面を選択することもできた。しかしながら、ボールの中心を通るこのような表面は、すべてのボールが正確に同じ半径を持たない場合には、不規則で平面ではない場合がある。したがって、好ましくは、基準面6’として、原則として平面であり、ボールの半径の規則性に依存しないホルダ12の表面12aが選択される。
参照オブジェクト10の位置が取得平面2’に対して決定されると、その位置パラメータ(通常はその位置座標)を介して、参照オブジェクト10の位置パラメータから、参照オブジェクト10が関心表面6の位置に対応する位置にあるため、取得平面2’に対する関心表面6の位置を決定することが可能である。参照オブジェクト10が配置された参照表面6’のパラメトリック座標が決定されている場合、この参照表面6’のパラメトリック座標から関心表面6の位置を決定することができる。
関心表面6の位置は、参照オブジェクト10の位置と一致することができ、これは最も単純な対応である。したがって、図4の例では、関心表面6が試料1とホルダ12との間の界面と一致した場合、参照オブジェクト10又はそこから派生した参照表面6’の位置は、取得平面2’に対する関心表面6の位置を直接与えることになる。関心表面6の位置は、参照オブジェクト10の位置と一致しない場合があるが、関心表面6の位置と参照オブジェクト10の位置との間には常に対応関係がある。この場合、関心表面6の位置は、参照オブジェクト10の位置に対して定義することができる。この対応は、例えば、一方向、特に光軸5に沿ったオフセットであることができる。
図4の例では、関心表面6の位置は、ホルダ12の表面12aにある参照オブジェクト10の中間に相当する。図4の例では、参照オブジェクト10の位置からその位置を決定できる関心表面6は、したがって、試料1とホルダ12との間の界面を形成するホルダ12の表面12aではなく、光軸5に沿った単純な平行移動によって、ボールの中心に関して定義することができる。参照表面6’としてホルダ2の表面12a上のボールの位置を考慮し、各参照オブジェクト10に関連する特性パラメータを形成する幾何学的パラメータとして決定された可能性のある、ボールの半径rの1回に相当する値によってz座標をオフセットすることで十分である。別の関心表面6を選択することは容易である。例えば、別の関心表面6を形成するボールの頂部の位置を知りたい場合、参照表面6’としたホルダ12の表面12aからのボールの半径の2倍の平行移動で十分である。
例えば、試料1がホルダ12上にある2μm厚の微生物を含む場合、関心表面6は、これらの細菌の中心を通過するように選択することができる。したがって、関心表面6は、参照表面6’として取られたホルダ12の表面12aからの1μmのオフセットによって定義される。ただし、他のオフセットも可能である。したがって、関心表面6がボールの中心が配置された面と一致する場合、ボールの中心の面によって形成される関心表面6は、取得平面2’から約17.5μm離れた距離において、光軸5上にあると判断できる。有利には、これらの例のように、参照表面の位置と関心表面6の位置との対応は、参照オブジェクト10の幾何学的パラメータに依存する場合がある。しかしながら、これは必須でない。例えば、参照オブジェクト10に関して、参照オブジェクトの幾何学的パラメータに関連しない、所与の距離に位置する関心表面6を画像化することが望まれる場合がある。ホルダ12の表面12aから5μmの関心表面6を画像化するには、ボールの底部のz座標(光軸5に沿って)に対して5μmの平行移動で十分である。
参照オブジェクト10が1つしかない場合、決定できるフォーカス調整に関連する位置情報は、参照オブジェクト10の位置のみであり、したがって、参照オブジェクト10のz座標を経由した、光軸5に沿った、関心表面6の位置のみである。しかしながら、これは最も価値のある情報である。この光軸5上の関心表面6の位置の知識だけで、画像取得のための画像化システムのフォーカス調整を可能にする、すなわち、ホログラフィック画像化システムの焦点面で関心表面6の画像を確実に取得することができる。その後、参照表面6’は光軸5に垂直な参照表面であり、そのz座標は参照オブジェクト10(例えば、その中心や側面)のz座標である。
好ましくは、試料1は、画像センサ2の視野内に少なくとも3つの参照オブジェクトを含み、それらの、前記取得平面2’に対する位置パラメータは決定され、好ましくは少なくとも5つの参照オブジェクト10を含む。いくつかの参照オブジェクト10の、取得平面2’に対する位置パラメータを有すると、いくつかの参照オブジェクト10の位置座標などの位置パラメータの組み合わせを使用することにより、例えばそれらのz座標を平均することにより、取得平面に対する関心表面6の位置の決定の精度を向上させることができる。複数の位置座標を有することにより、光軸5に垂直な面で定義されるx座標とy座標を使用して、参照オブジェクト10が取得平面2’に対して配置される参照表面の可能な傾き、したがって関心表面6の可能な傾きを決定することも可能になる。前述のように、この目的のために参照表面のパラメトリック座標を決定することができる。また、複数の位置座標は、例えば標準偏差などの結果の統計的散乱推定量を決定することによって、位置決定の精度を推定することを可能にする。
同様に、精度をさらに向上させるために、取得平面2’の異なる位置においてイメージセンサ2によって取得されたいくつかのホログラフィック画像から作業することが可能である。各ホログラフィック画像について、当該ホログラフィック画像の取得平面2’に対する少なくとも1つの参照オブジェクト10の位置が決定され、関心表面6の位置の決定は、取得平面2’の異なる位置に対する少なくとも1つの参照オブジェクト10のいくつかの位置を含む。照明光の波長によって異なる光学的効果を考慮するために、照明光について異なる波長で画像センサ2によって取得されたいくつかのホログラフィック画像から作業することも可能である。
一旦、取得平面2’に対する関心表面6の位置が決定されると、取得平面2’に対する関心表面6の位置に基づいて、画像取得のフォーカス調整を行うことができる。フォーカス調整とは、取得平面2’に対応して、関心表面6と物体焦点面との位置を一致させることである。
フォーカス調整は、取得平面2’に対して関心表面6の位置から導出された変位距離にわたって(over a displacement distance)、光軸5に沿って、試料1又は画像センサ2が相対的に変位することを含み得る。フォーカス調整は、例えば、ホルダ12を変位させるレール又はモータ駆動ステージによって、試料1を光軸5に沿って変位させ、試料1の関心表面の位置が画像センサ2の取得平面2’と一致するようにすることである。取得平面2’を変位させる画像化システムの光学部材を変更し、関心表面の位置と一致させることも可能である。このようにして、その後に取得された画像は、関心表面が、この関心表面上にフォーカス調整された状態で画像化されることを可能にする。フォーカス調整の結果として取得されたこの画像が、有利にはホログラフィック画像であり得ることは明らかであるが、フォーカス調整の結果として取得されたこの画像が、必ずしもホログラフィック画像であるとは限らないことに留意されたい。例えば、フォーカス調整のみにホログラフィック画像を使用し、その後、例えば白色光などの他の取得方法を使用して画像を取得することが可能である。
他のフォーカス調整モード整は、ホログラフィック再構成とも称されるデジタルフォーカス調整方法を使用することであり、取得平面2’に対する関心表面6の位置を含む伝播モデルを使用して取得されたホログラフィック画像を変換することを含む。複素関数による画像データの畳み込みは、画像化されたオブジェクトに対して焦点面が事後的又は帰納的に(a posteriori)変位することを可能にする。特に、レイリー・ゾンマフェルト伝播モデルを使用することができる。例えば、Joseph W.Goodmanの書籍「Introduction to Fourier optics」 の第二版、McGraw Hill Higher Education, 1996の第3章には、このモデルが記述されている。既に取得された画像をデジタル方式でフォーカス調整することで、機械的なフォーカシングシステムを不要にすることができる(to be dispensed with)。
図5は、レイリー・ゾンマフェルト伝播再構成によって図3の画像に適用されたデジタル(又は「コンピュータ」)フォーカス調整の結果を示しており、焦点面は、ボールの中心を通過するように選択された関心表面6(ボールが載っているホルダ12の表面12aに対応する参照表面)に対応するように変位している。いくつかのアーチファクト(ボールの周りのハロー)を観察することができるが、ボールは、画像取得中に取得平面2’に直接配置されたかのように、明確に見えることに留意されたい。
上記の方法の結果は、最初のホログラフィック画像を取得する能力に加えて、特定の機器を必要とせず、画像化システムに大きな制約を与えることなく、非常に正確に試料1の関心表面6の画像を取得するためのフォーカス調整を行うことができることを示している。したがって、この方法は、ホログラフィック画像を取得できる既存のすべての画像化システムに適用することができる。
本発明は、添付の図面に記載され、表された実施形態に限定されない。ただし、本発明の保護範囲から逸脱することなく、特に様々な技術的特性の構成に関して、又は技術的同等物の置換によって、変更が可能である。
Claims (15)
- 画像化システムからの画像センサによって、試料から関心表面の画像を取得するためのフォーカス調整方法であって、
- 前記関心表面を有する前記試料を前記画像化システムの前記画像センサの視野内に配置するステップであって、前記試料は、既知の形状を有する参照オブジェクトであって、前記参照オブジェクトに関連する特性パラメータによって記述される、少なくとも1つの参照オブジェクトを含み、前記特性パラメータは少なくとも前記参照オブジェクトの位置パラメータを含み、前記参照オブジェクトは前記関心表面の位置に対応する位置にある、ステップと、
- 照明光によって前記試料を照明するステップ、及び、前記参照オブジェクトによって引き起こされる干渉パターンの、取得平面におけるホログラフィック画像を取得するステップと、
- 前記取得平面に対する前記参照オブジェクトの位置を決定するステップであって、前記少なくとも1つの参照オブジェクトによる光回折モデルを使用し、前記光回折モデルは、前記参照オブジェクトの前記既知の形状に基づき、かつ、前記参照オブジェクトの特性パラメータを含み、少なくとも前記参照オブジェクトの前記位置パラメータは前記光回折モデルの調整によって推定され、前記ホログラフィック画像に現れる前記参照オブジェクトによって引き起こされる干渉パターンを近似する、ステップと、
- 前記位置パラメータによって画定された前記参照オブジェクトの位置から、前記取得平面に対する前記関心表面の位置を決定するステップと、
- 前記取得平面に対する前記関心表面の位置に基づいて前記画像を取得するためのフォーカス調整を行うステップと、
を含む方法。 - 前記参照オブジェクトは、前記試料に添加された人工物であるか、又は前記参照オブジェクトは前記試料中に存在する微生物である、
請求項1記載の方法。 - 前記参照オブジェクトは、球形、円筒形、又は楕円形である、
請求項1記載の方法。 - 前記光回折モデルは、ミー、一般化ミー、トンプソン、又はレイリーモデルである、
請求項1記載の方法。 - 前記参照オブジェクトに関連する前記特性パラメータは、前記参照オブジェクトの前記既知の形状を記述する幾何学的パラメータも含む、
請求項1記載の方法。 - 前記参照オブジェクトの前記幾何学的パラメータは、前記光回折モデルの調整によって推定され、前記ホログラフィック画像内の前記参照オブジェクトによって引き起こされる干渉パターンを近似する、
請求項5記載の方法。 - 前記参照オブジェクトに関連する特性パラメータは、前記光回折モデルの調整によって推定される前記参照オブジェクトの屈折率を含み、前記ホログラフィック画像内に現れる前記参照オブジェクトによって引き起こされる干渉パターンを近似する、
請求項1記載の方法。 - 前記試料は、浸漬媒体内に置かれ、
前記光回折モデルは、前記光回折モデルの調整によって推定される前記浸漬媒体の屈折率を含み、前記ホログラフィック画像内に現れる前記参照オブジェクトによって引き起こされる干渉パターンを近似する、
請求項1記載の方法。 - 前記試料は、前記画像センサの視野内の整列していない少なくとも3つの参照オブジェクトを含み、それらの、前記取得平面に対する位置パラメータは決定され、
前記関心表面の位置を決定するステップは、前記参照オブジェクトが配置されている参照表面の位置を決定するステップを含み、
前記参照表面の位置は、前記参照オブジェクトの位置と前記関心表面の位置との対応によって、前記参照表面の位置から決定される、
請求項1記載の方法。 - 前記参照オブジェクトの位置パラメータは、前記取得平面に対する位置座標を含み、
前記参照表面の位置は前記位置座標の補間によって決定され、その後、前記取得平面に対する前記参照表面のパラメータ座標が決定される、
請求項9記載の方法。 - 複数のホログラフィック画像は、前記画像センサによって、異なる位置の前記取得平面において、及び/又は、異なる周波数の前記照明光で取得され、
前記ホログラフィック画像の各々に対して、前記ホログラフィック画像の前記取得平面に対する少なくとも1つの前記参照オブジェクトの位置が決定され、
前記関心表面の位置の決定は前記少なくとも1つの前記参照オブジェクトの複数の位置を含む、
請求項1記載の方法。 - 前記画像取得のフォーカス調整は、前記取得平面に対する前記関心表面の位置から導出された変位距離にわたる、少なくとも前記画像化システムの光軸に沿った、前記試料と前記画像センサとの相対的な変位を含む、
請求項1記載の方法。 - 前記画像取得のフォーカス調整は、前記取得平面を変位させる前記画像化システムの光学部材を変更することを含む、
請求項1記載の方法。 - 前記画像取得のフォーカス調整は、前記取得平面に対する前記関心表面の位置を含む伝播モデルを使用して取得されたホログラフィック画像を変換することを含む、
請求項1記載の方法。 - 画像化システムであって:
- 視野内の取得平面においてホログラフィック画像を取得するように構成された画像センサと、
- 前記画像センサの視野内に配置された試料を照射するように構成された光源であって、前記試料は、関心表面を含み、さらに、既知の形状を有する参照オブジェクトであって、前記参照オブジェクトに関連する特性パラメータによって記述される、少なくとも1つの参照オブジェクトを含み、前記特性パラメータは少なくとも位置パラメータを含み、前記参照オブジェクトは前記関心表面の位置に対応する位置にある、光源と、
- 前記画像センサによって取得されたホログラフィック画像を受信して、前記取得平面に対する前記参照オブジェクトの位置を決定する、ように構成された自動データ処理システムであって、前記少なくとも1つの参照オブジェクトによる光回折モデルを使用し、前記光回折モデルは、前記参照オブジェクトの前記既知の形状に基づき、かつ、前記参照オブジェクトに関連する特性パラメータを含み、少なくとも前記参照オブジェクトの前記位置パラメータは、前記光回折モデルの調整によって推定され、前記ホログラフィック画像内の前記参照オブジェクトによって引き起こされる干渉パターンを近似し、前記位置パラメータによって画定された前記参照オブジェクトの位置から、前記取得平面に対する前記関心表面の位置を決定し、前記画像化システムが、請求項1乃至14いずれか1項記載の、前記画像センサによって試料の関心表面の画像を取得するためのフォーカス調整方法を実施するように構成されている、自動データ処理システムと、
を備える、画像化システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2006613 | 2020-06-24 | ||
FR2006613A FR3111998B1 (fr) | 2020-06-24 | 2020-06-24 | Procédé de mise au point pour système d'imagerie holographique |
PCT/FR2021/051141 WO2021260321A1 (fr) | 2020-06-24 | 2021-06-23 | Procédé de mise au point pour système d'imagerie holographique |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023531715A true JP2023531715A (ja) | 2023-07-25 |
Family
ID=72709537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022579916A Pending JP2023531715A (ja) | 2020-06-24 | 2021-06-23 | ホログラフィック画像化システムのためのフォーカス調整方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230236542A1 (ja) |
EP (1) | EP4172699A1 (ja) |
JP (1) | JP2023531715A (ja) |
CN (1) | CN116097177A (ja) |
FR (1) | FR3111998B1 (ja) |
WO (1) | WO2021260321A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4307051A1 (fr) | 2022-07-11 | 2024-01-17 | Biomerieux | Procede et systeme de caracterisation de microorganismes par microscopie holographique numerique |
WO2024013202A1 (fr) | 2022-07-11 | 2024-01-18 | Biomerieux | Procede et systeme de caracterisation de microorganismes par microscopie holographique numerique |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10386289B2 (en) * | 2016-12-23 | 2019-08-20 | miDiagnostics NV | Method and system for determining features of objects in a suspension |
-
2020
- 2020-06-24 FR FR2006613A patent/FR3111998B1/fr active Active
-
2021
- 2021-06-23 JP JP2022579916A patent/JP2023531715A/ja active Pending
- 2021-06-23 CN CN202180052170.2A patent/CN116097177A/zh active Pending
- 2021-06-23 US US18/012,045 patent/US20230236542A1/en active Pending
- 2021-06-23 EP EP21740161.1A patent/EP4172699A1/fr active Pending
- 2021-06-23 WO PCT/FR2021/051141 patent/WO2021260321A1/fr unknown
Also Published As
Publication number | Publication date |
---|---|
EP4172699A1 (fr) | 2023-05-03 |
WO2021260321A1 (fr) | 2021-12-30 |
FR3111998A1 (fr) | 2021-12-31 |
CN116097177A (zh) | 2023-05-09 |
US20230236542A1 (en) | 2023-07-27 |
FR3111998B1 (fr) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schürmann et al. | Three‐dimensional correlative single‐cell imaging utilizing fluorescence and refractive index tomography | |
US8937722B2 (en) | Complex index refraction tomography with sub λ/6-resolution | |
US20140160236A1 (en) | Lensfree holographic microscopy using wetting films | |
JP6649379B2 (ja) | 生物学的粒子の位置の決定を含む分析方法 | |
JP6975771B2 (ja) | サンプルの粒子を特徴付けるホログラフィック方法 | |
US9846151B2 (en) | Sample vial for digital holographic analysis of a liquid cell sample | |
US8687253B2 (en) | Speckle noise reduction based on longitudinal shift of sample | |
CN108254295B (zh) | 一种定位与表征球形微粒的方法及其装置 | |
JP2023531715A (ja) | ホログラフィック画像化システムのためのフォーカス調整方法 | |
Schürmann et al. | Refractive index measurements of single, spherical cells using digital holographic microscopy | |
Maiden et al. | A new method of high resolution, quantitative phase scanning microscopy | |
Langhorst et al. | Structure brings clarity: structured illumination microscopy in cell biology | |
Langehanenberg et al. | Autofocus algorithms for digital-holographic microscopy | |
Perucho et al. | Wavefront holoscopy: application of digital in-line holography for the inspection of engraved marks in progressive addition lenses | |
Malik et al. | A practical criterion for focusing of unstained cell samples using a digital holographic microscope | |
EP2012109A1 (en) | Method for obtaining a high resolution image | |
Cogswell et al. | Confocal brightfield imaging techniques using an on-axis scanning optical microscope | |
Olivier et al. | Effects of some model approximations in the reconstructions of digital in-line holograms: simulations, experiments on calibrated objects and model refinement assessment | |
US20240168272A1 (en) | Method and device for microscopy | |
Brard | Thomas Olivier, Dylan Brault, Sachin Joshi, Thomas | |
CN114609004A (zh) | 一种微纳气泡的三维动态成像表征装置 | |
Schürmann et al. | 3D single-cell imaging using combined fluorescence and refractive index tomography | |
Kujawinska et al. | Problems and solutions in tomographic analysis of phase biological objects | |
Lee | Computational optical imaging: Applications in synthetic aperture imaging, phase retrieval, and digital holography | |
Gutzler | Fourier holography for wide-field characterisation of microstructures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240520 |