JP6490219B2 - デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法 - Google Patents

デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法 Download PDF

Info

Publication number
JP6490219B2
JP6490219B2 JP2017528223A JP2017528223A JP6490219B2 JP 6490219 B2 JP6490219 B2 JP 6490219B2 JP 2017528223 A JP2017528223 A JP 2017528223A JP 2017528223 A JP2017528223 A JP 2017528223A JP 6490219 B2 JP6490219 B2 JP 6490219B2
Authority
JP
Japan
Prior art keywords
edge detection
image
depth
focal plane
depths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017528223A
Other languages
English (en)
Other versions
JP2017538160A (ja
JP2017538160A5 (ja
Inventor
シャオ・チン−チュン
チャン・ティン−ティン
リャオ・チャオ−カン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interuniversitair Microelektronica Centrum vzw IMEC
Imec Taiwan Co
Original Assignee
Interuniversitair Microelektronica Centrum vzw IMEC
Imec Taiwan Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interuniversitair Microelektronica Centrum vzw IMEC, Imec Taiwan Co filed Critical Interuniversitair Microelektronica Centrum vzw IMEC
Publication of JP2017538160A publication Critical patent/JP2017538160A/ja
Publication of JP2017538160A5 publication Critical patent/JP2017538160A5/ja
Application granted granted Critical
Publication of JP6490219B2 publication Critical patent/JP6490219B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Holo Graphy (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)

Description

本発明は、デジタルホログラフィ画像処理の技術に関する。より具体的にいうと、本発明は、デジタルホログラフィにおける画像処理のためのオートフォーカスシステムおよびオートフォーカス方法に関する。
レンズフリーのホログラフィイメージングは、通常、高価であったり複雑であったりする光学系部品を必要としないので、小型のオブジェクト（物体）を撮影する上で低コストの方法を提供できる。また、レンズフリーのホログラフィイメージングは、レンズを用いた従来のコンパクトなマイクロスコープと比べて、比較的視野を大きくすることができる。さらに、ホログラフィイメージングによれば、被写界深度に優れた撮影を行うことができ、その結果、一回の画像取得でボリュームの大きい撮影を行うことができる。
しかし、多くの場合（例えばオブジェクトを自動的に探索する際）、対象のオブジェクトと画像検出器との距離は事前に知られておらず、例えばこの距離は可変であって、重要な確率的な要素を含むことがある。この技術分野で知られたデジタルホログラフィ再構成アルゴリズム（例えば光学場の前方および後方への伝播を用いたもの）は、通常、質の高い再構成を行うために、パラメータとしての焦点距離を必要とする。焦点が誤っていると、得られる画像が不鮮明となり、細胞の挙動分析など特定の用途における利用が困難になるおそれがある。したがって、自動的に最適な焦点面を見出す方法、および、これに対応したオートフォーカスシステムを提供することが望まれている。
この技術分野では、レンズフリーのホログラフィ撮影において対象のオブジェクトについて適切な焦点面を決定するために、画像座標に応じた大きさの勾配（グラディエント）を有するスカラー画像を用いることが知られている。こうしたアプローチは、再構成された波の振幅の大きさ、または関連する量（例えばスカラー画像の強度）から成るホログラフィ再構成画像の空間勾配の分析に基づいている。こうした方法は、振幅ベースのアプローチとして特徴付けられることがある。
例えば、Onur Mudanyaliらによる文献"Detection of Waterborne Parasites Using Field-Portable and Cost-Effective Lensfree Microscopy"では、二次元画像座標に応じた画像の勾配の大きさに基づいて振幅画像が決定される。画像の勾配は、再構成画像に対して縦方向と横方向のソーベル演算子を用いて畳み込みを行うことにより、近似的に求められる。この振幅画像の変動は、焦点測定値（focus measure)として用いられる。この焦点測定値は、良好なシャープネスとコントラストが得られる再構成用焦点距離で最大値に達する。
Mario A、Bueno-lbarraらによる文献"Fast Autofocus Algorithm for Automated Microscopes"では、顕微鏡を用いて従来行われてきたさまざまな焦点距離で焦点測定値が決定されている。この文献は、ソーベルテネングラッド(Sobel-Tenengrad)勾配(SOB VAR)の大きさの変動に基づく焦点測定値を開示している。また、この文献は、離散ラプラス演算子(LAP VAR)を用いた画像の畳み込みの絶対値の変動に基づく焦点測定値を開示している。
振幅ベースのアプローチが一般的に用いられているが、画像の微分操作によりスカラー画像に基づいて得られるスカラー焦点測定値の欠点は、スカラー焦点測定値の最大化により最適な焦点面を決定するために、対象の深度範囲全体における包括的な探索が行われることである。それゆえ、探索範囲を狭くして探索速度を向上させることが有利であろう。
本発明の目的は、効率的で優れたオートフォーカス方法および対応するオートフォーカスシステムを提供することである。
上述の目的は、本発明に係る方法とデバイスにより達成される。
本発明の実施形態により得られる１つの利点は、機械的な焦点合わせ手段が必要とされないことである。
本発明の実施形態により得られる１つの利点は、オフラインでコンピュテーショナルイメージフォーカシングを達成できることである。
本発明の実施形態により得られる１つの利点は、例えば機械的なフォーカシングが必要でないために、画像取得時間を短くすることができることである。
本発明の実施形態により得られる１つの利点は、自動光学探査プロセスにおいて、容易にかつ迅速に、焦点距離の探索範囲を狭くすることができることである。
本発明の実施形態により得られる１つの利点は、良好な再構成画像（例えば、シャープで鮮明で対象のオブジェクトに焦点が良く合っている再構成画像）を取得するために、必要となるホログラフィ画像の取得回数を数回程度にすることができることである。
第１の態様で、本発明は、（例えば再構成ホログラフィ画像内の）少なくとも１つのオブジェクトについて、焦点面（例えば最適な焦点面）を決定するためのオートフォーカス方法（例えば、コンピュータにより実装されたオートフォーカス方法）に関する。
この方法は、前記少なくとも１つのオブジェクトのホログラフィ画像を再構成して、例えば互いに異なる複数の焦点深度で再構成画像を提供するステップを含んでいる。
例えば、前記再構成画像は、複数の二次元再構成ホログラフィ画像（それぞれ、前記二次元ホログラフィ画像が再構成される（互いに異なる）焦点深度に対応する）を含んでいてよい。
前記再構成画像は、実数成分と虚数成分を含み、これらは協働して位相と振幅の情報をエンコードする。例えば、再構成画像は、焦点面内の波面の位相・振幅の情報をともに示す、複素数の値を持つ画像である。例えば、この波面は、リファレンス光波と相互作用することにより干渉パターンを形成しているオブジェクト光波に対応していてよい。ここで、これらの干渉パターンは、再構成されて再構成ホログラフィ画像を作っているホログラフィ原画像に記録されたものである。
この方法は、前記互いに異なる複数の焦点深度のうち少なくとも２つの深度について、前記実数成分に対して第１エッジ検出を実施し（例えば、前記少なくとも２つの深度のそれぞれに対して別々に第１エッジ検出を実施し）、前記少なくとも２つの深度について、前記虚数成分に対して第２エッジ検出を実施する（例えば、前記少なくとも２つの深度のそれぞれに対して別々に第２エッジ検出を実施する）ステップをさらに含む。
この方法は、前記第１エッジ検出に関する第１統計的ばらつき測定値に基づいて前記少なくとも２つの深度のそれぞれについて第１鮮明さ測定値を取得し、かつ、前記第２エッジ検出に関する第２統計的ばらつき測定値に基づいて前記少なくとも２つの深度のそれぞれについて第２鮮明さ測定値を取得するステップをさらに含む。前記第１統計的ばらつき測定値と前記第２統計的ばらつき測定値は、前記第１エッジ検出の結果および前記第２エッジ検出の結果にそれぞれ適用される同じ数学的演算子に対応するものであってよい。
この方法は、前記少なくとも２つの深度について測定したスカラー鮮明さ測定値の比較（例えば、前記少なくとも２つの深度の間で前記スカラー鮮明さ測定値の値を比較する）に基づいて、前記少なくとも１つのオブジェクトについて前記焦点面（例えば最適な焦点面）を決定するステップをさらに含む。前記スカラー鮮明さ測定値は、前記第１鮮明さ測定値と前記第２鮮明さ測定値に基づくものである。
本発明の実施形態に係る方法は、前記再構成画像内で少なくとも１つのオブジェクトを特定するステップをさらに含んでいてよい。前記第１エッジ検出および前記第２エッジ検出を実施するステップ、前記第１鮮明さ測定値および前記第２鮮明さ測定値を取得するステップ、および、前記焦点面を決定するステップは、少なくとも１つの特定された該または各オブジェクトに対応する再構成画像の局所領域に適用してもよい。
本発明の実施形態に係る方法では、前記特定するステップは、前記再構成画像をデジタル化するステップと、同じデジタル値を有する接続領域群を特定するステップと、前記接続領域群のそれぞれを分割して、例えば前記特定されたオブジェクトのそれぞれについて、前記再構成画像の局所領域を構成する）ステップとを含んでいてよい。
本発明の実施形態に係る方法では、複数のオブジェクトを特定してよい（例えば、前記少なくとも１つのオブジェクトは、複数のオブジェクトであってよい）。この方法は、前記複数のオブジェクトに対応する複数の焦点面を決定するステップをさらに含んでいてよい。この方法は、前記対応する焦点面内の前記複数のオブジェクトのそれぞれに対応する画像領域を縫合し、焦点の合った複数のオブジェクトのそれぞれを含む合成画像を作るステップをさらに含んでいてよい。
本発明の実施形態では、第１統計的ばらつき測定値および／または第２統計的ばらつき測定値は、標準偏差であってよい。
したがって、本発明の実施形態では、最適な焦点面を決定するオートフォーカス方法が提供される。
この方法は、ホログラフィ画像を再構成するステップと、前記再構成画像の実部に基づいて、ある深度でオブジェクトについて第１エッジ検出を実施し、再構成画像の虚部に基づいて、前記深度で前記オブジェクトについて第２エッジ検出を実施するステップと、第１エッジ検出に関する第１の標準偏差に基づいて、前記深度で前記オブジェクトについて第１鮮明度を取得するステップと、第２エッジ検出に関する第２の標準偏差に基づいて、前記深度で前記オブジェクトについて第２鮮明度を取得するステップとを含んでいてよい。この方法は、前記第１標準偏差値および前記第２標準偏差値に基づいて、前記深度で前記オブジェクトについて鮮明度を決定するステップをさらに含んでいてよい。
本発明の実施形態に係る方法では、前記第１鮮明さ測定値を取得するステップおよび／または第２鮮明さ測定値を取得するステップは、前記第１エッジ検出の結果および／または前記第２エッジ検出の結果の勾配の大きさを取得するステップと、前記勾配の大きさの標準偏差を取得するステップとを含んでいてよい。
したがって、第１鮮明さ測定値（例えば第１鮮明度）を取得するステップは、第１エッジ検出の結果についての第１の勾配の大きさを取得するステップと、前記第１の勾配の大きさについての第１の標準偏差を取得するステップとを含んでいてよい。
第２鮮明度を取得するステップは、前記第２エッジ検出の結果についての第２の勾配の大きさを取得するステップと、前記第２の勾配の大きさについての第２の標準偏差を取得するステップとを含んでいてよい。
本発明の実施形態に係る方法では、前記互いに異なる複数の焦点深度のうち少なくとも２つの深度は、所定範囲内で均一に分布した複数の深度を含んでいてよい。
本発明の実施形態に係る方法では、前記所定範囲内で均一に分布した複数の深度は、前記所定範囲における第１の四分位点、第２の四分位点および第３の四分位点を含んでいてよい。
本発明の実施形態に係る方法は、前記決定した焦点面に基づいて、前記互いに異なる複数の焦点深度のうち少なくとも１つの更なる深度を決定するステップと、前記少なくとも１つの更なる深度について前記第１エッジ検出および前記第２エッジ検出を実施するサブステップ、および、前記少なくとも１つの更なる深度について前記第１鮮明さ測定値および前記第２鮮明さ測定値を取得するサブステップを繰り返すステップと、をさらに含む。この方法は、前記少なくとも１つの更なる深度について決定した前記スカラー鮮明さ測定値に基づいて、前記焦点面を調節するステップをさらに含んでいてよい。
本発明の実施形態に係る方法は、前記決定した焦点面に基づいて、前記互いに異なる複数の焦点深度のうち少なくとも１つの更なる深度を決定するステップと、前記再構成画像の振幅に基づいて、前記少なくとも１つの更なる深度について第２段階のエッジ検出を実施するステップと、前記第２段階のエッジ検出の結果に基づいて、前記オブジェクトについての第２段階の鮮明さ測定値を評価するステップとをさらに含んでいてよい。
本発明の実施形態に係る方法では、前記少なくとも２つの深度は、所定の第１深度範囲内で均一に分布してよく、前記少なくとも１つの更なる深度は、第２深度範囲内で均一に分布してよく、前記第２深度範囲は、前記所定の第１深度範囲よりも狭い。前記第２深度範囲は、前記少なくとも２つの深度についての前記スカラー鮮明さ測定値の比較結果を考慮に入れることにより決定してよい。
本発明の実施形態は、最適な焦点面を決定するオートフォーカス方法を提供する。この方法は、ホログラフィ画像を再構成するステップと、前記再構成画像内のオブジェクトを特定するステップと、前記再構成画像の実部に基づいて、第１範囲に含まれる一組の所定深度でオブジェクトについて第１エッジ検出を実施するステップと、前記再構成画像の虚部に基づいて、前記第１範囲に含まれる一組の所定深度で前記オブジェクトについて第１段階のエッジ検出を実施するステップと、前記第１段階のエッジ検出により検出された前記オブジェクトのエッジの実部と虚部の勾配の大きさのそれぞれの標準偏差に基づいて、前記一組の所定深度で前記オブジェクトについて第１段階の鮮明度を評価するステップと、前記第１段階の鮮明度に基づいて、最適な焦点面に関連する第２範囲を第１範囲内で特定するステップとを含んでいてよい。
本発明の実施形態では、前記一組の所定深度は、前記第１範囲内で均一に分布した複数の深度を含んでいてよい。本発明に係る実施形態では、前記一組の所定深度は、前記第１範囲における第１の四分位点、第２の四分位点および第３の四分位点を含んでいてよい。
本発明の実施形態では、この方法は、前記再構成画像の振幅に基づいて、前記第２範囲内で前記オブジェクトについて第２段階のエッジ検出を実施するステップと、前記第２段階のエッジ検出の結果に基づいて、前記オブジェクトについての第２段階の鮮明さ測定値を評価するステップとをさらに含んでいてよい。
本発明の実施形態に係る方法では、前記第１段階の鮮明度を評価するステップは、前記実部に関連する所定深度のそれぞれで、前記第１段階のエッジ検出の結果についての第１の勾配の大きさを取得するステップと、前記第１の勾配の大きさの第１の標準偏差を取得するステップとをさらに含んでいてよい。
実施形態に係る方法では、前記第１段階の鮮明度を評価するステップは、前記虚部に関連する前記所定深度のそれぞれで実施される前記第１段階のエッジ検出の結果についての第２の勾配の大きさを取得するステップと、前記第２の勾配の大きさについての第２の標準偏差を取得するステップとを含んでいてよい。
実施形態に係る方法は、前記第１の標準偏差および前記第２の標準偏差に基づいて、前記所定深度のそれぞれで、前記オブジェクトについて、鮮明度を決定するステップをさらに含んでいてよい。
実施形態に係る方法では、第１エッジ検出を実施するステップは、ラプラシアンマスクを用いて、前記実数成分またはその一部（例えば、特定されたオブジェクトに対応する部分）に畳み込みを行う（例えば、畳み込みを行う、または、離散畳み込み演算を行う）ステップを含んでいてもよい。
実施形態に係る方法では、第２エッジ検出を実施するステップは、ラプラシアンマスクを用いて、前記虚数成分またはその一部に畳み込みを行う（例えば、畳み込みを行う、または、離散畳み込み演算を行う）ステップを含んでいてもよい。
本発明は第２の態様で、焦点面を決定するためのオートフォーカスシステムにおいて用いられる計算デバイスに関する。前記計算デバイスは、本発明の第１の態様の実施形態に係る方法を実行するようにプログラムされている。前記計算デバイスは、メモリと、１つ以上のプロセッサと、前記メモリに記憶されて前記プロセッサにより実行されるように構成された１つ以上のプログラムとを有していてよい。
本開示の実施形態は、最適な焦点面を決定するための計算デバイス（例えばオートフォーカスシステム内に設けられた）を提供してもよい。前記計算デバイスは、メモリと、１つ以上のプロセッサと、前記メモリに記憶されて前記プロセッサにより実行されるように構成された１つ以上のプログラムとを有していてよい。
前記１つ以上のプログラムは、ホログラフィ画像を再構成し、再構成画像内のオブジェクトを特定し、前記再構成画像の実部に基づいて、ある深度でオブジェクトについて第１エッジ検出を実施し、前記再構成画像の虚部に基づいて、前記深度で前記オブジェクトについて第２エッジ検出を実施し、前記第１エッジ検出に関する第１標準偏差に基づいて、前記深度で前記オブジェクトについて第１鮮明度を取得し、前記第２エッジ検出に関する第２標準偏差に基づいて、前記深度で前記オブジェクトについて第２鮮明度を取得する、ための命令を含んでいてよい。
本開示の実施形態は、最適な焦点面を決定するための（例えばオートフォーカスシステム内に設けられる）計算デバイスを提供する。前記計算デバイスは、メモリと、１つ以上のプロセッサと、前記メモリに記憶されて前記プロセッサにより実行されるように構成された１つ以上のプログラムとを有していてよい。前記１つ以上のプログラムは、ホログラフィ画像を再構成し、再構成画像内のオブジェクトを特定し、前記再構成画像の実部に基づいて、第１範囲に含まれる一組の所定深度でオブジェクトについて第１段階のエッジ検出を実施し、前記再構成画像の虚部に基づいて、前記第１範囲に含まれる前記一組の所定深度で前記オブジェクトについて第１段階のエッジ検出を実施し、前記第１段階のエッジ検出により検出された前記オブジェクトのエッジの実部と虚部のそれぞれの標準偏差に基づいて、前記一組の所定深度で前記オブジェクトについて第１段階の鮮明度を評価し、前記第１段階の鮮明度に基づいて、最適な焦点面に関連する第２範囲を前記第１範囲内で特定する、ための命令を含んでいてよい。
本発明の実施形態は、測定下のサンプルに向けて光を照射するための光源と、前記サンプルのホログラムを取得するためのイメージャとを備えたオートフォーカスシステムに関する。さらに、前記オートフォーカスシステムは、焦点面を決定するための計算デバイスを備えていてよい。
また、本発明は第３の態様で、第２の態様の実施形態に係る計算デバイス上で実行したときに、第１の態様の実施形態に係る方法を実施するためのコンピュータプログラム製品に関する。
本発明の特定の好ましい態様について、添付の独立請求項と従属請求項に記載している。従属請求項に記載された特徴は、独立請求項に記載された特徴、および、他の従属請求項に記載された特徴と、必要に応じて、特許請求の範囲に明示的に記載されたものに限定されない形で組み合わせることができる。
本発明のこれらのおよび他の態様は、以下で説明する実施形態を参照して明らかになるだろう。
本発明の実施形態に係るオートフォーカスシステムを示す概略図である。 本発明の実施形態に係る、最適な焦点面を決定する方法を示すフロー図である。 本発明の実施形態に係る、あるオブジェクトについて最適な焦点面を決定する方法を示すフロー図である。 本発明の実施形態に係る、オブジェクトのセグメンテーションの方法を示すフロー図である。 本発明の実施形態に係る、エッジ検出およびエッジ鮮明さ評価の方法を示す。 本発明の実施形態に係る、オブジェクトについて鮮明度を決定する方法を示す。 本発明の実施形態に係る、１つ以上のオブジェクトについて最適な焦点面を決定する方法を示す。 本発明の実施形態に係る、１つ以上のオブジェクトについて最適な焦点面を決定する方法を示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 本発明の実施形態に係る、最適な焦点面を決定するための方法のさまざまな段階を概略的に示す。 この技術分野で知られた方法に係る、さまざまな焦点深度の関数としての鮮明度を示す。 本発明の実施形態により得られるさまざまな焦点深度の関数としての鮮明度を示す図であり、本発明の実施形態の態様を説明するための図である。
図面は概略的なものにすぎず、非制限的である。図面で、幾つかの要素の大きさは、説明のために誇張され、実際のスケールでは図示されていないことがある。
特許請求の範囲に記載されたどの参照符号も、発明の範囲を限定するものと解釈されない。
異なる図面で、同じ参照符号は、同じまたは類似の要素を指す。
特定の実施形態に関して、特定の図面を参照しつつ本発明について説明するが、本発明はこれに限定されず、特許請求の範囲によってのみ限定される。図面は概略的なものにすぎず、非制限的である。図面で、幾つかの要素の大きさは、説明のために誇張され、実際のスケールでは図示されていないことがある。寸法および相対寸法は、本発明が実際に実施化される態様とは対応していない。
さらに、明細書の説明と特許請求の範囲で用いられる、第１、第２などは、類似の要素を区別するために用いられているのであって、必ずしも時間的、空間的、序列、または他のいずれかの方法での順序を表すために用いられているのではない。こうして用いられた用語は、適切な状況下で交換可能であり、本明細書で説明している本発明の実施形態は、本明細書で説明または図示されているものとは別の順序で動作可能であると理解すべきである。
さらに、明細書の説明と特許請求の範囲で用いられる、上、下などは、説明のために用いられているのであって、必ずしも相対的な位置を記述するために用いられているのではない。こうして用いられた用語は、適切な状況下で交換可能であって、本明細書で説明した本発明の実施形態は、本明細書で説明または図示されているものとは別の向きで動作可能であると理解すべきである。
特許請求の範囲で用いられる、「備える、有する、含む」は、それ以降に列挙された手段に限定されるように解釈すべきでない。「備える、有する、含む」は、他の要素、ステップを除外しない。それゆえ、「備える、有する、含む」は、記載されている特徴、整数、ステップまたは構成要素の存在を明記するものであると解釈すべきであって、１つ以上の他の特徴、整数、ステップもしくは構成要素、またはこれらの組み合わせの存在または追加を除外するものではない。したがって、「手段Ａと手段Ｂとを備えたデバイス」という表現の範囲は、構成要素Ａ，Ｂのみからなるデバイスに限定すべきでない。この表現は、本発明に関して、構成要素Ａ，Ｂが、デバイスの関連するコンポーネントであることを意味するにすぎない。
この明細書を通じて「一実施形態、実施形態」は、当該実施形態に関連して説明される特定の特徴、構造または特性が、本発明の少なくとも１つの実施形態に含まれるということを意味する。したがって、本明細書を通じてさまざまな場所で現れるフレーズ「一実施形態で、実施形態で」は、必ずしもすべてが同じ実施形態を参照するわけではないが、参照してもよい。さらに、本開示から当業者に明らかなように、１つ以上の実施形態に記載された特定の特徴、構造または特性は、任意の適切な方法で組み合わされてよい。
同様に、本発明の例示的な実施形態の説明で、本発明のさまざまな特徴は、開示を簡略化し、さまざまな発明の態様の理解を容易にする目的で、１つの実施形態、図面、またはその説明にまとめられていることがあると認識すべきである。ただし、本開示の方法は、特許請求の範囲に記載の発明が、各請求項に明示的に記載された特徴よりも多くの特徴を必要とするという意図を反映していると解釈すべきではない。むしろ、以下の特許請求の範囲が反映しているように、発明の態様は、開示された１つの実施形態のすべての特徴よりも少なくなる。したがって、詳細な説明に続く特許請求の範囲は、この詳細な説明中に明確に包含され、各請求項は、この発明の別々の実施形態としてそれ自身で成立する。
さらに、当業者に理解されるように、本明細書で説明する幾つかの実施形態は、他の実施形態の特徴の幾つかは含むが別の幾つかは含まず、異なる実施形態の特徴の組み合わせは、本発明の範囲に含まれ、さまざまな実施形態を構成する。例えば、以下の特許請求の範囲において、特許請求の範囲で請求された実施形態のいずれも、任意の組み合わせで用いることができる。
本明細書でなされている説明では、多くの具体的な詳細が記述されている。しかし、本発明の実施形態は、これらの具体的な詳細を含まなくても実施できると理解すべきである。他の例では、周知の方法、構造および技術は、説明の理解を不明瞭にしないために、詳細には示されていない。
第１の態様で、本発明は、（例えば再構成されたホログラフィ画像内の）少なくとも１つのオブジェクトについて、焦点面（例えば最適な焦点面）を決定するためのオートフォーカス方法（例えば、コンピュータにより実装されたオートフォーカス方法）に関する。この方法は、前記少なくとも１つのオブジェクトのホログラフィ画像を再構成して、例えば互いに異なる複数の焦点深度で再構成画像（再構成された画像）を提供するステップを含んでいる。
この方法は、前記互いに異なる複数の焦点深度のうち少なくとも２つの深度について、前記実数成分に対して第１エッジ検出を実施し（例えば、前記少なくとも２つの深度のそれぞれに対して別々に第１エッジ検出を実施し）、前記少なくとも２つの深度について、前記虚数成分に対して第２エッジ検出を実施する（例えば、前記少なくとも２つの深度のそれぞれに対して別々に第２エッジ検出を実施する）ステップをさらに含む。
この方法は、前記第１エッジ検出に関する第１統計的ばらつき測定値に基づいて前記少なくとも２つの深度のそれぞれについて第１鮮明さ測定値を取得し、かつ、前記第２エッジ検出に関する第２統計的ばらつき測定値に基づいて前記少なくとも２つの深度のそれぞれについて第２鮮明さ測定値を取得するステップをさらに含む。前記第１統計的ばらつき測定値と前記第２統計的ばらつき測定値は、前記第１エッジ検出の結果および前記第２エッジ検出の結果にそれぞれ適用される同じ数学的演算子に対応するものであってよい。本発明の実施形態に係る方法では、前記第１統計的ばらつき測定値および／または前記第２統計的ばらつき測定値は標準偏差であってよい。
この方法は、前記少なくとも２つの深度について測定したスカラー鮮明さ測定値の比較（例えば、前記少なくとも２つの深度の間で前記スカラー鮮明さ測定値の値を比較する）に基づいて、前記少なくとも１つのオブジェクトについて前記焦点面（例えば最適な焦点面）を決定するステップをさらに含む。前記スカラー鮮明さ測定値は、前記第１鮮明さ測定値と前記第２鮮明さ測定値に基づくものである。
この方法は、前記再構成画像に含まれるオブジェクトを特定する（例えば前記再構成画像内のオブジェクトを特定する）ステップをさらに含んでいてよい。前記特定するステップは、前記再構成画像をデジタル化するステップと、同じデジタル値を有する接続領域群を特定するステップと、前記接続領域群のそれぞれを分割（または、領域分割、セグメント化）して、例えば前記特定されたオブジェクトのそれぞれについて、前記再構成画像の局所領域を構成する）ステップとを含む。
本発明の実施形態に係る方法では、前記第１鮮明さ測定値を取得するステップおよび／または第２鮮明さ測定値を取得するステップは、前記第１エッジ検出の結果および／または前記第２エッジ検出の結果の勾配の大きさを取得するステップと、前記勾配の大きさの標準偏差を取得するステップとを含んでいてよい。
本発明の実施形態に係る方法は、前記決定した焦点面に基づいて、前記互いに異なる複数の焦点深度のうち少なくとも１つの更なる深度を決定するステップと、前記少なくとも１つの更なる深度について前記第１エッジ検出および前記第２エッジ検出を実施するステップ、および、前記少なくとも１つの更なる深度について前記第１鮮明さ測定値および前記第２鮮明さ測定値を取得するステップを繰り返すステップとをさらに含む。この方法は、前記少なくとも１つの更なる深度について決定した前記スカラー鮮明さ測定値に基づいて、前記焦点面を調節するステップをさらに含んでいてよい。
本発明の実施形態に係る方法は、前記決定した焦点面に基づいて、前記互いに異なる複数の焦点深度のうち少なくとも１つの更なる深度を決定するステップと、前記再構成画像の振幅に基づいて、前記少なくとも１つの更なる深度について第２段階のエッジ検出を実施するステップと、前記第２段階のエッジ検出の結果に基づいて、前記オブジェクトについての第２段階の鮮明さ測定値を評価するステップとをさらに含んでいてよい。
本発明の実施形態に係る方法では、前記少なくとも２つの深度は、所定の第１深度範囲内で均一に分布してよく、前記少なくとも１つの更なる深度は、第２深度範囲内で均一に分布してよく、前記第２深度範囲は、前記所定の第１深度範囲よりも狭い。前記第２深度範囲は、前記少なくとも２つの深度についての前記スカラー鮮明さ測定値の比較結果を考慮に入れることにより決定してよい。
本発明の実施形態では、前記一組の所定深度は、前記第１範囲内で均一に分布した複数の深度を含んでいてよい。本発明に係る実施形態では、前記一組の所定深度は、前記第１範囲における第１の四分位点、第２の四分位点および第３の四分位点を含んでいてよい。
本発明の実施形態では、この方法は、前記再構成画像の振幅に基づいて、前記第２範囲内で前記オブジェクトについて第２段階のエッジ検出を実施するステップと、前記第２段階のエッジ検出の結果に基づいて、前記オブジェクトについての第２段階の鮮明さ測定値を評価するステップとをさらに含んでいてよい。
本発明の実施形態に係る方法では、前記第１段階の鮮明度を評価するステップは、前記実部に関連する所定深度のそれぞれで、前記第１段階のエッジ検出の結果についての第１の勾配の大きさを取得するステップと、前記第１の勾配の大きさの第１の標準偏差を取得するステップとをさらに含んでいてよい。
実施形態に係る方法では、前記第１段階の鮮明度を評価するステップは、前記虚部に関連する前記所定深度のそれぞれで実施される前記第１段階のエッジ検出の結果についての第２の勾配の大きさを取得するステップと、前記第２の勾配の大きさについての第２の標準偏差を取得するステップとを含んでいてよい。
実施形態に係る方法は、前記第１の標準偏差と前記第２の標準偏差に基づいて、前記所定深度のそれぞれで、前記オブジェクトについて鮮明度を決定するステップをさらに含んでいてよい。
図２は、本発明の実施形態に係る、焦点面を決定する（例えば、焦点面を規定する焦点深度パラメータを決定する）ためのオートフォーカス方法を示すフロー図である。実施形態に係る方法は、コンピュータにより実行される方法（例えば処理装置（例えば、図１に関連して以下で説明する処理装置２０）上で実行される方法）であってよい。この焦点面は、再構成されたホログラフィ画像においてあるオブジェクトについての最適な焦点面であってよい。例えば、デジタルホログラフィ画像再構成アルゴリズムを適用して、この焦点面を考慮した上でホログラフィ画像を再構成し、クオリティの高い再構成画像を生成できる。「最適な焦点面」とは、対象のオブジェクトから撮像面までの距離に実質的に対応している焦点面を指していてよい。「最適な値」とは、再構成画像の画質（例えばシャープネスおよび／鮮明さ(clearness)）を示す少なくとも１つの特性を評価するコスト(cost measure)またはフィギュアオブメリット（例えば以下で説明するスカラー鮮明さ測定値）をアルゴリズム最適化することにより得られる値であってよい。コストまたはフィギュアオブメリットは、鮮明さおよび／またはシャープネスに加えて、コントラスト、信号対ノイズ比および／またはエントロピー、および／または、情報理論的測定値など、画質に関する他の測定値を考慮に入れてもよい。「最適な結果」は、単に、アルゴリズムの最適化プロセスにより得られる結果を指していてもよく、必ずしも、得られた結果を主観的に評価したものを意味しない。さらに、当業者は、こうしたアルゴリズムの最適化は、例えば、繰り返し数、処理時間、または所定の許容差範囲に対する制限に起因して、理論的な最適値に十分に近い値で停止させてもよいと認識する。さらに、こうしたアルゴリズムの最適化は、好ましくは、包括的な最適条件を与えるものであることが好ましいが、本発明の実施形態では、アルゴリズムの最適化は、局所的な最適値（例えば目的関数(objective function)の局所的な最大値または局所的な最小値）を与えるものであってもよい。
本発明の実施形態に係る方法は、サンプル（例えば、少なくとも１つのオブジェクト（物体）を包含するサンプル）の光学的情報を含むホログラフィ画像を受信するステップを含んでいてよい。例えば、当該ホログラフィ画像は、例えばイメージャが直接に取得し、入力として受信されたホログラフィ原画像（未加工の画、ＲＡＷ画像）であってもよい。
本発明の実施形態に係る方法は、例えば再構成画像を互いに異なる複数の焦点深度で提供するために、少なくとも１つのオブジェクトのホログラフィ画像２０１を再構成するステップ２０１を含んでいる。例えば、再構成画像は、複数の二次元ホログラフィ再構成画像を含んでいてもよく、各画像は、互いに異なる焦点深度（当該焦点深度において、二次元ホログラフィ画像を再構成する）に対応する。したがって、焦点深度の異なる複数の再構成画像は、さまざまな焦点深度について、三次元画像、または二次元画像のスタックを構成してよい。以下の説明では、深度または焦点深度は、ホログラフィ画像を取得する平面と再構成平面（焦点面とも称される）との間の距離を指す。ただし、これは焦点面を便宜的にパラメータ化したものにすぎず、それゆえ、「深度」または「焦点深度」は、こうしたパラメータに限定されると解釈すべきでなく、ホログラフィ画像を再構成する空間において表面を規定する１つ以上のパラメータを含んでいてよいと解釈すべきであることは当業者に明らかである。例えば、深度または焦点深度は、ホログラフィ再構成を行う空間において平面または非平面を規定するパラメータの任意の組み合わせを指していてよい。それゆえ、本明細書において、深度または焦点深度は、当該深度または焦点深度に関連してホログラフィ再構成を行う空間において表面(surface)（例えば平面(plane)）を規定する少なくとも１つのパラメータを指すと理解すべきである。
再構成画像は実数成分と虚数成分を有し、これらは協働して位相と振幅の情報をエンコード（符号化）する。例えば、再構成画像は、位相の情報と振幅の情報を有し、例えば実部と虚部を有している。例えば、再構成画像は、複素数ｃｋｌ＝ａｋｌ＋ｂｋｌを含んでいてもよい。ここで、ｉは虚数単位√−１（−１の平方根）を表しており、各再構成画像について、グリッド位置（ｋ，ｌ）は協働して波面の位相の情報と振幅の情報をエンコードする。したがって、再構成画像は、複素数の値を有する画像であって、焦点面内の波面の位相の情報と振幅の情報の両方を表す画像であってよい。例えば、この波面は、リファレンス光波と相互作用して干渉パターンを形成しているオブジェクト光波に対応していてよい。ここで、これらの干渉パターンは、再構成されて再構成ホログラフィ画像を作っているホログラフィ原画像に記録されたものである。例えば、再構成画像は、位相の情報と振幅の情報（例えば実部と虚部）を含んでいてもよい。
したがって、再構成画像は、位相の情報と振幅の情報を含んでいる。当業者に知られているように、この位相情報と振幅情報は複素場（例えば、実数成分と虚数成分を有する複素場の配列表示）で表すことができる。複素場は、例えば、再構成画像平面におけるデカルト座標上で規定されてよい。ただし、本発明の実施形態はこれに限定されることなく、当業者であれば、複素数を利用するのは単に数学的に便利な表現だからであると理解するだろう。こうした複素数表現が本発明の実施形態で有利に用いられるのは、例えば、虚数成分画像と実数成分画像が好都合にはともに振幅に関連する情報と位相に関連する情報の両方を含んでいるが、（例えば、これら両方が少なくとも部分的に相補的な情報を含んでいるが）冗長にはならない、という意味においてである。
ホログラフィ画像を再構成するステップは、複数の焦点面に対応する複数の再構成画像を再構成するステップを含んでいてよい。あるいは、ホログラフィ画像を再構成するステップは、反復アルゴリズムを含んでいてよい。反復アルゴリズムでは、対応する少なくとも１つの焦点距離について、少なくとも１つの再構成画像が各ステップで決定される。対応する少なくとも１つの焦点距離は、例えば、粗い深度レベルから精密な深度レベルまで進行する深さ分解能アプローチにおいて、探索範囲を狭めることにより決定される。
図２を参照して、ステップ２０１では、サンプルの光学的情報を含むホログラフィ画像を再構成し、これにより再構成画像を得る。ホログラフィ画像は、図１を参照して以下で説明する撮像システム（例えば撮像システム１０）によって得てよい。さらに、サンプルは、さまざまな深度（例えばさまざまな焦点面）での１つ以上のオブジェクトを含んでいてよい。これらのさまざまな深度および／または焦点面は、事前に知られていなくてもよく、例えば、所定の広範囲（例えば、容器または流路の境界により画定される）に含まれることのみが事前に知られていてもよく、本発明の実施形態に従って決定されてもよい。
デジタルホログラフィを用いる１つの利点は、参照光ビームとオブジェクト光ビームとの間で生じる干渉パターン（この干渉パターンは撮影したボリュームの三次元構造に関する情報を含んでいる）を補足できることである。ホログラフィ画像を再構成するステップ２０１は、例えば、角スペクトル法または畳み込み法により実施してよい。これらの方法は、この技術分野ではよく知られており、詳細な説明は省略する。
好都合には、デジタルホログラフィは、この技術分野で知られた再構成技術を用いて、波面の振幅の情報と位相の情報の両方について再構成を可能にする。この技術分野では、再構成アルゴリズムに対してパラメータとして与えられる焦点距離で、ホログラフィ画像（例えば二次元再構成画像）を再構成することが知られている。ホログラフィ原画像は、オブジェクトの波面についての詳細な情報（例えば位相の情報）を含んでいてよいので、焦点距離パラメータを好適に変化させることにより、任意の焦点面でオブジェクトの再構成画像を決定できる。焦点が合った画像を得るまで焦点距離を機械的に変化させることによりオートフォーカスを行う従来の顕微鏡法では、１つのホログラフィ原画像から複数の像面を計算する。
目で見て容易に判断できない干渉パターンを有することがあるホログラフィ原画像と違って、再構成画像は直接目で見て利用できる画像である（例えば、対象のオブジェクトの物理的な空間形状を直接に表している）。しかし、再構成画像におけるオブジェクトの最適な深度または最適な焦点面はまだ決定されていない。対象となる１つまたは複数のオブジェクトの焦点面を用いて、再構成画像の質を向上させることができる。例えば、同じまたは異なる再構成アルゴリズムを用いて、再構成を行うことができる。一例では、別の再構成アルゴリズムを用いた場合、計算量は増えるが、質を向上させることができる。対象の１つ以上のオブジェクトの焦点面を用いて、さまざまな画像領域について（例えばさまざまなオブジェクトについて）さまざまな焦点深度にインデックスを付してよい。これにより、さまざまな深度に対応するホログラフィ再構成画像のスタックを、目で見て容易に認識できるように１つの二次元画像とし、かつ／または、例えばパターン認識、機械学習、測定および／または他の評価アルゴリズムを用いて更なる処理を行うことができる。
この方法は、再構成画像においてオブジェクトを特定する（例えば、再構成画像において複数のオブジェクトを特定する）ステップ２０２をさらに含んでいる。例えば、第１エッジ検出の更なるステップは、再構成画像の実部に基づいて、所定深度で、前記オブジェクトについて（例えば前記特定された複数のオブジェクトのそれぞれについて）行われてもよい。第２エッジ検出は、例えば特定されたオブジェクトのそれぞれについて、再構成画像の虚部に基づいて、所定深度で、オブジェクトに対して実施される。したがって、第１、第２エッジ検出を行うステップ、第１、第２鮮明さ測定値を得るステップ、および、焦点面を決定するステップは、当該または各特定されたオブジェクトに対応する再構成画像の局所領域に対して実施する。特定するステップ２０２では、再構成画像において１つまたは複数のオブジェクトを認識し、互いに分割する。好都合なことに、オブジェクトのセグメンテーションにより、対象の１つ以上のオブジェクトのそれぞれについて、最適な焦点面の決定（例えば、対応する各オブジェクトについて焦点面を別々に決定すること）が容易になる。再構成画像においてオブジェクトを特定する（例えば、オブジェクトのセグメンテーションを行う）ステップ２０２の詳細については、図４を参照して以下でさらに説明する。
したがって、１つのホログラフィ原画像が得られ、それから複数のオブジェクトが検出される。検出されるオブジェクトのそれぞれについて、本発明の実施形態に従って、焦点面が決定される。例えば、この情報を用いて、複数のオブジェクトに対応して画像領域を縫合（スティッチング）し、対応する焦点面で各画像領域を再構成してもよい。このようにして、焦点が合っている複数のオブジェクトのそれぞれを含む合成画像が生成される。
この方法は、前記互いに異なる複数の焦点深度のうち少なくとも２つの深度について、実数成分に対して第１エッジ検出を実施し（例えば、少なくとも２つの深度のそれぞれに対して、別々に第１エッジ検出を実施し）、前記少なくとも２つの深度について、虚数成分に対して第２エッジ検出を実施する（例えば、少なくとも２つの深度のそれぞれに対して、別々に第２エッジ検出を実施する）ステップ２０３をさらに含む。エッジ検出は、画像の輝度がシャープに（急峻に）変化し、かつ／または不連続点を有するデジタル画像内の点を特定するための画像処理方法を指してよい。エッジ検出は、エッジ画像の形態で利用可能なエッジの情報を作ることなくエッジを構成する画像位置を決定することを意味している必要はない。したがって、この方法は、オブジェクトのエッジまたは境界を検出するステップを含んでいてよい。前記エッジまたは境界を検出するステップは、例えばある深度でオブジェクトのエッジを検出するために、再構成画像の実部に対して第１エッジ検出を実施するステップと、例えば前記深度でオブジェクトのエッジを検出するために、再構成画像の虚部に対して第２エッジ検出を実施するステップとを含んでいる。
オブジェクト（例えば特定されたオブジェクトのいずれか、例えば特定されたオブジェクトのそれぞれ）のエッジまたは境界を検出するステップ２０３は、例えば第１深度Ｚａと第２深度Ｚｂとの間の所定範囲内にあるさまざまな深度で、焦点面を包括的に探索するステップを含んでいる。オブジェクトの（例えば特定された複数のオブジェクトのいずれかの、または、特定された複数のオブジェクトのそれぞれの）エッジまたは境界を検出するステップ２０３は、所定範囲（例えば第１の深度Ｚａと第２の深度Ｚｂの間）に含まれるさまざまな深度で、焦点面の包括的な探索を行うステップを含んでいる。したがって、前記少なくとも２つの深度が含んでいる複数の深度は、例えば、この所定範囲内で互いに均一な間隔を空けていてよい。前記複数の深度は、対応するオブジェクトについて、焦点面（例えば最適な焦点面）を規定する深度の候補と考えることができる。
本発明に係る実施形態では、エッジまたは境界を検出するステップ２０３は、前記所定範囲内にある深度Ｚｊ（例えばＺａとＺｂの間の深度Ｚｊ）で開始する。開始深度Ｚｊは、例えば再構成画像をユーザが目で見て決定してもよい。次に、深度Ｚｊでのエッジ検出を行った後、エッジ検出について包括的な探索(global search)を段階的に行う。次の深度は、最初の深度Ｚｊから一定の間隔が空けられている。例えば、開始深度は、基準位置から１００００マイクロメートル（μｍ）、例えばイメージャから１００００マイクロメートル（μｍ）の位置であってもよく、次の深度は、開始深度から１００μｍの距離の位置（基準位置から１０１００μｍまたは９９００μｍの位置）であってもよい。
本発明に係る実施形態では、エッジ検出を容易に行うために、畳み込み演算においてラプラシアンマスク（例えば、edgeimage = conv(image, edgeoperator)）、または、（edgeimage = image * edgeoperator）を用いてよい。ここで、*は、畳み込み演算子（例えば、離散画像畳み込み演算子）を意味する。これらの式で、「image」は、所定の深度での再構成画像の行列であることを示しており、「edgeoperator」は、畳み込み演算のためのマスクまたは演算子として機能する。
ただし、本発明の実施形態は、ラプラシアンマスクに限定されることなく、畳み込み演算についても、この技術分野で知られたさまざまなエッジ検出フィルタ（例えば、ソーベル勾配またはソーベルテネングラッド勾配の大きさを計算するためのフィルタ、または、スカラーエッジ画像またはスカラーエッジ強調画像を生成するための高次の微分フィルタ）に関するものであってよい。畳み込みの後、オブジェクトのエッジを示す合成行列である「edgeimage」が得られる。
本発明の実施形態に従って、再構成画像の実部と虚部に関するオブジェクトのエッジはそれぞれ「edgeimage,real」、「edgeimage,imaginary」と記載されてよく、それぞれ以下のように求められる。
edgeimage,real = conv(real_image, edgeoperator)
edgeimage,imaginary = conv(imaginary_image, edgeoperator)
ここで、edgeoperatorは、エッジ検出フィルタ（例えば、グラディエントの大きさについてのフィルタ(gradient magnitude filter)またはラプラシアンフィルタ、または、この技術分野で既知の他の好適なエッジ検出用畳み込みフィルタ）を示す。
本発明の実施形態に係る方法では、実数成分に対して第１エッジ検出を実施するステップは、エッジを検出するための第１エッジ検出フィルタを適用するステップを含んでいてよく、虚数成分に対して第２エッジ検出を実施するステップは、エッジを検出するための第２エッジ検出フィルタを適用するステップを含んでいる。
この方法は、第１エッジ検出に関する第１統計的ばらつき測定値（統計的ばらつきに関する第１の測定値）に基づいて、少なくとも２つの深度のそれぞれにつき第１鮮明さ測定値（鮮明さに関する第１の測定値）を取得するとともに、第２エッジ検出に関する第２統計的ばらつき測定値（統計的ばらつきに関する第２の測定値）に基づいて、少なくとも２つの深度のそれぞれにつき第２鮮明さ測定値（鮮明さに関する第２の測定値）を取得するステップ２０４をさらに含んでいる。第１統計的ばらつき測定値と第２統計的ばらつき測定値は、第１エッジ検出の結果と第２エッジ検出の結果にそれぞれ適用される同じ演算子に対応していてよい。
本発明の実施形態に係る方法は、さまざまな深度のそれぞれで、オブジェクトのエッジまたは境界の鮮明度を決定する次のステップ２０４をさらに含んでいる。決定するステップ２０４は、第１エッジ検出に関する第１の標準偏差に基づいて前記深度でオブジェクトについて第１鮮明さ測定値（例えば鮮明度）を取得するステップと、第２エッジ検出に関する第２の標準偏差に基づいて前記深度でオブジェクトについて第２鮮明さ測定値（例えば鮮明度）を取得するステップとを含む。
幾つかの実施形態では、edgeclearnessで表される鮮明さ測定値（例えば鮮明度）は、ステップ２０３におけるエッジ検出の統計的結果に基づいて決定してもよい。
例えば、
edgeclearness = std(gradientmagnitude(edgeimage))であり、または他の式で表され、
edgeclearness = std(|gradient(edgeimage)|)または他の式で表され、
edgeclearnessは、以下の値の標準偏差である。
Figure 0006490219
ここで、edgeimageは、ステップ２０３で得られる合成行列であり、gradient(M)は、Ｍ（この実施形態では、Ｍは合成行列edgeimageである）の勾配であり、gradientmagnitude(M)は、Ｍの勾配の大きさ（例えばユークリッドノルム）であり、ｓｔｄはＮ（この実施形態では、Ｎはedgeimageの大きさである）の標準偏差である。
上の式で定義されるように、さまざまな深度のそれぞれで、オブジェクトのエッジについての（スカラー実数値である）edgeclearnessを得ることができる。さらに、本発明の実施形態に従って、再構成画像内のオブジェクトのエッジの実部と虚部に関する鮮明度は別々に決定されてよく、それぞれedgeclearness,real、edgeclearness,imaginaryと記載される。これらの値は、以下の式により決定できる。
edgeclearness,real = std(|conv(edgeclearness,real, gradientoperation)|)
edgeclearness,imaginary = std(|conv(edgeclearness,imaginary, gradientoperation)|)
この方法は、前記少なくとも２つの深度についてスカラー鮮明さ測定値を比較する（例えば、前記少なくとも２つの深度の間でスカラー鮮明さ測定値を比較する）ことに基づいて、少なくとも１つのオブジェクトについて焦点面（例えば最適な焦点面）を決定するステップを含んでいる。このスカラー測定値は、第１鮮明さ測定値と第２鮮明さ測定値に基づいている。
焦点面を決定するステップは、当該焦点面を表す値を少なくとも１つ出力するステップを含んでいる。例えば、焦点面を決定するステップは、当該または各オブジェクトについて最適な焦点面に関する情報を含む画像を生成するステップ２０５を含んでいる。
本発明の実施形態に従って得られる焦点面（例えば焦点距離）は、画像の良好な焦点を与え、これにより画像内のオブジェクトの鮮明でありかつ／またはシャープなエッジを与える。このような鮮明でありかつ／またはシャープなエッジは、大きい（例えば、焦点から外れた類似の再構成におけるものよりも大きい）勾配、および、高い鮮明度で特徴付けられてよい。
本発明の実施形態に従って、オブジェクトについて最適な焦点面を決定するためにスカラー、鮮明さ測定値（例えばメトリック(metric)ＥＣ）が以下の式で評価される。
Figure 0006490219
ただし、こうしたスカラー測定値は、第１鮮明さ測定値および第２鮮明さ測定値に適用される他のスカラー集計演算子(summary operation)、例えば絶対値の総和、二乗の総和、絶対値の最大値、または、一般的に、数学的な意味でのメトリックノルム（更にはセミノルム）として好適な任意の関数を含んでいてよい。
したがって、さまざまな深度のそれぞれで測定した、オブジェクトのスカラー鮮明さ測定値は、例えば上述のとおり、オブジェクトについて各深度で測定したエッジ画像の実部の標準偏差およびエッジ画像の虚部の標準偏差に基づいて計算されてよい。
さまざまな深度でのスカラー鮮明さ測定値（例えばメトリックＥＣ）同士を比較することにより、ＥＣ値の値が最大になる深度を、そのオブジェクトについてのＺａからＺｂの所定範囲内での最適な深度または最適な焦点面として特定する。次に、当該オブジェクトについての最適な焦点面に関する情報を含む画像を生成する（ステップ２０５）。
図２０、図２１は、異なる深度での鮮明度を示す。図２０を参照して、この技術分野で知られた鮮明さ測定値を示している。Ｙ軸は、振幅画像の標準偏差（ｓｔｄ）を求めることにより決定される鮮明度を示す。この鮮明度は、ホログラフィ画像の複素数値を対応する複素数の絶対値に変換して得たエッジ検出画像に、統計的な集計演算子を適用することにより（例えば標準偏差を計算することにより）、簡単に表現できる（例えば、演算のテンプレートであり、実施する演算の順序を示す式、ｓｔｄ√（（実部）２＋（虚部）２））のように簡略化できる）。
図２１を参照して、Ｙ軸は、本発明の実施形態に従って決定される鮮明さ測定値（例えば上述の測定値ＥＣ）を示している。この鮮明さ測定値は、複素数の値を持つ鮮明さ測定値を、複素数の値を持つエッジ画像から得られる複素数の絶対値に変換することにより（複素数の値を持つ鮮明さ測定値の実数成分と虚数成分は、統計的な集計演算子（例えば標準偏差）により計算される）、簡単に表現できる（例えば、演算のテンプレートであり、実施する演算の順序を示す式、√（（実部のｓｔｄ）２＋（虚部のｓｔｄ）２））のように簡略化できる）。
驚くべきことに、図２１に示す曲線は、図２０に示す曲線と比べてより正則している（例えば、局所的極値（local extreme)が顕著でない）ことがわかる。こうした正則曲線（例えばより滑らかな曲線）により、最適な焦点面が存在する「ホットゾーン」を決定しやすくなる。このことは、図９から図１９を参照してより詳細に説明する。その結果、探索プロセスを単純化することができ、これにより探索時間が短くなる。例えば、最適化プロセスが、例えば準最適な焦点面に対応する極大値でトラップされるリスクが低下する。さらに、より滑らかな最適化基準関数により、より有効な探索アルゴリズム（例えば、最適化パラメータに関する最適化関数の勾配（一例では、焦点深度に関する微分係数、または、決定される焦点面を規定する少なくとも１つのパラメータ）に少なくとも部分的に基づいている最適化法）を利用できる。
図３は、本発明の実施形態に係る、オブジェクトについて最適な焦点面を決定する他の例示的な方法を示すフロー図を示す。図２に示す例示的な方法は包括的な探索を与える。一方、図３に示す方法では、包括的探索について必要となるよりも少ない数の深度群を評価することにより、探索プロセスをより迅速に進めることができる。さらに、図３に示す方法によれば、焦点面（例えば最適な焦点面）を決定する目的で、粗い探索と精密な探索を行ってよい。
図３を参照して、ホログラフィ画像を再構成するステップ２０１の後、必要に応じて、再構成画像内のオブジェクトを特定する（例えば、ホログラフィ画像内でオブジェクトを分割する）ステップ２０２を実施し、ステップ３０３で、一組の所定深度群（例えばＺａとＺｂの間の第１所定範囲内）で、オブジェクトについて第１段階のエッジ検出を実施する。このエッジ検出は、再構成画像の実部と虚部に基づくものである。第１段階のエッジ検出では、実部に関する第１エッジ検出と、虚部に関する第２エッジ検出とを実施し、例えば上述の式に従ってそれぞれedgeimage,realとedgeimage,imaginaryを得るステップを含んでいてよい。
本発明の実施形態では、第１範囲に含まれる一組の所定深度は、ＺａとＺｂの間で均一に分布した３つの深度を含んでいる。これは、図９から図１９を参照して以下でさらに説明する。ただし、サンプリングした深度（例えば前記所定の深度）の数は３つに限定されない。
本発明の実施形態に係る方法は、前記所定の深度群のそれぞれでオブジェクトについて第１段階の鮮明さ測定値を評価するステップ３０４をさらに含んでいる。第１段階の鮮明度を評価するステップは、例えばedgeclearness, realとedgeclearness,imaginaryを上述の対応する式に適用することによりedgeclearness, realとedgeclearness,imaginaryを決定するステップと、その後に、edgeclearness, realとedgeclearness,imaginaryのスカラーノルムを計算することにより、第１のメトリックＥＣ１を決定するステップとを含んでいてよい。その結果、前記所定の深度群のそれぞれでのオブジェクトの鮮明度は、所定の各深度で、オブジェクトのエッジの実部の標準偏差および虚部の標準偏差に基づいて計算される。
所定深度（例えば第１範囲内で均一に分布した３つの深度）での第１のメトリックＥＣ１の値に基づき、これらのＥＣ１の位置を接続して、ＥＣ１カーブを形成してもよい。このＥＣ１カーブは、図２１に示す正則したカーブに関する情報を含んでいる。さらに、第１範囲にわたってのＥＣ１カーブの傾斜により、正則したカーブの包括的なピーク（例えば、最適な焦点面に対応する）に関する情報が明らかになる。例えば、ＥＣ１カーブが上昇する傾向を有する場合、最適な焦点面は、第１範囲のより大きい部分に入ると期待できる。さらに、ＥＣ１カーブが下降する傾向を有する場合、最適な焦点面は、第１範囲のより小さい部分に入ると期待できる。傾斜の利点を得ることにより、Ｚａ’とＺｂ’の間の第２範囲（第１範囲よりも狭く第１範囲に含まれる）を決定できる。
次に、第２範囲内のさまざまな深度で、オブジェクトについて第２エッジ検出を実施する（ステップ３０５）。本発明の実施形態では、再構成画像の振幅は、第２段階のエッジ検出において用いられてよく、edgeimage.ampiitude = conv(amplitude_image, edgeoperator)で表される。ここで、amplitude_imageは、所定の深度で再構成された画像の振幅画像の行列を表す。この振幅画像は、再構成画像の複素数成分real_imageとimaginary_imageの絶対値に対応する。
本発明の幾つかの実施形態では、第２段階のエッジ検出を第２範囲内のさまざまな深度で包括的に実施してよい。本発明の実施形態では、第２段階のエッジ検出は、有利には、第２範囲で包括的サーチを行うために必要とされるよりも少ない数の一組の深度群で実施してよい。
実施形態に係る方法は、第２段階のエッジ検出の結果に基づいて、オブジェクトについて第２段階の鮮明度を決定するステップ３０６をさらに含む。第２段階の鮮明度の評価は、edgeimage,amplitudeを用いて、以下の式の標準偏差に等しい第２メトリックＥＣ２を決定するステップを含んでいてよい。
Figure 0006490219
第２範囲内のさまざまな深度に関連する複数のＥＣ２の値を比較することにより、ＥＣ２の値が最大となる深度を、Ｚａ’とＺｂ’の間の第２範囲内での、オブジェクトについての最適な焦点深度（または最適な焦点面）であると特定できる。次に、ステップ２０５で、オブジェクトについての最適な焦点面に関する情報を含む画像を生成する。
こうした手順を３段階プロセス、４段階プロセス、または、一般的に、任意の段階数を有するプロセスで実施できることは当業者には明らかであろう。ここで、前の段階で得られる最適な焦点面を用いて、次の段階での深度の探索範囲を少なくとも部分的に決定する。ホログラフィ画像を再構成するステップを直列的に(in-line)実施してもよい（例えば、対応する深度が複数段階の１つで必要とされる場合に特定の焦点面のみを再構成してもよい）ことは当業者には明らかであろう。
図３に示す実施形態では、より広い範囲（例えばＺａとＺｂの間の第１範囲）で実施されるステップ３０３，３０４は、オブジェクトについての最適な焦点面を求めるための方法において粗い探索を成し、より広い範囲（例えばＺａ １とＺｂ １の間の第２範囲）で実施されるステップ３０５，３０６は、当該方法の精密な探索を成す。実施形態では、粗い探索を１回、精密な探索を１回、行っているが、粗い探索を２回以上、精密な探索を２回以上、行った場合も本発明の範囲内である。実施形態の１つの利点は、探索プロセスを効率的にかつ低い計算コストで（例えば短い処理時間で）実施できることである。
ただし、本発明の実施形態では、上述のとおり、目で見てわかるカーブの構成が必須でないことは明らかであろう。さらに、この技術分野で知られた他の数値最適化方法を適用して、探索範囲を好適に低下させることができる。
例えば、所定範囲の（例えば第１範囲内の）深度は、２つの境界点（例えばＺａとＺｂ）および少なくとも２つの内点（例えば］Ｚａ，Ｚｂ［の範囲内の点）を含んでいてもよい。ＥＣ１の値を最小とする内点に最も近い位置にある境界点を拒絶してもよく、方法は、拒絶されていない方の境界点と前記ＥＣ１の値を最小とする内点とにより形成される、狭くなった探索範囲で次のステップに進んでよい。この技術分野で知られているように、このような直接的な探索アルゴリズムの利点は、後段のステップにおいて、計算が必要になる追加の内点の数を１つだけにできることである。さらに、探索間隔を分割する方法として、この技術分野で知られた他の方法（例えば黄金分割探索を行う方法）を適用できる。
さらに、この技術分野で知られている他の探索方法（例えば最急降下法、ニュートン法、準ニュートン法）を適用してもよい。また、この技術分野では他の直線探索法が知られており、発明のための努力を行うことなく、適用されてよい。あるいは、信頼領域探索アプローチを適用してもよい。また、この開示における「深度」は、撮像面までの距離だけでなく、撮像面に対する傾斜も規定する、ベクトル値のパラメータを包含している。したがって、本発明の実施形態は、線形探索に限定されず、例えば、グリッド探索または他のべクトルパラメータの最適化を含んでいてよい。
本発明の実施形態に係る方法では、探索方法を繰り返し適用してよい。深度、または、関連する他の１つ以上のパラメータであって焦点面を規定するものが、目的関数（例えばＥＣ１および／またはＥＣ２）の最大値に十分に近い値に至るまでの間、繰り返されてよい。ここで、「十分に近い」とは、例えば、深度についての所定の許容範囲、目的関数の値についての所定の許容範囲、所定の繰り返し数、フィギュアオブメリット、この技術分野で知られた数値の最適化についての他の停止基準、またはこれらの任意の組み合わせに対応していてよい。ただし、以下で説明するように、こうした探索範囲を（例えば粗いレベルの）第１段階で適用し、探索範囲を繰り返し狭くしてもよく、これにより（例えば上述のとおりより精密なレベルの）第２段階でさらに探索範囲を狭くしてもよい。例えば、第２段階は、第１段階により狭くなった範囲で包括的な探索を実施してよい。さらに、第２段階では、要約統計量(summary statistics)（例えば上述のＥＣ１）に対応する実数成分および虚数成分を有する複素数の絶対値により決定される目的関数を利用してもよく、この要約統計量は、実数および虚数のホログラフィ再構成画像から得られたエッジ画像にそれぞれ適用されるものであってよい。ただし、第２段階では、要約統計量により決定される目的関数を利用してもよく、この要約統計量（例えば、上述の例示的なスカラー測定値ＥＣ２）は、複素数の絶対値を有するホログラフィ再構成画像（例えば振幅画像）から得られたエッジ画像に適用されるものであってよい。
図４は、本発明の実施形態に係る、再構成画像内でオブジェクトを特定するための方法（例えば、オブジェクトのセグメンテーション方法）を示すフロー図である。オブジェクトを特定するためのこの方法、または、この技術分野で知られたオブジェクトを特定するための他の方法を、各再構成深度にそれぞれ対応する各２Ｄ再構成画像に対して別個に適用してもよい。例えば、複数の再構成深度により構成される再構成画像のスタックの各二次元画像において、オブジェクトを特定してもよい。
再構成画像内でオブジェクトを特定するための方法は、再構成画像を加工して画質を向上させるステップ４０１を含んでいる。例えば、フィルタリングを実施して、得られた画像のノイズを低減させることができる。例えば、本発明の実施形態では、フィルタリングのみを行ってもよいし、他のノイズ低減技術と組み合わせてフィルタリングを行ってもよい。適応形態素フィルタリング(adaptive morphological filtering)を行って、得られた画像のシャープネスおよび／またはコントラストを大きくしてよい。さらに、実施形態では、最小フィルタリングと適応形態素フィルタリングの両方を適用してよい。上記にかかわらず、画像の前処理ステップ４０１は任意のステップであると考えることができる。
次のステップでは、例えば各画素に適応値を割り当てることにより再構成画像をデジタル化し、これによりデジタル化された再構成画像を得る（ステップ４０２）。ここで、「デジタル化する」とは、具体的には、再構成画像を二値で量子化することを指してよい。例えば、画素のグレースケールがしきい値より大きく、またはしきい値以上であるときに、二進数の「１」を当該画素に割り当て、画素のグレースケールがしきい値より小さいときに、二進数の「０」を当該画素に割り当ててよい。その結果、再構成画像の二値画像を得ることができる。このしきい値は、例えば、画像の強度を考慮して（例えば画像の強度の規格化を行うことにより）決定してよい。
この方法は、デジタル化された再構成画像内の接続領域（または連続領域）、例えば二進数の「１」が付された領域を認識するステップ４０３をさらに含む。接続領域のそれぞれが、グループ化され、ナンバリングされている。例えば、各接続領域内の画素をグループ化して、固有の識別番号により識別されるグループを構成してもよい。各グループがオブジェクトである可能性があると考えてよい。例えば、近接度の測定値または形態学的基準に基づいて、複数の接続領域を一緒にグループ化してもよい。そして、一例として、複数の接続領域が互いに近接しているか、（ステップ４０２で言及した二重量化によるしきい値の下で）小さいボリューム（例えば、デジタル化された再構成画像において「０」とラベル付けされる程度の小さいボリューム）だけ隔てられている場合、当該複数の接続領域を同じオブジェクトに帰属させる。あるいは、例えば必要に応じて（例えば、画像のコントラストが再構成画像のデジタル化を高い忠実度で実行するのに十分な程度である場合に）、複数の領域を集めて１つのグループを作ることなく、各接続領域を、対応するグループとして特定してもよい。
この方法は、複数の接続領域からなるグループ（例えばグループ＃１）がしきい値以上の大きさを有する場合に、当該グループをオブジェクトとして特定するステップ４０５をさらに含む。ただし、接続領域からなるグループ（例えばグループ＃２）の大きさが前記しきい値より小さい場合、このグループは、不純な成分、またはノイズアーチファクトであると考えることができ、廃棄される（ステップ４０６）。
この方法は、ステップ４０５で特定され、またはステップ４０６で廃棄されたグループのうち、オブジェクト検出の対象として残っているグループがあるか否かを決定するステップ４０７をさらに含む。残っているグループがあると決定した場合、ステップ４０４〜４０６を繰り返す。残っているグループはないと決定した場合、可能性のあるすべてのオブジェクトが特定され、または廃棄されたことになるので、オブジェクトマップを生成する（ステップ４０８）。
例示的なオブジェクトマップを図５に示している。図５を参照して、１〜４の番号が付された４つのオブジェクトがオブジェクトマップ５０内に存在する。各オブジェクト１〜４は、長方形のボックス（例えば最小のバウンディングボックス、または、当該最小のバウンディングボックスの周りに所定の余白が設けられたバウンディングボックス）により囲われている。長方形のボックス（オブジェクト１〜３）は、対応するオブジェクトにぴったりはまることができ、または、余白がある状態で対応するオブジェクトを中に入れる（オブジェクト４）ことができる。さらに、あるボックスが別のボックスとオーバラップしていてもよいし（オブジェクト３，４）、別のボックスの周囲を完全に囲んでいてもよい（オブジェクト４がオブジェクト２を囲んでいる）。さらに、あるボックスが別のボックスから隔てられていてもよい（オブジェクト１，３）。これらのボックスにより、各オブジェクトの後段の処理を容易に行うことができる。図５に示すように、例えば再構成されたホログラフィ画像をボックスに沿って切り取ることにより、オブジェクト１をオブジェクトマップ５０から抽出してもよい。次に、本発明の実施形態に従ってエッジまたは境界を検出することにより、オブジェクト１のエッジ５２（または境界）を検出する。次に、エッジ５２に対して鮮明度の評価を行う（例えば上述のメトリックＥＣを計算する）。
（例えば複数の焦点深度を得るために収集した）十分な数のメトリックＥＣは、図５に示すように、ある探索範囲にわたって詳細なＥＣカーブ５５を構成する。ＥＣカーブ５５では、メトリックＥＣは焦点面を基準としてベル型分布を有していてよい。したがって、良好な焦点面（例えば最適な焦点面、更には最良の焦点面）を特定できる。既存のアプローチの中には、包括的探索中に、再構成画像の振幅に基づいてカーブを形成するものもある。ただし、こうしたカーブには、例えば図２０に示すように明白な山と谷を有するものがあり、この場合、最適な焦点面を特定する（例えば全体の最大値を決定する）のが難しいとわかる。
図６は、本発明の実施形態に係る、オブジェクトについての鮮明さ測定値（例えば鮮明度）を決定するための方法を示すフロー図である。図６を参照して、再構成画像の実部に基づいて、ＺａとＺｂの間の範囲内にある深度Ｚｊで、オブジェクトについて、第１エッジ検出を実施する（ステップ６０１）。したがって、深度Ｚｊでのオブジェクトのエッジまたは境界edgeimage,realを、例えばedgeimage,real = conv(real_image, edgeoperator)により決定してよい。
同様に、この方法は、再構成画像の虚部に基づいて、深度Ｚｊで、オブジェクトについて第２エッジ検出を実施してedgeimage, imaginaryを得るステップ６０２を含んでいている。ただし、ステップ６０２，６０１を実施する順序は逆であってもよい。
この方法は、第１エッジ検出の標準偏差に基づいて、オブジェクトについて第１鮮明度
edgeclearness,realを取得するステップ６０３をさらに含む。edgeclearness,realの値は、以下の値の標準偏差に等しい。
Figure 0006490219
ステップ６０４では、オブジェクトについての第２鮮明度edgeclearness,imaginaryを第２エッジ検出の標準偏差に基づいて（例えばステップ６０３と同様の方法で）得てよい。上と同様に、ステップ６０３，６０４は順序を逆にして実施してもよい。さらに、ステップ６０１，６０３，６０２，６０４を連続して実施してもよいし、ステップ６０２，６０４，６０１，６０３を連続して実施してもよい。
次に、第１、第２鮮明度edgeclearness,real，edgeclearness,imaginaryに基づいて、メトリックＥＣを（例えば以下の式で）決定する（ステップ６０５）。
Figure 0006490219
ここで、edgeclearness, real = std(|conv(edgeimage, real, gradientoperation)|)であり、edgeclearness, imaginary = std(|conv(edgeimage, imaginary, gradientoperation)|)である。
図７は、本発明の実施形態に係る、１つ以上のオブジェクトについて最適な焦点面を決定する方法を示すフロー図である。測定下のオブジェクトには図２に示す方法を適用できるが、対象の１つ以上のオブジェクトを含むサンプルには図７に示す方法を適用できる。
図７を参照して、ホログラフィ画像を受信し（ステップ７０１）、再構成する（ステップ２０１）。次に、再構成画像内でオブジェクトを認識し、分割し（ステップ２０２）、オブジェクトマップを得る。そして、得られたオブジェクトマップから、対象のオブジェクトを抽出する（ステップ７０４）。
さらに、再構成画像の実部と虚部にそれぞれ基づいて、ある範囲内のある深度で、抽出されたオブジェクトについてエッジ検出を実施する（ステップ２０３）。エッジ検出プロセスは、実部に関する第１エッジ検出と、虚部に関する第２エッジ検出を含んでいてよい。さらに、上述のとおり、第１エッジ検出と第２エッジ検出は、並行して実施してもよいし、順番に実施してもよい。順番に実施する場合は、第１エッジ検出は、第２エッジ検出の前に実施してもよいし、後に実施してもよい。
前記深度でのオブジェクトの鮮明度は、第１、第２エッジ検出のそれぞれの標準偏差に基づいて評価する（ステップ２０４）。
次に、オブジェクトの鮮明度を他の深度で評価するか否かについて決定を行う（ステップ７０７）。他の深度で評価すると決定した場合、ステップ２０３，２０４，７０７を繰り返す。他の深度で評価しないと決定した場合、当該範囲内でのさまざまな深度でのオブジェクトの鮮明度の評価をすべて完了する。鮮明度が最大になる深度を、動作中のオブジェクトについて最適な焦点面として特定する（ステップ２０６）。
次に、再構成画像内に評価を行うべき他のオブジェクトが存在するか否かを決定する（ステップ７０９）。もしそのようなオブジェクトが存在するなら、ステップ７０４，２０３，２０４，７０７，２０６，７０９を繰り返す。もしそのようなオブジェクトが存在しないなら、対象のオブジェクトはすべて評価したことになり、当該オブジェクトについての最適な焦点面に関する情報を含む画像を生成する（ステップ２０５）。
図８は、本発明の実施形態に係る、１つ以上のオブジェクトについて最適な焦点面を決定するための方法を示すフロー図である。測定下のオブジェクトには図３に示す方法を適用できるが、対象の１つ以上のオブジェクトを含むサンプルには図８に示す方法を適用できる。
図８を参照して、オブジェクトマップからオブジェクトを抽出する（ステップ７０４）。次に、再構成画像の実部と虚部に基づいて、ＺａとＺｂの間の第１範囲に含まれる所定範囲の１つで、オブジェクトについて、第１段階のエッジ検出を行う（ステップ３０３）。第１段階のエッジ検出は、実部に関連する第１エッジ検出と、虚部に関連する第２エッジ検出を含んでいてよい。
さらに、前記１つの所定深度でのオブジェクトのエッジの実部と虚部のそれぞれの標準偏差に基づいて、前記１つの所定深度での、オブジェクトについての第１段階の鮮明度を評価する（ステップ３０４）。
次に、再構成画像内のオブジェクトを、他の深度で評価するか否かを決定する（ステップ７０７）。他の深度で評価すると決定した場合、ステップ３０３，３０４，７０７を繰り返す。他の深度で評価すると決定した場合、前記所定深度に関連する第１段階の鮮明度の位置に基づいて、Ｚａ１とＺｂ１の間で規定される（第１範囲に入る）第２範囲を決定する。
次に、第２範囲に含まれるさまざまな深度について、例えば再構成画像の振幅に基づいて、第２段階のエッジ検出を実施する（ステップ３０５）。次に、第２段階のエッジ検出に基づいて、オブジェクトについて第２段階の鮮明度を決定する（ステップ３０６）。
次に、第２範囲内の他の深度でオブジェクトを決定するか否かを判断する（ステップ８０８）。他の深度でオブジェクトを決定すると判断した場合、ステップ３０５，３０６，８０８を繰り返す。他の深度でオブジェクトを決定しないと判断した場合、第２範囲に含まれる深度であって、第２段階の鮮明度の最大値を生じる深度を最適な焦点面と決定する（ステップ８０９）。
次に、再構成画像内に評価のための他のオブジェクトがあるか否かを決定する（ステップ７０９）。他のオブジェクトがあると決定した場合、図８に関連して説明したすべてのステップを繰り返す。他のオブジェクトがないと決定した場合、オブジェクトについての最適な焦点面に関する情報を含む画像を生成する（ステップ２０５）。
図９から図１９は、本発明の実施形態に係る、最適な焦点面を決定するための方法を示す概略図である。包括的な探索を用いた方法と違って、図９から図１９に示す方法は、より少ない数の深度を用いて最適な焦点面の探索を行う。したがって、この方法によれば、最適な焦点面を決定するプロセスが加速度的に進む。用いる深度の数はＥＣのカーブ（曲線）を形成するのに十分な数ではないかもしれないが、所定の探索範囲にわたってこれらの深度を好適に配置することにより、ＥＣのカーブの傾斜を明らかにすることができ、したがって、最適な深度が入りうる、より狭い範囲を予測できる。実施形態に従い、Ｎ個（Ｎは真に正の値）の深度を用いて、探索範囲を、例えばそれぞれ実質的に同じ間隔を隔てたＮ＋１個の領域に分割してもよい。例えば図９から図１９に示す実施形態では、第１範囲（Ｚａ以上Ｚｂ以下）に含まれる所定の３つのチェックポイントまたは深度Ｚ１，Ｚ２，Ｚ３を用いている。
上述のとおり、オブジェクトのエッジの実部と虚部のそれぞれの標準偏差を計算し、それらを組み合わせて（例えば以下の式に従って）１つのスカラー値を得ることにより、
図２１を参照して説明した正則したカーブを得ることができる。カーブの正則性により、探索範囲をより狭くしやすくなる。
Figure 0006490219
図９を参照して、チェックポイントＺ１，Ｚ２，Ｚ３は、一定の間隔で設定されていてもよく、ＺａとＺｂの間の範囲に入っていてもよい。したがって、チェックポイントＺ１，Ｚ２，Ｚ３は、ＺａとＺｂの間の深度における第１の四分位点、第２の四分位点および第３の四分位点に対応してよい。チェックポイントＺ１，Ｚ２，Ｚ３に関連して上述のように定義される第１のメトリックをそれぞれＥＣｚ１，ＥＣｚ２，ＥＣｚ３と称する。最良の焦点面（例えば、第１のメトリックの最大値に対応する）の一方の側で、第１のメトリックが狭義単調減少し、他方の側では狭義単調減少していると考えられる。したがって、第１範囲内で第１のメトリックＥＣｚ１，ＥＣｚ２，ＥＣｚ３の値を評価することにより、最適な焦点面が存在する第２範囲を決定できる。その結果、第１範囲から第２範囲へ探索領域を小さくすることができ、これにより最適な焦点面の探索が容易になる。
説明のため、第１のメトリックＥＣｚ１，ＥＣｚ２，ＥＣｚ３のうち最も大きいメトリックＥＣｚ１を黒丸で示し、その他を白丸で示している。図９を参照して、この例ではＥＣｚ１が最も大きい第１のメトリックであり、ＥＣｚ２はＥＣｚ３よりも小さい。Ｚ１とＺ２を結ぶ直線の傾斜は、Ｚ２とＺ３を結ぶ直線の傾斜より大きい。したがって、Ｚ１，Ｚ２，Ｚ３により作られるカーブは、上昇するよりも低下する傾向を示している。Ｚ１とＺ２の間の狭義単調減少領域（実線の矢印で示す）は、上述の仮定の下、ＺaとＺ１の間に狭義単調増加領域（点線の矢印で示す）が存在することを暗に示している。したがって、最適な焦点面（例えば最良の焦点面に近接して位置している）がＺaとＺ２の間の第２領域に入ることを決定できる。
図１０を参照して、ＥＣｚ１が最も大きい第１のメトリックであり、ＥＣｚ２はＥＣｚ３よりも大きい。Ｚ１とＺ２の間に狭義単調減少領域があり、ＺａとＺ１の間に狭義単調増加領域（点線の矢印で示す）がある。その結果、最適な焦点面は、ＺａとＺ２の間の第２範囲内にあることが決定される。
さらに、図１１を参照して、ＥＣｚ１が最も大きく、ＥＣｚ２はＥＣｚ３に等しい。同様に、最適な焦点面は、ＺａとＺ２の間の第２範囲内にあることが決定される。
図９から図１１に示す実施形態に基づく上述の例示的な解析から、最も大きな第１のメトリックが、より小さい第２範囲を決定し、または、最も大きい第１のメトリックに第２範囲を関連付けることができることに留意されたい。
図１２を参照して、ＥＣｚ２が最も大きい第１のメトリックであり、ＥＣｚ１はＥＣｚ３よりも小さい。Ｚ１とＺ２の間に狭義単調増加領域（実線の矢印で示す）があり、Ｚ２とＺ３の間に狭義単調減少領域（点線の矢印で示す）がある。最適な焦点面は、Ｚ１とＺ３の間の第２範囲内にあることが決定される。
図１３を参照して、ＥＣｚ２が最も大きい第１のメトリックであり、ＥＣｚ１はＥＣｚ３よりも大きい。上と同様に、Ｚ１とＺ２の間に狭義単調増加領域があり、Ｚ２とＺ３の間に狭義単調減少領域がある。最適な焦点面は、Ｚ１とＺ３の間の第２範囲内にあることが決定される。
図１４を参照して、ＥＣｚ２が最も大きい第１のメトリックであり、ＥＣｚ１はＥＣｚ３に等しい。上と同様に、Ｚ１とＺ２の間に狭義単調増加領域があり、Ｚ２とＺ３の間に狭義単調減少領域がある。最適な焦点面は、Ｚ１とＺ３の間の第２範囲内にあることが決定される。
図１５を参照して、ＥＣｚ３が最も大きい第１のメトリックであり、ＥＣｚ１はＥＣｚ２よりも小さい。Ｚ２とＺ３の間の狭義単調増加領域（実線の矢印で示す）は、Ｚ３とＺｂの間が狭義単調減少領域（点線の矢印で示す）となることを暗に示している。最適な焦点面は、Ｚ２とＺｂの間の第２範囲内にあることが決定される。
図１６を参照して、ＥＣｚ３が最も大きい第１のメトリックであり、ＥＣｚ１はＥＣｚ２よりも大きい。Ｚ２とＺ３の間を結ぶ直線の傾斜は、Ｚ１とＺ２の間を結ぶ直線の傾斜よりも大きいので、Ｚ１、Ｚ２およびＺ３により作られるカーブは、下降よりも上昇する傾向を有している。上と同様に、Ｚ２とＺ３の間の狭義単調増加領域は、Ｚ３とＺｂの間が狭義単調減少領域となることを暗に示している。最適な焦点面は、Ｚ２とＺｂの間の第２範囲内にあることが決定される。
図１７を参照して、ＥＣｚ３が最も大きい第１のメトリックであり、ＥＣｚ１はＥＣｚ２に等しい。上と同様に、Ｚ２とＺ３の間の狭義単調増加領域は、Ｚ３とＺｂの間が狭義単調減少領域となることを暗に示している。最適な焦点面は、Ｚ２とＺｂの間の第２範囲内にあることが決定される。
図１８を参照して、ＥＣｚ１はＥＣｚ２に等しく、ＥＣｚ３よりも大きい。Ｚ２とＺ３の間の狭義単調減少領域（実線の矢印で示す）は、Ｚ１とＺ２の間に狭義単調増加領域（点線の矢印で示す）と狭義単調減少領域（点線の矢印で示す）が存在することを暗に示している。最適な焦点面は、Ｚ１とＺ２の間の第２範囲内にあることが決定される。
図１９を参照して、ＥＣｚ２はＥＣｚ３に等しく、ＥＣｚ１よりも大きい。Ｚ１とＺ２の間の狭義単調増加領域（実線の矢印で示す）は、Ｚ２とＺ３の間に狭義単調増加領域（点線の矢印で示す）と狭義単調減少領域（点線の矢印で示す）が存在することを暗に示している。最適な焦点面は、Ｚ２とＺ３の間の第２範囲内にあることが決定される。
本発明の第２の態様は、焦点面を決定するためのオートフォーカスシステムにおいて用いられる計算デバイスに関する。計算デバイスは、本発明の第１の態様の実施形態に係る方法を実行するようにプログラムされている。計算デバイスは、メモリと、１つ以上のプロセッサと、メモリに記憶されてプロセッサにより実行されるように構成された１つ以上のプログラムとを有していてよい。
また、本発明の実施形態は、測定下のサンプルに向けて光を照射するための光源と、サンプルのホログラムを取得するためのイメージャとを備えたオートフォーカスシステムに関するものであってよい。さらに、オートフォーカスシステムは、焦点面を決定するための計算デバイスを備えていてよい。
図１は、本発明の実施形態に係るオートフォーカスシステム１００の概略図を示す。オートフォーカスシステム１００を用いて、細胞トラッキングなどを自動観察する機能をアシストする。具体的には、オートフォーカスシステム１００は焦点面（例えば、デジタルホログラフィ再構成法で用いる焦点距離パラメータ）を決定し、決定した焦点面と組み合わせて当該再構成法を用いて鮮明な再構成画像を生成する。
図１を参照して、実施形態に係るオートフォーカスシステム１００は、撮像システム１０と計算システム２０を備えていてよい。幾つかの実施形態では、撮像システム１０は、サンプルの１つ以上のホログラムを提供するホログラフィシステムを有し、計算デバイス２０は、これに限定されないが、撮像システム１０から送信されるホログラムを処理するように構成されたコンピュータを有する。
撮像システム１０は、光源１１とイメージャ１４を有していてよい。光源１１は、測定下のサンプル１２に向かって光（例えば少なくとも部分的にコヒーレント性を有する光）を照射する。サンプル１２の光学特性は、光がサンプル１２内を移動するときに生じる光の透過、散乱、回折の特性により明らかになるだろう。したがって、本発明の実施形態は、サンプル１２の透過ホログラムを取得するように構成された撮像システム１０に関するものである。ただし、本発明の実施形態は、サンプル１２の反射ホログラムを取得するように構成された撮像システムに関するものでもある。
他の情報、例えば、サンプル１２内のオブジェクトの複素形式での波面がイメージャ１４で記録されてよい。撮像システム（イメージングシステム）１０は、画像１５（例えば、光学的情報を含むホログラムまたはホログラフィ画像）を生成する。画像１５は、再構成までの間は目視検査できない（例えば観察者が目で見ても簡単には解釈できない）一組の未加工データを含んでいてよい。さらに、撮像システム１０は、後に続く処理のために計算デバイス２０に画像１５を送信する（以下でさらに説明する）。
幾つかの実施形態では、光源１１は、レーザ光源または発光ダイオード（ＬＥＤ）光源であってよい。さらに、サンプル１２は、１つ以上の微生物学的セルおよび１つ以上の半導体部品を有していてよい。微生物学的セルまたは半導体部品は、本開示を通じてオブジェクトと称することがあり、さまざまな深度（またはさまざまな焦点面）で焦点を合わせることができる。
計算デバイス２０は、プロセッサ２１とメモリ２２を有していてよい。幾つかの実施形態では、プロセッサ２１は中央処理装置（ＣＰＵ）または計算モジュールの一部である。プロセッサ２１は、メモリ２２に記憶され、サンプル１２内のオブジェクトについて最適な焦点面を決定するための特定の動作を行う１つ以上のプログラムを実行するように構成されてよい。したがって、計算デバイス２０は、撮像システム１０から送信される画像１５に応答して、サンプル１２内の１つ以上のオブジェクトについての最適な深度（または最適な焦点面）に関する情報を含む画像１６を生成する。計算デバイス２０の動作または機能は、本発明の第１の態様の実施形態に関連して、上で詳細に説明したとおりである。
幾つかの実施形態では、計算デバイス２０においてソフトウェアが採用されているが、他の実施形態では、代わりにハードウェアが用いられてもよい。ハードウェア実装により、ソフトウェア実装と比べて高い性能を得ることができるが、設計コストが高くなる。リアルタイムアプリケーションの場合、速度についての要求に応じて、通常はハードウェア実装が選択される。本明細書で説明している動作、機能および技術は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせにおいて少なくとも部分的に実装されてよいことに留意すべきである。例えば、本開示に係る実施形態の種々の態様は、１つ以上の処理ユニット内で実行されてよい。処理ユニットの例は、マイクロ処理ユニット、デジタルシグナル処理ユニット（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他の任意の集積（またはディスクリート）論理等価回路、および、こうした部品の組み合わせであってもよい。「プロセッサ」、「処理ユニット」または「処理回路」は、通常、上述の論理回路のいずれか（単独で、または他の論理回路と組み合わせて）、または他の任意の等価回路を指していてよい。また、ハードウェアを含む制御ユニットは、本開示の１つ以上の技術を実施する。
本開示に係る幾つかの実施形態では、メモリ２２は任意のコンピュータ可読媒体を含んでいてよい。コンピュータ可読媒体は、これに限定されないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、イレーザブルプログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電子的イレーザブルプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ソリッドステートドライブ（ＳＳＤ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、フロッピーディスク、カセット、磁気媒体、光学媒体などであってよい。ある実施形態では、メモリ２２はプロセッサ２１に組み込まれる。
幾つかの実施形態では、計算デバイス２０は、１つ以上のプロセッサ２１、および／または、メモリ２２に記憶されてプロセッサ２１により実行されるように構成された１つ以上のプログラムを有していてよい。１つ以上のプログラムは、ホログラフィ画像を再構成し、再構成画像においてオブジェクトを特定し、再構成画像の実部に基づいて、所定深度でオブジェクトについて第１エッジ検出を実施し、再構成画像の虚部に基づいて、所定深度でオブジェクトについて第２エッジ検出を実施し、第１エッジ検出の結果に基づいて、所定深度でオブジェクトについて第１の鮮明度を評価し、かつ／または、第２エッジ検出の結果に基づいて、所定深度でオブジェクトについて第２の鮮明度を評価する、ための命令を含んでいてよい。
さらに、本発明に係る実施形態では、前記１つ以上のプログラムは、ホログラフィ画像を再構成し、再構成画像内のオブジェクトを特定し、再構成画像の実部に基づいて、第１範囲に含まれる一組の所定深度でオブジェクトについて第１段階のエッジ検出を実施し、再構成画像の虚部に基づいて、第１範囲に含まれる一組の所定深度でオブジェクトについて第１段階のエッジ検出を実施し、前記実部と虚部に関連する第１段階のエッジ検出の各結果に基づいて、前記一組の所定深度でオブジェクトについて第１段階の鮮明度を評価し、かつ／または、第１段階の鮮明度に基づいて、最適な焦点面に関連する第２範囲を第１範囲内で特定する、ための命令を含んでいてよい。
本発明の第３の態様は、第２の態様の実施形態に係る計算デバイス上で実施されたときに、第１の態様の実施形態に係る方法を実施するためのコンピュータプログラム製品に関する。

Claims (15)

  1. デジタルホログラフィによって記録される、少なくとも１つのオブジェクトについて最適化された焦点面を決定するためのオートフォーカス方法であって、前記焦点面は、焦点深度パラメータによって規定され、
    前記少なくとも１つのオブジェクトのホログラフィ画像を再構成して、異なる複数の焦点深度で再構成画像を提供するステップ（２０１）であって、前記再構成画像は、併せて位相の情報と振幅の情報をエンコードする実数成分および虚数成分を含むステップと、
    前記互いに異なる複数の焦点深度のうち少なくとも２つの深度について、前記実数成分に対して第１エッジ検出を実施し、前記少なくとも２つの深度について、前記虚数成分に対して第２エッジ検出を実施するステップ（２０３）と、
    前記第１エッジ検出に関する第１統計的ばらつき測定値に基づいて前記少なくとも２つの深度のそれぞれについて、前記少なくとも１つのオブジェクトのエッジまたは境界の第１鮮明さ測定値を取得し、かつ、前記第２エッジ検出に関する第２統計的ばらつき測定値に基づいて前記少なくとも２つの深度のそれぞれについて第２鮮明さ測定値を取得するステップ（２０４）と、
    前記少なくとも２つの深度について測定したスカラー鮮明さ測定値の比較に基づいて、前記少なくとも１つのオブジェクトについて前記少なくとも２つの深度で再構成された画像間で最適化された焦点面を決定するステップ（２０５）とを含み、
    前記スカラー鮮明さ測定値は、前記第１鮮明さ測定値と前記第２鮮明さ測定値に基づくものである、
    方法。
  2. 前記再構成画像に含まれる該少なくとも１つのオブジェクトを特定するステップ（２０２）をさらに含み、
    前記第１エッジ検出および前記第２エッジ検出を実施するステップ（２０３）、前記第１鮮明さ測定値および前記第２鮮明さ測定値を取得するステップ（２０４）、および、前記最適化された焦点面を決定するステップ（２０５）は、少なくとも１つの特定された該または各オブジェクトに対応する再構成画像の局所領域に適用される、
    請求項１に記載の方法。
  3. 前記特定するステップ（２０２）は、前記再構成画像をデジタル化するステップ（４０２）と、同じデジタル値を有する接続領域群を特定するステップ（４０３）と、前記接続領域群のそれぞれを分割するステップとを含む、
    請求項２に記載の方法。
  4. 前記ステップ（２０２）では、複数のオブジェクトを特定し、
    前記ステップ（２０５）では、前記複数のオブジェクトに対応する複数の最適化された焦点面を決定し、
    この方法は、前記対応する最適化された焦点面内の前記複数のオブジェクトのそれぞれに対応する画像領域を縫合し、複数のオブジェクトのそれぞれを含む合成画像を作るステップをさらに含む、
    請求項２または３に記載の方法。
  5. 前記第１統計的ばらつき測定値および／または前記第２統計的ばらつき測定値は、標準偏差を含む、
    請求項１から４のいずれか１項に記載の方法。
  6. 前記第１鮮明さ測定値を取得するステップおよび／または第２鮮明さ測定値を取得するステップは、前記第１エッジ検出の結果および／または前記第２エッジ検出の結果の勾配の大きさを取得するステップと、前記勾配の大きさの標準偏差を取得するステップとを含む、
    請求項４に記載の方法。
  7. 前記互いに異なる複数の焦点深度のうち少なくとも２つの深度は、所定範囲内で均一に分布した複数の深度を含む、
    請求項１から６のいずれか１項に記載の方法。
  8. 前記所定範囲内で均一に分布した複数の深度は、前記所定範囲における第１の四分位点、第２の四分位点および第３の四分位点を含む、
    請求項７に記載の方法。
  9. 前記ステップ（２０５）で決定した最適化された焦点面に基づいて、前記互いに異なる複数の焦点深度のうち少なくとも１つの更なる深度を決定するステップと、
    前記少なくとも１つの更なる深度について前記第１エッジ検出および前記第２エッジ検出を実施するステップ（２０３）、および、前記少なくとも１つの更なる深度について前記第１鮮明さ測定値および前記第２鮮明さ測定値を取得するステップ（２０４）を繰り返すステップと、
    前記少なくとも１つの更なる深度について、前記スカラー鮮明さ測定値に基づいて前記焦点面を調節するステップとをさらに含む、
    請求項１から８のいずれか１項に記載の方法。
  10. 前記ステップ（２０５）で決定した最適化された焦点面に基づいて、前記互いに異なる複数の焦点深度のうち少なくとも１つの更なる深度を決定するステップと、
    前記再構成画像の振幅に基づいて、前記少なくとも１つの更なる深度について第２段階のエッジ検出を実施するステップと、
    前記第２段階のエッジ検出の結果に基づいて、前記オブジェクトについての第２段階の鮮明さ測定値を評価するステップとをさらに含む、
    請求項１から８のいずれか１項に記載の方法。
  11. 前記少なくとも２つの深度は、所定の第１深度範囲内で均一に分布し、
    前記少なくとも１つの更なる深度は、第２深度範囲内で均一に分布し、
    前記第２深度範囲は、前記所定の第１深度範囲よりも狭く、
    前記第２深度範囲は、前記少なくとも２つの深度についての前記スカラー鮮明さ測定値の比較結果を考慮に入れることにより決定する、
    請求項９または１０に記載の方法。
  12. 前記第１エッジ検出および／または前記第２エッジ検出を実施するステップ（２０３）は、ラプラシアンマスクを用いて前記実数成分および／または前記虚数成分にそれぞれ畳み込みを行うステップを含む、
    請求項１から１１のいずれか１項に記載の方法。
  13. 最適化された焦点面を決定するためのオートフォーカスシステム（１０）において用いられる計算デバイス（２０）であって、プロセッサを含み、請求項１から１２のいずれか１項に記載の方法を実行するようにプログラムされた、計算デバイス（２０）。
  14. 測定下のサンプル（１２）に向けて光を照射するための光源（１１）と、
    前記サンプル（１２）のホログラムを取得するためのイメージャ（１４）とを備えたオートフォーカスシステム（１０）であって、
    最適化された焦点面を決定するために請求項１３に記載の計算デバイス（２０）をさらに備えた、
    オートフォーカスシステム（１０）。
  15. 請求項１３に記載の計算デバイス（２０）で実行したときに、請求項１から１２のいずれか１項に記載の方法を実施するためのコンピュータプログラム製品。
JP2017528223A 2014-11-28 2015-11-30 デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法 Expired - Fee Related JP6490219B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
TW103141335 2014-11-28
TW103141335A TWI557462B (zh) 2014-11-28 2014-11-28 自動聚焦系統與方法
PCT/EP2015/078089 WO2016083620A1 (en) 2014-11-28 2015-11-30 Autofocus system and method in digital holography

Publications (3)

Publication Number Publication Date
JP2017538160A JP2017538160A (ja) 2017-12-21
JP2017538160A5 JP2017538160A5 (ja) 2019-01-10
JP6490219B2 true JP6490219B2 (ja) 2019-03-27

Family

ID=54771100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528223A Expired - Fee Related JP6490219B2 (ja) 2014-11-28 2015-11-30 デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法

Country Status (7)

Country Link
US (1) US10241471B2 (ja)
EP (1) EP3224678B1 (ja)
JP (1) JP6490219B2 (ja)
CN (1) CN108377658B (ja)
CA (1) CA2968024C (ja)
TW (1) TWI557462B (ja)
WO (1) WO2016083620A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3260841B1 (en) * 2016-06-22 2024-03-13 Uponor Oyj Detecting microscopic objects in fluids
US11373278B2 (en) * 2016-09-30 2022-06-28 University Of Utah Research Foundation Lensless imaging device
EP3339963B1 (en) * 2016-12-21 2020-08-12 IMEC vzw An apparatus and a method for in-line holographic imaging
JP6969164B2 (ja) * 2017-05-31 2021-11-24 株式会社リコー 評価装置、評価プログラム及び評価方法
US11269172B2 (en) * 2017-11-24 2022-03-08 Sigtuple Technologies Private Limited Method and system for reconstructing a field of view
CN108364296B (zh) * 2018-02-09 2020-12-01 重庆东渝中能实业有限公司 基于多层全息重建与聚焦策略的细胞群空间分布构建方法
US10699875B2 (en) * 2018-11-13 2020-06-30 Fei Company Confocal imaging technique in a charged particle microscope
EP3839636B1 (en) * 2019-12-20 2024-03-13 Imec VZW A device for detecting particles in air
CN112098997B (zh) * 2020-09-18 2021-10-15 欧必翼太赫兹科技(北京)有限公司 三维全息成像安检雷达图像异物检测方法
CN112529791B (zh) * 2020-11-16 2023-05-26 中国海洋大学 基于浮游生物数字全息图像的自适应性多焦点复原方法
CN112969026A (zh) * 2021-03-18 2021-06-15 德州尧鼎光电科技有限公司 一种成像椭圆偏振仪的焦平面自动聚焦方法
CN113286079B (zh) * 2021-05-10 2023-04-28 迈克医疗电子有限公司 图像对焦方法、装置、电子设备及可读存储介质
CN113359403B (zh) * 2021-05-21 2022-08-12 大连海事大学 一种用于无透镜数字全息成像的自动聚焦方法
CN114548884B (zh) * 2022-04-27 2022-07-12 中国科学院微电子研究所 一种基于剪枝轻量化模型的包裹识别方法和系统
CN116642895B (zh) * 2023-07-27 2023-09-29 宏椿智能科技(苏州)有限公司 一种焦平面扫掠的五面成像3d重构方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7700903B2 (en) * 2006-06-09 2010-04-20 Wdi Wise Device Inc. Method and apparatus for the auto-focussing infinity corrected microscopes
WO2011160068A1 (en) * 2010-06-17 2011-12-22 Purdue Research Foundation Digital holographic method of measuring cellular activity and measuring apparatus with improved stability
US9036900B2 (en) * 2011-01-21 2015-05-19 University Of Hyogo Three-dimensional shape measurement method and three-dimensional shape measurement device
KR102068744B1 (ko) * 2012-05-04 2020-01-21 삼성전자주식회사 초점 검출장치
CN105264443B (zh) * 2013-06-06 2019-05-31 视瑞尔技术公司 用于计算全息图的数据的装置和方法
KR101820563B1 (ko) * 2014-12-31 2018-01-19 한국전자통신연구원 홀로그램 데이터 포맷과 홀로그래픽 비디오 시스템 장치 및 방법

Also Published As

Publication number Publication date
JP2017538160A (ja) 2017-12-21
CA2968024C (en) 2019-11-12
EP3224678A1 (en) 2017-10-04
US20170322516A1 (en) 2017-11-09
TWI557462B (zh) 2016-11-11
EP3224678B1 (en) 2019-02-27
US10241471B2 (en) 2019-03-26
CN108377658B (zh) 2019-10-18
CN108377658A (zh) 2018-08-07
TW201619652A (zh) 2016-06-01
WO2016083620A1 (en) 2016-06-02
CA2968024A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
JP6490219B2 (ja) デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法
JP5001286B2 (ja) 対象物再構成方法およびシステム
Pirone et al. Speeding up reconstruction of 3D tomograms in holographic flow cytometry via deep learning
US10191265B2 (en) Image generation apparatus, image generation method, storage medium, and processing method
US10182185B2 (en) Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points
KR20130040121A (ko) Ｄｆｄ 이미징 시스템 및 방법
US10295525B2 (en) Image generation device, image generation method, recording medium, and processing method
US10330913B2 (en) Method and device for imaging an object
CN106716485A (zh) 用于产生结果图像的方法和光学器件
KR20160131023A (ko) 콜로이드 입자의 홀로그래픽 추적 및 특징화를 위한 고속 특징부 식별
JP6328222B2 (ja) Ｔｓｏｍイメージ獲得方法及び半導体装置検査方法
KR20220117328A (ko) 금속 조직의 상의 분류 방법, 금속 조직의 상의 분류 장치, 금속 조직의 상의 학습 방법, 금속 조직의 상의 학습 장치, 금속 재료의 재료 특성 예측 방법 및 금속 재료의 재료 특성 예측 장치
O'loughlin et al. Focal quality metrics for the objective evaluation of confocal microwave images
Rai Dastidar Automated focus distance estimation for digital microscopy using deep convolutional neural networks
WO2022183078A1 (en) Computational refocusing-assisted deep learning
JP7026853B2 (ja) 画像処理装置、評価システム、画像処理プログラム及び画像処理方法
JP5430643B2 (ja) 画像合成のための３次元プロファイルマップの作成方法
US20140192178A1 (en) Method and system for tracking motion of microscopic objects within a three-dimensional volume
KR101211050B1 (ko) 전역 광단층 영상기기의 이미지 해상도 향상방법
JP7099538B2 (ja) 画像処理装置および画像処理方法
CN113939759A (zh) 用于校正显微镜物镜视场中对焦平面变化的系统和方法
KR102578312B1 (ko) 홀로그램 기반 대상체 3차원 계측 장치 및 방법
US20230186483A1 (en) Method for determining boundaries of a z-stack of images of an object, corresponding optical instrument and computer program therefor
KR101938849B1 (ko) 회절 위상 현미경 시스템의 동작 방법 및 이를 이용한 회절 위상 현미경 시스템
JP2023125282A (ja) 解析方法および解析装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181121

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181121

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190226

R150 Certificate of patent or registration of utility model

Ref document number: 6490219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees