JP6770951B2 - 結果画像を生成する方法及び光学装置 - Google Patents

結果画像を生成する方法及び光学装置 Download PDF

Info

Publication number
JP6770951B2
JP6770951B2 JP2017512933A JP2017512933A JP6770951B2 JP 6770951 B2 JP6770951 B2 JP 6770951B2 JP 2017512933 A JP2017512933 A JP 2017512933A JP 2017512933 A JP2017512933 A JP 2017512933A JP 6770951 B2 JP6770951 B2 JP 6770951B2
Authority
JP
Japan
Prior art keywords
illumination
image
intensity
images
intensity image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017512933A
Other languages
English (en)
Other versions
JP2017527918A (ja
Inventor
ラルス シュトッペ
ラルス シュトッペ
クリストフ フーセマン
クリストフ フーセマン
ウルフギャング シンガー
ウルフギャング シンガー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2017527918A publication Critical patent/JP2017527918A/ja
Application granted granted Critical
Publication of JP6770951B2 publication Critical patent/JP6770951B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明の例示的な実施形態は、結果画像を生成する方法及び対応する装置に関する。特に、例示的な実施形態は、所定の最適化基準を満たす物体の結果画像の提供を容易にする技術に関する。
光学装置を用いて物体を撮像するとき、1つ又は複数の最適化基準を満たす結果画像の提供が望ましいことがよくある。特に、そのような最適化基準は、結果画像の画像コントラストであり得る。可能な限り高い画像コントラストを得ることが望ましい場合があり得る。比較的高い画像コントラストの場合、物体に関して、全く異なる複数の物理的パラメータ及び情報を得ることが可能となり得る。
光学装置の照明装置の適切なハードウェアによって結果画像のそのような最適化を容易にする技術(構造化照明)が知られている。例として、非特許文献1にはそのような技術が記載されている。ここで、照明装置の瞳面内では、例えば構造フィルタを使用することが可能になる。結果として、特に深い情報深度を有する物体、例えば特に振幅物体、を撮像することが可能になる。
しかしながら、そのような技術には一定の制限又は欠点がある。構造フィルタの選択は、典型的には結像される物体に依存するので、マスク交換ユニットによって照明装置内で交換可能な様式で構造フィルタを受け取り、場合によっては、利用可能な複数の異なる構造フィルタを維持する必要があり得る。例えば生物学的試料または未知の非生物学的試料のような様々なタイプの物体に対して、このことは不利となり得る。比較的多数の構造フィルタを利用可能な状態に維持する必要があるからである。それで実際に起こり得ることは、適合する構造フィルタが存在しないことである。さらに、画像捕捉完了後(後処理ステップ)における構造フィルタの事後変更が、不可能となるか、または限定された範囲でのみ可能となる。典型的には、光学装置の複雑さは、追加のハードウェア構成要素を利用可能に維持する結果として増加する。例えば機械的な誤作動、摩損、汚染などを理由とするエラーに対する感受性は、構造フィルタの交換可能な利用可能性によっても増加させられ得る。
独国特許出願第102014101219.4号
H.グロス(H. Gross)ら、「光学システムハンドブック(Handbook of Optical Systems)」、第2巻、Wiley−VCH、2005 H.シエントントフ(H. Siedentopf)、「顕微鏡画像中のエッジの可視化(Die Sichtbarmachung von Kanten im mikroskopischen Bilde)」、第25巻、図2〜図5、科学的顕微鏡ジャーナル(Zeitschr. f. wiss. Mikroskopie)、1908
これが、所定の最適化基準を満足する結果画像を生成するための改良された技術であって、上述した欠点及び制約の少なくとも一部を解消する技術に対するニーズがある理由である。特に、それぞれの最適化基準を満たす結果画像の正確かつ柔軟な提供を容易にする技術が必要とされている。
1つの態様によれば、本発明は、光学装置を用いて物体の結果画像を生成する方法に関する。この方法は、光学装置の照明装置により、少なくとも2つの照明ジオメトリを使用して物体を順次照明することを含む。この方法はさらに、少なくとも2つの照明ジオメトリのそれぞれについて、それぞれの照明ジオメトリによる照明中に物体の強度画像を取得することを含む。強度画像は、光学装置の検出器によって捕捉される。この方法はさらに、結果画像を生成するために、演算ユニットによって強度画像を合成することを含む。ここで、合成は、結果画像が所定の最適化基準を満たすように実行される。
一例として、物体は振幅物体であってもよい。すなわち、振幅物体は、少なくとも部分的に、透過光の減衰を引き起こす可能性がある。したがって、結果画像は物体を映し出すことができる。一例として、結果画像は、物体を拡大して映し出すことができる。一例として、光学装置は顕微鏡であってもよい。一例として、物体は、特に同一の構成要素の慣例的な監視のために、工業的な物体を含み得るが、生物学的な物体も含み得る。強度画像は、例えば蛍光画像とは対照的に、物体の部分的にコヒーレントな画像に対応することができる。この点で、強度画像は部分的コヒーレント画像とも呼ばれ得る。強度画像は結果画像を形成するために合成されるので、強度画像は部分画像とも呼ばれ得る。
一般に、照明ジオメトリは、光による物体の照明の全く異なる複数の幾何学的パラメータによって特徴付けられ得る。特に、少なくとも2つの照明ジオメトリは、異なる複数の照明方向を含むことができる。一例として、少なくとも2つの照明ジオメトリのうちの少なくとも1つは、1つ以上の照明方向を含むことができる。これは、1つの照明ジオメトリに対して複数の照明方向が組み合わされることを意味する。特に、照明方向を組み合わせることにより高速撮像が実行され得る。
代替的に又は追加的に、少なくとも2つの照明ジオメトリは、異なる複数の照明立体角を備えてもよい。照明方向は、例えば光軸に対して十分に定義された角度から物体を照明することができる。対照的に、照明ジオメトリは、光軸に対して角度の範囲から物体を照明することができる。一例として、照明ジオメトリは、照明ビームが1つの方向又は少なくとも2つの方向で物体に入射することとなるような立体角を定義することができる。照明立体角は、照明方向の組み合わせとも呼ばれる。特に、照明立体角を使用することによって、高速撮像が実現され得る。
一般に、照明ジオメトリの範囲内で使用される異なる照明方向は、相関していなくても相関していてもよい。照明方向は、染みを避けるために組み合わされ得る。これは、例えばレーザ又は単一モードのファイバペンシルのような点光源を使用せず、その代わりに、例えばLED又はマルチモードファイバのような拡張光源を使用することによって実現され得る。その結果、立体角からの照明が実現される。
様々な開示のシナリオでは、他の照明ジオメトリも使用され得る。すなわち、互いに関連付けられた複数の照明装置は、空間的に変調された態様で物体を照明し得る。換言すれば、物体は、例えば2つの照明方向からの干渉パターンによって照明され得る。この目的のために、モアレ画像化技術が使用され得る。すなわち、照明ジオメトリはモアレ照明を含み得る。本明細書に開示されたシナリオによれば、空間的に変調された照明ジオメトリは、多数の照明方向の中から、可能な限り最良の最適化基準を満たす照明方向を選択するために使用され得る。
色々な照明方向に対する代替として、又はそれに加えて、少なくとも2つの照明ジオメトリの範囲内で、照明光の他の特性、例えば光の波長、波長分布、又は偏光を変化させることも可能である。一例では、少なくとも2つの照明ジオメトリは3つの照明方向を含むことができ、これらの照明方向のそれぞれは、赤、緑、及び青の3色で輝く3つの発光ダイオード(LED)のそれぞれによって実現される。一例として、有機LED(OLED)ディスプレイ装置がこの目的のために使用され得る。これに代えて又は加えて、照明方向の偏光を局所的に回転させるように構成された液晶空間光変調器(LC−SLM)のような偏光光学ユニットが使用され得る。
合成プロセスでは、全く異なる複数の技術が使用され得る。一例として、様々な強度画像は、減算され、加算され、乗算され、又は除算され得る。特に、合成プロセスは、重み付けされた形態で実行され得る。異なる強度画像は、合成プロセスの間に、異なる程度まで考慮され得る。これにより、パラメータ空間を最適化し、拡張すること(組み合わせパラメータ)が可能になる。結果画像は、合成プロセスの結果として部分的にコヒーレントとなり得る。
組み合わせパラメータは、合成プロセスの特定の実装を設定し得る。一例として、組み合わせパラメータは、それによって強度画像が合成される算術演算を設定することができる。代替的に又は追加的に、組み合わせパラメータは、例えば、合成プロセス中の様々な強度画像の重み付けを決定し得る。一例として、特定の強度画像は、合成プロセス中に他の強度画像よりも強く又は弱く考慮され得る。これが達成できることは、結果画像が最適化基準を特に良好に満たすということである。一例として、様々な強度画像の重み付けは、この場合に様々な境界条件を満足することができ、例えば、それによって合成プロセス中に様々な強度画像が考慮される複数の重み付けは、それぞれが0より大きく1より小さい値であって、様々な強度画像の重み付けの合計が1に等しくなる値をとる。他の境界条件も可能である。一例として、様々なルーチン問題のために多大な計算量を費やすことなく組み合わせパラメータを用いることができるよう、組み合わせパラメータをメモリ内の制御命令の形式で記憶することとしてもよい。組み合わせパラメータは、物体固有のものであってもよい。
物体を様々な照明ジオメトリで照明したことにより、かつ、対応する強度画像を合成したことの結果として、従来の構造化照明に対応する効果を得ることが可能になる。しかし、ここでは、例えば組み合わせパラメータの適切な選択によって、全く異なる複数の構造フィルタを比較的容易にエミュレートすることが可能である。これは、後処理ステップの範囲内で行うこともできる。特に、組み合わせパラメータの特に適切なセットが、例えば最適化の範囲内で発見され得る。そのような組み合わせパラメータは、最適化基準を特に良好に満足する。特に、構造フィルタの対応するハードウェアを省くことが可能であり、対応する技術は、コンピュータ実装の方法で実施され得る。これは、全く異なる複数の画像化される物体に対して、比較的簡単に良好な結果を得ることを容易化し得る。
一例として、合成プロセスは、結果画像の様々な領域が最適化基準を満たすよう、その強度画像のその様々な領域について空間的に分解されて実行され得る。一例として、その様々な領域は、物体の異なる部分を画像化するものであり得る。物体はまた、複数の部分物体、例えば個々のセルから構成され得る。この場合、様々な領域は、異なる部分物体を画像化するものであり得る。
一例として、強度画像の空間的に分析された合成は、強度画像の第1の領域内における第1の組み合わせパラメータと、強度画像の第2の領域内における第2の組み合わせパラメータとに基づくものであり得る。第1の組合せパラメータは、第2の組合せパラメータと異なり得る。結果として、例えば、様々な領域において異なる光学特性を有する比較的複雑な物体の場合でさえも、最適化基準を局所的規模で比較的良好に満たすことが可能であり得る。そして、結果画像は特に高い品質を有することができる。具体的には、例えば、物体が色々な光学特性を有し、又は、例えば物体が様々な領域において異なる組合せパラメータを必要とする場合でさえも、様々な領域において可視である物体の微細構造を生成することが可能となり得る。このことは特に、従来の構造化された照明と比較して、様々な位置に対して構造が変化する空間依存性の構造フィルタの使用を省くことが可能となり得るという点で、有利である。それにもかかわらず、特に様々な強度画像を合成することから浮かび上がる効果的な照明ジオメトリは、強度画像の様々な領域に対して空間的に分析されたやり方で適応させられ得る。
一例として、照明装置は、複数の調整可能な波長を有する光源を備えることが可能である。一例として、これは、異なる色を有する発光ダイオード(LED)によって実現されてもよく、例えばレーザ交換ユニットによって実現されてもよい。したがって、照明装置は多色光源を含むことが可能であり、同時に、検出器は、強度画像を波長分離方式で取り込むように構成され得る。一例として、このような技術は、いわゆる赤−緑−青電荷結合素子(RGB−CCD)を使用して実装され得る。そのような場合には、上述した様々な技術が波長依存的な態様で適用され、その結果として改善された多色性の結果画像が生成される、ということが可能となり得る。最適化基準に関連して最適化されるパラメータ空間は、波長を選択することによっても増加させられ得る。
一例として、少なくとも2つの照明ジオメトリによる順次照明は様々な波長のために複数回実行されることができ、それぞれの場合に、対応する強度画像が捕捉され得る。これに代えて、又はこれに加えて、順次照明は、照明装置の多色光源を用いて、及び、様々な波長のために複数回実行される対応する強度画像の捕捉のために、実行され得る。対応する強度画像を合成することは、各場合において、様々な波長について関連する結果画像を生成するために実行され得る。
したがって、このようにして、各結果画像が対応する波長に対応する結果画像のセットを得ることが可能であり得る。一例として、多色結果画像を形成するために様々な結果画像を合成することが可能である。
上記のような波長依存技術を用いることにより、特に高い定性的品質を有する結果画像を生成することが可能となり得る。特に、結果画像は、所定の最適化基準を特に良好に満たし得る。
物体を照らし、強度画像を取得することは、画像取得ステップを定義し得る。一般に、合成プロセスは、画像取得ステップの間にリアルタイムで実行され得る。一例として、この方法はさらに、結果画像をスクリーン上に表示するステップを含み得る。表示は、画像取得ステップ中に実行されてもよい。結果として、定性的に高品質の結果画像を特に迅速に得ることが可能になる。このことは、特に、結果画像に基づいて画像捕捉を制御することを可能にし得る。
特に、上記で説明した合成プロセスがリアルタイムで行われる場合、合成ステップの組み合わせパラメータを少なくとも部分的に事前に決定することが、例えば画像取得ステップの間に組み合わせパラメータの完全な決定を実行することの代わりに、追求する価値のある目標となり得る。
一例として、この方法はさらに、演算ユニットを用いて最適化を実行することを含み得る。最適化を実行することは合成プロセスのための組み合わせパラメータを提供し、結果画像は、この組み合わせパラメータにより所定の最適化基準を満たす。
ここで、組み合わせパラメータは、空間的に分解されて提供され得る。一例として、最適化は、強度画像の様々な領域のために、空間的に分解されて実行され得る。組み合わせパラメータは、各場合において、様々な領域に対して用意され得る。さらに、合成プロセスは、対応する組み合わせパラメータに基づき、強度画像の様々な領域のために空間的に分解されて実行され得る。
最適化を行うことはまた、照明及び/又は検出の様々な波長のために、波長分解された態様で実行され得る。
一例として、最適化を実行することは、画像取得ステップの前に、較正ステップの中で実行され得る。その後、組み合わせパラメータを決定することができ、合成プロセスが画像取得ステップの間にリアルタイムで実行され得る。そのようなシナリオでは、特に、強度画像の様々な領域のために空間的に分解して合成プロセスを実行することが可能となり得る。一例として、最適化対象の組み合わせパラメータ又はさらなるパラメータを空間的に分解して予め決定することが、較正ステップの範囲内で可能であり得る。その後、例えばオブジェクト追跡技術またはランドマーク識別技術を用いて、様々な領域の位置の時間プロファイルを監視することが可能となり得る。このことは、最適化対象の適当な組合せパラメータ又はさらなるパラメータが、各場合において、様々な領域のために使用されることを確実なものとし得る。
しかしながら、最適化を実行することは、画像取得ステップに続く後処理ステップでも実行され得る。一例として、本方法はさらに、画像データの格納を含み得る。画像データは、取り込まれた強度画像に基づくものであり得る。方法はさらに、それぞれの照明ジオメトリを示す関連の制御データを格納することを含み得る。格納は、不揮発性メモリ内で起こり得る。合成プロセスは、画像取得ステップに続く後処理ステップで行われてもよい。合成は、格納された画像データ及び制御データに基づいて実行されてもよい。このようにして、最適化を実行することにより、合成プロセスの基礎となる最適化対象の組み合わせパラメータ又はさらなるパラメータを、時間非臨界的に決定することが特に可能となり得る。このようにして、最適化対象の組み合わせパラメータ又はさらなるパラメータを、比較的高精度に決定することが可能となり得る。その結果、特に高品質の結果画像が実現され得る。すなわち、結果画像が最適化基準を特に良好に満たし得る。
一例として、最適化を行うことは、その原理が前もって知られている様々な技術を用いて達成され得る。一例として、数値技術が使用され得る。進化的最適化アルゴリズムが使用され得る。微分に基づく最適化方法が使用され得る。このような技術の例には、レーベンバーグ−マルクヴァルト(Levenberg-Marquardt)アルゴリズム、ガウシアン(Gaussian)法、又は、いわゆる「最急降下」アルゴリズムとも呼ばれる最急降下の方法が含まれる。シンプレックス最適化のような他の代替最適化方法もまた、使用され得る。
一般に、最適化対象の組み合わせパラメータ又はさらなるパラメータは、例えば物体及び/又は採用された少なくとも2つの照明ジオメトリの様々な特性に基づいて、最適化対象の可能な組み合わせパラメータ又はさらなるパラメータを含む所定のデータベースから選択され得る。一例として、このデータベースは、特定の物体及び/又は特定の照明ジオメトリの場合に結果画像が所定の最適化基準を特に良好に満足することが分かっている組み合わせパラメータを含み得る。このようにして、合成プロセスの特に簡単で迅速な実施が可能となり得る。
上では、最適化に関して全く異なる複数の技術が説明された。ここで、これらの技術は、異なる特定の最適化基準に関連して使用されてもよい。一例として、最適化基準は、画像コントラスト、エッジの急峻性、画像の鮮明度、変調伝達関数(MTF)の品質、空間周波数依存の最適化基準からなるグループから選択され得る。最適化基準は、上記の変数のうちの1つ以上について、設定され得る。ここで、最適化基準は、特定の許容範囲又は閾値を含み得る。最適化基準を柔軟に選択することは、結果画像がこのようにして生成されることを可能にし、その結果画像は、特に高品質であるか、又は、検査された物体の種類に特に良く適合するものとなる。
一例として、前述の技術は、ハードウェアベースのフィルタリング技術と組み合わされ得る。一例として、照明することは、照明装置の構造フィルタの適用を含み得る。一例として、照明することは、照明装置の空間フィルタの適用を含み得る。したがって、照明プロセスの間に、光のビーム経路内、例えば光源と物体との間に、適切なフィルタが配置され得る。
強度画像の合成をそのようなハードウェアベースの技術とリンクさせることにより、結果画像を生成するための技術の特に効率的な実装を得ることが可能になる。特に、例えば、その技術を実行するために必要とされる演算能力を削減することが可能となり得る。特に、強度画像は、最適化基準が比較的容易に満足されるように、ハードウェア実装ベースで事前に調整され得る。
代替的に又は追加的に、そのような効果はまた、演算ユニットによる強度画像の対応する後処理によっても得られ得る。この後処理は、画像取得ステップ又は後処理ステップの間に、順次実行され得る。一例として、この方法は、強度画像を合成することの前に、強度画像を適合させる目的で、演算ユニットによって、捕捉された強度画像に演算子を適用することをさらに含み得る。一般に、演算子は、全く異なる複数の方法で選択され得る。例として、演算子は、重み付け、増幅、減衰、絶対値、自乗、平方根の取得、符号の反転、画素値の平滑化、画素の収差補正、各強度画像の画素値の平均値への正規化、空間フィルタの適用からなるグループから選択され得る。
言い換えれば、個々の強度画像は、個々の強度画像が結合される前に、例えば特別なフィルタを用いる計算によって結合され得る。特別な実施形態は、例えばコンピュータ実装の方法で及び/又はハードウェア実装によって、前述の空間フィルタを適用することを含む。ここで、空間フィルタは、照明ジオメトリの各照明方向について、照明方向と光学装置の光軸とによって設定される平面内に配置された物体の構造を、この平面に垂直に配置された構造に対して弱めることができる。その結果、特に高い画像コントラストという効果が達成され得る。これは、典型的には、照明方向が、上述した平面内の構造よりも上述した平面に垂直な構造をより強く引き立たせるためである。この効果は、上述のように、空間フィルタに基づいた選択的な減衰によって増幅し得る。
さらなる態様によれば、本発明は光学装置に関する。光学装置は、物体の結果画像を生成するように構成される。光学装置は照明装置を含む。照明装置は、少なくとも2つの照明ジオメトリを使用して物体を順次照明するように構成される。光学装置はさらに、それぞれの照明ジオメトリによる照明の間に、少なくとも2つの照明ジオメトリのそれぞれについて物体の強度画像を取得するように構成された検出器を備える。光学装置はさらに、演算ユニットを含む。演算ユニットは、結果画像を生成するために強度画像を合成するように構成される。ここで、合成は、結果画像が所定の最適化基準を満たすように実行される。
一例として、現在議論されている態様による光学装置は、本発明のさらなる態様による結果画像を生成する方法を実行するように構成され得る。
現在議論されている態様によるこのような光学装置について、本発明のさらなる態様による結果画像を生成するための方法で得られ得る効果に匹敵する効果が取得され得る。
上記に提示された特徴および以下に記載される特徴は、本発明の保護の範囲から逸脱することなく、対応する明示的に提示された組み合わせだけでなく、さらなる組み合わせまたはそれ自身で使用され得る。
上で説明された本発明の特性、特徴、及び利点、並びに、それらが達成される方法は、図面と併せてより詳細に説明される例示的な実施形態の以下の説明と関連して、より明瞭になり、より容易に理解できるようになる。
図1は、様々な照明ジオメトリを使用する物体の照明を模式的に示す。 図2は、図1よりも詳細に、様々な照明ジオメトリを使用する物体の照明を模式的に示す。 図3は、LEDアレイを備え、様々な照明ジオメトリを使用して物体を照明するように構成された照明装置を概略的に示す。 図4Aは、物体を映し出す強度画像への演算子の適用と、結果画像を生成する目的のためにこのようにして処理される強度画像の組み合わせとを模式的に示す。 図4Bは、結果画像を生成する目的のための、物体を映し出す様々な強度画像の波長分解された合成を模式的に示す。 図5は、結果画像を生成する目的のための、物体を映し出す様々な強度画像の合成を模式的に示し、合成は空間的に分解された態様で実行される。 図6は、様々な実施形態による技術を実行するように構成された光学装置を模式的に示す。 図7は、様々な実施形態による方法のフローチャートである。
本発明は、図面を参照して、好ましい実施形態に基づき、以下でより詳細に説明される。図面において、同じ参照符号は同じ又は類似の要素を示す。図面は、本発明の様々な実施形態の模式的な表現である。図面に描かれた要素は、必ずしも縮尺通りに示されていない。むしろ、図面に描かれた様々な要素は、それらの機能及び目的が当業者に理解可能となるように再現されている。
図面に示されている機能ユニットと要素との間の接続及び結合は、間接的な接続又は結合として実装され得る。接続又は結合は、有線又は無線方式で実装され得る。
様々な照明ジオメトリを使用して物体が照明される技術を以下に示す。ここで、照明ジオメトリは、具体的には、異なる照明方向及び/又は異なる照明立体角に関連し得る。強度画像は、様々な照明ジオメトリについて、それぞれの場合に取り込まれる。種々の強度画像は、結果画像を形成するために、例えば加算によって合成される。合成プロセスの中では、特に、コントラスト又は解像度の増加に寄与する、又は一般に、最適化基準がより良好に満足されることに寄与する強度画像を、選択的又は比較的顕著に考慮することが可能である。結果画像上における様々な強度画像の影響のそのような重み付けは、例えば、合成プロセス内で重み付けを使用することによって達成され得る。合成は、空間的に分解されて行われ得る。そのような組み合わせパラメータの代替として、又はそれに加えて、例えば各強度画像が物体を撮像する波長のような最適化基準に関して最適化されるべき他のパラメータ、又は、合成プロセスの前における各強度画像への演算子の適用を考慮に入れることも可能である。
そのような技術は、部分コヒーレント顕微鏡撮像とも呼ばれ得る。部分コヒーレント顕微鏡撮像は、相関のない光源、すなわち空間的にインコヒーレントな有効光源を用いた照明を使用する撮像を意味するものと理解される。そのような光源の広がり又は形状は、光学撮像システムの入射瞳から逸脱する。照明装置は、様々な開示されたシナリオにおいて適切な実施形態を有し得る。
典型的には、コントラスト伝達関数は、有効光源の形状及びサイズによって影響され得る。原理的には、1と分解能限界との間のコントラスト伝達は、あらゆる目標周波数に対して達成可能である(例えば、非特許文献2を参照)。
正式には、参照実装による部分インコヒーレント撮像は、多くのコヒーレントな個別的又は部分的画像のインコヒーレントな合計として記述されることができ、結果として生ずる合計画像は、参照実装による従来の方法に従ってデジタル的に作成され得る。簡潔に表現すると、このことは、コヒーレントな個々の画像又は強度画像の合計が結果として部分的コヒーレント画像となり、次いで、デジタル的に後処理され得る、と表現され得る。
本明細書に記載された技術によれば、デジタルな後処理は、個々の画像又は強度画像の段階で、例えば半コヒーレントな個々の画像に関して実行されてもよい。その後、デジタル的に後処理された又は適合された強度画像が合成されてもよい。
このような技術は、高い情報深度を有する結果画像の生成を可能にする。別の形で表現すると、結果画像は、オブジェクトを特に良好に又は詳細まで豊かに映し出し得る。結果画像の情報内容は、比較的濃いものである。特に、そのような技術は、従来の構造化照明によって達成され得る結果に匹敵する結果を得ることができる。しかしながら、そのプロセスにおいては、適切なハードウェアの用意をなしで済ますことが可能である。特に、対応する構造フィルタの容易を省略することが可能である。本発明の技術は、特に、画像取得ステップの後の後処理ステップにおいて実行され得る。
対応する技術は、比較的迅速に実施され得る。一例として、合成プロセスは、対応するプロセスの適切なハードウェアコーディングによって実施され得る。これを用いると、本技術は、特にリアルタイムで実行され得る。これは、時間分解撮像のための応用を容易にし得る。これは例えば、細胞形態分析、成長解析、感染解析、及び、物体の自動測定を含む。また、ソフトウェアによって合成プロセスを実現することも可能である。
図1は、異なる照明ジオメトリ110−1,110−2を使用する物体100の照明を示す。本明細書に記載の技術によれば、物体100は、適切な照明装置(図1には示されていない)によって、2つの照明ジオメトリ110−1,110−2を使用して順次照明される。次に、検出器(図1には示されていない)により、2つの照明ジオメトリ110−1,110−2のそれぞれについて、照明プロセス中に物体100の強度画像が捕捉され得る。その後、結果画像を生成するために、強度画像が合成され得る。合成は、結果画像が所定の最適化基準を満たすように実行される。図1はまた、光学装置の光軸120を示している。光軸120は、それに沿って理想化された光線が偏向を経験しないか、又は、わずかな偏向しか経験しない光学装置の軸を示し得る。
図2は、図1に対応するシナリオを3次元で示す。図2は、2つの照明方向111−1,111−2を示しており、これにより、2つの照明ジオメトリ110−1,110−2に従って物体100が照明され得る。図2に示されていることは、2つの照明方向111−1,111−2が光軸120との間に明確な角度を含むことである。いわゆる照明ベクトルを定義することが可能である。
しかし、様々なシナリオで物体100を照明する目的のために、明確に定義された照明方向111−1,111−2を使用しなくてもよい。むしろ、様々な照明ジオメトリ110−1,110−2は、照明立体角112を含み得る。しかし、照明ジオメトリが連続的かつ凸状である必要はない。以下では、照明立体角への参照が部分的になされるが、説明されるすべての例示的実施形態において、照明光線が物体に連続した角度領域及び/又は凸角領域で入射しない照明ジオメトリを使用することも可能である。したがって、特に、連続して配置されていない複数の照明方向の組み合わせが、本明細書で開示される様々なシナリオに存在し得る。
図2は、照明立体角112(図2にハッチングで示す)を例示的な方法で示している。この照明立体角は、前述の照明方向111−1,111−2によって区切られている。別の言い方をすれば、照明立体角112はしたがって、多数の異なる照明方向111−1,111−2を含むことができ、光軸120に関して特定の角度範囲にわたって延在し得る。
一般に、様々な照明形状110−1,110−2を提供するために、全く異なる照明装置が使用され得る。一例として、例えば照明装置の視野絞り面内では、走査ミラーが使用され得る。照明装置の開口絞り又は照明瞳内では、適応構成要素を使用することもできる。一例として、特許文献1に従う照明装置を使用することができる。照明装置311はまた、LEDアレイを含むことができる(図3参照)。一例として、LEDアレイのLED300−1〜300−16は、格子の単位セルが正方形又は長方形の構成を有し得るデカルト格子に従って配置され得る。六角格子などの他の格子もまた、実装され得る。例として、LEDアレイは、LEDのリング、又は、LEDの例えば異なる半径を有する複数のリングを有することも可能である。次に、例えば、光軸に対して特定の距離を有するLEDアレイ中の特定の発光ダイオードを作動させることによって、特定の照明方向を実現することが可能である。
図4Aは、3つの異なる照明ジオメトリ110−1,110−2,110−3を用いて取り込まれた強度画像401−1〜401−3の合成を示す。図4Aの実施形態によれば、様々な輝度画像401−1〜401−3は、結果画像410を形成するために最終的に合成される前に、初期処理される。
一例として、このために、捕捉された強度画像401−1〜401−3に対して演算子が適用され得る。例として、演算子は、重み付け、増幅、減衰、絶対値、自乗、平方根の取得、符号の反転、画素値の平滑化、画素の収差補正、各強度画像401−1〜401−6の画素値の平均値への正規化、空間フィルタの適用からなるグループから選択され得る。
したがって、本明細書に記載された技術によれば、光源点ごと、すなわち様々な照明方向ごとに個々の強度画像を記録することができるため、特定の物体のために好ましい照明を総合的に再現することが可能になる。そして、これらの強度画像は、互いに合成され得るか、又は、計算によって互いに合成され得る。画像の純粋な付加は、従来の部分的にコヒーレントな撮像に対応する。選択された画像の重み付けられた選択は、リソグラフィの範囲内のソースマスク最適化(SMO)の手順に対応する。原則として、例えばSMOから伝わるもののような、適切な演算子が使用され得る。しかしここで、リソグラフィの範囲内では生成される物体が知られている一方、この場合の物体は、ことによると先験的に未知であることに注意すべきである。したがって、例えば、環状照明、ダイポール照明、ラインベルグ色コントラスト、暗視野位相コントラストなどのような色々な照明を再現する演算子の使用がなされ得る。
正式には、捕捉された強度画像及び強度画像の組み合わせに対する演算子の適用は、次の式によって表現され得る。
Figure 0006770951
ただし、xは空間座標であり、qは瞳座標又は照明方向であり、I(x)は強度画像であり、G(q)は個々の照明方向に対する演算子関数であり、I(x,q)は照明方向qについての部分画像である。
様々なシナリオにおいて、演算子Gは例えば、様々な照明方向の全体的な重み付けに対応することができ、すなわち位置xに依存しない。
さらなるシナリオでは、ローカルな演算子、すなわち位置xに依存する演算子を使用することができる。1つの例は、比例ローカルコントラスト基準(マイクロコントラスト)である。すなわち、演算子は空間依存性を有するG(x、q)であり得る。
したがって、次の式が導かれる。
Figure 0006770951
G(x、q)は、位置に依存するとともに照明方向に依存する演算子関数である。すなわち、1つの照明方向のための各演算子は、空間的に依存し得る。
このような演算子を適用することにより、様々な強度画像401−1〜401−3を、それらが合成の範囲内で特によく扱われ得るように、例えば、それらが比較可能な信号振幅を有するか、及び/又は、既知の収差がタイムリーにそれらから除去されるように処理することが可能となり得る。その結果、結果画像410の品質を高めることができる。
演算子の様々な例を以下に説明する。
一例として、乗法演算子が使用され得る。例えば、正規化された局所的なコントラスト、正規化された局所的な強度、及び/又は、正規化された強度勾配を考慮する演算子が使用され得る。一例として、強度画像内の最大強度(式(1))、又は、強度画像内の全体強度(式(2))が、これらの変数のノルムとして使用され得る。他のノルムもまた、可能である。
Figure 0006770951
以下に示す正規化された勾配は、オペレータに関して上述した例についての一例として示される。
Figure 0006770951
この演算子によれば、通常、比較的小さい強度勾配又は比較的小さい輝度を有する画像成分が抑制される。したがって、この演算子はフィルタとして機能する。エッジには大きな勾配が存在するため、この演算子はエッジ強調フィルタとして機能します。
対応する関数は、上に例示したように、正規化された勾配に関して、純粋に例示的な方法で演算子として直接使用され得る。或いは、閾値演算子を得るために最初に閾値関数に変換され得る。
Figure 0006770951
演算子のさらなる例は、形態学的演算子である。ここでは、強度画像の内容は、局所的な基準に従って評価されるだけでなく、他の空間的な点x'に対するグローバルな基準及び/又は周囲の基準が考慮される。一例として、そのような動作は、拡張又は浸食、対応するエッジフィルタ又はノイズ低減フィルタ(ノイズフィルタ)である。これらの演算子は、次の関数で表され得る。
Figure 0006770951
一般に、演算子は、他の強度画像からの情報も考慮に入れることができる。一例として、ある特定の物体の詳細が、1つの特定の強度画像又はいくつかの特定の強度画像からのフィルタリングによって既に十分に抽出されている場合、残りの強度画像においては、その物体の詳細が抑制され得る。したがって演算子は、個々の強度画像上における関数F{...}と、演算子を記述するGFとを用いて次のように記述され得る。
Figure 0006770951
一例として、エッジは、エッジに対して垂直に整列した照明方向によって特に良好に画像化されることが期待される。次に、他の照明方向からの強度画像は、そのような識別されたエッジに関する演算子によって、局所的に抑制され得る。
重み付け関数G(x,x',q,q')が個々の強度画像において最初に決定され、次いで、ユーザが最適化基準に関して特に良好に画像化された所望の物体の詳細を取得するように全体画像を最適化することによって、さらに改善される。
一般に、演算子を適用の上述の技術によって達成される特定の効果は、適切なハードウェアの使用によっても生み出され得る。一例として、照明が照明方向の空間フィルタの適用を含むことが可能であり得る。ハードウェアで実装された空間フィルタは、ソフトウェアベースの空間フィルタを使用して得られる得るのと同等の効果を得ることができる。同時に、計算コストを削減することが可能である。ソフトウェアベースの空間フィルタは、その適用において、より高い柔軟性を有し得る。
一例として、前述のハードウェア実装及び/又はソフトウェア実装の空間フィルタは、画像コントラストに関する最適化基準を特に良好に満足するために使用され得る。例えば、空間フィルタは特定の方向に沿って作用し得る。一例として、空間フィルタは、強度画像401−1〜401−3のフーリエ変換の周波数の選択的な増幅/減衰によって作用し得る。このプロセスでは、スペクトルへの対応する寄与の方向を考慮に入れることが可能である。この点に関して、図2を参照する。空間フィルタは、光軸120及び各照明方向111−1,111−2にまたがる平面内にある方向に沿って選択的に作用し得る。一例として、空間フィルタは、この平面に沿って(垂直に)配向された物体100の構造を増幅(減衰)することができる。このことは、2つの照明方向111−1,111−2に属する強度画像401−1〜401−3を用いて得られ得る効果を高める。一例として、第1の照明方向111−1を使用する照明に関して取り込まれた強度画像401−1〜401−3は、光軸120及び第1の照明方向111−1にまたがる平面内にある物体100の構造に対して、特に高い画像コントラストを有する。この効果は、空間フィルタによってさらに増幅され得る。結果画像410は、画像コントラストに関して規定された対応する最適化基準を特に良好に満足する。
図4Aに戻ると、処理された強度画像が図4Aの右側に再現されており、これらは例えば、初期画像402−1〜402−3と呼ばれ得る。様々な初期画像402−1〜402−3が結果画像410を形成するために合成され得る。ここで、合成は、例えば、複数の初期画像402−1〜402−3をそれらの間で合計すること、減算すること、除算すること、乗算することによって実行され得る。一例として、様々な初期画像402−1〜402−3を合成するときに、個々の初期画像402−1〜402−3に関して重み付け係数を考慮に入れることができる。結果として、様々な初期画像402−1〜402−3の結果画像410への影響が制御され得る。特に、それによって達成され得ることは、結果画像410が所定の最適化基準を満たすように合成プロセスが実行されることである。そのようなパラメータ及び結合プロセスのさらなるパラメータは、組み合わせパラメータとも呼ばれ得る。
一般に、組み合わせパラメータは、最適化を実行することによって決定され得る。ここで、最適化は、可能な限り最適化基準を満たす組合せパラメータが決定されるように実行され得る。ここで、実に様々な最適化基準が可能である。一例として、最適化基準は、画像コントラスト及び/又はエッジ急峻度及び/又は画像シャープネス及び/又は変調伝達関数の品質及び/又は空間周波数に依存する最適化基準に関連し得る。
一般に、最適化は、異なる照明方向から個々の強度画像を取り込むこと、及び、個々の強度画像から特定の画像化問題又は最適化基準を特に良好に満たすような物体の結果画像を生成することを提供し得る。このことから、結果画像のこの好ましい生成のためのレシピを決定する制御命令を導出することが可能である。制御命令またはレシピは、物体固有であってもよい。様々なシナリオでは、これらの制御命令は、結果画像が所定の最適化基準を満たすこととなるような組み合わせパラメータを含み得る。
一例として、元々計画されていた照射方向の全てが必要とされるわけではないということ、又は、特定の照明方向がグループに結合されないということ、に最適化が辿り着いた場合、画像化問題はその後、要求されない照明方向を除外することにより、よりターゲットが絞られ、かつ、より高速な方法で実行され得る。このことは、制御命令に格納され得る。
本明細書で開示される様々なシナリオでは、最適化は、照明ジオメトリ又は強度画像の数ができるだけ小さく選択されるように実行され得る。最適化は、強度画像を撮像又は捕捉するのに必要な時間間隔ができるだけ短くなるように実行され得る。最適化は、照明方向及び/又は照明立体角の数ができるだけ小さく選択されるように選択され得る。一例として、最適化に関するこのような特性は、例えば、所定の最適化基準に関連してなおも実行される最適化それ自身を伴う所定の境界条件であり得る。このようにして、物体の画像化は、同時に最適化基準が特に良好に満足されるように、特に迅速に実行され得る。
例えば光学検査のような日常的な手順のケースでは、典型的には物体は実質的に変化しないので、制御命令は、発生した画像化問題に対して繰り返し実行され得る。一般に、強度画像を合成するために又は演算子を適用するために特定のレシピが好ましくは自動的に選択され得るよう、様々な所定の物体のために複数の制御命令をメモリに記憶することも可能である。
一般に合成は、特に最適化を実行することや組み合わせパラメータを決定することと比較して、わりあいに計算強度を必要としない可能性がある。したがって、画像取得ステップに先立ち、較正ステップの範囲内で組み合わせパラメータを決定することは、追求する価値のある目標であり得る。
例えば、画像取得ステップの後に、後処理ステップの範囲内で組み合わせパラメータを決定することもまた可能であろう。一例として、この目的のために、取り込まれた強度画像401−1〜401−3に基づく画像データと、各照明ジオメトリ110−1,110−2を示す関連の制御データとが不揮発性メモリに格納され得る。後処理ステップが実行されようとするとき、その不揮発性メモリから様々な画像データと、関連する制御データとを得ることが可能になり得る。その後、格納されていた画像データ及び制御データに基づいて、合成が実行され得る。特に、組み合わせパラメータを決定するための最適化もまた、格納されていた画像データ及び制御データに基づいて実行され得る。
図4Bは、様々な強度画像401−1〜401−6が波長に依存する方法で合成されるシナリオを示す。図4Bのシナリオでは、3つの照明ジオメトリ110−1〜110−3に対して、それぞれ2つの強度画像401−1〜401−6が取得される。ここで、強度画像401−1,401−3,401−5という第1の強度画像は、物体100が第1の波長で照射されるときにそれぞれ捕捉され、強度画像401−2,401−4,401−6という第2の強度画像は、物体100が第1の波長とは異なる第2の波長で照射されるときにそれぞれ捕捉される。次に、様々な照明ジオメトリ110−1〜110−3のそれぞれについて、第1の波長に割り当てられた強度画像401−1,401−3,401−5と、第2の波長に割り当てられた輝度画像401−2,401−4,401−6とが、それぞれ結果画像410−1,410−2を形成するために合成される。言い換えれば、少なくとも2つの照明ジオメトリ110−1〜110−3による順次照明が様々な波長について実行され、この様々な波長に関して、対応する強度画像401−1〜401−6がそれぞれ関連する結果画像410−1を生成するために結合される。オプションで、多色の結果画像411を形成するために、2つの結果画像410−1,410−2を合成することが可能である。
代替的に又は追加的に、単一の結果画像410を形成するために様々な波長のすべての強度画像401−1〜401−6を合成し、そのプロセス内において、最適化基準に関する最適化のパラメータ空間内のさらなるパラメータとして、様々な波長を使用することもまた可能である。
図4Bを参照すると、物体100の照明が様々な波長で順次実行されるシナリオが示されている。しかし、代替的に、多色光源を使用し、様々な結果画像401−1〜401−6を生成するために波長選択性の検出器を使用することも可能である。
一例として、最適化は、様々な領域580に対して空間的に分解された方法で実行され得る。次に、様々な領域580について各場合における組み合わせパラメータが提供され得、様々な領域580に対し、対応する組み合わせパラメータに基づいて、空間的に分解された方法で合成が実行され得る。したがって、図5に示すように、強度画像401−1〜401−6の様々な領域580について空間的に分解されて、合成プロセスが実行され得る。これが達成できることは、結果画像410,410−1,410−2,411の様々な領域580がそれぞれ最適化基準を満たすことである。一例として、物体100の異なる部分は異なる光学特性を有し得る。そうすると、すべての強度画像401−1〜401−6に対して同じやり方で一体的に組み合わせパラメータを決定するならば、すべての領域580に対して平等に比較的厳しい最適化基準を満たすことは、不可能であるか、又は、限られた程度でのみ可能となり得る。これが、空間的に分解された合成プロセスが、局所的に異なる組み合わせパラメータを考慮に入れつつ、様々な領域580に対して比較的厳密な最適化基準を特に良好に満たすことを可能にし得る理由である。
図6は、上述の技術を実施するために使用され得る光学装置600を示す。光学装置600は、例えばLEDアレイ(図3参照)の形態で照明装置311を備える。物体100は、試料ホルダー613を介して、照明装置311から検出器612への光の光路内に保持される。一例として、透過ジオメトリ又は反射ジオメトリが実装され得る。さらに、光学装置600は、演算ユニット614を備える。演算ユニット614は、結果画像410,410−1,410−2,411(図4A及び4B参照)を生成するための様々なステップを実行するように構成される。光学装置600はさらに、不揮発性のメモリ615を備える。このメモリ615は、演算ユニット614が結果画像410,410−1,410−2を生成するための様々な技術を上述したように実行することができるよう、演算ユニット614のための適切な制御情報を含み得る。代替的に又は追加的に、メモリ615はまた、強度画像401−1〜401−6の画像データと、それぞれの照明ジオメトリ110−1〜110−3を示す関連の制御データとを格納し得る。次に、プロセッサは、後処理ステップにおいてメモリにアクセスすることによって、結果画像410,410−1,410−2,411を生成することが可能であり得る。メモリ615はまた、最適化基準が満足されるように物体の具体的な画像化を繰り返し実行するために使用される制御命令及び/又は組み合わせパラメータを格納し得る。
図6のシナリオでは、演算ユニット614は光学装置に組み込まれている。他のシナリオでは、演算ユニット614と例えばメモリ615とは、別々にも提供され得る。しかしながら、変更可能な物体の場合においては、例えば、毎回新しい最適化を実行することが追求する価値のある目標である可能性がある。この点で、最適化を実行するように構成された演算ユニット614を光学装置600に統合することが有利であり得る。
図7は、様々な実施形態による結果画像410,410−1,410−2,411を生成する方法のフローチャートを示す。ステップS701において、物体100は、最初に様々な照明ジオメトリ110−1〜110−3で順次照明され、それぞれの場合において強度画像401−1〜401−6が捕捉される。ステップS701は、画像取得ステップに対応する。
次に、ステップS702において、結果画像410,410−1,410−2,411を生成するため、この結果画像が最適化基準を満たすよう、捕捉された強度画像401−1〜401−6の合成が実行される。ステップS702の範囲内で、合成プロセスに先立って強度画像を処理するために、演算子もまた強度画像に適用され得る。
様々な実施形態において、ステップS702は、ステップS701に関連してリアルタイムで実行され得る。そして、結果画像410,410−1,410−2,411をリアルタイムでモニタに表示することが可能であり得る。しかしながら、ステップS702を、画像取得ステップに関して時間的に離れた後処理ステップで実行することもまた、可能であり得る。これは特に、最適化基準に関連する最適化が、合成プロセスのための組み合わせパラメータを提供する最適化とともに、ステップS702の範囲内で演算ユニット614によって実行される場合に、追求する価値のある目標であり得る。これは、そのような最適化の実施が比較的計算集約的であり、その結果、画像取得ステップS701に関連して、リアルタイムで実行することができないか、又は、リアルタイムでは制限された範囲でのみ実行することができるためである。
以上、様々な照明形状について捕捉された複数の強度画像に基づいて結果画像を決定する技術を説明した。特に、結果画像は、従来のハードウェアで実装された構造化照明によって達成され得る画像特性に匹敵する画像特性を有することができる。ここで、上述の技術は、従来の構造化照明との関連で様々な利点を有する。例えば、任意の構造化された照明瞳が使用され得る。具体的には、非常に様々な構造フィルタ及び対応するマスク変更ユニットを利用可能に保持する必要がない。画像の様々な部分に対して、様々な照明瞳が実現され得る。別の言葉で言えば、捕捉された強度画像が空間的に分解されて合成され得る。上述した技術は、コンピュータ実装の方法で実行されることができ、かつ、ハードウェアで実装された様々な捕捉された強度画像の事前調整と組み合わされ得る。オフライン後処理が可能である。具体的には、結果画像が特に高品質となるように、種々の組み合わせパラメータを後で最適化することが可能であり得る。
当然のことながら、上述した実施形態の特徴及び本発明の態様は、互いに組み合わされ得る。具体的には、その特徴は、本発明の分野から逸脱することなく、記載された組み合わせだけでなく、他の組み合わせ又はそれ自身のみで使用され得る。

Claims (20)

  1. 光学装置(600)を用いて物体(100)の結果画像(410,410−1,410−2,411)を生成する方法であって、
    光学装置(600)の照明装置(311)により、少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)を使用して物体(100)を順次照明するステップと、
    少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)のそれぞれについて、それぞれの照明ジオメトリ(110−1,110−2,110−3)による照明中に、光学装置(600)の検出器(612)によって物体(100)の複数の強度画像(401−1〜401−6)を取得するステップと、
    前記結果画像(410,410−1,410−2,411)を生成するために、演算ユニット(614)によって前記複数の強度画像(401−1〜401−6)を合成するステップと、
    演算ユニットを用いて最適化を実行するステップと、を含み、
    前記合成するステップは、前記結果画像(410,410−1,410−2,411)が所定の最適化基準を満たすように実行され、
    前記合成するステップは、前記結果画像(410,410−1,410−2,411)の第1及び第2の領域を含む様々な領域(580)が前記最適化基準を満たすように、前記複数の強度画像のそれぞれが前記様々な領域(580)について空間的に分解されて実行され、
    前記最適化を実行するステップは前記合成を実行するための組み合わせパラメータを提供し、前記結果画像(410,410−1,410−2,411)は、該組み合わせパラメータにより前記所定の最適化基準を満たし、
    最適化は、前記強度画像(401−1〜401−6)の様々な領域(580)のために、空間的に分解されて実行され、
    前記組み合わせパラメータは、前記様々な領域に対してそれぞれ提供され、
    前記合成するステップは、対応する前記組み合わせパラメータに基づき、前記強度画像(401−1〜401−6)の様々な領域(580)のために空間的に分解されて実行され、
    強度画像の空間的に分析された合成は、前記強度画像の前記第1の領域内における第1の組み合わせパラメータと、前記強度画像の前記第2の領域内における第2の組み合わせパラメータとに基づくものであり、
    前記第1の組合せパラメータは、前記第2の組合せパラメータと異なる、
    方法。
  2. 前記少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)を使用する順次照明、及び/又は、対応する前記強度画像(401−1〜401−6)の取得は、様々な波長のために複数回実行され、
    対応する前記強度画像(401−1〜401−6)を合成するステップは、各場合において、前記様々な波長について関連する結果画像(410,410−1,410−2,411)を生成するために実行される、
    請求項1に記載の方法。
  3. 前記最適化を実行するステップは、取得された強度画像(401−1〜401−6)の数、照明ジオメトリ(110−1,110−2,110−3)の数、照明方向(111−1,111−2)の数、照明立体角(112)の数、前記強度画像(401−1〜401−6)の取得の時間間隔からなるグループから選択される少なくとも1つの境界条件に基づく、
    請求項1又は2に記載の方法。
  4. 前記所定の最適化基準は、画像コントラスト、エッジの急峻性、画像の鮮明度、変調伝達関数の品質、空間周波数依存の最適化基準からなるグループから選択される、
    請求項1乃至3のいずれか一項に記載の方法。
  5. 前記少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)は、異なる複数の照明方向(111−1,111−2)及び/又は異なる複数の照明立体角(112)を含む、
    請求項1乃至4のいずれか一項に記載の方法。
  6. 前記少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)のうち少なくとも1つの照明ジオメトリ(110−1,110−2,110−3)は、少なくとも2つの照明方向(111−1,111−2)を含む、
    請求項1乃至5のいずれか一項に記載の方法。
  7. 前記少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)は、照明のために使用される光について、異なる複数の色及び/又は複数の偏光を有する、
    請求項1乃至6のいずれか一項に記載の方法。
  8. 前記少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)は、異なる複数の干渉パターンを有する、
    請求項1乃至7のいずれか一項に記載の方法。
  9. 前記照明は、前記照明装置(311)の構造フィルタを適用することを含む、
    請求項1乃至8のいずれか一項に記載の方法。
  10. 前記強度画像(401−1〜401−6)を合成するステップの前に、前記強度画像(401−1〜401−6)を適合させる目的で、前記演算ユニット(614)によって、取得された前記強度画像(401−1〜401−6)に演算子を適用するステップ、をさらに含む、
    請求項1乃至9のいずれか一項に記載の方法。
  11. 前記演算子は、重み付け、増幅、減衰、絶対値、自乗、平方根の取得、符号の反転、画素値の平滑化、画素の収差補正、前記強度画像(401−1〜401−6)のそれぞれの画素値の平均値への正規化、空間フィルタの適用からなるグループから選択される、
    請求項10に記載の方法。
  12. 前記演算子は、形態学的演算子である、
    請求項10又は11に記載の方法。
  13. 前記演算子は、正規化された局所的なコントラスト、正規化された局所的な強度、正規化された強度勾配、拡張、浸食、エッジフィルタ、ノイズフィルタからなるグループから選択される、
    請求項10乃至12のいずれか一項に記載の方法。
  14. 前記演算子は、閾値演算子である、
    請求項10乃至13のいずれか一項に記載の方法。
  15. 選択された強度画像(401−1〜401−6)に適合する選択された演算子は、少なくとも1つのさらなる強度画像401−1〜401−6)への依存性を表す、
    請求項10乃至14のいずれか一項に記載の方法。
  16. 前記少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)は、異なる複数の照明方向(111−1,111−2)を含み、
    前記空間フィルタは、前記各照明方向について、前記照明方向と前記光学装置(600)の光軸とによって設定される平面内に配置された物体(100)の構造を、この平面に垂直に配置された構造に対して弱める、
    請求項11に記載の方法。
  17. 取得された前記強度画像(401−1〜401−6)に基づく画像データと、前記各照明ジオメトリ(110−1,110−2,110−3)を示す関連の制御データとを不揮発性メモリ内に格納するステップ、をさらに含み、
    前記合成するステップは、前記物体(100)を照明するステップ及び前記強度画像(401−1〜401−6)を取得するステップを含む画像取得ステップ後の後処理ステップにおいて、格納された画像データ及び制御データに基づいて実行される、
    請求項1乃至16のいずれか一項に記載の方法。
  18. 物体(100)の結果画像(410,410−1,410−2,411)を生成するように構成された光学装置(600)であって、
    少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)を使用して物体(100)を順次照明するように構成された照明装置(311)と、
    前記各照明ジオメトリ(110−1,110−2,110−3)による照明の間に、前記少なくとも2つの照明ジオメトリ(110−1,110−2,110−3)のそれぞれについて物体(100)の複数の強度画像(401−1〜401−6)を取得するように構成された検出器(612)と、
    前記結果画像(410,410−1,410−2,411)を生成するために前記複数の強度画像(401−1〜401−6)を合成するように構成された演算ユニット(614)と、を含み、
    前記演算ユニットは、最適化を実行するよう構成され、
    前記合成は、前記結果画像(410,410−1,410−2,411)が所定の最適化基準を満たすように実行され、
    前記合成は、前記結果画像(410,410−1,410−2,411)の第1及び第2の領域を含む様々な領域(580)が前記最適化基準を満たすように、前記複数の強度画像のそれぞれが前記様々な領域(580)について空間的に分解されて実行され、
    前記最適化は、前記合成を実行するための組み合わせパラメータを提供し、前記結果画像(410,410−1,410−2,411)は、該組み合わせパラメータにより前記所定の最適化基準を満たし、
    前記最適化は、前記強度画像(401−1〜401−6)の様々な領域(580)のために、空間的に分解されて実行され、
    前記組み合わせパラメータは、前記様々な領域に対してそれぞれ提供され、
    前記合成は、対応する前記組み合わせパラメータに基づき、前記強度画像(401−1〜401−6)の様々な領域(580)のために空間的に分解されて実行され、
    強度画像の空間的に分析された合成は、前記強度画像の前記第1の領域内における第1の組み合わせパラメータと、前記強度画像の前記第2の領域内における第2の組み合わせパラメータとに基づくものであり、
    前記第1の組合せパラメータは、前記第2の組合せパラメータと異なる、
    光学装置(600)。
  19. 前記光学装置(600)は顕微鏡である、
    請求項18に記載の光学装置(600)。
  20. 前記光学装置(600)は、請求項1乃至17のいずれか一項に記載の方法を実行するように構成される、
    請求項18に記載の光学装置(600)。
JP2017512933A 2014-09-15 2015-09-15 結果画像を生成する方法及び光学装置 Active JP6770951B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014113258.0 2014-09-15
DE102014113258.0A DE102014113258A1 (de) 2014-09-15 2014-09-15 Verfahren zum Erzeugen eines Ergebnisbilds und optische Vorrichtung
PCT/EP2015/071064 WO2016041944A1 (de) 2014-09-15 2015-09-15 Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung

Publications (2)

Publication Number Publication Date
JP2017527918A JP2017527918A (ja) 2017-09-21
JP6770951B2 true JP6770951B2 (ja) 2020-10-21

Family

ID=54196948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512933A Active JP6770951B2 (ja) 2014-09-15 2015-09-15 結果画像を生成する方法及び光学装置

Country Status (6)

Country Link
US (1) US10475168B2 (ja)
EP (1) EP3195250B1 (ja)
JP (1) JP6770951B2 (ja)
CN (1) CN106716485B (ja)
DE (1) DE102014113258A1 (ja)
WO (1) WO2016041944A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122712B4 (de) 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
DE102016101967B9 (de) 2016-02-04 2022-06-30 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtungen zur Stereobilddarstellung
CN105911724B (zh) * 2016-05-23 2018-05-25 京东方科技集团股份有限公司 确定用于检测的光照强度的方法和装置、及光学检测方法和装置
DE102017106984B4 (de) 2017-03-31 2022-02-10 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zum Betreiben eines Lichtmikroskops mit optimierter Beleuchtungsgeometrie
DE102017108874A1 (de) 2017-04-26 2018-10-31 Carl Zeiss Ag Materialprüfung mit strukturierter Beleuchtung
DE102017121291A1 (de) * 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung
DE102018107356A1 (de) * 2018-03-28 2019-10-02 Carl Zeiss Microscopy Gmbh Autofokus mit winkelvariabler Beleuchtung
DE102020214791A1 (de) 2020-11-25 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung
DE102020214781A1 (de) 2020-11-25 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
AU2003228482A1 (en) * 2002-04-10 2003-10-27 Kendro Laboratoryb Products, Lp Automated protein crystallization imaging
US7103227B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
DE102004026630B4 (de) * 2004-05-27 2007-05-03 Doctorseyes Gmbh Verfahren und Vorrichtung zur Makrofotografie
US7823215B2 (en) * 2005-05-12 2010-10-26 The University Of Akron Molecular imaging and nanophotonics imaging and detection principles and systems, and contrast agents, media makers and biomarkers, and mechanisms for such contrast agents
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
CN101288585B (zh) * 2007-04-17 2011-06-08 天津市索维电子技术有限公司 一种超声生物显微镜检查实现眼科前节的全景成像方法
JP5194566B2 (ja) * 2007-05-30 2013-05-08 富士ゼロックス株式会社 画像処理装置、画像処理システム及び制御プログラム
CN101339131B (zh) * 2008-08-13 2012-02-29 中国石油天然气集团公司 岩心显微多种光谱成像信息综合处理方法
US8780206B2 (en) * 2008-11-25 2014-07-15 De La Rue North America Inc. Sequenced illumination
CN101441320B (zh) * 2008-12-09 2010-06-09 东华大学 一种基于显微成像检测的高动态图像获取装置及其方法
EP2520923A1 (en) * 2011-05-06 2012-11-07 bioMérieux Bio-imaging method and system
US9332156B2 (en) * 2011-06-09 2016-05-03 Hewlett-Packard Development Company, L.P. Glare and shadow mitigation by fusing multiple frames
JPWO2014002722A1 (ja) * 2012-06-26 2016-05-30 デンカ株式会社 蛍光体、発光装置及び照明装置
US20140002722A1 (en) * 2012-06-27 2014-01-02 3M Innovative Properties Company Image enhancement methods
JP6152635B2 (ja) * 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
DE102014101219A1 (de) 2014-01-31 2015-08-06 Carl Zeiss Ag Beleuchtungseinrichtung zur Fourier-Ptychographie

Also Published As

Publication number Publication date
EP3195250A1 (de) 2017-07-26
US10475168B2 (en) 2019-11-12
CN106716485A (zh) 2017-05-24
US20170262968A1 (en) 2017-09-14
JP2017527918A (ja) 2017-09-21
EP3195250B1 (de) 2021-06-30
CN106716485B (zh) 2021-05-25
DE102014113258A1 (de) 2016-03-17
WO2016041944A1 (de) 2016-03-24

Similar Documents

Publication Publication Date Title
JP6770951B2 (ja) 結果画像を生成する方法及び光学装置
US10338368B2 (en) Phase contrast imaging
JP5935147B2 (ja) 顕微鏡システム、顕微鏡法、及び記憶媒体
US20180017939A1 (en) Device for observing a sample
JP6112872B2 (ja) 撮像システム、画像処理方法、および撮像装置
US20220205919A1 (en) Widefield, high-speed optical sectioning
EP3051276B1 (en) Analysis device, microscope device, analysis method, and program
JP2010181833A (ja) 顕微鏡観察システム
US20180260609A1 (en) Automated stain finding in pathology bright-field images
US20220381695A1 (en) Focus scan type imaging device for imaging target object in sample that induces aberration
US20170228865A1 (en) System and Method for Image Analysis of Multi-Dimensional Data
US9772485B2 (en) Method and device for light-microscopic imaging of a sample structure
NL2023860B1 (en) Pattern activated structured illumination localization microscopy
US11523046B2 (en) System and method to correct for variation of in-focus plane across a field of view of a microscope objective
WO2019140430A1 (en) Pattern detection at low signal-to-noise ratio with multiple data capture regimes
US20190121112A1 (en) Image processing device and microscope system
WO2019140434A2 (en) Overlapping pattern differentiation at low signal-to-noise ratio
US20190293544A1 (en) Method for forming a high resolution image by lensless imaging
EP4249850A1 (en) Controller for an imaging system, system and corresponding method
KR102640598B1 (ko) 푸리에 타이코그래픽 현미경
US20240135565A1 (en) Method and device for light field microscopy
US11810324B2 (en) Image data obtaining method
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
WARD Development of enhanced multi-spot structured illumination microscopy with fluorescence difference
Keller et al. Super‐Resolution Data Analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170306

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190910

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190910

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20190924

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191105

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191112

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20191122

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20191126

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200212

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200804

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20200901

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R150 Certificate of patent or registration of utility model

Ref document number: 6770951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150