JP7491667B2 - 角度選択照明に対するアーティファクト低減 - Google Patents

角度選択照明に対するアーティファクト低減 Download PDF

Info

Publication number
JP7491667B2
JP7491667B2 JP2018557120A JP2018557120A JP7491667B2 JP 7491667 B2 JP7491667 B2 JP 7491667B2 JP 2018557120 A JP2018557120 A JP 2018557120A JP 2018557120 A JP2018557120 A JP 2018557120A JP 7491667 B2 JP7491667 B2 JP 7491667B2
Authority
JP
Japan
Prior art keywords
measurement
image
illumination
artifact
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018557120A
Other languages
English (en)
Other versions
JP2019515348A (ja
Inventor
ラルス シュトッペ
モリッツ シュミードリン
ゲ-ルハルト クラムペルト
カイ ウィッカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2019515348A publication Critical patent/JP2019515348A/ja
Application granted granted Critical
Publication of JP7491667B2 publication Critical patent/JP7491667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明のさまざまな実施形態は、光デバイスであって、複数の光源を備える、光デバイスの照明モジュールと、光デバイスの試料保持器との間に配置され、かつそれぞれの照明方向に対して割り当てられた光場を拡張するように構成されるフィルタを備える光デバイスに関する。本発明のさまざまなさらなる実施形態は、さまざまな測定画像が、結果画像を得るために後に組み合わせられる前に、複数の測定画像のそれぞれに対してアーティファクト低減が実行される方法に関する。例として、結果画像は位相コントラストを有することができる。
物体の光学結像では、いわゆる位相コントラスト画像を生成することは価値がある場合が多い。位相コントラスト画像では、画像コントラストの少なくとも一部は、結像させた物体を通る光の位相シフトによって引き起こされる。よって、とりわけ、大幅な位相シフト(位相物体)ではなく、光の振幅の小さな減衰ももたらさない、またはこの小さな減衰のみをもたらすこのような物体を、比較的高いコントラストで結像することが可能である。顕微鏡における物体としての生体試料は、典型的には、電磁場の振幅の変化より大きい位相の変化をもたらす場合がある。
位相コントラスト結像のさまざまな技法、例えば、暗視野照明、傾斜照明、微分干渉コントラスト(DIC)、またはゼルニケ位相コントラストが知られている。さらなる技法としては、例えば、いわゆる、ナイフエッジ法またはヘリカル位相コントラストが考えられる。
上記のこのような技法は、さまざまな不利点または限界を有する。よって、DIC技法、ゼルニケ技法、ナイフエッジ法、およびヘリカル位相コントラストは、典型的には、従来の振幅結像と比較すると、いわゆる検出光学部品の領域において試料と検出器との間に追加の光学素子を設けることを必要とする。これによって、とりわけ、モジュール構造の顕微鏡の場合、構造的限界が引き起こされる可能性がある。典型的には、費用は増大する。薄い試料の場合、典型的には、少量の光子のみが暗視野照明の場合の画像生成に寄与し、これによって、より低い品質のノイズのある画像がもたらされ得る。画像のその後の評価または解析は、可能でない場合がある、または、限られた範囲内でのみ可能である場合がある。傾斜照明は典型的には、非対称的なコントラストの増大をもたらし、さらにまた、画像の品質を低減させることになる可能性がある。
従って、デジタル後処理によって位相コントラスト画像を生成するための技法も知られている。例として、独国特許出願公開第102014112242号には、複数のキャプチャされた強度画像を組み合わせることによって位相コントラスト画像を生成するための技法が開示されている。この場合、さまざまな強度画像は異なる照明方向と関連付けられる。このような技法は、角度選択照明と称されることがある。
角度選択照明による位相コントラスト結像の場合、ビーム経路における汚れが位相コントラスト画像の品質に悪影響を与えるということが起こり得る。とりわけ、ビーム経路における汚れが、(デフォーカスされるように)光デバイスの対物レンズの焦点面からある距離で配置される場合、位相コントラスト画像において広範囲のパターンとして顕在化する可能性があることが観察されている。
対応する不利点はまた、角度選択照明と関連した、例えば、明視野結像と関連した他の結像技法に対して生じる可能性がある。
従って、角度選択照明によって結像させるための改善された技法が必要とされている。角度選択照明は、構造化照明と称されることもある。とりわけ、ビーム経路における汚れによるアーティファクトを低減することを可能にするような技術が必要とされている。
この目的は、独立特許請求項の特徴によって実現される。従属特許請求項の特徴は実施形態を定める。
1つの例では、光デバイスは、試料保持器、照明モジュール、およびフィルタを備える。試料保持器は光デバイスのビーム経路において物体を固定するように構成される。照明モジュールは複数の光源を備える。照明モジュールは光源を動作させることによって複数の照明方向から物体を照明するように構成される。それぞれの照明方向は割り当てられた光場を有する。フィルタは照明モジュールと試料保持器との間に配置される。フィルタは、それぞれの照明方向に対して割り当てられた光場を拡張するように構成される。
例として、光デバイスは顕微鏡とすることができる。例えば、反射光結像および/または透過光結像のために光デバイスが構成されることが可能になる。光デバイスは、例えば、接眼レンズおよび/または対物レンズを備えることができる。光デバイスは、例えば、蛍光結像用のレーザを有するさらなる照明モジュールを備えることが可能である。
物体は、例えば、生体試料などの、例えば、位相物体とすることができる。例として、対応する生体試料は1つまたは複数の細胞培養を含むことが可能である。
光場は、例えば、空間の異なる点に存在するそれぞれの関連の照明方向に対する光の量の表れとすることができる。光場は、例えば、光の伝搬方向と関連付けられ得る。光場は、例えば、2つのエッジ間の具体的に定められた幅を有することができ、例として、光場の幅は伝搬方向に垂直に定められ得る。光場は、例えば、ビーム経路を定めることができる。ビーム経路は、例えば、光場のエッジに対して対称的に定められる中心軸を有することができる。
光場を拡張することによって、この幅を増大することができる。これは、光場の広がりが、光により大きい立体角が存在するという効果があることを意味する。それによって実現できることは、例えば各照明方向を中心とする拡大された立体角から物体が照明されることである。この拡張の結果、異なる照明方向の光場は、従って、物体の試料保持器の領域において光伝搬方向に垂直に比較的大きな広がりを有することができる。
このような技法によって実現できることは、ビーム経路における汚れによる、結果画像におけるアーティファクトが、低減されるまたは除去されること(アーティファクト低減)である。とりわけ、試料保持器の領域における光デバイスの焦点面外にある汚れによる結果画像におけるアーティファクトは低減可能である。とりわけ、焦点面外にある汚れによるアーティファクトを低減可能とすることができるのと同時に、光デバイスの焦点面の領域に配置される物体に対する結像の品質は、低減されない、または大きくは低減されない。この場合、結像の品質は、例えば、物体のエッジ鮮鋭度、信号対ノイズ比、画像ノイズなどによって特徴付けられ得る。
さまざまなフィルタを使用して、異なる照明方向に対する光場の拡張を実現することができる。例として、フィルタは、拡散板を備えることができる、または拡散板として実装可能である。製造が簡易である、とりわけ堅牢なフィルタは、このように使用できる。
例として、拡散板はプラスチック板によって実装可能である。例として、拡散板の1つまたは複数の表面が粗面化構造を有すること、すなわち、かなりのトポロジーを有する表面が存在する可能性が考えられる。この場合、表面のトポロジーの長さスケールは、光場の拡張の長さスケールと相関し得る。フィルタは、両方の透過方向に対して、あるいは照明モジュールからフィルタに入射する光に対してのみ、光場の拡張をもたらすことができる。
フィルタにとって、各照明方向に沿って入射する光に対する比較的高い透過率を有することは価値があると言える。例えば、透過率は、>50%、好ましくは>85%、とりわけ好ましくは>95%とすることができる。それによって実現できることは、フィルタを設けることで、結像の品質を低減させない、または大きくは低減させないことである。
例えば、拡散板の表面に対して、異なる照明方向と関連付けられるビーム経路の中心軸とかなりの角度をなすことが可能になる。例えば、上記の角度を、50度、好ましくは70度以上、とりわけ好ましくは85度以上とすることが可能になる。このような垂直方向配置によって、フィルタの表面に対する反射を低減し、かつ透過率を高めることが可能になる。
例えば、拡散板を照明モジュールの近くに位置付けることが可能になる。例えば、拡散板の表面と照明モジュールとの間の距離は、拡散板の表面の広がりより小さくすることが可能である。例えば、拡散板の表面と照明モジュールとの間の距離は、フィルタの上流、または任意選択的に下流に、異なる照明方向に対する光場の幅より小さくなり得る。
1つの例では、照明モジュールが、光源が取り付けられたキャリアを備えることが可能になる。さらにまた、フィルタをキャリアに固く結合させることが可能になる。照明モジュールに対してとりわけ近い位置関係でフィルタを位置付け可能とすることができる。異なる照明方向の光場のとりわけ効率的な拡張が結果として実現できる。また、フィルタは、構造空間に対して効率的に配置可能である。
光デバイスは、検出器、例えば、CMOS検出器もしくはCCD検出器または光電子倍増管をさらに備えることができる。検出器は画素のアレイを含むことができる。検出器は光デバイスのビーム経路に配置可能である。光デバイスは演算器も含むことができる。演算器は、複数の測定照明方向から物体を照明するために照明モジュールを制御するように構成可能である。演算器は、さらに、物体の測定画像をキャプチャするために検出器を制御するように構成可能である。この場合、測定画像は測定照明方向に割り当てられる。演算器はさらに、結果画像を得るために測定画像を組み合わせるように構成可能である。
本明細書に説明されるさまざまな例において、測定照明方向と測定画像との間の異なる割り当てが可能である。例として、1:1の割り当てが可能となる。例として、演算器は、測定照明方向のそれぞれに対して物体の各測定画像をキャプチャするために検出器を制御するように構成可能である。しかしながら、異なる割り当ても可能であると思われ、例として、演算器は、測定画像が2つ以上の測定照明方向に割り当てられるように検出器を制御するように構成可能である。n>2である、1:nの割り当ての場合、結像速度を増大させることができ、このことは、とりわけ明視野結像の場合に価値があると言える。
例として、結果画像が位相コントラストを有することが可能になる。しかしながら、結果画像では、位相コントラストがないまたは大きな位相コントラストがない可能性も考えられる。例として、この場合、在来の明視野結像を動作させることができる。
明視野結像の場合、例えば、演算器は、時間的に並行して複数の測定照明方向から物体を照明するために照明モジュールを制御するように構成されることが可能になる。そして、演算器は、さらに、結果画像をキャプチャするために検出器を制御するように構成可能である。結果画像は、異なる照明方向から同時に照明があてられるため、明視野コントラストを有することができる。この場合、例えば、異なる空間方向からできるだけ均一に物体を照明することは、価値があると言える。これは、時間的に並行して利用可能な光源の多数または全てを起動させることを必要とする場合がある。
異なる測定照明方向は、照明モジュールの異なる光源の選択起動に対応することができる。例として、物体を、異なる測定照明方向から連続的に照明することができる。代替的にはまたはさらに、異なる測定照明方向は、異なる色および/または偏光に割り当てられることが可能になることで、このように、測定画像に対して異なる照明方向の間の分離を生じさせることが可能である。連続的な照明の間、いずれの場合にも連続ステップごとに、1つまたは複数の照明方向は、1つまたは複数の光源を動作させることによって実装可能である、すなわち、n≧1である、1:nの割り当てが実施可能である。この場合、nは、異なる測定画像に対して変化するまたは同一である可能性がある。
この場合、例えば、可能な限り異なっている照明方向を異なる測定画像、すなわち、互いに大きな角度をなす照明方向に対して使用できるようにしてよい。それによって実現できることは、結果画像が物体に対してとりわけ強い位相コントラストを有することである。この場合、例えば、原則として、独国特許出願公開第102014112242号から既知であるような技法を適用することができ、対応する開示の内容は、本明細書に相互参照によって組み込まれている。
それぞれの照明方向に対して対応する光場を拡張するフィルタの使用に基づく、上述したこのような例によると、汚れと関連付けられるアーティファクトのとりわけ急速なハードウェア実行による低減が実施可能である。とりわけ、アーティファクト低減に関して、測定画像のおよび/または結果画像の追加のデジタル後処理を実施する必要はない場合がある。アーティファクト低減のハードウェア実行によって、追加の待ち時間を、さらなる処理ステップのためデジタル後処理に導入されないようにすることが可能になる。その結果、結果画像をとりわけ急速に提供可能にすることができ、とりわけ、位相コントラスト結像のリアルタイムの適用を実施可能にすることができる。
ハードウェアベースのアーティファクト低減のためのフィルタの使用に関して上述されたそのような例は、デジタルアーティファクト低減の技法と置き換えまたは組み合わせ可能である。デジタルアーティファクト低減の場合、デジタル後処理という文脈において、光デバイスのビーム経路においてデフォーカスされるように配置された汚れによるアーティファクトを低減することが可能になる。デジタルアーティファクト低減およびハードウェア実行によるアーティファクト低減に関するさまざまな例は、互いに組み合わせ可能である。
1つの例において、方法は、例えば連続的に、複数の測定照明方向から物体を照明するための光デバイスの照明モジュールを駆動することを含む。照明モジュールは複数の光源を有する。方法はさらに、物体の測定画像をキャプチャするために光デバイスの検出器を駆動することを含み、この場合、測定画像は測定照明方向に割り当てられる。方法はまた、それぞれの測定画像に対して、デフォーカスされるように配置された汚れによる、各測定画像におけるアーティファクトを低減するアーティファクト低減を実行することを含む。方法は、それぞれの測定画像に対するアーティファクト低減を実行後、結果画像を得るために測定画像を組み合わせることをさらに含む。
例として、結果画像は位相コントラストを有することが可能になる。しかしながら、結果画像は、位相コントラストを有さないまたは大きな位相コントラストを有さないようにすることも可能になる。例として、この場合、在来の明視野結像を動作させることができる。
例として、割り当てられた測定画像は、それぞれの測定照明方向に対してキャプチャ可能である。2つ以上の測定照明方向を、少なくともいくつかの測定画像に対して起動させることも可能になる。よって、n≧1である、1:nの割り当てを実施することができる。この場合、nは異なる測定画像に対して変化するまたは同一である可能性がある。
複数の測定照明方向から物体を連続的に照明する代替策としてまたはこれに加えて、異なる測定照明方向に関連付けられる、色(もしくはスペクトル領域)および/または光の偏光によって測定画像に対する照明方向の分離を実現することも可能になる。
結果画像を得るために測定画像を組み合わせることに関して、もう一度、原則として、独国特許出願公開第102014112242号から既知であるような技法を適用することが可能である。その結果、結果画像に対する位相コントラストを生成することが可能である。例えば、2つ、4つ、8つ、またはそれ以上の測定画像のうちのいくつかをキャプチャし、かつ互いに組み合わせることで、結果画像を得ることができる。この場合、例として、加重和を使用できる。この場合、対応する重み係数は正値および/または負値を推定できる。
それぞれの測定画像に関してアーティファクト低減を実行することによって実現可能であることは、結果画像に、汚れによるアーティファクトがないまたは大きなアーティファクトがないことである。とりわけ、それぞれの測定画像に関する早期のアーティファクト低減は、異なる測定画像を組み合わせて結果画像を得ることにより、異なる測定画像からのアーティファクトが結果画像に転移するという状況を防止することが可能になる。
この場合、さまざまな技法がアーティファクト低減を実行するために使用可能である。1つの例では、アーティファクト低減を、もっぱら、異なる測定画像から得られた情報に基づいて実行することが可能になり、これは、アーティファクト低減を実行するために物体の追加の基準画像をキャプチャする必要はないことを意味することができる。例として、アーティファクトを低減するために物体の外側の領域において、ソフトフォーカスフィルタを用いることができる。これは、物体を光にさらすことを低減するという利点をもたらすことができ、例えば、生体試料に関して有利になり得る。さらに、結果画像を得るまで測定を実行するのに必要とされる時間分(測定時間分)は、結果的に低減可能である。
しかしながら、他の例では、アーティファクト低減を実行するために、測定画像の他に追加の情報を考慮に入れることも可能になる。例えば、方法はさらに、それぞれの測定画像に対して、少なくとも1つの割り当てられた基準照明方向から物体を、例えば連続的に、照明するために照明モジュールを駆動することを含むことが可能になる。方法はそして、それぞれの基準照明方向に対して、物体の基準画像をキャプチャするために検出器を駆動することをさらに含むことができる。方法は次いで、アーティファクト低減を実行する時、それぞれの測定画像に対して、アーティファクトを指示している少なくとも1つの補正画像を得るために少なくとも1つの割り当てられた基準画像と各測定画像を組み合わせることをさらに含むことができる。
換言すれば、そのように、それぞれの測定画像に対して、いずれの場合にも、1つまたは複数の割り当てられた基準画像が対応する基準照明方向に対してキャプチャされることを可能にすることができる。上記の基準画像に基づいて、それぞれの測定画像に対して、各測定画像においてアーティファクトを指示する1つまたは複数の補正画像を得ることを可能にすることができ、補正画像に基づいて、さらにまた、各測定画像においてアーティファクトを特定可能とすることができ、これに基づいて、測定画像に対するアーティファクトを除去する、またはアーティファクトの影響を低減するために各測定画像を補正可能とすることができる。
このような技法はとりわけ、汚れのデフォーカス配置の結果、とりわけ、異なる基準画像における物体の位置変更と比較して、異なる基準画像におけるアーティファクトの特徴的な位置変更を得ることが可能であるという事実を活用することができる。基準照明方向の適した選定によって、アーティファクトのこの位置変更をとりわけ特徴的なやり方で構成することを可能にでき、これによって、測定画像におけるアーティファクトのとりわけ精確な同定を可能にすることができる。
例えば、実現可能となることは、少なくとも1つの基準画像と関連の測定画像との間で、アーティファクトが物体自体より大きい位置変更を有することである。とりわけ、基準照明方向の適した選定によって、物体には、少なくとも1つの基準画像と関連の測定画像との間の位置変更がないまたは大きな位置変更が見られないようにするが、アーティファクトには、少なくとも1つの基準画像と関連の測定画像との間にかなりの位置変更があるようにすることを可能にすることができる。
特徴的な位置変更により、各測定画像と少なくとも1つの割り当てられた基準画像とを組み合わせることによって、補正画像がアーティファクトを指示するように補正画像を得ることが可能である。とりわけ、アーティファクトが、異なる補正画像において各物体より大きい強度を有することを可能にすることができる。従って、強度閾値に基づいて、アーティファクトは、例えば、物体またはバックグラウンドといった他の画像構成要素から分離可能である。
基準画像を使用することによって、アーティファクトについての追加情報を得ることが可能である。とりわけ、測定画像の他の構成要素、例えば、物体およびバックグラウンドからアーティファクトを隔離可能にすることができる。その結果、アーティファクト低減は、他の画像構成要素に悪影響を与えることなく、とりわけ精確に実行可能である。
例えば、方法はさらに、アーティファクト低減を実行する時、それぞれの補正画像に対して、補正画像において隔離されたアーティファクト領域を得るために強度閾値に基づいて画像セグメンテーションを適用することを含むことが可能になる。アーティファクト領域はアーティファクトを含むことができる。さらにまた、アーティファクト低減を実行する時、それぞれの測定画像に対して、各補正画像のアーティファクト領域に基づいてアーティファクトを除去可能とすることができる。
画像セグメンテーションによって、各補正画像を2つ以上の連続領域に分解することができる。この場合、異なる連続領域は、強度閾値に対して定められ得る。強度閾値は、正振幅および/または負振幅、例えば、各補正画像の異なる画素の強度値の中心点との比較を考慮に入れることができる。強度閾値に関して、例えば、具体的な境界条件に従って、異なる連続領域の間の転移を保証するために許容差を考慮に入れることもできる。画像セグメンテーションの結果、アーティファクト領域を得ることが可能であり、これによって、補正画像においてアーティファクトをマーキングすることが可能になる。このようなマーキングのおかげで、さらにまた、測定画像におけるアーティファクトをとりわけ容易に低減することを可能にすることができる。
さまざまな例では、いずれの場合にも単一の基準画像を測定画像ごとにキャプチャすることが可能である。さらにまた、測定時間分を大幅に延長することなくとりわけ急速なアーティファクト低減を実行可能とすることができる。例えば、リアルタイムの適用が可能である。しかしながら、同時に、アーティファクト低減の精度を限られた数の基準画像によって限定可能とすることができる。従って、他の例では、複数の基準画像を、測定画像、例えば、2つ、3つ、または4つの基準画像のうちのいくつかごとにキャプチャ可能とすることができる。
1つの例では、汚れは散乱体および吸収体を含むことができる。典型的には、散乱体および吸収体両方は、キャプチャされた画像において高い強度を有するが、この場合、振幅の兆候は、例えば、異なる画素の振幅の平均値に対して、および/またはバックグラウンドを結像する画素の振幅の値に対して、散乱体および吸収体について異なっている。これは、例えば、散乱体は画像における明コントラストで現れる一方で、吸収体は画像における暗コントラストで現れることが可能であることを意味する。このような例では、とりわけ、複数の基準画像を、測定画像ごとにキャプチャすることで、散乱体によるアーティファクト、および吸収体によるアーティファクト両方に対して可能な限り精確なアーティファクト低減を実行することを可能にすることができる。
例えば、さらにまた、それぞれの補正画像に対して、さらなる補正画像のアーティファクト領域に基づいて各アーティファクト領域の補正を実行することが可能になる。この場合、同じ測定画像に関連付けられるこのような補正画像の対に対してアーティファクト領域の補正を実行することができる。
例えば、異なるアーティファクト領域の補正は、散乱体または吸収体のどちらかに割り当てられるアーティファクト領域を分離するのに役立つ可能性がある。その結果、測定画像をとりわけ精確に補正可能とすることができ、とりわけ、散乱体または吸収体によるアーティファクトの混合を回避することが可能である。
上記では、アーティファクトを指示している補正画像が、各測定画像と少なくとも1つの割り当てられた基準画像との組み合わせに基づいて得られる技法について、説明されている。このような技法に加えてまたはこの代替策として、アーティファクト低減の他の実装形態も可能である。
1つの例では、方法は、それぞれの測定画像に対して、基準照明方向の割り当てられたシーケンスから物体を、例えば連続的に照明するために照明モジュールを駆動することを含む。それぞれの基準照明方向に対して、方法はさらに、物体の基準画像をキャプチャするために検出器を駆動することを含む。アーティファクト低減を実行する時、方法はまた、それぞれの測定画像に対して、割り当てられた基準画像における基準照明方向の各シーケンスに応じてアーティファクトの移動を特定することを含む。対応するアーティファクト低減は、対応して特定されたアーティファクトの移動に基づく。
基準照明方向のシーケンスは、また、例えば、異なる色および/または異なる偏光を有する光の重畳によって、時間的に並行して少なくとも部分的に処理可能である。異なる基準画像はこのように分離可能である。
この場合、特徴的なやり方で各シーケンスに応じてアーティファクトの移動を構成することが可能である。とりわけ、アーティファクトの移動は、基準照明方向のシーケンスに対する増分の位置変更のシーケンスを含むことが可能であり、このように形成されるアーティファクトの移動は、各シーケンスに応じて物体の対応する移動と異なっている。とりわけ、基準照明方向の適した選定によって、シーケンスに応じて得られる物体の移動はとりわけ小さい、または移動はない。シーケンスの適した選定によって、アーティファクトの移動を適応させることができる。
例として、画像セグメンテーションおよび/またはエッジ認識技法に基づいて基準照明方向の各シーケンスに応じて、物体の移動および/またはアーティファクトの移動を特定することが可能になる。例として、代替的にはまたはさらに、予備知識に基づいて、物体の移動および/またはアーティファクトの移動を特定することが可能になる。例えば、基準照明方向に応じた予備知識は、例えば、質的または量的に、物体および/またはアーティファクトの予想される移動の表れとすることができる。例として、最適化に基づいて、物体の移動および/またはアーティファクトの移動を特定することが可能になる。例えば、例として、画像セグメンテーション、エッジ認識、および/または予備知識の上記の技法を組み合わせて、物体の移動および/またはアーティファクトの移動を判断する反復最適化を実行することができる。この最適化は、例えば、必要とされる時間分、反復数、および/または予備知識に対する対応付けの精度に関係する終了基準と関連付け可能である。
例として、ACM Trans.Graph.Proc.ACM SIGGRAPH 2015、34(2015)79における、XUE、T.、RUBINSTEIN M.、LIO C.、FREEMAN W.T.による「A computational approach for obstruction-free photography」には、画像の反映型フォアグラウンドまたは隠れたフォアグラウンドを画像のバックグラウンドから分離するための技法が開示されている。これは、この分離を実行するために、カメラの移動、および、バックグラウンドと比較してフォアグラウンドの結果として生じる移動を利用する。例として、該分離を実行するために、フォアグラウンドとバックグラウンドとの間の移動の視差を利用することが可能である。エッジ認識および反復最適化の技法は、ここで、本明細書中の図3を参照して、実行される。
上記の論文の対応する開示は、本明細書において相互参照によって組み込まれている。とりわけ、物体からのアーティファクトの現行の分離に対して対応する技法を実行することも可能である。ここで、この場合は、アーティファクトの移動を誘導するために使用されるのは検出器の移動ではなく、むしろ、アーティファクトの移動を誘導するために使用されるのは基準照明方向のシーケンスであることは、理解されるべきである。それにもかかわらず、認識されていることだが、移動を特定しかつアーティファクト低減を実行するための対応する技法を使用することは可能である。
さらにまた、方法は、アーティファクト低減を実行する時、それぞれの測定画像に対して、各測定画像と、アーティファクトの特定される移動に基づいて割り当てられた基準画像のうちの少なくとも1つと組み合わせることをさらに含むことが可能である。この組み合わせによって、例えば、アーティファクトを除去し、かつ測定画像におけるアーティファクトによって隠された画像領域を再構成することを可能にすることができる。その結果、アーティファクト低減を高い精度で実行可能である。
アーティファクトの移動に基づいているこのような技法は、アーティファクト低減のとりわけ高い精度の効果を有する。しかしながら、同時に、必要とされる計算能力は比較的高い場合があり、さらに、基準照明方向のシーケンスは、非常に多数の基準照明方向、例えば、5以上または10以上の基準照明方向を含むことが必要である場合があり、それによって、対応する基準画像をキャプチャすることには、比較的長い時間分が求められる場合がある。
基準照明方向の適した選定によって、測定画像と基準画像との間、または異なる基準画像の間のアーティファクトの位置変更を適当に構成可能とすることができる。とりわけ、基準照明方向の適した選定によって、アーティファクトのこの位置変更を、物体の対応する位置変更に対して特徴的なやり方で構成可能とすることができる。アーティファクトのこの特徴的な位置変更は、アーティファクト低減において利用可能である。基準照明方向のこのように適した選定を実現する技法については、以下で説明する。
例として、選択された測定画像に割り当てられる少なくとも1つの測定照明方向は、他の測定照明方向と第1の平均角度をなすことが可能になる。選択された測定画像の上記の少なくとも1つの測定照明方向は、割り当てられた少なくとも1つの基準照明方向と第2の平均角度をなすことができ、上記の第2の平均角度は第1の平均角度より小さい。
よって、異なる測定照明方向は、互いに比較的大きい角度をなすことを可能にすることができ、具体的な測定画像に割り当てられる異なる基準照明方向は互いに比較的小さい角度をなす。例として、異なる測定画像に割り当てられる異なる測定照明方向は、互いに、20度を上回る、好ましくは>30度、とりわけ好ましくは>40度の角度をなすことが可能になる。例として、具体的な測定画像に割り当てられる異なる基準照明方向は、互いに、40度未満、好ましくは<30度、とりわけ好ましくは<20度の角度をなすことが可能になる。例えば、具体的な測定画像に割り当てられる異なる基準照明方向は、互いに、15度未満、好ましくは<10度、とりわけ好ましくは<5度の角度をなすことが可能になる。
少なくとも1つの基準照明方向および少なくとも1つの測定照明方向がなす角度の比較的小さい寸法によって実現されることは、物体が、測定画像と基準画像との間に比較的小さい位置変更を有することであり、すなわちこのことは、物体が典型的には、(フォーカスされるように)焦点面に配置されるからである。しかしながら、同時に、デフォーカスされるように配置されたアーティファクトは、かなりの位置変更を有する可能性がある。このように、アーティファクトおよび物体の精確な分離が実行可能であり、アーティファクト低減は精確に動作させることができる。
例えば、具体的な測定画像に割り当てられる異なる基準照明方向がなす平均角度のとりわけ小さい寸法は、照明モジュールの適した駆動、または照明モジュールの異なる光源によって実現可能である。例えば、選択された測定画像に割り当てられる少なくとも1つの測定照明方向、および割り当てられた少なくとも1つの基準測定方向は、照明モジュールの最も近くの隣り合う光源に対応することが可能になる。例えば、このように、照明モジュールの隣接する光源を使用して、測定画像および割り当てられた基準画像を生成することが可能になる。それゆえに、照明モジュールの非最密光源を使用して異なる測定画像を生成することを可能にすることができ、これは、光源は照明モジュールの隣接していない光源、すなわち、例えば、さらなる光源が配置されている間の照明モジュールの光源は、異なる測定照明方向に使用されることを意味することができる。
その結果、異なる基準照明方向が、互いに、および具体的な測定画像に対する各々の少なくとも1つの測定照明方向となす平均角度の比較的小さい寸法を実現することが可能である。上記の角度の比較的小さい寸法によって実現できることは、測定画像と少なくとも1つの基準画像との間、または異なる基準画像の間にフォーカスされるように配置される物体の位置変更が比較的小さいことである。しかしながら、同時に、アーティファクトの位置変更は比較的大きい場合があるが、これは、光デバイスの焦点面に配置されない汚れによるアーティファクトが生じるからである。
一般に、基準照明方向は、測定照明方向と少なくとも部分的に異なるようにすることを可能にしてよい。これは、測定画像を生成するために制御される照明モジュールの光源が基準画像を生成するように制御される照明モジュールの光源と異なっていることを意味することができる。その結果、アーティファクト低減が基づく情報量をとりわけ大きくすることを可能にすることができる。
しかしながら、他の例では、基準照明方向および測定照明方向を少なくとも部分的に同一となるように選定することも可能になる。このような場合、例えば、具体的な測定画像に対して、具体的な測定画像に割り当てられる少なくとも1つの基準画像として、1つまたは複数の他の測定画像が使用されることを可能にしてよい。このように、急速な結像が可能になるように、測定時間分をとりわけ短くなるような長さにできることを可能にしてよい。測定時間分は短い長さにすることができるが、これは、キャプチャされる必要がある専用の基準画像がないまたは少ないからである。
本明細書に説明されるさまざまな例では、とりわけ、物体が、汚れとは対照的に、光デバイスの焦点面に配置される、すなわち、フォーカスされるように配置されることは、価値があると言える。具体的には、このように実現できることは、アーティファクトに対して、各測定画像と少なくとも1つの基準画像との間で観察される位置変更が、物体の対応する位置変更と比較して特徴的であることである。物体を焦点面に配置することによって実現できることは、例えば、物体の位置変更が比較的小さくなるような大きさにされることである。従って、例えば、方法はさらに、物体をフォーカスするために光デバイスの試料保持器を駆動することを含むことが可能になる。
原則として、アーティファクト低減を、それぞれの測定画像に対して複数回および反復的に実行することが可能になる。例えば、アーティファクト低減を、具体的な集束基準が満たされるまで実行することが可能になる。例えば、集束基準は、反復数、信号対ノイズ比、および/またはアーティファクト低減を実行する継続時間との関連で定められ得る。このように、とりわけ精確なアーティファクト低減を保証できるのと同時に、測定時間分は不必要に延長されない。
とりわけ、本明細書に説明されるさまざまな例では、アーティファクト低減を実行することをリアルタイムで行うことが可能である。このように、例えば、光学顕微鏡と関連して、アーティファクトが低減されるように物体の具体的なリアルタイムのプロセス、例えば、細胞培養の挙動を結像できるようにしてよい。
1つの例では、光デバイスは、試料保持器、照明モジュール、検出器、および演算器を備える。試料保持器は、光デバイスのビーム経路において物体を固定するように構成される。照明モジュールは複数の光源を備える。照明モジュールは光源を動作させることによって複数の照明方向から物体を照明するように構成される。検出器は光デバイスのビーム経路に配置される。演算器は、複数の測定照明方向から物体を、例えば時系列的に、照明するために照明モジュールを制御するように構成される。演算器は、さらに、物体の測定画像をキャプチャするために検出器を制御するように構成され、この場合、測定画像は測定照明方向に割り当てられる。演算器はさらに、それぞれの測定画像に対して、デフォーカスされるように配置された汚れによる、各測定画像におけるアーティファクトを低減するアーティファクト低減を実行するように構成される。演算器は、測定画像全てに対するアーティファクト低減を実行後、結果画像を得るために測定画像を組み合わせるように構成される。結果画像は例えば位相コントラストを有することができる。
このような光デバイスに対して、さらなる例による方法に対して実現可能である効果と同様の効果をもたらすことが可能である。
例として、光デバイスは、さらなる例に従って方法を実行するように構成可能である。
本明細書に説明されるさまざまな例では、異なる照明モジュールは、角度選択照明または構造化照明瞳を実装するために使用可能である。例えば、照明モジュールは、光源がマトリックス構造で取り付けられたキャリアを備えることが可能である。この場合、マトリックス構造は、例えば、異なる単位格子を有することができ、例えば、マトリックス構造は、正方形、長方形、または六角形の単位格子を有することができる。設けられる光源の数は変えることができる。例えば、照明モジュールは、10以上の光源、好ましくは20以上の光源、とりわけ好ましくは50以上の光源を有することが可能になる。この場合、異なる光源を使用することができる。例えば、光源を、以下の群:ハロゲン光源、発光ダイオード、固体発光ダイオード、および有機発光ダイオードの中から選択することが可能になる。
上述された本発明の性質、特徴、および利点、ならびに、これらが実現されるやり方について、図面と関連してより詳細に説明される例示の実施形態の以下の説明と関連して、より明確になりかつより明確に理解できるであろう。例として、フィルタの使用に関して上述されたさまざまな例をデジタル後処理によるアーティファクト補正の技法と組み合わせることが可能になる。
図1Aは、さまざまな実施形態に従って、異なる照明方向からデフォーカスされるように配置された汚れの照明、および対応する測定画像における関連の位置変更を概略的に示す。 図1Bは、複数の測定画像の組み合わせに基づいて判断され、かつデフォーカスされるように配置された汚れによるアーティファクトを有する結果画像を概略的に示す。 図2は、フィルタなしの照明方向の光場を概略的に示す。 図3Aは、光場を拡張するように構成されるさまざまな実施形態による、フィルタがある図2による照明方向の光場を概略的に示す。 図3Bは、より詳細な、さまざまな実施形態による光場の拡張を概略的に示す。 図4は、光源が固体発光ダイオードとして実装される、さまざまな実施形態による複数の光源を有する照明モジュールを概略的に示す。 図5は、光源が有機発光ダイオードとして実装される、さまざまな実施形態による複数の光源を有する照明モジュールを概略的に示す。 図6は、光源がハロゲン光源として実装される、さまざまな実施形態による複数の光源を有する照明モジュールを概略的に示す。 図7は、さまざまな実施形態に従って、照明方向に関連付けられ、かつフィルタによって拡張される光場を概略的に示す。 図8は、さまざまな実施形態による光デバイスを概略的に示す。 図9は、さまざまな実施形態による複数の光源を有する照明モジュールを概略的に示し、さらに、さまざまな実施形態に従って、異なる測定照明方向および対応して割り当てられた基準照明方向を示す。 図10は、図9による、測定照明方向および基準照明方向をより詳細に示す。 図11は、さまざまな実施形態に従って、アーティファクトを指示している補正画像に基づいてアーティファクト低減を実行するプロセスを概略的に示す。 図12は、さまざまな実施形態に従って、アーティファクトを指示している補正画像に基づいてアーティファクト低減を実行するプロセスを概略的に示す。 図13は、さまざまな実施形態による複数の光源を有する照明モジュールを概略的に示し、さらに、さまざまな実施形態に従って、測定照明方向に対する基準照明方向のシーケンスを示す。 図14は、図13による基準照明方向のシーケンスに応じてアーティファクトの移動を概略的に示す。 図15は、さまざまな実施形態による方法のフローチャートである。 図16は、さまざまな実施形態による方法のフローチャートである。 図17は、さまざまな実施形態によるアーティファクト低減に基づいて判断される結果画像を示す。
本発明について、図面を参照して好ましい実施形態に基づいて以下により詳細に説明する。図において、同一の参照記号は同一のまたは同様の要素を示す。図は、本発明の異なる実施形態の概略的な表現である。図に示される要素は必ずしも一定尺度で図示されるわけではない。もっと正確に言えば、図に示される異なる要素は、それらの機能および汎用性を当業者が理解可能となるように再現される。機能ユニットは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせとして実装されてよい。
物体の角度選択照明に関連する技法が後述される。角度選択照明は、例えば、構造化照明瞳による明視野結像を実施するために使用可能である。本明細書に説明される技法は、代替的にはまたはさらに、位相コントラスト結像に関連して使用可能であり、位相コントラスト結像は、異なる測定照明方向に対して得られる複数の測定画像のデジタル後処理によって実行可能である。このような技法は、構造化照明瞳によるデジタル位相コントラスト結像と称されることも多い。
このような技法は、例えば、試料物体の顕微鏡検査と関連して使用可能である。例として、このような技法は、試料物体のリアルタイム結像と関連して使用可能である。この場合、例えば、蛍光結像を実施可能とすることができる。本明細書に説明されるような位相結像の技法は、とりわけ、高い位相コントラストを有するが振幅コントラストは限られている生体試料物体に関連して適用可能である。一般に、本明細書に説明される技法は、例えば、位相対物レンズに対して使用可能である。
本明細書に説明される技法は、構造化照明による結像中にアーティファクトが増幅され得ることが多いという洞察に基づいている。角度選択照明の場合、別々に配置された光源が典型的には使用され、例えば、光源はマトリックス配置で配置可能である。光源の離散分布は、照明瞳におけるギャップを引き起こす。このギャップは、デフォーカスされた物体の場合に生じる画像におけるアーティファクトをもたらす可能性がある。この効果は、在来の明視野結像および位相コントラスト結像両方において生じ得る。
とりわけ、位相コントラスト結像において、このようなアーティファクトの増幅は、デジタル位相コントラスト結像の文脈において結果画像を得るために異なる測定画像の組み合わせにより生じる可能性がある。例えば、対応する結果画像に存在するアーティファクトは、例えば、使用される構造化照明と相関し得る広範囲のパターンの表れである可能性があることが観察されている。このパターンは照明構造の画像とすることができ、例えば、ラスタ化LEDアレイの場合、ラスタ化アーティファクトはこのようにデフォーカスされるように配置されたそれぞれのちり粒に対して生じ得る。広範囲のパターンにより、このようなアーティファクトは、対応する結果画像の有用性を低減する、または対応する結果画像の情報量を減少させる可能性がある。その結果、本明細書に説明される技法によるアーティファクト低減なしの結果画像の物理技術情報量は、とりわけ限定される場合がある。
本明細書に説明されるさまざまな例において、アーティファクト低減の技法は、ハードウェア特徴に基づいて、および/またはソフトウェア特徴に基づいて実施可能である。例えば、アーティファクト低減はフィルタに基づいて実施可能であり、フィルタは具体的な照明方向に割り当てられる光場の拡張を実行する。例として、プラスチック拡散板は、フィルタとして使用可能であり、この拡散板は照明モジュールの近くに配置される。その結果、デジタル後処理は、任意選択的に、以前に知られているデジタル位相コントラスト結像の技法に従って結果画像を形成するために測定画像を組み合わせることによって実行可能である。さらなる例では、アーティファクト低減は、結果画像を形成するために組み合わせられる測定画像のデジタル後処理に基づいて実行可能である。アーティファクト低減は、結果画像を形成するための組み合わせ時にアーティファクトの増幅を防止するために、個々の測定画像に対して実行できる。これは、例えば、具体的な測定画像に関連付けられ、かつ異なる基準照明方向に対してキャプチャされる異なる基準画像に対して、アーティファクトの位置変更は物体の位置変更と比較して特徴的であるという事実を利用してよい。その結果、例えば、例として画像セグメンテーション技法に基づいて、アーティファクトを含むアーティファクト領域を判断することが可能である。さらにまた、各測定画像においてアーティファクトを隔離するまたは除去することを可能にすることができる。しかしながら、例えば、基準照明方向のシーケンスに従ってアーティファクトの移動を考慮に入れることによって、アーティファクトをマーキングすることも可能である。
図1Aでは、照明方向111、112に応じてアーティファクト121、122の位置変更105に関する態様について説明する。例として、関連の測定画像はそれぞれの照明方向に対してキャプチャ可能である、または、照明方向111、112両方に割り当てられる測定画像がキャプチャされる。
例えば、照明方向111に沿った照明の場合、対応する光デバイス100の検出器101が第1の測定画像をキャプチャし、アーティファクト121が(図1Aにおいて光軸108の右に示される)第1の測定画像における第1の位置に現れることが可能になる。照明方向112に沿った照明の場合、検出器101が第2の測定画像をキャプチャし、アーティファクト122が第2の測定画像における第2の位置に現れることが対応して可能になる。アーティファクト121、122は同じ汚れ120によって引き起こされる。汚れ120は、(図1Aには示されない)光デバイス100の結像光学ユニットの焦点面109からある距離で配置される、すなわち、デフォーカスされるように配置される。図1Aでは、2つの測定画像におけるアーティファクト121、122の間の位置変更105がデフォーカスされるように配置されたこの汚れ120によりもたらされることが明らかになっている。
原則として、このようなアーティファクト121、122は、散乱体または吸収体の形態の汚れ120に対して観察され得る。典型的には、散乱体の形態の汚れ120に対するアーティファクト121,122は、対応する画像における明コントラストで現れる一方で、吸収体の形態の汚れ120に対するアーティファクト121、122は、対応する画像における暗コントラストで現れる。
位置変更105は下記によって示される。
Figure 0007491667000001
ここで、αは照明方向111と光軸108との角度111Aを示し、βは照明方向112と光軸108との角度112Aを示し、Δは汚れ120と焦点面109との間の距離を示す。
式1は以下のように導き出され得る。図1Aにおけるシナリオについて、以下が当てはまる。
Figure 0007491667000002
ここで、aは、汚れ120と、照明方向111に沿ったアーティファクト121の結像場所との距離を示し、bは、汚れ120と、照明方向112に沿ったアーティファクト122の結像場所との間の距離を示す(aおよびbは図1Aに示されていない)。
一般的な三角形の正弦法則を適用することによって、以下が得られる。
Figure 0007491667000003
式(1)は、式(2)および式(3)の組み合わせから得られる。対応する技法はまた、独国特許出願公開第102014109687号から既知であり、この対応する開示は相互参照によって本明細書に組み込まれている。
式1によると、位置変更105が大きくなると、汚れ120のデフォーカスが大きくなる、または角度111A、112Aが大きくなることが明らかになる。
図1Bは、実際の測定データに基づいて対応するアーティファクト123に関する態様を示す。図1Bにおける例は、とりわけ、異なる照明方向111、112に対してキャプチャされた個々の測定画像の組み合わせによって得られる2つの結果画像を示す。図1Bにおける例では、パターンを形成するためにアーティファクト123が拡張しまたは増幅され、このパターンによって構造化照明を結像するが、これは、個々のアーティファクトの間の位置変更105が、使用される異なる照明方向111、112と相関するからであることは明白である(図1Aを参照)。異なる照明方向111、112はさらに、使用される照明モジュールと相関する。この照明モジュールは、マトリックス構造の複数の光源を含み、このマトリックス構造はアーティファクト123で結像される。
例として、対応するアーティファクトはまた、明視野結像と関連して生じ得る。明視野結像の場合、典型的には、対応する照明モジュールの複数の光源は測定画像ごとに起動される。
対応するアーティファクト121~123を低減するための技法については以下で説明する。図2および図3Aに関して、対応するアーティファクト低減のハードウェア実行が示されている。この場合、図2は、光場215を拡張するために使用されるフィルタがない基準実装形態に対して、照明方向111の光場215に関する態様を示す。
図2によると、照明方向111は、対応する中心軸(図2の破線)に垂直のある特定の広がりを有する光場215に関連付けられることが明白である。図2における例では、照明方向111の光場215は、比較的大きく限定されている、または小さい幅を有する。これは、(図2に示されない)焦点面109に配置される物体が、比較的小さい立体角111Bで照明されることを意味する。立体角111Bは照明方向111の中心軸を中心とする。さまざまな例では、例えば、立体角111Bのサイズを、照明方向111の下での照明のために使用される、(図2に示されない)照明モジュールの対応する光源の広がりによって限定することが可能になる。例えば、固体発光ダイオードの横寸法は、立体角111Bがまた比較的小さい広がりを有するように、比較的限定されてよい。
図3Aは、原則として、図2に対応し、ここでは、図3Aの例において、フィルタ300を使用して、照明方向111の光場215を拡張する。図3Aにおける例によって、照明方向111のビーム経路に垂直の光場215の広がりが、フィルタ300を通過する際に拡張されることは明白である。その結果、(図3Aに示されない)焦点面109に配置される物体は、比較的大きい立体角111Bから照明される。
図3Bは、フィルタ300によって照明方向111の光場215を拡張することに関する態様を示す。図3Bは、照明方向の中心軸(図3における破線)に垂直の横方向位置に応じた光場の振幅を示す。さらに、光伝搬方向は矢印によって指示される。とりわけ、図3Bは、フィルタ300の上流の光場215の幅217-1が(図3Bの右手側に示される)フィルタ300の下流の光場215の幅217-2を得るためにどのように拡張可能であるかを示す。例えば、光場215の振幅の最大値に対する光場の振幅のある特定の減少との関連で光場215の幅217-1、217-2を定めることが可能である。全体的に、光場の最大振幅は、フィルタ300の下流で減少し得る。
デジタル位相コントラスト結像のさまざまな技法について、物体を照明するために使用される比較的大きい立体角111Bが、このように得られる結果画像の品質に関して限定されないようにする、または大幅に限定されないようにすることができる。とりわけ、大きく異なる測定照明方向の使用により、異なる測定照明方向の間の対応する角度の寸法を比較的大きくすることによって結果画像の顕著な位相コントラストを実現可能とすることができる。一方、同時に、比較的大きい立体角111Bの使用によって、より小さい立体角111Bと比較して、異なる測定画像における個々のアーティファクト121、122を低減する効果を与えることができる。これは、対応する汚れのデフォーカス配置によって引き起こされる場合があり、対応する照明方向111、112の光場215の比較的大きい幅217-1、217-2は、関連の測定画像における個々のアーティファクト121、122に対するコントラストのぶれをもたらす。
図4は、異なる照明方向から角度選択照明に使用可能である照明モジュール180に関する態様を示す。照明モジュール180は、例えば、金属またはプラスチックで構成されるキャリア181を備える。複数の光源182はキャリア上に配置される。図4における例では、異なる光源182は、キャリア181上に六角形単位格子を有するマトリックス構造で配置される。例えば、正方形単位格子を有する他のマトリックス構造も可能である。例えば、照明モジュール180を、光デバイス100の光軸の領域において中央に配置することが可能になる。
異なる光源182を動作させることによって、異なる照明方向からの物体の照明を実施することが可能になる。異なる光源182の間の距離が大きいほど、典型的には、互いに異なる照明方向によってなされる角度が大きくなる。この場合、1つまたは複数の光源182は、測定画像ごとに起動可能である。
多種多様のタイプの光源182を使用することができる。図4における例では、固体発光ダイオードは例えば、光源182として使用される。固体発光ダイオードは比較的限られた横の広がりを有する。
図5は、照明モジュール180との関連の態様を示す。図5における例では、光源182は有機発光ダイオードとして構成される。これらの有機発光ダイオード182は、例えば、図4の例における光源182を実装する固体発光ダイオードと比較して、かなりの横の広がりを有する。図5における例にあるように、横方向に比較的広範囲の光源182の使用によって実現可能であることは、異なった対応する照明方向と関連付けられた光場がすでに比較的大きい幅を有することである。さらにまた、例えば、フィルタ300が、効率的なアーティファクト低減を実現するために比較的小さい拡張を行うべきとすることを可能にすることができる。その結果、フィルタ300によって光場の最大振幅の低減を限定することが可能である。これによって信号対ノイズ比が増大し得る。
図6は、照明モジュール180との関連の態様を示す。図6の例では、光源182はハロゲン光源として具現化される。ハロゲン光源はまた、例えば、図4の例において光源182を実装する固体発光ダイオードと比較して、比較的大きい横方向の広がりを有する。
図7は、フィルタ300に関する態様を示す。図7における例では、フィルタ300は、試料保持器102と照明モジュール180との間で光デバイス100のビーム経路に配置される。とりわけ、図7の例では、フィルタ300は、光デバイス100の結像光学ユニット185、例えば、対物レンズまたはコリメータ光学ユニットと、照明モジュール180との間に配置される。フィルタは、照明モジュール180の異なる光源182を動作させることによって実施可能である、異なる照明方向に対して割り当てられた光場215を拡張するように構成される。例として、フィルタ300はプラスチックで構成される拡散板を備えることができる。
図7における例では、フィルタ300は照明モジュール180のキャリア181に極めて接近して配置される。とりわけ、図7における例では、キャリア181はフィルタ300に固く結合される。このような技法によって、照明方向111の光場215のとりわけ効率的な拡張を実行することが可能になる(図7において、拡張されない光場215が破線によって示され、拡張される光場215が実線によって示されている)。
光デバイス100はさらに、(図7に示されない)検出器を備えることができる。検出器は、例えば、反射光形状を使用して、すなわち、図7において、反射ビーム経路の領域において試料保持器102の左手側に配置可能である。一方、検出器を、透過光形状を使用して、すなわち、図7において、透過ビーム経路の領域において試料保持器102の右手側に配置することも可能になる。
図8は、光デバイス100に関する態様を示す。例えば、光デバイス101は顕微鏡を実装することができる。例えば、光デバイス100は蛍光結像のために構成可能である。例えば、光デバイスはレーザ走査顕微鏡を実装することができる。
光デバイス100は、照明モジュール180、試料保持器102、および検出器101を備える。上述されるように、検出器は、例えば、照明モジュール180および試料保持器102に対して反射光形状または透過光形状を使用して、配置可能である。例えば、検出器はCCD検出器またはCMOS検出器とすることができる。
光デバイス100はまた、演算器103、例えば、プロセッサおよび/またはコンピュータおよび/またはASICを含む。演算器103は、照明モジュール180を制御するように、かつ検出器101を制御するように構成される。任意選択的に、演算器103はまた、物体をフォーカスするために試料保持器102を制御するように構成可能であり、試料保持器102を手で調節することによる物体の手動のフォーカスも考えられる。
演算器103によって、検出器101によってキャプチャされる画像のデジタル後処理を実行することが可能である。例えば、演算器は、複数の測定照明方向から物体を照明するために照明モジュール180を制御するように構成可能である。演算器103はまた、物体の測定画像をキャプチャするために検出器を制御するように構成可能である。この場合、測定画像は測定照明方向に割り当てられる。
測定画像と測定照明方向との間の異なる割り当てが可能であり、すなわち、n≧1である1:nの割り当てが実施できる。この場合、nは異なる測定画像に対して変えることができるまたは同一とすることができる。この場合、例えば、時間領域、色空間、または偏光空間において、異なる測定画像に対して測定照明方向の分離を実行することが可能である。これは、例えば、異なる測定画像に割り当てられた測定照明方向を時系列的に処理することが可能になることを意味する。しかしながら、代替的にはまたはさらに、測定画像を少なくとも部分的に時間的に並行してキャプチャすることも可能になり、この場合、例えば、光のスペクトル領域、すなわち色、および/または偏光によって、異なる測定照明方向の間で区別することができる。対応するフィルタを設けることができる。
演算器はさらに、結果画像を得るために測定画像を組み合わせるように構成可能である。異なる照明方向に関連付けられた測定画像を組み合わせることによって実現できることは、結果画像が位相コントラストを有することである。適した組み合わせによって、多種多様の従来の位相コントラスト技法、例えば、Waller、DPC位相コントラスト、ゼルニケ位相コントラストなどによる位相コントラストをシミュレートまたはエミュレートできる。明視野結像も実施できる。
ハードウェアベースのアーティファクト低減は、フィルタ300を用いて、リアルタイムで実行可能であり、さまざまな例では、代替的にはまたはさらに、演算器103を、ソフトウェアベースのアーティファクト低減のために構成可能とすることができる。ソフトウェアベースのアーティファクト低減はまた、さまざまな例においてリアルタイムで実行可能である。例えば、それぞれの測定画像に対して、デフォーカスされるように配置された汚れ120による、各測定画像における対応するアーティファクト121、122を低減するアーティファクト低減を実行することが可能になる。さらにまた、測定画像全てに対するアーティファクト低減を実行後、測定画像を、位相コントラストを有する結果画像を得るために測定画像を組み合わせることが可能である。
とりわけ精確なソフトウェアベースのアーティファクト低減を実行するために、測定画像に加えて、結果画像が判断されることに基づいて、基準照明方向に関連付けられた基準画像を考慮に入れることを可能にしてよい。アーティファクト低減の根拠となる情報は、その結果、拡大可能である。
図9は、基準照明方向411~413、421~423、431~433、441~443に関する態様を示す。図9における例は、照明モジュール180が、異なる測定照明方向111~114に関連付けられた異なる測定画像に対して、各々3つの割り当てられた基準照明方向411~413、421~423、431~433、441~443からどのように物体を照明するように制御できるのかを示す。それぞれの基準照明方向411~413、421~423、431~433、441~443に対して、検出器101はさらにまた、物体の関連の基準画像をキャプチャするために駆動可能である。この場合、例えば、測定照明方向111は基準照明方向411~413に割り当てられる。この場合、例えば、測定照明方向112は基準照明方向421~423に割り当てられる。この場合、例えば、測定照明方向113は基準照明方向431~433に割り当てられる。この場合、例えば、測定照明方向114は基準照明方向441~443に割り当てられる。
図9によると、基準照明方向411~413、421~423、431~433、441~443は、いずれの場合にも、対応する測定照明方向111~114の周りに集められているが、基準照明方向411~413、421~423、431~433、441~443は測定照明方向111~114と異なっていることが明白である。とりわけ、測定照明方向111~114および割り当てられた基準照明方向411~413、421~423、431~433、441~443は、互いに最も近い照明モジュール180の光源182に対応する。その結果として実現できることは、測定照明方向111~114に割り当てられた異なる基準照明方向411~413、421~423、431~433、441~443が互いになす平均角度が、異なる測定照明方向111~114が互いになす平均角度より小さいことである。
図10は、基準照明方向411、412と測定照明方向111~114との間の角度451、452に関する態様を示す。とりわけ、図10は図9からのシナリオの斜視図を示し、図10は、明確にするために、基準照明方向の全てを示さない。
図10は、測定照明方向111と基準照明方向411とがなす角度452を示す。図10によると、上記の角度452は、測定照明方向111と測定照明方向112とがなす角度451よりかなり小さいことが明白である。それに対応して、測定照明方向と基準照明方向411~413との間の平均角度にも同じことが当てはまる。すなわちこのことは、照明モジュール180の隣接していない光源182が異なる測定照明方向111~114に使用されており(図9を参照)、対応する測定照明方向111に関連付けられた各光源に最も近い照明モジュール180の光源182が基準照明方向411~412に使用されるからである。
図11は、デジタルアーティファクト低減に関する態様を示す。図11における例では、アーティファクト低減は、対応する基準画像551が割り当てられる基準照明方向411の使用に基づいている。図11はまた、関連の測定画像501を示す。異なる画像501、551は、物体125を結像し、さらにアーティファクト121を含む。また、画像501、551は、(図11に斜め縞模様で示される)バックグラウンドを含む。アーティファクト低減の目的はアーティファクト121を抑制することの他に、物体125およびバックラウンドを可能な限り保存することである。
測定画像501と関連の基準画像551との比較から、アーティファクト121はその位置を大幅に変更しているが、物体125は実質的に位置が固定されたままであることは明白である。すなわちこのことは、(図11に示されない)関連の汚れ120が光デバイス100の焦点面109外にデフォーカスされるように配置され、その結果、汚れ120のアーティファクト121としての結像について、基準照明方向411と測定照明方向111の間の角度の結果としての位置変更に対する影響がとりわけ大きいからである(式1を参照)。物体125が焦点面109に配置されるため、測定画像501と基準画像551との間の位置変更はなくまたは大きな位置変更はなく(式1を参照)、ここで、深さ方向に(すなわち、ビーム経路に平行に)拡大される物体125に対して、また、測定画像111と基準画像411との間にある特定の位置変更が、とりわけ、デフォーカスされるように配置される物体125の領域に対してある場合があることは、理解されるべきである。従って、原則として、基準照明方向411と測定照明方向111との間の角度452を、比較的小さくなるような大きさにすることで、物体125に対する上記の位置変更を可能な限り最小になるようにすることは、価値があると言える。
図11の例では、補正画像563を得るために測定画像501と割り当てられた基準画像551とを組み合わせることが実行される。図11の例では、この組み合わせは、基準画像551を測定画像501から取り去ることによって実行される。図11の例における補正画像563は、さらにまた、アーティファクト121に対して、(図11に黒で示される)負のコントラストおよび(図11に白で示される)正のコントラストを有する。ここで、負のコントラストは測定画像501におけるアーティファクトの位置と関連付けられ、正のコントラストは基準画像551におけるアーティファクト121の位置と関連付けられる。物体125は、補正画像563において外郭が依然存在するが、これは、上述されるように、測定画像501と基準画像551との間にある物体125の位置変更が小さい場合があるからである。それに対応して、バックグラウンドにも同じことが当てはまる。しかしながら、物体125およびバックグラウンドの強度は大きく低減される。
画像セグメンテーションはさらにまた、補正画像563に適用され、この場合、画像セグメンテーションは強度閾値に基づいている。画像セグメンテーションに基づいて、補正画像564において隔離されたアーティファクト領域を得ることが可能であり、このアーティファクト領域はアーティファクト121を含む。アーティファクト121はさらにまた、補正済み測定画像502を得るために、補正画像564のアーティファクト領域を測定画像501からもう一度取り去ることによって、測定画像501から除去可能である。
図11の例では、汚れ120は吸収体であるため、アーティファクト121は、測定画像501および基準画像551において負のコントラストで現れる。他の例では、汚れが散乱体である可能性もあり、そのため、アーティファクトは、対応する測定画像および基準画像において正のコントラストで現れる。いくつかの例では、汚れ120が吸収体および散乱体両方を含む可能性もあると言える。1つのこのような例は図12を参照して示される。図12はデジタルアーティファクト低減との関連の態様を示す。
図12におけるシナリオは、原則として、図11におけるシナリオに対応するが、2つの基準画像551、552は単一の基準画像の代わりに使用され、この基準画像は各々異なる基準照明方向411、412に対してキャプチャされる。さらに多くの基準照明方向411、412、またはさらに多くの基準画像551、552を使用することによって、散乱体および吸収体に対応するアーティファクト121が存在していてもとりわけ精確なアーティファクト低減を実行可能とすることができる。
詳細には、補正画像563-1は測定画像501と基準画像551との異なる形成によって得られる。補正画像563-2は測定画像501と基準画像552との異なる形成によって得られる。補正画像564-1および565-1は、それぞれ、正の強度閾値および負の強度閾値に関連する補正画像563-1の画像セグメンテーションによって得られる。補正画像564-2および565-2は、それぞれ、正の強度閾値および負の強度閾値に関連する補正画像563-2の画像セグメンテーションによって得られる。補正画像564-1、564-2、565-1、565-2は従って、異なるアーティファクト121に対応する隔離されたアーティファクト領域を定める。この場合、補正画像564-1および565-1の異なるアーティファクト領域は、後に、補正画像566および567を得るために補正画像564-2および565-2のアーティファクト領域に基づいて補正される(またはそれとは逆に行われる)。詳細には、補正画像566は、補正画像565-1および565-2に対する正の強度閾値に基づいてさらなる画像セグメンテーションを適用することによって生成される。補正画像567は、補正画像564-1および564-2に対する負の強度閾値に基づいてさらなる画像セグメンテーションを適用することによって生成される。
この結果、それぞれ、吸収体(補正画像566)および散乱体(補正画像567)に対応する測定画像501におけるアーティファクト121を判断することができる。これは、測定画像501と補正画像566および567とを組み合わせることによって補正済み測定画像502を生成するために利用可能である。
図13は、基準照明方向411~418のシーケンス499に関する態様を示す。基準照明方向411~418は測定照明方向111に割り当てられる(図13では、測定照明方向112~114に対する基準照明方向は、明確にするために示されていない)。図13によると、シーケンス499は、空間的に連続した基準照明方向411~418に対して定められるのが明白である。従って、シーケンス499の隣接する要素は、隣接する基準照明方向411~418に対応する。この場合、原則として、シーケンス499が処理される時間順序は不要であり、対応する基準画像は上記の空間的に連続したシーケンス499に対応するようにキャプチャされる。
図14は、シーケンス499の基準照明方向411~418に対応する異なる基準画像551~558を示す。図14によると、空間的に連続していることにより、異なる基準画像551~558におけるアーティファクト121の系統的な移動があることは明白である。基準画像551~558における各シーケンス499に応じてアーティファクト121の移動を特定することが可能である。さらにまた、アーティファクト低減を、アーティファクトの特定される移動に基づいて実行することを可能にしてよい。例えば、アーティファクト121の特定される移動があると仮定して、測定画像501からアーティファクト121を計算的に抽出できることが可能になる。そのためには、測定画像501を、アーティファクト121の特定される移動に基づいて割り当てられた基準画像551~558のうちの少なくとも1つと組み合わせ可能とすることができる。
この場合、シーケンス499におけるアーティファクト121の移動を特定するためにさまざまな技法を使用することができる。例えば、画像セグメンテーションおよび/またはエッジ認識の技法を使用することができる。最適化技法も使用することができる。この移動を特定するための対応する技法は、例えば、上で引用したXUE T.らによる論文から既知である。
図15は1つの例示の方法のフローチャートである。この場合、ステップ1001および1002はそれぞれ、照明モジュール180および検出器101を駆動することで、異なる測定照明方向111~114に対して各々の関連の測定画像501をキャプチャすることを伴う。この場合、測定画像501ごとに2つ以上の照明方向を実装することが可能であり、そのためには、例えば、1001において、照明モジュール180は、2つ以上の光源182が起動されるように制御可能である。
1003は、さらなる測定画像501が必要とされているかどうかをチェックすることを伴い、必要とされる場合、ステップ1001および1002は再び実行される。例えば、1003において、位相コントラスト結像を実行することが意図されるかどうか、意図される場合、どのタイプの位相コントラスト結像を用いることが意図されるのかを考慮に入れることが可能である。例として、異なる数の測定画像501は、位相コントラスト結像のタイプに応じて必要とされる場合がある。
ステップ1003において、さらなる測定画像501が必要とされないことが確認される場合、ステップ1004は、ステップ1002の異なる反復で以前にキャプチャされたそれぞれの測定画像501に対してアーティファクト低減を実行することで、いずれの場合にも補正済み測定画像502を得ることを伴う。
アーティファクトが低減された測定画像502は、さらにまた、結果画像を得るためにステップ1005において互いに組み合わせられる。結果画像は任意選択的に、位相コントラストを有してよい。
さまざまな例では、ステップ1004におけるアーティファクト低減を、複合的に、すなわち、複数の反復で実行することが可能になる。例えば、アーティファクトが低減された測定画像502を、いずれの場合にも、複数の反復で生成することが可能になる。例えば、図11および図12に関して上述された動作を複数回反復的に実行することで、いずれの場合にも、改善されたアーティファクト低減を実現することが可能である。
ステップ1004はまた、例えば、ステップ1003の前に、すなわち、いずれの場合にも、以前にキャプチャされた測定画像に対して実行可能である。
ステップ1004においてアーティファクト低減を実行するために多種多様の技法を使用することができる。例として、1つまたは複数の基準画像551、552に基づいて、関連の測定画像501においてアーティファクト121を指示している補正画像を判断することを可能にすることができ、そのためには、例えば、図11および図12を参照して上で説明したように、画像セグメンテーションを実行することができる。代替的にはまたはさらに、基準画像551~558のシーケンス499をキャプチャすること、およびシーケンス499においてアーティファクト121の移動を特定することも可能になる。アーティファクト低減はさらにまた、特定される移動に基づいて実行することができる。いずれにしても、このような技法は、1つまたは複数の基準画像551~558をキャプチャすることを伴う。
図16はさまざまな例による方法のフローチャートである。図16は、1つまたは複数の基準画像551~558をキャプチャすることに関する態様を示す。
この場合、最初に、ステップ1011において、1つまたは複数の基準照明方向411~418は、現時点の測定照明方向111に対して、または現時点の測定画像501に対して選択される。
ステップ1012および1013は、次いで、照明モジュール180および検出器101を時間同期されるように駆動することで、いずれの場合にも、現時点の基準照明方向411~418に対して関連の基準画像551~558をキャプチャすることを伴う。ステップ1014は、さらなる基準画像551~558がキャプチャされる必要があるかどうかをチェックすることを伴い、キャプチャされる必要がある場合、ステップ1012および1013は再び実行される。
いくつかの例では、単一の基準照明方向411~418は、それぞれの基準画像551~558に対して実装可能である。しかしながら、他の例では、複数の基準照明方向411~418を少なくともいくつかの基準画像551~558に割り当てることも可能になる。そのためには、例えば、1012において、照明モジュール180は、2つ以上の光源182が起動されるように制御可能である。
ステップ1015は、1つまたは複数の基準画像がさらなる測定画像501に対してキャプチャされるべきであるかどうかをチェックすることを伴う。キャプチャされるべきである場合、ステップ1011~1014は再び実行される。
基準画像551~558をキャプチャするためのステップ1011~1015は、例えば、異なる測定画像502をキャプチャする前または後に、すなわち、ステップ1011および1012を実行する前または後に、実行可能である。基準画像551~558を、測定画像502のキャプチャと時間的に重なるように実行することも可能になる。これは、アーティファクトの移動を回避するために、とりわけ、時間的に可変の試料物体の場合に価値があると言える。
図17は、図12を参照して上述されるようにアーティファクト低減の1回または複数回の反復に基づいて以前に補正された異なる測定画像の組み合わせに基づいて得られた結果画像601に関する態様を示す。補正されていない結果画像601Aも比較するために示されている。図17によると、アーティファクト低減の品質は多数回の反復で高まることが明白である。しかしながら、アーティファクト低減の1回の反復でも、アーティファクト123のかなりの抑制が実現可能である。
要約すると、複数の別々に配置された光源による角度選択照明中にアーティファクト低減を実行するための技法について、上で説明されている。該技法は、角度選択照明中にデフォーカスされるように配置された汚れが、構造化照明瞳に対応するパターンを有する広範囲のアーティファクトを形成するように増幅されるという洞察に基づいている。
本発明は、好ましい例示の実施形態によって具体的に示されかつ詳細に説明されているが、それにもかかわらず、本発明は、開示された例に制限されず、本発明の保護の範囲から逸脱することなく、他の変形も当業者によって導き出され得る。
例として、位相コントラスト結像に関するさまざまな例について、上で説明されている。しかしながら、本明細書に説明される技法を、例えば、構造化照明が使用される従来の明視野結像に適用することも可能である。この場合、明視野結像中に、対応する照明モジュールの光源のできるだけ多くをまたは全てを起動することで、このように、異なる空間方向からの物体の均一の照明を実現することは、価値があると言える。
さらに、異なる測定画像を、いずれの場合にも、単一の測定照明方向に割り当てるさまざまな例について、上で説明されている。しかしながら、他の例では、異なる測定画像を、複数の測定照明方向、例えば、2つ、3つ、またはそれ以上の測定照明方向に割り当てることも可能になる。このような場合にも、本明細書に説明されるアーティファクト補正のための技法を適用できる。
111~114 照明方向
100 光デバイス
101 検出器
102 試料保持器
103 演算器
105 位置変更
108 光軸
109 焦点面
111A 角度
111B 角度
120 汚れ
121 アーティファクト
122 アーティファクト
123 アーティファクト
125 物体
180 照明モジュール
181 キャリア
182 光源
185 結像光学ユニット
215 光場
217-2 光場の幅
217-1 光場の幅
300 フィルタ
451 角度
452 角度
501 測定画像
502 補正済み測定画像
566 補正画像
567 補正画像
601 結果画像
601A 結果画像
411~418 照明方向
421~423 照明方向
431~433 照明方向
441~443 照明方向
551~558 基準画像
565-1、565-2 補正画像
563、563-1、563-2 補正画像
564、564-1、564-2 補正画像
1001~1005 ステップ
1011~1015 ステップ

Claims (16)

  1. 光デバイス(100)の照明モジュール(180)を制御し、かつ複数の測定照明方向(111~114)から物体(125)を照明するための複数の光源(182)を含むことと、
    前記物体(125)の測定画像(501、502)をキャプチャするために前記光デバイス(100)の検出器(101)を制御することであって、前記測定画像(501、502)は前記測定照明方向(111~114)に割り当てられる、制御することと、
    それぞれの測定画像(501、502)に対して、デフォーカスされるように配置された汚れ(120)による、各前記測定画像(501、502)におけるアーティファクト(121~123)を低減するアーティファクト低減処理、演算器(103)により実行することと、
    前記測定画像(501、502)全てに対する前記アーティファクト低減処理を実行後、位相コントラストを有する結果画像(601)を得るために前記測定画像(501、502)を組み合わせることと、を含む、方法。
  2. それぞれの測定画像(501、502)に対して、少なくとも1つの割り当てられた基準照明方向(411~413、421~423、431~433)から前記物体(125)を照明するために前記照明モジュール(180)を駆動することと、
    それぞれの基準照明方向(411~413、421~423、431~433)に対して、前記物体(125)の基準画像(551~558)をキャプチャするために前記検出器(101)を駆動することと、
    前記アーティファクト低減処理を実行する時、それぞれの測定画像(501、502)に対して、前記アーティファクト(121~123)を指示している少なくとも1つの補正画像(563、563-1、563-2、564、564-1、564-2、565-1、565-2、566、567)を得るために前記少なくとも1つの割り当てられた基準画像(551~558)と各前記測定画像(501、502)を組み合わせることと、をさらに含む、請求項1に記載の方法。
  3. 前記アーティファクト低減処理を実行する時、それぞれの補正画像(563、563-1、563-2、564、564-1、564-2、565-1、565-2、566、567)に対して、前記補正画像(563、563-1、563-2、564、564-1、564-2、565-1、565-2、566、567)において隔離されたアーティファクト領域を得るために強度閾値に基づいて画像セグメンテーションを適用することであって、前記アーティファクト領域は前記アーティファクト(121~123)を含むものであることと、
    前記アーティファクト低減処理を実行する時、それぞれの測定画像(501、502)に対して、前記アーティファクト領域に基づいて前記アーティファクトを除去することと、をさらに含む、請求項2に記載の方法。
  4. 前記汚れ(120)は散乱体および吸収体を含み、前記照明モジュール(180)は、それぞれの測定画像(501、502)に対して少なくとも2つの割り当てられた基準照明方向(411~413、421~423、431~433)から前記物体(125)を照明するために駆動され、前記方法はさらに、前記アーティファクト低減処理を実行する時、それぞれの補正画像(563、563-1、563-2、564、564-1、564-2、565-1、565-2、566、567)に対して、さらなる補正画像(563、563-1、563-2、564、564-1、564-2、565-1、565-2、566、567)の前記アーティファクト領域に基づいて各前記アーティファクト領域を補正することを含む、請求項3に記載の方法。
  5. それぞれの測定画像(501、502)に対して、基準照明方向(411~413、421~423、431~433)の割り当てられたシーケンス(499)から前記物体(125)を照明するために前記照明モジュール(180)を駆動することと、それぞれの基準照明方向(411~413、421~423、431~433)に対して、前記物体(125)の基準画像(551~558)をキャプチャするために前記検出器(101)を駆動することと、前記アーティファクト低減処理を実行する時、それぞれの測定画像(501、502)に対して、割り当てられた前記基準画像(551~558)における前記基準照明方向(411~413、421~423、431~433)の対応する前記シーケンス(499)に応じて前記アーティファクトの移動を特定することと、をさらに含み、各前記アーティファクト低減処理は前記アーティファクトのそれぞれ特定される前記移動に基づく、請求項1に記載の方法。
  6. 前記アーティファクト低減処理を実行する時、それぞれの測定画像(501、502)に対して、各前記測定画像(501、502)と、前記アーティファクトの特定される前記移動に基づいて前記割り当てられた基準画像(551~558)のうちの少なくとも1つと組み合わせることをさらに含む、請求項5に記載の方法。
  7. 選択された測定画像(501、502)に割り当てられる少なくとも1つの前記測定照明方向(111~114)は、他の前記測定照明方向(111~114)と第1の平均角度をなし、前記選択された測定画像(501、502)に割り当てられる前記少なくとも1つの測定照明方向(111~114)は、割り当てられる前記少なくとも1つの基準照明方向(411~413、421~423、431~433)と第2の平均角度をなし、前記第2の平均角度は前記第1の平均角度より小さい、請求項2から6のいずれか一項に記載の方法。
  8. 前記選択された測定画像(501、502)に割り当てられる前記少なくとも1つの測定照明方向(111~114)、および割り当てられた前記少なくとも1つの基準測定方向(411~413、421~423、431~433)は、前記照明モジュール(180)の最も近くの隣り合う光源(182)に対応する、請求項2から7のいずれか一項に記載の方法。
  9. 前記基準照明方向(411~413、421~423、431~433)は、前記測定照明方向(111~114)と少なくとも部分的に異なっている、請求項2から8のいずれか一項に記載の方法。
  10. 前記光デバイス(100)の試料保持器(102)を制御することであって、前記試料保持器(102)は、前記物体(125)をフォーカスするために、前記光デバイス(100)のビーム経路において前記物体(125)を固定するように構成される、請求項1から9のいずれか一項に記載の方法。
  11. 前記アーティファクト低減処理は、それぞれの測定画像(501、502)に対して複数回および反復的に実行される、請求項1から10のいずれか一項に記載の方法。
  12. 前記アーティファクト低減処理を実行することはリアルタイムで行われる、請求項1から11のいずれか一項に記載の方法。
  13. 光デバイス(100)であって、
    前記光デバイス(100)のビーム経路において物体(125)を固定するように構成される試料保持器(102)と、
    複数の光源(182)を備え、かつ前記光源(182)を動作させることによって複数の照明方向から前記物体(125)を照明するように構成される照明モジュール(180)と、
    前記光デバイス(100)の前記ビーム経路に配置される検出器(101)と、
    複数の測定照明方向(111~114)から物体(125)を照明するために前記照明モジュール(180)を制御するように構成される演算器(103)と、を備え、
    前記演算器(103)は、前記物体(125)の測定画像(501、502)をキャプチャするために前記検出器(101)を制御するようにさらに構成され、前記測定画像(501、502)は前記測定照明方向(111~114)に割り当てられ、前記演算器(103)はさらに、それぞれの測定画像(501、502)に対して、デフォーカスされるように配置された汚れ(120)による、各前記測定画像(501、502)におけるアーティファクト(121~123)を低減するアーティファクト低減処理を実行するように構成され、前記演算器(103)は、前記測定画像(501、502)全てに対する前記アーティファクト低減を実行後、位相コントラストを有する結果画像(601)を得るために前記測定画像(501、502)を組み合わせるようにさらに構成される、光デバイス(100)。
  14. 前記光デバイス(100)は、請求項1から12のいずれか一項に記載の方法を実行するように構成される、請求項13に記載の光デバイス(100)。
  15. 前記照明モジュール(180)は、前記光源(182)がマトリックス構造で取り付けられたキャリア(181)を備える、請求項13または14に記載の光デバイス(100)。
  16. 前記光源(182)は、以下の群:ハロゲン光源、発光ダイオード、固体発光ダイオード、レーザダイオード、および有機発光ダイオードの中から選択される、請求項13から15のいずれか一項に記載の光デバイス(100)。
JP2018557120A 2016-05-02 2017-04-26 角度選択照明に対するアーティファクト低減 Active JP7491667B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016108079.9A DE102016108079A1 (de) 2016-05-02 2016-05-02 Artefaktreduktion bei der winkelselektiven beleuchtung
DE102016108079.9 2016-05-02
PCT/EP2017/059949 WO2017191011A2 (de) 2016-05-02 2017-04-26 Artefaktreduktion bei der winkelselektiven beleuchtung

Publications (2)

Publication Number Publication Date
JP2019515348A JP2019515348A (ja) 2019-06-06
JP7491667B2 true JP7491667B2 (ja) 2024-05-28

Family

ID=58632995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557120A Active JP7491667B2 (ja) 2016-05-02 2017-04-26 角度選択照明に対するアーティファクト低減

Country Status (6)

Country Link
US (1) US10838184B2 (ja)
EP (1) EP3452858B1 (ja)
JP (1) JP7491667B2 (ja)
CN (1) CN109416464B (ja)
DE (1) DE102016108079A1 (ja)
WO (1) WO2017191011A2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017125799A1 (de) * 2017-11-06 2019-05-09 Carl Zeiss Industrielle Messtechnik Gmbh Reduktion von Bildstörungen in Bildern
US11202040B2 (en) * 2018-04-23 2021-12-14 ContinUse Biometrics Ltd. System and method for monitoring a sample
DE102018127754A1 (de) 2018-11-07 2020-05-07 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Inspizieren einer Objektoberfläche, insbesondere zum Inspizieren der Oberfläche eines Pulverbettes mit einer Vielzahl von Pulverpartikeln
DE102019100419A1 (de) * 2019-01-09 2020-07-09 Carl Zeiss Microscopy Gmbh Winkelvariable Beleuchtung zur Phasenkontrast-Bildgebung mit Absorptionsfilter
DE102019009301B4 (de) 2019-12-18 2023-10-26 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur additiven Herstellung eines Werkstücks
DE102019134987B4 (de) 2019-12-18 2022-05-25 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur additiven Herstellung eines Werkstücks
DE102022130975A1 (de) 2022-11-23 2024-05-23 Carl Zeiss Microscopy Gmbh Lokalisierung von verschmutzungen in mikroskopiesystemen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215544A (ja) 2005-01-07 2006-08-17 Olympus Corp 負屈折を示す媒質及び光学系
JP2014182210A (ja) 2013-03-18 2014-09-29 Kyocera Optec Co Ltd レンズアレイユニットおよびレンズアレイユニット製造方法
JP2015001406A (ja) 2013-06-13 2015-01-05 富士通株式会社 表面検査方法、表面検査装置、および表面検査プログラム
WO2015098242A1 (ja) 2013-12-27 2015-07-02 オリンパス株式会社 標本観察装置および標本観察方法
WO2016067508A1 (ja) 2014-10-27 2016-05-06 パナソニックIpマネジメント株式会社 画像形成システム、画像形成方法、撮像素子、およびプログラム
JP2017533450A (ja) 2014-09-17 2017-11-09 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 被写体の3次元画像を生成する装置と方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE9406545U1 (de) * 1994-04-20 1994-11-03 Max-Planck-Gesellschaft zur Förderung der Wissenschaften eV, 14195 Berlin Kontrastvorrichtung für Mikroskopie
AU2001295059A1 (en) 2000-09-22 2002-04-02 Applied Science Fiction Multiple-orientation image defect detection and correction
JP2002189174A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd 顕微鏡用照明装置
US20040070990A1 (en) * 2002-10-01 2004-04-15 Witold Szypszak LED illuminator and method of manufacture
US7643088B2 (en) 2004-12-01 2010-01-05 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
CN101523195B (zh) * 2006-10-05 2012-04-25 皇家飞利浦电子股份有限公司 用于观察样品表面的设备和方法
DE102007047466A1 (de) * 2007-09-28 2009-04-02 Carl Zeiss Microimaging Gmbh Verfahren und Anordnung zur optischen Erfassung einer beleuchteten Probe
CN101178476B (zh) * 2007-12-03 2010-06-09 中国科学院光电技术研究所 一种高分辨显微三维成像装置
JP5210091B2 (ja) * 2008-08-29 2013-06-12 キヤノン株式会社 画像処理装置及びその制御方法、撮像装置、プログラム
JP5394887B2 (ja) * 2009-10-29 2014-01-22 オリンパス株式会社 顕微鏡装置および顕微鏡観察方法
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
DE102011077290A1 (de) * 2011-06-09 2012-12-13 Carl Zeiss Microimaging Gmbh Messverfahren und Messvorrichtung zur Ermittlung von Transmissions- und/oder Reflektionseigenschaften
US9230308B2 (en) 2011-06-30 2016-01-05 Weyerhaeuser Nr Company Method and apparatus for removing artifacts from aerial images
WO2013094434A1 (ja) 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、観察システムの制御方法及びプログラム
DE102013003900A1 (de) * 2012-03-28 2013-10-02 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zur Bildaufnahme mit einem Lichtmikroskop
DE102014101219A1 (de) * 2014-01-31 2015-08-06 Carl Zeiss Ag Beleuchtungseinrichtung zur Fourier-Ptychographie
DE102014109687B4 (de) 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014110575B4 (de) * 2014-07-25 2017-10-12 Leica Microsystems Cms Gmbh Mikroskop und Verfahren zum optischen Untersuchen und/oder Manipulieren einer mikroskopischen Probe
DE102014112242A1 (de) 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
DE102014112666A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
US9883082B2 (en) * 2014-10-30 2018-01-30 Lattice Semiconductor Corporation Timing based corrector for video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215544A (ja) 2005-01-07 2006-08-17 Olympus Corp 負屈折を示す媒質及び光学系
JP2014182210A (ja) 2013-03-18 2014-09-29 Kyocera Optec Co Ltd レンズアレイユニットおよびレンズアレイユニット製造方法
JP2015001406A (ja) 2013-06-13 2015-01-05 富士通株式会社 表面検査方法、表面検査装置、および表面検査プログラム
WO2015098242A1 (ja) 2013-12-27 2015-07-02 オリンパス株式会社 標本観察装置および標本観察方法
JP2017533450A (ja) 2014-09-17 2017-11-09 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 被写体の3次元画像を生成する装置と方法
WO2016067508A1 (ja) 2014-10-27 2016-05-06 パナソニックIpマネジメント株式会社 画像形成システム、画像形成方法、撮像素子、およびプログラム

Also Published As

Publication number Publication date
CN109416464B (zh) 2021-11-16
JP2019515348A (ja) 2019-06-06
WO2017191011A3 (de) 2017-12-28
WO2017191011A2 (de) 2017-11-09
US20190155012A1 (en) 2019-05-23
EP3452858B1 (de) 2022-08-10
EP3452858A2 (de) 2019-03-13
DE102016108079A1 (de) 2017-11-02
US10838184B2 (en) 2020-11-17
CN109416464A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
JP7491667B2 (ja) 角度選択照明に対するアーティファクト低減
US10944896B2 (en) Single-frame autofocusing using multi-LED illumination
JP5015955B2 (ja) 自動顕微鏡の自動焦点調節法及びシステム
JP2011085594A (ja) 多軸統合システムおよび方法
WO2017152702A1 (zh) 一种结构光照明显微镜的成像方法及装置
JP5354254B2 (ja) 形状測定装置及び方法、並びにプログラム
AU2016233588A1 (en) Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
JP6503221B2 (ja) 3次元情報取得装置、及び、3次元情報取得方法
WO2011080670A1 (en) Sensor for microscopy.
AU2018352821B2 (en) Image reconstruction method, device and microscopic imaging device
JP6708667B2 (ja) ビーム整形及び光シート顕微鏡検査のためのアセンブリ及び方法
JP2021067697A (ja) ウエハ検査システム及び装置
WO2015157769A1 (en) Scanning imaging for encoded psf identification and light field imaging
US10976533B2 (en) Tiling light sheet selective plane illumination microscopy using discontinuous light sheets
JP4905356B2 (ja) ライン走査型共焦点顕微鏡装置
US20220114738A1 (en) Method of and microscope comprising a device for detecting movements of a sample with respect to an objective
CN111656163A (zh) 用于在荧光显微成像期间扩展景深的方法和装置
US11256078B2 (en) Continuous scanning for localization microscopy
Woo et al. High-throughput high-dynamic range imaging by spatiotemporally structured illumination
JP2023078801A (ja) 顕微鏡システム、及び、顕微鏡制御装置
JP2021173656A (ja) 画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体
WO2003079664A2 (en) Multi-axis integration system and method
JPWO2023157098A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210609

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230228

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230302

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230322

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230328

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240516

R150 Certificate of patent or registration of utility model

Ref document number: 7491667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150