JP6580673B2 - 画像を記録するための装置および方法 - Google Patents

画像を記録するための装置および方法 Download PDF

Info

Publication number
JP6580673B2
JP6580673B2 JP2017510519A JP2017510519A JP6580673B2 JP 6580673 B2 JP6580673 B2 JP 6580673B2 JP 2017510519 A JP2017510519 A JP 2017510519A JP 2017510519 A JP2017510519 A JP 2017510519A JP 6580673 B2 JP6580673 B2 JP 6580673B2
Authority
JP
Japan
Prior art keywords
image
displacement
images
image recording
recording apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017510519A
Other languages
English (en)
Other versions
JP2017526964A (ja
Inventor
シュトッペ,ラース
フンク,マックス
ベルナー,アンドレア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2017526964A publication Critical patent/JP2017526964A/ja
Application granted granted Critical
Publication of JP6580673B2 publication Critical patent/JP6580673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明の例示的な実施形態は、画像を記録するための装置および方法に関する。特に、例示的な実施形態は、光学収差の計算による補正を容易にする装置および方法に関する。
現代の光学系は、画像の品質に関して、より厳しい要件を満たす必要がある。この目的のために、高精度かつ高品質の光学装置を使用することがある。あるいは、後続の処理(subsequent post−processing)と組み合わせて、より費用対効果の高い光学装置を使用することがある。
より高品質の光学装置を使用して、高品質の画像を生成することができる。しかし、コスト面での不利な点に加えて、設置スペースが大きくなり、重量も大きくなることがある。さらに、多数のレンズが系の反射感度(reflection susceptibility)を増加させ、および/または透過率を減少させることがある。これは、例えば高価な専門用途の分野において、多くの用途について不利になることがある。
より安価な光学装置を後続の処理と組み合わせる装置および方法は、更なるデジタルの処理にデコンボリューション法(deconvolution techniques)を含むことができる。そのような方法は、大きな計算量と結びついている。特に、例えば顕微鏡システム(microscope system)において、記録された標本領域をリアルタイムで表示するために画像の高速計算が望まれる場合、不利であることが分かる。変調伝達関数(MTF)のコントラストが低く、および/または画像の信号対ノイズ比(SNR)が良好ではない場合、デコンボリューション法を使用しても再構成可能でないか、または特定の追加の仮定の下でのみ再構成可能であると判断される特定の空間周波数につながることがある。例として、収差のためにMTFがゼロのときの空間周波数領域の場合がある。例として、このようにMTFがゼロとなるのは、非点収差またはデフォーカスによる場合がある。軸上色収差(longitudinal chromatic aberrations)は、デコンボリューション法により容易には補償できないことがある。
被写体を画像化するための改良技術が必要とされている。特に、費用対効果の高いイメージング光学装置の使用を可能にし、デコンボリューション法と比較して更なるデジタル処理における計算上の複雑さを低減することができる装置および方法が必要とされている。特に、軸上色収差および/または非点収差が補正可能な装置および方法が必要とされている。
実施形態によれば、被写体が複数の照射角で照明され、各々の場合に画像が記録される装置および方法が明示される。複数の画像は、計算により更に処理される。この処理では、複数の画像の少なくとも一部に変位を適用することができ、前記変位は照射角に依存する。変位を用いて、画像領域は空間内で変位することができる。変位の適用後、画像を合計し(summed)または異なる方法で更に処理することができる。
変位は、色収差を補正するために、異なるカラーチャネルについて異なることができる。変位は、例えば非点収差の補正の範囲内で像面において局所的に変化する影響を考慮するために、フィールドポイントに依存(field−point−dependent)することができる。
実施形態による装置および方法では、画像補正は、各々の点広がり関数(PSF)によるデコンボリューションを必要とする画像を用いない、計算的に効率的な方法で実行することができる。MTFsがゼロであることに関係する従来からの問題は、複数の照射角の照明および画像の計算処理における照射角を考慮することにより低減することができる。情報損失は、複数の照射角で取り込まれた画像を合成(combine)することにより低減することができる。合成は、修正および加算(addition)のような操作(operation)により実行することができ、計算的に効率的な方法で行われ、リアルタイムという条件を満たすことができる。
一実施形態による画像記録装置は、被写体を照明するための複数の照射角を設定するために制御可能な照明装置を備える。画像記録装置は、複数の照射角について複数の被写体の画像を取り込むように構成されたイメージセンサを含む検出器を備える。画像記録装置は、イメージセンサに結合され、複数の画像を処理する電子評価装置を備える。電子評価装置は複数の画像に対して画像補正を適用するように構成され、前記画像補正は変位を含み、前記変位は各々の画像を記録する際に使用される照射角に依存する。電子評価装置は、画像補正後、複数の画像を合成するように構成される。
電子評価装置は、処理により色収差を補正するように構成することができる。
電子評価装置は、処理により軸上色収差を補正するように構成することができる。
電子評価装置は、画像の異なるカラーチャネルを互いに相対的に局所的に変位させるように構成することができ、変位は、画像を記録する際の照射角に依存する。
イメージセンサは、複数のカラーチャネルを含むことができる。変位は、各々の画像を記録する際の各々のカラーチャネルおよび照射角に依存することができる。
カラーチャネルの座標空間で使用される変位は、カラーチャネルの焦点位置と更なるカラーチャネルの更なる焦点位置との間の距離に依存することができる。このように、カラーチャネル間のデフォーカスを考慮することができ、それに結びついている被写体のエッジ(object edge)の幾何学的な不鮮明さを低減することができる。
少なくとも2つのカラーチャネルの焦点位置間の距離は、画像記録装置の記憶媒体に不揮発的に記憶することができる。あるいは、またはさらに、カラーチャネルの焦点位置は、画像記録装置の記憶媒体に不揮発的に記憶することができる。電子評価装置は、計算によりカラーチャネルについて照射角に依存する変位を確認するように構成することができる。
検出器は、異なるカラーチャネルについて焦点位置間の距離よりも大きい検出器の被写界深度を有することができる。
あるいは、またはさらに、電子評価装置は、非点収差を補正するように構成することができる。非点収差を補正するために、変位は、非点収差の1つ以上の面に対する照射角に依存することができる。変位は、光学要素(optical component)の第1の焦点距離に割り当てられた経線と光軸とにより形成される第1の平面との関係で被写体が照明される照射角に依存することができる。変位は、第1の平面とは異なり、第2の焦点距離に割り当てられた更なる経線と光軸とにより形成された第2の平面との関係で被写体が照明される照射角に依存することができる。
この変位は、イメージング光学装置の異なる平面についての焦点位置の距離に依存することができる。
電子評価装置は、各々の照射角に応じて、2つの直交する方向に沿った像面内の変位の成分を決定するように構成することができる。
1つの照射角における画像取り込みに適用される変位は、非点収差軸とイメージング光学装置とにより規定される平面に関係して、照射角で入射する光線の位置に依存することができる。
1つの照射角で取り込まれた画像に適用される変位は、第1の非点収差軸と光軸とにより規定される平面および第2の非点収差軸と光軸とにより規定される第2の平面に関係して、照射角で入射する光線の位置に依存する。
第1の座標軸に沿った変位の成分は、照射角で入射する光線の第1の平面への射影に依存することができる。
第1の座標軸に直交する第2の座標軸に沿った変位の更なる成分は、照射角で入射する光線の第2の平面への射影に依存することができる。
検出器は、非点収差の異なる平面に対する焦点位置の間の距離よりも大きい検出器の被写界深度を有することができる。
あるいは、またはさらに、電子評価装置は、像面湾曲を補正するように構成することができる。
検出器は、軸上色収差、非点収差および像面湾曲の組合せにより生じるデフォーカスよりも大きい検出器の被写界深度を有することができる。
電子評価装置により適用される変位は、フィールドポイントに依存しないことができる。同様の変位は、画像または像面内の画像のカラーチャネルを変位するために、画像またはカラーチャネルの各々の画素に適用することができる。
電子評価装置により適用される変位は、フィールドポイントに依存することができる。結果として、例えば像面湾曲または非点収差により生じる歪みを補正することができる。
複数の照射角について、変位は、画像記録装置の記憶媒体に不揮発的に各々記憶することができる。あるいは、またはさらに、異なるカラーチャネルまたは異なる非点収差の平面に対するデフォーカスについての情報は、画像評価装置が変位を算出する画像記録装置の記憶媒体に不揮発的に記憶することができる。
画像または画像のカラーチャネルの変位は、整数画素間隔の変位の丸めを含むことができる。
画像または画像のカラーチャネルの変位は、変位がイメージセンサの整数画素間隔に等しくない場合、複数の画素値間の補間を含むことができる。
電子評価装置は、結果画像を計算するために、画像補正後に複数の画像を加算(add)するように構成することができる。
電子評価装置は、画像補正後、フーリエタイコグラフィーについて複数の画像を使用するように構成することができる。電子評価装置は、被写体の位相および振幅分布を計算するように構成することができる。電子評価装置は、画像補正により補正された複数の画像から座標空間における被写体のスペクトルを再構成し、フーリエ変換により被写体の位相および振幅分布を決定するように構成することができる。電子評価装置は、画像補正後の複数の画像から被写体の位相コントラスト画像を計算するように構成することができる。
電子評価装置は、焦点位置を自動的に決定するためおよび/または位相コントラスト法のために画像補正後に複数の画像を使用するように構成することができる。
電子評価装置は、1つの照射角について取り込まれた画像に画像補正を適用するように構成され、検出器は更なる照射角について更なる画像を取り込むように構成することができる。画像補正と、異なる照射角での更なる画像の記録とを並列化することにより、結果画像の提供までに必要な時間を更に短縮することができる。
画像記録装置は、顕微鏡システムでもよい。画像は、伝送装置(transmission arrangement)で取り込まれてもよい。画像は、反射装置(reflection arrangement)で取り込まれてもよい。
一実施形態による画像記録方法は、被写体が複数の照射角で照明される際に複数の画像を取り込むことを含む。前記方法は、複数の画像を処理することを含む。ここで、画像補正は複数の画像の少なくともいくつかに適用され、画像補正は各々の画像を記録する際の照射角に依存する変位を含む。複数の画像は、画像補正の適用後に合成される。
一実施形態によれば、前記方法は画像記録装置により自動的に実行することができる。
前記方法では、処理により色収差を補正することができる。
前記方法では、処理により軸上色収差を補正することができる。
画像の異なるカラーチャネルは、画像を記録する際の照射角に応じた変位により、互いに対して変位することができる。
画像を取り込むためのイメージセンサは、複数のカラーチャネルを備えることができる。変位は、各々の画像を記録する際の各々のカラーチャネルおよび照射角に依存することができる。
カラーチャネルの変位は、カラーチャネルの焦点位置と、更なるカラーチャネルの更なる焦点位置との間の距離に依存することができる。
少なくとも2つのカラーチャネルの焦点位置間の距離は、画像記録装置の記憶媒体に不揮発的に記憶することができる。あるいは、またはさらに、カラーチャネルの焦点位置は、画像記録装置の記憶媒体に不揮発的に記憶することができる。カラーチャネルについての照射角に依存する変位は、焦点位置に関する情報から計算により確認することができる。
あるいは、またはさらに、非点収差は、処理により補正することができる。非点収差を補正するために、変位は、非点収差の1つ以上の面に対する照射角に依存することができる。
前記変位は、イメージング光学装置の異なる平面に対する焦点位置の距離に依存することができる。
前記方法において、照射角に応じて、2つの直交方向に沿った像面内の変位の成分を各々決定することができる。
前記方法において、1つの照射角で取り込まれた画像に適用される変位は、非点収差軸とイメージング光学装置の光軸とにより規定される平面に関係して、照射角で入射する光線の位置に依存することができる。
前記方法において、1つの照射角で取り込まれた画像に適用される変位は、第1の非点収差軸および光軸により規定される第1の平面、ならびに第2の非点収差軸および光軸により規定される第2の平面に関係して、照射角で入射する光線の位置に依存することができる。
前記方法において、第1の座標軸に沿った変位の成分は、照射角で入射する光線の第1の平面への射影に依存することができる。
前記方法において、第1の座標軸に直行する第2の座標軸に沿った変位の更なる成分は、照射角で入射する光線の第2の平面への射影に依存することができる。
あるいは、またはさらに、前記方法は、像面湾曲を補正することができる。
画像補正のために適用される変位は、フィールドポイントに依存しないことができる。同じ変位は、像面内における画像または画像のカラーチャネルを変位させるため、画像または画像のカラーチャネルの各々の画素に適用することができる。
画像補正のために適用される変位は、フィールドポイントに依存することができる。結果として、例えば像面湾曲または非点収差により生じる歪みを補正することもできる。
複数の照射角について、変位は、画像記録装置の記憶媒体に不揮発的に各々記憶され、画像補正のため検索される。あるいは、またはさらに、異なるカラーチャネルまたは非点収差の異なる平面に対するデフォーカスの情報は、電子評価装置が変位を計算する画像記録装置の記憶媒体に不揮発的に記憶することができる。
前記方法において、画像または画像のカラーチャネルの変位は、変位を整数画素間隔に丸めを含むことができる。
前記方法において、画像または画像のカラーチャネルの変位は、変位がイメージセンサの整数画素間隔に等しくない場合、複数の画素値間の補間を含むことができる。
前記方法は、結果画像を計算するために、画像補正後に複数の画像を加算することを含むことができる。
前記方法は、画像補正後の複数の画像を使用するフーリエタイコグラフィーを含むことができる。前記方法は、被写体の位相および振幅分布の計算を含むことができる。前記方法は、画像補正により補正された画像から座標空間内の被写体のスペクトルを再構成し、被写体の位相および振幅分布をフーリエ変換により決定することを含むことができる。
前記方法は、位相コントラスト法(phase−contrast methods)についての焦点位置の自動決定および/または補正画像の使用を含むことができる。
前記方法において、画像補正は、検出器は同時に更なる照射角について更なる画像を取り込む間に、1つの照射角について取り込まれた画像に適用することができる。異なる照射角での異なる画像の画像補正および記録を並列化することにより、結果画像の提供に必要な時間を更に短縮することができる。
前記方法は、顕微鏡システムにより自動的に実施することができる。画像は、伝送装置で取り込まれてもよい。画像は、反射装置で取り込まれてもよい。
実施形態による装置および方法により、費用対効果の高い光学装置を使用することができるようになる。記録画像を、迅速に、解像度を維持しつつ、アーティファクトを低減する方法で処理することができる。軸上色収差または非点収差のフィールドポイントに依存する補正ができる。
上記で説明した特徴および以下に説明する特徴は、本発明の保護の範囲から逸脱することなく、明示的に設定された対応する組み合わせだけでなく、更なる組合せまたは単独で使用されてもよい。
本発明の上述した特性、特徴および利点およびそれらが達成される方法は、図面と関係してより詳細に説明される実施形態についての以下の説明と関係して、より明確になり、より明確に理解される。
一実施形態による画像記録装置の概略図である。 一実施形態による方法のフローチャートである。 実施形態による装置および方法における複数の画像の処理の説明図である。 軸上色収差の補正のための実施形態による画像記録装置および方法の適用の説明図である。 実施例による画像記録装置および方法により補正された色収差による点広がり関数の説明図である。 カラーチャネルの画素に対する軸上色収差の補正に適用される変位を確認する説明図である。 カラーチャネルの画素に対する軸上色収差の補正に適用される変位を確認する説明図である。 画像記録装置の場合の軸上色収差の補正のための異なるカラーチャネルの画素の変位場と、1つの照射角の実施形態による方法の説明図である。 画像記録装置の場合の軸上色収差の補正のための異なるカラーチャネルの画素の変位場と、更なる照射角の実施形態による方法の説明図である。 一実施形態による軸上色収差の補正のための方法のフローチャートである。 非点収差の補正のための実施形態による画像記録装置および方法の適用の説明図である。 非点収差の補正の一実施形態による方法のフローチャートである。 実施形態による画像記録装置および方法におけるフィールドポイントに依存する変位場の説明図である。 一実施形態による画像記録装置のブロック図である。 画像または画像のカラーチャネルに対する変位に適用するさまざまな方法の説明図である。
本発明は、図面を参照し好ましい実施形態に基づいて、以下により詳細に説明される。図面において、同一の参照符号は、同一または類似の要素を示す。図面は、本発明のさまざまな実施形態の概略図である。図面に描かれた要素は、必ずしも実際のスケールどおりに描かれているわけではない。むしろ、図に描かれた異なる要素は、その機能および目的が当業者に理解されるように再現される。
図面に示されているように、機能ユニット(functional units)と要素との間の接続および結合は、間接的な接続または結合として実施することができる。接続または結合は、有線または無線の方式で実施することができる。
以下では、被写体の照明のデフォーカスにより生じる光学収差を計算により補正する方法について説明する。ここで、光学収差の「補正(correction)」および光学収差を「補正すること(correcting)」は、生成された結果画像の質が改善することができる方法を意味すると理解され、少なくともいくつかの光学収差、例えば軸上色収差および/または非点収差を低減することができる。
以下においてより詳細に説明するように、本発明の実施形態においては、被写体の複数の画像が順に記録される。被写体を照明するための照射角は、複数の画像を記録するために、さまざまな値に設定される。画像補正は、画像の全部または一部に適用される。画像補正は、像面内における画素の変位を含むことができる。デフォーカスに起因する像面内における不鮮明さ、例えば色収差または非点収差により生じる前記不鮮明さは、変位により低減することができる。
画像補正は、更なる画像または更なるカラーチャネルに関係する画像またはカラーチャネルの変位を含むことができる。画像補正は、画像全体または各々の画像領域のみに関連してもよい。画像補正は、更なる画像の全画素に関係する1つの画像の全画素の変位を含むことができ、変位は画像を記録する際の照射角に依存する。変位は、像面内において局所的に一定または可変であってもよい。画像補正は、同じ画像の更なるカラーチャネルの画素に関係する画像の1つのカラーチャネルの画素の変位を含み、変位は画像を記録する際の照射角に依存する。
計算による画像補正を含む取り込み画像の処理は、画像記録装置の記憶媒体に不揮発的に記憶されたデータに基づくことができる。データは、各々の照射角について各々の場合に適用される変位を含むことができる。あるいは、またはさらに、データは、電子評価装置が適用する変位を確認する情報を含むことができる。
画像記録装置のオペレーション中に計算による画像補正のために使用されるデータは、あらかじめ計算により求められ、記憶媒体に記憶することができる。あるいは、またはさらに、データは、基準被写体を用いて画像記録装置の校正測定により生成され、不揮発的に記憶することができる。
画像補正後の複数の画像を合成することにより、電子評価装置は、複数の画像からの情報を含む結果画像を自動的に生成することができる。結果画像は、点広がり関数(PSF)を用いてデコンボリューションを要する画像を使用せずに、画像の変位および総和(summation)を含むように生成することができる。
図1は、1つの実施形態による画像記録装置1の概略図である。画像記録装置1は、実施形態に係る方法を自動的に実行するように構成することができる。画像記録装置1は、顕微鏡システムであってもよいし、制御可能な照明装置と、以下で更に詳細に説明する、イメージセンサを有するカメラと補正画像のための電子評価装置を備えてもよい。
画像記録装置1は、光源11を有する照明装置を備える。既知の方法で、集光レンズ12は、光源11により放射された光を結像する被写体2に偏向させることができる。照明装置は、複数の異なる照射角4で光が被写体2を照明するように構成されている。例として、光源11は、この目的のために、個別に作動可能な複数の発光ダイオード(LED)を有するLED装置(arrangement)を備えることができる。LED装置は、LEDリング装置であってもよい。あるいは、異なる照射角を与えるために、従来の光源が拡大されて結像する中間像面(intermediate image plane)に制御可能な要素を配置してもよい。制御可能な要素は、可動ピンホール、マイクロミラー装置(micromirror arrangement)、液晶マトリクスまたは空間光変調器を含むことができる。
照明装置は、光軸5に含まれる照射角4の絶対値を変更できるように構成することができる。照明装置は、被写体を照射角4で照明する光線3の方向も、光軸5の周りを極方向(polar direction)に移動できるように構成することができる。
画像記録装置1の検出器14は、各々の場合に、被写体2が照明される複数の照射角のそれぞれについて、被写体2の少なくとも1つの画像を取り込む。例として、検出器14のイメージセンサ15は、CCDセンサ、CMOSセンサ、またはTDI(time delay and integration)CCDセンサとして構成されてもよい。例えば、概略的に描かれているだけの顕微鏡対物レンズ13のようなイメージング光学装置(imaging optical unit)は、イメージセンサ15で被写体2の拡大画像を生成することができる。
画像記録装置1は、電子評価装置20を備える。電子評価装置は、複数の照射角に対する被写体2の複数の取り込み画像を更に処理する。電子評価装置20は、複数の画像の一部または全部に画像補正を適用する。図2−図15を参照してより詳細に説明するように、各々の場合の画像補正は、画像を記録する際の照射角に依存する変位を含む。画像補正のための変位は、像面内の照明装置の軸上色収差または中間像面により生じる像面内の横方向のオフセットを減少させることができる。この目的のために、複数の波長について生じるデフォーカスに応じて像面内の変位を設定することができる。異なるカラーチャネルの画素は、補正画像を生成するために、異なる変位ベクトルにより像面内において変位させることができる。あるいは、またはさらに、像面内の変位は、照明装置の非点収差により生じる像面内の横方向のオフセットを減少させることができる。この目的のために、像面内における変位は、非点収差の異なる平面について生じる焦点位置間の距離に応じて設定することができる。
画像記録装置1は、補正情報21を含む記憶媒体を備える。電子評価装置20は、記憶媒体に結合されているか、または記憶媒体を備えることができる。電子評価装置20は、記憶媒体内の補正情報に応じて、各々の照射角についてそれぞれに適用される画像補正を確認することができる。
複数の照射角のうちの1つにそれぞれ割り当てられた補正画像は、異なる方法で合成することができる。例として、画像は、画像補正後に加算(added)することができる。被写体2の振幅および位相情報の再構成のために、画像は、フーリエタイコグラフィーアルゴリズムに使用することができる。補正画像は、焦点位置を確認するために、または他の方法で画像記録装置1を自動的に設定するために使用されてもよい。相当する処理は、電子評価装置20により自動的に実行されてもよい。
電子評価装置20は、画像の画素または画像のカラーチャネルに変位を適用して画像補正を実施することができるので、処理は、リアルタイムで行うことができる。画像記録装置1は、光学評価装置20がオペレーション中に生成した結果画像を出力できる光学出力装置を有するユーザインタフェースを備えることができる。計算の観点から複雑な点広がり関数による各々の画像のデコンボリューションは、もはや必須ではない。複数の照射角で照明する場合に取り込まれた画像からの合成情報により、一方の照射角に対するMTFがゼロである被写体2の座標空間周波数に関する情報を得ることもできる。
実施形態による画像記録装置の機能は、図2−図15を参照してより詳細に説明される。
図2は、一実施形態による方法30のフローチャートである。前記方法は、画像記録装置1により自動的に実行することができる。
ステップ31において、被写体は第1の照射角で照明される。例として、照明装置は、被写体が第1の照射角で照明されるように電子評価装置20により作動することができる。イメージセンサ15は、第1の画像を取り込む。
ステップ32において、被写体は、第1の照射角とは異なる第2の照射角で照明される。この目的のために、照明装置は、それに応じて作動することができる。イメージセンサ15は、第2の画像を取り込む。
異なる照射角および画像記録で、被写体を順に照明することを繰り返すことができる。
ステップ33において、被写体はN番目の照射角で照明され、ここでNは整数であり、N>1である。この目的のために、照明装置はそれに応じて作動することができる。イメージセンサ15は、N番目の画像を取り込む。
ステップ34において、N個の画像全てまたはN個の画像の少なくとも一部に画像補正が適用される。画像補正は像面内の画素の変位を含み、前記変位は異なる画像について異なることができる。変位は、イメージセンサの異なるチャネルについて異なることができる。画像補正は、更なる画像の取り込みと時間的に重複して適用することができる。例として、第1の補正画像は、第1の画像の画像補正により確認され、一方でそれと同時に、ステップ32または33において、次の画像記録が行われる。
ステップ35において、被写体照明の異なる照射角について取り込まれた画像は、計算により合成されてもよい。この目的のために、画像は加算することができる。より複雑な処理をすることができる。例として、被写体2の位相情報は複数の画像から計算により決定されてもよい。
図3は、画像記録装置1の動作モードをより詳細に説明するための模式図である。
被写体を第1の照射角で照明する際に、第1の画像41が取り込まれる。被写体を第2の照射角で照明する際に、第2の画像42が取り込まれる。被写体を第3の照射角で照明する際に、第3の画像43が取り込まれる。
電子評価装置20は、第1の補正画像44を生成するために、変換Tにより第1の画像41を変位させる。変換Tは、像面内の全画素の変位を含むことができる。変位は、図4−図10に基づいて以下により詳細に説明されるように、第1の画像41の異なるカラーチャネルについて異なることができる。
電子評価装置20は、第3の補正画像46を生成するために、変換Tにより第3の画像43を変位させる。変換Tは、像面内の全画素の変位を含むことができる。第3の画像43に適用される変位は、第1の画像41に適用される変位とは異なることができる。変位は、図4−図10に基づいて以下でより詳細に説明するように、第1の画像41の異なるカラーチャネルについて異なることができる。
第2の画像42はまた、第2の補正画像45を生成するために画像補正を受けることができる。
補正画像44−46は、互いに合成されてもよい。例として、結果画像47は、補正画像44−46を加算することにより確認することができる。加算は、補正画像44−46の平均化について使用することができる。
あるいは、またはさらに、結像した被写体に関する位相および/または振幅情報もまた、補正画像44−46から確認することができる。被写体へのオートフォーカス(automatic focusing)を行うことができる。この目的のために、例えば異なる照射角について決定される視差から、検出器14の焦点面に関係する被写体の距離およびその位置を確認することができる。
図4−図10を参照してより詳細に説明するように、例えば検出器系の色収差または被写体照明により生じる軸上色収差は、実施形態による画像記録装置および方法により補正することができる。
軸上色収差の補正のために、電子評価装置20は、互いに異なるカラーチャネルの画素を局所的に変位させるように構成することができる。像面内の変位の少なくとも1つの方向は、照明方向に依存することができる。画像補正の範囲内で、全てのカラーチャネルの画素を局所的に変位させる必要はない。例として、系のフォーカスは、カラーチャネルの1つに対応する波長の光についての焦点位置がz平面として設定されるように実行することができる。更なる1つまたは複数のカラーチャネルの焦点位置は、軸上色収差の場合、このz平面に関係してデフォーカスにより変位する。中間像面またはイメージセンサの平面内のデフォーカスにより、例えば被写体のエッジ(object edge)におけるアーティファクトという、横方向の不鮮明さを生じることがある。
例として、異なるカラーチャネルは、RGBセンサのR、G、Bチャネルであってもよい。他の構成を使用してもよい。例として、規定された波長または規定された波長範囲に2つ、3つまたは3つ以上のカラーチャネルを有するイメージセンサを専門用途に使用することができる。イメージセンサは、異なる波長で感度が高い画素の配列を備えることができる。各々のカラーチャネルは、異なるカラーチャネルの波長範囲が互いに異なる波長範囲で感度を有することができる。さまざまなカラーチャネルを取り込むために、複数のイメージセンサを使用することもできる。例えば、半導体ベースのイメージセンサのバンドギャップのようなイメージセンサの半導体領域のフィルターまたは固有の特性は、カラーチャネルの波長を設定することに使用することができる。カラーチャネルの感度が良く、カラーチャネルに特有の波長または波長範囲の光について生じる焦点位置は、ここでは、カラーチャネルの焦点位置と略称する。例として、カラーチャネルの焦点位置は、対応するカラーチャネルの感度範囲の重心波長について生じる焦点位置であってもよい。
電子評価装置は、軸上色収差を補正するために、異なるカラーチャネルの焦点位置間の距離に関する情報を使用する。この情報は、画像記録装置1の計算により確かめることができる。光学系をシミュレートするための既知の方法をこの目的のために使用することができる。あるいは、またはさらに、異なる光の波長および/または距離に対する焦点位置を測定することができる。基準被写体は、焦点位置に関する情報、または少なくとも測定による異なるカラーチャネルの2つの焦点位置間の距離を確認するために使用することができる。この情報は、顕微鏡システムの記憶媒体に不揮発的に記憶することができる。
焦点位置および/またはその距離に関する情報は、被写体を結像する前に確認される。画像記録装置に格納された焦点位置および/またはその距離に関する情報は、その後に多数の被写体を画像化するために使用することができる。距離に関する焦点位置および/または情報を、少なくとも各々のカラーチャネルの検出スペクトルの重心について確認することができる。例えば、対応するカラーチャネルの感度が最大である波長のような代替的な波長を使用することができる。
光学特性のシミュレートおよび/または校正により照射角に依存する変位を計算により確認することに代えて、または加えて、変位は異なるカラーチャネルまたは異なる画像を相互に登録すること(registering)により確認することもできる。この目的のために、既知のさまざまな登録方法を使用することができる。例として、登録を実行し、変位を確認するために、SSIM(structural similarity)インデックスを使用することができる。
軸上色収差の補正のために、複数の照射角で被写体が取り込まれた複数の画像の各々について、以下の手順を実行することができる:画像の各々のカラーチャネルが、異なる波長に割り当てられる。例として、カラーチャネルは、検出スペクトルの異なる重心を有することができる。それに応じて、各々のカラーチャネルには、それぞれの波長について生じる焦点位置を割り当てることができる。
1つのカラーチャネルの焦点位置と更なるカラーチャネルの焦点位置との間の距離に応じて、光軸と交差する局所的な変位が確認される。変位は、照射角における照明と結びついているzデフォーカスから生じる。照明方向に応じて、変異は像面内において異なる方向を有することができる。変位の方向は、カラーチャネルが、更なるカラーチャネルに対して、焦点内または焦点外に変位しているか否かに依存することができる。例として、RGBイメージセンサの3つのカラーチャネルのうちの2つのカラーチャネルの変位は、カラーチャネルの1つが更なるカラーチャネルに対して焦点内に変位を有する場合、反対方向に現れることがあり、それについてイメージセンサの平面上でフォーカスが行われ、他の1つのカラーチャネルが更なるカラーチャネルに対して焦点外に変位を有し、それについてイメージセンサの平面上でフォーカスが行われる。
画像の1つまたは複数のカラーチャネル、すなわち1つまたは複数の画像チャネルが、確認された変位に応じて変位する。このようにして、デフォーカスにより生じるカラーチャネル間の横方向のオフセットを補償することができる。この目的のために、対応するカラーチャネルの全画素は、計算処理の範囲内で更なるカラーチャネルの画素に対して局所的に変位することができる。全ての画像チャネルを変位することは、必須ではない。例として、R、G、Bの3つの画像チャネルが存在してもよい。画像記録システムの光学装置は、カラーチャネルの1つがイメージセンサの平面上に正確にフォーカスするように自動的に設定することができる。その際、軸上色収差の補正のために、他の2つのカラーチャネルのみをこのカラーチャネルに関係して変位することができる。
各々の画像について合計m個のカラーチャネルが存在する場合、m−1のカラーチャネルが軸上色収差の補正中に変位することができる。ここで、変位は異なるカラーチャネルについて異なることがあり、各々の場合に、対応するカラーチャネルのzデフォーカスに依存することがある。デフォーカスが照明に及ぼす影響は、軸上色収差の補正により補正することができる。
複数の画像は、画像補正後に更に処理することができる。例として、結果画像を生成するために、複数の画像を合計(summed)することができる。
図4および図5は、軸上色収差の補正に使用される変数を示している。色収差は、第1の波長51の光については、第1の焦点位置52に、第2の波長53の光についてはそれとは異なる第2の焦点位置54に、第3の波長55の光については、それとは異なる第3の焦点位置56に生じる。焦点位置52、54、56は、画像記録装置1を被写体の結像に使用する前に、計算により測定または確認することができる。例として、焦点位置は、イメージセンサの近傍の焦点位置であってもよいし、中間像面であってもよい。
第1の焦点位置52が生じる第1の波長は、イメージセンサ15の第1のカラーチャネルの検出帯域の重心波長であってもよい。あるいは、第1の波長は、第1のカラーチャネルの検出帯域の異なる特性波長、例えば感度が最大である波長であってもよい。第2の焦点位置54が生じる第2の波長は、イメージセンサ15の第2のカラーチャネルの検出帯域の重心波長であってもよい。あるいは、第2の波長は、第2のカラーチャネルの検出帯域の異なる特性波長、例えば感度が最大である波長であってもよい。第3の焦点位置56が生じる第3の波長は、イメージセンサ15の第3のカラーチャネルの検出帯域の重心波長であってもよい。あるいは、第3の波長は、第3のカラーチャネルの検出帯域の異なる特性波長、例えば感度が最大である波長であってもよい。
図5は、照明装置の軸上色収差による異なる波長についての点広がり関数を示している。第1の波長の光についての点広がり関数61は、z平面60における最小直径を有する。例として、z平面60は、イメージセンサの平面または系の中間像面であってもよい。第2の波長の光についての点広がり関数63は、平面62における最小直径を有する。すなわち、平面60、62の間の距離に対応するzデフォーカス66が存在する。第3の波長の光についての点広がり関数65は、平面64における最小直径を有する。すなわち、面60、64間の距離に対応するzデフォーカス67が存在する。
異なる照射角で照明する際に、zデフォーカス66、67は、互いに対して異なるカラーチャネルを横方向に変位する。光学収差は、像面内の1つ以上のカラーチャネルのデータを更なるカラーチャネルのデータに対して変位させることにより低減することができる。
検出器14は、検出器の被写界深度がzデフォーカス66、67よりも大きくなるように構成されている。そして、軸上色収差を効率良く低減させるために、以下に詳述する画像補正を行うことができる。
Figure 0006580673
角度θは、xz平面における照射角を示している。例として、角度θは、照射角でxz平面に入射する光線の射影から決定することができる。角度θは、照射角におけるxz平面に入射する光線の射影と光軸を規定するz軸との間の角度を規定することができる。角度θは、yz平面における照射角を示す。例として、角度θは、照射角でyz平面に入射する光線の射影から決定することができる。角度θは、照射角でyz平面に入射する光線の射影と光軸を規定するz軸との間の角度を規定することができる。
イメージセンサが2つ以上のカラーチャネルを有する場合、第1のカラーチャネルおよび第3のカラーチャネルに特徴的な波長の焦点位置は、光軸に垂直である平面の異なる側に配置されてもよく、第2のカラーチャネルに特徴的な波長の焦点が光軸に垂直である平面に配置される。この場合、第2のカラーチャネルに特徴的な波長の焦点位置がz=0の平面を規定しイメージセンサ上にフォーカスするように、画像記録装置を設定することができる。各々の場合において、第1のカラーチャネルの画素および第3のカラーチャネルの画素は、イメージセンサのxy平面内の第2のカラーチャネルの画素に対して変位することができる。そのような場合、図4および図5の例示的な方法で示されるように、デフォーカスΔzは、第1のカラーチャネル(j=1)および第3のカラーチャネル(j=3)について異なる符号を有する。第1のカラーチャネルで取り込まれた画像と第3のカラーチャネルで取り込まれた画像は、軸上色収差を補正するために反対方向に変位されてもよい。各々の場合の変位の方向は、角度θとθにより規定される照射方向に依存する。第1のカラーチャネルのデフォーカスの絶対値と第3のカラーチャネルのデフォーカスの絶対値とが異なる場合には、変位の絶対値は異なってもよい。この場合、変位の絶対値は、各々のカラーチャネルのデフォーカスに比例して設定することができる。
図8は、第1の照射角についての画像の1つのカラーチャネルの画素に適用される変位場75を概略的に示している。全画素は、x方向およびy方向に同じ変位により移動されてもよい。異なる変位場76は、電子評価装置により、同じ画像の異なるカラーチャネルの画素に適用されてもよい。更なるカラーチャネルのデフォーカスがゼロに等しい場合、更なるカラーチャネルの画素は変位しなくてもよい。変位場75および他の変位場76は、180°回転された方向の変位を規定することができる。特に、これは、ある波長に対する色収差が焦点内の方式(intra−focal fashion)で変位した中間像を生じ、他の波長に対する色収差が焦点外の方式(extra−focal fashion)で変位した中間像を生じる場合でもよい。
図9は、画像が異なる照射角で照明されて記録される場合に適用される変位場77、78を概略的に示している。照射角により変位が変化する。変位の方向および絶対値は、異なる照射角について異なってもよい。
図8および図9は、イメージセンサの平面内で一定である変位場、すなわち、照射角に依存する同じベクトルによりカラーチャネルの全画素の変位を規定する変位場を概略的に示しているが、変位も空間内で変化してもよい。例として、非点収差または像面湾曲は、画像の画素または画像のカラーチャネルに適用される変換を規定する空間的に変化する変位場により補正することもできる。
図10は、軸上色収差を補正するための方法80のフローチャートである。前記方法は、電子評価装置20により自動的に実行することができる。検出器は、m個のカラーチャネルを有することができる。画像記録装置は、カラーチャネルの1つについてデフォーカスが存在しないように設定することができる。
ステップ81において、デフォーカスが0でない少なくともm−1個のカラーチャネルの各々のデータが変位するオフセットを確立(establish)することができる。前記オフセットは、画像を記録する際の照射角に依存しない。例として、オフセットは、式(1)および(2)にしたがって規定することができる。
軸上色収差および変位から生じるオフセットは、計算により軸上色収差を再補正するが、それは異なる方法で確認することができる。1つの構成では、異なるカラーチャネルに割り当てられた波長の焦点位置に関する情報は、画像記録装置の記憶媒体に不揮発的に記憶することができる。そして、電子評価装置は、変位を計算することができる。更なる構成においては、変位自体を特性場(characteristic field)に基づいてあらかじめ記憶することができる。電子評価装置が、あらかじめ確認された色収差に関する情報を使用して画像補正を行う構成としては、多数の更なる構成が可能である。例として、複数のカラーチャネルおよび複数の照射角についての補正画像の画素に対して、記録画像の画素がどのように変換されるかを規定する線形変換を不揮発的に記憶することができる。
ステップ82において、複数のカラーチャネルを変位することができる。例として、R、GおよびBの画像チャネルのうちの2つを、これらの画像チャネルの1つに対して移動することができる。ここで、例えばR画像チャネルの全画素をG画像チャネルの画素に対して、x方向およびy方向に同数の画素だけ変位することができる。B画像チャネルの全画素を、G画像チャネルの画素に対してx方向およびy方向に同数の画素だけ変位することができる。R画像チャネルおよびB画像チャネルの変位は、方向および/または絶対値について異なることがある。変位は、画像のエッジ(image edge)上の画素を除いて、像面内で変位された画像チャネルからの画素が、変位していない画像チャネルの画素と一致して再配置されるように実行することができる。この目的のために、例えば図15に基づいて更に詳細に説明するように、丸めおよび/または補間を実行することができる。
ステップ83において、照射方向について得られた補正画像を確認することができる。
N個の異なる照射角について取り込まれたN個の画像の各々について、ステップ81−83を実行することができ、N>2、特に、N>>2が適用されてもよい。
ステップ84において、画像補正後にN個の画像を合成することができる。画像は、合計(summed)されてもよい。座標空間またはフーリエ空間における振幅および/または位相情報画像を確認することができる。
図11−図13に基づいてより詳細に説明するように、実施例による画像記録装置および方法は、軸上色収差の補正の代わりに、またはそれに加えて、例えば非点収差の補正のような、他の光学収差を補正するために使用することもできる。
図11は、一実施形態による画像記録装置の部分図を示し、例えば照明装置のように概略的にのみ示された光学装置は、非点収差を有する。第1の経線91は、非点収差の第1の平面内に広がっている。非点収差の第1の平面は、第1の焦点位置92を規定することができる。第2の経線96は、非点収差の第2の平面内に広がっている。非点収差の第2の平面は、第2の焦点位置97を規定することができる。第1の平面は、最小焦点距離が生じる平面であってもよい。第2の平面は、最大焦点距離が現生じる平面であってもよい。
1つ以上の焦点位置92、97は、z=0の平面に対して変位することができ、焦点は、検出器により結像される(imaged in focus)。焦点位置+92、97は、光軸に沿ってzデフォーカス106、107を有することができる。zデフォーカスは、フィールドポイントに依存して変化することができる。
被写体が照射角で照明される際に、光は、各々設定された照射角により方向が固定された光線90に沿って入射してもよい。非点収差を補正するために、非点収差の平面に射影が存在してもよい。これらの平面は、光学要素の経線と光軸との各々より規定され、異なる経線が異なる焦点面に割り当てられる。照射角で第1の平面に入射する光線90の射影93は、光軸5との角度94を含む。角度94は、角度θと表すこともできる。入射角で第2の平面に入射する光線90の射影98は、光軸5との角度99を含む。角度99は、角度θと表すこともできる。非点収差の第1の平面により規定される平面は、イメージセンサのx軸またはy軸と一致する必要はない。しかし、既知のイメージセンサの平面内の座標変換により、座標軸は、例えば非点収差の第1の平面とイメージセンサの平面との交線がx軸に対応し、第1の平面の像面の非点収差は、y軸に対応するように規定されてもよい。
非点収差を補正するために、画像の画素は、更なる画像の画素に対する変位により変位することができる。変位は、照射角に依存することができる。変位は、非点収差の複数の平面について生じるzデフォーカス106、107に依存することができる。
Figure 0006580673
Figure 0006580673
全てのカラーチャネルの同じ画素に対し同じ変位を適用することができる。色収差も補正される場合、図3−図10を参照して説明したように、異なるカラーチャネルについて変位が異なってもよい。
非点収差のフィールドポイント依存性は、画素のフィールドポイント依存変位により考慮することができる。画素値がイメージセンサの平面内で変位されることによる変位ベクトル場は、イメージセンサの平面内で可変である。
図12は、方法100のフローチャートである。方法100は、画像記録装置1により自動的に実行することができる。
ステップ101において、非点収差の補正のために照射角で照明された場合に取り込まれた画像の画素に適用される変位が確認される。
図11を参照して説明したように、変位を確認するために、照射角は、非点収差により規定される平面に射影することができる。画像に適用される変位は、検出器が照射角の射影との組み合わせで非点収差に関連する平面にフォーカスする平面からの非点収差系の最小焦点距離と最大焦点距離の焦点位置の距離から、確認することができる。
画像補正に必要な情報は、画像記録装置内でさまざまな方法で不揮発的に記憶することができる。適用される変位は、照射角に依存する特性場として記憶されてもよい。非点収差を有する光学系の焦点距離に関する情報は、非点収差の面の位置に関する情報と組み合わせて記憶することができる。電子評価装置は、画像補正中に画像の画素がどのように変位されるかを確立するために、この情報を更に計算により処理することができる。複数の照射角の各々の線形変換を記憶することもでき、前記線形変換は、照射角で記録された画像の画素が、補正画像の画素にどのように変換されるかを規定する。
ステップ101は、N個の異なる照射角で照明され取り込まれたN個の画像の各々について実行することができる。
ステップ102において、各々の場合に確認された変位が画像に適用される。変位は、画像のエッジ上の画素を除いて、像面内で変位された画像からの画素がイメージセンサの画素と一致して再配置されるように実行することができる。この目的のために、例えば、図15に基づいて更に詳細に説明するように、丸めおよび/または補間を実行することができる。ステップ102は、N個の画像の各々について、照射角に割り当てられた画像補正が非点収差の補正のために行われるように実行することができる。
ステップ103において、画像補正後にN個の画像を合成することができる。画像は、合計(summed)されてもよい。座標空間またはフーリエ空間における振幅および/または位相情報画像を確認することができる。
図13は、例えば非点収差を伴う光学系における異なる焦点距離の影響を補正するために、画像の画素を像面内で変位することによる変位場110を示している。
変位場110は、画像の平面内で空間的に依存するように変化する変位を規定することができる。変位ベクトルの方向および/または絶対値は、局所的に可変でもよい。その結果、非点収差により生じる空間依存的に変化する歪みを補正することもできる。
図1−図13を参照して、軸上色収差の補正および非点収差の補正を行うことができる画像記録装置および方法を例示的な方法で説明したが、本明細書に記載の方法は、また、例えば像面湾曲の補正のような他の収差の補正に使用することもできる。
図14は、一実施形態による画像記録装置のブロック図120である。画像記録装置は、自動的な軸上色収差の補正および/または非点収差の補正のために構成することができる。
画像記録装置は、制御可能な照明装置121を備える。被写体は、照明装置121により複数の異なる照射角で順に照明することができる。照明コントローラ122は、順に設定された照射角を制御することができる。照明装置121は、LED装置を備えることができる。照明装置121は、例えば、可動ピンホール、マイクロミラー装置、液晶マトリクスまたは空間光変調器のような、制御可能な光学素子を中間像面に備えることができる。
イメージセンサ123は、被写体が照明される照射角の各々について少なくとも1つの画像を取り込む。画像は、複数のカラーチャネルの情報を含むことができる。イメージセンサ123は、少なくとも1つのCCDチップまたはCMOSチップを備えることができる。
画像補正モジュール124は、画像補正を実施することができる。画像補正は、画像記録中に使用される照射角に依存することができる。画像補正は、画像の1つ、いくつか、または全てのカラーチャネルにおける画素の変位を含むことができる。変位は、全ての変位した画素について同じでもよく、または画像平面内で局所的に可変でもよい。
補正情報を伴う記憶媒体125は、画像補正モジュール124により使用される情報をさまざまな形態で記憶することができる。補正情報は、非点収差の異なる波長および/または異なる平面に対する焦点位置に関する情報を含むことができ、そこから適用される変位が画像補正モジュール124により計算される。補正情報は、異なる照射角に対する変位を指定することができる。補正情報は、例えばイメージングマトリクス(imaging matrix)のように、画像補正中に元の画像を補正画像の画素に変換する線形変換を規定することができる。
画像補正モジュール124は、専門用途の回路、コントローラ、マイクロコントローラ、プロセッサまたはマイクロプロセッサとして構成することができる。画像補正モジュール124は、補正画像を自動的に計算する1つの構造ユニット(structural unit)におけるイメージセンサ123と組み合わせることができる。その結果、画像補正をハードウェアにおいて符号化することができる。
画像記録装置は、画像記録装置自体の測定により、補正情報が確認されるように構成することができる。画像記録装置は、補正情報を自動的に確認する校正モジュール128を備えることができる。この目的のために、複数の既知の基準被写体の記録を行い、被写体を再構成するためにどのように画像補正する必要があるかを決定するために計算により更に処理することができる。
画像記録装置は、N個の補正された画像を合成することができる画像合成モジュール126を備えることができる。画像補正後に確認された画像は、結果画像を決定するために、他の方法で合計(summed)されるか、または更に処理することができる。
画像記録装置は、更なるユニットを備えることができる。例として、オートフォーカスを設定するためのユニットが存在してもよい。オートフォーカスを設定するためのユニットは、異なる照射角について生じる視差を入力変数として使用することができる。
Figure 0006580673
式(1)−(6)により求められる変位は、必ずしも整数画素による変位を規定するものではないので、一貫した画素座標系が異なる画像および/または異なるカラーチャネルについて使用されることを確実にするために、丸め処理または補間処理を実行することができる。
Figure 0006580673
異なる画素値間の補間を行うこともできる。ここで、例えば画像補正中に変位した画像を確認するために、4つの画素値、または4つ以上の画素値を補間することができる。
図15は、画像補正中の画素の変位を示している。イメージセンサは、画素130の配列を有する。例えば、式(1)−(6)により確認される変位ベクトル136は、2つの座標方向137、138において変位ベクトル136の成分が画素距離の整数倍でないような変位ベクトル136の成分であってもよい。例として、丸め処理が適用されると、画素131を画素132に変位してもよい。補間の間に、画素132−135の画素値は、補正画像内の画素131の画素値を確認するために線形補間(linearly interpolated)されてもよい。
図面を参照して実施形態を説明したが、更なる実施形態では改良を実現することができる。本実施形態に係る画像記録装置は、特に顕微鏡システムであってもよいが、記載された方法は、他の画像形成システムにおいても使用することができる。上述の軸上色収差の補正および/または非点収差の補正の方法を使用することができるが、他の光学収差も、あるいは、またはさらに、補正することができる。補正画像は、複数の異なる方法で互いに合成することができる。例として、補正画像は、フーリエタイコグラフィーに使用されてもよいし、結果画像を確認するために加算されてもよい。

Claims (16)

  1. 被写体(2)を照明するための複数の照射角(4)を設定するために制御可能な照明装置(11,12;121)と、
    前記複数の照射角(4)について前記被写体(2)の複数の画像(41−43)を取り込むように構成されたイメージセンサ(15;123)を備える検出器と、
    前記イメージセンサ(15;123)に接続され、前記複数の画像を処理するための電子評価装置(20;124−126)と、
    を含み、
    前記電子評価装置(20;124−126)は、少なくともいくつかの前記複数の画像(41−43)に画像補正(44−46)を適用し、
    前記画像補正(44−46)は、変位(T,T;75−78;110)を含み、
    前記変位(T,T;75−78;110)は、前記各々の画像(41−43)を記録する際に使用される前記照射角に依存し、前記画像補正(44−46)後に前記複数の画像を合成するように構成される画像記録装置であって、
    前記イメージセンサ(15;123)は、複数のカラーチャネルを備え、
    前記変位(T,T;75−78;110)は、各々の画像を記録する際のそれぞれのカラーチャネルおよび前記照射角(4)に依存し、
    カラーチャネルに対する前記変位(T,T;75−78;110)は、前記カラーチャネルの焦点位置(54,56)と更なるカラーチャネルの更なる焦点位置(54,56)との間の距離(66,67)に依存し、さらに、前記カラーチャネルに対する前記変位(T ,T ;75−78;110)の方向は、前記照射角(4)に依存する画像記録装置。
  2. 前記電子評価装置(20;124−126)は、前記処理により軸上色収差を補正するように構成される請求項1に記載の画像記録装置。
  3. 前記距離(66,67)および/または前記焦点位置(54,56)は、前記画像記録装置の記憶媒体(21)に不揮発的に記憶される請求項1または請求項2に記載の画像記録装置。
  4. 前記電子評価装置(20;124−126)は、非点収差を補正するように構成される請求項1から3のいずれかに記載の画像記録装置。
  5. 1つの照射角(4)で取り込まれる画像(41−43)に適用される前記変位(110)は、非点収差の軸とイメージング光学装置の光軸(5)とにより規定される平面に関して、前記照射角(4)で入射する光線(90)の位置に依存する請求項4に記載の画像記録装置。
  6. 1つの照射角(4)で取り込まれる画像に適用される前記変位(110)は、第1の非点収差の軸と光軸(5)とにより規定される第1の平面と第2の非点収差の軸と光軸(5)とにより規定される第2の平面に関して、前記照射角で入射する前記光線(90)の位置に依存する請求項5に記載の画像記録装置。
  7. 第1の座標軸に沿った前記変位の成分は、前記第1の平面に前記照射角で入射する前記光線(90)の射影(93)に依存し、
    前記第1の座標軸に直交する第2の座標軸に沿った前記変位の成分は、前記第2の平面に前記照射角で入射する前記光線(90)の射影(98)に依存する、
    請求項6に記載の画像記録装置。
  8. 前記電子評価装置(20;124−126)は、像面湾曲を補正するように構成される請求項1から3のいずれかに記載の画像記録装置。
  9. 前記変位(110)は、フィールドポイントに依存する請求項1から3のいずれかに記載の画像記録装置。
  10. 前記複数の照射角(4)についての前記変位は、前記画像記録装置の記憶媒体(21)に不揮発的にそれぞれ記憶される請求項1から3のいずれかに記載の画像記録装置。
  11. 前記電子評価装置(20;124−126)は、結果画像(47)を計算するために画像補正(44−46)後に前記複数の画像を加算するように構成される請求項1から3のいずれかに記載の画像記録装置。
  12. 前記電子評価装置(20;124−126)は、前記検出器が更なる照射角について更なる画像(42,43)を取り込む際に、1つの照射角(4)で取り込まれた画像(41)に前記画像補正を適用するように構成される請求項1から3のいずれかに記載の画像記録装置。
  13. 前記画像記録装置(1)は、顕微鏡システムである請求項1から3のいずれかに記載の画像記録装置。
  14. 被写体(2)が複数の照射角(4)で照明される際に、複数の画像(41−43)の取り込みと、
    前記複数の画像(41−43)を処理すること、
    を含み、
    前記処理は、前記複数の画像(41−43)のうちの少なくともいくつかに画像補正を適用し、
    前記画像補正は、それぞれの前記画像(41−43)を記録する際に、前記照射角に依存する変位(T,T;75−78;110)を含み、前記画像補正(44−46)の適用後に前記複数の画像を合成する画像記録方法であって、
    前記複数の画像の取り込みは、複数のカラーチャネルを含むイメージセンサ(15;123)を使用する画像の取り込みを含み、
    前記変位(T,T;75−78;110)は、それぞれの前記カラーチャネルとそれぞれの前記変位を記録する際の前記照射角(4)に依存し、
    カラーチャネルについての前記変位(T,T;75−78;110)は、前記カラーチャネルの焦点位置(54,56)と更なるカラーチャネルの更なる焦点位置(54,56)との間の距離(66,67)に依存、さらに、前記カラーチャネルに対する前記変位(T ,T ;75−78;110)の方向は、前記照射角(4)に依存する画像記録方法。
  15. 1つの照射角(4)で取り込まれる画像(41−43)に適用される前記変位(110)は、非点収差の軸とイメージング光学装置の光軸(5)とにより規定される平面に関して、前記照射角(4)で入射する光線(90)の位置に依存する、更なる非点収差の補正を含む請求項14に記載の画像記録方法。
  16. 1つの照射角(4)で取り込まれる画像に適用される前記変位(110)は、第1の非点収差の軸と光軸(5)とにより規定される第1の平面と第2の非点収差の軸と光軸(5)とにより規定される第2の平面に関して、前記照射角で入射する前記光線(90)の位置に依存する、更なる非点収差の補正を含む請求項15に記載の画像記録方法。
JP2017510519A 2014-08-29 2015-08-27 画像を記録するための装置および方法 Active JP6580673B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102014112416 2014-08-29
DE102014112416.2 2014-08-29
DE102014112666.1A DE102014112666A1 (de) 2014-08-29 2014-09-03 Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014112666.1 2014-09-03
PCT/EP2015/069678 WO2016030474A1 (de) 2014-08-29 2015-08-27 Bildaufnahmevorrichtung und verfahren zur bildaufnahme

Publications (2)

Publication Number Publication Date
JP2017526964A JP2017526964A (ja) 2017-09-14
JP6580673B2 true JP6580673B2 (ja) 2019-09-25

Family

ID=55311894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017510519A Active JP6580673B2 (ja) 2014-08-29 2015-08-27 画像を記録するための装置および方法

Country Status (6)

Country Link
US (1) US10247933B2 (ja)
EP (1) EP3186952B1 (ja)
JP (1) JP6580673B2 (ja)
CN (1) CN107113370B (ja)
DE (1) DE102014112666A1 (ja)
WO (1) WO2016030474A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014109687B4 (de) 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014110302B3 (de) * 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
US10186023B2 (en) * 2016-01-25 2019-01-22 Qualcomm Incorporated Unified multi-image fusion approach
WO2017168986A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
DE102016116311A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Winkelselektive Beleuchtung
DE102016108079A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Artefaktreduktion bei der winkelselektiven beleuchtung
WO2018230575A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 顕微鏡システム
DE102017121291A1 (de) * 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung
DE102017125799A1 (de) * 2017-11-06 2019-05-09 Carl Zeiss Industrielle Messtechnik Gmbh Reduktion von Bildstörungen in Bildern
WO2019097524A1 (en) * 2017-11-20 2019-05-23 Scopio Labs Ltd. Accelerating digital microscopy scans using empty/dirty area detection
DE102018107356A1 (de) 2018-03-28 2019-10-02 Carl Zeiss Microscopy Gmbh Autofokus mit winkelvariabler Beleuchtung
DE102020108514A1 (de) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Verfahren zum Bestimmen eines Bildaufnahmefehlers
WO2021171487A1 (ja) * 2020-02-27 2021-09-02 株式会社Fuji 画像補正方法、撮像装置および検査装置
WO2023217844A1 (en) * 2022-05-12 2023-11-16 Siemens Healthcare Gmbh Array of light sources, fourier ptychographic imaging system and method of performing fourier ptychography
EP4276512A1 (en) * 2022-05-12 2023-11-15 Siemens Healthcare GmbH Array of light sources, fourier ptychographic imaging system and method of performing fourier ptychography

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1746846A (en) * 1926-11-26 1930-02-11 Robert Wieland A Process for the manufacture of fashioned stockings
JP2005101854A (ja) * 2003-09-24 2005-04-14 Intelligent Cosmos Research Institute パケット追跡装置、パケット追跡システム、パケット追跡方法およびパケット追跡プログラム
DE102004012125B3 (de) * 2004-03-12 2005-09-01 Nanofilm Technologie Gmbh Ellipsometrisches Messverfahren mit ROI-gestützter Bildkorrektur
JP4706635B2 (ja) * 2004-04-12 2011-06-22 株式会社ニコン 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
DE102007001010A1 (de) * 2007-01-02 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Bilderfassungssystem zur achromatisierten Bildaufnahme von Objekten
EP2101207A1 (en) * 2008-03-12 2009-09-16 Deutsche Thomson OHG Method for correcting chromatic aberration
DE102008025658A1 (de) * 2008-05-28 2009-12-03 Wincor Nixdorf International Gmbh Optische Erfassung und Klassifizierung von gegenständlichen Leergut-Objekten in einem Leergut-Rückgabesystem
JP2010199650A (ja) * 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法
DE102009044986A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
EP2633267A4 (en) * 2010-10-26 2014-07-23 California Inst Of Techn MICROSCOPE SYSTEM WITHOUT PROJECTION LENS AND SCAN
JP5820650B2 (ja) * 2011-07-26 2015-11-24 オリンパス株式会社 撮像装置
DE102012102707A1 (de) * 2012-03-29 2013-10-02 Carl Zeiss Ag Verfahren und Vorrichtungen zur Bildverarbeitung
DE102012106584B4 (de) * 2012-07-20 2021-01-07 Carl Zeiss Ag Verfahren und Vorrichtung zur Bildrekonstruktion

Also Published As

Publication number Publication date
EP3186952B1 (de) 2019-10-02
EP3186952A1 (de) 2017-07-05
CN107113370B (zh) 2020-06-23
WO2016030474A1 (de) 2016-03-03
US10247933B2 (en) 2019-04-02
DE102014112666A1 (de) 2016-03-03
CN107113370A (zh) 2017-08-29
JP2017526964A (ja) 2017-09-14
US20170261741A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6580673B2 (ja) 画像を記録するための装置および方法
JP6484706B2 (ja) 画像を記録するための装置および方法
JP5681954B2 (ja) 撮像装置及び撮像システム
JP5489897B2 (ja) ステレオ測距装置及びステレオ測距方法
CN107690595B (zh) 用于借助以不同的照明角度进行照明来图像记录的设备和方法
JP5358039B1 (ja) 撮像装置
WO2010016625A1 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
KR20090004428A (ko) 광학 설계 방법 및 시스템과 광학 수차를 갖는 광학 요소를이용한 촬상 소자
US20120098947A1 (en) Producing universally sharp images
US8237933B2 (en) Method for image calibration and apparatus for image acquiring
JP2015033138A (ja) ズーム系を有するデジタル光学撮像システムを較正するための方法、ズーム系を有するデジタル光学撮像システムにおける収差を補正するための方法、及びデジタル光学撮像システム
JP4796666B2 (ja) 撮像装置およびそれを用いた測距装置
JP6877936B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2012256118A (ja) 画像復元装置およびその方法
JP2019036115A (ja) 画像処理方法、画像処理装置、撮像装置、および、プログラム
US10339665B2 (en) Positional shift amount calculation apparatus and imaging apparatus
JP2018195985A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP5900049B2 (ja) 被写界深度拡張システム及び被写界深度拡張方法
JP5846895B2 (ja) 画像処理システム及びそれを備えた顕微鏡システム
JP2011133360A (ja) 距離計測装置、距離計測方法、及びプログラム
JP2019520897A (ja) 拡張された被写界深度を有する口腔内イメージング装置
JP2017050662A (ja) 画像処理装置、撮像装置および画像処理プログラム
US20210356267A1 (en) Structured light projection through the minimization of visual artifacts by way of deliberately introduced optical aberrations
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
WO2015075769A1 (ja) 撮像装置及び距離測定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170412

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170412

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190828

R150 Certificate of patent or registration of utility model

Ref document number: 6580673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250