JP6608658B2 - 反射抑制を伴う画像撮影装置および方法 - Google Patents

反射抑制を伴う画像撮影装置および方法 Download PDF

Info

Publication number
JP6608658B2
JP6608658B2 JP2015182188A JP2015182188A JP6608658B2 JP 6608658 B2 JP6608658 B2 JP 6608658B2 JP 2015182188 A JP2015182188 A JP 2015182188A JP 2015182188 A JP2015182188 A JP 2015182188A JP 6608658 B2 JP6608658 B2 JP 6608658B2
Authority
JP
Japan
Prior art keywords
image
reflection
images
pixel
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015182188A
Other languages
English (en)
Other versions
JP2016063540A (ja
Inventor
ラース,シュトッペ
トーマス,ミルデ
ヨハネス,ウィンターロート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2016063540A publication Critical patent/JP2016063540A/ja
Application granted granted Critical
Publication of JP6608658B2 publication Critical patent/JP6608658B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0018Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Description

本発明は、画像撮影のための装置および画像撮影方法に関する。本発明は、特に、撮像システム内、および/または、物体における反射によって引き起こされる撮像欠損を計算によって抑制できる装置および方法に関する。
照射装置を有する光学システムを備えた画像撮影では、システムの、照射装置、物体および光学系の間の相互作用によって反射が生じることがある。このような反射によって、ある画像領域で輝度が高まり、結果として情報欠損が生じる。画像のある領域で照射光が反射すると、その領域についての撮像すべき物体に関する情報が失われてしまう。それゆえに、撮影された画像内の反射は、画像の印象を悪化させてしまう。
このような反射にはいくつかの原因がある。画像での反射は、画像撮影装置の光学システム内での反射に起因して生じることがある。例えば、光学システム内での照射光の多重反射によって画像反射が発生することがある。このような反射は、システム反射とも呼ばれる。それとは別に、またはさらに、特定方向での撮像すべき物体の高反射性によって画像反射が発生することがある。このような反射は物体反射とも呼ばれる。例えば、物体にライトを照射すると、物体の高反射性によって、画像領域内で照射光が反射する。
反射は様々な方法で抑制することができる。ここでは、反射抑制とは、反射によって引き起こされる情報欠損の減少であると理解される。
システムの光学的構成部分での反射によって引き起こされる画像内の反射を抑制するために、高品質の撮像を生成するコストの高い光学系を投入することができる。このような措置の例として、システム内での重要な光学的面上の反射防止コーティング、反射を低減させるための極めて複雑な光学デザイン、撮撮像に関連しない部品のつや消し、および/または、偏光光学的な反射防止装置がある。しかしながらこのような光学部品の使用はコスト面で不利となる。さらに、複雑な光学部品によって装置容積が大きくなり、重量が増大する。例えば共焦点顕微鏡を用いる共焦点撮影技術では、ポイントスキャナおよび/またはラインスキャナを使用することがある。このような走査的方法では、撮影時間が極めて長くなることがある。
撮影された画像の後処理を行う装置および方法もまた、物体反射を修正するために用いることができる。これにより、システム反射を低減するためのコストの高い光学デザインと結びついた費用および装置容積の不都合を低減することができる。しかしながら、従来のデジタル後処理技術では、反射が存在する画像領域で情報を復元することができない。
物体を撮像するための技術の改善が求められている。特に、撮影された画像を処理することで反射を抑制できる装置および方法が求められている。結果画像において好適な解像度および好適なコントラストを達成可能な装置および方法が求められている。
実施例に従って、複数の照射構造のうち1つによって順次1つの物体を照射して、そのつど画像を撮影する装置および方法が提供される。このとき、画像は輝度画像であってもよい。複数の画像が計算によって処理される。処理の際、反射が存在する各画像に対してシェーディング操作を適用してもよい。シェーディング操作は、局所的に、対応する画像に反射が存在するピクセルの輝度を低減することができ、例えば完全にフェードアウトすることができる。加えて、修正された画像を算出するために、撮影された反射が存在する画像のピクセルに、画素依存の重み関数を乗じてもよい。
反射の位置、および、それに関連する画素依存の重み関数は、その照射構造によって、対応する画像を認識する際に物体が照射される照射構造に依存する。一つの画像内でシェーディング操作によって計算的に抑制されるピクセルは、他の照射構造の照射によって撮影される他の画像において、反射から離れて配置されている。反射抑制のために照射構造に依存してピクセルが低く重みづけられている複数の画像からの情報の結合により、物体に関する完全な情報を復元することができる。
シェーディング操作によって修正された複数の画像は、例えば、合算することで結合してもよい。画像を結合するときに、シェーディング操作によって修正された画像の線形結合を算出してもよい。画素依存の再規格化よって、各ピクセルについて、どのくらいの画像において、そのピクセルがある反射の近くまたは内部に存在するかを考慮することができる。シェーディング操作の作用を考慮して、反射内または反射の近くにあったことで、複合画像内で、1または複数の修正された画像内で低く重みづけられたピクセルは、修正された画像で低く重みづけられていない他のピクセルと比較して、再度重く重みづけられていてもよい。
シェーディング操作は、画像撮影を行う各照射構造に関するシステム反射に対して、予め確定されていてもよい。これは、計算またはキャリブレーション測定によって行われる。そのつど実施すべきシェーディング操作に関する情報は、メモリに不揮発的に記憶されてもよく、画像を処理するために呼び出すこともできる。システム反射に関する情報は、画像センサのどのピクセルで、各照射構造に関する光学システムが照射光を反射するかに依存してもよい。
各々の画像についてのシェーディング操作は、自動反射認識装置によって算出することができる。これにより物体反射および/またはシステム反射を同定し、修正することができる。
実施例に従った装置および方法では、画像の修正を計算によって効率的な方法で実施することができる。複数の照射構造のうち1つによって照射して、そして、画像を計算によって処理する際に照射構造を考慮することで、従来の反射と結びついた問題を減少させることができる。複数の照射構造によって認識された画像を結合することで情報欠損を低減させることができる。この結合は、画素ずつ乗算および加算をするといった操作によって実施することができ、それは計算によって効率的に実施可能であり、リアルタイム条件を満足することができる。
実施例に従った画像撮影装置は、1つの物体を照射するために複数の照射構造を調節するために制御可能な照射装置を含んでいる。画像撮影装置は画像センサを含む検出器を備えており、この検出器は、複数の照射構造に対して1つの物体の複数の画像のうち1つを認識するように設けられている。画像撮影装置は、画像センサに連結された、複数の画像を加工するための電子評価装置を含んでいる。電子評価装置は、従来のシステム反射および/または物体反射と結びついていた情報欠損を低減させるための、反射抑制として設けられていてもよい。電子評価装置は、複数の修正された画像を生成するために、複数の画像の少なくとも一部分についてシェーディング操作を行うように設けられていてもよい。一つの画像に対して適用されるシェーディング操作は、対応する画像を認識する際の照射構造に依存してもよい。電子評価装置は、複数の修正された画像を結合するように設けられている。
シェーディング操作によって、反射内にある少なくとも1つのピクセルの輝度を、計算によって低減させることができる。
複数の画像の各画像は輝度画像であってもよい。
一つの画像に適用されるシェーディング操作は、画像内の反射の位置に依存していてもよい。
反射は、画像撮影装置の光学的構成要素での反射、および/または、物体での反射によって引き起こされてもよい。
電子評価装置によって実行されるシェーディング操作は、対応する画像を認識するときの照射構造に依存する、画素依存の重み関数の使用を含んでいてもよい。
画素依存の重み関数によって、反射内にあるピクセルの重みを、反射外にある他のピクセルの他の重みと比較して低減させることができる。
重み関数は、反射内のピクセルと、反射外の他のピクセルのいずれかで、単調に増大してもよい。重み関数は常に増大してもよい。
画素依存の重み関数によって、反射内のピクセルの重みを0に設定してもよい。これにより、修正された画像において、反射内にある該当するピクセルをフェードアウトさせることができる。反射内にある全てのピクセルがフェードアウトされてもよい。
電子評価装置は、複数の画像のうち反射を示す各画像について、対応する画像を認識するときの照射構造に依存する画素依存の重み関数によって、数なくとも1つのピクセルを重み付けするように設けられていてもよい。
電子評価装置は、複数の画像に関する重み関数から画素依存の再規格化関数を算出するように設けられていてもよい。
画素依存の再規格化関数は、第1の照射構造によって撮影された第1の画像内の第1の反射の位置と、第1の照射構造とは異なる第2の照射構造によって撮影された第2の画像の第2の反射の位置とに依存していてもよい。
画素依存の再規格化関数は、反射を示す全ての画像の反射位置に依存していてもよい。
画素依存の再規格化関数は、反射を示す全ての画像の各ピクセルについてそのピクセルのそれぞれの逆重み関数に依存していてもよい。
画素依存の再規格化関数は、各ピクセルについて、そのつど複数の画像のうちのどのくらいの画像でピクセルの重みがそのつど重み関数によって低減されるかに依存していてもよい。
電子評価装置は、シェーディング操作によって修正された画像の複合画像を特定するように設けられていてもよい。
電子評価装置は、シェーディング操作によって修正された画像の線形結合を算定するために設けられていてもよい。電子評価装置は、それによって位相コントラスト画像、または結果画像をコントラスト増加によって算出するように設けられていてもよい。
電子評価装置は、画素依存の再規格化関数によって、複数の画像の線形結合を重み付けするように設けられていてもよい。加えて、各ピクセルに、画素依存の再規格化関数が乗じられてもよい。
シェーディング操作は、反射を示す各画像について、画像撮影装置の光学システムのシステム反射が抑制されるように選択される。
システム反射のシェーディングをするための照射構造に依存したシェーディング操作に関する情報は、不揮発的に画像撮影装置に記憶されてもよい。
シェーディング操作は、選択的または付加的に、物体の物体反射を抑制してもよい。
電子評価装置は、複数の画像の各画像について、対応する画像の物体反射を自動的に同定するように設けられていてもよい。
電子評価装置は、どのピクセルに自動的に同定された物体反射が存在するかに依存して、画素依存の重み関数をそのつど確定するように設けられていてもよい。
画像撮影装置は顕微鏡システムであってもよい。
画像撮影装置はデジタル顕微鏡であってもよい。
実施例の画像撮影方法は、一つの物体が順次複数の照射構造のうち1つによって照射されたときの複数の画像の認識を含む。この方法は、反射抑制のための複数の画像の処理を含む。その際、シェーディング操作は、複数の修正された画像を生成するために、複数の画像の少なくとも一部について実施され、シェーディング操作は、対応する画像を認識するときの照射構造に依存する。複数の修正された画像が結合される。
この方法は、実施例の画像撮影装置によって自動的に実施することができる。
この方法では、シェーディング操作によって、反射内にある少なくとも一つのピクセルの輝度を、計算によって低減することができる。
この方法において、複数の画像の各画像は、輝度画像であってもよい。
この方法において、一つの画像に対して適用されるシェーディング操作は、画像の反射の位置に依存している。
この方法において、反射は、画像撮影装置の光学的構成要素での反射によって、および/または物体での反射によって引き起こされるものであってもよい。
この方法において、シェーディング操作は、対応する画像を認識するときの照射構造に依存する画素依存の重み関数の使用を含んでいてもよい。
この方法おいて、画素依存の重み関数によって、反射内に存在するピクセルの重みを、反射外に存在するその他のピクセルの他の重みと比較して、低減させることができる。
この方法において、重み関数によって、反射内のピクセルと、反射外の他のピクセルのいずれかは単調に増大してもよい。重み関数は連続的に増大してもよい。
この方法において、画素依存の重み関数によって、反射内のピクセルの重みを0に設定してもよい。これにより、修正された画像において、反射内にある対応するピクセルはフェードアウトする。反射内のピクセル全てがフェードアウトしてもよい。
この方法において、反射を示す複数の画像の各画像は、対応する画像を認識するときの照射構造に依存する画素依存の重み関数によって、少なくとも1つのピクセルが重みづけられていてもよい。
この方法において、画像の結合には、複数の画像に関する重み関数からの画素依存の再規格化関数の特定が含まれていてもよい。
この方法において、画素依存の再規格化関数は、第1の照射構造によって撮影された第1の画像内の第1の反射の位置と、第1の照射構造とは異なる第2の照射構造によって撮影された第2の画像内の第2の反射の位置とに依存していてもよい。
この方法において、画素依存の再規格化関数は、反射を示す全ての画像内の反射の位置に依存していてもよい。
この方法において、各ピクセルについての画素依存の再規格化関数は、反射を示すすべての画像についての該当するピクセルの逆重み関数に依存していてもよい。
この方法において、ピクセルに関する画素依存の再規格化関数は、そのつど、複数の画像のうちいくつの画像において、対応するピクセルの重みが重み関数によって低減するかに依存していてもよい。
画像の結合には、シェーディング操作によって修正された画像の複合画像の特定が含まれていてもよい。
画像の結合には、シェーディング操作によって修正された画像の線形結合の算出が含まれていてもよい。これにより、位相コントラスト画像が算出され、および/または、コントラストの増加が達成される。
画像の結合には、画素依存の再規格化関数による線形結合の重み付けが含まれてもよい。加えて、線形結合の各ピクセルには、画素依存の再規格化関数が乗じられてもよい。
この方法において、反射を示す各画像のシェーディング操作は、画像撮影装置の光学システムのシステム反射が抑制されるように選択される。
この方法において、照射構造に依存したシステム反射をシェーディングするためのシェーディング操作に関する情報は、不揮発的に画像撮影装置に記憶されてもよい。
この方法において、シェーディング操作は、物体の物体反射を選択的または付加的に抑制してもよい。
この方法において、複数の画像内の物体反射の自動的な同定が含まれていてもよい。
この方法において、画素依存の重み関数は、そのつど、どのピクセルに自動的に同定された物体反射が存在するかに依存して特定されてもよい。
この方法は顕微鏡システムで実施されてもよく、その際に、画像の処理は顕微鏡システムの電子評価装置によって自動的に行われてもよい。また、処理は顕微鏡とは切り離されたコンピュータによって実行されてもよい。
顕微鏡システムはデジタル顕微鏡であってもよい。
この装置および方法において、画像は透過の配置で認識されてもよい。画像は反射の配置で理解されてもよい。
この装置および方法において、複数の照射構造の各照射構造は、そのつど正確に照射方向に適合し、その照射方向下において、物体は照射される。照射構造は3次元の照射角によって特定されてもよく、この照射角は、一対の角座標によって定義されてもよい。
この装置および方法において、少なくとも1つの照射構造、または複数の照射構造の多くが、照射方向に正確に適合しており、その照射方向下で物体は照射される。
複雑な照射構造を使用してもよい。例えば照射構造のうち少なくとも1つ、または複数の照射構造に関して、異なる方向の複数の光を物体に照射してもよい。物体は、1の立体角領域、または、複数の立体角領域から、平面的に照射してもよい。物体は複数の方向から照射されてもよく、これにより、照射に関連した領域および/または凸形の領域は形成されない。
実施例の装置及び方法に従って、複数の画像を処理することで反射が抑制されるため、低コストの光学系を使用することができる。撮影された画像を、迅速に、解像度を維持して、偽信号を少なくして処理することができる。
シェーディング操作は、反射の近くにあるピクセルだけが局所的に抑制されるように構成してもよいので、画像に反射があるときには画像が完全に拒否されるという技術を用いるよりも、より好適な解像度およびより好適なコントラストを達成することができる。通常、様々な照射構造に対してシェーディング操作は異なるため、反射を抑制するための局所的な抑制は、異なるピクセルに関する。照射構造に関して反射による情報欠損が生じる物体領域に関する情報は、通常は、その他の位置に反射が配置されたその他の画像から復元される。
上記に示した特徴及び以下に説明する特徴は、対応する明示的に示された組み合わせにおいてのみ使用されるのではなく、本発明の保護範囲から逸脱することなく、その他と組み合わせたり、あるいは、切り離して使用してもよい。
上述した本発明の性質、特徴、及び利点、並びにこれらを達成するやり方および方法は、図面を用いてより詳細に説明する以下の実施例の説明と関連させることでより明確に理解されるであろう。
図1は、一実施例に係る画像撮影装置を図示的に示す図である。 図2は、一実施例に係る方法のフローチャートである。 図3は、実施例に係る装置および方法における複数の画像の処理の具体例である。 図4は、実施例に係る画像撮影装置および方法における画像の処理の具体例である。 図5は、シェーディング操作を実施するための、ピクセルが乗じられる、画素依存の重み関数の具体例である。 図6は、シェーディング操作を実施するための、ピクセルが乗じられる、画素依存の重み関数の具体例である。 図7は、画像を結合するときに使用可能な再規格化関数の算出を具体的に説明している。 図8は、方法の一実施例に係るフローチャートである。 図9は、方法の一実施例に係るフローチャートある。 図10は、画像撮影装置の一実施例に係るブロック図である。
本発明の好ましい実施形態について、図面と関連させて、次に詳細に説明する。図中、同じ関連番号は同一または類似の構成要素を示している。図は、本発明の異なる実施形態を図示的に示している。図中に示した構成要素は、必ずしも実物大に示しているのではない。むしろ、図中に示した様々な構成要素は、それらの機能や目的が当業者に理解されるように、再現されている。
図中に示した、機能的構成単位と要素との間の接続および連結は、間接的な接続または連結として解釈されてもよい。有線または無線の接続又は連結として解釈されてもよい。
以下に、物体を撮像するときの反射を計算によって抑制できる技術について説明する。「反射抑制」の下で、従来、反射の存在と結びついていた情報欠損を低減することのできる措置を理解できる。
以下に詳しく説明するように、本発明の実施例では、物体の複数の画像が順次撮影される。撮影された画像はそれぞれ輝度画像である。物体を照射するための照射構造は、複数の画像を撮影するために様々な値に調節される。すべての画像、または一部の画像に対してシェーディング操作が適用される。シェーディング操作には、対応する照射構造に関するどのピクセルに画像内の反射が存在するかに依存する、ピクセルの輝度の重み付けが含まれていてもよい。シェーディング操作によって、ある画像領域内の反射によって引き起こされる偽信号を低減することができる。
シェーディング操作は、一つの画像において、そのつど複数の色媒質のそれぞれに対して同じであってもよい。シェーディング操作は、例えば、反射の位置が、色彩アブレーションに基づいて波長に依存している場合、様々な色媒質に対して異なっていてもよい。
必ずしも回転対称の物体での反射によって引き起こされるわけではないが、あらゆる反射において、画像内の反射の位置はその時々の照射方向に依存して変化する。シェーディング操作によって、反射を示す様々な画像においてそのつど反射をシェーディングするために、そのつど異なる画像領域がフェードアウトされる。
画像の結合によって、完全な輝度情報を再現することができる。結合には、例えば照射構造に依存する重み関数によって修正された画像の合算と、それに続く複合画像の再規格化が含まれていてもよい。その他の結合を使用してもよい。例えば照射角依存の重み関数によって修正された画像の任意の線形結合は、結果画像を特定するために、その後で再規格化が行われてもよい。再規格化は、反射をシェーディングするためにどのくらい多くの画像において、そしてどの重み付けによってピクセルがそのつどシェーディングされたかを考慮した画像依存の再規格化関数を乗じることで行ってもよい。
シェーディング操作に含まれる、認識された画像の計算による処理は、画像撮影装置の記憶媒体に不揮発的に記憶されたデータを呼び出してもよい。データは、異なる照射構造に関して、そのつど使用すべきシェーディング操作のデータを含んでいてもよい。データには、代替的または付加的に情報が含まれ、電子評価装置は、適用すべきシェーディング操作をその情報から算出する。例えば、各照射構造に関して、画像撮影装置の光学システムによって引き起こされた反射による反射の位置が保管されていてもよい。
計算による反射抑制のために画像撮影装置の動作で使用されるデータは、予め計算によって特定され、記憶媒体に記憶されてもよい。データは選択的又は付加的に、キャリブレーション測定によって、標準物体を用いて画像撮影装置によって生成されてもよく、不揮発的に記憶されてもよい。
照射構造に依存する反射の位置は、画像撮影装置によって自動的に算出されてもよい。例えば、1とは異なる重み係数を乗じることによって、対応する照射構造についてのどのピクセルがシェーディングされるべきかを特定するために、物体反射と、任意的としてさらに、システム反射が自動的に認識されてもよい。
シェーディング操作による複数の画像の組み合わせによって、電子評価装置は自動的に結果画像を作り出す。その結果画像には、複数の画像の情報が含まれる。結果画像は、乗算および合算の操作のみにより生成することができる。結果画像を生成するために、結果画像をリアルタイムで算出してもよい。
図1は、画像撮影装置1の一実施例を図式的に示す図である。画像撮影装置1は、実施例に従った方法によって自動的に実行されるように構成されていてもよい。画像撮影装置1は顕微鏡システムであってもよく、または、より詳細に説明される反射抑制のための制御可能な照射装置、画像センサを備えたカメラおよび電子評価装置を備えた顕微鏡を含むものであってもよい。
画像撮影装置1は、光源11を備えた照射装置を含む。集光レンズ12は、周知の方法によって、光源11から放射された光を撮像すべき物体2の上に導く。照射装置は、複数の異なる照射構造による光を物体2に照射できるように構成されている。例えば、各々の照射構造は、空間において、照射角4によって定められていてもよく、これにより光3が物体2に照射される。異なる照射構造は異なる照射角に対応する。
複雑な照射構造を使用してもよい。例えば、複数の照射角の元で、光を同時に物体2上に照射してもよい。
制御可能な照射構造を考慮して、例えば、光源11は、単独又は任意の構造を有するグループで制御可能な、複数の発光ダイオード(LED)を備えたLED配置を含んでいてもよい。LED配置は、LED環状配置であってもよい。あるいは、様々な照射構造を用意するために、従来の光源が拡大されて結像されていた、中間結像面に制御可能な構成要素が配置されていてもよい。制御可能な構成要素は、可動式ピンホール、微小鏡面配置、液晶マトリックスまたは空間光変調器を含んでいてもよい。
照射装置は、光学軸5によって取り囲まれる照射角4の数値が変化するように設けられていてもよい。照射装置は、照射角4で物体を照射可能な光線3の方向が、極方向の光学軸5の周りを動くことができるように設けられていてもよい。照射装置は、複数の光が異なる方向、または、異なる立体角領域にわたって、物体に入射するようにしてもよい。
画像撮影装置1の検出器14は、物体2が照射される複数の照射構造の各々に対して、それぞれ少なくとも1つの物体2の画像を認識する。画像はそのつど輝度画像にある。検出器14の画像センサ15は、例えばCCDセンサ、CMOSセンサ又はTDI(時間遅延及び集積)CCDセンサとして構成されてもよい。例えば、顕微鏡対物13としてしか示していない撮像光学系は、画像センサ15に物体2の拡大撮像を生成することができる。
画像撮影装置1は電子評価装置20を含む。電子評価装置は、複数の照射構造に対して認識された物体2の複数の画像をさらに処理する。電子評価装置20は、複数の画像のうちのいくつか、またはすべてに対してシェーディング操作を適用する。図2から図10を関連づけて詳細に説明するように、システム反射または物体反射を含む各画像に関するシェーディング操作は、画素依存の重み関数の乗算を含んでいる。画素依存の重み付けによって、反射内、または、反射の周囲の予め定義された距離にあるピクセルは、偽信号を減らすために、完全にフェードアウトされるか、または、その輝度が低減される。
シェーディング操作によって輝度が抑制されるピクセルは、照射構造によって異なる位置を示していてもよい。画像撮影装置は、複数の画像の少なくとも1つの画像のピクセルが、反射内にないか、または、予め定義された反射からの距離内にないかというように、物体の複数の画像を把握してもよい。
画像撮影装置1は、反射抑制21に関する情報を備えた記憶媒体を含んでいてもよい。電子評価装置20は記憶媒体に連結されるか、または、これを含んでいてもよい。電子評価装置20は、各照射構造についてそのつど使用される重み関数を、記憶媒体内の修正情報に基づいて算出してもよい。記憶媒体に記録された反射抑制に関する情報は、照射構造に依存した画像撮影装置における反射を考慮して構成されていてもよい。
各々が複数の照射構造のうちの1つに割り当てられる修正された画像は、異なる方法で結合されてもよい。例えば、シェーディング操作後の画像は、複合画像に加算されてもよい。複合画像には、異なる照射構造に関するどのピクセルが1とは異なる重みで乗じられたかを考慮した位置依存の再規格化関数を乗じてもよい。対応する処理は電子評価装置20によって自動的に実施されてもよい。あるいは、シェーディング操作によって修正された画像の任意の線形結合を算出してもよい。線形結合は、異なる照射構造に関するどのピクセルが、そのつど1とは異なる重みによって乗じられたかを考慮した、位置依存の再規格化関数によって乗じられてもよい。線形結合によって、例えば、コントラストの増加が達成されるか、または位相コントラスト画像が算出される。
電子評価装置20は、乗算及び加算によってシェーディング操作を実行できるため、処理をリアルタイムで行うことができる。画像撮影装置1は、光学的出力装置を備えたユーザ用インターフェースを含んでいてもよく、その上で、電子評価装置20は、結果画像を生成する作業を行うことができる。複数の照射構造下での照射によって認識される画像からの情報を結合することで、撮影された1または複数の画像において、反射によって隠された画像領域においても、好適なコントラストおよび好適な解像度を達成できる。
実施例の画像撮影装置の機能を、図2から図10を関連づけて詳細に説明する。
図2は方法30の一実施例に係るフロー図である。この方法は画像撮影装置1によって自動的に実行される。
ステップ31で第1の照射構造によって物体が照射される。照射装置は、例えば、電子評価装置20によって、物体に第1の照射構造が照射されるように制御されてもよい。画像センサ15は、第1の画像を認識する。第1の画像は、第1の輝度画像であってもよい。
ステップ32では、物体は、第1の照射構造とは異なる第2の照射構造によって照射される。そのために照射装置は適宜制御されてもよい。画像センサ15は、第2の画像を認識する。第2の画像は、第2の輝度画像であってもよい。
異なる照射角および撮影下で、物体の照射が順次繰り返されてもよい。
ステップ33では、物体は、N番目の照射によって照射され、このとき、Nは1より大きい(N>1)の整数である。そのために照射装置は適宜制御されてもよい。画像センサ15はN番目の画像を認識する。
ステップ34では、N個の画像のすべてに、または、少なくとも一部分に対してシェーディング操作が適用される。シェーディング操作は、少なくとも1つの反射が存在する各画像に適用される。反射はシステム反射または物体反射であってもよい。シェーディング操作は、光学システム内、または、物体における反射によって、物体に関する情報が、反射によって覆いかぶされてしまうピクセルをフェードアウトするか、あるいは少なくともその輝度を低下させることができる。そのとき、輝度が低減した画像領域は、対応する画像を撮影する際の照射構造に依存する。
シェーディング操作によって、反射内に存在する全てのピクセルの輝度をゼロに設定することができる。シェーディング操作によって、反射の周りの予め定義された距離に存在するピクセルの輝度を低減することができる。
ステップ35では、シェーディング操作によって修正された画像は、計算により結合することができる。このために、修正された画像は合算されてもよく、または、他の線形結合を特定してもよい。線形結合は、反射が存在しない全ての画像を含んでいてもよい。シェーディング操作によって修正された画像の線形結合は、反射をシェーディングするために、修正された画像のいくつかで輝度が局所的に低減することを考慮して、位置依存の再規格化関数が乗じられてもよい。より複雑な処理が可能である。例えば、複数の画像から、物体2の位相情報を計算によって特定することができる。
画像撮影装置は、図3から図10に関連づけてより詳細に説明されるように、システム反射および/または物体反射を修正するように構成されていてもよい。そのために、様々な方法が用いられる。
システム反射を修正するために、画像撮影装置1の作動前に、作動可能な照射装置のそれぞれに対して、キャリブレーション測定および/または計算によって、発生するシステム反射を特定してもよい。システム反射は、画像センサ上で局在化されて、それぞれの照射構造に割り当てられる。反射に対して、それぞれの反射をシェーディングして照射構造に割り当てられている、それぞれ対応するシェーディング画像が生成される。変換においては、シェーディング画像は、対応する照射構造に対して認識された画像に、位置依存の重み関数を乗じることで、画像と差引される。
画像センサの各領域に関しては、どのくらいの光が各シェーディング行列と一緒にシェーディングされているかを算出することができる。それに応じて再規格化画像を生成することができる。再規格化画像は、全ての照射構造についてのシェーディングの和を表してしてもよく、または、それに比例するものであってもよい。再規格化画像は、どのくらい多くの照射構造について画像センサに対応するピクセルにおいてシェーディング画像により光が透過するかを局所的に解像して示してもよい。
認識された物体の画像は、次のように処理される:(i)各画像は、それぞれ1つの照射構造に割り当てられており、この照射構造によって、画像撮影時に物体は照射される。(ii)画像には、照射構造に割り当てられ、反射がシェーディングされた修正された画像を生成する位置依存の重み関数が乗じられる。(iii)重み関数に依存し、どのくらい多くの画像において対応するピクセルが重み関数を乗じることでシェーディングされるかを考慮した画像依存の再規格化関数が使用される。(iv)このようにして生成された、全ての修正された各画像は、複合画像、または、修正された画像の他の線形結合を生成するために合算してもよい。(v)複合画像、または、修正された画像の他の線形結合は、画素ずつ、再規格化関数によって乗じられてもよい。
生成される結果画像において、システム反射は抑制されている。物体が振幅物体であれば、各システム反射は、十分に、または、さらには完全に抑制することができる。物体が位相物体であれば、システム反射は少なくとも部分的に抑制できる。
予め計算によって、又は、キャリブレーションによって算出された、システム反射の位置に関する情報に加えて、またはその代わりに、各画像において反射を自動的に認識してもよく、例えば、輝度の閾値を比較することで認識してもよい。各々のシェーディング操作は、自動処理によって画像から認識された、その時々の反射位置に基づいて実行してもよい。これにより、位相物体の画像に関して、さらなる反射抑制を達成することができる。
実施例に従った装置および方法によって、物体反射を抑制することもできる。このことは、光学システムの改善のための従来の措置、例えば、反射防止コーティングの使用によっては不可能である。
物体に起因する反射を予め算出することはできない。それゆえ実施例によれば、物体反射を抑制するために、物体の各画像について、物体反射が存在するか否か、また、どの位置に存在するかが画像処理によって特定される。それに加えて、物体反射を位置づけるために、例えば、閾値の比較を行ってもよい。
物体反射、しかしシステム反射をも抑制するために、次のステップを実施することができる:(i)各画像における反射の位置付け;このためにすべての適切なアルゴリズムを使用してもよい。例えば、単純な輝度の閾値比較は、画素に依存して実施してもよい。(ii)反射の位置に依存して、画素依存の重み関数が特定される。これによって、反射は、照射構造に依存してシェーディングされる。(iii)画像は、照射構造に割り当てられて、修正された画像を生成する位置依存の重み関数によって乗じられ、反射がシェーディングされる。(iv)重み関数に依存し、どの程度多くの画像に対応するピクセルが重み関数を乗じることでシェーディングされるかを考慮した、画素依存の再規格化関数が使用される。(v)シェーディング操作によって生成した修正された全ての画像は、複合画像を生成するために合算されてもよく、または、他の方法で線形結合されてもよい。(vi)複合画像または他の線形結合は、画素ずつ再規格化関数と乗じられてもよい。
このようにして算出した結果画像において、物体反射は抑制されている。
例えば凹面鏡または他の反射する回転対称表面の場合のように、あらゆる照射方向下で照射したときに物体が画像の同じ位置で反射を発生させる場合は、対応するピクセルについて画像情報を算出することができない。各画像における対応するピクセルは反射によって覆われて、計算上の処理でシェーディングされる。
反射に関する情報が予め特定され、画像撮影装置に不揮発的に記憶されるときにも、また、画像の撮影後に物体における反射の位置が特定される場合にも、シェーディング操作は位置依存の重みを乗じることで実行され、反射の周囲のピクセルだけが重み関数によって低く重み付けられることによってシェーディングされる。
反射が存在する場合には、画像全体が無視される、構造化された照射技術と比較して、コントラストが局所的に改善されて、優れた解像度が達成される。
図3は、画像撮影装置1の作動方法をさらに説明するための模式的な図である。
第1の画像41は、第1の照射構造によって物体を照射するときに認識される。第2の画像42は、第2の照射構造によって物体を照射するときに認識される。第3の画像43は、第3の照射構造によって物体を照射するときに認識される。
第1の画像41は、第1の位置に反射51を含む。第2の画像42は、第1の位置とは異なる第2の位置に反射52を含む。第1の画像41の撮影と第2の画像42の撮影との間で照射方向を変えると反射の位置が変わる。第3の画像43は、第1位置および第2位置とは異なる第3の位置に反射42を含む。第3の画像43を撮影するための照射方向を変えると反射の位置が変わる。
第1の画像41にシェーディング操作が行われる。シェーディング操作は、第1の修正された画像44に第1の画像41を再現する変換Tとして表すことができる。変換Tは、第1の位置51で反射内にある第1の画像41のピクセルをシェーディングする。変換Tは、第1の画像41のピクセルの輝度に重みを乗じることを含んでいてよい。この乗算は、少なくとも、第1の位置51での反射を含む第1の領域56で行われてもよい。重み付けは、第1の位置51での反射にある各ピクセルに対して、ゼロであってもよい。第1の位置51での反射の予め定義された周囲56にある各ピクセルに関して、重み付けが1より小さくてもよい。領域56の外部では、第1の画像41の元々のピクセル値は変化しないままであってもよい。シェーディング操作は、第1の画像41とシェーディング画像との重ね合わせ、または、または、第1の画像41と第1の位置51において反射の周囲の領域56をシェーディングするシェーディング行列との重ね合わせとして理解することができる。
同様に、第2の画像42にシェーディング操作が行われてもよい。シェーディング操作は、第2の修正された画像45に第2の画像41を撮像する変換Tとして表すことができる。変換Tは、第2の位置52で反射内にある第2の画像42のピクセルをシェーディングする。変換Tは、第2の画像42のピクセルの輝度と重み付けとの乗算を含んでいてもよい。この乗算は、少なくとも、第2の位置52で反射を含む第2の領域57において実施されてもよい。重み付けは、第2の位置52の反射にある各ピクセルに関して、ゼロに一致していてもよい。重み付けは、第2の位置52で予め定義された周囲57にある各ピクセルに関して1より小さくてもよい。領域57の外部では、第2の画像42の元々のピクセル値は変化しなくてもよい。シェーディング操作は、第2の画像42とシェーディング画像との重ね合わせ、または、第2の画像42と第2の位置52において反射の周囲の領域57をシェーディングするシェーディング行列との重ね合わせとして理解されてもよい。
同様に、第3の画像43にシェーディング操作が行われてもよい。シェーディング操作は、第3の修正された画像46に第3の画像41を撮像する変換Tとして表すことができる。変換Tは、第3の画像43において、第3の位置53の反射内にあるピクセルをシェーディングする。変換Tは、第3の画像43にあるピクセルの輝度と重み付けとの乗算を含んでいてもよい。この乗算は、少なくとも、第3の位置53で反射を含む第3の領域58において実施されてもよい。重み付けは、第3の位置53で反射内にある各ピクセルに関して、ちょうとゼロでもよい。第3の位置53の反射の予め定義された周囲58にある各ピクセルについては、重み付けは1より小さくてもよい。領域58の外部では、第3の画像43の元々のピクセル値は変化しなくてもよい。シェーディング操作は、第3の画像43とシェーディング画像との重ね合わせ、または、第3の画像43と第3の位置53で反射の周囲の領域58をシェーディングするシェーディング行列との重ね合わせとして理解されてもよい。
シェーディング操作のゆえに、修正された各画像44〜46には、情報欠損が存在していてもよい。このことは、元々の画像の情報における反射51〜53は、物体の上に重なっていることを考慮している。
様々な照射方向に対応する複数の画像のうちの少なくとも一つにおける画像センサの各ピクセルに反射が存在しないときには、物体に関する完全な情報は、複数の修正された画像から再現され、これはいくつかの画像どころか、すべての画像に反射が存在するときにも同様である。これにより、照射方向に依存した画像平面における反射の変動が利用される。
このようにして、例えば修正された画像45、46から、物体の構造59に関する情報が再現され、これは第1の修正された画像44においてもはや得ることはできない。というのも、それはシェーディング操作によってシェーディングされているからである。
修正された画像44〜46は、互いに結合されてもよい。例えば、複合画像を形成してもよい。複合画像は再規格化されてもよい。加えて、複合画像の各点の輝度には、どのくらい多くの画像において対応するピクセルが反射内または反射の周囲にあるかに依存する再規格化関数を乗じてもよい。これにより、例えば、結果画像47を算出するために合算された構造59は、3つの修正された画像44〜46のうちの2つにのみ含まれることを考慮することができる。
実施例に従った装置および方法において、システム反射および/または物体反射を含む画像に対するシェーディング操作は、以下のように表すことができる:
Figure 0006608658
ここで、(θ、θ)は、対応する画像を撮影するときの照射角を表しており、3次元において平行な照射光線3の方向を定義する。この照射角は、例えば、y−z平面の光線3の角θおよびx−z平面の光線3の角θで定義されていてもよく、このとき、z軸は画像撮影装置の光学軸である。照射方向に関して撮影される画像はI(θ、θ)によって表される。シェーディング操作で生成される修正された画像は、Imod(θ、θ)で表される。T(θ、θ)[・]によって照射角に依存するシェーディング操作は表され、これは電子評価装置によって画像に適用される。シェーディング操作を予め定義して、画像撮影装置に不揮発的に記憶されるようにしてもよく、あるいは、画像I(θ、θ)内の反射の位置に依存した電子評価装置によって特定されてもよい。
他の照射構造が、角座標の座標対(θ、θ)によって定義された方向に沿って物体に照射される光線として使用される場合には、照射角を定義する座標(θ、θ)は、式(1)および以下の説明において、照射構造を示す指数に置き換えてもよい。しかしながら、説明する処理概念および式は、照射角の座標(θ、θ)の代わりに、一般に照射構造を理解するときには有効である。
シェーディング操作は、一形態において、重み関数との乗算によって行われるようにしてもよい:
Figure 0006608658
ここで、I(θ、θ、m、n)は、ピクセル座標m、nを有するピクセルにおいて対応する画像の輝度を表している。ピクセル座標m、nを有するピクセルにおける修正された画像の輝度は、Imod(θ、θ、m、n)によって表される。重み付けw(θ、θ、m、n)は、ピクセル座標に依存する。ピクセル座標の関数とみなされる重み付けは、画素依存の重み関数を定義する。
他の複数の変換を使用してもよい。例えば、撮影画像から修正画像を算出するために、局所的な褶曲作用を使用してもよい。
重み関数G(・)は、様々な形を示すことができる。一形態において、段階関数は、次のように使用される。
Figure 0006608658
周辺、例えば外殻は、対応する照射構造の場合に反射が位置している画像センサの領域に関して定義されており、重み関数はこの周辺においてゼロとすることができる。
重み関数は、一つだけの段階で、ゼロから1に急激に上昇しないことが有利である。様々な形を選択することができる。例えば、重み関数は以下のように定義されてもよい。
Figure 0006608658
ここで、xは、反射の幾何学的中心点のx座標であって、yは反射の幾何学的中心点のy座標である。幅ΔおよびΔによって反射のサイズを考慮してもよい。座標(x、y)の他に、重み関数の傾斜を定義する幅ΔおよびΔもまた、照射構造に依存していてもよい。
さらなる形態では、式(4)のガウス関数の代わりに、ハイパーガウス関数を使用してもよい。例えば重み関数は次のように定義してもよい。
Figure 0006608658
ここで、kは2以上の数である。
さらなる態様では、反射の中心点においてゼロに近い値から、反射から遠く離れて1の値へと単調に変化する他の重み関数を使用してもよい。例えば、次の形の重み関数を使用してもよい。
Figure 0006608658
ここで、kは1よりも大きい数であり、特に、2以上であってもよい。
反射を示さない画像については、重み関数は、各ピクセルに対して1、すなわち、あらゆるm、nに対して、w(θ、θ、m、n)=1であってもよい。反射抑制を行うために、処理された画像のうち少なくとも1つは、重み関数に関して、1よりも小さい値、すなわちw(θ、θ、m、n)<1であるピクセルを示していてもよい。
修正された画像から複合画像を算出することができる:
Figure 0006608658
このとき、その下で物体は照射される全方向にわたって加算が実施される。
シェーディング操作に基づいた和形成(7)におけるピクセルの異なる重み付けを考慮して、再規格化関数s(m、n)は次のように定義してもよい。
Figure 0006608658
照射構造に依存して、重み付けが局所的に変化して、様々な照射構造に対して重み関数が異なるように、再規格化の他の形を使用してもよい。
結果画像は、座標(m、n)を有する画素に関して、次の方程式を満たすように算出することができる:
Figure 0006608658
他の処理技術を使用してもよい。
例えば、式(7)の和形成の代わりに、修正された画像の他の線形結合を算出してもよい。コントラストが増加するように線形結合を算出してもよい。位相コントラスト画像を定めてもよい。再規格化関数s(m、n)を算出するときには、そのつどどのようにシェーディング操作が画素に依存してピクセルの重みを変化させるだけでなく、どの係数によって修正された画像の線形結合に対応する修正された画像が重みづけられるかも考慮する。この係数は、例えば位相差画像を算出するために差分画像を算出する場合には、負であってもよい。
qによって照射構造の指数が表され、また、bによって線形結合を算出するときの係数が表される場合には、例えば、結果画像は、座標(m、n)を有する画素について、次の式を満たすように算出することができる。
Figure 0006608658
ここで、w(q、m、n)は、指数qを有する照射構造について反射をシェーディングするための重み付けを定義している。大きさI(q、m、n)は、座標(m、n)を有するピクセルにおいて指数qを有する照射構造について認識された画像の値を示す。係数bは、すべてが同じ符号を持っていなくてもよい。例えば、位相差画像を特定するため、または、コントラストの上昇を達成するために、指数bに対して様々な符号および/また数字が使用されてもよい。
修正された単独の画像から、複合画像および最後には結果画像を算出するために、計算上のフィルタを使用してもよい。重み関数を乗じることで、反射の周囲を制限することができる。複数の画像のうちどの画像にも反射の周囲にないピクセルは、単純に複数の画像で平均することができる。式(1)から(9)に関連づけて説明された処理ステップは、少なくとも1つの画像において、予め定義された反射の周囲に存在するピクセルに制限してもよい。
図4は、重み関数の乗算によるシェーディング操作を説明するための模式図41を示している。反射は、位置61において幾何学的な中心点を示している。位置61の周りにおける画像領域62内の画像センサのピクセルは、反射光を受け取ることができる。反射の周辺63において、反射をシェーディングするために、重み関数によって対応するピクセルの輝度を低減させることができる。
図5は画像センサ上の軸64に沿った重み関数66の具体例である。重み関数は、x座標がxである反射の中心点で最小となる。重み関数は、最小のxから、少なくとも1つの予め定義された距離だけ離れているピクセルについて約1、または、1の値になるまで単調に上昇する。それを境に重み関数が閾値thよりも小さくなるx方向の重み関数の特徴的な幅67は、システム反射または物体反射によって高い光輝度を受け取る画像センサ上のx方向の幅のサイズに依存していてもよい。
図6は、画像センサ上の他の軸65に沿った重み関数68の具体例である。反射の中心点でy座標が最小yとなる。重み関数は反射から離れた少なくとも予め定義された距離だけ反れたピクセルについて、その中心点から約1、または、1へと単調に増大する。それを境に重み関数が閾値thよりも小さくなるy方向の重み関数の特徴的な幅69は、システム反射または物体反射によって高い光輝度を受ける画像センサ上のy方向の幅のサイズに依存していてもよい。幅67、69は異なる座標軸において異なっていてもよい。
図7は、重み関数に依存した再規格化関数の特定を具体的に示す。この図には、第1の画像41において反射をシェーディングするための、低い重みが割り当てられた第1の領域56と、第2の画像42において反射をシェーディングするための低い重みが割り当てられた第2領域57と、第3の画像43において反射をシェーディングするための低い重みが割り当てられた第3領域58とが模式的に示されている。
修正された画像を算出するときには、第1の領域56内の各ピクセルには、複数の画像の内の一部分にだけに高い重みが割り当てられる。例えば、第2の画像42および第3の画像43からの元々の輝度によって、第1の領域56内の各ピクセルは、対応する修正された画像に入り込んでもよい。第1の修正された画像内において、第1の領域56には反射抑制のための低い重みが割り当てられ、例えば、完全にシェーディングされる。同様に、第2の領域57および第3の領域58内の各々のピクセルは、複数の画像のうちの一部分においてのみ高い重みが割り当てられる。
例えば反射の近傍に存在する画像の数が少ない、例えばそのような画像がないピクセル72は、1に近い重み係数によって、修正された各画像に入り込んでもよい。
修正された画像の複合画像または他の線形結合においてかなり異なって理解されるが、どのくらいの画像が反射の近くにあるかに依存するピクセルを考慮するために、前述したように画像依存の再規格化関数を特定してもよい。画素依存の再規格化関数は、2次元行列70と見なすこともでき、その行列成分はそのつど式(8)に従った再規格化関数によって示されてもよい。画像領域57〜59は、修正画像の少なくとも1つがシェーディングのために低く重みづけられている。反射の近くにあるために修正された画像の少なくとも1つがシェーディングに関して低く重みづけられた画像領域57〜59は、再規格化関数によって、修正された画像においてシェーディングされなかった画像のピクセル72と比較して補力されている。
修正された各画像においても、反射内にある画像においても、0で重み付けられたピクセルに関しては画像情報を算出することができない。このことは、例えば、回転対称の物体表面の物体反射によって引き起こされる。
システム反射のみを修正すべき場合には、各照射構造に対する重み関数だけではなく、再規格化関数についても予め特定し、画像装置に不揮発的に記憶されてもよい。
図8は、反射抑制のための方法80に関するフローチャートである。方法80は、電子評価装置20によって自動的に実施することができる。方法80は、システム反射を修正するためだけに使用してもよい。
ステップ81では、システムによって発生した反射に関する情報が呼び出される。情報には、各照射方向に対する照射の座標が含まれていてもよい。情報には、各照射方向に対する画素依存の重み関数が含まれていてもよい。
ステップ82では、各照射方向に対する画素依存の重み関数を特定することができる。画素依存の重み関数自体が反射についての情報として記憶される場合には、画素依存の重関数を単純に読み取ればよい。反射に関する他の情報が、例えば反射の中心点の座標の形、および/または反射のサイズの形として記憶される場合には、画素依存の重み関数は計算によって特定することができる。
ステップ83では、画素依存の重み関数によってピクセルずつ重み付けを行うことができる。このとき、対応する照射方向に対して反射の周囲に存在する各ピクセルの輝度には、1よりも小さい重みを乗じてもよい。反射の中心点からの距離が予め定義された閾値よりも大きいピクセルは、シェーディングが不要であるため、それらの元々の輝度が維持されてもよい。
ステップ81から83は、複数の照射構造の各々と、それらに対応する画像について実施することができる。各照射構造は、例えば空間内の照射角によって定義されていてもよく、この照射角は、どの方向に沿って照射光が物体上に当たるかを確定する。
ステップ84では、N番目の修正された画像をさらに処理してもよい。例えば、複合画像、あるいは他の線形結合を算出してもよい。照射方向に依存した異なる画像領域がシェーディングされるシェーディングを考慮した、画素依存の再規格化を実行してもよい。
予め記憶されたシステム反射に関する情報を使用する代わりに、あるいはそれに加えて、反射は、画像処理によって自動的に認識されてもよい。物体反射またはシステム反射を示す画像は、上述したように、さらに処理されてもよい。
図9は、反射抑制のための方法90のフローチャートである。方法90は、電子評価装置20によって自動的に実施されてもよい。方法90は、物体反射および/またはシステム反射を修正するために使用してもよい。
ステップ91では画像が撮影される。このために、照射は、光線3が照射構造の下で照射されるように制御される。照射構造は、例えば、照射光の方向を示す一対の角θx、θによって一義的に定めてもよい。
ステップ92では、画像が反射を示すか否かを調べる。このために様々な技術を使用してもよい。輝度の閾値の比較を行ってもよい。キャニーアルゴリズムを使用したエッジ検出を実施して、高い光輝度を受け取る領域を認識してもよい。画像内に反射が存在しない場合には、この方法はステップ95に続く。修正された画像は元々の撮影された画像と同じである。このことは、各ピクセルが同じく1である重み関数に対応する。画像が反射を示す場合には、方法はステップ93に続く。
ステップ93では、反射の位置、および、任意であるが反射のサイズもが特定される。このために、反射の中心点の座標を特定してもよい。x方向およびy方向における半値幅を特定してもよく、この半値幅において、光輝度は最大光輝度の半分に低下する。
ステップ94では、認識された画像に対して画素依存の重み関数が適用される。反射の周囲における各ピクセルの輝度には、1よりも小さい重みを乗じてもよい。重み関数は、反射内に存在するピクセルから、予め定義された距離よりも離れて存在するピクセルまで、単調に増大してもよい。
ステップ95では、さらなる画像撮影が必要か否かを調べる。加えて、これまでに撮影された画像の少なくとも一つにおける各ピクセルが、反射の外部に存在するかについて調べてもよい。その場合には、各ピクセルについて、物体に関する情報が少なくとも1つの画像に存在するから、さらに画像を撮影する必要がない。他の基準を使用してもよい。さらなる画像を認識すべき場合には、方法はステップ96に続く。ステップ96では、一つの照射構造が選択され、この照射構造は、これまでに使用したすべての照射構造とは異なっていてもよい。方法はステップ91に戻る。さらに画像を認識すべき場合には、方法はステップ97に続く。
ステップ97では、再規格化関数を、複数の重み関数に依存して算出してもよい。再規格化関数は、複数の画像に対して算出されるすべての重み関数、したがって反射の位置に依存していてもよい。画素依存の再規格化関数は、画像内のピクセルでの反射のシェーディングが、再規格化関数によって少なくとも部分的に補正されるように特定してもよい。画素依存の再規格化関数は、式(8)に従って様々な重み関数に依存して特定されてもよい。
ステップ98では、結果画像を算出することができる。加えて、修正された画像は複合画像に加算されてもよく、あるいは、他の線形結合を算出してもよい。複合画像の各ピクセルの輝度に、対応するピクセルにおける再規格化関数の値を乗じてもよい。同様に、任意の線形結合について、線形結合の各ピクセルの輝度に、対応するピクセルにおける再規格化関数の値を乗じてもよい。
図10は、一施例による画像撮影装置のブロック図100である。この画像撮影装置は、自動的に反射を抑制するために設けてもよい。
画像撮影装置は制御可能な照射装置101を含む。照射装置101によって、物体は複数の異なる照射構造によって順次照射される。照射制御部101は、設定された照射装置を順次制御することができる。照射装置101はLED配置を含んでいてもよい。照射装置101は、例えば可動式ピンホール、微小鏡面構造、液晶マトリックスまたは空間光変調器などの制御可能な光学素子を中間像面に含んでいてもよい。
画像センサ103は、物体の照射に使用される各照射構造に対して、少なくとも1つの画像を認識する。その画像は複数の色媒質の情報を含んでいてもよい。画像センサ103は、CCDチップまたはCMOSチップを少なくとも1つ含んでいてもよい。
シェーディング104のためのモジュールは、シェーディング操作を実施することができる。シェーディング操作は、画像撮影で使用された照射構造に依存していてもよい。シェーディング操作は、複数またはすべての画像の色媒質のピクセルの輝度の重み付けを含んでいてもよい。重み付けは、位置によって異なっていてもよく、これにより、反射の周辺における局所的なシェーディングを行うことができる。しかしながら、予め定義された間隔よりも反射から遠く離れているピクセルがそれ以上シェーディングされないように、局所的にシェーディングを行うこともできる。
システム反射105を修正するための情報を含む記憶媒体は、シェーディング用のモジュールに104に使用される情報を様々な形で蓄積することができる。修正情報は、反射の位置、または、任意として反射のサイズについての情報を含んでいてもよく、この情報から、シェーディング用のモジュール104に使用しなければならないシェーディング操作が算出される。修正情報は、様々な照射構造に関する重み関数を示すことができる。修正情報は、例えば、変換行列の形で、線形的撮像を定義することができ、この線形的撮像に従って、シェーディング操作の際、元々の画像のピクセルは、修正された画像のピクセルに撮像される。
シェーディング用モジュール104は、使用に特有な専用回路、コントローラ、マイクロコントローラ、プロセッサまたはマイクロプロセッサとして形成してもよい。シェーディング用モジュール104は、画像センサ103とともに、反射が抑制された修正された画像を自動的に算出する1つの構成ユニットとして組み合わせてもよい。それゆえに、反射抑制はハードウェアにコード化されてもよい。
画像撮影装置は、画像撮影装置自体の測定によって、システム反射を修正するための情報が算出されるように設けられてもよい。画像撮影装置は、システム反射を修正するための情報を自動的に算出するキャリブレーション用モジュール108を含んでいてもよい。加えて、どのシェーディング操作が照射構造に対応して必要であるかを特定するために、複数の周知の基準物体で撮影を行い、さらに処理をしてもよい。
撮影画像装置は、修正された画像を結合可能な画像結合モジュール107を含んでいてもよい。結果画像を特定するために、シェーディング操作によって算出された画像を合算してもよく、また、再規格化関数と乗じたり、あるいは、他の方法でさらに処理してもよい。
画像結合モジュール107は、シェーディング用モジュール104と一体形成されていてもよい。画像結合用モジュール107は、使用に特有な専用回路、コントローラ、マイクロコントローラ、プロセッサまたはマイクロプロセッサとして形成されていてもよい。画像結合用モジュール107は、画像センサ103とともに、反射が抑制された修正された画像を自動的に算出する、1つの構成ユニットとして一体形成されていてもよい。
画像撮影装置は、さらなるユニットを含んでいてもよい。例えば、反射認識モジュール107が存在していてもよい。反射認識モジュール107は、画像内の反射の位置、および、任意にサイズを認識できる。反射認識モジュール107は、認識された反射の位置に対応する画像のシェーディング操作を実施するシェーディング用モジュール104にこの情報を提供することができる。反射認識モジュール107は、複数の画像における反射位置に依存した再規格化関数を算出する、画像結合108のためのモジュールに連結されていてもよい。
図面と関連づけて実施例を説明した一方で、他の実施例による変形を実現してもよい。
シェーディング操作は多数の異なる形で実施してもよい。例えば、フィルタ核を用いた畳み込みによって実施してもよく、これにより、反射の近くの輝度は低く重みづけられる。
再規格化関数は、必ずしも式(8)に従って特定されなくてよい。例えば、再規格化関数は、簡単な補充において、単に画像数の逆数と等しくてもよく、このとき、対応するピクセルの輝度はシェーディングされない。
再規格化には、位置に依存した、および/または、方向に依存した輝度変化が算入されてもよい。これにより、反射抑制と同時に、このようなシステム上の輝度変化を修正することができる。
実施例の画像撮影は特に顕微鏡システムであってもよいが、ここで説明した技術を他の撮像システムに使用してもよい。

Claims (19)

  1. 1つの物体(2)を照射するための複数の照射構造(4)を調整するために制御可能な照射装置(11,12;101)と;
    前記複数の照射構造(4)に関して、前記物体(2)の複数の画像(41〜43)を認識するために設けられた、画像センサ(15)を備えた検出器(14)と;
    前記画像センサ(15)に連結され、前記複数の画像(41〜43)を処理するために設けられ、反射抑制を実行する電子評価装置(20)とを含み、
    前記電子評価装置(20)は、
    複数の修正された画像(44〜46)を生成するために、前記複数の画像(41〜43)の少なくとも一部の各々についてシェーディング操作(T、T、T)を実行するように、及び、複数の前記修正された画像(44〜46)を結合するために、設けられており、前記シェーディング操作(T 、T 、T )は、画像撮影装置の光学システムのシステム反射を抑制し、1つの画像に適用される前記シェーディング操作(T、T、T)は、対応する画像を認識するときの照射構造(4)に依存している、画像撮影装置。
  2. 一つの画像(41〜43)に適用される前記シェーディング操作(T、T、T)は、前記画像(41〜43)の一つの反射(56〜58)の一つの位置(61)に依存している、請求項1に記載の画像撮影装置。
  3. 前記シェーディング操作(T、T、T)は、対応する前記画像(41〜43)を認識するときの前記照射構造(4)に依存する画素依存の重み関数(66,68)の使用を含む、請求項2に記載の画像撮影装置。
  4. 前記画素依存の重み関数(66,68)は、前記反射(51〜53)内にあるピクセルの重みを、前記反射(51〜53)外にある他のピクセルの他の重みと比較して低減させる、請求項3に記載の画像撮影装置。
  5. 前記重み関数(66,68)は、前記ピクセルと前記他のピクセルのいずれかを単調に増大する、請求項4に記載の画像撮影装置。
  6. 前記重み関数(66,68)は、前記ピクセルと前記他のピクセルのいずれかを、0から1へ1段階だけ上昇させることなく単調に増大する、請求項5に記載の画像撮影装置。
  7. 前記電子評価装置(20)は、複数の画像(41〜43)のうち反射(56〜58)を示す各画像について、対応する前記画像(41〜43)を認識するときの前記照射構造(4)に依存する画素依存の重み関数(66,68)によって、少なくとも1つのピクセルを重みづけするように設けられている、請求項3から6のいずれか1項に記載の画像撮影装置。
  8. 前記電子評価装置(20)は、複数の画像(41〜43)に対して前記重み関数(66,68)から画素依存の再規格化関数(70)を算出するために設けられている、請求項3から7のいずれか1項に記載の画像撮影装置。
  9. 一つのピクセルに関する前記画素依存の再規格化関数(70)は、前記複数の画像のうちいくつの画像でそのつど重み関数(66,68)によって対応するピクセルの重みが減少されるかに依存する、請求項8に記載の画像撮影装置。
  10. 前記電子評価装置(20)は、前記シェーディング操作によって修正された画像の線形結合を特定するために設けられている、請求項8又は9に記載の画像撮影装置。
  11. 前記電子評価装置(20)は、前記画素依存の再規格化関数(70)により線形結合の値を重みづけするように設けられている、請求項10に記載の画像撮影装置。
  12. 前記照射構造(4)に依存するシステム反射をシェーディングする前記シェーディング操作(T、T、T)に関する情報は、前記画像撮影装置(1)に不揮発的に記憶される、請求項1から11のいずれか1項に記載の画像撮影装置。
  13. 前記シェーディング操作(T、T、T)は、前記物体(2)の物体反射を抑制する、請求項1から12のいずれか1項に記載の画像撮影装置。
  14. 前記電子評価装置(20)は前記複数の画像(41〜43)の各画像について、対応する画像における物体反射を自動的に同定する、請求項13に記載の画像撮影装置。
  15. 前記画像撮影装置(1)は、顕微鏡システムである、請求項1から14のいずれか1項に記載の画像撮影装置。
  16. 1つの物体(2)が複数の照射構造(4)の下で照射されているときの複数の画像(41〜43)の認識と;
    反射抑制のための前記複数の画像(41〜43)の処理とを含み、該処理は:
    複数の修正された画像(44〜46)を生成するための前記複数の画像(41〜43)の少なくとも一部分についてのシェーディング操作(T、T、T)であって対応する画像(41〜43)を認識するときの前記照射構造(4)に依存する該シェーディング操作(T、T、T)の実行と、
    前記複数の修正された画像(44〜46)の結合を含み、前記シェーディング操作(T 、T 、T )は、画像撮影装置の光学システムのシステム反射を抑制する、反射抑制を伴う画像撮影方法。
  17. 一つの画像(41〜43)に適用される前記シェーディング操作(T、T、T)は、前記画像(41〜43)における一つの反射(56〜58)の位置(61)に依存しており、
    前記シェーディング操作(T、T、T)の実行は、前記対応する画像(41〜43)を認識するときの前記照射構造(4)に依存した画素依存の重み関数(66,68)の使用を含む、請求項16に記載の方法。
  18. 前記画素依存の重み関数(66,68)は、前記反射(51〜53)内にあるピクセルの重みを、前記反射(51〜53)外にある他のピクセルの重みと比較して減少させ、
    前記重み関数(66,68)は、前記ピクセルと前記他のピクセルのいずれかを0から1へ1段階だけ上昇させることなく、単調に増大させる、請求項17に記載の方法。
  19. 請求項1から14のいずれか1項の画像撮影装置(1)によって実施される、請求項16から18のいずれか1項に記載の方法。
JP2015182188A 2014-09-15 2015-09-15 反射抑制を伴う画像撮影装置および方法 Expired - Fee Related JP6608658B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014113256.4A DE102014113256A1 (de) 2014-09-15 2014-09-15 Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung
DE102014113256.4 2014-09-15

Publications (2)

Publication Number Publication Date
JP2016063540A JP2016063540A (ja) 2016-04-25
JP6608658B2 true JP6608658B2 (ja) 2019-11-20

Family

ID=55405760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015182188A Expired - Fee Related JP6608658B2 (ja) 2014-09-15 2015-09-15 反射抑制を伴う画像撮影装置および方法

Country Status (2)

Country Link
JP (1) JP6608658B2 (ja)
DE (1) DE102014113256A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830171B2 (en) 2017-11-06 2023-11-28 Carl Zeiss Microscopy Gmbh Reducing image artifacts in images

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122712B4 (de) 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
DE102016101967B9 (de) 2016-02-04 2022-06-30 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtungen zur Stereobilddarstellung
DE102017107178B4 (de) * 2017-04-04 2019-01-17 Carl Zeiss Meditec Ag Mikroskop mit Vorrichtung zum Erzeugen von reflexkorrigierten Abbildungen sowie Reflexkorrekturverfahren zum Korrigieren von digitalen mikroskopischen Abbildungen
DE102017115658A1 (de) * 2017-07-12 2019-01-17 Carl Zeiss Microscopy Gmbh Flackern bei Winkel-variabler Beleuchtung
DE102018107356A1 (de) 2018-03-28 2019-10-02 Carl Zeiss Microscopy Gmbh Autofokus mit winkelvariabler Beleuchtung
KR102279867B1 (ko) * 2020-06-02 2021-07-21 주식회사 슈프리마아이디 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치
DE102020127071B3 (de) 2020-10-14 2021-06-17 Abberior Instruments Gmbh Verfahren und Mikroskop mit einer Einrichtung zum Erfassen von Verlagerungen einer Probe gegenüber einem Objektiv

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
JP2006023491A (ja) * 2004-07-07 2006-01-26 Olympus Corp 顕微鏡撮像装置および生体試料観察システム
JP4356733B2 (ja) * 2006-11-09 2009-11-04 アイシン精機株式会社 車載用画像処理装置とその制御方法
JP2009047460A (ja) * 2007-08-15 2009-03-05 Lasertec Corp 共焦点顕微鏡
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
US20130329073A1 (en) * 2012-06-08 2013-12-12 Peter Majewicz Creating Adjusted Digital Images with Selected Pixel Values
JP6138779B2 (ja) * 2012-06-20 2017-05-31 株式会社日立製作所 自動画像合成装置
US20140002722A1 (en) * 2012-06-27 2014-01-02 3M Innovative Properties Company Image enhancement methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830171B2 (en) 2017-11-06 2023-11-28 Carl Zeiss Microscopy Gmbh Reducing image artifacts in images

Also Published As

Publication number Publication date
JP2016063540A (ja) 2016-04-25
DE102014113256A1 (de) 2016-03-17

Similar Documents

Publication Publication Date Title
JP6608658B2 (ja) 反射抑制を伴う画像撮影装置および方法
CN107607040B (zh) 一种适用于强反射表面的三维扫描测量装置及方法
KR102618542B1 (ko) ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
JP6570327B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP4077869B2 (ja) 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
US10298863B2 (en) Automatic compensation of lens flare
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
CN107113370B (zh) 图像记录设备及记录图像方法
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
WO2010100842A1 (ja) 撮像装置、運転者監視装置、顔部測距方法およびプログラム
JP2009524849A (ja) シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
US10356384B2 (en) Image processing apparatus, image capturing apparatus, and storage medium for storing image processing program
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013197334A (ja) 基準マーク生成方法及び基準マーク生成装置
US20160284102A1 (en) Distance measurement apparatus, distance measurement method, and storage medium
WO2014003994A1 (en) Image enhancement methods
JP2019168862A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP2021044710A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2021182670A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US11978214B2 (en) Method and apparatus for detecting edges in active stereo images
JP2005216191A (ja) ステレオ画像処理装置およびステレオ画像処理方法
US20240177346A1 (en) Method for operating an image recording system, image recording system, and computer program
US11688046B2 (en) Selective image signal processing
KR101087863B1 (ko) 구조 광 패턴을 이용한 영상의 경계를 결정하는 방법, 이러한 방법이 기록된 기록매체 및 구조 광 패턴을 이용한 영상의 경계 인식 시스템

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20151120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20151120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191024

R150 Certificate of patent or registration of utility model

Ref document number: 6608658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees