JP6277223B2 - 画像の反射補正のための方法およびそれに関連する装置 - Google Patents

画像の反射補正のための方法およびそれに関連する装置 Download PDF

Info

Publication number
JP6277223B2
JP6277223B2 JP2016091015A JP2016091015A JP6277223B2 JP 6277223 B2 JP6277223 B2 JP 6277223B2 JP 2016091015 A JP2016091015 A JP 2016091015A JP 2016091015 A JP2016091015 A JP 2016091015A JP 6277223 B2 JP6277223 B2 JP 6277223B2
Authority
JP
Japan
Prior art keywords
image
illumination
reflection
subject
correction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016091015A
Other languages
English (en)
Other versions
JP2016212411A (ja
Inventor
シュトッペ ラース
シュトッペ ラース
ミルデ トーマス
ミルデ トーマス
ヴィンテロット ヨハネス
ヴィンテロット ヨハネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2016212411A publication Critical patent/JP2016212411A/ja
Application granted granted Critical
Publication of JP6277223B2 publication Critical patent/JP6277223B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Description

本発明は、被写体の画像、好ましくはデジタル顕微鏡画像の反射補正のための方法およびそれに関連する装置に関する。
照明を有する光学系により画像を記録する際、照明と被写体と系との間の相互作用により引き起こされる望ましくない反射(画像記録または画像印象を損なう)が発生し得る。画像内の重要な詳細はこのような反射の結果として失われ得る。これらの反射は、2つの異なる原因、すなわち第1に光学系内の多重反射(系反射)の結果として発生する画像反射と、第2に特に反射光照明の場合に特定方向の調査対象被写体の高反射率の結果としての画像反射とを有し得る。
系反射は現在では通常、系内の極めて重要な光学面上の特別な反射防止被覆により補正される。さらに、複雑性が増した特別な光学的設計が系反射を低減するために導入される。さらに、撮像に関連しないすべての部品のつや消し(黒化)もまたあり得る。さらに、偏光反射防止装置もまた使用され得る。
米国特許出願公開第2004/0212725号明細書
エイ アグラワル(A. Agrawal), アール ラスカー(R. Raskar), エス ナイヤル(S. Nayar), ワイ リー(Y. Li)著、「勾配投影及びフラッシュ露光サンプリングを用いた撮影アーチファクト除去(Removing Photography Artifacts using Gradient Projection and Flash-Exposure Sampling)」、2005年、ACM Transactions on Graphics 24,3、 S. 828-835 エイ アルトゥージ(A. Artusi), エフ バンタール(F. Banterle), ディ チュトべリコフ(D. Chetverikov)著、「鏡面性除去の検査方法(A Survey of Specularity Removal Methods)」、コンピュータ グラフィカル フォーラム(Computer Graphics Forum)、 Vol.30(2011)8, S. 2208-2230 アール フェリス(R. Feris), アール ラスカー(R. Raskar), ケイ エイチ タン(K.-H. Tan), エム ターク(M. Turk)著、「マルチフラッシュイメージングを用いた鏡面反射の低減(Specular Reflection Reduction with Multi-Flash Imaging)」、 第17回コンピュータグラフィカル及びイメージング処理に関するブラジルシンポジウムXVLL会報(Proceedings of the XVII Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI’04))、2004年, Vol.42, S.316-321
しかし、これらの処置のすべては生産中の経費増加を必要とし、したがって高コストであり得る。
発生する反射を画像後処理により、例えば撮像された被写体の画像部分内の輝度差の増加を補償することにより、または数学的モデルによりモデル化される被写体の反射性質によりデジタル的に補正する試みがしばしば行われ、得られた反射を計算により画像から除去する試みが行われている。これらの後処理方法の欠点は、これらの後処理方法が画像内に発生する反射を特別な場合においてのみ最大限に除去し得ることである。ここでの別の欠点は、撮像された被写体が処理中に改ざんされ得ることである。さらに、過去の画像処理方法は時間がかかり計算集約的である。
したがって、被写体を照明した結果として光学機器において(例えば、デジタル顕微鏡において)発生する反射を迅速かつより信頼性の高い方法で顕微鏡記録から除去できるようにする選択肢を提供することが望ましい。
本発明は、従来技術から知られた欠点の少なくともいくつかを回避するまたは少なくとも低減する選択肢を提案することを目的とする。
本発明によると、この目的は主請求項に記載の方法によりおよび従属請求項に記載の装置により達成される。
ここで、主請求項の主題は画像、好ましくは顕微鏡画像を補正するための反射補正方法に関する。
顕微鏡画像は様々な既知の微視的方法により取得され得る。本発明による方法は、様々な画像処理技術およびアルゴリズムがここではいずれの場合も使用されるため、デジタル顕微鏡検査において特に有利な方法で適用可能である。
ここで、反射補正方法は、
少なくとも2つの異なる照明パターンであって、それぞれが少なくとも1つのアクティブ照明源を有する、少なくとも2つの異なる照明パターンにより被写体を照明する工程と、
照明パターン毎に被写体の照明パターン画像を生成する工程と、
2つの照明パターン画像を組み合わせることにより少なくとも1つの部分的反射画像を計算する工程と、
すべての照明パターン画像の少なくともいくつかとすべての部分的反射画像の少なくともいくつかとの好適な組み合わせにより被写体の反射補正画像を計算する工程と、を備える。
本方法の工程は自動的な方法で行われ得る。有利には、本方法の工程は顕微鏡の「ライブ」モードで非常に速く行われるため、ユーザは補正工程を待つ必要無くほぼライブな画像を観測する。したがって、反射補正画像を形成するために顕微鏡のハードウェア(光学エンジン)において照明パターン画像を記録し処理することは「ライブ」画像の再生より実質的に高い速度で起きる。
ここで、本発明の意味の範囲内の照明パターンは、被写体の対応する照明パターン画像を生成するために被写体を照明するための1つまたは複数の照明源を標的にして活性化することであり得る。一例として、照明パターンは第1の照明源による被写体の照明であり、一方、第2の照明パターンは1つまたは複数の他の照明源により被写体を照明する。LEDリングライトの場合、暗視野反射光照明の顕微鏡検査においてしばしば使用されるように、このような照明パターンは、個々のLEDを標的としてまたはリングライトの複数のLEDを標的として活性化することにより容易に生成され得る。したがって、照明パターンは様々な照明源の規定の構成または切換えであると理解される。照明パターン自体は、例えば照明源のマトリックスにより形成され、マトリックスの照明源の異なる照明源が照明パターン毎にスイッチオンされる。ここで、マトリックスの設計および同時にスイッチオンされる照明源の許容数に依存して、組み合わせにより確立される多くの異なる照明パターンが生成され得る。
ここで、本発明の意味の範囲内の照明パターン画像は被写体の光学的デジタル記録(画像)であり、被写体は照明パターンにより照明される。
ここで、本発明の意味の範囲内の部分的反射画像は2つの好適な照明パターン画像が互いに組み合わせられることにより生成される画像である。一般的に、好適な照明パターンは幾何学的に「隣接」したものである。選択はこの隣接性の定義に従ってなされる。照明パターン画像は、両方の照明パターン画像内に存在する反射がそのまま残り、一方反射を有しない画像部分は互いに相殺するような方法で組み合わせられる。この目的を達成するために、個別画像の差の絶対値が形成される。反射は表面特性のために移動することになり、一方、実際の被写体は変わらないままである。
ここで、本発明の意味の範囲内の反射補正画像は、照明パターン画像を記録する際に発生した反射に関して補正された画像である。
ここで、本発明の意味の範囲内の少なくとも1つの照明パターン画像と少なくとも1つの部分的反射画像とを組み合わせることにより被写体の反射補正画像を計算することは、対応する部分的反射画像と対応する照明パターン画像とを好適には組み合わせることにより、対応する照明パターンによる照明の結果として関連照明パターン画像において生成される反射を補正する処理であり得る。ここで、計算された部分的反射は計算により反射補正全体画像中に正しく導入される必要がある。すなわち、計算式は部分的反射画像の計算に依存する。一例として、これは、対応する照明パターン画像が合算され、合算された対応する部分的反射画像がそれから減算されることにより行われ得る。本発明による方法の発展形態では、所望であり必要であれば一部分のみもまた加算される可能性があり、または追加の画像処理工程が挿入される可能性がある。
ここで、本発明の意味の範囲内のアクティブ照明源は被写体を照明するためにスイッチオンされた光源(例えば、個々のLED、またはLEDリングライト内のLEDの群)であり得る。
したがって、被写体の角度選択的照明は、被写体の周囲に複数のこのような照明源を配置してそれを標的にして活性化することにより実現され得る。
本発明による教示により得られる利点は、照明により発生する反射が可能な限り削除または完全に削除され得る良好に照明された画像記録が被写体に対して生成され得ることである。これは、費用効率の高い方法で実現され、被写体は可能な限り変造されないかまたは完全に変造されない方法で表示される。
この結果、特に顕微鏡検査において生成されるような拡大記録の場合、可能な限り反射の無い良好に照明された物体画像が生成され得る。
従属請求項の主題は、反射補正被写体撮像のための、好ましくは反射補正顕微鏡検査のための、特に好ましくは反射補正光学顕微鏡検査のための反射補正装置に関する。
ここで、反射補正装置は画像記録装置と反射補正装置とを含む。ここで、画像記録装置は被写体画像を取得し、その被写体画像を反射補正装置へ転送するように構成される。ここで、反射補正装置は、好ましくはハードウェアまたはソフトウェア画像処理手段により本発明による反射補正方法を行うように構成される。
ここで、本発明の意味の範囲内の画像記録装置は、被写体を走査し光学的に描写するのに好適な装置であり得る。特に、画像記録装置は、顕微鏡、特に好ましくはデジタル画像捕捉を有する光学顕微鏡であり得る。さらに、画像記録装置は、記録対象被写体の角度選択的照明のための複数の照明源を有し得る。
ここで、本発明の意味の範囲内の反射補正装置は、画像記録中に被写体の照明により生成される反射を補正するように構成された装置を有し得る。この目的を達成するために、反射補正装置はCPUおよび関連アーキテクチャを有し得る。特に、反射補正装置は、その反射補正装置に応じて構成されたコンピュータまたはデジタル顕微鏡の画像処理装置であり得る。
本発明による教示により得られる利点は、被写体を角度選択的な方法で照明し、処理において記録し、照射により生成された厄介な反射を可能な限り削除するまたは完全に削除することができるようにする装置を費用効率の高い方法で提供することが可能であることである。
別の従属請求項の主題は、本発明による反射補正装置のためのコンピュータプログラム製品であって、本発明による反射補正方法により動作可能なコンピュータプログラム製品に関する。本発明による教示により得られる利点は、反射補正方法が本発明による反射補正装置により自動的な方法で動作可能であり、簡単かつ費用効率の高い方法で本発明による対応する様々な装置のために提供され得ることである。
ここで、別の従属請求項の主題は、本発明によるコンピュータプログラム製品を含むデータ媒体に関する。
本発明による教示により得られる利点は、反射補正方法が本発明による反射補正装置により自動的な方法で動作可能であり、簡単かつ費用効率の高い方法で本発明による対応する様々な装置のために提供され得ることと、データ媒体が本発明による対応する装置へ本方法を装置の場所において直接ポーティングする(port)ことができるように容易に搬送され得ることとである。
本発明の実施形態について以下にさらに詳細に説明する前に、本発明は、説明した部品または説明した方法の工程に限定されないことに注意すべきである。さらに、採用される用語はまた、限定を定めるのではなく例示的特徴を有するにすぎない。単数形が本明細書および特許請求の範囲において使用される限りにおいて、これはまた、文脈により明示的に排除されない限り、それぞれの場合に複数を含む。これが文脈により明示的に排除されない限り、可能な方法の工程は自動的な方法で行われ得る。
本発明による方法の別の例示的実施形態について以下に説明する。
第1の例示的実施形態によると、反射補正方法は、被写体の周囲に幾何学的基本構造を形成するすべての照明パターンのアクティブ照明源をさらに含む。照明パターンはパターングループから選択可能なパターンを有する。
ここで、パターングループは、
単一アクティブ照明源、
幾何学的基本構造の1/8の形式の複数のアクティブ照明源、
幾何学的基本構造の1/4の形式の複数のアクティブ照明源、
幾何学的基本構造の1/2の形式の複数のアクティブ照明源、および、さらに
アクティブ照明源として幾何学的基本構造の1つ置きの照明源、を含む。
ここで、本発明の意味の範囲内の幾何学的基本構造は、記録対象被写体の相応に良い照明を実現するために配置された照明源であり得る。好ましくは、幾何学的基本構造は円構造または円状構造であり得るが、四辺形または多角形でもあり得る。ここでは、様々なリング照明が利用され得る。
この実施形態の利点は、被写体の理想的照明を可能にし得る照明パターンを選択することが可能であり、この場合、可能な限り容易に補正され得る反射が生成されるように配慮することが可能であることである。
別の例示的実施形態によると、反射補正方法は、
好適な第1の照明グループと好適な別の照明グループとを形成する工程と、
各照明パターン画像を第1の照明グループまたは別の照明グループに割り当てる工程と、をさらに含む。
ここで、対応する部分的反射画像を判断するためのそれぞれ2つの照明パターン画像は異なる照明グループに属する。
ここで、本発明の意味の範囲内の照明グループは、照明パターンのうちのいくつかを受信し得るグループであり得る。したがって、照明パターンは対応する部分的反射画像を生成することができるようにいくつかのグループにソートされる。
この実施形態の利点は、部分的反射画像が、角度選択的照明により生成される反射がハイライトされるような効果的な方法で生成されることである。
別の例示的実施形態によると、反射補正方法は、第1の照明グループの照明パターンの数および/または別の照明グループの照明パターンの数に対応する数の部分的反射画像をさらに含む。
この実施形態の利点は、1つまたは複数の被写体画像または被写体画像からこれらの反射をその後フィルタリングするために、角度選択的照明の結果としてまたは照明パターンの結果として、発生する反射をハイライトするのに必要な数の部分的反射画像を生成することのみが必要であることである。
別の例示的実施形態によると、反射補正方法は、対応する2つの照明パターン画像の差画像(difference image)に対応する各部分的反射画像をさらに含む。
ここで、本発明の意味の範囲内の差画像は、2つの画像が互いに(例えば画素毎に)減算される際に生成される画像であり得る。その際、同一画素は削除される。このようにして、照明の角度選択性により生成される画像部分(すなわち、対応する照明パターンまたは2つの互いに同様な照明パターンの反射)のみが、静的被写体の場合にそのまま残る。
この実施形態の利点は、対応する被写体画像から反射をその後フィルタリングすることができるように、簡単な方法において、反射を含む画像のみを可能な限り生成することが可能であることである。
別の例示的実施形態によると、反射補正方法は、絶対値差画像、好ましくは重み付け絶対値差画像を有する差画像をさらに含む。
ここで、本発明の意味の範囲内の絶対値差画像は、絶対値が減算中に形成され、したがってそれぞれの結果が常に正値を有するため、2つの画像のいずれが他方から減じられたかが画素の差画像においていかなる役割も果たさない画像であり得る。
ここで、本発明の意味の範囲内の重み付け絶対値差画像は、例えば一定の輝度に正規化される絶対値画像であり得る。
この実施形態の利点は、部分的反射画像の生成中、2つの対応する照明パターン画像のうちのいずれが他方から減じられる必要があるかを予め選択する必要が無いため、本方法が柔軟に行われることである。
別の例示的実施形態によると、反射補正方法は、照明パターン画像の互いに対する好適な隣接性関係を判断する工程をさらに含む。ここで、第1の照明グループと別の照明グループとは隣接性関係により形成される。それぞれの照明パターン画像は、隣接性関係に基づき第1の照明グループまたは別の照明グループに割り当てられる。
ここで、本発明の意味の範囲内の互いに対する照明パターン画像の隣接性関係は、基本として、2つの対応する照明パターンによる照明の同様の角度選択性を有し得る。ここで、隣接性は基準軸に起因する近接性であり得る。隣接性はまた、それぞれの場合に照明パターンのうちの異なるものにおいて使用される2つの照明源の直接的近接性により与えられる。
この実施形態の利点は、反射が照明パターン画像の隣接性の結果として同様の角度選択性を有し、したがって関連照明パターン画像内にほぼ同じ反射を生成する部分的反射画像を形成するための照明パターン画像を使用することが可能であることである。
別の例示的実施形態によると、反射補正方法は、選択されたパターンに依存する方法で判断される隣接性関係をさらに含む。
この実施形態の利点は、反射が照明パターンの隣接性の結果として同様の角度選択性を有し、したがって関連照明パターン画像内にほぼ同じ反射を生成する部分的反射画像を形成するための照明パターン画像を使用することが可能であることである。
別の例示的実施形態によると、反射補正方法は、部分的反射画像の少なくともいくつかから全体反射画像を確立する工程をさらに含む。
好ましくは、これはすべての部分的反射画像により発生し得る。
ここで、本発明の意味の範囲内の全体反射画像は、すべての対応する部分的反射画像が全体画像を形成するために組み合わせられる画像であり得る。したがって、角度選択的記録により生成されたすべての反射は画像内に組み合わせられ、被写体のほぼすべての反射のみが含まれる画像が生成される。
この実施形態の利点は、反射が簡単かつ効率的な方法で被写体からフィルタリングされ得ることである。
別の例示的実施形態によると、反射補正方法は、対応する部分的反射画像を互いに好適に重畳させることにより、全体反射画像を確立する工程をさらに含む。特に好ましくは、好適な重畳は対応する部分的反射画像を合計することにより行われる。
この実施形態の利点は、被写体のすべての反射が簡単かつ効率的な方法で画像内に描写されることである。
別の例示的実施形態によると、反射補正方法の被写体の反射補正画像の構築は、
全体照明パターン画像を形成するためにすべての照明パターン画像の少なくともいくつか、好ましくはすべての照明パターン画像を合計する工程と、
全体画像を形成するために全体反射画像を全体照明パターン画像から減じる工程と、
全体画像を好適に正規化する工程と、を含む。
ここで、全体画像の正規化の結果は被写体の反射補正画像に対応する。
ここで、本発明の意味の範囲内の全体照明パターン画像は、全体画像を形成するためにすべての対応する照明パターン画像が組み合わせられた画像であり得る。したがって、すべての照明方向からの被写体に関する情報は1つの画像内に描写される。したがって、角度選択的記録により生成されるすべての反射を含むすべての情報がこの画像内に含まれ得る。
この実施形態の利点は、画像がこのようにして生成され、角度選択的照明により生成されるすべての反射が画像から簡単かつ効率的な方法でフィルタ除去され得ることである。
別の例示的実施形態によると、反射補正方法は被写体を分散的に反射する工程を含む。
この実施形態の利点は、本方法が、反射のためにいかなる明示的優先方向も有しない被写体へ適用可能であることである。
したがって、本発明は、被写体を光学的に取得する目的のために被写体の理想的照明を提供することができ、処理中に照明により生成される反射が可能な限り無い状態で被写体を光学的に描写することができる方法および関連装置を提供できるようにする。
次に、反射補正画像は次のように計算される。
ここで、N(i)はiに直接隣接する照明方向の組であり、mはすべての隣接照明方向N(i)の数を規定する。
いくつかの照明設定では、単一照明の複数の可能な隣接照明方向が考慮される必要がある。照明グリッドの場合、画素連結性の概念が適切な近隣性定義を与え得る。しかし、より一般的な近隣性が可能である。結果的に、本発明者らは、N(i)により照明方向iの近隣の指標を示す。
#N(i)により、方向iの近隣の数が示される。より一般的には、#は、以降に説明される離散集合の要素をカウントする。例えばsum_over i:#(N(i)=jはjが近隣である場合の方向の数である。
この表記に続いて、本発明者らは反射補正の式を次のように一般化し得る。
いかなる照明方向もそれ自体の近隣ではあり得ないことと、明確な近隣照明方向を有する少なくとも1つの照明方向が存在しなければならないこととに留意されたい。
または、反射は、次式のように行われる画像平均化により低減(または除去)され得る。
さらに、隣接性は必ずしも直接的隣接性である必要はなく、またはすべての個別方向に対して完全である必要はなく、通常は、対称である必要もない。しかし、i毎の数mは適応化される必要がある。
本発明の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の円状幾何学的基本構造のいくつかの例示的照明パターンの概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案方法の概略図を示す。 本発明の別の例示的実施形態による提案装置の概略図を示す。
本発明について、添付図面に基づき以下により詳細に説明する。
図1は、本発明の例示的実施形態による提案方法の概略図を示す。
ここで、図1は、画像(好適には顕微鏡画像)の補正のための反射補正方法の概略図を示す。ここで、反射補正方法は以下の工程を含む:被写体を照明する工程(10)であって、少なくとも2つの照明パターン11、12を有する被写体を照明する工程(10)、照明パターン11、12毎に被写体の照明パターン画像21、22を生成する工程、対応する2つの照明パターン画像21、22の好適な組み合わせにより、それぞれの場合に多くの部分的反射画像61を判断する工程(60)、すべての照明パターン画像21、22の少なくともいくつかとすべての部分的反射画像61の少なくともいくつかとの好適な組み合わせにより被写体の反射補正画像99を構築する工程(90)。処理では、各照明パターン11、12は少なくとも1つのアクティブ照明源111を有し、各照明パターン11、12は他のすべてと異なる。
図2は、本発明の別の例示的実施形態による提案方法の円状幾何学的基本構造のいくつかの例示的照明パターンの概略図を示す。ここで、図2は4行の異なる照明パターンを示す。ここで、すべての照明パターン11、12のアクティブ照明源111は各行内において被写体の周囲に幾何学的基本構造112を形成する。照明パターン11、12はパターングループから選択可能なパターンを有する。パターングループは以下のものを含む:行1に例示的方法で描写するような単一アクティブ照明源111、幾何学的基本構造112の1/8の形式の複数のアクティブ照明源111、図2の例では幾何学図形は8つの照明源111を有するため、行1が同様にこのパターンに対応し、行2に例示的方法で描写するような幾何学的基本構造112の4分の1の形式の複数のアクティブ照明源111、行3に例示的方法で描写するような幾何学的基本構造112の2分の1の形式の複数のアクティブ照明源111、および行4に例示的方法で描写するようなアクティブ照明源111としての幾何学的基本構造112の1つ置きの第2の照明源111。
図3は、本発明の別の例示的実施形態による提案方法の概略図を示す。
ここで、図3は、図1の方法に関係して拡張された方法の概略図を示す。図1に関係して上に述べたことは、同様に図3に当てはまる。
図3から推測され得るように、反射補正方法は、以下のものをさらに含む:好適な第1の照明グループ31と好適な別の照明グループ32とを形成する工程(30)、各照明パターン画像21、22を第1の照明グループ31または別の照明グループ32に割り当てる工程(40)、その際、対応する部分的反射画像を判断する(60)ためのそれぞれ2つの照明パターン画像21、22は異なる照明グループ31、32に属する。
図4は、本発明の別の例示的実施形態による提案方法の概略図を示す。
ここで、図4は、図1および図3の方法に関係して拡張された方法の概略図を示す。図1および図3に関係して上に述べたことは、同様に図4に当てはまる。
図4から推測され得るように、反射補正方法は、照明パターン画像21、22の互いに対し好適な隣接性関係を判断する工程(50)をさらに含む。ここで、第1の照明グループ31と別の照明グループ32とは隣接性関係により形成される(30)。それぞれの照明パターン画像21、22は隣接性関係に基づき第1の照明グループ31または別の照明グループ32に割り当てられる。
さらに、隣接性関係は選択パターンに依存する方法で判断される(50)。
また、反射補正方法は、部分的反射画像61の少なくともいくつかから全体反射画像81を確立する工程(80)をさらに含む。
ここで、全体反射画像81は、好適には対応する部分的反射画像61を互いに重畳することにより、特に好適には対応する部分的反射画像61を合計することにより確立される(80)。
さらに、反射補正方法の被写体の反射補正画像99を構築する工程(90)は、以下のものを含む:全体照明パターン画像23を形成するためにすべての照明パターン画像21、22の少なくともいくつか、好ましくはすべての照明パターン画像21、22を合計する工程(91)、全体画像97を形成するために全体照明パターン画像23から全体反射画像81を減じる工程(92)、および全体画像97を好適に正規化する工程(93)、ここで、全体画像97の正規化93の結果は被写体の反射補正画像99に対応する。
図5は、本発明の別の例示的実施形態による提案装置の概略図を示す。
ここで、図5は、反射補正被写体撮像のための、好ましくは反射補正顕微鏡検査のための、特に好ましくは反射補正光学顕微鏡検査のための反射補正装置100の概略図を示す。反射補正装置100は、画像記録装置110と反射補正装置120とを含む。ここで、画像記録装置110は、被写体を記録または取得し、その結果(画像)を反射補正装置120へ転送するように構成される。反射補正装置100は、本発明による反射補正方法を行うようにさらに構成される。
本発明の概念は以下に概説されるように要約され得る。被写体を光学的に取得することが可能になり得、および処理では、被写体を記録する際に照明により生成される反射を補正し得る方法および対応する装置が提供される。根本原理は、反射は通常、照明方向に強く依存するため、隣接照明方向の画像が被写体の同様の画像を常に示すことである。その結果、記録画像の差を形成する際に反射はそのまま残る。その後、反射は、絶対値、和、および正規化値を形成することにより、個々の画像の和から直接減じられ得る方法で正規化される。生成画像はその後、もはや直接的反射を可能な限り含まない。
この方法はパラメータによらないため、現在の実用的実施形態において発生し得るような不自然なアーチファクトの生成は無い。さらに、照明方向依存反射はその強度とは無関係に除去される。
10 被写体を照明する工程
11、12 照明パターン
20 照明パターン画像を生成する工程
21、22 照明パターン画像
23 全体照明パターン画像
30 第1および第2の照明グループを形成する工程
31 第1の照明グループ
32 第2の照明グループ
40 各照明パターン画像を照明グループに割り当てる工程
50 照明パターン画像の互いに対する隣接性関係を判断する工程
60 少なくとも1つの部分的反射画像を計算する工程
61 部分的反射画像
80 全体反射画像を確立する工程
81 全体反射画像
90 反射補正画像を計算する工程
91 全体照明パターン画像を形成するためにすべての照明パターン画像の少なくともいくつかを合計する工程
92 全体画像を形成するために全体照明パターン画像から全体反射画像を減じる工程
93 全体画像を正規化する工程
97 全体画像
99 反射補正画像
100 反射補正装置
110 画像記録装置
111 照明源
112 幾何学的基本構造
120 反射補正装置

Claims (15)

  1. デジタル顕微鏡画像を補正するための反射補正方法であって、
    少なくとも2つの異なる照明パターン(11、12)であって、各々、少なくとも1つのアクティブ照明源(111)を有する少なくとも2つの異なる照明パターン(11、12)により被写体を照明する工程(10)と、
    照明パターン(11、12)毎に前記被写体の照明パターン画像(21、21)を生成する工程(20)と、
    2つの照明パターン画像(21、22)を組み合わせることにより少なくとも1つの部分的反射画像(61)を計算する工程と、
    少なくとも1つの照明パターン画像(21、22)と少なくとも1つの部分的反射画像(61)とを組み合わせることにより前記被写体の反射補正画像(99)を計算する工程(90)と、を備える反射補正方法。
  2. すべての照明パターン(11、12)の複数のアクティブ照明源(111)は、前記被写体の周囲に幾何学的構造(112)を形成し、
    前記照明パターン(11、12)は、
    単一アクティブ照明源(111)、
    前記幾何学的構造(112)の1/8の領域にある複数のアクティブ照明源(111)、
    前記幾何学的構造(112)の1/4の領域にある複数のアクティブ照明源(111)、
    前記幾何学的構造(112)の2分の1の領域にある複数のアクティブ照明源(111)、および
    アクティブ照明源(111)として前記幾何学的構造(112)の1つ置きの照明源(111)のうちの1つから選択可能なパターンを有する、請求項1に記載の反射補正方法。
  3. 第1の照明グループ(31)と別の照明グループ(32)とを形成する工程(30)と、
    各照明パターン画像(21、22)を前記第1の照明グループ(31)または前記別の照明グループ(32)に割り当てる工程(40)とをさらに備え、
    対応する部分的反射画像(61)を判断するためのそれぞれ2つの照明パターン画像(21、22)は、異なる照明グループ(31、32)に属する、請求項1または2に記載の反射補正方法。
  4. 部分的反射画像(61)の数は、
    前記第1の照明グループ(31)の照明パターン(11、12)の数および前記別の照明グループ(32)の照明パターン(11、12)の数のうちの少なくとも一方に対応する、請求項3に記載の反射補正方法。
  5. 各部分的反射画像(61)は、対応する2つの照明パターン画像(21、22)の差画像に対応する、請求項1〜4のいずれか一項に記載の反射補正方法。
  6. 前記差画像は、絶対値差画像を有する、請求項5に記載の反射補正方法。
  7. 前記照明パターン画像(21、22)の互いに対する隣接関係を判断する工程(50)をさらに備え、
    第1の照明グループ(31)と別の照明グループ(32)とは、前記隣接関係により形成され(30)、
    それぞれの照明画像(21、22)は、前記隣接関係に基づき前記第1の照明グループ(31)または前記別の照明グループ(32)に割り当てられる、請求項3〜6のいずれか一項に記載の反射補正方法。
  8. 前記隣接関係は、前記選択されたパターンに依存する方法で判断される(50)、請求項7に記載の反射補正方法。
  9. 前記部分的反射画像(61)の少なくともいくつかから全体反射画像(81)を確立する工程(80)をさらに備える請求項1〜8のいずれか一項に記載の反射補正方法。
  10. 前記全体反射画像(81)は、対応する部分的反射画像(61)を互いに重畳することにより、確立される(80)、請求項9に記載の反射補正方法。
  11. 前記被写体の前記反射補正画像(99)を計算する工程(90)は、
    すべての照明パターン画像(21、22)の少なくともいくつかを合計して全体照明パターン画像(23)を形成する工程(91)と、
    全体反射画像(81)を全体照明パターン画像(23)から減じて全体画像(97)を正規化する工程(93)と、を含み、
    前記全体画像(97)の正規化(93)の結果は、前記被写体の反射補正画像(99)に対応する、請求項9または10に記載の反射補正方法。
  12. 前記被写体は、分散的に反射する被写体である、請求項1〜11のいずれか一項に記載の反射補正方法。
  13. 反射補正被写体撮像のための装置(100)であって、
    画像記録装置(110)と、
    反射補正装置(120)と、を備え、
    前記画像記録装置(110)は被写体画像を取得し、かつ前記被写体画像を前記反射補正装置(120)へ転送するように構成され、
    前記反射補正装置(100)は請求項1〜12のいずれか一項に記載の反射補正方法を行うように構成される、装置(100)。
  14. 請求項13に記載の反射補正装置(100)のためのコンピュータプログラム製品であって、請求項1〜12のいずれか一項に記載の反射補正方法により動作可能なコンピュータプログラム製品。
  15. 請求項14に記載のコンピュータプログラム製品を含むデータ媒体。
JP2016091015A 2015-04-30 2016-04-28 画像の反射補正のための方法およびそれに関連する装置 Expired - Fee Related JP6277223B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015208080.3A DE102015208080A1 (de) 2015-04-30 2015-04-30 Verfahren zur Reflexionskorrektur von Abbildungen und diesbezügliche Vorrichtungen
DE102015208080.3 2015-04-30

Publications (2)

Publication Number Publication Date
JP2016212411A JP2016212411A (ja) 2016-12-15
JP6277223B2 true JP6277223B2 (ja) 2018-02-07

Family

ID=56068639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016091015A Expired - Fee Related JP6277223B2 (ja) 2015-04-30 2016-04-28 画像の反射補正のための方法およびそれに関連する装置

Country Status (5)

Country Link
US (1) US10866401B2 (ja)
EP (1) EP3089106B1 (ja)
JP (1) JP6277223B2 (ja)
CN (1) CN106094192B (ja)
DE (1) DE102015208080A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016107041A1 (de) * 2016-04-15 2017-10-19 Carl Zeiss Microscopy Gmbh Mikroskop sowie Mikroskopieverfahren
DE102017107178B4 (de) 2017-04-04 2019-01-17 Carl Zeiss Meditec Ag Mikroskop mit Vorrichtung zum Erzeugen von reflexkorrigierten Abbildungen sowie Reflexkorrekturverfahren zum Korrigieren von digitalen mikroskopischen Abbildungen
WO2018230575A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 顕微鏡システム
DE102017125799A1 (de) 2017-11-06 2019-05-09 Carl Zeiss Industrielle Messtechnik Gmbh Reduktion von Bildstörungen in Bildern
DE102018127754A1 (de) 2018-11-07 2020-05-07 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Inspizieren einer Objektoberfläche, insbesondere zum Inspizieren der Oberfläche eines Pulverbettes mit einer Vielzahl von Pulverpartikeln
DE102019134987B4 (de) 2019-12-18 2022-05-25 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur additiven Herstellung eines Werkstücks
DE102019009301B4 (de) 2019-12-18 2023-10-26 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur additiven Herstellung eines Werkstücks

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US7075714B2 (en) * 2002-02-26 2006-07-11 Olympus Corporation Anti-reflection film and microscope having optical element with the same anti-reflection film applied thereto
JP2004144770A (ja) * 2002-08-28 2004-05-20 Olympus Corp 光源調整装置
US7184054B2 (en) * 2003-01-21 2007-02-27 Hewlett-Packard Development Company, L.P. Correction of a projected image based on a reflected image
DE20304412U1 (de) * 2003-03-19 2003-06-12 Schott Glas Steuereinheit für Mischlichtbeleuchtungen
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
DE102004053730B4 (de) * 2004-11-06 2014-04-03 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Unterdrückung von Falschlicht
JP4459137B2 (ja) * 2005-09-07 2010-04-28 株式会社東芝 画像処理装置及びその方法
DE102006031177A1 (de) * 2006-07-06 2008-01-10 Carl Zeiss Microimaging Gmbh Verfahren und Vorrichtung zur Erzeugung eines Bildes einer dünnen Schicht eines Objekts
US7646422B2 (en) * 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
CN102096529A (zh) * 2011-01-27 2011-06-15 北京威亚视讯科技有限公司 多点触控交互系统
US9503658B2 (en) * 2011-05-17 2016-11-22 Werth Messtechnik Gmbh Method for generating and evaluating an image
CN102589428B (zh) * 2012-01-17 2014-01-29 浙江大学 基于非对称入射的样品轴向位置跟踪校正的方法和装置
JP2013222720A (ja) * 2012-04-12 2013-10-28 Elpida Memory Inc 半導体装置の製造方法
JP6196832B2 (ja) * 2013-07-25 2017-09-13 オリンパス株式会社 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
DE102013012988A1 (de) * 2013-08-03 2015-02-05 Carl Zeiss Microscopy Gmbh Verfahren zur Kalibrierung eines digitalen optischen Abbildungssystems, Verfahren zur Korrektur von Abbildungsfehlern in einem digitalen optischen Abbildungssystem, sowie digitales optisches Abblildungssystem
JP6305012B2 (ja) * 2013-10-25 2018-04-04 株式会社キーエンス 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム

Also Published As

Publication number Publication date
US10866401B2 (en) 2020-12-15
EP3089106A1 (de) 2016-11-02
DE102015208080A1 (de) 2016-11-03
CN106094192A (zh) 2016-11-09
JP2016212411A (ja) 2016-12-15
EP3089106B1 (de) 2020-04-01
US20160320604A1 (en) 2016-11-03
CN106094192B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
JP6277223B2 (ja) 画像の反射補正のための方法およびそれに関連する装置
US10282822B2 (en) Digital correction of optical system aberrations
TWI430184B (zh) 結合全色像素之邊緣映射
CN113168670A (zh) 使用神经网络的亮点去除
US20230419632A1 (en) Intra-oral scanning device with active delete of unwanted scanned items
KR102632960B1 (ko) 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템
JP2005353010A (ja) 画像処理装置および撮像装置
JP5596427B2 (ja) 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム
JP2009164951A (ja) 撮像システム、画像処理装置、画像処理方法、およびプログラム
JP7179472B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP2019168862A5 (ja)
CN112648935A (zh) 一种图像处理方法、装置和三维扫描系统
KR20060065800A (ko) 헬름홀츠 스테레오를 이용한 깊이 불연속선을 지니는물체의 3차원 형상 획득 장치 및 그 방법
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP2008204318A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6648918B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2009047735A (ja) 撮像装置及び画像処理プログラム
JP7286268B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置
JP2009164949A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2020106502A (ja) 形状計測装置、制御方法及びプログラム
JP2002260017A (ja) 3次元形状データ生成方法および装置
JP7490457B2 (ja) 処理装置、処理システム、撮像装置、処理方法、およびプログラム
JP2005216191A (ja) ステレオ画像処理装置およびステレオ画像処理方法
WO2023100332A1 (ja) 画像生成装置、画像生成方法および記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180115

R150 Certificate of patent or registration of utility model

Ref document number: 6277223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees