JP6139002B2 - 画像中の異常を識別する方法 - Google Patents
画像中の異常を識別する方法 Download PDFInfo
- Publication number
- JP6139002B2 JP6139002B2 JP2016113551A JP2016113551A JP6139002B2 JP 6139002 B2 JP6139002 B2 JP 6139002B2 JP 2016113551 A JP2016113551 A JP 2016113551A JP 2016113551 A JP2016113551 A JP 2016113551A JP 6139002 B2 JP6139002 B2 JP 6139002B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- anomalies
- image
- candidate anomalies
- abnormalities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 67
- 230000005856 abnormality Effects 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 239000000428 dust Substances 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 20
- 239000000356 contaminant Substances 0.000 description 19
- 230000002207 retinal effect Effects 0.000 description 9
- 230000004256 retinal image Effects 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 239000002245 particle Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 5
- 238000011109 contamination Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4097—Removing errors due external factors, e.g. dust, scratches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
ものである。
像を表現しない異常を含み得る。即ち、種々の理由により、画像は、現実世界の画像には
存在しない特徴部分を含み得る。
な撮像装置内の汚染物質;撮像装置内に用いられているミラー、レンズ、または他の器具
の不整形;及び/または画像生成に用いるアルゴリズムに関連する画像処理エラーを含み
得る。これらの異常は、撮像装置を用いて生成される連続した画像中に再発し得る。
によって画像に与えられて画像中に出現する異常を包含する。特に、異常とは、撮像装置
内に、例えばミラーまたはレンズ上に積った埃による異常を称することがある。
範囲は、上述した他の異常をカバーすることを意識的に意図していることは、当業者の承
知する所である。
の部分は主に、網膜撮像スキャナを参照する。しかし、例えばカメラ、光学スキャナ、走
査型レーザー検眼鏡、等のような他の撮像装置も、同様に識別される問題を抱え、本発明
の方法は、これらの装置によって生成される画像中の異常を識別するために用いることも
できることは、当業者の理解する所である。
な病変に似た形で顕現することがある。従って、画像中の特定の特徴部分の分類における
あらゆる不明瞭さを回避して、スキャナによって生成される画像全体の品質知覚を維持す
るために、網膜撮像スキャナの光学面を、埃及び他の汚染物質がない状態に維持すること
が望まれる。
が規則的間隔で網膜撮像装置を洗浄する周期的保守を含む。場合によっては、この洗浄処
理を行うのが早過ぎて、光学面が、洗浄が必要になっていないことがある。他の場合には
、洗浄処理を行うのが遅すぎて、光学面が、ある期間だけ準最適な状態で機能しているこ
とがある。
号明細書(特許文献1)に開示され、この方法は、デジタルカメラを用いて生成された複
数の画像を用いて埃マップを生成する。この埃マップを、以前の画像から生成した以前の
埃マップの履歴と比較する。埃領域を識別するために用いる方法は、共通の勾配変化の領
域を探索することに基づく。この方法は、ノイズに敏感になりやすい。これに加えて、こ
の方法は、画像間に空間的動きが生じる場合に適用可能ではなく、即ち、この方法は、個
別の埃の候補が画像間で異なる際に用いることができない。
法が提供され、この方法は、第1の数の候補異常及び第2の数の候補異常から複数の異常
を識別するステップを含み、識別された複数の異常は、第1の数の候補異常のうち少なく
とも2つを含み、これら少なくとも2つの候補異常は、第2の数の候補異常のうち少なく
とも2つと同じ相対的な空間的配置を有し、第1の数の候補異常は、撮像装置を用いて生
成された第1画像中に識別され、第2の数の候補異常は、この撮像装置を用いて生成され
た第2画像中に識別される。
的な空間的配置を用いることによって、本発明は、連続した画像間に共通するが画像間で
は空間的にシフト(移動)している、画像中の異常の存在を識別することができる。本発
明の好適例は、第1の数の候補異常と第2の数の候補異常とに共通する相対的な空間的配
置を有する候補異常を識別する。このようにして、本発明の好適例は、候補異常の絶対位
置を用いずに異常を識別する。
数の候補異常及び第2の数の候補異常のうち一方の中の、2つ以上の相対座標を包含する
。即ち、相対的な空間的配置は、複数の候補異常の中で、他の1つ以上の候補異常に対す
る1つの候補異常の相対位置を規定することができる。
置を、第2の数の候補異常のうち少なくとも2つの候補異常の相対的な空間的配置と比較
することができる。第1の数の候補異常と第2の数の候補異常とで相対的な空間的配置が
同じであれば、上記少なくとも2つの候補異常が実際の異常であるものと考えることがで
きる。
染物質により生じた異常によって支障されているか否かを判定することを可能にする。こ
れらの好適例は、ユーザが技術者を呼び出して、必要時に光学面を洗浄することを可能に
する。このことは、装置の保守及び洗浄をより効率的にする。
ができる。
補異常における各候補異常の中心から、同じ数の候補異常における他の全ての候補異常の
中心までの距離を含む。
する。即ち、本発明の好適例では、各候補異常の中心からの距離を用いて、共通の基準点
を使用する。これに加えて、一部の好適例では、複数の候補異常における、各候補異常か
ら測定した残りの候補異常までの距離は、候補異常の配置が、それらの絶対位置を参照せ
ずに決まることを意味する。
常との間でコンステレーション・マッチ(信号点配置図の整合)を実行することを含む。
の相対位置を、第2の数の候補異常における各候補異常の相対位置と比較することを可能
にする。
の数の候補異常との相関を計算すること、及び第1の数の候補異常の空間的配置と第2の
数の候補異常の空間的配置との相関のレベルを表すコンステレーション・マッチ値を決定
することを含む。
の候補異常の位置と良好に一致している度合いの定量化を可能にする。本発明の一部の好
適例では、第1の数の候補異常からの候補異常と、第2の数の候補異常からの候補異常と
の間に2つ以上の一致が存在すれば、このことが、網膜像スキャナの光学面上に汚染物質
が存在することを示す。
ける各候補異常の中心から、第2の数の候補異常における各候補異常の中心までの複数の
距離を測定すること、及びこれら複数の距離の平均値を計算することを含む。
、第1の数の候補異常における各候補異常から所定半径内にある候補異常の数を表す候補
カウント値を決定することを含む。
の数を特定することができる。一部の好適例では、このことは、撮像装置のユーザが、こ
の撮像装置内の汚染物質のレベルを測定することを可能にする。
値を決定するステップを含み、各コンステレーション・マッチ値及び各候補カウント値は
、第1の数の候補異常を、第2の数の候補異常に対してx及び/またはy方向にシフトし
た後に決定する。
後にコンステレーション・マッチ値を決定することによって、上記2組の候補異常間の相
関のレベルを、x及びy座標で表される探索領域全体にわたって決定することができる。
これにより、例えば、2つの画像間の汚染物質によって生じるあらゆる空間的シフトを明
らかにすることができる。
応じて、第1画像及び第2画像中の複数の異常を識別するステップをさらに含むことがで
きる。
異常における複数の候補異常の位置と、第2の数の候補異常における、対応する候補異常
の位置とに相関があることを意味する。候補カウント値のレベルは、例えば、網膜撮像ス
キャナの光学面上の汚染物質によって生じた異常の数を示すことができる。
ことによって、上記方法のノイズ性能を改善する。高ノイズの環境では、1つ以上の候補
カウント値の絶対値が固定閾値を上回ることがあるが、このことは、コンステレーション
・マッチを示さないことがある。しかし、複数の候補カウント値の全てに対する閾値を設
定した場合は、異常の存在を識別するためには、特定の候補カウント値が、他の候補カウ
ント値に対して突出していなければならない。
常を識別するステップと、この撮像装置を用いて生成された第2画像中で、第2の数の候
補異常を識別するステップとを、さらに含むことができる。
識別と同じ場所で行うことができることを、出願人は認識している。しかし、疑問を避け
るために、候補異常の識別を、他の国または地域内の他の場所で行って、他の遠隔地に渡
して、候補異常から異常を識別することができることも、出願人は理解している。本発明
の方法を、他の場所で識別された候補異常に対して実行することは、本発明の範囲内であ
ることを意図している。
第1画像及び第2画像の各々に対して整合(マッチト)フィルタを実行することを含むこ
とができる。
画像の1つの領域との相関を計算すること、及びこれらの間の相関のレベルを表す相関値
を決定することを含むことができる。
ることができ、相関値が、この画像のこの部分と上記表現との相関のレベルを与える。高
いレベルの相関が、画像中に異常が存在することを示すことができる。
輝度レベルと、この表現を第1画像及び/または第2画像に重ね合わせて(オーバーレイ
して)対応する領域の輝度レベルとの差分を決定することを含むことができる。上記輝度
レベルは、例えば光レベルとすることができる。
、この表現の各画素の光レベルを、画像の対応する画素の光レベルと比較することができ
る。上記相関値は、各々の差の平均値とすることができる。
つの候補異常を、相関値が所定閾値より大きいことに応じて識別するステップを、さらに
含むことができる。
るステップをさらに含むことができ、各相関値は、異常の表現を、画像に対してx及び/
またはy方向にシフトした後に決定する。
上記表現をx及びy方向にシフトすることによって、この表現を、画像を横切るようにス
ライドさせることができる。上記表現が、この表現と高い相関を有する画像中の領域に達
すると、高い相関をフィルタによって出力し、これにより候補異常を識別する。この処理
は、二次元畳み込み(コンボリューション)と称することができる。
ができる。
と同じ場所、及び/または候補異常の識別と同じ場所で行うことができることを、出願人
は認識している。しかし、疑問を避けるために、第1画像及び第2画像の生成を、他の国
または地域内の他の場所で行って、画像を他の遠隔地に渡して、本発明の方法で使用する
ことができることも、出願人は理解している。本発明の方法を、他の場所で生成された画
像に対して実行することは、本発明の範囲内であることを意図している。
ドを格納すべく構成されたコンピュータプログラム製品が提供される。
た装置が提供される。
は、走査型レーザー検眼鏡とすることができる。
である。特に、本発明の実施形態は、埃または他の汚染物質によって汚染された画像と汚
れのない画像との、耐ノイズ性のある区別を可能にするコンステレーション・マッチを記
述する。
の相関を計算するあらゆるアルゴリズムを包含する。即ち、コンステレーション・マッチ
は、2つのコンステレーション(例えば、第1の数の候補異常及び第2の数の候補異常)
間の類似性を探索して、これら2つの一致のレベルを識別する。コンステレーション・マ
ッチは、2つのコンステレーション間の全体的一致のレベルを与えることができる。その
代わりに、あるいはこれに加えて、コンステレーション・マッチは、特徴部分のコンステ
レーション中で、他のコンステレーション中の対応する特徴部分と共通の空間的配置を有
する特定の特徴部分を識別することができる。
別することによって達成される。複数の候補異常は、ノイズまたは他の画像アーティファ
クトであり得る。
て、x−y座標で表される相対的な画像シフトの範囲について、第1の数の候補異常にお
ける各候補異常の質量中心を、第2の数の候補異常の各々の質量中心に対して表現する距
離尺度の2D(二次元)探索面を生成することができる。
(ステップ10、12)。上述したように、これら複数の候補異常は、他の場所で識別し
て現地に送達して、そこで本発明を実行することができる。例えば、候補異常を遠隔の領
域、国、あるいは地域で識別して、ローカルサーバーにアップロードすることができる。
本発明は、このローカルサーバーから複数の候補異常を検索または受信することのできる
マイクロプロセッサ上で実行することができる。
オーバーレイする)。「重ね合わせる(オーバーレイする)」とは、本発明に関係する処
理の印象を読者に与えるべく比喩的に用いる。しかし、本明細書に開示する好適な実施形
態では、第1の数の候補異常及び第2の数の候補異常を、マイクロプロセッサ内の一連の
値によって表現することができ、この場合、第1の数の候補異常と第2の数の候補異常と
を「重ね合わせる(オーバーレイする)」ことをコンピュータで実行する。
離を測定する。ステップ18では、これらの距離の平均値を決定する。
とすることができる。
の平均値が低くなる。例えば、第1の数の候補異常の各々が、第2の数の候補異常のうち
1つに重なる理想的な場合には、全ての距離が0になり、距離の平均値もその最低値にな
る。
常における(即ち、第2画像中の)候補異常のうち、第1の数の候補異常における(即ち
、第1画像中の)各候補異常から特定半径内にある候補異常の数を定める。
ができる。例えば、候補カウント値は、第2の数の候補異常のうち、第1の数の候補異常
における各候補異常から3×3画素の正方形内にある候補異常の数を特定することができ
る。この画素の3×3行列は、第1の数の候補異常の中心を、その中心とすることができ
る。
ある候補異常の数を特定することによって、本明細書に開示する方法は、埃のような汚染
物質によって生じた異常の数を特定することができる。
法はステップ16に戻る。所望の探索範囲をカバーするのに必要なx及びy方向のシフト
の回数だけ、このことを繰り返す。
ション・マッチ値を決定すること、及び/または、候補カウント値を決定することができ
る。1つの好適な実施形態では、この方法が、これらの値を共に決定することができる。
きる。以下に説明するように、複数の候補カウント値の各々を二次元探索面上にプロット
することができる。探索面内の孤立したピークは、埃のような汚染物質によって生じた複
数の異常が第1画像中に存在することを示し得る。ピークは、探索面内で識別される他の
全てのピークより10倍以上大きい場合に、孤立していると考えることができる。
、候補カウント値のレベルは、第2画像に対する第1画像のx及び/またはy方向の複数
回のシフトについて、同一でも類似でもあり得るからである。
第2の数の候補異常における候補異常に最も近いコンステレーション・マッチを識別する
ように、決定することができる。最低のコンステレーション・マッチ値を有するコンステ
レーション・マッチは、第1の数の候補異常が第2の数の候補異常に最も良く重なるよう
なx及び/またはy方向のシフト値において定まる。従って、同じx及び/またはy方向
のシフトについては、対応する候補カウント値が、埃のような汚染物質によって生じた第
1画像中の異常の数を表す。
る。図2aは第1画像を示し、第1画像中には第1の数の候補異常が識別されている。図
2bは第2画像を示し、第2画像中には第2の数の候補異常が識別されている。第1の数
の候補異常のうち4つが、第2の数の候補異常と同じ空間的配置を有することがわかる。
これらは、本明細書に開示する方法が異常として識別する候補異常である。
網膜撮像スキャナの光学面上の汚染物質によって生じたものである。しかし、これらは、
後続する画像間でx及びy方向にシフトしている。第1の数の候補異常と第2の数の候補
異常との間の、候補異常の相対的なx−y方向のシフトは、撮像装置に固有の機械的精度
不良によって生じ得る。あるいはまた、この相対的なx−y方向のシフトは、電気的なタ
イミングエラー(タイミング誤差)によって生じ得る。
する。両画像の候補異常が、重ね合わせた画像30上に示されている。第1及び第2画像
22、26の各々の4つの候補異常24、28は、x及びy方向にシフトされて示されて
いる。
値は比較的高くなる。
部としてシフトされている。ここで、4つの候補異常24、28が重なっている。こうし
た配置は、第1の数の候補異常と第2の数の候補異常との高い相関を生成する。従って、
(候補異常間の距離の平均値を表す)コンステレーション・マッチ値は比較的低い。
るために大幅に簡略化されている。図5に、候補異常を有する例示的な網膜像を示す。
する。例えば、画像がデジタル画像であれば、探索領域は10×10画素の領域を規定す
ることができる。他の実施形態では、他のサイズ及び形状の探索領域を規定することがで
きる。
像の原点で実行し、次に、毎回1画素ずつシフトした第1の数の候補異常で実行して、探
索領域の100個の画素をカバーする。なお、「原点」は、画像の左下隅を表すという点
で、概念上の共通点である。デジタル画像では、原点は、画像の左下隅にある画素とする
ことができる。
第1の数の候補異常と第2の数の候補異常との相関を表す単一のコンステレーション・マ
ッチ値を生成することができる。これに加えて、コンステレーション・マッチ毎に複数の
候補カウント値を生成することができる。
ント値は、2つの二次元探索面内で表現することができる。図6に、第1の数の候補異常
と第2の数の候補異常との相関が識別されている例示的な探索面を示す。図7に、第1の
数の候補異常と第2の数の候補異常との相関が識別されていない例示的な探索面を示す。
図6及び7は、以上で説明したように決定された画像についての候補カウント値を示す。
存在するか否かを判定するための根拠として、ピーク32が特徴的である。これは、網膜
撮像スキャナの光学面の埃汚染を示す。
量値を割り当てる。この高さの値は、画像中の、埃または他の汚染物質によって生じた異
常の数の、およその指標となる。探索面内のスパイクを用いた異常の識別の信頼度は、残
りの探索面の均一性の分析から与えられる。ピーク位置に対応するx−y方向の画像シフ
トの座標を見出すことによって、共通のカウント値を生成する個別の粒子を画像にマッピ
ングして、良好なノイズ性能を有し、かつ画像中の異常の絶対位置を必要としない埃マッ
プを生成することができる。
ない。この場合に、上記アルゴリズムは画像中に異常を全く識別しない。上記アルゴリズ
ムは、異常及び汚染粒子のカウント値を0に戻して、画像(従って、装置の光学面)に汚
染物質がないものと考えられることを示すこともできる。
図は、画像中の候補異常の識別に関係するステップを含む。
方法を実行するように構成されたマイクロプロセッサを具えた装置にロードし、これらの
画像は、互いに異なる網膜の画像とすることができる。
ント化(区分)する。次に、これらの象限を別個に処理して、4つの汚染計量値を生成す
る。これら4つの汚染計量値を合計して、1つの汚染計量値を生成する。以下に説明する
ように、所定のサブ画像の検索から始めて(ステップ42)、これら4つの象限を個別に
処理する。
正規化して(ステップ44)、画像間の粒子形状のあらゆる変動を最小化する。
マスキングは、時として、小さい異常の破線として顕在化し得る、撮像装置内のミラーま
たはレンズのエッジによるサブ画像の画像特徴部分が、アルゴリズムによって処理されな
いことを保証する。これにより、処理時間が改善され、2つの画像間でミラーエッジが近
接して整列することによる粒子の整合が共通の異常として誤認されないことも保証される
。
る整合フィルタ)カーネル50と並行して、マスクした画像を畳み込み積分する。
値は、所定ウィンドウサイズに等しいサブ画像内の所定位置にある全画素の平均値である
。即ち、サブ画像中の所定位置にある所定ウィンドウサイズについて、全画素の平均値を
生成し;上記低周波画像中の、上記所定位置に対応する各画素に、上記平均値を与える。
試行錯誤によって調整されており(即ち、カーネル内で、有限値と0との相対的関係を変
化させており)、異常の「典型的な」出現と共鳴する。即ち、整合フィルタは異常の表現
である。整合フィルタとサブ画像との相関を計算すると、画像の領域と異常の表現との相
関を表す相関値が生成される。整合フィルタをサブ画像全体にわたって通すと、複数の相
関値を決定することができる。画像の領域と整合フィルタとに相関がある際に、即ち、サ
ブ画像のいくつかの部分が異常であり得る際に、これらの相関値にピークが見られる。こ
れらのピークが、候補異常に対応する。
クが、低周波画像の一様な領域に対して強化される。
部分が強調されて背景(即ち、候補異常でない部分)が減衰した画像を生成する。次に、
ステップ54では、画像閾値を適用して、粒子状の特徴部分がその背景から十分に孤立し
た二値(バイナリ)画像を生成する。即ち、この二値画像は、候補異常が識別される箇所
で「1」を示し、候補異常が識別されない箇所で「0」を示す。
カットオフ)閾値を下向きに指数的に変化させ、各反復においてこの閾値を上回る異常点
の数を数えることによって、反復的に実行する。閾値を上回る粒子の数が事前設定値を超
えると、閾値の最終値が見出される。この事前設定値は、例えば1500個の候補異常と
することができる。このようにして、コントラスト範囲が異なり、かつ輝度の変化する2
つの画像を閾値で判別して、およそ同数の候補異常を生成することができる。
エッジの周りの領域に相当する、サブ画像の周囲のオブジェクトを除去する。このことは
、誤識別された候補異常が、マスク境界の段階的な線の構造中の断片から生じる画素クラ
スタに割り当てられることを回避するために必要である。
ブジェクトを除去する。この閾値は、例えば、領域をなす160画素とすることができる
。この閾値を上回るオブジェクトは、ノイズの多い画像中で血管系が分断された結果であ
り得る。こうした特徴部分が画像対に共通している際に、これらの特徴部分の一部が(異
なる網膜からの画像どうしでも)一列に並んで、誤識別される候補異常を生じさせ得る。
を除去する。この閾値は、例えば領域をなす3画素とすることができる。このことは、ノ
イズによる特徴部分を除去するために必要であり、さもなければ、特にノイズの多い画像
の組において、候補異常の誤識別の集団を生じさせる。
トをパラメータ化して、各オブジェクトのオブジェクトサイズ(画素単位の面積)及び(
オブジェクト毎に質量中心として計算した)中心座標を参照したオブジェクト指標のベク
トルを生成する。このオブジェクトのベクトルは、所定のサブ画像について識別された複
数の候補異常を表す。
2つの画像については、ステップ40〜60を8回実行する。
ンステレーション・マッチは、連続する2つの画像からパラメータ化したオブジェクトの
組(即ち、候補異常)から決定される。これらの連続する画像は、異なる網膜の画像とす
ることができる、というのは、同じ網膜の画像対は、共通の網膜内血管の境界に沿った不
正確な整合を生じさせ得るからである。
、各オブジェクトの中心を他の全てのオブジェクトの中心に対して表現する距離尺度の二
次元平面として表すことができる。x−y方向の画像シフトの範囲は、例えば、概念上の
原点から+/−10画素とすることができる。
することができる。
説明した方法を実行するためのコンピュータプログラムコードを格納するように構成する
ことができる。このコンピュータプログラム製品は、例えば、コンピュータ用ハードドラ
イブ、フロッピー(登録商標)ディスク、CD(Compact Disc:コンパクトディスク)、
DVD(Digital Versatile Disc:デジタル多用途ディスク)、フラッシュメモリ、また
は他のデータ媒体で構成することができる。その代わりに、あるいはこれに加えて、この
コンピュータプログラム製品は、プログラマブル・ロジック(プログラム可能な論理回路
)、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)、
及び/またはファームウェアで構成することができる。
置が、本明細書で説明した方法を実行するように構成されたマイクロプロセッサを具える
ことができる。この装置は、撮像装置内に配置することもできる。
る。この好適な実施形態では、装置70が、光学ハードウェア72、マイクロプロセッサ
または同様の演算装置74、及びメモリ76を具えている。光学ハードウェア72は、電
気的リンクを介してマイクロプロセッサ74に接続されている。このマイクロプロセッサ
は、2つの電気的リンクを介してメモリ76に接続されている。装置70は、走査型レー
ザー検眼鏡とすることができる。
されたレンズ及びミラーを具えることができる。光学ハードウェアは、レーザーを眼球7
8内に伝送して、戻りの反射信号を受信することができる。この反射信号は、眼球78内
の網膜の像を構成するために用いることのできる原画像(ローイメージ)データを含む。
成することができ、この画像データをマイクロプロセッサ74で処理して、網膜の像を生
成することができる。このマイクロプロセッサは、網膜像をメモリ76に送信するように
構成することができ、網膜像はメモリ76に記憶される。この処理を、異なる被験者に対
して、1日を通して反復して、メモリ76内に記憶された複数の網膜像を形成することが
できる。
クロプロセッサ74に伝送して、本明細書に開示する方法を実行することができる。そし
て、このマイクロプロセッサは、光学ハードウェア内または光学ハードウェア上の埃のよ
うな汚染物質によって生じ得た、網膜像内の異常を識別することができる。
は、汚染または埃の計量値として用いることができる。従って、このスパイクのレベルは
、撮像装置の光学面上の汚染物質の量に対応し得る。従って、撮像装置のユーザは、汚染
物質の計量値のレベルを用いて、技術者を呼び出して撮像装置の光学面を洗浄するか、他
の保守を行う時期を決定することができる。本明細書に開示する方法の他の実施形態では
、コンステレーション・マッチからの出力のレベルを、遠隔位置で自動監視することがで
きる。例えば、撮像装置の製造業者が、全ての現用装置を監視し、どの装置がどの時点で
洗浄または保守を必要とするかに基づいて、保守チームを編成することができる。
めに、本明細書に開示する方法を、1日を通して取得した連続画像の全てに対して実行す
ることができる。このようにして、この方法は、特にその目的のために画像を取得する必
要なしに、撮像装置の監視を行う。
別することができる。
Claims (18)
- 撮像装置を用いて生成された画像中の異常を識別する方法であって、
前記撮像装置を用いて生成された第1画像中に第1の数の候補異常を識別するステップと、
前記撮像装置を用いて生成された第2画像中に第2の数の候補異常を識別するステップと、
前記第1の数の候補異常と前記第2の数の候補異常との間でコンステレーション・マッチを実行して、前記第1の数の候補異常及び前記第2の数の候補異常から複数の候補異常を識別するステップとを含み、
前記識別された複数の候補異常は、前記第1の数の候補異常のうち少なくとも2つの候補異常を含み、前記少なくとも2つの候補異常は、前記第2の数の候補異常のうち少なくとも2つと同じ相対的な空間的配置を有することを特徴とする方法。 - 前記第1の数の候補異常の前記相対的な空間的配置は、前記第1の数の候補異常における各候補異常の中心から、前記第1の数の候補異常における他の全ての候補異常の中心までの距離を含み、前記第2の数の候補異常の前記相対的な空間的配置は、前記第2の数の候補異常における各候補異常の中心から、前記第2の数の候補異常における他の全ての候補異常の中心までの距離を含むことを特徴とする請求項1に記載の方法。
- 前記コンステレーション・マッチを実行することが、前記第1の数の候補異常と前記第2の数の候補異常との相関を計算すること、及び前記第1の数の候補異常の空間的配置と前記第2の数の候補異常の空間的配置との相関のレベルを表すコンステレーション・マッチ値を決定することを含むことを特徴とする請求項1に記載の方法。
- 前記コンステレーション・マッチ値を決定することが、前記第1の数の候補異常における各候補異常の中心から、前記第2の数の候補異常における各候補異常の中心までの複数の距離を測定すること、及び前記複数の距離の平均値を計算することを含むことを特徴とする請求項3に記載の方法。
- 前記コンステレーション・マッチを実行することが、前記第2の数の候補異常のうち、前記第1の数の候補異常における各候補異常から所定半径内にある候補異常の数を表す候補カウント値を決定することを含むことを特徴とする請求項1〜4のいずれかに記載の方法。
- 複数の前記コンステレーション・マッチ値及び複数の候補カウント値を決定するステップをさらに含み、前記複数のコンステレーション・マッチ値の各々、及び前記複数の候補カウント値の各々を、前記第1の数の候補異常を、前記第2の数の候補異常に対してx方向及びy方向のうち少なくとも一方向にシフトした後に決定することを特徴とする請求項3〜5のいずれかに記載の方法。
- 前記複数の候補カウント値のうち1つが所定閾値より大きいことに応じて、前記第1画像及び前記第2画像中の複数の異常を識別するステップをさらに含むことを特徴とする請求項6に記載の方法。
- 前記閾値を、前記複数の候補カウント値どうしの相対値に応じて決定することを特徴とする請求項7に記載の方法。
- 前記撮像装置を用いて生成された前記第1画像中で、前記第1の数の候補異常を識別し、前記撮像装置を用いて生成された前記第2画像中で、前記第2の数の候補異常を識別するステップをさらに含むことを特徴とする請求項1〜8のいずれかに記載の方法。
- 前記第1の数の候補異常及び前記第2の数の候補異常を識別するステップが、前記第1画像及び前記第2画像の各々に対して整合フィルタを実行することを含むことを特徴とする請求項9に記載の方法。
- 前記整合フィルタを実行することが、異常の表現と、前記第1画像及び前記第2画像の少なくとも一方における1つの領域との相関を計算すること、及び前記異常の表現と前記1つの領域との相関のレベルを表す相関値を決定することを含むことを特徴とする請求項10に記載の方法。
- 前記相関値を決定することが、前記異常の表現における少なくとも1つの領域の光レベルと、前記異常の表現を前記第1画像及び前記第2画像の少なくとも一方に重ね合わせた際に前記少なくとも1つの領域に対応する領域の光レベルとの差分を決定することを含むことを特徴とする請求項11に記載の方法。
- 前記第1の数の候補異常及び前記第2の数の候補異常のうち1つの候補異常を、前記相関値が所定閾値より大きいことに応じて識別するステップを、さらに含むことを特徴とする請求項12に記載の方法。
- 複数の相関値を決定することによって、複数の候補異常を決定するステップをさらに含み、前記複数の相関値の各々は、前記異常の表現を、前記第1画像及び前記第2画像の少なくとも一方に対してx方向及びy方向のうち少なくとも一方向にシフトした後に決定することを特徴とする請求項13に記載の方法。
- 前記撮像装置を用いて、前記第1画像及び前記第2画像を生成するステップをさらに含むことを特徴とする請求項1〜14のいずれかに記載の方法。
- 請求項1〜15のいずれかに記載の方法をコンピュータに実行させるためのコンピュータプログラム。
- 請求項1〜15のいずれかに記載の方法を実行すべく構成されたプロセッサを具えた装置。
- 請求項17に記載の装置を具えた撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1020530.0A GB201020530D0 (en) | 2010-12-03 | 2010-12-03 | Method of identifying anomalies in images |
GB1020530.0 | 2010-12-03 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013541419A Division JP2013546084A (ja) | 2010-12-03 | 2011-10-24 | 画像中の異常を識別する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016185337A JP2016185337A (ja) | 2016-10-27 |
JP6139002B2 true JP6139002B2 (ja) | 2017-05-31 |
Family
ID=43531434
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013541419A Pending JP2013546084A (ja) | 2010-12-03 | 2011-10-24 | 画像中の異常を識別する方法 |
JP2016113551A Active JP6139002B2 (ja) | 2010-12-03 | 2016-06-07 | 画像中の異常を識別する方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013541419A Pending JP2013546084A (ja) | 2010-12-03 | 2011-10-24 | 画像中の異常を識別する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9141869B2 (ja) |
EP (1) | EP2647194A1 (ja) |
JP (2) | JP2013546084A (ja) |
CN (1) | CN103339929B (ja) |
GB (1) | GB201020530D0 (ja) |
WO (1) | WO2012072995A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6055224B2 (ja) * | 2012-07-27 | 2016-12-27 | クラリオン株式会社 | レンズ洗浄装置 |
ES2868675T3 (es) * | 2017-08-14 | 2021-10-21 | Optos Plc | Seguimiento de la posición de la retina |
CN110954758A (zh) * | 2018-09-26 | 2020-04-03 | 珠海格力电器股份有限公司 | 电器的故障确定方法及装置 |
CN112419261B (zh) * | 2020-11-19 | 2022-11-15 | 江汉大学 | 具有异常点去除功能的视觉采集方法及装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5218648A (en) | 1990-12-17 | 1993-06-08 | Hughes Aircraft Company | Constellation matching system and method |
US5436979A (en) * | 1992-08-21 | 1995-07-25 | Eastman Kodak Company | Process for detecting and mapping dirt on the surface of a photographic element |
US6122397A (en) * | 1997-07-03 | 2000-09-19 | Tri Path Imaging, Inc. | Method and apparatus for maskless semiconductor and liquid crystal display inspection |
JPH1145919A (ja) * | 1997-07-24 | 1999-02-16 | Hitachi Ltd | 半導体基板の製造方法 |
US6035072A (en) * | 1997-12-08 | 2000-03-07 | Read; Robert Lee | Mapping defects or dirt dynamically affecting an image acquisition device |
US6233364B1 (en) * | 1998-09-18 | 2001-05-15 | Dainippon Screen Engineering Of America Incorporated | Method and system for detecting and tagging dust and scratches in a digital image |
JP4179079B2 (ja) * | 2002-08-30 | 2008-11-12 | 株式会社ニコン | 電子カメラ及びその制御プログラム |
US7355690B2 (en) | 2003-07-21 | 2008-04-08 | Applied Materials, Israel, Ltd. | Double inspection of reticle or wafer |
JP4419479B2 (ja) * | 2003-08-29 | 2010-02-24 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
IES20040604A2 (en) * | 2003-09-30 | 2005-06-15 | Fotonation Vision Ltd | Statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images |
US7369712B2 (en) | 2003-09-30 | 2008-05-06 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images |
US7394534B1 (en) | 2003-11-19 | 2008-07-01 | Kla-Tencor Corporation | Process excursion detection |
JP4464731B2 (ja) * | 2004-04-08 | 2010-05-19 | オリンパス株式会社 | 画像処理プログラム、画像処理方法、画像処理装置 |
JP4480147B2 (ja) * | 2004-09-13 | 2010-06-16 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US20060242706A1 (en) * | 2005-03-11 | 2006-10-26 | Ross Robert B | Methods and systems for evaluating and generating anomaly detectors |
JP5112748B2 (ja) * | 2007-05-30 | 2013-01-09 | 株式会社日本マイクロニクス | 液晶パネル検査方法及び装置 |
US8337405B2 (en) * | 2007-06-08 | 2012-12-25 | Raytheon Company | System and method for automatic detection of anomalies in images |
JP5046769B2 (ja) * | 2007-07-24 | 2012-10-10 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
US8270733B2 (en) * | 2009-08-31 | 2012-09-18 | Behavioral Recognition Systems, Inc. | Identifying anomalous object types during classification |
-
2010
- 2010-12-03 GB GBGB1020530.0A patent/GB201020530D0/en not_active Ceased
-
2011
- 2011-10-24 US US13/990,534 patent/US9141869B2/en active Active
- 2011-10-24 CN CN201180066278.3A patent/CN103339929B/zh not_active Expired - Fee Related
- 2011-10-24 WO PCT/GB2011/052061 patent/WO2012072995A1/en active Application Filing
- 2011-10-24 EP EP11791613.0A patent/EP2647194A1/en not_active Ceased
- 2011-10-24 JP JP2013541419A patent/JP2013546084A/ja active Pending
-
2016
- 2016-06-07 JP JP2016113551A patent/JP6139002B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2012072995A1 (en) | 2012-06-07 |
CN103339929A (zh) | 2013-10-02 |
JP2016185337A (ja) | 2016-10-27 |
US9141869B2 (en) | 2015-09-22 |
CN103339929B (zh) | 2017-05-24 |
GB201020530D0 (en) | 2011-01-19 |
EP2647194A1 (en) | 2013-10-09 |
US20130301927A1 (en) | 2013-11-14 |
JP2013546084A (ja) | 2013-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6139002B2 (ja) | 画像中の異常を識別する方法 | |
US9835438B2 (en) | Distance measuring apparatus and method | |
JP7262021B2 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
JP4533689B2 (ja) | パターン検査方法 | |
JP4792109B2 (ja) | 画像特徴を意識した画像欠陥除去 | |
CN109725499B (zh) | 缺陷检测方法及缺陷检测系统 | |
CA3010163A1 (en) | Method and apparatus for joint image processing and perception | |
KR102308437B1 (ko) | 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법 | |
JP4533836B2 (ja) | 変動領域検出装置及びその方法 | |
TW201421419A (zh) | 用於深度假影之消除之影像處理方法及設備 | |
JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
CN112513676B (zh) | 纵深取得装置、纵深取得方法以及记录介质 | |
JP2009259036A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム | |
JP2012251785A (ja) | 検査装置および検査方法 | |
KR20180026399A (ko) | 정적 오염 감지 및 보정 | |
KR100960543B1 (ko) | 미지 품질의 패턴을 사용하여 기준 이미지를 생성하기 위한시스템 및 방법 | |
WO2022162417A1 (en) | Systems and methods for paint defect detection using machine learning | |
JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
JP2006155579A (ja) | 画像処理方法および画像処理装置 | |
JP4550559B2 (ja) | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム | |
JP6114559B2 (ja) | フラットパネルディスプレイの自動ムラ検出装置 | |
JP5993440B2 (ja) | 光学像中の異常を識別して修正する方法及び装置 | |
CN113469969A (zh) | 图像生成方法、图像生成装置、检测设备及可读存储介质 | |
US10444860B2 (en) | Optical navigation device | |
CA2874790A1 (en) | Methods and apparatus for image processing, and laser scanning ophthalmoscope having an image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6139002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |