JPWO2017221376A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JPWO2017221376A1 JPWO2017221376A1 JP2018523232A JP2018523232A JPWO2017221376A1 JP WO2017221376 A1 JPWO2017221376 A1 JP WO2017221376A1 JP 2018523232 A JP2018523232 A JP 2018523232A JP 2018523232 A JP2018523232 A JP 2018523232A JP WO2017221376 A1 JPWO2017221376 A1 JP WO2017221376A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- variation
- unit
- filter processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 230000002950 deficient Effects 0.000 claims abstract description 54
- 230000002093 peripheral effect Effects 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 10
- 230000007547 defect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
少ない計算量で精度よく欠陥画素を検出することを目的として、本発明に係る画像処理装置(1)は、取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理部(2)と、フィルタ処理部(2)により順序統計フィルタ処理が施される前後の注目画素の画素値の差分値を算出する差分値算出部(3)と、フィルタ処理部(2)により順序統計フィルタ処理が施された周辺画素の画素値の統計的バラツキを算出するバラツキ算出部(4)と、差分値算出部(3)により算出された差分値をバラツキ算出部(4)により算出された統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、注目画素を欠陥画素であると判定する判定部(5)とを備える。
Description
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。
デジタルカメラ等の撮影装置を用いて取得された画像において、注目画素とその周囲の8画素の信号レベルの分散値の平方根、すなわち、標準偏差を算出し、注目画素の信号レベルがその周囲の信号レベルと比較してどれだけ突出しているのかを示す突出度を算出し、突出度が所定の上限値より大きい場合に、注目画素が白欠陥、所定の下限値より小さい場合に、注目画素が黒欠陥であると判定する画像処理方法が知られている(例えば、特許文献1参照。)。
しかしながら、特許文献1の画像処理方法は、突出度を算出するために周辺画素の画素値の平均値および標準偏差を算出しているため、周辺画素に複数の欠陥画素が存在する場合には、平均値および標準偏差が欠陥画素の影響を受けて正しい値を求めることができない。その結果、欠陥検出の精度が低下するという不都合がある。また、ハードウェアへの実装を考えると、標準偏差の計算は計算量が多いため、処理に時間がかかったり、消費電力が増大したりするという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、少ない計算量で精度よく欠陥画素を検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。
本発明の一態様は、取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理部と、該フィルタ処理部により順序統計フィルタ処理が施される前後の前記注目画素の前記画素値の差分値を算出する差分値算出部と、前記フィルタ処理部により順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキを算出するバラツキ算出部と、前記差分値算出部により算出された差分値を前記バラツキ算出部により算出された統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、前記注目画素を欠陥画素であると判定する判定部とを備える画像処理装置である。
本態様によれば、取得された画像に対しフィルタ処理部において順序統計フィルタ処理が施され、順序統計フィルタ処理前後の注目画素の画素値の差分値が差分値算出部により算出される。一方、順序統計フィルタ処理が施された周辺画素の画素値の統計的バラツキがバラツキ算出部により算出され、差分値を統計的バラツキで除算して得られた値が所定の閾値以上であるか否かが判定部により判定される。判定の結果閾値以上である場合には、注目画素が欠陥画素であると判定される。
この場合において、本態様によれば、注目画素が欠陥画素であるか否かを平均値を用いることなく判定できる。したがって、同じブロック内に複数の欠陥画素が存在しても、欠陥画素の影響を受けることがなく、また、ノイズが存在していてもノイズの影響を低減することができ、欠陥検出の精度を向上することができる。特に、標準偏差を算出しないので少ない計算量で精度よく欠陥画素を検出することができる。
また、単純に順序統計フィルタ処理の前後の画素値の差分値を閾値によって評価するのではなく、順序統計フィルタ処理後の周辺画素から算出した統計的バラツキとの比率により評価することにより、注目画素がエッジに隣接もしくはテクスチャ上に存在する場合の誤検出を抑制することができる。
上記態様においては、前記バラツキ算出部が、統計的バラツキとして四分位範囲を算出してもよい。
これにより、簡易に統計的バラツキを算出することができる。
これにより、簡易に統計的バラツキを算出することができる。
また、上記態様においては、前記判定部により前記欠陥画素であると判定された画素の座標値を登録するアドレス登録部と、該アドレス登録部に登録された座標値に対応する画素の前記欠陥画素の評価値を記憶する評価値記憶部と、前記差分値算出部により算出された差分値と、前記評価値記憶部に記憶されている過去の前記評価値とに基づいて前記欠陥画素の前記評価値を算出する評価値算出部とを備え、前記アドレス登録部は、前記評価値算出部により算出された前記評価値が、所定の閾値以下である場合に登録を解除してもよい。
このようにすることで、誤検出によって欠陥画素であると判定された場合であっても、欠陥画素ではない場合には、処理の進行に従って欠陥画素であるとの判定を解除することができる。したがって、画像の画素数と同数アドレス数を検出用メモリに用意する必要がなくなる。
また、上記態様においては、前記評価値算出部は、前記差分値と過去の前記評価値とを重み付け合成して前記評価値を算出してもよい。
このようにすることで、正常な画素が誤検出により欠陥画素であると判定された場合であっても、処理の進行に従って欠陥画素であるとの判定を解除することができる。
このようにすることで、正常な画素が誤検出により欠陥画素であると判定された場合であっても、処理の進行に従って欠陥画素であるとの判定を解除することができる。
また、上記態様においては、前記判定部により前記欠陥画素であると判定された画素の前記座標値の前記アドレス登録部への登録を間引く間引き部を備えていてもよい。
このようにすることで、欠陥画素であるとの誤検出数を低減でき、欠陥画素のアドレス登録用のメモリ量をさらに低減することができる。
このようにすることで、欠陥画素であるとの誤検出数を低減でき、欠陥画素のアドレス登録用のメモリ量をさらに低減することができる。
また、上記態様においては、前記評価値算出部は、前記バラツキ算出部が算出した順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキが所定の閾値より大きい場合に、前記評価値の算出を行わないこととしてもよい。
このようにすることで、順序統計フィルタ処理が施された周辺画素の画素値の統計的バラツキが所定の閾値より大きい場合には、画素値の分布が平坦ではないと判断でき、評価値の算出を行わないことにより、欠陥画素の誤検出を防止することができる。
このようにすることで、順序統計フィルタ処理が施された周辺画素の画素値の統計的バラツキが所定の閾値より大きい場合には、画素値の分布が平坦ではないと判断でき、評価値の算出を行わないことにより、欠陥画素の誤検出を防止することができる。
本発明の他の態様は、取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理ステップと、該フィルタ処理ステップにより順序統計フィルタ処理が施される前後の前記注目画素の前記画素値の差分値を算出する差分値算出ステップと、前記フィルタ処理ステップにより順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキを算出するバラツキ算出ステップと、前記差分値算出ステップにより算出された差分値を前記バラツキ算出ステップにより算出された統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、前記注目画素を欠陥画素であると判定する判定ステップとを含む画像処理方法である。
本発明の他の態様は、取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理ステップと、該フィルタ処理ステップにより順序統計フィルタ処理が施される前後の前記注目画素の前記画素値の差分値を算出する差分値算出ステップと、前記フィルタ処理ステップにより順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキを算出するバラツキ算出ステップと、前記差分値算出ステップにより算出された差分値を前記バラツキ算出ステップにより算出された統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、前記注目画素を欠陥画素であると判定する判定ステップとコンピュータに実行させる画像処理プログラムである。
本発明によれば、少ない計算量で精度よく欠陥画素を検出することができるという効果を奏する。
以下、本発明の第1実施形態に係る画像処理装置1、画像処理方法および画像処理プログラムについて、図面を参照して以下に説明する。
図1に、本実施形態に係る画像処理装置1を備えたカメラ(撮影装置)100を示す。
図1に、本実施形態に係る画像処理装置1を備えたカメラ(撮影装置)100を示す。
カメラ100は、被写体からの光を撮影する撮像部110と、本実施形態に係る画像処理装置1と、表示部(図示略)とを備えている。
撮像部110は、被写体からの光を集光する撮影レンズ130と、該撮影レンズ130により集光された光を撮影する撮像素子140と、該撮像素子140により取得された画像信号に基づいて画像を生成する画像生成部150を備えている。
撮像部110は、被写体からの光を集光する撮影レンズ130と、該撮影レンズ130により集光された光を撮影する撮像素子140と、該撮像素子140により取得された画像信号に基づいて画像を生成する画像生成部150を備えている。
本実施形態に係る画像処理装置1は、画像生成部150から入力されてきた画像に対し、順序統計フィルタ処理を施すフィルタ処理部2と、該フィルタ処理部2による順序統計フィルタ処理前後の注目画素の画素値の差分値を算出する差分値算出部3と、順序統計フィルタ処理後の画素値に基づいて統計的バラツキを算出するバラツキ算出部4と、該バラツキ算出部4により算出された統計的バラツキと、差分値算出部3により算出された差分値とに基づいて欠陥画素か否かを判定する判定部(欠陥判定部)5とを備えている。
フィルタ処理部2は、メディアンフィルタによって順序統計フィルタ処理を行うものである。フィルタ処理部2は、例えば、図2に示されるように、ハッチングで示される注目画素ptとその周辺の実線で囲まれた8個の周辺画素p1からp8とからなる3×3=9画素のブロックにおいて、注目画素ptおよび周辺画素p1からp8のそれぞれに対して順序統計フィルタ処理を実施するようになっている。
さらに具体的には、フィルタ処理部2は、注目画素ptが設定されると、図3に示されるように、注目画素ptおよび各周辺画素p1からp8を中心とするそれぞれ3×3=9画素の画素値をそれらの大きさによってソーティングし、中央値(メディアン値)を各画素の画素値として出力するようになっている。例えば、p1の画素に対してフィルタ処理を行う場合は、図3の太線で囲った領域のようにp1を中心とする3×3=9画素の範囲の画素の画素値を用いて処理をおこなう。図4に示すように、各画素の画素値を大きさによりソーティングし、中央値を出力する。この出力された値がp1の順序統計フィルタ処理後の値P1となる。フィルタ処理部2においては、画像上の全ての画素について、上記処理が行われるようになっている。
順序統計フィルタ処理は、撮像素子140がいわゆるベイヤ配列である場合には、同色の色フィルタが配置された画素に対して実施されるようになっている。
また、ここでは、順序統計フィルタ処理において、注目画素も使用しているが使用しなくてもよい。この場合には、画素数が8個(偶数)となるので中央値の算出は、4番目と5番目の画素値の平均により行えばよい。
また、ここでは、順序統計フィルタ処理において、注目画素も使用しているが使用しなくてもよい。この場合には、画素数が8個(偶数)となるので中央値の算出は、4番目と5番目の画素値の平均により行えばよい。
バラツキ算出部4は、統計的バラツキとして四分位範囲を算出するようになっている。
四分位範囲は、分布の代表値を中央値としたときの分布のバラツキのことをいう。
バラツキ算出部4においては、図5に示されるように、注目画素ptおよびその周辺の8画素p1からp8の順序統計フィルタ処理後の3×3=9画素の画素値Pt,P1からP8が、それらの大きさによってソーティングされる。
四分位範囲は、分布の代表値を中央値としたときの分布のバラツキのことをいう。
バラツキ算出部4においては、図5に示されるように、注目画素ptおよびその周辺の8画素p1からp8の順序統計フィルタ処理後の3×3=9画素の画素値Pt,P1からP8が、それらの大きさによってソーティングされる。
バラツキ算出部4は、図5のソーティング結果の中央値P6を挟んで両側にそれぞれ4個ずつ存在する画素値群においてさらに中央値を求めるようになっている。中央値P6の両側の各画素値群のデータ数はそれぞれ4個なので、2番目と3番目の画素値P1,P4の平均値および7番目と8番目の画素値Pt,P7の平均値を中央値とするようになっている。
バラツキ算出部4は、2番目と3番目の画素値P1,P4から算出した中央値を第1四分位数Q1、7番目と8番目の画素値Pt,P7から算出した中央値を第3四分位数Q3とし、下式により四分位範囲IQRを算出するようになっている。
IQR=Q3−Q1
IQR=Q3−Q1
判定部5は、差分値算出部3により算出された差分値を、バラツキ算出部4により算出された統計的バラツキである四分位範囲によって除算して得られた値を所定の閾値と比較し、閾値より大きい場合には、欠陥画素であると判定するようになっている。
四分位範囲はバラツキであるため、バラツキが小さいと注目画素の周辺は平坦であり、バラツキが大きいと注目画素の周辺は平坦ではないことが分かる。四分位範囲を分母とすることにより、バラツキが小さく周辺が平坦な場所でのみ欠陥画素を判定することができる。また、注目画素が突出している場合には、差分値は大きくなるため、差分値を分子とすることにより、注目画素の突出度を容易に判定することができる。
四分位範囲はバラツキであるため、バラツキが小さいと注目画素の周辺は平坦であり、バラツキが大きいと注目画素の周辺は平坦ではないことが分かる。四分位範囲を分母とすることにより、バラツキが小さく周辺が平坦な場所でのみ欠陥画素を判定することができる。また、注目画素が突出している場合には、差分値は大きくなるため、差分値を分子とすることにより、注目画素の突出度を容易に判定することができる。
このように構成された本実施形態に係る画像処理装置1を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理方法は、図6に示されるように、取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理ステップS1と、順序統計フィルタ処理が施される前後の注目画素の画素値の差分値を算出する差分値算出ステップS2と、順序統計フィルタ処理が施された周辺画素の画素値の統計的バラツキを算出するバラツキ算出ステップS3と、差分値を統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、注目画素を欠陥画素であると判定する判定ステップS4とを含んでいる。
本実施形態に係る画像処理方法は、図6に示されるように、取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理ステップS1と、順序統計フィルタ処理が施される前後の注目画素の画素値の差分値を算出する差分値算出ステップS2と、順序統計フィルタ処理が施された周辺画素の画素値の統計的バラツキを算出するバラツキ算出ステップS3と、差分値を統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、注目画素を欠陥画素であると判定する判定ステップS4とを含んでいる。
本実施形態に係る画像処理装置1および画像処理方法によれば、メディアンフィルタ処理のような順序統計フィルタ処理を施すことにより、ノイズにより突出している画素値や、複数存在している他の欠陥画素の画素値の影響を低減して、欠陥画素の検出精度を向上することができるという利点がある。
また、単純に順序統計フィルタ処理の前後の画素値の差分値を閾値によって評価するのではなく、順序統計フィルタ処理後の周辺画素から算出した統計的バラツキによって差分値を除算することにより得られた値を閾値によって評価するので、注目画素がエッジに隣接もしくはテクスチャ上に存在する場合の誤検出を抑制することができるという利点がある。
さらに、本実施形態に係る画像処理装置1および画像処理方法によれば、バラツキ算出部4が、統計的バラツキとして四分位範囲を用いているので、標準偏差と比較して計算量を大幅に低減することができ、消費電力の節約を図ることができるという利点もある。
次に、本発明の第2実施形態に係る画像処理装置10について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1実施形態に係る画像処理装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態の説明において、上述した第1実施形態に係る画像処理装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態に係る画像処理装置10は、撮像部110により取得された動画が入力される点で第1の実施形態に係る画像処理装置1と相違している。
本実施形態に係る画像処理装置10は、図7に示されるように、判定部5により欠陥画素であると判定された場合には、その画素の座標値を登録するアドレス登録部11と、前フレームで算出された評価値を記憶する評価値記憶部12と、記憶されている前フレームの評価値と差分値とに基づいて評価値を算出する評価値算出部13とを備え、アドレス登録部11は、評価値算出部13により算出された評価値に応じて登録を解除するようになっている。
本実施形態に係る画像処理装置10は、図7に示されるように、判定部5により欠陥画素であると判定された場合には、その画素の座標値を登録するアドレス登録部11と、前フレームで算出された評価値を記憶する評価値記憶部12と、記憶されている前フレームの評価値と差分値とに基づいて評価値を算出する評価値算出部13とを備え、アドレス登録部11は、評価値算出部13により算出された評価値に応じて登録を解除するようになっている。
すなわち、アドレス登録部11により欠陥画素の座標値が登録されると、それ以降の登録画素による画像の検出は行われないようになる。
評価値算出部13は、欠陥画素の評価値を、下式により、フレーム毎に算出するようになっている。
vc=vb−vb*n+vn*n
評価値算出部13は、欠陥画素の評価値を、下式により、フレーム毎に算出するようになっている。
vc=vb−vb*n+vn*n
ここで、vcは更新された評価値、vbは前フレームの評価値、nは係数、vnは現フレームにおける差分値である。上記式によれば、現フレームの差分値と前フレームの評価値とが重み付け合成される。
なお、初回の評価値の算出においては前フレームの評価値が存在しないので、初期値として、任意の値もしくは差分値が設定されればよい。
なお、初回の評価値の算出においては前フレームの評価値が存在しないので、初期値として、任意の値もしくは差分値が設定されればよい。
アドレス登録部11は、評価値算出部13により算出された評価値と任意の閾値とを比較し、閾値以下の場合には登録された座標の画素は欠陥画素ではないと判定して座標値の登録を解除するようになっている。この場合には評価値はゼロとなり、座標値の登録を解除しない場合には、評価値がそのまま出力されて、評価値記憶部12に記憶されるようになっている。
このように構成された本実施形態に係る画像処理装置10によれば、誤検出により欠陥画素であると判定されてアドレスに登録された場合であっても、複数フレームの処理の進行に従って、誤検出であることが明らかになり、アドレス登録部11における登録が解除される。したがって、健全な画素がいつまでもアドレスに登録されたままの無駄な状態を解消することができる。また、事前に用意するアドレス登録用のメモリ量を削減することができるという利点もある。
次に、本発明の第3実施形態に係る画像処理装置20について、図面を参照して以下に説明する。
本実施形態の説明において上述した第2の実施形態に係る画像処理装置10と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態の説明において上述した第2の実施形態に係る画像処理装置10と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態に係る画像処理装置20は、図8に示されるように、間引き部21と、平坦判定部22とを備える点で第2実施形態に係る画像処理装置10と相違している。
間引き部21は、判定部5による欠陥画素の判定がなされた場合に、数回に1回の割合でアドレス登録部11に欠陥画素の座標値を登録するように間引く機能を有している。
間引き部21は、判定部5による欠陥画素の判定がなされた場合に、数回に1回の割合でアドレス登録部11に欠陥画素の座標値を登録するように間引く機能を有している。
具体的には、例えば、欠陥画素であると判定される都度にカウント数をインクリメントしていき、カウント数が偶数の場合にはアドレス登録部11への登録を行わないようになっている。あるいは、カウント数が下式によって算出される数列Nに該当する場合に欠陥画素の画素値を登録することにしてもよい。下式は4枚置きであるが、2枚置き、3枚置き、5枚置き以上であってもよい。
N=4*x+1 x=0,1,2,3,…
N=4*x+1 x=0,1,2,3,…
平坦判定部22は、順序統計フィルタから出力された順序統計フィルタ処理された周辺画素の画素値の統計的バラツキと、閾値とを比較して閾値を上回っている場合には平坦ではないと判定するようになっている。
また、評価値算出部13は、平坦判定部22から平坦ではないと判定された画素については、評価値を算出しない、すなわち、評価値の更新を行わないようになっている。
また、評価値算出部13は、平坦判定部22から平坦ではないと判定された画素については、評価値を算出しない、すなわち、評価値の更新を行わないようになっている。
この場合において、閾値は、判定を行う画素の画素値毎に算出されるように、画素値毎の平坦な領域における光ショットノイズのノイズモデルを使用する。使用するノイズモデルとしては、順序統計フィルタ処理された画素値に応じたノイズ量のモデルを使用することが好ましい。ノイズ量は、画素値毎の平坦な領域における標準偏差や分散を使用することが一般的だが、この場合は画素値毎の平坦な領域における四分位範囲を使用する。
順序統計フィルタ処理の前後においては、図9に示されるように、各画素値におけるノイズ量に差が生ずるため、このノイズモデルから算出されるモデル値に下式のように任意の係数を乗算することで最終的な閾値として使用すればよい。
TH=MV*K
ここで、THは閾値、MVはモデル値、Kは任意の係数である。
TH=MV*K
ここで、THは閾値、MVはモデル値、Kは任意の係数である。
このように、本実施形態に係る画像処理装置20によれば、判定部5により欠陥画素の判定がなされた全ての場合にアドレス登録部11への登録が行われるのではなく、間引き部21によって、登録される欠陥画素が間引かれるので、欠陥画素の誤検出数を低減することができるという利点がある。これにより、事前に用意するアドレス登録用のメモリ量を低減することができる。
また、本実施形態に係る画像処理装置20によれば、平坦判定部22により平坦ではないと判定された画素については欠陥画素の評価値が算出されないので、急激に変化するシーンでの欠陥画素の評価値の誤った更新を抑制することができ、これにより正検出された画素の検出状態の維持と誤検出された画素の検出状態の解除を安定的に行うことが出来るという利点がある。
なお、上記各実施形態においては、順序統計フィルタ処理としてメディアンフィルタによる処理を例示したが、これに代えて、ソート後の画素値群から指定の順位の画素値を選択するランクオーダーフィルタ処理、ソート後の画素値群の両端を指定した数だけ除外し残った値で平均値を算出するα−トリムド平均値フィルタ処理、ソート後の中央値を選択するだけでなく、中央値から一定の範囲に含まれる画素値も選択し、それらの平均値を算出する、ダブルウィンドウモディファイドトリムド平均値フィルタ処理、あるいは、欠陥画素の大きさに応じて最小値や最大値を選択する処理を採用してもよい。
また、統計的バラツキとして四分位範囲を例示したが、これに代えて、分散や標準偏差、平均絶対値差あるいは範囲を用いてもよい。範囲とは、入力画素の画素値の分布幅、すなわち、最大画素値と最小画素値との差である。
また、第2実施形態および第3実施形態においては、撮像部110により取得された動画が入力される場合について例示したが、これに代えて、時系列的に取得された複数枚の静止画が入力される場合に適用してもよい。
また、本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。この場合、コンピュータは、CPU、RAM等の主記憶装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理を実現させるための画像処理プログラムが記録される。そして、CPUが記録媒体に記録されている画像処理プログラムを読み出して、画像処理装置1,10,20と同一の処理を実現することができる。
また、本実施形態においては、画像処理装置1がカメラ100に適用される場合について説明したが、これに代えて、顕微鏡、内視鏡等の任意の撮影装置に適用されることにしてもよい。
1,10,20 画像処理装置
2 フィルタ処理部
3 差分値算出部
4 バラツキ算出部
5 判定部
11 アドレス登録部
12 評価値記憶部
13 評価値算出部
21 間引き部
S1 フィルタ処理ステップ
S2 差分値算出ステップ
S3 バラツキ算出ステップ
S4 判定ステップ
2 フィルタ処理部
3 差分値算出部
4 バラツキ算出部
5 判定部
11 アドレス登録部
12 評価値記憶部
13 評価値算出部
21 間引き部
S1 フィルタ処理ステップ
S2 差分値算出ステップ
S3 バラツキ算出ステップ
S4 判定ステップ
Claims (8)
- 取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理部と、
該フィルタ処理部により順序統計フィルタ処理が施される前後の前記注目画素の前記画素値の差分値を算出する差分値算出部と、
前記フィルタ処理部により順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキを算出するバラツキ算出部と、
前記差分値算出部により算出された差分値を前記バラツキ算出部により算出された統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、前記注目画素を欠陥画素であると判定する判定部とを備える画像処理装置。 - 前記バラツキ算出部が、統計的バラツキとして四分位範囲を算出する請求項1に記載の画像処理装置。
- 前記判定部により前記欠陥画素であると判定された画素の座標値を登録するアドレス登録部と、
該アドレス登録部に登録された座標値に対応する画素の前記欠陥画素の評価値を記憶する評価値記憶部と、
前記差分値算出部により算出された差分値と、前記評価値記憶部に記憶されている過去の前記評価値とに基づいて前記欠陥画素の前記評価値を算出する評価値算出部とを備え、
前記アドレス登録部は、前記評価値算出部により算出された前記評価値が、所定の閾値以下である場合に登録を解除する請求項1または請求項2に記載の画像処理装置。 - 前記評価値算出部は、前記差分値と過去の前記評価値とを重み付け合成して前記評価値を算出する請求項3に記載の画像処理装置。
- 前記判定部により前記欠陥画素であると判定された画素の前記座標値の前記アドレス登録部への登録を間引く間引き部を備える請求項3または請求項4に記載の画像処理装置。
- 前記評価値算出部は、前記バラツキ算出部が算出した順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキが所定の閾値より大きい場合に、前記評価値の算出を行わない請求項3から請求項5のいずれかに記載の画像処理装置。
- 取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理ステップと、
該フィルタ処理ステップにより順序統計フィルタ処理が施される前後の前記注目画素の前記画素値の差分値を算出する差分値算出ステップと、
前記フィルタ処理ステップにより順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキを算出するバラツキ算出ステップと、
前記差分値算出ステップにより算出された差分値を前記バラツキ算出ステップにより算出された統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、前記注目画素を欠陥画素であると判定する判定ステップとを含む画像処理方法。 - 取得された画像の注目画素と周辺画素とを含むブロック内の各画素の画素値に対して、順序統計フィルタ処理を施すフィルタ処理ステップと、
該フィルタ処理ステップにより順序統計フィルタ処理が施される前後の前記注目画素の前記画素値の差分値を算出する差分値算出ステップと、
前記フィルタ処理ステップにより順序統計フィルタ処理が施された前記周辺画素の前記画素値の統計的バラツキを算出するバラツキ算出ステップと、
前記差分値算出ステップにより算出された差分値を前記バラツキ算出ステップにより算出された統計的バラツキにより除算して得られた値が所定の閾値以上である場合に、前記注目画素を欠陥画素であると判定する判定ステップとコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/068686 WO2017221376A1 (ja) | 2016-06-23 | 2016-06-23 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017221376A1 true JPWO2017221376A1 (ja) | 2019-04-11 |
Family
ID=60783409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018523232A Pending JPWO2017221376A1 (ja) | 2016-06-23 | 2016-06-23 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10728476B2 (ja) |
JP (1) | JPWO2017221376A1 (ja) |
WO (1) | WO2017221376A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019194106A1 (ja) * | 2018-04-06 | 2019-10-10 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2019208339A1 (ja) | 2018-04-27 | 2019-10-31 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233448A (ja) * | 2003-01-28 | 2004-08-19 | Fuji Photo Film Co Ltd | 放射線像読取装置 |
JP4453332B2 (ja) | 2003-10-17 | 2010-04-21 | ソニー株式会社 | 欠陥画素検出方法、検出装置および撮像装置 |
JP2010068329A (ja) * | 2008-09-11 | 2010-03-25 | Toshiba Corp | 撮像装置 |
JP5697353B2 (ja) * | 2010-03-26 | 2015-04-08 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP5656561B2 (ja) | 2010-10-28 | 2015-01-21 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
-
2016
- 2016-06-23 WO PCT/JP2016/068686 patent/WO2017221376A1/ja active Application Filing
- 2016-06-23 JP JP2018523232A patent/JPWO2017221376A1/ja active Pending
-
2018
- 2018-12-18 US US16/224,375 patent/US10728476B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10728476B2 (en) | 2020-07-28 |
US20190149757A1 (en) | 2019-05-16 |
WO2017221376A1 (ja) | 2017-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8009209B2 (en) | Methods and apparatus for detecting defects in imaging arrays by image analysis | |
US8797429B2 (en) | Camera blemish defects detection | |
JP4816725B2 (ja) | 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 | |
JP5141245B2 (ja) | 画像処理装置、補正情報生成方法、および撮像装置 | |
CN110520768B (zh) | 高光谱光场成像方法和系统 | |
CN113411571B (zh) | 一种基于滑窗梯度熵的视频帧清晰度检测方法 | |
US20180063454A1 (en) | Method and apparatus for correcting fixed pattern noise of an infrared image | |
EP3119080B1 (en) | Method and system for dead pixel correction of digital image | |
US20180174277A1 (en) | Static soiling detection and correction | |
CN112033965A (zh) | 基于差分图像分析的3d弧形表面缺陷检测方法 | |
JP5740844B2 (ja) | 撮像装置、画像処理方法、及び、コンピュータプログラム | |
CN107810630A (zh) | 红外图像采集设备中的坏像素的校正 | |
WO2014013792A1 (ja) | ノイズ評価方法、画像処理装置、撮像装置およびプログラム | |
US11356616B2 (en) | Image processing device, image capturing device, control method of image processing device, control method of image capturing device, and storage medium | |
CN110225335B (zh) | 相机稳定性评估方法及装置 | |
WO2017221376A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US9147257B2 (en) | Consecutive thin edge detection system and method for enhancing a color filter array image | |
US20200314372A1 (en) | Information processing apparatus, information processing method, imaging apparatus, and program | |
CN107454388A (zh) | 图像处理方法以及使用该方法的装置 | |
Premachandran et al. | Measuring the effectiveness of bad pixel detection algorithms using the ROC curve | |
JP6438021B2 (ja) | 能動画素アレイセンサを用いたx線回折ベースの欠陥画素補正方法 | |
JP2013509641A (ja) | 非線形勾配補償を使用してデータを処理する方法及びシステム | |
JP2014164525A (ja) | 物体数推定方法、物体数推定装置、及び物体数推定プログラム | |
CN107079121A (zh) | 用于检测有缺陷像素的方法 | |
Chapman et al. | Improved image accuracy in hot pixel degraded digital cameras |