JP6172641B2 - 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム - Google Patents

画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム Download PDF

Info

Publication number
JP6172641B2
JP6172641B2 JP2014519887A JP2014519887A JP6172641B2 JP 6172641 B2 JP6172641 B2 JP 6172641B2 JP 2014519887 A JP2014519887 A JP 2014519887A JP 2014519887 A JP2014519887 A JP 2014519887A JP 6172641 B2 JP6172641 B2 JP 6172641B2
Authority
JP
Japan
Prior art keywords
pixel
filtering
signal
pixels
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014519887A
Other languages
English (en)
Other versions
JPWO2013183391A1 (ja
Inventor
美文 下平
美文 下平
雄介 天野
雄介 天野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2014519887A priority Critical patent/JP6172641B2/ja
Publication of JPWO2013183391A1 publication Critical patent/JPWO2013183391A1/ja
Application granted granted Critical
Publication of JP6172641B2 publication Critical patent/JP6172641B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムに関する。
高画質な画像の撮像（撮影）を実現する上で、エッジやテクスチャ等の本来の信号情報の保存性に優れたノイズ低減手法の重要性が高まっている。このような本来の信号情報の保存性に優れたノイズ低減手法として、バイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を用いたノイズ低減手法が知られている。（例えば非特許文献１参照）。
Ｃ.Ｔｏｍａｓｉ ａｎｄ Ｒ.Ｍａｎｄｕｃｈｉ, "Ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ ｆｏr ｇｒａｙ ａｎｄ ｃｏｌｏｒ ｉｍａｇｅｓ,"ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ,Ｂｏｍｂａｙ,Ｉｎｄｉａ, ｐｐ.８３９―８４６，１９９８．
バイラテラルフィルタは、平滑化を行う際に、フィルタリングを行う画素と座標位置が近く信号強度差が少ない画素ほど、フィルタリングにおける重みづけを重くし、フィルタリングの効果を大きくするものである。信号強度差が大きい画素についてはフィルタリングの効果を小さくするため、画像のエッジを保持することができる。
しかしながら、従来のバイラテラルフィルタにおいては、入力する画像信号によっては十分にフィルタリングが行えず、ノイズ成分が残留してしまうという問題があった。信号に対するノイズの量を対数で表したものにＳＮＲ（ＳＮ比。数値が大きいほどノイズが少なく高品質の信号であることを示す）があるが、入力する画像信号によっては、出力のＳＮＲが小さくなり、ノイズの除去が十分に行えていなかった。また、十分にフィルタリングが行えないことを懸念して過剰にノイズ低減を行った場合には、元の画像信号情報が消失するという問題があった。すなわち、入力する画像信号に依存しない安定的なフィルタリングを行うことができていなかった。
本発明は上記実情に鑑みてなされたものであり、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムを提供することを目的とする。
本発明の一実施形態に係る画像フィルタリング装置は、画像信号に対してフィルタリングを行う画像フィルタリング装置であって、画像信号を入力する入力手段と、入力手段により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、フィルタリング手段によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、を備える。
この画像フィルタリング装置では、着目画素のフィルタリング後の信号強度として、着目画素と該着目画素の周囲の画素との信号強度の差に重みづけを行ったものを足し合わせた値に係数γを掛け合わせた値に、着目画素のフィルタリング前の信号強度を足し合わせた値を算出している。係数γを掛け合わせることにより、画像信号にかかわらず、出力のＳＮＲを安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。以上より、本発明の一実施形態によれば、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置を提供することができる。
また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くし、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くしてもよい。周囲の画素について、着目画素からの距離の差及び着目画素の信号強度の差に基づいた重みづけを行うことで、ノイズを除去しながら、エッジやテクスチャ等の本来の信号情報を保持することができる。
また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、
と定義される式によりフィルタリング後の信号強度を算出し、
Ｓｏ´（）はフィルタリング後の信号強度、
Ｓｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域）、
γは前記係数、
σｄ ２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σｒ ２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
であってもよい。当該定義式を用いることによって、バイラテラルフィルタをもとにして確実に本発明の一実施形態を実施することができる。
また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、
と定義される式によりフィルタリング後の信号強度を算出し、
Ｓｏ´（）はフィルタリング後の信号強度、
Ｓｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域）、
γは前記係数、
σｄ ２は着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）、
σｒ ２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）、
δＶ（Ｓｉ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
であってもよい。当該定義式を用いることによって、ノンローカルミーンフィルタをもとにして確実に本発明の一実施形態を実施することができる。
また、本発明の一実施形態に係る画像フィルタリング装置において、同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、ノイズ分散上限値算出手段が算出したノイズ分散上限値を用いて、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、算出画素決定手段により着目画素のノイズの分散値を算出するために用いることができる画素であると判定された周囲の画素を用いて着目画素のノイズ分散値σ２ ｔｏｔａｌ（ｃ）を推定するノイズ分散推定手段と、をさらに備え、フィルタリング手段は、σｒ ２としてノイズ分散値σ２ ｔｏｔａｌ（ｃ）を用いてフィルタリング後の信号強度を算出してもよい。フィルタリング後の信号強度の算出において、画素毎のノイズ分散値σ２ ｔｏｔａｌ（ｃ）を用いることで、より出力のＳＮＲの値が小さくなることを防止できる。また、一枚の画像から、着目画素のノイズの分散値を算出することができる。
また、本発明の一実施形態に係る画像フィルタリング装置において、算出画素決定手段は、
と定義される式を満たす場合に、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素であると判定し、
σ２ ｍａｘ（Ｓｉ´（ｃ））は着目画素のノイズ分散上限値、
Ｋは予め設定された判定係数、
であってもよい。条件式を満たす画素で構成される信号集合の分散値を着目画素のノイズの分散値と見なすことで、より確実にノイズの分散値を算出することができる。
また、本発明の一実施形態に係る画像フィルタリング装置において、係数γを算出する係数算出手段をさらに備え、係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して、入力した値から係数γを算出してもよい。フィルタリング前後の画像信号のノイズの分散値を用いることによって、簡易に係数γの適切な値を求めることができる。
また、本発明の一実施形態に係る画像フィルタリング装置において、係数算出手段は、
と定義される式により係数γを算出し、
σｉはフィルタリング前の画像信号のノイズの分散値に基づくノイズ標準偏差、
σｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、
であってもよい。当該定義式を用いることで、より確実に係数γを算出することができる。
また、本発明の一実施形態に係る画像フィルタリング方法は、画像信号に対してフィルタリングを行う画像フィルタリング方法であって、画像信号を入力する入力ステップと、入力ステップにおいて入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、フィルタリングステップにおいて算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、を含む。
また、本発明の一実施形態に係る画像フィルタリングプログラムは、画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、コンピュータを、画像信号を入力する入力手段と、入力手段により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、フィルタリング手段によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段、として動作させる。
当該画像フィルタリング方法及び画像フィルタリングプログラムは、上述の画像フィルタリング装置と同様な効果を奏することができる。
本発明の一実施形態によれば、画像信号の信号強度の変化に対応した適切なフィルタリングを行うことができる画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムを提供することができる。
撮像装置におけるノイズ重畳過程を示す図である。 固定パターンノイズ及び経時ノイズの重畳イメージを示す図である。 バイラテラルフィルタの特性を示す図である。 本発明の実施形態に係る画像フィルタリング装置の機能ブロックを示す図である。 本発明の実施形態に係る画像信号のノイズ測定方法を示す図である。 ノイズの分散値の測定結果イメージを示す図である。 本発明の実施形態に係るノイズ特性の上限近似関数σ２ ｍａｘ（Ｓ）及び下限近似関数σ２ ｍｉｎ（Ｓ）を示す図である。 本発明の実施形態に係るノイズの分散値を算出するために用いる画素の決定イメージを示す図である。 本発明の実施形態に係る係数γの導出に関する図である。 本発明の実施形態に係るノイズの分散上限値算出処理を示す図である。 本発明の実施形態に係るフィルタリング処理を示す図である。 σｒ毎の入力ＳＮＲに対するノイズ低減特性を示す図である。 各ノイズ分散値推定方法を比較した図である。 実施例１の実験条件を示す図である。 実施例１のうち、カラーチャートを用いた場合の実験結果を示すグラフである。 実施例１のうち、カラーチャートを用いた場合の実験結果を示す図である。 実施例２における各フィルタリング装置のノイズ低減特性を示す図である。 実施例２における各フィルタリング装置のノイズ対信号比を示す図である。 本発明の実施形態に係る画像フィルタリングプログラムの構成を、記録媒体と共に示す図である。 σｒ毎の入力ＳＮＲに対するノイズ低減特性の測定方法を示す図である。
以下、図面と共に本発明の一実施形態に係る画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムについて詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
まず、図１を参照して、撮像装置におけるノイズ重畳過程について説明する。撮像装置１で被写体を撮像すると、入射光がレンズ２、カラーフィルタ３を通過し、イメージセンサーによって光電変換され、アナログ信号となり、Ａ／Ｄ変換部４によって画像信号がデジタル化される。該デジタル化される画像信号は、デバイス非依存の色を表す色変換ＸＹＺ表色系の信号値としてもよい。ＸＹＺ表色系の信号値は、ＲＧＢ表色系の階調値（Ｒ，Ｇ，Ｂ）に変換行列Ｍを掛け合わせることにより算出できる。被写体の撮像から画像信号をデジタル化する過程においては、図１に示したように、画像信号に固定パターンノイズ（Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）と経時ノイズ（Ｔｅｍｐｏｒａｌ Ｎｏｉｓｅ）が重畳する。固定パターンノイズは光学系やセンサーを含めた、撮像装置１の分光感度のむらを原因とするノイズである。経時ノイズには暗電流ノイズ、ショットノイズ、量子化ノイズ等がある。暗電流ノイズは抵抗体内の電子の不規則な熱振動によって生じる熱雑音を原因とするノイズである。また、ショットノイズは、フォントや電子の量子的な揺らぎを原因とするノイズである。また、量子化ノイズは、Ａ／Ｄ変換部４による画像信号のデジタル化の際に発生するノイズである。固定パターンノイズと経時ノイズを足し合わせたノイズを総合ノイズ（Ｔｏｔａｌ Ｎｏｉｓｅ）とする。画像信号に対する総合ノイズの重畳は不可避であるため、これらのノイズを低減する手法が求められている。
図２は、固定パターンノイズ及び経時ノイズの重畳イメージである。固定パターンノイズに関わる軸は、下軸（Ｘ軸）及び左軸（Ｙ軸）である。下軸は画像信号の信号強度Ｓ１´（画素値、輝度値）を、左軸は画像信号の頻度を総画素数で割った値（ＰＤＦ（Ｓ１´）を、それぞれ示している。経時ノイズに関わる軸は、上軸（Ｕ軸）及び右軸（Ｒ軸）である。上軸は、本来の画像信号強度からの差ΔＳｉ´（後述する平均値画像を用いた測定においては、平均値画像と平均値画像作成に使用したそれぞれの画像の信号強度の差分）を、右軸は画像信号の頻度を総画素数で割った値（ＰＤＦ（ΔＳ１´）を、それぞれ示している。図面中に表したように、点線は固定パターンノイズの影響を受けた信号強度の実測値を、実線は経時パターンノイズの影響を受けた信号強度の実測値を表している。
図２に示すように、固定パターンノイズの影響を受けた信号強度の実測値及び経時パターンノイズの影響を受けた信号強度の実測値の双方とも、本来の信号情報を境として、前後同じ程度にばらついた値が画像信号の信号強度として観測されている。これは、固定パターンノイズ及び、経時ノイズである暗電流ノイズ、ショットノイズ、量子化ノイズのいずれも、確率密度関数は正規分布又は正規分布に近似可能な関数で表され、その分散値が信号強度に依存するためである。このことから、画像信号に対する固定パターンノイズ及び経時ノイズの統計的性質はガウス分布（Ｇａｕｓｓｉａｎ）に従う（ガウス分布に近似可能である）。すなわち、重畳する各ノイズはガウス分布に従っていることが分かる。
次に、本実施形態に係る画像フィルタリング装置に用いるバイラテラルフィルタについて説明する。図３はバイラテラルフィルタの特性を示す図である。
バイラテラルフィルタは、フィルタリング前の画像信号のエッジを保ちながら、平滑化処理を行うものであり、ドメインフィルタとレンジフィルタの２種類の加重平均フィルタで構成されている。バイラテラルフィルタは２種類の加重平均フィルタの加重関数ｗｄ（ドメインフィルタの加重関数）、ｗｒ（レンジフィルタの加重関数）で重みを設定する。ドメインフィルタの加重関数ｗｄは、着目画素と周囲の画素との距離（座標軸上の類似度）に関する重みであり、距離が近いほど重みを大きく設定する。これは、近距離の画素は相関が高いとの仮定に基づくものである。すなわち、例え信号強度が類似している周囲の画素であっても、画素間の距離が離れている場合には異なる信号源から得られた信号と仮定する。また、レンジフィルタの加重関数ｗｒは、着目画素と周囲の画素との信号強度の差（信号強度軸上の類似度）に関する重みであり、信号強度の差が小さいほど重みを大きく設定する。このことにより、エッジ境界部分の画素のように、周囲の画素との間で信号強度の差の絶対値が大きい画素は、平滑化処理にほとんど利用されず、画像のエッジを鈍らせないという効果が得られる。
上述したバイラテラルフィルタの特性は図３（ａ）に示される。グラフの横軸は着目画素の周囲の画素の画素位置ｐを、グラフの縦軸は信号強度Ｓｉ´を示している。また、図３（ａ）中では、ドメインフィルタの加重関数ｗｄのグラフは画素位置ｐが「８」である場合に重みを最も重くしており、レンジフィルタの加重関数ｗｒのグラフは信号強度が「１５０」である場合に重みを最も重くしている。これは、着目画素の画素位置が「８」であり、信号強度が「１５０」であることによるものである。
図３（ａ）に示したバイラテラルフィルタは、下記式に示される。
Ｓｏ´（）はフィルタリング後の信号強度、Ｓｉ´（）はフィルタリング前の信号強度、ｃは着目画素の画素位置、ｐは着目画素の前記周囲の画素の画素位置、Ωは前記周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域（Ｈ、Ｗは予め設定された自然数））、σｄ ２は着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）、σｒ ２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）をそれぞれ表している。
バイラテラルフィルタは、周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域）Ω、着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）σｄ ２、着目画素の信号強度の差に応じた重みづけを行う際のパラメータσｒ ２がノイズ低減を左右するパラメータである。過剰なノイズ低減や不十分なノイズ低減によるノイズ成分の残留は、画像信号へのノイズ重畳量に対してパラメータ設定が不適切な場合に起こる。
図３（ａ）では、横軸として周囲の画素の画素位置ｐを、縦軸として信号強度Ｓｉ´を用いたが、横軸に着目画素と周囲の画素の画素位置の差ｐ−ｃを、縦軸として着目画素と周囲の画素の信号強度の差δＳｉ´を用いた場合には、バイラテラルフィルタの特性は図３（ｂ）に示されるようになる。着目画素と同一の画素位置（ｐ−ｃ＝０）であり、着目画素と同一の信号強度（δＳｉ´＝０）である場合に、ドメインフィルタの加重関数ｗｄ及びレンジフィルタの加重関数ｗｒの重みが最も重くなっている。
図３（ｂ）に示したバイラテラルフィルタは下記式に示される。
なお、バイラテラルフィルタの特性については、非特許文献１に記載がある。
次に、本発明の実施形態に係る画像フィルタリング装置１０の機能について説明する。図４は、本発明の実施形態に係る画像フィルタリング装置１０の機能ブロックを示す図である。例えば、画像フィルタリング装置１０は、図１に示したＡ／Ｄ変換部４によりデジタル化された画像信号に対して、フィルタリングを行うものである。図４に示すように、本実施形態に係る画像フィルタリング装置１０は、入力部１１と、出力部１２と、フィルタリング部１３と、ノイズ分散上限値算出部１４と、算出画素決定部１５と、ノイズ分散推定部１６と、係数算出部１７とを備えて構成される。画像フィルタリング装置１０のフィルタとしては、例えばバイラテラルフィルタやノンローカルミーンフィルタ（Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ Ｆｉｌｔｅｒ）をベースとしたフィルタを用いることができる。画像フィルタリング装置１０は、例えばＣＰＵ、メモリ等のハードウェアを備えるコンピュータにより実現される。画像フィルタリング装置１０は、撮像装置１に搭載されている。
また、入力画像信号のＳＮＲは、２０ｌｏｇ１０（Ｓｉ・ｂａｒ´／σｉ）で、出力画像信号のＳＮＲは、２０ｌｏｇ１０（Ｓｏ・ｂａｒ´／σｔ）で、それぞれ表すことができる。ここで、Ｓｉ・ｂａｒ´はフィルタリング前の信号強度の平均値、Ｓｏ・ｂａｒ´はフィルタリング後の信号強度の平均値、σｉはフィルタリング前の（入力信号の）画像信号のノイズの分散値に基づくノイズ標準偏差、σｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、をそれぞれ表している。入力画像信号のＳＮＲ及び出力画像信号のＳＮＲは、画像信号毎や画素毎等で求めることができる。Ｓｉ・ｂａｒ´及びＳｏ・ｂａｒ´は、画像信号毎に算出する場合には画像信号全体の画素の信号強度を平均したものとなり、画素毎に算出する場合には画素毎の信号強度となり、カラーチャートの各カラーカードナンバー（画像中の同一の色の範囲）毎に算出する場合には各カラーカードナンバー毎の信号強度を平均したものとなる。σｉ及びσｔは、画像信号毎や画素毎等で求めることができる。σｉ及びσｔを画像信号毎で算出する場合には、例えば、後述する、フィルタリング前後における画像信号に含まれる各着目画素毎のノイズの分散値であるノイズ分散値σ２ ｔｏｔａｌの平方根であるノイズ標準偏差σｔｏｔａｌを平均したものがσｉ及びσｔとなる。σｉ及びσｔを画素毎で算出する場合には、例えば、後述する、フィルタリング前後における画像信号に含まれる各着目画素毎のノイズ標準偏差σｔｏｔａｌが、各画素のσｉ及びσｔとなる。σｉ及びσｔをカラーチャートの各カラーカードナンバー毎で算出する場合には、例えば、後述する、フィルタリング前後における各カラーカードナンバー毎で画像信号に含まれる各着目画素毎のノイズ標準偏差σｔｏｔａｌを平均したものがσｉ及びσｔとなる。なお、ノイズ分散値σ２ ｔｏｔａｌ及びノイズ標準偏差σｔｏｔａｌは、後述するノイズ分散上限値算出部１４によって複数毎の画像から算出でき、また、後述するノイズ分散推定部１６によって一枚の画像から算出することができる。
入力部１１は、Ａ／Ｄ変換部４によりデジタル化された画像信号を入力する入力手段である。入力部１１が入力する画像信号は、フィルタリング前の信号強度の画素で構成されている。入力部１１が入力した画像信号は、フィルタリング部１３に入力される。
出力部１２は、フィルタリング部１３によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段である。
フィルタリング部１３は、入力部１１により入力された画像信号に対して、画像信号中のノイズ除去及びエッジの強調などを行うための演算を施し（フィルタリングを行い）、フィルタリング後の信号強度を算出するフィルタリング手段である。フィルタリング部１３によりフィルタリングが行われた画像信号は出力部１２に入力される。
フィルタリング部１３は、入力部１１により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段である。着目画素とは入力された画像信号に含まれる画素であり、フィルタリング後の信号強度を算出する画素である。周囲の画素とは、着目画素の周囲に位置する画素であり、着目画素の信号強度を算出するために用いる画素である。フィルタリング部１３は、入力された画像信号に含まれる全画素を順次着目画素とし、フィルタリング後の信号強度を算出することで、入力された画像信号のフィルタリング後の信号強度を算出する。
係数γは重みづけを行った周囲の画素を足し合わせた値に掛け合わせる値であり、予め所定の値を設定してもよいし、後述する係数算出部１７により算出してもよい。係数γを掛け合わせることによりフィルタリング後の画像信号のＳＮ比を安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。
フィルタリング部１３は、上述した重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くする。また、フィルタリング部１３は、上述した重みづけを行う際は、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くする。
フィルタリング部１３は、バイラテラルフィルタを用いて上述したフィルタリングを行う場合には、下記で定義される式によりフィルタリング後の信号強度を算出することができる。
上記式（６）で示した一般的なバイラテラルフィルタの式との相違点は、右辺のフィルタリング前の信号強度Ｓｉ´（）を除く部分に係数γを掛け合わせている点である。
フィルタリング部１３は、ノンローカルミーンフィルタを用いて上述したフィルタリングを行う場合には、下記で定義される式によりフィルタリング後の信号強度を算出することができる。
上記式（７）と同様に右辺のフィルタリング前の信号強度Ｓｉ´（）を除く部分に係数γを掛け合わせている。上記式（７）と異なる点は、δＶ（Ｓｉ´（ｐ））を用いている点である。δＶ（Ｓｉ´（ｐ））は、例えば画像信号の領域を同一の大きさで格子状に分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差である。すなわち、バイラテラルフィルタの定義式である上記式（７）においては、レンジフィルタの加重関数ｗｒは、着目画素と周囲の画素との信号強度の差を各周囲の画素毎に算出して求めていたが、ノンローカルミーンフィルタの定義式である上記式（８）においては、レンジフィルタの加重関数ｗｒは、着目画素と周囲の画素との信号強度の差を、周囲の画素が位置する一定領域（画像信号の領域を分割した複数領域のうちｐを含む領域）毎に算出して求めている。この場合に、一定領域の信号強度としては、例えば、一定領域に含まれる各画素の信号強度の平均を用いることができる。
また、発明者は鋭意研究を重ねる中で、上記式（７）及び上記式（８）において、着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）σｒ ２として、各着目画素毎のノイズの分散値であるノイズ分散値σ２ ｔｏｔａｌを用いてフィルタリング後の信号強度を算出すると、より安定したフィルタリングを行うことができることを見出した。後述するノイズ分散上限値算出部１４、算出画素決定部１５、ノイズ分散推定部１６によって、各着目画素毎のノイズの分散値であるノイズ分散値σ２ ｔｏｔａｌが算出された場合には、フィルタリング部１３は、上記式（７）及び上記式（８）において、着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）σｒ ２としてノイズ分散値σ２ ｔｏｔａｌを用いてフィルタリング後の信号強度を算出する。
ノイズ分散上限値算出部１４は、同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段である。
ノイズ分散上限値算出部１４によって算出される、複数のノイズの分散値の算出方法の例について、図５により説明する。なお、ノイズの分散値の算出方法については、「“ＩＳＯ１５７３９ Ｆｉｒｓｔ ｅｄｉｔｉｏｎ ： Ｐｈｏｔｏｇｒａｐｈｙ−Ｅｌｅｃｔｒｏｎｉｃ ｓｔｉｌｌ−ｐｉｃｔｕｒｅ ｉｍａｇｉｎｇ−Ｎｏｉｓｅ ｍｅａｓｕｒｅｍｅｎｔｓ”,２００３．」（以下、非特許文献２という）に記載がある。図５（ａ）に示すように、最初に、撮像装置１で同一の対象であるカラーチャートをｎ枚撮像し、参照用画像とする。カラーチャートとは、色の表、すなわち、色見本を配列した板状の物体であり、色彩再現性をチェックするなど色の比較・測定に用いるものである。また、ｎ枚とは８枚以上であればよく、本実施形態では１０枚とする。撮像装置１とカラーチャートの位置関係は固定とする。
次に、撮像装置１とカラーチャートの位置関係は同一位置に固定、露光時間も同一として、遮光空間で暗電流画像を１０枚撮像し、それぞれの暗電流画像を構成する画素の信号強度の分散値を算出し、それらの平均値σ２ ｄｃを求める。そして、暗電流画像から、暗電流ノイズの平均値を取得し、最初に取得した１０枚の参照用画像から暗電流ノイズによって加算されるバイアスを減算し、暗電流補正後の画像を作成する。
次に、図５（ｂ）に示すように、暗電流補正後の１０枚の画像から、平均値画像を１枚作成する。平均値画像とは、各画素毎の平均信号強度を取得した画像である。次に、図５（ｃ）に示すように、平均値画像と暗電流補正後の１０枚の画像とから、それらの差分である、差分画像を１０枚作成する。
次に、図５（ｄ）に示すように、平均値画像について、Ｍ×Ｎ画素（Ｍ、Ｎは予め設定された自然数）のエッジを含まない平坦な領域を持つ局所領域を選択し、該局所領域における平均値画像を構成する画素の信号強度の分散値σ２ ａｖｅを算出する。Ｍ×Ｎ画素としては、例えばＭ＝Ｎ＝２１とすることが考えられる。
次に、図５（ｅ）に示すように、全ての差分画像について、Ｍ×Ｎ画素のエッジを含まない平坦な領域を持つ局所領域を選択し、該局所領域における差分画像の信号強度及び分散値を算出する。その後、各差分画像を構成する画素の信号強度の分散値の平均値σ２ ｄｉｆｆを算出する。
そして、σ２ ａｖｅ及びσ２ ｄｉｆｆの算出後、下記で定義される式により、図５（ｆ）に示すように、経時ノイズの分散値σ２ ｔｅｍｐ、固定パターンノイズの分散値σ２ ｆｐ、総合ノイズの分散値σ２ ｔｏｔａｌをそれぞれ算出する。
図６は、ノイズの分散値の測定結果イメージを示している。図６のグラフの横軸は信号強度Ｓｉ´を、縦軸は各ノイズの分散値を表している。上記式により算出した経時ノイズの分散値σ２ ｔｅｍｐ、固定パターンノイズの分散値σ２ ｆｐ、総合ノイズの分散値σ２ ｔｏｔａｌは、画素位置を特定位置に固定した場合には、図６（ａ）に示したように、信号強度を変数とした近似式で推定することができる。
当該近似式で推定した経時ノイズの分散値σ２ ｔｅｍｐ、固定パターンノイズの分散値σ２ ｆｐ、総合ノイズの分散値σ２ ｔｏｔａｌと、各ノイズの分散値の測定値との一致度合を示す係数として重相関係数Ｒを用いると、重相関係数Ｒの決定係数Ｒ２（決定係数Ｒ２は０以上かつ１以下であって、１に近い値であるほど比較対象の一致度が高いことを示す）の値は、図６（ａ）に示した表のようになる。画像信号を、無彩色であって学習内（近似式を算出するのに用いた画素）のものにした場合及び有彩色で学習外（近似式を算出するのに用いていない画素）のものにした場合のいずれの場合においても、経時ノイズの分散値σ２ ｔｅｍｐ、固定パターンノイズの分散値σ２ ｆｐ、総合ノイズの分散値σ２ ｔｏｔａｌの決定係数Ｒ２は１に極めて近い値となる。すなわち、各ノイズの分散値は、近似式による値と実測値とで、高い一致度となる。
一方で、画素位置を不特定位置とした場合には、重相関係数Ｒの決定係数Ｒ２の値は、図６（ｂ）に示した表のようになる。画像信号を、カラーチャート２４色の不特定位置であって学習外のものにした場合には、画素位置の依存性がない経時ノイズの分散値σ２ ｔｅｍｐについての決定係数Ｒ２は１に極めて近い値となるものの、画素位置の依存性がある固定パターンノイズの分散値σ２ ｆｐについての決定係数Ｒ２は０．７７６８となり、近似式による値と実測値とで一致度は低いものとなる。総合ノイズの分散値σ２ ｔｏｔａｌについても決定係数Ｒ２は０．８７８２となり、近似式による値と実測値とで一致度は低いものとなる。固定パターンノイズの分散値σ２ ｆｐ及び総合ノイズの分散値σ２ ｔｏｔａｌについての、近似式による値と実測値との乖離が大きいことから、画素位置を不特定位置とした場合には、１つの近似式で経時ノイズの分散値σ２ ｔｅｍｐ、固定パターンノイズの分散値σ２ ｆｐ、総合ノイズの分散値σ２ ｔｏｔａｌを推定することはできないことがわかる。そこで、ノイズの分散値の上下限値を特定（ノイズ特性の上下限近似関数を特定）することで、ノイズの分散値を算出する方法を採用する。
上記式（９）にて算出された、経時ノイズの分散値σ２ ｔｅｍｐ、固定パターンノイズの分散値σ２ ｆｐはそれぞれパラメータα及びβを用いて下記で定義する式に表すことができる。Ｓｉ・ａｖｅ´は平均値画像の信号強度である。
そして、ノイズ分散上限値算出部１４は、算出したＳｉ・ａｖｅ´、σ２ ｄｃ、及び上記式（９）から算出したσ２ ｆｐ、σ２ ｔｅｍｐと、上記式（１０）より、パラメータα及びパラメータβを得る。パラメータα及びパラメータβは、画素毎やカラーチャートの同一色毎に得ることができる。ノイズ分散上限値算出部１４は得られた複数のパラメータα及び複数のパラメータβから、複数のαのうち最大値であるαｍａｘ、複数のβのうち最大値であるβｍａｘ、複数のβのうち最小値であるβｍｉｎを選定する。具体的には、ランダムサンプリングした画素に対して、αｍａｘはｍａｘ｛α（Ｓｉ´（ｐ））｝、βｍａｘはｍａｘ｛β（Ｓｉ´（ｐ））｝、βｍｉｎはｍｉｎ｛β（Ｓｉ´（ｐ））｝でそれぞれ求められる。αｍａｘ及びβｍａｘからはノイズ特性の上限近似関数σ２ ｍａｘ（Ｓｉ´）が、βｍｉｎからはノイズ特性の下限近似関数σ２ ｍｉｎ（Ｓｉ´）が、それぞれ下記で定義する式により算出される。なお、ノイズ特性の下限近似関数σ２ ｍｉｎ（Ｓｉ´）については、後述する算出画素決定部１５による着目画素のノイズの分散値を算出するための画素の決定においては、必ずしも必要ではない。
図７は、ノイズ特性の上限近似関数σ２ ｍａｘ（Ｓｉ´）及び下限近似関数σ２ ｍｉｎ（Ｓｉ´）を示している。図７のグラフの横軸は信号強度Ｓｉ´を、縦軸は各ノイズの分散値を表している。ノイズの分散値の上下限が決定するため、各信号強度におけるノイズの分散値σ２ ｔｏｔａｌは、当該上下限値の間の値であると推定できる。なお、ノイズ特性の上下限近似関数に関しては、「Ｙ．Ｍ．Ｂａｅｋ，Ｊ．Ｃ．Ｋｉｍ，Ｄ．Ｃ．Ｃｈｏ，Ｊ．Ａ．Ｌｅｅ，ａｎｄＷ．Ｙ.Ｋｉｎ,“Ｉｎｔｅｇｒａｔｅｄ Ｎｏｉｓｅ Ｍｏｄｅｌｉｎｇ Ｆｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｕｓｉｎｇ Ｂａｙｅｒ Ｄｏｍａｉｎ Ｉｍａｇｅｓ”,Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ／Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ＣｏｌｌａｂｏｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｓ,ｐｐ.４１３−４２４,２００９．」（以下、非特許文献３という）に記載がある。ただし、当該文献には、ノイズ分散の上下限を定義するモデル化の提案はされているものの、各パラメータ（αｍａｘ、βｍａｘ、βｍｉｎ）の決定方法は明確に示されていない。また、モデル作成に使用するチャートは、マクベスカラーチャートとすることで、グレイスケールチャートや均一光源面等を用いた場合と比較して、撮影回数の低減を実現した。
ここで、当該ノイズの分散値推定方法は、一枚の画像のみを使用して着目画素のノイズ分散値を推定するものである。そのために、局所領域内画素の信号は同一の信号強度（極めて近似する信号強度を含む）である同一信号源を撮像し、事前に取得したノイズ特性の上限内に収まる特性のノイズが重畳していると仮定する。すなわち、ノイズ特性の上限値を用いて同一の信号強度の画素を推定し、ノイズの分散値を推定するものである。
算出画素決定部１５は、ノイズ分散上限値算出部１４が算出したノイズ分散上限値を用いて、入力部１１によって入力されたフィルタリング対象の画像信号における周囲の画素が、着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段である。
算出画素決定部１５は、着目画素のノイズ分散上限値を示す上限近似関数σ２ ｍａｘ（Ｓｉ´）を用いて、周囲の画素の信号強度が、下記で定義される式を満たすか判定し、該周囲の画素が、着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する。
上記式（１２）において、Ｋは予め設定された判定係数（０．５ｋｓｉｇｍａｐｏｉｎｔ）であり、判定係数Ｋとしては、例えば、５を用いる。上記式（１２）を満たす周囲の画素は、着目画素と同一の信号強度（極めて近似する信号強度を含む）である同一信号源であると判断され、後述する着目画素のノイズの分散値の算出に用いられる。
算出画素決定部１５による、ノイズの分散値を算出するために用いる画素の決定イメージを図８に示す。ノイズの分散値を算出するために用いる画素の決定はフィルタリング対象の一枚の画像のみを使用して行われる。図中のｃは着目画素を、ｐは周囲の画素を示す。図８（ａ）に示すように、中央のマスを着目画素とし、その他のマスを周囲の画素としている。いま、各マスのうち、斜線が描かれているマスは上記式（１２）を満たす周囲の画素の位置、白抜きのマスは上記式（１２）を満たさない周囲の画素の位置とする。例えば、図８（ｂ）のように、上記式１２を満たさない周囲の画素については、着目画素のノイズの分散値を算出するために用いない画素であると判定される。一方で、図８（ｃ）のように、上記式１２を満たす周囲の画素については、着目画素のノイズの分散値を算出するために用いることができる画素であると判定される。このように、周囲の画素について、それぞれ判定していき、図８（ｄ）のように、上記式１２を満たす周囲の画素で構成された信号集合ＳΨを導出する。
ノイズ分散推定部１６は、算出画素決定部１５により着目画素のノイズの分散値を算出するために用いることができる画素であると判定された周囲の画素から、着目画素のノイズの分散値σ２ ｔｏｔａｌ（ｃ）を推定するノイズ分散推定手段である。ノイズ分散推定部１６は、図８（ｄ）に示した信号集合ＳΨに含まれる画素の信号強度の分散値を、着目画素の総合ノイズ分散値σ２ ｔｏｔａｌ（ｃ）であるとみなす（ＶＡＲ（ＳΨ）＝σ２ ｔｏｔａｌ（ｃ））。ノイズ分散推定部１６によって算出された着目画素毎のノイズの分散値σ２ ｔｏｔａｌ（ｃ）は、フィルタリング部１３によって、フィルタリング後の信号強度を算出するためのパラメータとして用いられる。具体的には、フィルタリング部１３は、上記式（１）又は（２）におけるσｒ ２として、ノイズの分散値σ２ ｔｏｔａｌ（ｃ）を用いてフィルタリング後の信号強度を算出する。なお、画素毎におけるノイズ分散値σ２ ｔｏｔａｌ（ｃ）を求める方法は、上記方法に限定されず、その他の方法により求めてもよい。
係数算出部１７は、係数γを算出する係数算出手段である。係数算出部１７は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、係数γを算出する。係数γは、フィルタリング前後の画像信号のノイズの分散値に基づく値である、フィルタリング前後のノイズの標準偏差から求めることができる。ここで、フィルタリングは、例えばフィルタリング装置１０によって実施され、上記式（１）又は（２）で定義される式によりフィルタリング後の信号強度が算出される。この場合には、例えば、上記式（１）又は（２）のγ＝１として、フィルタリング部１３によるフィルタリングが行われる。また、フィルタリング前後のノイズの標準偏差σｉ及びσｔとしては、例えば、総合ノイズ標準偏差σｔｏｔａｌを用いることができ、係数γを画像信号毎に算出する場合には、画像信号に含まれる各着目画素のノイズ標準偏差σｔｏｔａｌを平均したものが、σｉ及びσｔとなり画像信号毎の係数γが算出される。また、係数γを画素毎に算出する場合には、画像信号に含まれる各着目画素毎のノイズ標準偏差σｉ及びσｔが各画素のσｉ及びσｔとなり各着目画素毎の係数γが算出される。なお、ノイズ分散値σ２ ｔｏｔａｌ及びノイズ標準偏差σｔｏｔａｌは、後述するノイズ分散上限値算出部１４によって複数毎の画像から算出でき、また、後述するノイズ分散推定部１６によって一枚の画像から算出することができる。また、フィルタリング装置１０以外のフィルタリング装置でフィルタリングを行い、フィルタリング前後のノイズの標準偏差を求めるものであってもよい。フィルタリング前後のノイズの標準偏差からの係数γの算出は、具体的には、下記で定義する式によって行われる。
上記式（１３）において、σｉはフィルタリング前の（入力信号の）画像信号のノイズの分散値に基づくノイズ標準偏差、（フィルタリング前の画像信号の総合ノイズ標準偏差σｔｏｔａｌ）を、σｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差（フィルタリング後の画像信号の総合ノイズ標準偏差σｔｏｔａｌ）をそれぞれ表している。
上記式（１３）は以下のように導かれる。分散値の算出式より、以下の式が成り立つ。
Ｓｔｒｕｅは信号強度の真値、Ｓｉｎはフィルタリング前の着目画素の信号強度、Ｓｏｕｔはフィルタリング後の着目画素の信号強度である。
上記式（１４）に誤差係数（ｅｒｒｏｒ ｆａｃｔｏｒ）εを導入すると、以下の式が成り立つ。
さらに、上記式（１５）より、以下の式が成り立つ。
さらに上記式（１６）及び上記式（６）と、
の関係をもとに、以下の式が成り立つ。
また、グラフの横軸にσｒ／σｉ、縦軸にσｔ／σｉをとった場合の係数γは図９に示すようになる。ノイズ分散推定部１６により推定されたノイズの分散値は、実際に測定される値σｉを精度よく推定することができるため、σｒの値をノイズ分散推定部１６により推定されたノイズの分散値とすることで、σｒ≒σiとなり、係数γの値を固定値とすることができる。なお、すべての画素について動的に係数γを求め使用することも可能である。
引き続いて、図１０及び図１１のフローチャートを用いて、本発明の実施形態に係る画像フィルタリング装置１０の、ノイズの分散上限値算出処理及びフィルタリング処理を説明する。図１０は、本発明の実施形態に係る画像フィルタリング装置１０によるノイズの分散上限値算出処理を示すフローチャートである。本処理のＳ１０１〜Ｓ１０３は、撮像素子温度やシャッタースピード等の撮影条件が同じ場合であれば、一度行われればよく、一度行った後に撮像装置１で被写体を撮像する際には行われない処理である。撮像装置素子温度やシャッタースピード等の撮影条件が変わった場合には、再度、Ｓ１０１〜Ｓ１０３の処理が行われる。
まず、同一の対象を撮像した複数の参照用画像が、入力部１１より入力される（Ｓ１０１）。当該参照用画像から、平均値画像及び差分画像を作成し、それぞれの信号強度及び分散値を算出することで、ノイズ分散上限値算出部１４によって、信号強度に応じたノイズの分散値が複数算出される（Ｓ１０２）。
そして、算出された信号強度に応じたノイズの分散値から、ノイズ分散上限値算出部１４によって、ノイズ特性の上限近似関数σ２ ｍａｘ（Ｓｉ´）、及び下限近似関数σ２ ｍｉｎ（Ｓｉ´）が算出され、信号強度に応じたノイズ分散上限値（及び下限値）が算出される（Ｓ１０３）。
図１１は、本発明の実施形態に係るフィルタリング処理を示すフローチャートである。撮像装置１によって被写体が撮像されると、入力部１１により画像信号が入力される（Ｓ１０４、入力ステップ）。そして、着目画素のノイズ分散上限値を示す上限近似関数σ２ ｍａｘに基づき、算出画素決定部１５によって各着目画素のノイズの分散値を算出するための周囲の画素が決定される（Ｓ１０５）。
次に、算出画素決定部１５が決定したノイズの分散値を算出するための周囲の画素を用いて、ノイズ分散推定部１６によって、各着目画素のノイズの分散値σ２ ｔｏｔａｌ（ｃ）が算出される（Ｓ１０６）。
次に、算出された各着目画素のノイズの分散値σ２ ｔｏｔａｌ（ｃ）を用いて、フィルタリングが実施される（Ｓ１０７）。この場合には、暫定的に、上記式（１）又は（２）のγ＝１としてフィルタリングが実施される。正係数算出部１７によってフィルタリング前後のノイズの分散値が算出され、上記式（１３）より、係数γが算出される（Ｓ１０８）。
そして、Ｓ１０６においてノイズ分散推定部１６に算出された各着目画素のノイズの分散値σ２ ｔｏｔａｌ（ｃ）及び、Ｓ１０８において係数算出部１７に算出された係数γを用いて、フィルタリング部１３によって、再度画像信号のフィルタリングが実施される（Ｓ１０９、フィルタリングステップ）。
Ｓ１０９における画像信号のフィルタリング処理が完了すると、出力部１２により、フィルタリング部１３によって算出されたフィルタリング後の信号強度の画素で構成される画像信号が出力される（Ｓ１１０、出力ステップ）。
次に、本実施形態に係る画像フィルタリング装置１０の作用・効果について説明する。
この画像フィルタリング装置１０では、着目画素のフィルタリング後の信号強度として、着目画素と該着目画素の周囲の画素との信号強度の差に重みづけを行ったものを足し合わせた値に係数γを掛け合わせた値に、着目画素のフィルタリング前の信号強度を足し合わせた値を算出している。係数γを掛け合わせることにより、画像信号にかかわらず、出力のＳＮＲを安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。
以上より、本発明の一実施形態によれば、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置１０を提供することができる。また、本画像フィルタリング装置１０によれば、デバイスの種類に関係なく、ノイズ低減に優れた平滑化手法を提供することができる。
また、本実施形態に係る画像フィルタリング装置１０において、フィルタリング部１３は、重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くし、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くすることで、ノイズを除去しながら、エッジやテクスチャ等の本来の信号情報を保持することができる。
また、本実施形態に係る画像フィルタリング装置１０において、フィルタリング部１３は、上記式（１）で定義される式によりフィルタリング後の信号強度を算出することで、バイラテラルフィルタをもとにして確実に本発明の一実施形態を実施することができる。
また、本実施形態に係る画像フィルタリング装置１０において、フィルタリング部１３は、上記式（２）で定義される式によりフィルタリング後の信号強度を算出することで、ノンローカルミーンフィルタをもとにして確実に本発明の一実施形態を実施することができる。
また、本実施形態に係る画像フィルタリング装置１０において、ノイズ分散上限値算出部１４と、算出画素決定部１５と、ノイズ分散推定部１６と、をさらに備え、フィルタリング部１３は、σｒ ２としてノイズ分散値σ２ ｔｏｔａｌ（ｃ）を用いてフィルタリング後の信号強度を算出することで、フィルタリングによる信号強度の算出において、画素毎のノイズ分散値σ２ ｔｏｔａｌ（ｃ）をレンジフィルタの加重関数に反映させることができ、より出力のＳＮＲの値が小さくなることを防止できる。
σｒ毎の入力ＳＮＲに対するノイズ低減特性を調べるために、図２０（ａ）に示すように、入力画像であるＣＧチャートにノイズ発生器により、任意のノイズ特性（ノイズ標準偏差がσｉ。ノイズのパラメータは標準偏差σｉを変えて重畳可能）のノイズを重畳したものを、ｎ枚評価画像として作成した。そして、図２０（ｂ）に示すように、ドメインフィルタ分散値σｄ及び局所領域Ωは固定値とし、レンジフィルタ分散値σｒは可変（任意値）とし、フィルタリングを行い、図２０（ｃ）に示すように、それぞれの画素について、ノイズ低減特性を算出する。図２０（ａ）〜図２０（ｃ）に示す処理は、ノイズ低減特性の解析が十分に行われるまで繰り返され、σｉの値を変更して処理を行う場合には図２０（ａ）〜図２０（ｃ）の処理が繰り返され、σｒの値を変更して処理を行う場合には図２０（ｂ）〜図２０（ｃ）の処理が繰り返される。また、ドメインフィルタ分散値σｄ及び局所領域Ωを変えて同様の処理を行えば、σｔ／σｉ、σｒ／σｉ、σｄ、Ωの４パラメータで構成される４次元空間上でノイズ低減特性が表される。なお、σｉ及びσｔの測定方法は、非特許文献２に記載がある。
画素毎のノイズ分散値σ２ ｔｏｔａｌ（ｃ）を用いてフィルタリングを行った場合の効果については、図１２（σｒ毎の入力ＳＮＲに対するノイズ低減特性を示す図）により確認することができる。なお、この際の当該フィルタリング処理は、画像フィルタリング装置１０に用いるフィルタのパラメータとして、着目画素を中心とした局所領域Ωは２１×２１画素のサイズに固定し、ドメインフィルタ分散値σｄ ２は固定値９とし、レンジフィルタ分散値σｒ ２は可変とした。また、使用するフィルタはバイラテラルフィルタ等をベースとするものである。また、対象ノイズ（フィルタリング装置１０によるフィルタリング対象となる画像信号に含まれるノイズであって、測定又は算出するもの）はガウス分布に従うノイズとした。また、ＣＧチャートを入力画像信号とした。なお、フィルタのパラメータは上述したものに限定されるものではなく、必要に応じて変更することが可能である。
図１２はσｒ毎の入力ＳＮＲに対するノイズ低減特性を示す図である。グラフの横軸が入力画像信号のＳＮＲであり、縦軸が出力画像信号のＳＮＲである。グラフ中で実線で示された線は、フィルタリング処理を行わなかった場合の出力のＳＮＲを表している。着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）としてσｒ ２を用いた場合には、σｒの値を比較的小さく（１３．４）した場合には、入力のＳＮＲを大きくした場合に、出力のＳＮＲが未処理の場合と同等となっており、適切にフィルタリングが行えていないことがわかる。また、σｒの値を比較的大きく（１５８．７）した場合にも、入力のＳＮＲを大きくした場合に出力のＳＮＲが低減（ノイズ低減量が減衰）しており、適切なフィルタリングが行えていないことがわかる。一方で、σｒ ２としてノイズ分散値σ２ ｔｏｔａｌを用いた場合には、入力のＳＮＲに対してＳＮＲ利得が一定であり、安定的に出力のＳＮＲを得ることができていることがわかる。すなわち、レンジフィルタ分散値σｒ ２に入力画像信号のノイズ分散値σ２ ｔｏｔａｌを用いることで、入力画像信号のＳＮＲ（信号強度やノイズ特性）に依存しないロバストなノイズ低減が可能となる。
また、本実施形態に係る画像フィルタリング装置１０において、算出画素決定部は、上記式（３）で定義される式を満たす場合に、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素であると判定することで、一枚の画像から着目画素のノイズの分散値を算出することを可能とする。
なお、本実施形態に係る方法以外の方法でノイズの分散値を算出することもでき、他の方法としてはＳＮＥ（ショットノイズ分散値推定）やＡＦＥ（関数近似）などがあるが、図１３に示すように、本実施形態に係る方法を採用することによって、総合ノイズの分散値を高い精度で推定することができる。図１３のグラフにおいて、横軸はノイズの分散値σ２ ｔｏｔａｌの測定値、縦軸はノイズの分散値σ２ ｔｏｔａｌの推定値である。なお、ノイズの分散値推定手法については、「Ｈ． Ｔａｌｂｏｔ， Ｈ． Ｐｈｅｌｉｐｐｅａｕ， Ｍ． Ａｋｉｌ， ａｎｄ Ｓ． Ｂａｒａ， “Ｅｆｆｉｃｉｅｎｔ Ｐｏｉｓｓｏｎ ｄｅｎｏｉｓｉｎｇ ｆｏｒ ｐｈｏｔｏｇｒａｐｈｙ,”Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）,２００９ １６ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ, ｐｐ.３８８１−３８８４, ２００９.」（以下、非特許文献４という）に記載がある。
また、本実施形態に係る画像フィルタリング装置１０において、係数γを算出する係数算出部１７をさらに備え、係数算出部１７は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から係数γを算出することで、簡易に係数γの適切な値を求めることができる。
また、本実施形態に係る画像フィルタリング装置１０において、係数算出部１７は、上記式（４）で定義される式により係数γを算出することで、より確実に係数γを算出することができる。あるいは係数γは、画像フィルタリング装置１０のユーザにより予め設定された値でもよい。この場合、係数γは、例えば、経験的に得られた望ましい値とすることができる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
例えば、画像フィルタリング装置１０は撮像装置１に搭載されているものとしたが、必ずしもこれに限定されるものではなく、画像フィルタリング装置１０は撮像装置１に搭載されているものでなくてもよい。例えば、画像フィルタリング装置１０が別体として構成され、撮像装置１と接続されるように構成されていてもよい。
また、画像フィルタリング装置１０のレンジフィルタ分散値σｒ ２は可変としたが、これに限定さえず、予め設定された固定値としてもよい。
また、係数γは、レンジフィルタ分散値σｒ ２としてノイズの分散値σ２ ｔｏｔａｌを用いたフィルタリング前後のノイズの分散値を測定して算出することとしたが、これに限定されるものではなく、例えば、ノイズの分散値σ２ ｔｏｔａｌを用いないフィルタでフィルタリングを行ってもよい。また、カラーチャートに基づく評価画像にノイズを重畳させた画像を複数毎作成し、フィルタリング前後の画素ノイズ分散値を測定した上で係数γを求めてもよい。
また、画像フィルタリング装置１０は、ガウス分布以外のノイズ特性に従うノイズにもｗｒの重み付け関数を対象となるノイズ特性の確率密度関数に変更することで応用でき、例えば医療画像（磁気共鳴画像、超音波画像）やＴＯＦ画像等のノイズ低減にも応用可能である。
また、画像フィルタリング装置１０は、カメラ、ディスプレイ、ＣＰＵ等を備えるタブレットＰＣ等の表示画像のノイズ低減に用いることもでき、画像の質感を向上させることができる。
また、画像フィルタリング装置１０における信号強度に対する重みづけの考え方を、他のフィルタに展開することが可能である。
また、画像フィルタリング装置１０を備えたＸＹＺカメラでは、色変換に由来するランダムノイズの顕著化にも対応することができる。
また、画像信号以外の信号処理に対しても、画像フィルタリング装置１０で用いたフィルタを適用することが可能である。
以下、本発明の実施例について説明する。なお、本発明はこれらの実施例に限定されるものではない。
[実施例１]
実施例１は、種々のフィルタリング装置毎のフィルタリング効果を比較するものである。比較対象となるフィルタリング装置は、上記式（１）によりフィルタリングを行うフィルタリング装置であって係数γ＝１．０とするＮＡＢＦ、上記式（１）によりフィルタリングを行うフィルタリング装置であって係数γ＝２．２とするＣＮＡＢＦ、非特許文献１に記載されたフィルタリング装置であるＤＢＦ、非特許文献４に記載されたフィルタリング装置であるＳＮＡＢＦ、の四種類である。ＮＡＢＦ及びＣＮＡＢＦは、σｒ ２としてノイズ分散値σ２ ｔｏｔａｌ（ｃ）を用いてフィルタリングを行っているが、ＤＢＦ及びＳＮＡＢＦではノイズ分散値σ２ ｔｏｔａｌ（ｃ）を用いていない。また、画像信号をフィルタリングする範囲は２１×２１画素の範囲であり、着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）σｄ ２＝９とする。
図１４に示すように、カラーチャート、花の写真、ピーマンの写真の画像信号について、各フィルタリング装置でフィルタリング処理を行う。なお、このようなフィルタリング処理に関しての実験については、非特許文献１及び非特許文献４に記載がある。なお、撮像装置１として、ＸＹＺ表色系で画像信号の取出しが可能な、ＸＹＺ静止画カメラ（「Ｙ．Ｓｈｉｍｏｄａｉｒａ， Ｈ．Ｓｕｚｕｋｉ， Ｍ．Ｋｒｅｔｋｏｗｓｋｉ， “Ｎｅｗ Ｉｍａｇｉｎｇ ａｎｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ｆｏｒ Ｗｉｄｅ Ｇａｍｕｔ Ｃｏｌｏｒ Ｒｅｐｒｏｄｕｃｔｉｏｎ,” ＩＥＥＥ−ＩＡＳ ２００７ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ, ３３Ｐ５, Ｎｅｗ Ｏｒｌｅａｎｓ, Ｌｏｕｉｓｉａｎａ, ＵＳＡ（２００７．９.２３−２７）」（以下、非特許文献５という）に記載あり）を用いる。
図１５に、カラーチャートの各カラーカードナンバー（１〜２３）の画像信号についてフィルタリング処理を行った結果を示している。なお、カラーカードナンバーは数が大きいほど信号強度が強い画像信号である。各カラーカードナンバーの固定パターンノイズ、経時ノイズ、総合ノイズの分散値の算出結果は図１５（ａ）に示すようになった。また、各カラーカードナンバー毎の出力画像信号のＳＮＲは、図１５（ｂ）に示すようになった。図１５（ｂ）から明らかなように、係数γ＝２．２としたＣＮＡＢＦは、いずれのカラーカードナンバーにおいても、出力画像信号のＳＮＲを高い値で維持することができた。各カラーカードナンバーにおける出力画像信号のＳＮＲの平均（ΔＳＮＲ）は、それぞれ、ＮＡＢＦが５．０３、ＣＮＡＢＦが１２．６８、ＤＢＦが６．１７、ＳＮＡＢＦが３．６２となった。
また、図１５（ｃ）に示すように、色差についても、各カラーカードナンバーについて、係数γ＝２．２としたＣＮＡＢＦが最も低い値となった。各カラーカードナンバーにおける色差の平均（ｄＥ７６（１．３０））は、それぞれ、ＮＡＢＦが０．７０、ＣＮＡＢＦが０．２６、ＤＢＦが０．５８、ＳＮＡＢＦが０．８２となった。色差は、計測器が持つ誤差として０．３０程度が見込まれるところ、ＣＮＡＢＦでは当該計測器が持つ誤差と同程度の色差となった。
また、図１６（ａ）に示すカラーチャートの２か所（範囲Ｘ及び範囲Ｙ）についてフィルタリング処理を行った画像を図１６（ｂ）（範囲Ｘの画像）、図１６（ｃ）（範囲Ｙの画像）に示す。図１６（ｂ）、図１６（ｃ）ともに、最上部の画像はフィルタリング前の画像である。図１６（ｂ）からは、ＣＮＡＢＦによりフィルタリングを行った画像が、各フィルタリング装置の画像のうちで最もなめらかであることがわかる。また、図１６（ｃ）からは、画像の明るさが鋭敏に変化しているエッジ部分について、ＣＮＡＢＦが最も強調できていることがわかる。
また、花の写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号のＳＮＲの平均（ΔＳＮＲ）は、それぞれ、ＮＡＢＦが０．９９、ＣＮＡＢＦが１．７０、ＤＢＦが１．０９、ＳＮＡＢＦが０．７４となった。花の写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号の色差の平均（ｄＥ７６（１．６１））は、それぞれ、ＮＡＢＦが１．４３、ＣＮＡＢＦが１．３０、ＤＢＦが１．３１、ＳＮＡＢＦが１．４６となった。
また、ピーマンの写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号のＳＮＲの平均（ΔＳＮＲ）は、それぞれ、ＮＡＢＦが１．８４、ＣＮＡＢＦが３．６０、ＤＢＦが２．１３、ＳＮＡＢＦが１．０７となった。ピーマンの写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号の色差の平均（ｄＥ７６（１．３３））は、それぞれ、ＮＡＢＦが１．０３、ＣＮＡＢＦが０．７８、ＤＢＦが０．８５、ＳＮＡＢＦが１．１０となった。
以上より、カラーチャート及び花、ピーマンの写真について、出力画像信号のＳＮＲ及び色差の値を調べると、係数γ＝２．２としたＣＮＡＢＦが最も良い値となることがわかった。
[実施例２]
実施例２は、カラーチャートに基づく評価画像を１０枚作成し、σ２ ｔｏｔａｌを用いてかつ係数γ＝１．０とするＮＡＢＦ、σ２ ｔｏｔａｌを用いてかつ係数γ＝２．２とするＣＮＡＢＦ、σ２ ｔｏｔａｌではなく固定値σｒ ２（σｒ１＝０．５Ｓｍａｘ、σｒ２＝０．１２５Ｓｍａｘ）を用いた２つのフィルタリング装置、の計四種類のフィルタリング装置で、画像信号に対してノイズ低減を実施し、処理後の画像信号に対し、処理前の画像信号に対するＳＮＲ利得を求めた。なお、各フィルタリング装置の共通条件として、着目画素を中心とした局所領域は２１×２１画素のサイズに固定し、ドメインフィルタ分散値σｄ ２は固定値９とした。また、Ｓｍａｘとは画像が取りうる最大階調値であり、例えば、本実施例では１４ｂｉｔの出力の撮像装置１を用いているため、Ｓｍａｘ =(２＾１４）−１＝１６３８３となる。
図１７は、実施例２における各フィルタリング装置（係数γ＝１．０とするＮＡＢＦを除く）のノイズ低減特性を示す図である。評価画像の結果について、横軸に入力画像信号のＳＮＲ、縦軸にＳＮＲ利得としてプロットしたものである。図１７より、係数γ＝２．２とするＣＮＡＢＦは利得が１２ｄｂ以上であるのに対して、固定値σｒ ２（σｒ１＝０．５Ｓｍａｘ、σｒ２＝０．１２５Ｓｍａｘ）を用いた場合は利得が減衰している。また、図１８に実施例２における各フィルタリング装置のノイズ対信号比を示す。図１８（ａ）は信号真値、図１８（ｂ）〜（ｅ）は未処理のノイズ画像信号と各フィルタリング適用後のノイズ対信号比である。図１８（ｂ）、（ｃ）に示されるＮＡＢＦ、ＣＮＡＢＦの結果より、ＮＡＢＦ及びＣＮＡＢＦは、エッジを保存したままノイズの低減を実現していることがわかった。また、係数γの使用によりノイズの低減効果が上昇していることが図１８（ｂ）、（ｃ）の比較から確認された。一方、図１８（ｄ）、（ｅ）は、信号強度が弱い部分では過剰にノイズの低減が行われ、平坦化されている。また、信号強度が強くなるに従って残留ノイズ成分が増えていくことが確認された。
以上より、係数γ及びσ２ ｔｏｔａｌを用いることによって、適切にノイズ低減が行われることがわかった。なお、ノイズの確立密度関数が正規分布で表されるためレンジフィルタの加重関数はノイズの確立密度関数と等しいところ、着目画素と局所領域内画素の信号強度差は画素ごとのノイズ分散値に適応的な重みづけが行われるため、ＮＡＢＦ、ＣＮＡＢＦでは入力画像信号のＳＮＲ変動にロバストなノイズ低減を行うことができた。
引き続いて、上述した画像フィルタリング装置１０の機能を用いた処理を、コンピュータに実行させるための文字入力プログラムを説明する。図１９に示すように、画像フィルタリングプログラム１００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体５０に形成されたプログラム格納領域５１内に格納される。
画像フィルタリングプログラム１００は、画像フィルタリング処理を統括的に制御するメインモジュール１０１と、入力モジュール１０２と、出力モジュール１０３と、フィルタリングモジュール１０４と、ノイズ分散上限値算出モジュール１０５と、算出画素決定モジュール１０６と、ノイズ分散推定モジュール１０７と、係数算出モジュール１０８とを実行させることにより実現される機能は、上述した画像フィルタリング装置１０の入力部１１と、出力部１２と、フィルタリング部１３と、ノイズ分散上限値算出部１４と、算出画素決定部１５と、ノイズ分散推定部１６と、係数算出部１７と、の機能とそれぞれ同様である。
なお、画像フィルタリングプログラム１００は、その一部もしくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、画像フィルタリングプログラム１００の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムによって上述した一連の画像フィルタリングプログラム１００の各種パラメータを決定する処理が行われる。
１…撮像装置、２…レンズ、３…カラーフィルタ、４…Ａ／Ｄ変換部、１０…画像フィルタリング装置、１１…入力部、１２…出力部、１３…フィルタリング部、１４…ノイズ分散上限値算出部、１５…算出画素決定部、１６…ノイズ分散推定部、１７…係数算出部、５０…記録媒体、５１…プログラム格納部、１００…画像フィルタリングプログラム、１０１…メインモジュール、１０２…入力モジュール、１０３…出力モジュール、１０４…フィルタリングモジュール、１０５…ノイズ分散上限値算出モジュール、１０６…算出画素決定モジュール、１０７…ノイズ分散推定モジュール、１０８…係数算出モジュール。

Claims (11)

  1. 画像信号に対してフィルタリングを行う画像フィルタリング装置であって、
    画像信号を入力する入力手段と、
    前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
    前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
    同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
    前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
    前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を推定するノイズ分散推定手段と、
    を備え、
    前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
    前記フィルタリング手段は、


    と定義される式によりフィルタリング後の信号強度を算出し、
    Ｓ ｏ ´（）はフィルタリング後の信号強度、
    Ｓ ｉ ´（）はフィルタリング前の信号強度、
    ｃは着目画素の画素位置、
    ｐは着目画素の前記周囲の画素の画素位置、
    Ωは前記周囲の画素が位置する領域、
    γは前記係数、
    σ ｄ ２ は着目画素からの距離に応じた重みづけを行う際のパラメータ、
    σ ｒ ２ は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
    であり、
    前記フィルタリング手段は、前記σ ｒ ２ として前記ノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング装置。
  2. 画像信号に対してフィルタリングを行う画像フィルタリング装置であって、
    画像信号を入力する入力手段と、
    前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
    前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
    同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
    前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
    前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を推定するノイズ分散推定手段と、
    を備え、
    前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
    前記フィルタリング手段は、


    と定義される式によりフィルタリング後の信号強度を算出し、
    Ｓ ｏ ´（）はフィルタリング後の信号強度、
    Ｓ ｉ ´（）はフィルタリング前の信号強度、
    ｃは着目画素の画素位置、
    ｐは着目画素の前記周囲の画素の画素位置、
    Ωは前記周囲の画素が位置する領域、
    γは前記係数、
    σ ｄ ２ は着目画素からの距離に応じた重みづけを行う際のパラメータ、
    σ ｒ ２ は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
    δＶ（Ｓ ｉ ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
    であり、
    前記フィルタリング手段は、前記σ ｒ ２ として前記ノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング装置。
  3. 前記算出画素決定手段は、


    と定義される式を満たす場合に、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定し、
    σ２ ｍａｘ（Ｓｉ´（ｃ））は前記着目画素のノイズ分散上限値、
    Ｋは予め設定された判定係数、
    である、請求項１又は２に記載の画像フィルタリング装置。
  4. 画像信号に対してフィルタリングを行う画像フィルタリング装置であって、
    画像信号を入力する入力手段と、
    前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
    前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
    前記係数γを算出する係数算出手段と、
    を備え、
    前記係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、前記係数γを算出する画像フィルタリング装置。
  5. 前記係数算出手段は、


    と定義される式により前記係数γを算出し、
    σｉはフィルタリング前の画像信号のノイズの分散値に基づくノイズ標準偏差、
    σｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、
    である、請求項４に記載の画像フィルタリング装置。
  6. 画像信号に対してフィルタリングを行う画像フィルタリング方法であって、
    画像信号を入力する入力ステップと、
    前記入力ステップにおいて入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、
    前記フィルタリングステップにおいて算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、
    同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出ステップと、
    前記ノイズ分散上限値算出ステップにおいて算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定ステップと、
    前記算出画素決定ステップにおいて、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を推定するノイズ分散推定ステップと、
    を含み、
    前記フィルタリングステップにおいて、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
    前記フィルタリングステップにおいて、


    と定義される式によりフィルタリング後の信号強度を算出し、
    Ｓ ｏ ´（）はフィルタリング後の信号強度、
    Ｓ ｉ ´（）はフィルタリング前の信号強度、
    ｃは着目画素の画素位置、
    ｐは着目画素の前記周囲の画素の画素位置、
    Ωは前記周囲の画素が位置する領域、
    γは前記係数、
    σ ｄ ２ は着目画素からの距離に応じた重みづけを行う際のパラメータ、
    σ ｒ ２ は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
    であり、
    前記フィルタリングステップにおいて、前記σ ｒ ２ として前記ノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング方法。
  7. 画像信号に対してフィルタリングを行う画像フィルタリング方法であって、
    画像信号を入力する入力ステップと、
    前記入力ステップにおいて入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、
    前記フィルタリングステップにおいて算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、
    同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出ステップと、
    前記ノイズ分散上限値算出ステップにおいて算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定ステップと、
    前記算出画素決定ステップにおいて、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を推定するノイズ分散推定ステップと、
    を含み、
    前記フィルタリングステップにおいて、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
    前記フィルタリングステップにおいて、


    と定義される式によりフィルタリング後の信号強度を算出し、
    Ｓ ｏ ´（）はフィルタリング後の信号強度、
    Ｓ ｉ ´（）はフィルタリング前の信号強度、
    ｃは着目画素の画素位置、
    ｐは着目画素の前記周囲の画素の画素位置、
    Ωは前記周囲の画素が位置する領域、
    γは前記係数、
    σ ｄ ２ は着目画素からの距離に応じた重みづけを行う際のパラメータ、
    σ ｒ ２ は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
    δＶ（Ｓ ｉ ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
    であり、
    前記フィルタリングステップにおいて、前記σ ｒ ２ として前記ノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング方法。
  8. 画像信号に対してフィルタリングを行う画像フィルタリング方法であって、
    画像信号を入力する入力ステップと、
    前記入力ステップにおいて入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、
    前記フィルタリングステップにおいて算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、
    前記係数γを算出する係数算出ステップと、
    を含み、
    前記係数算出ステップにおいて、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、前記係数γを算出する画像フィルタリング方法。
  9. 画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、
    コンピュータを、
    画像信号を入力する入力手段と、
    前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
    前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
    同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
    前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
    前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を推定するノイズ分散推定手段、
    として動作させ、
    前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
    前記フィルタリング手段は、


    と定義される式によりフィルタリング後の信号強度を算出し、
    Ｓ ｏ ´（）はフィルタリング後の信号強度、
    Ｓ ｉ ´（）はフィルタリング前の信号強度、
    ｃは着目画素の画素位置、
    ｐは着目画素の前記周囲の画素の画素位置、
    Ωは前記周囲の画素が位置する領域、
    γは前記係数、
    σ ｄ ２ は着目画素からの距離に応じた重みづけを行う際のパラメータ、
    σ ｒ ２ は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
    であり、
    前記フィルタリング手段は、前記σ ｒ ２ として前記ノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリングプログラム。
  10. 画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、
    コンピュータを、
    画像信号を入力する入力手段と、
    前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
    前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
    同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
    前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
    前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を推定するノイズ分散推定手段、
    として動作させ、
    前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
    前記フィルタリング手段は、


    と定義される式によりフィルタリング後の信号強度を算出し、
    Ｓ ｏ ´（）はフィルタリング後の信号強度、
    Ｓ ｉ ´（）はフィルタリング前の信号強度、
    ｃは着目画素の画素位置、
    ｐは着目画素の前記周囲の画素の画素位置、
    Ωは前記周囲の画素が位置する領域、
    γは前記係数、
    σ ｄ ２ は着目画素からの距離に応じた重みづけを行う際のパラメータ、
    σ ｒ ２ は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
    δＶ（Ｓ ｉ ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
    であり、
    前記フィルタリング手段は、前記σ ｒ ２ として前記ノイズ分散値σ ２ ｔｏｔａｌ （ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリングプログラム。
  11. 画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、
    コンピュータを、
    画像信号を入力する入力手段と、
    前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
    前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
    前記係数γを算出する係数算出手段、
    として動作させ、
    前記係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、前記係数γを算出する画像フィルタリングプログラム。
JP2014519887A 2012-06-05 2013-05-02 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム Expired - Fee Related JP6172641B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014519887A JP6172641B2 (ja) 2012-06-05 2013-05-02 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012128012 2012-06-05
JP2012128012 2012-06-05
PCT/JP2013/062769 WO2013183391A1 (ja) 2012-06-05 2013-05-02 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム
JP2014519887A JP6172641B2 (ja) 2012-06-05 2013-05-02 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム

Publications (2)

Publication Number Publication Date
JPWO2013183391A1 JPWO2013183391A1 (ja) 2016-01-28
JP6172641B2 true JP6172641B2 (ja) 2017-08-02

Family

ID=49711792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014519887A Expired - Fee Related JP6172641B2 (ja) 2012-06-05 2013-05-02 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム

Country Status (2)

Country Link
JP (1) JP6172641B2 (ja)
WO (1) WO2013183391A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926269B1 (ko) * 2017-08-04 2018-12-06 한양대학교 산학협력단 양방향 필터를 이용한 입력 영상의 잡음 제거 방법 및 그 장치
CN112215758B (zh) * 2019-07-11 2023-10-10 瑞昱半导体股份有限公司 基于信噪比的去噪声方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321391B2 (ja) * 2004-07-16 2009-08-26 株式会社ニコン 画像処理装置、および画像処理プログラム
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
WO2013183391A1 (ja) 2013-12-12
JPWO2013183391A1 (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
US8711249B2 (en) Method of and apparatus for image denoising
EP2801188B1 (en) Image processing apparatus, imaging device, image processing method, and computer-readable recording medium
US10452922B2 (en) IR or thermal image enhancement method based on background information for video analysis
TWI462054B (zh) Estimation Method of Image Vagueness and Evaluation Method of Image Quality
JP6097588B2 (ja) 画像処理装置及び画像処理方法
JP2010130299A (ja) 画像信号処理装置および方法、プログラム、並びに撮像装置
US9153013B2 (en) Image processing apparatus, image processing method and computer readable medium
US7327504B2 (en) Method of detecting clipped image pixels
WO2014070489A1 (en) Recursive conditional means image denoising
JP2004005675A (ja) 勾配解析を利用したデジタル画像のノイズ予測方法
JP5147903B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2003331284A (ja) ノイズ特性値の推定方法
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
JP6172641B2 (ja) 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム
JP6201507B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20060056722A1 (en) Edge preserving method and apparatus for image processing
JP6161847B1 (ja) 画像処理装置及び画像処理方法
US10755389B2 (en) Image processing apparatus, image processing method, and medium
JP2020058023A (ja) 空間多重露光
JP2020021314A (ja) 画像処理装置及び画像処理方法
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
Burns Image quality concepts
JP5810778B2 (ja) 画像処理装置および画像処理方法
KR20100027888A (ko) 레티넥스 기법을 이용한 영상처리방법
Suhaila et al. HE_OWW Filter for Enhancement of Wildlife Observation Digital Images in Limited Light Condition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170626

R150 Certificate of patent or registration of utility model

Ref document number: 6172641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees