JP6256680B2 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents
画像処理方法、画像処理装置、及び画像処理プログラム Download PDFInfo
- Publication number
- JP6256680B2 JP6256680B2 JP2013231392A JP2013231392A JP6256680B2 JP 6256680 B2 JP6256680 B2 JP 6256680B2 JP 2013231392 A JP2013231392 A JP 2013231392A JP 2013231392 A JP2013231392 A JP 2013231392A JP 6256680 B2 JP6256680 B2 JP 6256680B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- layer
- difference value
- statistic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 79
- 238000003672 processing method Methods 0.000 title claims description 25
- 238000012937 correction Methods 0.000 claims description 110
- 230000000007 visual effect Effects 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 28
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 230000004438 eyesight Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 101000746373 Homo sapiens Granulocyte-macrophage colony-stimulating factor Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Description
本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
画像処理技術の中でも、画像に含まれるランダムなノイズを低減する技術は、撮像した画像をより鮮明に再現するためには、欠かせない技術である。ランダムノイズを低減する技術としては、例えば、特許文献１に開示された技術がある。
特許文献１に記載された技術は、入力画像処理回路から出力されたカラーデジタル信号の主走査方向の任意の注目画素ｉについて、所定の数式に基づき移動平均画素数ｎを算出する複数の演算回路と、注目画素ｉ及び前後ｎ画素の参照画素ｊを選択出力する複数のビット選択回路と、注目画素ｉの出力レベルと参照画素ｊのそれぞれの出力レベルとの差分の絶対値を算出する複数の差分回路と、注目画素ｉを出力するとともに、複数の差分回路から出力される値と閾値記憶メモリ内の所定の閾値とを比較し、該比較結果に基づいて参照画素ｊを出力する複数の判定回路と、複数の判定回路から出力された出力信号の移動平均化処理を行う複数の演算回路とから構成される。
すなわち、注目画素ｉの出力レベルと参照画素ｊの出力レベルとの差分の絶対値が閾値以下である場合にのみ、該参照画素ｊが移動平均化処理に加えられるような構成としているため、上記差分の絶対値が閾値以上に急峻に変化している部分については移動平均化処理から除外され、これにより、ノイズ成分を効果的に除去することができる。
しかしながら、特許文献１の技術は、平滑化のフィルタサイズ以上の周期性を有する低周波ノイズを除去することができなかった。
また、画像の平坦な領域において、画素値の微小な振動が過剰に抑圧されることで出力信号がCGのような結果になるため、人間の視覚にとっての自然な画素値の変動を維持しつつ、ノイズを除去することができなかった。
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は人間の視覚にとっての自然な画素値の変動を維持しつつノイズを効果的に除去できる画像処理方法、画像処理装置及びプログラムを提供することにある。
本発明は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する画像処理方法である。
本発明は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出手段と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値手段と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正手段と、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御手段とを有する画像処理装置である。
本発明は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出処理と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値処理と、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正処理と、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御処理とをコンピュータに実行させるプログラムである。
本発明によれば、人間の視覚にとっての自然な画素値の変動を維持しつつ、ノイズを効果的に除去できる。
＜第一の実施の形態＞
本発明の第一の実施の形態を説明する。
本発明の第一の実施の形態を説明する。
図１は、本発明の第一の実施の形態である画像処理方法を説明するための図である。
本発明の第一の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性に基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。
ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。
また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。
図１では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。
第一の実施の形態では、画素位置(x, y)（注目画素）を中心とする、参照する画素の範囲が広領域
である第３階層の空間平均値l3(x, y)と、参照する画素の範囲が中領域
である第２階層の空間平均値l2(x, y)の差分値b2-3(x, y)を、予め定められたノイズパラメータσ2-3と予め定められた人間の視覚の空間周波数特性に基づくパラメータμ2-3^csfを用いて補正する。そして、得られた補正後の差分値b’2-3(x, y)を、最大範囲である第３階層の空間平均値l3(x, y)に加算する。同様の補正を各階層で処理していくことにより、注目画素値Pin(x, y)を補正し、出力画素値Pout(x, y)を得る。
である第３階層の空間平均値l3(x, y)と、参照する画素の範囲が中領域
である第２階層の空間平均値l2(x, y)の差分値b2-3(x, y)を、予め定められたノイズパラメータσ2-3と予め定められた人間の視覚の空間周波数特性に基づくパラメータμ2-3^csfを用いて補正する。そして、得られた補正後の差分値b’2-3(x, y)を、最大範囲である第３階層の空間平均値l3(x, y)に加算する。同様の補正を各階層で処理していくことにより、注目画素値Pin(x, y)を補正し、出力画素値Pout(x, y)を得る。
ここで、広領域Ω3(x, y)、中領域Ω2(x, y)をそれぞれk3, k2にて、水平・垂直同じ画素数で指定しているが、必ずしも水平・垂直同じ画素数でなくてもよい。
以下、具体的な処理の説明を行うが、図１における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。そこで、一例として、空間平均値l3(x, y)と空間平均値l2(x, y)の差分値b2-3(x, y)を、予め定められたノイズパラメータσ2-3と予め定められた人間の視覚の空間周波数特性に基づくパラメータμ2-3^csfを用いて補正し、b’2-3(x, y)を算出する処理の詳細を説明する。
まず、画素位置(x,y)における広領域Ω3(x, y)の空間平均値l3(x, y)および中領域Ω2(x, y)の空間平均値l2(x, y)を式(1)および式(2)のように計算し、l2(x, y)とl3(x, y)の差分値b2-3(x, y)を式(3)のように計算する。
なお、f3はカーネルサイズ(2k3+1)×(2k3+1)のフィルタカーネルであり、その係数はf3(i, j) = 1/(2k3+1)2である。同様に、f2はカーネルサイズ(2k2+1)×(2k2+1)のフィルタカーネルであり、その係数はf2(i, j) = 1/(2k2+1)2である。
なお、f3はカーネルサイズ(2k3+1)×(2k3+1)のフィルタカーネルであり、その係数はf3(i, j) = 1/(2k3+1)2である。同様に、f2はカーネルサイズ(2k2+1)×(2k2+1)のフィルタカーネルであり、その係数はf2(i, j) = 1/(2k2+1)2である。
l2(x, y)とl3(x, y)の差分値b2-3(x, y)について周波数特性の観点から説明する。
簡単のために、１次元フィルタの例を用いる。図２は、３つの１次元フィルタの振幅特性を表したものである。それぞれ、点線がサンプル数９の平均フィルタの振幅特性、破線がサンプル数２７の平均フィルタ、実線がサンプル数９の平均フィルタとサンプル数２７の平均フィルタの差分で構成されるフィルタの振幅特性を表す。図より、２つの平均フィルタの差分で構成されるフィルタの振幅特性が帯域通過型をもつことがわかる。
２次元フィルタであるl2(x, y)とl3(x, y)の差分値b2-3(x, y)についても、図２の１次元フィルタの場合と同様に考えることができる。式(1)および式(2)より、l2(x, y)とl3(x, y)は低域通過フィルタであり、k3 > k2であるため、その通過帯域はl2(x, y)のほうがl3(x, y)よりも広い。通過帯域の異なるフィルタの出力値の差分値であるb2-3(x, y)は帯域通過フィルタの出力値とみなすことができる。
次に、b2-3(x, y)を補正して、b’2-3(x, y)を算出する処理について説明する。補正量λ2-3を、予め定められたノイズパラメータσ2-3と予め定められた人間の視覚の空間周波数特性に基づくパラメータμ2-3^csfに基づいて以下のように算出する。
μを画像の水平方向の周波数、vを画像の垂直方向の周波数とすると、σ2-3は入力画像に含まれるノイズの標準偏差σと、２つの平均フィルタの差分からなる帯域通過フィルタのインパルス応答のフーリエ変換F2-3(u, v)に基づいて決定されるパラメータであり、
で表される。なお、入力画像に含まれるノイズの標準偏差σは、例えばセンサのノイズ特性に応じて決定される。σ2-3はフィルタの周波数特性から数学的に決定される、b2-3(x, y)に含まれるノイズ情報を推定するパラメータ（ノイズパラメータ）である。
μを画像の水平方向の周波数、vを画像の垂直方向の周波数とすると、σ2-3は入力画像に含まれるノイズの標準偏差σと、２つの平均フィルタの差分からなる帯域通過フィルタのインパルス応答のフーリエ変換F2-3(u, v)に基づいて決定されるパラメータであり、
で表される。なお、入力画像に含まれるノイズの標準偏差σは、例えばセンサのノイズ特性に応じて決定される。σ2-3はフィルタの周波数特性から数学的に決定される、b2-3(x, y)に含まれるノイズ情報を推定するパラメータ（ノイズパラメータ）である。
また、μ2-3^csfは、予め定められた人間の視覚の周波数特性に基づく関数Fcsf(u, v)と、F2-3(u, v)に基づいて決定されるパラメータ（視覚特性パラメータ）であり、
で表される。
で表される。
式(6)のFcsf(u, v)の定義として、例えば、非特許文献１（J. L. Mannos, D. J. Sakrison, “The Effects of a Visual Fidelity Criterion on the Encoding of Images”, IEEE Transactions on Information Theory, pp. 525-535, Vol. 20, No 4, (1974)）に示される、以下の式を用いることができる。
なお、ここではまだ１次元（水平、または垂直）の周波数特性の式であることに注意する。
なお、ここではまだ１次元（水平、または垂直）の周波数特性の式であることに注意する。
図３に式(7)のCSF関数を示す。縦軸がCSF値、横軸が周波数を表す。この周波数は、人間の視角１度で明暗が反転する回数（cycle per degree, cpd）で表される。個人差はあるものの、一般に、人間のCSFは8cpd付近に最高感度を有し、60cpd以上は感知できない特性をもつ。
図４を用いて、cpdについて説明する。今、眼球からdmm離れた位置にモニタを置く。このとき、視角θ度の範囲は、モニタ上では以下の式で表されるwmmとなる。
CSFで考慮するのは視角１度なので、dmm離れた場所のモニタ上では、w = 2d tan (0.5)の範囲となる。この範囲内での明暗反転回数がcpdの値となる。今、モニタの画素ピッチ（画素間の距離、一般的なモニタでは１画素の一辺の長さと等しい）がpmmであるとすると、このモニタを距離dmm 離れた場所から見るときのcpdの最大値(cpdmax)は、
で表される。つまり、cpdの最大値はモニタまでの距離と、モニタの画素ピッチに基づいて決まる。
CSFで考慮するのは視角１度なので、dmm離れた場所のモニタ上では、w = 2d tan (0.5)の範囲となる。この範囲内での明暗反転回数がcpdの値となる。今、モニタの画素ピッチ（画素間の距離、一般的なモニタでは１画素の一辺の長さと等しい）がpmmであるとすると、このモニタを距離dmm 離れた場所から見るときのcpdの最大値(cpdmax)は、
で表される。つまり、cpdの最大値はモニタまでの距離と、モニタの画素ピッチに基づいて決まる。
次に、帯域通過型フィルタの周波数特性にCSFをマッピングすることを考える。簡単のため、１次元信号の例で考える。
式(8)、(9)より、CSFの最高周波数はモニタまでの距離と、モニタの画素ピッチに基づいて決まる。そこで、一般的なモニタの画素ピッチをp、その推奨視聴距離をdとすることで、最高周波数を求める。HD解像度のモニタ（水平1920画素、垂直1080ライン）を例として考えると、推奨視聴距離はモニタの表示域の高さの３倍とされているため、d = 3×1080×pより、
と算出できる。
と算出できる。
帯域通過型フィルタの周波数特性（図２）にCSF（図３）をマッピングするには、帯域通過型フィルタの周波数特性の最高周波数に、cpdmaxを合わせれば良い。
図６に、１次元の場合の、９タップフィルタと２７タップフィルタの差分で構成される帯域通過フィルタの振幅特性を実線で示す。また、帯域通過型フィルタの周波数特性の最高周波数に、cpdmaxを合わせたCSFを破線で示す。さらに、CSFを反映させた帯域通過フィルタを点線で示す。実線の振幅特性に対し、破線の振幅特性は、低周波領域と高周波領域でCSF値を反映して小さな値を取るようになる。
以上、１次元の視覚の周波数特性について述べたが、式(6)では２次元のCSFを考える必要がある。斜め方向の周波数に対してはCSF値が低下することが非特許文献２（F. W. Campbell, J. J. Kulikowski, and J. Levinson, “The effect of orientation on the visual resolution of gratings”, J Physiol. 1966 November; 187(2): pages 427 - 436.）や非特許文献３（Scott Daly, “The visible differences predictor: an algorithm for the assessment of image fidelity”, Digital Image and Human Vision, pages 179 - 206, Cambridge, MA, MIT Press, 1993.）で示されているため、
を用いれば良い。式(11)は水平（0度）方向・垂直（90度）方向では式(7)のCSFが用いられ、それ以外の方向ではパラメータaに応じてCSFを弱めることを示す。なお、0 < a < 1.0である。a = 0.8としたときの２次元のCSF関数の例を図６に示す。
を用いれば良い。式(11)は水平（0度）方向・垂直（90度）方向では式(7)のCSFが用いられ、それ以外の方向ではパラメータaに応じてCSFを弱めることを示す。なお、0 < a < 1.0である。a = 0.8としたときの２次元のCSF関数の例を図６に示す。
さて、式(6)のμ2-3^csfは、人間の視覚の周波数特性と帯域通過フィルタの周波数特性のピークが近い場合、つまり帯域通過フィルタの出力値が視覚的に高感度のノイズ信号を含んでいる場合には1.0に近い値を取り、逆にピークが離れている場合、つまり帯域通過フィルタの出力値が視覚的に低感度のノイズ信号を含んでいる場合には0.0に近い値をとる。これより、各帯域通過フィルタの人間の視覚に与える影響に応じて、ノイズ除去処理の強度を変えることができる。
このようにして得られた、人間の視覚特性と、フィルタの数学的な特性基づいて決定されるノイズ量λ2-3を用いて、以下の式のようにb2-3(x, y) を補正し、b’2-3(x, y)を算出する。
関数Fは様々な形態をとりうるが、最も簡単な例では、
のように、ノイズ分を差し引く処理でよい。
関数Fは様々な形態をとりうるが、最も簡単な例では、
のように、ノイズ分を差し引く処理でよい。
以上の処理を各階層で実施し、帯域通過フィルタの出力値の補正値を、最大範囲である第３階層の空間平均値l3(x, y)に加算していくことで、以下のように最終的な処理結果Pout(x, y)を得る。
このように、物理的に決定されるノイズ量に人間の視覚特性を反映し、各周波数帯のノイズを適切に抑圧することで、人間の視覚にとっての自然な画素値の変動を維持しつつ、人間の視覚にとって目立つノイズは除去できる。
このように、物理的に決定されるノイズ量に人間の視覚特性を反映し、各周波数帯のノイズを適切に抑圧することで、人間の視覚にとっての自然な画素値の変動を維持しつつ、人間の視覚にとって目立つノイズは除去できる。
次に、本発明の実施の形態の画像処理装置を説明する。
図７は本発明の第一の実施の形態の画像処理装置１０１のブロック図である。
本発明の第一の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、を備える。
領域画素値抽出部１は、画素位置(x, y)を中心とする、広領域Ω3(x, y)にある画素の画素値と、中領域Ω2(x, y)にある画素の画素値と、狭領域Ω1(x, y)にある画素の画素値と、入力画素値Pin(x, y)とを抽出して、画素統計値算出部２に出力する。
画素統計値算出部２は、領域画素値抽出部１から各領域の画素値を受信し、その領域の画素統計値を算出する。そして、算出された各画素統計値は画素統計値差分値算出部３に出力する。また、算出された画素統計値のうち、最も広い範囲の画素統計値は出力画素制御部７にも出力する。
画素統計値差分値算出部３は、画素統計値算出部２から各領域の画素統計値を受信し、第３階層と第２階層、第２階層と第１階層、第１階層と第０階層の画素統計値の差分値をそれぞれ算出し、算出された各階層間の画素統計値の差分値を画素統計値差分値補正部６に出力する。
ノイズパラメータ保存部４は、画素統計値算出部２で各領域の画素統計値を算出するために用いられるフィルタカーネルの周波数特性と、入力画像に含まれるノイズの標準偏差σから、式(5)で示される各帯域通過フィルタに含まれるノイズ量を推定するパラメータ（ノイズパラメータ）を算出し、保存する。
視覚特性パラメータ保存部５は、画素統計値算出部２で各領域の画素統計値を算出するために用いられるフィルタカーネルの周波数特性と、人間の視覚の周波数特性から、式(6)で示される、各帯域通過フィルタに含まれるノイズのうち、視覚的に目立つノイズの割合を推定するパラメータ（視覚特性パラメータ）を算出し、保存する。
画素統計値差分値補正部６は、画素統計値差分値算出部３から各階層間の画素統計値の差分値を受信し、ノイズパラメータ保存部４に保存されるノイズパラメータと、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して、各階層間の画素統計値の差分値を補正する。そして、補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。
出力画素制御部７は、画素統計値算出部２から最も広い範囲の画素統計値、画素統計値差分値補正部６から補正された各階層間の統計値の差分値を受信し、式(15)のように、出力画素Pout(x, y)を算出し、出力画像の画素位置(x, y)における画素値を出力する。
本発明の第一の実施の形態によれば、人間の視覚の周波数特性を考慮しながら、各周波数帯のノイズを適切に抑圧することで、人間の視覚にとっての自然な画素値の変動を維持しつつ、人間の視覚にとって目立つノイズを除去できる。
＜第二の実施の形態＞
本発明の第二の実施の形態を説明する。
本発明の第二の実施の形態を説明する。
本発明の第一の実施の形態においても、各周波数帯のノイズを適切に抑圧できるが、ノイズと同程度の変動をもつ微細なテクスチャも同様に除去してしまう問題がある。そこで、第二の実施の形態では、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができる画像処理方法、および画像処理装置について説明する。
図８は、本発明の第二の実施の形態である画像処理方法を説明するための図である。
本発明の第二の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記当該階層の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正と、残差情報の補正を繰り返し、再補正された前記各階層間の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。
ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。
また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。
図８では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。
以下、具体的な処理の説明を行うが、図８における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。そこで、一例として、第３階層の空間平均値l3(x, y)と第２階層の空間平均値l2(x, y)の差分値b2-3(x, y)を、画像に含まれるノイズ情報に基づくノイズパラメータσ2-3を用いて補正し、補正される前の差分値b2-3(x, y)と補正された差分値b’2-3(x, y)の差分値（残差値）r2-3(x, y)を、人間の視覚の空間周波数特性に基づく視覚特性パラメータμ2-3^csfを用いて補正し、補正された差分値b’2-3(x, y)を再補正した差分値b’’2-3(x, y)を算出する処理の詳細を説明する。
なお、第３階層の空間平均値l3(x, y)の計算は式(1)、第２階層の空間平均値l2(x, y)の計算は式(2)、差分値b2-3(x, y)の計算は式(3)、ノイズパラメータσ2-3の計算は式(5)、視覚特性パラメータμ2-3^csfの計算は式(6)と同様であるとする。
第二の実施の形態では、第一の実施の形態における式(12)を以下のように変更する。
この式では、人間の視覚特性は反映されず、フィルタの周波数特性から数学的に決定される、b2-3(x, y)に含まれるノイズ量を推定するパラメータのみに基づき、ノイズを抑圧する。
この式では、人間の視覚特性は反映されず、フィルタの周波数特性から数学的に決定される、b2-3(x, y)に含まれるノイズ量を推定するパラメータのみに基づき、ノイズを抑圧する。
次に、補正前の差分値b2-3(x, y)と、補正後の差分値b’2-3(x, y)の差分値（残差値）r2-3(x, y)とを計算する。
そして、得られた残差値r2-3(x, y)を以下のように補正する。
ここで、Fresidは
で表される。さらに、補正された残差値r’2-3(x, y)を、補正された差分値b’2-3(x, y)に加算することで、補正された差分値b’2-3(x, y)を再補正し、再補正された差分値b’’2-3(x, y)を以下の式(20)のようにして得る。
以上の処理を各階層で実施し、補正された各階層間の差分値と、補正された各階層間の残差値を、最大範囲である第３階層の空間平均値l3(x, y)に加算していくことで、以下のように最終的な処理結果Pout(x, y)を得る。
式(21)は、第一の実施形態の式(12)において、全ての階層で
であれば、同じ結果となるが、
であるときに、第一の実施形態では
になるのに対し、第二の実施の形態では
となる点が異なる。この処理により、入力画像の周波数特性が０でない帯域では、出力画像の周波数特性も０にならないことが担保される。よって、ノイズと同程度の変動をもつテクスチャが存在する場合にも、一定量の信号が保持されるため、微細なテクスチャの完全な除去を防ぐことができる。
そして、得られた残差値r2-3(x, y)を以下のように補正する。
ここで、Fresidは
で表される。さらに、補正された残差値r’2-3(x, y)を、補正された差分値b’2-3(x, y)に加算することで、補正された差分値b’2-3(x, y)を再補正し、再補正された差分値b’’2-3(x, y)を以下の式(20)のようにして得る。
以上の処理を各階層で実施し、補正された各階層間の差分値と、補正された各階層間の残差値を、最大範囲である第３階層の空間平均値l3(x, y)に加算していくことで、以下のように最終的な処理結果Pout(x, y)を得る。
式(21)は、第一の実施形態の式(12)において、全ての階層で
であれば、同じ結果となるが、
であるときに、第一の実施形態では
になるのに対し、第二の実施の形態では
となる点が異なる。この処理により、入力画像の周波数特性が０でない帯域では、出力画像の周波数特性も０にならないことが担保される。よって、ノイズと同程度の変動をもつテクスチャが存在する場合にも、一定量の信号が保持されるため、微細なテクスチャの完全な除去を防ぐことができる。
次に、本発明の第二の実施の形態の画像処理装置を説明する。
図９は本発明の第二の実施の形態の画像処理装置１０２のブロック図である。
第二の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、画素統計値差分値再補正部８と、を備える。
第二の実施の形態の画像処理装置は、画素統計値差分値再補正部８を備えることが、第一の実施の形態の画像処理装置と異なる。
画素統計値差分値算出部３は、画素統計値算出部２から各領域の画素統計値を受信し、第３階層と第２階層、第２階層と第１階層、第１階層と第０階層の画素統計値の差分値をそれぞれ算出し、算出された各階層間の画素統計値の差分値を、画素統計値差分値補正部６と画素統計値差分値再補正部８に出力する。
画素統計値差分値補正部６は、画素統計値差分値算出部３から各階層間の画素統計値の差分値を受信し、ノイズパラメータ保存部４に保存されるノイズパラメータを参照して、各階層間の画素統計値の差分値を補正する。そして、補正した各階層間の画素統計値の差分値を画素統計値差分値再補正部８に出力する。
画素統計値差分値再補正部８は、画素統計値差分値算出部３から補正前の各階層間の画素統計値の差分値を、画素統計値差分値補正部６から補正後の各階層間の画素統計値の差分値をそれぞれ受信し、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して、各階層間の画素統計値の差分値を再補正する。そして、再補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。
他の構成要素は、第一の実施の形態の画像処理装置と同様なので、説明を省略する。
第二の実施の形態は、ノイズと同程度の変動をもつテクスチャが存在する場合にも、一定量の信号が保持されるため、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができる。
＜第三の実施の形態＞
本発明の第三の実施の形態を説明する。
本発明の第三の実施の形態を説明する。
第一の実施の形態においても、ノイズ除去については十分な効果を得るが、画像によってはエッジがなまる（エッジがボケる）場合がある。そこで、第三の実施の形態では、各周波数帯のノイズを適切に抑圧しつつ、エッジのなまりを抑制することができる画像処理方法、および画像処理装置について説明する。
図１０は、本発明の第三の実施の形態である画像処理方法を説明するための図である。
本発明の第三の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値とエッジ情報とを求め、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性と、当該階層の次に画素の参照範囲が広い階層のエッジ情報に基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。
ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。
また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。
さらに、エッジ情報とは、注目画素を中心とした、上下左右の領域間の画素の統計量（平均値、メディアンなど）の差分値で定義されるものとする。
図１０では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。
以下、具体的な処理の説明を行うが、図１０における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。また、そこで，一例として，第３階層の空間平均値l3(x, y)と第２階層の空間平均値l2(x, y)の差分値b2-3(x, y)を、画像に含まれるノイズ情報に基づくノイズパラメータσ2-3と、人間の視覚の空間周波数特性に基づく視覚特性パラメータμ2-3^csfと、第３階層のエッジ情報e3(x, y)を用いて補正し、補正された差分値b’2-3(x, y)を算出する処理の詳細を説明する。
なお、第３階層の空間平均値l3(x, y)の計算は式(1)、第２階層の空間平均値l2(x, y)の計算は式(2)、差分値b2-3(x, y)の計算は式(3)、ノイズパラメータσ2-3の計算は式(5)、視覚特性パラメータμ2-3^csfの計算は式(6)と同様であるとする。
第三の実施の形態では、第０階層（原画像と同じ解像度の階層）以外で、当該階層の参照する範囲におけるエッジ情報を算出する。第３階層のエッジ情報e3(x, y)は、以下の式で表される。
なお、gv3はカーネルサイズ(2k3+1)×k3のフィルタカーネル、gh3はカーネルサイズk3×(2k3+1)のフィルタカーネルであり、その係数は
である。当然であるが、水平・垂直方向のエッジ情報の算出において、Sobelフィルタ等の重み付きフィルタ係数を用いても良い。また、式(24)のe3(x, y)の算出において、単純な加算でなく、
としても良い。
なお、gv3はカーネルサイズ(2k3+1)×k3のフィルタカーネル、gh3はカーネルサイズk3×(2k3+1)のフィルタカーネルであり、その係数は
である。当然であるが、水平・垂直方向のエッジ情報の算出において、Sobelフィルタ等の重み付きフィルタ係数を用いても良い。また、式(24)のe3(x, y)の算出において、単純な加算でなく、
としても良い。
続いて、算出されたエッジ情報e3(x, y)を用いて、式(4)の補正量λ2-3を以下のように修正する。
式(25)中、τlow, 3およびτhigh, 3は、それぞれ、第３階層の対象領域が平坦領域、あるいはエッジ領域であるどうかを判定するための閾値、αlow, 3およびαhigh, 3は、それぞれ、第３階層の対象領域が平坦領域、あるいはエッジ領域である場合に、補正量λ2-3を修正するための係数である。なお、
である。式(26)の形状を図１１に示す。
式(25)中、τlow, 3およびτhigh, 3は、それぞれ、第３階層の対象領域が平坦領域、あるいはエッジ領域であるどうかを判定するための閾値、αlow, 3およびαhigh, 3は、それぞれ、第３階層の対象領域が平坦領域、あるいはエッジ領域である場合に、補正量λ2-3を修正するための係数である。なお、
である。式(26)の形状を図１１に示す。
式(25)により補正量λ2-3は、注目画素がエッジに含まれる場合
には補正量を小さく修正し、注目画素が平坦領域に含まれる場合
には、補正量をλ2-3に近いまま保つ。エッジ領域にも平坦領域にも含まれない場合は
エッジ情報に基づいて補正量を修正する。
には補正量を小さく修正し、注目画素が平坦領域に含まれる場合
には、補正量をλ2-3に近いまま保つ。エッジ領域にも平坦領域にも含まれない場合は
エッジ情報に基づいて補正量を修正する。
このように、本発明の第三の実施の形態では、エッジ情報に基づいて補正量の制御を行っており、この方法を用いることでエッジのなまりを防ぐことができる。
次に、本発明の第三の実施の形態の画像処理装置を説明する。
図１２は、本発明の第三の実施の形態の画像処理装置１０３のブロック図である。
本発明の第三の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、エッジ情報算出部９と、を備える。
第三の実施の形態の画像処理装置は、エッジ情報算出部９を備えることが、第一の実施の形態の画像処理装置と異なる。
領域画素値抽出部１は、画素位置(x,y)を中心とする、広領域Ω3(x, y)にある画素の画素値と、中領域Ω2(x, y)にある画素の画素値と、狭領域Ω1(x, y)にある画素の画素値と、入力画素値Pin(x, y)とを抽出して、画素統計値算出部２とエッジ情報算出部９に出力する。
エッジ情報算出部９は、各領域の画素値を受信し、その領域のエッジ情報を算出する。そして、算出された各エッジ情報を画素統計値差分値補正部６に出力する。
画素統計値差分値補正部６は、画素統計値差分値算出部３から各階層間の画素統計値の差分値、エッジ情報算出部９から各領域のエッジ情報を受信し、ノイズパラメータ保存部４に保存されるノイズパラメータと、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して各階層間の画素統計値の差分値の補正量を決定し、さらに、決定した補正量をエッジ情報に基づいて修正し、修正した補正量に基づいて、各階層間の画素統計値の差分値を補正する。そして、補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。
他の構成要素は第一の実施の形態と同様なので、説明を省略する。
第三の実施の形態は、エッジのなまりを防ぎつつ、各周波数帯のノイズを適切に抑圧できる。
＜第四の実施の形態＞
本発明の第四の実施の形態を説明する。
本発明の第四の実施の形態を説明する。
第二の実施の形態においても、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができるが、画像によってはエッジがなまる（エッジがボケる）場合がある。そこで、第四の実施の形態では、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去やエッジのなまりを抑制することができる画像処理方法、および画像処理装置について説明する。
図１３は、本発明の第四の実施の形態である画像処理方法を説明するための図である。
本発明の第四の実施の形態は、注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値とエッジ情報とを求め当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値から、階層間の画素統計値の差分値を求め、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記当該階層の残差情報を人間の視覚特性に基づいて補正し、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正と、残差情報の補正を繰り返し、補正された前記各階層間の差分値と、補正された前記各階層の残差情報を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正することを特徴とする。
ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。
また、人間の視覚特性としては、視覚の空間周波数特性（コントラスト感度特性関数、Contrast Sensitivity Function, CSF）を用いる。
さらに、エッジ情報とは、注目画素を中心とした、上下左右の領域間の画素の統計量（平均値、メディアンなど）の差分値で定義されるものとする。
図１３では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。
以下、具体的な処理の説明を行うが、図１３における各階層での補正処理は、参照する画素の範囲や補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。そこで，一例として，第３階層の空間平均値l3(x, y)と第２階層の空間平均値l2(x, y)の差分値b2-3(x, y)を、画像に含まれるノイズ情報に基づくノイズパラメータσ2-3を用いて補正し、補正される前の差分値b2-3(x, y)と補正された差分値b’2-3(x, y)の差分値（残差値）r2-3(x, y)を、人間の視覚の空間周波数特性に基づく視覚特性パラメータμ2-3^csfと、第３階層のエッジ情報e3(x, y)を用いて補正し、補正された差分値b’2-3(x, y)を再補正した差分値b’’2-3(x, y)を算出する処理の詳細を説明する。
なお、第３階層の空間平均値l3(x, y)の計算は式(1)、第２階層の空間平均値l2(x, y)の計算は式(2)、差分値b2-3(x, y)の計算は式(3)、ノイズパラメータσ2-3の計算は式(5)、視覚特性パラメータμ2-3^csfの計算は式(6)、残差値r2-3(x, y)の計算は式(17)、第３階層のエッジ情報e3(x, y)の計算は式(24)と同様であるとする。
第４の実施の形態では、式(18)の補正された残差値r’2-3(x, y)を算出する計算を以下のように行う。
ここで、μ’2-3は、式(26)の関数hを用いて、以下の式で表される。
さらに、得られた補正された残差値r’2-3(x, y)と補正された差分値b’2-3(x, y)を用いて、式(20)より、再補正された差分値b’’2-3(x, y)を得る。
ここで、μ’2-3は、式(26)の関数hを用いて、以下の式で表される。
さらに、得られた補正された残差値r’2-3(x, y)と補正された差分値b’2-3(x, y)を用いて、式(20)より、再補正された差分値b’’2-3(x, y)を得る。
式(28)より、注目画素がエッジに含まれる場合は、μ’2-3は０に近づくように修正されるため、結果として、式(27)の出力値
となる。つまり、再補正後の差分値
となるため、この階層においてボケは発生しない。逆に、注目画素が平坦領域に含まれる場合には、μ’2-3はμ2-3に近い値をとるため、第２の実施の形態の処理結果と同様となり、人間の視覚特性に基づいたノイズ抑圧が実現される。
となる。つまり、再補正後の差分値
となるため、この階層においてボケは発生しない。逆に、注目画素が平坦領域に含まれる場合には、μ’2-3はμ2-3に近い値をとるため、第２の実施の形態の処理結果と同様となり、人間の視覚特性に基づいたノイズ抑圧が実現される。
次に、本発明の第四の実施の形態の画像処理装置を説明する。
図１４は本発明の第四の実施の形態の画像処理装置１０４のブロック図である。
第四の実施の形態の画像処理装置は、領域画素値抽出部１と、画素統計値算出部２と、画素統計値差分値算出部３と、ノイズパラメータ保存部４と、視覚特性パラメータ保存部５と、画素統計値差分値補正部６と、出力画素制御部７と、画素統計値差分値再補正部８と、エッジ情報算出部９と、を備える。
第四の実施の形態の画像処理装置は、エッジ情報算出部９を備えることが、第二の実施の形態の画像処理装置と異なる。また、画素統計値差分値再補正部８を備えることが、第三の実施の形態の画像処理装置と異なる。
領域画素値抽出部１は、第三の実施の形態と同様に動作する。
画素統計値差分値算出部３は、第二の実施の形態と同様に動作する。
画素統計値差分値補正部６は、第二の実施の形態と同様に動作する。
エッジ情報算出部９は、各領域の画素値を受信し、その領域のエッジ情報を算出する。そして、算出された各エッジ情報を画素統計値差分値再補正部８に出力する。
画素統計値差分値再補正部８は、画素統計値差分値算出部３から補正前の各階層間の画素統計値の差分値を、画素統計値差分値補正部６から補正後の各階層間の画素統計値の差分値を、エッジ情報算出部９から各領域のエッジ情報をそれぞれ受信し、視覚特性パラメータ保存部５に保存される視覚特性パラメータを参照して、各階層間の画素統計値の差分値を、エッジ情報と視覚特性パラメータに基づいて再補正する。そして、再補正した各階層間の画素統計値の差分値を出力画素制御部７に出力する。
他の構成要素は、第一の実施の形態と同様なので、説明を省略する。
第四の実施の形態は、ノイズと同程度の変動をもつテクスチャが存在する場合にも、一定量の信号が保持されるため、各周波数帯のノイズを適切に抑圧しつつ、微細なテクスチャの完全な除去を防ぐことができる。さらに、エッジのなまりを防ぐことができる。
尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１） 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、
当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
画像処理方法。
当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
画像処理方法。
（付記２） 前記階層間の画素統計値の差分値の補正及び前記注目画素の補正は、
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、
前記階層間の残差情報を、人間の視覚特性に基づいて補正し、
補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の再補正を繰り返し、
再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記１に記載の画像処理方法。
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、
前記階層間の残差情報を、人間の視覚特性に基づいて補正し、
補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の再補正を繰り返し、
再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記１に記載の画像処理方法。
（付記３） 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
付記２に記載の画像処理方法。
付記２に記載の画像処理方法。
（付記４） 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
付記１および付記３のいずれかに記載の画像処理方法。
付記１および付記３のいずれかに記載の画像処理方法。
（付記５） 前記人間の視覚特性は、視覚周波数特性を用いる
付記１から付記４のいずれかに記載の画像処理方法。
付記１から付記４のいずれかに記載の画像処理方法。
（付記６） 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出手段と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値手段と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正手段と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御手段と
を有する画像処理装置。
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値手段と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正手段と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御手段と
を有する画像処理装置。
（付記７） 画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記階層間の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正する画素統計値差分値再補正手段を有し、
前記画素統計値差分値補正手段は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
前記出力画素制御手段は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記６に記載の画像処理装置。
前記画素統計値差分値補正手段は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
前記出力画素制御手段は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記６に記載の画像処理装置。
（付記８） 前記画素統計値差分値再補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
付記７に記載の画像処理装置。
付記７に記載の画像処理装置。
（付記９） 前記画素統計値差分値補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
付記６からび付記８のいずれかに記載の画像処理装置。
付記６からび付記８のいずれかに記載の画像処理装置。
（付記１０） 前記人間の視覚特性は、視覚周波数特性を用いる
付記６から付記９のいずれかに記載の画像処理装置。
付記６から付記９のいずれかに記載の画像処理装置。
（付記１１） 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出処理と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値処理と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正処理と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御処理と
をコンピュータに実行させるプログラム。
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値処理と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、人間の視覚特性とに基づいて補正する画素統計値差分値補正処理と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御処理と
をコンピュータに実行させるプログラム。
（付記１２） 画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記階層間の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正する画素統計値差分値再補正処理を有し、
前記画素統計値差分値補正処理は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
前記出力画素制御処理は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記１１に記載のプログラム。
前記画素統計値差分値補正処理は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
前記出力画素制御処理は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
付記１１に記載のプログラム。
（付記１３） 前記画素統計値差分値再補正処理は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
付記１２に記載のプログラム。
付記１２に記載のプログラム。
（付記１４） 前記画素統計値差分値補正処理は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
付記１１から付記１３のいずれかに記載のプログラム。
付記１１から付記１３のいずれかに記載のプログラム。
（付記１５） 前記人間の視覚特性は、視覚周波数特性を用いる
付記１１から付記１４のいずれかに記載のプログラム。
付記１１から付記１４のいずれかに記載のプログラム。
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
１ 領域画素値抽出部
２ 画素統計値算出部
３ 画素統計値差分値算出部
４ ノイズパラメータ保存部
５ 視覚特性パラメータ保存部
６ 画素統計値差分値補正部
７ 出力画素制御部
８ 画素統計値差分値再補正部
９ エッジ情報算出部
１０１ 画像処理装置
１０２ 画像処理装置
１０３ 画像処理装置
１０４ 画像処理装置
２ 画素統計値算出部
３ 画素統計値差分値算出部
４ ノイズパラメータ保存部
５ 視覚特性パラメータ保存部
６ 画素統計値差分値補正部
７ 出力画素制御部
８ 画素統計値差分値再補正部
９ エッジ情報算出部
１０１ 画像処理装置
１０２ 画像処理装置
１０３ 画像処理装置
１０４ 画像処理装置
Claims (10)
- 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を求め、
当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を求め、
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、前記階層間の画素統計値の差分値に含まれるノイズによって変化する人間の視覚特性とに基づいて補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の補正を繰り返し、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
画像処理方法。 - 前記階層間の画素統計値の差分値の補正及び前記注目画素の補正は、
前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、
前記階層間の残差情報を、人間の視覚特性に基づいて補正し、
補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正し、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値の再補正を繰り返し、
再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
請求項１に記載の画像処理方法。 - 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
請求項２に記載の画像処理方法。 - 当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
請求項１および請求項３のいずれかに記載の画像処理方法。 - 前記人間の視覚特性は、前記階層間の画素統計値の差分値に含まれるノイズの周波数特性に対する視覚周波数特性を用いる
請求項１から請求項４のいずれかに記載の画像処理方法。 - 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出手段と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値手段と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、前記階層間の画素統計値の差分値に含まれるノイズによって変化する人間の視覚特性とに基づいて補正する画素統計値差分値補正手段と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御手段と
を有する画像処理装置。 - 画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、補正前の前記階層間の画素統計値の差分値から、補正後の前記階層間の画素統計値の差分値を減算して残差情報を求め、前記階層間の残差情報を、人間の視覚特性に基づいて補正し、補正された前記階層間の残差情報により、前記補正後の前記階層間の画素統計値を再補正する画素統計値差分値再補正手段を有し、
前記画素統計値差分値補正手段は、画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報に基づいて補正し、
前記出力画素制御手段は、再補正された前記各階層間の画素統計値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する
請求項６に記載の画像処理装置。 - 前記画素統計値差分値再補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層の残差情報の補正量を修正する
請求項７に記載の画像処理装置。 - 前記画素統計値差分値補正手段は、当該階層の次に画素の参照範囲が広い階層のエッジ情報を用いて、前記各階層間の画素統計値の差分値の補正量を修正する
請求項６から請求項８のいずれかに記載の画像処理装置。 - 注目画素を含み、画素の参照範囲が順次狭くなる多階層の領域ごとに、その領域の画素統計値を算出する画素統計値算出処理と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、当該階層の画素統計値と、当該階層の次に画素の参照範囲が広い階層の画素統計値とから、階層間の画素統計値の差分値を算出する画素統計値差分値処理と、
画素の参照範囲が全ての階層の中で２番めに広い階層から画素の参照範囲が最も狭い階層になるまで、順次各階層において、前記階層間の画素統計値の差分値を、画像に含まれるノイズ情報と、前記階層間の画素統計値の差分値に含まれるノイズによって変化する人間の視覚特性とに基づいて補正する画素統計値差分値補正処理と、
補正された前記各階層間の画素統計値の差分値を、画素の参照範囲が最も広い階層の画素統計値に加算することで、前記注目画素を補正する出力画素制御処理と
をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013231392A JP6256680B2 (ja) | 2013-11-07 | 2013-11-07 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013231392A JP6256680B2 (ja) | 2013-11-07 | 2013-11-07 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015090678A JP2015090678A (ja) | 2015-05-11 |
| JP6256680B2 true JP6256680B2 (ja) | 2018-01-10 |
Family
ID=53194149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013231392A Active JP6256680B2 (ja) | 2013-11-07 | 2013-11-07 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6256680B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10964002B2 (en) | 2016-11-08 | 2021-03-30 | Nec Corporation | Image processing method, image processing apparatus and image processing program |
| JP6754282B2 (ja) * | 2016-11-29 | 2020-09-09 | マツダ株式会社 | 感性評価システム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10146582A1 (de) * | 2001-09-21 | 2003-04-24 | Micronas Munich Gmbh | Vorrichtung und Verfahren zur Teilbandzerlegung von Bildsignalen |
| JP2003230025A (ja) * | 2002-02-01 | 2003-08-15 | Fuji Photo Film Co Ltd | 画像処理装置及び固体撮像装置並びに画像処理方法 |
| JP2007018379A (ja) * | 2005-07-08 | 2007-01-25 | Konica Minolta Medical & Graphic Inc | 画像処理方法及び画像処理装置 |
| JP2007174243A (ja) * | 2005-12-21 | 2007-07-05 | Sharp Corp | 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラムおよび記録媒体 |
| JP2010044446A (ja) * | 2008-08-08 | 2010-02-25 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
-
2013
- 2013-11-07 JP JP2013231392A patent/JP6256680B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015090678A (ja) | 2015-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6507846B2 (ja) | 画像ノイズ除去方法及び画像ノイズ除去装置 | |
| Thanh et al. | An adaptive method for image restoration based on high-order total variation and inverse gradient | |
| US9224362B2 (en) | Monochromatic edge geometry reconstruction through achromatic guidance | |
| US9460545B2 (en) | Apparatus and method for generating new viewpoint image | |
| KR20060124502A (ko) | 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치 | |
| JP6160292B2 (ja) | 画像補正装置、撮像装置及び画像補正用コンピュータプログラム | |
| JP5672527B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2022130642A (ja) | コンピュータビジョンのための適応バイラテラル（ｂｌ）フィルタリング | |
| US20140294318A1 (en) | Gray image processing method and apparatus | |
| JP6213558B2 (ja) | 画像処理方法、及び画像処理装置 | |
| US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
| JP2018524896A (ja) | 画像の深度マップを決定する方法および装置 | |
| US20170032503A1 (en) | System and method for images distortion correction | |
| US9031350B2 (en) | Method for processing edges in an image and image processing apparatus | |
| JP5911292B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
| JP6249173B2 (ja) | 画像処理方法、及び画像処理装置 | |
| US20180122052A1 (en) | Method for deblurring a video, corresponding device and computer program product | |
| JP6256680B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
| JP6256703B2 (ja) | 画像処理方法、及び画像処理装置 | |
| JP7265316B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6256704B2 (ja) | 画像処理方法、及び画像処理装置 | |
| JPWO2016051716A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
| US9349167B2 (en) | Image processing method and image processing apparatus | |
| CN112150532A (zh) | 图像处理的方法、装置、电子设备和计算机可读介质 | |
| KR101644411B1 (ko) | 고해상도 이미지 복원 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161003 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6256680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |