JP4217731B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、本来の信号成分には含まれないノイズ成分が重畳された画像データから視覚的にノイズ部分を除去することができる画像処理装置及び画像処理方法に関する。

従来から、本来の信号成分には含まれないノイズ成分が重畳されたデジタル画像からノイズ成分を除去する研究が行われている。対象となるノイズの特性も発生原因毎に多種多様に分類され、それぞれの特性に合わせたノイズ除去方法が提案されている。

例えば、デジタルカメラやイメージスキャナ等の画像入力機器を想定した場合、固体撮像素子等の入力デバイス特性や撮影モード又は撮影シーン等の入力条件に依存するもの等の光電変換したアナログ原信号に既に重畳されているノイズと、Ａ／Ｄ変換器を介してデジタル信号に変換された後に、各種デジタル信号処理を経る過程により重畳されるノイズとに大別することができる。

前者（アナログ信号に重畳されているノイズ）の例としては、周囲の画像信号とは無相関に突出した値が発生するインパルス系のノイズや、固体撮像素子の暗電流によるノイズ等が挙げられる。また後者（デジタル信号処理において重畳されるノイズ）の例としては、ガンマ補正、感度向上を図るためのゲイン補正等の各種補正処理において、ノイズ成分が特定濃度や特定色等の強調をすることによって、信号成分と同時にノイズ成分が増幅され、ノイズレベルが増加する例がある。

また、デジタル信号処理におけるノイズの重畳による画像劣化として、ＪＰＥＧアルゴリズムを用いた符号化時において、２次元画像情報が複数のブロック状に切り出され、ブロック単位に直交変換や量子化が行われるために、復号された画像において、各ブロックの境界で段差が発生するブロック歪みが生じる例が挙げられる。

ところで、上述した各種ノイズも含めて、特に画質を劣化させている要因に挙げられているのは、デジタルカメラ等で撮影された画像に顕著に見られる低周波帯域に発生するノイズ（以下、「低周波ノイズ」と称す。）である。この低周波ノイズは、固体撮像素子であるＣＣＤやＣＭＯＳセンサの感度に起因する場合がある。また、信号レベルの低い暗部や影になる部分等での撮影シーンでは、Ｓ／Ｎ比が悪いにも関わらず信号成分を持ち上げるゲイン補正が行われることによって低周波ノイズが強調される場合もある。

さらに、個体撮像素子の素子感度は、撮像素子のチップ面積に依存するため、小面積で画素数を多く配置したデジタルカメラでは、結果的に単位画素当たりの光量が少なくなってしまい、感度が減少して低周波ノイズが発生することが多い。例えば、低周波ノイズは、一面が青空等の濃淡変化がほとんどない部分（以下、「平坦部」と称す。）に数画素から１０数画素に渡って擬似的なまだら状のテクスチャとして視認される場合が多い。また、デジタルカメラによっては、偽色を発生させる場合もある。

一般に、従来から提案されているノイズ除去方法は、メディアンフィルタを用いる方法と低周波帯域のみを通過させるローパスフィルタ（以下「ＬＰＦ」と略す。）を用いる方法とが主流である。

メディアンフィルタを用いる方法は、注目画素及びその周囲画素を含む領域（以下、「ウィンドウ」と称す。）内で、中央値（以下、「メディアン」と称す。）になる画素値を抽出し、その抽出されたメディアンを注目画素値として置換する方法である。例えば、特許文献１を始めとして、メディアンフィルタを用いた方法はこれまでに多数提案されている。特に、注目画素がインパルス系のノイズ、或いはランダムノイズである場合にメディアンフィルタを用いることによって、周囲画素との相関が低い突出値である注目画素値を、周囲画素との相関の高いメディアンに置換することにより、原画像情報に生じていた突出値を消失させることが可能となる。

一方、ＬＰＦを用いる方法は、注目画素を中心としてその周囲の複数画素を含めた平均値を算出し、算出された平均値を注目画素値として置き換える方法である。図１９は、注目画素を中心としてその周囲の複数画素を含めた平均値を算出する従来のＬＰＦフィルタの例を示す図である。この方法は、主に、前述のブロック歪み等に対して効果的である。すなわち、ブロック歪みは本来平坦部である部分に信号成分とは異なるブロック状の段差が発生するノイズであるため、段差の傾斜を緩やかにすることによって視覚的に段差を見難くすることが可能となる。

但し、前述の２種類のノイズ除去方法は、局所的には効果的に働くが、逆にエッジ部がぼけてしまう等の弊害がある。そのために、両方法ともに変形例が多数提案されている。例えば、特許文献２では、ノイズ除去フィルタ処理による画像のボケを発生させないために、平均値を算出する周辺画素を注目画素の画素値に近似するものだけを選択して積和演算を行う方法が開示されている。

また、前述したメディアンフィルタを用いる方法やＬＰＦを用いる方法の２種類の方法以外にも、ノイズや歪み除去について数多くの手法が提案されている。例えば、特許文献３では、ブロック歪みを除去するために、ブロック境界の両側に位置する画素間で信号値を交換する方法が開示されている。さらに、特許文献４では、ブロック境界周辺の画素信号レベルに、複数パターンの中から乱数により選択された所定パターンを加算する方法が開示されている。

さらに、特許文献５では、ブロック境界を中心とする特定注目画素のレベル値に誤差を加えることによって、符号化時に生じるブロック歪みを除去する方法が開示されている。さらにまた、特許文献６では、突出した値を有する白点や黒点を除去するために、注目画素の近傍画素群のうち、最大値及び最小値を検出し、ノイズが含まれているかの判定結果を制御信号として、最大値、最小値、又は注目画素値のいずれかを選択することによってノイズを除去する方法が開示されている。
特開平4-235472号公報 特開2001-245179号公報 特開平8-56357号公報 特開平10-98722号公報 特開平7-75103号公報 特開平4-239886号公報

しかしながら、上述したいずれの従来手法を用いた場合であっても、前述した低周波ノイズに対しては完全にノイズ除去効果を発揮することができない。例えば、メディアンフィルタを用いる方法では、周囲と相関の低い突出値を削除する効果のみであり、ＬＰＦを用いる方法では、高周波域をカットオフすることによって高周波ノイズ若しくはランダム性の高い白色雑音に効果を示すのみで、低周波ノイズについてはあまり効果が無く、低周波ノイズは依然として除去することができない。

また、前述のブロック歪みを除去する目的を有する特開平8-56357号公報等に記載の方法は、対象となるブロック歪みが矩形状の段差として発生する高周波成分であるが故に、ブロック境界さえ既知であれば、乱数加算による方法やブロック間の画素値を交換する方法等により段差が軽減されるという効果が得られる。しかし、対象の低周波ノイズは、数画素から１０数画素に渡る広い範囲で変化の少ない画素値が連続する連結性ノイズであり、ブロック歪みを軽減する上記技術をそのまま適用することはできない。また、当然ながら、ノイズが発生する位置は、ブロック符号化時のブロック境界のように既知ではない。

また、前述した乱数加算による方法では、周囲の画素には存在していない画素値を適合するために、特にカラー画像においては、色分解された各色成分毎に乱数を加算した場合、周囲には存在していない新規な色を作成することになり、逆に偽色発生等の画質劣化を引き起こさせてしまう。

また、本発明のノイズ除去と目的は異なるが、特定の周波数の電力を軽減する発明について、特開平7-203210号公報に開示されている。特開平7-203210号公報に記載の発明は、網点原稿を入力して出力時に擬似階調処理のディザ化を行うシステムにおいて、入力した網点の周波数とディザによる周波数が干渉することによりモアレが発生してしまうが、このモアレ発生を防ぐために、入力した網点の周波数を予め除去するモアレ除去方法である。

すなわち、このモアレ除去方法は、網点の周波数を除去するために所定の規則性を乱すことが有効であって、一次元で所定画素数分だけ距離が先行している画素値と注目画素値とを交換する方法である。尚、所定画素数分は、固定である場合とランダムに選択する場合とが開示されている。

しかし、このモアレ除去方法も、ピークのある特定周期を乱すことが目的であるため、低周波帯域に広く発生している低周波ノイズに対しては完全には有効でない。また、画素値を交換する方法であるため、濃度保存は保証されるが、選択画素値が変化する、空間的に画素の位相を移動させているだけの処理である。さらに、選択画素値の変化はフィルタ特性としては巡回型となり、インパルス応答は無限大になる。また、交換画素間距離の所定画素数をランダムに選択した場合でも、サンプリングした画素を逐次交換していくことになるので、単に特定周期で発生する網点のピークの位相を移動することによりモアレ周期をずらしているに過ぎない。

上述したように、前述したいずれの先行技術を用いた場合であっても、画像データ中に含まれる低周波ノイズ成分を効果的に除去することは難しい。

本発明は、このような事情を考慮してなされたものであり、画像データ中に含まれる低周波ノイズを視覚的に除去することができる画像処理装置及び画像処理方法並びにコンピュータプログラムを提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

即ち、画像の低周波帯域に含まれるノイズ成分を視覚的に軽減する画像処理装置であって、
画像を入力する入力手段と、
前記画像の注目画素と該注目画素の周辺画素との相関性を減少させて該相関性の減少に伴う前記画像の低周波帯域に含まれるノイズ成分の減少電力値を広帯域雑音に変換させる処理を行う処理手段とを備え、
前記処理手段は、
前記画像の注目画素の周辺画素群から画素を選択する選択手段と、
前記選択手段により選択された画素の画素値を用いて前記注目画素の画素値を決定する決定手段とを備える
ことを特徴とする。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

即ち、画像の低周波帯域に含まれるノイズ成分を視覚的に軽減する画像処理装置が行う画像処理方法であって、
画像を入力する入力工程と、
前記画像の注目画素と該注目画素の周辺画素との相関性を減少させて該相関性の減少に伴う前記画像の低周波帯域に含まれるノイズ成分の減少電力値を広帯域雑音に変換させる処理を行う処理工程とを備え、
前記処理工程は、
前記画像の注目画素の周辺画素群から画素を選択する選択工程と、
前記選択工程で選択された画素の画素値を用いて前記注目画素の画素値を決定する決定工程とを備える
ことを特徴とする。

以上説明したように、本発明によれば、注目画素、及び、注目画素周辺から確率的に選択した画素を基に新たな注目画素値を決定することにより、発生していた低周波ノイズ電力を白色雑音電力に変換して、画像データ中に含まれる低周波ノイズを視覚的に除去することができる。

また、前記変換後の雑音の帯域幅、雑音の電力を制御することが可能なため、ノイズ除去による画質の調整が容易になる。さらに、画素値の置換処理や近似色変換処理では偽色の発生が目立たない変換が可能であるため、カラー画像に対しても良好なノイズ除去を実現することができる。さらにまた、簡単な構成で高画質のノイズ除去処理が実現可能であるため、デジタルカメラで撮影された画像をプリンタに出力するシステム構成において、ノイズの少ない高品質のデジタルプリントを提供することができる。

以下添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による低周波ノイズ除去機能を備え、プリンタエンジンに出力する印字情報を生成する画像処理装置について説明する。

尚、本発明に係る低周波ノイズ除去機能は、デジタルカメラやイメージスキャナ等の画像入力装置内、インクジェットプリンタ、昇華型プリンタ、レーザープリンタ等の画像出力装置内、或いは、前述した各種入出力機器をコンピュータ上で動作させるデバイスドライバ内やアプリケーションソフト内等の機能としての様々な応用形態が考えられる。

図１は、コンピュータ上でプリンタエンジンに出力する印字情報を生成するプリンタドライバに本発明に係る低周波ノイズ機能を応用した画像処理装置の構成を示すブロック図である。図１に示すように、本発明に係る画像処理装置は、入力端子１００、ノイズ除去部１０１、色変換部１０２、疑似階調部１０３及び出力端子１０３から構成される。

図１において、入力端子１００は、アプリケーションソフト等からカラー画像情報を入力するための画像情報入力部である。デジタルカメラ等で撮影されたカラー画像情報は、通常、ＪＰＥＧ等の標準ファイルフォーマットに符号化されて送信されることが多い。そこで、本実施形態では、入力端子１００へ入力された符号化されたカラー画像情報は、ノイズ除去部１０１に対して、復号後のラスター状に展開された後に出力される。尚、カラー画像情報に付加して、デジタルカメラの機種名、撮影シーン、或いは撮影モード等の属性情報も併せて出力される場合もある。

ノイズ除去部１０１では、色成分ＲＧＢで構成されるカラー画像情報に対してノイズ除去処理が行われる。尚、ノイズ除去部１０１の詳細な構成及び動作については後述する。

色変換部１０２は、ノイズ除去部１０１より出力されたノイズ除去後のＲＧＢ画像を、プリンタで記録する際に用いられる各色材成分の情報に変換する手段である。尚、色材成分としては、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＫ（ブラック）の４成分が基本であるが、インクジェットプリンタでは、上記成分に加えて染料濃度を薄めたインクを追加している構成例もある。

擬似階調部１０３では、色変換部１０２において決定された色材成分に分解されたカラー画像情報を、カラー画像情報の階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性が表現される。本実施形態では、擬似階調処理として、注目画素の量子化誤差を周辺画素に拡散する誤差拡散処理を用いるものとする。尚、一般的な誤差拡散処理は、Ｒ．フロイドとＬ．ステインベルグの「空間グレースケールのための適応型アルゴリズム」（R.Floyd & L.Steinberg: "An Adaptive Alogorithm for Spatial Grayscale"、SID Symposium Digest of Paper、p.36〜37、1975）にその詳細が記載されている。

また、出力端子１０４は、疑似階調部１０３で作成された色材成分毎の量子化情報を不図示のプリンタエンジンに送信する出力部である。すなわち、本発明に係る画像処理装置は、生成された前記新たな画像データに対して誤差拡散法を用いて擬似中間調化する擬似階調部１０３を備えることを特徴とする。

尚、図１に示される画像処理装置の構成は、入力端子１００から入力されたカラー画像情報を同一解像度でプリンタエンジンに出力する場合の構成例であるが、プリンタエンジンと入力されたカラー画像情報との解像度の差を解消するために、補間処理による解像度変換を行う解像度変換部をノイズ除去部１０１と色変換部１０２との間に接続するような構成としてもよい。

図２Ａは、図１に示されるノイズ除去部１０１の細部構成を示すブロック図である。図２Ａに示すように、本実施形態に係るノイズ除去部１０１は、入力端子２０１、ラインバッファ２０２、ウィンドウ部２０３、画素選択部２０４、乱数発生部２０５、画素値決定部２０６及び出力端子２０７から構成される。

図２Ａにおいて、入力端子２０１には、図１における入力端子１００から出力されたＲＧＢのカラー画像情報が入力される。ラインバッファ２０２は、入力端子２０１に入力されたカラー画像情報をライン単位で格納・保持する。ウィンドウ部２０３は、数ライン分のラインバッファ２０２を有することにより、注目画素を中心とした２次元方向の参照画素ウィンドウを形成することが可能になる。

また、画素選択部２０４は、乱数発生部２０５に発生させた擬似乱数に基づいて、ウィンドウを形成している各画素から任意の画素を選択する手段である。画素値決定部２０６は、ウィンドウ部２０３における注目画素及び画素値選択部２０４において選択された選択画素に基づいて、新たな注目画素の画素値を決定する手段である。

また、図２Ｂは、上述した構成のノイズ除去部をノイズ除去装置として実現するためのハードウェア構成を示す図である。ノイズ除去装置２１０は、 ＣＰＵ２１１、 ＲＯＭ２１２、 ＲＡＭ２１３を備えている。ノイズ除去装置２１０では、ＣＰＵ２１１がＲＯＭ２１２に保持された制御プログラムに従って、上述したノイズ除去部１０１の各部の動作を制御する。また、ＲＡＭ２１３は、ＣＰＵ２１１の作業領域として使用される。

次に、上述した構成のノイズ除去部１０１の動作について説明する。図３は、ノイズ除去部１０１の動作手順を説明するためのフローチャートである。ここで、ノイズ除去部１０１に入力されたカラー画像情報は、水平画素数WIDTH、垂直画素数HEIGHTの大きさの画像であるとする。

まず、ノイズ除去部１０１の初期化が行われる。実際には、ＣＰＵ２１１によって、垂直方向の処理アドレスを示す変数ｉが０に初期化される（ステップＳ３０１）。また、同様にして、水平方向の処理アドレスを示す変数ｊも０に初期化される（ステップＳ３０２）。

次に、乱数発生部２０５が乱数を発生する（ステップＳ３０３）。そして、画素選択部２０４は、乱数発生部２０５で発生した乱数に基づいて、注目画素からの水平、垂直の相対位置ａ、ｂの値を決定する（ステップＳ３０４）。ここで、水平、垂直の相対位置ａ、ｂの決定に際しては、乱数を各々について発生させてもよいし、一度の乱数発生によって２つの変数を求めてもよい。また、乱数発生のアルゴリズムはここでは限定しないが、確率的に一様であるとする。すなわち、本発明に係るノイズ除去部１０１は、画素選択部２０４が、乱数を用いてウィンドウ内から選択画素を選択することを特徴とする。また、本発明では、画素選択部２０４が、一様な確率分布に基づいて発生する乱数を用いることを特徴とする。

尚、水平、垂直の相対位置ａ、ｂの値は、ウィンドウサイズを超えないようにする。例えば、ウィンドウサイズが、注目画素を中心とした９画素×９画素と仮定すると、ａ、ｂの値はそれぞれ、−４≦ａ≦４、−４≦ｂ≦４の範囲内に収まるように、発生させた乱数から剰余計算を用いて設定する。

次いで、ステップＳ３０４で決定されたａ、ｂの値を用いて、画素選択部２０４では以下の比較が行われる（ステップＳ３０５）。

｜Ｉｒ（ｉ，ｊ）−Ｉｒ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｒ かつ
｜Ｉｇ（ｉ，ｊ）−Ｉｇ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｇ かつ
｜Ｉｂ（ｉ，ｊ）−Ｉｂ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｂ であるか否か。

ここで、Ｉｒ（ｉ，ｊ）は、座標（ｉ，ｊ）に位置する注目画素のＲ成分の画素値、Ｉｇ（ｉ，ｊ）は同様にＧ成分の画素値、Ｉｂ（ｉ，ｊ）は同様にＢ成分の画素値を示す。また、Ｔｈｒ、Ｔｈｇ、Ｔｈｂは、それぞれＲ、Ｇ、Ｂの所定のしきい値を示す。また、｜ｘ｜は、ｘの絶対値を示す。

すなわち、ステップＳ３０５では、ウィンドウ内で任意に選択した選択画素値と注目画素値との差分の絶対値が、ＲＧＢの３成分とも所定のしきい値よりも小さくなるか否かを判断している。

その結果、ＲＧＢの３成分とも所定のしきい値よりも小さくなる場合（Ｙｅｓ）、画素選択部２０４は、当該選択画素値を新たな注目画素値として置換する（ステップＳ３０６）。ここで、ＲＧＢ各成分における新たな注目画素値を、それぞれＦｒ、Ｆｇ、Ｆｂとする。

一方、すべてのＲＧＢの３成分が所定のしきい値よりも小さくならない場合（Ｎｏ）、画素選択部２０４は、新たな注目画素値として古い注目画素値をそのまま用いる（ステップＳ３０７）。従って、この場合は注目画素値の置換は行われない。すなわち、本発明に係るノイズ除去部１０１では、画素値決定部２０６が、選択画素の画素値と注目画素の画素値との差分値の大きさに基づいて、注目画素の新たな画素値を決定することを特徴とする。また、本発明では、画素値決定部２０６が、差分値の大きさが所定値以下の場合、選択画素値を注目画素の新たな画素値とすることを特徴とする。

次いで、水平方向のアドレスを１画素分カウントアップする（ステップＳ３０８）。そして、水平画素がWIDTH画素分になるまで注目画素を１画素ずつ走査しながら一連の処理を繰り返す（ステップＳ３０９）。同様にして、垂直方向のアドレスを１画素分カウントアップする（ステップＳ３１０）。そして、垂直画素がHEIGHT画素分になるまで注目画素を１画素ずつ走査しながら一連の処理を繰り返す（ステップＳ３１１）。そして、全画素分の走査が終了するとノイズ除去処理が完了する。

次に、本実施形態に係るノイズ除去の原理について説明する。

図４は、注目画素からの空間的距離とそれに対する自己相関関数との関係をモデル化した図である。図４では、上部に自己相関関数と画素間距離との関係のグラフを示し、下部に画素配列の様子を示している。尚、図４では、説明を容易にするために画素配列を一次元方向のみで示している。

自己相関関数は、注目画素との相対位置が離れるほど指数関数的に減少していくことが知られている。例えば、図４において、符号Ａで示される位置の画素と符号Ｂで示される位置の画素とでは、注目画素との自己相関関数が異なっている。すなわち、ウィンドウ内の各画素は注目画素との距離に依存して相関関数が異なるため、注目画素値を置換することは、異なる相関関数値の集合の中から任意の相関の画素を選択することになる。従って、相関の高低に関わらず一様な確率分布で画素を選択した場合、置換後の相関性はほぼランダムになって白色雑音（ホワイトノイズ）化が実現する。

図５は、ある画像情報の中から低周波ノイズが生じている局所的領域を切り出してＤＦＴ（離散フーリエ変換）を用いて変換して得られた周波数特性を示す図である。図５において、原点は直流成分を示し、縦軸は垂直方向の空間周波数、横軸は水平方向の空間周波数を示している。そして、水平垂直方向共に原点より離れるほど高周波成分であることを示している。

図５において、白色で表現されている部分は所定周波数成分における電力値（パワースペクトル）であり、電力値が大きくなるほど、より白くプロットされている。尚、図５に示される切り出した領域は平坦部であって、ノイズ成分以外の交流電力は少ないものであるとする。すなわち、図５の低周波帯域において強度が高くなっているのはノイズ電力によるものであり、そのためにノイズの発生が非常に目立ち、画質劣化の要因となっている。

図６は、図５で示した同一の領域に対して、図３のフローチャートに示された動作手順を用いてノイズ除去処理をした後の周波数特性を示す図である。図６から明らかなように、図５に示される中央部に発生していた低周波電力は減少し、その代わりに各周波数帯域に広がる白色雑音が発生している様子が分かる。

図７は、実空間上においてノイズ除去処理前後の低周波ノイズの様子をモデル化した図である。図７において１マスは１画素を示しており、説明を容易にするために２階調で表現している。当初、低周波ノイズは、図７（ａ）に示すように、連結性のある固まりとしてノイズに視認されているとする。前述したように、連結性のある固まり内外からの画素を選択し、置換することにより、図７（ｂ）に示すように連結性が失われる。すなわち、「大陸」状に視認されていたノイズが、「島」状に分解され、その結果、元の「大陸」状のノイズが消失する。従って、図６に示す周波数特性の図において表現されている白色雑音は、「大陸」状のノイズが大小の「島」状に分解された結果と考えることができる。

図８は、図５で示された同一の領域に対して、図３のフローチャートで示される動作手順を用いてノイズ除去処理後に、さらに誤差拡散法による擬似階調処理を行った後の周波数特性を示す図である。誤差拡散法は、広帯域のハイパスフィルタ（ＨＰＦ）の特性を示すことが知られている。すなわち、図７を用いて説明した白色雑音化したノイズが、誤差拡散法により発生する高周波ノイズに紛れて視覚的に見え難くなることがわかる。さらに、人間の視覚特性は高周波域になるほどＭＴＦ（Modulation Transfer function：変調転移関数）が減衰するため、結果的にプリンタエンジンに出力された印字物ではノイズ除去で発生させた白色雑音はほとんど検知できなくなる。

次に、低周波成分を白色雑音化する弊害について説明する。

図９は、平坦部及び非平坦部における周波数特性をモデル化した図である。図９（ａ）は、画素値の変化が少ない完全な平坦部の周波数特性をモデル化した図であり、図９（ｂ）は、急峻なエッジ部ではないが、なだらかに画素値が変化する部分（非平坦部）の各々の周波数特性をモデル化した図である。両者共、説明を容易にするために一次元で表している。図９において、それぞれ横軸は空間周波数、縦軸は電力を表している。また、原点は直流成分を示している。また、図９（ａ）、（ｂ）の各領域ともに低周波ノイズが発生していると仮定する。

この場合、図９（ａ）に示す例では、直流成分以外の信号成分が小さく、発生している交流電力の大部分は低周波ノイズによるものである。また、図９（ｂ）に示す例では、非平坦部の信号成分と低周波ノイズとが重畳された全体の電力を示しているが、図９（ａ）で示した低周波ノイズ電力に比べ圧倒的に電力強度が大きくなる。すなわち、低周波ノイズの強度が一定であると仮定した場合、画素値の変化が大きい領域では信号強度とノイズ強度との相対的な比であるＳ／Ｎ比が高くなり、逆に、画素値の変化幅が小さくノイズが主体となる領域ではＳ／Ｎ比は小さくなる。

また、図１０は、図９に示す部分に対して、図３のフローチャートに示される動作手順によるノイズ除去処理を行った後の周波数特性をモデル化した図である。図１０（ａ）では、図９（ａ）と比較して明らかなように、低周波電力の「山」が崩れ、高周波帯域まで広がる白色雑音化が実現できる。但し、直流電力及び各周波数の交流電力値の総和は変化しない。

一方、図１０（ｂ）を図９（ｂ）と比較すると、図１０（ａ）とは異なり、低周波電力の「山」の崩れ方が相対的に低くなる。ここで、低周波電力の「山」の崩れる度合いは、元の低周波電力値とノイズ除去処理において白色雑音に変換される電力値との相対比率に依存する。すなわち、信号成分の大きい領域に関して図３のフローチャートに示す動作手順によるノイズ除去処理を実行した場合であっても、元の信号成分が大きく変化するような悪影響を及ぼすことはなく、信号成分に重畳されているノイズ成分だけに効果を示すことが言える。

また、図３のフローチャートで示される動作手順で示したように、選択画素と注目画素値との差分値が大きい場合は置換は実行されない（ステップＳ３０７）。すなわち、置換するか否かの判断をするためのしきい値を設けることによって、白色雑音に変換される電力値を制御することが可能になる。ここで、このしきい値は、信号成分の大小に関わらず一定であると仮定する。この場合、変化量の大きい領域では、注目画素値と選択画素値との差分値が大きくなることによってしきい値以上になる確率が大きくなり、置換処理が行われる画素が確率的に減少することになる。

この点においても、変化量の大きい領域でのノイズ除去処理による悪影響は軽微であることがわかる。一方、変化量の小さい領域では、確率的に置換処理の画素が増加するため、ノイズ除去処理が効果的に作用することになる。

すなわち、本発明に係るノイズ除去部２０６は、低周波ノイズを含む画像データを入力する入力端子２０１と、注目画素及びその周辺画素から構成されるウィンドウを指定するウィンドウ部２０３と、ウィンドウ内から注目画素との比較に用いる選択画素を選択する画素選択部２０４と、選択画素の画素値と注目画素の画素値とに基づいて、注目画素の新たな画素値を決定する画素値決定部２０６とを備え、注目画素の画素値を新たな画素値で置換して新たな画像データを生成することを特徴とする。

以上説明したように、本発明に係る技術は、視覚的に目立つ周波数帯域に存在するノイズを視認され難い周波数帯域へ変換するものである。同様の技術として、特定帯域信号に擬似乱数系列（ＰＮ系列）を乗じて広帯域に拡散する通信方法にスペクトル拡散の技術がある。しかし、本発明によれば、より簡単な構成で自由度の高い変換技術を用いた低周波ノイズ除去を実現することができる。

すなわち、前述した置換処理を用いることによって必ず相関性が減少するため、低周波帯域の電力の一部は確実に高周波帯域に変換される。その際、自己相関の分布集合に相当する選択画素のウィンドウサイズを最適化することにより、低周波ノイズ電力を変換させる高周波広帯域雑音の帯域幅の制御が可能になる。また、置換の許容量を制御することにより、低周波電力から変換される雑音電力の電力値制御が可能になる。

＜第２の実施形態＞
図１１は、本発明の第２の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。尚、第２の実施形態に係る画像処理装置及びノイズ除去部の構成は図１及び図２に示されるブロック図と同様とするが、第２の実施形態は、ノイズ除去部１０１がノイズ除去を行う色空間がＲＧＢ色空間ではなく、輝度色差空間となるＹ、Ｃｒ、Ｃｂを用いて実行する例とする。

尚、ＲＧＢからＹ、Ｃｒ、Ｃｂへの変換については、本発明の本質ではないので説明は省略する。従って、ノイズ除去部１０１に入力前にＲＧＢ空間からＹ、Ｃｒ、Ｃｂ空間に変換させてもよいし、ＪＰＥＧアルゴリズムによって復号された輝度色差信号であるＹＵＶ信号をそのまま用いてもよい。

図１１に示すように、ノイズ除去部１０１では、まず、垂直方向の処理アドレスを示す変数ｉを０に初期化する（ステップＳ１１０１）。同様に、水平方向の処理アドレスを示す変数ｊを０に初期化する（ステップＳ１１０２）。さらに、乱数発生部２０５で乱数を発生させる（ステップＳ１１０３）。そして、画素選択部２０４では、発生した乱数に基づいて、注目画素からの水平、垂直の相対位置であるａ、ｂの値が決定される（ステップＳ１１０４）。

さらに、画素選択部２０４では、決定したａ、ｂの値を用いて、以下の比較が行われる（ステップＳ１１０５）。

｜Ｉｙ（ｉ，ｊ）−Ｉｙ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｙ１ かつ
｜Ｉｃｒ（ｉ，ｊ）−Ｉｃｒ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｃｒ かつ
｜Ｉｃｂ（ｉ，ｊ）−Ｉｃｂ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｃｂ であるか否か。

ここで、Ｉｙ（ｉ，ｊ）は、注目画素値の座標（ｉ，ｊ）におけるＹ成分の画素値、Ｉｃｒ（ｉ，ｊ）は、同様にＣｒ成分の画素値、Ｉｃｂ（ｉ，ｊ）は、同様にＣｂ成分の画素値を示す。また、Ｔｈｙ１、Ｔｈｃｒ、ＴＨｃｂは、それぞれＹ、Ｃｒ、Ｃｂの所定のしきい値を示す。また、｜ｘ｜は、ｘの絶対値を示している。

すなわち、ステップＳ１１０５では、ウィンドウ内で任意に選択した選択画素値と注目画素値との差分の絶対値が、Ｙ、Ｃｒ，Ｃｂの３成分ともに所定のしきい値よりも小さくなるか否かを判断している。

その結果、Ｙ、Ｃｒ，Ｃｂの３成分のすべてが同時に所定のしきい値よりも小さくならない場合（Ｎｏ）、新たな注目画素値を古い注目画素値のままとする（ステップＳ１１０６）。すなわち、この場合は、注目画素値の置換は行われない。尚、Ｙ、Ｃｒ、Ｃｂの各成分における新たな注目画素値をそれぞれＦｙ、Ｆｃｒ、Ｆｃｂとする。

一方、ステップＳ１１０５において、Ｙ、Ｃｒ、Ｃｂのすべての成分が所定のしきい値よりも小さくなると判断された場合（Ｙｅｓ）、次に、Ｙ成分のみに対して予め設定しているしきい値Ｔｈｙ２との比較を行う（ステップＳ１１０７）。ここで、Ｔｈｙ１とＴｈｙ２は、Ｔｈｙ１＜Ｔｈｙ２の関係にあるものとする。

その結果、Ｙ成分が所定のしきい値よりも小さくなる場合（Ｙｅｓ）、選択画素値を新たな注目画素値とする（ステップＳ１１０８）。一方、所定のしきい値よりも小さくならない場合（Ｎｏ）、次に、注目画素値と選択画素値との大小関係を判断する（ステップＳ１１０９）。その結果、注目画素値の方が大きい場合（Ｙｅｓ）、以下の変換が行われる（ステップＳ１１１０）。

Ｆｙ（ｉ，ｊ）＝Ｉｙ（ｉ，ｊ）−Ｄ、
Ｆｃｒ（ｉ，ｊ）＝Ｉｃｒ（ｉ＋ａ，ｊ＋ｂ）、
Ｆｃｂ（ｉ，ｊ）＝Ｉｃｂ（ｉ＋ａ，ｊ＋ｂ）・・・・・・・・・（１）
但し、Ｄは、予め設定している所定値としＤ＝Ｔｈｙ２と設定される場合が多い。

一方、注目画素値よりも選択画素値が大きい場合（Ｎｏ）、以下の変換が行われる（ステップＳ１１１１）。

Ｆｙ（ｉ，ｊ）＝Ｉｙ（ｉ，ｊ）＋Ｄ、
Ｆｃｒ（ｉ，ｊ）＝Ｉｃｒ（ｉ＋ａ，ｊ＋ｂ）、
Ｆｃｂ（ｉ，ｊ）＝Ｉｃｂ（ｉ＋ａ，ｊ＋ｂ）・・・・・・・・・（２）
次に、水平方向のアドレスを１画素分カウントアップする（ステップＳ１１１２）。

すなわち、本発明に係るノイズ除去部１０１の画素値決定部２０６が、注目画素の画素値に所定値を加算又は減算した値を当該注目画素の新たな画素値とすることを特徴とする。また、ノイズ除去部１０１は、選択画素の画素値に近似した近似色を作成する近似色作成機能をさらに備え、画素値決定部２０６が、注目画素の新たな画素値として作成された近似色を用いることを特徴とする。さらに、ノイズ除去部１０１は、近似色作成機能が、複数の色成分のうち少なくとも一の色成分に対して所定範囲内で近似した近似色を作成することを特徴とする。

さらに、本発明に係るノイズ除去部１０１は、画素値決定部２０６が、複数の色成分のうち少なくとも一の色成分については所定範囲内で近似して作成された近似色を用い、残りの色成分については選択画素の画素値を用いて、注目画素の新たな画素値を決定することを特徴とする。

さらにまた、本発明に係るノイズ除去部１０１では、画素値決定部２０６は、２つのしきい値を有しており、差分値が第１のしきい値よりも小さい場合、注目画素の画素値を新たな画素値とし、複数の色成分のうち少なくとも一の色成分についての差分値が、第１のしきい値以上であって第２のしきい値よりも小さい場合、注目画素の画素値を近似色とすることを特徴とする。

そして、水平画素がWIDTH画素分になるまで注目画素を１画素ずつ走査しながら一連の処理を繰り返す（ステップＳ１１１３）。同様にして、垂直方向のアドレスを１画素分カウントアップし（ステップＳ１１１４）、垂直画素がHEIGHT画素分になるまで繰り返えされる（ステップＳ１１１５）。

図１２は、図１１のフローチャートに示される手順において比較された場合分けの具体例を説明するための図である。尚、図１２では、説明を容易にするためにＹ成分とＣｒ成分とを２次元によって説明している。また、図１２では、前述した変数ＤをＤ＝Ｔｈｙ２に設定している。

図１２（ａ）は、場合分けによる各カテゴリーを説明している。図１２（ａ）において、縦軸は、Ｙ成分における注目画素値と選択画素値との差分値（Ｉｙ（ｉ，ｊ）−Ｉｙ（ｉ＋ａ，ｊ＋ｂ））を示し、横軸は、Ｃｒ成分における注目画素値と選択画素値との差分値（Ｉｃｒ（ｉ，ｊ）−Ｉｃｒ（ｉ＋ａ，ｊ＋ｂ））を示している。

ここで、原点は差分値が０になるため、注目画素値と選択画素値とが等しい場合を示している。図１２（ａ）において、太線で囲まれている矩形領域は、
−Ｔｈｙ１＜Ｉｙ（ｉ，ｊ）−Ｉｙ（ｉ＋ａ，ｊ＋ｂ）＜Ｔｈｙ１ かつ
−Ｔｈｃｒ＜Ｉｃｒ（ｉ，ｊ）−Ｉｃｒ（ｉ＋ａ，ｊ＋ｂ）＜Ｔｈｃｒ
を満たす領域である。

また、図１２（ａ）において、斜線でハッチングしている矩形領域は、
−Ｔｈｙ２＜Ｉｙ（ｉ，ｊ）−Ｉｙ（ｉ＋ａ，ｊ＋ｂ）＜Ｔｈｙ２ かつ
−Ｔｈｃｒ＜Ｉｃｒ（ｉ，ｊ）−Ｉｃｒ（ｉ＋ａ，ｊ＋ｂ）＜Ｔｈｃｒ
を満たす領域である。

図１１のフローチャートで示す動作手順は、大きく３種類のカテゴリーに分類される。そこで、図１２において、斜線でハッチングしている領域をカテゴリーＡ、太線の矩形領域中においてカテゴリーＡの領域以外をカテゴリーＢ、太線の矩形領域以外をカテゴリーＣと分類する。

図１２（ｂ）は、選択した画素がカテゴリーＡ内に存在している場合の例を示している。図１２（ｂ）では、注目画素を白点、選択画素を黒点で表示している。図１１のフローチャートに示す動作手順により、新たな注目画素値は原点から移動して、選択した画素の値を置換する。

図１２（ｃ）は、選択した画素がカテゴリーＢ内に存在している場合の例である。図１１のフローチャートに示す動作手順により、新たな注目画素値は原点から移動するが、破線で表示しているＴｈｙ２を超えられないため、Ｙ成分のみ上限（Ｔｈｙ２）でクリップされることになる。一方、Ｃｒ成分に関しては、選択した画素のＣｒ成分の値を置換する。

図１２（ｄ）は、選択した画素がカテゴリーＣ内に存在している場合の例である。この場合は、図１１のフローチャートに示す動作手順により注目画素は原点から移動しない。

本実施形態は、特に、輝度色差成分で効果を発揮する場合について示された例である。人間の視覚感度は、輝度成分と色差成分とでは大きく異なっており、輝度成分の方が変化量に対してより敏感である。前述したように、本発明は低周波ノイズを崩して、その代わりに白色雑音を発生させるものであるが、雑音として知覚される強度も輝度と色差とでは大きく異なる。

すなわち、白色雑音電力は、置換するか否かの許容量であるしきい値に依存するが、輝度成分に大きな許容量を設定してしまうと、白色雑音電力が大きくなって画質劣化要因になる。そのため、輝度成分における選択画素への置換許容量を画質劣化が生じない程度に低く設定しなくてはならない。ところが、図３のフローチャートに示した動作手順を輝度色差空間において応用した場合には、選択画素は低く設定した輝度成分の許容量のしきい値以下にはならず、結果として、３成分とも置換されない場合が多くなる。

すなわち、色差成分では積極的に置換を実行したいが、輝度成分の許容量の制限のために確率的に置換される画素が減少するという問題がある。この問題を回避するためには、輝度成分、色差成分に対して独立に選択、置換処理を行えばよいが、この場合、従来技術で説明した乱数加算と同様に、周囲に存在していない色を作ることになり、偽色発生の原因となる。そこで、本実施形態では、輝度成分に関しては、置換許容量であるしきい値とは別に、置換に伴う変化量の上限の制限を設けている。すなわち、多段のしきい値比較の構成を備えることにより、色差成分では積極的に置換が行われ、輝度成分においても注目画素値からは変化するようになる。

但し、上述した方法においても、選択画素値をそのまま置換しているわけではないので、周囲では発生していない偽色が発生する可能性はある。しかし、輝度成分、色差成分独立に選択、置換処理を行った場合に比べて、注目画素から変換画素値への色変化のベクトルが注目画素から選択画素への色変化のベクトルに近くなり、画質劣化を抑えることができる。

図１３は、注目画素値と選択画素値、又は注目画素値と交換画素値との２色間の色変化ベクトルを説明するための図である。図１３（ａ）は、注目画素値と選択画素値の２色間の色変化ベクトル、及び、注目画素値と変換画素値の２色間の色変化ベクトルを示したものである。図１２と同様に、注目画素を白点、選択画素を黒点で表示している。図１３（ａ）に示すように、上述した両者の色変化ベクトルが互いに近いことがわかる。

また、偽色発生防止を優先する場合は、図１３（ｂ）に示すように、まず、注目画素から選択画素への色変化ベクトルを算出し、次に、この色変化ベクトルとＹ成分のしきい値Ｔｈｙ２との交点を新たな注目画素値とする方法も考えられる。すなわち、図１３（ｂ）は、ベクトル強度よりもベクトル方向を優先した場合の例である。すなわち、ベクトル方向が同一の場合、偽色発生は目立たない。また、交点の算出は、注目画素と選択画素との２色間の線形補間により実現することができる。

すなわち、注目画素値と選択画素値の２点間で、変化許容量の条件を満たしながら、いかに選択画素値の色に近似させた色を作成するかにより、様々な近似色作成手段が考えられる。そして、図１３（ａ）では、色の一成分のみのクリップにより実現し、図１３（ｂ）では、一成分のクリップに連動して、他成分も線形に変化させることにより実現させている。

以上説明したように、本実施形態では、確率的に選択した画素をそのまま置換することが許容量の条件を超えている場合、選択画素の色を近似させた近似色を作成して新たな注目画素値と決定している点が特徴である。尚、近似色の作成方法は、図１３に２つの例を示しているが、本発明はこれに限定されるものではない。

＜第３の実施形態＞
図１４は、本発明の第３の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。尚、図１４は、図２に示したノイズ除去部１０１の他の動作手順例について示している。

図１４に示すように、まず、ノイズ除去部の初期化を行って、垂直方向の処理アドレスを示す変数ｉを０に初期化する（ステップＳ１４０１）。同様にして、水平方向の処理アドレスを示す変数ｊを０に初期化する（ステップＳ１４０２）。また、ループ回数の初期化を行って、注目画素１画素当たりの選択可能なループ数を表す変数loopを０に初期化する（ステップＳ１４０３）。

次に、乱数発生部２０５で乱数を発生させ（ステップＳ１４０４）、発生した乱数に基づいて、画素選択部２０４で注目画素からの水平、垂直の相対位置であるａ、ｂの値を決定する（ステップＳ１４０５）。そして、決定したａ、ｂの値を用いて、以下の比較が行われる（ステップＳ１４０６）。

｜Ｉｒ（ｉ，ｊ）−Ｉｒ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｒ かつ
｜Ｉｇ（ｉ，ｊ）−Ｉｇ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｇ かつ
｜Ｉｂ（ｉ，ｊ）−Ｉｂ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｂ であるか否か。

ここで、Ｉｒ（ｉ，ｊ）は、注目画素値の座標（ｉ，ｊ）におけるＲ成分の画素値、Ｉｇ（ｉ，ｊ）は同様にＧ成分の画素値、Ｉｂ（ｉ，ｊ）は同様にＢ成分の画素値を示す。また、Ｔｈｒ、Ｔｈｇ、Ｔｈｂは、それぞれＲ、Ｇ、Ｂの所定のしきい値を示す。また、｜ｘ｜は、ｘの絶対値を示す。

ステップＳ１４０６における比較の結果が正である場合（Ｙｅｓ）、選択画素値を新たな注目画素値として置換する（ステップＳ１４０７）。ここで、ＲＧＢ各成分における新たな注目画素値をそれぞれＦｒ、Ｆｇ、Ｆｂとする。

一方、ステップＳ１４０６における比較の結果が否である場合（Ｎｏ）、ループ回数変数loopを１回カウントアップする（ステップＳ１４０８）。次いで、ループ回数変数loop が所定回数(Thloop）以内であるかどうかが判断される（ステップＳ１４０９）。その結果、所定回数以内の場合（Ｙｅｓ）、ステップＳ１４０４の乱数発生ステップから繰り返す。一方、所定回数に達したと判断された場合（Ｎｏ）、新たな注目画素値は古い注目画素値のままとして、置換は行わない（ステップＳ１４１０）。

本実施形態では、繰り返しを用いることで、確率的に置換画素を増やすことができる。すなわち、ウィンドウ内に急峻なエッジや、突出値を有するインパルス系のノイズが低周波ノイズと共存していた場合、選択画素値が注目画素値と大きく異なる場合がある。図３のフローチャートで示した動作手順では、注目画素１画素につき一度の乱数発生による選択画素の決定であったが、本実施形態では複数回の繰り返しによって許容範囲内の画素値を選択する確率が増加するため、より良好に低周波ノイズを除去することができる。

＜第４の実施形態＞
図１５は、本発明の第４の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。尚、図１５は、図２に示したノイズ除去部１０１のさらに他の動作手順例について示している。

図１５に示すように、まず、ノイズ除去部では初期化が行われ、垂直方向の処理アドレスを示す変数ｉが０に初期化される（ステップＳ１５０１）。同様にして、水平方向の処理アドレスを示す変数ｊを０に初期化する（ステップＳ１５０２）。次に、乱数発生部２０５で乱数を発生させ（ステップＳ１５０３）、発生した乱数に基づいて、画素選択部２０４では、注目画素からの水平、垂直の相対位置であるａ、ｂの値が決定される（ステップＳ１５０４）。次いで、決定したａ、ｂの値を用いて、以下の比較が行われる（ステップＳ１５０５）。

｜Ｉｒ（ｉ，ｊ）−Ｉｒ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｒ かつ
｜Ｉｇ（ｉ，ｊ）−Ｉｇ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｇ かつ
｜Ｉｂ（ｉ，ｊ）ーＩｂ（ｉ＋ａ，ｊ＋ｂ）｜＜Ｔｈｂ であるか否か。

ここで、Ｉｒ（ｉ，ｊ）は、注目画素値の座標（ｉ，ｊ）におけるＲ成分の画素値、Ｉｇ（ｉ，ｊ）は同様にＧ成分の画素値、Ｉｂ（ｉ，ｊ）は同様にＢ成分の画素値を示す。また、Ｔｈｒ、Ｔｈｇ、Ｔｈｂは、それぞれＲＧＢの所定のしきい値を示す。また、｜ｘ｜は、ｘの絶対値を示す。

ステップＳ１５０５での比較の結果が正である場合（Ｙｅｓ）、以下の演算結果を新たな注目画素値として決定する（ステップＳ１５０６）。

Ｆｒ（ｉ，ｊ）＝Ａ×Ｉｒ（ｉ，ｊ）＋（１−Ａ）×Ｉｒ（ｉ＋ａ，ｊ＋ｂ）
Ｆｇ（ｉ，ｊ）＝Ａ×Ｉｇ（ｉ，ｊ）＋（１−Ａ）×Ｉｇ（ｉ＋ａ，ｊ＋ｂ）
Ｆｂ（ｉ，ｊ）＝Ａ×Ｉｂ（ｉ，ｊ）＋（１−Ａ）×Ｉｂ（ｉ＋ａ，ｊ＋ｂ）
・・・・・・・・・・・（３）
但し、Ａは、所定の係数とする。

一方、ステップＳ１５０５における比較結果が否の場合（Ｎｏ）、新たな注目画素値は古い注目画素値のままとし、置換は行われない（ステップＳ１５０７）。すなわち、本実施形態では、選択画素の置換ではなく、積和演算による演算結果を新たな注目画素値としている。

従来のＬＰＦは、注目画素を中心とした隣接画素との加重平均となっている。そして、注目画素と隣接画素との空間的距離に依存した重み付け係数を用いたフィルタリング処理により高周波域をカットオフするものであった。

一方、本発明の目的は、高周波域をカットオフすることではなく、あくまでも低周波電力の一部を白色雑音電力に変換することによって、本来の低周波ノイズを除去することである。前述した図３のフローチャートで示される処理動作では、注目画素との相関の高低に関わらず確率的に周囲の画素を選択して置換することによって隣接画素との相関性を崩してきた。しかし、許容量のしきい値以上の選択画素が多くなれば、置換される割合が減少して効果も減少する。

そこで本実施形態では、選択画素を置換するのではなく、選択画素と注目画素との積和演算を変換値とすることで、注目画素値を変換させる割合を増加させることを目的とする。すなわち、本発明に係るノイズ除去部１０１は、低周波ノイズを含む画像データの注目画素及びその周辺画素から構成される領域を指定するウィンドウ部２０３と、当該領域内から注目画素との比較に用いる選択画素を選択する画素選択部２０４と、選択画素の画素値と注目画素の画素値との積和演算によって、前記所定画素の新たな画素値を決定する画素値決定部２０６とを有することを特徴とする。

例えば、注目画素の最大変化許容量を規定した場合、式（３）の係数Ａの値をＡ＝１／２と設定すると、積和演算方式の比較しきい値は最大変化許容量の２倍になるため、注目画素が変換される確率は明らかに増加する。

また、前述した図１３（ｂ）は、色成分の差異はあるが、式（３）の係数Ａの値を、注目画素と選択画素との差分値に応じて動的に変動させることに相当している。すなわち、所定差分値まではＡ＝０と等価であり、所定差分値以上になると、係数Ａの値が単調増加していくことに相当する。

また、式（３）の係数Ａの値を０＜Ａ≦１（Ａ＝０では置換と等価）に設定した場合、注目画素と選択画素との空間的な線形内挿を行っていることに相当する。すなわち、画素値決定部２０６が、選択画素と注目画素との内挿によって、新たな画素値を決定することを特徴とする。逆に、式（３）の係数Ａの値を負の値に設定すると、注目画素と選択画素との空間的な線形外挿を行っていることに相当する。すなわち、画素値決定部２０６が、選択画素と注目画素との外挿によって、注目画素の新たな画素値を決定することを特徴とする。

図１６は、本実施形態において行われる外挿の概念図である。図１６に示すように、ウィンドウサイズを５画素×５画素と仮定し、中心部Ｐの位置が注目画素とする。そして、ウィンドウ内の点Ｑの画素が乱数により確率的に選択されたと仮定する。

ここで、式（３）の係数Ａの値を−１と設定すると、式（３）の演算式は線形外挿に相当するため、ウィンドウ外の外挿点Ｒの外挿値を算出していることに相当する。すなわち、ウィンドウ外の画素位置に対応する外挿値を変換値に用いることで、ウィンドウサイズを大きく設定して置換処理をする効果に近づくことができる。尚、ウィンドウサイズはラインバッファの数に起因するため、ハードウェア的及びソフトウェア的制約は大きく、なるべく小さいウィンドウサイズを用いて大きな効果を挙げる方が好ましい。

以上述べたように、本実施形態では、積和演算の係数を最適化することによって、内挿を用いた場合は注目画素の変換の割合を増加させる効果があり、また、外挿を用いた場合はウィンドウサイズを拡大する類似の効果がある。さらに、前述した内挿及び外挿は、線形演算によって示されたが、注目画素と選択画素値との差分値に応じて非線形演算する構成も考えられる。すなわち、本発明は、積和演算における重み係数が、選択画素の画素値と注目画素の画素値との差分値の大きさに基づいて設定されることを特徴とする。

また、式（３）の係数Ａについては、ＲＧＢの３成分とも同じ係数を用いているが、色成分毎に異なる係数を用いてもよい。さらに、上述した実施形態では、選択する画素が一画素の例について示しているが、複数画素を選択する方式でもよい。尚、複数画素を選択した場合、選択する画素数分の回数の乱数発生を行うことが好ましい。

すなわち、本発明は、積和演算における重み係数が、複数の色成分のそれぞれの成分について異なることを特徴とする。また、本発明に係るノイズ除去部１０１は、画素値決定部２０６が、複数の色成分のそれぞれの成分に対して、差分値の大きさが全て所定値以下であるか否かを比較することを特徴とする。さらに、ノイズ除去部２０６は、画素選択部２０４が、ウィンドウ内から複数の選択画素が選択可能であり、画素値決定部２０６が、選択された複数の選択画素を用いて注目画素の新たな画素値を決定することを特徴とする。

また、注目画素の重み係数であるＡの値が大きくなると、本処理による効果は減少するため、選択画素数をｎ画素（ｎ≧１）とした場合には、１／（ｎ＋１）以下、つまり変換値に対する注目画素値の寄与率が１／（ｎ＋１）以下であることが好ましい。また、複数画素を選択して、注目画素を用いないで、選択画素同士の積和演算のみで新たな注目画素値を決定する方法も考えられる。

＜第５の実施形態＞
図１７は、本発明の第５の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。尚、図１７は、図２に示したノイズ除去部１０１のさらに他の動作手順例について示している。

図１７は、図３で示されるフローチャートの動作手順と一部分のみが異なっているだけなので、異なる点のみ説明する。図１７では、ステップＳ１７０３での一様乱数発生後に、ステップＳ１７０４での確率分布補正ステップが入っている点が特徴である。すなわち、ステップＳ１７０４での確率分布補正は、乱数を発生させた後の一様な確率分布から、所望の確率分布に補正する工程である。この確率分布補正は、注目画素位置からの空間的距離に依存して、画素選択の確率を異なるようにしている点が特徴である。

図１８は、ステップＳ１７０４で行われる確率分布補正の概要を説明するための図である。図１８では、説明を容易にするために一次元で発生確率分布を示している。図１８（ａ）、（ｂ）ともに、横軸は注目画素と選択画素との画素間距離を示し、縦軸は確率分布を示している。ここで、ウィンドウの一次元方向のサイズが（２ｄ＋１）画素と仮定すると、乱数発生は−ｄ以上ｄ以下の値をとるように剰余計算する。尚、図１８（ａ）は、−ｄ以上ｄ以下の発生確率が一様な様子を示している。また、図１８（ｂ）は、ｄの絶対値が大きくなるほど発生確率が増加している様子を示している。これは、注目画素位置からの空間的距離が離れるに従って、画素が選択されやすい設定であることを表している。

すなわち、本発明に係るノイズ除去部１０１の画素選択部２０４が、注目画素からの距離に依存した発生確率分布に基づいて発生する乱数を用いることを特徴とする。また、本発明は、この前記発生確率分布が、注目画素からの距離が遠いほど発生確率が高くなる分布であることを特徴とする。

注目画素からの距離に依存して画素選択の確率を変化させる場合、注目画素と選択画素との相関性の制御が可能になる。すなわち、図４に示したように注目画素との距離に応じて自己相関関数が変化すると仮定すると、選択したい所望の相関性に応じて発生確率を増減する細かい設定が実現可能である。ここで、発生確率の設定は、実験的に作成することが好ましい。また、図１８（ｂ）は注目画素との距離に線形的に確率分布が変化している例を示したが、当然非線形による変化であってもよい。

以上、確率的に選択した画素と注目画素に基づいて、新たな注目画素値を決定する方法について説明してきたが、選択画素は一画素でも複数画素であってもよい。また、選択画素と注目画素との差分値の絶対値を評価することにより、置換や変換の切り替える例について説明してきたが、評価はこれに限定しない。

また、本発明は乱数発生を用いて確率的に周辺画素の中から選択画素を決定する例について述べたが、乱数を発生させずに所定の規則性を持たせることにより、選択する画素位置を制御する例も考えられる。すなわち、注目画素位置から常に固定の相対位置にある画素を選択するのは画質的にも好ましくはないため、予め注目画素が一画素走査する毎に相対位置が所定座標分変動する規則性を持たせ、この変動規則に基づき、逐次、選択画素を決定する方法も有効である。変動規則の所定座標分は、水平ｎ画素、垂直ｍ画素という固定の変動量でも良いし、また、変動量自体が画素単位に可変になる非線形の変動量でも良いことは勿論である。

また、変動量に規則性を持たせるのではなく、注目画素の絶対座標(i,j)の関数に基づいて、相対位置が決定する規則性を持たせても良い。規則性の関数はテーブルに格納する方法でも演算を用いる方法でも可能である。

また、本発明は、画像データの低周波帯域に含まれるノイズ成分を視覚的に軽減するノイズ除去部であって、画像データの注目画素とその周辺画素との相関性を減少させ、相関性の減少に伴う低周波成分の減少電力値を制御し、減少電力値を白色雑音に変換することを特徴とする。

さらに、本発明は、画像データの低周波帯域に含まれるノイズ成分を視覚的に軽減するノイズ除去部であって、画像データの注目画素とその周辺画素との相関性を減少させ、相関性の減少に伴う低周波成分の減少電力値を制御し、減少電力値を広帯域雑音に変換するとともに、広帯域雑音変換手段の帯域幅を制御することを特徴とする。

以上説明した本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

コンピュータ上でプリンタエンジンに出力する印字情報を生成するプリンタドライバに本発明に係る低周波ノイズ機能を応用した画像処理装置の構成を示すブロック図である。 図１に示されるノイズ除去部１０１の細部構成を示すブロック図である。 図１に示されるノイズ除去部１０１をノイズ除去装置として実現するためのハードウェア構成を示す図である。 ノイズ除去部１０１の動作手順を説明するためのフローチャートである。 注目画素からの空間的距離とそれに対する自己相関関数との関係をモデル化した図である。 ある画像情報の中から低周波ノイズが生じている局所的領域を切り出してＤＦＴ（離散フーリエ変換）を用いて変換して得られた周波数特性を示す図である。 図５で示した同一の領域に対して、図３のフローチャートに示された動作手順を用いてノイズ除去処理をした後の周波数特性を示す図である。 実空間上においてノイズ除去処理前後の低周波ノイズの様子をモデル化した図である。 図５で示された同一の領域に対して、図３のフローチャートで示される動作手順を用いてノイズ除去処理後に、さらに誤差拡散法による擬似階調処理を行った後の周波数特性を示す図である。 平坦部及び非平坦部における周波数特性をモデル化した図である。 図９に示す部分に対して、図３のフローチャートに示される動作手順によるノイズ除去処理を行った後の周波数特性をモデル化した図である。 本発明の第２の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。 図１１のフローチャートに示される手順において比較された場合分けの具体例を説明するための図である。 注目画素値と選択画素値、又は注目画素値と交換画素値との２色間の色変化ベクトルを説明するための図である。 本発明の第３の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。 本発明の第４の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。 第４の実施形態において行われる外挿の概念図である。 本発明の第５の実施形態に係るノイズ除去部の動作手順を説明するためのフローチャートである。 ステップＳ１７０４で行われる確率分布補正の概要を説明するための図である。 注目画素を中心としてその周囲の複数画素を含めた平均値を算出する従来のＬＰＦフィルタの例を示す図である。

符号の説明

１０１ ノイズ除去部
１０２ 色変換部
１０３ 疑似階調部
２０２ ラインバッファ
２０３ ウィンドウ部
２０４ 画素選択部
２０５ 乱数発生部
２０６ 画素値決定部

Claims (9)

1. 画像の低周波帯域に含まれるノイズ成分を視覚的に軽減する画像処理装置であって、
   画像を入力する入力手段と、
   前記画像の注目画素と該注目画素の周辺画素との相関性を減少させて該相関性の減少に伴う前記画像の低周波帯域に含まれるノイズ成分の減少電力値を広帯域雑音に変換させる処理を行う処理手段とを備え、
   前記処理手段は、
   前記画像の注目画素の周辺画素群から画素を選択する選択手段と、
   前記選択手段により選択された画素の画素値を用いて前記注目画素の画素値を決定する決定手段とを備える
   ことを特徴とする画像処理装置。
2. 前記決定手段は、前記注目画素の画素値と前記選択手段により選択された画素の画素値との差分値が閾値以下の場合に、前記選択手段により選択された画素の画素値を用いて前記注目画素の画素値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記選択手段により選択された画素の画素値を前記注目画素の画素値に置換することにより前記注目画素の画素値を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 更に、
   前記相関性の減少に伴う画像の低周波帯域に含まれるノイズ成分の減少電力値を制御する電力値制御手段を備え、
   前記電力値制御手段は、前記閾値を制御することを備えることを特徴する請求項２に記載の画像処理装置。
5. 前記広帯域雑音は、白色雑音であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 更に、
   前記広帯域雑音の帯域幅を制御する帯域幅制御手段を備え、
   前記帯域幅制御手段は、前記選択手段により画素が選択される周辺画素群の範囲を制御することを特徴とする請求項１乃至５の記載の何れか１項に記載の画像処理装置。
7. 前記選択手段は、乱数に基づいて前記画像の注目画素の周辺画素群から画素を選択することを特徴する請求項１乃至６記載の何れか１項に記載の画像処理装置。
8. 画像の低周波帯域に含まれるノイズ成分を視覚的に軽減する画像処理装置が行う画像処理方法であって、
   画像を入力する入力工程と、
   前記画像の注目画素と該注目画素の周辺画素との相関性を減少させて該相関性の減少に伴う前記画像の低周波帯域に含まれるノイズ成分の減少電力値を広帯域雑音に変換させる処理を行う処理工程とを備え、
   前記処理工程は、
   前記画像の注目画素の周辺画素群から画素を選択する選択工程と、
   前記選択工程で選択された画素の画素値を用いて前記注目画素の画素値を決定する決定工程とを備える
   ことを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。

Images