JP4727720B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像のエッジを保存しつつ画像を平滑化する画像処理方法および画像処理装置に関する。

従来、静止画や動画のデジタル画像の向上を図るため、デジタル画像に対してフィルタを適用することによりノイズ除去が行われている。

画質を向上させるためのフィルタとしては、一般には修正対象の画素（注目画素）について周辺画素を参照して平滑化するガウシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどが知られている。

ガウシアンフィルタとは、点の空間的配置を考慮して、注目画素に近い画素には大きな重みを付け、遠い画素には小さな重みを付けて、その加重平均を取るようなフィルタリング処理である。メディアンフィルタとは、ある注目画素とその周辺の画素の値をソートし、その中央値をとることによってノイズを除去するフィルタリング処理で、ノイズの除去では一般的に用いられている。しかし、これらはノイズの除去に伴って画像のエッジもぼけてしまうという問題がある。このため、画像のノイズを除去しつつもエッジ部分はぼかすことのない効果を有するいわゆるエッジ保存フィルタとしてバイラテラルフィルタが用いられている。

このフィルタは、下記の式で表されるように「注目画素との輝度値の差」に応じてガウス重みをつけて平均化を行うフィルタである。輝度の変化が大きいところの重みを小さくすることによってエッジを保存するというものである。

また、このバイラテラルフィルタに関して、エッジをより確実に検出するために、複数枚の異なる方法で撮影した画像を用いて、それぞれの画像に対してエッジ検出を行ってバイラテラルフィルタを適用するという方法が提案されている。（たとえば、特許文献１を参照）
特開2006-180268号公報

デジタル画像に対して適用されるノイズ除去フィルタに関する問題点として、本来のエッジがぼけないようにエッジ情報を保存しつつ、いかに高周波ノイズと低周波ノイズの両方を除去するかという問題がある。

たとえば、図１４（ａ）に示す髪の毛の写真の画像などのように、エッジが一定方向に多数現れる場合やエッジ間の画素値の差が小さい場合にはエッジが保存されず、図１４（ｂ）のようにつぶれた印象の画像となる現象が顕著になる。特に低周波ノイズを除去しようとしたときにはさらにその影響は大きくなる。

低周波ノイズについては、ノイズ除去処理に用いる参照画素の範囲（以下、参照ウィンドウという。）のサイズが小さいと誤った情報で修正されてしまい、低周波ノイズが除去できない。逆に参照ウィンドウのサイズを大きくすると計算量が大きくなり処理時間がかかる。また、広範囲に参照すればするほどエッジがぼける傾向にある。つまり、本来必要な画像の高周波成分が低減されてしまうという問題が生じる。

本発明は上述のかかる事情に鑑みてなされたものであり、デジタル画像のエッジ情報を保持しながら計算機に負荷をかけずに低周波ノイズを除去することのできる画像処理方法および画像処理装置を提供することを目的とする。

上記の目的を達成するため、本発明に係わる画像処理方法は、コンピュータ装置を用いて、ノイズ除去フィルタの係数を決定し、フィルタ対象画像の注目画素の画素値と該注目画素周辺の参照画素の画素値とを前記係数で重み付け加算することによって、前記フィルタ対象画像のノイズを除去する画像処理方法であって、フィルタ対象画像を元画像として、該元画像上の注目画素と該注目画素周辺の参照画素との画素値の差および相対的な位置関係から、前記ノイズ除去フィルタの第１の係数を決定するステップと、前記元画像の画素ごとに当該画素周辺の所定範囲の画素の画素値を平滑化することによって平滑化画像を生成するステップと、前記平滑化画像から所定数おきに抽出された画素の画素値と、前記元画像上の注目画素の画素値との差および相対的な位置関係から前記ノイズ除去フィルタの第２の係数を決定するステップと、前記参照画素に対して前記第１の係数を適用すると共に、前記平滑化画像から抽出された画素に対して前記第２の係数を適用して夫々の画素値を重み付け加算することによって、前記元画像の注目画素の補正後の画素値を演算するステップと、を含むことを特徴とする。

本発明では、元画像のみならず画素ごとにその画素を中心とした所定範囲を加重平均して作成した平均化画像も参照して、補正画像を生成するので、低周波ノイズの除去効果を向上させることができる。

また、本発明に係わる画像処理方法は、コンピュータ装置を用いて、ノイズ除去フィルタの係数を決定し、フィルタ対象画像の注目画素の画素値と該注目画素周辺の参照画素の画素値とを前記係数で重み付け加算することによって、前記フィルタ対象画像のノイズを除去する画像処理方法であって、フィルタ対象画像を元画像として、該元画像上の注目画素と該注目画素周辺の参照画素との画素値の差および相対的な位置関係から、前記ノイズ除去フィルタの第１の係数を決定するステップと、前記元画像を所定サイズのブロックごとに画素値を平滑化することによって縮小画像を生成するステップと、元画像上の画素に対応する縮小画像上の画素値を、縮小画像上の画素から線形補間によって求めるステップと、前記縮小画像上の所定位置の画素と、前記元画像上の注目画素との画素値の差および相対的な位置関係から前記ノイズ除去フィルタの第２の係数を決定するステップと、前記元画像の注目画素に対して前記第１の係数を適用すると共に、前記縮小画像上の所定位置の画素に対して前記第２の係数を適用して夫々の画素値を重み付け加算することによって、前記元画像の注目画素の補正後の画素値を演算するステップと、を含むことを特徴とする。

本発明では、元画像のみならず所定ピクセル数のブロックごとに画素値を平均化して作成した縮小画像にもフィルタを適用して補正画像を生成するので、計算量やメモリの消費量を増大させることなく、低周波ノイズを除去することができる。なお、縮小率ｒが偶数のときは、（r＋１）ピクセル×（r＋１）ピクセル（ｒ：自然数）のブロックとするのが好ましい。

本発明に係わる画像処理方法は、予め保存するエッジ検出用のフィルタを適用することによって、前記注目画素上におけるエッジの方向を検出するステップと、検出されたエッジ方向に応じて、注目画素と各参照画素間の相対的な位置関係から前記ノイズ除去フィルタの係数を決定するステップと、を含むことを特徴とする。

本発明では、注目画素上におけるエッジの方向を検出して、そのエッジ方向に応じて注目画素と各参照画素間の相対的な位置関係からノイズ除去フィルタの係数を決定するので、エッジ情報の保存効果を向上させることができる。

また、本発明に係わる画像処理方法は、注目画素と各参照画素間の相対的な位置関係を示す距離テーブルをエッジ方向ごとに保持し、前記検出されたエッジ方向に対応した距離テーブルを参照して前記相対的な位置関係を決定することを特徴とする。

本発明では、予めエッジ方向ごとに距離テーブルを保持することによって、計算機の負担を軽減して注目画素と参照画素間の相対的な位置関係を求めることができる。

本発明に係わる画像処理装置は、撮像画像の注目画素と参照画素との画素値の差および相対的な位置関係をもとに前記撮像画像のノイズを除去して補正画像を生成する画像処理装置であって、エッジ検出フィルタを保存する手段と、注目画素と各参照画素間の相対的な位置関係を示す距離テーブルをエッジ方向ごとに保持する手段と、前記フィルタ対象画像を元画像として、所定サイズのブロックごとに画素値を平滑化することによって縮小画像を生成する画像縮小手段と、前記エッジ検出フィルタを適用することによって、前記注目画素上におけるエッジの方向および強度を検出するエッジ方向検出手段と、前記検出されたエッジ方向に対応した前記距離テーブルに基づいて決定された前記相対的な位置関係と前記エッジの強度とから位置重みフィルタを生成する位置重みフィルタ合成手段と、前記縮小画像上の画素から線形補間によって前記元画像上の画素に対応する前記縮小画像上の画素値を演算し、前記参照画素に対して前記位置重みフィルタを適用した画素値と、前記縮小画像上の所定の画素に対して前記位置重みフィルタを適用した画素値とに基づいて、前記元画像の注目画素の補正後の画素値を演算する画素値計算手段と、を備えたことを特徴とする。

本発明では、エッジ方向の相対的な距離に基づいて位置重みフィルタを生成し、当該フィルタを縮小画像と元画像のそれぞれに適用して求めた画素値から元画像の補正後の画素値を計算するので、エッジ情報を保持した低周波ノイズ除去効果の高い画像を得ることができる。

本発明によれば、注目画素と参照画素との距離や輝度値の差のみならず、エッジの方向を考慮してフィルタを生成するため、従来のバイラテラルフィルタによってもエッジが保存されないような画像についても、エッジを保持しながら低周波ノイズを除去することが可能になる。

以下、本発明の実施の形態として、画像の各ピクセルについて周囲M ×N ピクセルの情報を利用して、ノイズを除去した画素値を求めるノイズリダクションアルゴリズムについて説明する。

図１は、第１の実施の形態による画像処理装置１０の機能ブロック図である。この図において、画像処理装置１０は、パーソナルコンピュータやその他ＣＰＵ機能を有するコンピュータ装置で実現され、画像データを入力してノイズ除去処理を実行する演算処理部２０と種々のデータを記憶する記憶部３０を備えている。

また、演算処理部２０は、フィルタ対象の画像データを入力して記憶部３０に保存する画像データ入力手段２１、擬似的にウィンドウのサイズを広げるために平均縮小画像を作成する画像縮小手段２２、画像の各ピクセルに対して、エッジ強度とその方向を演算するエッジ方向検出手段２３、エッジ方向検出手段２３で演算したエッジ強度と方向により周囲画素のノイズ除去に対する重みを表すフィルタを生成する位置重みフィルタ合成手段２４、各周囲ピクセルに関する位置重みと画素値差分による重みを合成した加重平均によってノイズ除去後の画素値を計算する画素値計算手段２５、および画素値計算手段２５によって計算した画素値を補正画像データとして出力する画素値出力手段２６を有している。各手段２１〜２６は、演算処理部２０の機能としてプログラムによって実現可能である。

次に上記の構成を有する画像処理装置１０の動作を説明する。
（基本データ登録処理）
まず、後述するエッジ検出フィルタ３１、距離テーブル３６、画素値差重みデータ３８を予め記憶部３０に保存しておく。
（フィルタ対象画像入力処理）

画像データ入力手段２１によって、フィルタ対象の画像を入力して、記憶部３０の元画像データ保存領域３１に格納する。
（画像縮小処理）

次に画像縮小手段２２は、元画像データ保存領域３１に格納されているフィルタ対象画像データ（以下、元画像データという。）に対して下記の式（１）により、ｒピクセルごとに選択した画素を中心とした（r＋１）ピクセル×（r＋１）ピクセル（ｒ：自然数）のブロック内の画素の画素値（Y,U,V 値）を平均化することによって縮小率rの縮小画像を生成する。

ここで、変数x, yは、対象ピクセル座標、r、は縮小率を意味する。また、関数P(x, y)は、座標（x,y） のピクセル（画素）のピクセル値、S(x/r, y/r)は、縮小後の座標(x/r, y/r)（ここで、x/r, y/rは整数）のピクセルのピクセル値を意味する。

縮小率rに対するウィンドウのサイズはrが偶数のときは、（ｒ＋１）×（ｒ＋１）、rが奇数のときはrとなる。こうすることにより、rが偶数の場合でもウィンドウの中心が定まり好ましい。

図２は、この式によって縮小画像を生成したときの、元画像と縮小画像との対応関係の説明図である。ｒ＝４としたとき、４ピクセルごとに注目画素として、その周囲−２ピクセル〜２ピクセルの範囲の画素値を平均化して、縮小画像の画素値としている。

この縮小画像を参照することによって、元の画像のウィンドウの拡大率分の範囲（図の
点線部分）を疑似的に参照することができる。
ノイズ除去フィルタを適用する際にはより大きな範囲を探索した方が、低周波ノイズの除去の効果が大きくなる。しかしながら、ウィンドウを大きくとって参照範囲を広くすると計算量が多くなる。一方参照点を間引いて（適宜スキップしながら）参照すると情報量が失われる。

本実施の形態による画像縮小処理によれば、縮小率に応じてピクセルを間引いて縮小する際に、上記のように対象となるピクセルを中心としたウィンドウ内のY,U,V 値の平均をとって縮小するので、単に一定間隔ごとにそのピクセルの画素値を用いて縮小するのと比べて、エッジや色などの情報の喪失を低減することができる。

以下、ウィンドウサイズを５×５とした場合について説明する。
（エッジ方向検出処理）

次に、エッジ方向検出手段２３によって、注目画素を中心とした５×５ピクセルのウィンドウに対してフィルタを適用してエッジ強度と方向を求める。この際局所的なエッジ方向を検出するため、参照画素は元の画像のウィンドウによって行う。

エッジ方向検出手段２３は、12方向(0°,15°,30°,45°,60°,75°,90°,105°,120°,135°,150°,165°)のエッジ強度と方向を演算する。その際、YUVに対してはY値のみを用い、エッジ方向を求める。まず、図３に示すように各角度に対応する12種類の5×5のエッジ検出フィルタEF_k{k = 0, 1, 2, ..., 11} を定義し、このエッジ検出フィルタデータを予め記憶部３０のエッジ検出フィルタ保存領域３３に保存しておく。ここで、エッジ検出フィルタデータは、特開２００６−２６２２０４号公報等に記載されているエッジ強調フィルタであり、角度方向に応じて参照画素数が変わるが、フィルタ内の数値の和が全て同じになるような最小公倍数として設定されている。

そして、ノイズ除去処理対象ピクセルP(x, y){x, y : 2 ≦ x ≦ width - 2, 2 ≦ y ≦ height-2} を中心とした5×5 のWINDOWに対し、12 種類のエッジ検出フィルタを用いた畳み込み演算を行う。各方向k に対するエッジ強度EdgeDegree_k を式（２）により求める。

ここで、変数Kは、各エッジ検出フィルタに対応するエッジ方向番号、変数EF_k(x, y)は、方向kのエッジ検出フィルタ、P(x, y)は、座標x, y のピクセル値、EdgeDegree_kは、エッジの強さを意味する。

次に、各方向のEdgeDegree_kを求めた後、式（３）によりエッジ強度が最大となる方向EdgeDirection を求める。
EdgeDirection = arg max_k EdgeDegree_k ・・・（３）

ここで、EdgeDegree_kは、エッジの強さ、EdgeDirectionは、エッジ検出後のエッジ方向番号を意味する。

また、エッジ強度が最大となる方向EdgeDirection に対応するエッジ強度EdgeDegreeを式（４）により求める。ここでEdgeDirection + 90°はエッジ方向番号EdgeDirectionに対して垂直なエッジ方向番号を表す。

ここで、EdgeDegreeは、エッジの強さを意味している。

ノイズがある場合は+９０度の方向もエッジ強度が大きくなる傾向にあるので、上記式（４）のように＋９０度方向のエッジ強度を差し引くことによって、バックグラウンドノイズによるエッジ強度への影響を低減することができる。

上記の演算を各画素について行い、画素ごとのエッジ方向およびエッジ強度をそれぞれエッジ方向データ保存領域３４、エッジ強度データ保存領域３５に格納する。
（位置重みフィルタ合成処理）

次に、位置重みフィルタ合成手段２４によって、エッジ方向を考慮した距離の重みづけをするため、位置重みフィルタを作成する。

図４に示すように、注目画素のエッジ方向ごとのエッジからの距離を定義した距離テーブル３６を予め記憶部３０に保存しておく。

フィルタのサイズは任意でよいが、小さいと参照範囲が狭く、大きいと計算量が多いことや、距離が遠すぎるような余計な情報が入りうるため、経験的には７×７程度が好ましい。

図５は、距離テーブル３６の作成方法の説明図である。７×７のウィンドウ内の画素に対して中央の画素Ａを中心に図のように角度を対応付ける。垂直または水平方向に隣接する画素間の距離を任意の値（たとえば１６）にして、中心画素から引かれた所定の傾きを有する直線Ｌに対して、ウィンドウ内の各画素（例えば図中の画素点Ｄ）からおろした垂線の長さ（ｘ）を計算する。ウィンドウ内の各画素と所定の角度の傾きを有する直線（擬似的なエッジ）との距離は幾何学的に求めることができる。

エッジ方向検出手段２３で求めたエッジ方向から距離テーブル３６に基づいて各参照点の注目画素からの距離を決定する。このときの距離は２点間の直線的な距離ではなく、エッジを考慮した距離、疑似的なエッジからの距離である。

次に、エッジ方向検出手段２３によって検出したエッジ方向に基づいて、加重平均化フィルタWeight_x,y(m, n)を作成する。

まず、エッジ方向の直線との距離に応じて、ｍ×ｎの各画素に対する重み付けを行う。
ｍ×ｎの各画素とエッジ方向の直線との距離をそれぞれ以下のようにする。

上記のように求めた距離 Distance とエッジ重要度 Imp および、エッジ方向検出手段２３で求めたエッジ強度から以下の式に基づき重みを決定する。これによって注目画素についての加重平均化フィルタが生成される。

ここで、変数x, yは、対象画素位置、Distance(m,n)は、ウィンドウ内の注目画素の位置（ｘ，ｙ）を基準とした相対的画素位置（ｍ，ｎ）におけるエッジ方向直線からの距離を意味する。Impは、エッジ重要度を意味し、用途目的により変更可能である。たとえば、ノイズレベルなどの撮像素子の特性に応じて決定される。また、関数Weightは、注目画素位置（ｘ，ｙ）における重みを表す。
Distance および Imp から決定される 128×exp^{-Distance(m,n)×Imp} の値は図６の通りとなる。この図において、縦軸（行）は Distance、横軸（列）は Impである。

次に、エッジ方向の検出に際してノイズの影響が出ることを考慮して近傍８画素についてのエッジ方向を参照して、各画素の加重平均化フィルタを合成する。

具体的には、下記の式（７）に基づいて、注目画素と周囲8近傍 (3×3) の加重平均化フィルタを合成する。

ここで、関数Weight_{x, y}は、座標x, y の加重平均化フィルタ、Weight'_{x, y}は、8 近傍合成後の加重平均化フィルタを表す。
右辺分母の「Ｃ」は、ハードウェア化のために、ビット数を削減するための値をとる定数であり、任意の値を用いることができる。
（実施例）

いま、３×３のウィンドウに対して、図７（ａ）に示すエッジ方向と、図７（ｂ）に示すエッジ強度を有する場合、Imp＝８とすると、それぞれの加重平均化フィルタWeight_x,y(m, n)とその数は以下のようになる。

Edge Direction: 3
図７（ａ）に示す注目画素を含む周囲８近傍ピクセルにおいて、エッジ方向「３」は、２つ存在し、その画素位置に対するエッジ強度は共に「４８」であるので、
ここで、上記の表は図６に基づいて算出したエッジ方向３の加重平均化フィルタWeight_x,y(m, n)である。上記の表の各数値に対してエッジ方向３のエッジ強度の合計を掛け合わせることを意味している。

Edge Direction: 4
同様にエッジ方向「４」は、４つ存在し、それぞれエッジ強度は「１２０」，「９２」，「８８」，「７５」であるので、

Edge Direction: 5
またエッジ方向「５」は、２つ存在し、それぞれエッジ強度は「９６」，「１３２」であるので、

Edge Direction: 6
またエッジ方向「６」は、１つ存在し、それぞれエッジ強度は「１６」であるので、
周囲8 近傍を加えた加重平均化フィルタは図８のようになる。これを任意の値Ｃ（たとえばＣ＝４０９６）で除算して、図９に示す位置重みフィルタを得る。
（画素値計算処理）

次に画素値計算手段２５によって、元画像と縮小画像のそれぞれについて位置重みと画素値差重みを考慮した加算処理を以下の式（８）を用いて行う。

すなわち、式（８）に示すノイズ除去フィルタにより、位置重みフィルタ合成手段２４の処理対象ピクセルとの相対位置による重みに加えて、注目ピクセルのY,U,V 値との画素のY,U,V 値のそれぞれの差に応じて、ガウス分布にしたがう重みを付けた平均化を行う。‖はY,U,V 値それぞれの差分絶対値を求め、その和を計算することを表わしている。

・・・ （８）
ここで、

ここで、変数x, yは注目画素のピクセル座標、P(x, y)は、座標（x,y）におけるピクセル値、S(x, y)は縮小画像のピクセル値、rは縮小画像の縮小率、P'(x, y)はノイズ除去後のピクセル値、M, Nは参照画素のウィンドウサイズ、strengthは目的や撮像デバイスによる設定値であり、ユーザの欲するノイズリダクションの強さによって通常４〜１０２４の範囲で定める。また、G(v)は画素値差v の値が大きい程低い値になる関数であり、用途、目的に合わせて調整するためのものである。変数i, jは周囲の相対座標を意味する。Ｗ_ｏ，Ｗ_ｓは、それぞれ元画像，縮小画像に適用するノイズ除去フィルタの係数（第１の係数，第２の係数）である。

なお、式（８）による演算処理は、都度必要な画素値を求めながら計算を行うようにしても良いし、記憶部３０のメモリ容量によっては予め線形補間によって全ての画素値を求めておいて計算を行うようにしても良い。式（８）において、Ｍ／２，Ｎ／２の少数部分は切り捨てて演算を行う。

図１０に元画像と縮小画像との対応するピクセル位置の関係を示す。位置重み Weighx,y における座標は加重平均化フィルタの左上座標を(0,0)として、右方向にx,下方向にyとした座標軸によってあらわしている。0≦ i + M/2 ≦ M, 0 ≦ i + N/2 ≦ N となる。図１０（ａ）において、（ｘ，ｙ）＝（９，８）の座標位置に対応する縮小画像でのピクセルは、図１０（ｂ）において、（ｘ／ｒ，ｙ／ｒ）＝（３，８／３）となり、縮小画像で割り切れないとき、すなわち、ｘ／ｒまたはｙ／ｒが整数にならない場合は線形補間となる。式（８）において、線形補間した画素値をS_bilinearで表す。
また、図１１中、中央を（ｘ／ｒ，ｙ／ｒ）とすると、（ｘ／ｒ＋ｉ，ｙ／ｒ＋ｉ）は斜線部分の座標となる。このときも線形補間によって画素値を求める。

以上の手順によって求めた、ピクセル座標（ｘ，ｙ）ごとのノイズ除去後のピクセル値P'(x, y)を補正画像データとして補正画像データ保存領域３９に格納する。
（画素値出力処理）

補正画像データ保存領域３９に格納されている補正画像データを画素値出力手段２６によって外部へ出力する。図１４（ａ）の画像に対して本実施の形態による画像処理を施してノイズ除去を行った後の画像を図１４（ｃ）に示す。図１４（ｂ）の従来の技術による補正画像に比べ、髪の毛が鮮明になっていることが分かる。

以上、本実施の形態によれば、注目画素と参照画素との距離や輝度値の差のみならず、エッジの方向を考慮してフィルタを生成するため、エッジを保持しながら低周波ノイズを除去することが可能になる。特に、ノイズ除去のためには、

次に本発明の第２の実施の形態を説明する。図１２は、本実施の形態による画像処理装置１０の機能ブロック図である。図１との違いは、画像縮小手段２２の替わりに、元画像の画素ごとに、当該画素を中心とした周辺画素の画素値を平均化した画像を生成する平均化フィルタ手段２７を設けたことである。

以下、本実施の形態による画像処理装置１０の動作を第１との差異を中心に説明する。なお、基本データ登録処理、フィルタ対象画像入力処理、エッジ方向検出処理、位置重みフィルタ合成処理、画素値出力処理については第１の実施の形態と同様であるので説明を割愛する。

平均化処理において、平均化フィルタ手段２７は、元画像データ保存領域３１に格納されている元画像データに対して下記の式（９）により、元画像の画素ごとに当該画素を中心とした（r＋１）ピクセル×（r＋１）ピクセル（ｒ：自然数）のブロック内の画素の画素値（Y,U,V 値）を平均化することによって平均化画像を生成する。

ここで、変数x, yは、対象ピクセル座標、rは平均化処理を行う範囲を定める値、関数P(x, y)は、座標（x,y） の画素のピクセル値、Ａ(x, y)は、平均化処理後のピクセル値を意味する。

画素値計算処理において、画素値計算手段２５は、第１の実施の形態で説明した式（８）のうち、S_bilinear(x/r+i,y/r+j)をＡ(x+ｒi,y+ｒj)に置き換えて計算することによって、元画像と平均化画像のそれぞれについて位置重みと画素値重みを考慮した加算処理を実行して、補正画像データ P'(x, y)を生成する。

本実施の形態によれば、第１の実施の形態と同様にエッジを保持しながら低周波ノイズを除去することが可能になる。

なお、上記の説明では、平均化処理によって、ブロック内の画素値を平均化することにより平均化画像を生成することとしたが、ブロック内の画素位置によって重み付け平均を行っても良いし、ブロック内の複数の画素の画素値の中央値（メディアン）を用いるようなど他の平滑化処理を行って平滑化画像を生成するようにしても良い。ここで、平滑化は、平均化を含む概念である。

次に本発明の第３の実施の形態を説明する。
図１３は、本実施の形態による撮像装置１のブロック図である。この図において撮像装置１は、撮像手段２、撮像画像のノイズ除去処理を実行して補正画像を生成する画像処理装置１０および補正画像データを格納するＳＤカード等の着脱可能な記憶媒体３を備えている。なお、記憶媒体３に替えて、ＵＳＢインタフェース等の伝送手段であっても良い。画像処理装置１０は、第１または第２の実施の形態で説明した構成および動作を実行する。

上記の構成を有する撮像装置１は、被写体を撮像手段２よって撮像し、その撮像画像をフィルタ対象の画像データとして、画像処理装置１０へ送り、画像処理装置１０では第１の実施の形態で説明した処理手順によってノイズ除去処理を実行して補正画像データを生成し、着脱可能な記憶媒体３に格納する。ユーザは、この記憶媒体３を図示しない印刷装置に装着して印刷することによって、ノイズの除去された写真画像を得ることができる。

本発明は、コンピュータ用の画像処理プログラムや専用の画像処理装置のほか、デジタルカメラ、携帯電話等の撮像装置として実現できる。なお、画像処理装置は、撮像装置に組み込まれるいわゆるオンチップＩＳＰ（Image Signal Processor）なども含む趣旨である。

本発明の第１の実施の形態による画像処理装置１０の機能ブロック図である。 本発明の実施の形態の画像処理方法によって縮小画像を生成したときの、元画像と縮小画像との対応関係の説明図である。 図１のエッジ検出フィルタ３３のデータ構成例である。 図１の距離テーブル３６のデータ構成例である。 図４の距離テーブル３６の作成方法の説明図である。 図１の位置重みフィルタ合成手段２４によって演算される行 Distance、列 Impとしたときの128×exp^{-Distance(m,n)×Imp}の値の表である。 加重平均化フィルタの合成処理の説明に用いるデータを示す図であり、図７（ａ）は注目画素を中心とした近傍８画素のエッジ方向データ、図７（ｂ）は、その画素位置のエッジ強度データを示す。 注目画素（対象点）に周囲8 近傍を加えた加重平均化フィルタのデータ構成例である。 図１の位置重みフィルタ３７のデータ構成例である。 図１の画素値計算手段２５の演算の考え方の説明図であり、元画像と縮小画像との対応するピクセル位置の関係を示す。 縮小画像における画素位置の説明図である。 本発明の第２の実施の形態による画像処理装置１０の機能ブロック図である。 本発明の第３の実施の形態による撮像装置のブロック図である。 エッジを保存するノイズ除去フィルタの効果を示すための説明図であり、図１４（ａ）は撮像画像、図１４（ｂ）は従来のバイラテラルフィルタでノイズ除去をした画像、図１４（ｃ）は、本発明の実施の形態による画像処理方法によってノイズ除去処理を施した画像である。

符号の説明

１ 撮像装置
２ 撮像手段
３ 着脱可能記憶媒体
１０ 画像処理装置
２０ 演算処理部
２１ 画像データ入力手段
２２ 画像縮小手段
２３ エッジ方向検出手段
２４ 位置重みフィルタ合成手段
２５ 画素値計算手段
２６ 画素値出力手段
２７ 平均化フィルタ手段
３０ 記憶部
３１ 元画像データ
３２ 縮小画像データ
３３ エッジ検出フィルタ
３４ エッジ方向データ
３５ エッジ強度データ
３６ 距離テーブル
３７ 位置重みフィルタ
３８ 画素値差重みデータ
３９ 補正画像データ
４０ 平均化画像データ

Claims (5)

1. コンピュータ装置を用いて、ノイズ除去フィルタの係数を決定し、フィルタ対象画像の注目画素の画素値と該注目画素周辺の参照画素の画素値とを前記係数で重み付け加算することによって、前記フィルタ対象画像のノイズを除去する画像処理方法であって、
   注目画素と各参照画素間の相対的な位置関係を示す距離テーブルをエッジ方向ごとに保存するステップと、
   フィルタ対象画像を元画像として、該元画像の画素ごとに当該画素を中心としたｒピクセル四方（ｒ：自然数）のブロック内の画素の画素値を平滑化することによって平滑化画像を生成するステップと、
   予め保存するエッジ検出フィルタを前記元画像に適用することによって、前記注目画素上におけるエッジの方向および強度を検出するエッジ方向検出ステップと、
   前記検出されたエッジ方向に対応した前記距離テーブルに基づいて決定された前記相対的な位置関係と前記エッジの強度とから位置重みフィルタを生成するステップと、
   前記元画像上の注目画素の画素値と該注目画素周辺の参照画素の画素値との差に基づき、当該差が大きい程低い値になる関数および前記位置重みフィルタを用いて前記ノイズ除去フィルタの第１の係数を求めるステップと、
   前記元画像上の注目画素の画素値と、前記平滑化画像の該注目画素に対応する画素から少なくともｒピクセルおきに抽出された画素の画素値との差に基づき、当該差が大きい程低い値になる関数および前記位置重みフィルタを用いて前記ノイズ除去フィルタの第２の係数を求めるステップと、
   前記元画像の注目画素および参照画素に対して前記第１の係数を適用すると共に、前記平滑化画像から少なくともｒピクセルおきに抽出された画素に対して前記第２の係数を適用して夫々の画素値を重み付け加算することによって、前記元画像の注目画素の補正後の画素値を演算するステップと、
   を含むことを特徴とする画像処理方法。
2. コンピュータ装置を用いて、ノイズ除去フィルタの係数を決定し、フィルタ対象画像の注目画素の画素値と該注目画素周辺の参照画素の画素値とを前記係数で重み付け加算することによって、前記フィルタ対象画像のノイズを除去する画像処理方法であって、
   注目画素と各参照画素間の相対的な位置関係を示す距離テーブルをエッジ方向ごとに保存するステップと、
   フィルタ対象画像を元画像として、ｒピクセル四方（ｒ：自然数）のブロックごとに画素値を平滑化することによって縮小率ｒの縮小画像を生成するステップと、
   予め保存するエッジ検出フィルタを前記元画像に適用することによって、前記注目画素上におけるエッジの方向および強度を検出するエッジ方向検出ステップと、
   前記検出されたエッジ方向に対応した前記距離テーブルに基づいて決定された前記相対的な位置関係と前記エッジの強度とから位置重みフィルタを生成するステップと、
   前記元画像上の注目画素の画素値と該注目画素周辺の参照画素の画素値との差に基づき、当該差が大きい程低い値になる関数および前記位置重みフィルタを用いて前記ノイズ除去フィルタの第１の係数を求めるステップと、
   前記元画像上の画素に対応する縮小画像上の画素値を、縮小画像上の画素から線形補間によって求めるステップと、
   前記元画像上の注目画素の画素値と、前記線形補間された画像の該注目画素に対応する画素周辺の画素の画素値との差に基づき、当該差が大きい程低い値になる関数および前記位置重みフィルタを用いて前記ノイズ除去フィルタの第２の係数を求めるステップと、
   前記元画像の注目画素および参照画素に対して前記第１の係数を適用すると共に、前記線形補間された画像から少なくともｒピクセルおきに抽出された画素に対して前記第２の係数を適用して夫々の画素値を重み付け加算することによって、前記元画像の注目画素の補正後の画素値を演算するステップと、
   を含むことを特徴とする画像処理方法。
3. 前記ｒが偶数のときは、前記ｒピクセル四方をｒ＋１ピクセル四方とすることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記エッジ方向検出ステップにおいて、検出すべきエッジ方向のエッジ強度から当該エッジ方向の＋９０度方向のエッジ強度を差し引いて、前記検出すべきエッジ方向のエッジ強度を求めることを特徴とする請求項１乃至３のいずれか一に記載の画像処理方法。
5. 撮像画像の注目画素と参照画素との画素値の差および相対的な位置関係をもとに前記撮像画像のノイズを除去して補正画像を生成する画像処理装置であって、
   エッジ検出フィルタを保存する手段と、
   注目画素と各参照画素間の相対的な位置関係を示す距離テーブルをエッジ方向ごとに保存する手段と、
   フィルタ対象画像を元画像として、ｒピクセル四方（ｒ：自然数）のブロックごとに画素値を平滑化することによって縮小率ｒの縮小画像を生成する画像縮小手段と、
   前記エッジ検出フィルタを前記元画像に適用することによって、前記注目画素上におけるエッジの方向および強度を検出するエッジ方向検出手段と、
   前記検出されたエッジ方向に対応した前記距離テーブルに基づいて決定された前記相対的な位置関係と前記エッジの強度とから位置重みフィルタを生成する位置重みフィルタ合成手段と、
   前記元画像上の注目画素の画素値と該注目画素周辺の参照画素の画素値との差に基づき、当該差が大きい程低い値になる関数および前記位置重みフィルタを用いて求めた前記ノイズ除去フィルタの第１の係数を前記元画像の注目画素および参照画素に対して適用すると共に、前記元画像上の画素に対応する縮小画像上の画素値を、縮小画像上の画素から線形補間によって求め、前記元画像上の注目画素の画素値と、前記線形補間された画像の該注目画素に対応する画素周辺の画素の画素値との差に基づき、当該差が大きい程低い値になる関数および前記位置重みフィルタを用いて求めた前記ノイズ除去フィルタの第２の係数を、前記線形補間された画像から少なくともｒピクセルおきに抽出された画素に対して適用して夫々の画素値を重み付け加算することによって、前記元画像の注目画素の補正後の画素値を演算する画素値計算手段と、
   を備えたことを特徴とする画像処理装置。