JP4241774B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラによってカラー撮影されたデジタルの画像データから色ノイズを除去するための画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラでは、暗い被写体を高感度でカラー撮影を行うと、ＣＣＤ(charge coupled device)等のイメージセンサが持つノイズ特性（暗電流など）によって、その撮影画像に色ノイズが乗ってしまうことがある。この色ノイズは、急激な色変化として画素単位で表れ、撮影画像の画質を著しく低下させる。

このような色ノイズを画像処理にて除去する方法として、通常、注目画素に隣接する画素の色データを取り込み、これらを平均化するといった方法が用いられる（例えば、特許文献１参照）。
特開２００１−１７５８４３号公報

しかしながら、通常、色ノイズは画像の一点だけで表れるものではなく、その周辺に離散的に拡がって表れる傾向がある。このような場合、前記特許文献１のように隣接画素を平均化する方法では、色ノイズの影響を受けた画素を多数含めて平均化することになる。このため、画像データから色ノイズを効率的に除去できず、逆にぼけた感じになってしまうなどの問題がある。

本発明は前記のような点に鑑みなされたもので、画像データから色ノイズを効率的に除去することのできる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の画像処理装置は、画像データを取得する画像取得手段と、この画像取得手段によって得られた画像データから注目画素とその注目画素から前記画像データの保存形式に依存したブロックサイズによって決まる距離だけ離れた画素を処理対象として抽出する画素抽出手段と、この画素抽出手段によって抽出された各画素の値に所定の重み付け係数を乗じて平均化処理を行う平均化処理手段と、この平均化処理手段によって得られた画素値に基づいてノイズ除去後の画像データを生成する画像生成手段とを具備して構成される。

本発明によれば、注目画素に隣接する画素を除外し、注目画素から所定の距離だけ離れた画素を処理対象に含め、さらに、各画素の値に所定の重み付け係数を乗じて平均化処理を行うようにしたことで、色ノイズを効率的に除去して高画質の画像データを得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の概略的な構成を示すブロック図である。

画像処理装置１０は、コンピュータによって構成され、カラー撮影されたデジタルの画像データから色ノイズを除去するための機能を備える。なお、「色ノイズ」とは、高感度撮影などにより画素単位で色が急激に変化して表れる現象である。

図１に示すように、この画像処理装置１０は、制御部１１、外部Ｉ／Ｆ部１２、データ読取部１３、記憶部１４、入力部１５、表示部１６を備える。

制御部１１は、ＣＰＵからなり、プログラムの起動により本装置全体の制御を行う。外部Ｉ／Ｆ部１２は、ＵＳＢ（Universal Serial Bus）などのコネクタからなり、デジタルカメラ２１と接続してデジタルの画像データを入力する。データ読取部１３は、ＰＣカードリーダからなり、メモリカード２２に記録されたデジタルの画像データの読み取りを行う。

記憶部１４は、ハードディスク装置やＲＡＭなどからなり、デジタルカメラ２１またはメモリカード２２から入力された画像データの他、制御部１１の処理動作に必要な各種データを記憶する。また、この記憶部１４には、本発明のノイズ除去機能を実現するためのプログラム１４ａが記憶されている。制御部１１は、このプログラム１４ａを読み込むことにより、ノイズ除去に関する処理を実行する。

入力部１５は、キーボードやマウスなどからなり、各種データの入力や指示を行う。表示部１６は、ＬＣＤ（Liquid Crystal Display）などからかり、画像データの表示などを行う。

次に、同実施形態の動作を説明する。

図２は画像処理装置１０によって実行されるノイズ除去処理の全体の流れを示すフローチャートである。なお、このフローチャートを含め、以下の各フローチャートで示される各処理は、マイクロコンピュータである制御部１１が記憶部１４に記憶されたプログラム１４ａを読み込むことにより実行される。

今、図１に示したデジタルカメラ２１またはメモリカード２２からデジタルの画像データを画像処理装置１０に読み込んでノイズ除去を行う場合を想定する。

まず、画像処理装置１０に備えられた制御部１１は、ノイズ除去対象として選択されたデジタルの画像データを取得する（ステップＡ１１）。なお、このときの画像データはＲＧＢ形式であるとする。

制御部１１は、この画像データの保存形式を確認した後、下記（１）式に従ってＲＧＢからＹＣｂＣｒへの変換を行う（ステップＡ１２）。

Ｙ ＝ ０．２９９００＊Ｒ＋０．５８７００＊Ｇ＋０．１１４００＊Ｂ
Ｃｂ＝−０．１６８７４＊Ｒ−０．３３１２６＊Ｇ＋０．５００００＊Ｂ
Ｃｒ＝ ０．５００００＊Ｒ−０．４１８６９＊Ｇ−０．０８１３１＊Ｂ
…（１）
式中の＊は乗算を表わす。また、Ｒ，Ｇ，ＢはＲ値，Ｇ値，Ｂ値である。Ｙは輝度値、ＣｂとＣｒは色素値である。なお、ＣｂとＣｒのことを一般的に「色差」と呼んでいるが、ここでは、注目画素と周辺画素の色成分の差のことを「色差」と呼び、画素単体が持つ色成分のことを「色素」と呼んで区別することにする。

次に、制御部１１は、当該画像データを構成する各画素毎に所定のノイズ除去計算を行う（ステップＡ１３）。そして、制御部１１は、このノイズ除去計算によって得られる各画素の値からなる画像データをノイズ除去後の画像として取得し、これを元のＲＧＢ形式に戻した後（ステップＡ１４）、記憶部１４に保存する（ステップＡ１５）。

ここで、前記ステップＡ１３のノイズ除去計算処理について詳しく説明する。
図３はノイズ除去計算処理を示すフローチャートである。

まず、制御部１１は、画像データを構成する各画素の中から処理対象として注目している画素を決定し（ステップＢ１０）、その決定された注目画素と当該注目画素からｎ画素だけ離れた上下左右の周辺画素を抽出する（ステップＢ１１）。この場合、周辺画素として抽出する画素は、注目画素に隣接する画素ではなく、ｎ画素だけ離れた画素であることがポイントである。なお、このｎの値については、後に詳しく説明する。

制御部１１は、このようにして抽出した各画素の値を輝度成分と色成分に分け（ステップＢ１２）、それぞれに所定の重み付け係数を乗じて、その加算平均値を求める（ステップＢ１３）。このようにして得られた加算平均値は、後述するように、当該注目画素の新たな値として用いられる。

続いて、制御部１１は、次に処理対象として注目する画素を決定し、前記同様の処理を繰り返す。全ての画素に対する処理を終了すると（ステップＢ１４のＹｅｓ）、ここでのループを抜ける。

図４を参照して、前記ステップＢ１３で実行される演算処理について具体的に説明する。
図４は注目画素と周辺画素との関係を示す図である。今、斜線で示す画素Ｐ_０の輝度値をＹ（ｉ，ｊ）、画素Ｐ_０の色素値をＣｂ（ｉ，ｊ）、Ｃｒ（ｉ，ｊ）とする。なお、ｉはｘ座標値、ｊはｘ座標値を表わす。

画素Ｐ_０を注目画素とすると、そこから前後左右に所定の距離（ｎ画素分とする）だけ離れた位置に存在する周辺画素Ｐ_１〜Ｐ_４を処理対象として抽出する。これらの周辺画素Ｐ_１〜Ｐ_４の輝度値Ｙと、色素値ＣｂＣｒを以下のように表わす。

周辺画素Ｐ_１：Ｙ（ｉ，ｊ−ｎ）、Ｃｂ（ｉ，ｊ−ｎ）、Ｃｒ（ｉ，ｊ−ｎ）
周辺画素Ｐ_２：Ｙ（ｉ，ｊ＋ｎ）、Ｃｂ（ｉ，ｊ＋ｎ）、Ｃｒ（ｉ，ｊ＋ｎ）
周辺画素Ｐ_３：Ｙ（ｉ−ｎ，ｊ）、Ｃｂ（ｉ−ｎ，ｊ）、Ｃｒ（ｉ−ｎ，ｊ）
周辺画素Ｐ_４：Ｙ（ｉ＋ｎ，ｊ）、Ｃｂ（ｉ＋ｎ，ｊ）、Ｃｒ（ｉ＋ｎ，ｊ）
（ａ）輝度成分の計算
注目画素Ｐ_０と周辺画素Ｐ_１〜Ｐ_４との間において輝度差をｄＹ、色差をｄＣｂ、ｄＣｒとする。そして、「ｄＣｂとｄＣｒがそれぞれ閾値β内に収まっており、かつ、ｄＹが閾値αより小さい」といった条件１を満たすときに、係数ＫＹ＝１−（ｄＹ／α）^２を設定する。それ以外のときは、係数ＫＹ＝０とする。このときの条件１を数式化すると、以下のように表わせる。

（条件１）
ｄＣｂ＜β，ｄＣｒ＜β，ｄＹ＜α：１−（ｄＹ／α）^２
ｅｌｓｅ：０
これにより、新しい注目画素Ｐ_０の輝度値ｎｅｗＹ（ｉ，ｊ）は、以下のような式（２）で表わせる。なお、式中のＫＹ_ｕｐ、ＫＹ_ｄｏｗｎ、ＫＹ_ｌｅｆｔ、ＫＹ_{ｒｉｇｈｔ}は、上下左右の周辺画素Ｐ_１〜Ｐ_４に乗じる係数を表わす。また、＊は乗算を表わす。

ｎｅｗＹ（ｉ，ｊ）＝（Ｙ（ｉ，ｊ）＋ＫＹ_ｕｐ＊Ｙ（ｉ−ｎ，ｊ）＋ＫＹ_ｄｏｗｎ＊Ｙ（ｉ＋ｎ，ｊ）＋ＫＹ_ｌｅｆｔ＊Ｙ（ｉ，ｊ−ｎ）＋ＫＹ_{ｒｉｇｈｔ}＊Ｙ（ｉ，ｊ＋ｎ））／（１＋ＫＹ_ｕｐ＋ＫＹ_ｄｏｗｎ＋ＫＹ_ｌｅｆｔ＋ＫＹ_{ｒｉｇｈｔ}）
…（２）
前記計算式（２）において、注目画素Ｐ_０の重みは１としている。また、周辺画素Ｐ_１〜Ｐ_４の重みは、注目画素Ｐ_０との輝度差が一定値以下であるならば、その割合の二乗を１から引いた値とする（１−（ｄＹ／α）^２）。これは、一定値以下の輝度差で、色差がある範囲内にあるならば、色ノイズが乗っている可能性が高いとみなして、係数の重みを増して平均化するためである。また、範囲外であれば、平均化に寄与しないように、係数はゼロとする。

このように、輝度成分の計算に関しては、各画素の輝度成分と色素成分の両方を考慮して係数の重み付けを行う。これにより、輝度と色素が大きく違う画素を排除して平均化でき、その結果として画像のエッジ部分を確保しながら、色ノイズを効率的に除去することができる。

（ｂ）色素成分の計算
注目画素Ｐ_０の輝度値の割合をｒＹとする。これに対し、周辺画素Ｐ_１〜Ｐ_４の輝度値の割合を（１−ｒＹ）とする。

ここで、「注目画素Ｐ_０と周辺画素Ｐ_１〜Ｐ_４の輝度差ｄＹが閾値αより小さい」といった条件２を満たすとき、係数ＫＹ_２＝（１−ｄＹ／α）を設定する。それ以外のときは、係数ＫＹ_２ ＝０とする。このときの条件２を数式化すると、以下のように表わせる。

（条件２）
ｄＹ＜α：（１−ｄＹ／α）
ｅｌｓｅ：０
これにより、新しい注目画素Ｐ_０の色素値ｎｅｗＣｂ（ｉ，ｊ）、ｎｅｗＣｒ（ｉ，ｊ）は、以下のような式（３），（４）で表わせる。なお、式中のＫＹ_ｕｐ２、ＫＹ_{ｄｏｗｎ２}、ＫＹ_{ｌｅｆｔ２}、ＫＹ_{ｒｉｇｈｔ２}は、上下左右の周辺画素Ｐ_１〜Ｐ_４に乗じる係数を表わす。また、＊は乗算を表わす。

ｎｅｗＣｂ（ｉ，ｊ）＝｛ｒＹ＊Ｃｂ（ｉ，ｊ）＋（１−ｒＹ）＊｛（ＫＹ_ｕｐ２＊Ｃｂ（ｉ−ｎ，ｊ）＋ＫＹ_{ｄｏｗｎ２}＊Ｃｂ（ｉ＋ｎ，ｊ）＋ＫＹ_{ｌｅｆｔ２}＊Ｃｂ（ｉ，ｊ−ｎ）＋ＫＹ_{ｒｉｇｈｔ２}＊Ｃｂ（ｉ，ｊ＋ｎ）｝｝／｛ｒＹ＋（１−ｒＹ）＊（ＫＹ_ｕｐ２＋ＫＹ_{ｄｏｗｎ２}＋ＫＹ_{ｌｅｆｔ２}＋ＫＹ_{ｒｉｇｈｔ２}）｝
…（３）
ｎｅｗＣｒ（ｉ，ｊ）＝｛ｒＹ＊Ｃｒ（ｉ，ｊ）＋（１−ｒＹ）＊｛（ＫＹ_ｕｐ２＊Ｃｒ（ｉ−ｎ，ｊ）＋ＫＹ_{ｄｏｗｎ２}＊Ｃｒ（ｉ＋ｎ，ｊ）＋ＫＹ_{ｌｅｆｔ２}＊Ｃｒ（ｉ，ｊ−ｎ）＋ＫＹ_{ｒｉｇｈｔ２}＊Ｃｒ（ｉ，ｊ＋ｎ）｝｝／｛ｒＹ＋（１−ｒＹ）＊（ＫＹ_ｕｐ２＋ＫＹ_{ｄｏｗｎ２}＋ＫＹ_{ｌｅｆｔ２}＋ＫＹ_{ｒｉｇｈｔ２}）｝
…（４）
前記計算式（３），（４）において、注目画素Ｐ_０の重みは、その注目画素Ｐ_０の輝度の割合としている（ｒＹ）。すなわち、例えば輝度が２５６階調であるとすると、ｒＹ＝Ｙ（ｉ，ｊ）／２５５である。これは、注目画素Ｐ_０の輝度が低いほど、周りの値に影響を受けることを意味する。つまり、色ノイズが輝度の低いところで目立ち、逆に輝度の高く明るいところではあまり目立たないことに着目して、注目画素Ｐ_０に重み付けを行っている。

また、周辺画素Ｐ_１〜Ｐ_４の重みは、注目画素Ｐ_０との輝度差が一定値以下であるならば、その輝度差が少ないほど大きく、輝度差が大きいほど小さくなる係数（１−ｄＹ／α）と、１から注目画素Ｐ_０の輝度の割合を引いた係数（１−ｒＹ）とをかけたものとする。これは、注目画素Ｐ_０と周辺画素Ｐ_１〜Ｐ_４との輝度差が小さいほど、同じ色と推測することができ、また、輝度の低い周辺画素ほど係数を高くして平均化するためである。

このように、色素成分の計算に関して、各画素の輝度成分のみを考慮して係数の重み付けを行う。なお、ＣｂＣｒの色素値を係数に使わなかったのは、色ノイズの影響で緑や青や赤などの色になってしまなっていることが暗い部分で顕著に表われるためであり、ＣｂＣｒの値からは係数を決めることが困難であるからである。よって、輝度成分のみで計算式を確立している。

なお、図４の例では、注目画素Ｐ_０から前後左右にｎ画素離れた周辺画素Ｐ_１〜Ｐ_４の４点を処理対象として抽出する場合を想定して説明したが、ｎ画素よりさらに離れた画素も処理対象に含めるようにしても良い。この場合、前記（２）〜（４）式の計算の際に、注目画素Ｐ_０との距離に応じて係数の重み付けを適宜設定するものとする。

すなわち、図５に示すように、注目画素Ｐ_０から右方向にｎ画素以上離れた周辺画素Ｐ_４〜Ｐ_６を処理対象とした抽出した場合には、例えばＰ_４＜Ｐ_５＜Ｐ_６の順で係数の重み付けを重くする。このように、ｎ画素以上離れた周辺画素を多数抽出して、それぞれに重み付けを変えて平均化すれば、ノイズ除去の精度を上げることができる。

ここで、前記計算式（２）〜（４）について説明する。

まず、輝度成分であるＹと色成分であるＣｂＣｒに分けて計算した点に関しては、ＪＰＥＧ(Joint Photographic Experts Group)などではＲＧＢデータをＹＣｂＣｒデータに変換していること、また、輝度成分と色成分に分けて計算すると、見え方の違いからノイズ除去に関する係数を異ならせることができ、効率的なノイズ除去が行えるからである。

また、以下に詳述するが、ＪＰＥＧ画像の作成時には、輝度成分は変化が目に見えやすいので省略しないのに対し、色成分は省略しても見た目に変化がわかりにくいので、４分の１に間引いている。その間引きにも対応できるように、輝度成分と色成分とに分けて計算している。

次に、平均化に使用する周辺画素Ｐ_１〜Ｐ_４を注目画素Ｐ_０からｎ画素離した点について説明する。

一般的なノイズ除去は、注目画素と隣接画素の平均を取ることにより行なわれる。しかしながら、色ノイズの影響で隣接画素も同様に変色している可能性が高いため、これらの画素を多数含めて平均化しても色ノイズをあまり低減できず、ぼかしているという感が否めない。そのため、エッジ強調を行う必要があり、本来の画像とは趣が異なってくる。そこで、本実施形態では、図４に示したように、注目画素Ｐ_０からｎ画素だけ離れた位置に存在する周辺画素Ｐ_１〜Ｐ_４を平均化に使用するものとしている。

以下に、ＪＰＥＧ形式の画像データを例にして、さらに詳しく説明する。

デジタルカメラ２１は、ＣＣＤ(charge coupled device)等の撮像素子から得られた画像データを何らかの方法で保存する。その保存方法として、一般的にＪＰＥＧ形式が用いられる。これは、ＪＰＥＧ形式で圧縮した後の容量が小さいなどの理由による。

図６はＪＰＥＧ形式による画像保存処理を示すフローチャートである。

まず、画像データを成分に分解する。つまり、画像データを取り込んだ後、ＪＰＥＧに適しているＹとＣｂＣｒにそれぞれ変換する（ステップＣ１１）。その後、それらをＭＣＵ（Minimum Code Unit：最小符号化ユニット）に分解する（ステップＣ１２）。これは、全画素に対して、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）、量子化、ハフマン符号化を行うと、計算量が多くなり、処理に時間がかかるからである。そこで、１６×１６の画素で構成されたユニットに分解することが行なわれる。なお、１６×１６の大きさはサンプリングファクタによって決まるが、ここではその詳しい説明は省略する。

次に、ＭＣＵの各ブロックに対して、順にＤＣＴ、量子化処理、ハフマン符号化を行った後（ステップＣ１３〜Ｃ１５）、ＭＣＵ単位で記録する（ステップＣ１６）。

ここで、図７を参照してＭＣＵの概略を参照する。

ＭＣＵでは、１６×１６の画素で構成されたユニットが存在するが、基本ＤＣＴ方式では、このユニット画像の各成分に対して８×８画素に分けられる。すなわち、１６×１６の画素全ての輝度成分を４つのブロックに分けて、また色成分については８×８に間引いて、離散コサイン変換を行うことにより周波数成分で表示する。その周波数成分を量子化処理することにより情報量を削減し、それをハフマン符号化することで情報量をさらに削減する。

ところが、このような操作は、量子化の段階で８×８画素のブロック毎にある一定の傾向が出てしまうことが多く、ＪＰＥＧ画像を拡大表示すると、これらのブロックの境界線を視認できる。また、あるブロックは黄色っぽく、その隣のブロックは赤っぽく…というような構成になっていることが多い。

したがって、従来のように隣接画素を平均化する方法では、結局、ブロック毎の色傾向を維持したままで各画素の値を平均化することになり、色ノイズをきれいに除去することはできない。

そこで、本発明では、注目画素に隣接する画素ではなく、隣接ブロックに含まれる画素を平均化の処理に用いることで、色ノイズを効率的に除去するものである。具体的には、図３のステップＢ１１にて注目画素に対する周辺画素を抽出する場合に、図８に示すような処理を行うことになる。

図８は画像処理装置１０によってブロック単位で周辺画素を抽出する場合の処理を示すフローチャートである。

すなわち、制御部１１は、ブロック処理された画像データを取得すると（ステップＤ１１）、その画像データの種類からブロックサイズを判断する（ステップＤ１２）。例えばＪＰＥＧ画像であれば、ブロックサイズは８×８画素である。また、ＭＰＥＧ（Moving Picture Experts Group）画像であれば、ブロックサイズ１６×１６画素である。また、ＭＰＥＧのＨ．２６４規格では、１６×１６，１６×８，８×１６，８×８の４種類から選択可能である。これらの動画データから静止画データが作成されている場合には、それぞれに対応したブロックサイズを適用することになる。

次に、制御部１１は、そのブロックサイズに基づいて注目画素に対する距離ｎの値を設定する（ステップＤ１３）。例えばブロックサイズが８×８画素であれば、ｎ＝８（画素）として設定する。制御部１１は、このｎの値に基づいて注目画素からｎ画素離れた画素を平均化の処理対象として抽出する（ステップＤ１４）。以後の処理は図３のステップＢ１２からの処理と同様である。

このように、ブロック構造を有する画像データの場合には、そのブロック単位で注目画素に対する周辺画素を処理対象として抽出して平均化すれば、色ノイズの影響を比較的受けていない画素を用いて効率的に色ノイズを除去することができる。

（変形例）
画像によっては、ブロックノイズが目立つものもある。そのため、このような画像を対象とする場合には注目画素からブロックサイズだけ離れた画素を平均化処理するよりは、さらに所定数画素数分離れた画素を用いた方が良いこともある。例えばＪＰＥＧ画像であれば、８（ブロックサイズ）＋２＝１０（画素）といった値がもっとも適している。

図９は画像処理装置１０によってブロック単位で周辺画素を抽出する場合の他の処理を示すフローチャートである。なお、ステップＥ１１〜Ｅ１３までの処理は、図８のステップＤ１１〜Ｄ１３までの処理と同様である。

すなわち、制御部１１は、ブロック処理された画像データを取得すると（ステップＥ１１）、その画像データの種類からブロックサイズを判断した後（ステップＥ１２）、そのブロックサイズに基づいて注目画素に対する距離ｎの値を設定する（ステップＥ１３）。

ここで、前記設定された距離ｎの値に所定画素数ｍを加算する（ステップＥ１４）。この素数ｍの値は、上述したブロックノイズのスムージングを考慮した最適な値に設定されている。例えばＪＰＥＧ画像であれば、ｍ＝２である。

そして、制御部１１は、注目画素からｎ＋ｍ画素離れた画素を平均化の処理対象として抽出する（ステップＥ１５）。以後の処理は図３のステップＢ１２からの処理と同様である。

このように処理を行えば、画像データの各画素毎に処理対象として注目する画素とその周辺画素を順次抽出していく過程において、注目画素が属するブロックの境界を越えるタイミングと周辺画素が属するブロックの境界を越えるタイミングとが同時にならないように抽出されることになる。

すなわち、注目画素が第１のブロックに存在している間にも、平均化の処理対象として抽出される周辺画素は、当該注目画素の第１のブロック内での座標位置に応じて第１のブロックに隣接する第２のブロック、あるいは、さらにその隣の第３のブロックから抽出されることになる。したがって、ブロック単位の階調変化なども平均化されることになり、このことが結果的にブロックノイズのスムージング効果を生む。

このように、注目画素から保存形式に応じたブロックサイズだけ離れた画素よりも、さらに所定数画素数分離れた画素を用いて平均化することにより、ブロックノイズのスムージングを兼ねて、色ノイズを効率的に除去することができる。

なお、注目画素からｎ＋ｍだけ離れた画素だけでなく、図５で説明したように、さらに数画素分離れた複数の画素も処理対象に含めて処理することでも良く、その場合には、係数の重み付けを各画素の距離に応じて段階的に設定することで対応するものとする。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第２の実施形態では、ブロック構造を持たない画像データを処理対象としている。ブロック構造を持たない画像データとは、ＲＡＷデータのことである。ＲＡＷデータは、デジタルカメラ２１で撮影された画像データに画像処理を施さずに、そのまま出力したデータである。

以下に、画像データがＲＡＷデータであった場合の処理について説明する。
図１０は本発明の第２の実施形態における周辺画素の抽出処理を示すフローチャートである。

制御部１１は、デジタルカメラ２１またはメモリカード２２から撮影情報と共に、撮影画像のＲＡＷデータを読み込む（ステップＦ１１）。撮影情報には、撮影時に設定された撮影条件として感度（ＩＳＯ）の情報が含まれている。

制御部１１は、この撮影情報に基づいて撮影感度を判断した後（ステップＦ１２）、その撮影感度に応じて、注目画素に対する距離ｎの値を設定する（ステップＦ１３）。この場合、撮影感度を上げると、色ノイズの拡がりが大きくなるので、距離ｎの値は大きくなる。

制御部１１は、撮影感度によって設定したｎの値に基づいて注目画素からｎ画素離れた画素を平均化の処理対象として抽出する（ステップＦ１４）。以後の処理は図３のステップＢ１２からの処理と同様である。

このように、画像データがブロック構造を持たない場合でも、撮影感度に基づいてｎの値を設定すれば、前記第１の実施形態と同様に、色ノイズの影響を比較的受けていない画素を用いて効率的に色ノイズを除去することができる。

なお、前記各実施形態では、画像処理装置１０をデジタルカメラ２１とは独立した装置として説明したが、この画像処理装置１０によって実現されるノイズ除去機能をデジタルカメラ２１に適用することも可能である。これにより、デジタルカメラ２１にて撮影した画像データをカメラ内でノイズ除去して記録することができるので、後処理の手間を省くことができる。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

さらに、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の第１の実施形態に係る画像処理装置の概略的な構成を示すブロック図である。 図２は同実施形態における画像処理装置によって実行されるノイズ除去処理の全体の流れを示すフローチャートである。 図３は同実施形態における画像処理装置のノイズ除去計算処理を示すフローチャートである。 図４は同実施形態における画像処理装置の注目画素と周辺画素との関係を示す図である。 図５は同実施形態における画像処理装置の注目画素からｎ画素以上離れた周辺画素の抽出を説明するための図である。 図６は同実施形態における画像処理装置のＪＰＥＧ形式による画像保存処理を示すフローチャートである。 図７は前記ＪＰＥＧ形式による画像保存処理に用いられるＭＣＵを説明するための図である。 図８は同実施形態における画像処理装置によってブロック単位で周辺画素を抽出する場合の処理を示すフローチャートである。 図９は同実施形態における画像処理装置によってブロック単位で周辺画素を抽出する場合の他の処理を示すフローチャートである。 図１０は本発明の第２の実施形態における周辺画素の抽出処理を示すフローチャートである。

符号の説明

１０…画像処理装置、１１…制御部、１２…外部Ｉ／Ｆ部、１３…データ読取部、１４…記憶部、１４ａ…プログラム、１５…入力部、１６…表示部、２１…デジタルカメラ、２２…メモリカード。

Claims (7)

1. 画像データを取得する画像取得手段と、
   この画像取得手段によって得られた画像データから注目画素とその注目画素から前記画像データの保存形式に依存したブロックサイズによって決まる距離だけ離れた画素を処理対象として抽出する画素抽出手段と、
   この画素抽出手段によって抽出された各画素の値に所定の重み付け係数を乗じて平均化処理を行う平均化処理手段と、
   この平均化処理手段によって得られた画素値に基づいてノイズ除去後の画像データを生成する画像生成手段と
   を具備したことを特徴とする画像処理装置。
2. ブロック構造を有する画像データを取得する画像取得手段と、
   この画像取得手段によって得られた画像データのブロックサイズを判断するサイズ判断手段と、
   このサイズ判断手段によって判断されたブロックサイズに基づいて、注目画素に対する距離を設定する距離設定手段と、
   この距離設定手段によって設定された距離に基づいて、前記画像データから注目画素とその注目画素から前記距離だけ離れた画素を処理対象として抽出する画素抽出手段と、
   この画素抽出手段によって抽出された各画素の値に所定の重み付け係数を乗じて平均化処理を行う平均化処理手段と、
   この平均化処理手段によって得られた画素値に基づいてノイズ除去後の画像データを生成する画像生成手段と
   を具備したことを特徴とする画像処理装置。
3. 前記画素抽出手段は、前記距離設定手段によって設定された距離にブロックノイズのスムージングを考慮した画素数を加えた分だけ離れた画素を処理対象として抽出することを特徴とする請求項２記載の画像処理装置。
4. 画像データを取得するステップと、
   前記画像データから注目画素とその注目画素から前記画像データの保存形式に依存したブロックサイズによって決まる距離だけ離れた画素を処理対象として抽出するステップと、
   前記抽出された各画素の値に所定の重み付け係数を乗じて平均化処理を行うステップと、
   前記平均化処理によって得られた画素値に基づいてノイズ除去後の画像データを生成するステップと
   を備えたことを特徴とする画像処理方法。
5. ブロック構造を有する画像データを取得するステップと、
   前記画像データのブロックサイズを判断するステップと、
   前記ブロックサイズに基づいて、注目画素に対する距離を設定するステップと、
   前記設定された距離に基づいて、前記画像データから注目画素とその注目画素から前記距離だけ離れた画素を処理対象として抽出するステップと、
   前記抽出された各画素の値に所定の重み付け係数を乗じて平均化処理を行うステップと、
   前記平均化処理によって得られた画素値に基づいてノイズ除去後の画像データを生成するステップと
   を備えたことを特徴とする画像処理方法。
6. コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
   前記コンピュータに、
   画像データを取得する機能と、
   前記画像データから注目画素とその注目画素から前記画像データの保存形式に依存したブロックサイズによって決まる距離だけ離れた画素を処理対象として抽出する機能と、
   前記抽出された各画素の値に所定の重み付け係数を乗じて平均化処理を行う機能と、
   前記平均化処理によって得られた画素値に基づいてノイズ除去後の画像データを生成する機能と
   を実現させることを特徴とするプログラム。
7. コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
   前記コンピュータに、
   ブロック構造を有する画像データを取得する機能と、
   前記画像データのブロックサイズを判断する機能と、
   前記ブロックサイズに基づいて、注目画素に対する距離を設定する機能と、
   前記設定された距離に基づいて、前記画像データから注目画素とその注目画素から前記距離だけ離れた画素を処理対象として抽出する機能と、
   前記抽出された各画素の値に所定の重み付け係数を乗じて平均化処理を行う機能と、
   前記平均化処理によって得られた画素値に基づいてノイズ除去後の画像データを生成する機能と
   を実現させることを特徴とするプログラム。

Images