JP5810778B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像のノイズを低減する画像処理装置および画像処理方法に関する。

デジタルカメラやスキャナ等の撮像機器により撮影した画像には、撮像素子及び回路の特性上、ショットノイズ、暗電流ノイズなどのノイズが含まれる。高画質の画像を得るためには、これらのノイズを低減する処理を施さなければならない。

しかし、単純にローパスフィルタを用いてノイズを低減すると、エッジなど人間が画像を知覚する上で重要な要素も同時に失われて画質が劣化する。そこで、画像の領域の特性に応じて、適応的にノイズ低減を行う技術が必要となる。

このようなノイズ低減技術の一つとして、εフィルタが提案されている（例えば、非特許文献１参照）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することを可能としている。

バイラテラルフィルタもεフィルタと同様に、エッジの保存とノイズ低減とを両立させることができる（例えば、非特許文献２参照）。バイラテラルフィルタは、注目画素との信号差及び空間距離によってフィルタの重み係数を作成しフィルタ処理を行うものである。また、バイラテラルフィルタに準ずる原理によるノイズ低減は、他にも提案されている（例えば、特許文献１乃至４参照）。

しかしながら、εフィルタやバイラテラルフィルタでは、物体表面の微細なテクスチャや動物の毛並みといった振幅の小さい信号成分が失われやすい。特許文献３では、この点を鑑みて、εフィルタの出力値と注目画素値を注目画素近傍の空間周波数に応じた割合で加重加算する技術が開示されている。

特許文献３記載の技術でも、ショットノイズなどの信号依存性のノイズに対応できず、また、カラー画像に対するノイズ低減性能が悪いという問題がある。非特許文献３では、カラー画像における信号依存性のノイズの低減技術が提案されているが、この方法は、画像のセグメンテーションおよび統計量の算出に多大な処理コストがかかる。

特許文献４では、カラー画像に対する信号依存性のノイズ低減をセグメンテーション等の反復処理がなく、より少ない計算コストで実現する技術が開示されている。これは、εフィルタに準ずる原理で注目画素周辺の類似画素群を選択し、その類似画素群の性質をεフィルタの演算結果と処理対象画素値との差分の変換処理に反映させるものである。

しかし、画像中のすべての画素位置でフィルタ演算をする必要があり計算コストは決して低くなく、また、類似画素群の選択のバラツキにノイズ低減結果が影響を受ける点に課題を残している。

本発明は、このような従来の課題を解決するためになされたもので、エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行い、さらに振幅の小さい信号を保存し、信号依存性のノイズを高精度に少ない処理コストで低減する画像処理装置および画像処理方法を提供することを目的とする。

上記課題を解決するため、本発明の画像処理装置は、画像のノイズを低減する画像処理装置であって、前記画像中から注目画素を選択する注目画素選択部と、前記注目画素との類似度が閾値以上である類似画素よりなる類似画素群を前記注目画素の近傍から抽出する類似画素群抽出部と、前記類似画素群の画素値の代表値を算出する代表値算出部と、前記類似画素群に属する任意の画素の画素値と前記代表値との加重加算により補正値を得る加重加算部と、異なる注目画素に対して得られた同位置の画素の補正値を統合する補正値統合部と、を備え、前記補正値統合部によって統合された各補正値を各画素の画素値とする。

本発明は、エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行い、さらに振幅の小さい信号を保存し、信号依存性のノイズを高精度に少ない処理コストで低減する画像処理装置および画像処理方法を提供することができる。

本発明の第１の実施の形態に係る画像処理装置を適用したデジタルカメラのブロック図である。 本発明の第１の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の第１の実施の形態に係る画像処理装置の動作を示すフローチャートである。 本発明の第１の実施の形態に係る画像処理装置を構成する類似画素群抽出部による類似画素群の抽出を説明するために概念図である。 本発明の第１の実施の形態に係る画像処理装置を構成する加重加算部において、信号値に対してノイズの分散をプロットした一例を示すグラフである。 本発明の第１の実施の形態に係る画像処理装置を構成する加重加算部に設定されるノイズ量の推定関数の一例を示すグラフである。 本発明の第２の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の第２の実施の形態に係る画像処理装置の動作を示すフローチャートである。 本発明の第２の実施の形態に係る画像処理装置を構成する注目画素選択部による注目画素の選択例を示す概念図である。 本発明の第３の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の第３の実施の形態に係る画像処理装置の動作を示すフローチャートである。 本発明の第３の実施の形態に係る画像処理装置による画素の走査順の一例を示す概念図である。 本発明の第４の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の第４の実施の形態に係る画像処理装置の動作を示すフローチャートである。 本発明の第４の実施の形態に係る画像処理装置を構成する類似画素群抽出部によるＬ＊ａ＊ｂ＊空間における類似画素群の抽出例を示す概念図である。 本発明の第４の実施の形態に係る画像処理装置を構成する加重加算部による１次元に射影した加重加算の例を示す概念図である。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
本実施の形態においては、１つの画素が輝度成分のみを持つグレースケール画像から、信号値に大きさが依存するノイズを低減する画像処理装置１００について説明する。以下、信号値を画素値という場合がある。

本発明の実施の形態に係る画像処理装置１００は、デジタルカメラ、スキャナ、カメラ付き携帯電話などグレースケール画像を撮影する機器であれば好適に適用できる。また、コンピュータが記憶媒体から読み出したり、ネットワークを介して取得したグレースケール画像に本実施の形態のノイズ低減処理を施したりすることもできる。

図１に示すように、本発明の実施の形態に係る画像処理装置１００を適用したデジタルカメラは、公知のものを適用することができ、例えば、画像を撮影する撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１８と、デジカメ全体を制御する主制御部１７と、画像データを記憶するフレームメモリ１９と、その他の部品と接続されるＩ／Ｆ（インタフェース）２１とを有する。

Ｉ／Ｆ２１には、画像を表示する表示部２２と、画像データを保存したり画像データを読み出すための外部メモリ２３、及び、記憶媒体２５を装着するメモリカード装着部２４とが接続されている。ノイズ低減処理は、例えば、信号処理部１８と主制御部１７とに実装されるが、実装例は図に限定されるものではない。

撮像部１１は、レンズ１２、絞り１３、電子シャッター１４、光電変換素子１５及び前処理部１６を有する。 光電変換素子１５は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device)によって構成される。

撮像部１１は、不図示のカラーフィルタ（原色系又は補色系のいずれでもよい）を有し、例えば、セル状に配列されたＲ（赤）、Ｇ（緑）、Ｂ（青）の各色毎に１つの光電変換素子１５が配置されている。

前処理部１６は、プリアンプやＡＧＣ（自動利得制御）等のアナログ信号処理器やＡ／Ｄ変換器を備えており、光電変換素子１５により出力されたアナログ映像信号に対して増幅やクランプ等の前処理を施した後、アナログ映像信号をデジタル映像信号に変換するようになっている。

信号処理部１８は、ＤＳＰ（Digital Signal Processor）等によって構成され、撮像部１１から得られたデジタル信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施すようになっている。

また、信号処理部１８は、処理した画像データをフレームメモリ１９に格納したり、格納した画像データをフレームメモリ１９から読み出したり、ノイズ低減などの画像処理を施すことができるようになっている。

フレームメモリ１９は、ＶＲＡＭ（Video Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリによって構成される。

フレームメモリ１９から読み出された画像データは、信号処理部１８において画像圧縮等の信号処理が施された後、Ｉ／Ｆ２１を介して外部メモリ２３又はメモリカード装着部２４に装着された記憶媒体２５に記憶される。

外部メモリ２３は、フラッシュメモリ等の不揮発メモリによって構成され、記憶媒体２５はＵＳＢ（Universal Serial Bus）メモリ、ＳＤメモリカード、光磁気ディスクなどの脱着可能な可搬型の不揮発メモリによって構成される。Ｉ／Ｆ２１は、これらを切り替えて利用できる。

また、画像処理装置１００は、不図示の通信ユニットにより画像データをサーバに送信したり、サーバから画像データを受信したりして外部メモリ２３に記憶してもよい。この場合、通信ユニットは、携帯電話網や無線／有線ＬＡＮ（Local Area Network）網に接続されて、画像データを送受信する。

フレームメモリ１９、外部メモリ２３又は記憶媒体２５から読み出された画像データは、表示部２２に表示される。表示部２２は、液晶ディスプレイや有機ＥＬディスプレイ等によって構成され、デジタルカメラの筐体に設置されている。表示部２２は、タッチパネルを一体に有する。このタッチパネルと筐体に設けられたキーボードとにより、ユーザの操作が入力される。

主制御部１７、又は、主制御部１７と信号処理部１８とは、マイコンやＬＳＩ（Large Scale Integration）などにより構成される。本実施の形態において、主制御部１７、信号処理部１８及びフレームメモリ１９が、画像処理装置１００の主要部を構成する。

マイコンは、主に、ＣＰＵ（Central Processing Unit）、ＲＡＭ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＡＳＩＣ（Application Specific Integrated Circuit）等がバスで接続されたコンピュータを実体とし、ＥＥＰＲＯＭに記憶されたノイズ低減プログラム２０をＣＰＵが実行することで、以下で説明するノイズ低減処理が画像データに施される。また、ＡＳＩＣ等のハードウェアによりノイズ低減処理を実行するようにしてもよい。

ノイズ低減プログラム２０は、予め、ＥＥＰＲＯＭに記憶された状態でデジタルカメラと共に出荷される。また、ノイズ低減プログラム２０は、記憶媒体２５に記憶されて配布され、Ｉ／Ｆ２１を介してＥＥＰＲＯＭに読み込めるようにしてよい。また、ノイズ低減プログラム２０は、ネットワークを介してＥＥＰＲＯＭにダウンロードできるようにしてもよい。

図２に示すように、画像処理装置１００は、画像データ（以下、処理対象画像３１という）を入力とし、ノイズ低減画像３２を出力するようになっている。また、画像処理装置１００は、画像取得部１０１、注目画素選択部１０２、類似画素群抽出部１０３、代表値算出部１０４、加重加算部１０５、補正値保持部１０６、画素選択済み判定部１０７および補正値統合部１０８を備えている。各機能ブロック１０１乃至１０８は、ＣＰＵがノイズ低減プログラム２０を実行することで実現される。

このように構成された画像処理装置１００の動作について図３を参照して説明する。

まず、画像取得部１０１がフレームメモリ１９から処理対象画像３１を取得する（ステップＳ１０１）。ここで、処理対象画像３１は、デジタルカメラが直接撮影した以外の画像データでもよい。

次に、注目画素選択部１０２が、処理対象画像３１の複数の画素の中から注目画素を選択する（ステップＳ１０２）。例えば、注目画素選択部１０２は、ラスタ走査により注目画素を選択することができる。なお、走査方法は、どのようなものでもよい。

次に、類似画素群抽出部１０３が注目画素の近傍領域から類似画素よりなる類似画素群を抽出する（ステップＳ１０３）。例えば、類似画素群抽出部１０３は、注目画素を中心としたウィンドウを設定し、注目画素との信号値の差分の絶対値が特定閾値以下のものを類似画素として抽出する。

例えば、図４に示すように、類似画素群抽出部１０３は、注目画素を中心として５×５のウィンドウを設定し、注目画素との画素値の絶対差分が３０以下の画素を類似画素として抽出する。これにより、エッジなどの信号値が急峻に変わる部分の影響を避けることができる。

図３において、代表値算出部１０４が、類似画素群抽出部１０３によって抽出された類似画素群の代表値を算出する（ステップＳ１０４）。ここで、代表値は、例えば、類似画素群に属する画素の画素値の平均値とする。

次に、加重加算部１０５が、類似画素群の各画素の画素値と代表値との加重加算を行うことにより（ステップＳ１０５）、補正値を得る。具体的には、加重加算部１０５は、位置ｐの注目画素の類似画素群Ｅ（ｐ）において、その代表値をμ（ｐ）、位置ｑの画素値をｘ（ｑ）として、重み係数ｗ（ｐ）を用いて、次式で補正値ｙ（ｑ｜ｐ）を算出する。

ここで、補正値ｙ（ｑ｜ｐ）は、重み係数ｗ（ｐ）が１に近いほど代表値μ（ｐ）に近付き、０に近いほど元の画素値ｘ（ｑ）に近付く。したがって、平坦な部分やノイズの多い部分でｗ（ｐ）を大きく（１に近く）設定すれば、代表値μに近付き、より多くのノイズを低減することができる。

また、テクスチャのある部分やノイズの少ない部分でｗ（ｐ）を小さく設定すれば、元の画素値ｘ（ｑ）に近付き、微細な信号成分を残すことができる。このように加重加算を用いることで、近傍領域の特性に合わせた適応的なノイズ低減が可能となる。

このため、重要となるのは重み係数ｗ（ｐ）の設定方法であるが、本実施の形態においては、類似画素群Ｅ（ｐ）の画素値の分散σ^２（ｐ）とノイズの分散τ^２（ｐ）とを用いて次式で算出する。

ここで、σ^２（ｐ）は類似画素群の画素値を用いて標本分散を算出することで得られる。ノイズの分散τ^２（ｐ）は一定の設計値を用いてもよいし、その都度に推定することもできる。ノイズの分散の推定方法については、後述する。

次に、補正値保持部１０６が、注目画素ｐの類似画素群Ｅ（ｐ）における位置ｑの画素の補正値ｙ（ｑ｜ｐ）を記録する（ステップＳ１０６）。次に、画素選択済み判定部１０７が、すべての画素を注目画素として選択したか否かを判定する（ステップＳ１０７）。

ここで、すべての画素を選択したと判定された場合には、画像処理装置１００の動作は、次のステップＳ１０８に移り、すべての画素を選択していないと判定された場合には、画像処理装置１００の動作は、ステップＳ１０２に戻る。

ステップＳ１０８では、補正値統合部１０８が、位置ｑの画素を類似画素群に含む注目画素ｐに対する各補正値ｙ（ｑ｜ｐ）を平均化することで、最終的な補正値ｚ（ｑ）を求める。この処理は、次式のように表せる。

ここで、Ｅ^−１（ｑ）は、位置ｑの画素を類似画素群に含む注目画素の位置の集合、Ｎは、その集合の要素数である。このように、補正値統合部１０８は、補正値ｚ（ｑ）をすべての画素位置に対して求めて、この補正値を画素値として構成したノイズ低減画像３２を出力する。

以上に説明したように、本実施の形態に係る画像処理装置１００は、補正値統合部１０８が異なる注目画素の類似画素群から得られた補正値を平均化することで、類似画素群の抽出のバラツキに対してロバストとなり、ノイズ低減の精度を向上させることができる。

なお、上述した画像処理装置１００の動作のステップＳ１０３において、単純な画素値の差分で画素間の類似度を判定すると、ノイズの影響を受けて類似画素群の抽出が効果的に行われない場合がある。

処理対象画素値に平滑化フィルタを適用した結果に対して、画素値差分を求めることで、類似画素群を安定的に抽出することが可能となる（ただし、エッジのボケとのトレードオフである）。また、画素値分布間距離を用いて類似画素判定を行うこともできる（例えば、特許文献７参照）。

また、ステップＳ１０３において、類似画素群の代表値として、平均値ではなく、中央値や最頻値を用いることができる。

また、ステップＳ１０５において、重み係数の算出は様々な形態を取ることができる。設計パラメータａ，ｂを導入して次式のように算出することで、全体的な解像保持とノイズ低減のバランスを設計者が決めることが可能となる。

また、類似画素群の画素値の分散ではなく、特定周波数のパワーをσ^２（ｐ）に置き換えて使用することもできる。

また、ステップＳ１０８では、補正値統合部１０８が、位置ｑの画素を類似画素群に含む注目画素ｐに対する各補正値ｙ（ｑ｜ｐ）を平均化すると説明したが、平均の代わりに中央値または最頻値としてもよい。また、次のように重み係数ｖ（ｐ）を用いて、加重加算を行ってもよい。

重み係数ｖ（ｐ）は、例えば、注目画素ｐの類似画素群の画素数に比例させることができる。これは、類似画素群が大きいほど補正値の信頼度が高いと考え、その補正値を最終的な補正値への寄与を高くするものである。また、注目画素と処理対象画素の空間的距離に反比例させてもよい。これは、注目画素に近いほど、補正値の信頼度が高いと考えるものである。

また、ｖ（ｐ）を補正値ｙ（ｑ｜ｐ）の事後確率としてもよい。事後確率Ｐｒ（ｙ（ｑ｜ｐ）｜ｘ（ｑ））は、ノイズと信号の分布にガウス分布を仮定する場合、次式で算出される。

これにより、例えば、ノイズが少ないような類似画素群での補正値の寄与率が高くなるといった効果を得ることができる。

以下、ステップＳ１０５におけるノイズの分散τ^２（ｐ）を推定する方法について詳細に説明する。

一般に、ＣＣＤやＣＭＯＳ等によって撮像した画像に現れるショットノイズの大きさは、信号値に依存する。図５は、信号値に対してノイズの分散をプロットした一例である。このように、信号値とノイズの分散の相関は高いので、回帰によって信号値からノイズの分散を良好な精度で推定することができる。

ただし、真の信号値はノイズ低減画像からは分からないため、類似画素群の代表値μ（ｐ）で代替する。例えば、図６に示すような推定関数を設定し、μ（ｐ）からτ^２（ｐ）を推定する。

推定関数は、ルックアップテーブルで実装してもよいし、多項式などの関数を用意して計算してもよい。推定関数は、パッチ画像を撮影し、パッチ上の信号値のバラツキをノイズと見なすことで、最小二乗法等を利用して同定することができる。

なお、推定関数が撮影条件によって変わる場合は、撮影条件ごとに別の関数を用意する。例えば、ＩＳＯ（International Organization for Standardization）感度によってノイズの大きさは変わるため、設定されたＩＳＯ感度によって使用する推定関数を切り替えることが必要である。

（第２の実施形態）
本発明の第２の実施の形態に係る画像処理装置は、本発明の第１の実施の形態に係る画像処理装置１００に対して、例えば、ノイズ低減プログラム２０を変更することにより、１つの画素が輝度成分のみを持つグレースケール画像から、信号値に大きさが依存するノイズを低減する際に、フィルタ演算を行う箇所を間引くことで計算量を低減させる。

具体的には、図７に示すように、本発明の第２の実施の形態に係る画像処理装置２００は、本発明の第１の実施の形態に係る注目画素選択部１０２に代えて注目画素選択部２０２を設け、本発明の第１の実施の形態に係る画素選択済み判定部１０７に代えて画素選択済み判定部２０７を設ける。

このように構成された画像処理装置２００の動作について図８を参照して説明する。なお、以下に説明する画像処理装置２００の動作は、本発明の第１の実施の形態に係る画像処理装置１００の動作に対して、ステップＳ１０２に代えて、ステップＳ２０２が実行され、ステップＳ１０７に代えて、ステップＳ２０７が実行される。このため、本実施の形態においては、ステップＳ２０２およびＳ２０７について説明し、他のステップの説明は省略する。

ステップＳ２０２では、注目画素選択部２０２が、処理対象画像３１の複数の画素の中から注目画素を選択する。このとき、注目画素選択部２０２は、図９に一例を示すように、ラスタ走査のように全画素を順次選択するのではなく、いくつかの画素を間引いて選択する。なお、間引きの対象は注目画素のみであり、注目画素に対する類似画素群の選択は全画素を対象とする。

ステップＳ２０７では、画素選択済み判定部２０７が、間引きのパターンにより選択予定であったすべての画素を注目画素として選択したか否かを判定する。ここで、選択予定であったすべての画素を選択したと判定された場合には、画像処理装置２００の動作は、次のステップＳ１０８に移り、選択予定であったすべての画素を選択していないと判定された場合には、画像処理装置２００の動作は、ステップＳ２０２に戻る。

なお、間引きの方法や孤立点が多いような画像によっては、補正値が得られない画素が存在する場合がある。その場合には、画像処理装置２００は、処理対象画像の該当位置の画素値をスルーし出力する。

以上に説明したように、本実施の形態に係る画像処理装置２００は、注目画素を間引きすることにより、計算量の多い代表値算出演算を行う回数を減らすことができ、ノイズ低減に係る計算コストを低減することができる。

（第３の実施の形態）
本発明の第３の実施の形態に係る画像処理装置は、本発明の第１の実施の形態に係る画像処理装置１００に対して、例えば、ノイズ低減プログラム２０を変更することにより、１つの画素が輝度成分のみを持つグレースケール画像から、信号値に大きさが依存するノイズを低減する際に、注目画素を適応的に選択することで計算量を低減させる。

具体的には、図１０に示すように、本発明の第３の実施の形態に係る画像処理装置３００は、本発明の第１の実施の形態に係る注目画素選択部１０２に代えて注目画素選択部３０２を設け、本発明の第１の実施の形態に係る画素選択済み判定部１０７に代えて画素選択済み判定部３０７を設ける。

このように構成された画像処理装置３００の動作について図１１を参照して説明する。なお、以下に説明する画像処理装置３００の動作は、本発明の第１の実施の形態に係る画像処理装置１００の動作に対して、ステップＳ１０２に代えて、ステップＳ３０２、Ｓ３０２−１およびＳ３０２−２が実行され、ステップＳ１０７に代えて、ステップＳ３０７が実行される。このため、本実施の形態においては、ステップＳ３０２およびＳ３０７について説明し、他のステップの説明は省略する。

ステップＳ３０２では、注目画素選択部３０２が、処理対象画像３１の複数の画素の中から注目画素を選択する。まず、処理対象画像の画素の走査方法を注目画素選択部３０２に設定する。本実施の形態においては、ラスタ走査を用いることにする。注目画素選択部３０２は、設定された走査方法で処理対象画像の画素を走査した後に候補画素を選択する。

候補画素がそれまでの処理で他の画素の類似画素群に含まれた回数が特定回数以下である場合には、候補画素を注目画素として、画像処理装置３００の動作は、次のステップＳ１０３に移り、当該回数が特定回数以下でない場合には、次の画素を走査して候補画素とし、同様の判定を行う（ステップＳ３０２−１）。これを注目画素が選ばれるまで行い、画像の終端まで走査が達した場合には、画像処理装置３００の動作は、ステップＳ１０８に移る（ステップＳ３０２−２）。

ステップＳ３０７では、画素選択済み判定部３０７が、画像の終端まで走査したか否かを判定する。ここで、画像の終端まで走査したと判定された場合には、画像処理装置３００の動作は、次のステップＳ１０８に移り、画像の終端まで走査していないと判定された場合には、画像処理装置３００の動作は、ステップＳ３０２に戻る。

以上に説明したように、本実施の形態に係る画像処理装置３００は、各画素における補正値の算出回数が均一化される方に調整されるため、適切な計算量で精度の良いノイズ低減が可能となる。

なお、上述した画像処理装置３００の動作の説明において、走査方法をラスタ走査としたが、これに限るものではない。例えば、画像の画素数と互いに素となる数（１以外に共通の約数を持たない数）ごとに間隔を開けてラスタ走査をし、終端に来たら始点に戻るといった走査方法が効果的である。

図１２は、５×５の画像に対して３の間隔でラスタ走査を巡回する例を示している。このように間隔を開けて走査することで、各画素における補正値の算出回数の均一化効果を高めることができる。

（第４の実施形態）
本発明の第４の実施の形態に係る画像処理装置は、本発明の第１の実施の形態に係る画像処理装置１００に対して、例えば、ノイズ低減プログラム２０を変更することにより、１つの画素がＲＧＢの３成分を持つカラー画像から、信号値に大きさが依存するノイズを低減させる。

具体的には、図１３に示すように、本発明の第４の実施の形態に係る画像処理装置４００は、本発明の第１の実施の形態に係る類似画素群抽出部１０３に代えて類似画素群抽出部４０３を設け、本発明の第１の実施の形態に係る代表値算出部１０４に代えて代表値算出部４０４を設ける。

また、画像処理装置４００は、本発明の第１の実施の形態に係る加重加算部１０５に代えて加重加算部４０５を設け、本発明の第１の実施の形態に係る補正値統合部１０８に代えて補正値統合部４０８を設ける。

このように構成された画像処理装置３００の動作について図１４を参照して説明する。なお、以下に説明する画像処理装置３００の動作は、本発明の第１の実施の形態に係る画像処理装置１００の動作に対して、ステップＳ１０３に代えて、ステップＳ４０３が実行され、ステップＳ１０４に代えて、ステップＳ４０４が実行され、ステップＳ１０５に代えて、ステップＳ４０５が実行され、ステップＳ１０８に代えて、ステップＳ４０８が実行される。このため、本実施の形態においては、ステップＳ４０３、Ｓ４０４、Ｓ４０５およびＳ４０８について説明し、他のステップの説明は省略する。

ステップＳ４０３では、類似画素群抽出部４０３が、注目画素の近傍領域から類似画素を抽出する。類似画素群抽出部４０３は、注目画素を中心としたウィンドウを設定し、注目画素との乖離度が特定閾値以下のものを抽出する。この乖離度には、ＲＧＢ空間におけるユークリッド距離を使うことができる。

ステップＳ４０４では、代表値算出部４０４が、抽出された類似画素群の代表値（ＲＧＢの３次元ベクトル）を算出する。代表値は、例えば、類似画素群に属する画素の画素値の平均値とする。

ステップＳ４０５では、加重加算部４０５が、類似画素群の各画素の画素値と代表値との加重加算を行う。具体的には、加重加算部１０５は、位置ｐの注目画素の類似画素群Ｅ（ｐ）において、その代表値（ＲＧＢの３次元ベクトル）をμ（ｐ）、位置ｑの画素値（ＲＧＢの３次元ベクトル）をｘ（ｑ）として、３行３列の重み行列Ｗ（ｐ）を用いて、次式で補正値（ＲＧＢの３次元ベクトル）ｙ（ｑ｜ｐ）を算出する。

ここで、Ｉは、単位行列である。補正値ｙ（ｑ｜ｐ）は、重み行列Ｗ（ｐ）が０に近いほど代表値μに近付き、Ｉに近いほど元の画素値に近付く。重み係数Ｗ（ｐ）は、類似画素群Ｅ（ｐ）の画素値の分散共分散行列Σ_{ｉｍａｇｅ}（ｐ）とノイズの分散共分散行列Σ_{ｎｏｉｓｅ}（ｐ）を用いて次式で算出するものとする。

Σ_{ｉｍａｇｅ}（ｐ）は、類似画素群の画素値を用いて算出することで得られる。Σ_{ｎｏｉｓｅ}（ｐ）は、グレースケール画像に対するノイズ推定関数をＲＧＢ成分のそれぞれに用意することで、μ（ｐ）から推定する。

ステップＳ４０８では、補正値統合部４０８が、位置ｑの画素を類似画素群に含まれる注目画素ｐに対する各補正値ｙ（ｑ｜ｐ）を平均化することで、最終的な補正値（ＲＧＢの３次元ベクトル）ｚ（ｑ）を求める。この処理は次式のように表せる。

ここで、Ｅ^−１（ｑ）は位置ｑの画素を類似画素群に含む注目画素の位置の集合、Ｎはその集合の要素数である。このように、補正値統合部４０８は、補正値ｚ（ｑ）をすべての画素位置に対して求めて、この補正値を画素値として構成したノイズ低減画像３２を出力する。

以上に説明したように、本実施の形態に係る画像処理装置４００は、補正値統合部４０８が異なる注目画素の類似画素群から得られた補正値を平均化することで、類似画素群の抽出のバラツキに対してロバストとなり、ノイズ低減の精度を向上させることができる。

なお、本実施の形態においては、ＲＧＢ成分を持つカラー画像に対して説明したが、ＹＣＣやＬ＊ａ＊ｂ＊など任意の色空間で表現されたカラー画像に対して、同様に適用することができる。また、ｎバンドの分光画像に対しても、本実施の形態における信号値をｎ次元ベクトルとみなすことで、適用可能である。

また、ステップＳ４０３において、画素間の乖離度として、ＲＧＢ空間のユークリッド距離だけではなく、種々のバリエーションを取ることができる。例えば、図１５に示すように、ウィンドウ内の画素をＬ＊ａ＊ｂ＊空間にマッピングし、その空間でのユークリッド距離を使っても良い。ユークリッド距離に限らずＬｐノルムを使用してもよい。また、画素値分布間距離を用いて類似画素判定を行うこともできる（例えば、特許文献７参照）。

また、ステップＳ４０５において、例えば、本実施の形態においては、ＲＧＢの３次元空間での加重加算を説明したが、図１６に示すように、代表値と処理対象画素値との差分を一次元の特定方向ｅに射影してから加重加算を行うこともできる。例えば、類似画素群の代表値のＲＧＢ比率一定の方向や輝度の方向、最大分散の方向を考えることができる。ｗ（ｐ）は、重み係数（スカラー）であり、例えば、ｅ方向への画像とノイズの分散比として、次のように設定できる。

このように、１次元に射影することで、計算量を低減し、かつ、特定方向ｅ上に射影を行うことでｅに直交する方向のノイズを強制的に０にすることができる。なお、これらの処理は、特許文献８に開示されたノイズ低減処理と同等であり、特許文献８に開示された方法は、すべて適用することができる。

また、ステップＳ４０８において、加重加算によるバリエーションが考えられる。なお、ノイズと画素値の分布にガウス性を仮定した場合の事後確率は、グレースケール画像と異なり以下のようになる。

以上に説明したように、本発明の実施の形態にかかる画像処理装置は、類似画素群における各画素で補正値を算出し、異なる注目画素における類似画素群で得られた、同位置の複数の補正値を統合することでノイズ低減を行っている。これにより、本発明の実施の形態にかかる画像処理装置は、複数の補正値を組み合わせるためロバスト性が増し、ノイズ精度を高めることができる。

また、本発明の実施の形態にかかる画像処理装置は、注目画素選択部が、画像中の画素を間引いて注目画素を選択することより、フィルタ演算の回数が低減され、計算コストが下がる。

また、本発明の実施の形態にかかる画像処理装置は、注目画素選択部が、類似画素群に抽出された回数が特定回数以下の画素を選択することにより、フィルタ演算の回数を低減し計算コストを下げるとともに、各画素における補正値の算出回数が均一化される方に調整されるため、適切な計算量で精度の良いノイズ低減が可能となる。

また、本発明の実施の形態にかかる画像処理装置は、類似画素群におけるノイズ量と信号量に応じた重み係数を用いて、代表値と画素値の加重加算を行うことにより、類似画素群におけるノイズ量と信号量に応じた強度でノイズ低減を行うことができ、微細な信号の保存性を高めることができる。

また、本発明の実施の形態にかかる画像処理装置は、代表値と画素値の差分を色空間における特定方向に射影し、その特定方向の直線上でノイズ量と信号量に応じた重み係数を用いて、代表値と画素値の加重加算を行うようになっている。

これにより、本発明の実施の形態にかかる画像処理装置は、特定方向に直交する方向のノイズ成分を強制的に０にすることができ、特定方向に対してはノイズ量と信号量に応じた強度でノイズ低減を行うことができる。

また、本発明の実施の形態にかかる画像処理装置は、前述した特定方向を代表値ベクトルの要素とＲＧＢ比率が一定の方向とすることより、類似画素群の代表値の色相に合わせたノイズ低減を行うことができる。

また、本発明の実施の形態にかかる画像処理装置は、前述した特定方向を輝度方向とすることにより、色ノイズを大きく低減し、輝度ノイズをノイズ量と信号量に応じた強度で低減することができる。

また、本発明の実施の形態にかかる画像処理装置は、前述した特定方向を類似画素群の画素値の最大分散方向とすることにより、信号成分を極力つぶさずにノイズを低減することができる。

また、本発明の実施の形態にかかる画像処理装置は、補正値統合部が、同位置の画素の補正値の平均、中央値および最頻値のいずれかを算出することにより、類似画素群のバラツキに対してロバス性が増し、ノイズ低減精度を高めることができる。

また、本発明の実施の形態にかかる画像処理装置は、補正値統合部が、注目画素から類似画素への空間距離、類似画素群の画素数、および、補正値の事後確率のいずれかまたは組み合わせに応じた重み係数を用いて、同位置の画素の補正値の加重平均を取ることにより、類似画素群における対象画素の性質を利用することができ、ノイズ低減精度を高めることができる。

本発明に係る画像処理装置は、デジタルカメラ、スキャナ、カメラ付き携帯電話など、デジタル画像を撮影する機器に好適に適用できる。また、本発明に係る画像処理装置は、コンピュータが記憶媒体から読み出したり、ネットワークを介して取得したりしたデジタル画像に対して適用することもできる。

１１ 撮像部
１２ レンズ
１３ 絞り
１４ 電子シャッター
１５ 光電変換素子
１６ 前処理部
１７ 主制御部
１８ 信号処理部
１９ フレームメモリ
２０ ノイズ低減プログラム
２１ Ｉ／Ｆ
２２ 表示部
２３ 外部メモリ
２４ メモリカード装着部
２５ 記憶媒体
３１ 処理対象画像
３２ ノイズ低減画像
１００、２００、３００、４００ 画像処理装置
１０１ 画像取得部
１０２、２０２、３０２ 注目画素選択部
１０３、４０３ 類似画素群抽出部
１０４、４０４ 代表値算出部
１０５、４０５ 加重加算部
１０６ 補正値保持部
１０７、２０７、３０７ 画素選択済み判定部
１０８、４０８ 補正値統合部

特開２００７−２８８４３９号公報 特開２００８−２０５７３７号公報 特開２０１０−１７８３０２号公報 特開２０１０−０８７７６９号公報 特開２００２−２５９９６５号公報 特開２０１０−２１８１１０号公報 特開２０１１−０３９６７５号公報 特開２０１０−２１８１１０号公報

原島博, 小田島薫, 鹿喰善明, 宮川洋, "ε-分離非線形ディジタルフィルタとその応用," 電子情報通信学会論文誌 A , Vol.J65-A, No.4, pp.297-304, 1982. CC. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proc. Sixth Int'l Conf. Computer Vision, pp. 839-846, 1998. Ce Liu, et al., "Automatic Estimation and Removal of Noise from a Single Image," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 30, no. 2, pp. 299-314, 2008.

Claims (11)

1. 画像のノイズを低減する画像処理装置であって、
   前記画像中から注目画素を選択する注目画素選択部と、
   前記注目画素との類似度が閾値以上である類似画素よりなる類似画素群を前記注目画素の近傍から抽出する類似画素群抽出部と、
   前記類似画素群の画素値の代表値を算出する代表値算出部と、
   前記類似画素群に属する任意の画素の画素値と前記代表値との加重加算により補正値を得る加重加算部と、
   異なる注目画素に対して得られた同位置の画素の補正値を統合する補正値統合部と、
   を備え、
   前記補正値統合部によって統合された各補正値を各画素の画素値とすることを特徴とする画像処理装置。
2. 前記注目画素選択部が、前記画像中の画素を間引いて前記注目画素を選択することを特徴とする請求項１記載の画像処理装置。
3. 前記注目画素選択部が、前記類似画素群に抽出された回数が特定回数以下の画素を前記注目画素として選択することを特徴とする請求項１記載の画像処理装置。
4. 前記代表値算出部が、前記類似画素群に属する画素の画素値の平均値、中央値および最頻値のいずれかを代表値として算出することを特徴とする請求項１記載の画像処理装置。
5. 前記加重加算部が、前記類似画素群におけるノイズ量と信号量に応じた重み係数を用いて、前記画素値と前記代表値との加重加算を行うことを特徴とする請求項１記載の画像処理装置。
6. 前記加重加算部が、前記代表値と前記画素値との差分を色空間における特定方向に射影し、前記特定方向の直線上でノイズ量と信号量に応じた重み係数を用いて、前記画素値と前記代表値との加重加算を行うことを特徴とする請求項１記載の画像処理装置。
7. 前記特定方向は、前記代表値とＲＧＢ比率が一定の方向であることを特徴とする請求項６記載の画像処理装置。
8. 前記類似画素群の画素の画素値の最大分散方向を求める最大分散方向算出部を有し、
   前記特定方向を該最大分散方向とすることを特徴とする請求項６記載の画像処理装置。
9. 前記補正値統合部が、同位置の画素の補正値の平均値、中央値および最頻値のいずれかを算出することを特徴とする請求項１記載の画像処理装置。
10. 前記補正値統合部が、前記注目画素から前記類似画素までの空間距離、前記類似画素群の画素数、および、前記補正値の事後確率のいずれかまたは組み合わせに応じた重み係数を用いて、同位置の画素の補正値の加重平均を取ることを特徴とする請求項１記載の画像処理装置。
11. 画像処理装置を用いて画像のノイズを低減する画像処理方法であって、
    前記画像中から注目画素を選択する注目画素選択ステップと、
    前記注目画素との類似度が閾値以上である類似画素よりなる類似画素群を前記注目画素の近傍から抽出する類似画素群抽出ステップと、
    前記類似画素群の画素値の代表値を算出する代表値算出ステップと、
    前記類似画素群に属する任意の画素の画素値と前記代表値との加重加算により補正値を得る加重加算ステップと、
    異なる注目画素に対して得られた同位置の画素の補正値を統合する補正値統合ステップと、
    を有し、
    前記補正値統合ステップで統合された各補正値を各画素の画素値とすることを特徴とする画像処理方法。