JP6253331B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像データに含まれるノイズを低減する画像処理装置及び画像処理方法に関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。

デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像を得るためには混入したノイズを低減する必要がある。

従来、ノイズ周波数以下の信号成分を通すローパスフィルタを適用してノイズを低減する手法が知られている。しかしながら、ノイズ以外にエッジもぼけてしまうため高画質な画像を得ることが難しい。そこで、ノイズとエッジに関する情報を何らかの方法で判断し、適応的にノイズ低減を行う方法が数多く提案されている。

一般に、適応的なノイズ低減では、着目画素のノイズを低減するために、着目画素近傍の複数の画素を参照画素として選択して、それらの参照画素の適当な加重平均値により着目画素を置き換えることでノイズ低減を行う。

適応的なノイズ低減方法の一つとして、着目画素を含む領域（着目領域）を定め、その領域単位で着目画素と参照画素との類似度を求め、この類似度に応じた加重平均値を用いてノイズ低減を実現する方法が提案されている（特許文献１、特許文献２参照）。

特表２００７−５３６６６２号公報 特開２０１１−３９６７５号公報

しかしながら、特許文献１及び特許文献２の方法では、建物などのエッジを多く含む領域と、空などの平坦な領域とが混在する画像の場合、領域によってノイズ低減効果が異なるという問題がある。これは、着目領域の決め方によって、各参照画素の類似度が変化するためである。例えば、エッジを含む領域のノイズ低減効果が高くなるように着目領域を狭く決めると平坦領域のノイズ低減効果が低下する。一方、平坦領域のノイズ低減効果が高くなるように着目領域を広く決めるとエッジを含む領域のノイズ低減効果が低下してしまう。

そこで本発明では、エッジを含む領域と平坦な領域が混在する画像データが入力された場合であっても、いずれの領域についてもノイズを低減した画像データを生成することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、画像データに対して画像処理を行う画像処理装置であって、前記画像データを構成する着目画素を含む第一の着目画素群と参照画素を含む第一の参照画素群との第一の類似度に基づいて前記着目画素の画素値を補正する第一の補正手段と、前記着目画素を含む第二の着目画素群と前記参照画素を含む第二の参照画素群との第二の類似度に基づいて前記着目画素の画素値を補正する第二の補正手段と、前記第一の類似度と前記第二の類似度のうち少なくとも一つに基づいて、前記第一の補正手段の結果及び前記第二の補正手段の結果から補正画像を示す補正画像データを出力する出力手段と、を有することを特徴とする。

本発明により、建物などのエッジを含む領域と空などの平坦な領域が混在する画像データが入力された場合であっても、いずれの領域についてもノイズを低減することが可能になる。従って、画像データに記録されている被写体によらずにノイズを低減した高画質な画像データを生成することが可能になる。

本発明の実施例における画像処理装置のハードウェア構成の一例を示すブロック図である。 本発明の実施例１における画像処理装置の論理構成の一例を示すブロック図である。 本発明の実施例１における画像処理の流れの一例を示すフローチャート図である。 本発明の実施例におけるノイズ低減処理のパラメータの例を説明する模式図である。 本発明の実施例１におけるノイズ低減処理の流れの一例を示すフローチャート図である。 本発明の実施例１における合成処理の流れの一例を示すフローチャート図である。 本発明の実施例１における出力画素値決定処理の流れの一例を示すフローチャート図である。 本発明の実施例２における画像処理装置の論理構成の一例を示すブロック図である。 本発明の実施例２における画像処理の流れの一例を示すフローチャート図である。 本発明の実施例３における画像処理装置の論理構成の一例を示すブロック図である。 本発明の実施例３における画像処理の流れの一例を示すフローチャート図である。 本発明の実施例におけるノイズ低減方法を説明する模式図である。 本発明の実施例における参照画素の重みを算出する関数を説明する模式図である。 本発明の実施例４における画像処理装置の論理構成の一例を示すブロック図である。 本発明の実施例４における画像処理の流れの一例を示すフローチャート図である。 本発明の実施例４における縮小処理の流れの一例を示すフローチャート図である。 本発明の実施例４におけるノイズ低減処理の流れの一例を示すフローチャート図である。 本発明の実施例４における拡大処理の流れの一例を示すフローチャート図である。 本発明の実施例４における合成処理の流れの一例を示すフローチャート図である。 本発明の実施例４における出力画素値決定処理の流れの一例を示すフローチャート図である。 本発明の実施例４における画像処理の構成を示す模式図である。 本発明の実施例４におけるローパスフィルタ処理に用いるフィルタの一例を示す模式図である。 本発明の実施例５における画像処理装置の論理構成の一例を示すブロック図である。 本発明の実施例５における画像処理の流れの一例を示すフローチャート図である。 本発明の実施例５における拡大合成処理の流れの一例を示すフローチャート図である。 本発明の実施例５における画像処理の構成を示す模式図である。 本発明の実施例６における画像処理装置の論理構成の一例を示すブロック図である。 本発明の実施例６における画像処理の流れの一例を示すフローチャート図である。 本発明の実施例６における画像処理の構成を示す模式図である。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

本実施例における画像処理装置のハードウェア構成の一例について、図１を参照して説明する。

図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。汎用Ｉ／Ｆ１０４は、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算される。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。

（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、本実施例で説明するノイズ低減処理について説明しておく。本実施例では、ＮｏｎＬｏｃａｌＭｅａｎｓ手法を用いる。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する。参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、加重平均したノイズ低減処理後の着目画素の画素値Ｉ_newは次式になる。

次に、参照画素の重みの決定方法について、図１２及び図１３を参照して説明する。

図１２（ａ）において、１２０１は画像データの例を示しており、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、１２０２は着目画素であり、その画素値はＩ（４、４）である。１２０３は着目領域であり、ノイズ低減対象となる着目画素１２０２を中心とした３×３画素の矩形領域である。この３×３画素の矩形領域は、着目画素を含む着目画素群とも言える。１２０４は参照画素であり、着目画素１２０２を含む５×５画素（Ｎ_Ｓ＝２５）の矩形領域内の画素である。１２０５は、参照画素Ｉ（２，２）の参照領域であり、参照画素Ｉ（２，２）を中心とし、着目領域と同サイズの３×３画素の矩形領域である。この参照領域は、参照画素を含む参照画素群とも言える。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。

参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域１２０３と当該参照画素Ｉ（２、２）の参照領域１２０５とを比較して類似度を決定する。尚、類似度は所望の方法で求めてよい。例えば、図１（ｂ）のように、着目領域１２０３の画素をｂ_ｓ（ｐ，ｑ）、参照領域の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。そして、着目領域１２０３と参照領域１２０５との空間的に対応する画素の差を類似度とすると、類似度Ｃ_jは次式になる。

類似度Ｃ_ｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。重みは図１３に示す関数のように類似度Ｃ_ｊが小さいほど重みが大きく、類似度Ｃ_ｊが大きいほど重みが小さくなるように決定すればよく、例えば次式で定まる。

ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。

以下同様に、着目領域１２０３と各参照画素の参照領域とを順次比較していくことで、参照画素毎の重みが得られる。

尚、本実施例におけるノイズ低減処理は、参照画素の重みが着目領域と参照領域の類似度とに基づいて決まる処理であればよく、類似度や重みの決定方法などはここで説明した方法に限られるものではない。

（画像処理装置の論理構成）
以下では、本実施例における画像処理について図２と図３を参照して説明する。

図２は本実施例の画像処理装置の論理構成の一例を示す模式図である。図２において、画像処理装置は、画像データ入力部２０１と、パラメータ入力部２０２と、補正処理部２０３と、合成処理部２０４と、画像データ出力部２０５とを有する。

画像データ入力部２０１は画像データを画像処理装置に入力する。画像データはＣＰＵ１０１からの指示に基づき、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像をＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。

パラメータ入力部２０２は、画像処理に用いる複数のノイズ低減処理パラメータと合成処理パラメータとを画像処理パラメータとして画像処理装置に入力する。パラメータはＣＰＵ１０１からの指示に基づき、ＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインターフェイス（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６で直接指定して入力してもかまわない。尚、パラメータの詳細については後述する。

補正処理部２０３は、ＣＰＵ１０１からの指示に基づいて、画像データ入力部２０１で入力された画像データと、パラメータ入力部２０２で入力された複数のノイズ低減処理パラメータとを取得する。そして、ノイズ低減処理パラメータ毎に複数の補正画像データと補正画像データに対応する複数の補正パラメータとを生成する。生成した複数の補正画像データと複数の補正パラメータとはＲＡＭ１０２に記憶される。尚、補正画像データや補正パラメータに関する詳細は後述する。

合成処理部２０４は、ＣＰＵ１０１からの指示に基づいて、補正処理部２０３で生成され、ＲＡＭ１０２に記憶された複数の補正画像データと複数の補正パラメータとパラメータ入力部２０２で入力された合成処理パラメータとを取得する。合成処理部２０４は、取得したデータに基づいて合成画像データを生成する。生成した合成画像データはＲＡＭ１０２に記憶される。

画像データ出力部２０５は、合成処理部２０４で生成した合成画像データをモニタ１０８やＨＤＤ１０３などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や、不図示の外部サーバなどに出力してもよし、プリンタなどを接続して出力しても構わない。

（メイン処理フロー）
以下では、図２で説明した画像処理装置の論理構成における各処理の詳細について、図３のフローチャートを参照して説明する。

ステップＳ３０１において、画像データ入力部２０１は画像データを入力する。

ステップＳ３０２において、パラメータ入力部２０２は画像処理パラメータを入力する。入力するパラメータは着目領域の異なる複数のノイズ低減処理パラメータと、合成処理パラメータである。まず、ノイズ低減処理パラメータについて説明する。式（１）から式（３）で説明したように、ノイズ低減後の画素値を求めるためには、複数の参照画素と、各参照画素の重みを算出するための着目領域とが必要になる。着目領域が決まれば、各参照画素に対応する参照領域も決まることになる。本実施例においては、ノイズ低減処理パラメータは、複数の参照画素と、着目領域とを示すパラメータである。なお、着目領域は、ある着目画素が指定された場合に、ある領域内でどの画素が参照領域との比較で用いられるかを示すパラメータである。したがって、着目領域を示すパラメータとは、着目領域として用いる画素配置、または着目領域として用いる画素を示すパラメータということもできる。

参照画素は着目画素近傍の画素としてもよいし、画像全体の画素としても構わない。以下では、参照画素は着目画素を中心とする５×５画素として説明する。尚、一般に参照画素を増やすとノイズ低減効果が向上するが、処理時間も増加するため、所望の実施形態に応じて参照画素をノイズ低減処理パラメータとして入力すればよい。一方、着目領域については、領域内の画素数或いは画素配置が異なるように複数の着目領域が入力される。すなわち、本実施例では、複数のノイズ低減処理パラメータが入力され、各ノイズ低減処理パラメータは、それぞれが異なる複数の着目領域と、複数の参照画素とを示すものである。

ここで、図４を参照して、着目領域の例を説明する。図４は、ノイズ低減処理パラメータとして指定される着目領域と複数の参照画素とのセットが複数ある例を模式的に示している。図４は、着目画素群の各画素の位置関係が異なるパラメータを示している。図４において、黒画素が着目画素を示している。図４の各着目領域の項において、黒画素及び斜線で示す画素が着目領域を示しており、各参照画素の項において黒画素及び斜線で示す画素が参照画素を示している。このように、図４（ａ）から図４（ｆ）に示すセットがノイズ低減処理パラメータの例である。図４（ａ）は３×３画素の着目領域ａ１、図４（ｂ）は５×５画素の着目領域ｂ１を示しており、図４（ａ）の着目領域ａ１と図４（ｂ）の着目領域ｂ１とでは画素数が異なる。また、図４（ｃ）は着目画素から１画素間隔の３×３画素の着目領域ｃ１を示している。図４（d）は着目画素から縦横に５画素ずつの着目領域ｄ１を示している。図４（ａ）の着目領域ａ１と、図４（ｃ）の着目領域ｃ１と、図４（ｄ）の着目領域ｄ１とでは、画素数は同じであるが、着目領域の画素配置が異なる。このように、領域内の画素数または画素配置が異なる複数の着目領域をノイズ低減処理パラメータとして入力すればよい。このように複数の着目領域を示す複数のノイズ低減処理パラメータを入力することによって、例えばエッジを含む領域と平坦な領域とに対して、異なる着目領域に応じた異なるノイズ低減処理を実施することができる。

尚、着目領域の画素配置はこれに限られるものではなく所望の配置を取って構わない。例えば、図４（ｅ）は着目画素からのマンハッタン距離が２以下の着目領域ｅ１を示している。図４（f）は着目画素からのユークリッド距離が√５以下の着目領域f２を示している。このように着目画素からの距離が異なる複数の着目領域を複数のノイズ低減処理パラメータとして入力しても構わない。尚、図４では着目領域及び参照画素の範囲を便宜的に正方形で示しているが、これに限られるものではなく長方形やその他の形状であっても構わない。

次に、合成処理パラメータについて説明する。合成処理パラメータは、合成方法の指示、補正処理部２０３で生成される補正パラメータに対応する閾値、または複数の補正画像データをブレンドする場合のブレンド比などである。補正パラメータとは、ノイズ低減効果の度合いを示すパラメータである。詳細は後述する。

以下、本実施例では３つの異なる着目領域を示す３つのノイズ低減処理パラメータと、補正パラメータに対応した２つの閾値Ｅ_ｔｈ１、Ｅ_ｔｈ２を示す合成処理パラメータとを入力するものとして説明する。

ステップＳ３０３において、補正処理部２０３は、ステップＳ３０２で入力された複数のノイズ低減処理パラメータを参照して、ステップＳ３０１で入力された画像データから複数の補正画像データと複数の補正パラメータとを生成する。補正画像データ及び補正パラメータの生成方法の詳細については後述する。

ステップＳ３０４において、合成処理部２０４は、ステップＳ３０２で入力された合成処理パラメータと、ステップＳ３０３で生成された複数の補正パラメータとに基づいて、ステップＳ３０３で生成された複数の補正画像データを合成する。そして、合成画像データを生成する。合成画像データの生成方法の詳細については後述する。

ステップＳ３０５において、画像データ出力部２０５は、ステップＳ３０４で生成された合成画像データを出力する。

（補正処理）
以下では、図３で説明したステップＳ３０３の補正処理の詳細について、図５のフローチャートを参照して説明する。

ステップＳ５０１において、補正処理部２０３は、ステップＳ３０１で入力された画像データを取得する。

ステップＳ５０２において、補正処理部２０３は、ステップＳ３０２で入力された複数のノイズ低減処理パラメータを取得する。

ステップＳ５０３において、補正処理部２０３は、ステップＳ５０２で取得した複数のノイズ低減処理パラメータから一つのノイズ低減処理パラメータを選択する。例えば、上述したように、複数の参照画素と、着目領域とを示すパラメータを含むノイズ低減処理パラメータを選択する。

ステップＳ５０４において、補正処理部２０３は、ステップＳ５０３で選択したノイズ低減処理パラメータを用いてステップＳ５０１で取得した画像データを補正し、補正画像データを生成する。具体的には、式（１）から式（３）を各画素に順次適用すればよい。

ステップＳ５０５において、補正処理部２０３は、画素毎の補正パラメータを生成する。画素毎の補正パラメータＥ_iは式（３）で算出する重みｗ_ｊの総和と二乗和の比を用いて次式で得られる。

補正パラメータＥ_iは値が小さいほどノイズ低減効果が高く、値が大きいほどノイズ低減効果が小さいことを示している。例えば、ノイズが低減できない、即ち着目画素以外の参照画素の重みが０の場合、Ｅ_i＝１となり、着目画素以外の参照画素の重みが増えるとＥ_i＜１になる。一方、ノイズがない場合、即ち参照画素の重みが全て等しい場合、Ｅ_i＝１/Ｎｓになる。このパラメータＥ_iは、値が大きいほど、対象画素がエッジである可能性が高いことを示すともいえる。例えば、エッジ部のように、重みが０の参照画素が含まれるような領域では補正パラメータＥ_iは大きい値になり、平坦部のように同程度の重みの画素が多く含まれる領域では補正パラメータＥ_iは小さい値になる。尚、補正パラメータはノイズ低減の効果を表すことができればよく、これに限られるものではない。例えば、補正前後の画素値の差や、重みが０でない参照画素の数なども補正パラメータとして利用可能である。

ステップＳ５０６において、補正処理部２０３は、ステップＳ５０２で取得した全てのノイズ低減処理パラメータでの補正処理が終了したかどうか判定する。補正処理部２０３は、終了したと判定した場合、ステップＳ５０７に移行し、終了していないと判定した場合、ステップＳ５０３に移行して未処理のパラメータを選択し、処理を継続する。

ステップＳ５０７において、補正処理部２０３は、ステップＳ５０４とステップＳ５０５で生成した複数の補正画像データと複数の補正パラメータとを出力する。

（合成処理）
以下では、図３で説明したステップＳ３０４の合成処理の詳細について、図６及び図７のフローチャートを参照して説明する。

ステップＳ６０１において、合成処理部２０４は、ステップＳ３０３で生成された複数の補正画像データと複数の補正パラメータとを取得する。

ステップＳ６０２において、合成処理部２０４は、ステップＳ３０２で入力された合成処理パラメータを取得する。

ステップＳ６０３において、合成処理部２０４は、ステップＳ６０１で取得した任意の補正画像データの中の未処理の画素を選択する。あるいは、合成処理部２０４は、ステップＳ３０１で入力された画像データの中の未処理の画像を選択してもよい。

ステップＳ６０４において、合成処理部２０４は、ステップＳ６０１で取得した複数の補正画像データ及び複数の補正パラメータと、ステップＳ６０２で取得した合成処理パラメータと、に基づいて、ステップＳ６０３で選択された画素の出力画素値を決定する。

ここで、図７のフローチャート図を参照して３つの補正画像データを合成する方法について説明する。ステップＳ６０３で選択された画素の３つの補正画像データの画素値をそれぞれ、Ｉ１，Ｉ２，Ｉ３、各画素に対応する補正パラメータをＥ１，Ｅ２、Ｅ３とする。また、ステップＳ６０２で合成処理パラメータとして取得した閾値をＥ_ｔｈ１、Ｅ_ｔｈ２とする。先に説明したように、補正パラメータは値が小さいほどノイズ低減効果が高く、値が大きいほどノイズ低減効果が小さいことを示している。

ステップＳ７０１では、合成処理部２０４は、補正パラメータＥ１と閾値Ｅ_ｔｈ１とを比較する。補正パラメータＥ１が閾値Ｅ_ｔｈ１より小さい、即ち閾値で指示した値よりノイズ低減効果が高い場合はステップＳ７０２に移行して画素値Ｉ１を出力する。補正パラメータＥ１が閾値Ｅ_ｔｈ１より大きい、即ち閾値で指示した値よりノイズ低減効果が低い場合は、合成処理部２０４は、ステップＳ７０３に移行する。合成処理部２０４は、ステップＳ７０３でも同様に補正パラメータＥ２と閾値Ｅ_ｔｈ２とを比較して、補正パラメータＥ２が閾値Ｅ_ｔｈ２より小さい場合はステップＳ７０４に移行して画素値Ｉ２を出力する。一方、補正パラメータＥ２が閾値Ｅ_ｔｈ２より大きい場合は、合成処理部２０４は、ステップＳ７０５に移行して画素値Ｉ３を出力する。ところで、この合成方法の場合、必ずしも所望のステップＳ６０２で取得した閾値よりもノイズ低減効果の高い画素が選ばれるわけではない。例えば、補正パラメータＥ２の方が補正パラメータＥ１よりも小さい値の場合、ステップＳ７０１で補正パラメータＥ１が閾値Ｅ_ｔｈ１より小さいと判定されてしまうと、よりノイズ低減効果の高い補正パラメータＥ２に対応する画素Ｉ２が出力されない。そこで、着目領域内の画素数が多い、或いは着目領域の範囲が大きいパラメータで生成した補正画像が優先的に出力されるように合成処理を行うことができる。例えば、図４（ａ）、図４（ｂ）、図４（ｃ）の３つのパラメータを用いた場合、Ｉ１は図４（ｂ）、Ｉ２は図４（ｃ）、Ｉ３は図４（ａ）で処理した結果をそれぞれ対応させることができる。

尚、出力画素値の決定は合成処理パラメータに含まれる合成の指示に応じて所望の方法を用いてよい。例えば、合成処理部２０４は、ステップＳ６０２で選択した全ての補正パラメータＥ１，Ｅ２，Ｅ３を比較し、補正パラメータが最も小さい、即ちノイズ低減効果の高い補正画像データの画素値を出力画素値としても良い。また、合成処理部２０４は、出力画素値を選択するのではなく、補正パラメータの大きさに応じたブレンド比（合成比率）で各補正画像データの画素値を重み付けした和を出力画素値とすることも可能である。勿論、これらの出力画素値を得るために必要なパラメータはステップＳ６０２において、合成処理パラメータとして取得すればよい。さらに、本実施例では３つの補正画像データを合成する例を説明したが、合成する補正画像データは２つ以上であればよい。

ステップＳ６０５において、合成処理部２０４は、全画素の出力画素値が決定したかどうかを判定する。全画素終了していればステップＳ６０６に移行し、終了していなければステップＳ６０３に移行して処理を継続する。

ステップＳ６０６において、合成処理部２０４は、生成した合成画像データを出力する。

以上の処理により、建物などのエッジを含むエッジ領域と空などの平坦領域とが混在する画像であっても、いずれの領域についてもノイズを低減することが可能になる。従って、共通の着目領域を適用したノイズ低減処理の結果に比べて画像データに記録されている被写体によらずにノイズを低減した高画質な画像データを生成することが可能になる。

実施例１では、複数のノイズ低減処理パラメータに基づいて複数の補正画像データと補正パラメータとを生成し、複数の補正画像データを合成して出力画像データを生成する方法について説明した。この方法では、多くデータを参照して合成方法を柔軟に選択することが可能である一方、複数の補正画像データや複数の補正パラメータを保持する必要があり、多くのメモリが必要となる。そこで、本実施例では画素毎に処理を行うことでメモリの使用量を減らして画像を生成する方法について説明する。なお、実施例２の画像処理装置のハードウェア構成についは、実施例１で説明したものと同様とすることができるので、説明を省略する。

図８は本実施例の画像処理装置の論理構成の一例を示す模式図である。本実施例の画像処理装置は、画像データ入力部８０１と、パラメータ入力部８０２と、補正処理部８０３と、判定部８０４と、画像データ出力部８０５とを有する。

画像データ入力部８０１は、画像データ入力部２０１と同様である。

パラメータ入力部８０２は、画像処理に用いる複数のノイズ低減処理パラメータと判定処理パラメータとを画像処理装置に入力する。パラメータはＣＰＵ１０１からの指示に基づき、ＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインターフェイス（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６で直接指定して入力してもかまわない。尚、パラメータの詳細については後述する。

補正処理部８０３は、ＣＰＵ１０１からの指示に基づいて、画像データ入力部８０１で入力された画像データと、パラメータ入力部８０２で入力されたパラメータとを取得し、画素毎の補正値と補正パラメータとを生成する。生成した補正値と補正パラメータとはＲＡＭ１０２に記憶される。

判定部８０４は、ＣＰＵ１０１からの指示に基づいて、補正処理部２０３で生成された画素の補正値と補正パラメータと、パラメータ入力部８０２で入力された判定処理パラメータとを取得する。そして、補正値を出力するかどうかを補正パラメータと判定処理パラメータとに基づいて判定する。

画像データ出力部８０５は、補正処理部２０３で生成した補正値と判定部８０４での判定結果とに基づいて生成した画像データをモニタ１０８やＨＤＤ１０３などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７に出力してもよい。

以下では、図８で説明した画像処理装置の論理構成における各処理の詳細について、図９のフローチャートを参照して説明する。

ステップＳ９０１において、画像データ入力部８０１は、画像データを入力する。

ステップＳ９０２において、パラメータ入力部８０２は、画像処理パラメータを入力する。入力するパラメータは着目領域の異なる複数のノイズ低減処理パラメータと判定処理パラメータとである。以下、本実施例では着目領域の異なる３つのノイズ低減処理パラメータを入力し、補正パラメータに対応した２つの閾値Ｅ_ｔｈ１、Ｅ_ｔｈ２を判定処理パラメータとして入力するものとして説明する。

ステップＳ９０３において、補正処理部８０３は、ステップＳ９０１で入力された画像データから未処理の画素を選択する。

ステップＳ９０４において、補正処理部８０３は、ステップＳ９０２で入力された複数のノイズ低減処理パラメータから一つのノイズ低減処理パラメータを選択する。尚、実施例１で説明したように、着目領域内の画素数が多い、或いは着目領域の範囲が大きいパラメータを優先的に選択するのが好適である。

ステップＳ９０５において、補正処理部８０３は、ステップＳ９０１で選択した画素の補正値を決定する。補正値の決定方法はステップＳ５０４と同様であり、ステップＳ９０４で選択したノイズ低減処理パラメータに基づいて式（１）から式（３）を適用すればよい。

ステップＳ９０６において、補正処理部８０３は、ステップＳ９０５の処理結果に基づき、ステップＳ９０１で選択した画素の補正パラメータを生成する。補正パラメータの生成方法はステップＳ５０５と同様であり、式（４）を用いて補正パラメータＥを生成すればよい。

ステップＳ９０７において、判定部８０４は、ステップＳ９０２で入力された全てのノイズ低減処理パラメータの適用が終了したかどうかを判定する。本実施例では、ステップＳ９０３で選択した画素に対して、ステップＳ９０２で入力された３つのノイズ低減処理パラメータの適用が終了したかどうかを判定する。判定部８０４は、終了したと判定した場合、ステップＳ９０９に移行し、終了していないと判定した場合、ステップＳ９０８に移行する。

ステップＳ９０８において、判定部８０４は、ステップＳ９０６で生成された補正パラメータが、ステップＳ９０２で入力された判定処理パラメータによって決定される条件を満たすかどうか判定する。例えば、ステップＳ９０５で生成した補正パラメータをＥ１，ステップＳ９０２で入力された対応する閾値（判定処理パラメータ）をＥ_ｔｈ１とすると、Ｅ１＜Ｅ_ｔｈ１を満たすかどうか判定する。判定部８０４は、条件を満たすと判定した場合、ステップＳ９０９に移行し、条件を満たさないと判定した場合、ステップＳ９０４に移行して、補正処理部８０３に異なるパラメータを再選択させる。

ステップＳ９０９において、補正処理部８０３は、ステップＳ９０５で決定した補正値をステップＳ９０３で選択した画素の補正値として出力する。

ステップＳ９１０において、補正処理部８０３は、ステップＳ９０１で入力された画像データの全ての画素値の処理が終了したかどうか判定する。終了していればステップＳ９１１に移行し、終了していなければステップＳ９０３に移行して処理を継続する。

ステップＳ９１１において、画像データ出力部９０５は、補正された画像データを出力する。

以上の処理により、画素毎に補正値と補正パラメータを生成し、補正パラメータに基づいて補正値を出力値とするかどうかを決定することが可能になる。従って、補正画像データや補正パラメータをメモリに保持しておく必要がなくなるため、メモリの消費量を減らして複数の異なるノイズ低減処理パラメータを適用した補正画像データを生成することが可能になる。

実施例１及び実施例２では、ノイズ低減処理を適用した後で補正パラメータに基づいて、補正画像データを合成したり、補正パラメータを判定したりすることで出力画像データを生成する方法について説明した。ところで、エッジを含む領域と平坦な領域とを入力画像データから判別できれば、補正パラメータを用いなくともそれぞれの領域毎に異なるノイズ低減処理パラメータを適用することで、一様にノイズを低減した高画質な画像データを生成することが可能になる。そこで、本実施例では入力画像を属性ごとに領域分割し、それぞれの領域毎に異なるノイズ低減処理パラメータを適用することで出力画像データを生成する方法について説明する。

図１０は本実施例の画像処理装置の論理構成を示す模式図である。本実施例の画像処理装置は、画像データ入力部１００１と、パラメータ入力部１００２と、補正処理部１００３と、領域分割部１００４と、画像データ出力部１００５とを有する。

画像データ入力部１００１は、画像データ入力部２０１と同様である。

パラメータ入力部１００２は、画像処理に用いる複数のノイズ低減処理パラメータと領域分割処理パラメータとを画像処理パラメータとして画像処理装置に入力する。パラメータはＣＰＵ１０１からの指示に基づき、ＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインターフェイス（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６で直接指定して入力してもかまわない。尚、パラメータの詳細については後述する。

補正処理部１００３は、ＣＰＵ１０１からの指示に基づいて、画像データ入力部１００１で入力された画像データとパラメータ入力部１００２で入力された複数のノイズ低減処理パラメータと、領域分割部１００４で生成された領域分割データとを取得する。そして、補正画像データを生成する。生成した補正画像データはＲＡＭ１０２に記憶される。

領域分割部１００４は、ＣＰＵ１０１からの指示に基づいて画像データ入力部１００１で入力された画像データと、パラメータ入力部１００２で入力された領域分割処理パラメータとを取得し、画像データを複数の領域に分割する。領域分割方法の詳細については後述する。生成した領域分割データはＲＡＭ１０２に記憶される。

画像データ出力部１００５は、補正処理部２０３で生成した補正画像データをモニタ１０８やＨＤＤ１０３などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７に出力してもよい。

以下では、図１０で説明した画像処理装置の論理構成における各処理の詳細について、図１１のフローチャートを参照して説明する。以下では、実施例１における図３との重複部分の説明は省略して差異のみ説明する。

ステップＳ１１０１において、画像データ入力部１００１は、画像データを入力する。

ステップＳ１１０２において、パラメータ入力部１００２は、画像処理パラメータを入力する。入力するパラメータは着目領域の異なる複数のノイズ低減処理パラメータと領域分割処理パラメータである。以下、本実施例では着目領域の異なる２つのノイズ低減処理パラメータを入力し、エッジ領域と平滑領域の閾値を領域分割パラメータとして入力するものとして説明する。

ステップＳ１１０３において、領域分割部１００４は、ステップＳ１００１で入力された画像データが示す画像を領域分割する。ここでは少なくとも入力画像をエッジ領域と平坦領域との２領域に分割する。領域の分割には一般的なエッジ検出方法を用いればよい。例えば、Ｓｏｂａｌフィルタ、ラプラシアンフィルタなどを適用し、ステップＳ１１０２で領域分割パラメータとして入力された閾値に基づいて領域を分割する。勿論、分割する領域の数は２つに限られるものではなく、３つ以上の領域に分割しても構わない。このように、属性ごとに分割される領域は、周波数成分に基づいて決定された情報によって決定される。

なお、分割する領域の数に関わらず、２つ以上の異なるノイズ低減処理パラメータを用いて出力画像を生成することができれば本実施例は適用可能である。例えば、オブジェクト検出などの手法を用いて、画像中の被写体毎により細かく分類しても構わない。

ステップＳ１１０４において、補正処理部１００３は、ステップＳ１１０３で分割された複数の領域の内の一つと、その領域に対応するノイズ低減処理パラメータとを選択する。ここで、エッジ領域には着目領域内の画素数が少ない、或いは着目領域の範囲が小さいパラメータを適用する。他方、エッジ領域以外の領域、例えば平坦領域には着目領域内の画素数が多い、或いは着目領域の範囲が大きいパラメータを適用するのが好適である。すなわち、画像のエッジ領域の各画素に対して第１の着目領域を適用し、画像のエッジ領域以外の領域の各画素に対して前記第１の着目領域よりも広い第２の着目領域を適用するのが好適である。

ステップＳ１１０５において、補正処理部１００３は、ステップＳ１１０４で選択した領域内の未処理画素を選択する。

ステップＳ１１０６において、補正処理部１００３は、ステップＳ１１０４で選択した領域に応じたノイズ低減処理パラメータを用いて、ステップＳ１１０５で選択した画素の補正値を算出する。補正値の算出方法はステップＳ５０４と同様であり、ステップＳ１１０４で選択したパラメータに基づいて式（１）から式（３）を適用すればよい。

ステップＳ１１０７において、補正処理部１００３は、ステップＳ１１０４で選択した領域内の全ての画素値の補正が終了したかどうかを判定する。終了していればステップＳ１１０６に移行し、終了していなければステップＳ１１０５に移行して処理を継続する。

ステップＳ１１０８において、補正処理部１００３は、ステップＳ１１０３で分割された全ての領域の処理が終了したかどうかを判定する。終了していればステップＳ１１０９に移行し、終了していなければステップＳ１１０４に移行して処理を継続する。

ステップＳ１１０９において、画像データ出力部１００５は、画像データを出力する。

以上の処理により、入力画像を複数の領域に分割して、それぞれの領域毎に異なるノイズ低減処理パラメータを適用することが可能になる。従って、画像データに記録されている被写体に依らず、一様にノイズを低減した高画質な画像データを生成することが可能になる。尚、本実施例では分割した異なる領域に、パラメータの異なるＮｏｎＬｏｃａｌＭｅａｎｓ手法を適用する例を説明したが、領域毎に異なるノイズ低減手法を適用しても構わない。例えば、エッジ領域のみＮｏｎＬｏｃａｌＭｅａｎｓ手法を適用し、平坦領域は平均値フィルタを適用するなども可能である。

実施例１〜実施例３では、入力画像データに対して複数のノイズ低減処理パラメータに基づいてノイズ低減処理を適用することにより、領域毎の最適な補正画像データを生成し、それらを合成して出力画像データを生成する手法について説明した。ところで、入力画像のサイズを変更することにより、ノイズ低減処理パラメータを変更しなくても、同様の効果を得ることが可能である。すなわち、共通のノイズ低減処理パラメータを用いて異なるサイズの入力画像に対してノイズ低減処理を行うことで実施例１から３で説明したものと同等の効果を得ることが可能である。共通のノイズ低減処理パラメータとは、例えば画素数及び各画素の位置関係が一致するパラメータのことである。そこで、入力画像を解像度変換した画像を用意する。つまり、本実施例では入力画像を段階的に縮小した画像を用意し、それぞれの画像に対してノイズ低減処理を適用する。これにより、異なるサイズの入力画像間のそれぞれ対応する領域毎において最適な出力画素値を決定することができる。本実施例では、このように画像データを生成し、それらを合成して出力画像データを生成する手法について説明する。なお、実施例４の画像処理装置のハードウェア構成についは、実施例１で説明したものと同様とし、説明を省略する。

図１４は本実施例の画像処理装置の論理構成の一例を示す模式図である。図１４において、画像処理装置は、画像データ入力部１４０１と、パラメータ入力部１４０２と、縮小処理部１４０３と、補正処理部１４０４と、拡大処理部１４０５と、合成処理部１４０６と、画像データ出力部１４０７とを有する。

画像データ入力部１４０１は、画像データ入力部２０１と同様である。

パラメータ入力部１４０２は、画像処理に用いるノイズ低減処理パラメータと縮小条件を表す縮小パラメータとを画像処理装置に入力する。各パラメータはＣＰＵ１０１からの指示に基づき、ＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインターフェイス（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６で直接指定して入力してもかまわない。本実施例では、ノイズ低減処理パラメータは、実施例１から３で説明したように複数である必要はない。尚、縮小パラメータの詳細については後述する。

縮小処理部１４０３は、ＣＰＵ１０１からの指示に基づいて、画像データ入力部１４０１で入力された画像データと、パラメータ入力部１４０２で入力された縮小パラメータとを取得し、入力された画像の縮小画像を示す縮小画像データを生成する。生成した縮小画像データはＲＡＭ１０２に記憶される。縮小処理の詳細については後述する。

補正処理部１４０４は、ＣＰＵ１０１からの指示に基づいて、画像データ入力部１４０１で入力された画像データと、縮小処理部１４０３で生成された縮小画像データと、パラメータ入力部１４０２で入力されたノイズ低減処理パラメータとを取得する。そして、画像データ毎に補正画像データと補正画像データに対応する補正パラメータとを生成する。すなわち、補正処理部１４０４においては、サイズが異なる画像毎に補正画像データと補正パラメータとが生成される。生成した複数の補正画像データと複数の補正パラメータとはＲＡＭ１０２に記憶される。

拡大処理部１４０５は、ＣＰＵ１０１からの指示に基づいて、補正処理部１４０４で生成した各補正画像データを、それぞれ入力された画像データのサイズに戻すように拡大した拡大画像を示す拡大画像データを生成する。

合成処理部１４０６は、ＣＰＵ１０１からの指示に基づいて、拡大処理部１４０５で生成された複数の補正画像データに対応する拡大画像データと複数の補正パラメータとパラメータ入力部１４０２で入力された合成処理パラメータとを取得する。そして、合成画像データを生成する。生成した合成画像データはＲＡＭ１０２に記憶される。

画像データ出力部１４０７は、画像データ出力部２０５と同様である。

なお、本実施例では、縮小と拡大は、それぞれ１／１倍に変換すること、すなわち等倍を含むものとして説明する。

以下では、図１４で説明した画像処理装置の論理構成における各処理の詳細について、図１５のフローチャートを参照して説明する。

また、図２１は、実施例４の処理の流れを示した模式図である。

ステップＳ１５０１において、画像データ入力部１４０１は、画像データを入力する。

ステップＳ１５０２において、パラメータ入力部１４０２は、画像処理パラメータを入力する。入力するパラメータは１つのノイズ低減処理パラメータと、縮小パラメータと、合成処理パラメータとである。縮小パラメータは入力画像の段階的な縮小画像の生成において、その段階数を決定できるものであれば何でもよい。もちろん具体的な倍率を与えてもよいし、例えば３段階の場合、３というパラメータ値から入力画像そのものを含む１/１、１/２、１/４を規定してもよい。合成処理パラメータは、合成方法の指示、補正処理部１４０４で生成される補正パラメータに対応する閾値、または複数の補正画像データをブレンドする場合のブレンド比などである。

以下、本実施例では１つのノイズ低減処理パラメータと１/１、１/２、１/４の縮小を表す３段階の縮小パラメータと、補正パラメータに対応した２つの閾値Ｅ_ｔｈ１’、Ｅ_ｔｈ２’を示す合成処理パラメータとを入力するものとして説明する。

ステップ１５０３において、縮小処理部１４０３は、ステップＳ１５０２で入力された縮小パラメータに基づいて、ステップＳ１５０１で入力された画像データの縮小画像データを生成する。生成される縮小画像データの数は、縮小パラメータに応じて決定される。本実施例では、３段階の縮小パラメータが入力されるので、ステップS１５０３では、等倍を含む３つの縮小画像データが生成される。縮小画像データの生成についての詳細は後述する。

ステップＳ１５０４において、補正処理部１４０４は、ステップＳ１５０２で入力されたノイズ低減処理パラメータに基づいて、ステップＳ１５０３で生成された全ての縮小画像データの補正画像データと補正パラメータとを生成する。すなわち、本実施例では、３つの補正画像データとその補正画像データに対応する各補正パラメータとが生成される。補正画像データと補正パラメータの生成についての詳細は後述する。

ステップＳ１５０５において、拡大処理部１４０５は、ステップＳ１５０４で生成された全ての縮小画像データに対して、それぞれ縮小前の入力画像データのサイズに戻すように、バイリニア法で拡大処理を行い、拡大画像データを生成する。拡大画像データの生成についての詳細は後述する。

ステップＳ１５０６において、合成処理部１４０６は、ステップＳ１５０２で入力された合成処理パラメータと、ステップＳ１５０４で生成された補正パラメータとに基づいて、ステップＳ１５０５で生成された複数の拡大画像データを合成する。この拡大画像データは、ステップＳ１５０３で縮小された際にステップＳ１５０４で補正がされた補正画像データを拡大したものである。この複数の拡大画像データを合成して合成画像データを生成する。合成画像データの生成についての詳細は後述する。

ステップＳ１５０７において、画像データ出力部１４０７は、補正された画像データを出力する。

（縮小画像データ生成処理）
以下では、図１５で説明したステップＳ１５０３の縮小処理の詳細について、図１６のフローチャートを参照して説明する。

ステップＳ１６０１において、縮小処理部１４０３は、ステップＳ１５０１で入力された画像データを取得する。

ステップＳ１６０２において、縮小処理部１４０３は、ステップＳ１５０２で入力された縮小処理パラメータを取得する。

ステップＳ１６０３において、縮小処理部１４０３は、ステップＳ１６０２で取得した縮小処理パラメータから縮小倍率を決定する。

ステップＳ１６０４において、縮小処理部１４０３は、ステップＳ１６０１で取得した画像データに対して、ステップＳ１６０３で決定された倍率に縮小する処理を行う。一般に画像データを縮小する際、事前に画像データに対してローパスフィルタ処理を行わなかった上で縮小しないと折り返し雑音が発生してしまう。その結果、その折り返し雑音のパターンが最終的に出力される縮小された画像データに現れてしまう。したがって本実施例では、縮小処理を行う際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いるか、事前にローパスフィルタ処理を行った上でバイリニア法などを適用する。ローパスフィルタ処理に用いるフィルタはステップＳ１６０３で決定された縮小倍率に基づいて決定する。例えば、縮小倍率が１/２のときには、図２２に示したフィルタを用いる。なお、フィルタの大きさ、係数はこれに限られるものではない。

ステップＳ１６０５において、縮小処理部１４０３は、縮小パラメータに基づいて全ての縮小画像データを生成したかどうかを判定する。すなわち、ステップＳ１６０２で取得した縮小パラメータに対応する全ての縮小画像データを生成したかを判定する。全ての縮小処理が終了していればステップＳ１６０６に移行し、終了していなければステップＳ１６０３に移行して処理を継続する。

ステップＳ１６０６において、縮小処理部１４０３は、生成した全ての縮小画像データを出力する。

（補正処理）
以下では、図１５で説明したステップＳ１５０４の補正処理の詳細について、図１７のフローチャートを参照して説明する。

ステップＳ１７０１において、補正処理部１４０４は、ステップＳ１５０３で生成された全ての縮小画像データを取得する。なお、本実施例では縮小画像データには等倍の画像データ、すなわちステップＳ１５０１で入力された画像データも含まれるとして説明している。縮小画像データには等倍の画像データを含まないとする場合には、ステップＳ１５０１で入力された画像データもステップＳ１７０１で取得する。つまり、本実施例では、処理対象の画像データとして、解像度変換された画像データと、入力画像の画像データとが用いられる。

ステップＳ１７０２において、補正処理部１４０４は、ステップＳ１５０２で入力されたノイズ低減処理パラメータを取得する。

ステップＳ１７０３において、補正処理部１４０４は、ステップＳ１７０２で取得した複数の画像データの中から一つの画像データを選択する。

ステップＳ１７０４において、補正処理部１４０４は、ステップＳ１７０２で取得したノイズ低減処理パラメータを用いてステップＳ１７０３で選択した画像データを補正し、補正画像データを生成する。具体的には式（１）から式（３）を各画素に順次適用すればよい。なお、実施例１から３と異なり、画像データの補正に用いられるノイズ低減処理パラメータはいずれの画像データに対しても共通のものである。

ステップＳ１７０５において、補正処理部１４０４は、画素毎の補正パラメータを生成する。補正パラメータＥ_iは式（３）で算出する重みｗ_ｊの総和と二乗和の比を用いて式（４）で得られる。

ステップＳ１７０６において、補正処理部１４０４は、ステップＳ１７０１で取得した全ての画像データに対して補正処理を行ったかどうかを判定する。全ての画像データに対して補正処理が終了していればステップＳ１７０７に移行し、終了していなければステップＳ１７０３に移行して、未選択の画像データを選択して処理を継続する。

ステップＳ１７０７において、補正処理部１４０４は、ステップＳ１７０４で生成した複数の補正画像データとステップＳ１７０５で生成した、複数の補正画像データに対応する各補正パラメータとを出力する。

（拡大処理）
以下では、図１５で説明したステップＳ１５０５の拡大処理の詳細について、図１８のフローチャートを参照して説明する。

ステップＳ１８０１において、拡大処理部１４０５は、ステップＳ１５０４で生成された全ての補正画像データを取得する。すなわち、拡大処理部１４０５は補正処理が施された全ての縮小画像データを取得する。

ステップＳ１８０２において、拡大処理部１４０５は、ステップＳ１５０２で入力された縮小処理パラメータを取得する。

ステップＳ１８０３において、拡大処理部１４０５は、ステップＳ１８０１で取得した複数の画像データから一つの画像データを選択する。

ステップＳ１８０４において、拡大処理部１４０５は、ステップＳ１８０２で取得した縮小処理パラメータを用いて、ステップＳ１８０３で選択した画像データに対する拡大倍率を決定する。拡大倍率は、選択した縮小画像を入力画像のサイズに戻す倍率である。したがって、拡大倍率は、縮小処理パラメータを用いずに、入力画像データに基づいて決定することも可能である。

ステップＳ１８０５において、拡大処理部１４０５は、選択した画像データに対してバイリニア法で拡大処理を行い、拡大画像データを生成する。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。

ステップＳ１８０６において、拡大処理部１４０５は、ステップＳ１８０１で取得した全ての縮小画像データに対して拡大処理を行ったかどうかを判定する。全ての縮小画像データに対する拡大処理が終了していればステップＳ１８０７に移行し、終了していなければステップＳ１８０３に移行して処理を継続する。

ステップＳ１８０７において、拡大処理部１４０５は、ステップＳ１８０５で生成した全ての拡大画像データを出力する。

（合成処理）
以下では、図１５で説明したステップＳ１５０６の合成処理の詳細について、図１９のフローチャートを参照して説明する。

ステップＳ１９０１において、合成処理部１４０６は、ステップＳ１５０５で生成された拡大画像データとステップＳ１５０４で生成された、各拡大画像データに対応する補正パラメータとを取得する。なお、補正パラメータは、縮小画像の各画素に対して生成されているものである。したがって、拡大画像データの元となる縮小画像の画素に対する補正パラメータを、その拡大画像の対応する画素の補正パラメータとして用いる。例えば、１／４倍の縮小画像の画素(x,y)において補正パラメータがExであるとすると、４倍に拡大した拡大画像においてその画素(x,y)に対応する４つの画素の補正パラメータもExとして扱う。

ステップＳ１９０２において、合成処理部１４０６は、ステップＳ１５０２で入力された合成処理パラメータを取得する。

ステップＳ１９０３において、合成処理部１４０６は、ステップＳ１９０１で取得した任意の拡大画像データの中の未処理の画素を選択する。あるいは、合成処理部１４０６は、ステップＳ１５０１で入力された画像データの中の未処理の画像を選択してもよい。

ステップＳ１９０４において、合成処理部１４０６は、ステップＳ１９０３で選択された画素の出力画素値を決定する。すなわち、合成処理部１４０６は、ステップＳ１９０１で取得した複数の拡大画像データ及び各拡大画像データに対応する補正パラメータと、ステップＳ１９０２で取得した合成処理パラメータとに基づいて、選択された画素の出力画素値を決定する。

ここで、図２０のフローチャート図を参照して３つの補正画像データを合成する方法について説明する。ステップＳ１９０３で選択された画素の３つの拡大画像データの画素値をそれぞれ縮小倍率の小さい順に、Ｉ１’，Ｉ２’，Ｉ３’、各拡大画像データの各画素に対応する補正パラメータをＥ１’，Ｅ２’、Ｅ３’とする。なお、Ｉ１’、Ｅ１’は縮小倍率が１/１、つまり縮小処理を行っていないときの結果とする。また、ステップＳ１９０２で合成処理パラメータとして取得した閾値をＥ_ｔｈ１’、Ｅ_ｔｈ２’ とする。先に説明したように、補正パラメータは値が小さいほどノイズ低減効果が高く、値が大きいほどノイズ低減効果が小さいことを示している。

ステップＳ２００１では、合成処理部１４０６は、補正パラメータＥ３’と閾値Ｅ_ｔｈ２’とを比較する。すなわち、縮小倍率の大きい縮小画像で得られた補正パラメータＥ３’と閾値Ｅ_ｔｈ２’とを比較する。補正パラメータＥ３’が閾値Ｅ_ｔｈ２’より小さい、即ち閾値で指示した値よりノイズ低減効果が高い場合はステップＳ２００２に移行して画素値Ｉ３’を出力する。補正パラメータＥ３’が閾値Ｅ_ｔｈ２’より大きい、即ち閾値で指示した値よりノイズ低減効果が低い場合は、合成処理部１４０６は、ステップＳ２００３に移行する。合成処理部１４０６は、ステップＳ２００３でも同様に補正パラメータＥ２’と閾値Ｅ_ｔｈ１’とを比較して、補正パラメータＥ２’が閾値Ｅ_ｔｈ１’より小さい場合はステップＳ２００４に移行して画素値Ｉ２’を出力する。一方、補正パラメータＥ２’が閾値Ｅ_ｔｈ１’より大きい場合は、合成処理部１４０６は、ステップＳ２００５に移行して画素値Ｉ１’を出力する。尚、出力画素値の決定は合成処理パラメータに含まれる合成の指示に応じて所望の方法を用いてよい。例えば、合成処理部１４０６は、ノイズ低減効果の高い補正画像データの画素値を出力画素値としても良い。ただし、縮小した画像の方がローパスフィルタ処理を行っている分、ノイズが小さいことを考慮する必要がある。なお、本実施例では３つの補正画像データを合成する例を説明したが、合成する補正画像データは２つ以上であればよい。

ステップＳ１９０５において、合成処理部１４０６は、全画素の出力画素値が決定したかどうかを判定する。全画素終了していればステップＳ１９０６に移行し、終了していなければステップＳ１９０３に移行して処理を継続する。

ステップＳ１９０６において、合成処理部１４０６は、生成した合成画像データを出力する。

以上の処理により、ノイズ低減処理パラメータを変更せずに、実施例１と同様の補正画像データを生成することが可能になる。これは、画像を縮小することによって、着目領域として用いる画素配置、または着目領域として用いる画素を相対的に拡大していることになるからである。例えば、ベタ領域の部分については縮小画像に対して得られる補正画像データを出力画素値として用い、それ以外の部分については入力画像に対して得られる補正画像データを出力画素値として用いることができる。

実施例４では、入力画像のサイズを変更した複数の画像データを用いることにより、一つのノイズ低減処理パラメータから各領域毎の最適な補正画像データを生成し、合成処理において出力画素値を選択する手法を示した。しかし、実施例１と同様に、補正パラメータの大きさに応じたブレンド比（合成比率）で各補正画像データの画素値を重み付けした和を出力画素値とすることも可能である。その際、実施例４とは拡大処理と合成処理の方法が異なる。そこで、本実施例では、入力画像を段階的に縮小した画像データを用意し、それぞれの画像データに対してノイズ低減処理を適用する。そして、各領域毎の最適な画像データを生成し、それらを補正パラメータの大きさに応じたブレンド比（合成比率）合成して出力画像データを生成する手法について説明する。なお、実施例５の画像処理装置のハードウェア構成についは、実施例１で説明したものと同様とし、説明を省略する。

図２３は本実施例の画像処理装置の論理構成の一例を示す模式図である。図２３において、画像処理装置は、画像データ入力部１４０１と、パラメータ入力部１４０２と、縮小処理部１４０３と、補正処理部１４０４と、拡大合成処理部２３０１と、画像データ出力部１４０７とを有する。実施例４と比較して、拡大処理部１４０５と合成処理部１４０６とが拡大合成処理部２３０１に置き換わっている。

拡大合成処理部２３０１は、ＣＰＵ１０１からの指示に基づいて、補正処理部１４０４で生成した全ての補正画像データと、補正画像データに対応する補正パラメータとを取得し、合成画像データを生成する。生成した合成画像データはＲＡＭ１０２に記憶される。

以下では、図２３で説明した画像処理装置の論理構成における各処理の詳細について、図２４のフローチャートを参照して説明する。

ステップＳ２４０１〜ステップＳ２４０４は、ステップＳ１５０１〜ステップＳ１５０４に等しい。

ステップＳ２４０５において、拡大合成処理部２３０１は、補正処理部１４０４で生成した全ての補正画像データと補正画像データに対応する補正パラメータとを取得する。この補正画像データは、ステップＳ２４０３で縮小処理がされた縮小画像データである。そして拡大合成処理部２３０１は、小さいサイズの画像から順に拡大処理と合成処理を繰り返して、最終的な合成画像データを生成する。拡大合成処理の詳細については後述する。

ステップＳ２４０６は、ステップＳ１５０７に等しい。

（拡大合成処理の詳細）
以下では、図２４で説明したステップＳ２４０５の拡大合成処理の詳細について、図２５のフローチャートを参照して説明する。図２６は実施例５の処理の流れを示した模式図である。

ステップＳ２５０１において、拡大合成処理部２３０１は、ステップＳ２４０４で生成された全ての補正画像データと、補正画像データに対応する補正パラメータとを取得する。

ステップＳ２５０２において、拡大合成処理部２３０１は、ステップＳ２４０２で入力された縮小処理パラメータと合成処理パラメータとを取得する。

ステップＳ２５０３において、拡大合成処理部２３０１は、ステップＳ２５０１で取得した複数の画像データから未処理の画像データの中で最も小さいサイズの一つの画像データを選択する。

ステップＳ２５０４において、拡大合成処理部２３０１は、ステップＳ２５０２で取得した縮小処理パラメータを用いて、ステップＳ２５０３で選択した縮小画像に対する拡大倍率を決定する。ステップＳ２５０４で決定される拡大倍率は、ステップＳ２５０３で選択した縮小画像をステップＳ２５０１で取得した補正画像データの中でステップＳ２５０３で選択した縮小画像の次に大きい画像サイズに戻す倍率である。したがって、拡大倍率は、縮小処理パラメータを用いずに、ステップＳ２５０１で取得した補正画像データを用いて決定することも可能である。

ステップＳ２５０５において、拡大合成処理部２３０１は、ステップＳ２５０３で選択した縮小画像に対してバイリニア法で拡大処理を行い、拡大画像データを生成する。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。

ステップＳ２５０６において、拡大合成処理部２３０１は、ステップＳ２５０５で生成された拡大画像データの未処理の画素を選択する。

ステップＳ２５０７において、拡大合成処理部２３０１は、２つの画像データにおける対象画素を合成する。すなわち、拡大合成処理部２３０１は、ステップＳ２５０５で生成された拡大画像データと、ステップＳ２５０１で取得した補正画像データの中でステップＳ２５０３で選択した縮小画像より一段階大きい画像データとを取得する。そして取得した２つの画像データにおける対象画素を合成する。ここで、ステップＳ２５０１で取得した補正画像データの中でステップＳ２５０３で選択した縮小画像より一段階大きい画像データは、つまりはステップＳ２５０５で生成された拡大画像データと同サイズの画像データのことである。合成結果は、合成に使用した２つの画像データのうち、ステップＳ２５０３で選択した画像データより一段階大きい補正画像データに保存される。つまり、ステップＳ２５０１で取得した補正画像データはここで更新されることになる。尚、合成による出力画素値の決定は、合成処理パラメータに含まれる合成の指示に応じて所望の方法を用いてよい。例えば、補正パラメータの大きさに応じたブレンド比（合成比率）で２つの補正画像データの画素値を重み付けした和を出力画素値とすることなどが考えられる。具体的には、補正パラメータが小さいときノイズ低減効果が高いため、例えばノイズ低減効果の高い画素の重みを大きくするように、補正パラメータの逆数で重み付けすることなどが考えられる。勿論、これらの出力画素値を得るために必要なパラメータはステップＳ２５０２において、合成処理パラメータとして取得すればよい。

ステップＳ２５０８において、拡大合成処理部２３０１は、ステップＳ２５０３で選択された画像データの全画素の出力画素値が決定したかどうかを判定する。全画素終了していればステップＳ２５０９に移行し、終了していなければステップＳ２５０６に移行して処理を継続する。このように、拡大合成処理部２３０１はサイズの小さい第１の補正画像を第１の補正画像の次にサイズの小さい第２の補正画像に拡大した拡大画像と、第２の補正画像とを合成して第２の補正画像データを更新する。

ステップＳ２５０９において、拡大合成処理部２３０１は、ステップＳ２５０１で取得した補正画像データの中で、入力画像データの補正画像データを除く全ての補正画像データに対して拡大合成処理を行ったかどうかを判定する。サイズの小さい画像順に処理を行っていくため、ステップＳ２５０５で生成された拡大画像データのサイズが入力画像と同じであるかどうか判定してもよい。入力画像データの補正画像データを除く全ての補正画像データに対して拡大合成処理が終了していればステップＳ２５１０に移行し、終了していなければステップＳ２５０３に移行して処理を継続する。

ステップＳ２５１０において、拡大合成処理部２３０１は、合成した画像データを出力する。

以上の処理により、入力画像のサイズを変更した複数の画像を用いて、各領域毎の最適な補正画像データを生成し、それらをブレンドした合成画像を出力することが可能になる。

実施例１では、複数のノイズ低減処理パラメータを入力画像データに対して順次適用する補正処理について説明したが、並列処理することも可能である。そこで、本実施例では実施例１で説明した補正処理の並列処理について説明する。尚、本実施例では２つの異なるノイズ低減処理パラメータを用いるとして説明する以外は実施例１と同様であるため、実施例１との差異のみ説明する。
図２７は本実施例の画像処理装置の論理構成の一例を示す模式図である。図２７において、画像処理装置は、画像データ入力部２７０１と、パラメータ入力部２７０２と、第一の補正処理部２７０３と、合成処理部２７０４と、画像データ出力部２７０５と、第二の補正処理部２７０６とを有する。補正処理部を２つ有する以外は実施例１と同様である。第一の補正処理部２７０３および第二の補正処理部２７０６は、ノイズ低減処理パラメータのうち、着目画素と参照画素との類似度を決定するための着目画素群が異なるパラメータが設定されている。より具体的には、第一の補正処理部２７０３と第二の補正処理部２７０６それぞれにおいて設定される着目画素群は、少なくとも画素数または画素配置が異なっている。ここで、図２７で説明した画像処理装置の論理構成における各処理の詳細は図３で説明した処理とほぼ同様であり、実施例１と異なるステップＳ３０３の補正処理のみ、図２８のフローチャートを参照して説明する。尚、図２９はデータフローを示した模式図である。
ステップＳ２８０１において第一の補正処理部２７０３及び第二の補正処理部２７０６は、ステップＳ３０１で入力された画像データを取得する。
ステップＳ２８０２において第一の補正処理部２７０３及び第二の補正処理部２７０６は、ステップＳ３０２で入力されたそれぞれ異なるノイズ低減処理パラメータを取得する。
ステップＳ２８０３において第一の補正処理部２７０３は、ステップＳ２８０２で取得した複数のノイズ低減処理パラメータのうち１つのパラメータで入力画像データを補正し、第１の補正画像データを生成する。
ステップＳ２８０４において第一の補正処理部２７０３は、第１の補正パラメータを導出する。
ステップＳ２８０５において第二の補正処理部２７０６は、ステップＳ２８０２で取得した複数のノイズ低減処理パラメータのうち、ステップＳ２８０３とは着目画素群が異なるパラメータで入力画像データを補正し、第２の補正画像データを生成する。
ステップＳ２８０６において第二の補正処理部２７０６は、第２の補正パラメータを導出する。
尚、ステップＳ２８０３及びステップＳ２８０４と、ステップＳ２８０５及びステップＳ２８０６とは並列に処理する。
ステップＳ２８０７において第一の補正処理部２７０３及び第二の補正処理部２７０４は、ステップＳ２８０３からステップＳ２８０６で導出した第１の補正画像データ、第１の補正パラメータ、第２の補正画像データ、及び第２の補正パラメータを出力する。
以上の処理により、複数のノイズ低減処理パラメータによる入力画像データの補正処理を並列処理することで高速化が可能になる。尚、入力するノイズ低減処理パラメータが３以上の場合は、図２７で説明した補正処理部をノイズ低減処理パラメータの数だけ用意し、図２８のステップＳ２８０３からステップＳ２８０６で説明した説明した並列処理数を増やせばよい。また、本実施例では、実施例１の並列処理について説明したが、同様の並列処理は他の実施例にも適用可能である。

＜その他の実施例＞
実施例１から実施例６では、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成する例を説明したが、撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (26)

1. 画像データに対して画像処理を行う画像処理装置であって、
   前記画像データを構成する着目画素を含む第一の着目画素群と参照画素を含む第一の参照画素群との第一の類似度に基づいて前記着目画素の画素値を補正する第一の補正手段と、
   前記着目画素を含む第二の着目画素群と前記参照画素を含む第二の参照画素群との第二の類似度に基づいて前記着目画素の画素値を補正する第二の補正手段と、
   前記第一の類似度と前記第二の類似度のうち少なくとも一つに基づいて、前記第一の補正手段の結果及び前記第二の補正手段の結果から補正画像を示す補正画像データを出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記出力手段は、画素ごとに前記第一の補正手段の結果或いは前記第二の補正手段の結果の一方を選択することにより、前記補正画像データを出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記出力手段は、画素ごとに前記第一の補正手段の結果及び前記第二の補正手段の結果を合成することにより、前記補正画像データを出力することを特徴とする請求項１に記載の画像処理装置。
4. 前記第一の着目画素群と、前記第二の着目画素群とは少なくとも画素数、各画素の位置関係のいずれかが異なることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記出力手段は、前記第一の着目画素群及び前記第二の着目画素群のうち画素数が多い方の着目画素群に基づいた前記第一の補正手段の結果或いは前記第二の補正手段の結果を選択することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記出力手段は、前記第一の類似度及び前記第二の類似度に基づいて決定される重み値の総和と二乗和との比に基づいて前記補正画像データを生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第一の補正手段は、前記第一の類似度に基づいて決定される重み値を前記参照画素に乗することにより前記着目画素の画素値を補正することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第一の類似度が高いほど、小さな重み値が決定されることを特徴とする請求項７に記載の画像処理装置。
9. さらに前記画像データを解像度変換する変換手段を有し、
   前記第一の補正手段と前記第二の補正手段は、前記画像データまたは前記変換手段によって解像度変換された画像データのいずれかを処理の対象とし、前記第一の補正手段と前記第二の補正手段はそれぞれ、処理対象とする画像データの解像度が異なることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
10. 前記第一の着目画素群と前記第二の着目画素群との画素数及び各画素の位置関係は一致することを特徴とする請求項９に記載の画像処理装置。
11. 前記出力手段は解像度が低い方の画像データを処理対象とした前記第一の補正手段の結果或いは前記第二の補正手段の結果を選択することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記第一の補正手段は、前記第一の着目画素群に含まれる各画素の画素値と前記第一の参照画素群に含まれる各画素の画素値とを比較した結果に基づいて前記第一の類似度を算出し、前記第二の補正手段は、前記第二の着目画素群に含まれる各画素の画素値と前記第二の参照画素群に含まれる各画素の画素値とを比較した結果に基づいて前記第二の類似度を算出することを特徴とする請求項１乃至１１の何れか一項に記載の画像処理装置。
13. 前記第一の補正手段は、前記第一の類似度に基づいて前記参照画素に対応する重み値を決定し、
    前記第二の補正手段は、前記第一の着目画素群よりも画素数が多い画素群を前記第二の着目画素群とし、前記第二の類似度に基づいて前記参照画素に対応する重み値を決定し、
    前記出力手段は、前記第二の補正手段による処理において、重み値として０でない値を決定された参照画素の数に基づいて、前記第一の補正手段の結果及び前記第二の補正手段の結果の何れかを出力することを特徴とする請求項１乃至１２の何れか一項に記載の画像処理装置。
14. 前記出力手段は、重み値として０でない値を決定された参照画素の数が所定の条件を満たす場合は、前記第二の補正手段の結果を出力し、重み値として０でない値を決定された参照画素の数が前記所定の条件を満たさない場合は、前記第一の補正手段の結果を出力することを特徴とする請求項１３に記載の画像処理装置。
15. 画像に対してノイズ低減処理を実行する画像処理装置であって、
    前記画像に対して、エッジを含む領域か平坦な領域かを判定する判定手段と、
    前記画像における着目画素ごとに、前記判定手段による判定の結果に基づいて前記着目画素を含む着目画素群を決定する決定手段と、
    前記決定手段により決定された前記着目画素群と参照画素を含む参照画素群との類似度に基づいて前記着目画素の画素値を補正する補正手段と
    を有し、
    前記決定手段は、エッジを含む領域における画素については、前記着目画素群として第１の画素群を設定し、平坦な領域における画素に対しては、前記着目画素群として、前記第１の画素群よりも画素数の多い第２の画素群を設定することを特徴とする画像処理装置。
16. 前記判定手段は、前記画像に対してエッジ検出を行うことにより、前記画像を、エッジを含む領域か平坦な領域を判定することを特徴とする請求項１５に記載の画像処理装置。
17. 前記判定手段は、前記着目画素を含む領域の周波数成分に基づいてエッジを検出することを特徴とする請求項１６に記載の画像処理装置。
18. 前記参照画素群は、前記着目画素群と同じサイズであることを特徴とする請求項１５乃至１７の何れか一項に記載の画像処理装置。
19. 前記補正手段は、前記類似度に基づいて前記参照画素の重みを決定し、前記参照画素と重みを用いた演算をすることにより、前記着目画素の画素値を補正することを特徴とする請求項１５乃至１８の何れか一項に記載の画像処理装置。
20. 前記補正手段は、複数の画素を順に前記参照画素として設定し、前記複数の参照画素と、各参照画素の重みとを用いて重み付き平均をすることにより、前記着目画素の画素値を補正することを特徴とする請求項１９に記載の画像処理装置。
21. 前記補正手段は、前記着目画素群に含まれる各画素の画素値と、前記参照画素群に含まれる各画素の画素値に基づいて、前記類似度を算出することを特徴とする請求項１５乃至２０の何れか一項に記載の画像処理装置。
22. 前記補正手段は、前記着目画素群に含まれる各画素の画素値と、前記参照画素群に含まれる各画素の画素値とについて、空間的に対応する画素の画素値の差分を算出し、前記差分に基づいて前記類似度を算出することを特徴とする請求項２１に記載の画像処理装置。
23. 請求項１乃至２２のいずれか一項に記載の画像処理装置を備える撮像装置。
24. 画像データに対して画像処理を行う画像処理方法であって、
    前記画像データを構成する着目画素を含む第一の着目画素群と参照画素を含む第一の参照画素群との第一の類似度に基づいて前記着目画素の画素値を補正する第一の補正ステップと、
    前記着目画素を含む第二の着目画素群と前記参照画素を含む第二の参照画素群との第二の類似度に基づいて前記着目画素の画素値を補正する第二の補正ステップと、
    前記第一の類似度と前記第二の類似度のうち少なくとも一つに基づいて、前記第一の補正ステップの結果及び前記第二の補正ステップの結果から補正画像を示す補正画像データを出力する出力ステップと、
    を有することを特徴とする画像処理方法。
25. 画像に対してノイズ低減処理を実行する画像処理方法であって、
    前記画像に対して、エッジを含む領域か平坦な領域かを判定する判定ステップと、
    前記画像における着目画素ごとに、前記判定ステップによる判定の結果に基づいて前記着目画素を含む着目画素群を決定する決定ステップと、
    前記決定ステップにより決定された前記着目画素群と参照画素を含む参照画素群との類似度に基づいて前記着目画素の画素値を補正する補正ステップと
    を有し、
    前記決定ステップは、エッジを含む領域における画素については、前記着目画素群として第１の画素群を設定し、平坦な領域における画素に対しては、前記着目画素群として、前記第１の画素群よりも画素数の多い第２の画素群を設定するステップを含むことを特徴とする画像処理方法。
26. コンピュータを、請求項１乃至２２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images