JP6071419B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像データに含まれるノイズを低減する画像処理装置及び画像処理方法に関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。ここで、カラー画像を示す画像データを得るためには撮像素子の手前に光の波長によって透過率の異なるカラーフィルタを規則的に配置する。デジタル撮像装置は、カラーフィルタを透過した光量の違いから色信号を生成する。従って、デジタル撮像装置で記録される画像データ（以下、ＲＡＷ画像データという）においてはカラーフィルタの配置に応じたデータが記録される。その後、ホワイトバランス補正や画素補間などの一連の画像処理がＲＡＷ画像データに対して行われて、ＲＧＢ画像などの一般的なカラー画像を示す画像データが生成される。

デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、このようなノイズを低減し、高画質な画像を得るためには、ＲＡＷ画像データに混入したノイズを低減する必要がある。

従来、ノイズ周波数以下の信号成分を通すローパスフィルタを適用してノイズを低減する手法が知られている。しかしながら、ノイズ以外にエッジもぼけてしまうため高画質な画像を得ることが難しい。そこで、ノイズとエッジに関する情報を何らかの方法で判断し、適応的にノイズ低減を行う方法が数多く提案されている。

一般に、適応的なノイズ低減では、着目画素のノイズを低減するために、着目画素近傍の複数の画素を参照画素として選択して、それらの参照画素の適当な加重平均値により着目画素を置き換えることでノイズ低減を行う。

適応的なノイズ低減手法の一つとして、着目画素を含む領域（着目領域）を定め、その領域単位で着目画素と参照画素との類似度を求め、この類似度に応じた加重平均値を算出することでノイズ低減を実現する技術がある（特許文献１、特許文献２参照）。

特表２００７−５３６６６２号公報 特開２０１１−３９６７５号公報

従来の方法はＲＧＢ画像などの一般的なカラー画像、或いはグレースケール画像のように画像内で同レベルの信号値を持つ場合は、着目領域や参照画素を自由に設定することが可能である。しかしながら、ＲＡＷ画像のように画素毎にカラーフィルタに応じた異なるレベルの信号値を持つ場合、単純に着目領域や参照画素を設定するとノイズが低減できないという問題がある。一方、ＲＡＷ画像からカラー画像を生成してから従来手法を用いるのでは、ＲＡＷ画像データにノイズを含んだまま画素補間などを行ってカラー画像データを生成する必要があり、画質劣化の要因になってしまう。

そこで本発明では、ＲＡＷ画像のノイズを低減することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

本発明にかかる画像処理装置は、画像データを入力する画像データ入力手段と、前記画像データ入力手段で入力した画像データに対応したカラーフィルタ情報を入力するカラーフィルタ情報入力手段と、前記カラーフィルタ情報入力手段で入力したカラーフィルタ情報に基づいて、前記画像データの着目領域として用いる画素と参照画素とを含むパラメータを決定するパラメータ決定手段と、前記パラメータ決定手段で決定したパラメータに基づいて前記入力した画像データを補正する補正手段とを備え、前記パラメータ決定手段は、着目画素に対応する着目領域を決定する着目領域決定手段と、前記着目領域決定手段で決定された着目領域と画素配置が一致するように参照領域を決定する参照領域決定手段と、前記参照領域決定手段で決定した参照領域の画素数に基づく補正係数を決定する補正係数決定手段とを含み、前記補正手段は、前記パラメータ決定手段で決定した補正係数に基づいて参照画素の重みを補正することを特徴とする。

本発明により、ＲＡＷ画像のように画素毎にカラーフィルタに応じた異なるレベルの信号値を持つ場合でもノイズを低減することが可能になる。従って、任意のカラーフィルタ配列をもつデジタル撮像装置で撮影した画像データであってもノイズを低減した高画質な画像データを生成することが可能になる。

本発明の実施例１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 本発明の実施例１に係る画像処理装置の論理構成の一例を示すブロック図である。 本発明の実施例１に係る画像処理の流れの一例を示すフローチャート図である。 本発明の実施例１に係るカラーフィルタ情報の例を説明する模式図である。 本発明の実施例１に係るパラメータ決定処理の流れの一例を示すフローチャート図である。 本発明の実施例１に係る、カラーフィルタ情報から色を選択した結果を説明する模式図である。 本発明の実施例１に係る、色毎の参照画素の例を示す模式図である。 本発明の実施例１に係る、色毎の着目領域の例を示す模式図である。 本発明の実施例１に係る補正処理の流れの一例を示すフローチャート図である。 本発明の実施例２に係るパラメータ決定処理の流れの一例を示すフローチャート図である。 本発明の実施例２に係る参照画素候補の決定方法を説明する模式図である。 本発明の実施例３に係るカラーフィルタ情報の例を説明する模式図である。 本発明の実施例３に係るパラメータ決定処理の流れの一例を示すフローチャート図である。 本発明の実施例３に係る、参照画素に応じた参照領域の決定方法を説明する模式図である。 本発明の実施例１に係るノイズ低減方法を説明する模式図である。 本発明の実施例１に係る参照画素の重みを算出する関数を説明する模式図である。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

本実施例における画像処理装置の構成について、図１を参照して説明する。

図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。汎用Ｉ／Ｆは、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影されたＲＡＷ画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算される。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されているＲＡＷ画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信されたＲＡＷ画像データがＲＡＭ１０２に転送されてもよい。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。

（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、本実施例で説明するノイズ低減処理について説明しておく。本実施例では、ＮｏｎＬｏｃａｌＭｅａｎｓ（ＮＬＭ）と呼ばれる手法を用いる。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する。参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、ノイズ低減処理後の着目画素の画素値Ｉ_newは次式になる。

次に、参照画素の重みの算出方法について、図１５及び図１６を参照して説明する。

図１５（ａ）において、１５０１は画像データの例を示しており、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、１５０２は着目画素であり、その画素値はＩ（４、４）である。１５０３は着目領域であり、ノイズ低減対象となる着目画素１５０２を中心とした３×３画素の矩形領域である。１５０４は参照画素であり、着目画素１５０２を含む５×５画素（Ｎ_Ｓ＝２５）の矩形領域内の画素である。１５０５は、参照画素Ｉ（２，２）の参照領域であり、参照画素Ｉ（２，２）を中心とし、着目領域と同サイズの３×３画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。

参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域１５０３と当該参照画素Ｉ（２、２）の参照領域１５０５とを比較して類似度を算出する。尚、類似度は所望の方法で求めてよい。例えば、図１５（ｂ）のように、着目領域１５０３の画素をｂ_ｓ（ｐ，ｑ）、参照領域１５０５の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。そして、着目領域１５０３と参照領域１５０５との空間的に対応する画素の差を類似度とすると、類似度Ｃ_jは次式になる。

類似度Ｃ_ｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。重みは図１６に示す関数のように類似度Ｃ_ｊが小さいほど重みが大きく、類似度Ｃ_ｊが大きいほど重みが小さくなるように決定すればよく、例えば次式で定まる。

ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。

以下同様に、着目領域１５０３と各参照画素の参照領域とを順次比較していくことで、各参照画素の重みが得られる。

尚、本実施例におけるノイズ低減処理は、参照画素の重みを着目領域と参照領域の類似度に基づいて決まる処理であればよく、類似度や重みの算出方法などはここで説明した方法に限られるものではない。

（画像処理装置の論理構成）
以下では、本実施例における画像処理について図２と図３を参照して説明する。

図２は本実施例の画像処理装置の論理構成を示す模式図である。図２において、画像データ入力部２０１はＲＡＷ画像データを画像処理装置に入力する。ＲＡＷ画像データはＣＰＵ１０１からの指示に基づき、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影したＲＡＷ画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。

カラーフィルタ情報入力部２０２は、画像データ入力部２０１から入力したＲＡＷ画像データに対応するカラーフィルタ情報を画像処理装置に入力する。カラーフィルタ情報はＣＰＵ１０１からの指示に基づき、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインターフェイス（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６で直接指定して入力してもかまわない。尚、カラーフィルタ情報の詳細については後述する。

パラメータ決定部２０３は、ＣＰＵ１０１からの指示に基づいて、カラーフィルタ情報を取得し、ノイズ低減処理に用いるパラメータを決定する。決定したパラメータはＲＡＭ１０２に記憶される。尚、パラメータの決定方法に関する詳細は後述する。

補正処理部２０４は、ＣＰＵ１０１からの指示に基づいて、入力されたＲＡＷ画像データとパラメータとを取得し、入力されたＲＡＷ画像データに対してノイズ低減処理を施し、補正画像データを生成する。生成した補正画像データはＲＡＭ１０２に記憶される。

画像データ出力部２０５は、補正処理部２０４で生成した補正画像データをモニタ１０８やＨＤＤ１０３などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や、不図示の外部サーバなどに出力してもよいし、プリンタなどを接続して出力しても構わない。

（メイン処理フロー）
以下では、図２で説明した画像処理装置の論理構成における各処理の詳細について、図３のフローチャートを参照して説明する。

ステップＳ３０１において、画像データ入力部２０１は、ＲＡＷ画像データを入力する。

ステップＳ３０２において、カラーフィルタ情報入力部２０２は、ステップＳ３０１で入力されたＲＡＷ画像データに対応するカラーフィルタ情報を入力する。ここで入力するカラーフィルタ情報の例について図４を参照して説明する。図４は緑（Ｇ）の画素と赤（Ｒ）の画素とが交互に繰り返される行と、青（Ｂ）の画素と緑（Ｇ）の画素とが交互に繰り返される行とが交互に配列されるベイヤ配列を示している。撮像素子を用いてカラー画像を生成する撮像装置はこのようなカラーフィルタを通して受光することで色情報を取得する。以下では、ベイヤ配列をカラーフィルタ情報として入力するとして説明する。但し、本実施例の適用範囲はベイヤ配列に限られたものではなく任意のカラーフィルタを用いて撮影された画像に対して適用可能である。尚、図４に示すように、カラーフィルタ情報は、色に応じた画素の配置情報ということもできる。よって、ステップＳ３０２は配置情報入力処理とも称することができる。

ステップＳ３０３において、パラメータ決定部２０３は、ステップＳ３０１で入力されたＲＡＷ画像データの補正処理に用いるパラメータを、ステップＳ３０２で入力されたカラーフィルタ情報に基づいて決定する。ここで決定するパラメータは少なくとも参照画素と、着目領域として用いる画素とを含む。すなわち、上述したＮｏｎＬｏｃａｌＭｅａｎｓ手法を用いるノイズ低減処理において、各参照画素の重みを導出する際に用いられるパラメータを決定する。尚、パラメータ決定方法の詳細は後述する。

ステップＳ３０４において、補正処理部２０４は、ステップＳ３０２で決定したパラメータを参照してステップＳ３０１で入力したＲＡＷ画像データにノイズ低減処理を適用して補正画像データを生成する。尚、ＲＡＷ画像データの補正処理の詳細は後述する。

ステップＳ３０５において、画像データ出力部２０５は、ステップＳ３０４で生成した補正画像データを出力する。

（パラメータ決定処理）
以下では、図３で説明したステップＳ３０３におけるパラメータ決定処理の詳細について図５のフローチャート図を参照して説明する。

ステップＳ５０１において、パラメータ決定部２０３は、ステップＳ３０２で入力されたカラーフィルタ情報を取得する。なお、本実施例では、カラーフィルタ情報として、規則的に配色されたベイヤ配列に関する情報を取得する。

ステップＳ５０２において、パラメータ決定部２０３は、ステップＳ５０１で取得したカラーフィルタ情報からパラメータを決定する色を選択する。ここで、図６を参照してカラーフィルタ情報から得られる色について説明する。図６は、カラーフィルタ情報として取得したベイヤ配列における各色を選択した状態を示しており、グレー画素が選択画素である。従って、図６（ａ）は赤、図６（ｂ）は緑、図６（ｃ）は青をそれぞれ選択した状態である。このように、カラーフィルタ情報から得られる画素配置は色によって変化する。従って、本実施例で説明するノイズ低減処理を適用するためにはパラメータをカラーフィルタ情報に基づいて適切に設定する必要がある。

ステップＳ５０３において、パラメータ決定部２０３は、ステップＳ５０２で選択した色の画素の補正処理に利用する参照画素（画素群）を、パラメータとして決定する。通常、カラーフィルタの色が異なると光の透過率も異なるため、同じ光が入射しても、撮像素子が受光する光の量は色毎に異なる。従って、ＲＡＷ画像における信号レベルも色毎に異なるため、異なる色同士の信号レベルを比較することはできない。そこで、ある着目画素のノイズ低減処理に利用する参照画素は、その着目画素と同じ色の画素である必要がある。逆に言うと、同じ色の画素である限り、ＲＡＷ画像データ中の全ての画素を補正処理に利用可能であるため、画像全体の同じ色の画素を、パラメータとして用いる参照画素として決定しても良い。しかしながら、参照画素が多くなると処理に莫大な時間がかかるため、実用性に欠ける。そこで、着目画素近傍に限って、パラメータとして用いる参照画素を決定しても良い。例えば、着目画素を中心とした所定の範囲のブロック内の参照画素をパラメータとして決定してもよい。この場合、ステップＳ５０３で決定される参照画素は、上記所定の範囲（例えば、９×９など）を示す値が関連付けられて決定される。

ステップＳ５０４において、パラメータ決定部２０３は、ステップＳ５０３で決定した参照画素の数が他の色の参照画素数と一致するかどうか判定する。パラメータ決定部２０３は、参照画素数が一致すればステップＳ５０５に移行し、一致しなければＳ５０３に移行して処理を継続する。なお、フローの初期処理では、そのままステップＳ５０５に移行する。

ここで、ステップＳ５０３及びステップＳ５０４に関する参照画素決定方法について図７を参照して説明する。図７はステップＳ５０３において、カラーフィルタがベイヤ―配列の場合に決定される各色の参照画素の例である。図７（ａ）は赤、図７（ｂ）は青、図７（ｃ）は緑がステップＳ５０２で選択された場合をそれぞれ示している。また、黒画素が着目画素、グレー画素が着目画素に対応する参照画素を示しており、着目画素を中心とした９×９画素の範囲内の同色の画素を参照画素として決定した場合の例である。ステップＳ５０３では、このように着目画素近傍に限って参照画素を決定することができる。

ところで、図７（ａ）及び図７（ｂ）の参照画素数は２５画素、図７（ｃ）の参照画素数は４１画素である（着目画素も参照画素に含めてカウントしている）。通常、ノイズ低減処理では参照画素が多いほどノイズ低減効果が高く、参照画素が少ないほどノイズ低減効果が低くなる。従って、この例の場合は緑の画素だけがノイズ低減効果が高くなるため、補正処理後の画像において赤や青のノイズが目立つ場合がある。そこで、ステップＳ５０４ではパラメータ決定部２０３は、参照画素数が他の色の参照画素数と一致するかどうか判定し、一致しない場合はステップＳ５０３で改めて参照画素を決定する。例えば、既に図７（ａ）及び（ｂ）で示す赤及び青の色に対応する参照画素が決定されている場合に、緑の色に対応する参照画素を決定しようとする場合を想定する。このような場合、ステップＳ５０３で図７（ｃ）に示す参照画素が決定されると、ステップＳ５０４でＮＯと判定され、その後、図７（ｄ）に示すように７×７画素の範囲内の２５画素を緑の色に対応する参照画素と決定することができる。

尚、参照画素の選び方はこの限りではなく参照画素数及び参照画素として選択する範囲は任意に設定可能である。例えば、参照画素として選択する範囲は着目画素からの距離が所望の閾値以下などの条件で設定してもよい。この場合、ステップＳ５０３で決定される参照画素は、上記着目画素からの距離を示す値が関連付けられて決定されてもよい。また、ここでは赤、青、緑それぞれの参照画素数が一致する例を示したが、カラーフィルタの配置や参照画素として選択する範囲の選び方によっては必ずしも一致させることはできない場合があり得る。そのような場合であっても、カラーフィルタ情報に基づいて色間の参照画素数が略一致するように参照画素を決定すればよい。

ステップＳ５０５において、パラメータ決定部２０３は、ステップＳ５０２で選択した色の画素の補正処理に利用する着目領域として用いる画素（画素群）を、パラメータとして決定する。

ステップＳ５０６において、パラメータ決定部２０３は、ステップＳ５０５で決定した着目領域として用いる画素によって類似度が算出可能かどうか判定する。算出可能であればパラメータ決定部２０３は、ステップＳ５０７に移行し、算出不可能であればステップＳ５０５に移行して処理を継続する。

ここで、ステップＳ５０５及びステップＳ５０６に関する着目領域決定方法について図８を参照して説明する。図８はカラーフィルタがベイヤ配列の場合の各色の着目領域と参照領域の例を示す図である。図８（ａ）は赤、図８（ｂ）は青、図８（ｃ）は緑が選択された場合の着目領域として用いる画素をそれぞれ示している。また、黒画素が着目画素、グレー画素が着目領域であり、着目画素を中心とした３×３画素の範囲を着目領域として用いる画素と決定した場合の例を示している。ステップＳ５０５では、このように、着目画素を中心とした任意の画素を、着目領域として用いる画素として決定することができる。

なお、着目領域は着目画素に応じて変化し得るものであるが、本実施例ではカラーフィルタがベイヤ配列の場合を説明するため、着目領域として用いる画素（着目画素を中心とした所定の範囲内の画素）はＲＡＷ画像データに対して共通とすることができる。例えば、図８（ａ）の場合では、８０１を着目画素とした場合の着目領域の画素の配置は、８０２を着目画素とした場合の着目領域の画素の配置と同じである。したがって、ステップＳ５０５では、ＲＡＷ画像データに対して共通の、着目領域として用いる画素（着目画素を中心とした所定の範囲内の画素）を決定することができる。

ところで、式（２）に基づいて着目領域と参照領域の類似度を求めるには、着目領域の各色の画素配置と参照領域の各色の画素配置とは一致している必要がある。図８（ａ）及び図８（ｂ）のケースでは、各色の画素配置は一致する。しかしながら、図８（ｃ）のように緑の着目領域を決定すると、図８（ｃ）に示す着目領域と、図８（ｄ）の黒画素で示す緑の参照画素及びグレー画素で示す参照領域とは、各色の画素配置が異なるため類似度を求めることができない。そこで、ステップＳ５０６ではパラメータ決定部２０３は、ステップＳ５０５で決定した着目領域として用いる画素を用いて、ステップＳ５０３で決定した参照画素に対応した参照領域との類似度が算出可能かどうか判定する。類似度が算出できない場合、ステップＳ５０５で改めて着目領域として用いる画素を選択しなおす。例えば、図８（ｅ）のように、色の異なる画素を除いて着目領域として用いる画素を決定する。すなわち、着目領域のうち、着目画素の上下左右の画素を除いた画素を、着目領域として用いる画素として決定する。このように着目領域として用いる画素を決定することで、図８（ｆ）に示すように、他の緑の画素の参照領域とも画素配置が一致するため類似度を算出可能になる。尚、着目領域の決定方法はこれに限られるものではなく、類似度が算出できる限り任意に決めて構わない。

ステップＳ５０７において、パラメータ決定部２０３は、ステップＳ５０１で取得したカラーフィルタ情報に含まれる全ての色に対してパラメータ決定が終了したかどうか判定する。終了していれば、パラメータ決定部２０３は、パラメータ決定処理を終了し、終了していなければステップＳ５０２に移行して処理を継続する。

（補正処理）
以下では、図２で説明したステップＳ３０４における補正処理の詳細について図９のフローチャート図を参照して説明する。

ステップＳ９０１において、補正処理部２０４は、ステップＳ３０１で入力されたＲＡＷ画像データを取得する。

ステップＳ９０２において、補正処理部２０４は、ステップＳ３０３で決定されたパラメータを取得する。

ステップＳ９０３において、補正処理部２０４は、ステップＳ９０１で取得したＲＡＷ画像データから未処理画素を選択する。

ステップＳ９０４において、補正処理部２０４は、ステップＳ９０２で取得したパラメータからステップＳ９０３で選択した画素に対応するパラメータを選択する。

ステップＳ９０５において、補正処理部２０４は、ステップＳ９０４で選択したパラメータを用いて、ステップＳ９０３で選択した画素を補正する。具体的には、式（１）から式（３）を適用すればよい。

ステップＳ９０６において、補正処理部２０４は、ステップＳ９０１で取得したＲＡＷ画像データの全画素の補正処理が終了したかどうか判定する。終了していれば補正処理部２０４は、ステップＳ９０７に移行し、終了していなければステップＳ９０３に移行して処理を継続する。

ステップＳ９０７において、補正処理部２０４は、ステップＳ９０３からステップＳ９０６で補正処理することによって生成した補正画像データを出力する。

以上の処理により、ＲＡＷ画像データのような画素毎に異なるレベルの信号値を持つ場合でもノイズ低減処理が適用可能になり、ノイズを低減した高画質な画像データを得ることができる。

実施例１では、カラーフィルタ情報が備える色毎にパラメータを決定する方法について説明した。色毎にパラメータを決定する方法では、各色が参照画素になるため、着目領域を同色の全ての画素で一致するように決定する必要がある。そこで本実施例では、着目領域が同色の全ての画素で一致しなくてもよい手法について、すなわち、着目領域が一致するように参照画素を決定する方法について説明する。すなわち実施例１においては、参照画素を先に決定し、その参照画素に対応するように着目領域として用いる画素を決定する例を説明した。実施例２では、着目領域として用いる画素を先に決定し、その着目領域として用いる画素に対応する参照画素を決定する例を説明する。

実施例２の画像処理装置の構成等については、実施例１で説明したものと同様のものとすることができる。以下では、実施例１との重複部分の説明は省略して、差異のみ説明する。

図３で説明したステップＳ３０３におけるパラメータ決定処理の詳細について図１０のフローチャート図を参照して説明する。

ステップＳ１００１において、パラメータ決定部２０３は、カラーフィルタ情報を取得する。ステップＳ１００１はステップＳ５０１と同様である。

ステップＳ１００２において、パラメータ決定部２０３は、参照画素候補以外の未処理画素を選択する。参照画素候補については後述する。

ステップＳ１００３において、パラメータ決定部２０３は、ステップＳ１００２で選択した画素に対応する着目領域として用いる画素を決定する。

ステップＳ１００４において、パラメータ決定部２０３は、ステップＳ１００３で決定した着目領域として用いる画素の画素配置と一致する画素配置を構成する画素を参照画素候補として設定する。

ステップＳ１００５において、パラメータ決定部２０３は、全ての画素がいずれかの着目領域に対応した参照画素候補として設定されたかどうか判定する。設定が終了していればパラメータ決定部２０３は、ステップＳ１００６に移行し、終了していなければステップＳ１００２に移行して処理を継続する。

ここで、ステップＳ１００３からステップＳ１００５に関する参照画素候補設定方法について図１１を参照して説明する。まず、ステップＳ１００２において図１１（ａ）の黒画素で表される緑（Ｇ）の画素が選択されたものとする。ステップＳ１００３において、パラメータ決定部２０３は、図１１（ａ）の黒画素で表される緑（Ｇ）画素を着目画素とする所定の範囲の画素を着目領域として用いる画素として決定する。図１１（ａ）の例では、緑（Ｇ）画素を着目画素とする３×３画素を、着目領域として用いる画素として決定する。

次にステップＳ１００４において、パラメータ決定部２０３は、図１１（ａ）で示す着目領域として用いる画素が一致する画素、即ち、図１１（ａ）で選択した着目領域を用いて類似度が算出可能な画素を参照画素候補として設定する。すなわち、図１１（ａ）で選択した着目領域内の画素の配置と同様の画素の配置となる画素を、参照画素候補として設定する。従って、図１１（ａ）の着目領域として用いる画素に対応する参照画素候補は図１１（ｂ）のグレー画素になる。以下、図１１（ｃ）に示す着目領域として用いる画素に対応する参照画素候補が図１１（ｄ）である。図１１（ｅ）に示す着目領域として用いる画素に対応する参照画素候補が図１１（ｆ）である。図１１（ｇ）に示す着目領域として用いる画素に対応する参照画素候補が図１１（ｈ）である。このようにして全ての画素が参照画素候補に設定されるまでステップＳ１００３とＳ１００４を繰り返す。従って、本実施例では、緑が２通り、青と赤が１通りの計４通りの着目領域として用いる画素に対応した参照画素候補に分類される。ここで、緑の２通りは同じ色であるが、以下では４色に分類されたとして説明する。

ステップＳ１００６において、パラメータ決定部２０３は、ステップＳ１００２からステップＳ１００５で設定された４色から１色を選択する。

ステップＳ１００７において、パラメータ決定部２０３は、ステップＳ１００６で選択された色に属する画素の補正処理に利用する参照画素を決定する。

ステップＳ１００８において、パラメータ決定部２０３は、ステップＳ１００７で決定した参照画素数が他の色の参照画素数と一致するかどうか判定する。参照画素数が一致すればステップＳ１００９に移行し、一致しなければステップＳ１００７に移行して処理を継続する。

ここで、実施例１では参照画素を色毎に、且つ色間で参照画素数が略一致するように決定した。本実施例では参照画素候補毎に且つ参照画素候補間で参照画素数が略一致するように決定すればよい。即ち、ステップＳ１００７とステップＳ１００８の処理は、実施例１におけるステップＳ５０３、ステップＳ５０４と同様のため説明は省略する。

ステップＳ１００９において、パラメータ決定部２０３は、ステップＳ１００２からステップＳ１００５によって設定された参照画素候補全てに対して処理が終了したかどうか判定する。終了していればパラメータ決定部２０３は、この処理を終了し、終了していなければステップＳ１００６に移行して処理を継続する。

以上の処理により、本実施例では着目領域として用いる画素を決定し、その決定した着目領域として用いる画素が一致するように参照画素を決定する。これにより、画素毎に異なるレベルの信号値を持つ場合でもノイズ低減処理が適用可能になり、ノイズを低減した高画質な画像データを得ることができる。

実施例２では、カラーフィルタ情報としてベイヤ配列を例として説明した。ここで、カラーフィルタのランダム性が高い場合、着目画素に対して参照画素が疎になりノイズ低減効果が低下する場合がある。参照画素が疎になる場合について図１２を参照して説明する。図１２はベイヤ配列よりもランダム性の高いカラーフィルタの例であり、黒画素を着目画素、グレー画素を着目領域とする。ここで、着目画素近傍の黒枠の画素は、着目画素と同じ赤画素であるが、近傍の画素配列が一致しないため実施例２の方法では参照画素候補として選択されない。

そこで、本実施例では、カラーフィルタのランダム性が高い場合に参照画素毎に参照領域を変更して処理する方法について説明する。実施例３では、各着目画素に対して、着目領域として用いる画素及びその着目領域に対応する参照画素が決定される例を説明する。すなわち、画像データの着目領域として用いる画素配置と、該着目領域内の画素配置に少なくとも一部が対応する画素配置を含む参照領域を構成する参照画素とを決定する。

実施例３の画像処理装置の装置構成等は実施例１で説明したものと同様の構成とすることができる。以下では、実施例１及び実施例２との重複部分の説明は省略して、差異のみ説明する。

図３で説明したステップＳ３０３におけるパラメータ決定処理の詳細について図１３のフローチャート図を参照して説明する。

ステップＳ１３０１において、パラメータ決定部２０３は、カラーフィルタ情報を取得する。ステップＳ１３０１は、ステップＳ５０１と同様である。

ステップＳ１３０２において、パラメータ決定部２０３は、未処理の画素を着目画素として選択する。

ステップＳ１３０３において、パラメータ決定部２０３は、参照画素を決定する。ステップＳ１３０３では、ステップＳ１３０２で選択された画素の色と同じ画素を参照画素として決定する。図１２の例では、黒画素で示す赤（Ｒ）が着目画素としてステップＳ１３０２で選択されたものとする。すると、ステップＳ１３０３では、ステップＳ１３０２で選択された画素と同じ赤の画素を参照画素として決定する。本実施例では、着目画素の近傍の、着目画素と同色の画素を参照画素として決定する例を説明するが、どのように参照画素を決定してもよい。

ステップＳ１３０４において、パラメータ決定部２０３は、ステップＳ１３０３で決定した参照画素の数が所定の設定値と一致するかを判定する。所定の設定値とは、例えば参照画素として何画素を用いるかを予め設定された値である。ステップＳ１３０４で参照画素数が所定の設定値と一致していない場合には、ステップＳ１３０３へ戻り、一致している場合には、ステップＳ１３０５へパラメータ決定部２０３は処理を進める。

ステップＳ１３０５において、パラメータ決定部２０３は、着目領域として用いる画素を決定する。すなわち、ステップＳ１３０２で選択された着目画素に対応する着目領域として用いる画素を決定する。ステップＳ１３０５においては、ステップＳ１００３と同様に、着目画素から所定の範囲内の画素を着目画素として用いる画素として決定することができる。図１２の例では、グレーで示す画素が着目領域として用いる画素として決定された例を示している。

ステップＳ１３０６において、パラメータ決定部２０３は、ステップＳ１３０３で決定した参照画素から１画素を選択する。図１２の例では、太枠で囲まれた３つの赤（Ｒ）の参照画素から１画素を選択する。

ステップＳ１３０７において、パラメータ決定部２０３は、ステップＳ１３０６で選択した画素に対応する参照領域を決定する（参照領域決定処理）。

ステップＳ１３０８において、パラメータ決定部２０３は、ステップＳ１３０７で決定された参照領域の参照画素数に応じて補正係数を決定する（補正係数決定処理）。

ここで、ステップＳ１３０６からステップＳ１３０８に関する、参照領域を決定して補正係数を決定する方法について図１４を参照して説明する。尚、ステップＳ１３０２で選択された着目画素及びステップＳ１３０５で決定される着目領域として用いられる画素は、図１２で説明した着目画素及び着目領域として用いられる画素とする。図１４において、黒枠が参照画素、グレー画素が参照領域を示している。ステップＳ１３０６において、図１４（ａ）に示す参照画素が選択された場合、着目領域と参照領域の画素配置が全て一致するため、ステップＳ１３０７では着目領域と同じ画素配置の領域が参照領域として決定される。一方、図１４（ｂ）に示す参照画素が選択された場合、着目領域と参照領域の画素配置は一致しない。そこで、ステップＳ１３０７では、画素配置が一致する、グレー画素だけが参照領域として決定される。以下、図１４（ｃ）、図１４（ｄ）に示す参照画素が選択された場合も同様である。従って、各参照領域の各参照画素数は図１４（ａ）では９画素、図１４（ｂ）、図１４（ｃ）では５画素、図１４（ｄ）では３画素になる。ところで、式（２）に基づいて着目領域と参照領域の類似度を算出する場合、画素数が異なると類似度を直接比較することができなくなる。そこで、ステップＳ１３０８において、参照画素数に応じた補正係数を、パラメータとして求める。尚、補正は所望の方法を利用可能である。例えば、類似度を参照画素数で正規化する場合、参照画素値Nsが補正値となり、補正後の類似度Ｃ_ｊ’は次式になる。

ステップＳ１３０９において、パラメータ決定部２０３は、全参照画素の補正領域及び補正係数の算出が終了したかどうか判定する。終了していればステップＳ１３０９に移行し、終了していなければステップＳ１３０６に移行して処理を継続する。

なお、図示していないが、ステップＳ１３０７の後に、ステップＳ１３０７で決定された参照領域に応じて、ステップＳ１３０５で決定された着目領域として用いられる画素を変更する処理を行っても良い。例えば、図１４（ｂ）に示すように参照領域が決定された場合には、同じ画素配置の領域のみを着目領域とするように、ステップＳ１３０５で決定された着目領域として用いる画素を変更してもよい。

ステップＳ１３１０において、パラメータ決定部２０３は、全画素のパラメータ決定処理が終了したかどうか判定する。終了していれば、パラメータ決定処理を終了し、終了していなければステップＳ１３０２に移行して処理を継続する。

以上の処理により、カラーフィルタの配置がランダムであってもノイズ低減処理が適用可能になり、ノイズを低減した高画質な画像データを得ることができる。

＜その他の実施例＞
実施例１から実施例３では、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成する例を説明したが、撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。

また、実施例１から実施例３では、赤、緑、青の３色のカラーフィルタの例を説明したが２色或いは４色以上の場合にも適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 画像データに対応したカラーフィルタ情報を入力するカラーフィルタ情報入力手段と、
   前記カラーフィルタ情報入力手段で入力したカラーフィルタ情報に基づいて、前記画像データの着目領域として用いる画素と参照画素とを含むパラメータを決定するパラメータ決定手段と、
   前記パラメータ決定手段で決定したパラメータに基づいて前記画像データを補正する補正手段と、
   を備え、
   前記パラメータ決定手段は、
   着目画素に対応する着目領域を決定する着目領域決定手段と、
   前記着目領域決定手段で決定された着目領域と画素配置が一致するように参照領域を決定する参照領域決定手段と、
   前記参照領域決定手段で決定した参照領域の画素数に基づく補正係数を決定する補正係数決定手段とを含み、
   前記補正手段は、前記パラメータ決定手段で決定した補正係数に基づいて参照画素の重みを補正することを特徴とする画像処理装置。
2. 前記補正手段は、前記着目領域として用いる画素と前記参照画素に対応する参照領域として用いる画素との類似度に基づいて着目画素を補正することによって、前記画像データを補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記着目領域として用いる画素と、前記参照画素に対応する参照領域として用いる画素との類似度に基づいて該参照画素の重みを算出し、算出した重みを用いて着目画素を補正することによって、前記画像データを補正することを特徴とする請求項１に記載の画像処理装置。
4. 前記パラメータ決定手段は、前記カラーフィルタ情報に含まれる色毎に、異なる色間の参照画素数の差が小さくなるように参照画素を決定することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記画像データはベイヤ配列のカラーフィルタを備えた撮像装置で撮影された画像データであり、前記カラーフィルタ情報入力手段で入力するカラーフィルタ情報は前記ベイヤ配列を示すことを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 請求項１から５のいずれかに記載の画像処理装置を含む撮像装置。
7. 画像データに対応したカラーフィルタ情報を入力するカラーフィルタ情報入力ステップと、
   前記カラーフィルタ情報入力ステップで入力したカラーフィルタ情報に基づいて、前記画像データの着目領域として用いる画素と参照画素とを含むパラメータを決定するパラメータ決定ステップと、
   前記パラメータ決定ステップで決定したパラメータに基づいて前記入力した画像データを補正する補正ステップと、
   を備え、
   前記パラメータ決定ステップは、
   着目画素に対応する着目領域を決定する着目領域決定ステップと、
   前記着目領域決定ステップで決定された着目領域と画素配置が一致するように参照領域を決定する参照領域決定ステップと、
   前記参照領域決定ステップで決定した参照領域の画素数に基づく補正係数を決定する補正係数決定ステップとを含み、
   前記補正ステップは、前記パラメータ決定ステップで決定した補正係数に基づいて参照画素の重みを補正するステップを含むことを特徴とする画像処理方法。
8. コンピュータを、請求項１から５のいずれかに記載の画像処理装置として機能させるためのプログラム。

Images