JP4925198B2 - 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム - Google Patents

Description

本発明は、画像をその信号値の大きさに応じた複数のグループに分類する信号処理装置および方法、ノイズを低減する処理を行うノイズ低減装置および方法、並びに信号処理方法およびノイズ低減方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラ等に用いられるＣＣＤは高画素化、高感度化の一途をたどっているが、高感度化に伴い、撮影により取得された画像に含まれるノイズの影響が問題となってきている。このため、画像に含まれるノイズを低減するための種々の手法が提案されている。例えば、画像の各画素におけるノイズ量を推定するとともに撮影状況を推定し、撮影状況に応じて推定されたノイズを補正し、補正したノイズ量に基づいて画像のノイズを低減する手法が提案されている（特許文献１参照）。また、ＣＣＤから出力されたＣＣＤ−ＲＡＷデータをＲＧＢ各色成分に分離し、色成分間における相関を保持しつつノイズ低減処理を行う手法も提案されている（特許文献２参照）。
特開２００４-８８１４９号公報 特開２００６−６０６６０号公報

しかしながら、上記特許文献１に記載された手法では、画素毎にノイズ量を推定しているものの、スムージング処理によりノイズ量を低減するのみであるため、ノイズ量が多いとノイズを適切に低減することができない。また、特許文献２に記載された手法では、撮影感度が高感度となってノイズ量が多くなると、ノイズとエッジ等の信号との区別が付かなくなったり、色成分間の相関が小さくなるため、ノイズ低減処理により画像がぼけてしまうおそれがある。

本発明は、上記事情に鑑みなされたものであり、とくにノイズが多い場合により適切にノイズ低減処理を行うことができるようにすることを目的とする。

本発明による信号処理装置は、多数の画素のそれぞれが複数の色成分のうちの一つの色成分を持ち、該色成分の分布が規則的である画像に対して、画素配列にのみ基づく第１のノイズ低減処理を施して、第１の処理済み画像を取得する第１のノイズ低減処理手段と、
前記第１の処理済み画像を前記色成分毎に分離して複数の色成分画像を取得する色成分分離手段と、
前記各色成分画像における処理の対象となる対象画素の信号値と該対象画素の周囲の所定範囲の領域に含まれる画素の信号値とを比較し、該比較結果に応じて前記所定範囲の領域の各画素を複数のグループに分類する信号分類処理を行う信号分類手段とを備えたことを特徴とするものである。

ここで、本発明における処理の対象となる画像は、多数の画素のそれぞれが複数の色成分のうち一つの色成分を持ち、色成分の分布が規則的となっている、撮像素子から出力されたままのいわゆるＣＣＤ−ＲＡＷデータにより表されるＣＣＤ−ＲＡＷ画像である。このため、ある画素の色成分はその画素の周囲の画素の色成分とは異なるものとなる場合がある。「画素配列にのみ基づく第１のノイズ低減処理」とは、色成分の分布を考慮することなく、単にノイズを低減する対象となる画素とその周囲の画素との信号値にのみ基づいてノイズ低減処理を施すことを意味する。

ここで、第１のノイズ低減処理を行うことなく、色成分画像を上記比較結果に応じて複数のグループに分類することもできるが、多数の画素のそれぞれが複数の色成分のうち一つの色成分を持ち、色成分の分布が規則的である画像、すなわち撮像素子から出力されたままのいわゆるＣＣＤ−ＲＡＷ画像にノイズが多く含まれていると、各色成分画像における処理の対象となる対象画素の信号値と対象画素の周囲の所定範囲の領域に含まれる画素の信号値とを比較した場合に、ノイズの影響により比較結果の精度が低下するため、色成分画像を複数のグループに精度よく分類することができない。とくに、高感度で撮影を行うことにより取得したＣＣＤ−ＲＡＷ画像には非常に多くのノイズが含まれるため、分類がより困難なものとなる。

本発明においては、多数の画素のそれぞれが複数の色成分のうち一つの色成分を持ち、色成分の分布が規則的である画像、すなわち撮像素子から出力されたままのいわゆるＣＣＤ−ＲＡＷ画像に対して、画素配列にのみ基づく第１のノイズ低減処理を施すようにしたため、高感度撮影のようにＣＣＤ−ＲＡＷ画像にノイズが多く含まれる場合であっても、ＣＣＤ−ＲＡＷ画像から取得した色成分画像に含まれるノイズを低減することができる。したがって、ノイズに影響されることなく、色成分画像を比較結果に応じて複数のグループに精度よく分類することができる。

また、分類されたグループに応じて適切にノイズ低減処理を施すことができるため、ノイズが低減された高画質の画像を取得することができる。

また、画素配列にのみ基づく、すなわち色成分の分布を考慮することなく第１のノイズ低減処理を行っているため、実質的に画像に含まれる色成分のそれぞれが有するナイキスト周波数以上の帯域において第１のノイズ低減処理を行うこととなる。したがって、第１のノイズ低減処理が施された画像においては若干ボケが生じるものの、色成分毎に分離することにより取得される色成分画像においてはボケが少なくなるため、ボケに影響されることなく色成分画像を比較結果に応じて複数のグループに分類することができる。

なお、本発明による信号処理装置においては、前記信号分類手段を、前記比較結果に応じて前記所定範囲の領域の各画素を前記信号値の変化が比較的小さい平坦部のグループおよび前記信号値の変化が比較的大きい信号部のグループに分類する手段としてもよい。

また、本発明による信号処理装置においては、前記第１のノイズ低減処理を、前記画像の全画素に対するローパスフィルタによるフィルタリング処理としてもよい。

また、本発明による信号処理装置においては、前記各色成分画像の前記各画素における前記信号値の変化の方向に応じた第２のノイズ低減処理を、前記各色成分画像に対して施す第２のノイズ低減処理手段をさらに備えるものとし、
前記信号分類手段を、前記第２のノイズ低減処理が施された前記各色成分画像に前記信号分類処理を施す手段としてもよい。

「信号値の変化の方向」としては、例えば対象画素を基準とした水平方向、垂直方向、左上から右下方向および左下から右上方向の４方向を用いることができる。

この場合、前記第２のノイズ低減処理手段を、前記各色成分画像の前記各画素に対して、あらかじめ定められた複数方向にハイパスフィルタによるフィルタリング処理を施し、該フィルタリング結果に基づいて前記信号値の変化が最も小さい方向を検出し、前記信号値の変化が最も小さい方向にローパスフィルタによるフィルタリング処理を施すことにより、前記第２のノイズ低減処理を行う手段としてもよい。

これにより、信号値が変化するエッジ等と交差する方向にはローパスフィルタによるフィルタリング処理は施されないため、エッジ等をぼかすことなく画像のノイズを低減することができる。

また、この場合、前記第２のノイズ低減処理手段を、前記各色成分画像の前記各画素に対して、あらかじめ定められた複数方向に、周波数特性が異なる複数種類のハイパスフィルタによるフィルタリング処理を施すことにより複数のフィルタリング結果を取得し、該複数のフィルタリング結果に基づいて前記信号値の変化が最も小さい方向を検出し、前記信号値の変化が最も小さい方向にローパスフィルタによるフィルタリング処理を施すことにより、前記第２のノイズ低減処理を行う手段としてもよい。

ここで、画像における信号値は、グラデーションのように徐々に変化したり、エッジのように急峻に変化したり、洋服の模様のように細かく変化したりする場合があり、そのそれぞれにおいて周波数特性が異なる。このため、周波数特性が異なる複数種類のハイパスフィルタによるフィルタリング処理を施すことにより複数のフィルタリング結果を取得し、複数のフィルタリング結果に基づいて信号値の変化が最も小さい方向を検出することにより、種々の信号値の変化の態様に応じて信号値が変化する方向を検出することができる。したがって、信号値の変化が最も小さい方向をより適切に検出して、エッジ等をぼかすことなくより精度よく画像のノイズを低減することができる。

また、本発明による信号処理装置においては、前記信号分類手段を、前記対象画素の周囲の所定範囲の領域における前記信号値が比較的小さいグループに分類された画素数が所定のしきい値を超える場合にのみ、前記対象画素をノイズ低減の処理対象に設定する手段としてもよい。

「信号値が比較的小さいグループ」としては、例えば平坦部に分類されたグループが挙げられる。

本発明によるノイズ低減装置は、本発明による信号処理装置による前記信号分類処理の分類結果に基づいて、前記各色成分画像に対してノイズ低減処理を施す画像ノイズ低減手段を備えたことを特徴とするものである。

なお、本発明によるノイズ低減装置においては、前記画像ノイズ低減手段を、前記各色成分画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が前記複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対して、そのレベルに応じたノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行う手段としてもよい。

また、本発明によるノイズ低減装置においては、前記画像ノイズ低減手段を、前記対象画素のノイズ量を推定し、前記対象画素の信号値および該対象画素の周囲の所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記ノイズ量および前記統計値のいずれを使用するかを決定する手段としてもよい。

また、本発明によるノイズ低減装置においては、前記平均値を、前記所定範囲の領域における前記信号値が比較的小さいグループに分類された画素における信号値の平均値としてもよい。

本発明による信号処理方法は、多数の画素のそれぞれが複数の色成分のうちの一つの色成分を持ち、該色成分の分布が規則的である画像に対して、画素配列にのみ基づく第１のノイズ低減処理を施して、第１の処理済み画像を取得し、
前記第１の処理済み画像を前記色成分毎に分離して複数の色成分画像を取得し、
前記各色成分画像における処理の対象となる対象画素の信号値と該対象画素の周囲の所定範囲の領域に含まれる画素の信号値とを比較し、該比較結果に応じて前記所定範囲の領域の各画素を複数のグループに分類する信号分類処理を行うことを特徴とするものである。

本発明によるノイズ低減方法は、本発明による信号処理方法による前記信号分類処理の分類結果に基づいて、前記各色成分画像に対してノイズ低減処理を施すことを特徴とするものである。

なお、本発明による信号処理方法およびノイズ低減方法をコンピュータに実行させるためのプログラムとして提供してもよい。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による信号処理装置およびノイズ低減装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すようにこのデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４０に伝えるためのインターフェース部分である操作系制御部３とを有している。

撮像系６としては、撮影レンズ１０を構成するフォーカスレンズ１０ａおよびズームレンズ１０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１はＡＦ処理部３０から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部１２はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。

また、絞り１４は、モータとモータドライバとからなる絞り駆動部１５によって駆動される。この絞り駆動部１５は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。

シャッタ１６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

光学系の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。

図２はＣＣＤ１８の受光面の一部を示す図である。図２に示すように、ＣＣＤ１８は、市松状に受光素子が配置されたハニカム配列のアレイ構造を有するものであり、例えば列方向に４０９６個、行方向に１５４０個の受光素子が配置されている。したがって、このＣＣＤ１８を用いて被写体を撮像することにより、列方向４０９６画素、行方向１５４０画素の被写体像を表す画像データが取得される。なお、受光素子のそれぞれから得られる信号値が画像の画素一つ一つの信号値に対応する。

また、ＣＣＤ１８の多数の受光素子の受光面上には、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイが配置されている。図２に示すように、カラーフィルタアレイは、赤色成分（Ｒ色成分）、青色成分（Ｂ色成分）、第１の緑色成分および第２の緑色成分（第１の緑色成分と第２の緑色成分とは同じ特性でもよい：Ｇ色成分）の複数の色成分のうち、いずれかの色成分を透過する特性を有する色フィルタが受光素子に対応して配置されている。赤色成分、青色成分、第１の緑色成分または第２の緑色成分を透過するフィルタにはそれぞれ、Ｒ，Ｂ，Ｇｒ，Ｇｂの文字が付与されている。

また、図２に示すように、奇数列の受光素子の受光面上には赤色の光成分を透過するフィルタと青色の光成分を透過するフィルタとが交互に形成されている。偶数列の受光素子の受光面上には第１の緑色の光成分を透過するフィルタと第２の緑色の光成分を透過するフィルタとが交互に形成されている。

なお、ＣＣＤ１８の受光素子としては、図２に示すハニカム配列のアレイ構造を有するもののみならず、図３に示すように正方状に画素が配置されたベイヤ配列のアレイ構造を有するＣＣＤも用いることができる。図３に示すベイヤ配列のＣＣＤにおいては、奇数列の受光素子の受光面上には赤色の光成分を透過するフィルタと第１の緑色の光成分を透過するフィルタとが交互に形成されている。偶数列の受光素子の受光面上には第２の緑色の光成分を透過するフィルタと青色の光成分を透過するフィルタとが交互に形成されている。

ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、受光素子毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各受光素子において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。すなわち、ＣＣＤ−ＲＡＷデータは、受光素子の受光面上に形成されている色フィルタにしたがった色成分をもつものが一行分ずつシリアルに現れるものである。ＣＣＤ−ＲＡＷデータにより表されるＣＣＤ−ＲＡＷ画像の画素は、赤色成分、青色成分、第１の緑色成分または第２の緑色成分のいずれか一つの色成分の信号値によって表され、他の色成分の信号値は有していない。他の色成分の信号値については後述する色補間処理によって補間される。

タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。

フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。

画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。

フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。

ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいてＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。

図４は画像処理部３２の電気的構成を示すブロック図である。図４に示すように、画像処理部３２は、ノイズ低減部５０、オフセット補正部５１、ゲイン補正部５２、色補正部５３、ガンマ補正部５４および色補間処理部５５において、本画像のＣＣＤ−ＲＡＷデータに対して、ノイズ低減処理、オフセット補正処理、色補正処理、ガンマ補正処理およびＣＣＤ−ＲＡＷデータの各色成分を補間する色補間処理を行う。そして、ＹＣ処理部５６において色成分が補間されたＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。

なお、第１の実施形態の特徴はノイズ低減部５０において行われる処理にあるが、ノイズ低減部５０において行われる処理については後述する。

ここで本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。

圧縮／伸長処理部３３は、画像処理部３２によって処理が行われた本画像のＣＣＤ−ＲＡＷデータに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部３３は、再生モードの場合には、記録メディア３５から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データはモニタ２８に出力され、画像データの画像が表示される。

メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４０が実行するプログラム等を記憶する。

ＣＰＵ４０は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。

第１の実施形態によるデジタルカメラ１は以上の構成により、撮影によりＣＣＤ１８が取得したＣＣＤ−ＲＡＷデータに対して画像処理部３２が画像処理を施し、さらに圧縮／伸長処理部３３が処理済みの画像データを圧縮し、さらにメディア制御部３４が圧縮された画像データを記録メディア３５に記録する。

次いで、第１の実施形態において行われるノイズ低減処理について詳細に説明する。図５は第１の実施形態におけるノイズ低減部５０の構成を示す概略ブロック図である。なお、本実施形態においては、ＣＣＤ−ＲＡＷデータの色成分のうち緑の色成分は、第１および第２の色成分Ｇｒ，Ｇｂからなるが、以降の説明においては色成分Ｇｒ，Ｇｂは同一の色成分として扱うものとする。図５に示すようにノイズ低減部５０は、入力されたＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）をＲＧＢ各色成分に分離して色成分画像Ｒ，Ｇ，Ｂを取得する第１の色成分分離部６１と、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）に対してプレフィルタリング処理（第１のノイズ低減処理）を施すプレフィルタリング部６２（第１のノイズ低減処理手段）と、プレフィルタリング処理後のＣＣＤ−ＲＡＷデータをＲＧＢそれぞれの色成分に分離して色成分画像ＲＬ，ＧＬ，ＢＬを取得する第２の色成分分離部６３と、色成分画像ＲＬ，ＧＬ，ＢＬに後述するように信号分類処理を施す信号分類部６４と、信号分類部６４による分類結果に基づいて、色成分画像Ｒ，Ｇ，Ｂに対してノイズ低減処理を施してノイズ低減処理済みの色成分画像Ｒｓ，Ｇｓ，Ｂｓを取得する処理部６５（画像ノイズ低減手段）と、色成分画像Ｒｓ，Ｇｓ，Ｂｓからノイズ低減処理済みのＣＣＤ−ＲＡＷデータ（ＣＣＤ−ＲＡＷ′）を生成する合成部６６とを備える。

以下、第１の色成分分離部６１、プレフィルタリング部６２、第２の色成分分離部６３、信号分類部６４および処理部６５の機能について、図６に示すフローチャートに基づいて説明する。上述したように本撮影が行われ、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）が画像処理部３２のノイズ低減部５０に入力されることにより処理が開始され、まず、第１の色成分分離部６１がＣＣＤ−ＲＡＷデータをＲＧＢ各色成分に分離して色成分画像Ｒ，Ｇ，Ｂを取得する（ステップＳＴ１）。一方、プレフィルタリング部６２がＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）に対してプレフィルタリング処理を施す（ステップＳＴ２）。

プレフィルタリング処理は、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）の画素配列にのみ基づき、各画素の色の分布を考慮することなく、処理対象となる対象画素および対象画素の周囲の画素に対してローパスフィルタによりフィルタリングを行う処理である。ここで、ローパスフィルタとしては、例えば処理対象となる対象画素および対象画素の周囲の４つの画素の信号値を平均または重みづけ平均するローパスフィルタを用いることができる。

なお、ＣＣＤ１８が図２に示すハニカム配列のアレイ構造を有する場合において、対象画素の色成分がＧであるとすると、プレフィルタリング処理は図７（ａ）、（ｂ）に示すように対象画素の右上、右下、左下および左上に位置するＢの色成分の画素の信号値およびＲの色成分の画素の信号値を用いたフィルタリング処理となる。また、対象画素の色成分がＲまたはＢであるとすると、プレフィルタリング処理は図７（ｃ）、（ｄ）に示すように対象画素の右上、右下、左下および左上に位置するＧの色成分の画素の信号値を用いたフィルタリング処理となる。

一方、ＣＣＤ１８が図３に示すベイヤ配列のアレイ構造を有する場合において、対象画素の色成分がＧであるとすると、プレフィルタリング処理は図８（ａ）、（ｂ）に示すように対象画素の上下左右に位置するＢの色成分の画素の信号値およびＲの色成分の画素の信号値を用いたフィルタリング処理となる。また、対象画素の色成分がＲまたはＢであるとすると、プレフィルタリング処理は図８（ｃ）、（ｄ）に示すように対象画素の上下左右に位置するＧの色成分の画素の信号値を用いたフィルタリング処理となる。

なお、ＣＣＤ１８がハニカム配列の場合のプレフィルタリング処理を下記の式（１）〜（３）に、ベイヤ配列の場合のプレフィルタリング処理を式（４）〜（６）に示す。なお、式（１）〜（６）において(0,0)は対象画素の座標を、(i,j)（ｉ，ｊ＝−１〜１、ｉは水平方向、ｊは垂直方向を表す）は対象画素の周囲の画素の座標をそれぞれ表す。またａはローパスフィルタのフィルタ係数である。また、式（２）は図７（ｂ）の処理に、式（５）は図８（ｂ）の処理にそれぞれ対応する。

RL_0,0=(a_-1,-1*G_-1,-1+a_-1,1*G_-1,1+a_1,-1*G_1,-1+a_1,1*G_1,1+a_0,0*R_0,0)/(a_-1,-1+a_-1,1+a_1,-1+a_1,1+a_0,0) (1)
GL_0,0=(a_-1,-1*R_-1,-1+a_-1,1*B_-1,1+a_1,-1*B_1,-1+a_1,1*R_1,1+a_0,0*G_0,0)/(a_-1,-1+a_-1,1+a_1,-1+a_1,1+a_0,0) (2)
BL_0,0=(a_-1,-1*G_-1,-1+a_-1,1*G_-1,1+a_1,-1*G_1,-1+a_1,1*G_1,1+a_0,0*B_0,0)/(a_-1,-1+a_-1,1+a_1,-1+a_1,1+a_0,0) (3)
RL_0,0=(a_-1,0*G_-1,0+a_0,-1*G_0,-1+a_1,0*G_1,0+a_0,1*G_0,1+a_0,0*R_0,0)/(a_-1,0+a_0,-1+a_1,0+a_0,1+a_0,0) (4)
GL_0,0=(a_-1,0*B_-1,0+a_0,-1*R_0,-1+a_1,0*B_1,0+a_0,1*R_0,1+a_0,0*G_0,0)/(a_-1,0+a_0,-1+a_1,0+a_0,1+a_0,0) (5)
BL_0,0=(a_-1,0*G_-1,0+a_0,-1*G_0,-1+a_1,0*G_1,0+a_0,1*G_0,1+a_0,0*B_0,0)/(a_-1,0+a_0,-1+a_1,0+a_0,1+a_0,0) (6)
このようにプレフィルタリング処理を行うことにより、ＣＣＤ−ＲＡＷデータに含まれるランダムなノイズをある程度低減することができることとなる。

なお、本実施形態においては、色補間処理を行う前のＣＣＤ−ＲＡＷデータに対してプレフィルタリング処理を施しているが、これはＣＣＤ−ＲＡＷデータに含まれるノイズの空間的なランダム性が保たれているからである。すなわち、ＣＣＤ−ＲＡＷデータに色補間処理を施した後では、各色成分画像においてノイズのランダム性が失われてしまうため、プレフィルタリング処理を行ってもノイズを低減することができない。したがって、本実施形態においては、色補間処理を行う前にプレフィルタリング処理を行っているものである。

次いで、第２の色成分分離部３がＣＣＤ−ＲＡＷデータ（ＲＬ，ＧＬ，ＢＬ）をＲＧＢ各色成分からなる色成分画像ＲＬ，ＧＬ，ＢＬに分離する（ステップＳＴ３）。

図９は色成分の分離を説明するための図である。本実施形態においてはＣＣＤ−ＲＡＷデータ（ＲＬ，ＧＬ，ＢＬ）によって表される画像の画素配列が、ＲＧＢ各色成分のみからなる画像を表すようにＣＣＤ−ＲＡＷデータが各色成分に分離されて色成分画像ＲＬ，ＧＬ，ＢＬが取得される。

そして、信号分類部６４が信号分類処理を行う。信号分類処理は、各色成分画像ＲＬ，ＧＬ，ＢＬの列方向および行方向にそれぞれ９×９＝８１画素のノイズ低減の処理対象領域ＢＡを設定し、処理対象領域ＢＡ内の各画素の信号値に基づいて処理対象領域ＢＡの全画素を、信号値の変化が小さい平坦部および信号値の変化が大きい信号部に分類する処理である。なお、処理対象領域ＢＡのサイズは８１画素に限定されるものではない。

図１０は信号分類処理のフローチャートである。なお、色成分画像ＲＬ，ＧＬ，ＢＬに対する信号分類処理は同一であるため、ここでは緑の色成分画像ＧＬに対する信号分離処理についてのみ説明する。信号分類処理の対象となる対象画素を最初の画素に設定し（ステップＳＴ１１）、対象画素を中心とする９×９＝８１画素の処理対象領域ＢＡ内において、処理対象領域ＢＡ内の一の画素（判定対象画素）(i,j)を最初の画素に設定し（ステップＳＴ１２）、判定対象画素(i,j)の信号値ＧＬ(i,j)と処理対象領域ＢＡの中央にある対象画素(5,5)の信号値ＧＬ(5,5)との差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜が、所定の領域判定しきい値Ｔｈ１を超えるか否かを判定する（ステップＳＴ１３）。なお、処理対象領域ＢＡの座標は左上隅を(1,1)としている。また、差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜に代えて、信号値ＧＬ(i,j)と信号値ＧＬ(5,5)との比率を用いてもよい。

ステップＳＴ１３が否定されると、判定対象画素(i,j)は対象画素(5,5)との間で相関性を有すると考えられるため、判定対象画素(i,j)を信号値の変化が小さい平坦部のグループに分類し（ステップＳＴ１４）、平坦部のグループに分類された画素の数ｋのカウントを１増やす（ステップＳＴ１５）。なお、ｋの初期値は対象画素(5,5)が基準となることから１である。

一方、ステップＳＴ１３が肯定されると、判定対象画素(i,j)は中央の対象画素(5,5)との間で相関性を有しないと考えられるため、判定対象画素(i,j)を平坦部のグループではなく、対象画素(5,5)との信号値の差が大きい信号部に分類する（ステップＳＴ１６）。

ステップＳＴ１５，ＳＴ１６に続いて、処理対象領域ＢＡ内のすべての画素について分類を終了したか否かを判定し（ステップＳＴ１７）、ステップＳＴ１７が否定されると、判定対象画素を次の画素に設定し（ステップＳＴ１８）、ステップＳＴ１３に戻ってステップＳＴ１３以降の処理を繰り返す。

これにより、図１１（ａ）に示す９×９＝８１画素の処理対象領域ＢＡが、図１１（ｂ）に示すように中央の対象画素（斜線を付与して示す）を基準とした太線で囲んだ平坦部とそれ以外の信号部とに分類される。なお、図１１（ｂ）に示す平坦部の画素数は５６である。なお、平坦部に分類された画素については平坦部であることを表すために、色成分画像ＲＬ，ＧＬ，ＢＬおよび色成分画像Ｒ，Ｇ，Ｂにおいて参照符号をＭＧとしている。なお、色成分画像ＲＬ，ＢＬにおいて平坦部に分類された画素については参照符号をＭＲ，ＭＢとする。また、平坦部に分類された画素の信号値についても参照符号ＭＲ，ＭＧ，ＭＢを用いる場合があるものとする。

そして、ステップＳＴ１７が肯定されると、処理対象領域ＢＡ内において、平坦部のグループに分類された画素ＭＧの数ｋが所定の処理判定しきい値Ｔｈ２を超えるか否かを判定する（ステップＳＴ１９）。ステップＳＴ１９が肯定されると、対象画素を後段のノイズ低減処理の対象に設定し（ステップＳＴ２０）、処理対象領域ＢＡ内における平坦部の画素ＭＧの位置およびｋを出力する（ステップＳＴ２１）。一方、ステップＳＴ１９が否定されると、対象画素をノイズ低減処理の対象から除外する（ステップＳＴ２２）。

ここで、対象画素の周囲の処理対象領域ＢＡ内において信号値の変化が小さい場合には、ｋの値は比較的大きくなりしきい値Ｔｈ２を超えるため、対象画素はノイズが目立つ平坦部に存在する可能性が高いことから、ノイズ低減処理の対象に設定される。逆に対象画素の周囲の処理対象領域ＢＡ内において、エッジや細かな模様が存在すると信号値の変化が大きくなるため、ｋの値は比較的小さくなりしきい値Ｔｈ２以下となる。このような場合、対象画素に対してノイズ低減処理を施すとエッジや細かな模様がぼけてしまうことから、対象画素はノイズ低減処理の対象から除外される。

ステップＳＴ２１，ＳＴ２２に続いて、色成分画像ＧＬのすべての画素について分類を終了したか否かを判定し（ステップＳＴ２３）、ステップＳＴ２３が否定されると、対象画素を次の画素に設定し（ステップＳＴ２４）、ステップＳＴ１２に戻り、ステップＳＴ１２以降の処理を繰り返す。ステップＳＴ２３が肯定されると、信号分類処理を終了する。

図６に戻り、信号分類処理に続いて処理部６５が色成分画像Ｒ，Ｇ，Ｂに対してノイズ低減処理を施す（ステップＳＴ５）。図１２はノイズ低減処理のフローチャートである。なお、色成分画像Ｒ，Ｇ，Ｂに対するノイズ低減処理は同一であるため、ここでは緑の色成分画像Ｇに対するノイズ低減処理についてのみ説明する。ノイズ低減処理の対象となる対象画素を最初の画素に設定し（ステップＳＴ３１）、対象画素が上記信号分類処理によりノイズ低減処理の対象に設定されているか否かを判定する（ステップＳＴ３２）。ステップＳＴ３２が否定されると後述するステップＳＴ３９に進む。

ステップＳＴ３２が肯定されると、下記の式（７）および（８）により、信号分類処理と同様のサイズを有する処理対象領域ＢＡ内における平坦部に分類された画素ＭＧの信号値の平均値ＭＧｍを算出するとともに（ステップＳＴ３３）、処理対象領域ＢＡ内の信号値に基づくノイズ量を表す分散値（ノイズを表す統計値）σ² _MGを算出する（ステップＳＴ３４）。

なお、式（７）において、ｗijは信号値ＭＧ(i,j)に対する重み係数を示す。また、式（７）、（８）においてΣはｋ個の信号値ＭＧ(i,j)をすべて加算することを示している。また、式（７）、（８）において算出しているのは色成分画像Ｇの平均値および分散値であり、色成分画像ＧＬの平均値および分散値ではない。

一方、処理部６５は、ステップＳＴ３３において算出した平均値ＭＧｍを用いて、処理対象領域ＢＡ内のノイズ量を推定する（ステップＳＴ３５）。具体的には、下記の式（９）に示すように、推定されたノイズ量を表すノイズ分散値σ² _nMGを算出する。ここで、式（９）において、Ａ，Ｂ，ＣはＣＣＤ１８に固有のダークノイズ、光ショットノイズおよび固定パターンノイズにより決定される係数である。また、式（９）のoffsetとは、ＣＣＤ１８のオフセット値である。なお、式（８）により算出した分散値σ² _MGについては、式（９）により算出したノイズ分散値σ² _nMGと区別するために、信号分散値と称するものとする。

次いで、処理部６５は信号分散値σ² _MGに対するノイズ分散値σ² _nMGの比率σ² _MG／σ² _nMGが所定のしきい値Ｔｈ３未満であるか否かを判定する（ステップＳＴ３６）。ここで、上述した信号分類処理が適切に行われていれば、信号分散値σ² _MGとノイズ分散値σ² _nMGとは略等しくなるため、上記比率σ² _MG／σ² _nMGは１に近い値となる。一方、上述した信号分類処理においては、プレフィルタリング処理によりある程度ノイズが低減された色成分画像ＲＬ，ＧＬ，ＢＬを用いているため、信号分類処理により対象画素が平坦部に分類された場合であっても、プレフィルタリング処理が施されていないノイズ低減処理の対象となっている色成分画像Ｒ，Ｇ，Ｂにはエッジや細かな模様が含まれている可能性がある。このような場合、信号分散値σ² _MGはノイズ分散値σ² _nMGよりも大きくなるため、上記比率σ² _MG／σ² _nMGは大きくなる。

このため、ステップＳＴ３６が肯定された場合、対象画素は平坦部にあるとみなせることから、下記の式（１０）においてσ^２ _ＸＧ＝信号分散値σ² _MGとして対象画素のノイズを低減する（ステップＳＴ３７）。一方、ステップＳＴ３６が否定された場合、対象画素は信号部である可能性が高いため、下記の式（１０）においてσ^２ _ＸＧ＝ノイズ分散値σ² _nMGとして対象画素のノイズを低減する（ステップＳＴ３８）。なお、式（１０）において、αはノイズ低減の程度を決定するための係数であり、０≦α≦１である。

式（１０）において、対象画素の画素値Ｇから平均値ＭＧｍを減算することにより、処理対象領域ＢＡ内の画素の信号値がＧの色成分を座標系にもつ色空間の原点位置にシフトされ、シフトされた対象画素に対して（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧが乗算される。そして、乗算後に平均値ＭＧｍを加算することにより、対象画素の信号値が元の信号値に相当するレベルに戻される。ここで、（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧは０〜１の間の値をとるため、処理済みの対象画素の画素値Ｇｓは処理前の画素値Ｇと平均値ＭＧｍとの間の値をとることとなる。

したがって、例えばα＝１であるとすると、比率σ² _MG／σ² _nMGが所定のしきい値Ｔｈ３未満である場合、σ^２ _ＸＧ＝信号分散値σ² _MGとなって、（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧは０となるため、処理済みの対象画素の信号値Ｇｓは平均値ＭＧｍとなる。一方、比率σ² _MG／σ² _nMGが所定のしきい値Ｔｈ３以上である場合、σ^２ _ＸＧ＝ノイズ分散値σ² _nMGとなり、σ² _MG＞＞σ² _nMGであることから（σ^２ _ＭＧ−α・σ^２ _ＸＧ）／σ^２ _ＭＧはより１に近い値となるため、処理済みの対象画素の信号値Ｇｓは処理前の信号値Ｇにより近い値となる。

次いで、すべての画素についてノイズ低減処理を終了したか否かを判定し（ステップＳＴ３９）、ステップＳＴ３９が否定されると対象対象を次の画素に設定し（ステップＳＴ４０）、ステップＳＴ３２に戻りステップＳＴ３２以降の処理を繰り返す。ステップＳＴ３９が肯定されるとノイズ低減処理を終了する。

図６に戻り、合成部６６が処理済みの色成分画像Ｒｓ，Ｇｓ，Ｂｓを合成して処理済みのＣＣＤ−ＲＡＷデータ（ＣＣＤ−ＲＡＷ′）を生成し（ステップＳＴ６）、ノイズ低減処理を終了する。ノイズ低減処理済みのＣＣＤ−ＲＡＷデータは、オフセット補正部５１、ゲイン補正部５２、色補正部５３、ガンマ補正部５４および色補間処理部５５において、オフセット補正処理、色補正処理、ガンマ補正処理およびＣＣＤ−ＲＡＷデータの各色成分を補間する色補間処理が施される。そして、ＹＣ処理部５６において色成分が補間されたＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換される。

そして、圧縮／伸長処理部３３が、画像処理部３２によって処理が行われたＣＣＤ−ＲＡＷデータに対して、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。生成された画像ファイルはメディア制御部３４により記録メディア３５に記録される。

このように、第１の実施形態においては、信号分離処理を行うに際し、ＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂ）に対してプレフィルタリング処理を施してある程度のノイズを低減するようにしたものである。ここで、プレフィルタリング処理を行うことなく、処理対象領域ＢＡ内の画素を平坦部および信号部に分類することもできる。しかしながら、ＣＣＤ−ＲＡＷデータにより表されるＣＣＤ−ＲＡＷ画像にノイズが多く含まれていると、各色成分画像Ｒ，Ｇ，Ｂにおける処理の対象となる対象画素の信号値と処理対象領域ＢＡの各画素の信号値とを比較した場合に、ノイズの影響により比較結果に差異が生じないことから、処理対象領域ＢＡの画素を平坦部および信号部に精度良く分類することができない。とくに、高感度で撮影を行うことにより取得したＣＣＤ−ＲＡＷ画像には非常に多くのノイズが含まれるため、平坦部および信号部への分類がより困難なものとなる。

第１の実施形態においては、ＣＣＤ−ＲＡＷデータに対してプレフィルタリング処理を施すようにしたため、高感度撮影のようにＣＣＤ−ＲＡＷ画像にノイズが多く含まれる場合であっても、ＣＣＤ−ＲＡＷデータから取得した色成分画像Ｒ，Ｇ，Ｂに含まれるノイズを低減することができる。したがって、ノイズに影響されることなく、精度良く処理対象領域ＢＡ内の画素を平坦部および信号部に分類することができる。

また、ＣＣＤ−ＲＡＷデータに対して、画素配列にのみ基づく、すなわち色成分の分布を考慮することなくプレフィルタリング処理を行っているため、実質的に画像に含まれる色成分のそれぞれが有するナイキスト周波数以上の帯域においてノイズが低減されることとなる。したがって、プレフィルタリング処理が施された画像においては若干ボケが生じるものの、色成分毎に分離することにより取得される色成分画像ＲＬ，ＧＬ，ＢＬにおいてはボケが少なくなるため、ボケに影響されることなく処理対象領域ＢＡ内の画素を比較結果に応じて平坦部および信号部に分類することができる。

ところで、画像の平坦部においては信号の変化がないまたは非常に少ないため、対象画素が平坦部に分類された場合、信号分散値σ² _MGはノイズの分散を表すものとなることから、信号分散値σ² _MGとノイズ分散値σ² _nMGとは理想的には一致する。しかしながら、ノイズ分散値σ² _nMGは上述した式（９）により算出したノイズ量を推定した値であるのに対し、信号分散値σ² _MGは、実際の信号値に基づいて画像上のある限られた範囲において算出される分散値であるため、画像上において信号分散値σ² _MGとノイズ分散値σ² _nMGとが一致しない部分が生じる場合がある。このような場合、ノイズ分散値σ² _nMGのみを用いて上記式（１０）の演算によりノイズ低減処理を行うと、信号分散値σ² _MGとノイズ分散値σ² _nMGとが一致しない部分の影響により、画像の平坦部に斑が生じてしまうおそれがある。

一方、上述した信号分類処理においては、プレフィルタリング処理によりある程度ノイズが低減された色成分画像ＲＬ，ＧＬ，ＢＬを用いているため、信号分類処理により対象画素が平坦部に分類された場合であっても、プレフィルタリング処理が施されていないノイズ低減処理の対象となっている色成分画像Ｒ，Ｇ，Ｂにはエッジや細かな模様が含まれている可能性がある。このような場合、信号分散値σ² _MGの値が大きくなるため、信号分散値σ² _MGのみを用いて式（１０）の演算を行ったのでは、エッジや細かな模様がぼけてしまうおそれがある。

ここで、信号分散値σ² _MGとノイズ分散値σ² _nMGとが略等しい、すなわち推定されたノイズ量と実測したノイズ量とが略等しい場合には、上記比率σ² _MG／σ² _nMGは１に近い値となる。この場合、第１の実施形態においては、対象画素は平坦部にあると見なして実測したノイズ量すなわち信号分散値σ² _MGを用いて式（１０）の演算を行っているため、斑を生じさせることなく平坦部のノイズを適切に低減することができる。一方、プレフィルタリング処理の影響によりノイズが低減されすぎてしまうと、信号分散値σ² _MGはノイズ分散値σ² _nMGよりも大きくなるため、上記比率σ² _MG／σ² _nMGは大きくなる。この場合、信号分散値σ² _MGとノイズ分散値σ² _nMGとの比率σ² _MG／σ² _nMGはしきい値Ｔｈ３以上となり、対象画素は信号部にあると見なせるため、式（１０）においてσ^２ _ＸＧ＝ノイズ分散値σ² _nMGとすることにより、エッジや細かな模様がぼけることがなくなる。したがって、エッジや細かな模様をぼかすことなく、さらには平坦部に斑を生じさせることなくノイズを低減することができる。

また、信号分類処理において、信号部に分類された画素についてはノイズ低減処理の対象から除外しているため、エッジや細かな模様をぼかすことなくノイズを低減することができる。

なお、上記第１の実施形態においては、判定対象画素(i,j)の信号値と中央の対象画素(5,5)の信号値との差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜が、所定の領域判定しきい値Ｔｈ１を超えるか否かを判定しているが、例えば、２つのしきい値Ｔｈ１、Ｔｈ１′（Ｔｈ１＞Ｔｈ１′）を設定し、差の絶対値｜ＧＬ(i,j)−ＧＬ(5,5)｜がＴｈ１′未満であるか、Ｔｈ１′以上Ｔｈ１未満であるか、あるいはＴｈ１を超えるか否かを判定して、判定対象画素ＧＬ(i,j)を複数のグループに分類するようにしてもよい。具体的には、｜ＧＬ(i,j)−ＧＬ(5,5)｜＜Ｔｈ１′の場合には判定対象画素ＧＬ(i,j)を平坦部のグループに、Ｔｈ１′≦｜ＧＬ(i,j)−ＧＬ(5,5)｜＜Ｔｈ１の場合には、平坦部と信号部との中間のグループに、Ｔｈ１＜｜ＧＬ(i,j)−ＧＬ(5,5)｜の場合には信号部のグループに分類するようにしてもよい。この場合、平坦部に分類された画素の数ｋのカウントは、中間のグループに分類された画素についてはｋ＝１／２とみなしてｋのカウントに加えればよい。

また、上記第１の実施形態においては、信号分類部６４において色成分画像ＲＬ，ＧＬ，ＢＬの全画素について分類を行った後に処理部６５においてノイズ低減処理を行っているが、信号分類部６４における信号分類処理の結果を順次出力して、処理部６５において対象画素に対して順次ノイズ低減処理を行うようにしてもよい。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては第１の実施形態におけるノイズ低減部の構成のみが異なるため、以降の説明においては第１の実施形態との相違点についてのみ説明する。図１３は第２の実施形態におけるノイズ低減部の構成を示す概略ブロック図である。ここで図１３において図５と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態によるノイズ低減部５０Ａは、第２の色成分分離部６３と信号分類部６４との間に勾配判別フィルタリング部６７を備えた点が第１の実施形態と異なる。

勾配判別フィルタリング部６７は、第２の色成分分離部６３が出力した色成分画像ＲＬ，ＧＬ，ＢＬを入力とし、色成分画像ＲＬ，ＧＬ，ＢＬの全画素について、水平方向（Ｈ方向とする）、垂直方向（Ｖ方向とする）、右上から左下方向（ＮＥ方向とする）および左上から右下方向（ＮＷ方向とする）の４方向のうち、信号値の変化が最も小さい方向を検出し、信号値の変化が最も小さい方向に対してローパスフィルタによるフィルタリング処理を行うものである。

図１４は第２の実施形態において勾配判別フィルタリング部６７が行う処理の概念図である。図１４に示すように勾配判別フィルタリング部６７は、ハイパスフィルタ部（Ｈ−ｐａｓｓ）７０Ａ〜７０Ｄにより色成分画像ＲＬ，ＧＬ，ＢＬの各画素に対してＨ、Ｖ、ＮＥおよびＮＷ方向にそれぞれハイパスフィルタによるフィルタリング処理を施し、絶対値演算部（Ａｂｓ）７１Ａ〜７１Ｄによりその絶対値を勾配の評価値Ｑ＿Ｈ，Ｑ＿Ｖ，Ｑ＿ＮＥ，Ｑ＿ＮＷとして算出する。

ここで、ＣＣＤ１８が図２に示すハニカム配列のアレイ構造を有する場合において、ハイパスフィルタによるフィルタリング処理（以下ハイパスフィルタリング処理とする）は図１５（ａ）に示すように中央に位置する対象画素に隣接するすべての画素を用いたフィルタリング処理となる。また、ＣＣＤ１８が図３に示すベイヤ配列のアレイ構造を有する場合において、ハイパスフィルタによるフィルタリング処理は図１５（ｂ）に示すように対象画素に隣接するすべての画素を用いたフィルタリング処理となる。

なお、ＣＣＤ１８がハニカム配列の場合のハイパスフィルタリング処理を下記の式（１１）〜（１４）、ベイヤ配列の場合のハイパスフィルタリング処理を式（１５）〜（１８）に示す。なお、式（１１）〜（１８）において（０，０）は対象画素の座標を、（ｉ，ｊ）（ｉ，ｊ＝−２〜２、ｉは水平方向、ｊは垂直方向を表す）は対象画素の周囲の画素の座標をそれぞれ表す。またｂはハイパスフィルタのフィルタ係数である。また、ハイパスフィルタとしては、例えば(b_-1,b₀,b₁)=(-1,0,1)の１次微分フィルタや(b_-1,b₀,b₁)=(-1,2,-1)の２次微分フィルタを用いることができる。また、ここでは緑の色成分についてのみ説明するが、赤および青の色成分に対しても同様に処理を行えばよい。

Q_H=|b_-1*GL_-2,0+b₀*GL_0,0+b₁*GL_2,0| (11)
Q_V=|b_-1*GL_0,-2+b₀*GL_0,0+b₁*GL_0,2| (12)
Q_NE=|b_-1*GL_-1,1+b₀*GL_0,0+b₁*GL_1,-1| (13)
Q_NW=|b_-1*GL_-1,-1+b₀*GL_0,0+b₁*GL_1,1| (14)
Q_H=|b_-1*GL_-1,0+b₀*GL_0,0+b₁*GL_1,0| (15)
Q_V=|b_-1*GL_0,-1+b₀*GL_0,0+b₁*GL_0,1| (16)
Q_NE=|b_-1*GL_-1,1+b₀*GL_0,0+b₁*GL_1,-1| (17)
Q_NW=|b_-1*GL_-1,-1+b₀*GL_0,0+b₁*GL_1,1| (18)
そしてセレクタ７２において、評価値Ｑ＿Ｈ，Ｑ＿Ｖ，Ｑ＿ＮＥ，Ｑ＿ＮＷのうち最も値が小さい評価値を算出した方向を対象画素における信号値の変化が最も小さい方向であると判定し、ローパスフィルタ部（Ｌ−Ｐａｓｓ）７３により、信号値の変化が最も小さい方向に対してローパスフィルタによるフィルタリング処理を行い、処理済みの色成分画像ＲＬＰ，ＧＬＰ，ＢＬＰを出力する。式（１９）〜（２２）はＣＣＤ１８がハニカム配列の場合のＨ、Ｖ、ＮＥおよびＮＷ各方向におけるローパスフィルタリング処理を、式（２３）〜（２６）はＣＣＤ１８がベイヤ配列の場合のＨ、Ｖ、ＮＥおよびＮＷ各方向におけるローパスフィルタリング処理を示す。

GLP_0,0_H=(c_-1*GL_-2,0+c₀*GL_0,0+c₁*GL_2,0+1.5)/3 (19)
GLP_0,0_V=(c_-1*GL_0,-2+c₀*GL_0,0+c₁*GL_0,2+1.5)/3 (20)
GLP_0,0_NE=(c_-1*GL_-1,1+c₀*GL_0,0+c₁*GL_1,-1+1.5)/3 (21)
GLP_0,0_NW=(c_-1*GL_-1,-1+c₀*GL_0,0+c₁*GL_1,1+1.5)/3 (22)
GLP_0,0_H=(c_-1*GL_-1,0+c₀*GL_0,0+c₁*GL_1,0+1.5)/3 (23)
GLP_0,0_V=(c_-1*GL_0,-1+c₀*GL_0,0+c₁*GL_0,1+1.5)/3 (24)
GLP_0,0_NE=(c_-1*GL_-1,1+c₀*GL_0,0+c₁*GL_1,-1+1.5)/3 (25)
GLP_0,0_NW=(c_-1*GL_-1,-1+c₀*GL_0,0+c₁*GL_1,1+1.5)/3 (26)
ここで、式（１９）〜式（２６）において１．５を加算しているのは、３で除算する際に四捨五入の効果を付与するためである。なお、ｃはローパスフィルタのフィルタ係数であり、例えば(c_-1,c₀,c₁)=(1,1,1)を用いる。

上記のように勾配判別フィルタリング部６７において取得された色成分画像ＲＬＰ，ＧＬＰ，ＢＬＰは信号分類部６４に入力され、上記第１の実施形態と同様に信号分類処理およびノイズ低減処理が行われる。

ここで、上述したようにプレフィルタリング処理を行うことにより、ＣＣＤ−ＲＡＷデータに含まれるノイズをある程度低減することができる。しかしながら、とくに非常に高感度撮影を行った場合のように、ＣＣＤ−ＲＡＷデータにより多くのノイズが含まれると、プレフィルタリング処理を行ってもノイズを低減することができず、その結果、信号分離処理を精度良く行うことができなくなる。この場合、プレフィルタリング処理を行う際に、よりボケの程度を大きくすることが考えられるが、ボケを大きくするとＣＣＤ−ＲＡＷデータに含まれるエッジ等もぼけてしまうため、やはり信号分離処理を精度良く行うことができない。

第２の実施形態においては、プレフィルタリング処理後の色成分画像ＲＬ，ＧＬ，ＢＬについて、信号値の変化が最も小さい方向を検出し、信号値の変化が最も小さい方向に対してローパスフィルタによるフィルタリング処理を行うようにしたものである。このため、色成分画像ＲＬ，ＧＬ，ＢＬをさらにぼかすこととなるが、ぼかす方向はエッジとは交差しない方向となるため、エッジをぼかすことなくノイズのみを低減することができる。したがって、エッジをぼかすことなくノイズのみを低減することができ、その結果、とくに高感度撮影を行った場合において、後のノイズ低減処理に必要な信号分離処理を精度良く行うことができる。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態においては第２の実施形態における勾配判別フィルタリング処理部の構成のみが異なるため、以降の説明においては第２の実施形態との相違点についてのみ説明する。

第２の実施形態における勾配判別フィルタリング部６７は、勾配の評価値Ｑ＿Ｈ，Ｑ＿Ｖ，Ｑ＿ＮＥ，Ｑ＿ＮＷの算出に１種類のハイパスフィルタのみを用いているが、第３の実施形態における勾配判別フィルタリング処理部６８は、周波数特性が異なる２種類のハイパスフィルタを用いて勾配の評価値Ｑ＿Ｈ，Ｑ＿Ｖ，Ｑ＿ＮＥ，Ｑ＿ＮＷを算出するようにしたものである。

図１６は第３の実施形態における勾配判別フィルタリング処理部６８の処理の概念図である。図１６に示すように勾配判別フィルタリング部６８は、第１のハイパスフィルタ部（Ｈ−ｐａｓｓ１）７５Ａ〜７５Ｄにより色成分画像ＲＬ，ＧＬ，ＢＬの各画素に対してＨ、Ｖ、ＮＥおよびＮＷ方向にそれぞれ第１のハイパスフィルタによるフィルタリング処理を施し、絶対値演算部（Ａｂｓ）７６Ａ〜７６Ｄによりその絶対値を第１の勾配の評価値Ｑ＿Ｈ１，Ｑ＿Ｖ１，Ｑ＿ＮＥ１，Ｑ＿ＮＷ１として算出する。また、第２のハイパスフィルタ部（Ｈ−ｐａｓｓ２）７７Ａ〜７７Ｄにより色成分画像ＲＬ，ＧＬ，ＢＬの各画素に対してＨ、Ｖ、ＮＥおよびＮＷ方向にそれぞれ第２のハイパスフィルタによるフィルタリング処理を施し、絶対値演算部（Ａｂｓ）７８Ａ〜７８Ｄによりその絶対値を第２の勾配の評価値Ｑ＿Ｈ２，Ｑ＿Ｖ２，Ｑ＿ＮＥ２，Ｑ＿ＮＷ２として算出する。

そして加算部７９Ａ〜７９Ｄにより、第１および第２の勾配の評価値Ｑ＿Ｈ１，Ｑ＿Ｖ１，Ｑ＿ＮＥ１，Ｑ＿ＮＷ１およびＱ＿Ｈ２，Ｑ＿Ｖ２，Ｑ＿ＮＥ２，Ｑ＿ＮＷ２を下記の式（２７）〜（３０）に示すように重み付け加算して、最終的な評価値Ｑ＿Ｈ，Ｑ＿Ｖ，Ｑ＿ＮＥ，Ｑ＿ＮＷを算出する。

Q_H=(w*Q_H1+(1-w)*Q_H2+1)/2 (27)
Q_V=(w*Q_V1+(1-w)*Q_VH2+1)/2 (28)
Q_NE=(w*Q_NE1+(1-w)*Q_NE2+1)/2 (29)
Q_NW=(w*Q_NW1+(1-w)*Q_NW2+1)/2 (30)
ここで、式（２７）〜式（３０）において１を加算しているのは、２で除算する際に四捨五入の効果を付与するためである。

そしてセレクタ８０において、評価値Ｑ＿Ｈ，Ｑ＿Ｖ，Ｑ＿ＮＥ，Ｑ＿ＮＷのうち最も値が小さい評価値を算出した方向を対象画素における信号値の変化が最も小さい方向であると判定し、ローパスフィルタ部（Ｌ−Ｐａｓｓ）８１により、第２の実施形態と同様に信号値の変化が最も小さい方向に対してローパスフィルタによるフィルタリング処理を行い、処理済みの色成分画像ＲＬＰ，ＧＬＰ，ＢＬＰを出力する。

ここで、第１のハイパスフィルタとしては、例えば(b_-1,b₀,b₁)=(-1,0,1)のフィルタ係数を有する１次微分フィルタを、第２のハイパスフィルタとしては、例えば(b_-1,b₀,b₁)=(-1,2,-1)のフィルタ係数を有する２次微分フィルタを用いることができる。１次微分フィルタおよび２次微分フィルタの振幅特性を図１７に示す。なお、図１７において横軸の周波数は、サンプリング周波数により正規化した周波数である。図１７に示すように１次微分フィルタと２次微分フィルタとの振幅特性を比較すると、１次微分フィルタはグラデーションのような信号値の勾配を検出することができるが、細かな模様のような勾配の検出には向かない。これに対して、２次微分フィルタはグラデーションのような勾配の検出には向かないが、細かな模様のような勾配の検出に適している。

第３の実施形態においては、１次微分フィルタを用いて算出した勾配の評価値Ｑ＿Ｈ１，Ｑ＿Ｖ１，Ｑ＿ＮＥ１，Ｑ＿ＮＷ１と、２次微分フィルタを用いて算出した勾配の評価値Ｑ＿Ｈ２，Ｑ＿Ｖ２，Ｑ＿ＮＥ２，Ｑ＿ＮＷ２とを重み付け加算しているため、検出できる勾配のバリエーションを増やすことができる。したがって、色成分画像ＲＬ，ＧＬ，ＢＬに含まれる種々の信号値の変化を検出することが可能となる。

なお、上記第３の実施形態においては、１次微分フィルタによる勾配の評価値Ｑ＿Ｈ１，Ｑ＿Ｖ１，Ｑ＿ＮＥ１，Ｑ＿ＮＷ１と、２次微分フィルタによる勾配の評価値Ｑ＿Ｈ２，Ｑ＿Ｖ２，Ｑ＿ＮＥ２，Ｑ＿ＮＷ２とを重み付け加算しているが、１次微分フィルタによる勾配の評価値Ｑ＿Ｈ１，Ｑ＿Ｖ１，Ｑ＿ＮＥ１，Ｑ＿ＮＷ１と、２次微分フィルタによる勾配の評価値Ｑ＿Ｈ２，Ｑ＿Ｖ２，Ｑ＿ＮＥ２，Ｑ＿ＮＷ２との値が大きい方を最終的な勾配の評価値としてもよい。

また、上記第１から第３の実施形態においては、ノイズ低減処理として図１２のフローチャートに示す処理を行っているが、信号分類処理の結果を用いる処理であれば、これに限定されるものではない。例えば、平坦部に分類された対象画素に対してローパスフィルタによるフィルタリング処理を施すことにより、ノイズ低減処理を行うようにしてもよい。

また、上記第１から第３の実施形態においては、ノイズ低減処理において、信号分散値σ² _MGに対するノイズ分散値σ² _nMGの比率σ² _MG／σ² _nMGに応じて、式（１０）に信号分散値σ² _MGおよびノイズ分散値σ² _nMGのいずれを使用するかを決定してるが、信号分散値σ² _MGとノイズ分散値σ² _nMGとの差または差の絶対値に応じて、式（１０）に信号分散値σ² _MGおよびノイズ分散値σ² _nMGのいずれを使用するかを決定するようにしてもよい。

以上、本発明の信号分類装置およびノイズ低減装置の実施形態をデジタルカメラに適用しているが、デジタルカメラにより取得されたＣＣＤ−ＲＡＷデータに対して、上記と同様に信号分類処理およびノイズ低減処理を行う信号分類装置およびノイズ低減装置のみを提供してもよい。また、コンピュータを、上記のプレフィルタリング部６２、色成分分離部７３、信号分類部６４および処理部６５に対応する手段として機能させ、図６，１０，１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による信号処理装置およびノイズ低減装置を適用したデジタルカメラの構成を示す概略ブロック図 ＣＣＤの受光面の一部を示す図（ハニカム配列） ＣＣＤの受光面の一部を示す図（ベイヤ配列） 画像処理部の電気的構成を示すブロック図 第１の実施形態におけるノイズ低減部の構成を示す概略ブロック図 第１の実施形態において行われる処理を示すフローチャート ハニカム配列のアレイ構造を有するＣＣＤに対するプレフィルタリング処理を説明するための図 ベイヤ配列のアレイ構造を有するＣＣＤに対するプレフィルタリング処理を説明するための図 色成分の分離を説明するための図 信号分類処理のフローチャート 信号分類処理を説明するための図 ノイズ低減処理のフローチャート 第２の実施形態におけるノイズ低減部の構成を示す概略ブロック図 第２の実施形態において勾配判別フィルタリング部が行う処理の概念図 ハイパスフィルタリング処理を説明するための図 第３の実施形態において勾配判別フィルタリング部が行う処理の概念図 １次微分フィルタおよび２次微分フィルタの振幅特性を示す図

符号の説明

１ デジタルカメラ
３２ 画像処理部
５０ ノイズ低減部
６１ 第１の色成分分離部
６２ プレフィルタリング部
６３ 第２の色成分分離部
６４ 信号分類部
６５ 処理部
６６ 合成部
６７，６８ 勾配判別フィルタリング処理部

Claims (11)

1. 多数の画素のそれぞれが複数の色成分のうちの一つの色成分を持ち、該色成分の分布が規則的である画像に対して、画素配列にのみ基づく第１のノイズ低減処理を施して、第１の処理済み画像を取得する第１のノイズ低減処理手段と、
   前記第１の処理済み画像を前記色成分毎に分離して複数の色成分画像を取得する色成分分離手段と、
   前記各色成分画像における処理の対象となる対象画素の信号値と該対象画素の周囲の所定範囲の領域に含まれる画素の信号値とを比較し、該比較結果に応じて前記所定範囲の領域の各画素を複数のグループに分類する信号分類処理を行う信号分類手段とを備えた信号処理装置による前記信号分類処理の分類結果に基づいて、前記各色成分画像に対してノイズ低減処理を施す画像ノイズ低減手段を備えたノイズ低減装置であって、
   前記画像ノイズ低減手段は、前記各色成分画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が前記複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対して、そのレベルに応じたノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行うに際し、前記画像を取得した撮像素子に固有の係数に応じて前記対象画素のノイズ量を推定し、前記対象画素の信号値および該対象画素の周囲の所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記ノイズ量および前記統計値のいずれを使用するかを決定する手段であることを特徴とするノイズ低減装置。
2. 前記信号分類手段は、前記比較結果に応じて前記所定範囲の領域の各画素を前記信号値の変化が比較的小さい平坦部のグループおよび前記信号値の変化が比較的大きい信号部のグループに分類する手段であることを特徴とする請求項１記載のノイズ低減装置。
3. 前記第１のノイズ低減処理は、前記画像の全画素に対するローパスフィルタによるフィルタリング処理であることを特徴とする請求項１または２記載のノイズ低減装置。
4. 前記各色成分画像の前記各画素における前記信号値の変化の方向に応じた第２のノイズ低減処理を、前記各色成分画像に対して施す第２のノイズ低減処理手段をさらに備え、
   前記信号分類手段は、前記第２のノイズ低減処理が施された前記各色成分画像に前記信号分類処理を施す手段であることを特徴とする請求項１から３のいずれか１項記載のノイズ低減装置。
5. 前記第２のノイズ低減処理手段は、前記各色成分画像の前記各画素に対して、あらかじめ定められた複数方向にハイパスフィルタによるフィルタリング処理を施し、該フィルタリング結果に基づいて前記信号値の変化が最も小さい方向を検出し、前記信号値の変化が最も小さい方向にローパスフィルタによるフィルタリング処理を施すことにより、前記第２のノイズ低減処理を行う手段であることを特徴とする請求項４記載のノイズ低減装置。
6. 前記第２のノイズ低減処理手段は、前記各色成分画像の前記各画素に対して、あらかじめ定められた複数方向に、周波数特性が異なる複数種類のハイパスフィルタによるフィルタリング処理を施すことにより複数のフィルタリング結果を取得し、該複数のフィルタリング結果に基づいて前記信号値の変化が最も小さい方向を検出し、前記信号値の変化が最も小さい方向にローパスフィルタによるフィルタリング処理を施すことにより、前記第２のノイズ低減処理を行う手段であることを特徴とする請求項４記載のノイズ低減装置。
7. 前記信号分類手段は、前記対象画素の周囲の所定範囲の領域における前記信号値の変化が比較的小さいグループに分類された画素数が所定のしきい値を超える場合にのみ、前記対象画素をノイズ低減の処理対象に設定する手段であることを特徴とする請求項１から６のいずれか１項記載のノイズ低減装置。
8. 前記平均値は、前記所定範囲の領域における前記信号値の変化が比較的小さいグループに分類された画素における信号値の平均値であることを特徴とする請求項１から７のいずれか１項記載のノイズ低減装置。
9. 前記画像ノイズ低減手段は、前記対象画素の周囲の所定範囲の領域における前記信号値の変化が比較的小さいグループの画素数が所定のしきい値を超える場合にのみ、前記対象画素に対して前記ノイズ低減処理を行う手段であることを特徴とする請求項１から８のいずれか１項記載のノイズ低減装置。
10. 多数の画素のそれぞれが複数の色成分のうちの一つの色成分を持ち、該色成分の分布が規則的である画像に対して、画素配列にのみ基づく第１のノイズ低減処理を施して、第１の処理済み画像を取得し、
    前記第１の処理済み画像を前記色成分毎に分離して複数の色成分画像を取得し、
    前記各色成分画像における処理の対象となる対象画素の信号値と該対象画素の周囲の所定範囲の領域に含まれる画素の信号値とを比較し、該比較結果に応じて前記所定範囲の領域の各画素を複数のグループに分類する信号分類処理を行う信号処理方法による前記信号分類処理の分類結果に基づいて、前記各色成分画像に対してノイズ低減処理を施すノイズ低減方法であって、
    前記各色成分画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が前記複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対して、そのレベルに応じたノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行うに際し、前記画像を取得した撮像素子に固有の係数に応じて前記対象画素のノイズ量を推定し、前記対象画素の信号値および該対象画素の周囲の所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記ノイズ量および前記統計値のいずれを使用するかを決定することを特徴とするノイズ低減方法。
11. 多数の画素のそれぞれが複数の色成分のうちの一つの色成分を持ち、該色成分の分布が規則的である画像に対して、画素配列にのみ基づく第１のノイズ低減処理を施して、第１の処理済み画像を取得し、
    前記第１の処理済み画像を前記色成分毎に分離して複数の色成分画像を取得し、
    前記各色成分画像における処理の対象となる対象画素の信号値と該対象画素の周囲の所定範囲の領域に含まれる画素の信号値とを比較し、該比較結果に応じて前記所定範囲の領域の各画素を複数のグループに分類する信号分類処理を行う信号処理方法による前記信号分類処理の分類結果に基づいて、前記各色成分画像に対してノイズ低減処理を施すノイズ低減方法をコンピュータに実行させるためのプログラムであって、
    前記各色成分画像における処理の対象となる対象画素および該対象画素の周囲の所定範囲の領域における画素の信号値の平均値が前記複数の色成分での色空間の原点位置となるように、前記対象画素の信号値のレベルをシフトし、該シフトされた前記対象画素に対して、そのレベルに応じたノイズ低減処理の演算を行い、前記ノイズが低減された前記対象画素の信号値のレベルを、前記シフト分に応じて戻す処理を行うに際し、前記画像を取得した撮像素子に固有の係数に応じて前記対象画素のノイズ量を推定し、前記対象画素の信号値および該対象画素の周囲の所定範囲の領域の画素の信号値に基づいて、前記対象画素のノイズを表す統計値を算出し、前記推定されたノイズ量および前記統計値を比較し、該比較結果に基づいて前記ノイズ低減処理の演算に前記ノイズ量および前記統計値のいずれを使用するかを決定する手順をコンピュータに実行させるためのプログラム。

Images