JP3926813B2 - ノイズ低減装置および方法ならびにノイズ低減プログラム - Google Patents

Description

この発明は，ノイズ低減装置および方法ならびにノイズ低減プログラムに関する。

ディジタル・スチル・カメラなどに用いられるＣＣＤは高画素化，高感度化の一途をたどっている。このために，ノイズの影響が問題となってきている。

ロウ・パス・フィルタやメディアン・フィルタなどを用いて撮像によって得られる映像信号からノイズを除去することが考えられている（特許文献１）。また，画像から鮮鋭性を損なうことなくノイズを除去することも考えられている（特許文献２）。
特開平４−235472号公報 特開2002−222416号公報

しかしながら，未だノイズを完全に除去することは難しい。

この発明は，ノイズを低減することを目的とする。

この発明によるノイズ低減装置は，一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表す画像データを入力し，相関性を有すると見なされる範囲内にある画素を表すカラー画像データを色成分ごとに抽出する色成分抽出手段，上記色成分抽出手段によって色成分ごとに抽出されたカラー画像データの相関性を保持しつつ，色成分ごとに抽出されたカラー画像データに含まれている無相関ノイズを除去するノイズ除去手段，ならびに上記色成分抽出手段による色成分抽出処理および上記ノイズ除去手段によるノイズ除去処理を，上記一駒分のカラー画像データについて繰り返すように制御する制御手段を備えていることを特徴とする。

この発明は，上記ノイズ低減装置に適した方法も提供している。すなわち，この方法は，一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表す画像データを入力し，相関性を有すると見なされる範囲内にある画素を表すカラー画像データを色成分ごとに抽出し，色成分ごとに抽出されたカラー画像データの相関性を保持しつつ，色成分ごとに抽出されたカラー画像データに含まれている無相関ノイズを除去し，上記色成分抽出処理および上記ノイズ除去処理を，上記一駒分のカラー画像データについて繰り返すものである。

この発明は，上記ノイズ低減処理のためのプログラムも提供している。

この発明によると，一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表す画像データの無相関ノイズが除去される。このような画像データは，補間処理（複数の色成分のうち有していない色成分を生成する処理）が行われる前のものであるから，補間処理後にノイズ除去処理を行う場合に比べて補間処理後の信号処理回路などの回路構成に依存することなくノイズ低減処理を実現できる。

カラー画像データのレベルに応じて，上記ノイズ除去手段によるノイズ除去処理を抑制するノイズ除去処理抑制手段をさらに備えるようにしてもよい。

上記色成分抽出手段は，たとえば，多数の光電変換素子が配列され，多数の光電変換素子のそれぞれの光電変換素子の受光面上に複数の色成分のうち一つの色成分の光を透過する特性を有する色フィルタが複数の色ごとに規則的に形成されている単板の固体電子撮像素子から出力するカラー画像データを入力するものである。

上記ノイズ除去手段における無相関ノイズ除去処理は，上記固体電子撮像素子の特性および上記固体電子撮像素子を用いて撮影したときに用いられる撮影情報の少なくとも一方にもとづいて行われるようにしてもよい。

上記ノイズ除去手段は，たとえば，上記色成分抽出手段によって抽出されたカラー画像データのレベルの平均値が上記複数の色成分での色空間の原点位置となるように，上記色成分抽出手段によって抽出されたカラー画像データのレベルをシフトするカラー画像データ・シフト手段，上記カラー画像データ・シフト手段によってシフトされたカラー画像データを，そのレベルに応じて無相関ノイズの除去処理を行うフィルタリング手段，および上記フィルタリング手段によって無相関ノイズが除去されたカラー画像データのレベルを，上記シフト分に応じて戻すカラー画像データ逆シフト手段を備える。

カラー画像データの相関性を維持しつつ，無相関ノイズを除去できるようになる。

上記フィルタリング手段におけるノイズ低減処理は，上記複数の色成分の数に対応した演算を利用したディジタル・フィルタリング処理でもよい。

また，上記フィルタリング手段におけるノイズ除去処理は，上記複数の色成分の数が元の色成分よりも少なくなるように，複数の色成分を取り扱い，複数の色成分の数に対応した演算を用いたディジタル・フィルタ処理でもよい。ディジタル・フィルタ処理における演算量を少なくできる。

上記ディジタル・フィルタ処理における演算が発散した場合にノイズ除去処理を停止するノイズ除去処理停止手段をさらに備えるようにしてもよい。

上記フィルタリング手段において，上記シフトされたカラー画像データに対して行われるディジタル・フィルタリング処理は，たとえば，無相関ノイズを含んだ領域内の画像データから無相関ノイズを減算する処理を用いるものである。

上記色成分抽出手段によって抽出されたカラー画像データ全体のうち，互いに相関性のある複数のカラー画像データ群に分ける画像データ分割手段をさらに備えてもよい。この場合，上記カラー画像データ・シフト手段は，上記画像データ分割手段によって分割された複数のカラー画像データ群のうち，無相関ノイズの除去対象であるカラー画像データが含まれているカラー画像データ群について上記複数の色空間での原点位置となるようにシフトするものとなろう。相関性の無い画像データを用いてノイズ除去処理後のカラー画像データによって表される画像が破綻してしまうことを未然に防止できる。

上記画像データ分割手段は，上記色成分抽出手段によって抽出されたカラー画像データを複数の小ブロックに分ける小ブロック分割手段をさらに備えてもよい。この場合，上記小ブロック分割手段によって分けられた複数の小ブロックごとに，相関性のある複数のカラー画像データ群に分ける。演算量を少なくできる。

上記小ブロックを構成する代表画素にもとづいて，複数の小ブロックごとに相関性のある複数のカラー画像データ群に分けるようにしてもよい。

上記画像データ分割手段によって分けられた複数のカラー画像データ群によって表される画像の大きさが第１の所定値未満の場合に上記無相関ノイズ除去手段による無相関ノイズ除去処理を停止する無相関ノイズ停止制御手段をさらに備えるようにしてもよい。

上記複数のカラー画像データ群によって表される画像領域の大きさが，上記第１の所定値より大きい第２の所定値以上の場合に，上記画像データ分割手段によって分割されたカラー画像データ群のうち，無相関ノイズの除去対象であるカラー画像データが含まれているカラー画像データ群についてシフトするものでもよい。

上記色成分抽出手段によって抽出されたカラー画像データから輝度データを生成する輝度データ生成手段をさらに備えもよい。この場合，上記カラー画像データ分割手段が，上記輝度データ生成手段によって生成された輝度データのうち，互いに相関性のある複数の輝度データ群に分けるものとなろう。この場合も演算量を少なくできる。

まず，この実施例によるノイズ低減処理の原理等について説明する。

図１は，この実施例によるディジタル・スチル・カメラに用いられるＣＣＤ１の受光面の一部を示している。

ＣＣＤ１の列方向に4096個，行方向に1540個のフォトダイオード２が配置されている。したがって，このＣＣＤ１を用いて被写体を撮像することにより，列方向4096画素，行方向1540画素の被写体像を表す画像データが得られる。フォトダイオード２のそれぞれから得られる画像データが画像の画素一つ一つに対応する。

多数のフォトダイオード２のそれぞれのフォトダイオード２の受光面上には，赤色成分，青色成分，第１の緑色成分および第２の緑色成分（第１の緑色成分と第２の緑色成分とは同じ特性でもよい）の複数の色成分のうち，いずれかの色成分を透過する特性を有する色フィルタが形成されている。赤色成分，青色成分，第１の緑色成分または第２の緑色成分を透過するフィルタにはそれぞれ，「Ｒ」，「Ｂ」，「Ｇ１」，「Ｇ２」の文字が付されている。

奇数列のフォトダイオード２の受光面上には赤色の光成分を透過するフィルタと青色の光成分を透過するフィルタとが交互に形成されている。偶数列のフォトダイオード２の受光面上には第１の緑色を透過するフィルタと第２の緑色の光成分を透過するフィルタとが交互に形成されている。

この実施例においては，列方向および行方向にそれぞれ10個のフォトダイオード２の範囲（ノイズ低減対象領域Ａ）を単位としてノイズ低減処理が行われる。また，列方向および行方向に互いに隣接する４つのフォトダイオード２の物理的位置（空間的位置）は異なっているが，この実施例においてはこの物理的位置は同一のものと見なしている。４つのフォトダイオード２に相当する４つの画素が一つの組として扱われる（必ずしも４つでなくともよいのはいうまでもない）。ノイズ低減対象領域Ａには，25組のフォトダイオード２の組（Ｘ１〜Ｘ25）が含まれることとなる。

このようなＣＣＤ１を用いて被写体が撮像されると，ＣＣＤ１からは被写体像を表すCCD-RAWデータが出力される。このCCD-RAWデータは，フォトダイオード２の受光面上に形成されている色フィルタにしたがった色成分をもつものが一行分ずつシリアルに現れるものである。画素は赤色成分，青色成分，第１の緑色成分または第２の緑色成分のいずれか一つの色成分のデータによって表され，他の色成分のデータは有していない。他の色成分のデータについては色補間処理によって補間される。

図２は，色成分分割処理後の画像の様子を示している。

この実施例においては，上述のようにしてＣＣＤ１から出力されたCCD-RAWデータによって表される画像の画素配列（この画素配列は，図１におけるフォトダイオード２の配列に対応している）が，色成分ごとに分割されている画像を表すようにCCD-RAWデータの色成分抽出処理（色成分分割処理）が行われる。

色成分分割処理後の画像データによって表される画像は，上述したように列方向4096画素，行方向1540画素を有している。色成分分割後の画像は，左上の領域，左下の領域，右上の領域および右下の領域にそれぞれ色成分ごとに分割できる。これらの領域は，すべて列方向2048画素，行方向770画素となっている。

左上の領域，左下の領域，右上の領域および右下の領域は，それぞれ赤色成分，青色成分，第１の緑色成分および第２の緑色成分の画像データによって表される画像部分ＩＲ，ＩＢ，ＩＧ１およびＩＧ２である。

これらの画像部分ＩＲ，ＩＢ，ＩＧ１およびＩＧ２のそれぞれにおいて，列方向および行方向にそれぞれ５画素の領域がノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２となる。これらのノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２を合わせたものは上述したように，図１に示すノイズ低減領域に対応している。

ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２のそれぞれにおいて，中央に存在する画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃがノイズを低減する対象となる画素である。詳しくは後述するように，ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２に存在する画素（画像データ）を利用して，中央の画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃのノイズ低減処理が行われる。それぞれのノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２の中央の画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃのノイズ低減処理が終了すると，ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２がそれぞれ右側に１画素分ずらされ，ずらされたノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２のそれぞれの中央に存在する画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃのノイズ低減処理が行われる。このようにノイズ低減対象領域のシフトおよびノイズ低減処理が一駒の画像分繰り返される。

上述したように，ＣＣＤ１上において列方向および行方向に互いに隣接する４つの画素の位置は物理的には異なるが，この実施例においては同一位置にあるものと見なすから，ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２内の画素をXn＝（Rn，Gn，Bn，G2n）と表すことができる（ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２内の画素は25個あるから，ｎ＝１〜25となる）。

図３から図６は，赤色成分，青色成分，第１の緑色成分および第２の緑色成分の色空間と，ノイズ低減対象領域内の画素を表す画像データとの関係を示している。

図３は，無相関ノイズが無い場合の色空間とノイズ低減対象領域Ａ0内の画素を表す画像データとの関係を示している。

ノイズ低減対象領域Ａ0は相関性があるものと見なされる範囲である。このため，ノイズ低減対象領域Ａ0内の画素Xn0＝（Rn0，G1n0，Bn0，G2n0）を表す画像データは，それぞれのレベルが比較的まとまった範囲に収まっている。ノイズ低減対象領域Ａ0内の画素Xn0の平均データがXAV0で示されている。

図４は，無相関ノイズがある場合の色空間とノイズ低減対象領域Ａ１内の画素を表す画像データとの関係を示している。また，比較のために無相関ノイズが無い場合のノイズ低減対象領域Ａ0も図示されている。

無相関ノイズが含まれている場合，ノイズ低減対象領域Ａ1内の画素Xn1＝（Rn1，G1n1，Bn1，G2n1）を表す画像データは，無相関ノイズのために，それぞれの画素を表す画像データのレベルがばらついている。このために，無相関ノイズが有る場合におけるノイズ低減対象領域Ａ1内の画素を表す画像データの範囲は，無相関ノイズが無い場合におけるノイズ低減対象領域Ａ0内の画素を表す画像データの範囲よりも広範囲となっている。また，ノイズ低減対象領域Ａ1内の画素Xn0の平均データがXAV1で示されている。

この実施例によるノイズ低減処理は，無相関ノイズを取り除くものである。

図５は，画像データの座標移動およびノイズ低減のためのフィルタリング時の色空間とノイズ低減対象領域Ａ1内の画素を表す画像データとの関係を示している。

この実施例においては，ノイズ低減処理を行う場合，ノイズ低減対象領域Ａ1内の画素Xn1の平均データXAV1のレベルが，色空間の原点となるように，ノイズ低減対象領域Ａ1内の画素Xn1を表す画像データのすべてが座標移動（レベル・シフト）させられる。平均データXAV1が原点位置にシフトされるように，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データのすべてが座標移動させられた状態で，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データに，ノイズ低減処理としてのフィルタリングが実施される。平均データXAV1が原点の位置にある状態でフィルタリングが行われるので，比較的適切なフィルタリングを実施できる。

図６は，画像データの座標逆移動時の色空間とノイズ低減対象領域Ａ1内の画素を表す画像データとの関係を示している。

上述したフィルタリング処理が無相関ノイズを取り除くものである。このフィルタリング処理によりノイズ低減対象領域Ａ１内の一のノイズ低減対象画素を表す画像データの範囲が，無相関ノイズが無い場合におけるノイズ低減対象領域Ａ0内の画素を表す画像データの範囲に収まる（近づく）。ノイズ低減対象領域Ａ１内の残りの画素についても同様の処理が繰返されることにより，ノイズ低減対象領域Ａ１内のすべての画素がノイズ低減対象領域Ａ０内の画素を表わす画像データの範囲に収束する（近づく）。

上述のように，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データのすべてが座標移動させられた状態で，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データに，ノイズ低減処理としてのフィルタリングが実施されると，平均データXAV1が座標移動前の位置に戻るように座標逆移動（レベル逆シフト）処理が行われる。このようにして，ノイズ低減処理が終了する。

図７は，上述したノイズ低減処理が行われるディジタル・スチル・カメラの電気的構成を示すブロック図である。

被写体を撮像することにより，上述したようにＣＣＤ１から映像信号が出力され，アナログ／ディジタル変換回路３に入力する。アナログ／ディジタル変換回路３から，上述したCCD-RAWデータが出力する。

記録モード・スイッチ（図示略）により，CCD-RAW記録が設定されている場合には，アナログ／ディジタル変換回路３から出力されたCCD-RAWデータは記録制御回路10に入力する。記録制御回路10によって，CCD-RAWデータがメモリ・カード11に記録される。

記録モード・スイッチにより，圧縮データ記録が設定されている場合には，アナログ／ディジタル変換回路３から出力されたCCD-RAWデータは色バランス調整回路４に入力し，色バランス調整が行われる。色バランスされたCCD-RAWデータがガンマ補正回路５においてガンマ補正されてノイズ低減回路６に入力する。

ノイズ低減回路６において，上述した原理にもとづいてノイズ低減処理が行われる。ノイズ低減回路６におけるノイズ低減処理について詳しくは後述する。

ノイズ低減回路６から出力された画像データは，同時化／ＹＣ生成回路８に入力する。同時化／ＹＣ生成回路８において，画素を表す画像データのうち存在しない色成分の画像データを生成する同時化処理（補間処理）ならびに輝度データおよび色差データの生成処理が行われる。生成された輝度データおよび色差データが圧縮回路９において圧縮される。圧縮された輝度データおよび色差データが記録制御回路10によってメモリ・カード11に記録される。

また，ガンマ補正回路５から出力したCCD-RAWデータから輝度データを生成し，生成された輝度データを用いてノイズ低減処理をするために輝度データ生成回路７を設けるようにしてもよい。輝度データを利用したノイズ低減処理についても詳しくは，後述する（図14，図15）。

ノイズ低減処理について詳しく説明する前に，ノイズ低減処理に用いられるノイズの量について説明する。

図８は，ノイズ低減処理に用いられるノイズの量と画素値との関係を示している。

この実施例によるノイズ低減処理においては，所定の基準被写体が撮像され，赤色成分，青色成分，第１の緑色成分および第２の緑色成分のそれぞれの画素レベルごとにノイズの量Ｄｎがあらかじめ解析される。

赤色成分，青色成分，第１の緑色成分および第２の緑色成分のいずれも画素レベルが大きくなるにつれて徐々に，それぞれの色成分ごとのノイズの量Ｄ_nR，Ｄ_nB，Ｄ_nG1およびＤ_nG2が高くなり，ある値でピークとなる。さらに画素値が大きくなるとノイズの量Ｄ_nR，Ｄ_nB，Ｄ_nG1およびＤ_nG2は徐々に小さくなる。

このような，ノイズの量Ｄ_nR，Ｄ_nB，Ｄ_nG1およびＤ_nG2と各色成分ごとの画素レベルとの関係があらかじめ解析されて記憶される。記憶されているノイズの量Ｄ_nR，Ｄ_nB，Ｄ_nG1およびＤ_nG2が後述するノイズ低減処理に利用される。

上述したノイズの量Ｄ_nR，Ｄ_nB，Ｄ_nG1およびＤ_nG2をそのまま利用することもできるが，色バランス調整回路４のゲインWBGを利用してもよい。色バランス調整回路４のゲインWBGを利用する場合のノイズの量Ｄ_nG1（γ）は，式１によって表される。

Ｄ_nG1（γ）＝Ｄ_nG1×［WBG］γ・・・式１

式１において，色バランス調整回路４のゲインWBGをγ乗しているのは，この実施例においては，γ変換されたCCD-RAWデータについてノイズ低減処理を行っているからである。γ変換前のCCD-RAWデータについてノイズ低減処理を行う場合には，γ乗しないゲインWBGを利用するのはいうまでもない。第２の緑色成分のノイズの量Ｄ_nG2（γ）についても同様に得られる。色バランス調整前のCCD-RAWデータについてノイズ低減処理を行う場合には，ノイズ量Ｄ_nG1そのものを用いればよい。

青色成分および赤色成分のノイズの量Ｄ_nB（γ）およびＤ_nR（γ）については，式１における［WBG］を［WBG(R/G)］および［WBG(B/G)］で置き換えた式２および３で表される。

Ｄ_nR（γ）＝Ｄ_nR×［WBG(R/G)］γ・・・式２

Ｄ_nB（γ）＝Ｄ_nB（γ）×［WBG(B/G)］γ・・・式３

同様に，色バランス以外の撮像情報を用いてノイズの量を算出できるのはいうまでもない。撮像情報には，たとえば，ＣＣＤ１のような撮像ディバイスの特性，シェーディング特性，ＩＳＯ感度，γ特性，ＳＲ合成比率，ダイナミック・レンジ特性，ストロボがある場合のストロボ発光時の自動感度アップ，シャッタ速度，ＥＶ値，ＬＶ値，記録画素数，画素モード，再現帯域，絞り値，色差マトリクス，レンズ・ディストーション，ズーム位置，Ｆ値，輪郭補正値などがある。

図９は，ノイズ低減処理回路６の電気的構成を示すブロック図である。

ガンマ補正回路５から出力されたCCD-RAWデータがノイズ低減回路６に入力すると，配列変換回路21に入力する。配列変換回路６は，上述したように，ＣＣＤ１の色フィルタ配列（図１参照）にしたがって出力されるCCD-RAWデータを色成分ごとに分けるものである。

配列変換回路21おいて色成分ごとに分けられたCCD-RAWデータは，フィルタリング対象抽出回路22に入力する。フィルタリング対象抽出回路22において，色成分ごとに分けられたCCD-RAWデータから，列方向および行方向ともに５個ずつの画素をもつノイズ低減対象領域（図２においてノイズ低減対象領域AR，AB，AG1およびAG2として表されている）内の画素を表すCCD-RAWデータが抽出される。

フィルタリング対象のCCD-RAWデータは，フィルタ算出回路23に入力する。フィルタ算出回路23において，式４にしたがってフィルタＦが算出される。

但し，式４におけるＤ_(s+n)は信号とノイズを含んだ量であり，式５によって表される。また，αはフィルタ制御係数である。

ここで，Ｄ_(s+n)の対角成分は各色の信号のばらつき量であり，非対角成分は，各色間の信号のばらつき量である。

また，式１におけるＤｎはノイズのみの量であり式６によって表される。

このようにして，フィルタＦが算出されると，その算出されたフィルタとノイズ低減対象領域内の画素を表すCCD-RAWデータとがフィルタ演算回路24に入力する。フィルタ演算回路24において，式7にもとづくフィルタ演算（ノイズ低減処理）が行われる。

式７において，Ｒout，Ｇ１out，ＢoutおよびＧ２outは，それぞれフィルタ演算後の赤色成分，第１の緑色成分，青色成分および第２の緑色成分の画像データを示している。Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃは，それぞれ，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2の中央に存在するノイズ低減対象画素を表す画像データを示している。avＲ，avＧ１，avＢおよびavＧ２は，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2内の画素の画像データの平均値を示すデータである。

式７において，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2の中央に存在するノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃから，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2内の画素の画像データの平均値を示すデータavＲ，avＧ１，avＢおよびavＧ２が減算されることにより，上述したように（図５参照），ノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2内の画素の画像データのレベルが赤色成分，第１の緑色成分，青色成分および第２の緑色成分を座標系にもつ色空間の原点位置にシフトされる。このようにシフトされたノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃに対して式４で示されるフィルタＦを用いてフィルタリング処理が行われることとなる。

式４で示されるフィルタＦを用いたフィルタリング処理において，式５で示されるＤ_(s+n)から式６で示されるＤ_nが減算されると，Ｄ_(s+n)の対角成分が減算されることからCCD-RAWデータの無相関ノイズが除去され，非対角成分が減算されないことからCCD-RAWデータの相関性が保持される。すなわち，CCD-RAWデータの相関性を保持しつつ無相関ノイズが除去されることとなる。

フィルタリング処理後のノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃから平均値を示すデータavＲ，avＧ１，avＢおよびavＧ２が加算されることにより，上述したように（図６参照），ノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃが，ノイズ低減された元のレベルに相当するレベルに戻される。

上述したノイズ低減処理において，パラメータが大きすぎてノイズ低減処理後の画像の破綻を未然に防止するために，式２および式５において用いられるパラメータＤgxおよびＤnxが式８の関係を満たすことが好ましい。但し，ｘ＝Ｒ，Ｇ１，Ｂ，Ｇ２である。

このようなノイズ低減処理が一駒分の画像データについて繰り返される。もっともカラー画像データのレベル（ノイズ低減対象画素のレベル）があらかじめ定められたレベル以上であれば，ノイズ低減処理を停止してもよい。

フィルタ演算回路24においてフィルタ演算処理が行われた画像データは，配列逆変換処理回路25に入力する。配列逆変換回路25において，ＣＣＤ１の色フィルタの配列から色成分ごととされた画像データの配列が，元のＣＣＤ１の色フィルタの配列に戻される。配列逆変換回路25の出力がノイズ低減回路６の出力となる。

図10は，コンピュータ装置の電気的構成を示すブロック図である。

上述した実施例は，ディジタル・スチル・カメラにおいて，ノイズ低減処理を行うものであったが，コンピュータ装置を利用してCCD-RAWデータのノイズ低減処理を行うこともできる。

コンピュータ装置には，ＣＰＵ40が含まれている。このＣＰＵ40に，表示装置41，プリンタ42，キーボード43およびメモリ44が接続されている。

また，ＣＰＵ40には，メモリ・カード・リーダ・ライタ45が接続されている。上述したように，CCD-RAWデータが記録されているメモリ・カード51がメモリ・カード・リーダ・ライタ45に装填されることにより，メモリ・カード51からCCD-RAWデータが読み取られ，上述したノイズ低減処理が行われる。さらに，ＣＰＵ40には，CD-ROMドライブ46が接続されている。このCD-ROMドライブ46に，上述したノイズ低減処理のプログラムが格納されているCD-ROM52が装填されると，CD-ROM52からノイズ低減処理プログラムが読み取られ，コンピュータ装置にインストールされる。メモリ・カード51から読み取られたCCD-RAWデータに対してノイズ低減処理を実行できるようになる。

さらに，ＣＰＵ40には，ハードディスク・ドライブ47が接続されている。このハードディスク・ドライブ47によって，ハードディスク48に，ノイズ低減処理後のCCD-RAWデータを記録できる。

図11は，コンピュータ装置におけるノイズ低減処理の処理手順を示すフローチャートである。

上述したように，メモリ・カード51からＣＣＤ１の色フィルタ配列にしたがった色成分の画像データが現れるCCD-RAWデータが得られる。このCCD-RAWデータについて，上述したように，色成分ごとにまとまって現れるように配列変換処理（色成分分割処理）が行われる（ステップ31）。配列変換処理が行われると，ノイズ低減対象画像データが抽出される（ステップ32）。

フィルタＦが算出され（ステップ33），算出されたフィルタＦを用いて演算処理が行われる（ステップ34）。一駒分の画像の最後の画素についてフィルタ演算が行われるまでステップ32から34の処理が繰り返される（ステップ35）。その後，上述した配列逆変換処理が行われる（ステップ36）。

上述した実施例においては，４色の色成分を使用して，ノイズ低減処理におけるフィルタ演算を行っているが２色×２の色成分を使用して，フィルタ演算を行うこともできる。たとえば，赤色成分と第１の緑色成分との組と，青色成分と第２の緑色成分との組とに分ける。赤色成分と第１の緑成分の組については，次のように算出できる。青色成分と第２の緑色成分との組についても同様に算出できるのはいうまでもない。

すると，上述した式５は，式９によって表され，上述した式６は，式10によって表される。

式９および式10を用いると，上述した式７は，式11となる。

ここで，Ｆの算出時における逆行列が求まらない場合は，ノイズ低減処理を行わないようにすることが好ましい。

たとえば，式９を用いて，式４にもとづくフィルタ演算が行われる場合，Ｄ_(s+n) ^-1は式12で表わされる。

但し，式９で示されるＤ_(s+n)は式13と置いた。

式12においてΔ＝ＡＤ−ＢＣとすると，このΔの値が０に近づくとノイズ低減処理が行われた画像データによって表わされる画像は破綻することがあるので，ノイズ低減処理が抑えられることとなる。

図12から図16は，他の変形例を示すものである。

図12は，CCD-RAWデータによって表される被写体像の一例である。

カメラ・アングルなどによっては，被写体像60の中にエッジ63が生じることがある。このエッジ63の左側の画像領域61内の画像を表す画像データのレベルと右側の画像領域62内の画像を表す画像データのレベルとの間に相関性が無くなることがある。

図13は，赤色成分，青色成分，第１の緑色成分および第２の緑色成分の色空間におけるノイズ低減対象領域内の画素を表す画像データのレベル分布を示している。

図12に示すように被写体像60にエッジ63が生じ，このエッジ63の両側の領域61および62において画像の相関性が無い場合，エッジ63を含むノイズ低減対象領域ＡＥ内の画素の画像データの分布は，上述したようにノイズ低減対象領域内の画素を表す画像データの平均値ＸAVを中心に一定の範囲内に収まらずに，ノイズ低減対象領域内の画素の被写体像60上における位置に応じてばらけてしまう。このために，上述したように，平均値ＸAVが色空間における原点にシフトしてフィルタリング処理を行ってもノイズ低減対象領域ＡＥ内の画素の相関性を保つことができないことがある。

図14は，ノイズ低減対象領域ＡYの一例である。

この変形例においては，CCD-RAWデータが輝度データに変換され，変換された輝度データが用いられる。

ノイズ低減対象領域ＡYには，列方向および行方向ともに５画素ずつの合計25個の画素72が含まれている。中央の画素Ｙｃがノイズ低減処理の対象となる画素である。

このようなノイズ低減対象領域ＡYが上述したようにエッジ63にかかっている場合には，画素間の相関性を保ちながらノイズ低減処理を行うことができないことがある。このために，この変形例では，図15に示すように，相関性のあるノイズ低減対象領域ＡY1を新たに検出し，検出された新たなノイズ低減対象領域ＡＹ内の画素の平均値を用いて上述したノイズ低減処理を行うものである。画素の相関性を保ちつつノイズ低減処理を行うことができる。

図16は，相関性のあるノイズ低減対象領域を検出する処理手順を示すフローチャートである。

CCD-RAWデータから列方向および行方向にそれぞれ５画素ずつもつノイズ低減対象領域内の輝度データが生成される（ステップ81，図14参照）。ノイズ低減対象領域内の一の画素（判定対象画素）の画像データのレベルと中央の画素Ｙｃの画像データのレベルとの差が所定の領域判定しきい値未満かどうかが確認される（ステップ82）。しきい値未満であれば（ステップ82でＹＥＳ），その一の画素は中央の画素Ｙｃとの間で相関性を有すると考えられるので，その判定対象画素である一の画素が新たなノイズ低減対象領域に加えられる（ステップ83）。しきい値以上であれば（ステップ82でＮＯ），その一の画素は中央の画素との間で相関性を有しないと考えられるので，新たなノイズ低減対象領域には加えられない。すべての判定対象画素について上述したステップ82および83の処理が繰り返される（ステップ84）。最後の判定対象画素でなければ（ステップ84でＮＯ），一の画素の隣（たとえば，右隣）の画素が新たな判定対象画素と設定される（ステップ85）。

すべての画素について上述したステップ82および83の処理が終了すると（ステップ84でＹＥＳ），図15で示したように新たなノイズ低減対象領域ＡY1が決定する。

このようにして決定された新たなノイズ低減対象領域ＡY1の大きさに応じて，さらに処理のやり方が変わる。

新たなノイズ低減対象領域ＡY1の大きさが極めて小さいために第１のしきい値よりも小さい場合には（ステップ86でＹＥＳ），ノイズ低減対象領域内の画素数が少なすぎることとなり，比較的適切なノイズ低減処理を行うことができないことがある。このために，ノイズ低減処理は停止させられる（ステップ87）。

新たなノイズ低減対象領域ＡY1の大きさが第１のしきい値よりも大きいが（ステップ86でＮＯ），比較的小さいために第２のしきい値（第１のしきい値＞第２のしきい値）よりも小さい場合には（ステップ88でＹＥＳ），ノイズ低減対象領域内の画素数を多くするために，新たなノイズ低減対象領域ＡY1を用いてノイズ低減処理行うのではなく，所定の大きさのノイズ低減対象領域を用いてノイズ低減処理が行われる（ステップ89）。

新たなノイズ低減対象領域ＡY1の大きさが第２のしきい値よりも大きい場合には（ステップ88でＮＯ），所定の大きさのノイズ低減対象領域にはエッジ部分などが含まれていると考えられる。そのエッジ部分を除くために，新たなノイズ低減領域ＡY1を用いてノイズ低減処理が行われる（ステップ90）。

上述した新たなノイズ低減対象領域を決定する処理は一画素ずつ判定しているが，複数画素のブロックごとに決定するようにしてもよい。

図17は，ノイズ低減対象領域の一例である。

図17を参照して，ノイズ低減対象領域内の画素が中心画素Ｙｃをが含まれる行および列を除いて行および列ごとの各ブロックに分けられる。すなわち，行方向では，第１行，第２行，第４行（第３行には中心画素Ｙｃが含まれるので除かれる）および第５行のそれぞれの小ブロックＰ２，Ｐ６，Ｐ８およびＰ４に分けられる。また，列方向では，第１列，第２列，第４列（第３列には中心画素Ｙｃが含まれるので除かれる）および第５列のそれぞれの小ブロックＰ３，Ｐ７，Ｐ５およびＰ１に分けられる。

それぞれの小ブロックを構成する画素のうち中央の画素が，その小ブロックの代表画素とされる。第１行，第２行，第４行および第５行のそれぞれの小ブロックＰ２，Ｐ６，Ｐ８およびＰ４の代表画素は，Ｙ２，Ｙ６，Ｙ８およびＹ４である。また，第１列，第２列，第４列および第５列のそれぞれの小ブロックＰ３，Ｐ７，Ｐ５およびＰ１の代表画素は，Ｙ３，Ｙ７，Ｙ５およびＹ１である。

それぞれの小ブロックの代表画素のレベルと中央の画素Ｙｃのレベルとの差が上述したように領域判定しきい値未満かどうかが判定される。しきい値未満であれば，その代表画素が含まれる小ブロック全体が新たなノイズ低減対象領域に加えられる。

図18は新たに決定されたノイズ低減対象領域の一例である。

新たに決定されたノイズ低減対象領域ＡY2は，第１行および第１列の画素は除かれている。これは，代表画素Ｙ２およびＹ３については，中央の画素Ｙｃのレベル差が所定の領域判定しきい値以上であると判定されたためである。そのほかの行および列の小ブロックの代表画素Ｙ６，Ｙ８，Ｙ４，Ｙ７，Ｙ５およびＹ１については，中央の画素との間のレベル差が所定の領域判定しきい値未満であるためにそれぞれの小ブロックに含まれる画素がノイズ低減対象領域ＡY2に含まれている。

このように，小ブロックごとにノイズ低減対象領域の判定を行うことにより，演算処理が簡易となる。

この発明の実施例は，上述したフィルタ配列に限らず，他のフィルタ配列にも適用できるのはいうまでもない。たとえば図19に示すように，奇数行においては第４ｎ＋１列，第４ｎ＋２列，第４ｎ＋３列および第４ｎ＋４列のそれぞれに赤色の光成分，第１の緑色成分，青色成分および第２の緑色成分を透過する特性をもつフィルタが設けられており，偶数行においては第４ｎ＋１列，第４ｎ＋２列，第４ｎ＋３列および第４ｎ＋４列のそれぞれに青色の光成分，第２の緑色成分，赤色の光成分および第１の緑色成分を透過する特性をもつフィルタが設けられているようないわゆるハニカム配列のものにも適用できる。また，図20に示すように，奇数行奇数例には赤色の光成分を透過する特性をもつフィルタ，奇数行偶数列には第１の緑色成分を透過する特性をもつフィルタ，偶数行奇数列には第２の緑色成分を透過する特性をもつフィルタ，偶数行偶数列には青色成分を透過する特性をもつフィルタが設けられている，いわゆるベイヤ配列のものにも適用できる。このように，色フィルタの配列に規則性があれば，この実施例を適用できる。

ＣＣＤの受光面上の一部を示している。 色分割後の画素配列を示している。 色空間と画像データとの関係を示している。 色空間と画像データとの関係を示している。 色空間と画像データとの関係を示している。 色空間と画像データとの関係を示している。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 ノイズの標準偏差と画素値との関係を示している。 ノイズ低減回路の電気的構成を示すブロック図である。 コンピュータ装置の電気的構成を示すブロック図である。 ノイズ低減処理手順を示すフローチャートである。 被写体像の一例である。 色空間と画像データとの関係を示している。 ノイズ低減対象領域の一例である。 ノイズ低減対象領域の一例である。 領域判別等の処理手順を示すフローチャートである。 ノイズ低減対象領域の一例である。 ノイズ低減対象領域の一例である。 ＣＣＤの受光面上の一部を示している。 ＣＣＤの受光面上の一部を示している。

符号の説明

１ ＣＣＤ
２ フォトダイオード（画素）
Ａ，Ａ0，Ａ1，ＡB，ＡG1，ＡR，ＡY，ＡY1 ノイズ低減対象領域
６ ノイズ低減回路
21 配列変換回路
22 フィルタリング対象抽出回路
23 フィルタ算出回路
24 フィルタ演算回路
40 ＣＰＵ
51 メモリ・カード
52 ＣＤ

Claims (16)

1. 一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データを入力し，上記複数の色成分を含むノイズ低減対象画素の周辺の相関性を有すると見なされる範囲内にある画素を表すカラー画像データを色成分ごとに抽出する色成分抽出手段，
   上記色成分抽出手段によって抽出された上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー画像データのレベルの色成分ごとのそれぞれの平均値が上記複数の色成分での色空間の原点位置となるように，上記色成分抽出手段によって抽出された上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー画像データのレベルをシフトするカラー画像データ・シフト手段，
   上記カラー画像データ・シフト手段によってシフトされた上記複数の色成分を有するノイズ低減対象画素について，そのレベルに応じて無相関ノイズの除去処理を行うフィルタリング手段，
   上記フィルタリング手段によって無相関ノイズが除去されたカラー画像データのレベルを，上記シフト分に応じて戻すカラー画像データ逆シフト手段，および
   上記色成分抽出手段による色成分抽出処理および上記ノイズ除去手段によるノイズ除去処理を，上記一駒分のカラー画像データについて繰り返すように制御する制御手段，
   を備えたノイズ低減装置。
2. 上記色成分抽出手段が，多数の光電変換素子が配列され，多数の光電変換素子のそれぞれの光電変換素子の受光面上に複数の色成分のうち一つの色成分の光を透過する特性を有する色フィルタが複数の色ごとに規則的に形成されている単板の固体電子撮像素子から出力するカラー画像データを入力するものである，
   請求項１に記載のノイズ低減装置。
3. 上記ノイズ除去手段における無相関ノイズ除去処理が上記固体電子撮像素子の特性および上記固体電子撮像素子を用いて撮影したときに用いられる撮影情報の少なくとも一方にもとづいて行われるものである，
   請求項２に記載のノイズ低減装置。
4. 上記フィルタリング手段におけるノイズ低減処理が，上記複数の色成分の数に対応した演算を利用したディジタル・フィルタリング処理である，
   請求項１に記載のノイズ低減装置。
5. 上記フィルタリング手段におけるノイズ除去処理が，上記複数の色成分の数が元の色成分の数よりも少なくなるように，複数の色成分を取り扱い，複数の色成分の数に対応した演算を用いたディジタル・フィルタ処理である，
   請求項１に記載のノイズ低減装置。
6. 上記フィルタリング手段において，上記シフトされたカラー画像データに対して行われるディジタル・フィルタリング処理が，無相関ノイズを含んだ領域内の画像データから無相関ノイズを減算する処理を用いたものである，
   請求項１に記載のノイズ低減装置。
7. 上記色成分抽出手段によって抽出されたカラー画像データ全体のうち，互いに相関性のある複数のカラー画像データ群に分ける画像データ分割手段をさらに備え，
   上記カラー画像データ・シフト手段が，上記画像データ分割手段によって分割された複数のカラー画像データ群のうち，無相関ノイズの除去対象であるカラー画像データが含まれているカラー画像データ群について上記複数の色空間での原点位置となるようにシフトするものである，
   請求項１に記載のノイズ低減装置。
8. 上記画像データ分割手段が，
   上記色成分抽出手段によって抽出されたカラー画像データを複数の小ブロックに分ける小ブロック分割手段をさらに備え，
   上記小ブロック分割手段によって分けられた複数の小ブロックごとに，相関性のある複数のカラー画像データ群に分けるものである，
   請求項７に記載のノイズ低減装置。
9. 上記小ブロックを構成する代表画素にもとづいて，複数の小ブロックごとに相関性のある複数のカラー画像データ群に分けるものである，
   請求項８に記載のノイズ低減装置。
10. 上記画像データ分割手段によって分けられた複数のカラー画像データ群によって表される画像領域の大きさが第１の所定値未満の場合に，上記無相関ノイズ除去手段による無相関ノイズ除去処理を停止する無相関ノイズ停止制御手段をさらに備えた請求項７に記載のノイズ低減装置。
11. 上記複数のカラー画像データ群によって表される画像領域の大きさが，上記第１の所定値より大きい第２の所定値以上の場合に，上記画像データ分割手段によって分割されたカラー画像データ群のうち，無相関ノイズの除去対象であるカラー画像データが含まれているカラー画像データ群についてシフトするものである，
    請求項７に記載のノイズ低減装置。
12. 上記色成分抽出手段によって抽出されたカラー画像データから輝度データを生成する輝度データ生成手段をさらに備え，
    上記カラー画像データ分割手段が，上記輝度データ生成手段によって生成された輝度データのうち，互いに相関性のある複数の輝度データ群に分けるものである，
    請求項７に記載のノイズ低減装置。
13. 上記色成分抽出手段が，
    上記色成分の分布が規制的である画像を表わすカラー・ロー画像データを入力し，上記複数の色成分を含むノイズ低減対象画素の周辺の相関性を有すると見なされる範囲内にある画素を表す画像データを色成分ごとに抽出するものであり，
    上記カラー画像データ・シフト手段が，
    上記色成分抽出手段によって抽出された上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー・ロー画像データのレベルの色成分ごとのそれぞれの平均値が上記複数の色成分での色空間の原点位置となるように，上記色成分抽出手段によって抽出された上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー・ロー画像データのレベルをシフトするものであり，
    上記カラー画像データ送信シフト手段が，
    上記フィルタリング手段によって無相関ノイズが除去されたカラー・ロー画像データのレベルを，上記シフト分に応じて戻すものであり
    上記制御手段が，
    上記色成分主出手段による色成分抽出処理および上記ノイズ除去手段によるノイズ除去処理を，上記一駒分のカラー・ロー画像データについて繰り返すように制御するものである
    請求項１に記載のノイズ低減装置。
14. 上記フィルタリング手段が，
    上記カラー画像データ・シフト手段によってシフトされたカラー・ロー画像データを，そのカラー・ロー画像データの統計値および与えられる無相関ノイズの統計値から算出されるフィルタ係数をもつディジタル・フィルタを用いて無相関ノイズの除去を行うものである，
    請求項１３に記載のノイズ低減装置。
15. 一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データを入力し，上記複数の色成分を含むノイズ低減対象画素の周辺の相関性を有すると見なされる範囲内にある画素を表すカラー画像データを色成分ごとに抽出し，
    上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー画像データのレベルの色成分ごとのそれぞれの平均値が上記複数の色成分での色空間の原点位置となるように，抽出された上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー画像データのレベルをシフトし，
    シフトされた上記複数の色成分を有するノイズ低減対象画素について，そのレベルに応じて無相関ノイズの除去処理を行い，
    無相関ノイズが除去されたカラー画像データのレベルを，上記シフト分に応じて戻し，
    上記色成分抽出処理および上記ノイズ除去処理を，上記一駒分のカラー画像データについて繰り返す，
    ノイズ低減方法。
16. 一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データを入力し，上記複数の色成分を含むノイズ低減対象画素の周辺の相関性を有すると見なされる範囲内にある画素を表すカラー画像データを色成分ごとに抽出させ，
    上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー画像データのレベルの色成分ごとのそれぞれの平均値が上記複数の色成分での色空間の原点位置となるように，抽出された上記相関性を有すると見なされる範囲内にある画素をそれぞれ表すカラー画像データのレベルをシフトさせ，
    シフトされた上記複数の色成分を有するノイズ低減対象画素について，そのレベルに応じて無相関ノイズの除去処理を行わせ，
    無相関ノイズが除去されたカラー画像データのレベルを，上記シフト分に応じて戻し，
    上記色成分抽出処理および上記ノイズ除去処理を，上記一駒分のカラー画像データについて繰り返させるようにコンピュータを制御するノイズ低減プログラム。

Images