JP6261353B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルカメラやデジタルビデオカメラなどの撮像装置では、カラーフィルタを配置した撮像素子としてＣＣＤセンサやＣＭＯＳセンサなどが使用されている。このような撮像素子では、構造上の要因、製造過程における要因、製造後の外的な要因などによって、撮像素子の画像信号にノイズが発生することがある。画像信号に発生したノイズによって、例えば、欠陥画素（「点滅傷」とも呼ばれる）が発生することがある。例えば、ＣＭＯＳセンサにおいて欠陥画素が発生する要因の１つとして、フォトダイオードから電荷を受けるフローティング・ディフュージョンで生じるノイズが挙げられる。

撮像素子の欠陥画素を検出する技術が提案されている（特許文献１、２等参照）。例えば、特許文献１には、注目画素と、注目画素の周辺の複数の画素との信号レベルの差分をカラーフィルタの色毎に求め、すべての差分が閾値以上である場合に注目画素を欠陥画素として検出する技術が開示されている。また、特許文献２には、カラーフィルタの色を区別することなくすべての画素の輝度値を求め、注目画素と周辺の複数の画素との輝度レベルの差が閾値以上である場合に注目画素を欠陥画素として検出する技術が開示されている。

特開２００４−２９７２６７号公報 特開２００１−０８６５１７号公報

しかし、従来の方法では、より多くの欠陥画素を検出しようとして、欠陥画素を検出するための閾値を下げると、撮像画像内のエッジも検出してしまい誤補正が多くなるという問題がある。また、画像内では、暗部の白欠陥画素が、明部の黒欠陥画素よりも目立つという傾向があるため、白欠陥画素は補正効果を重視して、黒欠陥画素は補正効果を弱めにして誤補正を少なくすることが求められている。ところが、白欠陥画素と黒欠陥画素の補正バランスを変えて、白欠陥画素の補正量を大きくすると、画像全体に占める欠陥画素の割合が大きい場合、画像全体での輝度値が低くなってしまう。

本発明は、このような事情に鑑みてなされたものであり、画像の輝度値が低下するのを抑制しつつ処理効果が適切に得られるノイズ低減処理を画像データに対して行えるようにすることを目的とする。

本発明に係る撮像装置は、撮像部によって得られた画像データにノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減手段から出力された画像データに所定の信号処理を行う信号処理手段とを有し、前記ノイズ低減手段は、前記ノイズ低減処理した後の画像データに対して、前記ノイズ低減処理する前の画像データでの着目画素の周辺の画素から得られた値と前記ノイズ低減処理した後の画像データでの当該着目画素の周辺の画素から得られた値とに応じた補正を行うことを特徴とする。

本発明によれば、ノイズ低減処理の前後の画像データに基づいて、ノイズ低減処理した後の画像の輝度値を補正することができ、画像の輝度値が低下するのを抑制しつつ処理効果が適切に得られるノイズ低減処理を行うことが可能になる。

第１の実施形態における撮像装置の構成例を示す図である。 第１の実施形態における画素配列の例を示す図である。 第１の実施形態における欠陥画素補正部の構成例を示す図である。 第１の実施形態における補正値算出回路の動作例を説明するための図である。 第１の実施形態における欠陥画素の検出方法を説明するための図である。 第１の実施形態における欠陥画素検出回路の動作例を示すフローチャートである。 第１の実施形態における欠陥画素検出判別信号の例を示す図である。 第１の実施形態における画素値分布のヒストグラムの例を示す図である。 第１の実施形態におけるゲイン補正回路の動作例を示すフローチャートである。 第１の実施形態におけるゲインテーブルの例を示す図である。 第２の実施形態における撮像装置の構成例を示す図である。 第２の実施形態における色補間部の動作例を説明するための図である。 第２の実施形態におけるノイズリダクション部の動作例を示すフローチャートである。 第２の実施形態における平滑化処理の例を示すフローチャートである。 第２の実施形態における平滑化処理を説明するための図である。 第２の実施形態における画素値分布のヒストグラムの例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態における撮像装置の構成例を示すブロック図である。図１において、撮像部１００は、図示しない撮影レンズ、撮像素子及びその駆動回路を有する。撮像部１００は、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサである。撮像素子は、図２に示すようにＲ（赤）、Ｇ（緑）、Ｂ（青）の複数色のカラーフィルタを配置したベイヤー配列の画素の集合で構成されているものとする。

撮像部１００から出力されるアナログ信号は、Ａ／Ｄ変換（アナログ−デジタル変換）部１０１によってデジタル信号に変換される。Ａ／Ｄ変換部１０１によってデジタル信号に変換された画像信号は、ホワイトバランス（ＷＢ）部１０２で公知のホワイトバランス調整が行われる。ホワイトバランス部１０２から出力された画像信号は、欠陥画素補正部１０３に入力される。欠陥画素補正部１０３は、欠陥画素と判定された画素の信号値を補正して、欠陥補正後のＲＡＷ画像データを出力する。欠陥画素補正部１０３から出力された欠陥補正後のＲＡＷ画像データは、信号処理部１０４に入力され、公知の色補間処理、ガンマ処理、マトリックス処理等の所定の信号処理が行われる。なお、本実施形態では、欠陥画素補正部１０３での欠陥画素の補正処理を、ノイズ低減手段によるノイズ低減処理の１つとして説明を行う。すなわち、本実施形態においては、欠陥画素補正部１０３がノイズ低減手段に相当する。

図３は、欠陥画素補正部１０３の内部の構成例を示すブロック図である。欠陥画素補正部１０３は、欠陥画素検出回路１１０、補正値算出回路１１１、加重加算回路１１２、及びゲイン補正回路１１３を有する。欠陥画素補正部１０３は、欠陥画素検出回路１１０の出力値に応じて、補正値算出回路１１１の出力値ＨＯＳＥＩ＿ＳＩＧとホワイトバランス部１０２の出力値ＩＮ＿ＳＩＧとを加重加算回路１１２で加重加算することで欠陥補正後のＲＡＷ画像データを出力する。また、欠陥画素補正部１０３は、ゲイン補正回路１１３にて、加重加算回路１１２から出力されたＲＡＷ画像データとホワイトバランス部１０２の出力値ＩＮ＿ＳＩＧから補正ゲインを算出する。そして、欠陥画素補正部１０３は、この算出した補正ゲインを用いて加重加算回路１１２からのＲＡＷ画像データに対してゲイン補正を行う。欠陥画素補正部１０３は、ゲイン補正された欠陥補正後のＲＡＷ画像データを、欠陥画素補正部１０３の出力とする。

図４を用いて、補正値算出回路１１１の動作の一例を説明する。以下に説明する方法は、中心画素Ｒｃが欠陥画素である場合、周辺画素を使用して縦方向、横方向、ななめ４５度方向、ななめ１３５度方向のそれぞれで差分をとり、差分の絶対値が最も小さいものを参照方向として傷補正（欠陥画素補正）を行う方法である。具体的には、横方向の差分絶対値をＨ＿ＤＩＶ、縦方向の差分絶対値をＶ＿ＤＩＶ、ななめ４５度方向の差分絶対値をＤ４５＿ＤＩＶ、ななめ１３５度方向の差分絶対値をＤ１３５＿ＤＩＶとすると、
Ｈ＿ＤＩＶ＝ＡＢＳ（Ｇ１−Ｇ２）
Ｖ＿ＤＩＶ＝ＡＢＳ（Ｇ０−Ｇ３）
Ｄ４５＿ＤＩＶ＝ＡＢＳ（Ｂ１−Ｂ２）
Ｄ１３５＿ＤＩＶ＝ＡＢＳ（Ｂ０−Ｂ３）
となる。なお、ＡＢＳ（Ｘ）は、Ｘの絶対値である。

そして、補正値算出回路１１１は、差分絶対値が最小となる参照方向の同色画素の平均値で欠陥画素の補正を行う。横方向の差分絶対値Ｈ＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ３＋Ｒ４）／２となる。縦方向の差分絶対値Ｖ＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ１＋Ｒ６）／２となる。ななめ４５度方向の差分絶対値Ｄ４５＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ０＋Ｒ７）／２となる。ななめ１３５度方向の差分絶対値Ｄ１３５＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ２＋Ｒ５）／２となる。

次に、欠陥画素検出回路１１０の動作を、図５及び図６を参照して説明する。ここでは、欠陥画素の検出方法の一例として、同色画素の周辺画素を用いた検出方法で説明する。図５に示すように、着目画素がＲ画素（Ｒｃ）である場合、着目画素の周辺の複数のＲ画素との信号レベルの差分値に基づいて欠陥画素であるか否かを判定する。

図６は、欠陥画素検出回路１１０の動作の一例を示すフローチャートである。ステップＳ１０１で、欠陥画素検出回路１１０は、着目画素Ｒｃといずれか１つの周辺画素Ｒｉ（ｉ＝０〜７）との差分絶対値を下記（式１）に基づいて算出する。
ＤＩＦＦ＝ＡＢＳ（Ｒｃ−Ｒｉ）…（式１）

次に、ステップＳ１０２で、欠陥画素検出回路１１０は、ステップＳ１０１において算出した差分絶対値ＤＩＦＦが最大差分絶対値ＤＩＦＦ＿ＭＡＸよりも大きいか否かを検出する。算出した差分絶対値ＤＩＦＦが最大差分絶対値ＤＩＦＦ＿ＭＡＸより大きい場合には、欠陥画素検出回路１１０は、ステップＳ１０３で差分絶対値ＤＩＦＦを最大差分絶対値ＤＩＦＦ＿ＭＡＸに置き換えて、ステップＳ１０４に進む。算出した差分絶対値ＤＩＦＦが最大差分絶対値ＤＩＦＦ＿ＭＡＸ以下である場合には、ステップＳ１０４に進む。

ステップＳ１０４で、欠陥画素検出回路１１０は、演算を行う周辺画素が残っているか否かを判断する。その結果、演算する周辺画素がある場合には、ステップＳ１０１に戻り、残りの周辺画素からいずれか１つの周辺画素を選択してステップＳ１０１からステップＳ１０４までの動作を繰り返す。ステップＳ１０４での判断の結果、演算を行う周辺画素がない場合には、ステップＳ１０５に進む。

次に、ステップＳ１０５で、欠陥画素検出回路１１０は、欠陥画素の検出を白欠陥画素として行うか否かを判定する。具体的には、最大差分絶対値ＤＩＦＦ＿ＭＡＸを取得した画素の画素値Ｒｋと着目画素の画素値Ｒｃとの差分（Ｒｃ−Ｒｋ）が正である場合には白欠陥画素としての検出を行うと判定し、負である場合には黒欠陥画素としての検出を行うと判定する方法等がある。

ステップＳ１０５において白欠陥画素としての検出を行うと判定された場合には、欠陥画素検出回路１１０は、ステップＳ１０６で、欠陥画素検出の閾値Ｔｈ２、Ｔｈ１をそれぞれ白欠陥画素用の閾値Ｔｈ２＿白、Ｔｈ１＿白で置き換える。一方、ステップＳ１０５において白欠陥画素としての検出を行わないと判定された場合には、欠陥画素検出回路１１０は、ステップＳ１０７で、欠陥画素検出の閾値Ｔｈ２、Ｔｈ１をそれぞれ黒欠陥画素用の閾値Ｔｈ２＿黒、Ｔｈ１＿黒で置き換える。

次に、ステップＳ１０８で、欠陥画素検出回路１１０は、最大差分絶対値ＤＩＦＦ＿ＭＡＸと閾値Ｔｈ２とを比較する。最大差分絶対値ＤＩＦＦ＿ＭＡＸが閾値Ｔｈ２より大きい場合には、欠陥画素検出回路１１０は、着目画素が欠陥であると判定し、ステップＳ１１０で欠陥画素検出判別信号Ｋとして１を設定する。最大差分絶対値ＤＩＦＦ＿ＭＡＸが閾値Ｔｈ２以下である場合には、ステップＳ１０９に進む。

ステップＳ１０９で、欠陥画素検出回路１１０は、最大差分絶対値ＤＩＦＦ＿ＭＡＸと閾値Ｔｈ１とを比較する。最大差分絶対値ＤＩＦＦ＿ＭＡＸが閾値Ｔｈ１より小さい場合には、欠陥画素検出回路１１０は、着目画素が欠陥でないと判定し、ステップＳ１１１で欠陥画素検出判別信号Ｋとして０を設定する。最大差分絶対値ＤＩＦＦ＿ＭＡＸが閾値Ｔｈ１より大きい場合、欠陥画素検出回路１１０は、ステップＳ１１２で欠陥画素検出判別信号Ｋを閾値Ｔｈ１と閾値Ｔｈ２の間を線形補間する。

図７に前述した処理における最大差分絶対値ＤＩＦＦ＿ＭＡＸと閾値Ｔｈ１、Ｔｈ２と欠陥画素検出判別信号Ｋとの関係を図示する。図７において、最大差分絶対値ＤＩＦＦ＿ＭＡＸが閾値Ｔｈ１より小さい場合には、欠陥画素検出判別信号Ｋは０を出力し、最大差分絶対値ＤＩＦＦ＿ＭＡＸが閾値Ｔｈ２より大きい場合には、欠陥画素検出判別信号Ｋは１を出力する。また、最大差分絶対値ＤＩＦＦ＿ＭＡＸが閾値Ｔｈ１と閾値Ｔｈ２との間の場合には、欠陥画素検出判別信号Ｋは、
Ｋ＝（ＤＩＦＦ＿ＭＡＸ−Ｔｈ１）／（Ｔｈ２−Ｔｈ１）
となる。

図８（ａ）に、Ｒ画素周辺における画素値分布のヒストグラムの例を示す。図８（ａ）において、横軸が画素値を表し、縦軸が出現頻度（ヒストグラム）を表している。また、図８（ａ）において、Ｂの位置が画素平均値Ｒａｖｅ１を示している。着目画素がＢの位置の画素値である場合、白欠陥画素検出用の閾値Ｔｈ１＿白をＣとＢの差分、黒欠陥画素検出用の閾値Ｔｈ１＿黒をＢとＡの差分とすると、（Ｃ−Ｂ）＜（Ｂ−Ａ）となるように設定する。このように白欠陥画素検出用の閾値を小さくし、白欠陥画素の補正効果を高くすることで、黒欠陥画素補正による誤補正を小さくしながら、目立つ白欠陥画素の補正による補正効果を大きくすることができる。

ここで、画像全体に占める欠陥画素の割合が大きい場合、欠陥画素の補正を行うことで、図８（ｂ）に示すように、白欠陥画素の補正効果が大きくなるために全体的に平均輝度がＢの位置から低い画素値Ｒａｖｅ２になる。本実施形態では、欠陥補正後のＲＡＷ画像データにゲイン補正回路１１３によるゲイン補正を行うことで、画像全体での平均輝度が低下することを抑制する。

図９は、ゲイン補正回路１１３の動作の一例を示すフローチャートである。ステップＳ２０１で、ゲイン補正回路１１３は、着目画素の周辺の領域（例えば、Ｎを２以上の整数として、Ｎ×Ｎ画素の領域）が平坦部であるか否かを判定する。平坦部の検出は、例えば着目画素の周辺の同色画素の分散を求め、その分散の値が閾値以下である場合に平坦部であると判定すればよい。ステップＳ２０２で、ゲイン補正回路１１３は、着目画素の周辺領域が平坦部であればステップＳ２０３に進み、平坦部でなければステップＳ２０６に進む。

ステップＳ２０３では、ゲイン補正回路１１３は、欠陥補正前のＲＡＷ画像データでの周辺領域の画素平均値Ｒ＿ａｖｅ１を求める。次に、ステップＳ２０４で、ゲイン補正回路１１３は、欠陥補正後のＲＡＷ画像データでの周辺領域の画素平均値Ｒ＿ａｖｅ２を求める。次に、ステップＳ２０５で、ゲイン補正回路１１３は、ステップＳ２０３、Ｓ２０４においてそれぞれ求めた画素平均値Ｒ＿ａｖｅ１、Ｒ＿ａｖｅ２から、欠陥補正前後での画素値のゲイン差を下記（式２）により画素毎に求めて、ステップＳ２０６に進む。
Ｒ＿ｄｉｆｆ［Ｒ＿ａｖｅ１］＝Ｒ＿ａｖｅ１／Ｒ＿ａｖｅ２…（式２）

ステップＳ２０６で、ゲイン補正回路１１３は、演算を行う画素が残っているか否かを判断する。その結果、演算を行う画素がある場合には、ステップＳ２０１に戻り、ステップＳ２０１からステップＳ２０６までの動作を繰り返す。ステップＳ２０６での判断の結果、演算を行う周辺画素がない場合には、ステップＳ２０７に進む。

次に、ステップＳ２０７で、ゲイン補正回路１１３は、各画素で求めたゲイン差Ｒ＿ｄｉｆｆの値から入力画素依存のゲインテーブルを決定する。図１０にゲインテーブルの一例を示す。図１０において、横軸が入力画素値Ｒ＿ｉｎであり、縦軸がその時にかける補正ゲインであるゲイン値Ｒ＿ｇａｉｎである。

次に、ステップＳ２０８で、ゲイン補正回路１１３は、ステップＳ２０７において求めたゲインテーブルに従ってゲイン補正を行う。例えば、ゲイン補正回路１１３は、欠陥補正後のＲＡＷ画像データＲ＿ｉｎに対して、下記（式３）に示すようにゲイン値Ｒ＿ｇａｉｎを乗算し、ゲイン補正された欠陥補正後のＲＡＷ画像データＲ＿ｏｕｔとして出力する。
Ｒ＿ｏｕｔ＝Ｒ＿ｇａｉｎ［Ｒ＿ｉｎ］×Ｒ＿ｉｎ…（式３）

以上のように、白欠陥画素の補正効果を大きくした場合に、画像全体に占める欠陥画素の割合が大きいと、欠陥補正後の平均輝度（Ｒ＿ａｖｅ２）が欠陥補正前の平均輝度（Ｒ＿ａｖｅ１）に対して小さくなってしまう。本実施形態では、欠陥補正部１０３のゲイン補正回路１１３が、画像の平坦部において、欠陥補正前の画素値分布に近づくように、欠陥補正前後の平均輝度値から求めたゲイン値（Ｒ＿ａｖｅ１／Ｒ＿ａｖｅ２）を、欠陥補正後のＲＡＷ画像データに乗算する。こうすることで、欠陥補正後の平均輝度値がＲ＿ａｖｅ１となり、平均輝度を正しく補正することができる。また、欠陥画素の補正レベルがＲ画素とＧ画素とＢ画素で異なるときに、ゲインの差分による色バランスのずれが発生しなくなる。

なお、本実施形態では、欠陥補正前後の平均輝度値からゲイン値を求めて、求めたゲイン値を欠陥補正後のＲＡＷ画像データに乗算する方法を用いたが、欠陥補正後のゲイン値が平均輝度Ｒ＿ａｖｅ１に近づくものであれば、これに限るものではない。例えば、（Ｒ＿ａｖｅ２−Ｒ＿ａｖｅ１）の差分を求めて、その差分値を加算する方法等であってもよい。また、本実施形態では、着目画素をＲ画素として説明したが、着目画素がＢ画素、Ｇ画素でも同様の処理のため、その説明を省略する。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。以下、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。図１１は、第２の実施形態における撮像装置の構成例を示すブロック図である。撮像部２００、Ａ／Ｄ変換部２０１、ホワイトバランス部２０２の動作は第１の実施形態と同様であるので説明は省略する。

本実施形態においては、ホワイトバランス部２０２から出力された画像信号は、色補間部２０３に入力される。色補間部２０３の動作の一例について、図１２を用いて説明する。図１２に示すように、ベイヤー配列で入力されたデータを各色フィルタＲ、Ｇ、Ｂ毎に分解し、０挿入する。その後、公知のデジタルフィルタを用いて、補間ローパスフィルタ（ＬＰＦ）処理が行われて、Ｒ、Ｇ、Ｂの各色プレーンの信号を出力する。

図１１に示したブロック図に戻り、色補間部２０３から出力された各色プレーンの信号は、ノイズリダクション（ＮＲ）部２０４に入力され、ノイズリダクション処理（ノイズ低減処理）が行われる。ノイズリダクション部２０４から出力された信号は、信号処理部２０５に入力され、公知のガンマ処理、マトリックス処理、色抑圧処理等の所定の信号処理が行われる。

次に、ノイズリダクション（ＮＲ）部２０４の動作の一例について、図１３〜図１５を参照して説明する。図１３は、ノイズリダクション（ＮＲ）部２０４の動作の一例を示すフローチャートである。まず、ステップＳ３０１で、ノイズリダクション部２０４は、平滑化処理を行う。このステップＳ３０１での平滑化処理について、図１４を参照して説明する。

図１４は、平滑化処理の一例を示すフローチャートである。まず、ステップＳ４０１で、ノイズリダクション部２０４は、着目画素の彩度信号Ｒｃと、着目画素の周辺の画素（周辺画素）の彩度信号Ｒｉとの差分値ＤＩＦＦ＿Ｒを算出する。次に、ステップＳ４０２で、ノイズリダクション部２０４は、算出した差分値ＤＩＦＦ＿Ｒが正であるか否かを判定する。

差分値ＤＩＦＦ＿Ｒが正である場合には、ステップＳ４０３に進み、ノイズリダクション部２０４は、閾値をＴＨ１に設定する。また、差分値ＤＩＦＦ＿Ｒが正でない場合には、ステップＳ４０４に進み、ノイズリダクション部２０４は、閾値をＴＨ２に設定する。このように、本実施形態では、差分値ＤＩＦＦ＿Ｒが正であるか否かに応じて異なる閾値を設定する。

続いて、ステップＳ４０５で、ノイズリダクション部２０４は、ステップＳ４０２において算出した差分値ＤＩＦＦ＿Ｒの絶対値と閾値（ＴＨ１又はＴＨ２）とを比較する。差分値ＤＩＦＦ＿Ｒの絶対値が閾値未満の場合には、ステップＳ４０６で、ノイズリダクション部２０４は、この周辺画素を平滑化の対象画素とするフラグを立てる。また、差分値ＤＩＦＦ＿Ｒの絶対値が閾値以上の場合には、ステップＳ４０７に進む。ステップＳ４０７で、ノイズリダクション部２０４は、演算を行う周辺画素が残っているか否かを判断する。その結果、演算を行う周辺画素がある場合には、ステップＳ４０１に戻り、ステップＳ４０１からステップＳ４０７までの動作を繰り返す。

ステップＳ４０７での判断の結果、演算を行う周辺画素がない場合には、ステップＳ４０８に進み、ノイズリダクション部２０４は、ステップＳ４０６において平滑化の対象画素とするフラグを立てた画素について平滑化処理を行う。例えば、図１５に示すように着目画素Ｒ２２を中心として５×５の領域で平滑化処理を行い、Ｒ００、Ｒ０２、Ｒ３１、Ｒ３３が平滑化処理の対象となった場合の、着目画素Ｒ２２を含めた平滑化処理後の信号をＲ＿ｏｕｔとすると下記（式４）で表現される。
Ｒ＿ｏｕｔ＝（Ｒ００＋Ｒ０２＋Ｒ２２＋Ｒ３１＋Ｒ３３）／５…（式４）

図１６（ａ）に、Ｒ画素周辺における画素値分布のヒストグラムの例を示す。第１の実施形態と同様であるため、詳細な説明は省略するが、着目画素がＢの位置の画素値である場合、正側の閾値（Ｔｈ１）をＣとＢの差分、負側の閾値（Ｔｈ２）をＢとＡの差分とすると、（Ｃ−Ｂ）＞（Ｂ−Ａ）となるように設定する。このように正側の閾値を大きくし、平滑化処理の効果を高くすることで、暗い側での過補正を小さくしながら、明るい側での平滑化処理の効果を大きくすることができる。ところで、前述した平滑化処理を行うことで、第１の実施形態と同様に、図１６（ｂ）に示すように、全体的に平均輝度がＢの位置から低い画素値Ｒａｖｅ２になる。

図１３に示したフローチャートに戻り、ステップＳ３０２で、ノイズリダクション部２０４は、着目画素の周辺の領域（例えば、Ｎを２以上の整数として、Ｎ×Ｎ画素の領域）が平坦部であるか否かを判定する。平坦部の検出は、例えば着目画素の周辺の同色画素の分散を求め、その分散値が閾値以下である場合に平坦部であると判定すればよい。ステップＳ３０３で、ノイズリダクション部２０４は、着目画素の周辺領域が平坦部であればステップＳ３０４に進み、平坦部でなければステップＳ３０７に進む。

ステップ３０４では、ノイズリダクション部２０４は、平滑化処理前のＲＡＷ画像データでの周辺領域の画素平均値Ｒ＿ａｖｅ１を求める。次に、ステップＳ３０５で、ノイズリダクション部２０４は、平滑化処理後のＲＡＷ画像データでの周辺領域の画素平均値Ｒ＿ａｖｅ２を求める。次に、ステップＳ３０６で、ノイズリダクション部２０４は、ステップＳ３０４、Ｓ３０５においてそれぞれ求めた画素平均値Ｒ＿ａｖｅ１、Ｒａｖｅ２から、平滑化処理前後での画素値のゲイン差を下記（式５）により画素毎に求めて、ステップＳ３０７に進む。
Ｒ＿ｄｉｆｆ［Ｒ＿ａｖｅ１］＝Ｒ＿ａｖｅ１／Ｒ＿ａｖｅ２…（式５）

ステップＳ３０７で、ノイズリダクション部２０４は、演算を行う画素が残っているか否かを判断する。その結果、演算を行う画素がある場合には、ステップＳ３０２に戻り、ステップＳ３０２からステップＳ３０７までの動作を繰り返す。ステップＳ３０７での判断の結果、演算を行う周辺画素がない場合には、ステップＳ３０８に進む。

次に、ステップＳ３０８で、ノイズリダクション部２０４は、各画素で求めたゲイン差Ｒ＿ｄｉｆｆの値から入力画素依存のゲインテーブルを決定する。ゲインテーブルは、第１の実施形態において説明したものと同様であるので説明は省略する。次に、ステップＳ３０９で、ノイズリダクション部２０４は、ステップＳ３０８において求めたゲインテーブルに従って、ゲイン補正を行う。例えば、ノイズリダクション部２０４は、平滑化処理後のＲＡＷ画像データＲ＿ｉｎに対して、下記（式６）に示すようにゲイン値Ｒ＿ｇａｉｎを乗算し、ゲイン補正された平滑化処理後のＲＡＷ画像データＲ＿ｏｕｔとして出力する。
Ｒ＿ｏｕｔ＝Ｒ＿ｇａｉｎ［Ｒ＿ｉｎ］×Ｒ＿ｉｎ…（式６）

以上のように、着目画素と周辺画素との信号の差分値ＤＩＦＦ＿Ｒが正側の平滑化処理の効果を大きくした場合に、平滑化処理後の平均輝度（Ｒ＿ａｖｅ２）が、平滑化処理前の平均輝度（Ｒ＿ａｖｅ１）に対して小さくなってしまう。本実施形態では、ノイズリダクション部２０４が、画像の平坦部において、平滑化処理前の画素値分布に近づくように、平滑化処理前後の平均輝度値から求めたゲイン値（Ｒ＿ａｖｅ１／Ｒ＿ａｖｅ２）を、平滑化処理前のＲＡＷ画像データに乗算する。こうすることで、平滑化処理後の平均輝度値がＲ＿ａｖｅ１となり、平均輝度を正しく補正することができる。なお、本実施形態では、着目画素をＲ画素として説明したが、着目画素がＢ画素、Ｇ画素でも同様の処理のため、その説明を省略する。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００、２００：撮像部 １０３：欠陥補正部 １０４、２０５：信号処理部 １１０：欠陥画素検出回路 １１１：補正値算出回路 １１２：加重加算回路 １１３：ゲイン補正回路 ２０３：色補間部 ２０４：ノイズリダクション部

Claims (8)

1. 撮像部によって得られた画像データにノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減手段から出力された画像データに所定の信号処理を行う信号処理手段とを有し、
   前記ノイズ低減手段は、
   前記ノイズ低減処理した後の画像データに対して、前記ノイズ低減処理する前の画像データでの着目画素の周辺の画素から得られた値と前記ノイズ低減処理した後の画像データでの当該着目画素の周辺の画素から得られた値とに応じた補正を行うことを特徴とする撮像装置。
2. 前記着目画素の周辺の画素は、当該着目画素の周辺の画素の内の当該着目画素と同色の画素であることを特徴とする請求項１記載の撮像装置。
3. 前記ノイズ低減手段は、着目画素の周辺の領域が平坦部であるか否かを判定し、前記着目画素の周辺の領域が平坦部であると判定した場合に、前記ノイズ低減処理した後の画像データに対して、前記ノイズ低減処理する前の画像データでの当該着目画素の周辺の画素から得られた値と前記ノイズ低減処理した後の画像データでの当該着目画素の周辺の画素から得られた値とに応じた補正を行うことを特徴とする請求項１又は２記載の撮像装置。
4. 前記ノイズ低減手段は、
   前記着目画素の周辺の画素の値の分散を求め、前記分散の値が閾値以下である場合に平坦部であると判定することを特徴とする請求項３記載の撮像装置。
5. 前記ノイズ低減手段は、前記着目画素の周辺の領域が平坦部である場合、前記ノイズ低減処理する前の画像データでの当該着目画素の周辺の画素の平均値と前記ノイズ低減処理した後の画像データでの当該着目画素の周辺の画素の平均値とから補正ゲインを算出し、前記ノイズ低減処理した後の画像データに前記補正ゲインを乗算することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記ノイズ低減処理は、前記画像データにおける欠陥画素の補正処理であることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記ノイズ低減処理は、前記画像データにおける平滑化処理であることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
8. 撮像部によって得られた画像データにノイズ低減処理を行うノイズ低減工程と、
   前記ノイズ低減処理された画像データに所定の信号処理を行う信号処理工程とを有し、
   前記ノイズ低減工程では、
   前記ノイズ低減処理した後の画像データに対して、前記ノイズ低減処理する前の画像データでの着目画素の周辺の画素から得られた値と前記ノイズ低減処理した後の画像データでの当該着目画素の周辺の画素から得られた値とに応じた補正を行うことを特徴とする撮像方法。

Images