JP5445053B2 - 撮像装置及び画像補正プログラム - Google Patents

Description

本発明は、撮像装置及び画像補正プログラムに関する。

ビデオカメラやデジタルカメラなどの撮像装置は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子を有している。このような撮像装置により得られた画像の中には、電源電圧の変動に起因するシーケンスノイズや、高輝度となる物体が撮影範囲に含まれた場合に生じる横スミアなどの横筋ノイズが発生する。このような画像に対しては、横筋ノイズが発生する水平ライン上に配列される遮光画素の信号値の平均を補正値として算出し、算出された補正値を用いて各画素の信号値を補正している（例えば特許文献１参照）。

特開２００８−２８８８１６号公報

しかしながら、水平ライン上に配列される遮光画素の画素数が少ない場合、遮光画素の信号値を平均した補正値では横筋ノイズの影響を十分に緩和した値とはならないことがある。このため、上述した補正処理を行った場合には、横筋ノイズを適切に補正できない、又は横筋ノイズを強調させてしまうなどの要因となりやすい。

本発明は、画像に発生する横筋ノイズを目立ちにくくすることができるようにした撮像装置及び画像補正プログラムを提供することを目的とする。

上述した問題を解決するために、本発明の撮像装置は、被写体光を受光可能な複数の有効画素と前記被写体光が遮光される複数の遮光画素とが第１方向に沿って配列された複数の第１水平ラインと複数の前記遮光画素のみが前記第１方向に沿って配列された複数の第２水平ラインとが前記第１方向と垂直な第２方向に沿って配列された撮像素子と、前記第１水平ラインに配列された前記遮光画素の信号値の平均値を第１水平ライン毎に求め、前記平均値と予め設定された閾値とを比較する比較部と、前記比較部の比較結果により前記閾値を超える平均値が求められた遮光画素を有する第１水平ラインを選択し、かつ選択された第１水平ラインに配列された有効画素の信号値を補正する第１補正値を設定する補正値設定部と、前記第２水平ラインに配列された前記遮光画素の信号値に基づいて前記補正値設定部により設定された前記第１補正値に対する調整値を算出する調整値算出部と、前記第１補正値と前記調整値とを用いて、前記補正値設定部により選択された第１水平ラインに配列された有効画素の信号値を補正するための第２補正値を有効画素毎に算出する補正値算出部と、を備え、前記比較部は、前記第２水平ラインに配列された前記遮光画素の信号値の平均値と前記閾値との比較は行わないことを特徴とする。

また、前記補正値設定部は、前記比較部の比較結果により前記閾値を超えない前記平均値が求められた遮光画素を有する第１水平ラインに対して前記第１補正値の設定を行わないことが好ましい。

また、前記調整値算出部は、前記第２水平ラインに配列された遮光画素の信号値に基づいた前記調整値を前記補正値設定部により選択された第１水平ラインに配列された有効画素毎に算出することが好ましい。

また、前記調整値算出部は、乱数演算を用いて前記補正値設定部により選択された第１水平ラインに配列された有効画素毎の前記調整値を算出することが好ましい。

また、前記遮光画素の信号値に対する黒レベル値を一定の値に固定するクランプ部と、前記クランプ部により黒レベル値が固定された遮光画素の信号値を用いて、前記有効画素の信号値に対する固定パターンノイズを補正するパターンノイズ補正部と、をさらに備え、前記補正値設定部は、前記固定パターンノイズが補正された前記遮光画素の信号値を用いて前記第１補正値を求めることが好ましい。

また、前記補正値算出部により算出された前記第２補正値を用いて、前記有効画素の信号値に対する補正を実行する画像補正部を、さらに備えていることが好ましい。

また、本発明の画像補正プログラムは、被写体光を受光可能な複数の有効画素と前記被写体光が遮光される複数の遮光画素とが第１方向に沿って配列された複数の第１水平ラインと複数の前記遮光画素のみが前記第１方向に沿って配列された複数の第２水平ラインとが前記第１方向と垂直な第２方向に沿って配列された撮像素子から出力された画像信号に対して、前記第１水平ラインに配列された前記遮光画素の信号値の平均値を第１水平ライン毎に求め、前記平均値と予め設定された閾値とを比較する比較工程と、前記比較工程の比較結果により前記閾値を超える平均値が求められた遮光画素を有する第１水平ラインを選択し、かつ選択された第１水平ラインに配列された有効画素の信号値を補正する第１補正値を設定する補正値設定工程と、前記第２水平ラインに配列された前記遮光画素の信号値に基づいて前記補正値設定工程により設定された前記第１補正値に対する調整値を算出する調整値算出工程と、前記第１補正値と前記調整値とを用いて、前記補正値設定工程により選択された第１水平ラインに配列された有効画素の信号値を補正するための第２補正値を有効画素毎に算出する補正値算出工程と、をコンピュータに実行させることが可能であり、前記比較工程は、前記第２水平ラインに配列された前記遮光画素の信号値の平均値と前記閾値との比較は行わないことを特徴とすることを特徴とする。

本発明によれば、画像に発生する横筋ノイズを目立ちにくくすることができる。

デジタルカメラの電気的構成を示すブロック図である。 撮像面における有効画素領域及び遮光画素領域を示す図である。 目安補正値Ｅｙ及び調整値Ｆをそれぞれ求める場合に用いる画素の領域を示す図である。 水平ラインの行数と平均信号値との関係を示す図である。 ｍ_２行目の水平ラインに配列される各画素に対する調整値Ｆ（ｘ，ｙ）を示す図である。 撮影時の処理の流れを示すフローチャートである。

図１は、撮像装置の一例としたデジタルカメラ１０の構成を示している。周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後に出力される画素ごとの電気信号（以下、画素信号）をまとめた画像信号（画像データ）を取得する。

撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。撮像素子１６は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが用いられる。この撮像素子１６は、ドライバ１７によって駆動される。ドライバ１７は、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された信号電荷の出力を制御する。

図２に示すように、撮像素子１６は、撮像光学系１５を介して取り込まれた被写体光を受光する撮像面２０を備えている。図２のｘ方向を列、ｙ方向を行とすると、撮像素子１６の撮像面２０には、ｎ行ｍ列の画素が配置されている。なお、撮像面２０に配置される複数の画素のそれぞれには、被写体光を信号電荷に変換する光電変換部等が設けられている。この撮像素子１６は、各画素に蓄積された信号電荷を１行ずつｘ方向に読み出していくことで、各画素に蓄積された信号電荷が画素信号としてＡＦＥ回路２５に出力される。なお、ｘ方向に延びる直線を水平ラインとすると、１行目の水平ライン、２行目の水平ライン、・・・・ｍ行目の水平ラインの順で、それぞれの画素に蓄積された信号電荷の読み出しが行われる。また、この撮像面２０は、撮影時に被写体光を受光する画素（有効画素）ＥＰが配置される有効画素領域２１と、撮影時に被写体光が遮光される画素（遮光画素）ＢＰが配置される遮光画素領域（以下、オプティカルブラック領域）２２とを備えている。これら領域のうち、有効画素領域２１に含まれる有効画素ＥＰから出力される画素信号が、撮影時に取得される画像データとなり、オプティカルブラック領域２２に含まれる遮光画素ＢＰから出力される画素信号が、各種補正処理の際に使用される。

図１に戻って、ＡＦＥ回路２５は、周知のＣＤＳ回路、ＡＧＣ回路、クランプ回路及びＡ／Ｄ変換回路を備えている。ＡＦＥ回路２５に入力された画像信号は、ＣＤＳ回路により相関二重サンプリング処理が施された後、ＡＧＣ回路によりゲイン調整が施される。このゲイン調整の後、クランプ回路によりクランプ処理が実行される。このクランプ処理は、撮像素子１６から出力される画像信号に対して黒レベルを一定にする処理である。このクランプ処理が施された画像信号は、Ａ／Ｄ変換回路により、アナログの画像信号からデジタルの画像信号に変換される。なお、クランプ回路をＡＦＥ回路２５に設けているが、これに限定される必要はなく、例えばクランプ回路を後述するＤＦＥ回路２６に設け、ＤＦＥ回路２６に入力された直後の画像信号に対してクランプ処理を実行してもよい。

ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）回路２６は、入力される画像信号に対して、シェーディング補正処理、固定パターンノイズ（ＦＰＮ）補正処理などの補正処理を行う。これら処理については周知であることから、その詳細を省略する。なお、これら処理は、撮像面２０に配列される全ての画素の画素信号に対して実行され、これら処理が施された画素信号は、バッファメモリ２８に記録される。符号２９は、タイミングジェネレータ（ＴＧ）であり、このタイミングジェネレータ２９により、ドライバ１７、ＡＦＥ回路２５及びＤＦＥ回路２６の駆動タイミングが制御される。

画像処理回路３１は、バッファメモリ２８に記憶された画像信号に対して、後述するノイズ補正処理、ホワイトバランス（ＷＢ）処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。さらに、画像処理回路３１は、画像処理が施された画像信号に対する符号化処理や、記憶媒体４２から読み出された画像信号に対する復号化処理などを実行する。

ノイズ補正処理は、画像中に生じる横筋ノイズを補正する処理である。この横筋ノイズは、ｘ方向に延びる筋状のノイズであり、電源電圧の変動に起因するシーケンスノイズや、高輝度となる物体が撮影範囲に含まれた場合に生じる横スミアなどが挙げられる。画像処理回路３１は、このノイズ補正処理を行う機能として、補正値設定部３５、調整値算出部３６及びノイズ補正部３７を有している。

補正値設定部３５は、ノイズ補正処理を行う必要がある水平ラインの位置（行数）と、ノイズ補正処理を行う際の目安となる補正値（目安補正値）Ｅｙとを求める。まず、補正値設定部３５は、バッファメモリ２８に記憶された画像信号を読み出す。図３に示すように、補正値設定部３５は、オプティカルブラック領域２２のうち、有効画素領域２１の右側方に含まれる遮光画素ＢＰの領域（図中符号２２ａで示す領域）に含まれる水平ライン毎の遮光画素ＢＰの信号値の平均（以下、平均信号値）Ｄｙ（ｙ＝１〜ｍ）を算出する。水平ライン毎の平均信号値Ｄｙを算出した後、補正値設定部３５は、算出した平均信号値Ｄｙが閾値α以下であるか否かを判定する。上述した閾値αは、横筋ノイズが発生しているか否かを判定するための値であり、この閾値αは実験や統計などから求められる値である。また、遮光画素ＢＰの平均信号値Ｄｙを求める水平ラインは、全ての水平ラインに限定されるものではなく、有効画素ＥＰが含まれる水平ラインについて求めればよい。

図４は、撮像面２０のｙ方向（行数）と、水平ライン毎の平均信号値Ｄｙとの関係を示すものである。図４は、閾値αが０＜α＜１を満足する値となる場合について説明している。例えばｍ_１行目の水平ラインの平均信号値Ｄｍ_１が１（ＬＳＢ）、ｍ_２行目の水平ラインの平均信号値Ｄｍ_２が３（ＬＳＢ）であれば、これら水平ラインの平均信号値Ｄｍ_１、Ｄｍ_２は閾値αを超過している。この場合、補正値設定部３５は、ｍ_１行目の水平ライン及びｍ_２行目の水平ラインに横筋ノイズが発生していると判定し、ｍ_１行目の水平ライン及びｍ_２行目の水平ラインを、ノイズ補正処理を行う水平ラインとして設定する。

ノイズ補正処理を行う水平ラインを設定した後、補正値設定部３５は、設定された水平ラインにおける目安補正値Ｅｙをそれぞれ設定する。上述したように、ｍ_１行目の水平ライン及びｍ_２行目の水平ラインを、ノイズ補正処理を行う水平ラインとして設定した場合、ｍ_１行目の水平ラインにおける遮光画素ＢＰの平均信号値Ｄｍ_１は１（ＬＳＢ）、ｍ_２行目の水平ラインにおける遮光画素ＢＰの平均信号値Ｄｍ_２は３（ＬＳＢ）であることから、補正値設定部３５は、ｍ_１行目の水平ラインにおける目安補正値Ｅｍ_１として−１（ＬＳＢ）、ｍ_２行目の水平ラインにおける目安補正値Ｅｍ_２として−３（ＬＳＢ）を設定する。なお、ノイズ補正処理を行う水平ラインの位置は、目安補正値Ｅｍと後述する画素毎の調整値Ｆ（ｘ，ｙ）と対応付けられて、プロファイルデータとして内蔵メモリ７３に書き込まれる。なお、図４においては、横筋ノイズが発生していない水平ラインの平均信号値Ｄｙを０とすることで説明を容易にしているが、水平ラインの平均信号値は横筋ノイズが発生していなくとも水平ライン毎にばらつく場合もある。このような場合には、求めた平均信号値Ｄｙに基づいた近似直線、又は近似曲線を求めた後、これら線に対して所定の範囲内に含まれるか否かを判定すればよい。

調整値算出部３６は、ノイズ補正処理を行う際に用いる目安補正値Ｅｙを有効画素毎に調整するための調整値Ｆ（ｘ，ｙ）を算出する。以下、有効画素毎に算出される調整値を、画素毎の調整値と称して説明する。上述した補正値設定部３５において、ノイズ補正処理を行う水平ラインの位置と、ノイズ補正処理を行う際の目安補正値Ｅｙとがそれぞれ設定される。ノイズ補正処理では、水平ライン上に配置される各画素の信号値に、目安補正値Ｅｙ等の一定の補正値を加算（補正値が正の値であれば減算）することが考えられる。しかしながら、有効画素の信号値のそれぞれに加算する一定の補正値が適切な値、言い換えれば横筋ノイズの影響を緩和した値でない場合、発生する横筋ノイズを補正することができず、横筋ノイズを強調させてしまう。このため、本発明では、目安補正値Ｅｙなどの一定の補正値に対する調整値Ｆ（ｘ，ｙ）を画素毎に求め、求めた調整値Ｆ（ｘ，ｙ）を用いて目安補正値Ｅｙを有効画素毎に調整する。そして、調整された補正値Ｇ（ｘ，ｙ）を用いたノイズ補正処理を行うことで横筋ノイズを低減する。

画素毎の調整値Ｆ（ｘ，ｙ）を求める方法としては、以下の方法が挙げられる。まず、調整値算出部３６は、オプティカルブラック領域２２のうち、有効画素領域２１の上部に設けられる領域（符号２２ｂ）に含まれる水平ライン（例えば図３中３行目の水平ライン）に配置される遮光画素ＢＰの信号値を読み出す。調整値算出部３６は、読み出した遮光画素ＢＰの信号値に基づいて画素毎の調整値Ｆ（ｘ，ｙ）を求める（図５参照）。この調整値Ｆ（ｘ，ｙ）は、目安補正値Ｅｙを基準にして求められる値であり、例えば各調整値Ｆ（ｘ，ｙ）の平均や、調整値Ｆ（ｘ，ｙ）の分布（度数分布など）の中心が、目安補正値Ｅｙと一致するように決定される。

なお、この画素毎の調整値Ｆ（ｘ，ｙ）は、例えば１水平ラインに配列される遮光画素ＢＰの信号値の分布状態（信号値のばらつき）に基づいて画素毎の調整値Ｆ（ｘ，ｙ）を求めることが考えられる。また、この他に、オプティカルブラック領域２２のうち、有効画素領域２１の上部に設けられる領域（符号２２ｂ）中に複数の水平ラインが含まれる場合には、複数の水平ラインのそれぞれに配列される画素の信号値を列方向で単純平均し、各列で平均された信号値のばらつきに基づいて画素毎の調整値Ｆ（ｘ，ｙ）を求めてもよい。また、調整値Ｆ（ｘ，ｙ）は、水平ラインに配列される画素のうち、少なくとも有効画素ＥＰに対して算出されればよい。この調整値Ｆ（ｘ，ｙ）を求める処理は、ノイズ補正処理を行う全ての水平ラインに対して実行され、求めた調整値Ｆ（ｘ，ｙ）は、ノイズ補正処理を実行する水平ラインの位置及び目安補正値Ｅｙと対応付けられて、内蔵メモリ７３にプロファイルデータとして書き込まれる。

ノイズ補正部３７は、内蔵メモリ７３に書き込まれたプロファイルデータを読み出して、画像信号に対するノイズ補正処理を実行する。上述したように、プロファイルデータは、ノイズ補正処理を施す水平ラインの位置、目安補正値Ｅｙ及び画素毎の調整値Ｆ（ｘ，ｙ）が対応付けられたデータからなる。ノイズ補正部３７は、プロファイルデータとして記憶される目安補正値Ｅｙ及び画素毎の調整値Ｆ（ｘ，ｙ）から、ノイズ補正処理を施す水平ラインに配列される有効画素ＥＰに対する補正値Ｇ（ｘ，ｙ）を画素毎に算出し、該当する有効画素ＥＰの信号値から算出した補正値Ｇ（ｘ，ｙ）を加算する。この処理は、ノイズ補正処理を実行する水平ライン上に配列される全ての有効画素ＥＰに対して実行される。

記録用Ｉ／Ｆ４１は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体４２と電気的に接続可能となっている。この記憶媒体４２は、撮影時に取得される画像ファイルが記録される。

ＬＣＤ４３は、表示装置の一形態であって、スルー画像、撮影時に得られた画像やデジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号４４は、ＬＣＤ４３の駆動制御を行う表示制御回路である。

ＣＰＵ５１は、バス５２を介して、バッファメモリ２８、画像処理回路３１、記録用Ｉ／Ｆ４１、表示制御回路４４、内蔵メモリ５３などと電気的に接続される。このＣＰＵ５１には、レリーズボタン５５、設定操作部５６などが接続されており、ＣＰＵ５１は、これら操作部材における操作要求や内蔵メモリ５３に記憶された制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。

以下、撮影時の処理の流れについて、図６のフローチャートに基づいて説明する。なお、このフローチャートは、撮影に対する操作が実行されていない撮影待機状態であることを契機にして実行される。

ステップＳ１０１は、レリーズボタン５５の半押し操作があるか否かを判定する処理である。ユーザにより操作されるレリーズボタン５５が半押し状態になると、半押し状態を検知するスイッチＳＷ１がオンとなる。ＣＰＵ５１は、このスイッチからのオン信号がＣＰＵ５１に入力されたか否かによって、レリーズボタン５５が半押し操作されたか否かを判定する。例えば、スイッチＳＷ１からのオン信号がＣＰＵ５１に入力された場合には、ＣＰＵ５１は、レリーズボタン５５が半押し操作されたと判定する。この場合、ステップＳ１０１の判定処理がＹｅｓとなり、ステップＳ１０２に進む。一方、スイッチＳＷ１からのオン信号がＣＰＵ５１に入力されていない場合には、ＣＰＵ５１は、レリーズボタン５５が半押しされていないと判定する。この場合ステップＳ１０１の判定処理がＮｏとなる。この場合は、ステップＳ１０１の処理が繰り返し実行される。

ステップＳ１０２は、ＡＥ処理である。ＡＥ処理については周知であることから、ここでは、その詳細を省略する。ＡＥ（Automatic Exposure）処理はＣＰＵ５１により実行される。このＡＥ処理がＣＰＵ５１により実行されることで、撮影時の露光条件が決定する。

ステップＳ１０３は、ＡＦ（Automatic Focus）処理である。ＡＦ処理に付いては周知であることから、ここでは、その詳細を省略する。このＡＦ処理は、ＣＰＵ５１により実行される。なお、ＡＦ処理時には、ＣＰＵ５１は、図示を省略したレンズ駆動機構を介して撮像光学系のフォーカスレンズを光軸Ｌ方向に微小移動させ、取得されるＡＦ評価値が最も高くなる位置にフォーカスレンズを移動させる。

ステップＳ１０４は、レリーズボタン５５の全押し操作があるか否かを判定する処理である。ユーザにより操作されるレリーズボタン５５が全押し状態になると、図示を省略したスイッチがオンとなる。ＣＰＵ５１は、このスイッチからのオン信号がＣＰＵ５１に入力されたか否かによって、レリーズボタン５５が全押し操作されたか否かを判定する。例えば、スイッチＳＷ２からのオン信号がＣＰＵ５１に入力された場合には、ＣＰＵ５１は、レリーズボタン５５が全押し操作されたと判定する。この場合、ステップＳ１０１の判定処理がＹｅｓとなり、ステップＳ１０５に進む。一方、スイッチＳＷ２からのオン信号がＣＰＵ５１に入力されていない場合には、ＣＰＵ５１は、レリーズボタン５５が全押しされていないと判定する。この場合ステップＳ１０４の判定処理がＮｏとなる。この場合は、ステップＳ１０４の処理が繰り返し実行される。

ステップＳ１０５は、撮像処理である。ＣＰＵ５１は、ステップＳ１０２で決定された露光条件を満足するように絞り値を変更した後、設定されたシャッタ速度となるように、撮像素子１６を制御する。この撮像素子１６の制御により、撮像素子１６の撮像面に配列された画素に蓄積された信号電荷が画素信号として、水平ライン毎に出力される。この水平ライン毎に出力される画素信号が画像信号となる。

ステップＳ１０６は、クランプ処理である。撮像素子１６から出力される画像信号は、ＡＦＥ回路に出力される。ＡＦＥ回路２５は、ＣＤＳ回路により相関二重サンプリング処理が施された後、ＡＧＣ回路によりゲイン調整が施される。これら処理の後、ＡＦＥ回路２５によるクランプ処理が実行され、画像信号の黒レベルが一定にクランプされる。

ステップＳ１０７は、ＦＰＮ補正処理である。ＡＦＥ回路２５にてクランプ処理された画像信号は、ＤＦＥ回路２６に入力される。このＤＦＥ回路２６に入力された画像信号に対して、ＤＦＥ回路２６は、水平シェーディング補正処理を施す。そして、水平シェーディング補正処理の後、ＤＦＥ回路２６は、画像信号に対してＦＰＮ補正処理を施す。なお、このＦＰＮ補正処理が施された画像信号は、バッファメモリ２８に書き込まれる。

ステップＳ１０８は、ノイズ補正処理である。このノイズ補正処理は、画像処理回路３１にて実行される。画像処理回路３１は、バッファメモリ２８に書き込まれた画像信号のうち、有効画素領域２１の側方の領域２２ａに配列される遮光画素ＢＰの画素信号を読み出し、水平ライン毎の平均信号値Ｄｙを算出する。この平均信号値Ｄｙを算出した後、画像処理回路３１は、予め設定された閾値αとの比較を行う。例えば平均信号値Ｄｙが閾値αを超過する場合、画像処理回路３１は、平均信号値Ｄｙが閾値αを超過する水平ラインを、ノイズ補正処理を実行する水平ラインに設定する。これに併せて、画像処理回路３１は、該平均信号値Ｄｙを目安補正値Ｅｙとして設定する。なお、平均信号値Ｄｙが閾値α以下となる場合には、その平均信号値Ｄｙが算出される水平ラインは、ノイズ補正処理を行わない水平ラインとなる。なお、図３の場合には、ｍ_１行目の水平ライン及びｍ_２行目の水平ラインが、ノイズ補正処理を行う水平ラインとして設定される。また、ｍ_１行目の水平ラインに対する目安補正値Ｅｍ_１として−１（ＬＳＢ）が設定され、ｍ_２行目の水平ラインに対する目安補正値Ｅｍ_２として−３（ＬＳＢ）が設定される。

上述した処理の後、画像処理回路３１は、バッファメモリ２８に書き込まれた画像信号から、有効画素領域２１の上方の領域２２ｂに配列される遮光画素ＢＰの信号値を読み出した後、有効画素領域２１に含まれる水平ライン上に配置される画素信号を用いて、且つ、目安補正値Ｅｙが分布の中心となるように、画素毎の調整値Ｆ（ｘ，ｙ）を求める。なお、図５は、図３に示すｍ_２行目の水平ラインに配列される各画素に対する調整値Ｆ（ｘ，ｍ_２）の一例を示すものである。この図５においては、遮光画素ＢＰの信号値の分布の中心値を０にし、分布の中心値と、遮光画素ＢＰの信号値との差分とをグラフ化したものである。このグラフで表される遮光画素ＢＰの信号値と中心値との差分が、同一列に配置された画素の調整値Ｆ（ｘ，ｍ_２）となる。画像処理回路３１は、ノイズ補正処理を実行する水平ラインの位置、目安補正値Ｅｙ及び画素毎の調整値Ｆ（ｘ，ｙ）を対応付けたプロファイルデータを生成し、内蔵メモリ５３に書き込む。

これら処理の後、画像処理回路３１は、プロファイルデータから目安補正値Ｅｙ及び画素毎の調整値Ｆ（ｘ，ｙ）を読み出し、ノイズ補正処理を実行する水平ライン上に配列された有効画素ＥＰのそれぞれに対する補正値Ｇ（ｘ，ｙ）を算出する。そして、画像処理回路３１は、該当する水平ライン上に配列される有効画素ＥＰの信号値を読み出し、求めた補正値Ｇ（ｘ，ｙ）を加算していく。この処理を行うことで、水平ライン上に配列された有効画素ＥＰに対するノイズ補正処理が実行されていく。例えば、図３に示すｍ_１行目の水平ライン及びｍ_２行目の水平ラインに横筋ノイズが発生する場合には、ｍ_１行目の水平ライン及びｍ_２行目の水平ラインに配列される有効画素ＥＰに対してノイズ補正処理が行われる。このノイズ補正処理を行うことで、ｍ_１行目の水平ライン及びｍ_２行目の水平ラインに生じる横筋ノイズが目立たなくなる。なお、ノイズ補正処理が実行された画像信号は、バッファメモリ２８に再度書き込まれる。

ステップＳ１０９は、画像処理である。画像処理回路３１は、ステップＳ１０８によるノイズ補正処理が施された画像信号に対して、ホワイトバランス（ＷＢ）処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。その後、画像処理が施された画像信号に対してフォーマット処理、符号化（圧縮符号化）処理が施される。符号化された画像信号は、バッファメモリ２８に書き込まれる。

ステップＳ１１０は、画像を記録する処理である。ＣＰＵ５１は、圧縮符号化された画像データを読み出し、符号化された画像データと、カメラの機種や露光条件、撮影日時などの情報とをまとめた画像ファイルを作成し、記憶媒体４２に書き込む。このステップＳ１１０の処理が実行されると、１回の撮影時の処理が終了し、次の撮影が行える待機状態となる。

例えば有効画素領域２１の側方に位置する領域２２ａに配置される遮光画素ＢＰの信号値を用いて横筋ノイズを補正する場合、配列される遮光画素ＢＰの列数が多くなればなるほど、横筋ノイズを補正する際に用いる補正値の信頼性が高くなるが、この補正値と実際のノイズ成分の大きさに誤差が生じている場合には、画像中に発生する横筋ノイズを目立ちにくくすることができなくなる。しかしながら、本実施形態では、予め有効画素領域２１の上部の領域に含まれる水平ライン上の遮光画素ＢＰの信号値に基づいて補正値を調整する、言い換えれば画素毎のばらつきを加味した上で、有効画素ＥＰの信号値に対する補正を実行している。これによれば、補正値の誤差を小さくすることが可能となるので、画像中に発生する横筋ノイズを目立ちにくくすることができる。

また、有効画素領域２１の上部の領域に含まれる水平ライン上の遮光画素ＢＰの信号値は、撮影時の撮影感度におけるノイズ分布に近いことから、有効画素領域２１の上部の領域に含まれる水平ライン上の遮光画素ＢＰの信号値に基づいた画素毎の調整値Ｆ（ｘ，ｙ）を求めることで、ノイズ補正処理を適切に実行することができ、横筋ノイズの低減に寄与することができる。

本実施形態では、有効画素領域２１の上部の領域２１ｂに含まれる水平ライン上の遮光画素ＢＰの信号値に基づいて画素毎の調整値Ｆ（ｘ，ｙ）を求めているが、これに限定されるものではない。つまり、画素毎の調整値Ｆ（ｘ，ｙ）の分布の中心値が目安補正値Ｅｙとなればよいので、例えば乱数演算により画素毎の調整値Ｆ（ｘ，ｙ）を求めることも可能である。また、画素毎の調整値Ｆ（ｘ，ｙ）を、ノイズ補正処理を実行する水平ライン毎に求めているが、これに限定する必要はなく、画素毎の調整値Ｆ（ｘ，ｙ）を１ライン分求め、それぞれの目安補正値Ｅｙに基づいて算出される比率に基づいて、各水平ラインに配列される各画素の調整値Ｆ（ｘ，ｙ）を変更することも可能である。

本実施形態では、撮影時にノイズ補正処理を実行しているが、このノイズ補正処理は、撮影が行われる度に行う必要はなく、例えば取得される画像信号における横筋ノイズの大きさが予め設定されたノイズ成分よりも大きい場合にのみ実行する、或いは撮影モードにノイズ補正モードを設け、ノイズ補正モードが選択された場合に実行するなど、ノイズ補正処理を行う契機は、適宜設定することが可能である。

本実施形態では、ノイズ補正処理を行う水平ラインの位置、目安補正値Ｅｙ及び画素毎の調整値Ｆ（ｘ，ｙ）をプロファイルデータとしているが、これに限定される必要はなく、ノイズ補正処理を行う水平ラインの位置及び目安補正値Ｅｙからなるプロファイルデータを作成し、画素毎の調整値Ｆ（ｘ，ｙ）は、ノイズ補正処理を行う際に求めることも可能である。

本実施形態では、デジタルカメラを例に取り上げているが、例えばカメラ機能を有する携帯電話機や携帯型端末などに、本発明を適用することが可能である。

また、この他に、上述した画像処理回路３１の構成や、図６のフローチャートのステップＳ１０８の処理を行うことが可能な画像処理装置であってもよい。この場合、クランプ処理及びＦＰＮ補正処理などが施された画像信号をデジタルカメラなどによって取得し、取得した画像信号を画像処理装置で処理すればよい。また、この他に、デジタルカメラの撮影時に、クランプ処理及びＦＰＮ補正処理などが施された画像信号と、上述したプロファイルデータとを対応付けて記憶媒体に記憶させておき、プロファイルデータを利用したノイズ補正処理を取得した画像信号に対して行う画像処理装置であってもよい。

さらに、画像処理回路３１の機能や、図６のフローチャートのステップＳ１０８の処理を行うことが可能な画像補正プログラムであってもよい。この場合、この画像補正プログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータ読み取り可能な記憶媒体４２に記憶させておき、この記憶媒体４２に記憶された画像補正プログラムをコンピュータにインストールするなどして、コンピュータにて実行させることで、本発明と同様の効果を得ることができる。

１０…デジタルカメラ、１６…撮像素子、２１…有効画素領域、２２…遮光画素領域（オプティカルブラック領域）２５…ＡＦＥ回路、２６…ＤＦＥ回路、２８…バッファメモリ、３１…画像処理回路、３５…補正値設定部、３６…調整値算出部、３７…ノイズ補正部、４２…記憶媒体、

Claims (7)

1. 被写体光を受光可能な複数の有効画素と前記被写体光が遮光される複数の遮光画素とが第１方向に沿って配列された複数の第１水平ラインと複数の前記遮光画素のみが前記第１方向に沿って配列された複数の第２水平ラインとが前記第１方向と垂直な第２方向に沿って配列された撮像素子と、
   前記第１水平ラインに配列された前記遮光画素の信号値の平均値を第１水平ライン毎に求め、前記平均値と予め設定された閾値とを比較する比較部と、
   前記比較部の比較結果により前記閾値を超える平均値が求められた遮光画素を有する第１水平ラインを選択し、かつ選択された第１水平ラインに配列された有効画素の信号値を補正する第１補正値を設定する補正値設定部と、
   前記第２水平ラインに配列された前記遮光画素の信号値に基づいて前記補正値設定部により設定された前記第１補正値に対する調整値を算出する調整値算出部と、
   前記第１補正値と前記調整値とを用いて、前記補正値設定部により選択された第１水平ラインに配列された有効画素の信号値を補正するための第２補正値を有効画素毎に算出する補正値算出部と、を備え、
   前記比較部は、前記第２水平ラインに配列された前記遮光画素の信号値の平均値と前記閾値との比較は行わないことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記補正値設定部は、前記比較部の比較結果により前記閾値を超えない前記平均値が求められた遮光画素を有する第１水平ラインに対して前記第１補正値の設定を行わないことを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置において、
   前記調整値算出部は、前記第２水平ラインに配列された遮光画素の信号値に基づいた前記調整値を前記補正値設定部により選択された第１水平ラインに配列された有効画素毎に算出することを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   前記調整値算出部は、乱数演算を用いて前記補正値設定部により選択された第１水平ラインに配列された有効画素毎の前記調整値を算出することを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   前記遮光画素の信号値に対する黒レベル値を一定の値に固定するクランプ部と、
   前記クランプ部により黒レベル値が固定された前記遮光画素の信号値を用いて、前記有効画素の信号値に対する固定パターンノイズを補正するパターンノイズ補正部と、をさらに備え、
   前記補正値設定部は、前記固定パターンノイズが補正された前記遮光画素の信号値を用いて前記第１補正値を求めることを特徴とする撮像装置。
6. 請求項１から請求項５のいずれか１項に記載の撮像装置において、
   前記補正値算出部により算出された前記第２補正値を用いて、前記有効画素の信号値に対する補正を実行する画像補正部を、さらに備えていることを特徴とする撮像装置。
7. 被写体光を受光可能な複数の有効画素と前記被写体光が遮光される複数の遮光画素とが第１方向に沿って配列された複数の第１水平ラインと複数の前記遮光画素のみが前記第１方向に沿って配列された複数の第２水平ラインとが前記第１方向と垂直な第２方向に沿って配列された撮像素子から出力された画像信号に対して、前記第１水平ラインに配列された前記遮光画素の信号値の平均値を第１水平ライン毎に求め、前記平均値と予め設定された閾値とを比較する比較工程と、
   前記比較工程の比較結果により前記閾値を超える平均値が求められた遮光画素を有する第１水平ラインを選択し、かつ選択された第１水平ラインに配列された有効画素の信号値を補正する第１補正値を設定する補正値設定工程と、
   前記第２水平ラインに配列された前記遮光画素の信号値に基づいて前記補正値設定工程により設定された前記第１補正値に対する調整値を算出する調整値算出工程と、
   前記第１補正値と前記調整値とを用いて、前記補正値設定工程により選択された第１水平ラインに配列された有効画素の信号値を補正するための第２補正値を有効画素毎に算出する補正値算出工程と、
   をコンピュータに実行させることが可能であり、
   前記比較工程は、前記第２水平ラインに配列された前記遮光画素の信号値の平均値と前記閾値との比較は行わないことを特徴とすることを特徴とする画像補正プログラム。

Images