JP5421703B2 - 画像信号処理装置および撮像装置 - Google Patents

Description

本発明は、画像信号処理装置および撮像装置に関する。

デジタルカメラなどの撮像装置には、静止画像や動画像を撮像するためのＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子が用いられることがある。この撮像素子では、供給される各種の基準電源電圧の変動などの影響により、複数の画素が行に沿った方向及び列に沿った方向に配列された画素配列における各画素からの出力信号が揺らされることがある。

このようなもののうち、画素配列における一行の読み出し時間よりも長い周期の、比較的緩やかな電源変動などに起因する出力信号の揺られは、複数行に渡ってそのレベルが変動していく。このため、出力信号に応じた画像において、垂直方向のシェーディングは横縞状のノイズとなって現れる。更にその中でも比較的変動が早いものは、より細かい横縞状のノイズとなって現れる。

ところで、これらの電源変動が原因の垂直シェーディングによるノイズは、各撮影ごとに決まったパターンで発生するわけではなく、各撮影ごとに異なった形状となって現れる。このため、予め用意しておいた補正データを使用すると補正の精度が低下するので、撮影と同時に補正を行うか、もしくは、少なくともその撮影画像自体から補正データを作成し、補正しなければならない。また、撮像装置の使い勝手を考えると、その補正の処理時間を多くかけることはできない。

それに対して、このような各撮像毎にその形状が変化する垂直シェーディング成分を、撮像素子内で光学的に遮光された水平オプティカルブラック領域（水平ＯＢ領域）の出力値を用いて補正する方法がある。

具体的には、画像エンジンなどのデジタル信号処理回路において、水平ＯＢ領域の出力に対し、行ごとの平均値を算出し、その算出した補正値を対応する行の有効領域の出力信号から一律に減算する。あるいは、撮像素子の出力信号に対し、アナログ信号処理を行うアナログ信号処理回路の水平ＯＢクランプ回路を用いて、各行の水平ＯＢ領域の平均出力値がその行のダークレベルとなるようにレベルシフトしていく。このように、水平ＯＢ領域の出力信号がダークレベルとなるように行毎の出力信号を補正していけば、垂直シェーディング成分が水平方向に一律である場合、垂直シェーディング成分を補正することができる。

ところで、水平ＯＢ領域の配置としては、読み出し方向の先頭側に相当する一辺に配置されることが多いが、他に、その対向する辺にも水平ＯＢ領域を配置する撮像素子もある。画素配列における水平方向の位置によって垂直シェーディング形状が異なる場合、一方の辺の水平ＯＢ領域の出力信号をもとに補正を行うよりは、左右両辺の水平ＯＢ領域の出力信号をもとに補正を行う方が、その補正効果は大きくなると考えられる。この際、行毎に左右の水平ＯＢ領域の出力信号の平均値を用いてその行の有効領域を補正する方法が一般的に用いられる。

また、左右の水平ＯＢ領域の出力信号のレベル差を見て、それらの値の補間によってその間にある有効領域のダークレベルを推測することで、補正を行うと同時に、水平方向の変化分も低減させるような２次元シェーディング補正も考えられる。この場合、画素毎に補正値が異なり、補正値の演算及び補正に特別なシステムが必要となる。なお、水平方向の位置によって垂直シェーディング形状が異なる現象が発生する原因としては、例えば、各種電源電圧や基準電圧の電位が、配線インピーダンス等の影響により、画素配列内でレベル差を有してしまうことなどが考えられる。

一方、上記した背景技術に関連する技術として、特許文献１に記載された技術がある。特許文献１には、ＣＣＤ撮像チップ３において、エリア部２１の上下にＯＢ領域２２ａを配し、上下のＯＢ領域２２ａのシェーディング成分を検出することが記載されている。そして、検出されたシェーディング成分に基づいて、エリア部２１全体における黒レベルを推定演算し、その黒レベルを画像信号から減算する。これにより、特許文献１によれば、シェーディング成分を較正した画像情報（全体画像）を得ることができるとされている。

特開平０６−０７８２２４号公報

一方、画像信号処理装置を含む撮像装置には、ライブビュー時の拡大表示、動画記録時のデジタルズーム、静止画撮影時のトリミング機能など、有効領域の一部の部分領域を切り出して表示もしくは記録するモードを有しているものが多い。この部分領域に対応した部分画像は、有効領域内における位置によって垂直シェーディングの形状が異なる場合に、有効領域内における部分領域の位置によって異なる形状の垂直シェーディング成分を含むことになる。このような部分画像に対して、有効領域全体を表示・記録する際と同様の補正を行ってしまうと、有効領域内における部分領域の位置によっては、図６に示すように、十分な補正効果が得られない可能性がある。

図６は、部分画像を切り出す際の垂直シェーディング補正の方法及びその効果について説明する図である。図６ａ）は、垂直シェーディング補正を行う元画像であり、左右の水平ＯＢ領域を用いて行う補正の効果を説明すべく、画素配列における左右で垂直シェーディングの形状が異なる場合の画像を示している。

図６ｂ）、図６ｃ）は、それぞれ、図６ａ）における画素配列左側の水平ＯＢ領域及び画素配列右側の水平ＯＢ領域の各出力に対し、行ごとの平均値を算出して生成した画像データである。図６ｄ）は、図６ｂ）、図６ｃ）の画像データを加算平均した補正データである。

図６ｅ）は、図６ａ）の元画像に対し、各行の有効領域の出力に対して、図６ｄ）の補正データを一律に減算することで生成される補正後の画像である。以上、一連の手順によって、有効領域全体に対しての垂直シェーディング補正は施される。図６ｅ）の画像に示されるように、この垂直シェーディング補正方法によれば、図６ａ）の元画像に対して垂直シェーディングによるノイズが全体として低減されるが、画像における左右端部近傍のシェーディングパターンが残ってしまう。

ここで、画像（画素配列）の一部である部分画像（部分領域）を切り出す場合について考える。画像における水平方向中央部から切り出された部分画像に比べて、画像における水平方向左右端部から切り出された部分画像は多くの垂直シェーディング成分を含むと考えられる。図６ｆ）、図６ｇ）、図６ｈ）は、それぞれ、図６ｅ）における部分領域６１、６２、６３のそれぞれの出力に対し、行ごとの平均値を算出して生成した画像データである。水平方向の中央部にある部分領域６２の画像データのレベル（図６ｇ）参照）に比べて、左右端部寄りにある部分領域６１、６３の画像データのレベル（図６ｆ）、図６ｈ）参照）には、垂直シェーディング成分が多く残ってしまっていることがわかる。

本発明の目的は、画像信号処理装置において、有効領域の一部の部分領域に対応した画像を記録又は表示するモードにおけるシェーディング補正の精度を向上することにある。

本発明の１つの側面に係る画像信号処理装置は、光に応じた画像信号をそれぞれ生成する複数の有効画素が行に沿った方向および列に沿った方向に配列された有効領域と、前記有効領域に隣接して前記有効領域の前記行に沿った方向における第１の側に配置された領域であり基準信号をそれぞれ生成する複数の第１の遮光画素が配列された第１の遮光領域と、前記有効領域に隣接して前記有効領域を挟んで前記行に沿った方向における前記第１の側と反対の第２の側に配置された領域であり基準信号をそれぞれ生成する複数の第２の遮光画素が配列された第２の遮光領域とを含む画素配列を有する撮像素子から出力される前記画像信号に所定の補正処理を施す画像信号処理装置であって、前記複数の第１の遮光画素から出力される第１の基準信号に応じて第１の基準データを生成する第１の生成手段と、前記複数の第２の遮光画素から出力される第２の基準信号に応じて第２の基準データを生成する第２の生成手段と、前記第１の基準データと前記第２の基準データとを用いることにより、前記列に沿った方向における一次元のシェーディング補正データを生成する第３の生成手段と、前記列に沿った方向における一次元のシェーディング補正データを用いて前記複数の有効画素から出力される画像信号のシェーディングを補正する補正手段と、前記有効領域の一部である部分領域に対応した画像を記録又は表示するモードにおいて、前記有効領域における前記部分領域の前記行に沿った方向の位置に応じて、前記第３の生成手段が前記第１の基準データと前記第２の基準データとをそれぞれ行ごとに加重平均することで、前記部分領域の各々に対応した前記列に沿った方向における一次元のシェーディング補正データを生成するように制御し、前記補正手段が前記部分領域ごとに対応する前記列に沿った方向における一次元のシェーディング補正データを用いて前記複数の有効画素から出力される画像信号のシェーディングを補正するように制御する制御手段とを備えたことを特徴とする。

本発明によれば、画像信号処理装置において、有効領域の一部の部分領域に対応した画像を記録又は表示するモードにおけるシェーディング補正の精度を向上することができる。

実施形態に係る撮像装置の実施形態の構成を示すブロック図。 実施形態の撮像素子の画素構成を説明する構成図。 実施形態の撮像装置における垂直シェーディング補正方法を説明する図。 実施形態のデジタル信号処理回路周辺を説明するブロック図。 実施形態の垂直シェーディング補正処理を説明するフローチャート。 背景技術を説明する図。

本発明の実施形態に係る撮像装置１００の構成を、図１を用いて説明する。１０１は、レンズおよび絞りからなる光学系である。１０２は、メカニカルシャッタ（メカシャッタと図示する）である。１０３は、被写体像を画像信号に変換する撮像素子である。１０４は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行うアナログ信号処理回路である。１０５は、アナログ信号処理回路１０４の内部において相関二重サンプリング（ＣＤＳ）処理を行うＣＤＳ回路である。

１０６は、アナログ信号処理回路１０４の内部においてアナログ信号を増幅させる信号増幅器である。１０７は、アナログ信号処理回路１０４の内部において水平ＯＢクランプを行うクランプ回路である。１０８は、アナログ信号処理回路１０４の内部においてアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１１０は、撮像素子１０３およびアナログ信号処理回路１０４を動作させる信号を発生するタイミング信号発生回路である。

１１１は、光学系１０１、メカニカルシャッタ１０２および撮像素子１０３の駆動回路である。１１２は、撮影した画像データに必要なデジタル信号処理を行うデジタル信号処理回路（画像信号処理装置）である。１１３は、信号処理された画像データを記憶する画像メモリである。１１４は、撮像装置１００から取り外し可能な画像記録媒体（記録媒体と図示する）である。１１５は、信号処理された画像データを画像記録媒体１１４に記録する記録回路である。

１１６は、信号処理された画像データを表示する画像表示装置である。１１７は、画像表示装置１１６に画像を表示する表示回路である。１１８は、撮像装置１００の各部を全体的に制御するシステム制御部である。１１９は、システム制御部１１８で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、キズアドレス等の補正データを記憶しておく第１の記憶部である。第１の記憶部１１９は、例えば、ＲＯＭなどの不揮発性メモリである。

１２０は、第１の記憶部１１９に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部１１８が撮像装置を制御する際に使用する第２の記憶部である。第２の記憶部１２０は、例えば、ＲＡＭなどの揮発性メモリである。また、１２１は、撮像素子１０３あるいはその周辺回路の温度を検出する温度検出回路である。１２２は、撮像素子１０３の蓄積時間を設定する蓄積時間設定部である。１２３は、ＩＳＯ感度設定などの撮影条件設定や、静止画撮影と動画撮影の切り替えなどを行う、撮影モード設定部である。本実施形態における各種トリミングモードを設定するのも、この撮影モード設定部１２３である。

次に、上述のように構成された撮像装置１００を用いた撮影動作について説明する。撮影動作に先立ち、撮像装置１００の電源投入時等のシステム制御部１１８の動作開始時において、第１の記憶部１１９から必要なプログラム、制御データおよび補正データを第２の記憶部１２０に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１１８が撮像装置１００の各部を制御する際に使用する。それとともに、これらのプログラムやデータは、必要に応じて、追加のプログラムやデータを第１の記憶部１１９から第２の記憶部１２０に転送したり、システム制御部１１８が直接第１の記憶部１１９内のデータを読み出して使用したりするものとする。

駆動回路１１１は、システム制御部１１８から受けた制御信号に応じて、光学系１０１における絞りとレンズとを駆動する。光学系１０１は、適切な明るさに設定された被写体像を撮像素子１０３の撮像面（画素配列）上に形成する。

また、駆動回路１１１は、静止画像撮影時において、システム制御部１１８からの制御信号に応じて、必要な露光時間で撮像素子１０３を露光／遮光するようにメカニカルシャッタ１０２を駆動する。このとき、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と電子シャッタ機能とを併用して、必要な露光時間を確保してもよい。

また、駆動回路１１１は、動画像撮影時において、システム制御部１１８からの制御信号に応じて、撮影中常に撮像素子１０３が露光されるように、メカニカルシャッタ１０２を開放状態に維持する。撮像素子１０３は、タイミング信号発生回路１１０から供給された動作パルスに応じて駆動され、被写体像を光電変換により画像信号に変換してアナログ画像信号として出力する。

アナログ信号処理回路１０４は、タイミング信号発生回路１１０から供給された動作パルスに応じて、撮像素子１０３から出力されたアナログ画像信号に対してアナログ信号処理を行う。具体的には、ＣＤＳ回路１０５が、アナログ画像信号からクロック同期性ノイズを除去するＣＤＳ処理を行って信号増幅器１０６へ出力する。

信号増幅器１０６は、受けた信号に対して、入射光量に応じて設定された増幅率（ゲイン）で増幅しクランプ回路１０７へ出力する。クランプ回路１０７は、受けた信号に対して、水平ＯＢ領域から出力された基準信号（基準電圧）に応じたクランプ動作を行ってＡ／Ｄ変換器１０８へ出力する。Ａ／Ｄ変換器１０８は、受けた信号に対してＡ／Ｄ変換処理を行うことにより、デジタル画像信号を生成してデジタル信号処理回路１１２へ出力する。

デジタル信号処理回路１１２は、受けたデジタル画像信号に対して、システム制御部１１８から受けた制御信号に応じて、各種のデジタル信号処理を行うことにより、画像データを生成する。この各種のデジタル信号処理は、本実施形態に係るデジタル画像信号中の水平ＯＢ領域の信号の平均処理による垂直シェーディング補正データ作成及び、その補正データを用いた垂直シェーディング補正処理を含む。

また、各種のデジタル信号処理は、デジタル画像信号に対する、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を含む。このとき、画像メモリ１１３は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりする。デジタル信号処理回路１１２で信号処理された画像データや画像メモリ１１３に記憶されている画像データは、記録回路１１５において画像記録媒体１１４に適したデータに変換されて画像記録媒体１１４に記録される。

画像記録媒体１１４に適したデータは、例えば、階層構造を持つファイルシステムデータである。あるいは、画像データは、デジタル信号処理回路１１２で解像度変換処理を実施された後、表示回路１１７において画像表示装置１１８に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１１８に表示される。

ここで、デジタル信号処理回路１１２は、受けたデジタル画像信号に対して、システム制御部１１８から受けた制御信号に応じて、信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１３や記録回路１１５に出力してもよい。

また、デジタル信号処理回路１１２は、システム制御部１１８から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データに関する各種の情報を出力してもよい。この各種の情報は、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路１１５は、システム制御部１１８から要求があった場合に、画像記録媒体１１４の種類や空き容量等の情報をシステム制御部１１８に出力する。

さらに、画像記録媒体１１４に画像データが記録されている場合の再生動作について説明する。記録回路１１５は、システム制御部１１８から受けた制御信号に応じて、画像記録媒体１１４から画像データを読み出す。デジタル信号処理回路１１２は、システム制御部１１８から受けた制御信号に応じて、画像データが圧縮画像データであった場合に、画像伸長処理を行い、伸長後の画像データを画像メモリ１１３に記憶する。画像メモリ１１３に記憶された画像データは、デジタル信号処理回路１１２で解像度変換処理を実施された後、表示回路１１７において画像表示装置１１６に適した信号に変換されて画像表示装置１１６に表示（再生）される。

次に、撮像素子１０３の構成について、図２を用いて説明する。撮像素子１０３は、画素配列ＰＡを含む。画素配列ＰＡは、有効領域２０４、第１の水平ＯＢ領域（第１の遮光領域）２０２、第２の水平ＯＢ領域（第２の遮光領域）２０３、及び垂直ＯＢ領域２０１を有する。有効領域２０４には、複数の有効画素が行に沿った方向及び列に沿った方向に配列されている。複数の有効画素のそれぞれは、遮光されていない光電変換部を含む。

光電変換部は、暗電流成分に応じた電荷を蓄積するとともに、光に応じた電荷を発生させて蓄積する。すなわち、有効画素における光電変換部は、光に応じた画像信号を生成する。光電変換部は、例えば、フォトダイオードである。

第１の水平ＯＢ領域２０２は、有効領域２０４に左側（第１の側）で行に沿った方向に隣接している。第１の水平ＯＢ領域２０２では、複数の第１の遮光画素が行に沿った方向及び列に沿った方向に配列されている。複数の第１の遮光画素のそれぞれは、（アルミニウム等の遮光膜により）遮光された光電変換部を含む。光電変換部は、光をほとんど受けないので、暗電流成分に応じた電荷を蓄積する。すなわち、第１の遮光画素における光電変換部は、基準信号（第１の基準信号）を生成する。なお、第１の遮光画素は、基準信号を生成して出力するように構成されていれば、光電変換部を含まないものであるか、もしくは光電変換部を含んではいるが、その光電変換部で発生した電荷に応じた信号を出力しないよう構成されたものであっても構わない。

第１の水平ＯＢ領域２０２は、第１の演算領域２０５を含む。第１の演算領域２０５は、第１の水平ＯＢ領域２０２の全体もしくは一部で構成される。第１の演算領域２０５は、本実施形態にかかる垂直シェーディング補正で用いる後述の第１の補正データを作成するのに用いられる領域である。第２の水平ＯＢ領域２０３は、有効領域２０４に右側（有効領域２０４を挟んで第１の側と反対の第２の側）で行に沿った方向に隣接して配置されている。

第２の水平ＯＢ領域２０３では、複数の第２の遮光画素が行に沿った方向及び列に沿った方向に配列されている。複数の第２の遮光画素のそれぞれは、（アルミニウム等の遮光膜により）遮光された光電変換部を含む。光電変換部は、光をほとんど受けないので、暗電流成分に応じた電荷を蓄積する。すなわち、第２の遮光画素における光電変換部は、基準信号（第２の基準信号）を生成する。なお、第２の遮光画素は、基準信号を生成して出力するように構成されていれば、光電変換部を含まないものであるか、もしくは光電変換部を含んではいるが、その光電変換部で発生した電荷に応じた信号を出力しないよう構成されたものであっても構わない。

第２の水平ＯＢ領域２０３は、第２の演算領域２０６を含む。第２の演算領域２０６は、第２の水平ＯＢ領域２０３の全体もしくは一部で構成される。第２の演算領域２０６は、本実施形態にかかる垂直シェーディング補正で用いる後述の第２の補正データを作成するのに用いられる領域である。なお、第１の演算領域２０５及び第２の演算領域２０６の具体的な使い分けの方法等については、後述の図３で説明する本実施形態の垂直シェーディング補正方法の説明及び、図５で説明する本実施形態のフローチャートの説明の中で言及する。

垂直ＯＢ領域２０１は、有効領域２０４に上側（第３の側）で列に沿った方向に隣接している。垂直ＯＢ領域２０１では、複数の第３の遮光画素が行に沿った方向及び列に沿った方向に配列されている。複数の第３の遮光画素のそれぞれは、（アルミニウム等の遮光膜により）遮光された光電変換部を含む。光電変換部は、光をほとんど受けないので、暗電流成分に応じた電荷を蓄積する。すなわち、第３の遮光画素における光電変換部は、基準信号を生成する。なお、第３の遮光画素は、基準信号を生成して出力するように構成されていれば、光電変換部を含まないものであるか、もしくは光電変換部を含んではいるが、その光電変換部で発生した電荷に応じた信号を出力しないよう構成されたものであっても構わない。垂直ＯＢ領域２０１は、水平シェーディング補正で用いる補正データを生成するのに用いられる領域である。

次に、本実施形態の撮像装置におけるトリミングモードでの垂直シェーディング補正処理を、図３を用いて説明する。トリミングモードは、有効領域の一部の（有効領域からトリミングされた）部分領域に対応した画像（部分画像）を記録又は表示するモードである。図３を用いて説明する垂直シェーディング補正方法は、画素配列における部分領域の水平方向の位置に応じて補正データを切り替えて補正を行う方法である。

図３ａ）は、本実施形態の垂直シェーディング補正方法を用いて垂直シェーディング補正を行う元画像である。この元画像は、画素配列における左右で垂直シェーディングの形状が異なっている。図３ａ）の部分領域３１、３２、３３の各領域に対応した画像を記録又は表示する場合について説明する。ここでは、図３ａ）における第１の演算領域２０５及び第２の演算領域２０６の各々の中心間の距離を１としたときに、各部分領域の水平方向の中心位置が次のようになっている場合を例にとって説明する。

部分領域３１の中心は、第１の演算領域２０５の中心から１／５の距離の位置にあり、第２の演算領域２０６の中心から４／５の距離の位置にある。部分領域３２の中心は、第１の演算領域２０５の中心から１／２の距離の位置にあり、第２の演算領域２０６の中心から１／２の距離の位置にある。部分領域３３の中心は、第１の演算領域２０５の中心から４／５の距離の位置にあり、第２の演算領域２０６の中心から１／５の距離の位置にある。

図３ｂ）、図３ｃ）は、それぞれ、図３ａ）における第１の演算領域２０５及び第２の演算領域２０６の各々の出力に対し、行ごとの平均値（代表値）を算出して生成した第１の基準データ及び第２の基準データである。すなわち、第１の基準データは、第１の演算領域２０５における複数の第１の遮光画素から出力される第１の基準信号に応じて生成されたデータである。第２の基準データは、第２の演算領域２０６における複数の第２の遮光画素から出力される第２の基準信号に応じて生成されたデータである。図３ｄ）、図３ｅ）、図３ｆ）は、それぞれ、第１の基準データ及び第２の基準データを用いて生成された、部分領域３１、部分領域３２、部分領域３３に対する補正データである。

補正データは、図３ｂ）、図３ｃ）で示した第１の基準データ及び第２の基準データを加重平均することで算出する。すなわち、第１の基準データ及び第２の基準データに対して、各部分領域の中心座標に応じた係数を乗算し、各乗算結果を加算することで算出する。具体的には、図３ｄ）に示した部分領域３１に対する補正データは、行ごとに、
（補正データ）＝（第１の基準データ）×（４／５）
＋（第２の基準データ）×（１／５）・・・数式１
となる。図３ｅ）に示した部分領域３２に対する補正データは、行ごとに、
（補正データ）＝（第１の基準データ）×（１／２）
＋（第２の基準データ）×（１／２）・・・数式２
となる。図３ｆ）に示した部分領域３３に対する補正データは、行ごとに、
（補正データ）＝（第１の基準データ）×（１／５）
＋（第２の基準データ）×（４／５）・・・数式３
となる。すなわち、トリミングモードでは、第１の演算領域２０５の中心から部分領域の中心への第１の距離と第２の演算領域２０６の中心から部分領域の中心への第２の距離とに応じて、上記の加重平均に用いるための第１の係数と第２の係数とを決定する。第１の係数は、上記の加重平均における第１の基準データを用いる際の重み付け係数である。第２の係数は、上記の加重平均における第２の基準データを用いる際の重み付け係数である。そして、第１の基準データに第１の係数をかけたものと第２の基準データに第２の係数をかけたものとの和を補正データとして生成する。

具体的には、トリミングモードにおいて、第１の距離をＸ、第２の距離をＹとした場合、Ｙ／（Ｘ＋Ｙ）として第１の係数を決定し、Ｘ／（Ｘ＋Ｙ）として第２の係数を決定する。そして、
（補正データ）＝（第１の基準データ）×Ｙ／（Ｘ＋Ｙ）
＋（第２の基準データ）×Ｘ／（Ｘ＋Ｙ）・・・数式４
により、補正データを生成する。これにより、図３ｄ）、図３ｅ）、図３ｆ）に示すような各部分領域３１，３２，３３に対する補正データが得られる。

ここで、図３の場合、部分領域３１、３２、３３に対応する行の第１の基準データのレベルは、ほぼゼロである（図３ｂ）参照）。そのため、実質的に、第２の演算領域２０６の第２の基準データ（図３ｃ）参照）のみを用いて補正を行うことになる。図３ｇ）、図３ｈ）、図３ｉ）は、それぞれ、部分領域３１、３２、３３に対し、各行の有効領域の出力に対して、図３ｄ）、図３ｅ）、図３ｆ）の補正データを各画素ごとに減算することで生成される補正後の部分画像である。

なお、上記のトリミングモードにおける垂直シェーディング補正方法では、左右のＯＢ領域から生成される基準画像データを元に、切り出される領域の水平方向の位置に応じて生成される算出される補正データによって垂直シェーディング補正がなされる。このため、垂直シェーディングの水平方向の変化が線形に推移されているような状況であれば、生成される画像におけるシェーディング成分を大幅に低減させることが可能となる。

また、上記のトリミングモードにおける垂直シェーディング補正方法では、垂直シェーディングの水平方向の変化が線形に推移されているような状況を想定したため、各領域の補正データも、水平方向の座標に対して線形に推移するように算出される構成としている。すなわち、数式４に示されるように、第１の係数と第２の係数とは、ともに、第１の距離（Ｘ）及び第２の距離（Ｙ）についての１次関数としている。

しかし、本発明は、これに限定されず、例えば、垂直シェーディングの水平方向の変化が非線形に推移されているような状況を想定して、各領域の補正データも、水平方向の座標に対して非線形に推移するように算出される構成としても良い。例えば、垂直シェーディングの水平方向の変化がｎ次関数的（ｎ：２以上の整数）に推移されている場合、第１の係数と第２の係数とは、ともに、第１の距離（Ｘ）及び第２の距離（Ｙ）についてのｎ次関数としてもよい。

また、上記のトリミングモードにおける垂直シェーディング補正方法では、部分領域の水平方向の位置として、部分領域の中心座標をもとに補正データを算出するような構成としている。しかし、本発明は、これに限定されず、例えば、部分領域における左端の座標をもとに補正データを算出するなどのような構成としてもかまわない。

また、上記のトリミングモードにおける垂直シェーディング補正方法では、全ての部分領域において、第１の基準データ及び第２の基準データの両方を用いて補正データを算出するような構成としている。本発明は、これに限定されず、例えば、部分領域３１のように第１の水平ＯＢ領域（第１の演算領域）に接する領域の補正データは、第１の基準データのみを用いてもよい。この場合、部分領域３３のように第２の水平ＯＢ領域（第２の演算領域）に接する領域の補正データは、第２の基準データのみを用いてもよい。このように、部分領域の位置に応じては第１の基準データ及び第２の基準データの一方のみを用いて補正データを算出するような構成としてもかまわない。

また、上記のトリミングモードにおける垂直シェーディング補正方法において、仮に、背景技術で説明した、左右の水平ＯＢ領域の信号出力の差からの補間により有効領域を補正する２次元シェーディング補正を行う場合を考える。この場合は、画素ごとに補正値を異ならせるため、演算量が多くなり、補正システムも複雑になる。その結果、部分領域のシェーディング補正を効率的に行うことが困難になる。それに対して、本実施形態では、トリミングモードの垂直シェーディング補正方法として、各部分領域毎に水平方向に均一な補正値としているので、演算量を低減することができる。

次に、デジタル信号処理回路の構成を、図４を用いて説明する。図４を用いて説明するデジタル信号処理回路は、本実施形態の垂直シェーディング補正を実現する信号処理回路を有している。デジタル信号処理回路１１２（図１参照）は、第１のデジタル信号処理部４０１、垂直シェーディング補正回路４０２、及び第２のデジタル信号処理部４０３を含む。

第１のデジタル信号処理部４０１は、アナログ信号処理回路１０４より出力されたデジタル画像信号を受信する。第１のデジタル信号処理部４０１は、受信したデジタル画像信号に対し、垂直ＯＢ領域２０１（図２参照）から出力された基準信号を用いることにより、水平シェーディング補正を行い垂直シェーディング補正回路４０２へ出力する。垂直シェーディング補正回路４０２は、受信したデジタル画像信号に対し、第１の演算領域２０２及び第２の演算領域２０３から出力された基準信号を用いることにより、垂直シェーディング補正を行い第２のデジタル信号処理部４０３へ出力する。

第２のデジタル信号処理部４０３は、受信したデジタル画像信号に対し、ガンマ処理やホワイトバランス処理などを行う第２のデジタル信号処理部４０３によって構成される。ここで、垂直シェーディング補正回路４０２は、第１のスイッチ４０４、第２のスイッチ４０５、第１の生成部４０６、第２の生成部４０７、第３の生成部４０８、メモリ部４０９、及び補正部４１２（補正手段）を含む。

第１のスイッチ４０４は、オン／オフすることにより、第１のデジタル信号処理部４０１と第１の生成部４０６とを接続／遮断するように構成されている。第２のスイッチ４０５は、オン／オフすることにより、第１のデジタル信号処理部４０１と第２の生成部４０７とを接続／遮断するように構成されている。第３の生成部４０８は、第１の生成部４０６、第２の生成部４０７、メモリ部４０９、及び補正部４１２に接続されている。補正部４１２は、第１のデジタル信号処理部４０１、第３の生成部４０８、及び第２のデジタル信号処理部４０３に接続されている。補正部４１２は、減算器４１０及び加算器４１１を含む。

次に、図４を用いて本実施形態にかかる垂直シェーディング補正処理について説明する。なお、図４を用いて説明する本実施形態にかかる撮像装置においては、各行の画素の出力順として、第２の水平ＯＢ領域２０３、第１の水平ＯＢ領域２０２、有効領域２０４の画素の順に出力されるように読み出し駆動されるものとする。第１のデジタル信号処理部４０１は、アナログ信号処理回路１０４から出力された画像信号に対して、水平シェーディング補正などの、基本的な各種補正を行う。続けて、垂直シェーディング補正回路４０２は、第１のデジタル信号処理部４０１から出力された画像信号に対し、垂直シェーディング補正を行う。

具体的には、第２の水平ＯＢ領域２０３における第２の演算領域２０６の基準信号が第１のデジタル信号処理部４０１から出力される期間に、第１のスイッチ４０４がオフしており、第２のスイッチ４０５がオンしている。これにより、第２の生成部４０７（第２の生成手段）は、第２の演算領域２０６の基準信号を受信する。第２の生成部４０７は、第２の演算領域２０６から出力された基準信号に応じて第２の基準データを生成する。第２の生成部４０７は、例えば、第２の演算領域２０６における行ごとの基準信号の代表値に応じて第２の基準データを生成して第３の生成部４０８へ出力する。代表値は、例えば、平均値又は中央値である。

また、第１の水平ＯＢ領域２０２における第１の演算領域２０５の基準信号が第１のデジタル信号処理部４０１から出力されている期間に、第１のスイッチ４０４がオンしており、第２のスイッチ４０５がオフしている。これにより、第１の生成部４０６は、第１の演算領域２０５の基準信号を受信する。第１の生成部４０６は、第１の演算領域２０５から出力された基準信号に応じて第１の基準データを生成する。第１の生成部４０６（第１の生成手段）は、例えば、第１の演算領域２０５における行ごとの基準信号の代表値に応じて第１の基準データを生成して第３の生成部４０８へ出力する。代表値は、例えば、平均値又は中央値である。

第３の生成部４０８（第３の生成手段）は、受けた第１の基準データと第２の基準データとを用いることにより、補正データを生成する。例えば、第３の生成部４０８は、全画面モードにおいて、第１の基準データと第２の基準データとを単純平均したものを補正データとして生成して補正部４１２へ出力する。全画面モードは、有効領域の全体に対応した画像（全体画像）を記録又は表示するモードである。

例えば、第３の生成部４０８は、トリミングモードにおいて、有効領域における部分領域の位置に応じて、第１の基準データを用いる際の重み付け係数である第１の係数と第２の基準データを用いる際の重み付け係数である第２の係数とを決定する。そして、第３の生成部４０８は、トリミングモードにおいて、第１の基準データに第１の係数をかけたものと第２の基準データに第２の係数をかけたものとの和を補正データとして生成して補正部４１２へ出力する（数式１〜４参照）。すなわち、第３の生成部４０８は、トリミングモードにおいて、第１の基準データと第２の基準データとを加重平均することにより、補正データを生成する。なお、第３の生成部４０８は、生成した補正データの値と、メモリ部４０９に格納されている、事前に読み出された補正データに関する履歴情報を基に、補正データの値をさらに調整しても良い。

第３の生成部４０８は、温度検出回路１２１、蓄積時間設定部１２２、撮影モード設定部１２３などからの情報に基づき、撮影条件や撮影モード設定に応じた適切な値になるように、補正データの値をさらに調整しても良い。第３の生成部４０８は、補正データの値を生成する際に用いた各種情報を、補正データに関する履歴情報として、メモリ部４０９に格納する。

有効領域２０４の画像信号が第１のデジタル信号処理部４０１から出力されている期間に、補正部４１２は、補正データを用いることにより、複数の有効画素から出力された画像信号の基準レベル（ダークレベル）を補正する。具体的には、補正部４１２の減算器４１０が、有効領域２０４の画像信号を第１のデジタル信号処理部４０１から受信し、補正データを第３の生成部４０８から受信する。減算器４１０は、有効領域２０４の画像信号から補正データを減算して加算器４１１へ出力する。加算器４１１は、補正データが減算された画像信号に所定のオフセット値を加算して、その加算された画像信号を垂直シェーディング補正された画像信号として第２のデジタル信号処理部４０３へ出力する。

次に、本実施形態の垂直シェーディング補正処理の手順について、図５のフローチャートを用いて説明する。図５のフローチャートは、第１の記憶部１１９に記憶されたプログラムに基づいて、システム制御部１１８の制御により実行される。システム制御部１１８は、入力部（図示せず）を介して撮影開始の指示をユーザから受けると、Ｓ５０１において、動画撮影、静止画撮影やトリミング領域などの駆動条件及び、感度、絞り値、露光時間などの撮影条件を初期設定する。次に、Ｓ５０２において、システム制御部１１８は、メカニカルシャッタ１０２及び撮像素子１０３を制御することにより、撮像素子１０３を露光する露光処理を行う。

システム制御部１１８は、駆動条件によって、デジタル信号処理回路１１２において実行される垂直シェーディング補正の補正データ作成方法の切り替えを行う。システム制御部１１８は、Ｓ５０３において、撮影モード設定部１２３により設定されている撮影モードを参照する。撮影モードが第１のモードである場合、処理をＳ５０５へ進め、撮影モードが第２のモードである場合、処理をＳ５０４へ進める。第１のモードは、動画撮影時のデジタルズームモードや、静止画撮影時のトリミングモードなどの、有効領域の一部である部分領域に対応する画像を切り出して表示・記録するモードである。第２のモードは、通常の静止画撮影モードや動画記録時の全画面モードなどの、有効領域全体を表示・記録するモードである。

Ｓ５０４では、デジタル信号処理回路１１２が、第１の演算領域２０５から出力された基準信号に応じて第１の基準データを生成するように制御し、第２の演算領域２０６から出力された基準信号に応じて第２の基準データを生成するように制御する。デジタル信号処理回路１１２は、第１の基準データと第２の基準データとを行ごとに単純平均する。これにより、デジタル信号処理回路１１２は、垂直シェーディング補正に用いる補正データを生成し、処理をＳ５０６に進める。

Ｓ５０５では、デジタル信号処理回路１１２が、第１の演算領域２０５から出力された基準信号に応じて第１の基準データを生成するように制御し、第２の演算領域２０６から出力された基準信号に応じて第２の基準データを生成するように制御する。デジタル信号処理回路１１２は、有効領域における部分領域の位置に応じて、第１の基準データを用いる際の重み付け係数である第１の係数と第２の基準データを用いる際の重み付け係数である第２の係数とを決定する。そして、第３の生成部４０８は、第１の基準データに第１の係数を掛けたものと第２の基準データに第２の係数を掛けたものとの和を補正データとして生成し（数式１〜４参照）、処理をＳ５０６に進める。このように、システム制御部１１８は、第３の生成部４０８が補正データを生成する際に用いる第１の基準データと第２の基準データとを重み付けして加重平均するように制御する。

Ｓ５０６では、デジタル信号処理回路１１２が、Ｓ５０４もしくはＳ５０５で生成した補正データを用いて、有効領域の画像データに対して、垂直シェーディング補正を行い、処理をＳ５０７に進める。Ｓ５０７では、システム制御部１１８が、補正後の画像信号を画像メモリ１１３、記録回路１１５、もしくは表示回路１１７に出力し、本撮影を終了する。

以上により、画素配列における部分領域の位置によらず、より精度の高い垂直シェーディング補正を行うデジタル信号処理回路（画像信号処理装置）を含む撮像装置を提供することが可能となる。

なお、図１〜図５を用いて本発明にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。例えば、図５を用いて説明した本実施形態のフローチャートにおいては、撮影時の撮影条件を判定した上で、その判定結果を元に２種類の補正データのうち、どちらか一方の補正データだけを生成するように選択するような構成としている。

しかし、本発明は、これに限定されず、例えばあらかじめ第１の生成部及び第２の生成部により、２種類の補正データ両方を生成しておいてもよい。この場合、撮影時の撮影条件の判定結果をもとに、どちらの補正データを使用して垂直シェーディング補正を行うかを選択し、実行するような構成とすることも可能である。

また、図３を用いた垂直シェーディング補正方法の説明、及び図５を用いて説明したフローチャートにおいては、あらかじめ全行分の画像データを生成した上で垂直シェーディング補正を行うような構成で表現している。

しかし、本発明は、これに限定されず、例えば行ごとに２つの水平ＯＢ領域の演算領域からの出力信号の平均値を算出し、そこから行ごとの補正データを算出してもよい。この場合、その行の読み出し時に同時に、その行の有効領域の出力信号に対し補正をかけるような構成とすることも可能である。

Claims (6)

1. 光に応じた画像信号をそれぞれ生成する複数の有効画素が行に沿った方向および列に沿った方向に配列された有効領域と、前記有効領域に隣接して前記有効領域の前記行に沿った方向における第１の側に配置された領域であり基準信号をそれぞれ生成する複数の第１の遮光画素が配列された第１の遮光領域と、前記有効領域に隣接して前記有効領域を挟んで前記行に沿った方向における前記第１の側と反対の第２の側に配置された領域であり基準信号をそれぞれ生成する複数の第２の遮光画素が配列された第２の遮光領域とを含む画素配列を有する撮像素子から出力される前記画像信号に所定の補正処理を施す画像信号処理装置であって、
   前記複数の第１の遮光画素から出力される第１の基準信号に応じて第１の基準データを生成する第１の生成手段と、
   前記複数の第２の遮光画素から出力される第２の基準信号に応じて第２の基準データを生成する第２の生成手段と、
   前記第１の基準データと前記第２の基準データとを用いることにより、前記列に沿った方向における一次元のシェーディング補正データを生成する第３の生成手段と、
   前記列に沿った方向における一次元のシェーディング補正データを用いて前記複数の有効画素から出力される画像信号のシェーディングを補正する補正手段と、
   前記有効領域の一部である部分領域に対応した画像を記録又は表示するモードにおいて、前記有効領域における前記部分領域の前記行に沿った方向の位置に応じて、前記第３の生成手段が前記第１の基準データと前記第２の基準データとをそれぞれ行ごとに加重平均することで、前記部分領域の各々に対応した前記列に沿った方向における一次元のシェーディング補正データを生成するように制御し、前記補正手段が前記部分領域ごとに対応する前記列に沿った方向における一次元のシェーディング補正データを用いて前記複数の有効画素から出力される画像信号のシェーディングを補正するように制御する制御手段と、
   を備えたことを特徴とする画像信号処理装置。
2. 前記第３の生成手段は、前記モードにおいて、前記行に沿った方向における前記第１の遮光領域から前記部分領域への第１の距離と前記第２の遮光領域から前記部分領域への第２の距離とに応じて、前記加重平均にそれぞれ用いるための、前記第１の基準データに対する第１の係数と前記第２の基準データに対する第２の係数とを決定することを特徴とする請求項１に記載の画像信号処理装置。
3. 前記第３の生成手段は、前記モードにおいて、前記第１の距離をＸ、前記第２の距離をＹとした場合、Ｙ／（Ｘ＋Ｙ）として前記第１の係数を決定し、Ｘ／（Ｘ＋Ｙ）として前記第２の係数を決定する
   ことを特徴とする請求項２に記載の画像信号処理装置。
4. 前記有効領域では、前記複数の有効画素が行に沿った方向及び列に沿った方向に配列されており、
   前記第１の遮光領域は、行に沿った方向における前記第１の側で前記有効領域に隣接しており、
   前記第１の遮光領域では、前記複数の第１の遮光画素が行に沿った方向及び列に沿った方向に配列されており、
   前記第２の遮光領域は、行に沿った方向における前記第２の側で前記有効領域に隣接しており、
   前記第２の遮光領域では、前記複数の第２の遮光画素が行に沿った方向及び列に沿った方向に配列されている
   ことを特徴とする請求項１から３のいずれか１項に記載の画像信号処理装置。
5. 前記第１の生成手段は、前記第１の遮光領域における行ごとの基準信号の代表値に応じて前記第１の基準データを生成し、
   前記第２の生成手段は、前記第２の遮光領域における行ごとの基準信号の代表値に応じて前記第２の基準データを生成する
   ことを特徴とする請求項４記載の画像信号処理装置。
6. 撮像素子と、
   前記撮像素子から出力される画像信号に所定の補正処理を施す請求項１乃至５のいずれか１項に記載の画像信号処理装置と、
   を備えたことを特徴とする撮像装置。