JP4144517B2 - 固体撮像装置、撮像方法 - Google Patents

Description

本発明は固体撮像装置及びその撮像方法に関し、特に固定パターンノイズの補正技術に関するものである。

特開２０００−２６１７３０号公報

例えばＣＭＯＳイメージセンサ等の固体撮像素子を用いた撮像装置としては、さらなる多画素化、高速撮像、広ダイナミックレンジ、低ノイズが要求され、その開発研究が行われている。
そして多くの画素を高速に処理するために単純に処理周波数を上げると、アナログ回路系においてノイズや消費電力、精度などが悪化してしまうなどの問題がある。そのため行方向及び列方向に固体撮像素子が配されて成る撮像素子アレイから、各列同時に撮像信号読み出したり、水平方向の転送を複数のラインで並列に行うなどして、これらの信号読出処理を低速で行う手法が用いられている。

しかし製造プロセスばらつきなどが原因で、並列読み出しにおいて、その各々の入出力特性にばらつきが生じ、出力画像にスジをおびた固定パターンノイズが発生してしまう問題がある。これに対し上記特許文献１には、その固定パターンノイズをデジタル値として記憶し、記憶した値を用いて撮像信号の補正を行うことで、縦筋ノイズのない画像を得る技術が記載されている。

ところが、縦筋状の固定パターンノイズを正確に認識させるためには、有効画素領域とは別に多くの無効領域を必要とする。これは固定パターンノイズ成分が得られる期間において撮像画像信号をより多く加算平均することが、固定パターンノイズの値の精度向上に有利なためであるが、このことは高速撮像においてはマイナスに働いてしまう。
またデジタル演算の特性上、量子化誤差や演算丸め誤差などにより、Ａ／Ｄ変換の際の階調による補正限界が生じる。特に低階調のＡ／Ｄ変換器を有するシステムにおいてはこの補正限界が問題となり、ノイズキャンセルが不十分となる場合がある。
また固定パターンノイズとして記憶する値の精度を向上させるには、多くの加算平均をとることが好ましいが、その場合、加算平均値の値が大きくなり、メモリ容量も多く要求され効率的ではない。
さらに広ダイナミックレンジ画像や、Ｓ／Ｎ改善を目的として１画面中に複数のゲインパターンを有する場合があるが、これによって固定ノイズパターンが数種類混在してしまうことがある。このように複数の固定パターンノイズに対応した補正処理も要求される。

本発明はこれらの問題に鑑みて、十分な精度で、且つ効率的に固定パターンノイズの検出及び補正を実行可能とすることを目的とする。

本発明の固体撮像装置は、固体撮像素子アレイにより形成され、入射光に応じた信号を得る画素センサ手段と、上記画素センサ手段によって得られる信号について並列読み出しを行って撮像画像信号を生成すると共に、該撮像画像信号に対するアナログゲイン処理を行う画像信号読出手段と、上記画像信号読出手段から出力される撮像画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、上記Ａ／Ｄ変換手段から出力される撮像画像信号に対して、デジタルゲイン処理を行うとともに、固定パターンノイズを除去する補正処理を行うデジタル処理手段とを有する。そして上記デジタル処理手段は、上記補正処理として、上記撮像画像信号の１フレーム期間内においてダミー画素から出力された固定値に基づく上記撮像画像信号が入力される期間に、該固定値に基づく上記撮像画像信号から基準信号平均値を算出し、さらに該基準信号平均値に対する上記固定値に基づく上記撮像画像データの並列読み出しされた１ライン分の差分値を複数ラインにわたって連続加算した加算値を記憶する処理を行い、また、上記１フレーム期間内において上記画素センサ手段の有効画素の撮像画像信号が入力される期間において、上記撮像画像信号に対して、上記記憶した上記加算値を除算して得る除算平均値を用いた補正を行う。
また上記デジタル処理手段の上記補正処理において記憶する上記加算値は、複数フレームにわたって上記差分値を連続加算した値とする。
この場合、上記連続加算を行うフレーム数としての上限が設定され、上限フレーム数を越えた各フレーム期間には、１フレーム分の加算量に相当する値を、記憶されている加算値から減算し、該減算値に対して上記差分値の加算を行って、新たな加算値として記憶する。
また、上記デジタル処理手段の上記補正処理においては、上記加算値に対して、上記撮像画像信号に対するデジタルゲイン処理と同様のデジタルゲイン処理を施してから、上記除算平均値の算出を行う。
また、上記画像信号読出手段における上記アナログゲイン処理のゲイン可変ステップに対し、上記デジタル処理手段における上記デジタルゲイン処理のゲイン可変ステップが小さく設定されているようにする。
また、上記デジタル処理手段の上記補正処理においては、上記除算平均値に対してランダムノイズを付加する。
この場合、上記除算平均値の演算時の余りの値に応じて、上記除算平均値に上記ランダムノイズを付加する割合を制御する。
上記制御は、上記余りの値と乱数値との比較結果に応じて上記ランダムノイズの付加を行う処理である。
また、上記デジタル処理手段の上記補正処理においては、１画面を構成する画素について設定された複数のゲイン設定値毎に、上記基準信号平均値の算出、上記加算値の記憶、及び上記加算値の除算平均値を用いた補正を行う。

本発明の撮像方法は、固体撮像素子アレイにより形成され、入射光に応じた信号を得る画素センサ手段によって得られる信号について並列読み出しを行って撮像画像信号を生成すると共に、該撮像画像信号に対するアナログゲイン処理を行う画像信号読出ステップと、上記画像信号読出手段から出力される撮像画像信号をＡ／Ｄ変換するＡ／Ｄ変換ステップと、上記Ａ／Ｄ変換手段から出力される撮像画像信号に対して、デジタルゲイン処理を行うデジタルゲイン処理ステップと、上記撮像画像信号の１フレーム期間内においてダミー画素から出力された固定値に基づく上記撮像画像信号が入力される期間に、該固定値に基づく上記撮像画像信号から基準信号平均値を算出する基準信号平均値算出ステップと、上記基準信号平均値に対する上記固定値に基づく上記撮像画像データの並列読み出しされた１ライン分の差分値を複数ラインにわたって連続加算した加算値を記憶する加算値記憶ステップと、上記１フレーム期間内において上記画素センサ手段の有効画素の撮像画像信号が入力される期間において、上記撮像画像信号に対して上記記憶した上記加算値を除算して得る除算平均値を用いて固定パターンノイズを除去する補正を行う補正ステップとを備える。
また上記加算値記憶ステップでは、複数フレームにわたって上記差分値を連続加算した値としての加算値を記憶する。
この場合、上記連続加算を行うフレーム数としての上限が設定され、上限フレーム数を越えた各フレーム期間には、１フレーム分の加算量に相当する値を、記憶されている加算値から減算し、該減算値に対して上記差分値の加算を行って、新たな加算値として記憶する。
また上記補正ステップでは、上記加算値記憶ステップで記憶された加算値に対して、上記デジタルゲイン処理ステップでの上記撮像画像信号に対するデジタルゲイン処理と同様のデジタルゲイン処理を施してから、上記除算平均値の算出を行う。
また上記補正ステップでは、上記除算平均値に対してランダムノイズを付加する。
また１画面を構成する画素について設定された複数のゲイン設定値毎に、上記基準信号平均値算出ステップ、上記加算値記憶ステップ、及び上記補正ステップの処理が行われるようにする。

このような本発明の補正処理において、基準信号平均値を算出し、基準信号平均値に対する撮像画像データの差分値の加算値を記憶する処理は、縦筋ノイズとなる固定パターンノイズ値を検出するための処理である。このとき、固定パターンノイズとして必要な値としては、信号のバラツキ成分のみであり、ＤＣ成分は不要である。このため基準信号平均値としてＤＣ成分を検出し、その後、ＤＣ成分に対する差分値を累積加算していくようにしている。そして加算値を除算した平均値を固定パターンノイズ値として、撮像画像信号から減算することで縦筋ノイズに対する補正を行う。
また、加算値としては１フレーム毎にクリアせず、複数フレームにわたって連続加算していくことで、１フレーム期間における加算回数を少なくしても、複数フレーム期間では十分な精度の固定パターンノイズ成分としての加算値を得る加算回数を実現できる。
このとき上記複数フレーム期間としてのフレーム数に上限を持ち、加算回数が上限フレーム数に到達したら、次のフレームでは、1フレーム分の加算量に相当するデータ量を、今まで蓄積した加算量から減算し、その値に対し次のフレームにおけるデータを加算させることによって、常に一定の加算量を保ちながら、加算データを更新させる。

本発明によれば、補正処理において基準信号平均値を算出し、基準信号平均値（ＤＣ成分）に対する撮像画像データの差分値の加算値を記憶する処理を行う。そして加算値を除算した平均値を固定パターンノイズ値として、撮像画像信号から減算することで縦筋ノイズに対する補正を行う。即ち加算平均法を用いたノイズ除去方式において、まずＤＣ成分に対する差分値を累積加算し、その加算値を記憶していくことは、加算値を記憶するメモリの必要容量を削減でき、効率化を図ることができる。
また、複数フレームにわたって連続加算を行うことは、撮像画像信号の読み出し系の回路に起因する固定パターンノイズを認識するための1フレーム中の無効画素読み出し期間を抑えながら、十分な検出精度を実現できるものとなる。
また連続加算する複数フレームとして上限を設け、上限に達した後は、一定の加算量を保ちながら加算データを更新させていくことで、メモリ容量を適正に保ちつつ、また加算値の精度を保ちながら、さらに電源電圧や温度等の要因で縦筋ノイズ量が変動するような状況にも対応できるものとなる。

また補正処理において、上記加算値に対して、撮像画像信号に対するデジタルゲイン処理と同様のデジタルゲイン処理を施してから、除算平均値の算出を行うようにすることで、除算精度を向上させることができる。

また、アナログゲイン処理のゲイン可変ステップに対し、デジタル処理手段におけるデジタルゲイン処理のゲイン可変ステップが小さく設定されている。アナログゲインが変化した場合は固定パターンノイズ成分の検出のし直しが必要となるが、アナログゲイン処理のゲイン可変ステップが大きく設定されていることで、アナログゲインの変化の機会を少なくし、固定パターンノイズ成分の検出のし直しが必要となる機会を少なくできる。これは処理の効率化につながる。

また除算平均値に対してランダムノイズを付加することによって、補正後にも残る固定ノイズを緩和することができる。特にさほど分解能の高くないＡ／Ｄ変換器を用いるシステムにおいて、縦筋ノイズを目立たなくすることができる。換言すれば、補正限界精度を視覚的に緩和することができる。
また、付加するランダムノイズを加算値の平均演算のための除算演算時の余りの値に応じてノイズを付加する割合を制御する。より具体的には、余り値と擬似一様乱数の大小比較に応じてランダムノイズを付加するか否かを決める。これにより、割算の際の切り捨て量に応じてノイズ付加が行われ、ノイズ緩和に好適である。また擬似的に補正限界精度を向上させることになる。

また補正処理においては、１画面を構成する画素について設定された複数のゲイン設定値毎に、基準信号平均値の算出、加算値の記憶、及び加算値の除算平均値を用いた補正を行うことで、１画面中に異なるゲイン設定値を複数持つ固体撮像システムに対応して、適正に固定パターンノイズの検出及び補正が可能となる。

以下、本発明の実施の形態としての固体撮像装置を説明する。まず固体撮像装置の全体構成を説明し、その後、縦筋ノイズの補正のための構成を中心に第１〜第５の実施の形態を説明する。

＜全体構成＞
図１，図２で本実施の形態の固体撮像装置の構成を説明し、また縦筋ノイズ（固定パターンノイズ）について説明する。
図１は固体撮像装置の要部の構成のブロック図であり、図２（ａ）は、図１におけるセンサアレイ１とカラム読出回路／アナログＰＧＡの部分を詳細に示したブロック図である。

図１におけるセンサアレイ１には、図示しないレンズ系によって被写体からの光が入射される。このセンサアレイ１は例えばＣＭＯＳセンサアレイとされ、図２（ａ）に示すように、固体撮像素子（ＣＭＯＳセンサ）としての撮像画素Ｇが、行方向及び列方向に多数配されて形成されている。撮像画素Ｇは、例えば図のようにフォトダイオードやトランジスタ（転送トランジスタ、リセットトランジスタ、増幅トランジスタ）を有して構成されている。ここでは詳細な説明は省略するが、撮像画素Ｇにおける各トランジスタのゲートに対しては、図１の垂直信号駆動回路２によってそれぞれ所定のタイミングでパルスが与えられることで、各トランジスタがオン／オフされる。これによってフォトダイオードの電荷のリセットや、フォトダイオードによって蓄積された電荷を垂直信号線ＶＬ（ＶＬ１、ＶＬ２・・・）に与える動作が行われる。
本例では、列並列方式の画素読出を行う。このためセンサアレイ１において行方向に並ぶ撮像画素Ｇからの信号電荷が同時に読み出されて、各垂直信号線ＶＬ（ＶＬ１，ＶＬ２・・・）に与えられることになる。
より具体的には、垂直信号駆動回路２は、まず選択した行の各画素からリセットレベルの信号電荷を各垂直信号線ＶＬに与えさせ、その後、フォトダイオードＰＤに蓄積された電荷に応じた画素信号を垂直信号線ＶＬに与える動作を実行させる。垂直信号駆動回路２はこのような読み出し動作を、順次各行の撮像画素Ｇに対して実行させることになる。
選択された或る１行の撮像画素Ｇからの画素信号の読出は、１水平期間内の水平ブランキング期間に行われる。つまり水平ブランキング期間においては、垂直信号駆動回路２によって選択された１行の各撮像画素Ｇからの画素信号が、各垂直信号線ＶＬ１，ＶＬ２・・・に対して並列的に出力されることになる。

図１のセンサアレイ１から各垂直信号線ＶＬに転送される各画素の信号電荷は、カラム読出回路／アナログＰＧＡ（Programmable Gain Amplifier）３によって画像フレームを構成する撮像画像信号として読み出され、またアナログゲイン処理が施される。
カラム読出回路／アナログＰＧＡ３では、まず図２（ａ）に示すＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路１１で垂直信号線ＶＬの電荷のサンプリングを行う。

ＣＤＳ回路１１では、各垂直信号線ＶＬ（各列）に対して、容量素子Ｃ１，Ｃ２、スイッチ素子ＳＷ２，ＳＷ３によるサンプリング回路系が形成されている。
また、本例では水平信号線ＨＬとして、２本の水平信号線ＨＬ１，ＨＬ２が配され、上記ＣＤＳ回路１１の各列のサンプリング回路系におけるスイッチ素子ＳＷ３は、列毎に交互に水平信号線ＨＬ１，ＨＬ２に接続される。なお、水平信号線ＨＬ１，ＨＬ２を２本とするのは、水平信号線１本の場合より水平転送周波数を下げるためである。もちろん水平信号線を１本とする構成でも良いし、さらには３本以上で並列水平転送を行うようにしても良い。

また、水平信号線ＨＬ１，ＨＬ２に対応して基準電圧Ｖrefが与えられる基準信号線Ｈref1、Ｈref2が配される。上記ＣＤＳ回路１１の各列のサンプリング回路系におけるスイッチ素子ＳＷ２は、列毎に交互に基準信号線Ｈref1、Ｈref2に接続される。
水平信号線ＨＬ１と基準信号線Ｈref1にあらわれる信号は、差動アンプＡ１に入力される。また水平信号線ＨＬ２と基準信号線Ｈref2にあらわれる信号は、差動アンプＡ２に入力される。差動アンプＡ１，Ａ２には、それぞれ帰還容量Ｃ３と、入出力を短絡させるスイッチ素子ＳＷ１が接続されている。
アンプＡ１，Ａ２の出力はマルチプレクサ１２で順次選択され、シリアル信号としての撮像画像信号としてアナログＰＧＡ１４に供給される。
ＣＤＳ回路１１における各列のスイッチ素子ＳＷ２，ＳＷ３、及びアンプＡ１，Ａ２に接続されたスイッチ素子ＳＷ１は、水平走査回路１３によってそれぞれ所定タイミングでオン／オフ制御される。これによってセンサアレイ１において選択された行から列並列で読み出された信号は、順次水平信号線ＨＬ１，ＨＬ２及びアンプＡ１，Ａ２に与えられて信号電荷が読み出される。そしてマルチプレクサ１２で順次選択されることで、１ラインのシリアル画像信号が出力されることになる。

例えば垂直信号線ＶＬ１に接続された撮像画素Ｇからの信号読出を行う際は、ＣＤＳ回路１１の１列目のサンプリング回路系及びアンプＡ１の動作は以下のようになる。
まずスイッチ素子ＳＷ１，ＳＷ２がオンとされる。この場合、アンプＡ１の入出力が短絡されるため容量素子Ｃ２の両端電位は同じとなり、電荷が蓄積されていない状態となる。
次に垂直信号線ＶＬ１に、選択行の撮像画素Ｇからリセットレベルが転送される際にスイッチ素子ＳＷ２がオフとされ、これによって容量素子Ｃ２にリセットレベルの信号電荷が蓄積される。
続いて撮像画素Ｇからは垂直信号線ＶＬ１に信号電荷が与えられる。その信号電荷は容量素子Ｃ２に蓄積され、リセットレベルに対する差分としての信号レベルが確定される。
次にスイッチ素子ＳＷ３がオンとされる。またその際、スイッチ素子ＳＷ１はオフとなっている。すると、容量素子Ｃ２に蓄積された電荷が容量素子Ｃ３に移動し、これによってアンプＡ１の出力レベルが変化する。この出力レベルの変化が、或る撮像画素Ｇから読み出された撮像画像信号成分として出力されるものである。

選択された行における各列の撮像画素Ｇからの信号は、以上の動作によりアンプＡ１、Ａ２から交互に読み出され、マルチプレクサ１２で順次選択されてシリアルの１水平ラインの撮像画像信号とされる。１垂直周期、つまりフレーム期間には、この動作がセンサアレイ１における各行に対して順次行われることで、１フレームの撮像画像信号がマルチプレクサ１２から出力されることになる。
そして、そのように読み出される撮像画像信号は、アナログＰＧＡ１４において信号増幅された後、図１のＡ／Ｄ変換器４においてデジタルデータに変換される。デジタルデータとされた撮像画像信号ＤＴは、デジタル処理回路５に供給される。
なお、図２（ａ）では、アナログＰＧＡ１４としてアナログ信号段階での撮像画像信号の増幅回路を示しているが、例えばアンプＡ１，Ａ２の帰還容量Ｃ３を、可変容量コンデンサで構成することで、アンプＡ１，Ａ２をアナログＰＧＡとして機能させることも可能である。

デジタル処理回路５は、センサ制御ブロック６、デジタルＰＧＡ／縦筋キャンセル回路７、デジタルクランプ回路８を有する。
センサ制御ブロック６は、垂直／水平同期タイミングに基づいて垂直信号駆動回路２，カラム読出回路／アナログＰＧＡ３の動作タイミングを制御する。また、デジタルＰＧＡ／縦筋キャンセル回路７、及びデジタルクランプ回路８の動作タイミングも制御する。
デジタルＰＧＡ／縦筋キャンセル回路７は、撮像画像信号ＤＴに対してデジタルゲイン処理を行うとともに、固定パターンノイズとしての縦筋ノイズのキャンセル（補正動作）を行う。このデジタルＰＧＡ／縦筋キャンセル回路７の構成については、第１〜第６の実施の形態として述べる。
デジタルＰＧＡ／縦筋キャンセル回路７で処理された撮像画像信号ＤＴは、デジタルクランプ回路８でクランプ処理され、カメラ信号処理部９に供給される。
カメラ信号処理部９では、撮像画像信号ＤＴに対して、当該カメラシステムにおいて必要とされる撮像データ処理が行われる。例えばホワイトバランスその他の映像処理や、フォーマット処理、圧縮処理等のエンコード処理が行われることになる。そして所要の処理を経た後、図示しない表示部において画像表示が行われたり、図示しない記録部において記録メディアに記録されたり、或いは図示しない送信部から送信出力が行われることになる。

本例の固体撮像装置の全体構成は以上の通りであるが、このような列並列読み出し方式を採用した固体撮像装置においては、その並列読み出し起因による出力信号のばらつきからくる縦筋状の固定パターンノイズが発生する。本例ではデジタルＰＧＡ／縦筋キャンセル回路７において、縦筋ノイズをデジタル的に補正するものであり、その際には加算平均法を用いた除去方式が採用される。
そして後述する各実施の形態としてのデジタルＰＧＡ／縦筋キャンセル回路７では、その加算方式の改善等により効率的且つ高精度な処理を実現する。

本例は固定パターンノイズ補正に関するものであるため、ここで、その固定パターンノイズの発生及びその補正の原理を簡単に述べる。
昨今の光センサの分野においては多画素化、高速撮像の需要がさらに拡大し、高速な信号処理が要求されるようになってきており、このため画素から出力されたアナログ信号を処理する回路の高速化が課題となっている。
そこで通常、図２で説明したように、画素Ｇからの信号を列ごとに同時に読み出したり、またその後の水平転送も１本に集約せず、出力段としてアンプＡ１，Ａ２というように複数有するなど、いろいろな並列読み出し処理技術によって多画素、高速撮像に対応している。
しかしながら、これら並列処理回路はレイアウト設計上では同じように設計しても、製造工程上におけるばらつきなどが原因で、それら各々の特性にばらつきが生じる。この特性のバラツキが、出力画像においてはスジ上の固定パターンノイズとなるものである。
図２（ｂ）に信号のイメージを示しているが、スイッチ特性のバラツキ、レイアウト依存、駆動パルスのカップリング量の違い、ＣＤＳ特性のバラツキ、電流源負荷特性のバラツキなどの、並列処理に起因する要因で、図示するように信号レベルが変動してしまい、縦筋状のノイズが画像上に発生する。

しかし、固定パターンノイズはそのノイズパターンを一度記憶することができれば、補正することが可能である。そこで、後段としてデジタルＰＧＡ／縦筋キャンセル回路７においてラインメモリを用いてノイズパターンを記憶し、デジタル信号処理にて、その補正を行う方法が用いられる。
上記のように各画素信号は、列毎に並列に読み出しを行うため、列読み出し回路の特性ばらつき起因によって出力信号がばらついてしまう。この列毎の入出力特性のばらつきを要因分離すると、主にオフセット性ばらつき、ゲイン性ばらつき、非線形性ばらつきの３つに大別できるが、出力画像で一番目に付きやすく、またデジタル補正も容易なオフセット性ばらつきを抑え込むことが第一に要求される。

オフセット性のばらつきをデジタル値として認識させる方法は、一度各並列回路全てに一定同レベルの入力信号を与える期間を、有効画素を処理する期間とは別に設け、その出力のばらつきを記憶すればよい。そして、有効画素の撮像画像信号から、その記憶したばらつき量を減算すればオフセット性縦筋が補正できる。
ただし通常、出力信号には、熱雑音や1/f雑音などといったアナログ回路特有のランダムノイズがのっているため、それを抑圧するフィルタリング処理も不可欠となる。
本例ではランダムノイズ除去で最も一般的で処理も容易な加算平均法を用いることとする。ちなみ正規分布をなすランダムノイズに対する加算平均法のノイズ抑圧能力は、加算回数の１／２乗に反比例するため、ある程度の加算回数が要求される事になる。

＜第１の実施の形態＞
図３に第１の実施の形態としての、デジタルＰＧＡ／縦筋キャンセル回路７の構成を示す。即ち、図２に示したように列並列読み出しや並列水平転送という並列処理の際のばらつきに起因する固定パターンノイズ（縦筋ノイズ）の検出および除去を行う回路ブロックである。
また図４には、図３の回路の１フレーム期間におけるタイミングチャートを示す。

図３において、入力される撮像画像信号ＤＴｉｎとは、Ａ／Ｄ変換器４からデジタルＰＧＡ／縦筋キャンセル回路７に供給される撮像画像信号ＤＴを示し、また、出力される撮像画像信号ＤＴｏｕｔとは、当該デジタルＰＧＡ／縦筋キャンセル回路７において縦筋ノイズが補正された撮像画像信号ＤＴである。
デジタルＰＧＡ／縦筋キャンセル回路７は、図３に示すように、撮像画像信号ＤＴｉｎに対してデジタル演算処理により増幅を行うデジタルＰＧＡ２０と、縦筋キャンセルのための回路系から成る。縦筋キャンセルのための回路系としては、平均演算回路３１，減算器３２、加算器３３、ＲＡＭ（ラインメモリ）３４、割算器３５、セレクタ３６，３８、減算器３７を有する。また制御信号φ１〜φ４は、例えば図１に示したセンサ制御ブロック６から供給される。

デジタルＰＧＡ２０で増幅された撮像画像信号ＤＴは、平均演算回路３１、減算器３２，及び減算器３７に供給される。
平均演算回路３１は、制御信号φ１で指示される期間において、入力される撮像画像信号ＤＴの平均値を算出する。制御信号φ１で指示される期間は、１フレーム期間内において固定値（基準信号）に基づく撮像画像信号が入力される期間内とされる。固定値が読み出される期間としては、例えば固定レベルの信号電荷を垂直信号線ＶＬに与えるダミー画素を用意しておき、そのダミー画素からの読み出し期間としてもよいし、或いは上述した並列処理系に特定の基準信号を発生させる期間としてもよい。
つまり、この平均演算回路３１で算出される平均値とは、いわゆるＤＣ成分の平均値とするものである。以下、この平均値を基準信号平均値という。
減算器３２は、デジタルＰＧＡ２０からの撮像画像信号ＤＴと、平均演算回路３１で算出された基準信号平均値の差分を出力する。

加算器３３，ＲＡＭ３４，セレクタ３８は、ライトイネーブル信号としての制御信号φ２によってＲＡＭ３４の書込が行われる期間に、減算器３２で得られた差分値を累積加算して、その加算値をラインメモリとしてのＲＡＭ３４に記憶する動作を行う。
つまり、連続して累積加算を行う期間は、制御信号φ４によってセレクタ３８が０側が選択されており、これによってＲＡＭ３４の記憶値に、減算器３２からの差分値が加算器３３で加算され、当該加算値がＲＡＭ３４に記憶される。即ちＲＡＭ３４に記憶された加算値が加算器３３にフィードバックされて加算されてＲＡＭ３４の加算値が更新されていく。
なお、ＲＡＭ３４の記憶値（加算値）をリセットし、新たに加算を行っていく際には、加算を開始する最初の１ライン期間において制御信号φ４によってセレクタ３８で１側が選択される。この場合、セレクタ３８の１側には「０」データが供給されており、つまり減算器３２による１ライン期間の各差分値がそのまま初回の１ラインの各加算値としてＲＡＭ３４に記憶されることになる。

割算器３５はＲＡＭ３４に記憶された加算値の平均値を得る割算処理を行う。この平均値は、減算器３７で減算する縦筋ノイズ成分の値となる。
セレクタ３６は、制御信号φ３によって、補正を実行する期間のみ１側が選択される。従って割算器３７で得られた縦筋ノイズ成分は、補正実行期間において減算器３７に供給され、デジタルＰＧＡ２０からの出力値に対する縦筋ノイズ成分値の減算処理が行われる。この減算処理が、ノイズ補正、つまり撮像画像信号ＤＴからの縦筋ノイズ成分のキャンセル処理となる。

図４のタイミングチャートに従って図３の回路系の動作を説明する。
図４に示す１フレーム期間においては、基準信号平均値算出期間Ｔ１，縦筋検出期間Ｔ２，及び縦筋補正期間Ｔ３が設定される。
なお、図４においては平均演算回路３１、減算器３２，３７に入力される撮像画像信号ＤＴ、垂直同期信号Ｖsync、水平同期信号Ｈsync、及び制御信号φ１〜φ４を示している。
そして基準信号平均値算出期間Ｔ１，縦筋検出期間Ｔ２は、フレーム内で固定入力としての撮像画像信号ＤＴ（例えばダミー画素のデータ）が入力される期間である。また補正期間Ｔ３は、センサアレイ１のオプティカルブラック（ＯＰＢ）としての画素の走査と有効画素の走査期間としている。但し、少なくとも有効画素の走査期間を含むように縦筋補正期間Ｔ３が設定されればよい。

まず、基準信号平均値算出期間Ｔ１は、例えばフレームの最初の水平ライン期間において制御信号φ１が立ち上げられる期間となる。
この期間Ｔ１では、平均演算回路３１において、固定値に基づく撮像画像信号ＤＴについての平均値、つまりＤＣ成分としての基準信号平均値が算出されることになる。
なお、この図４の例では、１行分の撮像画像信号ＤＴの平均値計算することによってＤＣレベルを算出するものであり、この基準信号平均値の誤差は、縦筋除去後の出力画像全面のオフセットを揺らすことになるが、図１に示したように後段のデジタルクランプ回路８でオプティカルブラックに対するデジタルクランプをさらに高精度にかけなおすため、ここで発生する誤差の影響はさほど考えなくて良い。よって基準信号平均値としてＤＣレベル得るための平均演算として、１行分の撮像画像信号ＤＴの平均を必ずしも必要とするものではない。

次に制御信号φ２が立ち上げられて縦筋検出期間Ｔ２の動作が行われる。制御信号φ２が立ち上がることで、ＲＡＭ３４がライトイネーブルとなり、ラインメモリとしてのＲＡＭ３４の書き込み（更新）が行われる期間となる。
なお、制御信号φ２が立ち上げられてから最初の１ライン（１行）期間は、制御信号φ４が「１」となるため、その期間はセレクタ３８によって加算器３３に０データが供給される。従って、最初の１ラインの期間は、その１ラインの各列の撮像画像信号ＤＴの値について、それぞれ減算器３２で算出された基準信号平均値との差分値がラインメモリとしてのＲＡＭ３４に記憶されていく。従って、まずこの１ライン目の期間で、１ラインの画素数に相当する数の差分値が加算値として記憶される。

制御信号φ２が立ち上げられてから２ライン目以降では、制御信号φ４が「０」に立ち下げられる。従って、セレクタ３８で０側が選択されるようになり、これによってＲＡＭ３４に記憶された１ライン分の各差分値が順次加算器３３に供給される。
このとき、減算器３２からは、その時点の１ラインの各列についての差分値が出力されてくる。従って、ＲＡＭ３４に記憶されていた第１列目の画素についての加算値に今回のラインの第１列目の画素についての差分値が加算されて記憶され、また、ＲＡＭ３４に記憶されていた第２列目の画素についての加算値に、今回のラインの第２列目の画素についての差分値が加算されて記憶される。この動作が同様に最終列の画素のデータにまで行われる。
従って、制御信号φ２が立ち下げられるまでの所定数の水平期間（つまり複数行）にわたって、この縦筋検出期間Ｔ２の動作が継続されていくことで、差分値を累積加算した加算値として、各列についての加算値がＲＡＭ３４に記憶されることになる。
そしてこの加算値、つまり累積加算した各列の各差分値についてラインメモリ（ＲＡＭ３４）に記憶された情報は、ライン方向でのオフセットパターンの累積情報であり、即ち固定の縦筋ノイズのパターンに相当するものである。

続いて縦筋補正期間Ｔ３の動作が行われる。なお本例ではセンサアレイ１のオプティカルブラック（ＯＰＢ）領域及び有効画素期間の走査期間を縦筋補正期間Ｔ３としているが、少なくとも有効画素期間において縦筋補正が行われればよい。
縦筋補正期間Ｔ３は、制御信号φ３がＨレベルに立ち上げられる期間となる。つまりセレクタ３６が１側を選択する期間であり、これによって、ＲＡＭ３４に記憶された加算値が割算器３５で平均化のための除算が施されて減算器３７に供給される。この値がデジタルＰＧＡ２０から出力される撮像画像信号ＤＴから減算されることで、オフセット、つまり縦筋ノイズが除去される。
なお、上記した基準信号平均値算出期間Ｔ１、縦筋検出期間Ｔ２では制御信号φ３がＬレベルとされているため、セレクタ３６から減算器３７には０データが供給されており、即ちデジタルＰＧＡ２０から出力される撮像画像信号ＤＴに対しての補正は行われない。

この縦筋補正期間Ｔ３においては、制御信号φ２が立ち下げられてＲＡＭ３４の更新は行われないため、上記縦筋検出期間Ｔ２に累積加算された加算値が割算器３５に供給される。割算器３５では、ＲＡＭ３４からの加算値（各列についての各累積加算値）に対して、その加算回数で除算を行って平均値を得る。この除算によって得られた各列についての各平均値は、１行の各列の画素信号についての固定パターンノイズとしてのオフセットレベルとなる。
従って、この割算結果の値（１ライン分の各列についてのオフセットレベル）が減算器３７に供給され、デジタルＰＧＡ２０から出力される撮像画像信号ＤＴとしての１ライン分の各信号値から減算されることで、オフセット成分が除去された１ラインの撮像画像信号ＤＴを得ることができる。有効期間における各行の撮像画像信号ＤＴに対して、この処理が継続されることで、１フレームの画像として縦筋ノイズが除去されることになる。つまり縦筋補正が実現される。

以上の動作によれば、１フレーム期間内において固定値に基づく撮像画像信号ＤＴが入力される期間に、該固定値に基づく上記撮像画像信号から基準信号平均値を算出する（基準信号平均値算出期間Ｔ１）。
そして基準信号平均値に対する上記固定値に基づく撮像画像データＤＴの差分値の加算値を記憶する処理を行う（縦筋検出期間Ｔ２）。
そして１フレーム期間内において少なくとも有効画素の撮像画像信号が入力される期間において、撮像画像信号ＤＴに対して、記憶した上記加算値を除算して得る除算平均値を減算することで縦筋補正を行う（縦筋補正期間Ｔ３）。
この動作の場合、縦筋成分の検出としては、基準信号平均値と入力値の差分値を加算していくことになる。
縦筋によるオフセット成分を記憶するのに固定の入力信号を用い、加算平均する方式であるが、必要とする値は縦筋となるばらつき成分だけであるため、入力信号（撮像画像信号ＤＴ）のＤＣレベルは必要とされない。また、差分ではないそのままの入力信号を加算させていくと多くのＲＡＭ容量が要求され効率的ではない。よって本例のように、初めに入力信号のＤＣレベルを基準信号平均値として算出し、ＲＡＭ３４へはその差分量を積算した値を記憶することで、必要なＲＡＭ容量を過大にせず、効率的な処理が実現される。また、差分値を積算することは、少ないＲＡＭ容量の場合でも、より多数回の連続加算の可能性を得ることになり、縦筋検出期間Ｔ２での検出精度を上げ、補正精度を向上させることもできる。

＜第２の実施の形態＞
ところで上記第１の実施の形態の処理においては、平均精度をあげるためには１フレーム中になるべく多数行にわたる期間としての縦筋検出期間Ｔ２を設ける事が必要となる。ところが縦筋検出期間Ｔ２としての行数が多くなると、動作周波数またはフレームレートを圧迫することになるため好ましくない。
よってあまり１フレーム中における縦筋検出用の無効画素期間は長くできない。すると、場合によっては、加算平均の精度が十分確保できないことが生じることがある。
そこで第２の実施の形態として、１フレーム中における縦筋検出用の無効画素期間を長くすることなく、加算平均精度を確保できる構成を実現する。

図５に第２の実施の形態のデジタルＰＧＡ／縦筋キャンセル回路７の構成を示す。
この構成は、上記図３の構成に加えて減算器４０，セレクタ４１を追加している。セレクタ４１は制御信号φ５により制御される。また割算器３５においては、（１／nFrame）除算器５０、（１／ｍ）除算器５１が設けられる。
（１／nFrame）除算器５０は、ＲＡＭ３４の記憶された加算値についての累積加算を行ったフレーム数nFrameを、加算値から除算する。
また（１／ｍ）除算器５１のｍとは、ＲＡＭ３４の記憶された加算値について、１フレーム期間での加算回数である。
（１／nFrame）除算器５０の出力は、（１／ｍ）除算器５１に供給されると共に、減算器４０に供給される。減算器４０では、ＲＡＭ３４からの加算値から（１／nFrame）除算器５０の出力を減算する。

このような構成における処理概要を述べると、加算器３３での加算回数を1フレームで終了させずに、次のフレーム、さらにその次のフレームと加算値をクリアせずに連続で加算させていくものとなる。
これにより加算量を増やし、平均精度を向上させる。ただし、加算しすぎるとＲＡＭ３４が飽和してしまう。従ってＲＡＭ３４のレンジと、縦筋の絶対量で加算回数に制限がかかる。
またランダムノイズが１／８から１／１０程度に低減すれば、縦筋はランダムノイズに埋もれて、出力画像としては見えにくくなるといったことから、加算回数はその逆数の２乗である１００回以上行えば、ほぼ十分と考えられる。
そこで本例では、デジタル除算の容易さを考慮して、加算器３３では通算１２８回の加算を行うとする。１フレーム内における加算回数を１６回とした場合、８フレームの加算を行えば１２８回となる。

以下、このように１２８回（８フレーム）の連続加算を行う例における図５の構成の動作を図６を参照しながら説明する。なお図６（ａ）では、垂直周期での（１／nFrame）除算器５０におけるnFrameの値の変化と制御信号φ４，φ５を示し、また図６（ｂ）は、上記図４と同様に、１フレーム期間での各信号波形を示している。

縦筋の補正処理を開始する最初のフレーム期間（第１フレーム）においては、図６（ａ）に示すように、制御信号φ４が立ち上げられる。制御信号φ４のフレーム期間での波形を図６（ｂ）に示すように縦筋検出期間Ｔ２の最初の１ラインの期間、Ｈレベルとなる。
なお、図６（ａ）からわかるように、この制御信号φ４は第２フレーム以降は立ち上げられない。第１の実施の形態において述べたように、この制御信号φ４によるセレクタ３８の制御は、ＲＡＭ３４の記憶値のリセットの意味がある。例えば第１の実施の形態の図４の波形では、制御信号φ４がフレーム毎に、縦筋検出期間Ｔ２の最初のライン期間でＨレベルとされているが、これはフレーム毎にＲＡＭ３４の加算値をリセットすることになる。
ところが本例において図６（ａ）に示すように、制御信号φ４が最初のフレームの際のみ、図６（ｂ）のように立ち上げられることは、ＲＡＭ３４の記憶値（加算値）が、複数フレームにわたってリセットされず、継続して累積加算されることを意味する。

図６の第１フレームの期間においては、図６（ｂ）の縦筋検出期間Ｔ２において１６回（１６行）の差分値の加算が行われる。つまり、最初の行の差分値は、制御信号φ４によってセレクタ３８から加算器３３に０データが供給されるため、差分値がそのままＲＡＭ３４に記憶される。
また第１フレームの期間においては図６（ａ）からわかるように制御信号φ５は立ち上げられない。従ってセレクタ４１は常に０側（ＲＡＭ３４の出力）を選択する。そして第１フレームの２ライン目以降では、制御信号φ４がＬレベルとなり、セレクタ４１，３８を介してＲＡＭ３４の記憶値が加算器３３にフィードバックされることになるため、その２ライン目以降、縦筋検出期間Ｔ２が終了する第１６ライン目まで、差分値の累積加算が行われることになる。

第１フレームにおける縦筋補正期間Ｔ３では、１６回の加算値による補正が行われる。ここで図６に示すように、（１／nFrame）除算器５０のnFrameの値は、補正を開始する第１フレームから第８フレームまで、１，２，３，・・・８と更新されていく。第９フレーム以降はnFrameの値は「８」のままとされる。
第１フレームにおける縦筋検出期間Ｔ２にＲＡＭ３４に記憶された加算値は、１フレーム分の加算値である。一方、（１／nFrame）除算器５０は、１フレーム分の加算値を算出する部位である。第１フレームの期間は、（１／nFrame）除算器５０は（１／１）除算器となり、ＲＡＭ３４に記憶された１６回の加算値が出力される。
また、（１／ｍ）除算器５１のｍは、１フレーム期間での加算回数であり、本例の場合「１６」となる。
従って（１／ｍ）除算器５１により、１６回の加算値の平均値が出力される。
この平均値は第１の実施の形態の場合と同様、縦筋ノイズとしてのオフセット成分であり、これが第１フレームの縦筋補正期間Ｔ３において、セレクタ３６を介して減算器３７に供給され、縦筋補正が行われることになる。

次に図６（ａ）の第２フレームでは、制御信号φ４が立ち上げられないため、ＲＡＭ３４の加算値はリセットされない。従って、第２フレームにおける縦筋検出期間Ｔ２では、さらに１６回の加算が行われ、その結果ＲＡＭ３４には３２回の連続加算による加算値が記憶されることになる。
第２フレームではnFrameの値は「２」とされるため、第２フレームの縦筋補正期間Ｔ３では、（１／nFrame）除算器５０は（１／２）除算器となり、ＲＡＭ３４に記憶された３２回の１／２、つまり１フレーム分（＝１６回加算）相当の加算値が出力される。
そして（１／ｍ）除算器５１で１６回の加算値の平均値が出力される。この平均値が第２フレームの縦筋補正期間Ｔ３において、セレクタ３６を介して減算器３７に供給され、縦筋補正が行われることになる。

以降、第３フレームから第８フレームまで同様に、縦筋検出期間Ｔ２では連続して加算されていく。従って、ＲＡＭ３４に記憶される加算値は、第３フレームで４８回加算値、第４フレームで６４回加算値、第５フレームで８０回加算値・・・第８フレームで１２８回加算値というようになる。
もちろん各フレーム期間における縦筋補正期間Ｔ３では、nFrameの値が更新されていくことで、それぞれ（１／nFrame）除算器５０で１フレーム分（＝１６回加算）相当の加算値が得られ、（１／ｍ）除算器５１で１６回の加算値の平均値が出力されて、これが減算器３７に供給されることで縦筋補正が行われる。

図６（ａ）のとおり、第９フレーム以降では、制御信号φ５が立ち上げられる。各フレーム内の期間では図６（ｂ）に示すタイミング、つまり縦筋検出期間Ｔ２の最初の１ラインの期間に制御信号φ５が立ち上げられる。
制御信号φ５がＨレベルの期間とは、減算器４０で、ＲＡＭ３４の加算値から（１／nFrame）除算器５０の出力が減算された値が加算器３３にフィードバックされる期間となる。
また、図６（ａ）のようにnFrameの値は、第８フレームで「８」となったら、それが上限として、以降のフレームでも「８」のままとされる。

そして例えば第９フレームが開始される時点で、ＲＡＭ３４の加算値は１２８回の加算値である。また（１／nFrame）除算器５０では１／８除算が行われ、１フレーム相当の加算値が出力される。従って、減算器４０から出力される値は、（７／８）フレーム相当の加算値となる。換言すれば１１２回分の加算値に概略相当する値となる。
つまり、第９フレームの縦筋検出期間Ｔ２において、最初の１ライン目の期間が、１１２回分の加算値に対して差分値の加算が行われてＲＡＭ３４の加算値が１１３回分の加算値に更新される。次のライン以降、１６番目のラインまでは、制御信号φ５がＬレベルとなり、ＲＡＭ３４の加算値が加算器３３にフィードバックされて、差分値が加算されていくため、結局、縦筋検出期間Ｔ２が終了した時点で、１２８回分の加算値が、ＲＡＭ３４に記憶されることになる。
そして、この第９フレームでの縦筋補正期間Ｔ３ではnFrameの値は「８」であるため、（１／nFrame）除算器５０は（１／８）除算器となり、ＲＡＭ３４に記憶された１２８回の１／８、つまり１フレーム分（＝１６回加算）相当の加算値が出力される。そして（１／ｍ）除算器５１で１６回の加算値の平均値が出力される。この平均値が第９フレームの縦筋補正期間Ｔ３において、セレクタ３６を介して減算器３７に供給され、縦筋補正が行われることになる。

以降、第１０フレーム、第１１フレームでも、第９フレームと同様の動作が行われていく。従って、１２８回加算を行った第８フレーム以降は、１２８回の加算量が維持された状態で、その平均値によって縦筋補正が行われることになる。

以上のように本例では、１２８回分の加算値を維持しながら、その加算値を平均して補正のための減算値とする。
この場合、１２８回の加算値という、縦筋ノイズ成分の検出としては十分に精度の高い値を検出できるため、これを用いた補正処理精度を向上できる。また、第９フレーム目以降は、過去の８フレーム分の加算値から１フレーム分の加算値相当を減算し、新たに現フレームでの差分値を加算してＲＡＭ３４の加算値を更新するものとなるため、各種状況に対する追従性も確保される。例えば電源電圧の変動や温度変化などによって縦筋量が変動したとしても、その変動に追従することが可能となる。
なお、上記動作説明のため、例えば１フレームにつき１６回の加算や、１２８回の加算値などとしての数値の具体例を用いたが、これらの数値は応答速度や縦筋検出しなおした時の初めのフレームの検出精度に影響がでるため、システムやニーズに応じ最適な値を用いればよい。

ところでこの第２の実施の形態の処理の場合、補正をかけ直す際、つまりnFrame＝１として上記図６で言う第１フレームから補正をかけなおす瞬間は、加算回数が少ないため、平均精度が一瞬低下する。例えば加算回数が１２８回に達するまで８フレームかかるためである。
一方、オートゲインコントロールを使用中など、撮像中にゲイン値が変化した場合、縦筋量が急に変化する。特にデジタルゲインのみが変化した場合は縦筋量も単純にゲイン倍になるが、アナログゲインが変化した場合は縦筋量の変動量を正確に予測することは困難である。よってアナログゲイン変動のタイミングでの縦筋量の検出し直しは不可欠となる。つまり補正処理のかけ直しが必要となる。

そこで、図２に示したアナログＰＧＡ１４におけるアナログゲインのステップは、例えば６ｄＢステップと大きくとり、デジタルＰＧＡ２０でのデジタルゲインのステップは０．１ｄＢと小刻みにとるシステム構成するとよい。このようにすると、アナログゲインが変動する確率が減り、縦筋検出しなおしが発生する確率が減る。つまり、上記処理によって平均精度が一瞬低下する機会を最小限とし、画質への影響を少なくできると共に、処理の効率化を促す。またこの構成であればアナログ回路設計の容易化が図れる。

＜第３の実施の形態＞
第３の実施の形態は、デジタルＰＧＡ／縦筋キャンセル回路７におけるデジタルＰＧＡ２０の配置に関する例である。
図７（ａ）（ｂ）（ｃ）は、それぞれアナログＰＧＡ１４，Ａ／Ｄ変換器４、デジタルＰＧＡ／縦筋キャンセル回路７の部分を簡略化して示したものである。そして、デジタルＰＧＡ／縦筋キャンセル回路７に相当するブロックとしては、デジタルＰＧＡ２０と、補正処理系（平均演算回路３１、減算器３２、加算器３３、ＲＡＭ３４、割算器３５、減算器３７）を示している。ここではセレクタ３８等は省略しているが、図３や図５における補正処理系を概略的に示しているものと認識されたい。
特に説明上、平均演算回路３１、減算器３２、加算器３３、ＲＡＭ３４の部分を検出部ＤＴＣとし、また割算器３５、減算器３７の部分を補正部ＣＬということとする。
また、上記のようにアナログゲインステップを大きくするという観点から、アナログＰＧＡ１４は、６ｄＢステップで４ステップ、即ち０ｄＢ、６ｄＢ、１２ｄＢ、１８ｄＢの可変ゲイン設定とし、またデジタルＰＧＡ２０では、０．１ｄＢステップで２０ステップ、即ち０ｄＢ〜５．９ｄＢの可変ゲイン設定の例としている。

図７（ａ）は、補正部ＣＬの後段にデジタルＰＧＡ２０を配置した構成である。
図７（ｂ）は、上記図３，図５の例のように、デジタルＰＧＡ２０の出力が補正処理系（検出部ＤＴＣ、補正部ＣＬ）に入力されるようにした構成である。
図７（ｃ）は、デジタルＰＧＡ２０を、検出部ＤＴＣと補正部ＣＬの中間に配置した構成である。で

上記第１，第２の実施の形態のように補正処理を行う場合において、縦筋検出によりＲＡＭ３４に記憶したデジタル値（加算値）自体は、量子化誤差や演算丸めなどにより、±１digitの誤差がどうしても生じる。
よって図７（ａ）に示すように、デジタルゲインをかける前に検出部ＤＴＣで縦筋を検出した後、補正部ＣＬで縦筋補正し、その値に対しデジタルゲインをかけるようにすると、その限界精度にもゲインがかかってしまうため、例えば２倍のデジタルゲインをかけた場合、縦筋補正限界が±２digitに拡大してしまうことになる。

そこで図７（ｂ）のように、デジタルＰＧＡ２０でデジタルゲインを与えた後に、検出部ＤＴＣ及び補正部ＣＬで縦筋量の検出及び補正を行うようにすれば、ゲイン後の限界誤差自体に理論上デジタルゲインはかからなくなる。
ところが、この方式だとデジタルゲインが変わるたびに、縦筋検出しなおしが必要となる。すると、上述した、アナログゲインステップを大きくとるようにするシステムの効果が得られなくなってしまう場合がある。

そこで第３の実施の形態としては、図７（ｃ）のように、デジタルＰＧＡ２０を、検出部ＤＴＣと補正部ＣＬの中間に配置するものである。
これは、縦筋積分量であるＲＡＭ３４の加算値に、システムのデジタルゲイン（撮像画像信号ＤＴに与えるデジタルゲイン）と同じデジタルゲインをかけ、その後で割算器３５で平均用の除算をしてそれを縦筋量とみなす処理システムである。
割算器３５で除算する前にゲインをかける意味としては、ゲイン前に除算した場合における除算後に切り捨てられる（四捨五入される）はずであった小数点以下の値に対し、ゲインをかけることができることを意味し、その後で除算を行えば平均の精度を損なわないことを意味する。
またこの構成の場合、デジタルＰＧＡ２０でデジタルゲインをかける前に検出部ＤＴＣで縦筋量（加算値）を検出しているため、デジタルゲインが変化した時に改めて縦筋量を検出する必要がない。さらにデジタル処理誤差による補正限界精度をデジタルゲインによって落とさずにすむ事を可能とする。

なお、デジタルゲインが変化した時に改めて縦筋量を検出する必要がないということは、上述のようにアナログゲインのステップを広くしてデジタルゲインステップを小さくすることを有効なものとすることにつながる。つまりアナログＰＧＡ１４でのゲイン変化の機会を少なくし、デジタルＰＧＡ２０で細かくゲイン調整するようにすれば、補正のし直しの機会が減少するためである。

上述した図３の構成例を、この図７（ｃ）のように、デジタルＰＧＡ２０を、検出部ＤＴＣと補正部ＣＬの中間に配置するように変形した構成を図８に示す。
即ち、デジタルＰＧＡ２０としては、入力される撮像画像信号ＤＴｉｎに対するゲイン処理部２０ａと、ＲＡＭ３４の加算値に対するゲイン処理部２０ｂが設けられる。各ゲイン処理部２０ａ、２０ｂは入力に同一のゲインを与える。
そしてＲＡＭ３４の加算値は、ゲイン処理部２０ｂでデジタルゲインが与えられた後、割算器３５で平均値が求められ、セレクタ３６を介して減算器３７に供給される。また入力された撮像画像信号ＤＴｉｎは、ゲイン処理部２０ａでデジタルゲインが与えられてから、減算器３７に供給され、割算器３５で求められた平均値（縦筋ノイズ成分）の減算が行われる。

＜第４の実施の形態＞
第４の実施の形態は、縦筋補正量にノイズを付加することで、デジタル補正限界を見た目上、緩和する処理システムである。
上述したように、縦筋補正では整数演算の都合上、±１digitの補正限界が生じることとなるが、これが９bitや１０bitといった、さほど高くない分解能のＡ／Ｄ変換器４を有するシステムにおいては、この誤差が縦筋として見えてしまう問題が生じる。

これを目立たなくするための構成を図９に示す。図９は、上述した各実施の形態における割算器３５の構成例であるが、ここでは特に図７（ｃ）の例のように、割算器３５の前段にデジタルＰＧＡ２０（ゲイン処理部２０ｂ）が配置される例に準じて示している。
入力される縦筋積分データとは、ＲＡＭ３４に記憶された加算値のことであり、ここではデータMEM[11:0]として、つまりビット０〜ビット１１の１２ビットデータの例としている。これは、上記第２の実施の形態で説明したように、１２８回の加算を行ったデータと仮定しており、それが符号付１２ビットであった場合である。

デジタルＰＧＡ２０（２０ｂ）の出力をデータMEMPG[12:0]とする。ＭＳＢであるMEMPG[12]は符号ビットとし、これを含めた１３ビットのデータである。
１２８回加算に対する平均除算(1/128)は、７ビットの右シフト演算となる。従って上位６ビットのデータMEMPG[12:7]が平均除算値であり、下位７ビットのデータMEMPG[6:0]が切り捨てられる。
平均値としてのデータMEMPG[12:7]のうち、符号ビットを除いた５ビットのデータMEMPG[11:7]は、セレクタ６１の０側に入力されると共に、＋１加算部６６で＋１加算されてセレクタ６１の１側に入力される。
セレクタ６１は、０側又は１側の入力を選択して、５ビットの平均値を、縦筋補正のための減算値として出力する。つまりこれが、図３，図５，図８においてセレクタ３６を介して減算器３７に供給される値となる。

一方、平均除算で切り捨てられる下位７ビットのデータMEMPG[6:0]は、セレクタ６２の０側に入力され、また補数部６３で２の補数がとられてセレクタ６２の１側に入力される。またセレクタ６２は符号ビットであるＭＳＢ（MEMPG[12]）によって、０側、１側が選択される。
つまり、セレクタ６２は、切り捨て量の絶対値を出力するものとなる。
セレクタ６２からの７ビットの絶対値データは、比較器６５に供給される。
また、擬似一様乱数発生回路６４が設けられ、発生される一様乱数が比較器６５に供給される。この擬似一様乱数は、除算による切捨て量と同じビット長、つまり７ビットとする。一様乱数には、乱数発生アルゴリズムとしては一般的なM系列などを用いれば可能である。
そして比較器６５では、上記切り捨て量の絶対値と、一様乱数とを比較し、比較結果をセレクタ６１の選択制御信号として出力する。

このような構成によれば、除算によって得られた平均値としてのデータMEMPG[11:7]について、セレクタ６１で、その平均値自体と、＋１加算された値が選択的に出力されることになる。
つまり、このセレクタ６１が、ランダムに０側、１側を選択することで、補正のための減算値（減算すべき縦筋量）に対し、ランダムに０または１が加算されるものとなる。
このように、わずかなランダムノイズを付加することによって、固定パターンノイズを目立たなくさせるものである。

さらにこの例では、セレクタ６１のランダムな選択において、ノイズを付加する割合（１側を選択する割合）を、除算によって切り捨てられる値に比例させて変動させている。
つまり、切り捨て量の絶対値と乱数とを比較させて、その結果によりセレクタ６１が制御されることで、セレクタ６１はランダムな選択でありながら、切り捨て量が多いほど１側、つまり＋１のノイズ付加側を選択する確率が高くなり、逆に切り捨て量が少ないほどノイズ付加される確率が減る。
これによって補正後の縦筋量の平均をとった値が、擬似的に補正限界精度を向上させることを可能としている。

＜第５の実施の形態＞
第５の実施の形態は、１画面中に複数のゲイン値を有するシステムにおける縦筋補正の例である。
広ダイナミックレンジ画像や、Ｓ／Ｎ改善、ホワイトバランス処理などさまざまな用途として、１フレーム中にいくつかの異なるゲイン設定で各画素信号を読み出す場合がある。すると、並列読み出しに起因する固定パターンノイズの補正は、画素のゲイン設定毎に区別して行う必要が生ずる。なぜなら、設定されるゲイン毎に縦筋量が異なるためである。

このように複数のゲインパターンを有する場合に対応したデジタルＰＧＡ／縦筋キャンセル回路７の構成例を図１０に示す。なお、ここでは、各画素に対して２つのゲインパターンのいずれかが設定されているとする。
図１０の構成は、上記図８の構成を、２つのゲインパターンに対応できるように変形したものであり、この場合、平均演算回路３１ａ、３１ｂ、ＲＡＭ３４ａ、３４ｂが設けられる。またこれに付随して、セレクタ７１，７２が設けられる。
２つのゲインパターンの各ゲインをＧａ、Ｇｂとすると、平均演算回路３１ａは、制御信号φ１ａによって指示される期間に、ゲインＧａの画素について基準信号平均値の算出を行い、平均演算回路３１ｂは、制御信号φ１ｂによって指示される期間に、ゲインＧｂの画素について基準信号平均値の算出を行う。
また、ＲＡＭ３４ａは、制御信号φ２ａによって、ゲインＧａの画素についての差分値加算期間にライトイネーブルとされ、ＲＡＭ３４ｂは、制御信号φ２ｂによって、ゲインＧｂの画素についての差分値加算期間にライトイネーブルとされる。
セレクタ７１，７２は、制御信号φ０によって選択を行う。セレクタ７１は、ゲインＧａの画素についての差分値算出の際に平均演算回路３１ａ側を選択し、ゲインＧｂの画素についての差分値算出の際に平均演算回路３１ｂ側を選択するように制御される。
またセレクタ７２は、ゲインＧａの画素についての差分値の加算期間、及び縦筋補正の期間においてＲＡＭ３４ａ側を選択し、ゲインＧｂの画素についての差分値の加算期間、及び縦筋補正の期間においてＲＡＭ３４ｂ側を選択するように制御される。

図１１及び図１２（ａ）を参照して動作例を説明する。
図１２（ａ）は、ゲインＧａ、Ｇｂの画素のイメージを示している。例えば上述した各実施の形態において、基準信号平均値算出期間Ｔ１及び縦筋検出期間Ｔ２は、例えばダミー画素の走査期間としているが、図１２（ａ）では、この期間の画素は１ライン毎にゲインＧａの画素、ゲインＧｂの画素とされているとする。
また、ＯＰＢ及び有効画素領域では、垂直水平方向に交互にゲインＧａの画素、ゲインＧｂの画素とされているとする。

図１１で制御信号φ１ａが立ち上がる期間は、ゲインＧａの画素についての基準信号平均値算出期間Ｔ１ａとなる。例えば図１２（ａ）の１ライン目の期間であり、この期間、平均演算回路３１ａにおいて、基準信号平均値の算出が行われる。
図１２（ｂ）の２ライン目はゲインＧｂの画素とされている。この２ライン目の期間内に制御信号φ１ｂが立ち上げられ、ゲインＧｂの画素についての基準信号平均値算出期間Ｔ１ａとなる。つまり、この期間、平均演算回路３１ｂにおいて、基準信号平均値の算出が行われる。

図１２（ａ）の３，５，７・・・ライン目は、ゲインＧａの画素である。これらの各ラインの期間は、ゲインＧａの画素についての縦筋検出期間Ｔ２となる。即ちこれらの各ラインに対応して図１１に示すように制御信号φ２ａが立ち上げられ、差分値の加算及びＲＡＭ３４ａの加算値の更新動作が行われる。
また図１２（ａ）の４，６，８・・・ライン目は、ゲインＧｂの画素である。これらの各ラインの期間は、ゲインＧｂの画素についての縦筋検出期間Ｔ２となる。即ちこれらの各ラインに対応して図１１に示すように制御信号φ２ｂが立ち上げられ、差分値の加算及びＲＡＭ３４ｂの加算値の更新が行われる。

このような基準信号平均値算出期間Ｔ１（Ｔ１ａ、Ｔ２ａ）及び縦筋検出期間Ｔ２の動作により、ゲインＧａの画素についてのオフセット成分がＲＡＭ３４ａの加算値として得られ、またゲインＧｂの画素についてのオフセット成分がＲＡＭ３４ｂの加算値として得られる。
縦筋補正期間Ｔ３においては、ＯＰＢ及び有効画素領域において、各画素に対応するゲイン設定値（Ｇａ又はＧｂ）に応じて、セレクタ７２が切り換えられ、いずれかの加算値が割算器３５に供給されて平均化され、減算器３７に供給されて上述した各実施の形態と同様に補正が行われる。

このようにすることで、２つのゲインパターンが設定された場合に、各画素のゲイン設定に対応して縦筋ノイズ補正を行うことが可能となる。
もちろんこの例では２つのゲインパターン設定がされたシステムの例としたが、３以上のゲインパターン設定がされた場合は、そのパターン数に応じて平均演算回路３１、ＲＡＭ３４（ラインメモリ）が設けられればよい。

なお、上記例のように複数のＲＡＭ３４ａ、３４ｂからそれぞれのゲインに対する加算値（縦筋積分量）を呼び出してからセレクタ７２でセレクトするという方式ではなく、ＲＡＭ３４ａＭ３４ｂに対するメモリアドレスコントロール回路にゲイン設定情報を入力して、アクセスアドレスを制御し、直接所望値を引き出す方法もある。
さらに上記図１２（ａ）の場合、縦筋検出期間Ｔ２において行毎にゲイン設定値を変えながら、縦筋量を検出する方式となるが、図１２（ｂ）のように、最初に連続した所定行数をゲインＧａの走査期間とし、その期間にゲインＧａについての基準信号平均値算出期間Ｔ１ａ、縦筋検出期間Ｔ２ａとしての処理を行い、その後、連続した所定行数をゲインＧｂの走査期間とし、その期間にゲインＧｂについての基準信号平均値算出期間Ｔ１ｂ、縦筋検出期間Ｔ２ｂとしての処理を行うようにしてもよい。

＜第６の実施の形態＞
第６の実施の形態としてのデジタルＰＧＡ／縦筋キャンセル回路７を図１３に示す。この第６の実施の形態は、上記第１〜第５の実施の形態の特徴を全て備えるようにした例である。

デジタルＰＧＡ／縦筋キャンセル回路７に入力される撮像画像信号ＤＴｉｎは、デジタルＰＧＡ２０におけるゲイン処理部２０ａにおいてデジタルゲイン処理されて減算器３７に供給される。
また撮像画像信号ＤＴｉｎは、平均演算回路３１ａ、３１ｂに供給される。平均演算回路３１ａ、３１ｂでは、上記第５の実施の形態で説明したようにゲインＧａ、Ｇｂの設定に応じてそれぞれの基準信号平均値を算出する。
基準信号平均値と撮像画像信号ＤＴｉｎは減算器３２で差分がとられ加算器３３に供給される。加算器３３では、ＲＡＭ３４ａ、３４ｂからのフィードバック値に差分値を加算する。そしてその累積加算値がＲＡＭ３４ａ、３４ｂに記憶される。セレクタ７１，７２は、ゲインＧａ、Ｇｂの設定に応じて切り換えられる。

ＲＡＭ３４（３４ａ，３４ｂ）の加算値は、フレーム単位でリセットされず、第２の実施の形態で説明したように、複数フレームにわたって連続して加算が行われる。そして例えば１２８回の加算が限度として、９フレーム目以降は、１２８回分の加算が維持されるように、ＲＡＭ３４の加算値から１フレーム相当の加算値が減算器４０で減算されて加算器３３にフィードバックされる。
このためＲＡＭ３４ａ、３４ｂから読み出されセレクタ７２で選択された値は減算器４０と（１／nFrameMax）除算器８０に供給される。nFrameMaxとはnFrameの最大値であり、例えば第２の実施の形態で例に挙げた数値によれば「８」となる。つまり（１／nFrameMax）除算器８０では、１２８回分の加算値を８で割って１フレーム相当の加算値（１６回加算値）を得るために設けられている。この１フレーム相当の加算値が、減算器４０でＲＡＭ３４の加算値から減算されて、セレクタ４１，３８を介して加算器３３にフィードバックされることで、第２の実施の形態で説明した動作が行われる。

また、ＲＡＭ３４ａ、３４ｂに記憶された加算値は、デジタルＰＧＡ２０におけるゲイン処理部２０ｂでデジタルゲイン処理が行われてから割算器３５に入力される。これは第３の実施の形態で説明した構成に相当する。

割算器３５では、まず（１／nFrame）除算器５０で除算され、第２の実施の形態で説明したとおり、１フレーム相当の加算値が求められる。
なお、上記の加算値のフィードバック系に、（１／nFrameMax）除算器８０を、この（１／nFrame）除算器５０とは別に設けているのは、割算器３５の前段にデジタルＰＧＡ２０を配置したことによる。つまり、加算器３３にフィードバックする値は、デジタルゲイン処理を与える前の数値に基づかなければ適切でないためである。
割算器３５における（１／ｍ）除算器５１としては、第４の実施の形態（図９）で説明した、ランダムな微小ノイズ付加の構成が採られている。
このような割算器３５の出力は、セレクタ３６を介して減算器３７に供給され、縦筋ノイズの補正が行われることになる。
なお、図１３の各部の動作は、それぞれ上記第１〜第５の実施の形態の説明から理解されることであるため、ここでの詳細な説明は省略する。

このような第６の実施の形態によれば、以下のような効果が得られる。
第１の実施の形態と同様に、基準信号平均値を求め、基準信号平均値と撮像画像信号の差分値を累積加算する構成を採ることから、ＲＡＭ３４の効率化が図られる。
第２の実施の形態と同様に、複数フレームにわたって連続して加算していくことで、１フレーム期間内での加算回数を増やすことなく、加算精度、つまり縦筋ノイズ成分の検出精度を向上させることができる。
第３の実施の形態と同様に、デジタルＰＧＡ２０を中間配置することで、平均精度の維持、デジタルゲイン変更時の補正し直しの不要性、デジタル処理誤差による補正限界精度をデジタルゲインによって落とさないなどの利点を得ることができる。
第４の実施の形態と同様に、割算器３５でのランダムノイズ付加により、見かけ上の補正精度を向上させ、画質向上を可能とする。
第５の実施の形態と同様に、複数のゲインパターンに対応した処理が可能となる。

以上、各種実施の形態について説明してきたが、本発明としてはさらに多様な変形例が考えられる。第６の実施の形態においては第１〜第５の実施の形態の組み合わせを例示したが、第１〜第５の実施の形態の組み合わせは多様に考えられる。

本発明の実施の形態の固体撮像装置の要部のブロック図である。 実施の形態のセンサアレイ及びカラム読出回路／アナログＰＧＡのブロック図である。 第１の実施の形態のデジタルＰＧＡ／縦筋キャンセル回路のブロック図である。 第１の実施の形態の補正動作の説明図である。 第２の実施の形態のデジタルＰＧＡ／縦筋キャンセル回路のブロック図である。 第２の実施の形態の補正動作の説明図である。 実施の形態のデジタルＰＧＡの位置の説明図である。 第３の実施の形態のデジタルＰＧＡ／縦筋キャンセル回路のブロック図である。 第４の実施の形態の割算器のブロック図である。 第５の実施の形態のデジタルＰＧＡ／縦筋キャンセル回路のブロック図である。 第５の実施の形態の補正動作の説明図である。 第５の実施の形態の複数のゲイン設定値の説明図である。 第６の実施の形態のデジタルＰＧＡ／縦筋キャンセル回路のブロック図である。

符号の説明

１ センサアレイ、２ 垂直信号駆動回路、３ カラム読出回路／アナログＰＧＡ、４ Ａ／Ｄ変換器、５ デジタル処理回路、６ センサ制御ブロック、７ デジタルＰＧＡ／縦筋キャンセル回路、８ デジタルクランプ回路、９ カメラ信号処理部、１４ アナログＰＧＡ、２０ デジタルＰＧＡ、３１，３１ａ，３１ｂ 平均演算回路、３２，３７ 減算器、３３ 加算器、３４，３４ａ，３４ｂ ＲＡＭ、３５ 割算器、３６，３８，４５，７１，７２ セレクタ

Claims (15)

1. 固体撮像素子アレイにより形成され、入射光に応じた信号を得る画素センサ手段と、
   上記画素センサ手段によって得られる信号について並列読み出しを行って撮像画像信号を生成すると共に、該撮像画像信号に対するアナログゲイン処理を行う画像信号読出手段と、
   上記画像信号読出手段から出力される撮像画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、
   上記Ａ／Ｄ変換手段から出力される撮像画像信号に対して、デジタルゲイン処理を行うとともに、固定パターンノイズを除去する補正処理を行うデジタル処理手段とを有し、
   上記デジタル処理手段は、上記補正処理として、上記撮像画像信号の１フレーム期間内においてダミー画素から出力された固定値に基づく上記撮像画像信号が入力される期間に、該固定値に基づく上記撮像画像信号から基準信号平均値を算出し、さらに該基準信号平均値に対する上記固定値に基づく上記撮像画像データの並列読み出しされた１ライン分の差分値を複数ラインにわたって連続加算した加算値を記憶する処理を行い、また、上記１フレーム期間内において上記画素センサ手段の有効画素の撮像画像信号が入力される期間において、上記撮像画像信号に対して、上記記憶した上記加算値を除算して得る除算平均値を用いた補正を行うことを特徴とする固体撮像装置。
2. 上記デジタル処理手段の上記補正処理において記憶する上記加算値は、複数フレームにわたって上記差分値を連続加算した値とすることを特徴とする請求項１に記載の固体撮像装置。
3. 上記連続加算を行うフレーム数としての上限が設定され、上限フレーム数を越えた各フレーム期間には、１フレーム分の加算量に相当する値を、記憶されている加算値から減算し、該減算値に対して上記差分値の加算を行って、新たな加算値として記憶することを特徴とする請求項２に記載の固体撮像装置。
4. 上記デジタル処理手段の上記補正処理においては、上記加算値に対して、上記撮像画像信号に対するデジタルゲイン処理と同様のデジタルゲイン処理を施してから、上記除算平均値の算出を行うことを特徴とする請求項１に記載の固体撮像装置。
5. 上記画像信号読出手段における上記アナログゲイン処理のゲイン可変ステップに対し、上記デジタル処理手段における上記デジタルゲイン処理のゲイン可変ステップが小さく設定されていることを特徴とする請求項１に記載の固体撮像装置。
6. 上記デジタル処理手段の上記補正処理においては、上記除算平均値に対してランダムノイズを付加することを特徴とする請求項１に記載の固体撮像装置。
7. 上記除算平均値の演算時の余りの値に応じて、上記除算平均値に上記ランダムノイズを付加する割合を制御することを特徴とする請求項６に記載の固体撮像装置。
8. 上記制御は、上記余りの値と乱数値との比較結果に応じて上記ランダムノイズの付加を行う処理であることを特徴とする請求項７に記載の固体撮像装置。
9. 上記デジタル処理手段の上記補正処理においては、１画面を構成する画素について設定された複数のゲイン設定値毎に、上記基準信号平均値の算出、上記加算値の記憶、及び上記加算値の除算平均値を用いた補正を行うことを特徴とする請求項１に記載の固体撮像装置。
10. 固体撮像素子アレイにより形成され、入射光に応じた信号を得る画素センサ手段によって得られる信号について並列読み出しを行って撮像画像信号を生成すると共に、該撮像画像信号に対するアナログゲイン処理を行う画像信号読出ステップと、
    上記画像信号読出手段から出力される撮像画像信号をＡ／Ｄ変換するＡ／Ｄ変換ステップと、
    上記Ａ／Ｄ変換手段から出力される撮像画像信号に対して、デジタルゲイン処理を行うデジタルゲイン処理ステップと、
    上記撮像画像信号の１フレーム期間内においてダミー画素から出力された固定値に基づく上記撮像画像信号が入力される期間に、該固定値に基づく上記撮像画像信号から基準信号平均値を算出する基準信号平均値算出ステップと、
    上記基準信号平均値に対する上記固定値に基づく上記撮像画像データの並列読み出しされた１ライン分の差分値を複数ラインにわたって連続加算した加算値を記憶する加算値記憶ステップと、
    上記１フレーム期間内において上記画素センサ手段の有効画素の撮像画像信号が入力される期間において、上記撮像画像信号に対して、上記記憶した上記加算値を除算して得る除算平均値を用いて固定パターンノイズを除去する補正を行う補正ステップと、
    を備えたことを特徴とする撮像方法。
11. 上記加算値記憶ステップでは、複数フレームにわたって上記差分値を連続加算した値としての加算値を記憶することを特徴とする請求項１０に記載の撮像方法。
12. 上記連続加算を行うフレーム数としての上限が設定され、上限フレーム数を越えた各フレーム期間には、１フレーム分の加算量に相当する値を、記憶されている加算値から減算し、該減算値に対して上記差分値の加算を行って、新たな加算値として記憶することを特徴とする請求項１１に記載の撮像方法。
13. 上記補正ステップでは、
    上記加算値記憶ステップで記憶された加算値に対して、上記デジタルゲイン処理ステップでの上記撮像画像信号に対するデジタルゲイン処理と同様のデジタルゲイン処理を施してから、上記除算平均値の算出を行うことを特徴とする請求項１０に記載の撮像方法。
14. 上記補正ステップでは、上記除算平均値に対してランダムノイズを付加することを特徴とする請求項１０に記載の撮像方法。
15. １画面を構成する画素について設定された複数のゲイン設定値毎に、上記基準信号平均値算出ステップ、上記加算値記憶ステップ、及び上記補正ステップの処理が行われることを特徴とする請求項１０に記載の撮像方法。

Images