JP4763375B2 - 撮像装置および画像データの補正方法 - Google Patents

Description

本発明は、光電変換素子で生成され垂直転送レジスタを駆動して得る画像データから固定パターンノイズを除去する機能を有する撮像装置およびノイズ除去方法に関し、特に、垂直転送レジスタで発生する電荷に起因する固定パターンノイズの除去に関する。

従来、ＣＣＤイメージセンサで発生するノイズを除去する撮像装置および方法として、例えば、特許文献１に記載の技術が知られている。特許文献１には、ＣＣＤイメージセンサに被写体像を投影して画像データを得て、ＣＣＤイメージセンサに光を入射しない状態で垂直転送レジスタを駆動して黒レベル情報を得た上で、画像データから黒レベル情報を減算することによって、画像データを補正することが開示されている。

この従来技術によれば、ＣＣＤイメージセンサに光を入射しない状態で垂直転送レジスタを駆動することにより、黒レベル情報を得ることができ、画像データからこの黒レベル情報を差し引けば、ノイズを除去でき、真の画像データを得ることができる。

上記の減算処理に用いられる黒レベル情報はフレームメモリに記憶される。黒レベル情報は１フレーム分の各画素ごとの情報を有し、補正の際には、画像データの各画素の情報から黒レベル情報の各画素の情報を減算するため、黒レベル情報を記憶し保持しておく記憶手段の記憶容量としては、１フレーム分の画像データを記憶できる容量を必要とするからである。

ところで、ＣＣＤイメージセンサで発生するノイズは、固定パターンノイズ（Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ（ＦＰＮ））とランダムノイズとに分類できる。固定パターンノイズとは、画像データを画面に映し出したとき、画素ごとの特性のバラツキに起因して発生するノイズであって、画面の中の固定した位置に現れるノイズをいう。これに対して、ランダムノイズとは、画面の位置に関係なく現れるノイズをいう。

また、ＣＣＤイメージセンサで発生するノイズは、光電変換素子で発生する電荷に起因するノイズ成分と垂直転送レジスタで発生する電荷に起因するノイズ成分とに分類できる。本明細書では、便宜上、光電変換素子で発生する電荷に起因するノイズ成分を素子ノイズ成分と称し、垂直転送レジスタで発生する電荷に起因するノイズ成分を転送ノイズ成分と称する。さらに、転送ノイズ成分のうちの固定パターンノイズを転送固定ノイズ成分と称する。垂直転送レジスタに発生する暗電流は、転送固定ノイズ成分の主な要因である。

上述した従来技術における黒レベル情報は、ＣＣＤイメージセンサに光を入射しない状態で、光電変換素子からの電荷読み出しおよび通常の垂直転送を行うことにより得られる情報であるから、固定パターンノイズおよびランダムノイズが含まれ、素子ノイズ成分および転送ノイズ成分が含まれるものである。

したがって従来技術は、画像情報から黒レベル情報を減算するのであるから、これらの各種ノイズを同時に除去できるため、一見優れているように思われる。

特開平６−５４２６１号公報

しかしながら、ランダムノイズまでも減算してしまうと、新たなノイズの発生となって好ましくない。この点を詳述すると、黒レベル情報にランダムノイズが含まれていたとしても、画像データにそのランダムノイズが含まれるとは限らない。ランダムノイズは時々刻々画面の任意の位置に出現するものだからである。したがって、黒レベル情報にランダムノイズを含んでいたのでは、本来ノイズを含まない画像データからノイズを減算する結果となってしまい、その減算により新たなノイズが発生することになってしまう。

本発明は、画像データを補正するための補正信号にランダムノイズが含まれることに起因するノイズであって、画像データの補正時に新たに発生するノイズを低減できる撮像装置を提供することを目的とする。

本発明の第１の態様において、撮像装置は、行列状に配置された多数の光電変換素子と、光電変換素子の各列に隣接して配置され、光電変換素子からの信号電荷を転送する複数の垂直転送レジスタとを有する撮像手段と、光電変換素子からの信号電荷を垂直転送レジスタに読み出さない状態で垂直転送レジスタを駆動して得た補正信号を記憶する記憶手段と、光電変換素子からの信号電荷を垂直転送レジスタに読み出した状態で垂直転送レジスタを駆動して得た画像データから補正信号を減算する減算器とを備える。

この構成により、垂直転送レジスタに光電変換素子からの信号電荷を読み出さない状態で、垂直転送レジスタを駆動することにより補正信号を得るため、補正信号は光電変換素子で発生する電荷を含まない。一方、ランダムノイズは、光電変換素子で発生する電荷に多く含まれる。そのため、補正信号にランダムノイズが含まれることに起因するノイズであって、画像データの補正時に新たに発生するノイズを低減できる。

また、本発明の撮像装置は、１フレーム分の画像データを複数のフィールドに分割し、フィールド毎に画像信号を出力する。補正信号は、光電変換素子からの信号電荷を垂直転送レジスタに読み出さない状態で垂直転送レジスタを１フィールド期間駆動することにより得られた信号である。撮像手段は、複数のフィールドのうち、１フィールド期間以外のフィールドでは、光電変換素子からの信号電荷を垂直転送レジスタに読み出した状態で垂直転送レジスタを駆動して画像データを取得する。減算器は、取得した画像データから補正信号を減算する。

この構成により、１フィールド分の信号の読み出しにより補正信号を生成できるので、１フレーム分の読み出しにより補正信号を生成する従来技術に比べて、補正信号を生成するための時間を短縮できる。また、補正信号として１フィールド分のデータを記憶し保存しておけばよいので、補正信号を記憶する記憶手段は、記憶容量の小さいものを用いることができる。具体的には、前記記憶手段の容量は、１フィールドの画像データに相当する容量以上であって、２フィールドの画像データに相当する容量より小さいものとすることができる。

また、本発明の撮像装置は、記憶手段として１ライン分の補正信号を記憶するラインメモリを用いてもよく、この場合、画像データを、補正信号を得るための垂直転送レジスタの駆動後にさらに引き続いて、補正信号を得たときと同じ速度で垂直転送レジスタを駆動することにより、得るようにする。

この構成により、出力される画面の列ごとに転送固定ノイズ成分を一定にすることができる。そのため、１ライン分の補正信号を用いるだけで、転送固定ノイズ成分を除去できる。したがって、補正信号を記憶する記憶手段の記憶容量を小さくできる。

さらに、この場合には、１ライン分の補正信号は、光電変換素子からの信号電荷を垂直転送レジスタに読み出さない状態で垂直転送レジスタを駆動して得た複数ライン分のダミー信号を加算平均または加重平均して得たものであってもよい。

また、本発明の撮像装置は、垂直転送レジスタに光電変換素子からの信号電荷を読み出さない状態で垂直転送レジスタを駆動して撮像手段から直接得られるダミー信号の低周波成分を透過するローパスフィルタを備えるようにしてもよく、補正信号は、ローパスフィルタの出力から得られるものとすることができる。この構成により、補正信号にランダムノイズ成分が含まれるのを防止できる。

さらに、本発明の撮像装置は、撮像手段を遮光可能な遮光手段を備えてもよい。この場合、補正信号は、撮像手段が遮光手段で遮光された状態で垂直転送レジスタのスミア電荷が掃き出された後、垂直転送レジスタを駆動して得られるようにすることができる。この構成により、露光中に発生したスミアや暗電流の補正信号への混入を防止できる。また、垂直転送レジスタの駆動中にスミアが発生し、補正信号に混入することを防止できる。

また、本発明の撮像装置は、温度を検出する温度センサまたは／および撮像手段の出力のゲインを制御するゲインコントロール手段を備えてもよい。この場合、温度センサで検出された温度または／および前記ゲインコントロール手段によるゲインに基づき、画像データに対する補正信号による補正の要否を決定するようにしてもよい。また、温度センサで検出された温度または／およびゲインコントロール手段によるゲインの大きさに応じて、補正信号の大きさを増減するようにしてもよい。この構成により、補正の必要性に応じて、補正をするかどうか、または、補正信号の大きさを決定できるので、補正の必要性が低い場合に、撮像時間の長大化や新たなノイズの発生など、補正をすることによる副作用を回避することができる。

また、本発明の撮像装置は、複数のフレームの画像データを連続して撮像する連写モードを有してもよく、この場合、連写モードにおいて、現在のフレームの画像データから減算する補正信号として、前のフレームで用いた補正信号を用いるようにしてもよい。この構成により、現在のフレームの撮像時にダミーフィールド期間をなくすことができるため、撮像期間を短くできる。

本発明の第２の態様において、撮像装置は、行列状に配置された多数の光電変換素子と、光電変換素子の各列に隣接して配置され、光電変換素子からの信号電荷を転送する複数の垂直転送レジスタとを有し、垂直転送レジスタに光電変換素子からの信号電荷を読み出した状態で垂直転送レジスタを駆動して画像データを排出する画像データ排出動作と、垂直転送レジスタに光電変換素子からの信号電荷を読み出さない状態で垂直転送レジスタを駆動してダミー信号を排出するダミー信号排出動作とを交互に繰り返して、動画像を出力する撮像手段と、撮像手段のダミー信号排出動作によって排出されたダミー信号に基づいて補正信号を生成する補正信号生成手段と、生成された補正信号を記憶する記憶手段と、画像データ排出動作によって排出された画像データから補正信号を減算する減算器とを備える。

この構成により、垂直転送レジスタに光電変換素子からの信号電荷を読み出さない状態で、垂直転送レジスタを駆動することにより補正信号を得るため、補正信号は光電変換素子で発生する電荷を含まない。一方、ランダムノイズは、光電変換素子で発生する電荷に多く含まれる。そのため、補正信号にランダムノイズが含まれることに起因するノイズであって、画像データの補正時に新たに発生するノイズを低減できる。

なお、撮像手段は、周期的に出力される読み出しパルスを受信し、読み出しパルスを受信するごとに、垂直転送レジスタに光電変換素子からの信号電荷を読み出し、画像データ排出動作とダミー信号排出動作とを行うようにしてもよい。この構成により、読み出しパルスの受信ごとにダミー信号を得ることができるので、頻繁に補正信号を生成することができる。

さらに、補正信号生成手段は、異なるタイミングで受信した読み出しパルスに応じて排出された複数のダミー信号を加算平均または加重平均することにより、補正信号を生成するようにしてもよい。この構成により、複数のタイミングで取得したダミー信号に基づいて補正信号を生成するため、読み出しパルスの受信ごとにダミー信号が多少ばらついても安定した補正信号を得ることができる。

また、本発明の撮像装置は、動画像のうちの１フレーム分の画像データを複数のフィールドに分割して得てもよく、垂直転送レジスタを１フィールド期間駆動するごとに、撮像手段は、画像データ排出動作とダミー信号排出動作とを行うようにしてもよい。この構成により、フィールドごとにダミー信号を得ることができるので、各フィールドに適する補正信号を生成することができる。

さらに、補正信号生成手段は、異なるフィールドにおいて排出された複数のダミー信号を加算平均または加重平均することにより、補正信号を生成するようにしてもよい。この構成により、複数のフィールドで取得したダミー信号に基づいて補正信号を生成するため、各フィールドごとにダミー信号が多少ばらついても安定した補正信号を得ることができる。

また、記憶手段は、補正信号生成手段が補正信号を生成するごとに、新たに生成された補正信号で補正信号を更新するようにしてもよい。この構成により、記憶手段は、以前に生成した補正信号を記憶しておく必要がないため、記憶容量を小さいものとすることができる。

また、前回撮像手段から排出されたダミー信号のレベルと今回排出されたダミー信号のレベルとの変化量を検出する変化量検出手段を備えてもよく、この場合、記憶手段は、変化量検出手段で検出された変化量が所定値を超えた場合は、補正信号の更新をしないようにしてもよい。この構成により、ダミー信号にスミアが発生して、ダミー信号のレベルが所定値を超えたような場合には、記憶手段中の補正信号は更新されないので、スミアが補正信号に影響することを防止できる。したがって、スミアがダミー信号に混入した場合に画像データに新たなノイズが生じることを防止できる。

また、撮像手段から排出されたダミー信号のレベルを検出するレベル検出手段を備えてもよく、この場合、記憶手段は、レベル検出手段で検出されたレベルが所定値を超えた場合は、補正信号の更新をしないようにしてもよい。この構成により、ダミー信号にスミアが発生して、ダミー信号のレベルが所定値を超えたような場合には、記憶手段中の補正信号は更新されないので、スミアが補正信号に影響することを防止できる。したがって、スミアがダミー信号に混入した場合に画像データに新たなノイズが生じることを防止できる。

また、本発明の撮像装置は、温度を検出する温度センサまたは／および撮像手段の出力のゲインを制御するゲインコントロール手段を備えてもよい。この場合、温度センサで検出された温度または／およびゲインコントロール手段によるゲインに基づき、画像データに対する補正信号による補正の要否を決定してもよい。また、温度センサで検出された温度または／およびゲインコントロール手段によるゲインの大きさに応じて、補正信号の大きさを増減するようにしてもよい。この構成により、補正の必要性に応じて、補正をするかどうか、または、補正信号の大きさを決定できるので、補正の必要性が低い場合に、撮像時間の長大化や新たなノイズの発生など、補正をすることによる副作用を回避することができる。

本発明の撮像装置は、動画像と静止画像とを撮像可能な撮像装置としてもよい。この場合、動画像撮像時に補正信号生成手段で生成され記憶手段に記憶された補正信号に対して、所定の値を乗算して、静止画像用の補正信号を生成する乗算器を備えるようにしてもよく、減算器は、静止画撮像時には、画像データ排出動作によって排出された画像データから静止画像用の補正信号を減算するようにしてもよい。この構成により、静止画像撮像時に、動画像撮像の際に用いていた補正信号を用いて画像データの補正ができるので、静止画像用に補正信号を生成する必要がない。したがって、補正信号の生成に要する時間を確保する必要がないため、静止画像撮像の時間を短縮することができる。

本発明の第３の態様において、撮像装置は、行列状に配置された多数の光電変換素子と、光電変換素子の各列に隣接して配置され、光電変換素子からの信号電荷を読み出し可能な読み出し領域と、光電変換素子からの信号電荷を読み出し不可能なダミー領域と、読み出し領域で読み出された信号電荷を転送する複数の垂直転送レジスタとを有する撮像手段と、ダミー領域で発生する電荷を、垂直転送レジスタを駆動してダミー信号として得て、このダミー信号に基づいて補正信号を生成する補正信号生成手段と、生成された補正信号を記憶する記憶手段と、読み出し領域に読み出された信号電荷を、垂直転送レジスタを駆動して画像データとして得て、この画像データから補正信号を減算する減算器と、を備えるようにしてもよい。この構成により、ダミー領域は光電変換素子からの信号電荷の読み出しができないため、ダミー信号に素子ノイズ成分が含まれることを確実に防止できる。

本発明の撮像装置は、画像データを補正するための補正信号にランダムノイズが含まれることに起因するノイズであって、画像データの補正時に新たに発生するノイズを低減できる。

以下、添付の図面を参照して本発明の実施形態を説明する。

（発明の概要１）
最初に本発明の実施の形態１から４に示す撮像装置の構成の概略を説明する。本発明の撮像装置は、ＣＣＤイメージセンサの垂直転送レジスタにＣＣＤイメージセンサの光電変換素子からの信号電荷を読み出さない状態で、垂直転送レジスタを駆動する。これにより補正信号を得て、その補正信号を、垂直転送レジスタに光電変換素子からの信号電荷を読み出した状態で垂直転送レジスタを駆動して得た画像データから減算する。垂直転送レジスタに光電変換素子からの信号電荷を読み出さない状態で垂直転送レジスタを駆動することで、垂直転送レジスタで転送される電荷に光電変換素子に起因するノイズが含まれない。このため、主に転送ノイズ成分を成分とする補正信号を得ることができる。そして、これを画像データから減算することによって、転送ノイズ成分を除去して画像データを補正できる。

ここで、転送ノイズ成分のうち転送固定ノイズ成分に起因するノイズについて説明する。転送固定ノイズ成分は、垂直転送中に加算平均されるため、垂直転送レジスタに読み出されてから出力されるまでの時間が全ての画素で一定であれば画面全体で一様なオフセットになる。これに対して、この時間が水平ライン毎に異なる場合には、垂直方向に変化する固定パターンノイズになって現れる。また、ＣＣＤイメージセンサの微細化に伴って、各垂直転送レジスタ毎の暗電流のバラツキが無視できないようになってきた。このバラツイタ転送固定ノイズ成分を垂直転送すると、各列毎にノイズのレベルの異なり、縦筋状の固定パターンノイズとして現れる。

本実施の形態１ないし４に説明する撮像装置は主として静止画像におけるこの縦筋状の固定パターンノイズを低減する。

（実施の形態１）
１−１ 撮像装置の構成
図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。

撮像装置は、レンズ１で集光した画像の光学的信号をＣＣＤイメージセンサ３で電気的信号に変換して画像データを生成する。レンズ１で集光される光学的信号は、遮光手段２により遮光可能である。遮光手段２は例えばメカシャッタ等である。生成した画像データは、ゲインコントロール部（以下、「ＡＧＣ」と称す）５でゲインが調整され、Ａ／Ｄ変換器６でデジタル化される。フィールドメモリ７は補正信号を記憶する。減算器８は、Ａ／Ｄ変換器６でデジタル化された画像データから、フィールドメモリ７で記憶された補正信号を減算する。そのようにして減算器８から出力される画像データは、補正信号により転送ノイズ成分が除去されたものであり、画質が良い。減算器８から出力される画像データは画像メモリ２０に記憶される。

マイコン９は、遮光手段２、ＣＣＤイメージセンサ３、ＡＧＣ５、フィールドメモリ７等を制御して撮像装置全体の動作を制御する制御手段である。

次に、ＣＣＤイメージセンサ３の構成について説明する。図２に、ＣＣＤイメージセンサの構成を示す模式図を示す。

ＣＣＤイメージセンサ３は、行列状に配置された多数の光電変換素子３０１と、光電変換素子３０１の各列に隣接して配置され、信号電荷を転送する複数の垂直転送レジスタ３０２とを有する。また、ＣＣＤイメージセンサ３は、垂直転送レジスタ３０２から転送される信号電荷を水平方向に転送するための水平転送レジスタ３０３を有する。

この例では、各光電変換素子３０１に対して、２つの垂直転送レジスタ３０２が存在する。垂直転送レジスタ３０２には、各行に同一の電位変化を与えられるように電極が配されている。隣接する光電変換素子３０１に蓄積された電荷を、垂直転送レジスタ３０２へ読み出した後、垂直方向に数種類の駆動パターンで電位（φＶ１〜Ｖ６）の変化を与えることにより、垂直方向に転送し、最後に水平転送レジスタ３０３から出力する。垂直転送レジスタ３０２へ与えられる駆動パターンにより、電荷の読み出され方は変化し、ノイズの現れ方も変化する。

また、ＣＣＤイメージセンサ３は、光電変換素子３０１が存在する領域３０４を有する。ＣＣＤイメージセンサ３はさらに、水平転送レジスタ３０３側に、光電変換素子３０１が存在しない領域であるダミー領域３０７を有してもよい。光電変換素子３０１が存在する領域３０４は、画像形成領域３０６と、その周辺にある遮光領域３０５とを含む。この遮光領域３０５は光学的な黒レベルを検出するために用いられる。ＣＣＤイメージセンサ３は撮像手段の一例である。

なお、本実施の形態の撮像装置は、１フレーム分の画像データを複数のフィールドに分割して得る。例えば、光電変換素子３０１の第１、４、７、…、（３ｎ−２）目のラインからなる画像を第１フィールドとし、第２、５、８、…、（３ｎ−１）目のラインからなる画像を第２フィールドとし、第３、６、９、…、３ｎ目のラインからなる画像を第３フィールドとする（ｎは正整数）。デジタルスチルカメラ等に用いられるＣＣＤイメージセンサは高画素数化が進んでおり、１フレームにわたって全ての画素を１度に垂直転送レジスタ３０２に読み出して垂直転送をすると、必要な垂直転送レジスタ３０２の数が増えるため、信号電荷の読み出しから転送完了までに時間がかかるという問題がある。本実施の形態の撮像装置は、この問題を解決するために、複数フィールドに分割して１フレーム分の画像データを読み出しているのである。しかし、本発明は、これに限らず、１フレーム分の画像データを複数のフィールドに分割しないで読み出す撮像装置にも適用可能である。

１−２ 単写モード時の動作
次に、本実施の形態にかかる撮像装置の動作のうち、１枚の画像を撮像する際の動作（以下、「単写モード」と称す）について図３、４を用いて説明する。なお、複数の画像を時間的に連続して撮像するモードを「連写モード」と称す。

図３は、本実施の形態の撮像装置の動作を示すフローチャートである。また、図４は、その動作における動作タイミングを示すタイミングチャートである。図４（ａ）は、遮光手段２の状態を示す図であり、ハイのとき露光状態であり、ローのとき遮光状態であることを示す。図４（ｂ）は、光電変換素子３０１から垂直転送レジスタ３０２に電荷を読み出すタイミングを示す図であり、ハイのときに読み出しを行うことを示す。

図４（ｃ）は、垂直転送レジスタ３０２でのインターレース（インターライン）転送をするタイミングを示す図であり、ハイのときにインターレース転送を行うことを示す。図４（ｄ）は、垂直転送レジスタ３０２での高速転送をするタイミングを示す図であり、ハイのときに高速転送を行うことを示す。なお、高速転送とは、次の撮像動作のために垂直転送レジスタ３０２に蓄積された電荷を排出するために行う転送である。図４（ｅ）は、１画面の中のいずれかの列の転送固定ノイズ成分の値を、１画面分を代表して模式的に表した図である。図４（ｆ）は、フィールドメモリ７に対するライト・イネーブル（ＷＥ）信号を示し、ハイのときにフィールドメモリ７は入力信号を記憶する。

図４（ｇ）は、本実施の形態の撮像装置の動作状態を示す図である。時刻Ｔ１〜Ｔ２の期間は露光動作を行う期間である。時刻Ｔ３〜Ｔ５は、ダミーフィールド期間であって、補正信号を生成し記憶する期間である。時刻Ｔ５〜Ｔ７、Ｔ７〜Ｔ９、Ｔ９〜Ｔ１１は、それぞれ第１〜第３フィールド期間であり、第１〜第３フィールドの画像データを生成し、補正し、記憶する期間である。

１−２−１ 露光期間
まず、露光期間について説明する。図３において、マイコン９は、シャッタスイッチ１０が押下されたかどうか監視し（Ｓ１０１）、押下されると遮光手段２を制御して露光状態にする（Ｓ１０２、図４におけるＴ１）。露光は、時刻Ｔ２まで続き、露光が終了すると、マイコン９は、遮光手段２を制御して遮光状態にする。その後、ＣＣＤ駆動部４は、露光期間中に垂直転送レジスタ３０２に蓄積されていた暗電流を掃出すため、高速転送を行うようＣＣＤイメージセンサ３を制御する（Ｓ１０３、図４におけるＴ３〜Ｔ４）。

ここで、高速転送とは、露光期間中に垂直転送レジスタ３０２で発生したスミアや暗電流を掃き出すために、垂直転送レジスタ３０２を高速に駆動する転送方法を意味する。

１−２−２ ダミーフィールド期間
ダミーフィールド期間について説明する。垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出さない状態で１フィールド分の信号電荷を読み出すべく、垂直転送レジスタ３０２をインターレース転送する。この結果ＣＣＤイメージセンサ３から得られる信号電荷を「ダミー信号」と称する。また、このダミー信号を生成する期間を「ダミーフィールド」と称する。

ダミー信号は、ＣＣＤイメージセンサ３からＡＧＣ５に出力されて、さらにＡ／Ｄ変換器６に出力され、Ａ／Ｄ変換器６でデジタル化された後、補正信号として、フィールドメモリ７に記憶される（Ｓ１０４、図４におけるＴ４〜Ｔ５）。この補正信号をフィールドメモリ７に記憶する際には、マイコン９は、フィールドメモリ７に対してライト・イネーブル信号を出力する。そのため、時刻Ｔ４〜Ｔ５の期間は、図４（ｆ）に示すように、ライト・イネーブル信号がハイ（アクティブ）になる。

ここで、図４（ｅ）に示す転送固定ノイズ成分の経時変化について説明する。転送固定ノイズ成分の主要因は、上述したように、暗電流によって発生する電荷である。この電荷の量は、各垂直転送レジスタ３０２上に留まっている時間に比例して大きくなる。高速転送直後は、転送されてからの時間が短いため、各垂直転送レジスタ３０２上の電荷量は小さい。そのため、読み出しパルスが出された直後（Ｔ４）では、ＣＣＤイメージセンサ３から出力された信号中に含まれる転送固定ノイズ成分は小さい。その後、インターライン転送中に時間の経過とともに、暗電流による電荷が垂直転送レジスタ３０２に蓄積されていくため、転送固定ノイズ成分の値は徐々に増加し、最後にＣＣＤイメージセンサ３から出力されるラインでは最大になる。このような理由から、通常、画面上部の信号が先に読み出されるので、補正前の画像を見ると、画像に含まれるノイズは、画面の下方に向かって徐々にレベルが増加する。

ダミー信号は、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出さない状態で垂直転送レジスタ３０２を駆動することにより得られるため、光電変換素子３０１に蓄えられている信号電荷を含まず、垂直転送レジスタ３０２で発生した信号電荷のみを含む。したがって、ダミー信号にもとづいて生成された補正信号を用いて画像データを補正すれば、光電変換素子３０１に起因するノイズまでも補正してしまうことがない。そのため、光電変換素子３０１に起因するノイズが小さく、垂直転送レジスタ３０２に起因するノイズが大きい場合では、補正すべきノイズを効果的に除去できるため、良質な画像データを得ることができる。

また、１フィールド分のダミー信号の読み出しにより補正信号を生成できるので、１フレーム分の読み出しにより補正信号を生成する従来技術に比べて、補正信号を生成するための時間を短縮できる。そのため、シャッタータイムラグや撮像間隔を短くできる。なお、各フィールドの画像データが転送固定ノイズ成分に関してほぼ同じ値になることから、１フィールド分のダミー信号に基づいて生成される補正信号により各フィールドの画像データを補正しても問題はない。

また、補正信号として１フィールド分のデータを記憶し保存しておけばよいので、補正信号を記憶する記憶手段は、記憶容量の小さいものを用いることができる。具体的には、記憶手段の容量は、１フィールドの画像データに相当する容量以上のものであればよく、２フィールドの画像データに相当する容量より小さいものであっても構わない。

なお、補正信号を記憶する記憶手段の記憶容量を削減する方法として、遮光した状態で信号電荷を垂直転送レジスタに読み出して転送して得られた信号のうち１列分の信号を補正信号として記憶する方法も従来提案されている。しかし、その方法では、１つのラインの各画素に対して同じ補正信号を減算することになるため、縦筋状の固定パターンノイズに対応することができない。

また、補正信号は、上述した通り、ＣＣＤイメージセンサ３が遮光手段２で遮光された状態で高速転送により垂直転送レジスタ３０２のスミア電荷が掃き出された後、垂直転送レジスタ３０２を駆動して得られるよう構成することができる。この構成により、露光中に発生したスミアや暗電流の補正信号への混入を防止できる。また、垂直転送レジスタ３０２の駆動中にスミアが発生し、補正信号に混入することを防止できる。

１−２−３ 第１〜３フィールド期間
次に、第１〜３フィールド期間について説明する。ダミーフィールド期間が終了すると、ＣＣＤ駆動部４は、高速転送するようＣＣＤイメージセンサ３を駆動する（Ｓ１０５、図４におけるＴ５〜Ｔ６）。この高速転送により、垂直転送レジスタ３０２に蓄積された暗電流を掃き出す。その後、ＣＣＤ駆動部４は、光電変換素子３０１から垂直転送レジスタ３０２に信号電荷を読み出すように、ＣＣＤイメージセンサ３を駆動する（Ｓ１０６、図４におけるＴ６）。垂直転送レジスタ３０２に読み出された信号電荷は、垂直転送レジスタ３０２によりインターレース転送され、水平転送レジスタ３０３を介して、ＣＣＤイメージセンサ３からＡＧＣに出力される（Ｓ１０７）。この信号電荷は、画像データとして、Ａ／Ｄ変換器６でデジタル化される。その後、減算器８は、このデジタル化された画像データからフィールドメモリ７に記憶された補正信号を減算する。そして、最後にノイズを除去された画像データを画像メモリ２０に記憶する。

このような減算処理をすることにより、ＣＣＤイメージセンサ３から得た画像データから、転送ノイズ成分を除去することができる。より詳細に説明すると、各フィールドのノイズ除去前の画像データには、垂直転送レジスタ３０２で発生する電荷に起因するノイズが含まれる。垂直転送レジスタで発生する電荷に起因するノイズは、上述したダミー信号と同一である。そのため、フィールドメモリ７から読み出した補正信号を、減算器８により、各フィールドの画像データから減算することにより、転送ノイズ成分を除去できるのである。

上記処理を１フィールド分の画像データについて施した後、マイコン９は、１フレーム分の画像データすなわち３フィールド分の画像データについて、上記処理を行ったかどうかを確認し、全フィールド分の処理が終わっていない場合にはステップＳ１０５に戻り、第２フィールド、第３フィールドの画像データについて、生成、補正、記憶の処理を行う（図４におけるＴ７〜Ｔ９、Ｔ９〜Ｔ１１）。一方、全フィールド分の処理が終わった場合（第３フィールドの処理が終わった場合）には処理を終了する。

１−３ 連写モード時の動作
次に、連写モード時の動作について図５を用いて説明する。連写モードとは、複数のフレームの画像データを連続して撮像する動作モードである。図５は、連写モード時の撮像装置の動作タイミングを示すタイミングチャートである。図５（ａ）〜（ｇ）は、図４（ａ）〜（ｇ）の各々と対応する。また、図５は、複数のフレームの撮像動作のうち、第２フレームの撮像時の動作タイミングのみを示す。連写モードにおける第１のフレームの撮像時の動作タイミングは、単写モードにおける撮像時の動作タイミングと同様であるため、説明を省略する。

連写モードにおいて、第１フレームの撮像が終了すると、画像メモリ２０には、転送ノイズ成分が除去された第１フレームの画像データが記憶されており、フィールドメモリ７には、第１フレームの撮像時のダミーフィールド期間において生成された補正信号が記憶された状態となる。この状態は、単写モードにおいて撮像が終了したときの状態と同様である。

この状態から、マイコン９は、露光状態になるように遮光手段２を制御して（Ｔ１２）、第２フレームの撮像に移行する。露光が終了すると、マイコン９は、補正信号の生成、記憶を行わないで、直ちに第１フィールド期間に移行する（Ｔ１４）。第１フィールド期間において高速転送を終了すると（Ｔ１５）、光電変換素子３０１から垂直転送レジスタ３０２に信号電荷が読み出されて画像データが生成され、減算器８はこの画像データからフィールドメモリ７に記憶された補正信号を減算する。このようにして転送固定ノイズ成分が除去された画像データを、画像メモリ２０に記憶する。この動作を第２フィールドおよび第３フィールドについても繰り返す。

このような動作は、第１フレームの撮像の場合と同様であるが、第２フレームの場合には、補正信号として、第１フレームで用いた補正信号を用いて、ノイズ除去を行うのである。同様にして、第３フレームの撮像時には、第１および第２フレームで用いた補正信号を用いる。つまり、現在のフレームの画像データから減算する補正信号として、前のフレームで用いた補正信号を用いる。このような処理が可能なのは、現在のフレームで発生する転送固定ノイズ成分が前のフレームで発生する転送固定ノイズ成分とほぼ同一であるからである。

なお、連写モード時に限らず、現在の撮像フレームと前の撮像フレームとで、転送固定ノイズ成分の値がほぼ同じであるような場合には、同じ補正信号を用いることによって、現在のフレームの撮像時にダミーフィールド期間をなくすことができるため、撮像期間を短くできる。特に、連写モードにおいては、フレーム間の連写間隔を短くできる。

１−４ まとめ
本実施の形態の撮像装置は、行列状に配置された多数の光電変換素子３０１と、光電変換素子３０１の各列に隣接して配置され、信号電荷を転送する複数の垂直転送レジスタ３０２とを有するＣＣＤイメージセンサ３と、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出さない状態で垂直転送レジスタ３０２を駆動して得た補正信号を記憶するフィールドメモリ７と、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出した状態で、垂直転送レジスタ３０２を駆動して得た画像データから補正信号を減算する減算器８とを備える。この構成により、補正信号にランダムノイズが含まれることに起因して画像データの補正時に新たに発生するノイズを低減できる。この点についてより詳細に説明する。

画像データからランダムノイズまでも減算してしまうと、新たなノイズの発生となって好ましくないことは上述した通りである。このランダムノイズは、光電変換素子３０１で多く発生するノイズ（素子ノイズ成分）である。そこで、画像データから転送固定ノイズ成分のみを減算し、素子ノイズ成分については減算しないことが考えられる。しかし、そのようにしたのでは、光電変換素子３０１で発生する固定パターンノイズについて補正できなくなる。

したがって、画質の向上という観点から下記２つの手法のいずれか一方を適宜選択すべきである。

−素子ノイズ成分を減算しないことにより、補正信号にランダムノイズが含まれることに起因する新たなノイズの発生を防止する。

−素子ノイズ成分を減算することにより光電変換素子で発生する固定パターンノイズを補正する。

この点に関して最近の状況を考慮して検討すると、近年のＣＣＤイメージセンサ３の微細化に伴い、転送固定ノイズ成分の割合が大きくなっている。これは、光電変換素子３０１の面積の縮小化がすすみ、光電変換素子出力電荷量小さくなっているのに対して、転送固定ノイズ成分の減少の度合いが光電変換素出力電荷量の減少の割合よりも小さいためであると考えられる。これに伴い、従来補正を必要としなかった条件下でも転送固定ノイズ成分の補正が必要になってきている。

撮像素子出力に含まれる転送固定ノイズ成分の大きさは、垂直転送速度が同一であれば、温度により決まる。温度が高い程転送固定ノイズ成分は大きくなる。一方、素子ノイズ成分は、温度に加えて蓄積時間(露光時間)で決まる。例えば夜景撮影時に、長時間露光すると素子ノイズ成分が増える。そのため、転送固定ノイズ成分と素子ノイズ成分とでは、補正を要する条件が異なっている。

そうすると、高温時、転送固定ノイズ成分の補正が必要な場合でも、露光時間が短かければ、素子ノイズ成分の補正が不要な場合もある。それにも関わらず、素子ノイズ成分の補正が不要な条件下で素子ノイズ成分の補正を行ってしまうと、素子のノイズ成分中のランダムノイズに起因する新たなノイズの発生を招いてしまうため好ましくない。

そこで、素子ノイズ成分の補正が必要無い条件下では、光電変換素子３０１で発生する電荷を補正信号に含まないようにすることにより、補正信号にランダムノイズが含まれることに起因して画像データの補正時に新たに発生するノイズを低減できるようにした。

（実施の形態２）
２−１ 撮像装置の概要
本発明の実施の形態２における撮像装置は、画面の垂直方向に一定の大きさの転送固定ノイズ成分を発生させるようにし、そのようなノイズを１ライン分の補正信号を用いて除去できるようにする。実施の形態１では、補正信号として、１フィールド分のデータを用いていたが、実施の形態２では、１ライン分のデータを用いるので、補正信号を記憶する記憶手段の記憶容量をより小さくできる。

２−２ 撮像装置の構成
図６は、本実施の形態における撮像装置の構成を示すブロック図である。図１に示す構成と主に異なる点は、ラインメモリ２７を用いた点およびラインメモリ２７の出力を出力とするＩＩＲ型のローパスフィルタを備える点である。このローパスフィルタは、減算器１２、乗算器１３、加算器１４及びラインメモリ２７からなり、ダミー信号の低周波成分を透過させる。ローパスフィルタはＡ／Ｄ変換器６から出力される複数のラインのダミー信号を垂直方向に加算または加重平均し、以下に示す伝達関数を有する。

（ｋ×ｚ^-1）／｛１−（１−ｋ）×ｚ^-1｝ ・・・ （１）
式（１）において、ｋは乗算器１３のゲインであり、０〜１の間で変動し、値が小さい程ローパスフィルタ効果が大きくなり、加重平均において、Ａ／Ｄ変換器６から出力される新しい信号に対する重み付けを小さくできる。また、式（１）において、ｚ^-1は１ラインの遅延を意味する。

ここで、このようなローパスフィルタを設けた理由について説明する。ダミー信号は、転送固定ノイズ成分のみではなく、ランダムノイズ成分も含む。ランダムノイズ成分を含む信号を補正信号として使用すると、ランダムノイズが発生していない画素からもランダムノイズ成分を減算することになる。これにより、ノイズ除去後の画像データには、補正信号を減算したことに起因して、新たな縦筋状のノイズが発生することになる。そこで、補正信号にランダムノイズ成分が含まれるのを防止するために、ＣＣＤイメージセンサ３からの出力に対してローパスフィルタ処理を行っているのである。

また、ダミー信号を加重平均するのは以下の理由による。ランダムノイズの補正信号への影響を十分に排除するためには、上記の式（１）において、充分小さなｋを設定し、多数のラインのダミー信号を加重平均することが好ましい。そこで、本実施の形態においては、複数ラインのダミー信号を加重平均することにより、１ラインの補正信号を生成している。

２−３ 撮像装置の動作
次に、本実施の形態における撮像装置の動作について図７および図８を用いて説明する。図７は、実施の形態２における撮像装置の動作を示すフローチャートである。本発明の実施の形態１にかかる撮像装置とは、ステップＳ２０４における補正信号の生成方法が異なり、またステップＳ２０８における補正信号の減算方法が異なる。また、実施の形態１では、各フィールド毎に高速転送をするとしていたが（図３におけるＳ１０５）、実施の形態２では、ダミーフィールドにおいてのみ高速転送を行い（Ｓ１０３）、各フィールドにおいては高速転送を行わない。

図８は、実施の形態２における撮像装置の動作タイミングを示すタイミングチャートである。図８（ａ）〜（ｇ）は、図４（ａ）〜（ｇ）とそれぞれ対応する。

図７において、ステップＳ１０１〜Ｓ１０３までの動作は実施の形態１と同様であるため説明を省略する。高速転送により、ダミーフィールド期間に移行し（Ｔ３３）、高速転送が終了すると（Ｔ３４）、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出さない状態で１フィールド分の信号電荷を出力すべく、垂直転送レジスタ３０２をインターレース転送する（Ｔ３４〜Ｔ３５）。

このようにして得られるダミー信号には、転送固定ノイズ成分が含まれる。この転送固定ノイズ成分の値は時間の経過とともに、図８（ｅ）に示すように、次第に増加していくが、１フィールド分のインターレース転送が為された時点、即ち、垂直転送レジスタ３０２の段数分の通常の垂直転送が為された時点（Ｔ３５）で、その値は一定になる。その理由を以下に説明する。時刻Ｔ３５以前では、画素の電荷が垂直転送レジスタ３０２で転送される回数および転送時間が画素の位置によって異なるために、転送固定ノイズ成分の値は時間を追うごとに上昇する。しかし、時刻Ｔ３５以降では、各画素の位置に関わらず転送回数および転送時間は一定になるため、転送固定ノイズ成分の値も一定になるのである。つまり、インターレース転送の時間がある程度長時間になると、転送固定ノイズ成分が一定になるという現象を利用している。

転送固定ノイズ成分の値が一定になった後、更に所定ライン数のダミー信号がインターレース転送され、ＣＣＤイメージセンサ３から読み出される（Ｔ３５〜Ｔ３６）。この期間に、減算器１２、乗算器１３、加算器１４、ラインメモリ２７からなるローパスフィルタによって、ＣＣＤイメージセンサ３から読み出される複数ラインのダミー信号について、ランダムノイズ成分を除去しつつ、加重平均を施していく。そして、最終的に得られる平均値を補正信号としてラインメモリ２７に記憶する（Ｓ２０４、時刻Ｔ３６）。このような動作を行うため、マイコン９は、図８（ｆ）に示すように、時刻Ｔ３５〜Ｔ３６の間に、ラインメモリ２７に対してライト・イネーブル信号を出力する。

ダミーフィールド期間が終了すると、ＣＣＤ駆動部２４は、高速転送をしないで、光電変換素子３０１から垂直転送レジスタ３０２に信号電荷を読み出すように、ＣＣＤイメージセンサ３を駆動する（Ｓ１０６、図８におけるＴ３６）。このように、補正信号を得たときと同じ一定の速度で垂直転送レジスタ３０２を画面の全転送段数分駆動した後に、続けて同じ速度で垂直転送レジスタ３０２を駆動することにより、画像データを得る。つまり、前回の電荷の掃き出しから今回の電荷の掃き出しまでの時間を、１画面の全画素に渡って一定にすることにより、転送固定ノイズ成分を一定にすることができる。そのためには、補正信号を得た後、垂直転送レジスタ３０２を高速に駆動する高速転送モードを経ることなく、画像データを得ることが必要である。

このＣＣＤイメージセンサ３の駆動により、出力された画像データは、減算器８に出力される（Ｓ１０７）。減算器８では、入力された画像データから、ラインメモリ２７から読み出した補正信号を減算する（Ｓ２０８）。このとき、減算する補正信号は、上述したように、各ラインとも共通の信号を用いる。そして、最後にノイズを除去された画像データを画像メモリ２０に記憶する（Ｓ１０９）。実施の形態１と同様に、上記処理を全フィールド分繰り返して、一連の撮像動作を終了する（Ｓ１１０）。

なお、上記の説明では、単写モード時の動作を説明したが、本実施の形態の思想は連写モードにおいても適用できる。但し、本実施の形態においては、実施の形態１と異なり、第２フレームの撮像時以降は、第１フィールドの撮像前にインターレース転送により、全ラインの段数分だけ垂直転送レジスタ３０２を駆動する必要がある。これは、転送固定ノイズ成分を一定のレベルに引き上げるためである。つまり、第１フィールドの撮影前にはダミーフィールド期間を設ける必要がある。

以下、図９を用いて連写モード時の動作を説明する。図９は、連写モード時の撮像装置の動作タイミングを示すタイミングチャートである。図９（ａ）〜（ｇ）は図８（ａ）〜（ｇ）に対応する。また、図９は、複数のフレームの撮像動作のうち、第２フレームの撮像時の動作タイミングのみを示す。連写モードにおける第１フレームの撮像時の動作タイミングは、単写モードにおける撮像時の動作タイミングと同様であるため、説明を省略する。

連写モードにおいて、第１フレームの撮像が終了すると、マイコン９は、露光状態になるように遮光手段２を制御して、第２フレームの撮像に移行する（Ｔ４０）。露光が終了すると、マイコン９は補正信号の生成、記憶を行わない。しかし、直ちに、第１フィールド期間に移行するわけではなく、ダミーフィールド期間を経由する。このダミーフィールド期間は、補正信号を生成することを目的とするのではなく、転送固定ノイズ成分の値を一定値にすることを目的として設けられている。この点が実施の形態１と異なる点である。

全ラインの段数分だけ垂直転送レジスタ３０２を駆動すると、第１フレームの撮像時とは異なって、転送固定ノイズ成分が一定であるダミー信号を複数ライン分読み出す期間（図８におけるＴ３５〜Ｔ３６の期間）を設けることなく、直ちに、ダミーフィールド期間が終了して、第１フィールド期間に移行する。そのため、第２フレーム移行の撮像は、第１フレームの撮像よりも短い時間で撮像できる。

第１〜第３フィールド期間（Ｔ４４〜Ｔ４７）の動作は、第１フレームの撮像時における第１〜第３フィールド期間（Ｔ３６〜Ｔ３９）の動作と同様であるため、説明を省略する。

なお、減算器１２、乗算器１３、加算器１４、ラインメモリ２７からなるローパスフィルタは、本発明の補正信号生成手段の一例である。補正信号生成手段は複数のダミー信号を加算平均または加重平均するものとしたが、これに限らず、ダミー信号を加工しないでそのまま補正信号として用いる場合も、補正信号の生成の概念に含まれる。この場合、ＣＣＤイメージセンサ３からダミー信号を読み出してラインメモリ２７に供給する手段が補正信号生成手段に相当する。また、ラインメモリ２７は記憶手段７の一例である。

（実施の形態３）
３−１ 撮像装置の概要
実施の形態１、２の撮像装置では、温度やＡＧＣ５のゲインに関わらず、補正処理を行う構成とした。これに対して、本実施の形態における撮像装置は、温度または／およびＡＧＣ５のゲインに応じて、補正処理を行うかどうかを決定する。

転送固定ノイズ成分の値は、ＣＣＤイメージセンサ３の温度や、ＣＣＤイメージセンサ３の出力に対するゲインの大きさによって変動する。高温時やゲインが大きい場合は、転送固定ノイズ成分の値は大きくなる。ここで、ゲインが大きい場合とは、高感度での撮像の場合である。このような場合には、転送固定ノイズ成分が大きいので、これを除去する補正の必要性が大きくなる。一方、低温時やゲインが小さい場合は、転送固定ノイズ成分の値は小さくなる。この場合には、このような補正は必要ない場合もある。そのような場合にまで補正処理を行うと、ダミーフィールドを設けることによる撮像時間の長大化や、ローパスフィルタ処理で除去しきれなかったランダムノイズ成分による新たなノイズの発生などの副作用が発生する。本発明の実施の形態３は、このような副作用の発生を防ぐことを目的とする。

３−２ 撮像装置の構成
図１０に、本実施の形態における撮像装置の構成を示すブロック図を示す。本実施の形態における撮像装置は、図１に示す構成に加えて、温度センサ１７とスイッチ１６とをさらに備える。

温度センサ１７は温度を検出するセンサである。スイッチ１６は接続端子ａ〜ｃを備え、マイコン９の制御により接続端子ａを接続端子ｂまたは接続端子ｃに接続する。接続端子ａはＡ／Ｄ変換器６の出力に接続され、接続端子ｂは減算器８に接続され、接続端子ｃは画像メモリ２０に接続される。接続端子ａと接続端子ｂが接続されたときは、ＣＣＤイメージセンサ３から得られる画像データは減算器８で補正されて、画像メモリ２０に出力される。一方、接続端子ａと接続端子ｃが接続されたときは、画像データは減算器８で補正されずに、画像メモリ２０に出力される。

マイコン９は、温度センサ１７で検出した温度およびＡＧＣ５のゲインを監視する。そして、それらの値が式（２）を満足するような大きい値の場合、接続端子ａと接続端子ｂを接続するようスイッチ１６を制御し、画像データを補正する。一方、それらの値が式（２）を満足しないような小さい値の場合、接続端子ａと接続端子ｃを接続するようスイッチ１６を制御し、画像データを補正しないようにする。

Ｇ×（Ｔ−Ｔref）／４＞Ｔｈ ・・・ （２）
ここで、ＧはＡＧＣ５のゲインであり、Ｔは温度センサ１７で検出された温度であり、Ｔrefは所定の基準温度であり、Ｔｈは所定値である。この式（２）は、暗電流の量が、８度の温度上昇に対して約２倍になるという性質を考慮して決定されたものである。

３−３ 撮像装置の動作
図１１は、本実施の形態における撮像装置の動作を示すフローチャートである。図１２は、図１１において補正有りモードに移行した場合の動作を示すフローチャートであり、図１３は、図１１において補正なしモードに移行した場合の動作を示すフローチャートである。

図１１において、ステップＳ１０１〜Ｓ１０３の動作は、実施の形態１におけるステップＳ１０１〜Ｓ１０３の動作と同様であるため、説明を省略する。ステップＳ３０１において、マイコン９は、温度センサ１７の検出温度およびＡＧＣ５のゲインを監視して、それらの値が式（２）を満足するかどうかを判断する。そして、それらの値が式（２）を満足する場合、補正有りモードに移行し（Ｓ３０２）、それらの値が式（２）を満足しない場合、補正なしモードに移行する（Ｓ３０３）。

補正有りモードに移行した場合、図１２に示すフローで動作する。つまり、実施の形態１の撮像装置と同じ動作をする。

一方、補正なしモードに移行した場合、図１３に示すフローで動作する。すなわち、実施の形態１の撮像装置において、補正信号を生成、記憶せず、画像データの補正をしない動作である。この場合、補正信号を生成するダミーフィールド期間を設ける必要がないため、実施の形態１の撮像装置よりも撮像時間を短くできる。また、補正をしないので、ローパスフィルタ処理で除去しきれなかったランダムノイズ成分による新たなノイズが発生することはない。

（実施の形態４）
上記の実施の形態１〜３におけるいくつかの変形例を説明する。

ｉ）実施の形態２においては、式（１）で表されるように、画像の下方の画素のダミー信号に対して大きな重み付けをした加重平均処理を行っているが、加算する全ての信号に同一の重み付けをした加算平均処理を行ってもよい。このように、同一の重み付けを行うことにより、ランダムノイズを抑圧する効果が大きくなるため、補正信号を生成するために必要なダミー信号のライン数を少なくすることができる。

ii）また、実施の形態２では、マイコン９は、ダミー信号の転送固定ノイズ成分が一定になるのを待って補正信号の生成を開始するように制御したが、ダミー信号の転送固定ノイズ成分が一定になる前に補正信号の生成を開始するように制御してもよい。このようにすることにより、IIRフィルタの収束する速度を速めることができる。そのため、撮像に必要な時間を短くできる。

iii）また、実施の形態２では、遮光直後にスミア掃き出しのための高速転送を行っているが（図８（ｄ）における時刻Ｔ３３〜Ｔ３４）、この高速転送は省略しても構わない。この高速転送を省略した場合には、転送ノイズの値が徐々に増加する期間(図８（ｆ）の時刻Ｔ３４〜Ｔ３５）において、スミア電荷を掃き出すことができるからである。この場合の方が、スミア電荷の掃き出しと転送固定ノイズ成分の一定値化とを同時並行して行うことができるので、その分だけ撮像時間を短くできる。

iv）実施の形態３では、温度およびゲインに応じて補正をするかどうかを決定したが、温度またはゲインのいずれかに基づいてその決定をしてもよい。

ｖ）また、実施の形態３においては、１フィールド分の補正信号を生成する場合について説明したが、温度または／およびゲインに応じて補正をするかどうかを決定するという本発明は、本発明の実施の形態２のように１ライン分の補正信号を生成する場合にも適用できる。

vi）また、実施の形態３においては、温度または／およびゲインに応じて、補正処理を行うかどうかを決定するとしたが、温度または／およびゲインに応じて、減算する補正信号の大きさを増減するようにしてもよい。この場合、温度または／およびゲインの大きさが大きくなるにつれて、補正信号の大きさを大きくし、ノイズ除去の効果を高めるようにする。ただし、補正信号の大きさに上下限を設けて、温度または／およびゲインの大きさが変化しても、補正信号の大きさは増減しない領域を設けてもよい。また、温度または／およびゲインの大きさと、補正信号の大きさとの相関は、一次関数的なものであっても良いし、他の関数で表せるものであってもよい。さらに、補正信号の大きさの増減についてヒステリシスを設けるようにしても良い。具体的には、フィールドメモリ７またはラインメモリ２７と減算器８との間に増幅器を備え、この増幅器のゲインをマイコン９またはマイコン９で制御する実施の形態が考えられる。

（発明の概要２）
実施の形態１から４では、静止画像における縦筋状の固定パターンノイズを低減する撮像装置を説明したが、以下の実施の形態５から１１では、動画像における縦筋状の固定パターンノイズを低減する撮像装置を説明する。

以下に説明する撮像装置では、ＣＣＤイメージセンサ３は、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出した状態で垂直転送レジスタ３０２を駆動して画像データを排出する「画像データ排出動作」と、垂直転送レジスタ３０２に光電変換素子からの信号電荷を読み出さない状態で垂直転送レジスタ３０２を駆動してダミー信号を排出する「ダミー信号排出動作」とを交互に繰り返して、動画像を出力する。撮像装置は、ダミー信号排出動作によって排出されたダミー信号に基づいて補正信号を生成し、その補正信号を、画像データ排出動作で排出された画像データから減算する。ダミー信号排出動作によって排出されたダミー信号は、光電変換素子３０１に起因するノイズを含むことがないため、転送ノイズ成分を主成分とする補正信号を得ることができる。この補正信号を画像データから減算することによって、転送ノイズ成分を除去して画像データを補正できる。

（実施の形態５）
５−１ 撮像装置の構成
図１４は、本発明の実施の形態５における撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、レンズ１で集光した画像の光学的信号をＣＣＤイメージセンサ３で電気的信号に変換して画像データを生成する。レンズ１で集光される光学的信号は、遮光手段２により、遮光可能である。遮光手段２は、例えば、メカシャッタ等である。生成した画像データはＡＧＣ５でゲインを調整され、Ａ／Ｄ変換器６でデジタル化される。
ラインメモリ２７は、減算器１２、乗算器１３、加算器１４とともに、ラインメモリ２７の出力を出力とするＩＩＲ型のローパスフィルタを構成する。このローパスフィルタは、ダミー信号の低周波成分を透過させる。ローパスフィルタはＡ／Ｄ変換器６から出力される複数のラインのダミー信号を垂直方向に加算または加重平均する。ローパスフィルタは式（１）で示す伝達関数を有し、補正信号を生成し出力する。

ラインメモリ２７は補正信号を記憶する。ラインメモリ２７は、補正信号が生成されるごとに、以前に記憶した補正信号を新たに生成された補正信号で上書きすることにより、補正信号を更新するようにしてもよい。このようにすることにより、頻繁に補正信号を生成することができるため、その時々で最適な補正信号を得ることができる。

なお、本発明における動画像は、最終的に画像データとしてメモリーカード等に記録されるものであってもよいし、画像メモリ２０に一時に保存された後、表示手段にスルー画像として表示される画像であってもよい。

５−２ 撮像装置の動作
本実施の形態における撮像装置の動作について図１５、１６を用いて説明する。図１５は、その動作を示すフローチャートである。また、図１６は、その動作における動作タイミングを示すタイミングチャートである。図１６（ａ）は、遮光手段２の状態を示す図であり、ハイのとき露光状態であり、ローのとき遮光状態であることを示す。図１６（ｂ）は、光電変換素子３０１から垂直転送レジスタ３０２に電荷を読み出すタイミングを示す図であり、ハイのときに読み出しを行うことを示す。図１６（ｃ）は、垂直転送レジスタ３０２の駆動状態を示すタイミングチャートであり、ハイのときに駆動し、ローのとき駆動を停止する。図１６（ｄ）は、光電変換素子３０１から垂直転送レジスタ３０２に読み出した信号電荷の転送状態を示す状態図であり、ハイのときにそのような信号電荷を転送していることを示す。図１６（ｅ）は、１画面のうちいずれかの列の転送固定ノイズ成分の値を、１画面分を代表して模式的に表した図である。図１６（ｆ）は、ラインメモリ２７に対するライト・イネーブル（ＷＥ）信号を示し、ハイのときに、ラインメモリ２７は入力信号を記憶する。図１６（ｇ）は、本実施の形態の撮像装置の動作状態を示す図である。期間Ｔ１〜Ｔ４、Ｔ４〜Ｔ５、Ｔ５〜Ｔ６は、それぞれ同一フレームの第１〜第３フィールド期間であり、第１〜第３フィールドの画像データを生成し、補正し、記憶する期間である。そして、期間Ｔ６〜Ｔ７は、次のフレームの第１フィールド期間であり、次のフレームの第１フィールドの画像データを生成し、補正し、記憶する期間である。

本実施形態では、ＣＣＤイメージセンサ３は、周期的に出力される読み出しパルス信号を受信し、その読み出しパルスの受信毎に、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出し、画像データ排出動作（時刻Ｔ１〜Ｔ３の間）と、ダミー信号排出動作（時刻Ｔ３〜Ｔ４の間）とを行う。ＣＣＤイメージセンサ３は、垂直転送レジスタ３０２を１フィールド期間駆動するごとに、画像データ排出動作（時刻Ｔ１〜Ｔ３の間）とダミー信号排出動作（時刻Ｔ３〜Ｔ４の間）とを行う。

図１６に示すように、本実施形態の撮像装置は、各フィールドごとに同じ動作を繰り返すよう構成されているので、以下では、代表して第１フィールド期間（Ｔ１〜Ｔ４）の動作について説明する。

５−２−１ 画像データの排出と補正
まず、画像データの排出と補正について説明する。ここで説明するのは、図１５においてはステップＳ１１０１〜Ｓ１１０４の動作であり、図１６においては期間Ｔ１〜Ｔ３の動作である。

図１５において、撮像装置の電源を投入すると、シャッタスイッチ１０が押下されるなどの動作がない限り、動画像撮像が開始される。すると、ＣＣＤイメージセンサ３は、外部で生成された又は内部で生成した読み出しパルスを受信して、図１６（ｂ）に示すように、光電変換素子３０１から垂直転送レジスタ３０２に信号電荷を読み出す（Ｓ１１０１、図１６における時刻Ｔ１）。ここで、読み出しパルスとは、ＣＣＤイメージセンサ３の制御タイミングを与えるタイミング信号であって、光電変換素子３０１から垂直転送レジスタ３０２に信号電荷を読み出すトリガーとなる信号をいう。本実施の形態では、読み出しパルスは、周期的に出力されるが、ＣＣＤイメージセンサ３の動作によって、この周期の周波数を変更するように構成してもよい。ＣＣＤイメージセンサ３は読み出しパルスの受信毎に、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出して画像データ排出動作（時刻Ｔ１〜Ｔ３の間）を行う。

また、図１６（ａ）に示すように、本実施の形態においては、動画撮像の期間は常時、遮光手段２を露光状態にするが、これに限らず、動画撮像期間のうち一定期間は露光状態を脱して遮光状態にしてもよい。

次に、垂直転送レジスタ３０２に読み出された信号電荷は、垂直転送レジスタ３０２間でインターレース転送され（Ｓ１１０２）、水平転送レジスタ３０３を介して、ＣＣＤイメージセンサ３からＡＧＣ５に出力される。この出力された信号電荷は画像データとしてＡ／Ｄ変換器６でデジタル化される。その後、減算器８は、このデジタル化された画像データからラインメモリ２７に記憶された補正信号を減算する（Ｓ１１０３）。そして、最後にノイズが除去された画像データを画像メモリ２０に記憶する。

このような減算処理をすることにより、ＣＣＤイメージセンサ３から得た画像データから、転送ノイズ成分を除去することができる。より詳細に説明すると、各フィールドのノイズ除去前の画像データには、垂直転送レジスタ３０２で発生する電荷に起因するノイズが含まれる。垂直転送レジスタ３０２で発生する電荷に起因するノイズは、上述したダミー信号と同一である。そのため、ラインメモリ２７から読み出した補正信号を、減算器８により、各フィールドの画像データから減算することにより、転送ノイズ成分を除去できる。

このような動作が１フィールド分の全画像データについて行われると、画像データの排出が終了する（Ｓ１０４、図１６における時刻Ｔ３）。

５−２−２ 補正信号の生成と記憶
次に、補正信号の生成と記憶の動作について説明する。ここで説明するのは、図１５においてはステップＳ１１０５〜Ｓ１１０８の動作であり、図１６においては時刻Ｔ３〜Ｔ４間の動作である。

図１６（ｃ）および（ｄ）に示すように、画像データの排出が終了した（Ｓ１１０４）後であっても、ＣＣＤイメージセンサ３は垂直レジスタ３０２の駆動を続ける。このようにすることで、この期間（時刻Ｔ３〜Ｔ４）にＣＣＤイメージセンサ３から排出される電荷は、光電変換素子３０１で発生した電荷を含まず、垂直転送レジスタ３０２において発生する電荷のみを含む。このような電荷からなる信号を「ダミー信号」と称し、その排出動作を「ダミー信号排出動作」と称する。このダミー信号から補正信号が生成される。

時刻Ｔ３〜Ｔ４の期間に、減算器１２、乗算器１３、加算器１４、ラインメモリ２７からなるローパスフィルタによって、ＣＣＤイメージセンサ３から読み出されるダミー信号と、以前のフィールドにおいて読み出されたダミー信号とについて、ランダムノイズ成分を除去しつつ、加重平均を施していく。つまりローパスフィルタは、互いに異なる読み出しパルスを受信した時に排出された複数のダミー信号を加重平均する。なお、このとき、同一のフィールド内で読み出されるダミー信号は、単数ライン分であってもよいし、複数ライン分あってもよい。

そして、最終的に得られる平均値を補正信号としてラインメモリ２７に記憶する（Ｓ１１０５、図１６における時刻Ｔ４）。このような動作を行うため、マイコン９は、図１６（ｆ）に示すように、時刻Ｔ３〜Ｔ４の間に、ラインメモリ２７に対してライト・イネーブル信号を出力する。

その後、垂直転送レジスタ３０２の駆動を終了し（Ｓ１０６）、ユーザ等により動画像終了の指示があれば、一連の動作を終了し、その指示がなければ、次のフィールドの撮像動作に移行する（Ｓ１１０７、Ｓ１１０８）。

以上の動作にしたがい第１〜第３フィールドの画像データの生成、補正、記憶を行うことにより、動画像のうちの１フレーム分について画像データを生成できる。このような動作を動画像撮像中続け、各フレームを結合することにより、動画像として再生可能な画像データを記録することができる。

図１６（ｅ）に示す転送固定ノイズ成分の主要因は、上述したように垂直転送レジスタ３０２上に暗電流によって発生する電荷である。この電荷の量は、電荷が各垂直転送レジスタ３０２上に留まっている時間に比例して大きくなる。本実施の形態においては、動画像を撮像する場合、全フィールドについて一定間隔で読み出しているので、動画像撮像中は、転送固定ノイズ成分は時間的に変化しない。

ダミー信号は光電変換素子３０１で発生した電荷を含まないので、上記のようにダミー信号にもとづいて生成された補正信号を用いて画像データを補正すれば、光電変換素子３０１に起因するノイズまでも補正してしまうことがない。そのため、光電変換素子３０１に起因するノイズが小さく、垂直転送レジスタ３０２に起因するノイズが大きい場合等では、補正すべきノイズを効果的に除去できるため、良質な画像データを得ることができる。

また、１ライン分または数ライン分のダミー信号の読み出しにより補正信号を生成できるので、１フレーム分の読み出しにより補正信号を生成する従来技術に比べて、補正信号を生成するための時間を短縮できる。そのため、シャッタータイムラグや撮像間隔を短くできる。また、補正信号を生成する時間が短いので、動画像撮像において、コマ落ちが発生することも防止できる。このように、１フィールド以下のダミー信号に基づいて生成される補正信号により、各フィールドの画像データを補正したのは、各フィールドの画像データが、転送固定ノイズ成分に関しては、ほぼ同じ値になるという理由からである。

また、補正信号として１ライン分のデータを記憶し保存しておけばよいので、補正信号を記憶する記憶手段は、記憶容量の小さいものを用いることができる。具体的には、記憶手段の容量は、１ラインの画像データに相当する容量以上のものであればよく、２ラインの画像データに相当する容量より小さいものであっても構わない。

なお、補正信号を記憶する記憶手段の記憶容量を削減する方法として、遮光した状態で信号電荷を垂直転送レジスタに読み出して転送して得られた信号のうち１列分の信号を補正信号として記憶する方法も従来提案されているが、その方法では、１つのラインの各画素に対して同じ補正信号を減算することになるため、縦筋状の固定パターンノイズに対応することができない。

５−３ まとめ
本実施の形態の撮像装置によれば、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出した状態で垂直転送レジスタ３０２を駆動して画像データを排出する「画像データ排出動作」と、垂直転送レジスタ３０２に光電変換素子３０１からの信号電荷を読み出さない状態で垂直転送レジスタ３０２を駆動してダミー信号を排出する「ダミー信号排出動作」とを交互に繰り返しながら、ＣＣＤイメージセンサ３から動画像を出力する。ＣＣＤイメージセンサ３のダミー信号排出動作によって排出されたダミー信号に基づいて補正信号を生成する。画像データ排出動作によって排出された画像データから補正信号を減算する。これにより、補正信号にランダムノイズが含まれることに起因して、画像データの補正時に新たに発生するノイズを低減できる。

（実施の形態６）
実施の形態５では、補正信号の変化にかかわらず、新たに生成された補正信号によりラインメモリ２７を更新するよう構成していた。このため、高輝度な被写体を撮影したためにスミアが発生して、このスミアがダミー信号にも混入ししまったような場合であっても、そのダミー信号を用いた補正信号を生成し、これを用いて補正を行うこととなる。このように構成してしまうと、画像データを補正する際に、現実にはノイズが発生していない画像データについてもスミア分だけ補正をしてしまい、新たなノイズを画像データに生じさせることになる。

そこで、本実施の形態では、スミアが補正信号に混入することを防止するため、前回ＣＣＤイメージセンサ３から排出されたダミー信号のレベルと今回排出されたダミー信号のレベルとの変化量を検出する変化量検出手段を備え、さらに、ラインメモリ２７は、変化量検出手段で検出された変化量が所定値を超えた場合に、補正信号の更新をしない構成とした。

図１７は、本実施の形態の撮像装置の構成を示すブロック図である。本実施の形態の撮像装置は、実施の形態５における撮像装置の構成において、さらに、クリップ回路１５を有する。クリップ回路１５は、減算器１２、乗算器１３、加算器１４およびラインメモリ２７とともに変化量検出手段を構成する。変化量検出手段は他の構成でもよい。
図１７において、ＣＣＤイメージセンサ３から排出されるダミー信号は、ＡＧＣ５、Ａ／Ｄ変換器６、減算器１２を介してクリップ回路１５に入力される。

クリップ回路１５は、減算器１２の出力信号を入力し、入力値が所定値を超えていなければ、入力値をそのまま出力し、所定値を超えていた場合には、０を出力する。また、ラインメモリ２７は、クリップ回路１５が何らかの値を出力したときは記憶している補正信号を加算器１４から出力される新たな補正信号に更新し、０を出力したときはそのような更新をしない。

減算器１２の出力は、ダミー信号の変化量を示しており、レベルの大きいスミアがあった場合には、所定値を超えた値が減算器１２から出力されるため、クリップ回路１５の出力値は０になり、ラインメモリ２７中の補正信号は更新されないので、スミアが補正信号に影響することを防止できる。したがって、スミアがダミー信号に混入した場合に画像データに新たなノイズが生じることを防止できる。

なお、本実施形態では、変化量検出手段は、前回までに求めたダミー信号の加算平均値または加重平均値、つまり補正信号と今回のダミー信号との間の変化量を求める構成としたが、前回のダミー信号と今回のダミー信号との変化量を求める構成としてもよい。本発明における前回撮像手段から排出されたダミー信号のレベルと今回排出されたダミー信号のレベルとの変化量とは、上記の２つの変化量を含む概念である。つまり、本発明にいう変化量は、前回のダミー信号と今回のダミー信号との間の変化量を含む概念であるとともに、前回までに求めた補正信号と今回のダミー信号との間の変化量をも含む概念である。

（実施の形態７）
本実施形態においても、実施の形態６と同様に、スミアが補正信号に混入することを防止することを目的とする。図１８に、本実施の形態における撮像装置の構成を示す。

本実施の形態の撮像装置は、実施の形態５の撮像装置の構成に加えて、ＣＣＤイメージセンサ３から排出されたダミー信号のレベルを検出するレベル検出部２１と、ラインメモリ２７への入力信号を切替えるスイッチ２２とをさらに備える。ラインメモリ２７は、レベル検出部２１で検出されたレベルが所定値を超えた場合には、補正信号の更新をしない。

レベル検出部２１はダミー信号を入力し、ダミー信号と所定の閾値を比較し、比較結果に従ってスイッチ２２を制御する。ダミー信号が閾値より小さい場合は、スイッチ２２を接続端子ａを接続端子ｂと接続するように制御する。この結果、ラインメモリ２７には、加算器１４の出力が入力されるため、新たな補正信号が入力される。ラインメモリ２７はこの信号を記憶し、これは、ラインメモリ２７が補正信号を更新することを意味する。

一方、ダミー信号が閾値より大きい場合は、スイッチ２２を接続端子ａを接続端子ｃと接続するように制御する。この結果、ラインメモリ２７には、ラインメモリ２７の出力が入力されるため、前回の補正信号が入力される。ラインメモリ２７は入力した補正信号を記憶し、これはラインメモリ２７が補正信号を更新しないことを意味する。

以上のように、ダミー信号にスミアが発生して、ダミー信号のレベルが所定値を超えたような場合には、ラインメモリ２７中の補正信号は更新されないので、スミアが補正信号に影響することを防止できる。したがって、スミアがダミー信号に混入した場合に画像データに新たなノイズが生じることを防止できる。

（実施の形態８）
８−１ 撮像装置の概要
実施の形態５〜７における撮像装置では、温度やＡＧＣ５のゲインに関わらず、補正処理を行う構成とした。これに対して、本実施の形態における撮像装置は、温度やＡＧＣ５のゲインを考慮して補正処理の要否を決定する。

転送固定ノイズ成分の値は、ＣＣＤイメージセンサ３の温度や、ＣＣＤイメージセンサ３の出力に対するゲインの大きさによって変動する。高温時やゲインが大きい場合には、転送固定ノイズ成分の値は大きくなる。ここで、ゲインが大きい場合とは、高感度での撮像の場合である。このような場合には、転送固定ノイズ成分が大きいので、これを除去する補正の必要性が大きくなる。一方、低温時やゲインが小さい場合には、転送固定ノイズ成分の値は小さくなる。この場合には、このような補正は必要ない場合もある。このような場合にまで、補正処理を行うと、補正信号を求めるための撮像時間の長大化や、ローパスフィルタ処理で除去しきれなかったランダムノイズ成分による新たなノイズの発生などの副作用が発生する。本実施の形態は、このような副作用の発生を防ぐことができる撮像装置の提供を目的とする。

８−２ 撮像装置の構成
図１９に、本実施の形態における撮像装置の構成を示すブロック図を示す。本実施の形態の撮像装置は、実施の形態５の撮像装置の構成に加えて、温度センサ１７とスイッチ１６とをさらに備える。

温度センサ１７は、温度を検出するセンサである。スイッチ１６は、接続端子ａ〜ｃを有し、マイコン９の制御により、接続端子ａを、接続端子ｂまたは接続端子ｃに接続する。接続端子ａはＡ／Ｄ変換器６の出力に接続され、接続端子ｂは減算器８に接続され、接続端子ｃは画像メモリ２０に接続される。つまり、接続端子ａと接続端子ｂが接続されたときは、ＣＣＤイメージセンサ３から得られる画像データは減算器８で補正されて、画像メモリ２０に出力される。一方、接続端子ａと接続端子ｃが接続されたときは、画像データは減算器８で補正されずに、画像メモリ２０に出力される。

マイコン９は、温度センサ１７で検出した温度およびＡＧＣ５のゲインを監視する。そして、それらの値が式（３）を満足するような大きな値の場合、接続端子ａを接続端子ｂと接続して、画像データを補正するよう制御する。一方、それらの値が式（３）を満足しないような小さな値の場合、接続端子ａを接続端子ｃと接続して、画像データを補正しないよう制御する。

Ｇ×（Ｔ−Ｔref）／４＞Ｔｈ ・・・ （３）
ここで、ＧはＡＧＣ５のゲインであり、Ｔは温度センサ１７で検出された温度であり、Ｔrefは所定の基準温度であり、Ｔｈは所定値である。この式（３）は、暗電流の量が、８度の温度上昇に対して約２倍になるという性質を考慮して決定されたものである。

８−３ 撮像装置の動作
図２０は、本実施の形態にかかる撮像装置の動作を示すフローチャートである。図２１は、図２０において、補正有りモードに移行した場合の動作を示すフローチャートである。一方、図２２は、図２０において、補正なしモードに移行した場合の動作を示すフローチャートである。

図２０において、動画像撮像が開始されると、マイコン９は、温度センサ１７の検出温度およびＡＧＣ５のゲインを監視して、それらの値が式（３）を満足するかどうかを判断する（Ｓ１２０１）。そして、それらの値が式（３）を満足する場合、補正有りモードに移行し（Ｓ１２０２）、それらの値が式（３）を満足しない場合、補正なしモードに移行する（Ｓ１２０３）。

本実施の形態の撮像装置は、補正有りモードに移行した場合、図２１に示すフローで動作する。つまり、実施の形態５の撮像装置と同じ動作をする。

一方、補正なしモードに移行した場合、図２２に示すフローで動作する。すなわち、実施の形態５の撮像装置において、補正信号を生成、記憶せず、画像データの補正をしない動作を行う（Ｓ１２０５）。この場合、補正信号を生成する必要がないため、実施の形態５の撮像装置よりも撮像時間を短くできる。また、補正をしないので、ローパスフィルタ処理で除去しきれなかったランダムノイズ成分による新たなノイズが発生することはない。

（実施の形態９）
９−１ 撮像装置の概要
本実施の形態では、動画撮像時の補正信号を用いて、静止画撮像時の画像データも補正する撮像装置について説明する。

一般に、動画像撮像時の転送固定ノイズ成分と静止画撮像時の転送固定ノイズ成分とは、一致しない。それは、動画像撮像時は転送固定ノイズ成分が一定の値となるのに対して、静止画像撮像時にはそれが変動するからである。動画像撮像時に転送固定ノイズ成分が一定になる理由は、上述したように、転送固定ノイズ成分は垂直転送レジスタ３０２に電荷が滞留する時間が長いほど多くなるが、動画像撮像時の場合、滞留時間が全画面を通じて等しいからである。これに対して、静止画撮像時に転送固定ノイズ成分が変動するのは、水平転送レジスタ３０３に近い画素で発生する電荷はすぐに排出されるため滞留時間が短いので転送固定ノイズ成分は小さく、水平転送レジスタ３０３に遠い画素で発生する電荷は排出されるまでに時間がかかり滞留時間が長くなるので転送固定ノイズ成分は大きくなるからである。また、転送固定ノイズ成分は、垂直転送速度や１画素の転送に使用する垂直転送レジスタ３０２の個数等によっても変動する。

このようなことから、転送固定ノイズ成分を含む補正信号も動画撮像時と静止画撮像時では一致しない。さらに、補正信号の場合、ＡＧＣ５のゲインによっても変動する。

以上のように、補正信号は、動画撮像時と静止画撮像時とでは一致しないが、少なくとも比例関係にある。この関係を利用して、本発明の実施の形態では、動画像撮像時の補正信号から静止画撮像時の補正信号を演算により求める。

９−２ 撮像装置の構成
図２３は、本実施の形態の撮像装置の構成を示すブロック図である。本実施の形態の撮像装置は、実施の形態５の撮像装置の構成に加えて、ラインメモリ２７から出力される補正信号に所定の値を乗算する乗算器２３を有する。乗算器２３は、動画像撮像時には１を乗算し、静止画撮像時には所定値を乗算する。動画像撮像時に１を乗算するということは、減算器８は、補正信号をそのまま画像データから減算するということである。そして、静止画像撮像時に所定値を乗算するということは、減算器８は、補正信号を大きくして、または小さくして、画像データから減算するということである。なお、静止画像撮像時の所定値は、動画像撮像時の転送固定ノイズ成分のレベルと静止画像撮像時の転送固定ノイズ成分のレベルとの大きさの比で決定される。

９−３ 撮像装置の動作
本実施の形態における撮像装置の動作について説明する。

最初に、動画撮像時の動作を説明する。動画像撮像時において、本実施の形態における撮像装置は、乗算器２３で補正信号に１を乗算する。このため、このときの動作は、実施の形態５における動作と同様となる。

次に、静止画像撮像時の動作を説明する。
図２４は、静止画像撮像時の動作を示すフローチャートである。また、図２５は、その動作における動作タイミングを示すタイミングチャートである。図２５（ａ）は、遮光手段２の状態を示す図であり、ハイのとき露光状態であり、ローのとき遮光状態であることを示す。図２５（ｂ）は、光電変換素子３０１から垂直転送レジスタ３０２に電荷を読み出すタイミングを示す図であり、ハイのときに読み出しを行うことを示す。図２５（ｃ）は、垂直転送レジスタ３０２でのインターレース転送をするタイミングを示す図であり、ハイのときにインターレース転送を行うことを示す。図２５（ｄ）は、垂直転送レジスタ３０２での高速転送をするタイミングを示す図であり、ハイのときに高速転送を行うことを示す。図２５（ｅ）は、１画面のうちいずれかの列の転送固定ノイズ成分の値を、１画面分を代表して模式的に表した図である。図２５（ｆ）は、フィールドメモリ７に対するライト・イネーブル（ＷＥ）信号を示し、ハイのときに、フィールドメモリ７は入力信号を記憶する。

図２５（ｇ）は、実施の形態５の撮像装置の動作状態を示す図である。時刻Ｔ１１までは動画像撮像の期間である。時刻Ｔ１２〜Ｔ１９の期間は静止画像撮像の期間である。時刻Ｔ１２〜Ｔ１３の期間は露光動作を行う期間である。時刻Ｔ１４〜Ｔ１６は、ダミーフィールド期間であって、静止画像における転送固定ノイズ成分を一定化するための期間である。時刻Ｔ１６〜Ｔ１７、Ｔ１７〜Ｔ１８、Ｔ１８〜Ｔ１９は、それぞれ第１〜第３フィールド期間であり、第１〜第３フィールド各フィールドの画像データを生成し、補正し、記憶する期間である。

９−３−１ 動画像撮像から静止画像撮像への移行期間
時刻Ｔ１１までは通常の動画像撮像である（Ｓ１３０１）。実施の形態５で述べたように、この期間にラインメモリ２７にライトイネーブル信号を出力して、補正信号を更新する（Ｔ１０〜Ｔ１１）。

本実施の形態では、時刻Ｔ１１にユーザがシャッタスイッチ１０を半押したことを示す操作信号を受信すると（Ｓ１３０２）、マイコン９は、自動焦点制御（ＡＦ）や自動露光制御（ＡＥ）を行って、静止画撮像の準備を行う（Ｓ１３０３）。

９−３−２ 露光期間
次に、時刻Ｔ１２にユーザがシャッタスイッチ１０を全押したことを示す操作信号を受信とすると、マイコン９は、図２５（ａ）に示すように、遮光手段２を制御して露光状態にする（Ｓ１３０５）。露光は、時刻Ｔ１３まで続き、露光が終了すると、マイコン９は、遮光手段２を制御して遮光状態にする。その後、ＣＣＤ駆動部４は、露光期間中に垂直転送レジスタ３０２に蓄積されていた暗電流を掃出すため、高速転送を行うようＣＣＤイメージセンサ３を制御する（Ｓ１３０６、図２５におけるＴ１４〜Ｔ１５）。

ここで、高速転送とは、露光期間中に垂直転送レジスタ３０２で発生したスミアや暗電流を掃き出すために、垂直転送レジスタ３０２を高速に駆動する転送方法を意味する。

９−３−３ ダミーフィールド期間
次に、ダミーフィールド期間について説明する。高速転送により、ダミーフィールド期間に移行する（Ｔ１４）。高速転送を終了すると（Ｔ１５）、１フィールド分の信号電荷を出力すべく、垂直転送レジスタ３０２をインターレース転送する（Ｔ１５〜Ｔ１６）。このときの垂直転送では、垂直転送レジスタ３０２に光電変換素子３０１で発生した電荷を読み出した状態で転送してもよいし、読み出さない状態で転送しても構わない。このようにして得られる信号には、転送固定ノイズ成分が含まれる。この転送固定ノイズ成分の値は、図２５（ｅ）に示すように、次第に増加していくが、１フィールド分のインターレース転送が為された時点、即ち、垂直転送レジスタ３０２の段数分の通常の垂直転送が為された時点で（Ｔ１６）、その値は一定になる。その理由を詳細に説明する。

時刻Ｔ１６以前では、画素（列）の位置によって垂直転送レジスタ３０２に滞留する時間が異なるものであったために、転送固定ノイズ成分の値は時間を追うごとに上昇した。しかし、時刻Ｔ１６以降は、各画素（列）の位置に関わらず滞留時間が一定になるため、転送固定ノイズ成分の値が一定になる。

ダミーフィールド期間は、補正信号を生成することを目的とするものではなく、転送固定ノイズ成分のレベルを一定にすることを目的とするものである。本実施の形態では、静止画像撮像時の転送固定ノイズ成分のレベルはｈ２となり、動画像撮像時の転送固定ノイズ成分のレベルはｈ１としている。

９−３−４ 第１〜第３フィールド期間
ダミーフィールド期間が終了すると、ＣＣＤ駆動部４は、高速転送をしないで、光電変換素子３０１から垂直転送レジスタ３０２に信号電荷を読み出すように、ＣＣＤイメージセンサ３を駆動する（Ｓ１３０７、図２５における時刻Ｔ１６）。このように、静止画像撮像において、同じ一定の速度で垂直転送レジスタ３０２を画面の全転送段数分駆動した後に、続けて同じ速度で垂直転送レジスタ３０２を駆動するようにする、つまり、前回の電荷の掃き出しから今回の電荷の掃き出しまでの時間を、１画面の全画素に渡って一定にすることにより、静止画像撮像時の転送固定ノイズ成分を一定にすることができる。そのためには、画像データは、静止画像の撮像に入った後は、垂直転送レジスタ３０２を高速に駆動する高速転送モードを経ることなく得ることが必要である。これにより、動画像撮像時の転送固定ノイズ成分のレベルｈ１と静止画像撮像時の転送固定ノイズ成分のレベルｈ２との比を一定に保つことができる。

このＣＣＤイメージセンサ３の駆動により、出力された画像データは、減算器８に出力される（Ｓ１３０８）。減算器８では、入力された画像データから、ラインメモリ２７から読み出した補正信号を減算する（Ｓ１３０９）。

このとき、減算する補正信号は、動画像撮像時に用いていた補正信号を静止画像でも用いる。また、各ラインとも共通の補正信号を用いる。ただし、静止画像撮像時と動画像撮像時では、転送固定ノイズ成分のレベルが異なるため（本実施の形態では、静止画像撮像時はｈ２であり、動画像撮像時はｈ１である）、補正信号のレベルも異なる。そこで、静止画像撮像時は、ラインメモリ２７から出力される補正信号をそのまま用いるのではなく、乗算器２３で所定の係数を乗算したものを補正信号として、減算器８で画像データから減算する。所定の係数としては、例えば、ｈ２／ｈ１を用いる。

減算器８での減算が行われると、最後にノイズを除去された画像データを画像メモリ２０に記憶する（Ｓ１３１０）。

上記処理を１フィールド分の画像データについて施した後、マイコン９は、１フレーム分の画像データすなわち３フィールド分の画像データについて、上記処理を行ったかどうかを確認し（Ｓ１３１１）、全フィールド分の処理が終わっていない場合にはステップＳ１３０７に戻り、第２フィールド、第３フィールドの画像データについて、生成、補正、記憶の処理を行う（図２５におけるＴ１７〜Ｔ１８、Ｔ１８〜Ｔ１９）。一方、全フィールド分の処理が終わった場合（第３フィールドの処理が終わった場合）には静止画像撮像処理を終了して、動画像撮像処理に戻る（Ｓ１３１２、時刻Ｔ１９）。

９−４ まとめ
以上のように、本実施の形態では、動画像の他に静止画像をも撮像可能である。また、動画像撮像時にローパスフィルタで生成されラインメモリ２７に記憶された補正信号に対して、所定の値を乗算して、静止画像用の補正信号を生成する乗算器２３を設け、減算器８は、静止画撮像時には、画像データ排出動作によって排出された画像データから静止画像用の補正信号を減算するようにした。そのため、静止画像撮像時に、動画像撮像の際に用いていた補正信号を用いて画像データの補正ができるので、静止画像用に補正信号を生成する必要がない。したがって、本実施の形態の撮像装置によれば、補正信号の生成に要する時間を確保する必要がないため、静止画像撮像の時間を短縮することができる。

（実施の形態１０）
実施の形態９では、図２における読み出し領域３０４およびダミー領域３０７の任意の領域で発生した電荷をダミー信号として、これに基づいて補正信号を生成していた。これに対して、本実施の形態では、読み出し領域３０４で発生した電荷をダミー信号とするのではなく、ダミー領域３０７で発生した電荷をダミー信号とする。ダミー領域３０７には、光電変換素子３０１が存在せず、垂直転送レジスタ３０２のみが存在するため、ダミー信号に素子ノイズ成分が含まれることを確実に防止できる。そのため、本発明の目的とする転送固定ノイズ成分の低減を確実に達成できる。

本実施の形態における撮像装置の構成は、実施の形態５における撮像装置と同様である。本実施の形態における撮像装置の動作を、図２６を用いて説明する。

図２６は、本実施の形態における撮像装置の動作タイミングを示すタイミングチャートである。ダミー領域３０７は、水平転送レジスタ３０３の近くにあるため、読み出しパルスが発信されると直ぐに、ＣＣＤイメージセンサ３は、ダミー信号を排出する。ローパスフィルタは、このダミー信号に基づいて補正信号を生成し、ラインメモリ２７は生成された補正信号を記憶する。そのため、読み出しパルスの発信直後に（時刻Ｔ２１）、ライト・イネーブル信号がハイになる。

その他の動作については、実施の形態５の撮像装置と同様である。

以上のように、本実施の形態では、ＣＣＤイメージセンサ３を、光電変換素子３０１からの信号電荷を読み出し可能な読み出し領域３０４と、光電変換素子３０１からの信号電荷を読み出しができないダミー領域３０７とを含むよう構成した。そして、ダミー領域３０７において垂直転送レジスタ３０２を駆動して、ダミー領域３０７で発生する電荷をダミー信号として得て、このダミー信号に基づいて補正信号を生成するようにした。

この構成により、ダミー領域３０７には、光電変換素子３０１が存在せず、垂直転送レジスタ３０２のみが存在するため、ダミー信号に素子ノイズ成分が含まれることを確実に防止できる。

（実施の形態１１）
実施の形態５〜１０に対するいくつかの変形例について以下まとめて説明する。

ｉ）実施の形態５〜１０においては、式（１）で表されるように、画面下方のダミー信号に対して大きな重み付けをした加重平均処理を行っているが、加算する全ての信号に同一の重み付けをした加算平均処理を行ってもよい。このように、同一の重み付けを行うことにより、ランダムノイズを抑圧する効果が大きくなるため、補正信号を生成するために必要なダミー信号のライン数を少なくすることができる。

ii）実施の形態１０では、マイコン９は、静止画像撮像時に、ダミー信号の転送固定ノイズ成分が一定になるのを待って補正信号の生成を開始するように制御したが、ダミー信号の転送固定ノイズ成分が一定になる前に補正信号の生成を開始するように制御してもよい。このようにすることにより、ＩＩＲフィルタの収束する速度を速めることができる。そのため、撮像に必要な時間を短くできる。

iii）実施の形態１０では、静止画像撮像時に、遮光直後にスミア掃き出しのための高速転送を行っているが、この高速転送は省略しても構わない。この高速転送を省略した場合には、転送ノイズの値が徐々に増加する期間において、スミア電荷を掃き出すことができるからである。この場合の方が、スミア電荷の掃き出しと転送固定ノイズ成分の一定値化とを同時並行して行うことができるので、その分だけ撮像時間を短くできる。

iv）実施の形態８では、温度およびゲインに応じて補正の要否を決定したが、温度またはゲインのいずれかに基づいてその決定をしてもよい。

v）実施の形態８において、温度および／またはゲインに応じて、減算する補正信号の大きさを増減するようにしてもよい。この場合、温度または／およびゲインの大きさが大きくなるにつれて、補正信号の大きさを大きくし、ノイズ除去の効果を高めるようにする。ただし、補正信号の大きさに上下限を設けて、温度または／およびゲインの大きさが変化しても、補正信号の大きさは増減しない領域を設けてもよい。また、温度または／およびゲインの大きさと、補正信号の大きさとの相関は、一次関数的なものであっても良いし、他の関数で表せるものであってもよい。さらに、補正信号の大きさの増減についてヒステリシスを設けるようにしても良い。具体的には、ラインメモリ２７と減算器８との間に増幅器を備え、この増幅器のゲインをマイコン９で制御する実施の形態が考えられる。

本発明は、画像データを補正するための補正信号にランダムノイズが含まれることに起因するノイズであって、画像データの補正時に新たに発生するノイズを低減できるので、デジタルスチルカメラやビデオムービー、監視カメラ、カメラ付き携帯電話端末などのカメラ機能を有する電子機器に適用できる。

本発明の実施の形態１における撮像装置の構成を示すブロック図 本発明の実施の形態１〜４におけるＣＣＤイメージセンサの構成を示す模式図 本発明の実施の形態１における撮像装置の動作を示すフローチャート 本発明の実施の形態１における撮像装置の動作タイミングを示すタイミングチャート 本発明の実施の形態１における撮像装置の連写モード時の動作タイミングを示すタイミングチャート 本発明の実施の形態２における撮像装置の構成を示すブロック図 本発明の実施の形態２における撮像装置の動作を示すフローチャート 本発明の実施の形態２における撮像装置の動作タイミングを示すタイミングチャート 本発明の実施の形態２における撮像装置の連写モード時の動作タイミングを示すタイミングチャート 本発明の実施の形態３における撮像装置の構成を示すブロック図 本発明の実施の形態３における撮像装置の動作を示すフローチャート 本発明の実施の形態３における撮像装置の補正有りモード時の動作を示すフローチャート 本発明の実施の形態３における撮像装置の補正なしモード時の動作を示すフローチャート 本発明の実施の形態５における撮像装置の構成を示すブロック図 本発明の実施の形態５における撮像装置の動作を示すフローチャート 本発明の実施の形態５における撮像装置の動作タイミングを示すタイミングチャート 本発明の実施の形態６における撮像装置の構成を示すブロック図 本発明の実施の形態７における撮像装置の構成を示すブロック図 本発明の実施の形態８における撮像装置の構成を示すブロック図 本発明の実施の形態８における撮像装置の動作を示すフローチャート 本発明の実施の形態８における撮像装置の補正有りモード時の動作を示すフローチャート 本発明の実施の形態８における撮像装置の補正なしモード時の動作を示すフローチャート 本発明の実施の形態９における撮像装置の構成を示すブロック図 本発明の実施の形態９における撮像装置の静止画像撮像時の動作を示すフローチャート 本発明の実施の形態９における撮像装置の静止画像撮像時の動作タイミングを示すタイミングチャート 本発明の実施の形態１０における撮像装置の動作タイミングを示すタイミングチャート

符号の説明

１ レンズ
２ 遮光手段
３ ＣＣＤイメージセンサ
４ ＣＣＤ駆動部
５ ゲインコントロール部（ＡＧＣ）
７ フィールドメモリ
８、１２ 減算器
９ マイコン
１０ シャッタスイッチ
１２ 減算器
１３ 乗算器
１４ 加算器
１６、２２ スイッチ
１７ 温度センサ
２０ 画像メモリ
２１ レベル検出部
２７ ラインメモリ
３０１ 光電変換素子
３０２ 垂直転送レジスタ
３０４ 光電変換素子が存在する領域
３０５ 遮光領域
３０７ ダミー領域

Claims (12)

1. 行列状に配置された多数の光電変換素子と、前記光電変換素子の各列に隣接して配置され、前記光電変換素子からの信号電荷を転送する複数の垂直転送レジスタとを有する撮像手段と、
   前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動して得た画像信号を、補正信号として記憶する記憶手段と、
   前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出した状態で前記垂直転送レジスタを駆動して得た画像データから、前記補正信号を減算する減算器と
   を備え、
   前記撮像手段は、１フレーム分の画像データを複数のフィールドに分割し、フィールド毎に画像信号を出力し、
   前記補正信号は、前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを１フィールド期間駆動することにより得られた信号であり、
   前記撮像手段は、前記複数のフィールドのうち、前記１フィールド期間以外のフィールドでは、前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出した状態で前記垂直転送レジスタを駆動して画像データを取得し、
   前記減算器は、前記取得した画像データから前記補正信号を減算する
   ことを特徴とする撮像装置。
2. 前記複数のフィールドのうち、前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動する１フィールド期間は、前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出した状態で前記垂直転送レジスタを駆動する、前記１フィールド期間以外のフィールド期間より長い、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像装置は、複数のフレームの画像データを連続して撮像可能なであり、
   前記複数のフレームは、
   前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動するフィールド期間を有するフレームと、
   前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動するフィールド期間を有しないフレームと、を含む、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像手段は、
   前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動するフィールド期間において前記補正信号を取得し、
   前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動するフィールド期間を有しないフレームにおいては、
   前記減算器がフィールド毎に出力された画像信号から前記補正信号を減算する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記記憶手段の容量は、１フィールド分の画像データのデータ量以上、且つ２フィールド分の画像データのデータ量未満であることを特徴とする請求項１ないし４のいずれか １つに記載の撮像装置。
6. 前記記憶手段は、前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動して得た１ライン分の画像信号を補正信号として記憶するラインメモリであって、
   前記補正信号を、前記垂直転送レジスタを一定の速度で駆動することにより得て、前記画像データを、前記補正信号を得るための前記垂直転送レジスタの駆動後にさらに引き続いて、前記補正信号を得たときと同じ速度で前記垂直転送レジスタを駆動することにより得る、ことを特徴とする請求項１記載の撮像装置。
7. 前記１ ライン分の補正信号は、前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを駆動して得た複数ライン分のダミー信号を加算平均または加重平均して得ることを特徴とする請求項６に記載の撮像装置。
8. さらに前記撮像手段を遮光可能な遮光手段を備え、
   前記補正信号を、前記撮像手段が前記遮光手段で遮光された状態で前記垂直転送レジスタのスミア電荷が掃き出された後、前記垂直転送レジスタを駆動して得ることを特徴とする請求項１ないし７のいずれか１つに記載の撮像装置。
9. 温度を検出する温度センサまたは／ および前記撮像手段の出力のゲインを制御するゲインコントロール手段を備え、
   前記減算器は、前記温度センサで検出された温度または／ および前記ゲインコントロール手段によるゲインに基づいて、前記画像データに対する前記補正信号による補正の要否を決定する、ことを特徴とする請求項１ないし８のいずれか１つに記載の撮像装置。
10. 温度を検出する温度センサまたは／および前記撮像手段の出力のゲインを制御するゲインコントロール手段を備え、
    前記温度センサで検出された温度または／および前記ゲインコントロール手段によるゲインの大きさに応じて前記補正信号の大きさを増減する、
    ことを特徴とする請求項１ないし９のいずれか１つに記載の撮像装置。
11. 複数のフレームの画像データを連続して撮像する連写モードを有し、
    前記連写モードにおいて、現在のフレームの画像データから減算する補正信号として、前のフレームで用いた補正信号を用いる、ことを特徴とする請求項３に記載の撮像装置。
12. 行列状に配置された多数の光電変換素子と、前記光電変換素子の各列に隣接して配置され、前記光電変換素子からの信号電荷を転送する複数の垂直転送レジスタとを有する撮像手段であって、前記撮像手段は、１フレーム分の画像データを複数のフィールドに分割し、フィールド毎に画像信号を出力する撮像手段を備える撮像装置における画像データの補正方法であって、
    前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出さない状態で前記垂直転送レジスタを１フィールド期間駆動して、補正信号を得て、
    前記複数のフィールドのうち、前記１フィールド期間以外のフィールドにおいて、前記光電変換素子からの信号電荷を前記垂直転送レジスタに読み出した状態で前記垂直転送レジスタを駆動して、画像データを得て、
    前記画像データから前記補正信号を減算する、画像データの補正方法。

Images