JP5377068B2 - 撮像装置 - Google Patents

Description

本発明は固体撮像素子を用いた撮像装置に関するものであり、特に電子増倍型撮像素子を有する高感度撮像装置に関する。

従来から、一般的な撮像装置では撮像できないような暗い照度環境（１０の−４乗から１０の−１乗ルクス程度の明るさ）の下でも良好な画像を映し出せる高感度撮像装置として、露光時間を長くすることにより感度を高める方式のものがある（例えば、特許文献１参照）。

上記従来技術では、露光時間を延ばすことによって利用できる光量を増やし、信号量を増やすことで感度を向上させている。しかしながら、露光時間を延ばす方式では、露光時間が長くなるにつれて被写体が動くとぼけを生じるため、動きのある被写体の夜間監視の用途には用いることができない。

一方、撮像素子が電子を増倍する機構をもち、信号量を増幅することで高感度化を実現する方式の高感度撮像装置として、ＥＭＣＣＤ（Ｅｌｅｃｔｒｏｎ Ｍｕｌｔｉｐｌｙｉｎｇ Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いた撮像装置が知られている（例えば、非特許文献１参照）。

ＥＭＣＣＤは、電荷とシリコンの衝突によって二次電子が発生する現象を利用して、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の水平転送部の後段に設けられた電子増倍部で電荷を増倍するものである。電子増倍部での多段階の転送により数千倍の増倍率が得られ、かつ信号電荷を電圧変換前に直接増倍することにより電荷検出部のノイズ割合を相対的に低減し、感度を大幅に向上させることが可能である。

一方、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｍｇ（マゼンタ）等、光利用率の高い補色系の色フィルタを用いることによって高感度化を図った撮像装置がある。Ｒ（赤）、Ｂ（青）等の原色系の色フィルタに比べ、光透過率が約１．４倍高いことにより、感度が向上する。ＥＭＣＣＤを用いた撮像装置でかつ、補色系の色フィルタを用いれば、さらなる感度向上が可能である。

一般的に、補色フィルタを用いた撮像素子から色信号を取り出す方法としては、色差線順次方式が用いられる。色差線順次方式では、撮像素子から信号を読み出す際に、２ラインを混合して読み出すインターレース駆動を行う。

インターレース駆動では、ＣＣＤの垂直転送部において１水平期間につき垂直転送を２回行うことによって、水平転送部内で垂直２ラインの信号を混合し出力する。この動作により、全画素の信号を独立に読み出す方式に比べて、半分の時間で全画素の信号を読み出すことができるため、動解像度が２倍になるという利点がある。

特開２０００−１９６９６６号公報（段落０００２〜０００７、図１３，１４）

電子情報通信学会技術研究報告 ＩＣＤ，集積回路 Ｖｏｌ．１０２，Ｎｏ．３３９，第４３頁〜４８頁

しかしながら、上述のインターレース駆動では、２ラインを混合する際に垂直転送を２回行うために、２ライン混合を行わない場合に比べて垂直転送動作によって生じる暗電流が２倍となる。通常のＣＣＤでは、垂直転送動作で発生した暗電流は僅かであり、その差は無視できるレベルとされていた。しかし、ＥＭＣＣＤでは、垂直転送部で発生した暗電流は後段の電子増倍部で増幅されるため、垂直転送動作による暗電流の増加が無視できなくなる。したがって、ＥＭＣＣＤにおいてインターレース駆動を行った場合、出力画像のＳ／Ｎが低下するという問題があった。

一方、補色フィルタを用いた撮像素子でも、全画素の信号を独立に順次読み出すノンインターレース（プログレッシブ）駆動を行うことが可能ある。しかしながら、ノンインターレース駆動では、とくに被写体が明るい場合には、Ｃｙ、Ｙｅ、Ｍｇのいずれかの信号が飽和しやすくなり、色信号のバランスが崩れて色が変化してしまうことがあった。

本発明は上述した課題を解決するためになされたもので、電子増倍型撮像素子を有する高感度撮像装置において、動解像度を犠牲にすることなく、かつ、飽和による色ずれを防止し、電子増倍の増倍率を高くした場合にもＳ／Ｎの低下を防止することができる撮像装置を提供することを目的とする。

本発明の撮像装置は、
電子増倍部を有する撮像素子と、
前記撮像素子を制御するためのタイミング信号を発生させるタイミング信号発生手段と、
前記撮像素子から出力される信号を用いて所定のデジタル映像信号を出力するデジタル信号処理手段と、
前記タイミング信号発生手段と前記デジタル信号処理手段を制御する制御手段とを有し、
前記タイミング信号発生手段は、
前記制御手段からの信号により、前記撮像素子の垂直方向の複数ラインを混合して読み出すインターレース駆動モードと、前記撮像素子の全画素を独立に順次読み出すノンインターレース駆動モードの２つの駆動モードを切り替え、
前記デジタル信号処理手段は、
前記制御手段からの信号により、前記タイミング信号発生手段のモード切り替えに応じて信号処理の内容を切り替え、
前記制御手段は、
被写体の明るさに関する情報を保持し、前記被写体の明るさが明るいときはインターレース駆動モードとなり、前記被写体の明るさが暗いときはノンインターレース駆動モードとなるように前記タイミング信号発生手段を制御する
ことを特徴とする。

本発明によれば、ＥＭＣＣＤを用いた撮像装置で、動解像度を犠牲にすることなく、かつ、飽和による色ずれを防止し、さらに、電子増倍の増倍率を高くした場合でも、暗電流によるノイズの増加を抑え、Ｓ／Ｎの良好な高感度撮像装置を得ることができる。

本発明の実施の形態１の撮像装置の全体的構成を示すブロック図である。 撮像素子２の内部構成を説明するための図である。 インターレース駆動モードにおいて、タイミング信号発生手段６が生成する駆動波形のタイミングチャートである。 ノンインターレース駆動モードにおいて、タイミング信号発生手段６が生成する駆動波形のタイミングチャートである。 （Ａ）及び（Ｂ）は、それぞれインターレース駆動モード及びノンインターレース駆動モードにおいて、補色フィルタを用いた撮像素子２から出力される撮像信号Ｓ２の形式を示す図である。 図１のデジタル信号処理手段５の構成例を示すブロック図である。 ノンインターレース信号前処理手段５１Ｂの構成例である。 （Ａ）及び（Ｂ）は、それぞれインターレース駆動モード及びノンインターレース駆動モードにおける暗電流レベルを示す図である。 本発明の実施の形態２の撮像装置の全体的構成を示すブロック図である。 図９のデジタル信号処理手段８の構成例を示すブロック図である。

実施の形態１．
図１は本発明の実施の形態１の撮像装置の全体的構成を示すブロック図である。図示の撮像装置は、レンズ部１と、撮像素子２と、アナログ信号処理手段３と、Ａ／Ｄ変換手段４と、デジタル信号処理手段５と、タイミング信号発生手段６と、制御手段７とを有する。

レンズ部１は、図示しない被写体からの光を撮像素子２の撮像面に集光する。
撮像素子２は、被写体からの光を光電変換して、その結果得られる電気信号を撮像信号Ｓ２として出力する。なお、撮像素子２は例えば電子増倍部を有するＥＭＣＣＤである。

アナログ信号処理手段３は、相関二重サンプリング（ＣＤＳ）回路ならびにプログラマブルゲインアンプからなり、撮像信号Ｓ２のノイズ除去やアナログ信号増幅処理を行う。その結果をアナログ処理信号Ｓ３としてＡ／Ｄ変換手段４に出力する。

Ａ／Ｄ変換手段４は、アナログ処理信号Ｓ３をデジタル信号に変換し、デジタル信号Ｓ４として出力する。

デジタル信号処理手段５は、デジタル信号Ｓ４の信号形式に応じたカラー化処理、階調変換処理、補間処理、フィルタ処理等を施して、後段の信号処理や表示デバイスで利用しやすく信号を加工し、デジタル映像信号Ｓ５Ａとして出力する。また、撮像信号Ｓ２に比例した画素ごとの信号Ｓ５Ｂを制御手段７に供給する。

タイミング信号発生手段６は、撮像素子２の駆動のための信号（パルス）Ｐ６Ａ、例えば電子シャッタパルス、読み出しパルス、垂直転送パルス、水平転送パルスなどを撮像素子２に供給する。タイミング信号発生手段６は、後述するインターレース駆動モードとノンインターレース駆動モードの２つの駆動モードにより撮像素子２を駆動し、これら２つの駆動モードを制御手段７からの制御信号により切り替える。タイミング信号発生手段６はさらに、アナログ信号処理手段３、及びＡ／Ｄ変換手段４の動作の制御のためのタイミング信号Ｐ６Ｂ、Ｐ６Ｃを発生する。

制御手段７は、各種演算を実行するとともに、撮像装置の全体を制御する。特に、アナログ信号処理手段３、デジタル信号処理手段５、タイミング信号発生手段６を制御して、撮像装置の自動露出制御（ＡＥ；Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）とインターレース駆動モードとノンインターレース駆動モードの駆動モード切り替え制御を行う。

以下、上記した各構成要素の動作についてより詳しく説明する。
レンズ部１は、撮像素子２の撮像面上に被写体からの光を集光する機能を有している。固定焦点調節機構を有してもよく、その場合には、手動により焦点調整を行う。なお、図示しない手段により撮像信号を参照し、自動的に焦点調整を行う構成としてもよい。さらに、ズーム機能を有するものを用いることもできる。また、レンズ部１は、絞りを変更する機構を有してもよい。その場合には、制御手段７が図示しない制御信号により絞りを制御する。

撮像素子２は、図２に示すように、撮像領域２Ａ、蓄積領域２Ｂ、水平転送部２Ｃ、電子増倍部２Ｄ、出力部２Ｅで構成されたフレームインターライントランスファ（ＦＩＴ）型のＥＭＣＣＤである。
撮像領域２Ａは、フォトダイオードなどで構成される複数の光電変換素子２１と、複数列の垂直転送部２２で構成されていて、駆動は信号ＶＩφ１と信号ＶＩφ２で行う。

蓄積領域２Ｂは、複数列の垂直転送部２３で構成されていて、駆動は信号ＶＳφ１と信号ＶＳφ２で行う。

水平転送部２Ｃは蓄積領域２Ｂの垂直転送部から転送されてくる画像信号を画素単位に取り出すもので、駆動は信号Ｈφ１と信号Ｈφ２で行う。

電子増倍部２Ｄは、電荷とシリコンの衝突によって二次電子が発生するインパクト・イオン化を利用して、電荷を増倍する機構を有する。電子増倍部２Ｄは、水平転送部２Ｃから出力される画像信号を電子増倍して出力部２Ｅに転送する。駆動は信号ＥＭで行い、信号ＥＭの振幅が大きいほど高い増倍率を得ることができる。

出力部２Ｅは増倍された電荷を読み出して電圧に変換し、撮像素子２の外部に画像信号として出力する。

タイミング信号発生手段６は、撮像素子２に、水平転送部を駆動するための水平転送パルス（Ｈφ１、Ｈφ２）と、垂直転送部を駆動するための垂直転送パルス（ＶＩφ１、ＶＩφ２、ＶＳφ１、ＶＳφ２）と、フォトダイオードから垂直転送部に電荷を読み出すための読み出しパルス（ＶＩφ２に重畳される）と、フォトダイオードに蓄積した画素電荷を排出することにより電子シャッタを実現するための電子シャッタパルス（ＶＩφ２に重畳される）とを所定の手順で供給する。

図３及び図４を参照して、タイミング信号発生手段６により撮像素子２に供給される信号と撮像素子２の動作について説明する。図３は、インターレース駆動モードについて、図４はノンインターレース駆動モードについて、それぞれ、タイミング信号発生手段６により撮像素子２に供給される信号を示す。

図３はインターレース駆動モードにおける駆動波形のタイミングチャート（１フィールド分）の一例である。インターレース駆動モードは、垂直方向に隣接した２ラインの信号を混合して読み出す駆動方法であり、混合するラインのペアを変えることで２つのフィールドに分割して読み出す。すなわち、あるフィールドでは第１ラインと第２ライン、第３ラインと第４ライン、・・・・・・というように、奇数番目のラインと偶数番目のラインのペアを順番に作って隣接ラインの画素信号を混合する。次のフィールドでは、第２ラインと第３ライン、第４ラインと第５ライン、・・・・・・というように、前のフィールドとは異なる偶数番目のラインと奇数番目のラインのペアを順番に作って信号を読み出す。

まず、垂直ブランキング期間に、信号ＶＩφ２の読み出しパルスにより、フォトダイオードから撮像領域２Ａの垂直転送部に信号電荷の読み出し転送が行われる（Ｔ１）。その直後から垂直ブランキング期間終了前までに、信号ＶＩφ１、信号ＶＩφ２のフレーム転送パルスにより、全ての信号電荷が蓄積領域２Ｂに転送される（Ｔ２）。垂直ブランキング期間が終了すると、信号ＶＳφ１と信号ＶＳφ２によるライン転送パルスにより、信号電荷が２ラインずつ水平転送部２Ｃに転送され、ここで垂直方向の隣接２ラインの混合が行われる（Ｔ３）。

次に、水平転送部２Ｃでは、２ラインずつ混合された信号電荷を、信号Ｈφ１と信号Ｈφ２による水平転送パルスにより、水平映像期間中に１画素ずつ電子増倍部２Ｄに転送する（Ｔ４）。電子増倍部２Ｄでは、信号ＥＭの転送パルスにより通常よりも高い電圧で電荷が転送され、多段階の転送を経て信号電荷が増幅される（Ｔ５）。ここで、信号ＥＭの振幅を変えることにより、電子増倍の増倍率を制御することができる。電子増倍部２Ｄで増幅された信号電荷は、出力部２Ｅで信号電圧に変換され信号電圧として出力される。

さらに、読み出し転送動作の前の垂直ブランキング期間中に、垂直転送部がライン転送している期間に発生したスミア電荷を取り除くため、スミアの掃き出し転送が行われる（Ｔ６）。

なお、図示していないが、フレーム転送（Ｔ２）におけるパルスの数を１パルス分増減させることによって、同様に次のフィールドの読み出しが可能である。

以上で説明したように、インターレース駆動モードでは、タイミング信号発生手段６は図３に示したタイミング信号（パルス）を生成し、撮像素子２の垂直方向に隣接した２ラインの信号を水平転送部２Ｃ内で混合してフィールドごとに読み出す。

次に、ノンインターレース駆動モードの駆動波形について説明する。図４はノンインターレース駆動モードにおける駆動波形のタイミングチャートである。ノンインターレース駆動モードは、順次走査により、撮像素子２の全画素の信号を独立に読み出す駆動方法である。

まず、垂直ブランキング期間に、信号ＶＩφ２の読み出しパルスにより、フォトダイオードから撮像領域２Ａの垂直転送部に信号電荷の読み出し転送が行われる（Ｔ１）。その直後から垂直ブランキング期間終了前までに、信号ＶＩφ１、信号ＶＩφ２のフレーム転送パルスにより、全ての信号電荷が蓄積領域２Ｂに転送される（Ｔ２）。垂直ブランキング期間が終了すると、信号ＶＳφ１と信号ＶＳφ２によるライン転送パルスにより、信号電荷が１ラインずつ水平転送部２Ｃに転送される（Ｔ３）。

次に、水平転送部２Ｃでは、転送されてきた１ラインの信号電荷を、信号Ｈφ１と信号Ｈφ２による水平転送パルスにより、水平映像期間中に１画素ずつ電子増倍部２Ｄに転送する（Ｔ４）。電子増倍部２Ｄでは、信号ＥＭの転送パルスにより通常よりも高い電圧で電荷が転送され、多段階の転送を経て信号電荷が増幅される（Ｔ５）。ここで、信号ＥＭの振幅を変えることにより、電子増倍の増倍率を制御することができる。
電子増倍部２Ｄで増幅された信号電荷は、出力部２Ｅで信号電圧に変換され信号電圧として出力される。

さらに、読み出し転送動作の前の垂直ブランキング期間中に、垂直転送部がライン転送している期間に発生したスミア電荷を取り除くため、スミアの掃き出し転送が行われる（Ｔ６）。

以上で説明したように、ノンインターレース駆動モードでは、タイミング信号発生手段６は図４に示したタイミング信号（パルス）を生成し、全画素の信号を独立に順次読み出す。

以上が、タイミング信号発生手段６により撮像素子２に供給される信号と撮像素子２の動作についての説明である。撮像素子２は、タイミング信号発生手段６のインターレース駆動モードとノンインターレース駆動モードの切り替えに応じて、上記のような駆動波形により動作し、画素電荷の転送、電荷の増倍及び出力などを行う。

また、タイミング信号発生手段６が発生する信号ＥＭの振幅を変えることで、撮像素子２における電子増倍の増倍率を制御することができる。

本実施例では、撮像領域２Ａおよび蓄積領域２Ｂの垂直転送部の制御信号を各々２相（仮想位相型）としたが、それぞれ３相や４相を用いることとしてもよい。

また、撮像素子２は、本実施例ではＣＣＤを用いるが、これに限るものではなく、例えばＣＭＯＳであっても構わない。

ところで、本発明の撮像素子２は、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｍｇ（マゼンタ）等、光利用率の高い補色系の色フィルタを用いることによって高感度化を図っている。図５に、補色系の色フィルタ配列の基本構成を示す。

図５を参照して、インターレース駆動モードとノンインターレース駆動モードのそれぞれの駆動モードにおける、補色フィルタを用いた撮像素子２から出力される撮像信号Ｓ２の形式について説明する。

インターレース駆動モードの場合、図５（Ａ）に示すように、撮像素子２は垂直方向に隣接した２ラインを混合した信号を出力するので、例えば、
第Ａフィールドでは第ｊラインと第ｊ＋１ラインとの混合信号が第ｎラインの出力信号、第ｊ＋２ラインと第ｊ＋３ラインとの混合信号が第ｎ＋１ラインの出力信号となり、第ｎラインはＣｙ＋Ｇ，Ｙｅ＋Ｍｇ，Ｃｙ＋Ｇ，Ｙｅ＋Ｍｇ・・・と撮像素子２から出力されていき、次の第ｎ＋１ラインはＭｇ＋Ｃｙ，Ｇ＋Ｙｅ，Ｍｇ＋Ｃｙ，Ｇ＋Ｙｅ・・・・と出力されていく。一方、第Ｂフィールドでは第ｊ＋１ラインと第ｊ＋２ラインとの混合信号が第ｎラインの出力信号、第ｊ＋３ラインと第ｊ＋４ラインとの混合信号が第ｎ＋１ラインの出力信号となる。第ｎラインはＣｙ＋Ｇ，Ｙｅ＋Ｍｇ，Ｃｙ＋Ｇ，Ｙｅ＋Ｍｇ・・・と撮像素子２から出力されていき、次の第ｎ＋１ラインはＭｇ＋Ｃｙ，Ｇ＋Ｙｅ，Ｍｇ＋Ｃｙ，Ｇ＋Ｙｅ・・・・と出力されていく。

このように、出力信号は第Ａフィールドの第ｎラインと第Ｂフィールドの第ｎラインとで同じ色フィルタの組み合わせとなり、同様に第Ａフィールドの第ｎ＋１ラインと第Ｂフィールドの第ｎ＋１ラインとで同じ色フィルタの組み合わせとなる。

一方、ノンインターレース駆動モードの場合、図５（Ｂ）に示すように、撮像素子２は全画素の信号を独立に順次出力するので、色フィルタ配列に従って、第ｊラインはＣｙ，Ｙｅ，Ｃｙ，Ｙｅ・・・、第ｊ＋１ラインはＧ，Ｍｇ，Ｇ，Ｍｇ・・・、第ｊ＋２ラインはＣｙ，Ｙｅ，Ｃｙ，Ｙｅ・・・、第ｊ＋３ラインはＭｇ，Ｇ，Ｍｇ，Ｇ・・・と出力されていく。

以上が、補色フィルタを用いた撮像素子２から出力される撮像信号Ｓ２の形式の説明である。

タイミング信号発生手段６はまた、アナログ信号処理手段３から出力される信号をサンプルホールドするためのサンプルホールドパルスＰ６Ｂと、Ａ／Ｄ変換手段４のためのＡ／Ｄ変換クロックＰ６Ｃを出力する。

アナログ信号処理手段３は、相関二重サンプリング（ＣＤＳ）回路において、撮像信号Ｓ２をタイミング信号発生手段６からのサンプルホールドパルスＰ６Ｂにより相関二重サンプリング（ＣＤＳ）を行う。また、プログラマブルゲインアンプにおいて、制御手段７からの制御信号Ｃ７Ｃにより指示された利得で増幅してアナログ処理信号Ｓ３を出力する。

Ａ／Ｄ変換手段４は、アナログ処理信号Ｓ３をタイミング信号発生手段６からのＡ／Ｄ変換クロックＰ６Ｃに応じてデジタル変換し、デジタル信号Ｓ４として出力する。デジタル信号の分解能は、一般的な表示機器では、８ビットの分解能があればよいが、後段の信号処理による色分解能改善、階調特性改善、微小なコントラスト検出、ダイナミックレンジ拡大など種々の目的に応じて多ビット化が一般的になっており、１０ビットや１４ビット分解能なども可能である。

デジタル信号処理手段５は、制御手段７からの制御信号Ｃ７Ｂにより、現在の駆動モードがインターレース駆動モード、ノンインターレース駆動モードのどちらであるかを判別し、デジタル信号Ｓ４に対して、現在の駆動モードに応じた信号処理を施してデジタル映像信号Ｓ５Ａを生成する。

図６は、デジタル信号処理手段５の構成例を示すブロック図である。図６に示したデジタル信号処理手段５は、前処理手段５１、輝度色差信号生成手段５２、及び後処理手段５３を有する。
前処理手段５１は、インターレース信号前処理手段５１Ａ、ノンインターレース信号前処理手段５１Ｂ及び切り替え手段５１Ｃを有しており、現在の駆動モードに応じてどちらの手段を用いるかを切り替える。前処理手段５１における処理の切り替えは、制御手段７からの制御信号Ｃ７Ｂによって行われる。

インターレース信号前処理手段５１Ａは、撮像信号Ｓ４をそのまま前処理信号Ｓ５１Ａとして出力する。
ノンインターレース信号前処理手段５１Ｂは、撮像信号Ｓ４の２ラインずつを混合して、インターレース信号と同じフォーマットの信号を生成して前処理信号Ｓ５１Ｂとして出力する。

切り替え手段５１Ｃは、制御手段７からの制御信号Ｃ７Ｂにより、現在の駆動モードがインターレース駆動モード、ノンインターレース駆動モードのどちらであるかを判別し、インターレース駆動モードにおいては、インターレース信号前処理手段５１Ａの出力を選択して出力し、ノンインターレース駆動モードにおいては、ノンインターレース信号前処理手段５１Ｂの出力を選択して出力する。

その結果は、インターレース駆動モードにおいては、撮像信号Ｓ４がそのまま前処理信号Ｓ５１として出力され、ノンインターレース駆動モードにおいては、撮像信号Ｓ４の２ラインずつが混合されたものが、前処理信号Ｓ５１として出力される。

図７は、ノンインターレース信号前処理手段５１Ｂの構成例である。図７に示すノンインターレース信号前処理手段５１Ｂは、メモリ手段８１、及び２ライン混合手段８２を有する。メモリ手段８１は、ノンインターレース駆動モードの撮像信号Ｓ４の１フレーム分を保持する。２ライン混合手段８２は、メモリ手段８１に保持された１フレーム分の画像データの２ラインずつを図５（Ａ）で示したのと同じ方法で混合し、第Ａフィールド、第Ｂフィールドからなるインターレース信号と同じフォーマットの信号Ｓ５１Ｂを生成する。

このようにして、前処理手段５１は、現在の駆動モードに応じてインターレース信号前処理手段５１Ａとノンインターレース信号前処理手段５１Ｂを切り替えることによって、インターレース信号、ノンインターレース信号のどちらの信号が撮像信号Ｓ４として入力されたときでも、インターレース信号のフォーマットに変換された前処理信号Ｓ５１を出力する。

輝度色差信号生成手段５２は、インターレース信号のフォーマットに変換された前処理信号Ｓ５１をもとに、輝度色差信号Ｓ５２を生成する。

前処理信号Ｓ５１は、図５（Ａ）で示した順で入力される。この信号を処理して輝度信号と色差信号を抽出するには、輝度信号は隣同士（相前後して供給される信号同士）の和を求め、色差信号は隣同士（相前後して供給される信号同士）の差を求めることで得られる。つまり、第Ａフィールドの第ｎラインを考えると、輝度信号Ｙは

Ｙ＝｛（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）｝×（１／２）
＝（１／２）×（２Ｂ＋３Ｇ＋２Ｒ） …（１）

の近似信号を用いる。色差信号は

−（Ｒ−Ｙ）＝｛（Ｃｙ＋Ｇ）−（Ｙｅ＋Ｍｇ）｝
＝−（２Ｒ−Ｇ）＝−Ｃｒ …（２）

の近似信号を用いる。

次に、第Ａフィールドの第ｎ＋１ラインを考えると、輝度信号Ｙは

Ｙ＝（（Ｍｇ＋Ｃｙ）＋（Ｇ＋Ｙｅ）｝×（１／２）
＝（１／２）×（２Ｂ＋３Ｇ＋２Ｒ） …（３）

となり、第ｎラインと同一構成となる。同様に色差信号は

Ｂ−Ｙ＝｛（Ｍｇ＋Ｃｙ）−（Ｇ＋Ｙｅ）｝
＝２Ｂ−Ｇ＝Ｃｂ …（４）

で近似される。つまり、色差信号は線順次でＣｒ、Ｃｂが交互に取り出せることになる。第Ｂフィールドも同様である。

輝度色差信号生成手段５２は、上記で説明した方法により、前処理信号Ｓ５１から輝度色差信号Ｓ５２を生成する。
なお、上記の輝度信号、色差信号の生成方法はいわゆる色差線順次方式であり、既に公知となっている種々のカラー化処理を用いることができる。

後処理手段５３は、輝度色差信号Ｓ５２をもとに各ラインで不足する色差成分を上下ラインから補間する補間処理、輝度色差（ＹＣｂＣｒ）信号からＲＧＢ信号への変換、ホワイトバランス補正、γ（ガンマ）補正、輪郭強調補正等の画像処理を行って、最終的なデジタル映像信号Ｓ５Ａを出力する。本実施の形態では、後処理手段５３で行う処理の内容は上記に限定せず、図示しない出力装置に合わせて信号を加工し、適切なフォーマットで信号を出力する画像処理を含んでもよい。

後処理手段５３はさらに、輝度色差信号Ｓ５２をもとに、自動露出制御（ＡＥ）で用いるための撮像画像の明るさに関する信号Ｓ５Ｂを分離し、制御手段７に供給する。信号Ｓ５Ｂは、例えば、輝度色差信号Ｓ５２のうちの輝度信号のみを取り出したものであり、画素ごとの輝度信号として出力される。

以上で説明したように、デジタル信号処理手段５は、撮像装置全体のインターレース駆動モード、ノンインターレース駆動モードの切り替えに応じて、インターレース用の信号処理、ノンインターレース用の信号処理を施して、出力用のデジタル映像信号Ｓ５Ａおよび自動露出制御（ＡＥ）用の信号Ｓ５Ｂを生成する。

次に、制御手段７による自動露出制御（ＡＥ）の動作について説明する。
制御手段７は、デジタル信号処理手段５からの信号Ｓ５Ｂに基づき、撮像画像の明るさの評価値を求め、求められた評価値に基づいてアナログ信号処理手段３のアナログ利得の制御、タイミング信号発生手段６の電子シャッタパルスによる露光時間の制御、タイミング信号発生手段６の信号ＥＭの振幅による電子増倍の増倍率の制御を行う。

撮像画像の明るさの評価値は、例えば、１フレーム（画面）中の最大値や平均値である。平均値を求めるには、画素毎の信号を１フレームにわたって積算し、１フレーム内の画素の数で割る。なお、１フレーム（画面）を複数個（ｎ×ｍ個（ｎ、ｍは自然数））の領域（窓）に分割し、窓ごとに最大値或いは平均値を検出することとしても良い。窓を構成することにより、撮像画像に最適な制御を行うことができる。

なお、上記した最大値の検出や平均値の計算は、デジタル信号処理手段５で行うように構成することも可能である。デジタル信号処理手段５で構成することで、高速に演算が行え、また、制御手段７における他の処理の遅延を防ぐことができる。

制御手段７における自動露出制御（ＡＥ）は、上記で説明したように、デジタル信号処理手段５からの信号Ｓ５Ｂに基づいて撮像画像の明るさの評価値を計算または取得し、その評価値が所定の範囲内に収まるように、アナログ利得、露光時間、及び電子増倍の増倍率の少なくとも一つを制御するものである。

次に、制御手段７による駆動モード切り替え制御の動作について説明する。
制御手段７は、被写体の照度に応じて、インターレース駆動モードとノンインターレース駆動モードを切り替える。制御手段７は、被写体が明るいときにはインターレース駆動モード、被写体が暗いときにはノンインターレース駆動モードに状態を切り替える。

ここで、被写体の照度は、自動露出制御（ＡＥ）における撮像画像の明るさの評価値と、アナログ利得、露光時間、及び／又は電子増倍の増倍率の制御値から求めることが可能である。制御手段７は、自動露出制御（ＡＥ）のためのアナログ利得、露光時間、及び電子増倍の増倍率の制御値を保持している。これらの制御値は、被写体の照度と相関するものであり、被写体の照度を知るための指標値となる。制御手段７は、この照度指標値を用いて被写体の照度を判別し、駆動モードを切り替える。

ここで、照度指標値としては、アナログ利得、露光時間、及び電子増倍の増倍率の全てに比例する値を用いてもよいし、電子増倍の増倍率だけに比例する値を用いてもよい。以下では、電子増倍の増倍率に比例する値を用いて、インターレース駆動モードとノンインターレース駆動モードを切り替える動作について説明する。本発明の撮像装置は、被写体が一定の照度を下回る暗い環境下では、電子増倍の増倍率を調整することで自動露出制御（ＡＥ）を行うものとする。

制御手段７は、被写体が明るいとき、すなわち、自動露出制御（ＡＥ）により電子増倍の増倍率が所定の値以下に制御されている場合、インターレース駆動モードに切り替え、被写体が暗いとき、すなわち、自動露出制御（ＡＥ）により電子増倍の増倍率が所定の値より大きい値に制御されている場合、ノンインターレース駆動モードに切り替える。

駆動モードの切り替えは、タイミング信号発生手段６が発生する信号（パルス）Ｐ６Ａを切り替えることで可能である。また、駆動モードが切り替わることにより、撮像素子２から出力される撮像信号Ｓ２の形式も切り替わるため、制御手段７は、デジタル信号処理手段５を、駆動モードに応じた動作に切り替える。
以上が、制御手段７による駆動モード切り替え制御の動作の説明である。

次に、本発明の撮像装置において、インターレース駆動モード、ノンインターレース駆動モードを切り替えることの意味について述べる。

本発明による撮像装置では、被写体が明るいときはインターレース駆動モード、被写体が暗いときはノンインターレース駆動モードを用いることとしている。

インターレース駆動モードでは、隣接する２ラインを混合して読み出すため、ライン転送時に垂直転送を１水平期間につき２回行っている。そのため、ノンインターレース駆動モードの半分の時間で全ての画素の信号を読み出すことができる。したがって、インターレース方式に準じた映像信号を出力する場合、インターレース駆動モードを用いることで、動解像度が２倍になるという利点がある。

しかしながら、インターレース駆動モードでは、ノンインターレース駆動モードの２倍垂直転送動作しているため、垂直転送動作によって生じる暗電流が２倍となる。垂直転送動作によって生じた暗電流は、後段の電子増倍部２Ｄによって増幅されるため、電子増倍の増倍率が大きいほど、撮像信号Ｓ２におけるノイズ増加が目立つようになる。

図８（Ａ）及び（Ｂ）は、Ａ／Ｄ変換手段４に入力される前の信号の暗電流レベルを、インターレース駆動モードとノンインターレース駆動モードのそれぞれについて模式的に示した図である。飽和レベルは、Ａ／Ｄ変換手段４の最大値に対応する電圧である。図８（Ａ）は、電子増倍の増倍率が小さいときの暗電流レベルを示しており、図８（Ｂ）は、電子増倍の増倍率が大きいときの暗電流レベルを表している。

図８（Ａ）に示すように、電子増倍の増倍率が小さい場合には、駆動方法の違いによる暗電流レベルの差は小さく、ノイズへの影響は無視できる。通常のＣＣＤを用いた場合にも同様のことがいえる。しかしながら、図８（Ｂ）に示すように、数千倍もの電子増倍が可能なＥＭＣＣＤで、電子増倍の増倍率を大きくした場合には、駆動方法の違いによる暗電流レベルの差が大きくなり、インターレース駆動モードでのノイズの増加が目立つようになる。

そこで、本発明による撮像装置では、被写体が明るいとき、すなわち、電子増倍の増倍率が所定の値以下に制御されているときは、インターレース駆動モードを使用することで、動解像度が（ノンインターレース駆動モードに比べて）２倍になるという効果を得る。一方、被写体が暗いとき、すなわち、電子増倍の増倍率が所定の値より大きな値に制御されているときはノンインターレース駆動モードを使用することで、垂直転送動作で生じる暗電流を少なくし、Ｓ／Ｎを向上させる効果を得る。

なお、本実施例では、デジタル信号処理手段５において、ノンインターレース信号に対して２ライン混合処理を行っているが、デジタル処理で２ライン混合を行う限りにおいては、暗電流の増加は起こらない。したがって、ノンインターレース駆動モードを使用することによって、最終的な出力信号Ｓ５Ａにおいても、Ｓ／Ｎが向上した画像信号を得ることができる。

さらに、本発明による撮像装置では、被写体が明るいときにインターレース駆動モード、ノンインターレース駆動モードにおいて生じやすかった飽和による色ずれを防止することができる。

ノンインターレース駆動モードでは、Ｃｙ、Ｙｅ、Ｇ、Ｍｇのそれぞれの信号を独立に読み出すため、被写体が明るいときには、Ｃｙ、Ｙｅ、Ｍｇのいずれかの信号が、Ａ／Ｄ変換手段４の最大値を超えるなどして飽和し、色信号のバランスが崩れて色が変化してしまうことがあった。

一方、インターレース駆動モードでは、Ｃｙ＋Ｇ、Ｙｅ＋Ｍｇ、Ｍｇ＋Ｃｙ、Ｇ＋Ｙｅの混合信号として読み出すため、被写体が明るい場合でも、これらの信号間でバランスが取れており、飽和が起こりにくい。したがって、被写体が明るいときにインターレース駆動モードを使用することにより、飽和による色ずれを防止することができる。

以上で説明したように、本発明による撮像装置では、被写体が明るいときはインターレース駆動モード、被写体が暗いときはノンインターレース駆動モードを使用することによって、被写体が明るいときは動解像度が高く、かつ飽和による色ずれを防止し、被写体が暗いときは暗電流によるノイズの増加やノイズの粒状感の増大による画質の低下を防止することができる。

実施の形態２．
図９は本発明の実施の形態２の撮像装置の全体的構成を示すブロック図である。実施の形態２の撮像装置は、図１に示した実施の形態１の撮像装置と概して同じであるが、図１のデジタル信号処理手段５の代わりに、デジタル信号処理手段８を備えている。以下、実施の形態１と異なる部分を中心として説明する。

図１０は、本発明の実施の形態２におけるデジタル信号処理手段８のブロック図である。デジタル信号処理手段８は、インターレース信号処理手段８１Ａ、ノンインターレース信号処理手段８１Ｂ、切り替え手段８２、及び後処理手段８３を有する。インターレース信号処理手段８１Ａは、インターレース信号に対して後述する信号処理を行って、画素ごとの輝度色差信号Ｓ８１Ａを出力する。ノンインターレース信号処理手段８１Ｂは、ノンインターレース信号に対して後述する信号処理を行って、画素ごとの輝度色差信号Ｓ８１Ｂを出力する。切り替え手段８２は制御手段７からの制御信号Ｃ７Ｂにより、信号Ｓ８１Ａおよび信号Ｓ８１Ｂのどちらかを信号Ｓ８２として出力する。後処理手段８３は、輝度色差信号Ｓ８２を出力装置にあわせて加工し、最終的なデジタル映像信号Ｓ８Ａを出力する。

インターレース信号処理手段８１Ａは、輝度色差信号生成手段８１１Ａ及び補間手段８１２Ａを有する。インターレース駆動モードの場合、デジタル信号Ｓ４として、図５（Ａ）で示した形式のインターレース信号が入力される。輝度色差信号生成手段８１１Ａは、インターレース信号から輝度信号と色差信号を抽出する。この信号から輝度信号と色差信号を抽出する処理は，実施の形態１における輝度色差信号生成手段５２と同様である。補間手段８１２Ａは、輝度色差信号生成手段８１１Ａから出力される色差線順次の信号から、各ラインで不足する色差成分を上下ラインから補間して、画素ごとの輝度色差信号Ｓ８１Ａを出力する。

ノンインターレース信号処理手段８１Ｂは、補間手段８１１Ｂ及びマトリクス演算手段８１２Ｂを有する。ノンインターレース駆動モードの場合、デジタル信号Ｓ４として、図５（Ｂ）で示した形式のノンインターレース信号が入力される。補間手段８１１Ｂは、各画素で不足する色信号を、周りにある画素から補間して、画素ごとのＣｙ信号、Ｙｅ信号、Ｇ信号、Ｍｇ信号を出力する。補間方法としては，周囲の同色画素の平均値を取る線形補間などの方法を用いることができる。マトリクス演算手段８は、画素ごとのＣｙ信号、Ｙｅ信号、Ｇ信号、Ｍｇ信号からマトリクス演算によってＲＧＢ信号やＹＣｂＣｒ信号に変換する。（Ｃｙ，Ｙｅ，Ｇ，Ｍｇ）から（Ｒ，Ｇ，Ｂ）への変換は、例えば、次式（５）により行う。

また、（Ｒ，Ｇ，Ｂ）から（Ｙ，Ｃｂ，Ｃｒ）への変換は、例えば、次式（６）により行う。

さらに、式（５），（６）のマトリクス演算を組み合わせることで、（Ｃｙ，Ｙｅ，Ｇ，Ｍｇ）から（Ｙ，Ｃｂ，Ｃｒ）への変換が可能である。

ノンインターレース信号処理手段８１Ｂは、以上の手順により画素ごとの輝度色差信号Ｓ８１Ｂを出力する。

切り替え手段８２は、制御手段７からの制御信号Ｃ７Ｂにより、現在の駆動モードがインターレース駆動モード、ノンインターレース駆動モードのどちらであるかを判別し、インターレース駆動モードの場合は信号Ｓ８１Ａを、ノンインターレース駆動モードの場合は信号Ｓ８１Ｂを出力する。

後処理手段８３は、実施の形態１における後処理手段５３と同様であるので、その詳細な説明は省略する。

ＥＭＣＣＤでは、とくに電子増倍の増倍率が高いとき、画素ごとの特性のばらつきにより発生する固定パターンノイズの影響が無視できなくなる。固定パターンノイズは、インターレース駆動による２ライン混合や、デジタル信号処理手段８が行う補間処理によって、その影響が周囲の画素に波及する。本発明の実施の形態２による効果を説明するため、ある画素に発生した固定パターンノイズが、インターレース信号処理手段８１Ａ及びノンインターレース信号処理手段８１Ｂを通過することにより、どのように拡がるかを説明する。

いま、ある１つの画素に固定パターンノイズが発生した場合を考える。インターレース駆動モードでは、垂直２ラインを混合して信号を読み出すため、固定パターンノイズは、該画素の信号を含む垂直方向の２画素（第Ａフィールドと第Ｂフィールド）に波及する。また、輝度色差信号生成手段８１１Ａにおいて、水平方向で隣接する信号の加算および減算が行われるため、固定パターンノイズは水平方向の２画素に波及する。さらに、補間手段８１２Ａにより、Ｃｂ信号（Ｃｒ信号）が不足するラインについては、固定パターンノイズの影響を受けたラインの信号から補間される。したがって、第Ａフィールドと第Ｂフィールドを統合すると、Ｙ信号において２×２画素の領域、Ｃｂ信号（Ｃｒ信号）において、２×４画素の領域に波及する。垂直方向で４画素分に波及することになる。

一方、ノンインターレース駆動モードでは、固定パターンノイズは補間手段８１１Ｂによる補間処理によって周囲の画素に波及する。固定パターンノイズが発生した画素を用いて補間処理を行うのは、該画素に近接する３×３画素の領域である。したがって、固定パターンノイズはＹＣｂＣｒ信号において３×３の領域に波及する。

上記の理由から、インターレース駆動モードでは、ノンインターレース駆動モードに比べて、１つの画素の固定パターンノイズが垂直方向でより大きな領域に波及し、とくに電子増倍の増倍率が高い場合において、ノイズの粒状感が目立ち、画質が低下する。本発明の実施の形態２の撮像装置では、被写体が暗いとき、すなわち電子増倍の増倍率が高いとき、ノンインターレース駆動モードに切り替えることによって、ノイズの粒状感の増大による画質の低下を防止することができる。

また、本発明による実施の形態２の撮像装置は、デジタル信号処理手段８の内部構成のみが異なり、その他の構成は同様であるので、本発明による実施の形態１の撮像装置と同様の効果を有する。

１ レンズ部、 ２ 撮像素子、 ３ アナログ信号処理手段、 ４ Ａ／Ｄ変換手段、 ５ デジタル信号処理手段、 ６ タイミング信号発生手段、 ７ 制御手段。

Claims (5)

1. 電子増倍部を有する撮像素子と、
   前記撮像素子を制御するためのタイミング信号を発生させるタイミング信号発生手段と、
   前記撮像素子から出力される信号を用いて所定のデジタル映像信号を出力するデジタル信号処理手段と、
   前記タイミング信号発生手段と前記デジタル信号処理手段を制御する制御手段とを有し、
   前記タイミング信号発生手段は、
   前記制御手段からの信号により、前記撮像素子の垂直方向の複数ラインを混合して読み出すインターレース駆動モードと、前記撮像素子の全画素を独立に順次読み出すノンインターレース駆動モードの２つの駆動モードを切り替え、
   前記デジタル信号処理手段は、
   前記制御手段からの信号により、前記タイミング信号発生手段のモード切り替えに応じて信号処理の内容を切り替え、
   前記制御手段は、
   被写体の明るさに関する情報を保持し、前記被写体の明るさが明るいときはインターレース駆動モードとなり、前記被写体の明るさが暗いときはノンインターレース駆動モードとなるように前記タイミング信号発生手段を制御する
   ことを特徴とする撮像装置。
2. 前記撮像素子から出力される信号を増幅して出力するアナログ信号処理手段をさらに有し、
   前記制御手段は、
   前記デジタル信号処理手段の出力を用いて撮像画像の明るさの評価値を取得し、前記評価値が所定の範囲内に収まるように前記アナログ信号処理手段のアナログ利得、及び前記タイミング信号発生手段を介して決定される露光時間及び電子増倍の増倍率の少なくとも一つを制御し、前記アナログ利得、前記露光時間、及び前記電子増倍の増倍率の少なくとも一つの制御値を用いて求めた指標値に応じて前記タイミング信号発生手段の駆動モードを切り替える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、
   画素ごとに異なる色フィルタを具備し、かつ少なくとも４種類以上の補色の色フィルタを有することを特徴とする
   請求項１又は２に記載の撮像装置。
4. 前記撮像素子は、
   水平転送部を有し、前記インターレース駆動モードでは、垂直転送を１水平期間につき２回行うことで、前記水平転送部内で垂直方向の２ラインを混合すること
   を特徴とする
   請求項１乃至３のいずれかに記載の撮像装置。
5. 前記デジタル信号処理手段は、
   インターレース信号またはノンインターレース信号として入力される信号をインターレース信号のフォーマットに変換して前処理信号を出力する前処理手段と、
   前記前処理信号を処理して輝度信号と色差信号を生成する輝度色差信号生成手段を有し、
   前記前処理手段は、
   前記タイミング信号発生手段の駆動モードがインターレース駆動モードのときは入力信号をそのまま出力し、
   前記タイミング信号発生手段の駆動モードがノンインターレース駆動モードのときは入力信号をデジタル処理によって２ライン混合してインターレース形式で出力する
   ことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。

Images