JP3831418B2

JP3831418B2 - 撮像装置

Info

Publication number: JP3831418B2
Application number: JP05994294A
Authority: JP
Inventors: 公明小川; 晴美青木; 信博谷
Original assignee: ペンタックス株式会社
Priority date: 1994-03-04
Filing date: 1994-03-04
Publication date: 2006-10-11
Anticipated expiration: 2021-10-11
Also published as: JPH07245730A

Description

【０００１】
【産業上の利用分野】
本発明は、ＣＣＤ等の固体撮像素子により得られた画素信号に基づいて、測光・測距動作を行うとともに、静止画の映像信号を生成する装置に関する。
【０００２】
【従来の技術】
従来撮像装置として、イメージセンサの受光面上に、マゼンタ、グリーン、イエローおよびシアンの色フィルタ要素を規則的に配設して成る補色市松カラーフィルタが設けられたものが知られている。この撮像装置において、フレームモードの映像信号を生成する場合、イメージセンサから、奇数行目の画素信号とこの行の下側に隣接する行の画素信号とを加算して奇数フィールドの画素信号を読み出し、また偶数行目の画素信号とこの行の下側に隣接する行の画素信号とを加算して偶数フィールドの画素信号を読み出している。すなわち、１フィールドの画素信号はイメージセンサから２行ずつ同時に読み出されて生成され、奇数フィールドと偶数フィールドの画素信号から１画面の映像信号が得られている。
【０００３】
また従来、上述した撮像装置により測光・測距動作を行う場合、イメージセンサから２行ずつ同時に読み出された１フィールドの画素信号に基づいて輝度信号を生成し、この輝度信号に基づいて測距データ等が計算されている。
【０００４】
【発明が解決しようとする課題】
上述した補色市松カラーフィルタを有する従来の撮像装置では、色に対する解像度が低い。そこで本出願人は特願平4-262810号において、色解像度を高める構成として、２つのイメージセンサを設け、各イメージセンサから画素信号を１行ずつ読み出すとともに所定の画素信号どうしを重ね合わせて、静止画の映像信号（Ｒ信号、Ｇ信号およびＢ信号）を得る構成を提案した。
【０００５】
ところがこの提案装置において、測光・測距動作のために、イメージセンサから２行ずつ同時に画素信号を読み出して輝度信号を生成するような制御を行うと、Ａ／Ｄ変換器のダイナミックレンジが１行読み出しの場合（静止画の映像信号の生成時）とは異なるため、Ａ／Ｄ変換を高精度に行うためには２種類のＡ／Ｄ変換器を設けることが必要となり、装置の製造コストが高くなるという問題が発生する。
【０００６】
本発明は、撮像素子を複数有する撮像装置において、静止画の画質向上を図るとともに、測光範囲の拡大し、かつ量子化におけるダイナミックレンジの適正化を同時に行なう簡略な構成な撮像装置を得ることを目的としている。
【０００７】
【問題を解決するための手段】
本発明に係る撮像装置は、水平方向および垂直方向に沿って並ぶ各画素の画素信号を生成する複数のイメージセンサと、水平方向に沿って１行ずつ画素信号を読み出す第１の読出モード、または水平方向に沿って隣接する行の画素信号を加算して読み出す第２の読出モードにより、イメージセンサから画素信号を読み出す画素信号読出手段と、この画素信号読出手段により読み出された画素信号を、第１および第２の読出モードにおいてほぼ同じダイナミックレンジで量子化するＡ／Ｄ変換手段と、第２の読出モードに従って各イメージセンサから読み出された１フィールドの画素信号に基づいて、測光演算または測距演算のための輝度信号を生成する輝度信号生成手段と、第１の読出モードに従ってイメージセンサから読み出された画素信号に基づいて、静止画の映像信号を生成する映像信号生成手段とを備え、輝度信号生成手段は、各イメージセンサが相互に異なる電子シャッタスピードで露光されるとき、各イメージセンサから読み出された画素信号に基づいて被写体輝度を求めることを特徴としている。
【０００８】
【実施例】
以下図示実施例により本発明を説明する。
図１は本発明の第１実施例である撮像装置を備えたスチルビデオカメラのブロック図である。
【０００９】
システム制御回路１０はマイクロコンピュータであり、本スチルビデオカメラの全体の制御を行う。
【００１０】
フォーカスレンズ１１は合焦動作時、フォーカレンズ駆動回路１２によって制御される。絞り１３は露出制御時、絞り駆動回路１４によって開度を調整される。フォーカレンズ駆動回路１２と絞り駆動回路１４は、システム制御回路１０によって制御される。
【００１１】
フォーカスレンズ１１と絞り１３を通った光線は、ハーフミラー１５ａ、１５ｂにより分割される。１つの光線は図示しないファインダへ導かれ、他の２つの光線は第１および第２のＣＣＤ（イメージセンサ）１６、１７に導かれる。これらのＣＣＤ１６、１７は、各受光面に等価な被写体像が結像されるように配置されている。ＣＣＤ１６、１７は固体撮像素子であり、再生画面の水平方向および垂直方向に沿って並ぶ多数の画素に対応したフォトダイオードを有し、これらのフォトダイオードには被写体像に対応した画素信号が発生する。
【００１２】
第１および第２のＣＣＤ１６、１７には、それぞれフィルタ２１、２２が設けられる。これらのＣＣＤ１６、１７はＣＣＤ駆動回路２３によって駆動され、これにより、ＣＣＤ１６、１７上に結像された被写体像に対応した画素信号が、相関二重サンプリング（ＣＤＳ）回路２４、２５に供給される。ＣＣＤ駆動回路２３は、システム制御回路１０によって制御される。
【００１３】
ＣＤＳ回路２４、２５に入力された画素信号は、リセット雑音の除去等の所定の処理を施される。ＣＤＳ回路２４、２５から出力された信号は、増幅器２６、２７を介して、または増幅器２６、２７を通らずにＡ／Ｄ変換器３１、３２に入力される。後述するように、ＣＣＤ１６、１７からの画素信号の読出動作として第１および第２の読出モードがあり、増幅器２６、２７は第１の読出モードが選択された時、この画素信号の電圧レベルを増幅するために設けられている。スイッチ２８、２９はＡ／Ｄ変換器３１、３２を増幅器２６、２７あるいはＣＤＳ回路２４、２５に接続させるために設けられており、これらのスイッチ２８、２９の切り換え制御はシステム制御回路１０により行われる。
【００１４】
Ａ／Ｄ変換器３１、３２によりデジタル信号に変換された画素信号は、第１および第２の画像メモリ３３、３４にそれぞれ格納される。各画像メモリ３３、３４はそれぞれ２フィールド分の画素信号を格納できる記憶容量を有している。画像メモリ３３、３４のアドレス制御は、システム制御回路１０により画像メモリ制御回路３５を介して行われる。
【００１５】
画像メモリ３３、３４から読み出された画素信号は映像信号処理回路３６に入力され、所定の処理を施されてＲ信号、Ｇ信号およびＢ信号に変換される。これらの信号はインターフェイス回路３７に入力され、メモリカード３８に記録するためのフォーマットに変換される。メモリカード３８へのＲ信号、Ｇ信号およびＢ信号の記録動作は、システム制御回路１０によりメモリカード制御回路３９を介して行われる。
【００１６】
システム制御回路１０には、レリーズボタン４１が接続されている。後述するように、レリーズボタン４１を半押しすることにより、測光・測距動作が行われ、全押しすることにより、映像信号のメモリカード３８への記録動作が行われる。またシステム制御回路１０には赤外線三角測距装置４２が接続されている。この測距装置４２は従来公知のように、被写体に向けて赤外線を照射し、この赤外線の被写体からの反射光を受光することにより、三角測距によって被写体までの距離を測定するものである。
【００１７】
図２は第１および第２のＣＣＤ１６、１７の受光面上に設けられたカラーフィルタ２１、２２の配列を示すものである。これらのカラーフィルタ２１、２２は、補色市松カラーフィルタであり、同じ構成を有している。これらのカラーフィルタ２１、２２では、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、シアン（Ｃｅ）およびグリーン（Ｇ）を透過させる各フィルタ要素が規則的に配置されている。すなわち、水平方向および垂直方向にそれぞれ２画素ずつ並べて成る計４画素には、グリーン（Ｇ）の他に、補色の異なる分光特性を有するマゼンタ（Ｍｇ）、イエロー（Ｙｅ）およびシアン（Ｃｅ）の３画素が設けられている。
【００１８】
第２のカラーフィルタ２２のＣＣＤ１７に対する位置関係を、第１のカラーフィルタ２１のＣＣＤ１６に対する位置関係と比較すると、第２のカラーフィルタ２２は、ＣＣＤ１７に対し１画素分だけ水平方向（図２では左方向）にずらせて設けられている。例えば画面の左上隅の画素Ｐに注目すると、第１のカラーフィルタ２１ではマゼンタであるが、第２のカラーフィルタ２２ではグリーンである。
【００１９】
このようにＣＣＤ１６、１７の画素分光特性は、それぞれ規則的に変化しており、補色色差線順次式である。また、第１のＣＣＤ１６の画素分光特性に対して、第２のＣＣＤ１７の画素分光特性は１画素分だけ水平方向にずれている。したがって、第１のＣＣＤ１６の垂直方向に並ぶ２画素と、その２画素の光学的に同じ位置にある第２のＣＣＤ１７の垂直方向に並ぶ２画素との４画素は、それぞれ異なる分光特性を有している。すなわち、例えば一方の２画素がＭｇとＹｅである場合、他方の２画素はＧとＣｙである。
【００２０】
第１のＣＣＤ１６の出力信号と第２のＣＣＤ１７の出力信号は、デジタル信号として画像メモリ３３、３４に一旦格納されるが、これらのメモリから読み出され、映像信号処理回路３６において処理される。すなわち、対応する画素同士が相互に重ね合わせられるとともに、この重ね合わされた信号から各画素に対応するＲ信号、Ｇ信号およびＢ信号が抽出されて映像信号が得られる。
【００２１】
図３はこの重ね合わせの状態を示している。この図から理解されるように、第１のＣＣＤ１６のフィルタ２１のマゼンタ（Ｍｇ）と第２のＣＣＤ１７のフィルタ２２のグリーン（Ｇ）が、フィルタ２１のグリーン（Ｇ）とフィルタ２２のマゼンタ（Ｍｇ）が、フィルタ２１のイエロー（Ｙｅ）とフィルタ２２のシアン（Ｃｙ）が、フィルタ２１のシアン（Ｃｙ）とフィルタ２２のイエロー（Ｙｅ）が、それぞれ同じ画素に対応している。なお図３において、Ｐｘは水平方向の各画素の間隔（１ピッチ）、Ｐｙは垂直方向の各画素の間隔（１ピッチ）をそれぞれ示す。
【００２２】
まずＲ信号の抽出について説明する。
マゼンタ（Ｍｇ）に含まれるＲ信号をＲ_Mg、Ｂ信号をＢ_Mg、イエロー（Ｙｅ）に含まれるＲ信号をＲ_Ye、Ｇ信号をＧ_Ye、シアン（Ｃｙ）に含まれるＧ信号をＧ_Cy、Ｂ信号をＢ_Cyとすると、
Ｍｇ= Ｒ_Mg＋Ｂ_Mg、Ｙｅ= Ｒ_Ye＋Ｇ_Ye、Ｃｙ= Ｇ_Cy＋Ｂ_Cy
と表すことができる。
【００２３】
Ｒ信号は、垂直方向に並ぶマゼンタ（Ｍｇ）とイエロー（Ｙｅ）、およびこれらに重ね合わされたグリーン（Ｇ）とシアン（Ｃｙ）の４画素（図３において斜線を付された画素）から、次の式により得られる。

ただし、この（１）式が成立するためには、
α＝Ｇ_Ye／（Ｇ＋Ｇ_Cy）＝Ｂ_Mg／Ｂ_Cy
が成立することが条件である。
【００２４】
Ｂ信号についても同様に、次の式により得られる。

ただし、この（２）式が成立するためには、
β＝Ｇ_Cy／（Ｇ＋Ｇ_Ye）＝Ｒ_Mg／Ｒ_Ye
が成立することが条件である。
【００２５】
Ｇ信号については、輝度信号Ｙと、（１）式、（２）式により求められたＲ_S、Ｂ_Sとから得られる。すなわち、

【００２６】
次に図４を参照してＲＧＢ信号の実際の抽出方法について説明する。
この図の画素配置において、第１および第２のＣＣＤ１６、１７をそれぞれパラメータＡ、Ｂで表し、水平方向をパラメータｉ、垂直方向をパラメータｊで表す。なおこの図において、重ね合わせて示された各画素のうち上方に位置するものが第１のＣＣＤ１６に対応し、下方に位置するものが第２のＣＣＤ１７に対応するものとする。各画素からの信号を、第１のＣＣＤ１６に関しては、
ＶA,i,j ＝Ｍｇ、ＶA,i+1,j ＝Ｇ
ＶA,i,j+１＝Ｙｅ、ＶA,i+1,j+1 ＝Ｃｙ
ＶA,i,j+2 ＝Ｇ、ＶA,i+1,j+2 ＝Ｍｇ
ＶA,i,j+3 ＝Ｙｅ、ＶA,i+1,j+3 ＝Ｃｙ
となるように配置し、第２のＣＣＤ１７に関しては、
ＶB,i,j ＝Ｇ、ＶB,i+1,j ＝Ｍｇ
ＶB,i,j+1 ＝Ｃｙ、ＶB,i+1,j+1 ＝Ｙｅ
ＶB,i,j+2 ＝Ｍｇ、ＶB,i+1,j+2 ＝Ｇ
ＶB,i,j+3 ＝Ｃｙ、ＶB,i+1,j+3 ＝Ｙｅ
となるように配置する。ここで、i=1,3,5,...;j=1,5,9,... の値をとるものとする。
【００２７】
一回目の走査で第１フィールドの信号すなわち、
ＶA,i,j ＝Ｍｇ、ＶA,i+1,j ＝Ｇ
ＶA,i,j+2 ＝Ｇ、ＶA,i+1,j+2 ＝Ｍｇ
ＶB,i,j ＝Ｇ、ＶB,i+1,j ＝Ｍｇ
ＶB,i,j+2 ＝Ｍｇ、ＶB,i+1,j+2 ＝Ｇ
が抽出され、二回目の走査で第２フィールドの信号すなわち、
ＶA,i,j+1 ＝Ｙｅ、ＶA,i+1,j+1 ＝Ｃｙ
ＶA,i,j+3 ＝Ｙｅ、ＶA,i+1,j+3 ＝Ｃｙ
ＶB,i,j+1 ＝Ｃｙ、ＶB,i+1,j+1 ＝Ｙｅ
ＶB,i,j+3 ＝Ｃｙ、ＶB,i+1,j+3 ＝Ｙｅ
が抽出される。
【００２８】
以上の全画素信号が画像メモリ３３、３４に記憶される。これらの画素信号は映像信号処理回路３６に読み出され、演算により奇数フィールドの奇偶数走査線のｉ番目の画素に対し、

のＲＧＢ信号が得られる。
【００２９】
同様にして、奇数フィールドの奇偶数走査線のｉ＋１番目の画素に対し、

のＲＧＢ信号が得られる。
ここで、p,q は（３）式を参照すれば１であっても良いが、Ｙ成分の値に応じ、適当に調整できる方が好ましい。
【００３０】
α、β、ｐ、ｑの定数は、システム制御回路１０において実行されるソフトウェアのパラメータを調整することによって定められる。
【００３１】
偶数フィールドについては、ｊ＋１番目とｊ＋２番目の画素を組み合わせることにより、上記（４）〜（１５）式と同様な式によりＲＧＢ信号が得られる。
なお、以上の式はガンマ補正を施していないリニアな演算方法であり、ガンマ補正された信号が画像メモリ３３、３４に記憶されているのであれば、一旦リニアに変換した後、それらの演算が行われ、その演算後、正規のガンマ補正が行われる。
【００３２】
次に図５〜図１１を参照して、第１実施例における撮影動作を説明する。図５と図６は測距・測光動作を行うプログラムのフローチャートであり、図７は映像信号のメモリカードへの記録動作を行うプログラムのフローチャートである。図８は撮影動作のタイミングチャートである。図９は自動焦点調節（ＡＦ）動作におけるフォーカスレンズの移動を示す図である。図１０は第２の読出モードにおける画素信号の読出動作を示す図である。図１１は第１の読出モードにおける画素信号の読出動作を示す図である。
【００３３】
図５と図６に示す測距・測光動作のプログラムの実行は、レリーズボタン４１を半押しする（符号Ａ１）ことにより開始する。ステップ１０１では、赤外線三角測距装置４２により赤外線三角測距が行われ（符号Ａ２）、本スチルビデオカメラから被写体までの距離が測定される。赤外線三角測距の精度は、図９に示す各赤外測距ゾーンＺ１、Ｚ２・・・ＺＮの大きさに対応しており、後述するＣＣＤを用いた測距の精度よりも粗い。この赤外線三角測距の結果、フォーカスレンズ１１は合焦のために、赤外測距ゾーンＺＮに位置すべきであると判断された場合、ステップ１０２において、フォーカスレンズ１１は現在位置（符号ＴＬ）から、その赤外測距ゾーンＺＮの中で最も現在位置ＴＬに近い端（Ｘ位置）まで移動する（符号Ａ３）。
【００３４】
ステップ１０３〜１０５では、絞り１３が開放位置に定められた状態で測光動作が行われる。この測光動作およびステップ１０７以下の測距動作におけるＣＣＤ１６、１７からの画素信号の読出動作は、第２の読出モードにより行われる。第２の読出モードとは、次に述べるように、水平方向に沿って隣接する行の画素信号を加算して読み出すモードである。
【００３５】
ここで図１０を参照して、第２の読出モードにより読み出された画素信号に基づいて輝度信号を求める方法を説明する。第２の読出モードでは、第１および第２の水平方向のラインＬ１、Ｌ２が加算され、また第３および第４の水平方向のラインＬ３、Ｌ４が加算されて読み出され、これらのラインにより第１フィールドが形成される。輝度信号Ｙは、次の（１６）式により表される。

【００３６】
（１６）式から理解されるように、図１０において例えば二点鎖線ＹＹにより囲まれるＭｇ、Ｙｅ、Ｇ、Ｃｙの４画素の信号を加算することにより、輝度信号が得られる。
【００３７】
なお第２の読出モードでは、図１に示すように、スイッチ２８、２９は増幅器２６、２７とは反対側に切り換えられており、ＣＤＳ回路２４、２５の出力信号は、増幅器２６、２７を通らずにＡ／Ｄ変換器３１、３２に入力される。したがって、この読出モードでは、ＣＤＳ回路２４、２５の出力信号は増幅されずにＡ／Ｄ変換器３１、３２に入力される。
【００３８】
さてステップ１０３では、第１および第２のＣＣＤ１６、１７が相互に異なる所定の電子シャッタスピードで露光される。すなわち、第１のＣＣＤ１６に対しては相対的に長い第１の電子シャッタスピードで露光が行われ（符号Ａ４）、第２のＣＣＤ１７に対しては相対的に短い第２の電子シャッタスピードで露光が行われる（符号Ａ５）。このように２つの異なる電子シャッタスピードでＣＣＤ１６、１７が露光されることにより、後述するように、ＣＣＤを１つだけ用いる場合と比較して、より広い測光範囲が得られる。
【００３９】
ステップ１０４では、第１および第２のＣＣＤ１６、１７により得られた撮像信号が第１および第２の画像メモリ３３、３４へ取り込まれる（符号Ａ６、Ａ７）。すなわち各画像メモリ３３、３４には、それぞれ１フィールドの画素信号が測光データとして格納される。ステップ１０５では、画像メモリ３３、３４に格納された測光データのうち所定のデータを用いて被写体輝度が求められる。すなわち、例えば画面中央の画素に対応する測光データであって、ＣＣＤ１６、１７のダイナミックレンジ内のデータを用い、（１６）式に基づいて１画素に対応する輝度値が求められる。さらに画面中央の各画素に対する輝度値を平均して、被写体輝度が求められる（符号Ａ８）。
【００４０】
ステップ１０６では、ステップ１０５において求められた被写体輝度とＣＣＤ１６、１７の感度に基づいて、適正露出が得られるような２つの電子シャッタスピードが求められる。すなわち、
(1)絞りが開放位置にある状態における電子シャッタスピード
(2)所定のプログラム線図に従った絞り値と電子シャッタスピード
が求められる（符号Ａ８）。
【００４１】
(1)の電子シャッタスピードは、ステップ１０７以下で実行される測距動作において用いられる。すなわち絞り１３が開放された状態で測距動作が行われ、合焦動作が行われる。 (2)の電子シャッタスピードは、図７に示す映像信号の記録動作において用いられる。
【００４２】
ステップ１０３〜１０５の測光動作では、第１および第２のＣＣＤ１６、１７が用いられたが、以下に述べる測距動作では、第１のＣＣＤ１６のみが用いられ、第２のＣＣＤ１７の画素信号は無視される。
【００４３】
ステップ１０７では、 (1)の電子シャッタスピードで第１のＣＣＤ１６が露光され（符号Ａ９）、ステップ１０８では、第１のＣＣＤ１６の撮像信号が第１の画像メモリ３３に取り込まれる（符号Ａ１０）。ステップ１０９では、第１の画像メモリ３３に格納されたデータのうち所定範囲のデータを用いてフォーカス評価値Ａが求められる（符号Ａ１１）。このフォーカス評価値Ａは例えば、（１６）式に基づく所定の画素に対応する輝度値と、この画素の周囲の画素に対応する輝度値との差分値（すなわち微分値）を求めることにより得られ、従来公知の種々の方法を用いることができる。
【００４４】
次いでステップ１１０では、図９に示すように、現在フォーカスレンズ１１が位置している赤外線三角測距ゾーンＺＮのほぼ中央（Ｙ位置）まで、フォーカスレンズ１１が移動する（符号Ａ１２）。
【００４５】
ステップ１１１〜１１４の作用は、ステップ１０７〜１１０と同様である。すなわちフォーカスレンズ１１がＹ位置に定められた状態で、ステップ１１１において、ＣＣＤ１６が露光され（符号Ａ１３）、ステップ１１２において、ＣＣＤ１６の撮像信号が画像メモリ３３に取り込まれる（符号Ａ１４）。ステップ１１３では、画像メモリ３３に格納されたデータからフォーカス評価値Ｂが求められる（符号Ａ１５）。ステップ１１４では、図９に示すように、フォーカスレンズ１１は赤外線三角測距ゾーンＺＮの後端（Ｚ位置）まで移動する（符号Ａ１６）。
【００４６】
そして上記と同様にして、フォーカスレンズ１１がＺ位置に定められた状態で、ステップ１１５では、ＣＣＤ１６が露光され（符号Ａ１７）、ステップ１１６では、ＣＣＤ１６の撮像信号が画像メモリ３３に取り込まれる（符号Ａ１８）。ステップ１１７では、画像メモリ３３に格納されたデータからフォーカス評価値Ｃが求められる（符号Ａ１９）。
【００４７】
ステップ１１８では、フォーカス評価値Ａ、Ｂ、Ｃの中で最も良い値、すなわち最も大きいフォーカス評価値を示す位置まで、フォーカスレンズ１１が移動し（符号Ａ２０）、ＡＦ動作は終了する。なお、図９の例では、フォーカスレンズ１１はＸ位置に移動している。
【００４８】
次いでレリーズボタン４１が全押しされると（符号Ａ２１）、図７のプログラムの実行が開始する。ステップ２０１では絞り１３が、レリーズボタン４１の半押し時、すなわち図５と図６のプログラムのステップ１０６において求められた
(2)の絞り値まで駆動される（符号Ａ２２）。
【００４９】
ステップ２０２では、このステップ１０６において求められた (2)の電子シャッタスピードで第１のＣＣＤ１６が露光され（符号Ａ２３）、ステップ２０３では、このＣＣＤ１６の撮像信号が第１の画像メモリ３３に取り込まれる（符号Ａ２４）。この露光は、上述したようにプログラム線図に従った絞り値と電子シャッタスピードにより行われるため、これにより適正な露光量が得られるはずであるが、上述した測光・測距動作は開放絞りで行われているため、その露光量には誤差が含まれている可能性がある。そこでステップ２０４では、第１の画像メモリ３３から読み出された所定範囲のデータを用いて、適正な露光量が得られるように、電子シャッタスピードの補正値が求められる（符号Ａ２５）。これにより絞りの誤差が補正され、最適電子シャッタスピードが得られる。
【００５０】
後述するステップ２０６、２０７では、第１の読出モードにより画素信号が読み出され、１回の読出動作ではＣＣＤ１６、１７においてそれぞれ半分のフォトダイオードの信号電荷が読み出される。これに対しステップ２０２では、第２の読出モードにより画素信号が読み出され、１回の読出動作ではＣＣＤ１６において全てのフォトダイオードの信号電荷が読み出される。したがって各ＣＣＤにおいて、信号電荷が蓄積されるフォトダイオードの数が異なることも考慮され、最適電子シャッタスピードはステップ２０２における電子シャッタスピードよりも短い。
【００５１】
ステップ２０５では、図１のスイッチ２８、２９が増幅器２６、２７側に切り換えられ、ＣＣＤからの画素信号の読出モードが第１の読出モードに定められる（符号Ａ２６）。この第１の読出モードは、ＣＣＤ１６、１７から画素信号が水平方向に沿って１行ずつ読み出されるモードである。この第１の読出モードでは、図１１に示すように、まず水平方向のラインＭ１、Ｍ３・・・を構成する画素信号から成る第１フィールドが１ライン毎に読み出され、次いで、水平方向のラインＭ２、Ｍ４・・・を構成する画素信号から成る第２フィールドが１ライン毎に読み出される。
【００５２】
また第１の読出モードでは、スイッチ２８、２９が増幅器２６、２７側に切り換えられているので、ＣＤＳ回路２４、２５の出力信号は、増幅器２６、２７を通ってＡ／Ｄ変換器３１、３２に入力される。すなわちＣＤＳ回路２４、２５の出力信号は増幅器２６、２７により所定の増幅率で増幅されて、Ａ／Ｄ変換器３１、３２に入力される。
【００５３】
ステップ２０６では、ステップ２０４において求められた最適電子シャッタスピードで、第１および第２のＣＣＤ１６、１７が露光される（符号Ａ２７）。これは本露光であり、第１および第２のＣＣＤ１６、１７に生成された撮像信号は、ステップ２０７において、これらのＣＣＤ１６、１７から読み出され、それぞれ第１および第２の画像メモリ３３、３４に取り込まれる（符号Ａ２８）。上述したように、この読出動作は第１の読出モードにより行われ、まず第１フィールドの画素信号が画像メモリ３３、３４への取り込まれる。
【００５４】
この画像メモリへの取り込みと並行して、残りの画素に対する露光が行われる（符号Ａ２９）。すなわち、画素信号を一度掃き出した後（図示せず）、最適電子シャッタスピードで再び露光が行われる。ステップ２０８では、第１および第２のＣＣＤ１６、１７の残りの画素に生成された撮像信号が、それぞれ第１および第２の画像メモリ３３、３４に取り込まれる（符号Ａ３０）。この時、取り込まれる画素信号は第２フィールドの信号であり、ステップ２０７と合わせると、それぞれの画像メモリ３３、３４には２フィールド分の画素信号が取り込まれたことになる。
【００５５】
なお、レリーズボタン４１の全押しのタイミングによって第２フィールドの画素信号を第１フィールドの画素信号よりも先にメモリ３３、３４に取り込むようにしてもよい。
【００５６】
次いでステップ２０９では、絞り１３が開放位置に定められ（符号Ａ３１）、ステップ２１０では、ＣＣＤからの画素信号の読出モードが第２の読出モードに切り換えられる（符号Ａ３２）。ステップ２１１では、第１および第２の画像メモリ３３、３４から画素信号が読み出されるとともに、映像信号処理回路３６においてＲ信号、Ｇ信号およびＢ信号に変換され、これらの信号はインターフェイス回路３７によりメモリカード３８に記録される（符号Ａ３３）。これにより、このプログラムは終了する。
【００５７】
次に図１２と図１３を参照して、図５のステップ１０３〜１０５において実行される測光動作を説明する。図１２はＣＣＤ１６、１７による測光範囲を示し、図１３は測光動作における各信号の出力タイミングを示している。
【００５８】
第１および第２のＣＣＤ１６、１７のダイナミックレンジＶ_DRは同じ大きさであり、実線Ｓ１で示すように第１のＣＣＤ１６による測光範囲は被写体輝度Ｅ₁〜Ｅ₂、また実線Ｓ２で示すように第２のＣＣＤ１７による測光範囲は被写体輝度Ｅ₂〜Ｅ₃である。すなわち第１のＣＣＤ１６の電子シャッタスピードは第２のＣＣＤ１７のそれよりも長く、したがって、第１のＣＣＤ１６は相対的に暗い光を検出し、第２のＣＣＤ１７は相対的に明るい光を検出する。このように、２つのＣＣＤ１６、１７の電子シャッタスピードを変えたことにより、測光範囲（Ｅ₁〜Ｅ₃）はひとつのＣＣＤを用いた場合と比較して、対数で２倍になっている。
【００５９】
ＣＣＤ１６、１７からの信号電荷の読み出しは次のようにして行われる。まず、垂直同期信号ＶＤが出力された後、露光開始時点まで電荷掃き出しパルスＳＵＢ１、ＳＵＢ２が定期的に出力され、ＣＣＤ１６、１７の各フォトダイオードに残留している不要電荷がサブストレートに掃き出される。第１のＣＣＤ１６に対する電荷掃き出しパルスＳＵＢ１が停止した後、所定時間Ｔ_Kが経過すると、第２のＣＣＤ１７に対する電荷掃き出しパルスＳＵＢ２が停止する。そして、電荷掃き出しパルスＳＵＢ１が停止してから時間Ｔ₁が経過すると、２つの転送ゲート信号ＴＧ１とＴＧ２が同時に出力され、垂直転送ＣＣＤへ各画素の信号が転送される。これにより第１のＣＣＤ１６には時間Ｔ₁の間、また第２のＣＣＤ１７には時間Ｔ₂（＝Ｔ₁−Ｔ_K）の間、それぞれ電荷が蓄積されることとなる。すなわち、時間Ｔ₁は第１のＣＣＤ１６の電子シャッタスピードに相当し、時間Ｔ₂は第２のＣＣＤ１７の電子シャッタスピードに相当する。
【００６０】
また、２つの転送ゲートＴＧ１、ＴＧ２が同時に出力された時、これと共に読み出し転送パルス（図示せず）が出力される。これにより、ＣＣＤ１６、１７に蓄積されていた画素信号が第２の読出モードで読み出される。図１３において、符号Ｘ₁は第１のＣＣＤ１６から読み出された画素信号、符号Ｘ₂は第２のＣＣＤ１７から読み出された画素信号であり、これらの画素信号Ｘ₁、Ｘ₂を用いて前記（１６）式により被写体輝度が求められる。
【００６１】
図１４〜図１６を参照して、測光・測距動作において実行される第２の読出モードにおける画素信号の読み出し動作を説明する。
【００６２】
図１４は、ＣＣＤ１６、１７のフォトダイオードに発生する２つの画素信号が垂直転送ＣＣＤ５１、５２において加算される様子を示している。なお、この図において、斜線ＳＨで示す部分はポテンシャルの井戸を示し、各フォトダイオードから転送されてきた画素信号はこのポテンシャルの井戸において混合されることにより加算される。また、「４」、「６」等の数字は、図１６に示す時間ｔに対応している。
【００６３】
第１フィールドにおける画素信号の読み出し動作を説明する。
フォトダイオードＦ１１、Ｆ１３に蓄積したＭｇ、Ｇ信号が垂直転送ＣＣＤ５１に転送され、またフォトダイオードＦ２１、Ｆ２３に蓄積したＧ信号、Ｍｇ信号が垂直転送ＣＣＤ５２に転送される（符号Ｊ１）。次いで、フォトダイオードＦ１２、Ｆ１４に蓄積したＹｅ信号が垂直転送ＣＣＤ５１に転送され、またフォトダイオードＦ２２、Ｆ２４に蓄積したＣｙ信号が垂直転送ＣＣＤ５２に転送される（符号Ｊ２）。
【００６４】
そして垂直転送ＣＣＤ５１では、フォトダイオードＦ１１のＭｇ信号とフォトダイオードＦ１２のＹｅ信号とが加算され、またフォトダイオードＦ１３のＧ信号とフォトダイオードＦ１４のＹｅ信号とが加算される。垂直転送ＣＣＤ５２では、フォトダイオードＦ２１のＧ信号とフォトダイオードＦ２２のＣｙ信号とが加算され、またフォトダイオードＦ２３のＭｇ信号とフォトダイオードＦ２４のＣｙ信号とが加算される（符号Ｊ３）。その後、各垂直転送ＣＣＤ５１、５２では垂直転送が行われ、加算された画素信号は水平転送ＣＣＤ（図示せず）側に転送される（符号Ｊ４）。１回の垂直転送において、信号は２画素分転送され、この度に、水平転送ＣＣＤでは１水平走査線分の画素信号が読み出される（符号Ｊ５）。
【００６５】
第２フィールドにおける画素信号の読み出し動作は第１フィールドと同様であるが、相互に加算される２つの画素信号の組合せが第１フィールドと異なる。すなわち垂直転送ＣＣＤ５１では、フォトダイオードＦ１１に蓄積したＭｇ信号は、図１４の上方に隣接するフォトダイオード（図示せず）に蓄積したＹｅ信号と加算され、フォトダイオードＦ１２に蓄積したＹｅ信号はフォトダイオードＦ１３に蓄積したＧ信号と加算される。フォトダイオードＦ１４に蓄積したＹｅ信号は、図１４の下方に隣接するフォトダイオード（図示せず）に蓄積したＭｇ信号と加算される。垂直転送ＣＣＤ５２についても同様である。
【００６６】
図１６は、画素信号の転送動作を行うために電極Ｖ１〜Ｖ４に供給される電圧信号の時間的変化と、垂直転送ＣＣＤにおけるポテンシャルの井戸の時間的変化とを示している。この図に示すように、時間ｔ＝４，６において画素読み出しパルス（転送ゲート信号）が出力され、これによりフォトダイオードから画素信号が垂直転送ＣＣＤ５１、５２に転送される。また時間ｔ＝８では、電極Ｖ１、Ｖ２、Ｖ３の電圧レベルが同じ大きさになり、これにより電極Ｖ１に対応した井戸と電極Ｖ３に対応した井戸とが合体して画素信号が加算される（符号Ｊ６）。
【００６７】
図１７〜図１９は、本露光において実行される第１の読出モードにおける画素信号の読み出し動作を示している。
【００６８】
図１７は、ＣＣＤ１６、１７のフォトダイオードに発生する画素信号が垂直転送ＣＣＤ５１、５２に転送される様子を示している。なお、この図において、「６」、「８」等の数字は、図１９に示す時間ｔに対応している。
【００６９】
第１フィールドにおける画素信号の読み出し動作を説明する。
フォトダイオードＦ１２、Ｆ１４、Ｆ２２、Ｆ２４に対しては、画素読み出しパルス（転送ゲート信号）は出力されない。したがって、フォトダイオードＦ１２、Ｆ１４に蓄積したＹｅ信号とフォトダイオードＦ２２、Ｆ２４に蓄積したＣｙ信号は垂直転送ＣＣＤ５１、５２に転送されず（符号Ｊ１１）、フォトダイオードＦ１１、Ｆ１３に蓄積したＭｇ信号、Ｇ信号とフォトダイオードＦ２１、Ｆ２３に蓄積したＧ、Ｍｇ信号だけが垂直転送ＣＣＤ５１、５２に転送される（符号Ｊ１２）。
【００７０】
この後、第２の読出モードと同様に、電極Ｖ１、Ｖ２、Ｖ３の電圧レベルが同じ大きさになり、垂直転送ＣＣＤ５１、５２においてポテンシャルの井戸ＳＨが大きくなるが、１つの井戸ＳＨには１つの画素信号しか転送されていないため、画素信号の加算は行われない（符号Ｊ１３）。次いで、各垂直転送ＣＣＤ５１、５２では垂直転送が行われ、画素信号は水平転送ＣＣＤ（図示せず）側に転送される（符号Ｊ１４）。１回の垂直転送において、信号は２画素分転送され、この度に、水平転送ＣＣＤでは１水平走査線分の画素信号が読み出される（符号Ｊ１５）。
【００７１】
第２フィールドにおける画素信号の読み出し動作は第１フィールドと同様である。すなわちフォトダイオードＦ１１、Ｆ１３、Ｆ２１、Ｆ２３に対しては、画素読み出しパルスは出力されず、したがって、これらのフォトダイオードに蓄積したＧ信号とＭｇ信号は垂直転送ＣＣＤ５１、５２に転送されない（符号Ｊ１７）。一方、フォトダイオードＦ１２、Ｆ１４に蓄積したＹｅ信号とフォトダイオードＦ２２、Ｆ２４に蓄積したＣｙ信号だけが垂直転送ＣＣＤ５１、５２に転送され（符号Ｊ１６）、垂直転送される（符号Ｊ１８）。
【００７２】
図１９は、第２の読出モードにおける図１６に対応している。この図に示すように、時間ｔ＝６では画素読出パルスが出力されず（符号Ｊ１９）、時間ｔ＝４において画素読み出しパルスが出力され、これによりフォトダイオードから画素信号が垂直転送ＣＣＤ５１、５２に転送される。また時間ｔ＝８では、電極Ｖ１、Ｖ２、Ｖ３の電圧レベルが同じ大きさになり、これにより電極Ｖ１に対応した井戸と電極Ｖ３に対応した井戸とが合体するが、電極Ｖ３に対応した井戸には画素信号が存在しないため、画素信号の加算は行われない（符号Ｊ２０）。
【００７３】
以上のように第１実施例は、ＣＣＤ１６、１７から１行ずつ画素信号を読み出す第１の読出モードでは、画素信号は増幅器２６、２７により増幅されてＡ／Ｄ変換器３１、３２に入力され、ＣＣＤ１６、１７から２行ずつ画素信号を読み出す第２の読出モードでは、画素信号は増幅器２６、２７を通らず、直接Ａ／Ｄ変換器３１、３２に入力されるように構成されている。すなわち第１の読出モードと第２の読出モードを比較すると、第１の読出モードではＣＣＤ１６、１７の出力信号のレベルが低いため、この信号は増幅されてＡ／Ｄ変換器３１、３２に入力され、第１および第２の読出モードにおいて、ほぼ同じダイナミックレンジで量子化される。
【００７４】
このように、読出モードが変化してもＡ／Ｄ変換器３１、３２に入力される信号のダイナミックレンジが変化しないので、画素信号のＡ／Ｄ変換の精度が高められ、これにより測光・測距および静止画像の記録の精度が向上する。また、各読出モードに対応して専用のＡ／Ｄ変換器を設ける必要がないので、Ａ／Ｄ変換器の数が最小限に抑えられ、スチルビデオカメラのコストを低減させることができる。
【００７５】
図２０は第２実施例の撮像装置を備えたスチルビデオカメラのブロック図である。第１実施例と異なる構成のみを説明する。
【００７６】
ＣＤＳ回路２４とスイッチ２８の間には遅延回路６１、加算器６２および減衰器６３が設けられ、ＣＤＳ回路２５とスイッチ２９の間には遅延回路６４、加算器６５および減衰器６６が設けられている。スイッチ２８、２９は、第１の読出モードでは減衰器６３、６６とは反対側に切り換えられ、第２の読出モードでは減衰器６３、６６側に切り換えられる。したがってＣＤＳ２４、２５の出力信号は、第１の読出モードでは直接Ａ／Ｄ変換器３１、３２に入力され、第２の読出モードでは、遅延回路６１、６４、加算器６２、６５および減衰器６３、６６を介してＡ／Ｄ変換器３１、３２に入力される。
【００７７】
ＣＤＳ２４、２５の出力信号は、遅延回路６１、６４において１画素分だけ遅延されて加算器６２、６５に入力され、また遅延回路６１、６４を通ることなく加算器６２、６５に入力される。すなわち加算器６２、６５では、１画素遅延された画素信号と遅延されない画素信号とが相互に加算される。この加算器６２、６５の出力信号は、減衰器６３、６６において所定の減衰率で減衰せしめられる。
【００７８】
その他の構成は、図１の第１実施例の構成と同じである。
【００７９】
第２の読出モードでは、図１０の符号ＹＹの部分を参照すると、例えばラインＬ１、Ｌ２のＭｇ信号とＹｅ信号が遅延回路６１、６４により１画素分遅延されて加算器６３、６６に入力され、Ｇ信号とＣｙ信号は遅延されずに加算器６３、６６に入力される。したがって、これらのＭｇ信号、Ｙｅ信号、Ｇ信号、Ｃｙ信号が加算され、（１６）式に示されるように輝度信号Ｙが求められる。そしてこの輝度信号Ｙは減衰器６３、６６において減衰され、Ａ／Ｄ変換器３１、３２に入力される。
【００８０】
これに対し、第１の読出モードでは、画素信号は減衰されることなくＡ／Ｄ変換器３１、３２に入力される。これは、第１実施例に関して上述したように、第１の読出モードではＣＣＤ１６、１７の出力信号のレベルが第２の読出モードよりも低いためである。
【００８１】
このように第２実施例においても、読出モードに対応して専用のＡ／Ｄ変換器を設けることなく、高精度にＡ／Ｄ変換を行うことができ、Ａ／Ｄ変換器の数を最小限に抑えることができる。
【００８２】
図２１は第３実施例の撮像装置を備えたスチルビデオカメラのブロック図である。第１実施例と異なる構成のみを説明する。
【００８３】
ＣＤＳ回路２４、２５とＡ／Ｄ変換器３１、３２の間には、増幅器あるいは減衰器等は設けられておらず、これらは直接接続されている。一方、Ａ／Ｄ変換器３１、３２には、スイッチ７３を介して第１および第２の基準電圧発生器７１、７２の一方が接続される。第１および第２の基準電圧発生器７１、７２は、Ａ／Ｄ変換における例えば上限値の基準電圧を発生するもので、Ａ／Ｄ変換器７１、７２では、この基準電圧を用いて、ＣＤＳ回路２４、２５から入力されるアナログの画素信号の量子化が行われる。第１の基準電圧発生器７１の基準電圧は相対的に低く、第２の基準電圧発生器７２の基準電圧は相対的に高い。なお、下限基準電圧は、Ａ／Ｄ変換器７１、７２ともに同じ値に固定されている。
【００８４】
スイッチ７３は、第１の読出モードでは第１の基準電圧発生器７１側に切り換えられ、第２の読出モードでは第２の基準電圧発生器７２側に切り換えられる。上述したように第１の読出モードでは、ＣＣＤ１６、１７の出力信号のレベルが第２の読出モードよりも低いため、この信号の量子化に用いる基準電圧を低くすることにより、第１および第２の読出モードにおけるＡ／Ｄ変換のダイナミックレンジをほぼ同じ大きさにすることができる。したがって第３実施例によっても、第１実施例と同様な効果が得られる。
【００８５】
なお第３実施例では、第１実施例と同様に、画像メモリ３３、３４から読み出された画素信号について、（１６）式を用いて輝度信号Ｙが求められる。
【００８６】
なお、図５のフローチャートにおいて、ＣＣＤ１６、１７のダイナミックレンジＶ_DRが充分に広い場合には、各ＣＣＤ１６、１７を相互に異なる電子シャッタスピードで露光する必要はない。
【００８７】
【発明の効果】
以上のように本発明によれば、イメージセンサからの画素信号の読出モードが変化する構成において、読出モードに対応させてＡ／Ｄ変換器の数を増加させることなく画素信号のＡ／Ｄ変換の精度を高めることができる、安価な撮像装置が得られる。
【図面の簡単な説明】
【図１】本発明の一実施例を適用したスチルビデオカメラの回路構成を示すブロック図である。
【図２】第１および第２のＣＣＤの受光面上に設けられたカラーフィルタの配列を示す図である。
【図３】第１および第２のＣＣＤの出力信号に関し、対応する画素同士を重ね合わせた状態を示す図である。
【図４】実施例における色信号の抽出方法を説明するための図である。
【図５】測距・測光動作を行うプログラムの前半部分を示すフローチャートである。
【図６】測距・測光動作を行うプログラムの後半部分を示すフローチャートである。
【図７】映像信号のメモリカードへの記録動作を行うプログラムのフローチャートである。
【図８】撮影動作のタイミングチャートである。
【図９】ＡＦ動作におけるフォーカスレンズの移動を示す図である。
【図１０】第２の読出モードにおける画素信号の読出動作を示す図である。
【図１１】第１の読出モードにおける画素信号の読出動作を示す図である。
【図１２】第１および第２のＣＣＤによる測光範囲を示す図である。
【図１３】測光動作における各信号の出力タイミングを示す図である。
【図１４】第２の読出モードにおいて、２つの画素信号が垂直転送ＣＣＤにおいて加算される動作を示す図である。
【図１５】第２の読出モードにおける画素信号の垂直転送ＣＣＤへの読み出し動作、垂直転送動作および水平転送動作を示す図である。
【図１６】第２の読出モードにおいて、垂直転送動作における電圧信号の時間的変化と、垂直転送ＣＣＤにおけるポテンシャルの井戸の時間的変化とを示す図である。
【図１７】第１の読出モードにおいて、画素信号が垂直転送ＣＣＤに転送される動作を示す図である。
【図１８】第１の読出モードにおける画素信号の垂直転送ＣＣＤへの読み出し動作、垂直転送動作および水平転送動作を示す図である。
【図１９】第１の読出モードにおいて、垂直転送動作における電圧信号の時間的変化と、垂直転送ＣＣＤにおけるポテンシャルの井戸の時間的変化とを示す図である。
【図２０】第２実施例の撮像装置を備えたスチルビデオカメラのブロック図である。
【図２１】第３実施例の撮像装置を備えたスチルビデオカメラのブロック図である。
【符号の説明】
１６、１７ＣＣＤ（イメージセンサ）
２１、２２フィルタ

Claims

水平方向および垂直方向に沿って並ぶ各画素の画素信号を生成する複数のイメージセンサと、
水平方向に沿って１行ずつ画素信号を読み出す第１の読出モード、または水平方向に沿って隣接する行の画素信号を加算して読み出す第２の読出モードにより、前記各々のイメージセンサから画素信号を読み出す画素信号読出手段と、
この画素信号読出手段により読み出された画素信号を、前記第１および第２の読出モードにおいてほぼ同じダイナミックレンジで量子化するＡ／Ｄ変換手段と、
前記第２の読出モードに従って前記各イメージセンサから読み出された１フィールドの画素信号に基づいて、測光演算または測距演算のための輝度信号を生成する輝度信号生成手段と、
前記第１の読出モードに従って前記各々のイメージセンサから読み出された画素信号に基づいて、静止画の映像信号を生成する映像信号生成手段とを備え、
前記輝度信号生成手段は、前記各イメージセンサが相互に異なる電子シャッタスピードで露光されるとき、前記各イメージセンサから読み出された画素信号に基づいて被写体輝度を求める
ことを特徴とする撮像装置。
前記イメージセンサの受光面上に、マゼンタ、イエロー、シアンおよびグリーンの色フィルタ要素を規則的に配置して成る補色市松カラーフィルタが設けられることを特徴とする請求項１に記載の撮像装置。
前記Ａ／Ｄ変換手段は、前記第１の読出モードにおいて前記イメージセンサから読み出される画素信号を増幅する増幅手段を備えたことを特徴とする請求項１に記載の撮像装置。
前記Ａ／Ｄ変換手段は、前記第２の読出モードにおいて前記イメージセンサから読み出される画素信号を減衰させる減衰手段を備えたことを特徴とする請求項１に記載の撮像装置。
前記イメージセンサと減衰手段の間に、前記イメージセンサから読み出される画素信号を１画素分遅延させた信号と遅延させない信号とを加算する加算器が設けられることを特徴とする請求項４に記載の撮像装置。
前記Ａ／Ｄ変換手段は、前記第１の読出モードでは上限電圧と下限電圧の差が相対的に小さい基準電圧を用いて画素信号を量子化し、前記第２の読出モードでは上限電圧と下限電圧の差が相対的に大きい基準電圧を用いて画素信号を量子化することにより、前記第１の読出モードおよび前記第２の読出モードにおいて前記Ａ／Ｄ変換手段におけるダイナミックレンジが略同じ大きさとなるように設定されることを特徴とする請求項１に記載の撮像装置。
前記輝度信号生成手段は、前記被写体輝度に基づいて測距用電子シャッタスピードを求め、この測距用電子シャッタスピードに従い、絞り開放状態で前記イメージセンサを露光し、この露光によってイメージセンサから得られた画素信号に基づいて測距演算のための輝度信号を生成することを特徴とする請求項１に記載の撮像装置。
前記輝度信号生成手段は、前記イメージセンサから読み出された画素信号に基づいて被写体輝度を求めるとともに、この被写体輝度に基づいて測距用電子シャッタスピードを求め、この測距用電子シャッタスピードに従い、絞り開放状態で前記イメージセンサを露光し、この露光によってイメージセンサから得られた画素信号に基づいて測距演算のための輝度信号を生成することを特徴とする請求項１に記載の撮像装置。