以下、図面を参照しながら本発明の実施の形態について説明する。
図1は本発明の実施形態の電子的撮像装置の回路構成を示すブロック図である。電子的撮像装置は、CCDイメージセンサー12と、相関二重サンプリング回路(CDS)14、ゲインコントロールアンプ(AMP)16、アナログデジタル変換器18とを有している。CCDイメージセンサー12はタイミングジェネレーター20から供給される転送パルスに従って駆動され、相関二重サンプリング回路(CDS)14はタイミングジェネレーター20から供給されるサンプルホールドパルスに従って駆動される。タイミングジェネレーター20はシグナルジェネレーター22で生成される同期信号に従って互いに同期して駆動する。
情報処理部26はA/D変換器18から供給される画素信号を処理して画像を形成する。DRAM28は情報処理部26から供給される画像データを一時的に記憶し、圧縮伸長回路30はDRAM28に記憶されている画像データを圧縮し、記録媒体32は圧縮伸長回路30から供給される圧縮された画像データを記録する。また、圧縮伸長回路30は記録媒体32に記録されている圧縮された画像データを伸長し、DRAM28は圧縮伸長回路30から供給される伸長された画像データを一時的に記憶する。
インターフェース部36はモニター、パソコン等の外部装置とのデータのやりとりを可能とする端子であり、情報処理部26あるいはDRAM28から供給される画像データを外部装置へ出力することを可能とし、あるいは場合によっては外部装置から画像データを装置内に取り込むことを可能にする。
液晶表示部34は情報処理部26から供給される画像データあるいはDRAM28から供給される伸長された画像データを表示する。
CPU24はタイミングジェネレーター20やシグナルジェネレーター22やレンズ駆動系38や絞り制御系42の制御を行なう。具体的には、静止画像の取り込みを指示するトリガー46からの指令に従ってCCDイメージセンサー12の駆動モードの切り替えや、DRAM28から供給される画像データに基づいてレンズ40を駆動させるオートフォーカス制御や絞り44の開口を変更する制御やCCDイメージセンサー12の露光量の制御などを行なう。
CCDイメージセンサー12は、100万を越える画素を有するインターライン型のCCDイメージセンサーで、線順次走査による全画素読み出しに適したベイヤー配列の色フィルターを有している。本明細書において、線順次走査による全画素読み出しとは、各ラインに含まれる画素のデータを、1ライン目、2ライン目、3ライン目と、1ラインずつ順番に読み出し、その結果として一回の走査で全部の画素信号を読み出すことを意味するものとする。
ベイヤー配列の色フィルターの構成を図2に示す。図中、R、G、Bはそれぞれ赤、緑、青を選択的に透過するフィルターを意味し、その一つ一つがフォトダイオードの前に位置している。このベイヤー配列の色フィルターでは、奇数ラインにはR(赤)とG(緑)のフィルターが交互に並び、偶数ラインにはG(緑)とB(青)のフィルターが交互に並び、G(緑)のフィルターは全体で市松模様に並んでいる。
CCDイメージセンサー12は高画質モードと高速モードのいずれかで駆動される。駆動モードの切り替えは、タイミングジェネレーター20がCCDイメージセンサー12に出力する転送パルスを変更することにより行なわれる。高画質モードはCCDイメージセンサー12の画素信号の全部を線順次走査により読み出す駆動モードであり、きれいな画像が得られるが、一枚の画像の読み出しに1/15〜1/10秒の時間を要する。一方、高速モードは水平転送の回数を減らした駆動モードで、CCDイメージセンサー12の画素信号を選択的にまたは加算して読み出す駆動モードであり、画質は高画質モードに比べて落ちるが、一枚の画像の読み出しを1/60〜1/30秒の時間で行なえる。従って、30〜60枚/秒のフレームレートで画像を得ることができ、通常の動画表示に対応可能である。
CCDイメージセンサー12は通常時すなわち非撮影時は高速モードで駆動され、トリガー46が押し下げられた時すなわち撮影時だけ高画質モードで駆動される。CCDイメージセンサー12が高速モードで駆動される間、液晶表示部34には30〜60枚/秒のフレームレートで画像が表示され、これは人間の目には動画として認識される。高画質モードにより得られたきれいな画像は記録媒体32に記録される。静止画の記録終了後、CCDイメージセンサー12の読み出しモードは再び高速モードに戻る。これについては後に図12を用いて詳しく説明する。
なお、電子的撮像装置は、きれいな画像の記録が要求されないものでは、トリガー46が押し下げられた時もCCDイメージセンサー12を高速モードで駆動する構成であってもよい。この場合、液晶表示部32に表示される画像は人間の目には常に動画として認識される。
図3は高画質モードによる画素信号の読み出しの様子を示している。図中、左側の列はCCDイメージセンサー12の画素信号をライン単位で示しており、右側の列は実際に読み出される画素信号をライン単位で示している。また、図2の色フィルターとの対応により、奇数ラインは赤(R)の色(color)データを含んでいるとの理由からCRと表記し、偶数ラインは青(B)の色(color)データを含んでいるとの理由からCBと表記してある。
高画質モードでは、CCDイメージセンサー12は画素信号を1ラインずつ順番に出力する。すなわち、最初に1ライン目の画素信号を出力し、1ライン目の画素信号の出力が終了したら2ライン目の画素信号を出力し、2ライン目の画素信号の出力が終了したら3ライン目の画素信号を出力し、以降、同じ処理を繰り返し、最後にLライン目の画素信号を出力する。
このような線順次走査では、色フィルターがベイヤー配列であることと関連して、赤色情報を含むライン(CR)と青色情報を含むライン(CB)が交互に読み出されるので、高解像の画像が得られる。さらに、隣接するラインの画素信号の露光時間の差がないので、高画質の画像が得られる。ただし、全部の画素信号の読み出しには1/15〜1/10秒の時間を要する。
高速モードは、その読み出しの仕方により色々なパターンが考えられる。さらに詳しくは、実際にそこから画素信号を読み出すラインの選択の仕方、また選択したラインに対する処理の仕方によって、種々のモードが考えられる。以下では、電子的撮像装置に適用可能な種々のモードの中のいくつかの例について代表的に説明する。
図4は第一の高速モードによる画素信号の読み出しの様子を示している。図中、左側の列はCCDイメージセンサー12の画素信号をライン単位で示しており、右側の列は実際に読み出される画素信号をライン単位で示している。また、図3と同様に、赤(R)の色(color)データを含むラインはCRと表記し、青(B)の色(color)データを含むラインはCBと表記してある。
図4に示されるように、この高速モードでは、CCDイメージセンサー12は2ライン置きに1ラインの画素信号を順番に出力する。別の表現をすれば、垂直方向の3ライン毎に1ラインの画素信号を出力する。つまり、最初に3ライン目の画素信号の出力し、3ライン目の画素信号の出力が終了したら6ライン目の画素信号を出力し、6ライン目の画素信号の出力が終了したら9ライン目の画素信号を出力し、以降、同じ処理を繰り返し、最後にLライン目の画素信号を出力する。図4には、便宜上、最後にLライン目の画素信号が出力されるように、言い換えればLが3の倍数であるように示してあるが、Lが3の倍数である必然性は全くない。
一般にCCDイメージセンサーでは、水平転送に要する時間が画素信号の読み出しに要する時間に大きく寄与する。言い換えれば、水平転送の回数が画素信号の読み出しに要する時間を決定する。
図4の高速モードでは、実際に画素信号が読み出されるラインの数は全体の三分の一である。従って、図3の高画質モードに比べて、水平転送の回数は三分の一であり、画素信号は実質的に三分の一の時間で読み出される。つまり、一枚の画像の画素信号が1/45〜1/30秒の時間で得られる。従って、30〜45枚/秒のフレームレートでの画像の取得が可能であり、このフレームレートは通常の動画表示を実現し得る数値である。
また、図4の高速モードでは、ベイヤー配列の色フィルターに対して、2ライン置きに1ラインの画素信号を読み出しているので、別の言い方をすれば、垂直方向の3ライン毎に1ラインの画素信号を読み出しているので、読み出された画素信号すなわち図4の右側の列において、赤色情報を含むライン(CR)と青色情報を含むライン(CB)を垂直方向に交互に並んでいる。従って、高解像の画像が得られる。
このように読み出された画素信号において赤色情報を含むライン(CR)と青色情報を含むライン(CB)が垂直方向に交互に並ぶことを本明細書中では色線順次と呼ぶことにする。また、赤色情報を含むライン(CR)と青色情報を含むライン(CB)が交互に読み出すことを色線順次走査と呼ぶことにする。
上述した図4の高速モードでは、垂直方向の3ライン毎に1ラインの画素信号を読み出しているが、ライン数はこれに限らない。例えば、垂直方向に5ライン毎に1ラインを読み出してもよい。あるいは、7ライン毎に1または3ラインの画素信号を読み出してもよい。
また、垂直方向の3ライン毎に1ラインの画素信号を読み出す場合においても、読み出すラインは3ライン目に限らない。読み出すラインは、1ライン目または2ライン目であってもよい。
これらを参酌すると、図4を用いて説明した第一の高速モードは、一般化して、垂直方向のmライン毎にnラインの画素信号を読み出すモード(ここにmとnは共に自然数でm>nを満足する)であると言える。より詳しくは、垂直方向の(2α−1)ライン毎に(2β−1)ラインの画素信号を読み出すモード(ここにαとβは共に自然数でα>βを満足する)であると言える。この場合、画素信号の読み出しに要する時間は実質的に高画質モードでの読み出しに要する時間のn/mすなわち(2β−1)/(2α−1)になる。また、ベイヤー配列の色フィルターに対して、画素信号は色線順次で読み出される。
図5は第二の高速モードによる画素信号の読み出しの様子を示している。図面の意味およびCRとCBの表記の意味は図4と同じである。
図5に示されるように、この高速モードでは、CCDイメージセンサー12は2ライン置きに2ラインの画素信号を順番に出力する。別の表現をすれば、垂直方向の4ライン毎に2ラインの画素信号を出力する。つまり、最初に1ライン目の画素信号の出力し、1ライン目の画素信号の出力が終了したら2ライン目の画素信号を出力し、2ライン目の画素信号の出力が終了したら5ライン目の画素信号を出力し、5ライン目の画素信号の出力が終了したら6ライン目の画素信号を出力し、以降、同じ処理を繰り返し、最後にL−3ライン目の画素信号の出力を出力し、これに続けてL−2ライン目の画素信号を出力する。図5では、便宜上、Lが4の倍数であるように描かれているが、Lが4の倍数である必然性は全くない。
図5の高速モードでは、実際に画素信号が読み出されるラインの数は全体の二分の一である。従って、図3の高画質モードに比べて、水平転送の回数は二分の一であり、画素信号は実質的に二分の一の時間で読み出される。つまり、一枚の画像の画素信号が1/30秒の時間で得られる。従って、30枚/秒のフレームレートでの画像の取得が可能であり、このフレームレートは通常の動画表示を実現し得る数値である。
また、図5の高速モードでは、ベイヤー配列の色フィルターに対して、2ライン置きに2ラインの画素信号を読み出しているので、別の言い方をすれば、垂直方向の4ライン毎に2ラインの画素信号を読み出しているので、読み出された画素信号すなわち図5の右側の列は、赤色情報を含むライン(CR)と青色情報を含むライン(CB)が垂直方向に交互に並んだ色線順次となっている。従って、高解像の画像が得られる。
さらに、図5の高速モードでは、垂直方向の4ライン毎に1ライン目と2ライン目の画素信号を読み出しているので、読み出された画素信号は隣接するラインの色情報を含んでいる。従って、モアレの少ない画像が得られる。
上述した図5の高速モードでは、垂直方向の4ライン毎に2ラインの画素信号を読み出しているが、ライン数はこれに限らない。例えば、垂直方向に6ライン毎に2ラインの画素信号を読み出してもよい。あるいは、8ライン毎に4ラインの画素信号を読み出してもよい。
また、垂直方向の4ライン毎に2ラインの画素信号を読み出す場合においても、読み出すラインは1ライン目と2ライン目に限らない。2ライン目と3ライン目であっても、または3ライン目と4ライン目であってもよい。あるいは1ライン目と4ライン目であってもよい。
これらを参酌すると、図5を用いて説明した第二の高速モードは、一般化して、垂直方向のmライン毎にnラインの画素信号を読み出すモード(ここにmとnは共に自然数でm>nを満足する)であると言える。より詳しくは、垂直方向の2αライン毎に2βラインの画素信号を読み出すモード(ここにαとβは共に自然数でα>βを満足する)であると言える。この場合、画素信号の読み出しに要する時間は実質的に高画質モードでの読み出しに要する時間のβ/αになる。
さらに詳しくは、2βラインは、隣接するラインからなるか、偶数ラインを間に置いたラインからなると言える。この場合、ベイヤー配列の色フィルターに対して、画素信号は色線順次で読み出され、読み出される画素信号は隣接するラインの色情報を含んでいる。
図6は第三の高速モードによる画素信号の読み出しの様子を示している。図面の意味およびCRとCBの表記の意味は図4と同じである。
図6に示されるように、この高速モードでは、CCDイメージセンサー12は垂直方向の3ライン毎に2ラインの画素信号を加算して出力する。つまり、最初に1ライン目の画素信号と3ライン目の画素信号を加算して出力し、続いて、4ライン目の画素信号と6ライン目の画素信号を加算して出力し、以降、同じ処理を繰り返し、最後にL−2ライン目の画素信号とLライン目の画素信号を加算して出力する。図6では、便宜上、Lが3の倍数であるように描いてあるが、Lが3の倍数である必然性は全くない。
図6の高速モードでは、実際に読み出されるラインの数は全体の三分の一である。従って、図3の高画質モードに比べて、水平転送の回数は三分の一であり、画素信号は実質的に三分の一の時間で読み出される。一枚の画像の画素信号が1/45〜1/30秒の時間で得られる。従って、30〜45枚/秒のフレームレートでの画像の取得が可能であり、このフレームレートは通常の動画表示を実現し得る数値である。
また、図6の高速モードでは、ベイヤー配列の色フィルターに対して、垂直方向の3ライン毎に2ラインの画素信号を加算して読み出しているので、読み出された画素信号は、赤色情報を含むライン(CR)と青色情報を含むライン(CB)が垂直方向に交互に並んだ色線順次となっている。従って、高解像の画像が得られる。
さらに、図6の高速モードでは、垂直方向の3ライン毎にその中の最上ラインの画素信号と最下ラインの画素信号を加算して読み出しているので、読み出された画素信号は隣接するラインの色情報を含んでいる。従って、モアレの少ない画像が得られる。
画素信号の加算は垂直転送路または水平転送路において行なわれる。以下では、まず垂直転送路における加算について説明し、その後で水平転送路における加算について説明する。
図7は垂直転送路における画素信号の加算を説明する図である。図中、四角形はCCDイメージセンサーの各画素であるフォトダイオードを意味し、四角形内のR、G、Bのアルファベットはフォトダイオードが認知する色を意味している。また、垂直方向に3ライン毎に分割した際に、それぞれの分割した中において相対的に同じ位置に相当するフォトダイオードには、その色のアルファベットすなわちR、G、Bのいずれかに、最上ライン、中央ライン、最下ラインに対応させてA、B、Cの添字を付してある。
最上ライン(Aの添字がついたアルファベットで示されたフォトダイオードからなる)の画素信号と最下ライン(Cの添字がついたアルファベットで示されたフォトダイオードからなる)の画素信号の加算は例えば次のようにして行なわれる。図7において、まず、Aの添字がついたアルファベットのフォトダイオードの画素信号が垂直転送路に移送され、画素信号である電荷がフォトダイオードの横に形成されたポテンシャル井戸に格納される。その後、画素信号の電荷を格納したポテンシャル井戸が垂直転送路を下方に移動され、2ライン下のフォトダイオードすなわちCの添字がついたアルファベットのフォトダイオードの横に来ると同時に、最下ラインのフォトダイオードすなわちCの添字がついたアルファベットのフォトダイオードの画素信号が垂直転送路に移送される。この結果、ポテンシャル井戸(図において+を囲む楕円で示される)には、Aの添字がついたアルファベットのフォトダイオードから移送された電荷とCの添字がついたアルファベットのフォトダイオードから移送された電荷が一緒に格納される。つまり最上ラインのフォトダイオードの画素信号と最下ラインのフォトダイオードの画素信号が加算される。その後、加算した画素信号を格納したポテンシャル井戸は引き続き垂直転送路を下方に移動され、水平転送路に移った後は左方向に移動されライン単位で順番に読み出される。
ポテンシャル井戸の大きさは、全画素読み出し時と同じであっても、異なっていてもよい。
ポテンシャル井戸の大きさが全画素読み出し時と同じ場合すなわちポテンシャル井戸の容量が全画素読み出し時のフォトダイオードの容量と同じ場合、オーバーフロードレインの基板電圧を調整してフォトダイオードの容量をポテンシャル井戸の容量の二分の一に変更することが好ましい。別の言い方をすれば、フォトダイオードを全画素読み出し時の二分の一のダイナミックレンジで動作させることが好ましい。このような容量すなわちダイナミックレンジの変更は、加算後に電荷が垂直転送路から溢れるのを防ぐ。この場合、フォトダイオードのダイナミックレンジが二分の一に制限されるが、読み出し後の信号レベルが全画素読み出し時と同じなので後の信号処理がそのまま行なえるメリットがある。
また、ポテンシャル井戸の大きさが全画素読み出し時と異なる場合、フォトダイオードがダイナミックレンジの変更なしで動作されるのであれば、ポテンシャル井戸の大きさは全画素読み出し時の二倍であることが好ましい。このようなポテンシャル井戸の大きさの設定は、加算後に電荷が垂直転送路から溢れるのを防ぐ。この場合、フォトダイオードのダイナミックレンジをフルに生かせるのでSN比の面でメリットがある。
図8は水平転送路における画素信号の加算を説明する図である。図中の四角形およびアルファベットの意味は図7と同じである。
最上ラインの画素信号と最下ラインの画素信号の加算は次のようにして行なわれる。図8において、まず、Aの添字がついたアルファベットのフォトダイオードの画素信号とCの添字がついたアルファベットのフォトダイオードの画素信号が共に垂直転送路に移送され、画素信号である電荷がフォトダイオードの横に形成されたポテンシャル井戸(図において白抜きの楕円で示される)に格納される。その後、すべてのポテンシャル井戸が一様に垂直転送路を下方に移動され、3ライン毎に分割された中の最下ラインのポテンシャル井戸に格納された電荷が水平転送路に形成されたポテンシャル井戸(図において+を囲む楕円で示される)に移った後も、ポテンシャル井戸の下方への移動は2ライン分だけ続けられ、3ライン毎に分割された中の最上ラインのポテンシャル井戸に格納された電荷も水平転送路に形成されたポテンシャル井戸に移る。この結果、水平転送路内のポテンシャル井戸には、Aの添字がついたアルファベットのフォトダイオードから移送された電荷とCの添字がついたアルファベットのフォトダイオードから移送された電荷とが格納される。つまり最上ラインのフォトダイオードの画素信号と最下ラインのフォトダイオードの画素信号が加算される。その後、水平転送路内のポテンシャル井戸は左方向に移動されライン単位で順番に読み出される。
水平転送路は、フォトダイオード間を延びる垂直転送路とは異なり、撮像領域の外側に位置するので、従って、水平転送路に形成するポテンシャル井戸は、垂直転送路のポテンシャル井戸の二倍以上の大きな容量をもつものとすることができる。このように水平転送路は大きな容量のポテンシャル井戸を形成可能であるので、フォトダイオードをフルのダイナミックレンジで動作させても、電荷が水平転送路から溢れる心配はない。この場合、フォトダイオードのダイナミックレンジをフルに生かせるのでSN比の面でメリットがある。
上述した図6の高速モードでは、垂直方向の3ライン毎に2ラインの画素信号を読み出しているが、ライン数はこれに限らない。例えば、垂直方向に5ライン毎に2ラインの画素信号を加算して読み出してもよい。あるいは、7ライン毎に2ラインまたは3ラインの画素信号を加算して読み出してもよい。
これらを参酌すると、図6を用いて説明した第三の高速モードは、一般化して、垂直方向のmライン毎にnラインの画素信号を加算して読み出すモード(ここにmとnは共に自然数でm>nを満足する)であると言える。より詳しくは、垂直方向の(2α−1)ライン毎にβラインの画素信号を加算して読み出すモード(ここにαとβは共に自然数で2α−1>β>1を満足する)であると言える。この場合、画素信号の読み出しに要する時間は実質的に高画質モードでの読み出しに要する時間のn/mすなわちβ/(2α−1)になる。
さらに詳しくは、βラインは(2α−1)ライン毎の少なくとも最上ラインと最下ラインを含んでいると言える。この場合、読み出される画素信号は隣接するラインの色情報を含んでいる。
また、更に詳しくは、βラインは(2α−1)ライン毎の最上ラインと最下ラインを含む奇数ラインからなると言える。この場合、ベイヤー配列の色フィルターに対して、画素信号は色線順次で読み出される。
また、図7を用いて説明した加算は、一般化して、nラインの電荷を垂直転送路にn回に分けて移送すると共にm−1回の垂直転送を行なうことによりnラインの加算を垂直転送路で行なった後、m回単位で垂直転送クロックを与えて水平転送路への転送を行なう加算と言える。
また、図8を用いて説明した加算は、一般化して、nラインの電荷を垂直転送路に移送した後にm回単位で垂直転送クロックを与えて水平転送路への転送を行なうことによりnラインの加算を水平転送路で行なう。
図9は第四の高速モードによる画素信号の読み出しの様子を示している。図面の意味およびCRとCBの表記の意味は図4と同じである。
図9に示されるように、この高速モードでは、CCDイメージセンサー12は垂直方向に連続する3ラインの画素信号を加算して出力する。つまり、最初に1ライン目の画素信号と2ライン目の画素信号と3ライン目の画素信号を加算して出力し、続いて、4ライン目の画素信号と5ライン目の画素信号と6ライン目の画素信号を加算して出力し、以降、同じ処理を繰り返し、最後にL−2ライン目の画素信号とL−1ライン目の画素信号とLライン目の画素信号を加算して出力する。図9では、便宜上、Lが3の倍数であるように描いてあるが、Lが3の倍数である必然性は全くない。
図9の高速モードでは、実際に読み出されるラインの数は全体の三分の一である。従って、図3の高画質モードに比べて、水平転送の回数は三分の一であり、画素信号は実質的に三分の一の時間で読み出される。一枚の画像の画素信号が1/45〜1/30秒の時間で得られる。従って、30〜45枚/秒のフレームレートでの画像の取得が可能であり、このフレームレートは通常の動画表示を実現し得る数値である。
画素信号の加算は垂直転送路または水平転送路において行なわれる。以下では、まず垂直転送路における加算について説明し、その後で水平転送路における加算について説明する。
図10は垂直転送路における画素信号の加算を説明する図である。図中の四角形およびアルファベットの意味は図7と同じである。
画素信号の加算は例えば次のようにして行なわれる。図10において、まず、Aの添字がついたアルファベットのフォトダイオードの画素信号が垂直転送路に移送され、画素信号である電荷がフォトダイオードの横に形成されたポテンシャル井戸に格納される。その後、最上ラインのフォトダイオードの画素信号の電荷を格納したポテンシャル井戸が垂直転送路を下方に移動され、1ライン下のフォトダイオードすなわちBの添字がついたアルファベットのフォトダイオードの横に来ると同時に、次ラインのフォトダイオードすなわちBの添字がついたアルファベットのフォトダイオードの画素信号が垂直転送路に移送される。この結果、ポテンシャル井戸には、Aの添字がついたアルファベットのフォトダイオードから移送された電荷とBの添字がついたアルファベットのフォトダイオードから移送された電荷が一緒に格納される。続いて、最上ラインと次ラインの画素信号の電荷を格納したポテンシャル井戸が引き続き垂直転送路を下方に移動され、さらに1ライン下のフォトダイオードすなわちCの添字がついたアルファベットのフォトダイオードの横に来ると同時に、最下ラインのフォトダイオードすなわちCの添字がついたアルファベットのフォトダイオードの画素信号が垂直転送路に移送される。この結果、ポテンシャル井戸(図において+を囲む楕円で示される)には、Aの添字がついたアルファベットのフォトダイオードから移送された電荷とBの添字がついたアルファベットのフォトダイオードから移送された電荷とCの添字がついたアルファベットのフォトダイオードから移送された電荷が一緒に格納される。つまり最上ラインのフォトダイオードの画素信号と2ライン目のフォトダイオードの画素信号と最下ラインのフォトダイオードの画素信号が加算される。その後、加算した画素信号を格納したポテンシャル井戸は引き続き垂直転送路を下方に移動され、水平転送路に移った後は左方向に移動されライン単位で順番に読み出される。
ポテンシャル井戸の大きさは、全画素を読み出す時と同じであっても、異なっていてもよい。
ポテンシャル井戸の大きさが全画素読み出し時と同じ場合すなわちポテンシャル井戸の容量が全画素読み出し時のフォトダイオードの容量と同じ場合、オーバーフロードレインの基板電圧を調整してフォトダイオードの容量をポテンシャル井戸の容量の三分の一に変更することが好ましい。別の言い方をすれば、フォトダイオードを全画素読み出し時の三分の一のダイナミックレンジで動作させることが好ましい。このような容量すなわちダイナミックレンジの変更は、加算後に電荷が垂直転送路から溢れるのを防ぐ。この場合、フォトダイオードのダイナミックレンジが三分の一に制限されるが、読み出し後の信号レベルが全画素読み出し時と同じなので後の信号処理がそのまま行なえるメリットがある。
また、ポテンシャル井戸の大きさが全画素読み出し時と異なる場合、フォトダイオードをダイナミックレンジの変更なしで動作されるのであれば、ポテンシャル井戸の大きさは全画素読み出し時の三倍であることが好ましい。このようなポテンシャル井戸の大きさの設定は、加算後に電荷が垂直転送路から溢れるのを防ぐ。この場合、フォトダイオードのダイナミックレンジをフルに生かせるのでSN比の面でメリットがある。
図11は水平転送路における画素信号の加算を説明する図である。図中の四角形およびアルファベットの意味は図7と同じである。
画素信号の加算は次のようにして行なわれる。図11において、まず、Aの添字がついたアルファベットのフォトダイオードの画素信号とBの添字がついたアルファベットのフォトダイオードの画素信号とCの添字がついたアルファベットのフォトダイオードの画素信号が共に垂直転送路に移送され、画素信号である電荷がフォトダイオードの横に形成されたポテンシャル井戸(図において白抜きの楕円で示される)に格納される。その後、すべてのポテンシャル井戸が一様に垂直転送路を下方に移動され、3ライン毎に分割された中の最下ラインのポテンシャル井戸に格納された電荷が水平転送路に形成されたポテンシャル井戸(図において+を囲む楕円で示される)に移った後も、ポテンシャル井戸の下方への移動は2ライン分だけ続けられ、3ライン毎に分割された中の次ラインのポテンシャル井戸に格納された電荷と最上ラインのポテンシャル井戸に格納された電荷も水平転送路に形成されたポテンシャル井戸に移る。この結果、水平転送路内のポテンシャル井戸には、Aの添字がついたアルファベットのフォトダイオードから移送された電荷とBの添字がついたアルファベットのフォトダイオードから移送された電荷とCの添字がついたアルファベットのフォトダイオードから移送された電荷とが格納される。つまり垂直方向に連続する3ラインのフォトダイオードの画素信号が加算される。その後、水平転送路内のポテンシャル井戸は左方向に移動されライン単位で順番に読み出される。
水平転送路は、フォトダイオード間を延びる垂直転送路とは異なり、撮像領域の外側に位置するので、その幅は大きく設定することも可能である。つまり、水平転送路はその容量を大きく設計することが可能である。従って、水平転送路に形成するポテンシャル井戸は、垂直転送路のポテンシャル井戸の三倍以上の大きな容量をもつものとすることができる。このように水平転送路は大きな容量のポテンシャル井戸を形成可能であるので、フォトダイオードをフルのダイナミックレンジで動作させても、電荷が水平転送路から溢れる心配はない。この場合、フォトダイオードのダイナミックレンジをフルに生かせるのでSN比の面でメリットがある。
上述した図9の高速モードでは、垂直方向に連続する3ラインの画素信号を加算して読み出しているが、ライン数はこれに限らない。例えば、垂直方向に連続する4ラインまたは5ラインの画素信号を加算して読み出してもよい。
特に、垂直方向に偶数ラインの画素信号を加算して読み出した場合、ベイヤー配列の色フィルターに対して読み出された画素信号はR+2G+Bの色情報を含んでいることになる。これは輝度信号の構成に近く、コントラスト情報を取り易く、オートフォーカス制御用のデータに適している。
これらを参酌すると、図9を用いて説明した第四の高速モードは、一般化して、垂直方向に連続するqラインの画素信号を加算して読み出すモード(ここにqは自然数である)であると言える。
また、図10を用いて説明した加算は、一般化して、qラインの電荷を垂直転送路にq回に分けて移送すると共にq−1回の垂直転送を行なうことによりnラインの加算を垂直転送路で行なった後、q回単位で垂直転送クロックを与えて水平転送路への転送を行なう加算と言える。
また、図8を用いて説明した加算は、一般化して、qラインの電荷を垂直転送路に移送した後にq回単位で垂直転送クロックを与えて水平転送路への転送を行なうことによりqラインの加算を水平転送路で行なう加算と言える。
前述したように、CCDイメージセンサー12は通常時は高速モードで駆動され、トリガー46が押し下げられた時だけ高画質モードで駆動され、きれいな画像が記録媒体32に記録される。例えば、図12に示されるように、液晶表示部32には、通常時は1フレーム毎すなわち1/60秒毎に一枚の画像が表示され、トリガー46が押し下げられた直後は6フレームに相当する時間すなわち1/10秒の間に一枚の画像が表示される。1/60秒間に一枚の画像表示すなわち60枚/秒のフレームレートでの画像表示は一般に人間の目には動画として認識される。このような理由から、図12では、高速モードにより得られる画像を「動画」と表記し、これと区別するため、高画質モードにより得られる画像を「静止画」と表記してある。これに関連して、以下の説明においても、場合によって、高速モードにより得られる画像を「動画」と表現し、高画質モードにより得られる画像を「静止画」と表現する。
静止画の読み出しには複数のフレームに相当する時間(図12では1/10秒)を要するため、トリガー押し下げ後のしばらくの間は液晶表示部32には静止画が表示され、その間に静止画は記録媒体32に記録される。静止画の記録終了後、CCDイメージセンサー12の読み出しモードは再び高速モードに戻り、液晶表示部32には再び動画が表示される。
この電子的撮像装置では、図13に示されるように、1フレーム毎つまり1/60秒毎に、オートフォーカス調節機構(AF)、自動ホワイトバランス調節機構(AWB)、自動露出調節機構(AE)のための制御データを得ている。AF、AWB、AEのための制御データの取得は、CPU24により、これまで説明してきた一部画像読み出しモードによってDRAM28に一時的に記憶された画像データに基づいて行なわれる。つまり、CPU24は、1フレーム毎すなわち1/60秒毎に、DRAM28に一時的に記憶された画像データを取り込み、これに適当な演算処理を行ない、AF、AWB、AEのための制御データのいずれかを算出する。AF、AWB、AEのための制御データは1フレーム毎に順番に算出され、制御データの算出は動画表示の間は繰り返し行なわれる。
算出されたAF用の制御データはレンズ駆動系38に送られ、レンズ駆動系38はこれに基づいてレンズ40を光軸方向に移動させる。AE用の制御データは絞り駆動系42に送られ、絞り駆動系42はこれに基づいて絞り44の開口径を調節する。AWB用の制御データは情報処理部26に送られ、画像の色合いの補正に利用される。
このように1フレーム毎にAF、AWB、AEのための制御データを得ているため、制御データを得るための電気回路として、画像データを一時的に記憶するDRAM28を利用できる。従来の装置は、AF、AWB、AEのための制御データを同時に得ているため、三系統の専用の回路を必要としたが、この装置はそのような回路を必要としない。
動画を表示するための高速モードは、上述した四つのモードの中で切り換えられてもよい。さらに、モードの切り換えに伴ない、制御データの算出の仕方も切り換えられてもよい。動画表示時の読み出しモードの切り換えは例えばトリガー操作によって行なわれる。この場合、トリガー46は二段押し式トリガーが使用され、これはトリガーが一段押し下げられたときに第一のスイッチとして機能し、続けて二段押し下げられたときに第二のスイッチとして機能する。図14はこのようなトリガー操作に応じた読み出しモードの切り換えの一例を示している。
通常時は、CCDイメージセンサー12は、前述の第一ないし第二ないし第三の高速モードのいずれかのモードで駆動される。図14には、これらを総称して「nライン」モードと表記してある。その間は、nラインモードにより得られる画像データに基づいて、AF、AWB、AEのための制御データが1フレーム毎に繰り返し算出され、AF制御とAWB制御とAE制御が行なわれる。
トリガー46が一段押し下げられた後に少なくとも所定時間が経過する間は、CCDイメージセンサー12は、前述の第四の高速モードで駆動される。図14には、これを「q加算」モードと表記してある。その間、q加算モードに基づいて得られる画像データに基づいて、AFのための制御データが1フレーム毎に算出され、専らAF制御が行なわれる。つまり、トリガーの一段押し下げ後の所定時間はAF制御専用に割り当てられている。前述したように、q加算モードにより読み出される画素信号はR+2G+Bの色情報を含んでおり、輝度信号の構成に近いため、コントラスト情報が取り易く、AF用の制御データの算出に適している。このため、この間は、最適な制御データによるAF制御が行なわれる。
トリガー46が二段押し下げられると、AF制御専用の所定時間が経過していれば直ちに、さもなければ経過後に、CCDイメージセンサー12は、読み出しモードに切り換えられ、順次走査による高画質モードで駆動される。その後、6フレームすなわち1/10秒の間に順次走査によるきれいな画像が記録媒体32に記録される。静止画の記録終了後、CCDイメージセンサー12の読み出しモードは再びnラインモードに戻る。
このような読み出しモードの切り換えと制御データの変更により、静止画記録の直前は専らAF制御が最適な制御データに基づいて行なわれるので、より正確に合焦したきれいな画像の取得が効果的に行なわれる。
図15はトリガー操作に応じた読み出しモードの切り換えの別の例を示している。この例では、CCDイメージセンサー12は常にq加算モードで駆動されるが、静止画記録直前の加算ライン数が通常時の二倍になっている。
通常時は、CCDイメージセンサー12は、垂直方向に連続するαライン(αは2以上の自然数)の画素信号を加算して読み出すq加算モードで駆動される。その間は、このq加算モードにより得られる画像データに基づいて、AF、AWB、AEのための制御データが1/60秒毎に繰り返し算出され、AF制御とAWB制御とAE制御が行なわれる。
トリガー46が一段押し下げられた後に少なくとも所定時間が経過する間は、CCDイメージセンサー12は、垂直方向に連続する2αラインの画素信号を加算して読み出すq加算モードで駆動される。その間は、このq加算モードにより得られる画像データに基づいて、AFのための制御データが1/120秒毎に算出され、これに基づいてAF制御が行なわれる。
トリガー46が二段押し下げられると、AF制御専用の所定時間が経過していれば直ちに、さもなければ経過後に、CCDイメージセンサー12は、読み出しモードが切り換えられ、順次走査による高画質モードで駆動される。その後、6フレームすなわち1/10秒の間に順次走査によるきれいな画像が記録媒体32に記録される。静止画の記録終了後、CCDイメージセンサー12の読み出しモードは再び通常時のq加算モードに戻る。
このような読み出しモードの切り換えと制御データの変更により、静止画記録の直前は専らAF制御が通常時の二倍のレートで得られる制御データに基づいて行なわれるので、より高速に合焦しシャッターチャンスを逃さずにきれいな画像の取得が効果的に行なわれる。
本発明は、上述の実施の形態に何等限定されるものではなく、その技術思想を逸脱しない範囲で行なわれる実施はすべて含む。
12…CCDイメージセンサー、20…タイミングジェネレーター、22…シグナルジェネレーター、24…CPU、26…情報処理部、28…DRAM、30…圧縮伸長回路、32…記録媒体、34…液晶表示部、46…トリガー。