以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態による撮像装置の概略構成を示したブロック図である。図1において、撮像装置100は、レンズ群111、列アンプ内蔵固体撮像素子117、撮像素子制御回路116、A/D変換器114、レンズ等駆動回路115、着脱メモリ120、画像処理回路121、圧縮伸張部122、内蔵メモリ125、画像表示用LCD130、LCDドライバ131、システムコントローラ140、不揮発性メモリ141、操作部146から構成される。
なお、図9に示した従来の撮像装置500に対する本実施形態の撮像装置100の構成の変更箇所は、撮像装置500に備えていた固体撮像素子512を列アンプ内蔵固体撮像素子117に変更し、列アンプ内蔵固体撮像素子117の列アンプのゲインなどを制御する撮像素子制御回路116を追加したことである。また、画像処理回路121の処理内容、より具体的には、長時間露光動作における画像信号の処理内容を変更している。
レンズ群111は、列アンプ内蔵固体撮像素子117に被写体の光学像を結像させる複数の光学レンズから構成される。
レンズ等駆動回路115は、システムコントローラ140によって制御され、レンズ群111の例えば、焦点調節用のフォーカスレンズなどの駆動を行う。
列アンプ内蔵固体撮像素子117は、レンズ群111を通過した被写体の光学像を結像し、露光された入射光量に応じた画素信号に対してノイズ成分を抑圧したアナログ画像信号をA/D変換器114に出力する列アンプを備えた固体撮像素子である。
A/D変換器114は、列アンプ内蔵固体撮像素子117から入力されたノイズ抑圧後のアナログ画像信号をアナログ・デジタル変換によって、デジタル画像データに変換する。なお、変換されたデジタル画像データは、内蔵メモリ125に一時記憶される。
内蔵メモリ125は、例えば、SDRAM等の不揮発性の高速な半導体記憶装置で、本実施形態の撮像装置100内の各処理で作成されたデジタルデータを一時記憶する。なお、内蔵メモリ125は、本実施形態の撮像装置100において長時間露光動作を行う際のデジタルデータ(デジタル画像データ)を一時記憶する領域と、最終的に記録(例えば、着脱メモリ120に記録)する画像データを一時記憶する領域とを含んでいる。なお、内蔵メモリ125内のメモリ領域は、撮像素子制御回路116が行う列アンプ内蔵固体撮像素子117の読み出し方法に応じて制御される。なお、本実施形態の説明において、特に明示せずに内蔵メモリ125を示す場合は、長時間露光動作において使用される一時記憶領域を表す。また、内蔵メモリ125内の最終的に記録する画像データを一時記憶する領域を示す場合は、「内蔵メモリ125(画像記録領域)」と表す。
画像処理回路121は、内蔵メモリ125に一時記憶されたデジタル画像データに対して色情報の変換処理や画素数の変換処理などを行って、撮像装置100が撮影した被写体の画像データに変換し、再度内蔵メモリ125に一時記憶する。また、画像処理回路121は、内蔵メモリ125に一時記憶された画像データに、画素数の変換処理などを行って画像表示用LCD130に表示するための表示データに変換して、LCDドライバ131に出力する。
また、画像処理回路121は、長時間露光動作において各所定の露光時間で得られたデジタル画像データの演算処理を行う。
圧縮伸張部122は、内蔵メモリ125に一時記憶された画像データを、例えば、JPEG等の圧縮技術を用いて、圧縮した圧縮画像データを作成し、この圧縮画像データを着脱可能なメモリカード等の着脱メモリ120に記録する。
着脱メモリ120は、例えば、メモリカード等の着脱可能なメモリで、撮像装置100が撮影した画像データを撮像装置100の利用者に提供する。
LCDドライバ131は、画像処理回路121が作成した表示データを画像表示用LCD130の入力形式に変換する。
画像表示用LCD130は、LCDドライバ131によって入力形式が変換された表示データを表示する表示装置である。
システムコントローラ140は、撮像装置100の利用者の操作に応じて、撮像装置100の全体の制御を行う、CPU(Central Processing Unit)等の処理装置である。
不揮発性メモリ141は、システムコントローラ140が実行する撮像装置100のプログラムを格納した、例えば、フラッシュROM等の書き換え可能な半導体記憶装置である。
操作部146は、撮像装置100の利用者によって操作される、図示しないレリーズボタンや十字キーなどの操作装置からの入力、すなわち、撮像装置100の利用者の操作内容をシステムコントローラ140に伝える。
撮像素子制御回路116は、列アンプ内蔵固体撮像素子117から画素信号を読み出すための制御信号を出力する。例えば、撮像素子制御回路116は、列アンプ内蔵固体撮像素子117の画素信号を全て読み出す場合には、全画素読み出しの駆動信号を列アンプ内蔵固体撮像素子117に出力し、列アンプ内蔵固体撮像素子117の画素信号を間引いて読み出す場合には、間引き読み出しの駆動信号を列アンプ内蔵固体撮像素子117に出力する。
また、撮像素子制御回路116は、列アンプ内蔵固体撮像素子117内の列アンプを制御するための制御信号を出力する。
次に、本実施形態の撮像装置100における列アンプ内蔵固体撮像素子117について説明する。図2は、本実施形態による列アンプ内蔵固体撮像素子117の一例を示した図である。図2(a)に列アンプ内蔵固体撮像素子117の概略構成を示したブロック図を示し、図2(b)に列アンプ内蔵固体撮像素子117の概略動作を示したタイミングチャートを示す。
図2(a)に示すように列アンプ内蔵固体撮像素子117は、単位画素P11〜P24を行方向および列方向(図6(a)においては、2行4列)に二次元的に配置した画素部1と、画素部1の読み出す際に行方向を選択する垂直走査回路2と、画素部1の列方向毎にバイアス電流を供給する電流供給部3と、画素部1の出力信号に含まれるノイズ成分を列方向毎に抑圧する列アンプ内蔵ノイズ抑圧部4と、ノイズ成分が抑圧された信号を出力するための水平選択スイッチ部5と、水平選択スイッチ部5の読出し列を選択する水平走査回路6と、出力ライン7と、列アンプ内蔵ノイズ抑圧部4の列アンプのゲイン設定や列アンプ内蔵ノイズ抑圧部4と水平走査回路6の動作タイミングを決める制御部8から構成される。なお、以下では、単位画素P11〜P24のいずれか1つを示すときには「単位画素P」という。
単位画素P11〜P24は、それぞれ、光電変換部であるフォトダイオードPDと、フォトダイオードPDの検出信号をリセットするリセットトランジスタM1と、フォトダイオードPDの信号を増幅する増幅トランジスタM2と、画素部1の各行を選択するための行選択トランジスタM3とから構成される。
画素部1は、垂直走査回路2から出力される電源ラインVR1〜VR2、行リセットラインφRST1〜φRST2および行選択ラインφROW1〜φROW2によって選択された行方向の単位画素Pの画素信号が、行単位で画素出力ラインV1〜V4に出力される。
列アンプ内蔵ノイズ抑圧部4は、列方向毎に備えられた列アンプ内蔵ノイズ抑圧回路CDS1〜CDS4から構成される。
列アンプ内蔵ノイズ抑圧回路CDS1〜CDS4は、それぞれ、サンプル用トランジスタM4と、クランプ用トランジスタM5と、クランプ用容量C3と、ホールド用容量C4と、フィードバック容量C5と、反転アンプA1とから構成される。なお、列アンプのゲイン設定の変更を可能とするため、フィードバック容量C5は可変できる構成となっている。
次に、図2(b)に示した本実施形態による列アンプ内蔵固体撮像素子117の動作について説明する。なお、図2(b)では、垂直走査回路2により上から1行目が選択された場合における左から1列目の動作、すなわち、単位画素P11の動作に関して説明する。
最初に、制御部8からの制御信号によって列アンプ内蔵ノイズ抑圧部4のゲインGを設定する。このことにより、列アンプ内蔵ノイズ抑圧回路CDS1は、列アンプ内蔵ノイズ抑圧回路CDS1内に含まれるクランプ用容量C3と、フィードバック容量C5と、反転アンプA1とを利用して、そのゲインGが下式(6)となるような反転増幅回路として構成される。
なお、図2(b)において、ゲイン制御信号φGainに示した実線と点線は、制御部8からの制御信号によって設定した列アンプ内蔵ノイズ抑圧部4のゲインGの大きさを示し、点線で示すゲインの大きさは、実線で示すゲインの大きさに対して大きな値(例えは、ゲインG=2倍)に決定したときの一例を示したものである。
上式(6)において、CCLはクランプ用容量C3の容量値、CFはフィードバック容量C5の容量値を示す。
続いて、行選択ラインφROW1を“H”レベルとし、単位画素P11内の行選択トランジスタM3をON状態とする(タイミングt1)。このことにより、単位画素P11内のフォトダイオードPDの信号電圧が、増幅トランジスタM2を介して垂直信号線V1に出力される。このときに垂直信号線V1に出力されるフォトダイオードPDの信号電圧をVSIGとする。
その後、列アンプ内蔵ノイズ抑圧部4に対するサンプル制御ラインφSHおよびクランプ制御ラインφCLを“H”レベルとすることにより、サンプル用トランジスタM4およびクランプ用トランジスタM5がON状態となり、反転アンプA1の入力端子と出力端子が短絡される。このことによって、クランプ用容量C3には、下式(7)に示す差電圧ΔVC3が蓄積される。
上式(7)において、VSHORTは反転アンプA1の出力電圧を示す。
続いて、クランプ制御ラインφCLを“L”レベルとすることによって、クランプ出力ラインCL1を高インピーダンス状態とする(タイミングt2)。
続いて、クランプ出力ラインCL1を高インピーダンスとした状態で、行リセットラインφRST1を“H”レベルとする(タイミングt3)。このことにより、単位画素P11内のフォトダイオードPDのリセット電圧が増幅トランジスタM2を介して垂直信号線V1に出力される。このときの垂直信号線V1のリセット電圧をVRSTとする。また、垂直信号線V1に出力されたリセット電圧VRSTに応じて、列アンプ内蔵ノイズ抑圧部4内の反転アンプA1が下式(8)に示す出力電圧VCDS1(A1)を出力する。
なお、図2(b)において、反転アンプA1の出力電圧VCDS1に示した実線と点線は、制御部8からの制御信号によって設定した列アンプ内蔵ノイズ抑圧部4のゲインGの大きさに応じた反転アンプA1の出力電圧VCDS1のレベルの大きさを示したものである。すなわち、点線のレベルと実線のレベルとは、それぞれ、ゲイン制御信号φGainに示したゲインの大きさに対応した例であり、例えば、点線のレベルは、実線のレベルに対してゲインGが2倍に設定されているときの一例を示したものである。
その後、行リセットラインφRST1を“L”レベルとすることによって、単位画素P11内のフォトダイオードPDのリセット電圧の出力を終了する(タイミングt4)。
その後、サンプル制御ラインφSHを“L”レベルとし、サンプル用トランジスタM4をOFF状態とすることによって、画素部1と列アンプ内蔵ノイズ抑圧部4とを切り離す(タイミングt5)。その後、さらに、行選択ラインφROW1を“L”レベルとすることによって、単位画素P11と垂直信号線V1とを切り離す(タイミングt6)。
その後、列アンプ内蔵ノイズ抑圧部4から出力された信号を出力ライン7に読み出す。この読み出しは、出力ライン7のリセット動作(図示せず)を行った後、水平走査回路6からの列選択ラインφH1によって選択された出力電圧VCDS1(A1)を水平選択スイッチ部5を介して出力ライン7に読み出すことで行われる(タイミングt7)。なお、出力ライン7のリセット動作は、リセット制御ラインφRSを“H”レベルとして出力リセット用トランジスタM11をON状態とすることによって、出力ライン7を出力基準電圧ラインHREFの電圧値VHREFに設定する動作である。また、リセット制御ラインφRSを“L”レベルにすることにより、出力ライン7のリセット動作を完了する。
なお、図2(b)において、列アンプ内蔵固体撮像素子117の出力電圧VOUTに示した実線と点線は、制御部8からの制御信号によって設定した列アンプ内蔵ノイズ抑圧部4のゲインGの大きさに応じた列アンプ内蔵固体撮像素子117の出力電圧VOUTのレベルの大きさを示したものである。すなわち、点線のレベルと実線のレベルとは、それぞれ、ゲイン制御信号φGainに示したゲインの大きさに対応した例であり、例えば、点線のレベルは、実線のレベルに対してゲインGが2倍に設定されているときの一例を示したものである。
ここで、出力ライン7に読み出された信号には、下式(9)に示すようなランダムノイズRNallが含まれる。
上式(9)において、RNAは画素部1および反転アンプA1で発生するランダムノイズ、RNBは反転アンプA1以降からA/D変換器14までで発生するランダムノイズ、Gは列アンプ内蔵ノイズ抑圧部4のゲインを示す。
例えば、ノイズの量を電子の数で表し、画素部1および反転アンプA1で発生するランダムノイズがRNA=6[電子]、反転アンプA1以降からA/D変換器14までで発生するランダムノイズがRNB=12[電子]であるとした場合、列アンプ内蔵ノイズ抑圧部4のゲインを1倍としたときのランダムノイズRNall(G=1倍)は下式(10)で示され、列アンプ内蔵ノイズ抑圧部4のゲインを2倍としたときのランダムノイズRNall(G=2倍)は下式(11)で示される。
上式(10)および上式(11)からわかるように、列アンプ内蔵ノイズ抑圧部4でゲインを増加させた場合、ランダムノイズの増加率は、列アンプ内蔵ノイズ抑圧部4のゲインの増加率よりも小さくなるという特徴を持っている。すなわち、上式(10)に対して上式(11)は、列アンプ内蔵ノイズ抑圧部4のゲインを2倍に増加させているが、ランダムノイズRNall(G=2倍)はランダムノイズRNall(G=1倍)の2倍となっていない。
次に、撮像装置100による撮影動作について説明する。なお、撮像装置100によって通常の撮影を行う場合は、図9に示した従来の撮像装置500による撮影方法と同様であるため、説明を省略する。
ここでは、撮像装置100によって長時間露光による撮影を行い、表示装置に表示させる場合の動作について説明する。なお、本実施形態においては、図2に示した列アンプ内蔵固体撮像素子117を使用し、撮像素子制御回路116は、この列アンプ内蔵固体撮像素子117内の画素部1の読み出しと列アンプ内蔵ノイズ抑圧部4のゲイン設定を制御するものとして説明する。また、画像表示用LCD130が表示できる画像領域(解像度)は、列アンプ内蔵固体撮像素子117の画素数よりも小さいものとして説明する。
撮像装置100による長時間露光を行う場合は、撮像素子制御回路116が所定の露光時間の間隔で列アンプ内蔵固体撮像素子117からのアナログ画像信号の読み出しを複数回行う。この時、撮像素子制御回路116は、列アンプ内蔵固体撮像素子17の列アンプ内蔵ノイズ抑圧部4のゲインを増加させて、所定のフレーム数となるまで、ゲインを増加させたアナログ画像信号の読み出しを行う。
各読み出しで得られたそれぞれのアナログ画像信号は、引き続き、読み出されたアナログ画像信号毎にA/D変換器114によってデジタル画像データに変換されて、内蔵メモリ125に一時記憶される。
撮像装置100による長時間露光の途中の画像を画像表示用LCD130に表示する場合、画像処理回路121は、内蔵メモリ125に新たなデジタル画像データが記憶されるたびに、内蔵メモリ125に一時記憶されている新たなデジタル画像データと、前回までのデジタル画像データとを内蔵メモリ125から読み出す。
そして、画像処理回路121は、内蔵メモリ125から読み出した全てのデジタル画像データを加算する。その後、画像処理回路121は、加算したデジタル画像データに対して列アンプ内蔵ノイズ抑圧部4に設定したゲイン設定値Gで割り算処理を行う。その後、割り算処理したデジタル画像データに対して色情報の変換処理、画素数変換処理など表示に必要な画像処理を行った後に、LCDドライバ131を介して画像表示用LCD130に表示する。
以降、複数回の露光によって新たなデジタル画像データが得られるたびに新たなデジタル画像データと、前回までのデジタル画像データとを加算して表示することを繰り返す。このことにより、撮像装置100の利用者は、長時間露光の途中の画像を確認することができる。
撮像装置100による長時間露光が終了した後に、長時間露光によって得られた最終の画像データを着脱メモリ120に記録する場合は、まず、画像処理回路121は、内蔵メモリ125に一時記憶されている全てのデジタル画像データを内蔵メモリ125から読み出す。
そして、画像処理回路121は、内蔵メモリ125から読み出した全てのデジタル画像データを加算する。その後、画像処理回路121は、加算したデジタル画像データに対して列アンプ内蔵ノイズ抑圧部4に設定したゲイン設定値Gで割り算処理を行う。その後、割り算処理したデジタル画像データに対して、記録する際に必要な色情報の変換処理や画素数の変換処理などを行った画像データを作成し、作成した画像データを圧縮伸張部122に出力する。
圧縮伸張部122は、画像処理回路121から入力された画像データに、圧縮処理を行って圧縮画像データを作成し、この圧縮画像データを着脱メモリ120に記録する。
<第1実施形態>
次に、本実施形態の撮像装置100において長時間露光を行う場合のデジタル画像データの一時記憶、一時記憶されたデジタル画像データの加算処理、および割り算処理の方法について説明する。図3は、本実施形態による撮像装置100におけるデジタル画像データの流れに関係する概略構成を示すブロック図である。長時間露光におけるデジタル画像データを、画像表示用LCD130に表示および着脱メモリ120に記録する方法には、図3に示すような2種類の方法がある。
図3(a)に示す方法は、各所定の露光時間で得られたデジタル画像データを、それぞれ一時記憶する複数のメモリ領域を内蔵メモリ125に用意し、新たなデジタル画像データが入力されるたびに、異なるメモリ領域に一時記憶する方法である。なお、図3(a)は、3個のメモリ領域(メモリ領域125−1〜125−3)を用意した場合の一例を示したブロック図であり、内蔵メモリ125の符号の後の“−:ハイフン”に続く数字は、内蔵メモリ125内のメモリ領域の番号を表す。
図3(a)に示す方法において、撮像装置100による長時間露光の途中の画像を画像表示用LCD130に表示する場合、複数のメモリ領域に一時記憶しているデジタル画像データを全て読み出し、加算処理、割り算処理をした後に、表示に必要な画像処理を行って、画像表示用LCD130に表示させる。例えば、デジタル画像データがメモリ領域125−1およびメモリ領域125−2に一時記憶されている場合、画像処理回路121は、メモリ領域125−1およびメモリ領域125−2に一時記憶しているそれぞれのデジタル画像データを読み出し、加算器126による加算処理、割り算器127による割り算処理をした後に、表示に必要な画像処理を行って、LCDドライバ131を介して画像表示用LCD130に表示させる。
図3(a)に示す方法において、撮像装置100による長時間露光が終了した後に、長時間露光によって得られた最終の画像データを着脱メモリ120に記録する場合は、デジタル画像データが記憶されている全てのメモリ領域のデジタル画像データを読み出し、加算器126による加算処理、割り算器127による割り算処理をした後に、記録する際に必要な画像処理を行った画像データを作成し、作成した画像データに圧縮処理を行って着脱メモリ120に記録する。
図3(b)に示す方法は、各所定の露光時間で得られたデジタル画像データを、それぞれ一時記憶する1つのメモリ領域のみを内蔵メモリ125に用意し、新たなデジタル画像データが入力されるたびに、新たなデジタル画像データと、前回までのデジタル画像データとを加算した後に、1つのメモリ領域に一時記憶する方法である。
図3(b)に示す方法において、撮像装置100による長時間露光の途中の画像を画像表示用LCD130に表示する場合、新たなデジタル画像データと、前回までのデジタル画像データとを加算して記憶している1つのメモリ領域のデジタル画像データを読み出し、割り算処理をした後に、表示に必要な画像処理を行って、画像表示用LCD130に表示させる。例えば、デジタル画像データがメモリ領域125に一時記憶されている場合、画像処理回路121は、次にデジタル画像データが入力されたときに、前回までのデジタル画像データが一時記憶されているメモリ領域125のデジタル画像データを読み出し、加算器126による加算処理を行った後に、デジタル画像データを再びメモリ領域125に一時記憶する。その後、メモリ領域125に一時記憶しているデジタル画像データを読み出し、割り算器127による割り算処理をした後に、表示に必要な画像処理を行って、LCDドライバ131を介して画像表示用LCD130に表示させる。
図3(b)に示す方法において、撮像装置100による長時間露光が終了した後に、長時間露光によって得られた最終の画像データを着脱メモリ120に記録する場合は、デジタル画像データが記憶されている1つのメモリ領域のデジタル画像データを読み出し、割り算器127による割り算処理をした後に、記録する際に必要な画像処理を行った画像データを作成し、作成した画像データに圧縮処理を行って着脱メモリ120に記録する。
次に、本実施形態の撮像装置100において長時間露光を行う場合の詳細な処理について説明する。図4は、本実施形態による撮像装置100の長時間露光動作における露光タイミングと、得られた画像の信号レベルとノイズレベル、および表示の関係の例を示した図である。
なお、図4に示す例は、長時間露光による撮影を行う際に、長時間露光の時間よりも短い所定の露光時間で8回の露光を行い、長時間露光によって得られた最終の画像データのノイズレベルを従来よりも低減させる、すなわち、S/Nの低下を抑える例である。また、本実施形態においては、図2に示した列アンプ内蔵固体撮像素子117を使用し、撮像素子制御回路116は、この列アンプ内蔵固体撮像素子117の画素部1の読み出しを制御し、列アンプ内蔵ノイズ抑圧部4のゲイン設定を2倍(ゲインG=2倍)に設定するものとして説明する。
また、画像表示用LCD130が表示できる画像領域(解像度)は、列アンプ内蔵固体撮像素子117の画素数よりも小さいものとして説明する。また、メモリ領域は、図3(a)に示したような内蔵メモリ125に複数のメモリ領域を用意した構成とし、そのメモリ領域は、8回の露光を行うのに十分なメモリ領域、すなわち、8領域を確保しているものとして説明する。
なお、本実施形態の説明においては、列アンプ内蔵固体撮像素子117から画素信号を得るために、メカニカルシャッターを用いているものとする。
最初に、撮像装置100のメカニカルシャッターが開いた状態となり、レンズ群111を通過した被写体の光学像が結像され、列アンプ内蔵固体撮像素子117の露光が開始される。
続いて、撮像素子制御回路116は、所定の1回目の露光時間(露光1)が経過し、1回目の露光が終了すると、列アンプ内蔵固体撮像素子117の画素信号1を読み出す。なお、ここで読み出しが行われたフォトダイオードPDの信号電圧が、増幅トランジスタM2を介して垂直信号線V1に出力された後に、2回目の露光2が開始される。
1回目の露光1で得られた画素信号1は、A/D変換器114によって、画像情報1とランダムノイズを含むデジタル画像データ1に変換され、メモリ領域125−1に一時記憶される。
その後、画像処理回路121は、メモリ領域125−1に一時記憶されたデジタル画像データ1を読み出し、読み出したデジタル画像データ1に対して列アンプ内蔵ノイズ抑圧部4に設定したゲイン設定値Gで割り算処理(1/G)を行う。なお、1回目の露光においては、メモリ領域125に前回までのデジタル画像データが一時記憶されていないため、加算処理は行わない。
図4に示した長時間露光の撮影においては、列アンプ内蔵ノイズ抑圧部4のゲイン設定を2倍に設定しているため、この割り算処理では、デジタル画像データ1の信号レベルを1/2にする。以下、割り算処理されたデジタル画像データを「フレーム」という。
その後、画像処理回路121は、フレーム1に対して表示に必要な画像処理を行い、表示データ1を生成する。表示用の画像処理がされた表示データ1は、LCDドライバ131を介して画像表示用LCD130に表示される。このことにより、撮像装置100の利用者は、長時間露光の途中の画像を確認することができる。
なお、本発明においては、表示用の画像処理に関しては、規定しない。
続いて、撮像素子制御回路116は、所定の2回目の露光時間(露光2)が経過し、2回目の露光が終了すると、列アンプ内蔵固体撮像素子117の画素信号2を読み出す。
2回目の露光2で得られた画素信号2は、A/D変換器114によって、画像情報2とランダムノイズを含むデジタル画像データ2に変換され、メモリ領域125−2に一時記憶される。
その後、画像処理回路121は、メモリ領域125−1に一時記憶されたデジタル画像データ1およびメモリ領域125−2に一時記憶されたデジタル画像データ2を読み出し、読み出したデジタル画像データ1とデジタル画像データ2とを加算処理する。その後、加算処理したデジタル画像データ1+2に対して割り算処理を行い、フレーム2を生成する。
その後、画像処理回路121がフレーム2に対して表示に必要な画像処理を行い、表示データ2がLCDドライバ131を介して画像表示用LCD130に表示される。
続いて、3回目の露光時間(露光3)以降も同様に、露光時間が経過した後に、画素信号の読み出し、デジタル画像データの一時記憶、一時記憶されたデジタル画像データの加算処理および割り算処理、表示に必要な画像処理および表示データの画像表示用LCD130への表示を行う。
続いて、メカニカルシャッターが閉じられると、撮像素子制御回路116は、8回目の露光(露光8)を終了し、列アンプ内蔵固体撮像素子117の画素信号8を読み出す。以降同様にデジタル画像データ8への変換、メモリ領域125−8への一時記憶がされる。
その後、画像処理回路121は、メモリ領域125−1〜125−8に一時記憶されたデジタル画像データ1〜8を読み出し、読み出した全てのデジタル画像データの加算処理および、加算処理したデジタル画像データ1+2+・・・+8に対する割り算処理を行い、フレーム8を生成する。
その後、画像処理回路121がフレーム8に対して表示に必要な画像処理を行い、表示データ8がLCDドライバ131を介して画像表示用LCD130に表示される。また、画像処理回路121は、フレーム8に対して記録する際に必要な画像処理を行った画像データ8(最終画像データ)を作成し、作成した最終画像データを圧縮処理して着脱メモリ120に記録する。
次に、長時間露光で得られる最終画像データのS/Nについて説明する。本第1の実施形態において、最終画像データに含まれるランダムノイズと、列アンプ内蔵ノイズ抑圧部4のゲイン設定および画像表示用LCD130の更新回数との関係は、下式(12)で示される。
上式(12)において、RN(G,N)は最終画像データに含まれるランダムノイズ、Gは列アンプ内蔵ノイズ抑圧部4のゲイン設定、Nは画像表示用LCD130の更新回数を示す。また、RNall(G)は列アンプ内蔵固体撮像素子17において、列アンプ内蔵ノイズ抑圧部4のゲイン設定をゲインGとしたときの加算前の各画像信号に含まれるランダムノイズを示す。
なお、画像表示用LCD130の更新回数Nは、上式(1)における画素を読み出す回数Nと同様である。
図4に示した長時間露光においては、列アンプ内蔵ノイズ抑圧部4のゲイン設定を2倍(ゲインG=2倍)、画像表示用LCD130の更新回数を8回(更新回数N=8回)としているため、最終画像データに含まれるランダムノイズRN(G=2倍,N=8回)は、上式(12)より、下式(13)となる。
ここで、RNall(G=2倍)に、上式(11)をあてはめると、上式(13)は、下式(14)で示される。
一方、図11に示した従来の長時間露光においては、列アンプ内蔵ノイズ抑圧部4のゲイン設定を1倍(ゲインG=1倍)、画像表示用LCD130の更新回数を4回(更新回数N=4回)としていることと等価であるため、従来の最終画像データに含まれるランダムノイズRN(G=1倍,N=4回)は、上式(12)より、下式(15)となる。
ここで、RNall(G=1倍)に、上式(10)をあてはめると、上式(15)は、下式(16)で示される。
上式(14)および上式(16)によってわかるように、列アンプ内蔵ノイズ抑圧部4のゲインを2倍に設定して8回の加算処理およびそれに引き続いて割り算処理を行った場合(本第1の実施形態の長時間露光)の最終画像のランダムノイズRN(G=2倍,N=8回)の値は、列アンプ内蔵ノイズ抑圧部4のゲインを1倍に設定して4回の加算処理を行った場合(従来の長時間露光)のランダムノイズRN(G=1倍,N=4回)の値よりも小さな値となる。
上記に述べたとおり、本発明の第1の実施形態によれば、列アンプ内蔵固体撮像素子117内の列アンプ内蔵ノイズ抑圧部4のゲインを制御することができ、デジタル画像データの加算処理および割り算処理を行うことができる。このことによって、長時間露光の途中の画像データを画像表示用LCD130に表示する更新回数を多くした場合でも、長時間露光によって得られる最終の画像データのノイズレベルを従来よりも低減させ、S/Nの低下を抑えることができる。
<第2実施形態>
次に、本実施形態の撮像装置100において長時間露光を行う場合のデジタル画像データの一時記憶、一時記憶されたデジタル画像データの加算処理、および割り算処理の別の方法について説明する。図5は、本実施形態による撮像装置100におけるデジタル画像データの流れに関係する概略構成を示すブロック図である。長時間露光におけるデジタル画像データを、画像表示用LCD130に表示および着脱メモリ120に記録する方法には、図5に示すような2種類の方法がある。なお、本第2の実施形態に示す図5の方法と第1の実施形態に示した図3の方法とは、割り算器127による割り算処理を行うタイミングが異なる。
図5(a)に示す方法は、各所定の露光時間で得られたデジタル画像データを、それぞれ一時記憶する複数のメモリ領域を内蔵メモリ125に用意し、新たなデジタル画像データが入力されるたびに、新たなデジタル画像データに対して割り算器127による割り算処理をした後に、異なるメモリ領域に一時記憶する方法である。なお、図5(a)は、図3(a)と同様に、3個のメモリ領域(メモリ領域125−1〜125−3)を用意した場合の一例を示したブロック図である。
図5(a)に示す方法において、撮像装置100による長時間露光の途中の画像を画像表示用LCD130に表示する場合、複数のメモリ領域に一時記憶しているデジタル画像データを全て読み出し、加算処理をした後に、表示に必要な画像処理を行って、画像表示用LCD130に表示させる。例えば、デジタル画像データがメモリ領域125−1およびメモリ領域125−2に一時記憶されている場合、画像処理回路121は、メモリ領域125−1およびメモリ領域125−2に一時記憶しているそれぞれのデジタル画像データを読み出し、加算器126による加算処理をした後に、表示に必要な画像処理を行って、LCDドライバ131を介して画像表示用LCD130に表示させる。
図5(a)に示す方法において、撮像装置100による長時間露光が終了した後に、長時間露光によって得られた最終の画像データを着脱メモリ120に記録する場合は、デジタル画像データが記憶されている全てのメモリ領域のデジタル画像データを読み出し、加算器126による加算処理をした後に、記録する際に必要な画像処理を行った画像データを作成し、作成した画像データに圧縮処理を行って着脱メモリ120に記録する。
図5(b)に示す方法は、各所定の露光時間で得られたデジタル画像データを、それぞれ一時記憶する1つのメモリ領域のみを内蔵メモリ125に用意し、新たなデジタル画像データが入力されるたびに、新たなデジタル画像データに対して割り算器127による割り算処理を行い、割り算処理した新たなデジタル画像データと、前回までのデジタル画像データとを加算した後に、1つのメモリ領域に一時記憶する方法である。
図5(b)に示す方法において、撮像装置100による長時間露光の途中の画像を画像表示用LCD130に表示する場合、割り算処理した新たなデジタル画像データと、前回までのデジタル画像データとを加算して記憶している1つのメモリ領域のデジタル画像データを読み出し、表示に必要な画像処理を行って、画像表示用LCD130に表示させる。例えば、デジタル画像データがメモリ領域125に一時記憶されている場合、画像処理回路121は、次にデジタル画像データが入力されたときに、入力された新たなデジタル画像データに対して割り算器127による割り算処理を行う。その後、前回までのデジタル画像データが一時記憶されているメモリ領域125のデジタル画像データを読み出し、加算器126による加算処理を行った後に、デジタル画像データを再びメモリ領域125に一時記憶する。その後、メモリ領域125に一時記憶しているデジタル画像データを読み出し、表示に必要な画像処理を行って、LCDドライバ131を介して画像表示用LCD130に表示させる。
図5(b)に示す方法において、撮像装置100による長時間露光が終了した後に、長時間露光によって得られた最終の画像データを着脱メモリ120に記録する場合は、デジタル画像データが記憶されている1つのメモリ領域のデジタル画像データを読み出し、記録する際に必要な画像処理を行った画像データを作成し、作成した画像データに圧縮処理を行って着脱メモリ120に記録する。
次に、本実施形態の撮像装置100において長時間露光を行う場合の詳細な処理について説明する。
なお、本第2の実施形態では、図5に示したデジタル画像データの流れ、すなわち、割り算器127による割り算処理を行うタイミングが異なるのみである。したがって、本第2の実施形態による撮像装置100の長時間露光動作における露光タイミングと、得られた画像の信号レベルとノイズレベル、および表示の関係は、図4に示した第1の実施形態の例を示した図と同じであるため、以下の説明では図4を参照する。また、本第2の実施形態におけるメモリ領域は、図5(a)に示したような内蔵メモリ125に複数のメモリ領域を用意した構成とし、そのメモリ領域は、8回の露光を行うのに十分なメモリ領域、すなわち、8領域を確保しているものとして説明する。
なお、本実施形態の説明においては、図4に示した第1の実施形態と同様に、列アンプ内蔵固体撮像素子117から画素信号を得るために、メカニカルシャッターを用いているものとする。
最初に、撮像装置100のメカニカルシャッターが開いた状態となり、レンズ群111を通過した被写体の光学像が結像され、列アンプ内蔵固体撮像素子117の露光が開始される。
続いて、撮像素子制御回路116は、所定の1回目の露光時間(露光1)が経過し、1回目の露光が終了すると、列アンプ内蔵固体撮像素子117の画素信号1を読み出す。なお、ここで読み出しが行われたフォトダイオードPDの信号電圧が、増幅トランジスタM2を介して垂直信号線V1に出力された後に、2回目の露光2が開始される。
1回目の露光1で得られた画素信号1は、A/D変換器114によって、画像情報1とランダムノイズを含むデジタル画像データ1に変換される。その後、デジタル画像データ1は、画像処理回路121によって列アンプ内蔵ノイズ抑圧部4に設定したゲイン設定値Gでの割り算処理(1/G)が行われ、割り算処理されたデジタル画像データ1が、メモリ領域125−1に一時記憶される。
図4に示した長時間露光の撮影においては、列アンプ内蔵ノイズ抑圧部4のゲイン設定を2倍に設定しているため、この割り算処理では、デジタル画像データ1の信号レベルを1/2にする。
その後、画像処理回路121は、メモリ領域125−1に一時記憶されたデジタル画像データ1を読み出し、加算処理する。以下、加算処理されたデジタル画像データを「フレーム」という。なお、1回目の露光においては、メモリ領域125に前回までのデジタル画像データが一時記憶されていないため、加算処理は行わない。
その後、画像処理回路121は、フレーム1に対して表示に必要な画像処理を行い、表示データ1を生成する。表示用の画像処理がされた表示データ1は、LCDドライバ131を介して画像表示用LCD130に表示される。このことにより、撮像装置100の利用者は、長時間露光の途中の画像を確認することができる。
なお、本発明においては、表示用の画像処理に関しては、規定しない。
続いて、撮像素子制御回路116は、所定の2回目の露光時間(露光2)が経過し、2回目の露光が終了すると、列アンプ内蔵固体撮像素子117の画素信号2を読み出す。
2回目の露光2で得られた画素信号2は、A/D変換器114によって、画像情報2とランダムノイズを含むデジタル画像データ2に変換される。その後、デジタル画像データ2は、画像処理回路121によって割り算処理が行われ、割り算処理されたデジタル画像データ2が、メモリ領域125−2に一時記憶される。
その後、画像処理回路121は、メモリ領域125−1に一時記憶されたデジタル画像データ1およびメモリ領域125−2に一時記憶されたデジタル画像データ2を読み出し、読み出したデジタル画像データ1とデジタル画像データ2とを加算処理し、フレーム2を生成する。
その後、画像処理回路121がフレーム2に対して表示に必要な画像処理を行い、表示データ2がLCDドライバ131を介して画像表示用LCD130に表示される。
続いて、3回目の露光時間(露光3)以降も同様に、露光時間が経過した後に、画素信号の読み出し、割り算処理、デジタル画像データの一時記憶、一時記憶されたデジタル画像データの加算処理、表示に必要な画像処理および表示データの画像表示用LCD130への表示を行う。
続いて、メカニカルシャッターが閉じられると、撮像素子制御回路116は、8回目の露光(露光8)を終了し、列アンプ内蔵固体撮像素子117の画素信号8を読み出す。以降同様にデジタル画像データ8への変換、割り算処理、メモリ領域125−8への一時記憶がされる。
その後、画像処理回路121は、メモリ領域125−1〜125−8に一時記憶されたデジタル画像データ1〜8を読み出し、読み出した全てのデジタル画像データの加算処理を行い、フレーム8を生成する。
その後、画像処理回路121がフレーム8に対して表示に必要な画像処理を行い、表示データ8がLCDドライバ131を介して画像表示用LCD130に表示される。また、画像処理回路121は、フレーム8に対して記録する際に必要な画像処理を行った画像データ8(最終画像データ)を作成し、作成した最終画像データを圧縮処理して着脱メモリ120に記録する。
次に、長時間露光で得られる最終画像データのS/Nについて説明する。本第2の実施形態において、最終画像データに含まれるランダムノイズと、列アンプ内蔵ノイズ抑圧部4のゲイン設定および画像表示用LCD130の更新回数との関係は、下式(17)で示される。
上式(17)において、上式(12)と異なるところは、図3および図5で示した割り算器127が配置されている位置の違いに伴う、列アンプ内蔵ノイズ抑圧部4のゲイン設定Gでの割り算の位置である。
図4に示した長時間露光においては、列アンプ内蔵ノイズ抑圧部4のゲイン設定を2倍(ゲインG=2倍)、画像表示用LCD130の更新回数を8回(更新回数N=8回)としているため、最終画像データに含まれるランダムノイズRN(G=2倍,N=8回)は、上式(17)より、下式(18)となる。
ここで、RNall(G=2倍)に、上式(11)をあてはめると、上式(18)は、下式(19)で示される。
一方、図11に示した従来の長時間露光においては、列アンプ内蔵ノイズ抑圧部4のゲイン設定を1倍(ゲインG=1倍)、画像表示用LCD130の更新回数を4回(更新回数N=4回)としていることと等価であるため、従来の最終画像データに含まれるランダムノイズRN(G=1倍,N=4回)は、上式(17)より、下式(20)となる。
ここで、RNall(G=1倍)に、上式(10)をあてはめると、上式(20)は、下式(21)で示される。
上式(19)および上式(21)によってわかるように、列アンプ内蔵ノイズ抑圧部4のゲインを2倍に設定して8回の加算処理およびそれに引き続いて割り算処理を行った場合(本第2の実施形態の長時間露光)の最終画像のランダムノイズRN(G=2倍,N=8回)の値は、列アンプ内蔵ノイズ抑圧部4のゲインを1倍に設定して4回の加算処理を行った場合(従来の長時間露光)のランダムノイズRN(G=1倍,N=4回)の値よりも小さな値となる。
上記に述べたとおり、本発明の第2の実施形態によれば、列アンプ内蔵固体撮像素子117内の列アンプ内蔵ノイズ抑圧部4のゲインを制御することができ、デジタル画像データの加算処理および割り算処理を行うことができる。このことによって、長時間露光の途中の画像データを画像表示用LCD130に表示する更新回数を多くした場合でも、長時間露光によって得られる最終の画像データのノイズレベルを従来よりも低減させ、S/Nの低下を抑えることができる。
また、本発明の第2の実施形態では、デジタル画像データに対して割り算処理を行った後に、内蔵メモリ125のメモリ領域に一時記憶する構成とすることにより、メモリ領域に記憶するデジタル画像データのデータ量を少なくすることができる。このことによって、必要とするメモリ領域のサイズを小さくすることができる。
<第3実施形態>
次に、本実施形態の撮像装置100において長時間露光を行う場合のデジタル画像データの一時記憶、一時記憶されたデジタル画像データの加算処理、および割り算処理のさらに別の方法について説明する。図6は、本実施形態による撮像装置100におけるデジタル画像データの流れに関係する概略構成を示すブロック図である。長時間露光におけるデジタル画像データを、画像表示用LCD130に表示および着脱メモリ120に記録する方法には、図6に示すような2種類の方法がある。なお、本第3の実施形態に示す図6の方法と第1の実施形態に示した図3の方法とは、画像表示用LCD130に表示するためのデジタル画像データには、割り算器127による割り算処理を行わず、内蔵メモリ125や着脱メモリ120に最終の画像データとして記録するためのデジタル画像データには、割り算器127による割り算処理を行うことが異なる。
図6(a)に示す方法は、各所定の露光時間で得られたデジタル画像データを、それぞれ一時記憶する複数のメモリ領域を内蔵メモリ125に用意し、新たなデジタル画像データが入力されるたびに、異なるメモリ領域に一時記憶する方法である。なお、図6(a)は、図3(a)と同様に、3個のメモリ領域(メモリ領域125−1〜125−3)を用意した場合の一例を示したブロック図である。
図6(a)に示す方法において、撮像装置100による長時間露光の途中の画像を画像表示用LCD130に表示する場合、複数のメモリ領域に一時記憶しているデジタル画像データを全て読み出し、加算処理をした後に、表示に必要な画像処理を行って、画像表示用LCD130に表示させる。例えば、デジタル画像データがメモリ領域125−1およびメモリ領域125−2に一時記憶されている場合、画像処理回路121は、メモリ領域125−1およびメモリ領域125−2に一時記憶しているそれぞれのデジタル画像データを読み出し、加算器126による加算処理をした後に、表示に必要な画像処理を行って、LCDドライバ131を介して画像表示用LCD130に表示させる。
図6(a)に示す方法において、撮像装置100による長時間露光が終了した後に、長時間露光によって得られた最終の画像データを着脱メモリ120に記録する場合は、デジタル画像データが記憶されている全てのメモリ領域のデジタル画像データを読み出し、加算器126による加算処理、割り算器127による割り算処理をした後に、記録する際に必要な画像処理を行った画像データを作成し、作成した画像データに圧縮処理を行って着脱メモリ120に記録する。
図6(b)に示す方法は、各所定の露光時間で得られたデジタル画像データを、それぞれ一時記憶する1つのメモリ領域のみを内蔵メモリ125に用意し、新たなデジタル画像データが入力されるたびに、新たなデジタル画像データと、前回までのデジタル画像データとを加算した後に、1つのメモリ領域に一時記憶する方法である。
図6(b)に示す方法において、撮像装置100による長時間露光の途中の画像を画像表示用LCD130に表示する場合、新たなデジタル画像データと、前回までのデジタル画像データとを加算して記憶している1つのメモリ領域のデジタル画像データを読み出し、表示に必要な画像処理を行って、画像表示用LCD130に表示させる。例えば、デジタル画像データがメモリ領域125に一時記憶されている場合、画像処理回路121は、次にデジタル画像データが入力されたときに、前回までのデジタル画像データが一時記憶されているメモリ領域125のデジタル画像データを読み出し、加算器126による加算処理を行った後に、デジタル画像データを再びメモリ領域125に一時記憶する。その後、メモリ領域125に一時記憶しているデジタル画像データを読み出し、表示に必要な画像処理を行って、LCDドライバ131を介して画像表示用LCD130に表示させる。
図6(b)に示す方法において、撮像装置100による長時間露光が終了した後に、長時間露光によって得られた最終の画像データを着脱メモリ120に記録する場合は、デジタル画像データが記憶されている1つのメモリ領域のデジタル画像データを読み出し、割り算器127による割り算処理をした後に、記録する際に必要な画像処理を行った画像データを作成し、作成した画像データに圧縮処理を行って着脱メモリ120に記録する。
次に、本実施形態の撮像装置100において長時間露光を行う場合の詳細な処理について説明する。図7は、本実施形態による撮像装置100の長時間露光動作における露光タイミングと、得られた画像の信号レベルとノイズレベル、および表示の関係の例を示した図である。
なお、本第3の実施形態では、図6に示したデジタル画像データの流れ、すなわち、画像表示用LCD130に表示するためのデジタル画像データには、割り算器127による割り算処理を行わず、内蔵メモリ125や着脱メモリ120に最終の画像データとして記録するためのデジタル画像データには、割り算器127による割り算処理を行うことが異なる。また、本第3の実施形態におけるメモリ領域は、図6(a)に示したような内蔵メモリ125に複数のメモリ領域を用意した構成とし、そのメモリ領域は、8回の露光を行うのに十分なメモリ領域、すなわち、8領域を確保しているものとして説明する。
なお、本実施形態の説明においては、図4に示した第1の実施形態と同様に、列アンプ内蔵固体撮像素子117から画素信号を得るために、メカニカルシャッターを用いているものとする。
最初に、撮像装置100のメカニカルシャッターが開いた状態となり、レンズ群111を通過した被写体の光学像が結像され、列アンプ内蔵固体撮像素子117の露光が開始される。
続いて、撮像素子制御回路116は、所定の1回目の露光時間(露光1)が経過し、1回目の露光が終了すると、列アンプ内蔵固体撮像素子117の画素信号1を読み出す。なお、ここで読み出しが行われたフォトダイオードPDの信号電圧が、増幅トランジスタM2を介して垂直信号線V1に出力された後に、2回目の露光2が開始される。
1回目の露光1で得られた画素信号1は、A/D変換器114によって画像情報1とランダムノイズを含むデジタル画像データ1に変換され、メモリ領域125−1に一時記憶される。
その後、画像処理回路121は、メモリ領域125−1に一時記憶されたデジタル画像データ1を読み出し、加算処理する。以下、加算処理されたデジタル画像データを「フレーム」という。なお、1回目の露光においては、メモリ領域125に前回までのデジタル画像データが一時記憶されていないため、加算処理は行わない。
その後、画像処理回路121は、フレーム1に対して表示に必要な画像処理を行い、表示データ1を生成する。表示用の画像処理がされた表示データ1は、LCDドライバ131を介して画像表示用LCD130に表示される。なお、画像表示用LCD130に表示するために用いられたフレーム1は、割り算器127による割り算処理を行っていないため、列アンプ内蔵ノイズ抑圧部4に設定したゲイン設定値に応じた明るさの画像、すなわち、列アンプ内蔵ノイズ抑圧部4に設定した2倍のゲイン(信号レベル)の画像が表示される。このことにより、撮像装置100の利用者は、長時間露光の途中の画像をより鮮明な画像で確認することができる。
なお、本発明においては、表示用の画像処理に関しては、規定しない。
続いて、撮像素子制御回路116は、所定の2回目の露光時間(露光2)が経過し、2回目の露光が終了すると、列アンプ内蔵固体撮像素子117の画素信号2を読み出す。
2回目の露光2で得られた画素信号2は、A/D変換器114によって画像情報2とランダムノイズを含むデジタル画像データ2に変換され、メモリ領域125−2に一時記憶される。
その後、画像処理回路121は、メモリ領域125−1に一時記憶されたデジタル画像データ1およびメモリ領域125−2に一時記憶されたデジタル画像データ2を読み出し、読み出したデジタル画像データ1とデジタル画像データ2とを加算処理し、フレーム2を生成する。
その後、画像処理回路121がフレーム2に対して表示に必要な画像処理を行い、表示データ2がLCDドライバ131を介して画像表示用LCD130に表示される。
続いて、3回目の露光時間(露光3)以降も同様に、露光時間が経過した後に、画素信号の読み出し、デジタル画像データの一時記憶、一時記憶されたデジタル画像データの加算処理、表示に必要な画像処理および表示データの画像表示用LCD130への表示を行う。
続いて、メカニカルシャッターが閉じられると、撮像素子制御回路116は、8回目の露光(露光8)を終了し、列アンプ内蔵固体撮像素子117の画素信号8を読み出す。以降同様にデジタル画像データ8への変換、メモリ領域125−8への一時記憶がされる。
その後、画像処理回路121は、メモリ領域125−1〜125−8に一時記憶されたデジタル画像データ1〜8を読み出し、読み出した全てのデジタル画像データの加算処理を行い、フレーム8を生成する。
その後、画像処理回路121がフレーム8に対して表示に必要な画像処理を行い、表示データ8がLCDドライバ131を介して画像表示用LCD130に表示される。
また、画像処理回路121は、フレーム8に対する表示に必要な画像処理と並行して、フレーム8を着脱メモリ120に記録するための処理を行う。フレーム8を着脱メモリ120に記録するための処理では、まず、フレーム8に対して割り算処理を行い、さらに記録する際に必要な画像処理を行った画像データ8(最終画像データ)を作成し、内蔵メモリ125(画像記録領域)に一時記憶する。その後、内蔵メモリ125(画像記録領域)に一時記憶した最終画像データを読み出し、読み出した最終画像データを圧縮処理して着脱メモリ120に記録する。
なお、本発明においては、最終画像データを作成した後の最終画像データの圧縮処理および着脱メモリ120への記録処理に関しては、規定しない。
次に、長時間露光で得られる最終画像データのS/Nについて説明する。本第3の実施形態における、最終画像データに含まれるランダムノイズと、列アンプ内蔵ノイズ抑圧部4のゲイン設定および画像表示用LCD130の更新回数との関係、および最終画像のランダムノイズの値は、第1の実施形態で示した上式(12)〜上式(16)と同様である。
したがって、列アンプ内蔵ノイズ抑圧部4のゲインを2倍に設定して8回の加算処理およびそれに引き続いて割り算処理を行った場合(本第3の実施形態の長時間露光)の最終画像のランダムノイズRN(G=2倍,N=8回)の値は、列アンプ内蔵ノイズ抑圧部4のゲインを1倍に設定して4回の加算処理を行った場合(従来の長時間露光)のランダムノイズRN(G=1倍,N=4回)の値よりも小さな値となる。
上記に述べたとおり、本発明の第3の実施形態によれば、列アンプ内蔵固体撮像素子117内の列アンプ内蔵ノイズ抑圧部4のゲインを制御することができ、デジタル画像データの加算処理および割り算処理を行うことができる。このことによって、長時間露光の途中の画像データを画像表示用LCD130に表示する更新回数を多くした場合でも、長時間露光によって得られる最終の画像データのノイズレベルを従来よりも低減させ、S/Nの低下を抑えることができる。
また、本発明の第3の実施形態では、デジタル画像データに対して割り算処理を行っていない画像を表示することができる。このことにより、長時間露光の途中の画像データを画像表示用LCD130に表示する更新回数を多くして撮像装置100の利用者の画像確認をより頻繁に行った場合でも、より鮮明な画像を画像表示用LCD130に表示することができる。
上記に述べたとおり、本発明を実施するための形態によれば、撮像素子に内蔵された増幅回路によって増幅される画素信号の増幅率を制御することができるので、露光の途中の画像データの表示回数を多くした場合でも、撮像素子の画素の読み出し回数に応じて増加するランダムノイズを低減、すなわち、最終的に得られる画像データのS/Nの低下を抑えることができる。
このことによって、長時間露光の途中の画像データを確認しながらの撮影であっても、良好なS/Nの最終画像データを得ることができる。
また、本発明を実施するための形態によれば、撮像素子に内蔵された増幅回路によって増幅される画素信号を表示することができるので、得られる最終の画像データのS/Nの低下を抑えた状態で、露光の途中に表示される画像データの明るさを向上することができる。
このことによって、撮像装置100の利用者は、長時間露光の途中の画像をより鮮明な画像で確認することができる。
なお、本発明における回路構成および駆動方式の具体的な構成は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更をすることができる。
例えば、列アンプ内蔵固体撮像素子117内の列アンプ内蔵ノイズ抑圧部4のクランプ容量を変更してゲインを変える構成とすることもできる。
また例えば、図8に示すように、列アンプ内蔵ノイズ抑圧部4内のアンプを非反転アンプA2で構成する形式とすることもできる。図8に示した列アンプ内蔵ノイズ抑圧部4は、それぞれ、サンプル用トランジスタM4と、クランプ用トランジスタM5およびM6と、クランプ用容量C3およびC6と、ホールド用容量C4と、フィードバック容量C5と、非反転アンプA2とから構成される列アンプ内蔵ノイズ抑圧回路CDS1〜CDS4で構成される。なお、列アンプのゲイン設定の変更を可能とするため、フィードバック容量C5は可変できる構成となっている。また、図8に示した列アンプ内蔵ノイズ抑圧回路CDS1〜CDS4の場合、設定されるゲインGは、下式(22)で示される。
上式(22)において、CCLはクランプ用容量C6の容量値、CFはフィードバック容量C5の容量値を示す。
また、本実施形態においては、列アンプ内蔵固体撮像素子117内の列アンプ内蔵ノイズ抑圧部4によって画素信号を増幅する構成について説明したが、ゲイン機能が内蔵された列A/D変換回路を用いて、撮像素子によって画素信号を増幅するのではなく、このゲイン機能が内蔵された列A/D変換回路によって撮像素子から出力される画素信号を増幅する構成とすることもできる。
また、本実施形態においては、各メモリ領域に一時記憶したデジタル画像データの加算処理および割り算処理は、画像処理回路121内の加算器126および割り算器127によって行う構成で説明したが、この構成に限定されるものではなく、例えば、メモリ領域の制御を行うマルチプレクサやメモリコントローラなどで、デジタル画像データの加算処理および割り算処理を行う構成とすることもできる。
また、本実施形態においては、撮像素子制御回路116が列アンプ内蔵固体撮像素子117を読み出すタイミングは、長時間露光の露光時間内で所定の露光時間として説明したが、この方法に限定されるものではなく、例えば、撮影する被写体の明るさによって読み出すタイミングを変更することや、予め被写体の明るさを測定(前回の撮影結果より算出しても良い)して露光時間を決定することもできる。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。