以下、本発明の実施の形態について図面を参照して詳細に説明する。
[第1形態(本発明に対する参考例)]
図1は、第1形態(本発明に対する参考例)に係る固体撮像装置、例えば高感度CMOSイメージセンサの構成を示すブロック図である。図1に示すように、第1実施形態に係るCMOSイメージセンサ10は、画素アレイ部11、垂直駆動回路12、カラム信号処理回路13、記憶手段であるフレームメモリ14、デジタルアンプ15、タイミングジェネレータ16およびDSP(Digital Signal Processor;デジタル信号処理)回路17を有する構成となっている。
画素アレイ部11は、光電変換素子を含む画素111が、所定の繰り返し周期で行列状に2次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線112が配線された構成となっており、画素111の各々において被写体(図示せず)からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。光電変換素子としては、例えば光電子増倍膜で形成されたものが用いられる。
図2は、光電子増倍膜で形成された光電変換素子20の原理構造の一例を示す断面図である。図2から明らかなように、本光電変換素子20は、光電変換層21、信号電荷加速層22および信号電荷倍増層23が光照射側から順に積層され、光電変換層21と信号電荷倍増層23とにそれぞれ電極(図示せず)を介して所定の電圧が印加される構成となっている(特に、特許文献1参照)。
光電変換層21には、水素化アモルファスシリコン膜などが用いられる。信号電荷加速層22には、シリコン表面が酸化シリコンなどの絶縁膜または水素化アモルファスシリコン膜で覆われた直径数ナノメートルのシリコン結晶粒(シリコンナノ結晶)からなる膜が用いられる。信号電荷倍増層23には、単結晶シリコン基板などが用いられる。
かかる構成の光電変換素子20において、光照射を受けた光電変換層21は、その光量に応じた電荷量の信号電荷を生成する。信号電荷加速層22は、光電変換層21で光生成された信号電荷を加速する。信号電荷倍増層23は、信号電荷加速層22で加速された信号電荷を増倍する。これらの作用により、上記構成の光電変換素子20は、入射した光に対して多くの信号電荷を発生させることができる。
画素111としては、ここでは図示を省略するが、光電変換素子20に加えて、当該画素111の駆動トランジスタ、例えば、光電変換素子20で光電変換して得られる信号電荷をフローティングディフュージョン(FD)に転送する転送トランジスタと、当該フローティングディフュージョンの電位を制御するリセットトランジスタと、フローティングディフュージョンの電位に応じた信号を出力する増幅トランジスタとを有する3トランジスタ構成のものや、画素選択を行うための選択トランジスタをさらに有する4トランジスタ構成のものなどを用いることができる。
垂直駆動回路12は、シフトレジスタなどによって構成されており、画素111の各々を行単位で選択し、当該選択行の画素111をリセットしたり、画素111から信号を読み出したりする駆動手段である。この垂直駆動回路12による駆動時には、選択行の画素111の各々からは、上記リセットトランジスタによってリセットされたときのフローティングディフュージョンの電位がリセットレベルとして出力され、また転送トランジスタによって光電変換素子20からフローティングディフュージョンに信号電荷が転送されたときの当該フローティングディフュージョンの電位が信号レベルとして出力される。
カラム信号処理回路13は、CDS(Correlated Double Sampling;相関二重サンプリング)回路131、ADC(アナログ−デジタル変換)回路132および加算・平均化回路133などの各種の信号処理回路を、例えば画素列ごとに有する構成となっている。
このカラム信号処理回路13において、CDS回路131は、垂直駆動回路12によって選択された行の画素111から出力される信号に対してノイズ除去のための処理(CDS処理)を行う。具体的には、先述したように、選択行の画素111から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このCDS回路131としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。
ADC回路132は、CDS回路131でのCDS処理後の各画素のアナログ信号を列ごとにデジタル信号に変換する。加算・平均化回路133は、フレームメモリ14に既に格納されている各画素の信号と、ADC回路132でデジタル信号に変換後の各画素の信号とを演算する、例えば加算または加算・平均化する演算手段である。
フレームメモリ14は、加算・平均化回路133で演算(加算または加算・平均化)処理された後の各画素の信号を記憶する。デジタルアンプ15は、フレームメモリ14から順に出力されるデジタル画素データを適当なゲインで増幅(減衰を含む)する。タイミングジェネレータ16は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。
ここまでに説明した各回路部分、即ち垂直駆動回路12、カラム信号処理回路13、フレームメモリ14、デジタルアンプ15およびタイミングジェネレータ16は、画素111が行列状に配置されてなる画素アレイ部11と同じチップ(半導体基板)18上に集積され、以下に説明する回路部分、即ちDSP回路17はチップ18の外部に設けられている。なお、チップ18から出力される画像データのフレームレートは、チップ18上の最終出力段、例えばI/Oバッファ(図示せず)のデータレートで決まる。
DSP回路17は、チップ18内のフレームメモリ14からデジタルアンプ15を通して上記フレームレートで出力される画像データ(各画素の信号)を、本CMOSイメージセンサ10A外の記憶媒体(例えば、コンパクトフラッシュ(登録商標)やメモリスティック)へ伝送する前に各種の画像処理を行う。
上記構成の本形態に係るCMOSイメージセンサ10Aは、入射光に対して多くの信号電荷を発生させることができる光電子増倍膜で形成された光電変換素子20を、各画素111の受光部として用いた高感度の撮像装置であり、特に暗所など、入射光量が所定の閾値以下の非常に少ない環境下では十分な能力を発揮する。このように、入射光量が非常に少ない環境下で十分な能力を発揮する高感度のCMOSイメージセンサ10Aでは、通常、チップ18上の最終出力段(例えば、I/Oバッファ)のデータレートで決まる第1のフレームレートによる1フレーム期間の間に光電変換素子が飽和しないように設計される。
ただし、このような高感度のCMOSイメージセンサ10Aは、入射光量が非常に少ない環境下では十分な能力を発揮するものの、野外や蛍光灯下など、入射光量が当該所定の閾値を超える環境(特に、光量が非常に多い環境)下では、光電変換素子20の感度が高すぎるが故に瞬時に飽和領域に達してしまうために、入射光量が非常に少ない環境下での駆動時と同じような駆動を行ったのでは十分なダイナミックレンジを確保することができないことになる。
そこで、本形態に係るCMOSイメージセンサ10Aでは、フレームメモリ14を画素アレイ部11と同じチップ18上に設けることにより、画素アレイ部11の各画素111からの信号の読み出しを、チップ18上の最終出力段、例えばI/Oバッファ(図示せず)のデータレートで決まる第1のフレームレートよりも高速な第2のフレームレートで実現するとともに、第1のフレームレートによる1フレーム期間の間に第2のフレームレートで複数フレーム分の画像データ(各画素の信号)を得て画素ごとに加算することにより、入射光量が非常に多い環境下でも十分なダイナミックレンジの確保を可能としている。
以下に、入射光量が非常に多い環境下における本形態に係る高感度CMOSイメージセンサ10Aの回路動作について説明する。
垂直駆動回路12による垂直走査により、画素アレイ部11の各画素111が行単位で順に選択される。すると、その選択行(信号出力行)の各画素111において、光電変換素子20に蓄積された信号電荷(例えば、電子)に応じた信号レベルと、光電変換素子20をリセットした後のリセットレベル(例えば、0レベル)が、垂直信号線112を通して各列のカラム信号処理回路13に出力される。
なお、図示を省略したが、用途に応じて、垂直駆動回路12と基本的に同じ構成のシャッタ駆動回路が当該垂直駆動回路12と並列的に設けられる。このシャッタ駆動回路による走査により、画素アレイ部11の各画素111が行単位で順に選択されると、その選択行(電子シャッタ行)の各画素111の光電変換素子がリセットされる。信号出力行を駆動した直後に、同様の駆動パルスで電子シャッタ行の各画素111が動作する。電子シャッタ行と信号出力行が一定の間隔で進んで行くとき、信号出力行から出力される信号は、電子シャッタ行から信号出力行まで進んで行く期間に光電変換された光の信号となる。
電子シャッタ行と信号出力行の時間的な間隔を調節することにより、光電変換素子20への照射時間(信号電荷の蓄積時間)を変更することができる。垂直駆動回路12および上記シャッタ駆動回路の駆動パルス、即ちスタートパルスおよびクロックパルスは、タイミングジェネレータ16で生成される。上記照射時間(信号電荷の蓄積時間)の調整は、タイミングジェネレータ16で生成する駆動パルスのタイミングを調節することによって実行される。
画素111の全てから信号を読み出す全画素読出し時には、シャッタ動作および読み出し動作は、画素アレイ部11の第一行から最終行までを順に選択され、全ての行に対して行われる。ここまでの動作は、従来、一般的に知られているCMOSイメージセンサと同じ、周知の動作である。
ここで、本形態に係るCMOSイメージセンサ10Aでは、画素アレイ部11と同じチップ19上にフレームメモリ14を搭載(内蔵)した構成を採っている。この構成を採ることにより、チップ19上の最終出力段、本例ではデジタルアンプ15のデータレートに律則されることなく、画素アレイ部11の各画素111の信号を、当該データレートで決まる第1のフレームレートよりも高速な第2のフレームレートで読み出してフレームメモリ14に格納する一方、フレームメモリ14からは最終出力段のデータレートで決まる第1のフレームレートで画像データ(各画素の信号)を読み出してチップ18外に出力することが可能になる。
これは、フレームメモリ14から第1のフレームレートで1フレーム分(1枚分)の画像データを出力する期間(第1のフレームレートによる1フレーム期間)内において、第2のフレームレートで複数フレーム分(複数枚分)の画像データを繰り返して画素アレイ部11から読み出すことができることを意味する。ここで、十分なダイナミックレンジを確保するためには、画素アレイ部11の各画素111から信号を読み出す際に、光電子増倍膜で形成された光電変換素子20が飽和領域に達する前に、各画素111から信号を繰り返して読み出すことが必要である。
1フレーム目の各画素の信号は、上述した周知の動作と同じ動作により、行単位で順次読み出され、CDS回路131でCDS処理され、ADC回路132でデジタル信号に変換された後、加算・平均化回路133を経由してフレームメモリ14に画素ごとに格納される。2フレーム目の各画素の信号については、行単位で順次読み出され、CDS回路131でCDS処理され、ADC回路132でデジタル信号に変換された後、加算・平均化回路133において、既にフレームメモリ14に格納されている各画素の信号と例えば加算・平均化され、その平均値がフレームメモリ14に画素ごとに格納される。
加算・平均化回路133において加算・平均化処理を行うのは次の理由による。すなわち、フレームメモリ14に格納される一行分(一回分)の各画素の信号は、ある無視できないランダムノイズ(例えば、熱雑音や電源の揺れ等に起因するノイズ)を持っていることが多い。このランダムノイズを持つ各画素の信号をそのまま用いた場合に、当該ランダムノイズに起因する画質低下を招く懸念もある。そこで、ランダムノイズを抑制するために、加算・平均化回路133においては、各画素の信号について各フレーム間において加算・平均化し、その平均値を各画素の信号としてフレームメモリ14に記憶するようにしている。具体的には、今回のフレームに関するアドレス補正後の各画素の信号と、フレームメモリ14に既に格納されている各画素の信号(前回の加算・平均値)との加算・平均値を算出して、今回の加算・平均値としてフレームメモリ14に格納する処理を複数回(複数フレーム)に亘って実行する。
なお、ここでは、複数フレームに亘って各画素の信号を加算・平均化することによってランダムノイズを抑制するとしたが、ランダムノイズについては必ずしも平均化しなくても、各画素の信号を複数フレームに亘って単純に加算するだけでも、ランダムノイズについてはそのまま加算とはならず、信号レベルについてはそのまま加算となるためS/Nを向上できる。
以降、最終フレームNまで同様の動作が繰り返される。その結果、フレームメモリ14には最終的に、Nフレーム分の各画素の平均値が画素ごとに格納されることになる。このようにして、フレームメモリ14に最終的に格納された各画素の平均値は、デジタルアンプ15で適当なゲインで増幅(減衰を含む)され、第1のフレームレートでチップ18外へ出力される。
上述したように、光電子増倍膜で形成された光電変換素子20を含む画素111が多数配置されてなる高感度のCMOSイメージセンサ10Aにおいて、フレームメモリ14を画素アレイ部11と同じチップ18上に設けるとともに、チップ18上の最終出力段(具体的には、I/Oバッファ)のデータレートで決まる第1のフレームレートよりも高速な第2のフレームレートで、画素アレイ部11の各画素111から信号を読み出し、かつ加算してフレームメモリ14に格納することにより、野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができるため、十分に満足できるレベルでの撮像が可能となる。
ここまでは、野外や蛍光灯下など、入射光量が非常に多い環境下における動作について述べたが、暗所など、入射光量が非常に少ない環境下においても、基本的に同じ動作を実行することにより、高感度化を図ることができる。すなわち、入射光量が非常に少ない環境下での撮像時は、入射光量が非常に多い環境下での撮像時に比べて露光期間が非常に長くなるが、その長い露光期間において、第2のフレームレートでNフレームよりもさらに多いフレーム数分の画像データを繰り返して画素アレイ部11から読み出し、かつ加算してフレームメモリ14に格納することにより、露光期間において光電変換素子20で光電変換された電荷量に対応する画素値の画像データを得ることができる。
なお、入射光量が非常に少ない環境下において、画素アレイ部11の各画素111から第2のフレームレートで信号を読み出す駆動法を採る場合には、各フレームごとの画素の信号レベルが極めて小さいため、加算・平均化回路133では平均化処理を行わずに、単純に加算処理のみを行うことになる。
また、暗所など、入射光量が非常に少ない環境下における別の駆動法として、次のような駆動法を採ることも考えられる。
すなわち、入射光量が非常に少ない環境下での撮像時には、画素アレイ部11の各画素111からの信号の読み出しを、第2のフレームレートで繰り返して行うのではなく、第1のフレームレートで行う駆動法である。所定の露光期間の終了後、各画素111から第1のフレームレートで信号を読み出すことで、当該露光期間において光電変換素子20で光電変換された電荷量に対応する画素値の画像データが得られることは容易に理解できることである。
この駆動方法を採るということは、野外や蛍光灯下など、入射光量が非常に多い環境下での撮像時と、暗所など、入射光量が非常に少ない環境下での撮像時とで駆動方法を切り替えるということである。その切り替えは、手動操作により、あるいは、入射光量が所定の光量閾値を超えたか否かを検知するセンサを搭載し、当該センサの検知出力を用いることにより、切り替え情報をタイミングジェネレータ16に与えて、画素アレイ部11の各画素111から信号を読み出すタイミングを切り替えることによって容易に実現できる。
このように、入射光量が非常に少ない環境下での撮像時には、画素アレイ部11の各画素111からの信号の読み出しを第1のフレームレートで行う駆動法を採ることにより、露光期間において垂直駆動回路12やカラム信号処理回路13などの回路部分を動作させなくて済み、これら回路部分については露光動作が完了した時点で動作を開始させれば良いため、第2のフレームレートで繰り返して信号を読み出し、常に各回路部分を動作させる必要がある場合に比べて消費電力を低減できる利点がある。
[第2形態(本発明の実施形態)]
図3は、第2形態(本発明の実施形態)に係るMOS型固体撮像装置、例えば手ぶれ補正機能を持つ高感度CMOSイメージセンサの構成を示すブロック図である。図3に示すように、第2形態に係るCMOSイメージセンサ10Bは、画素アレイ部31、垂直駆動回路32、カラム信号処理回路33、記憶手段であるフレームメモリ34、デジタルアンプ35、タイミングジェネレータ36、DSP回路37および動きベクトル検出手段としての例えば加速度センサー38を有する構成となっている。
画素アレイ部31は、光電変換素子を含む画素311が、所定の繰り返し周期で行列状に2次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線312が配線された構成となっており、画素311の各々において被写体(図示せず)からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。光電変換素子としては、第1形態の場合と同様に、例えば光電子増倍膜で形成された光電変換素子20が用いられる。画素311としても、第1形態の場合と同様に、3トランジスタ構成のものや、4トランジスタ構成のものが用いられる。
垂直駆動回路32は、シフトレジスタなどによって構成されており、画素311の各々を行単位で選択し、当該選択行の画素311をリセットしたり、画素311から信号を読み出したりする。この垂直駆動回路32による駆動時には、選択行の画素311の各々からは、上記リセットトランジスタによってリセットされたときのフローティングディフュージョンの電位がリセットレベルとして出力され、また転送トランジスタによってフォトダイオードからフローティングディフュージョンに信号電荷が転送されたときの当該フローティングディフュージョンの電位が信号レベルとして出力される。
カラム信号処理回路33は、CDS回路331、ADC(アナログ−デジタル変換)回路332、アドレス補正回路333および加算・平均化回路334などの各種の信号処理回路を、例えば画素列ごとに有する構成となっている。
このカラム信号処理回路33において、CDS回路331は、垂直駆動回路32によって選択された行の画素311から出力される信号に対してノイズ除去のための処理(CDS処理)を行う。具体的には、先述したように、選択行の画素311から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このCDS回路331としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。
ADC回路332は、CDS回路331でのCDS処理後の各画素のアナログ信号を列ごとにデジタル信号に変換する。アドレス補正回路333は、ADC回路332から出力される各画素情報をフレームメモリ34に記憶する際に、後述する加速度センサー38の検出結果に基づいてフレームメモリ34上の格納アドレスの補正を行う。加算・平均化回路334は、フレームメモリ34に既に格納されている各画素の信号と、アドレス補正回路333でアドレス補正された各画素の信号とを演算する、例えば加算・平均化する。
フレームメモリ34は、画素アレイ部31の画素数以上、または画像形成に実際に機能する有効画素部の画素数以上の画素情報を記憶できる容量を持ち、アドレス補正回路333でアドレス補正され、また加算・平均化回路334で演算(加算・平均化)処理された後の各画素情報を記憶する。デジタルアンプ35は、フレームメモリ34から順に出力されるデジタル画素データを、適当なゲインで増幅(減衰を含む)する。タイミングジェネレータ36は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。
ここまでに説明した各回路部分、即ち垂直駆動回路32、カラム信号処理回路33、フレームメモリ34、デジタルアンプ35およびタイミングジェネレータ36は、画素311が行列状に配置されてなる画素アレイ部31と同じチップ(半導体基板)39上に集積され、以下に説明する回路部分、即ちDSP回路37および加速度センサー38は、チップ39の外部に設けられている。
DSP回路37は、チップ39内のフレームメモリ34からデジタルアンプ15を介して出力される各画素の信号を、本CMOSイメージセンサ10B外の記憶媒体(例えば、コンパクトフラッシュ(登録商標)やメモリスティック)へ伝送する前に各種の画像処理を行う。加速度センサー38は、CMOSイメージセンサ10B自体(装置本体)のぶれ(いわゆる、手ぶれ)に伴う動きベクトル、即ち画素アレイ部31の各画素311から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出し、その検出結果をチップ39内のアドレス補正回路333に与える。
なお、ここでは、動きベクトル検出手段として例えば加速度センサー38を用いるとしたが、加速度センサー38に限られるものではなく、時間的に前の画像に対する後の画像の動きベクトルを検出できる構成のものであれば良い。
上記構成の本実施形態に係る高感度CMOSイメージセンサ10Bにおける、野外や蛍光灯下など、入射光量が非常に多い環境下での撮像時の動作や、暗所など、入射光量が非常に少ない環境下での撮像時の動作については、基本的に、第1形態に係る高感度CMOSイメージセンサ10Aの場合と同じであり、ここでは重複するのでその説明を省略するものとする。
ところで、本CMOSイメージセンサ10Bをカメラ装置に用いた場合において、夜景や暗い場所で撮像するときには、一般的には、明るい場所での撮像時に比べて長い時間に亘って露光(長時間露光)が行われるため、手で持ったカメラ装置のぶれ(以下、これを「手ぶれ」と呼ぶ)などにより、ノイズ感の高い画像(例えば、ぼやけた画像)となる。また、高倍率のカメラ装置で遠くの被写体を撮像するときは、少しの手ぶれによってもノイズ感の高い画像となる。そこで、本実施形態では、手ぶれを補正して画像を安定化させるために、加速度センサー38の情報を基に手ぶれ補正を行うようにしている。
次に、上記構成の本実施形態に係る高感度CMOSイメージセンサ10Bにおける手ぶれ補正時の動作について説明する。
垂直駆動回路32による垂直走査により、画素311が1行ずつ、あるいは複数行同時に選択され、選択行の各画素311から信号が、最終出力段(I/Oバッファ)のデータレートよりも高速に、即ち当該データレートで決まる第1のフレームレートよりも速い第2のフレームレートで読み出される。この読み出された各画素311の信号は、カラム信号処理回路33において列ごとに、CDS回路331でCDS処理が行われ、ADC回路332でデジタル信号に変換された後、1フレーム目の各画素の信号についてはアドレス補正回路333および加算・平均化回路334を経由してフレームメモリ34に順次記憶される。
続いて、加速度センサー38がぶれ量を計測する期間、およびアドレス補正回路133に信号を反映するタイミングについて、図4のタイミングチャートを用いて説明する。図4において、Hパルスは垂直駆動回路32を制御するための基準信号であり、Vパルスはフレームを制御するための基準信号であり、Gパルスは加速度センサー38から信号を受け取るタイミングを決めるための基準信号である。
Vパルスが立ち上がった後、Hパルスのある発生回数目から画素行が順次選択され、その選択行の各画素311から信号が読み出される。1フレーム目の画像情報の取り込みが終了した時点から2フレーム目の画像情報の取り込みを開始するまでの間(例えば、V0〜V1の期間)に、手ぶれによってチップ39等が動いた場合、加速度センサー38はその動いた量を検出する。手ぶれによってチップ39などが動くと、画素アレイ部31の各画素311から読み出される信号に基づく、時間的に前の画像(1フレーム目の画像)に対して後の画像(2フレーム目の画像)が動くことになる。
したがって、手ぶれによってチップ39などが動いた場合には、加速度センサー38により、画素アレイ部31の各画素311から読み出される信号に基づく、時間的に前の画像(1フレーム目の画像)に対する後の画像(2フレーム目の画像)の動きベクトルが検出される。2フレーム目の画像情報が順次読み出され、CDS回路331でCDS処理が行われ、ADC回路332でデジタル信号に変換された後、アドレス補正回路333において、G1パルスのタイミングで得た加速度センサー38の検出結果を基に、1フレーム目の画像に対して2フレーム目の画像が動いた分だけ、2フレーム目の画像情報(各画素111の信号)に対して、フレームメモリ34上の格納アドレスの補正が行われる。
このアドレス補正について、以下により具体的に説明する。ここでは、理解を容易にするために、画素アレイ部31上の画素311のアドレスと、当該画素311の信号が格納されるフレーメモリ34上の格納アドレスとを同一アドレスとして説明するものとする。
ある点Pを撮像した1フレーム目の画素(Xa,Yb)の信号がフレームメモリ34上の格納アドレス(Xa,Yb)に格納され、2フレーム目の画像情報を取り込むまでの間に生じた手ぶれにより、2フレーム目の画像では、同じ点Pが1フレーム目の画素(Xa,Yb)と異なる画素(Xc,Yd)で撮像されたと仮定したとき、画素(Xc,Yd)の信号に対して格納アドレスの補正を行わない場合には、当該画素(Xc,Yd)の信号は、1フレーム目の格納アドレス(Xa,Yb)と異なる格納アドレス(Xc,Yd)に格納される。
すなわち、1フレーム目の画素(Xa,Yb)の信号と2フレーム目の画素(Xc,Yd)は、同じ点Pの画像情報であるにも拘わらず、フレームメモリ34上の異なるアドレス位置に格納されることになる。このアドレス位置のずれにより、格納アドレスがずれた分だけ1フレーム目と2フレーム目とで画像がぶれることになり、その結果、ノイズ感の高い画像(例えば、ぼやけた画像)となる。
この手ぶれに伴う画像のぶれを補正するために、アドレス補正回路333は、上記の具体例の場合には、加速度センサー38の検出結果、即ち画素(Xa,Yb)に対する画素(Xc,Yd)の動きベクトルを基に、画素(Xc,Yd)の信号の格納アドレスを、格納アドレス(Xc,Yd)から画素(Xa,Yb)の信号と同じ格納アドレス(Xa,Yb)に補正する処理を行う。このアドレス補正回路333でのアドレス補正により、点Pについての2フレーム目の画素(Xc,Yd)の信号が、同じ点Pについての1フレーム目の画素(Xa,Yb)の信号と同じ格納アドレス(Xa,Yb)に格納されることになるため、1フレーム目と2フレーム目との間で画像がぶれることはない。
アドレス補正回路333でアドレス補正された各画素の信号は、加算・平均化回路334において、フレームメモリ34に格納されている各画素の信号と加算・平均化処理された後、フレームメモリ34の該当する格納アドレスに格納される。
3フレーム目以降も、2フレーム目の読み出し補正動作と同様の動作が繰り返して実行される。適当な画素値が得られるまで、複数枚(複数フレーム)に亘って各画素の信号を加算し、もしくは加算・平均化した後、フレームメモリ34から1フレーム分の画像データとしてチップ39外へ出力する。その後、後段のDSP回路37などで所定の信号処理を行って、外部の記憶媒体などに出力される。
加算もしくは加算・平均化するフレーム数(画像枚数)については、画素アレイ部31の各画素311から信号を読み出す速度によって決まる。また、画素アレイ部31の各画素311の蓄積時間については、加算するフレーム数によって決まる。
上述したように、光電子増倍膜で形成された光電変換素子20を含む画素311が多数配置されてなる手ぶれ補正機能を持つ高感度のCMOSイメージセンサ10Bにおいて、フレームメモリ34を画素アレイ部31と同じチップ38上に設けるとともに、チップ38上の最終出力段(具体的には、I/Oバッファ)のデータレートで決まる第1のフレームレートよりも高速な第2のフレームレートで、画素アレイ部31の各画素311から信号を読み出し、かつ加算してフレームメモリ34に格納することにより、第1実施形態の場合と同様の作用効果、即ち野外や蛍光灯下など、非常に光量が多い環境下でも、十分なダイナミックレンジを確保することができることに加えて、次のような作用効果を得ることができる。
すなわち、画素アレイ部31の各画素311から第2のフレームレートで信号を読み出してフレームメモリ34に格納する一方、フレームメモリ34からは第1のフレームレートで画像データを出力することにより、フレームメモリ34から第1のフレームレートで1枚分の画像データを出力する期間内において、複数フレーム(複数枚)分だけ画素アレイ部31の各画素311から画像データを読み出し、かつ複数フレームの画像間に空間的なずれがあれば、複数フレームごとに手ぶれ補正を行って複数フレームの画像の空間的なアドレスを合わせることができる。したがって、静止画撮像および動画撮像のいずれにおいても、最終出力段のデータレートで決まる第1のフレームレートで読み出される画像データに対して手ぶれ補正を行うのに比べて、よりきめ細かな手ぶれ補正を行うことができるため、低ノイズで撮像することが可能になる。
画素アレイ部31の各画素311から信号を読み出すフレームレートについては、読み出すフレーム(画像データ)間において発生する手ぶれの影響を減らすためには速ければ速い程、手ぶれを防止する効果は大きい。また、最終的に出力する画像データのダイナミックレンジについても、加算するフレーム数を増やすことによって拡大することが可能となる。
なお、本実施形態では、加速度センサー38の検出結果をアドレス補正回路333に反映させるタイミングを1フレームごとに設定するとしたが、図5に示すように、フレームを飛ばして複数フレームごとに上記タイミングを設定するなど、用途に応じて、加速度センサー38の検出結果をアドレス補正回路333に反映するタイミングを適宜変更するようにしても良い。
また、アドレス補正をフレーム単位で行うのではなく、図6に示すように、加速度センサー38による手ぶれ検出を行ごとに実施するとともに、その都度加速度センサー38の検出結果をアドレス補正回路333に反映させてアドレス補正も行ごとに実施するようにしても良い。アドレス補正を行単位で行うことにより、フレーム単位で行う場合よりも、よりきめ細かな手ぶれ補正の実現が可能になる。
さらに、画素アレイ部31の各画素を画素単位でアドレス指定することによって各画素の信号を画素単位で読み出し可能なCMOSイメージセンサにあっては、手振れ検出を画素ごとに実施するとともに、アドレス補正も画素ごとに実施することも可能である。アドレス補正を画素単位で行うことにより、行単位で行う場合よりも、さらにきめ細かな手ぶれ補正の実現が可能になる。
上記構成の実施形態に係るCMOSイメージセンサ10Bにおいて、フレームメモリ34として、先述したように、画素アレイ部31の画素数よりも多い画素数分だけ画素情報を記憶可能な容量を持つメモリを用意し、上記手ぶれ補正の機能を活用することにより、最終的な画像データを、画素アレイ部31の画素数で決まる解像度よりも高い解像度、広い画角で出力することができる、という作用効果を得ることもできる。このことについて、以下により具体的に説明する。
手ぶれ補正に伴うアドレス補正後の各画素値を、対応する画素の記憶領域に順に記憶する。ここで、手ぶれ補正の際に、画素アレイ部11からN枚(Nフレーム)分の画像データが順に読み出され、各画像(フレーム)ごとにアドレス補正が行われるものとすると、当該アドレス補正により、図7に示すように、1フレーム目、2フレーム目、……、Nフレーム目の各画像データが、手ぶれによる動きベクトルの分だけずれた状態でフレームメモリ34に記憶される。
これにより、画素アレイ部31の画素数で決まる画角よりも広い画角の画素情報がフレームメモリ34上に格納されることになる。したがって、フレームメモリ34から画素情報を読み出すときに、画素アレイ部31の画角よりも広い画角を1枚が画像として、当該画角の画素情報を読み出すことにより、結果として、画素アレイ部31の画素数が増えたのと等価となるため、最終的な画像データを画素アレイ部31の画素数で決まる画角よりも広い画角で出力することができる。
ただし、本CMOSイメージセンサ10Bが画素アレイ部31の各画素311ごとにカラーフィルタを有するカラー対応の場合には、単純にアドレス補正を行ったのでは混色の問題が発生する。そこで、カラーフィルタの色を合わせるために、アドレス補正回路333において、カラーフィルタのカラーコーディングにおける単位パターンの繰り返し画素数の整数倍でアドレス補正を行うようにする。
具体的には、例えば、カラーコーディングの単位パターンが水平方向(X方向)2画素繰り返し×垂直方向(Y方向)2画素繰り返しのカラーフィルタを持つ場合には、水平方向、垂直方向共に、2の整数倍でアドレス補正を行ってフレームメモリ34に記憶するようにする。これにより、常に同じ色の画素値がフレームメモリ34上の同じアドレスに格納され、異なる色の画素値が同じアドレスに格納されることがないため、アドレス補正によって混色が発生することはない。
次に、手ぶれ補正機能を活用することによる解像度向上についての他の例について説明する。
フレームメモリ34には、1つのアドレス(1つの画素の記憶領域)につきカラーフィルタごとに記憶領域を持たせるとともに、アドレス補正後加算したカラーフィルタ情報をもフレームメモリ14に記憶させるようにする。具体的には、例えばR(赤)G(緑)B(青)ベイヤ配列のカラーフィルタを持つ場合を例に挙げると、図8にその一例を示すように、フレームメモリ14の1画素分のデータ(1つのアドレスのデータ)として、B,G,Rの各出力値(加算・平均値)に加えて、各色(各カラーフィルタ)ごとの加算回数などを格納しておくようにする。
格納する加算回数については、後でカラーフィルタごとに画素値の平均値を求める際に用いるようにする。ただし、ここで述べた1つのアドレス(1つの画素の記憶領域)につきカラーフィルタごとに記憶領域を持たせる例は一例に過ぎず、これに限られるものではない。
このように、フレームメモリ34が1つのアドレス(1つの画素の記憶領域)につきカラーフィルタごとに記憶領域を持つことで、アドレス補正後の画素の情報をカラーフィルタごとに別々にフレームメモリ34に記憶させることができるため、アドレス補正によって混色が発生することはなく、また1つの画素について複数の画素値を読み出すことになり、結果として、画素アレイ部31の画素数が増えたのと等価となるため、最終的な画像データを画素アレイ部31の画素数で決まる解像度よりも高い解像度で出力することができる。
なお、上記実施形態では、画素の光電変換素子として、光電子増倍膜で形成された光電変換素子20を用いてなる高感度CMOSイメージセンサに適用した場合を例に挙げて説明したが、多画素化に伴う光電変換素子(例えば、フォトダイオード)の微細化によって電荷の蓄積容量が小さくなり、瞬時に飽和領域に達するような光電変換素子を用いてなるCMOSイメージセンサにも同様に適用可能である。この適用例によれば、電荷の蓄積容量が小さく、瞬時に飽和領域に達するような光電変換素子を用いても、十分なダイナミックレンジを確保することができることから、画素の微細化による多画素化に大きく寄与できる利点がある。
また、上記実施形態では、CMOSイメージセンサに適用した場合を例に挙げて説明したが、本発明はCMOSイメージセンサへの適用に限られるものではなく、MOS型イメージセンサに代表されるX−Yアドレス型固体撮像装置全般に適用可能である。
また、上記実施形態では、画素を行列状に2次元配置してなるエリアセンサに適用した場合を例に挙げて説明したが、エリアセンサのみならず、画素を直線状に一次元配置してなるリニアセンサ(ラインセンサ)にも同様に適用可能である。リニアセンサの場合には、各画素の信号を格納する記憶手段として、フレームメモリに代えてラインメモリを用いるようにすれば良い。
10A,10B…CMOSイメージセンサ、11,31…画素アレイ部、12,32…垂直駆動回路、13,33…カラム信号処理回路、14,34…フレームメモリ、15,35…デジタルアンプ、16,36タイミングジェネレータ、17,37…DSP(デジタル信号処理)回路、38…加速度センサー、111,311…画素、112.312…垂直信号線、131,331…CDS回路、132,322…ADC回路、133,334…加算・平均化回路、333…アドレス補正回路