JP4419675B2 - 固体撮像装置および固体撮像装置の駆動方法 - Google Patents

Description

本発明は、固体撮像装置および固体撮像装置の駆動方法に関し、特に装置本体（固体撮像装置自体）のぶれを補正して撮像画像を安定化させる、いわゆる手ぶれ補正機能を備えた固体撮像装置および当該固体撮像装置の駆動方法に関する。

電荷転送型固体撮像装置、例えばＣＣＤ(Charge Coupled Device)イメージセンサや、ＭＯＳ型イメージセンサ、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサに代表される固体撮像装置は、動画を撮影するビデオカメラや、静止画を撮影する電子スチルカメラ等、各種の映像機器においてその撮像デバイスとして利用されている。

近年、半導体技術の進歩により数百万画素の固体撮像装置が開発され、高解像度が要求されるデジタルスチルカメラや映画用のビデオカメラなどのカメラ装置（撮像装置）においてその撮像デバイスとして利用されている。その中でもＣＭＯＳイメージセンサは、各画素に光電変換素子と読出し回路が設けられた固体撮像装置であり、各画素をランダムにアクセスすることや、各画素から高速に信号を読み出すことが可能であることから、将来を有望視されている。

この種の固体撮像装置を利用したカメラ装置において、夜景や暗い場所で撮像するときには、一般的には、明るい場所での撮像時に比べて長い時間に亘って露光（長時間露光）が行われる。長時間露光を行うときには、スタンドなどを用いてカメラ装置を固定した状態で撮像しないと、手で持ったカメラのぶれ（以下、これを「手ぶれ」と呼ぶ）などにより、ノイズ感の高い画像（例えば、ぼやけた画像）となる。また、高倍率のカメラ装置で遠くの被写体を撮像するときは、少しの手ぶれによってもノイズ感の高い画像となる。

そこで、手ぶれを補正して画像を安定化させるために、カメラ装置に取り付けられた加速度センサーから得られる情報を基にカメラ装置が動いた距離を検出し、その検出結果に基づいてカメラ装置の光学系を動かすことによって手ぶれ補正を行うようにしていた。しかしながら、光学系を動かす構成を採った場合、光学系を移動させるための機構が必要になることから、光学系全体が大きくなるためカメラ本体も大きくなり、また値段も高くなるという問題がある。そのため、従来は、固体撮像装置の出力信号に対して、手ぶれの検出結果に基づいて信号処理系で補正処理を行うことによって手ぶれ補正を実現するようにしていた（例えば、特許文献１参照）。

特開平６−４６４３４号公報

しかしながら、上記の従来技術では、Ｒ（赤），Ｇ（緑），Ｂ（青）の信号から２種類の輝度信号および２種類の色信号を得てフレームメモリに格納し、当該フレームメモリに格納した信号に対して、手ぶれの検出結果に基づいて演算処理を行い、その演算結果を別のフレームメモリに格納するようにしているため、フレームメモリが余分に必要になり、コスト高になるという課題があった。しかも、固体撮像装置からは最終出力段のデータレートで決まるフレームレートでしか画像情報を取り出せないため、きめ細かな手ぶれ補正を行うにも限界があった。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、１つのフレームメモリで手ぶれ補正を実現でき、また最終出力段のデータレートよりも高速に画像情報を得てよりきめ細かな手ぶれ補正を行うことで、低ノイズで撮像することが可能な固体撮像装置および固体撮像装置の駆動方法を提供することにある。

上記目的を達成するために、本発明では、光電変換素子を含む画素が行列状に２次元配置されてなる画素アレイ部と、前記画素アレイ部の各画素の信号を行単位で並列に読み出す駆動手段と、前記駆動手段によって前記画素アレイ部の各画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する検出手段と、前記画素アレイ部の各画素の信号を格納する単一のフレームメモリとを備えた固体撮像装置において、前記フレームメモリを前記画素アレイ部と同一の基板上に設けるとともに、前記検出手段の検出結果に基づいて前記後の画像に関する各画素の信号の前記フレームメモリ上の格納アドレスを補正し、しかる後、前記フレームメモリに格納されている各画素の信号とアドレス補正後の各画素の信号とを行単位で並列に加算または平均化して前記フレームメモリの補正後の格納アドレスに格納する構成を採っている。

上記構成の固体撮像装置において、画素アレイ部の各画素の信号を格納する単一のフレームメモリを画素アレイ部と同一の基板上に設けるとともに、画素の信号の読み出し、アドレス補正、加算平均化を行単位で並列に行うことで、当該基板上の最終出力段のデータレートよりも高速に画素アレイ部の各画素から信号を読み出してフレームメモリに格納しておくことが可能になる。そして、手ぶれ補正に当たって、画素アレイ部の各画素の信号を最終出力段のデータレートよりも高速に読み出すことで、最終出力段のデータレートで読み出す場合に比べて、より多くの枚数の画像を得て各画像ごとに手ぶれ補正を行うことができるため、よりきめ細かな手ぶれ補正を実現できる。

本発明によれば、画素アレイ部の各画素の信号を最終出力段のデータレートよりも高速に読み出すことで、最終出力段のデータレートで読み出す場合に比べて、よりきめ細かな手ぶれ補正を実現できるため、低ノイズで撮像することが可能になる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係るＭＯＳ型固体撮像装置、例えばＣＭＯＳイメージセンサの構成を示すブロック図である。図１に示すように、第１実施形態に係るＣＭＯＳイメージセンサ１０Ａは、画素アレイ部１１、垂直駆動回路１２、カラム信号処理回路１３、記憶手段であるフレームメモリ１４、デジタルアンプ１５、タイミングジェネレータ１６、ＤＳＰ(Digital Signal Processor;デジタル信号処理)回路１７および動きベクトル検出手段としての例えば加速度センサー１８を有する構成となっている。

画素アレイ部１１は、光電変換素子を含む画素１１１が、所定の繰り返し周期で行列状に２次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線１１２が配線された構成となっており、画素１１１の各々において被写体（図示せず）からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。

画素１１１としては、ここでは図示を省略するが、光電変換素子、例えばフォトダイオードに加えて、当該画素１１１の駆動トランジスタ、例えば、フォトダイオードで光電変換して得られる信号電荷をフローティングディフュージョン（ＦＤ）に転送する転送トランジスタと、当該フローティングディフュージョンの電位を制御するリセットトランジスタと、フローティングディフュージョンの電位に応じた信号を出力する増幅トランジスタとを有する３トランジスタ構成のものや、画素選択を行うための選択トランジスタをさらに有する４トランジスタ構成のものなどを用いることができる。

垂直駆動回路１２は、シフトレジスタなどによって構成されており、画素１１１の各々を行単位で選択し、当該選択行の画素１１１をリセットしたり、画素１１１から信号を読み出したりする駆動手段である。この垂直駆動回路１２による駆動時には、選択行の画素１１１の各々からは、上記リセットトランジスタによってリセットされたときのフローティングディフュージョンの電位がリセットレベルとして出力され、また転送トランジスタによってフォトダイオードからフローティングディフュージョンに信号電荷が転送されたときの当該フローティングディフュージョンの電位が信号レベルとして出力される。

カラム信号処理回路１３は、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)回路１３１、ＡＤＣ（アナログ−デジタル変換）回路１３２、アドレス補正回路１３３および加算・平均化回路１３４などの各種の信号処理回路を、例えば画素列ごとに有する構成となっている。

このカラム信号処理回路１３において、ＣＤＳ回路１３１は、垂直駆動回路１２によって選択された行の画素１１１から出力される信号に対してノイズ除去のための処理（ＣＤＳ処理）を行う。具体的には、先述したように、選択行の画素１１１から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このＣＤＳ回路１３１としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。

ＡＤＣ回路１３２は、ＣＤＳ回路１３１でのＣＤＳ処理後の各画素のアナログ信号を列ごとにデジタル信号に変換する。アドレス補正回路１３３は、ＡＤＣ回路１３２から出力される各画素情報をフレームメモリ１４に記憶する際に、後述する加速度センサー１８の検出結果に基づいてフレームメモリ１４上の格納アドレスの補正を行う。加算・平均化回路１３４は、フレームメモリ１４に既に格納されている各画素の信号と、アドレス補正回路１３３でアドレス補正された各画素の信号とを演算する、例えば加算・平均化する演算手段である。

フレームメモリ１４は、画素アレイ部１１の画素数以上、または画像形成に実際に機能する有効画素部の画素数以上の画素情報を記憶できる容量を持ち、アドレス補正回路１３３でアドレス補正され、また加算・平均化回路１３４で演算（加算・平均化）処理された後の各画素情報を記憶する。デジタルアンプ１５は、フレームメモリ１４から順に出力されるデジタル画素データを、適当なゲインで増幅（減衰を含む）する。タイミングジェネレータ１６は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。

ここまでに説明した各回路部分、即ち垂直駆動回路１２、カラム信号処理回路１３、フレームメモリ１４、デジタルアンプ１５およびタイミングジェネレータ１６は、画素１１１が行列状に配置されてなる画素アレイ部１１と同じチップ（半導体基板）１９上に集積され、以下に説明する回路部分、即ちＤＳＰ回路１７および加速度センサー１８は、チップ１９の外部に設けられている。

ＤＳＰ回路１７は、チップ１９内のフレームメモリ１４からデジタルアンプ１５を介して出力される各画素の信号を、本ＣＭＯＳイメージセンサ１０Ａ外の記憶媒体（例えば、コンパクトフラッシュ（登録商標）やメモリスティック）へ伝送する前に各種の画像処理を行う。加速度センサー１８は、ＣＭＯＳイメージセンサ１０Ａ自体（装置本体）のぶれ（いわゆる、手ぶれ）に伴う動きベクトル、即ち画素アレイ部１１の各画素１１１から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出し、その検出結果をチップ１９内のアドレス補正回路１３３に与える。

なお、ここでは、動きベクトル検出手段として例えば加速度センサー１８を用いるとしたが、加速度センサー１８に限られるものではなく、時間的に前の画像に対する後の画像の動きベクトルを検出できる構成のものであれば良い。

次に、上記構成の本実施形態に係るＣＭＯＳイメージセンサ１０Ａの回路動作について説明する。

垂直駆動回路１２による垂直走査により、画素アレイ部１１の各画素１１１が行単位で順に選択される。すると、その選択行（信号出力行）の各画素１１１において、光電変換素子（例えば、フォトダイオード）に蓄積された信号電荷（例えば、電子）に応じた信号レベルと、光電変換素子をリセットした後のリセットレベル（例えば、０レベル）が、垂直信号線１１２を通して各列のカラム信号処理回路１３に出力される。

なお、図示を省略したが、用途に応じて、垂直駆動回路１２と基本的に同じ構成のシャッタ駆動回路が当該垂直駆動回路１２と並列的に設けられる。このシャッタ駆動回路による走査により、画素アレイ部１１の各画素１１１が行単位で順に選択されると、その選択行（電子シャッタ行）の各画素１１１の光電変換素子がリセットされる。信号出力行を駆動した直後に、同様の駆動パルスで電子シャッタ行の各画素１１１が動作する。電子シャッタ行と信号出力行が一定の間隔で進んで行くとき、信号出力行から出力される信号は、電子シャッタ行から信号出力行まで進んで行く期間に光電変換された光の信号となる。

電子シャッタ行と信号出力行の時間的な間隔を調節することにより、光電変換素子への照射時間（信号電荷の蓄積時間）を変更することができる。垂直駆動回路１２および上記シャッタ駆動回路の駆動パルス、即ちスタートパルスおよびクロックパルスは、タイミングジェネレータ１６で生成される。上記照射時間（信号電荷の蓄積時間）の調整は、タイミングジェネレータ１６で生成する駆動パルスのタイミングを調節することによって実行される。

画素１１１の全てから信号を読み出す全画素読出し時には、シャッタ動作および読み出し動作は、画素アレイ部１１の第一行から最終行までを順に選択され、全ての行に対して行われる。ここまでの動作は、従来と同じ、周知の動作である。

ここで、本実施形態に係るＣＭＯＳイメージセンサ１０Ａでは、画素アレイ部１１と同じチップ１９上にフレームメモリ１４を搭載（内蔵）した構成を採っている。この構成を採ることにより、チップ１９上の最終出力段、本例ではデジタルアンプ１５（あるいは、Ｉ／Ｏバッファ）のデータレートに律則されることなく、画素アレイ部１１の各画素１１１の信号を、当該データレートよりも高速に読み出してフレームメモリ１４に格納する一方、フレームメモリ１４からは各画素のデータを最終出力段のデータレートで出力することが可能になる。これは、フレームメモリ１４から最終出力段のデータレートで１枚分の画像データを出力する期間内において、複数枚分の画像データを画素アレイ部１１の各画素１１１から読み出せることを意味する。

そして、本実施形態に係るＣＭＯＳイメージセンサ１０Ａにおいては、最終出力段のデータレートよりも高速に読み出される多数の画像の画素情報を用いることで、よりきめ細かな手ぶれ補正を実現することを特徴としている。以下に、手ぶれ補正についての具体的な処理手順について説明する。

（手ぶれ補正）
垂直駆動回路１２による垂直走査により、画素１１１が１行ずつ、あるいは複数行同時に選択され、選択行の各画素１１１から信号（リセットレベルおよび信号レベル）が、最終出力段のデータレートよりも高速に、即ち当該データレートで決まるフレームレートよりも速いフレームレートで読み出される。この読み出された各画素１１１の信号は、カラム信号処理回路１３において列ごとに、ＣＤＳ回路１３１でＣＤＳ処理が行われ、ＡＤＣ回路１３２でデジタル信号に変換された後、１フレーム目の各画素の信号についてはアドレス補正回路１３３および加算・平均化回路１３４を経由してフレームメモリ１４に順次記憶される。

続いて、加速度センサー１８がぶれ量を計測する期間、およびアドレス補正回路１３３に信号を反映するタイミングについて、図２のタイミングチャートを用いて説明する。図２において、Ｈパルスは垂直駆動回路１２を制御するための基準信号であり、Ｖパルスはフレームを制御するための基準信号であり、Ｇパルスは加速度センサー１８から信号を受け取るタイミングを決めるための基準信号である。

Ｖパルスが立ち上がった後、Ｈパルスのある発生回数目から画素行が順次選択され、その選択行の各画素１１１から信号が読み出される。１フレーム目の画像情報の取り込みが終了した時点から２フレーム目の画像情報の取り込みを開始するまでの間（例えば、Ｖ０〜Ｖ１の期間）に、手ぶれによってチップ１９等が動いた場合、加速度センサー１８はその動いた量を検出する。手ぶれによってチップ１９などが動くと、画素アレイ部１１の各画素１１１から読み出される信号に基づく、時間的に前の画像（１フレーム目の画像）に対して後の画像（２フレーム目の画像）が動くことになる。

したがって、手ぶれによってチップ１９などが動いた場合には、加速度センサー１８により、画素アレイ部１１の各画素１１１から読み出される信号に基づく、時間的に前の画像（１フレーム目の画像）に対する後の画像（２フレーム目の画像）の動きベクトルが検出される。２フレーム目の画像情報が順次読み出され、ＣＤＳ回路１３１でＣＤＳ処理が行われ、ＡＤＣ回路１３２でデジタル信号に変換された後、アドレス補正回路１３３において、Ｇ１パルスのタイミングで得た加速度センサー１８の検出結果を基に、１フレーム目の画像に対して２フレーム目の画像が動いた分だけ、２フレーム目の画像情報（各画素１１１の信号）に対して、フレームメモリ１４上の格納アドレスの補正が行われる。

このアドレス補正について、以下により具体的に説明する。ここでは、理解を容易にするために、画素アレイ部１１上の画素１１１のアドレスと、当該画素１１１の信号が格納されるフレーメモリ１４上の格納アドレスとを同一アドレスとして説明するものとする。

ある点Ｐを撮像した１フレーム目の画素（Ｘａ，Ｙｂ）の信号がフレームメモリ１４上の格納アドレス（Ｘａ，Ｙｂ）に格納され、２フレーム目の画像情報を取り込むまでの間に生じた手ぶれにより、２フレーム目の画像では、同じ点Ｐが１フレーム目の画素（Ｘａ，Ｙｂ）と異なる画素（Ｘｃ，Ｙｄ）で撮像されたと仮定したとき、画素（Ｘｃ，Ｙｄ）の信号に対して格納アドレスの補正を行わない場合には、当該画素（Ｘｃ，Ｙｄ）の信号は、１フレーム目の格納アドレス（Ｘａ，Ｙｂ）と異なる格納アドレス（Ｘｃ，Ｙｄ）に格納される。

すなわち、1フレーム目の画素（Ｘａ，Ｙｂ）の信号と２フレーム目の画素（Ｘｃ，Ｙｄ）の信号は、同じ点Ｐの画像情報であるにも拘わらず、フレームメモリ１４上の異なるアドレス位置に格納されることになる。このアドレス位置のずれにより、格納アドレスがずれた分だけ1フレーム目と２フレーム目とで画像がぶれることになり、その結果、ノイズ感の高い画像（例えば、ぼやけた画像）となる。

この手ぶれに伴う画像のぶれを補正するために、アドレス補正回路１３３は、上記の具体例の場合には、加速度センサー１８の検出結果、即ち画素（Ｘａ，Ｙｂ）に対する画素（Ｘｃ，Ｙｄ）の動きベクトルを基に、画素（Ｘｃ，Ｙｄ）の信号の格納アドレスを、格納アドレス（Ｘｃ，Ｙｄ）から画素（Ｘａ，Ｙｂ）の信号と同じ格納アドレス（Ｘａ，Ｙｂ）に補正する処理を行う。このアドレス補正回路１３３でのアドレス補正により、点Ｐについての２フレーム目の画素（Ｘｃ，Ｙｄ）の信号が、同じ点Ｐについての１フレーム目の画素（Ｘａ，Ｙｂ）の信号と同じ格納アドレス（Ｘａ，Ｙｂ）に格納されることになるため、1フレーム目と２フレーム目との間で画像がぶれることはない。

アドレス補正回路１３３でアドレス補正された各画素の信号は、加算・平均化回路１３４において、フレームメモリ１４に格納されている各画素の信号と加算・平均化処理された後、フレームメモリ１４の該当する格納アドレスに格納される。加算・平均化回路１３４において加算・平均化処理を行うのは次の理由による。すなわち、フレームメモリ１４に格納される一行分（一回分）の各画素の信号は、ある無視できないランダムノイズ（例えば、熱雑音や電源の揺れ等に起因するノイズ）を持っていることが多い。

このランダムノイズを持つ各画素の信号をそのまま用いた場合、当該ランダムノイズに起因する画質低下を招く懸念もある。そこで、ランダムノイズを抑制するために、加算・平均化回路１３４においては、各画素の信号について各フレーム間において加算・平均化し、その平均値を各画素の信号としてフレームメモリ１４に記憶するようにしている。具体的には、今回のフレームに関するアドレス補正後の各画素の信号と、フレームメモリ１４に既に格納されている各画素の信号（前回の加算・平均値）との加算・平均値を算出して、今回の加算・平均値としてフレームメモリ１４に格納する処理を複数回、即ち複数フレームに亘って実行する。

なお、本例では、複数フレームに亘って各画素の信号を加算・平均化することによってランダムノイズを抑制するとしたが、ランダムノイズについては必ずしも平均化しなくても、各画素の信号を複数フレームに亘って単純に加算するだけでも、ランダムノイズについてはそのまま加算とはならず、信号レベルについてはそのまま加算となるためＳ／Ｎを向上できる。

３フレーム目以降も、２フレーム目の読み出し補正動作と同様の動作が繰り返して実行される。適当な画素値が得られるまで、複数枚（複数フレーム）に亘って各画素の信号を加算し、もしくは加算・平均化した後、フレームメモリ１４から１フレーム分の画像データとしてチップ１９外へ出力する。その後、後段のＤＳＰ回路１７などで所定の信号処理を行って、外部の記憶媒体などに出力される。

加算もしくは加算・平均化するフレーム数（画像枚数）については、画素アレイ部１１の各画素１１１から信号を読み出す速度によって決まる。また、画素アレイ部１１の各画素１１１の蓄積時間については、加算するフレーム数によって決まる。

上述したように、手ぶれ補正機能を持つＣＭＯＳイメージセンサ１０Ａにおいて、画素アレイ部１１の各画素１１１の信号を格納するフレームメモリ１４を画素アレイ部１１と同一のチップ１９上に設けた構成を採ることにより、チップ１９上の最終出力段のデータレートに律則されることなく、当該データレートで決まるフレームレートよりも速いフレームレートで画素アレイ部１１の各画素１１１から信号を読み出してフレームメモリ１４に格納する一方、フレームメモリ１４からは最終出力段のデータレートで画像データを出力することが可能になる。

これにより、フレームメモリ１４から最終出力段のデータレートで決まるフレームレートで１枚分の画像データを出力する期間内において、複数フレーム（複数枚）分だけ画素アレイ部１１の各画素１１１から画像データを読み出し、かつ複数フレームの画像間に空間的なずれがあれば、複数フレームごとに手ぶれ補正を行って複数フレームの画像の空間的なアドレスを合わせることができる。したがって、図３から明らかなように、本ＣＭＯＳイメージセンサ１０Ａを搭載したカメラにおける静止画撮像および動画撮像のいずれの場合（Ａ）においても、最終出力段のデータレートで決まるフレームレートで読み出される画像データに対して手ぶれ補正を行う場合（Ｂ）に比べて、高速に撮像することによって手ぶれ量を減少させることができ、よりきめ細かな手ぶれ補正を実現できるため、低ノイズで撮像することが可能になる。

しかも、手ぶれ補正の処理を実行するに当たり、画像データを一度フレームメモリに格納し、この格納した画像データに対してアドレス補正を行った後別のフレームメモリに再度格納するのではなく、先ず、加速度センサー１８の検出結果を基にアドレス補正回路１３３でアドレス補正を行い、しかる後、アドレス補正後の画素情報を、加算・平均化回路１３４を経由してフレームメモリ１４に格納する構成を採っているため、フレームメモリ１４が一つで済むという利点もある。

画素アレイ部１１の各画素１１１から信号を読み出すフレームレートについては、読み出すフレーム（画像データ）間において発生する手ぶれの影響を減らすためには速ければ速い程、手ぶれを防止する効果は大きい。また、最終的に出力する画像データのダイナミックレンジについても、加算するフレーム数を増やすことによって拡大することが可能となる。

なお、本実施形態では、加速度センサー１８の検出結果をアドレス補正回路１３３に反映させるタイミングを１フレームごとに設定するとしたが、図４に示すように、フレームを飛ばして複数フレームごとに上記タイミングを設定するなど、用途に応じて、加速度センサー１８の検出結果をアドレス補正回路１３３に反映するタイミングを適宜変更するようにしても良い。

また、アドレス補正をフレーム単位で行うのではなく、図５に示すように、加速度センサー１８による手ぶれ検出を行ごとに実施するとともに、その都度加速度センサー１８の検出結果をアドレス補正回路１３３に反映させてアドレス補正も行ごとに実施するようにしても良い。アドレス補正を行単位で行うことにより、フレーム単位で行う場合よりも、よりきめ細かな手ぶれ補正の実現が可能になる。

さらに、画素アレイ部１１の各画素を画素単位でアドレス指定することによって各画素の信号を画素単位で読み出し可能なＣＭＯＳイメージセンサにあっては、手振れ検出を画素ごとに実施するとともに、アドレス補正も画素ごとに実施することも可能である。アドレス補正を画素単位で行うことにより、行単位で行う場合よりも、さらにきめ細かな手ぶれ補正の実現が可能になる。

上記構成の第１実施形態に係るＣＭＯＳイメージセンサ１０Ａにおいて、フレームメモリ１４として、先述したように、画素アレイ部１１の画素数よりも多い画素数分だけ画素情報を記憶可能な容量を持つメモリを用意し、上記手ぶれ補正の機能を活用することにより、最終的な画像データを、画素アレイ部１１の画素数で決まる解像度よりも高い解像度、広い画角で出力することが可能になる。このことについて、以下により具体的に説明する。

手ぶれ補正に伴うアドレス補正後の各画素値を、対応する画素の記憶領域に順に記憶する。ここで、手ぶれ補正の際に、画素アレイ部１１からＮ枚（Ｎフレーム）分の画像データが順に読み出され、各画像（フレーム）ごとにアドレス補正が行われるものとすると、当該アドレス補正により、図６に示すように、１フレーム目、２フレーム目、……、Ｎフレーム目の各画像データが、手ぶれによる動きベクトルの分だけずれた状態でフレームメモリ１４に記憶される。

これにより、画素アレイ部１１の画素数で決まる画角よりも広い画角の画素情報がフレームメモリ１４上に格納されることになる。したがって、フレームメモリ１４から画素情報を読み出すときに、画素アレイ部１１の画角よりも広い画角を１枚の画像として、当該画角の画素情報を読み出すことにより、結果として、最終的な画像データを画素アレイ部１１の画素数で決まる画角よりも広い画角で出力することができる。

ただし、本ＣＭＯＳイメージセンサ１０Ａが画素アレイ部１１の各画素１１１ごとにカラーフィルタを有するカラー対応の場合には、単純にアドレス補正を行ったのでは混色の問題が発生する。そこで、カラーフィルタの色を合わせるために、アドレス補正回路１３３において、カラーフィルタのカラーコーディングにおける単位パターンの繰り返し画素数の整数倍でアドレス補正を行うようにする。

具体的には、例えば、カラーコーディングの単位パターンが水平方向（Ｘ方向）２画素繰り返し×垂直方向（Ｙ方向）２画素繰り返しのカラーフィルタを持つ場合には、水平方向、垂直方向共に、２の整数倍でアドレス補正を行ってフレームメモリ１４に記憶するようにする。これにより、常に同じ色の画素値がフレームメモリ１４上の同じアドレスに格納され、異なる色の画素値が同じアドレスに格納されることがないため、アドレス補正によって混色が発生することはない。

次に、手ぶれ補正機能を活用することによる解像度向上についての他の例について説明する。

フレームメモリ１４には、１つのアドレス（１つの画素の記憶領域）につきカラーフィルタごとに記憶領域を持たせるとともに、アドレス補正後加算したカラーフィルタ情報をもフレームメモリ１４に記憶させるようにする。具体的には、例えばＲ（赤）Ｇ（緑）Ｂ（青）ベイヤ配列のカラーフィルタを持つ場合を例に挙げると、図７にその一例を示すように、フレームメモリ１４の１画素分のデータ（１つのアドレスのデータ）として、Ｂ，Ｇ，Ｒの各出力値（加算・平均値）に加えて、各色（各カラーフィルタ）ごとの加算回数などを格納しておくようにする。

格納する加算回数については、後でカラーフィルタごとに画素値の平均値を求める際に用いるようにする。ただし、ここで述べた１つのアドレス（１つの画素の記憶領域）につきカラーフィルタごとに記憶領域を持たせる例は一例に過ぎず、これに限られるものではない。

このように、フレームメモリ１４が１つのアドレス（１つの画素の記憶領域）につきカラーフィルタごとに記憶領域を持つことで、アドレス補正後の画素の情報をカラーフィルタごとに別々にフレームメモリ１４に記憶させることができるため、アドレス補正によって混色が発生することはなく、また１つの画素について複数の画素値を読み出すことになり、結果として、画素アレイ部１１の画素数が増えたのと等価となるため、最終的な画像データを画素アレイ部１１の画素数で決まる解像度よりも高い解像度で出力することができる。

なお、上記第１実施形態では、ＤＳＰ回路１７および加速度センサー１８をチップ１９の外部に配置した構成のＣＭＯＳイメージセンサ１０Ａに適用した場合を例に挙げて説明したが、図８に示すように、ＤＳＰ回路１７および加速度センサー１８を、垂直駆動回路１２、カラム信号処理回路１３、フレームメモリ１４、デジタルアンプ１５およびタイミングジェネレータ１６と共に、画素アレイ部１１と同じチップ１９上に集積してなるＣＭＯＳイメージセンサ１０Ｂにも同様に適用可能である。

また、ＤＳＰ回路１７および加速度センサー１８のいずれか一方のみを、画素アレイ部１１と同じチップ１９上に集積してなるＣＭＯＳイメージセンサにも適用可能である。因みに、加速度センサー１８については、例えば、微細な電気回路と機械的構造を一体化したＭＥＭＳ(Micro Electro Mechanical Systems) によって作製することにより、チップ１９上への集積化が実現できる。

［第２実施形態］
図９は、本発明の第２実施形態に係るＭＯＳ型固体撮像装置、例えばＣＭＯＳイメージセンサの構成を示すブロック図である。図９に示すように、第２実施形態に係るＣＭＯＳイメージセンサ１０Ｃは、画素アレイ部２１、垂直駆動回路２２、カラム信号処理回路２３、水平駆動回路２４、水平信号線２５、アナログアンプ２６、タイミングジェネレータ２７、ＡＤＣ回路２８、アドレス補正回路２９、加算・平均化回路３０、フレームメモリ３１、ＤＳＰ回路３２および加速度センサー３３を有する構成となっている。

画素アレイ部２１は、光電変換素子を含む画素２１１が、所定の繰り返し周期で行列状に２次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線２１２が配線された構成となっており、画素２１１の各々において被写体（図示せず）からの入射光を所定の期間だけその光量に応じた電荷量の信号電荷に光電変換する。画素２１１としては、第１実施形態に係る画素１１１と同じ画素構造のものを用い得る。

垂直駆動回路２２は、シフトレジスタなどによって構成されており、画素２１１の各々を行単位で選択し、当該選択行の画素２１１をリセットしたり、画素２１１から信号を読み出したりする。この垂直駆動回路２２による駆動時には、選択行の画素２１１の各々からは、先述したように、リセットレベルと信号レベルが順に読み出され、垂直信号線２１２を通してカラム信号処理回路２３に供給される。

カラム信号処理回路２３は、ＣＤＳ回路２３１およびラインメモリ２３２を、例えば画素列ごとに有する構成となっている。ＣＤＳ回路２３１は、垂直駆動回路２２によって選択された行の画素２１１から出力される信号に対してノイズ除去のための処理（ＣＤＳ処理）を行う。具体的には、先述したように、選択行の画素２１１から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。ラインメモリ２３２は、例えばサンプルホールドキャパシタによって構成され、ＣＤＳ処理後の信号を１行（ライン）分だけ保持する。

水平駆動回路２４は、シフトレジスタなどによって構成されており、ラインメモリ２３２を画素列ごとに順に選択し、当該ラインメモリ２３２に保持されている１ライン分の信号を水平信号線２５に順次出力させる。アナログアンプ２６は、ラインメモリ２３２から水平信号線２５を通して供給される各画素の信号を適当なゲインで増幅（減衰を含む）する。タイミングジェネレータ２７は、上記各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。

ここまでに説明した各回路部分、即ち垂直駆動回路２２、カラム信号処理回路２３、水平駆動回路２４、水平信号線２５、アナログアンプ２６およびタイミングジェネレータ２７は、画素アレイ部２１と同じチップ（半導体基板）３４上に集積され、以下に説明する回路部分、即ちＡＤＣ回路２８、アドレス補正回路２９、加算・平均化回路３０、フレームメモリ３１、ＤＳＰ回路３２および加速度センサー３３は、チップ３４の外部に設けられている。

ＡＤＣ回路２８は、チップ３４上のアナログアンプ２６から出力されるアナログ信号をデジタル信号に変換する。アドレス補正回路２９は、ＡＤＣ回路２７から出力される各画素情報をフレームメモリ３１に記憶する際に、後述する加速度センサー３３の検出結果に基づいてフレームメモリ３１上の格納アドレスの補正を行う。加算・平均化回路３０は、フレームメモリ３１に既に格納されている各画素の信号と、アドレス補正回路２９でアドレス補正された各画素の信号とを演算する、例えば加算・平均化する。

フレームメモリ３１は、画素アレイ部２１の画素数以上、または有効画素部の画素数以上の画素情報を記憶できる容量を持ち、アドレス補正回路２９でアドレス補正され、また加算・平均化回路３０で演算（加算・平均化）処理された後の各画素情報を記憶する。ＤＳＰ回路３２は、フレームメモリ３１から出力される各画素の信号を、本ＣＭＯＳイメージセンサ１０Ｃ外の記憶媒体（例えば、コンパクトフラッシュ（登録商標）やメモリスティック）へ伝送する前に各種の画像処理を行う。加速度センサー３３は、ＣＭＯＳイメージセンサ１０Ｃ自体（装置本体）のぶれ（手ぶれ）に伴う動きベクトル、即ち画素アレイ部２１の各画素２１１から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出し、その検出結果をアドレス補正回路２９に与える。

なお、ＡＤＣ回路２８、アドレス補正回路２９および加算・平均化回路３０の少なくとも一つについては、垂直駆動回路２２、カラム信号処理回路２３、水平駆動回路２４、水平信号線２５、アナログアンプ２６およびタイミングジェネレータ２７と共に、画素アレイ部２１と同じチップ３４上に集積することも可能である。

上記構成の第２実施形態に係るＣＭＯＳイメージセンサ１０Ｃを、第１実施形態に係るＣＭＯＳイメージセンサ１０Ａと比較すると、その構成上の大きな違いは次の点にある。すなわち、第１実施形態に係るＣＭＯＳイメージセンサ１０Ａでは、フレームメモリ１４を画素アレイ部１１と同じチップ１９上に搭載した構成を特徴の一つとしているのに対して、第２実施形態に係るＣＭＯＳイメージセンサ１０Ｃでは、フレームメモリ３１をチップ３４外に設けた構成を採っている。なお、各回路部分の基本的な動作については、第１実施形態の場合と基本的に同じである。

この違いにより、第２実施形態に係るＣＭＯＳイメージセンサ１０Ｃでは、チップ３４から出力される画像データのフレームレートは、最終出力段のデータレートで律則されるため、第１実施形態に係るＣＭＯＳイメージセンサ１０Ａの場合のように、フレームメモリ３１に対して画像データを高速に読み出すことはできなく、したがってきめ細かな手ぶれ補正を実現することはできない。

しかしながら、第２実施形態に係るＣＭＯＳイメージセンサ１０Ｃでは、第１実施形態に係るＣＭＯＳイメージセンサ１０Ａの場合と同様に、手ぶれ補正の処理を実行するに当たり、先ず、加速度センサー３３の検出結果を基にアドレス補正回路２３でアドレス補正を行い、しかる後、アドレス補正後の画素情報をフレームメモリ３１に格納する構成を採っているため、フレームメモリ３１が一つで済むという利点がある。因みに、従来技術では、画素情報を一度フレームメモリに格納し、この格納した画素情報に対してアドレス補正を行って別のフレームメモリに格納する構成を採っているため、フレームメモリを２つ必要としていた。

なお、上記各実施形態では、ＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、本発明はＣＭＯＳイメージセンサへの適用に限られるものではなく、ＭＯＳ型イメージセンサに代表されるＸ−Ｙアドレス型固体撮像装置全般、さらには画素で光電変換して得られる信号電荷を垂直画素列ごとに配された垂直転送部で転送し、各垂直列毎に垂直転送部の後段に設けられた電荷検出部で電気信号に変換した後、カラム信号処理回路を通して出力する構成の固体撮像装置にも同様に適用可能である。

本発明に係る固体撮像装置は、動画を撮影するビデオカメラや、静止画を撮影する電子スチルカメラ等、各種の映像機器の撮像デバイスとして用いることができる他、カメラ付き携帯電話などの携帯機器の撮像デバイスとしても用いることができる。

本発明の第１実施形態に係るＣＭＯＳイメージセンサの構成を示すブロック図である。 加速度センサーの検出結果をアドレス補正に反映させるタイミングを１フレームごとに設定した場合のタイミングチャートである。 本発明による場合（Ａ）と従来例による場合（Ｂ）の手ぶれ補正の比較図である。 加速度センサーの検出結果をアドレス補正に反映させるタイミングを複数フレームごとに設定した場合のタイミングチャートである。 加速度センサーの検出結果をアドレス補正に反映させるタイミングを行ごとに設定した場合のタイミングチャートである。 手ぶれ補正機能を活用することによる解像度向上の説明図である。 手ぶれ補正機能を活用することによる解像度向上の他の例の説明図であり、ある一つのアドレスのデータ例を示している。 第１実施形態の変形例に係るＣＭＯＳイメージセンサの構成を示すブロック図である。 本発明の第２実施形態に係るＣＭＯＳイメージセンサの構成を示すブロック図である。

符号の説明

１１，２１…画素アレイ部、１２，２２…垂直駆動回路、１３，２３…カラム信号処理回路、１４，３１…フレームメモリ、１６，２７…タイミングジェネレータ、１７，３２…ＤＳＰ（デジタル信号処理）回路、１８，３３…加速度センサー、１９，３４…チップ（半導体基板）

Claims (7)

1. 光電変換素子を含む画素が行列状に２次元配置されてなる画素アレイ部と、
   前記画素アレイ部の各画素の信号を行単位で並列に読み出す駆動手段と、
   前記駆動手段によって前記画素アレイ部の各画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する検出手段と、
   前記画素アレイ部と同一の基板上に設けられ、前記画素アレイ部の各画素の信号を格納する単一のフレームメモリと、
   前記検出手段の検出結果に基づいて前記後の画像に関する各画素の信号の前記フレームメモリ上の格納アドレスを行単位で並列に補正する補正手段と、
   前記フレームメモリに格納されている各画素の信号と前記補正手段によってアドレス補正された各画素の信号とを行単位で並列に加算または平均化して前記フレームメモリの補正後の格納アドレスに格納する演算手段と
   を備えた固体撮像装置。
2. 前記駆動手段は、前記フレームメモリに格納された各画素の信号を順に前記基板外へ出力する最終出力段のデータレートよりも高速に前記画素アレイ部の各画素の信号を読み出す
   請求項１記載の固体撮像装置。
3. 前記補正手段は、前記駆動手段によって前記画素アレイ部の各画素から読み出される信号に基づく複数フレームの画像に対して順に前記格納アドレスの補正を行う
   請求項２記載の固体撮像装置。
4. 前記検出手段は、前記画素アレイ部と同一の基板上に設けられている
   請求項１記載の固体撮像装置。
5. 前記画素アレイ部の各画素ごとにカラーフィルタを有しており、
   前記補正手段は、前記カラーフィルタのカラーコーディングにおける単位パターンの繰り返し画素数の整数倍でアドレス補正を行う
   請求項１記載の固体撮像装置。
6. 前記画素アレイ部の各画素ごとにカラーフィルタを有しており、
   前記フレームメモリは、１つの画素の格納アドレスに前記カラーフィルタの色ごとの記憶領域を持っている
   請求項１記載の固体撮像装置。
7. 光電変換素子を含む画素が行列状に２次元配置されてなる画素アレイ部と、
   前記画素アレイ部の各画素の信号を行単位で並列に読み出す駆動手段と、
   前記駆動手段によって前記画素アレイ部の各画素から読み出される信号に基づく時間的に前の画像に対する後の画像の動きベクトルを検出する検出手段と、
   前記画素アレイ部と同一の基板上に設けられ、前記画素アレイ部の各画素の信号を格納する単一のフレームメモリとを備えた固体撮像装置の駆動に当たって、
   前記検出手段の検出結果に基づいて前記後の画像に関する各画素の信号の前記フレームメモリ上の格納アドレスを行単位で並列に補正し、
   しかる後、前記フレームメモリに格納されている各画素の信号とアドレス補正後の各画素の信号とを行単位で並列に加算または平均化して前記フレームメモリの補正後の格納アドレスに格納する
   固体撮像装置の駆動方法。

Images