JP4687139B2 - 固体撮像装置、固体撮像装置の駆動方法および撮像装置 - Google Patents

Description

本発明は、固体撮像装置、固体撮像装置の駆動方法および撮像装置に関する。

従来のＣＭＯＳイメージセンサは、図９に示すように、行列状に２次元配置されてなる画素１０１を、制御回路１０２による制御の下に、垂直（Ｖ）駆動回路１０３による選択走査によって行単位で選択し、その選択行の画素１０１の信号をカラム信号処理回路１０４に読み出し、当該カラム信号処理回路１０４で所定の処理を施した後、水平（Ｈ）駆動回路１０５による選択走査によって順番に水平信号線１０６に読み出し、出力回路１０７を通して出力する構成となっている（例えば、特許文献１参照）。

このＣＭＯＳイメージセンサを撮像デバイスとして用いた撮像装置において、手振れ補正は次のようにして行われることになる。すなわち、図１０に示すように、ＣＭＯＳイメージセンサ２０１から出力される画像信号に対し、ＤＳＰ(Digital Signal Processor)回路２０２において、角速度センサ２０３からの動き情報を基に、画像の原点をずらす処理を行うことで、手振れ補正が行われる。

具体的には、動画の場合は、手振れ量を戻す分だけ原点のずらされた信号がＤＳＰ回路２０２から出力される。静止画の場合は、ＣＭＯＳイメージセンサ２０１では露光期間の間に複数回の出力を行う一方、ＤＳＰ回路２０２ではフレームメモリ２０４を用いて手振れ量を戻す分だけ原点をずらしながら重ね合わせて１枚の画を作る処理が行われる。

特開２００３−８７６６２号公報

しかしながら、上記従来技術に係るＣＭＯＳイメージセンサ２０１を用いて手振れ補正を行うには、静止画の場合に高速化の点で問題がある。すなわち、例えば３００万画素のＣＭＯＳイメージセンサ２０１において、全画素読出しを行った場合に、一行分の画素の信号をカラム信号処理回路１０４から順番に読み出すことになるため、通常、その読出しに１／７．５秒程度かかってしまい、それよりも短い時間の手振れに対応できない。

また、読出しに１／７．５秒もかかるようでは、機械的なシャッタを付けないと、動く物体を撮影したときに、画面の上部と下部とで最大７．５秒分のゆがみが生じてしまうことにもなる。

ＣＭＯＳイメージセンサ２０１とＤＳＰ回路２０２に高速インターフェイスを乗せることで、例えば１／５０秒程度の速い速度で全画素読出しを行うことは可能であるものの、高速インターフェイスを搭載すると、当該高速インターフェイスの消費電力が大きくなったり、チップ面積が増大したり、あるいは制御が難しくなったりする。

本発明の第１の観点に係る固体撮像装置は、それぞれ画素信号を生成する複数の光電変換素子が行列状に２次元配置されてなる画素アレイ部と、前記画素アレイ部の各画素に対応した複数の画素信号を入出力可能に格納する記憶手段と、前記画素アレイ部と前記記憶手段との間において前記画素アレイ部の列に対応して配置され、前記画素アレイ部から読み出された各画素信号と前記記憶手段に格納されている画素信号とを受け取って全列の画素信号について並列演算処理し、その演算処理結果を前記記憶手段に格納する複数の演算手段とを備える。
本発明の第２の観点に係る固体撮像装置の駆動方法は、それぞれ画素信号を生成する複数の光電変換素子が行列状に２次元配置されてなる画素アレイ部と、前記画素アレイ部の各画素に対応した複数の画素信号を入出力可能に格納する記憶手段と、前記画素アレイ部と前記記憶手段との間において前記画素アレイ部の列に対応して配置された複数の演算手段とを備えた固体撮像装置の駆動方法であって、前記複数の演算手段は、前記画素アレイ部から読み出された各画素信号と前記記憶手段に格納されている画素信号とを受け取って全列の画素信号について並列演算処理し、その演算処理結果を前記記憶手段に格納する。
本発明の第３の観点に係る撮像装置は、それぞれ画素信号を生成する複数の光電変換素子が行列状に２次元配置されてなる画素アレイ部を有する固体撮像装置と、前記固体撮像装置の撮像面上に被写体からの像光を結像させる光学系と、前記固体撮像装置の出力信号を処理する信号処理手段とを備え、前記固体撮像装置は、前記画素アレイ部の各画素に対応した複数の画素信号を入出力可能に格納する記憶手段と、前記画素アレイ部と前記記憶手段との間において前記画素アレイ部の列に対応して配置された複数の演算手段とを有し、前記複数の演算手段は、前記画素アレイ部から読み出された各画素信号と前記記憶手段に格納されている画素信号とを受け取って全列の画素信号について並列演算処理し、その演算処理結果を前記記憶手段に格納する。

上記構成の固体撮像装置において、画素アレイ部から読み出された各画素の信号と記憶手段に格納されている情報とを受け取って列並列で処理し、その処理結果を記憶手段に書き戻すことにより、例えば従来の３００万画素の固体撮像装置にあっては、全画素の読み出しに１／７．５秒程度の時間を要するのに対して、列並列処理を生かして１／５０秒程度で１枚の画像データを記憶手段に格納することができる。

本発明によれば、何枚の画像を演算する場合でも出力する画像データは１枚分で済むため、複数枚の画像を高速に処理しながら、インターフェイス部のデータレートを低くすることができ、また列並列処理による複数枚の画像の高速処理により、ダイナミックの拡大や高速な手振れ補正を低消費電力にて実現できるとともに、１行ずつ読み出しを行う従来のイメージセンサで問題となる、動く被写体のゆがみを低減できる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る固体撮像装置、例えばＣＭＯＳイメージセンサの構成例を示すブロック図である。

本実施形態に係るＣＭＯＳイメージセンサ１０は、光電変換素子を含む画素１１が行列状に２次元配置されてなる画素アレイ部１２を備えている。この画素アレイ部１２には、画素１１が２次元配置されるとともに、この画素配置に対して画素行ごとに図示しない行制御線が図の横方向（左右方向）に配線され、画素列ごとに図示しない垂直信号線が図の縦方向（上下方向）に配線されている。

（画素回路）
図２は、画素１１の回路構成の一例を示す回路図である。図２に示すように、本回路例に係る画素１１は、光電変換素子、例えばフォトダイオード１１１に加えて、例えば転送トランジスタ１１２、リセットトランジスタ１１３、増幅トランジスタ１１４および選択トランジスタ１１５の４つのトランジスタを有する画素回路となっている。ここでは、これらトランジスタ１１２〜１１５として、例えばＮチャネルのＭＯＳトランジスタを用いている。

この画素１１に対して、行制御線として転送線３１、リセット線３２および選択線３３が同一行の画素について共通に配線され、さらに垂直信号線３４が同一列の画素について共通に配線されている。

図２において、フォトダイオード１１１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。フォトダイオード１１１のカソードは、転送トランジスタ１１２を介して増幅トランジスタ１１４のゲートと電気的に接続されている。この増幅トランジスタ１１４のゲートと電気的に繋がったノード１１６をＦＤ（フローティングディフュージョン）部と呼ぶ。

転送トランジスタ１１２は、フォトダイオード１１１のカソードとＦＤ部１１６との間に接続され、ゲートに転送線３１を介して転送パルスφＴＲＳが与えられることによってオン状態となり、フォトダイオード１１１で光電変換された光電荷をＦＤ部１１６に転送する。

リセットトランジスタ１１３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部１１６にそれぞれ接続され、ゲートにリセット線３２を介してリセットパルスφＲＳＴが与えられることによってオン状態となり、フォトダイオード１１１からＦＤ部１１６への信号電荷の転送に先立って、ＦＤ部１１６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部１１６をリセットする。

増幅トランジスタ１１４は、ゲートがＦＤ部１１６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ１１３によってリセットした後のＦＤ部１１６の電位をリセットレベルとして出力し、さらに転送トランジスタ１１２によって信号電荷を転送した後のＦＤ部１１６の電位を信号レベルとして出力する。

選択トランジスタ１１５は、例えば、ドレインが増幅トランジスタ１１４のソースに、ソースが垂直信号線３４にそれぞれ接続され、ゲートに選択線３３を介して選択パルスφＳＥＬが与えられることによってオン状態となり、画素１１を選択状態として増幅トランジスタ１１４から出力される信号を垂直信号線３４に中継する。

なお、この選択トランジスタ１１５については、画素電源Ｖｄｄと増幅トランジスタ１１４のドレインとの間に接続した回路構成を採ることも可能である。

また、画素１１としては、上記構成の４トランジスタ構成のものに限られるものではなく、増幅トランジスタ１１４と選択トランジスタ１１５を兼用した３トランジスタ構成のものであっても良い。

図１に説明を戻す。本実施形態に係るＣＭＯＳイメージセンサ１０は、画素アレイ部１２の他に、垂直駆動回路１３、カラム信号処理回路１４、列ずらし回路１５、ずらし制御回路１６、演算回路１７、センスアンプ１８、メモリ回路１９、センスアンプ２０、制御回路（１）２１、制御回路（２）２２、行選択回路２３および列選択回路２４を備え、例えばこれらの要素の全てが画素アレイ部１２と同じ半導体基板（チップ）２５上に作成された構成となっている。

垂直駆動回路１３は、シフトレジスタなどによって構成され、画素アレイ部１２の各画素１１を行単位で順次選択走査し、その選択行の各画素に対して図２において説明した転送線３１、リセット線３２および選択線３３を通して転送パルスφＴＲＳ、リセットパルスφＲＳＴおよび選択パルスφＳＥＬを適宜必要なタイミングで供給する。

画素１１の信号は、垂直駆動回路１３による選択走査によって１行分が並列に読み出されてカラム信号処理回路１４に渡される。カラム信号処理回路１４は、画素アレイ部１２の画素列ごとに、即ち１対１の対応関係をもって配置されており、画素１１の信号に対してＣＤＳ(Correlated double sampling)やゲイン調整等の信号処理を施してから、Ａ（アナログ）／Ｄ（デジタル）変換して例えば１４bitのデータとして列ずらし回路１５に渡す。

なお、本例では、カラム信号処理回路１４がＡ／Ｄ変換機能を持ちとしたが、カラム信号処理回路１４でＡ／Ｄ変換を行うことは必須ではなく画素１１の各々にＡ／Ｄ変換機能を持たせ、画素１１の各々でＡ／Ｄ変換を行う構成を採るようにしても良い。

列ずらし回路１５は、ずらし制御回路１６からの指示に従って、列をずらし、演算回路１７に渡す。ここで、列ずらし回路１５は、両方向にシフト可能なシフトレジスタ回路によって構成されており、ずらし制御回路１６からのシフト方向信号とシフト回数分のシフトパルスによって動作し、列のずらしを行う。

ずらし制御回路１６は、被写体と装置本体（カメラ本体）との相対的な動き、いわゆる手振れを検出する外部の動き検出手段、例えば角速度センサ（図示せず）からの信号（動き情報）の水平方向成分に基づいて、どの方向（図の右方向／左方向）に何列ずらすかの列ずらし量を決める。

演算回路１７は例えば加算回路からなり、画素アレイ部１２からカラム信号処理回路１４および列ずらし回路１５を介して供給される画素の信号と、メモリ回路１９からセンスアンプ１８によって読み出された信号との加算を行い、その加算結果をメモリ回路１９に書き戻す。

メモリ回路１９は例えばＤＲＡＭからなり、１枚分の画像データを格納可能なフレームメモリである。ここで、メモリ回路１９としては、画素アレイ部１２の画素１１の各々に対応してセルが並び、画素アレイ部１２における画素１１の各々の信号を１対１の対応関係をもって格納できるメモリ構造のものに限られるものではなく、例えば２画素分の信号を１つのセルに格納するメモリ構造など、要は、１枚分の画像データを格納できる構造のものであれば良い。

メモリ回路１９から読み出す信号は、画素アレイ部１２の選択行に対応する画素行か、または当該画素行に近い行の信号である。メモリ回路１９からどの行の信号を読み出すかは、ずらし制御回路１６が角速度センサからの信号の垂直方向成分に基づいて得られる行オフセット量によって決める。

行選択回路２３とセンスアンプ１８は、ずらし制御回路１６による制御の下に、当該ずらし制御回路１６が決めた行の信号をメモリから読み出し、また演算回路１７での演算結果（加算結果）をメモリ回路１９の対応する画素行に書き戻す。ここで、メモリ回路１９のデータは、画素１１のデータに対応するために、各単位が例えば１４bitずつである。

これらの要素、即ちカラム信号処理回路１４、列ずらし回路１５、演算回路１７、センスアンプ１８およびメモリ回路１９は、基本的に画素アレイ部１２の画素列ごとに配置されている。但し、これら要素の全てが完全に列並列、即ち画素列ごとに配置されていなくても良い。

例えば、カラム信号処理回路１４や演算回路１７が複数の画素列、例えば２列ごとに１つずつ配置し、複数の画素の信号に対して時分割で用いるようにしても良い。あるいは、メモリ回路１９の列数が画素アレイ部１２の列数よりも少なく、両端が切れるようになっていても良い。

制御回路（１）２１は、主に画素アレイ部１２から演算回路１７までの制御を行う。すなわち、垂直駆動回路１３の駆動制御による画素アレイ部１２での画素行の選択および読出しのための制御、カラム信号処理回路１４での信号処理のための制御、演算回路１７での演算処理のための制御などを行う。

メモリ回路１９に格納された画像データは、外部から制御回路（２）２２を介して行アドレス、列アドレスを指定することによって読み出すことができる。制御回路（２）２２は、主にメモリ回路１９を制御するためのものである。外部から行アドレス、列アドレスを制御回路（２）２２に指定することで、当該制御回路（２）２２による制御の下に、行選択回路２３によって行を選択して当該選択行のデータをセンスアンプ２０に読み出し、列選択回路２４によって列を選択して当該選択列のデータをセンスアンプ２０から読み出し、データ線２６を介して半導体基板２５外へ出力する。

このように、行アドレスに基づく行選択回路２３による行選択および列アドレスに基づく列選択回路２４による列選択により、メモリ回路１９に対する完全なランダムアクセスが可能となる。このランダムアクセスにより、任意の形状のエリアのみについてデータを読み出すこともできるし、行順に読み出す必要もなくなる。

上記構成の第１実施形態に係るＣＭＯＳイメージセンサ１０において、メモリ回路１９を初期化した後、画素アレイ部１２から画素信号を読み出す処理を１行ずつ順に行っていくことで、１枚目の画像データがカラム信号処理回路１４、列ずらし回路１５および演算回路１７を経由してメモリ回路１９に格納される。

再び１行目に戻って、同じ処理を１行ずつ順に行っていくことで、画素アレイ部１２から読み出された２枚目の画像データと、メモリ回路１９からセンスアンプ１８によって読み出された１枚目の画像データとが行単位で演算回路１７において例えば加算され、その加算結果がメモリ回路１９に格納される。

ここで、角速度センサからの信号に基づいて、ずらし制御回路１６による制御の下に、演算回路１７では、手振れを打ち消すように原点の位置を調整して加算する処理が行われる。所定の露光期間の間、この処理を続けて手振れの少ない画像を合成する。

ここで、本実施形態に係るＣＭＯＳイメージセンサでは、構成要素が基本的に列ごとに配置されていて、かつ、並列処理することが重要である。このように、画像の加算を行並列で行い、水平転送によるボトルネックが無いことで、例えば従来の３００万画素のイメージセンサにあっては、普通、全画素の読み出しに１／７．５秒程度の時間を要するのに対して、並列処理を生かして１／５０秒程度で１枚の画像データをメモリ回路１９に格納することができる。

これにより、手振れ補正の精度が上がる。また、何枚の画像の加算を行う場合でも、出力は加算された１枚で済むため、出力レートを低減でき、消費電力の低減や、出力端子の削減が可能である。また、１枚の画像を加算せずにそのまま出力する場合も、従来のイメージセンサでは、１行ずつ読み出しを行う故に、被写体が動くと画像がゆがむことになるが、本実施形態に係るＣＭＯＳイメージセンサでは、そのゆがみを例えば１／７．５秒対１／５０秒の比で低減することができる。

演算回路１７での演算については、必ずしも加算に限られるものではなく、平均化や、ゲインを違えてから加算する処理などを行うようにしても良い。平均化によれば、光量が十分あるときの支配的なノイズである、光ショットノイズを低減することができる。例えば、ｎ枚の画像の平均化で、光ショットノイズは１／√ｎにできる。

ゲインを違えてから加算する処理の場合は、例えば、電子シャッタによって露光時間の異なる複数枚の画像を読み出し、露光時間分のゲイン補正をして加算することで、ダイナミックレンジを拡大することができる。

なお、上記実施形態では、カラム信号処理回路１４と演算回路１７の間に列ずらし回路１５を設けて、当該列ずらし回路１５によって画素アレイ部１２の各画素から来た信号に対して列をずらす処理を行うとしたが、演算回路１７とセンスアンプ１８の間に列ずらし回路１５を設けて、当該列ずらし回路１５によってメモリ回路１９から読み出した方の信号に対して列をずらす処理を行うようにしても良い。

また、上記実施形態では、列ずらし回路１５、ずらし制御回路１６を設け、角速度センサからの信号を受けることによって手振れ補正を行う場合について説明したが、角速度センサからの信号を受けず、列ずらし回路１５、ずらし制御回路１６が無い場合でも、手振れ補正を行うことはできないものの、次のような作用効果を得ることができる。

・画素アレイ部１２から画素信号を高速に読み出して演算回路１７で加算しながらメモリ回路１９に格納することで、ダイナミックレンジ拡大のための処理を実行することができる。
・画素アレイ部１２から画素信号を高速に読み出してメモリ回路１９に格納し、後はメモリ回路１９からゆっくり読み出すことで、被写体が動いたときのひずみ低減のための処理を実行することができる。
また、いずれの場合も、メモリ回路１９に対してランダムアクセスができる。

もちろん、図１の各回路は明確に分離されてなくても、あるいはさらに分離されていても、同等の機能を発揮できれば構わない。

続いて、上記構成の第１実施形態に係るＣＭＯＳイメージセンサ１０のより具体的な動作について、図３の動作説明図を用いて説明する。図３において、メモリ回路１９の数字１，２，……，ｎだけはメモリ部の行番号を示し、画素アレイ部１２から演算回路１７までの数字１，２，……，ｎはその信号が由来する画素の行番号を示すものとする。

初期化フェイズでは、１行ずつ画素１１をリセットするとともに、１行ずつメモリ回路１９に０を書き込む。ここで、画素１１が動作している期間ｔには、メモリ回路１９を動作させないようにする。これは、デジタル部（カラム信号処理回路１４のＡ／Ｄ変換段以降）から画素１１へのノイズの回り込みを避けるためであり、以後も同じである。

次に、１枚目の画像を処理する期間になる。画素アレイ部１２の画素１１の各々から１行ずつ信号を読み出しながら、カラム信号処理回路１４に入れる。ここでは、２段のパイプライン構造の例を示しており、２行分の読み出し期間をかけてＡ／Ｄ変換を含む信号処理を行う。Ａ／Ｄ変換された信号が、列ずらし回路１５、演算回路１７と、やはりパイプライン的に送られ、演算回路１７において、メモリ回路１９からセンスアンプ１８によって読み出された格納値０と加算され、その加算結果がメモリ回路１０に書き戻される。最終のｎ行まで終了すると、１枚目の画像の処理が終わる。

次に、２枚目の画像を同様に処理する。１枚目の画像データの読出し以降に、フォトダイオード１１１（図２参照）に蓄積された信号が画素１１から読み出され、同様に処理される。ここで、列ずらし回路１５は、ずらし制御回路１６からの信号に従って、列をずらす処理を行う。

メモリ回路１９から格納データを読み出す際には、ずらし制御回路１６からの信号に従って、先頭アドレスを調整しており、ここでは、１だけずらしている。メモリ回路１９に格納されている１枚目の画像の信号と、画素アレイ部１２から読み出した２枚目の画像の信号が演算回路１７で加算され、その加算結果がメモリ回路１９に書き戻される。

ここで、もし、画素１１に色フィルタが貼られたカラー対応で、その色フィルタのカラーコーディングが２行２列単位の繰り返しの場合は、混色を防止するためにずらし量を偶数列偶数行に制限する。

図３の例では、２枚の画像を加算する場合を例に挙げているが、これは一例に過ぎず、もっと多くの画像を加算するようにしても良い。このように、複数枚の画像を加算して１枚の画像を形成することにより、ダイナミックレンジの広い、あるいはノイズの少ない１枚の画像が完成する。

この後、メモリ回路１９の格納値を順に出力するか、あるいは、外部からアドレスを与えて自由に読み出すことができる。便利のために、制御回路（２）２２は、複数の長方形領域の端点の座標を受け取り、これら長方形領域のアドレスを生成して当該領域のみを出力するようにコントロールする領域アドレス回路を含むことが望ましい。

この領域アドレス回路は、図４に示すように、メモリ回路１９、例えばフレームメモリ上に２つの長方形領域Ａ，Ｂを指定するのに、それぞれの端点の座標である、（Ａｘ１，Ａｙ１），（Ａｘ２，Ａｙ２）と（Ｂｘ１，Ｂｙ１），（Ｂｘ２，Ｂｙ２）を外部から入力すると、Ａ，Ｂの和集合からの出力だけをするように、行選択回路２３と列選択回路２４をコントロールする。実際には、領域アドレス回路に対して、２つよりも多くの長方形領域を入力することができる。

メモリ回路１９の行と列の数は、画素アレイ部１２の行と列の数よりも、手振れ補正を行う分だけ少なくすることもできる。逆に、カメラをわざとずらして複数毎の画像を撮影するための撮像装置などでは、メモリ回路１９の行と列の数を、画素アレイ部１２の行と列の数よりも多くすることも考えられる。

（撮像装置）
また、図５に示すように、本実施形態に係るＣＭＯＳイメージセンサ１０を撮像デバイスとして用いて、被写体と装置本体との相対的な動きを検出する動き検出センサ、例えば角速度センサ４１の出力信号（動き情報）を本ＣＭＯＳイメージセンサ１０に入れ、当該ＣＭＯＳイメージセンサ１０内のメモリ回路１９をＤＳＰ回路４２からもフレームメモリとして使う撮像装置、例えばカメラモジュールを構築することができる。

この場合、ＤＳＰ回路４２は、ＣＭＯＳイメージセンサ１０内のメモリ回路１９の内容を信号処理の途中結果または最終結果として書き換えながら行う。もちろん、角速度センサ４１の出力を、ＤＳＰ回路４２を経由してＣＭＯＳイメージセンサ１０に入れたり、別のフレームメモリを持たせたりする構成を採ることも可能である。

いずれにしても、何枚の画像を加算した場合でも、ＣＭＯＳイメージセンサ１０⇔ＤＳＰ回路４２間も、ＤＳＰ回路４２の出力も、加算された１枚だけの処理をインターフェイスするだけで済むため、出力レートを低減できるとともに、消費電力の低減および出力端子の削減が可能である。

上述したように、画素アレイ部１２の各画素１１に対応して情報を格納可能なメモリ回路１９を設け、画素アレイ部１２から読み出された各画素１１の信号とメモリ回路１９に格納されている情報とを演算回路１７で受け取って当該演算回路１７によって列並列で処理し、その処理結果をメモリ回路１９に書き戻すことにより、例えば従来の３００万画素のイメージセンサにあっては、全画素の読み出しに１／７．５秒程度の時間を要するのに対して、列並列処理を生かして１／５０秒程度で１枚の画像データをメモリ回路１９に格納することができる。

これにより、何枚の画像を演算する場合でも出力する画像データは１枚分で済むため、複数枚の画像を高速に処理しながら、インターフェイス部のデータレートを低くすることができる。また、演算回路１７での列並列処理によって複数枚の画像の信号を高速に処理できることにより、ダイナミックの拡大や高速な手振れ補正を低消費電力にて実現できるとともに、１行ずつ読み出しを行う従来のイメージセンサで問題となる、動く被写体のゆがみを低減できる。

なお、上記実施形態では、画素アレイ部１２の画素１１の各々から読み出した信号をメモリ回路１９に格納し、次に画素アレイ部１２の画素１１の各々から読み出した信号とメモリ回路１９に格納されている画素の信号を演算回路１７で演算する場合を例に挙げて説明したが、演算回路１７での演算は画素の信号同士の演算に限られるものではない。

例えば、メモリ回路１９に対して、本ＣＭＯＳイメージセンサ１０の外部から所望の信号を書き込んでおき、画素アレイ部１２の画素１１の各々から読み出した信号とメモリ回路１９の格納データを演算回路１７で演算することで、例えばパターンマッチングなどの画像処理を行うことも可能である。

［第２実施形態］
図６は、本発明の第２実施形態に係るＣＭＯＳイメージセンサの構成例を示すブロック図であり、図中、図１と同等部分には同一符号を付して示している。

本実施形態に係るＣＭＯＳイメージセンサ５０は、基本的に、第１実施形態に係るＣＭＯＳイメージセンサ１０と同じ構成要素、即ち画素アレイ部１２、垂直駆動回路１３、カラム信号処理回路１４、列ずらし回路１５、ずらし制御回路１６、演算回路１７、センスアンプ１８、メモリ回路１９、センスアンプ２０、制御回路２１，２２、行選択回路２３および列選択回路２４等を有している。

そして、第１実施形態に係るＣＭＯＳイメージセンサ１０と大きく異なる点は、当該ＣＭＯＳイメージセンサ１０では、全ての構成要素を同一の半導体基板２５上に形成した構成を採っているのに対して、本実施形態に係るＣＭＯＳイメージセンサ５０では、画素アレイ部１２とメモリ回路１９とを異なる半導体基板（チップ）５１，５２上に形成している点である。

具体的には、本実施形態に係るＣＭＯＳイメージセンサ５０は、一方の半導体基板５１上には、画素アレイ部１２を例えば垂直駆動回路１３、カラム信号処理回路１４および制御回路２１と一緒に形成し、他方の半導体基板５２上には、メモリ回路１９を例えば列ずらし回路１５、ずらし制御回路１６、演算回路１７、センスアンプ１８、センスアンプ２０、制御回路２２、行選択回路２３および列選択回路２４と一緒に形成した構成を採っている。

また、画素アレイ部１２の各画素１１の構造として、例えば、半導体基板５１の一方の面（表面）に転送線３１、リセット線３２、選択線３３、垂直信号線３４等（図２参照）の配線層を形成し、当該配線層と反対側の面（裏面）から入射光を取り込むいわゆる裏面入射構造（例えば、特開平２００３−３１７８５号公報参照）を採っている。

そして、本実施形態に係るＣＭＯＳイメージセンサ５０においては、図７に示すように、画素アレイ部１２等が形成された半導体基板（以下、「画素チップ」と記す）５１と、メモリ回路１９等が形成された半導体基板（以下、「メモリチップ」と記す）５２とを、それぞれの配線層側が対面するようにして貼り合わせることによって一体化した構成となっている。

また、画素チップ５１とメモリチップ５２との間では、次のようにして電気的な接続が行われている。

すなわち、画素チップ５１の配線層側の面上における画素アレイ部１２の上下に、端子例えばマイクロパッド５３Ａ，５３Ｂを基本的に画素アレイ部１２の画素列ごとに形成する一方、メモリチップ５２の配線層側の面上におけるマイクロパッド５３Ａ，５３Ｂに対応する位置に端子、例えばマイクロパッド５４Ａ，５４Ｂを形成し、図７に示すように、両チップ５１，５２上のマイクロパッド５３Ａと５４Ａ、マイクロパッド５３Ｂと５４Ｂをそれぞれバンプ、例えばマイクロバンプ５５によって画素列ごとに電気的に接続するようにしている。

ここで、画素アレイ部１２の下側に位置するマイクロパッド５３Ｂ，５４Ｂは、画素チップ５１上のカラム信号処理回路１４で処理され、Ａ／Ｄ変換された信号を、メモリチップ５２上の列ずらし回路１５に導く作用をなす。また、画素アレイ部１２の上側に位置するマイクロパッド５３Ａ，５４Ａは、画素チップ５１とメモリチップ５２の間において、マイクロパッド５３Ｂ，５４Ｂによる作用以外の作用をなすインターフェイスとなる。

このように、画素チップ５１とメモリチップ５２との間を、微細なマイクロパッド５３Ａ，５３Ｂ，５４Ａ，５４Ｂとマイクロバンプ５５の組み合わせを用いて電気的に接続する構成を採ることで、小さな面積で多くの接続を実現できるため、画素チップ５１側の回路部分とメモリチップ５２側の回路部分を画素列ごとに接続することができる。

また、メモリチップ５２は、画素チップ５１よりも大きな形状をなしている。そして、メモリチップ５２上におけるメモリ回路１９などの回路部分の両側には、両側辺に沿って複数のパッド５６が形成されている。これらのパッド５６は、本ＣＭＯＳイメージセンサ５０と外部との間において、アドレスや各種の信号の送受信を行う作用をなすインターフェイスとなる。

かかる一体化構成を採る上では、貼り合わせを配線層が対向した状態で比較的簡単に行えることから、画素アレイ部１２の各画素１１が裏面入射構造であることが望ましい。但し、裏面入射構造が絶対的な条件ではない。画素アレイ部１２の各画素１１が裏面入射構造でない構成（表面入射構造）を採る場合は、画素チップ５１に対して基本的に各画素列に対応して穴をあけて、当該穴を通してマイクロバンプで画素チップ５１とメモリチップ５２とを電気的に接続する（例えば、IEDM99 pp.879-882を参照）ことで、画素アレイ部１２を基板の外側に配置することが可能になる。

上述したように、画素アレイ部１２の各画素１１に対応して情報を格納可能なメモリ回路１９を設け、画素アレイ部１２から読み出された各画素１１の信号とメモリ回路１９に格納されている情報とを受け取って列並列で処理し、その処理結果をメモリ回路１９に書き戻すＣＭＯＳイメージセンサにおいて、画素アレイ部１２とメモリ回路１９とを異なるチップ５１，５２上に形成することで、次のような作用効果を得ることができる。

第１に、画素アレイ部１２が細長いチップ２５の端に位置する第１実施形態に係るＣＭＯＳイメージセンサ１０に比べて、画素アレイ部１２が画素チップ５１のほぼ真ん中に位置することになるため、パッケージ化した後レンズを装着しやすくなる。

第２に、画素チップ５１の面積に対する画素アレイ部１２以外の回路部分の占める面積の割合が小さいことが挙げられる。イメージセンサでは、一般に、非常に繊細なアナログ回路である画素アレイ部１２が歩留まりを落とすため、当該画素アレイ部１２と共に廃棄となる回路部分の面積が小さいことで低コスト化につながる。

第３に、画素アレイ部１２とメモリ回路１９をそれぞれに最適なプロセスで作ることができる。具体的には、メモリチップ５２については最先端のプロセスで作り、画素チップ５１については１世代前の、さらに固体撮像装置用の変更を加えたプロセスで作る、というようにプロセスを最適化できる。

また、本実施形態に係るＣＭＯＳイメージセンサ５０においては、メモリチップ５２上に設ける演算回路１７として、ＳＩＭＤ(Single Instruction Multiple Data) 回路を用いることを特徴の一つとしている。

ＳＩＭＤ回路は、通常、ＰＥ(Processing Element)と呼ばれる１００トランジスタ規模の回路を含むため、画素列ごとに配置すると、たとえ数列でシェアしても回路部分全体が細長くなってしまうことから、本実施形態に係るＣＭＯＳイメージセンサ５０のように、画素アレイ部１２とメモリ回路１９を別々のチップとした構成を採る場合に用いると最適なものとなる。

ここで、ＳＩＭＤ回路は、受ける命令により異なる操作が可能で、かつ、基本的に１つの命令で各列に同じ操作（例えば、演算）を一斉に施す（端など、一部等しい演算でないものがあっても良い）回路である。このＳＩＭＤ回路は、公知の技術であることから、ここでは、ＳＩＭＤ回路自体の説明は省略する。

本実施形態においては、演算回路１８としてのＳＩＭＤ回路を画素列ごとに配置するとしたが、これに限られるものではなく、一部画素列ごとではなく、マルチプレクサを用いて複数の画素列の信号を順番に処理するようにしても良い。もちろん、画素チップ５１とメモリチップ５２のインターフェイスにおいても、例えば複数の画素列に対して１個のマイクロパッド５３Ａ，５３Ｂ，５４Ａ，５４Ｂを形成し、画素チップ５１とメモリチップ５２の間で複数回に分けてデータを転送するようにしても良い。

このように、演算回路１８としてＳＩＭＤ回路を用いることで、画素列間のばらつき補正や黒レベル補正を行うことができるとともに、隣接列や行の情報を参照することが必要な色関係処理を行うことができる。さらに、動体検出や輪郭抽出などの処理を行うことができるととも、メモリ回路１９に外部から信号を書き込んでおいて、画素アレイ部１２の各画素１１からの信号に対してメモリ回路１９の格納データを用いて演算処理することで、パターンマッチングなどの画像処理を行うことも可能である。

なお、ＳＩＭＤ回路を第２実施形態に係るＣＭＯＳイメージセンサ５０の演算回路１７として用いるとしたが、第１実施形態に係るＣＭＯＳイメージセンサ１０の演算回路１７として用いることも可能であり、回路部分全体が細長くなってしまうものの、上述した作用効果を奏することができる。

（変形例）
ところで、画素チップ５１とメモリチップ５２とを貼り合わせる際に、これらチップ５１，５２を単純に作って貼り付けると、画素チップ５１とメモリチップ５２の相互作用、特に画素アレイ部１２に対するメモリチップ５２のデジタル回路部分のノイズによる悪影響で、筋状などのノイズ、特に固定パターンノイズの発生が懸念される。

そこで、本変形例に係るＣＭＯＳイメージセンサ５０′においては、画素チップ５１とメモリチップ５２の相互作用による固定パターンノイズの発生を防止するために、図８に示すように、画素チップ５１の少なくとも一層のメタル配線、好ましくは最上層のメタル配線５７を、画素アレイ部１２の上方を覆うように、少なくとも画素アレイ部１２の領域の全面に亘って形成するとともに、メモリチップ５２の少なくとも一層のメタル配線、好ましくは最上層のメタル配線５８を、メモリ回路１９を含むデジタル回路部の上方を覆うように、当該デジタル回路部の領域の全面に亘って形成した構成を採っている。

画素チップ５１の最上層のメタル配線５７およびメモリチップ５２の最上層のメタル配線５８には、固定電位、例えばグランド電位や電源電位が与えられる。すなわち、これらメタル配線５７，５８は、画素チップ５１上の回路部分およびメモリチップ５２上の回路部分にグランド電位や電源電位を供給する電源配線として用いられる。

このように、画素チップ５１とメモリチップ５２とを貼り合わせて一体化した構成を採るＣＭＯＳイメージセンサ５０′において、画素チップ５１の最上層のメタル配線５６およびメモリチップ５２の最上層のメタル配線５８を少なくとも画素アレイ部１２やデジタル回路部の領域全面に亘って形成し、かつ固定電位を与えることで、これらメタル配線５７，５８が電磁シールド材として機能するため、画素チップ５１とメモリチップ５２の相互作用、特にメモリチップ５２から画素チップ５１の画素アレイ部１２へのノイズの伝播を低減することができ、その結果、筋状などのノイズ、特に固定パターンノイズの発生を確実に抑えることができる。

なお、本変形例においては、画素チップ５１およびメモリチップ５２の両方のメタル配線５７，５８を少なくとも画素アレイ部１２やデジタル回路部の領域全面に亘って形成するとしたが、必ずしも画素チップ５１およびメモリチップ５２の両方である必要はなく、いずれか一方の少なくとも一層のメタル配線を少なくとも画素アレイ部１２または貼り付け後にそれに重なるデジタル回路部を覆うように形成した場合にも同様の作用効果を得ることができる。

また、画素チップ５１およびメモリチップ５２のメタル配線５７，５８の少なくとも一方を、少なくとも画素アレイ部１２や貼り付け後にそれに重なるデジタル回路部の領域全面に亘って形成し、メモリチップ５２から画素チップ５１の画素アレイ部１２へのノイズの伝播を低減する技術は、第２実施形態に係るＣＭＯＳイメージセンサ５０、即ちメモリチップ５２上のデジタル回路部にメモリ回路１９を含む固体撮像装置への適用に限られるものではない。

すなわち、少なくとも画素アレイ部１２が設けられるチップと、デジタル回路部が設けられるチップとを貼り合わせてなる固体撮像装置において、デジタル回路部がメモリ回路を含まない場合にも、これらチップの少なくとも一層のメタル配線、好ましくは最上層のメタル配線の少なくとも一方を、少なくとも画素アレイ部１２または貼り合わせ状態でそれに重なるデジタル回路部を覆うように形成しかつ固定電位を与えることで、デジタル回路部から画素アレイ部１２へのノイズの伝播を低減することが可能となる。

また、ここでは裏面入射構造の場合を述べたが、表面入射構造の場合は、画素アレイ部１２側ではなく、デジタル回路部側の最上層メタル配線を、少なくとも画素アレイ部１２に重なる部分を覆うように形成しなければならない。これは、画素アレイ部１２側の配線が画素１１のフォトダイオードやトランジスタに対してデジタル回路部とは反対側にあるからである。本質は、画素アレイ部１２とデジタル回路部の間に何れかの配線で静電遮蔽することである。

表面入射構造の場合は、画素アレイ部１２の基板領域がデジタル回路との間に挟まり、抵抗は高いながらもいくらかの静電遮蔽の効果を発揮するが、裏面入射構造の場合はこれが無いので、特に裏面入射構造の場合に、本例のような配線での静電遮蔽が特に効果的である。ここでは画素アレイ部１２について述べたが、カラム信号処理回路１０４がノイズに弱い構成の場合には、カラム信号処理回路１０４についても同様である。

なお、上記各実施形態では、ＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、ＣＭＯＳイメージセンサへの適用に限られるものではなく、ＭＯＳイメージセンサなど、Ｘ−Ｙアドレス型固体撮像装置全般に適用可能である。

また、Ｘ−Ｙアドレス型固体撮像装置に限らず、画素で光電変換された信号電荷を垂直画素列ごとに配された垂直転送部で転送した後、各垂直列毎に垂直転送部の後段に設けられた電荷検出部で電気信号に変換して出力する構成の画素アレイ部を有する固体撮像装置にも同様に適用可能である。

以上説明した第１，第２実施形態あるいはその変形例に係るＣＭＯＳイメージセンサ１０，５０，５０′は、ビデオカメラやデジタルスチルカメラなどの撮像装置の撮像デバイスとして利用することができる他、カメラ付き携帯電話などの携帯機器の撮像デバイスとしても利用することができる。

本発明の第１実施形態に係るＣＭＯＳイメージセンサの構成例を示すブロック図である。 画素の回路構成の一例を示す回路図である。 第１実施形態に係るＣＭＯＳイメージセンサの動作説明図である。 フレームメモリ上に２つの長方形領域を指定する際のそれぞれの端点の座標を示す図である。 第１実施形態に係るＣＭＯＳイメージセンサを撮像デバイスとして用いた撮像装置の構成例を示すブロック図である。 本発明の第２実施形態に係るＣＭＯＳイメージセンサの構成例を示すブロック図である。 画素チップとメモリチップとを貼り合わせて一体化した状態の第２実施形態に係るＣＭＯＳイメージセンサを示す正面図（Ａ）および平面図（Ｂ）である。 第２実施形態の変形例に係るＣＭＯＳイメージセンサの構成例を示すブロック図である。 従来例に係るＣＭＯＳイメージセンサの構成例を示すブロック図である。 従来例に係るＣＭＯＳイメージセンサを用いた撮像装置の構成例を示すブロック図である。

符号の説明

１０，５０，５０′…ＣＭＯＳイメージセンサ、１１…画素、１２…画素アレイ部、１３…垂直駆動回路、１４…カラム信号処理回路、１５…列ずらし回路、１６…ずらし制御回路、１７…演算回路、１８，２０…センスアンプ、１９…メモリ回路、２１…制御回路（１）、２２…制御回路（２）、２３…行選択回路、２４…列選択回路、２５…半導体基板、２６…データ線、３１…転送線、３２…リセット線、３３…選択線、３４…垂直信号線、４１…角速度センサ、４２…ＤＳＰ回路、５１…画素チップ、５２…メモリチップ、５３Ａ，５３Ｂ，５４Ａ，５４Ｂ…マイクロパッド、５５…マイクロバンプ、５７，５８…メタル配線

Claims (22)

1. それぞれ画素信号を生成する複数の光電変換素子が行列状に２次元配置されてなる画素アレイ部と、
   前記画素アレイ部の各画素に対応した複数の画素信号を入出力可能に格納する記憶手段と、
   前記画素アレイ部と前記記憶手段との間において前記画素アレイ部の列に対応して配置され、前記画素アレイ部から読み出された各画素信号と前記記憶手段に格納されている画素信号とを受け取って全列の画素信号について並列演算処理し、その演算処理結果を前記記憶手段に格納する複数の演算手段と
   を備える固体撮像装置。
2. 前記画素アレイ部から前記複数の演算手段に至る前記複数の列信号の信号経路において、各前記列信号に対応して設けられ、前記画素アレイ部の各画素信号をアナログ／デジタル変換する複数のカラム信号処理手段と、
   画像を外部へ出力するためのデータ線と、
   前記記憶手段から前記複数の演算手段の処理結果に係る画像の情報を読み出し、前記データ線へ出力する出力手段と
   を有する請求項１記載の固体撮像装置。
3. 前記記憶手段に格納されている画素信号を、前記複数の演算手段側に読み出すための第１の検出回路と、
   前記記憶手段に格納されている画素信号を、前記出力手段側に読み出すための第２の検出回路とを有する
   請求項２記載の固体撮像装置。
4. 前記記憶手段は、前記複数の演算手段による演算処理対象の画素信号として、前記画素アレイ部から読み出された各画素信号を格納する
   請求項１から３のいずれか一項記載の固体撮像装置。
5. 前記画素アレイ部から前記複数の演算手段に至る信号経路の列をずらす列ずらし手段を有する
   請求項１から４のいずれか一項記載の固体撮像装置。
6. 前記記憶手段に格納された画素信号について読み出す行を、前記画素アレイ部から読み出す行に対してずらすずらし制御手段を有する
   請求項１から４のいずれか一項記載の固体撮像装置。
7. 前記画素アレイ部から前記複数の演算手段に至る信号経路の列をずらす列ずらし手段と、
   前記記憶手段に格納された画素信号について読み出す行を、前記画素アレイ部から読み出す行に対してずらすずらし制御手段とを有する
   請請求項１から４のいずれか一項記載の固体撮像装置。
8. 前記複数の演算手段は、受ける命令により異なる操作が可能で、かつ、基本的に１つの命令で各列に同じ操作を一斉に施す
   請求項１から７のいずれか一項記載の固体撮像装置。
9. 前記記憶手段は、前記複数の演算手段による演算処理対象の画素信号として、当該記憶手段が形成された半導体基板の外部から供給される画素毎の信号を格納する
   請求項１から３のいずれか一項記載の固体撮像装置。
10. 前記複数の演算手段は、複数の長方形領域の端点の座標を受け取り、当該長方形領域の格納値のみを出力する領域アドレス回路を含む
    請求項１から９のいずれか一項記載の固体撮像装置。
11. 前記画素アレイ部と前記記憶手段とが同じ半導体基板上に形成されている
    請求項１から１０のいずれか一項記載の固体撮像装置。
12. 前記画素アレイ部が第１半導体基板上に、前記記憶手段が前記第１半導体基板と異なる第２半導体基板上に形成されている
    請求項１から１０のいずれか一項記載の固体撮像装置。
13. 前記第１半導体基板と前記第２半導体基板とが配線層を内側にして貼り合わされている
    請求項１２記載の固体撮像装置。
14. 前記第１半導体基板と前記第２半導体基板の双方の端子同士をバンプによって電気的に接続するものである
    請求項１３記載の固体撮像装置。
15. 前記第１半導体基板と前記第２半導体基板の少なくとも一方において、少なくとも一層のメタル配線が少なくとも前記画素アレイ部を覆うように全面に亘って形成されている
    請求項１２から１４のいずれか一項記載の固体撮像装置。
16. 前記画素アレイ部の各前記光電変換素子は、配線層が形成された基板表面と反対側の基板裏面から入射光を取り込む裏面入射型画素構造を有する
    請求項１から１５のいずれか一項記載の固体撮像装置。
17. 前記記憶手段は、ランダムアクセスにより出力可能に格納データを記憶する
    請求項１から１６のいずれか一項記載の固体撮像装置。
18. それぞれ画素信号を生成する複数の光電変換素子が行列状に２次元配置されてなる画素アレイ部と、前記画素アレイ部の各画素に対応した複数の画素信号を入出力可能に格納する記憶手段と、前記画素アレイ部と前記記憶手段との間において前記画素アレイ部の列に対応して配置された複数の演算手段とを備えた固体撮像装置の駆動方法であって、
    前記複数の演算手段は、
    前記画素アレイ部から読み出された各画素信号と前記記憶手段に格納されている画素信号とを受け取って全列の画素信号について並列演算処理し、その演算処理結果を前記記憶手段に格納する
    固体撮像装置の駆動方法。
19. 前記画素アレイ部から複数枚分の画像の信号を画像ごとに順に受け取って前記記憶手段に格納しつつ並列演算処理し、前記記憶手段に最終的に格納された１枚分の画像のデータを出力する
    請求項１８記載の固体撮像装置の駆動方法。
20. それぞれ画素信号を生成する複数の光電変換素子が行列状に２次元配置されてなる画素アレイ部を有する固体撮像装置と、
    前記固体撮像装置の撮像面上に被写体からの像光を結像させる光学系と、
    前記固体撮像装置の出力信号を処理する信号処理手段とを備え、
    前記固体撮像装置は、前記画素アレイ部の各画素に対応した複数の画素信号を入出力可能に格納する記憶手段と、前記画素アレイ部と前記記憶手段との間において前記画素アレイ部の列に対応して配置された複数の演算手段とを有し、
    前記複数の演算手段は、
    前記画素アレイ部から読み出された各画素信号と前記記憶手段に格納されている画素信号とを受け取って全列の画素信号について並列演算処理し、その演算処理結果を前記記憶手段に格納する
    撮像装置。
21. 被写体と装置本体との相対的な動きを検出する動き検出手段を有し、
    前記固体撮像装置は、前記動き検出手段の出力信号に基づいて、前記並列演算処理における列ずらし量または行オフセット量を、前記動きを打ち消すように制御する
    請求項２０記載の撮像装置。
22. 前記複数の演算手段は、前記固体撮像装置内の前記記憶手段の内容を信号処理の途中結果または最終結果として書き換える
    請求項２０または２１記載の撮像装置。

Images