JP4420101B2 - 固体撮像装置およびその駆動方法、並びにカメラシステム - Google Patents

Description

本発明は、ＣＭＯＳイメージセンサに代表される固体撮像装置固体撮像装置およびその駆動方法、並びにカメラシステムに関するものである。

近年、ＣＣＤに代わる固体撮像装置（イメージセンサ）として、ＣＭＯＳイメージセンサが注目を集めている。
これは、ＣＣＤ画素の製造に専用プロセスを必要とし、また、その動作には複数の電源電圧が必要であり、さらに複数の周辺ＩＣを組み合わせて動作させる必要があるため、システムが非常に複雑化するといった処々の問題を、ＣＭＯＳイメージセンサが克服しているからである。

ＣＭＯＳイメージセンサは、その製造には一般的なＣＭＯＳ型集積回路と同様の製造プロセスを用いることが可能であり、また単一電源での駆動が可能で、さらにＣＭＯＳプロセスを用いたアナログ回路や論理回路を同一チップ内に混在させることができるため、周辺ＩＣの数を減らすことができるといった、大きなメリットを複数持ち合わせている。

ＣＣＤの出力回路は、浮遊拡散層（ＦＤ：Floating Diffusion)を有するＦＤアンプを用いた１チャネル（ｃｈ）出力が主流である。
これに対して、ＣＭＯＳイメージセンサは画素毎にＦＤアンプを持ち合わせており、その出力は、画素アレイの中のある一行を選択し、それらを同時に列方向へと読み出すような列並列出力型が主流である。
これは、画素内に配置されたＦＤアンプでは十分な駆動能力を得ることは難しく、したがってデータレートを下げることが必要で、並列処理が有利とされているからである。

このような構成を有するＣＭＯＳイメージセンサとして、連続する複数枚の画像を加算しながらフレームメモリに納め、最終的な１枚の画像を出力するイメージセンサが提案されている（特許文献１参照）。

図１は、特許文献１に記載されたイメージセンサの構成を示す図である。

このイメージセンサ１は、図１に示すように、画素２ａがアレイ状に配列された画素部２、垂直駆動回路３、カラム信号処理回路としてのアナログデジタル（ＡＤ）変換回路４、加算回路５、第１センスアンプ６、フレームメモリ７、第２センスアンプ８、インターフェイス９、行選択回路１０、および制御回路１１を有する。

このイメージセンサ１において、垂直駆動回路３は、たとえば画素部２を４回走査する。画素部２からの出力は、ＡＤ変換回路４を経て、加算回路５で、フレームメモリ７から読み出された値に加算され、フレームメモリ７に書き戻される。
これらが列並列に処理される。そのときに、たとえば手振れを検知して、それを打ち消すように原点をずらして加算すれば、手振れ補正になる。
また、複数回の走査の蓄積時間を変えて、重み付け加算すれば、ダイナミックレンジ拡大動作になる。４枚の画像から１枚の画像を合成してから、出力した場合、カメラシステムの上流でデータ量を約１／４に減らすことができる。

図２は、図１のイメージセンサの動画時の動作を説明するための図である。

動画の場合、垂直駆動回路３が画素部２を４回走査しながら、行選択回路１０がフレームメモリ７を４回走査して、フレームメモリ７内に１枚の画像を形成する。ここで画素部２とメモリ部の走査の時間ずれは、その間のＡＤ変換と演算にかかる時間ずれである。
それからその画像を出力する。これを繰り返す。
特開２００６−２３７７７２号公報

この場合は、上流でデータ量は約１／４に減っているが、データを出力するのは高速に行わなければならない。受ける側でそのスピードでリアルタイムに処理するのは困難である。
また、データは１／４に減少しているにもかかわらず、インターフェイス９は高速なものを用意する必要がある。
また、メモリからデータ出力されるまで、画素側から新たな画像を読み込めないことから動作が制限される。

本発明は、データの出力レートを低速度化することが可能で、インターフェイスも低速度のものでよく、動画処理において動作を制限されることなくリアルタイムに処理を行うことが可能な固体撮像装置およびその駆動方法、並びにカメラシステムを提供することにある。

本発明の第１の観点の固体撮像装置は、光信号を電気信号に変換して出力する機構を有する複数の画素が２次元行列状に配列された画素部と、上記画素部からの信号をカラム処理するカラム処理回路と、上記カラム処理回路の処理結果を演算する演算回路と、フレームメモリ部と、上記演算回路と上記フレームメモリ部をつなぐ内部インターフェイスと、外部と上記フレームメモリ部をつなぐ外部インターフェイスと、上記フレームメモリ部と、内部インターフェイスおよび外部インターフェイスとの接続を切り替える接続切替回路と、上記フレームメモリ部が複数の領域部分に分けられ、上記画素部を複数回走査しながら、データサイズを縮小した画像データを、内部インターフェイスを通して上記フレームメモリ部の第１領域に記録し、当該期間に、上記フレームメモリ部の他の部分から外部インターフェイスを通してデータを出力し、複数回走査が終わったら、上記フレームメモリ部の上記第１領域とは異なる第２領域を上記内部インターフェイスに接続し、上記第２領域以外の部分を上記外部インターフェイスに接続して上記走査に伴う同様の動作を繰り返すように制御する制御部とを有する。

好適には、上記カラム処理回路は、アナログ信号をデジタル信号に変換するアナログデジタル（ＡＤ）変換回路を含む。

好適には、上記ＡＤ変換回路と上記演算回路は、複数列配列されており、上記画素部の走査に合わせて行単位で並列処理する。

好適には、上記内部インターフェイスとつながるフレームメモリの単位ごとに、アドレス回路を有する。

好適には、フレームメモリの単位ごとに、入出力回路を有する。

好適には、上記演算回路は上記フレームメモリ部から読み出された信号と上記ＡＤ変換回路から出力される信号を演算し、その結果は上記フレームメモリ部に再び書き込まれる。

好適には、上記画素部と上記フレームメモリ部は別の半導体基板に形成されており、上記半導体基板は、多数の接続部で列並列に接続されている。

好適には、上記接続部は、上記ＡＤ変換回路の後段、上記内部インターフェイスの前段に配置されている。

好適には、上記制御部は、接続を切り替える前に、それを予告する信号を外部に出力する機能を有する。

本発明の第２の観点は、光信号を電気信号に変換して出力する機構を有する複数の画素が２次元行列状に配列された画素部と、フレームメモリ部と、を有する固体撮像装置であって、上記画素部を複数回走査しながら、上記フレームメモリの一部に、画像データを作成していき、当該期間に、上記フレームメモリの他の一部から以前に同様に作成された画像データを出力することを、上記フレームメモリ上の画像データ作成領域をずらしながら繰り返す。

本発明の第３の観点は、光信号を電気信号に変換し、その電気信号を露光時間に応じて蓄積する機構を有する複数の画素が２次元行列状に配列された画素部と、上記画素部からの信号をカラム処理するカラム処理回路と、上記カラム処理回路の処理結果を演算する演算回路と、フレームメモリ部と、上記演算回路と上記フレームメモリ部をつなぐ内部インターフェイスと、外部と上記フレームメモリ部をつなぐ外部インターフェイス、上記フレームメモリ部と、内部インターフェイスおよび外部インターフェイスとの接続を切り替える接続切替回路と、を有する固体撮像装置の駆動方法であって、上記フレームメモリ部を複数の領域部分に分け、上記画素部を複数回走査しながら、データサイズを縮小した画像データを、内部インターフェイスを通して上記フレームメモリ部の第１領域に記録し、当該期間に、上記フレームメモリ部の他の部分から外部インターフェイスを通してデータを出力し、複数回走査が終わったら、上記フレームメモリ部の上記第１領域とは異なる第２領域を上記内部インターフェイスに接続し、上記第２領域以外の部分を上記外部インターフェイスに接続して上記走査に伴う同様の動作を繰り返す。

本発明の第４の観点のカメラシステムは、固体撮像装置と、上記固体撮像装置に被写体像を結像する光学系と、上記固体撮像装置の出力画像信号を処理する信号処理回路と、を有し、上記固体撮像装置は、光信号を電気信号に変換し、その電気信号を露光時間に応じて蓄積する機構を有する複数の画素が２次元行列状に配列された画素部と、上記画素部からの信号をカラム処理するカラム処理回路と、上記カラム処理回路の処理結果を演算する演算回路と、フレームメモリ部と、上記演算回路と上記フレームメモリ部をつなぐ内部インターフェイスと、外部と上記フレームメモリ部をつなぐ外部インターフェイス、上記フレームメモリ部と、内部インターフェイスおよび外部インターフェイスとの接続を切り替える接続切替回路と、上記フレームメモリ部が複数の領域部分に分けられ、上記画素部を複数回走査しながら、データサイズを縮小した画像データを、内部インターフェイスを通して上記フレームメモリ部の第１領域に記録し、当該期間に、上記フレームメモリ部の他の部分から外部インターフェイスを通してデータを出力し、複数回走査が終わったら、上記フレームメモリ部の上記第１領域とは異なる第２領域を上記内部インターフェイスに接続し、上記第２領域以外の部分を上記外部インターフェイスに接続して上記走査に伴う同様の動作を繰り返すように制御する制御部と、を含む。

本発明によれば、画素部を複数回走査しながら、データサイズを縮小した画像データを、内部インターフェイスを通してフレームメモリ部の第１領域に記録する。そして、この期間並行して、フレームメモリ部の他の部分から外部インターフェイスを通してデータを出力する。
複数回走査が終わったら、フレームメモリ部の第１領域とは異なる第２領域を内部インターフェイスに接続し、第２領域以外の部分を外部インターフェイスに接続して走査に伴う同様の動作を繰り返す。

本発明によれば、データの出力レートを低速度化することが可能で、インターフェイスも低速度のものでよく、動画処理において動作を制限されることなくリアルタイムに処理を行うことができる。

以下、本発明の実施の形態を図面に関連付けて説明する。

図３は、本発明の実施形態に係るカメラシステムの基本的な構成例を示す図である。

本カメラ１００は、図３に示すように、本実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）が適用可能なセンサ部１１１とフレームメモリ部１１２を含む撮像デバイス１１０と、この撮像デバイス１１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ１２０と、センサ部１１１およびフレームメモリ部１１２のアクセス制御、動作制御、および出力信号をデジタル処理するデジタル信号処理回路(ＤＳＰ)１３０と、カメラの動作を指示するスイッチ等を含む操作系１４０と、撮像した画像やモニタ画像等を表示する表示装置１５０と、画像等を記憶するメモリカード系１６０と、ＤＳＰ１３０の信号の送受や操作系１４０の操作に応じた制御処理、表示装置１５０の制御、並びにメモリカード系１６０へのアクセス制御等を行うマイクロコンピュータ（マイコン）１７０と、を有する。

基本的に、センサ部１１１は、その出力をフレームメモリ部１１２に一旦格納する。デジタル信号処理回路であるＤＳＰ１３０は、ＣＭＯＳセンサ部１１１と、フレームメモリ部１１２を制御するとともに、ＣＭＯＳセンサ部１１１の信号を、フレームメモリ部１１２から受け取り、色処理や画像補正や圧縮などを行う。
ＤＳＰ１３０からみて、ＣＭＯＳセンサ部１１１とフレームメモリ部１１２の系が固体撮像装置として機能する。
また、ＤＳＰ１３０、マイクロコンピュータ１７０で処理された画像信号は、たとえばメモリカードなどの記録媒体に記録され、処理された画像信号は液晶ディスプレイ等からなる表示装置１５０に動画として映し出される。

図４は、本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）の基本的な構成例を示す図である。

図４のＣＭＯＳイメージセンサ（図３の撮像デバイス１１０の相当）２００は、図３のＣＭＯＳセンサ部１１１とフレームメモリ部１１２の系を１つの半導体基板に集積化した構成例である。

本ＣＭＯＳイメージセンサ２００において、ＣＭＯＳセンサ部１１１が、たとえば光信号を電気信号に変換し、その電気信号を露光時間に応じて蓄積する機構を有する複数の画素２０１Ａが２次元行列状に配列された画素部２０１と、画素部２０１を走査する垂直駆動回路２０２と、画素部２０１からの信号をＡＤ変換するカラム信号処理回路としてのＡＤ変換回路２０３と、ＡＤ変換結果を演算する演算回路２０４と、フレームメモリ部１１２と演算回路２０４とをつなぐ内部インターフェイス２０５と、外部（ＤＳＰ等）とフレームメモリ部１１２とをつなぐ外部インターフェイス２０６と、フレームメモリ部１１２と内部インターフェイス２０５、外部インターフェイス２０６との接続切り替えを行う接続切替回路２０７と、全体の制御を行うコントロール回路２０８とを有している。

また、フレームメモリ部１１２は、複数（図４の例では２）の第１フレームメモリ領域（Ａ）２１１および第２フレームメモリ領域（Ｂ）２１２に分割されている。
そして、第１フレームメモリ領域２１１および第２フレームメモリ領域２１２のそれぞれに対応して、センスアンプ（Ａ）２１３，センスアンプ（Ｂ）２１４、行選択回路（Ａ）２１５，行選択回路（Ｂ）２１６が設けられている。

画素部１０１は、上述したように、複数の画素２０１Ａが２次元状（マトリクス状）に配列されている。

図５は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示す図である。

この画素２０１Ａは、たとえばフォトダイオードからなる光電変換素子３０１を有し、この１個の光電変換素子３０１に対して、転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、および選択トランジスタ３０５の４つのトランジスタを能動素子として有する。

本実施形態においては、４つの能動素子のうち、転送トランジスタ３０２およびおリセットトランジスタ３０３によりリセット回路３１０が構成されている。
つまり、本実施形態において、転送トランジスタ３０２およびリセットトランジスタ３０３をオンにすることが広い意味で本発明の画像をリセットする動作に相当し、転送トランジスタ３０２をオン、オフ制御する制御信号Ｔｘ、およびリセットトランジスタ３０３をオン、オフ制御する制御信号ＲＳＴの両方またはいずれかが、広い意味で本発明の画素をリセットする信号に相当する。

光電変換素子３０１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ３０２は、光電変換素子３０１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号Ｔｘが与えられることで、光電変換素子３０１で光電変換された電子をフローティングディフュージョンＦＤに転送する。

リセットトランジスタ３０３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号ＲＳＴが与えられることで、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。

フローティングディフュージョンＦＤには、増幅トランジスタ３０４のゲートが接続されている。増幅トランジスタ３０４は、選択トランジスタ３０５を介して信号線ＬＳＧＮに接続され、画素部外の定電流源とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通して制御信号（アドレス信号またはセレクト信号)ＳＥＬが選択トランジスタ３０５のゲートに与えられ、選択トランジスタ３０５がオンすると、増幅トランジスタ３０４はフローティングディフュージョンＦＤの電位に応じた電圧を信号線ＬＳＧＮに出力する。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、カラム信号処理回路としてのＡＤ変換回路２０３に出力される。
これらの動作は、たとえば転送トランジスタ３０２、リセットトランジスタ３０３、および選択トランジスタ３０５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。

画素部２０１に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、垂直駆動回路２０２により駆動される。

垂直駆動回路２０２は画素部２０１を走査して、信号を信号線ＬＳＧＮに出力させる。画素部２０１の信号はＡＤ変換回路２０３でＡＤ変換されて、演算回路２０４に送られる。

演算回路２０４では、この入力信号の黒レベルの調整をし、さらにフレームメモリ部１１２から読み出された信号を演算して、またフレームメモリ部１１２に書き戻す。

フレームメモリ部１１２には、上述したように、第１フレームメモリ領域（Ａ）２１１と第２フレームメモリ領域（Ｂ）２１２が形成されており、それぞれセンスアンプ２１３，２１４と行選択回路２１５，２１６を有している。

接続切替回路２０７は、それぞれのセンスアンプ２１３，２１４と、内部インターフェイス２０５または外部インターフェイス２０６の接続を切り替える。
内部インターフェイス２０５とは、演算回路２０４とフレームメモリ部１１２の間のインターフェイスで、外部インターフェイス２０６とは、この系と外部との間のインターフェイスである。

コントロール回路２０８は、これらの動作をコントロールする。ＡＤ変換回路２０３、演算回路２０４とも、画素の各列に対応して、１行分同時に処理する。一般には、複数列で共有している部分が有ってもよい。つまり、ＡＤ変換は２列共有で、その代わり２回動作させるなどの構成を採用可能である。

図６は、図４のＣＭＯＳイメージセンサ（固体撮像装置）のより具体的な構成例を示す図である。

図６においては、内部インターフェイス２０５は、再配置バス２０５１とカラムデコーダ２０５２を有する。
外部インターフェイス２０６は、入出力バス２０６１、データバッファ２０６２、アドレスバッファ２０６３を有する。
接続切替回路２０７は、２つのスイッチング部２０７１，２０７２を有する。各スイッチング部２０７１，２０７２はスイッチＳＷ１とＳＷ２を有する。
第１フレームメモリ領域（Ａ）２１１と第２フレームメモリ領域（Ｂ）２１２のどちらを内部インターフェイス２０５に接続し、どちらを外部インターフェイス２０６に接続するかを切り替える接続切替信号ＳＳＷは、コントロール回路２０８からスイッチＳＷ１，ＳＷ２に送られる。
また、第１フレームメモリ領域（Ａ）２１１および第２フレームメモリ領域（Ｂ）２１２は、それぞれ図４の構成に加えて、デコーダ（Ａ）２１７，デコーダ（Ｂ）２１８、バス（Ａ）２１９，バス（Ｂ）２２０、ラッチ（Ａ）２２１，ラッチ（Ｂ）２２２を有している。

図６においては、第１フレームメモリ領域（Ａ）２１１を内部インターフェイス２０５に、第２フレームメモリ領域（Ｂ）２１２を外部インターフェイス２０６につないでいる。
第１フレームメモリ領域（Ａ）２１１は、コントロール回路２０８が発生するアドレスＡＤＲ１をデコーダ（Ａ）２１７に受けて、ラッチ（Ａ）２２１を介してバス（Ａ）２１９と信号をやり取りする。
画素側にあるカラムデコーダ２０５２は、やはりコントロール回路２０８が発生するアドレスＡＤＲ１を受けて動作し、再配置バス２０５１に信号を出し入れする。
接続切替回路２０７のスイッチＳＷ２により、バス（Ａ）２１９と再配置バス２０５１が接続されているので、演算回路２０４と第１フレームメモリ領域（Ａ）２１１が、コントロール回路２０８からの指示に従い、データのやり取りを行う。
このときに、原点をずらして加算すれば、手振れ補正ができるし、重み付け加算すれば、ダイナミックレンジ拡大処理が可能である。

第２フレームメモリ領域（Ｂ）２１２は、外部から入力されたアドレスＡＤＲ２を受けて動作する。接続切替回路２０７のスイッチＳＷ２により、バス（Ｂ）２２０は外部インターフェイス２０６の入出力バス２０６１とつながっているので、外部とデータのやり取りをする。
なお、アドレスを受けずに、自動的にデータを順に出力する動作ができるようにしてもよい。
外部から見ると、メモリは１つの領域しか無いように見える。ただし、スイッチＳＷ１，ＳＷ２が切り替わった瞬間に、メモリの内容が書き換わるように見える。
接続切替信号ＳＳＷを外部に出すことによって、どちらのメモリを参照しているかは外から判断できるが、切り替えの前に、たとえば数クロックから数十クロック前にこれから信号が切り替わるということを予告する信号を出すことが好ましい。

図７は、図４および図６のＣＭＯＳイメージセンサの走査動作を示す図である。

画素部２０１を４回走査して、フレームメモリ部１１２も対応して４回走査される。この走査が終了すると、接続切替回路２０７のスイッチＳＷ１，ＳＷ２が切り替わる。
第１フレームメモリ領域（Ａ）２１１が画素部２０１からの信号により画像データを作成している間、第２フレームメモリ領域（Ｂ）２１２が外部からアクセス可能である。
よって、図１のＣＭＯＳセンサに対してデータレートを落とすことができる。
第１フレームメモリ領域（Ａ）２１１にデータを格納する（作成する）ための画素部２０１に対する走査を走査Ａ、第２フレームメモリ（Ｂ）２１２にデータを格納する（作成する）ための画素部２０１に対する走査を走査Ｂとすると、走査Ａと走査Ｂの間を必要なら０まで短くすることができる。
また、メモリに外部からアクセスできる期間が長いので、メモリから画像データを出力するだけでなく、その後、外部からメモリにデータを書き込んで利用することもできる。

ちなみに、走査の方法は図７に示したもの以外にも、他の方法でもよい。例えば複数行の読み出し行を平行して走らせる方法でもよい。
ただし、走査Ａと走査Ｂを同時に存在させることは制御が複雑になり、好ましくないので、露光時間を異ならせる場合は、たとえば走査Ａのうち、初めの走査は長い蓄積時間のものを選び、走査Ｂの最後の走査と重ならないようにするのがよい。これは走査Ｂの場合でも同様である。

図８は、本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）の他の構成例を示す図である。

図８のＣＭＯＳイメージセンサ２００Ａは、内部インターフェイス２０５Ａが第１双方向シフトレジスタ２５０３および第２双方向シフトレジスタ２０５４を有する。
外部インターフェイス２０６Ａがデコーダ２０６４、入出力バス２０６５、アドレスバッファ２０６６、および入出力バッファ２０６７を有する。
フレームメモリ部１１２Ａは、複数のメモリセルが行列状に配列した１つのメモリセルアレイ２１１Ａを有し、これに対応するセンスアンプ２１３Ａおよび行デコーダ２２３を有する。
そして、接続切替回路２０７Ａは、メモリセルアレイ２１１Ａの各列と入出力バス２０６５または第２双方向シフトレジスタ２０５４とを選択的に接続するスイッチ群ＳＷ１１を有する。

図８においては、メモリセルアレイ２１１Ａの奇数番の列が第２双方向シフトレジスタ２０５４につながっており、偶数番の列が入出力バス２０６５とつながっている。
すなわち、メモリセルアレイ２１１Ａの奇数番の列が演算回路２０４と、データのやり取りをしながら画像を作成して行く動作をし、偶数番の列が外部へ読み出されたり、外部からデータを書き込まれたりする動作をする。
行デコーダ２２３は両方の動作で共有されている。外部インターフェイス２０６Ａのデコーダ２０６４は、外部からアドレスＡＤＲ１１の供給を受けて、そのアドレスＡＤＲ１１のセンスアンプ２１３Ａと入出力バッファ２０６７をつなぐ。
メモリの行デコーダ２２３は、コントロール回路２０８からアドレスＡＤＲ１２を受けて動作する。そのアドレスＡＤＲ１２は、外部から入ったアドレスＡＤＲ１１を一旦コントロール回路２０８に移したものか、センスアンプ２１３に読み出すべきメモリの行アドレスをコントロール回路２０８で計算した結果かを、コントロール回路２０８で選択して供給されるものである。
第１双方向シフトレジスタ２０５３は画素のピッチで、第２双方向シフトレジスタ２０５４はメモリセルの２倍のピッチで作られており、これらをつないでデータをやり取りすることで、ピッチの調節をしている。

また図４および図６の別の例として、第１フレームメモリ領域（Ａ）２１１，第２フレームメモリ領域（Ｂ）２１２のそれぞれは、データ容量を低減されていれば、画像１枚分より多くの画像データを持っても良い。
たとえば、画素を４回走査しながら、２枚分の画像を第１フレームメモリ領域（Ａ）２１１に残す処理でもよい。
たとえば、ダイナミックレンジ拡大のために、露光時間を変えながら４回走査した場合、各画素について最もよい露光時間のものはどれか一つであるが、最適な露光時間が異なる隣接画素と接続するための糊代のために、４回のうちの２回分の信号を残すということができる。
ここでさらに、メモリから読み出して演算回路２０４で演算してまたメモリに書き戻すということをせずに、演算回路２０４は黒レベル補正だけにして、メモリから読み出しはせず、画素からの信号が適切な範囲に入ったときだけ、その読み出し回を示す信号とともにメモリに格納するというものも可能である。

図９は、本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）のさらに他の構成例を示す図である。

図９のＣＭＯＳイメージセンサ２００Ｂが図４および図６のＣＭＯＳイメージセンサ２００と異なる点は、２つの接続切替回路２０７−１，２０７−２をフレームメモリ部１１２Ｂを挟んで配置し、フレームメモリ部１１１２Ｂのセンスアンプをそれぞれ接続切替回路２０７−１，２０７−２に対応するように設けたことにある。
図９において、第１フレームメモリ領域（Ａ）に対してセンスアンプ２１３−１，２１３−２が設けられ、第２フレームメモリ領域（Ｂ）に対してセンスアンプ２１４−１，２１４−２が設けられている。
また、コントロール回路２０８Ｂの制御信号Ｓ２０８は、第１接続切替回路２０７−１に直接供給され、第２接続切替回路２０７−２にはインバータ２２４を介して供給される。

すなわち、図９の例では、内部インターフェイス２０５用のセンスアンプ２１３−１，２１４−１と外部インターフェイス２０６用のセンスアンプ２１３−２，２１４−２を有し、接続切替回路２０７−１，２０７−２でどちらか一方だけを生かし、他方は接続を切るという構成も可能である。

図１０は、本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）のさらに他の構成例を示す図である。
また、図１１は図１０のＣＭＯＳイメージセンサの動作状態を示す図である。

このＣＭＯＳイメージセンサ２００Ｃにおいては、図４および図６のようにメモリ領域を物理的に複数に分けて構成する代わりに、１つのメモリ２１０上にメモリ領域（Ａ）２１１Ｃとメモリ領域（Ｂ）２１２Ｃを割り当ている。
内部インターフェイス２０５Ｃは、再配置バス２０５１とカラムデコーダ２０５２を有する。
外部インターフェイス２０６Ｃは、入出力バス２０６１とデータバッファ２０６２を有する。
また、接続切替回路２０７Ｃとして、スイッチング部のスイッチＳＷ２１を有する。

この場合、フレームメモリ部１１２Ｃは、同じ瞬間には、内部インターフェイス２０５Ｃと外部インターフェイス２０６Ｃのどちらかとしか接続されない。
しかし、図１１に示すように、通常は外部インターフェイス２０６Ｃとつなげておいて、必要なときだけ内部インターフェイス２０５Ｃにつなぎかえる動作をすることもできる。
これにより、同じ瞬間ではないが、同じ期間に双方とやり取りする。
ここで、内部インターフェイスの方は、データを画素部の１行分を単位としてやり取りするようになっている。
メモリ領域（Ａ）とメモリ領域（Ｂ）は、割当位置を動作の途中で変更することもできる。

以上、本実施形態に係るＣＭＯＳイメージセンサの構成例を複数示した。
これらのＣＭＯＳイメージセンサは、製造上、イメージセンサとメモリを同一基板に作るのは難しいこともあることから、たとえば図１２に示すように、これらを別基板ＩＣ１，ＩＣ２として、列ごとにつなぐことが好ましい。
列ごとではピッチが狭いので、ボンディングでつなぐのではなく、マイクロＰＡＤを出してそれぞれをマイクロバンプでつなぐ。
さらに、マイクロＰＡＤを２列〜１６列で共有しても、１０００列以上を水平走査してシリアル出力するのに対して、十分低速でデータを送ることができる。
接続する位置は、デジタルデータにした後、つまり図１２に示すようにＡＤ変換回路の後がよく、かつ、内部インターフェイスはメモリ側に有るほうが良いので、それより前が望ましい。

また、メモリ部は、内部インターフェイスとはつながらず、外部から常に普通にメモリとして見える領域が有ってもよい。
メモリは３枚以上として、巡回的に使用してもよいのは明らかである。

以上説明したように、本実施形態によれば、光信号を電気信号に変換し、その電気信号を露光時間に応じて蓄積する機構を有する複数の画素２０１Ａが２次元行列状に配列された画素部２０１と、画素部２０１からの信号をＡＤ変換するＡＤ変換回路２０３と、ＡＤ変換結果を演算する演算回路２０４と、フレームメモリ部１１２と、演算回路２０４とフレームメモリ部１１２をつなぐ内部インターフェイス２０５と、外部とフレームメモリ部１１２をつなぐ外部インターフェイス２０６と、フレームメモリ部１１２と、内部インターフェイス２０５・外部インターフェイス２０６との接続を切り替える接続切替回路２０７と、有し、フレームメモリ部１１２が複数の部分に分けられ、画素部２０１を複数回走査しながら、データサイズを縮小した画像データを内部インターフェイス２０５を通してフレームメモリ部１１２の一部領域Ａに記録し、その同じ期間に、フレームメモリ部１１２の他の部分（たとえばメモリ領域Ｂ）から外部インターフェイス２０６を通してデータを出力し、複数回走査が終わったら、フレームメモリ部１１２のメモリ領域Ａとは異なるメモリ領域Ｂを内部インターフェイス２０５に接続し、メモリ領域Ｂ以外の部分（たとえばメモリ領域Ａ）を外部インターフェイス２０６に接続して同様の動作を繰り返すことから、以下の効果を得ることができる。

すなわち、動画の場合に、データの出力レートを低速化することができる。
また、後段ＩＣで、その処理が容易になる。
インターフェイスが低速なものでよくコストが下がる。
データ出力と並行して、画素側から新たな画像を生成できるので、動作の自由度が上がる。

特許文献１に記載されたイメージセンサの構成を示す図である。 図１のイメージセンサの動画時の動作を説明するための図である。 本発明の実施形態に係るカメラシステムの基本的な構成例を示す図である。 本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）の基本的な構成例を示す図である。 本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示す図である。 図４のＣＭＯＳイメージセンサ（固体撮像装置）のより具体的な構成例を示す図である。 図４および図６のＣＭＯＳイメージセンサの走査動作を示す図である。 本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）の他の構成例を示す図である。 本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）のさらに他の構成例を示す図である。 本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像装置）のさらに他の構成例を示す図である。 図１０のＣＭＯＳイメージセンサの動作状態を示す図である。 本実施形態に係るＣＭＯＳイメージセンサのセンサ部とフレームメモリ部のレイアウトについて説明するための図である。

符号の説明

１００・・・カメラ、１１０・・・撮像デバイス、１１１・・・センサ部、１１２・・・フレームメモリ部、１２０・・・レンズ、１３０・・・デジタル信号処理回路（ＤＳＰ）、１４０・・・操作部、１５０・・・表示装置、１６０・・・メモリカード系、１７０・・・マイクロコンピュータ、２００，２００Ａ〜２００Ｃ・・・固体撮像装置、２０１・・・画素アレイ部、２０１Ａ・・・画素、２０２・・・垂直駆動回路、２０３・・・ＡＤ変換回路（カラム信号処理回路）、２０４・・・演算回路、２０５・・・内部インターフェイス、２０５１・・・再配置バス、２０５２・・・カラムデコーダ、２０５３・・・第１双方向シフトレジスタ、２０５４・・・第２双方向シフトレジスタ、２０６・・・外部インターフェイス、２０６１・・・入出力バス、２０６２・・・データバッファ、２０６３・・・アドレスバッファ、２０６４・・・デコーダ、２０６５・・・入出力バス、２０７・・・・接続切替回路、２１１・・・第１フレームメモリ領域（Ａ）、２１２・・・第２フレームメモリ領域（Ｂ）、２１３，２１３Ａ，２１３−１，２１３−２，２１４，２１４−１，２１４−２・・・センスアンプ、２１５，２１６・・・行選択回路、２１７，２１８・・・デコーダ、２１９，２２０・・・バス、２２１，２２２・・・ラッチ、３０１・・・光電変換素子、３０２・・・転送トランジスタ、３０３・・・リセットトランジスタ、３０４・・・増幅トランジスタ、３０５・・・選択トランジスタ。

Claims (12)

1. 光信号を電気信号に変換して出力する機構を有する複数の画素が２次元行列状に配列された画素部と、
   上記画素部からの信号をカラム処理するカラム処理回路と、
   上記カラム処理回路の処理結果を演算する演算回路と、
   フレームメモリ部と、
   上記演算回路と上記フレームメモリ部をつなぐ内部インターフェイスと、
   外部と上記フレームメモリ部をつなぐ外部インターフェイスと、
   上記フレームメモリ部と、内部インターフェイスおよび外部インターフェイスとの接続を切り替える接続切替回路と、
   上記フレームメモリ部が複数の領域部分に分けられ、上記画素部を複数回走査しながら、データサイズを縮小した画像データを、内部インターフェイスを通して上記フレームメモリ部の第１領域に記録し、当該期間に、上記フレームメモリ部の他の部分から外部インターフェイスを通してデータを出力し、複数回走査が終わったら、上記フレームメモリ部の上記第１領域とは異なる第２領域を上記内部インターフェイスに接続し、上記第２領域以外の部分を上記外部インターフェイスに接続して上記走査に伴う同様の動作を繰り返すように制御する制御部と
   を有する固体撮像装置。
2. 上記カラム処理回路は、アナログ信号をデジタル信号に変換するアナログデジタル（ＡＤ）変換回路を含む
   請求項１記載の固体撮像装置。
3. 上記ＡＤ変換回路と上記演算回路は、複数列配列されており、上記画素部の走査に合わせて行単位で並列処理する
   請求項２記載の固体撮像装置。
4. 上記内部インターフェイスとつながるフレームメモリの単位ごとに、アドレス回路を有する
   請求項３記載の固体撮像装置。
5. フレームメモリの単位ごとに、入出力回路を有する
   請求項４記載の固体撮像装置。
6. 上記演算回路は上記フレームメモリ部から読み出された信号と上記ＡＤ変換回路から出力される信号を演算し、その結果は上記フレームメモリ部に再び書き込まれる
   請求項３記載の固体撮像装置。
7. 上記画素部と上記フレームメモリ部は別の半導体基板に形成されており、
   上記半導体基板は、多数の接続部で列並列に接続されている
   請求項３記載の固体撮像装置。
8. 上記接続部は、上記ＡＤ変換回路の後段、上記内部インターフェイスの前段に配置されている
   請求項７記載の固体撮像装置。
9. 上記制御部は、接続を切り替える前に、それを予告する信号を外部に出力する機能を有する
   請求項１から８のいずれか一に記載の固体撮像装置。
10. 光信号を電気信号に変換して出力する機構を有する複数の画素が２次元行列状に配列された画素部と、
    フレームメモリ部と、
    を有する固体撮像装置であって、
    上記画素部を複数回走査しながら、上記フレームメモリの一部に、画像データを作成していき、
    当該期間に、上記フレームメモリの他の一部から以前に同様に作成された画像データを出力することを、
    上記フレームメモリ上の画像データ作成領域をずらしながら繰り返すことを特徴とする、
    固体撮像装置。
11. 光信号を電気信号に変換して出力する機構を有する複数の画素が２次元行列状に配列された画素部と、
    上記画素部からの信号をカラム処理するカラム処理回路と、
    上記カラム処理回路の処理結果を演算する演算回路と、
    フレームメモリ部と、
    上記演算回路と上記フレームメモリ部をつなぐ内部インターフェイスと、
    外部と上記フレームメモリ部をつなぐ外部インターフェイス、
    上記フレームメモリ部と、内部インターフェイスおよび外部インターフェイスとの接続を切り替える接続切替回路と、を有する固体撮像装置の駆動方法であって、
    上記フレームメモリ部を複数の領域部分に分け、
    上記画素部を複数回走査しながら、データサイズを縮小した画像データを、内部インターフェイスを通して上記フレームメモリ部の第１領域に記録し、当該期間に、上記フレームメモリ部の他の部分から外部インターフェイスを通してデータを出力し、複数回走査が終わったら、上記フレームメモリ部の上記第１領域とは異なる第２領域を上記内部インターフェイスに接続し、上記第２領域以外の部分を上記外部インターフェイスに接続して上記走査に伴う同様の動作を繰り返す
    固体撮像装置の駆動方法。
12. 固体撮像装置と、
    上記固体撮像装置に被写体像を結像する光学系と、
    上記固体撮像装置の出力画像信号を処理する信号処理回路と、を有し、
    上記固体撮像装置は、
    光信号を電気信号に変換して出力する機構を有する複数の画素が２次元行列状に配列された画素部と、
    上記画素部からの信号をカラム処理するカラム処理回路と、
    上記カラム処理回路の処理結果を演算する演算回路と、
    フレームメモリ部と、
    上記演算回路と上記フレームメモリ部をつなぐ内部インターフェイスと、
    外部と上記フレームメモリ部をつなぐ外部インターフェイス、
    上記フレームメモリ部と、内部インターフェイスおよび外部インターフェイスとの接続を切り替える接続切替回路と、
    上記フレームメモリ部が複数の領域部分に分けられ、上記画素部を複数回走査しながら、データサイズを縮小した画像データを、内部インターフェイスを通して上記フレームメモリ部の第１領域に記録し、当該期間に、上記フレームメモリ部の他の部分から外部インターフェイスを通してデータを出力し、複数回走査が終わったら、上記フレームメモリ部の上記第１領域とは異なる第２領域を上記内部インターフェイスに接続し、上記第２領域以外の部分を上記外部インターフェイスに接続して上記走査に伴う同様の動作を繰り返すように制御する制御部と、を含む
    カメラシステム。

Images