JP4929584B2 - 信号処理方法および信号処理装置並びに物理量分布検知のための半導体装置 - Google Patents

Description

本発明は、信号処理方法および信号処理装置、並びに物理量分布検知のための半導体装置（以下物理情報取得装置ともいう）に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素により電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置に用いて好適な、信号を読み出して所定目的用の情報を取得する際の信号処理技術に関する。たとえば、ズーム、欠陥画素補正、縦縞ノイズ補正、あるいはダイナミックレンジ拡大などの各信号処理技術に関する。

光や放射線などの外部から入力される電磁波あるいは圧力（接触など）などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。

たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の撮像素子（撮像デバイス）を用いた固体撮像装置が使われている（非特許文献１参照）。ここで“固体”とは半導体製であることを意味している。

米本和也著、"ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用"、ＣＱ出版社、2003年8月10日、初版

たとえばＣＣＤやＣＭＯＳイメージセンサに代表される固体撮像素子の小型化、低価格化により、これらを利用した各種映像機器、たとえば静止画を撮影するデジタルスチルカメラやカメラ付き携帯電話あるいは動画を撮影するビデオカメラなどが急激に普及しつつある。なかでもＣＭＯＳイメージセンサは、ＣＣＤに比べて低消費電力、低コストで製造可能であることから、将来ＣＣＤを置き換えるものとして注目を集めている。

また、近年、半導体技術の進歩により、固体撮像素子の高画素化が急速に進んでおり、たとえば数１００万画素の固体撮像素子が開発され、高解像度が要求されるデジタルスチルカメラや映画用のビデオカメラなどに利用されている。その中でもＣＭＯＳセンサは各画素に光電変換素子と読出回路が設けられた固体撮像装置であり、各画素をランダムにアクセスすることや、高速に読み出すことができることから、将来を有望視されているセンサである。

また、コンピュータ機器の分野では、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置などが使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。

一方、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に静電誘導トランジスタやＭＯＳトランジスタなどの増幅用の駆動トランジスタを有する増幅型固体撮像素子（ＡＰＳ；Active Pixel Sensor ／ゲインセルともいわれる）構成の画素を備えた増幅型固体撮像装置がある。たとえば、ＣＭＯＳ型固体撮像装置の多くはそのような構成をなしている。

このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。

たとえば、単位画素がマトリクス状に配されたＸ−Ｙアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、ＭＯＳ構造などの能動素子（ＭＯＳトランジスタ）を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷（光電子）を前記能動素子で増幅し、画像情報として読み出す。

この種のＸ−Ｙアドレス型固体撮像素子では、たとえば、画素トランジスタが２次元行列状に多数配列されて画素部が構成され、ライン（行）ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から所定順に読み出される。

ここで、ＭＯＳ（ＣＭＯＳを含む）型においては、アドレス制御の一例として、１行分を同時にアクセスして行単位で画素信号を画素部から読み出し、その後に、各行の１行分の画素信号を順次出力側に読み出す方式が多く用いられている。たとえばマトリクス状に配置された画素の信号出力が、行ごとに順次垂直信号線に送られ、垂直信号線からさらに水平方向に順次水平読出線に接続されて出力される。

図１１は、一般的なＣＣＤ撮像素子を利用した撮像装置の構成例を示した図である。また図１２は、その動作タイミングの一例を示したタイミンチャートである。ＣＣＤ撮像素子を利用した撮像装置８０１は、撮像素子を備えてカメラシステムを構成しており、フォトダイオードなどの受光センサを多数有してなる撮像部（画像素子部）８１０を主要部とするＣＣＤ型の固体撮像素子８０２と、固体撮像素子８０２から出力されたアナログの撮像信号に対して所望の信号処理を施すアナログ信号処理部８２０と、アナログ信号処理部８２０から出力された処理済みのアナログの撮像信号をデジタルの撮像データに変換する信号変換部８２４とを備えている。

また、撮像装置８０１は、ＤＳＰ（Digital Signal Processor）などで構成された信号処理用ＬＳＩ（Large Scale Integrated Circuit）であって、信号変換部８２４から出力されたデジタルの撮像データに対して所望の信号処理を施す後段信号処理部８２６と、ＣＣＤドライバなどのＣＣＤ制御用ＬＳＩであって、固体撮像素子８０２や後段信号処理部８２６を制御する制御部８４０とを備えている。なお、後段信号処理部８２６と制御部８４０とは相互に制御をし合うように構成されている。

固体撮像素子８０２は、撮像部８１０を駆動するセンサ回路部８１３と、固体撮像素子８０２から出力されたアナログの画素信号を増幅して出力するアンプ＆ドライブ部８１９とを有している。

このような構成の撮像装置８０１において、ＣＣＤ型の固体撮像素子８０２から出力される撮像信号はアナログ信号であり、図１２に示すように、後段信号処理部８２６あるいは制御部８４０によるタイミング制御をフレーム単位で通信しながら、固体撮像素子８０２より出力されたアナログ信号出力を信号変換部８２４にてＡＤ変換し、１水平期間内のデータ出力期間内に後段信号処理部８２６に撮像データをラインごとにパラレルで（図示の例）あるいはシリアルで出力する。

後段信号処理部８２６は、たとえば水平ブランキング期間に撮像データをラインごとに受け取り、ラインごとに所望の信号処理を行なって１フレームの画像を生成する。なお、固体撮像素子８０２は、水平ブランキング期間には特に制御信号などを出力していない。

図１３は、一般的なＣＭＯＳ撮像素子を利用した撮像装置の構成例を示した図である。その動作タイミングは、図１２に示したタイミンチャートと同様と考えてよい。

ＣＭＯＳ撮像素子を利用する場合、ドライバ機能や信号増幅部やＡＤ変換部などの周辺回路部も撮像部と同様のプロセスで形成できることから、周辺回路部を撮像部と同一の半導体基板上に形成する（すなわちセンサに内蔵する）システムオンチップ構成が採られることがある（たとえば非特許文献１第７章を参照）。図１３は、その事例を示している。

たとえば、ＣＭＯＳ撮像素子を利用した撮像装置８５１は、フォトダイオードなどの受光センサを多数有してなる撮像部（画像素子部）８６０と、撮像部８６０を駆動するセンサ回路部８６３と、撮像部８６０から出力されたアナログの撮像信号に対して所望の信号処理を施すアナログ信号処理部８７０と、アナログ信号処理部８７０から出力された処理済みのアナログの撮像信号をデジタルの撮像データに変換する信号変換部８７４とが同一の半導体基板上に備えている。

また、撮像装置８５１は、ＤＳＰなどで構成された信号処理用ＬＳＩであって、信号変換部８７４から出力されたデジタルの撮像データに対して所望の信号処理を施す後段信号処理部と、センサ回路部８６３やアナログ信号処理部８７０を制御する制御部の両機能を備えた制御＆信号処理部８８０を撮像部８６０と同一の半導体基板上に備えている。

このように、アナログ信号処理部８７０や信号変換部８７４や制御＆信号処理部８８０をＣＭＯＳ型の撮像部８６０と同一の半導体基板上に備えた構成の撮像装置８５１においても、制御＆信号処理部８８０によるタイミング制御をフレーム単位で通信しながら、アナログ信号処理部８７０より出力されたアナログ信号出力を信号変換部８７４にてＡＤ変換し、１水平期間内のデータ出力期間内に制御＆信号処理部８８０に撮像データをラインごとにパラレルで（図示の例）あるいはシリアルで出力する。

制御＆信号処理部８８０は、たとえば水平ブランキング期間に撮像データをラインごとに受け取り、ラインごとに所望の信号処理を行なって１フレームの画像を生成する。なお、信号変換部８７４は、水平ブランキング期間には特に制御信号などを出力していない。

このように、従来の撮像素子を用いたカメラシステムでは、ＤＳＰやＣＣＤドライバなど撮像素子以外のＬＳＩでタイミング制御をフレーム単位で行なっており、ライン単位で撮像素子から画像信号が出力されていても、フレーム単位のタイミングで制御し、フレーム単位で信号処理を行なうようになっている。

より付加価値のある機能を実現する場合にもフレーム単位で制御することは同様である。たとえば、ゲイン調整やズーム（画像拡大）など機能を実現する場合、ＣＣＤ型の固体撮像素子８０２、ＣＣＤドライバなどを有する制御部８４０、信号変換部８２４、後段信号処理部８２６など複数のチップ間でフレーム単位の制御信号（動作タイミングなど）を通信し、画像データはフレーム単位で同一の信号処理をラインごとにする。

図１１に示したＣＣＤ型と図１３に示したＣＭＯＳ型との違いは、ＣＭＯＳ型は、アナログ信号処理部８７０や信号変換部８７４や制御＆信号処理部８８０をＣＭＯＳ型の撮像部８６０と同一の半導体基板上に備えていて、撮像措置８５１がＣＭＯＳ型の固体撮像素子そのものとなる点である。

よって、ＣＭＯＳ型において、より付加価値のある機能を実現する場合にもフレーム単位で制御することは同様であり、制御＆信号処理部８８０やアナログ信号処理部８７０や信号変換部８７４の間でフレーム単位の制御信号（動作タイミングなど）を通信し、画像データはフレーム単位で同一の信号処理をラインごとにする。

しかしながら、最近のカメラシステムでは、さらに高度な機能の実現の要求が高まっており、従来のような制御および信号処理の仕組みでは、構成を複雑にすることなくまたコスト増を招くことなくその要求に応えることが難しくなっている。

たとえば、最近の撮像素子では使用用途もデジタルスチルカメラやカメラつき携帯電話用として多機能化が進み、ズーム機能やダイナミックレンジ機能など製品仕様も複雑になってきている。特にズーム機能やダイナミックレンジ機能などリアルタイムでラインごとに信号処理内容を変更する必要がある機能を実現する場合は、ＤＳＰ内部に撮像素子の動作タイミング（特に出力データタイミング）を把握する機能や出力データ内容を記憶する（ラインメモリ）機能が複数必要になる。

このことはＤＳＰのゲート規模、チップサイズ増、消費電力増につながり、撮像素子、ＤＳＰを含めたカメラシステムの新機能追加や性能向上を図る上で、簡易な構成や低コストで実現することは困難であり、結局、低価格で機能が安定したデジタルスチルカメラやカメラ付携帯電話供給の妨げになる。

本発明は、上記事情に鑑みてなされたものであり、撮像素子などの半導体装置の構成を複雑にすることなくまたコスト増を招くことなく高度な信号処理機能を実現することができる仕組みを提供することを目的とする。

本発明に係る信号処理方法は、入射された物理量の変化に応じた変化情報を検出する検出部と、前記検出部で検出した変化情報に基づいて単位信号を生成する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための固体撮像装置から出力される前記単位信号に基づいて所定の信号処理を行なう信号処理方法であって、前記固体撮像装置は、２次元平面上で行方向と列方向に複数の前記単位構成要素が配置されており、前記固体撮像装置の動作状態を特定可能な動作情報を、前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに前記単位信号とは別に出力し、１水平期間および１垂直期間の少なくとも一方の期間ごとに、前記固体撮像装置から出力された前記動作情報を参照して、前記固体撮像装置から出力される１水平期間および１垂直期間の少なくとも一方の期間分の前記単位信号に対する前記所定の信号処理を行なう。

本発明に係る信号処理装置は、入射された物理量の変化に応じた変化情報を検出する検出部と、前記検出部で検出した変化情報に基づいて単位信号を生成する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための固体撮像装置と、前記固体撮像装置から出力される前記単位信号に基づいて所定の信号処理を行なう信号処理部と、を有し、前記固体撮像装置は、２次元平面上で行方向と列方向に複数の前記単位構成要素が配置されており、当該固体撮像装置の動作状態を特定可能な動作情報を出力する動作情報出力部を含み、前記動作情報出力部は、前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに前記動作情報を前記単位信号とは別に出力し、前記信号処理部は、１水平期間および１垂直期間の少なくとも一方の期間ごとに、前記動作情報出力部から出力された前記動作情報を参照して、前記固体撮像装置から出力される１水平期間および１垂直期間の少なくとも一方の期間分の前記単位信号に対する前記所定の信号処理を行なう。

本発明に係る固体撮像装置は、入射された物理量の変化に応じた変化情報を検出する検出部と、前記検出部で検出した変化情報に基づいて単位信号を生成する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための固体撮像装置であって、２次元平面上で行方向と列方向に複数の前記単位構成要素が配置されており、当該固体撮像装置の動作状態を特定可能な動作情報を出力する動作情報出力部を含み、前記動作情報出力部は、前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに前記動作情報を前記単位信号とは別に出力する。

また従属項に記載された発明は、本発明に係る信号処理方法および信号処理装置並びに半導体装置のさらなる有利な具体例を規定する。

たとえば、動作情報を半導体装置の外部に出力するに当たっては、動作情報と単位信号とをそれぞれ個別の出力端子から出力してもよいが、両者を兼用の出力端子から出力するようにしてもよい。

また、両者を兼用の出力端子から出力するに当たっては、動作情報と単位信号とを纏めて１つの信号に変換した後に兼用出力端子から出力する、すなわち実質的には動作情報と単位信号とを同時に兼用出力端子から出力するようにしてもよいし、動作情報と単位信号とを時分割にして出力する、すなわち異なる時間に兼用出力端子から出力するようにしてもよい。

また、単位信号を出力する１水平期間および／または１垂直期間ごとに動作情報を出力するのがよい。ここで、動作情報と単位信号とを時分割にして兼用出力端子から出力するに当たっては、１水平期間および／または１垂直期間ごとに、１水平期間および／または１垂直期間分の単位信号を出力した後に１水平期間および／または１垂直期間分の動作情報を出力するのがよい。

本発明によれば、半導体装置からは、通常の単位信号の出力に加えて、その時点の半導体装置の動作状態を特定可能な動作情報を出力することとし、外部の信号処理部においては、半導体装置から出力された動作情報を参照して、半導体装置から出力された単位信号に基づいて所定の信号処理を行なうようにした。

これにより、外部の信号処理部は、動作情報を参照しつつ、半導体装置と協働して所定の信号処理を行なうことができる。半導体装置から動作情報を出力することで、後段の信号処理部の負荷（機能増によるゲート規模、チップサイズ増、消費電流増）を軽減することもできる。

高度な信号処理機能を実現するに当たっては、半導体装置側ではなく、外部の信号処理部側にその機能を実現する機能要素を多く取り入れることができる。結果として、高度な信号処理機能を実現するに当たっても、全ての処理を半導体装置にて行なう必要がなく、撮像素子などの半導体装置の構成を複雑にすることなくまたコスト増を招くことなく、システム全体としてその機能を実現することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像素子の一例である、ＣＭＯＳ型の撮像素子を撮像デバイスとして使用した場合を例に説明する。

ただしこれは一例であって、対象となる撮像デバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する実施形態が同様に適用できる。

＜撮像装置の構成＞
図１は、本発明の一実施形態に係るＣＭＯＳ型の固体撮像素子を使用した撮像装置の概略構成図である。ここで、図１（Ａ）は、撮像装置１の全体構成を示し、図１（Ｂ）は、ＣＭＯＳ型の固体撮像素子２の後段に設けられる外部回路２００の構成例を示す。この撮像装置１は、たとえばカラー画像を撮像し得る電子スチルカメラやＦＡ（Factory Automation）カメラとして適用されるようになっている。

撮像装置１は、入射光量に応じた信号を出力する図示しない検知部としての受光素子を含む単位画素が行および列の正方格子状に配列された（すなわち２次元マトリクス状の）撮像部を有し、各単位画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やその他の機能部が垂直列ごとに設けられたカラム型のものである。

すなわち、図１（Ａ）に示すように、撮像装置１は、固体撮像素子２と外部回路２００とを有して構成されている。固体撮像素子２は、複数の単位画素３（画像素子；単位構成要素の一例）が行および列に（２次元行列状に）多数配列された撮像部（画像素子部）１０、いわゆるエリアセンサと、撮像部１０の外側に設けられた駆動制御部７と、各垂直列に配されたカラム信号処理部（図ではカラム回路と記す）２２を有するアナログ信号処理部（Analog Front End）２０の一機能部であるカラム処理部２１とを備えている。

駆動制御部７としては、たとえば水平走査部１２と垂直走査部１４とを備える。また、駆動制御部７の他の構成要素として、水平走査部１２、垂直走査部１４、あるいはカラム処理部２１などの撮像装置１の各機能部に所定タイミングの制御パルスを供給する駆動信号操作部（読出アドレス制御装置の一例）１６が設けられている。水平走査部１２と垂直走査部１４とを纏めてセンサ回路部１３ともいう。センサ回路部１３は、制御＆信号処理部１７からの制御信号をもとに、撮像部１０の各単位画素３を駆動する。

また、詳細は後述するが、駆動制御部７は、本実施形態特有の構成として、アナログの撮像信号Ｓ０あるいはデジタルの撮像データＤ０を外部に出力したり、あるいは外部からのクロック信号や制御信号などを取り込んで撮像部１０を制御したりするインタフェース機能部や、撮像部１０の欠陥画素やカラム処理部２１の回路構成に起因した縦筋ノイズを補正するなどの固体撮像素子２と関連の強い信号処理をしたり制御信号などを生成したりする付加回路部などを有する制御＆信号処理部１７を備えている。

制御＆信号処理部１７は、駆動信号操作部１６やアナログ信号処理部２０の各機能部を制御する種々の制御信号を各機能部に送出する。また、駆動信号操作部１６から制御＆信号処理部１７へは、制御＆信号処理部１７からの制御情報に応じた帰還情報（制御帰還情報という）が送られる。

固体撮像素子２は、制御＆信号処理部１７と外部回路２００との間で、アナログおよび／またはデジタルの種々の信号のやり取りをするべく種々のインタフェース端子を備えている。図１に示した例では、デジタルデータDATAのインタフェース用に端子１ａを、制御信号用に端子１ｂを、クロック信号CK1X用に端子１ｃを、クリア信号CLR 用に１ｄを、それぞれ備えている。

固体撮像素子２は、詳細は後述するが、本実施形態特有の機能として、これらインタフェース端子（たとえば１つまたは複数のデジタル出力端子）を利用して、撮像信号Ｓ０や撮像データＤ０（纏めて画像情報ともいう）とは別に、固体撮像素子２の内部動作情報を外部回路２００に出力する機能を持つ。

なお、画像情報と固体撮像素子２の内部動作情報をそれぞれ独立のインタフェース端子で外部回路２００に出力することもできるが、画像情報と固体撮像素子２の内部動作情報を時分割で外部回路２００に出力するようにすれば、画像情報に加えて撮像素子内部情報をリアルタイムで共通の端子にて出力することができ、インタフェース端子を削減することができる。時分割するに当たっては、たとえば、Ｖ（垂直）あるいはＨ（水平）の各ブランキング期間を利用するとよい。換言すれば、時分割するに当たっては、ブランキング期間以外では画像データを出力中であるかもしくはデータ読出期間であり、画像データ以外の信号を外部に出力することができない。このため、ブランキング期間を使用して撮像素子内部情報を出力することとなる。

これらの駆動制御部７の各要素は、撮像部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子２として構成される。

撮像部１０は、光を受けアナログ信号に変換してアナログ信号処理部２０に渡す。図１では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部１０の各行や各列には、数十から数千の単位画素３が配置される。なお、図示を割愛するが、撮像部１０には、各画素に所定のカラーコーディングを持つ色分離フィルタが形成される。また図示を割愛するが、撮像部１０の各画素は、フォトダイオードなどの光電変換素子およびトランジスタ回路によって構成されている。

カラム処理部２１と水平走査部１２との間の信号経路上には、各垂直信号線１８に対してドレイン端子が接続された図示しない負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。

単位画素３は、垂直列選択のための垂直制御線１５を介して垂直走査部１４と、垂直信号線１８を介してカラム処理部２１と、それぞれ接続されている。水平走査部１２や垂直走査部１４は、たとえばシフトレジスタを有して構成され、駆動信号操作部１６から与えられる駆動パルスに応答してシフト動作（走査）を開始するようになっている。垂直制御線１５には、単位画素３を駆動するための種々のパルス信号が含まれる。

水平走査部１２は、水平方向の読出列（水平方向のアドレス）を規定する（カラム処理部２１内の個々のカラム信号処理部２２を選択する）水平アドレス設定部１２ａと、水平アドレス設定部１２ａにて規定された読出アドレスに従って、カラム処理部２１の各信号を水平信号線２８に導く水平駆動部１２ｂとを有する。水平アドレス設定部１２ａは、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部２２からの画素情報を順に選択し、その選択した画素情報を水平信号線２８に出力する選択手段としての機能を持つ。

垂直走査部１４は、垂直方向の読出行（垂直方向のアドレス）や水平方向の読出列（水平方向のアドレス）を規定する（撮像部１０の行を選択する）垂直アドレス設定部１４ａと、垂直アドレス設定部１４ａにて規定された読出アドレス上（水平行方向）の単位画素３に対する制御線にパルスを供給して駆動する垂直駆動部１４ｂとを有する。

垂直アドレス設定部１４ａは、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタも有する。電子シャッタ用の駆動時には、垂直アドレス設定部１４ａは、通常動作時と同様に単位画素３の行選択をするが、通常通りに選択する読出行とでシャッタ行の間隔を調節することにより、光電変換素子への露光時間（蓄積時間）を調節する。

垂直シフトレジスタあるいはデコーダは、撮像部１０から画素情報を読み出すに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部１４ｂとともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部１４ｂとともに電子シャッタ行選択手段を構成する。

駆動信号操作部１６は、水平アドレス信号を水平アドレス設定部１２ａへ、また垂直アドレス信号を垂直アドレス設定部１４ａへ出力し、各アドレス設定部１２ａ，１４ａは、それを受けて対応する行もしくは列を選択する。

なお、駆動信号操作部１６は、撮像部１０や水平走査部１２など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部１０や水平走査部１２などから成る撮像デバイスと駆動信号操作部１６とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。

読出回路としてのカラム処理部２１は、垂直列ごとにカラム信号処理部２２を有して構成されており、１行分の画素の信号を受けて、その信号を処理する。それぞれのカラム信号処理部２２は、一例として、信号転送スイッチと蓄積容量とが設けられる。

また、カラム処理部２１は、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理を利用したノイズ除去手段の機能を備えるようにしてもよく、駆動信号操作部１６から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線１８を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル（ノイズレベル；０レベル）と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除く。

なお、カラム処理部２１には、ＣＤＳ処理機能部の後段に、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路やＡＤＣ(Analog Digital Converter)回路などをカラム（列）ごとすなわちカラム信号処理部２２ごとに設けることも可能である。

カラム処理部２１により処理された画素情報を示す電圧信号は、水平走査部１２からの水平選択信号により駆動される図示しない水平選択スイッチを介して所定のタイミングで読み出されて水平信号線２８に伝達されて、水平信号線２８の後端に接続されたアナログ信号処理部２０の一機能部である出力回路２９に入力される。

出力回路２９は、撮像部１０から水平信号線２８を通して出力される各画素の信号を適当なゲインで増幅した後、撮像信号Ｓ０として制御＆信号処理部１７を介して外部回路２００に供給する。この出力回路２９は、たとえば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、信号増幅、色関係処理などを行なうこともある。

つまり、本実施形態のカラム型の撮像装置１においては、単位画素３からの出力信号（電圧信号）が、垂直信号線１８→カラム処理部２１→水平信号線２８→出力回路２９の順で出力される。その駆動は、１行分の画素出力信号は垂直信号線１８を介してパラレルにカラム処理部２１に送り、ＣＤＳ処理後の信号は水平信号線２８を介してシリアルに出力するようにする。

なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素３に対して水平行方向および垂直列方向の何れに配するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。

本実施形態の撮像装置１の外部回路２００は、撮像部１０や駆動制御部７などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板（プリント基板もしくは半導体基板）上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。撮像部１０や駆動制御部７などからなる固体撮像素子（半導体装置や物理情報取得装置の一例）と外部回路２００とによって、撮像装置１が構成されている。駆動制御部７を撮像部１０やカラム処理部２１と別体にして、撮像部１０やカラム処理部２１で固体撮像素子（半導体装置の一例）を構成し、この固体撮像素子（半導体装置の一例）と、別体の駆動制御部７とで、固体撮像装置（物理情報取得装置の一例）として構成するようにしてもよい。

たとえば、図１（Ｂ）に示すように、外部回路２００は、出力回路２９から出力されたアナログの撮像信号Ｓ０をデジタルの撮像データＤ０に変換するＡ／Ｄ（Analog to Digital ）変換部２１０と、Ａ／Ｄ変換部２１０によりデジタル化された撮像データＤ０に基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；Digital Signal Processor）２３０とを備える。

デジタル信号処理部２３０は、たとえば、Ａ／Ｄ変換部２１０から出力されるデジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニタ出力用の画像データＤ２を生成する。また、デジタル信号処理部２３０には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。

また外部回路２００は、デジタル信号処理部２３０にてデジタル処理された画像データＤ２をアナログの画像信号Ｓ１に変換するＤ／Ａ（Digital to Analog ）変換部２３６を備える。Ｄ／Ａ変換部２３６から出力された画像信号Ｓ１は、液晶モニタなどの表示デバイスに送られる。操作者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の操作を行なうことが可能になる。

また、詳細は後述するが、外部回路２００は、本実施形態特有の機能として、固体撮像素子２から供給される固体撮像素子２の内部動作情報を利用して、従来のＤＳＰ（本例の外部回路２００に相当）のみによるカメラシステム制御からズーム機能やダイナミックレンジ機能などを固体撮像素子２で制御（ＤＳＰへのフィードバック制御）を行なうことで、素子外部のＤＳＰの処理負担を軽減し、カメラシステムとしての高機能化や高付加価値化を実現する。たとえば、ズーム機能やダイナミックレンジ機能などラインごとに信号処理内容が異なる機能を実行したり、あるいは、制御＆信号処理部１７に内蔵された信号処理機能の内部動作状態をユーザに通知する内部状態確認機能を実行したりする。

ここで、内部動作情報は、たとえば、次のラインの読出し（出力）データの意義（間引き、ライン単位補正など）や、今アクセスしているＨラインアドレス（ズーム動作開始位置など）、など、固体撮像素子２の後段に設けられる信号処理ＬＳＩ（ＤＳＰ）としての外部回路２００において所定の信号処理を進める上で必要な情報として使用されるものである。

なお、上記では、固体撮像素子２の後段の信号処理を担当する外部回路２００を固体撮像素子２（チップ）外で行なう例を示したが、外部回路２００の全てもしくは一部（たとえばアナログ信号処理部２０の一機能部であるＡＧＣ部１０２やＡ／Ｄ変換部１０４や図示しないデジタルアンプ部など）の機能要素を、チップに内蔵するように構成し、出力端子１ｄから撮像データＤ０を出力するように構成してもよい。この場合、外部回路２００には、Ａ／Ｄ変換部２１０を設ける必要がなくなる。

このような構成の撮像装置１において、水平走査部１２や垂直走査部１４およびそれらを制御する駆動信号操作部１６により、撮像部１０の各画素を水平行単位で順に選択し、その選択した１つの水平行分の画素の情報を同時に読み出すタイプのＣＭＯＳイメージセンサが構成される。

＜制御＆信号処理部の構成例＞
図２は、制御＆信号処理部１７の一構成例を示した機能ブロック図である。制御＆信号処理部１７は、固体撮像素子２の各機能部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックであるタイミング発生回路部１７２と、端子１ｂを介して動作モードなどを指令する制御データを受け取り、また端子１ｃを介して入力クロックCK1Xを受け取り、また端子１ａを介して固体撮像素子２の動作状態情報を含むデータDATAを外部回路２００に出力する通信インタフェースの機能ブロックである外部通信ＩＦ回路部１７４と、駆動信号操作部１６やアナログ信号処理部２０を制御する種々の制御情報を生成する制御信号生成部１７６とを備えている。

また、制御＆信号処理部１７は、センサ動作の初期値設定をするレジスタ回路部１７８と、撮像部１０の欠陥画素を補正する補正回路部１８０とを備えている。

外部通信ＩＦ回路部１７４は、固体撮像素子２への種々の情報の入力と出力のタイミングを制御することができるようになっている。また、制御＆信号処理部１７は、画像情報だけでなく、固体撮像素子２内の動作状態を示す内部動作情報や補正回路部１８０の補正量を、固体撮像素子２の後段に設けられる信号処理用ＬＳＩや他のＬＳＩで構成された外部回路２００に対して出力するデジタル出力部を有している。外部通信ＩＦ回路部１７４は、デジタル出力部を介して、固体撮像素子２の後段信号処理ＬＳＩ（ＤＳＰ）（本例では外部回路２００）において信号処理を進める上で必要な内部状態情報を１ラインごと、１フレームごと（フレーム内の数ライン期間）、１ラインごとおよび１フレームごと、あるいは随時、外部回路２００に送る。

＜撮像装置の動作；第１実施形態＞
図３は、図１に示した撮像装置１における第１実施形態の動作を説明するタイミングチャートである。ここで図３は、ズーム機能実現のための例を示している。また、図４，図５，図６は、本実施形態のズーム機能と、従来のズーム機能や変形例のズーム機能との差を説明する図である。

第１実施形態の動作例は、画像データＤ０が出力されるデジタル出力端子１ａを利用して、通常動作時は画像データのみを出力し、特殊モード時には水平同期信号ＸＨＳで規定された１水平期間内の水平ブランキング期間において、画像データＤ０とは別に固体撮像素子２の内部動作確認用信号として、次のラインアクセス時の出力データの意義を示す信号を外部回路２００に出力する。これを受けて、外部回路２００においては、内部動作情報（本例では次のラインアクセス時の出力データの意義を示す信号）を参照して、ラインごとに信号処理内容が異なる機能としてのズーム機能を実行する。

具体的には、先ず、制御＆信号処理部１７は、外部から入力されたクロックCK1Xに基づき、固体撮像素子２の各機能部（撮像部１０、センサ回路部１３、アナログ信号処理部２０、Ａ／Ｄ変換部１０４，２１０）を制御するのに必要な駆動信号を生成した後、各機能部の駆動に必要な制御信号を順次、対応する機能部に伝播させる。たとえば、センサ回路部１３を介し、各単位画素３に画素駆動信号が垂直制御線１５などを介して送られる。

同時に撮像部１０の各単位画素３では外部からの入射光により変換された電荷が蓄積されており、画素駆動信号に基づいて蓄積された電荷が撮像部１０内の各単位画素３より読み出されアナログ信号処理部２０に伝播する。

アナログ信号処理部２０は、撮像部１０より入力された読出信号（アナログ信号）を増幅してＡ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４は、増幅読出信号をデジタル化し、デジタルの撮像データＤ０として制御＆信号処理部１７に出力する。

制御＆信号処理部１７は、入力された撮像データＤ０を必要に応じて補正回路部１８０にて補正してデジタル出力部より固体撮像素子２のデータとしてパラレルであるいはシリアルで外部回路２００に出力する。

ここで、固体撮像素子２から撮像データを読み出す際には、撮像部１０の構成上、１水平ライン期間内において、撮像データＤ０の出力に有効な期間（以下データ出力期間ともいう）とデータ出力としては無効な期間（以下水平ブランキング期間ともいう）がある。

そこで、制御＆信号処理部１７の外部通信ＩＦ回路部１７４は、水平ブランキング期間を利用して、後段の信号処理用ＬＳＩや他のＬＳＩ（本例では外部回路２００）に対して、後段の信号処理用ＬＳＩ（ＤＳＰ）（本例では外部回路２００）の信号処理内容を切り替える意義を持った固体撮像素子２内の内部動作情報を数ビットのデジタルデータでリアルタイムにデジタル出力部１７５より出力する。

たとえば、この第１実施形態の動作例においては、外部回路２００におけるズーム機能実現のため、固体撮像素子２は、次ラインのアクセス（データ出力）より前もって、ズーム倍率に応じた次ラインのデータ（data）は無効（１０ｂ０）か有効（１０ｂ１）かを示す間引き信号（アクセスラインアドレス信号）、すなわち次ラインアクセス時の出力データの意義を示す間引き信号を外部回路２００に通知する。前もって通知するのは、外部回路２００において次ラインアクセス時にそのラインデータを取り込むか否かを事前に知っておく必要があるからである。

たとえば、外部通信ＩＦ回路部１７４は、外部回路２００からズーム倍率の設定情報を受け取ると、図３に示すように、水平ブランキング期間を利用して、ズーム倍率に応じたアクセスラインアドレス信号を、有効データが出力された後の数ビット（本例では４ビット）のデジタルデータで外部回路２００に伝える。実際には、この間引き信号で表わされる有効／無効の状態は、４ビットのデジタルデータの内、最下位ビット（ＬＳＢ１ビット目）で示すことができる。

外部回路２００においては、図４（Ａ）に示すように、アクセスラインアドレス信号で示された有効／無効に基づき、固体撮像素子２から送出される撮像データＤ０のうち有効ラインのデータのみを取り込んでズーム処理を行なう。外部回路２００においてズーム機能を実現するには、ラインごとに信号処理内容を異なるものとしなければならないが、その場合でも、前述のようなラインデータの取り込み方をすることで、外部回路２００はフレームメモリを使用しなくてもズーム処理が可能となる。

たとえば、ＣＣＤ(Charge Coupled Device) 撮像素子やＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）撮像素子などの撮像素子（撮像デバイス）を用いて画像を撮像する撮像装置においては、デジタル画像信号処理ＬＳＩを利用することで、カメラの機能を電子部品を中心に構成することが可能であり、光学ズーム系を使わずに、解像度変換処理を利用して電子的にズーム処理を行なう仕組みが考えられている。この場合、フレームメモリ（あるいはフィールドメモリ）を用いて、固体撮像デバイスとデジタル画像信号処理ＬＳＩのみで撮像画像のズーム機能を実現する仕組みが提案されている（たとえば特開２０００−２９５５３０号公報（以下参考文献１という）の従来技術を参照）。

図５は、フレームメモリを用いて電子ズーム機能を実現する仕組みの従来の構成例を説明する図である。また図６は、フレームメモリを利用した補間方法を説明する図である。

図５に示すように、従来の撮像装置９００は、電子ズーム動作を制御するズーム制御部
（デバイス制御の機能部分）と連動して動作する駆動制御部９９６の制御の下で、固体撮像素子９１０が画素信号を読み出して後段の画像信号処理部９６６に供給する。なお、図では、たとえば相関２重サンプリングやＡＤ変換処理などの機能部分を割愛して示している。

画像信号処理部９６６にて所定の信号処理がされた画素データはフレームメモリ９６７に一時的に記憶される。なお、フレームメモリ９６７は、１フレームの全画素データを記録するためのメモリであるが、たとえば２倍ズームの画像データが欲しいときには、固体撮像素子９１０の一部の領域のみ読み出して記憶する。

次に、電子ズーム動作を制御するズーム制御部（メモリ制御の機能部分）９９２の指示に従って所定のタイミングで画素データをフレームメモリ９６７から読み出して、後段の補間処理部９９８に画素データを渡す。

補間処理部９９８は、電子ズーム動作を制御するズーム制御部（補間処理制御の機能部分）９９２の制御の下で、ズーム倍率に応じた隙間を画素間に設け、その隙間に信号処理によって補間信号を生成し、元々の画像と同じサイズの画像を構成する。

たとえば、ズーム倍率に応じた補間すべき注目画素に隣接する複数ラインの画素データを用いて垂直フィルタ処理を行なってライン数を所望のライン数にする、すなわち垂直画素数を所望の画素数に変換することで垂直方向の解像度変換処理を行なうとともに、ズーム倍率に応じた補間すべき注目画素に隣接する同一ラインの画素データを用いて水平フィルタ処理を行なって水平画素数を所望の画素数に変換することで水平方向の解像度変換処理を行なう。こうすることで、補間処理部９９８からは、電子ズーム処理画像出力が得られる。

ここで、フレームメモリ９６７を使用しているのは、固体撮像素子９１０からは、ズーム倍率に関わらず画素信号がそのまま出力されてくる垂れ流しシステムであるので、拡大時に、切出領域のライン間を補間しながら読出処理をするには、そのライン補間をするための時間のずれをカバーする仕組みが必要だからである。

つまり、拡大ズーム処理時には、撮像デバイスから逐次読み出される撮像信号をラインメモリに順次格納しつつ、拡大時に不足するラインデータを補間処理で生成するべく（垂直解像度変換）、所定数のラインデータを読み出して垂直補間処理を行なう必要がある。これをリアルタイムで行なおうとすれば、先ず、垂直方向のズーム対象分のラインデータを保持するフレームメモリのような大規模なメモリが必要となる。たとえば、固体撮像素子９１０からは画素信号が画像信号処理部９６６に入り続けてくるため、２倍ズーム時には有効画素の１／２ライン（４８０ライン）分のメモリが必要になる。

たとえば、図６（Ａ）は、固体撮像素子９１０が撮像する有効領域を２次元表現したマップである。本例の固体撮像素子９１０は、水平方向が１２８０画素で垂直方向が９６０ラインの約１．３Ｍピクセルの撮像デバイスである。

フレームメモリ９６７には、固体撮像素子９１０の画素配列順に画素データを順に読み出して記憶するとともに、電子ズーム時には、そのズーム倍率に応じて、少なくともそのズーム時に使用する画像領域の垂直方向の使用領域に相当する画素データを記憶する。一例として、図６（Ｂ）に示すように、２倍ズーム時には、通常時の９６０ラインに対して、その半分の４８０ライン分（たとえば垂直方向の中央部）の画素データのみをフレームメモリ９６７に記憶する。

また、補間処理部９９８は、図６（Ｃ）に示すように、ズーム倍率に応じた補間すべき注目画素に隣接する複数ラインの画素データをラインメモリから読み出して、これら複数ラインの画素データを用いて、補間処理を利用した垂直フィルタ処理を行なう。すなわち、ズーム倍率に応じた補間すべき注目画素に隣接する隣接する複数ラインの生の画素データもしくは水平方向の補間処理によって求められた水平補間データを用いて垂直画素数を所望の画素数に変換することで、垂直方向の解像度変換処理を行なう。

このとき、固体撮像素子９１０から読み出した画素データを順次使って垂直補間を行なうには、内挿ライン（差分ライン）の補間処理のため、固体撮像素子９１０から読み出した画素データを記憶する複数ライン分記憶する手段が必要になる。

次に補間処理部９９８は、この垂直方向の解像度変換処理後の画素データ（ラインデータ）を一旦、図示しないラインメモリに格納する。つまり、固体撮像素子９１０から電子ズーム時に使用する予定の領域（たとえば画面中央部）の画素信号を一度フレームメモリ９６７に格納し、補間処理部９９８へタイミング管理をしながら転送し、補間処理部９９８で補間処理にて水平補間処理を行なう。

たとえば、補間処理部９９８は、図６（Ｄ）に示すように、水平方向の全１２８０画素の内、その半分の６４０画素（たとえば水平方向の中央部）の領域のみを処理対象として、補間処理を利用した水平フィルタ処理を行なう。すなわちズーム倍率に応じた補間すべき注目画素に隣接する同一ラインの生の画素データを用いて水平画素数を所望の画素数に変換することで、水平方向の解像度変換処理を行なう。

しかしながら、このような従来の電子式ズーム処理では、出力データ内容を記憶する（ラインメモリ）機能が複数必要になり、たとえば１フレーム分もしくはズーム倍率に応じたライン数分の画素データを記憶するための回路規模が大きなフレームモリのような大規模な記憶手段が必要であり、画素補間を行なうデジタル処理ＬＳＩ（補間処理部９９８）も必要となりハードウェアの増加を招いており、回路構成が大規模になる。加えて、フレームメモリなどの大規模な記憶手段からの画素データの読出制御で、補間のための隙間を作るような難しい制御を実現する必要があり、ズーム制御部の回路構成も複雑・大規模にならざるを得ない。

全体として、大規模、高消費電力あるいは高コストなシステムになってしまうから、センサチップ（撮像デバイス）単体で電子ズーム処理を行なう固体撮像装置、たとえば低コストや小規模構成が要求される携帯電話用やモバイル機器用のカメラなどを実現する際の電子ズームとしては導入し難いという問題がある。

これに対して、図１に示した撮像装置１の第１実施形態の動作例では、ズーム倍率（拡大／縮小も含む）に関わらず画素データが固体撮像素子２からそのまま出力されてくる垂れ流しシステムであるものの、図４（Ａ）に示すように、固体撮像素子２は、ズーム倍率に応じたアクセスラインアドレス信号を外部回路２００に伝えるようにしているので、外部回路２００は、アクセスラインアドレス信号を参照して固体撮像素子２から送出される撮像データＤ０のうち有効ラインのデータのみを取り込んでズーム処理を行なうことができ、フレームメモリを使用しなくてもズーム処理が可能となる。

たとえば、従来は後段にフレーム単位のメモリを持ってズーム拡大時には不必要なデータを破棄し、必要なデータを補完する。また縮小のときは今まで廃棄していたデータを使用する。何れもメモリに最大データを蓄えた後の動作になる。

これに対して、本実施形態では、予め（前フレーム時など）ズームする倍率（拡大時、縮小時とも）を撮像装置１の制御＆信号処理部１７に通信し、内部演算回路により倍率に応じ必要なデータについてアクセスし読み出すライン（Ｈ方向）を演算する。そして決められたライン（Ｈ方向）のデータを必要なタイミングで出力する。つまり、撮像装置（イメージセンサ）がフレームメモリ代わりとなりフレームメモリが不要となる。

また、従来のカメラシステムのように演算回路を信号処理側（ＤＳＰなど制御側ＬＳＩ）で持つと、イメージセンサとの通信が複雑になる。イメージセンサの特性上、ズーム時に読み出しは必要なデータ（ライン）と不要なデータ（ライン）が混在するのに対し、ラインシャッタは全てのラインをアクセスする必要があるため、従来のイメージセンサを制御している垂直同期信号ＸＶＳや垂直同期信号ＸＨＳだけでは制御しきれなくなる。ズーム動作時にシャッタ制御信号と読出信号を独立してインタフェースする必要が生じる。これに対して、本実施形態では内部演算でシャッタ＆読出信号を生成するため、通信インタフェースが簡略化できる利点もある。

なお、外部回路２００は、ズーム処理を行なうことやズーム倍率が分かっているので、図４（Ｂ）に示すように、固体撮像素子２から送出される撮像データＤ０のうち有効ラインのデータのみを取り込んでズーム処理を行なうことができるから、“有効／無効の情報を外部回路２００に伝えること”は必須でない。

しかしながら、“有効／無効の情報”を外部回路２００に伝えるようにすれば、後段信号処理に前述の演算回路機能を持つ必要はなく、内部演算処理機能が使用可能になる利点が得られる。

たとえば、後段信号処理でフレームメモリを持たせない場合、ラインシャッタと読出しを行なうＣＭＯＳ型固体撮像素子ではズーム時にラインシャッタ制御信号と読出制御信号を独立制御する必要がある。外部回路２００で上記２信号を制御するとインタフェースも２系統必要となり複雑になる。このときセンサ内部で外部回路２００より通信された倍率をもとにアクセスするラインをシャッタおよび読出制御信号を生成し、データを読み出すことでインタフェースを簡略化したズーム処理が可能になる。同時に内部で生成した情報（アクセスするライン情報）を出力することで後段の信号処理の色処理や黒レベルの初期化に利用できる。

＜撮像装置の動作；第２実施形態＞
図７は、図１に示した撮像装置１における第２実施形態の動作を説明するタイミングチャートである。ここで図７は、ダイナミックレンジ拡大機能実現のための例を示している。

この第２実施形態においてダイナミックレンジ拡大機能を実現するに当たっては、従来のようなフレーム単位でのゲイン調整を固体撮像素子２内部もしくは外部回路２００において行なうのではなく、固体撮像素子２側でライン単位でゲイン調整を行なう。つまり、第２実施形態におけるダイナミックレンジ拡大機能では、ラインごとにゲイン調整処理の処理内容が異なることとなる。また、固体撮像素子２は、その際のラインごとのゲイン設定情報を外部回路２００に通知し、外部回路２００においては、通知されたゲイン設定情報を参照して補正処理を行なうことで、ダイナミックレンジの広い画像を生成する。

このため、第２実施形態の動作例においては、外部通信ＩＦ回路部１７４は、図７に示すように、水平ブランキング期間を利用して、当該ラインのゲイン設定値を示すラインゲイン情報を動作状態信号として、有効データが出力された後の数ビット（たとえば４ビット）のデジタルデータで外部回路２００にリアルタイムに伝える。

外部回路２００側においてラインごとにゲイン調整処理を行なってからダイナミックレンジの広い画像を生成する仕組みも考えられるが、この場合、固体撮像素子２は、低輝度のラインに関しては低レベルの信号まま処理することになりＳ／Ｎの観点で不利である。これに対して、第２実施形態の仕組みのように固体撮像素子２側において予めラインごとにゲイン調整処理を行なうと、低輝度のラインに関しては所定のゲインで増幅して高レベルの信号にしてから所望の処理をできＳ／Ｎに有利である。

＜撮像装置の動作；第３実施形態＞
図８は、図１に示した撮像装置１における第３実施形態の動作を説明するタイミングチャートである。ここで図８は、アクセスしているＨラインあるいはそれに類似（関係）したアドレス情報を外部回路２００に通知する例を示している。

外部回路２００における信号処理内容によっては、アクセスしている現ラインの画素情報だけでなく、その現ラインの数個前の画素情報が必要となることがある。たとえば、色処理や黒レベル調整など数ラインのデータを使って複数行に亘る信号処理を行うなどの制御処理がその典型例である。

そこで、この第３実施形態の動作例においては、現ラインのアクセスより前もってその情報を外部回路２００に通知する。前もって通知するのは、前述の色処理や黒レベル調整などのためである。たとえば、外部通信ＩＦ回路部１７４は、図８に示すように、水平ブランキング期間を利用して、現ラインを示すＶ（垂直）およびＨ（水平）のアドレス情報の他に、その現ラインの数個前の画素情報を参照するのに必要となる関連ラインを示すＶ（垂直）およびＨ（水平）のアドレス情報を動作状態信号として、現ラインに対して１つ前のラインにおける有効データが出力された後の数ビット（たとえば４ビット）のデジタルデータで外部回路２００にリアルタイムに伝える。

＜撮像装置の動作；第４実施形態＞
図９は、図１に示した撮像装置１における第４実施形態の動作を説明するタイミングチャートである。ここで図９は、固体撮像素子２における補正回路部１８０での補正処理を外部回路２００において補完する機能を実現する例を示している。

補正回路部１８０において、撮像部１０の欠陥画素やカラム処理部２１の回路構成に起因した縦筋ノイズを補正しても、境界部分に補正漏れや過補正などの誤差（境界誤差という）が残ることがある。外部回路２００においては、その境界誤差を補正する。

このため、この第４実施形態の動作例においては、外部通信ＩＦ回路部１７４は、現ラインのアクセスより前もって、固体撮像素子２内の補正回路部１８０で補正したクランプレベルやゲイン情報（以下、纏めて素子内補正結果情報ともいう）や補正量や補正位置などを動作状態信号として外部回路２００に通知する。前もって通知するのは、色処理や黒レベル調整などのためである。

たとえば、図９に示すように、水平ブランキング期間を利用して、素子内補正結果情報や補正量や補正位置などを動作状態信号として、有効データが出力された後の数ビット（たとえば４ビット）のデジタルデータで外部回路２００にリアルタイムに伝える。外部回路２００においては、受け取った素子内補正結果情報や補正量や補正位置などを参照して、補正回路部１８０での補正処理で残った境界誤差を補正する。

補正回路部１８０を高度な回路にすることで、境界誤差を低減できるが、そのような高度な回路は規模・消費電力が大きくならざるを得ない。全体として、大規模、高消費電力あるいは高コストなシステムになってしまうから、たとえば低コストや小規模構成が要求される携帯電話用やモバイル機器用のカメラなどを実現する際の、センサチップ（撮像デバイス）単体でより完璧な補正処理を行なう固体撮像装置には導入し難いという問題がある。

これに対して、第４実施形態の動作例を適用すれば、受け取った素子内補正結果情報や補正量や補正位置などを参照して、外部回路２００において補正回路部１８０での補正処理で残った誤差を補完することができる。センサチップ（撮像デバイス）単体でより完璧な補正処理を行なうのではなく、外部回路２００と協働して補正処理を実行することで、より完璧な補正処理を行なう撮像装置を実現する。

＜撮像装置の動作；第５実施形態＞
図１０は、図１に示した撮像装置１における第５実施形態の動作を説明するタイミングチャートである。ここで図１０は、水平ブランキング期間だけでなく、垂直ブランキング期間も利用して、固体撮像素子２の内部動作を確認し得る動作状態信号を外部回路２００に通知する例を示している。

ここでは、図９に示した第４実施形態への変形例で示しており、固体撮像素子２は、素子内補正結果情報や補正量や補正位置などを動作状態信号として、水平ブランキング期間を利用して、有効データが出力された後に加えて、垂直ブランキング期間の数ライン（本例では１ライン）にも、数ビット（たとえば４ビット）のデジタルデータで外部回路２００にリアルタイムに伝える。外部回路２００においては、第４実施形態と同様に、受け取った素子内補正結果情報や補正量や補正位置などを参照して、補正回路部１８０での補正処理で残った境界誤差を補正する。

ここで、固体撮像素子２は、動作状態信号を外部回路２００に通知する垂直ブランキング期間の数ラインは、水平ブランキング期間だけでなく、通常データ読出期間にも、動作状態信号を送出する。垂直ブランキング期間も利用することで、フレーム単位で制御する信号については毎ライン担当の処理をし、かつフレーム単位で制御方法が代わる処理（具体的にはゲイン調整など）ができるようになる効果が得られる。水平方向単位の制御だけでなく水平方向だけでは制御できない垂直方向単位の制御も可能になる。

なお、図１０に示した第５実施形態の例では、水平ブランキング期間に加えて、垂直ブランキング期間の数ラインにも固体撮像素子２の動作状態信号を外部回路２００に通知するようにしていたが、水平ブランキング期間に通知しないで、垂直ブランキング期間の数ラインのみにて固体撮像素子２の動作状態信号を外部回路２００に通知するようにしてもよい。この場合、フレーム単位で制御する信号については毎ライン担当の処理をするのではなく、フレーム単位で処理したほうが無駄な消費電力を省ける制御（具体的にはシャッタ制御など）ができるようになる効果が得られる。フレーム単位の制御は水平単位制御より容易になる。

以上説明したように、本実施形態によれば、固体撮像素子２内部の動作状態情報を後段の信号処理機能部（本例では外部回路２００）に通知することで、後段の信号処理機能部の処理負荷を軽減でき、たとえば機能増によるゲート規模、チップサイズ増、消費電流増を軽減することができる。固体撮像素子２の内部動作を把握、再現するために必要な回路を、ゲート規模、面積、消費電力が従来と同等レベルで搭載することで、従来にない別機能を新たに搭載することが可能になる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、上記実施形態では、半導体装置の動作情報を半導体装置の外部に出力するに当たって、動作情報と単位信号とを兼用の出力端子から出力する際に、動作情報と単位信号とを時分割にして、単位信号を出力するデータ出力期間の後のブランキング期間に動作情報を出力するようにしていたが、これに限らず、出力の仕組みは様々な形態を採用し得る。

たとえば、たとえば単位信号を表わすデータ（たとえば画素データ１０ビット）に動作情報を表わすデータ（たとえば付加データ４ビット）を重畳して計１４ビットで出力するなど、動作情報と単位信号とを纏めて１つの信号に変換した後に兼用出力端子から随時出力するようにすることもできる。ただしこの場合、動作情報と単位信号とを纏めて１つの信号に変換する回路ブロックが必要になり、半導体装置側の回路規模が少し大きくなる。

また、上記実施形態では、個々の単位画素からの信号を読出可能な固体撮像装置の一例として、光を受光することで信号電荷を生成する画素部を備えたＣＭＯＳセンサやＣＣＤセンサを例に示したが、信号電荷の生成は、光に限らず、たとえば赤外線、紫外線、あるいはＸ線などの電磁波一般に適用可能であり、この電磁波を受けてその量に応じたアナログ信号を出力する素子が多数配列された単位構成要素を備えた半導体装置に、上記実施形態で示した事項を適用可能である。

また、撮像部１０は、複数の単位信号生成部が２次元状に配置されているものに限らず、長尺状に配置されているものであってもよい。たとえば、撮像部１０をラインセンサに置き換えても、上記実施形態にて説明した技術を同様に適用でき、同様の効果を享受できる。

なお、“長尺状に配置されている”とは、短辺と長辺とを十分に認識できるように配置されている形態を意味し、１列で長く配置した典型的なラインセンサに限らず、たとえば複数列で長く配置した形態や千鳥状に配置した形態なども含む意味である。

また、上記実施形態では、固体撮像装置において、ダイナミックレンジ拡大処理に関わるゲイン調整やズーム処理など、ラインごとに異なる処理内容を施す信号処理を、固体撮像素子２から出力される内部動作情報を参照して外部回路２００にて実行する事例を説明したが、上記実施形態で説明した仕組みは、固体撮像装置に限らず、所望の信号処理を半導体装置とその外部に設けた信号処理部とで協働して行なうあらゆる電子機器に適用することができる。

たとえば、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするＣＭＯＳ型やＣＣＤ型の固体撮像素子を使用した撮像装置についての適用事例を示したが、物理量の変化を検知するあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置（特開２００２−７９８４や特開２００１−１２５７３４などを参照）など、その他の物理的な変化を検知する仕組みにおける信号処理にも同様に適用できる。

本発明の一実施形態に係るＣＭＯＳ型の固体撮像素子を使用した撮像装置の概略構成図である。 制御＆信号処理部の一構成例を示した機能ブロック図である。 図１に示した撮像装置における第１実施形態の動作を説明するタイミングチャートである。 本実施形態のズーム機能（Ａ）と変形例のズーム機能（Ｂ）との差を説明する図である。 従来のズーム機能を説明する図である（その１）。 従来のズーム機能を説明する図である（その２）。 図１に示した撮像装置における第２実施形態の動作を説明するタイミングチャートである。 図１に示した撮像装置における第３実施形態の動作を説明するタイミングチャートである。 図１に示した撮像装置における第４実施形態の動作を説明するタイミングチャートである。 図１に示した撮像装置における第５実施形態の動作を説明するタイミングチャートである。 一般的なＣＣＤ撮像素子を利用した撮像装置の構成例を示した図である。 図１１に示す一般的なＣＣＤ撮像素子を利用した撮像装置の動作タイミングの一例を示したタイミンチャートである。 一般的なＣＭＯＳ撮像素子を利用した撮像装置の構成例を示した図である。

符号の説明

１…撮像装置、３…単位画素、５…画素信号生成部、７…駆動制御部、１０…撮像部、１２…水平走査部、１３…センサ回路部、１４…垂直走査部、１５…垂直制御線、１６…駆動信号操作部、１７…制御＆信号処理部、１８…垂直信号線、２…固体撮像素子、２０…アナログ信号処理部、２１…カラム処理部、２２…カラム信号処理部、２８…水平信号線、２９…出力回路、１７２…タイミング発生回路部、１７４…外部通信ＩＦ回路部、１７５…デジタル出力部、１７６…制御信号生成部、１７８…レジスタ回路部、１８０…補正回路部、２００…外部回路、２１０…Ａ／Ｄ変換部、２３０…デジタル信号処理部

Claims (18)

1. 入射された物理量の変化に応じた変化情報を検出する検出部と、前記検出部で検出した変化情報に基づいて単位信号を生成する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための固体撮像装置から出力される前記単位信号に基づいて所定の信号処理を行なう信号処理方法であって、
   前記固体撮像装置は、２次元平面上で行方向と列方向に複数の前記単位構成要素が配置されており、
   前記固体撮像装置の動作状態を特定可能な動作情報を、前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに前記単位信号とは別に出力し、
   １水平期間および１垂直期間の少なくとも一方の期間ごとに、前記固体撮像装置から出力された前記動作情報を参照して、前記固体撮像装置から出力される１水平期間および１垂直期間の少なくとも一方の期間分の前記単位信号に対する前記所定の信号処理を行なう
   信号処理方法。
2. 前記１水平期間および１垂直期間の少なくとも一方の期間ごとに、前記１水平期間および１垂直期間の少なくとも一方の期間分の前記単位信号が出力された後に前記１水平期間および１垂直期間の少なくとも一方の期間分の前記動作情報を出力する
   請求項１に記載の信号処理方法。
3. 前記固体撮像装置は、前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、
   通常動作時は前記単位信号を出力し、
   特殊モード時には、前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに、当該特殊モードに応じた次ラインのデータが有効か無効かを示すアクセスラインアドレス信号を含む前記動作情報を出力し、
   前記アクセスラインアドレス信号が示す有効情報および無効情報に基づき、前記固体撮像装置から送出される前記単位信号のうち有効ラインのデータを取り込んで前記特殊モードに応じた信号処理を行なう
   請求項１または２記載の信号処理方法。
4. 前記固体撮像装置は、前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、
   ライン単位で前記単位信号のゲイン調整を行い、
   ライン単位のゲイン設定情報を含む前記動作情報を出力し、
   前記動作情報のゲイン設定情報を参照して、前記固体撮像装置から送出される前記単位信号に対してライン単位で補正処理を行なう
   請求項１から３のいずれか一に記載の信号処理方法。
5. 前記固体撮像装置は、前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、
   現ラインのアドレス情報と当該現ラインの関連ラインのアドレス情報を含む前記動作情報を出力し、
   現ラインのアドレス情報と当該現ラインの関連ラインのアドレス情報を参照して、複数行に亘る信号処理を行なう
   請求項１から４のいずれか一に記載の信号処理方法。
6. 前記固体撮像装置は、前記単位構成要素から読み出した単位信号に対して補正処理を行い、
   前記補正処理における補正量および補正結果の少なくとも一方を示す補正に関する情報を含む前記動作情報を出力し、
   前記動作情報に含まれる補正処理に関する情報を参照して、前記単位信号に対する補正処理をさらに行なう
   請求項１から５のいずれか一に記載の信号処理方法。
7. 入射された物理量の変化に応じた変化情報を検出する検出部と、前記検出部で検出した変化情報に基づいて単位信号を生成する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための固体撮像装置と、
   前記固体撮像装置から出力される前記単位信号に基づいて所定の信号処理を行なう信号処理部と、を有し、
   前記固体撮像装置は、
   ２次元平面上で行方向と列方向に複数の前記単位構成要素が配置されており、
   当該固体撮像装置の動作状態を特定可能な動作情報を出力する動作情報出力部を含み、
   前記動作情報出力部は、
   前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに前記動作情報を前記単位信号とは別に出力し、
   前記信号処理部は、
   １水平期間および１垂直期間の少なくとも一方の期間ごとに、前記動作情報出力部から出力された前記動作情報を参照して、前記固体撮像装置から出力される１水平期間および１垂直期間の少なくとも一方の期間分の前記単位信号に対する前記所定の信号処理を行なう
   信号処理装置。
8. 前記動作情報出力部は、
   前記１水平期間および１垂直期間の少なくとも一方の期間ごとに、前記１水平期間および１垂直期間の少なくとも一方の期間分の前記単位信号が出力された後に前記１水平期間および１垂直期間の少なくとも一方の期間分の前記動作情報を出力する
   請求項７記載の信号処理装置。
9. 前記固体撮像装置は、
   前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、
   上記動作情報出力部は、
   通常動作時は前記単位信号を出力し、
   特殊モード時には、前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに、当該特殊モードに応じた次ラインのデータが有効か無効かを示すアクセスラインアドレス信号を含む前記動作情報を出力し、
   前記信号処理部は、
   前記アクセスラインアドレス信号が示す有効情報および無効情報に基づき、前記固体撮像装置から送出される前記単位信号のうち有効ラインのデータを取り込んで前記特殊モードに応じた信号処理を行なう
   請求項７または８記載の信号処理装置。
10. 前記固体撮像装置は、
    前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、ライン単位で前記単位信号のゲイン調整を行なう機能を含み、
    上記動作情報出力部は、
    ライン単位のゲイン設定情報を含む前記動作情報を出力し、
    前記信号処理部は、
    前記動作情報のゲイン設定情報を参照して、前記固体撮像装置から送出される前記単位信号に対してライン単位で補正処理を行なう
    請求項７から９のいずれか一に記載の信号処理装置。
11. 前記固体撮像装置は、
    前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、
    上記動作情報出力部は、
    現ラインのアドレス情報と当該現ラインの関連ラインのアドレス情報を含む前記動作情報を出力し、
    前記信号処理部は、
    現ラインのアドレス情報と当該現ラインの関連ラインのアドレス情報を参照して、複数行に亘る信号処理を行なう
    請求項７から１０のいずれか一に記載の信号処理装置。
12. 前記固体撮像装置は、
    前記単位構成要素から読み出した単位信号に対して補正処理を行なう補正部を含み、
    上記動作情報出力部は、
    前記補正処理における補正量および補正結果の少なくとも一方を示す補正に関する情報を含む前記動作情報を出力し、
    前記信号処理部は、
    前記動作情報に含まれる補正処理に関する情報を参照して、前記単位信号に対する補正処理を行なう
    請求項７から１１のいずれか一に記載の信号処理装置。
13. 入射された物理量の変化に応じた変化情報を検出する検出部と、前記検出部で検出した変化情報に基づいて単位信号を生成する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための固体撮像装置であって、
    ２次元平面上で行方向と列方向に複数の前記単位構成要素が配置されており、
    当該固体撮像装置の動作状態を特定可能な動作情報を出力する動作情報出力部を含み、
    前記動作情報出力部は、
    前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに前記動作情報を前記単位信号とは別に出力する
    固体撮像装置。
14. 前記動作情報出力部は、
    前記単位信号を出力する前記１水平期間および１垂直期間の少なくとも一方の期間ごとに、前記１水平期間および１垂直期間の少なくとも一方の期間分の前記単位信号が出力された後に前記１水平期間および１垂直期間の少なくとも一方の期間分の前記動作情報を出力する
    請求項１３記載の固体撮像装置。
15. 前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、
    上記動作情報出力部は、
    通常動作時は前記単位信号を出力し、
    特殊モード時には、前記単位信号を出力する１水平期間および１垂直期間の少なくとも一方の期間ごとに、当該特殊モードに応じた次ラインのデータが有効か無効かを示すアクセスラインアドレス信号を含む前記動作情報を出力する
    請求項１３または１４記載の固体撮像装置。
16. 前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、ライン単位で前記単位信号のゲイン調整を行なう機能を含み、
    上記動作情報出力部は、
    ライン単位のゲイン設定情報を含む前記動作情報を出力する
    請求項１３から１５のいずれか一に記載の固体撮像装置。
17. 前記複数の単位構成要素の行列状配列におけるライン単位でアクセスされ、
    上記動作情報出力部は、
    現ラインのアドレス情報と当該現ラインの関連ラインのアドレス情報を含む前記動作情報を出力し、
    出力先では、現ラインのアドレス情報と当該現ラインの関連ラインのアドレス情報を参照して、複数行に亘る信号処理が行なわれる
    請求項１３から１６のいずれか一に記載の固体撮像装置。
18. 前記単位構成要素から読み出した単位信号に対して補正処理を行なう補正部を含み、
    上記動作情報出力部は、
    前記補正処理における補正量および補正結果の少なくとも一方を示す補正に関する情報を含む前記動作情報を出力する
    請求項１３から１７のいずれか一に記載の固体撮像装置。

Images