JP4193768B2 - データ処理方法並びに物理量分布検知の半導体装置および電子機器 - Google Patents

Description

本発明は、データ処理方法およびデータ処理装置、並びに複数の単位構成要素が配列されてなる物理量分布検知の半導体装置および電子機器に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を、アドレス制御により任意選択して電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置やその他の電子機器に用いて好適な、デジタル信号処理技術に関する。

光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。

たとえば、映像機器の分野では、物理量のうちの光（電磁波の一例）を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。

また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子（ＡＰＳ；Active Pixel Sensor ／ゲインセルともいわれる）構成の画素を備えた増幅型固体撮像装置がある。たとえば、ＣＭＯＳ型固体撮像装置の多くはそのような構成をなしている。

このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。

たとえば、単位画素がマトリクス状に配されたＸ−Ｙアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、ＭＯＳ構造などの能動素子（ＭＯＳトランジスタ）を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷（光電子）を前記能動素子で増幅し、画像情報として読み出す。

この種のＸ−Ｙアドレス型固体撮像素子では、たとえば、画素トランジスタが２次元行列状に多数配列されて画素部が構成され、ライン（行）ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、ＭＯＳ（ＣＭＯＳを含む）型においては、アドレス制御の一例として、１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式が多く用いられている。

画素部から読み出されたアナログの画素信号は、必要に応じて、アナログ−デジタル変換装置（ＡＤ変換装置；Analog Digital Converter）にてデジタルデータに変換する。このため、種々のＡＤ変換の仕組みが提案されている（たとえば非特許文献１〜５、特許文献１参照）。これらの公知文献の中には、１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式に適合するように、垂直列ごとにＡＤ変換部やその他の信号処理を行なう信号処理部を配置したいわゆる列並列方式を採っているものもある。

W. Yang et. al., "An Integrated 800x600 CMOS ImageSystem," ISSCC Digest of Technical Papers, pp. 304-305, Feb., 1999 米本和也著、"ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用"、ＣＱ出版社、2003年8月10日、初版p201〜203 今村俊文、山本美子、"３．高速・機能ＣＭＯＳイメージセンサの研究"、［online］、［平成16年3月15日検索］、インターネット＜URL:http://www.sankaken.gr.jp/project/iwataPJ/report/h12/h12index.html＞ 今村俊文、山本美子、長谷川尚哉、"３．高速・機能ＣＭＯＳイメージセンサの研究"、［online］、［平成16年3月15日検索］、インターネット＜URL:http://www.sankaken.gr.jp/project/iwataPJ/report/h14/h14index.html＞ Oh-Bong Kwon et. al.,"A Novel Double Slope Analog-to-Digital Converter for a High-Quality 640x480 CMOS Imaging System"、VL3-03 1999 IEEE p335〜338 特開平１１−３３１８８３号公報 特開２００１−２６８４５１号公報

一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。たとえば、非特許文献４，５に記載されているように、光を検出する複数のピクセルからの電流を同時に出力バス上に出力することで、出力バス上で電流による加減算を行ない、この後、時間軸方向に大きさを持つパルス幅信号に変換し、このパルス幅信号のパルス幅のクロック数を列並列に設けられたカウンタ回路でカウントしてＡＤ変換を行なうことで加減算結果をデジタルデータにすることでエッジ検出処理を行なう仕組みがある。

また、特許文献２に記載されているように、異なる時点の画素信号の差をアナログ領域で取得してからデジタルデータ（たとえば２値）に変換することで動体検出を行なう仕組みがある。

また、非特許文献６に記載のように、画素内の容量を画素内メモリとして利用して、フォトダイオードで検知した信号電荷を一旦画素内メモリに保持してから読み出すことで電子シャッタ機能を実現する仕組みがある。あるいは、非特許文献７に記載のように、画素内の容量を画素内メモリとして利用して、直前のフレーム信号を保持しておき、現在のフレーム信号と画素内で加算することで、ダイナミックレンジ拡大やエッジ処理あるいは動体検出を行なう仕組みがある。

Chye Huat Aw,Bruce A.Wooley、"FA11.2: A 128X128Pixel Standard-CMOS Image Sensor with Electronic Shutter"、ISSCC96/SESSION11/ELECTRONIC IMAGING CIRCUITS/PAPER FA11.2、1996 ISSCC Digest of Techical Papers, pp180-182 Yoshinori Muramatsu et. al.,"A Signal-Processing CMOS Image Sensor Using a Simple Analog Operation"、IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 38, NO. 1, JANUARY 2003

また、これらの演算処理を行なう回路配置の側面では、非特許文献４〜７や特許文献２に記載されているように、イメージセンサ上に加減算機能など様々な処理機能を設ける手法（オンチップ法という）がある。特に、画素部から画素信号を取り込む際に、垂直列ごとに信号処理部を配置したいわゆる列並列方式の構造のものは、オンチップ法に適していると考えられている。

しかしながら、これら演算処理を行なう従来の仕組みは、演算処理後の信号のみが固体撮像装置から出力されるようになっているため、本来固体撮像装置から出力されるビデオ信号を、同時に得られないという問題がある。

この問題を解消する仕組みとして、たとえば特許文献３には、被写体の動体の部分のみを検出する構造を固体撮像装置内に設け、動体を表す信号とそのときのビデオ信号とを同時に出力するようにした動き検出用固体撮像装置が提案されている。

特開平１１−８８０５号公報

しかしながら、特許文献３に記載の仕組みは、動体を表す信号を固体撮像装置の外部に出力するに際して、時間差分処理後にデジタルデータに変換する必要があり、アナログ領域での時間差分処理機能部分とアナログの処理済み信号をデジタルデータに変換するＡＤ変換機能部分とを必要とする。

加えて、特許文献３に記載の仕組みは、時間差分処理済み信号をデジタルデータに変換して出力するに当たり、２値データにして出力しているので、固体撮像装置の外部で適応処理を行なおうとした場合、多値で出力する場合に比べてデータの取扱いの自由度が不十分である。

本発明は、上記事情に鑑みてなされたものであり、ビデオ信号の出力とともに、演算処理済みデータを多値のデジタルデータで出力することのできる、より簡易な仕組みを提供することを目的とする。

本発明に係るデータ処理方法は、複数の処理対象信号の積和演算結果のデジタルデータを取得する方法であって、複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、複数の処理対象信号のうちの他方に応じた電気信号とこの他方についてのデジタルデータを取得するための参照信号とを比較する。

そして、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持する。そして、この保持したカウント値を所定のタイミングで演算済みデータとして出力することとした。

また、この演算済みデータの生成および出力と並行して、複数の処理対象信号のうちの何れか１つに基づいて通常データを生成し出力することとした。

なお、複数の処理対象信号の内の初期値として利用される一方についても、比較処理とカウント処理を行なうことで、そのデジタルデータを取得するようにしてもよい。

通常データを生成するに当たっても、通常データの基礎となる一方の処理対象信号に応じた電気信号とこの一方の処理対象信号についてのデジタルデータを取得するための参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持し、この保持したカウント値を所定のタイミングで取り出すことで取得するようにするのがよい。

ここで、複数の処理対象信号とは、たとえば画素信号など、物理的性質が同一の複数の信号を意味する。たとえば、隣接する複数の画素から出力される画素信号などのように、同一空間平面におけるそれぞれ異なる位置の信号、あるいは同一空間平面における同一位置においてそれぞれ異なる時刻に取得された信号などである。画素信号におけるリセット成分と信号成分のように、同一単位要素から出力される１つの処理対象信号における物理的性質の異なる２つの信号成分を意味するものではない。

比較処理を行なう際には、処理対象信号に応じた電気信号と所定の傾きで変化する参照信号とを比較し、処理対象信号に応じた電気信号と参照信号とが一致する点を探すのがよい。また、カウント処理を行なう際には、比較処理で用いる参照信号の生成時点から、処理対象信号に応じた電気信号と参照信号とが一致した時点までをカウントクロックでカウント（計数）することで、処理対象信号の大きさに対応したカウント値を得るのがよい。なお、参照信号の時間変化量を調整することで、積和演算における処理対象信号についての係数を設定するのがよい。

一方の処理対象信号についてのデジタルデータに関しては、予め本発明の仕組みとは別のものでデジタル化されているもの（別系統の）でもよい。あるいは、一方の処理対象信号に応じた電気信号と、この一方についての参照信号（前記他方についての参照信号と異なるものでもよい）を比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持することで、一方についてのデジタルデータを取得するようにしてもよい。

何れの場合においても、複数の処理対象信号のうちの他方についてのカウント処理にてＡＤ変換をした後には、複数の処理対象信号間での積和演算結果のデジタルデータがカウント値として自動的に得られる。

ここで、積和演算とは、各処理対象信号の係数の絶対値を同じにして、和を取るすなわち加算処理を行なう、もしくは差を取るすなわち加算処理を行なうことに限らず、各処理対象信号の係数の絶対値を異なるものにして和もしくは差を取ることも含む。また、「複数」は、少なくとも２つの意味であり、３、４、あるいはそれ以上の処理対象信号について順次積和演算を行なうものでもよい。

具体的には、本願発明において対象となる積和演算の一例としては、たとえば、一方の処理対象信号についてのカウントモードと、他方の処理対象信号についてのカウントモードとを逆のモードにすることで得られる差分演算がある。３以上の処理対象信号を取り扱う場合には、少なくとも１つの処理対象信号について減算処理となるようにすればよい。加算と減算とを組み合わせた積和演算を行なう場合、加算であるのか減算であるのかに応じてカウント処理のモードを制御する。

この差分演算の一例としては、実質的に同一時点に取得された複数の処理対象信号を取り扱う空間差分処理がある。空間差分処理を行なうことで、エッジ検出や空間フィルタ処理などを行なった画像を、演算済み画像として取得できる。この演算済み画像を利用することで、エッジ強調画像を取得したり、直線検出や図形認識を行なうことができる。

また、差分演算の他の一例としては、実質的に異なる時点に取得された複数の処理対象信号を取り扱う時間差分処理がある。時間差分処理を行なうことで、動きのある部分を抽出した画像を、演算済み画像として取得できる。この演算済み画像を利用することで、動体検出や動体追尾を行なうことができる。

また、積和演算の他の一例としては、たとえば、一方の処理対象信号についてのカウントモードと、他方の処理対象信号についてのカウントモードとを同一のモードにすることで得られる加算演算がある。３以上の処理対象信号を取り扱う場合には、全ての処理対象信号について加算処理となるようにすればよい。

この加算演算の一例としては、実質的に同一時点に取得された複数の処理対象信号を取り扱う空間加算処理がある。空間加算処理を行なうことで、平滑化や重付け加算、あるいはＳ／Ｎ（信号Ｓ対ノイズの比）改善などを行なうことができる。

また、加算演算の他の一例としては、それぞれ異なる電磁波の照射時間の元で取得された複数の処理対象信号を取り扱う時間加算処理がある。時間加算処理を行なうことで、電磁波の照射時間の異なる画像を合成した合成画像を、演算済み画像として取得できる。この演算済み画像（合成画像）は、ダイナミックレンジの広い画像となる。

なお、固体撮像装置などの半導体装置から出力される信号が真の信号成分だけでなくリセット成分やばら付きなどの成分（纏めて基準成分と呼ぶ）を持ち、基準成分をベースに真の信号成分が加わった形態で信号成分として出力される場合、１つの処理対象信号に関して、真の信号成分を差信号成分として取り出すために、上記本発明の仕組みを利用して差分処理を行なうのがよい。

この場合、基準成分および信号成分のそれぞれに応じた電気信号とデジタルデータに変換するための参照信号とを比較し、この比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持する。この際、基準成分と信号成分の何れについて比較処理を行なっているのかに応じてカウント処理のモードを制御する。

ここで、カウント処理のモード切替処理としては、先ず、１回目の処理として、画素など同一単位要素から出力される１つの処理対象信号における物理的性質の異なる基準成分と信号成分のうちの何れか一方に応じた電気信号と、デジタルデータに変換するための参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持する。

この後、２回目の処理として、基準成分と信号成分のうちの他方と参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの他方のモードでカウント処理を行ない、この比較処理が完了した時点のカウント値を保持する。こうすることで、２回目の処理後に保持されるカウント値は、１回目のカウント値との差となる。つまり、カウントモードを切り替えた２回のカウント処理を行なうことで、基準成分と信号成分の差に応じたデジタル値が２回目のカウント処理のカウント値として得られる。つまり、真の信号成分のデジタルデータが得られる。

なお、２回目の処理で対象とする信号成分とは、少なくとも処理対象信号における真の信号成分を示すものであればよく、真の信号成分のみを意味するものではなく、実際には処理対象信号に含まれる雑音成分やリセット成分などを含むものでもよい。

また、基準成分と信号成分とは、相対的なものであり、基準成分と信号成分との差信号成分は、要するに、画素など同一単位要素から出力される１つの処理対象信号における物理的性質の異なる２つの信号成分間の差の成分であればよい。

ダウンカウントモードやアップカウントモードでカウント処理を行なうに際しては、共通のアップダウンカウンタを用いつつ、その処理モードを切り替えて行なうのがよい。こうすることで、カウント処理に用いるカウンタ回路をコンパクトにすることができる。加えて、２つのモードを切り替えてカウント処理することで、積和演算処理が直接にでき、差を取るための特別な減算器や和を取るための特別な加算器が不要になる。

また、前回のカウント処理で取得した積和演算結果を示すカウント値を所定のデータ記憶部に保持しておき、今回のカウント処理を行なう際には、データ記憶部からのカウント値の読出処理を並行して行なうのがよい。

上述したデータ処理は、入射された電磁波に対応する電荷を生成する電荷生成部および電荷生成部により生成された電荷に応じた単位信号を生成する単位信号生成部を単位構成要素内に含み、この単位構成要素が行列状など所定の順に配された、物理量分布検知のための半導体装置において、単位信号生成部により生成され出力されたアナログの単位信号を処理対象信号としてデジタルデータに変換する処理に利用することができる。

なお、単位構成要素を２次元マトリックス状に配置してある場合、単位信号生成部により生成され列方向に出力されるアナログの単位信号を行単位で（列並列で）アクセスし取り込む（垂直）スキャン読みを行ない、この行単位で、単位構成要素のそれぞれについて、比較処理やカウント処理を行なうことで、ＡＤ変換を同時実行する積和演算処理と単位信号の読出しの高速化を図るのがよい。

単位構成要素を２次元マトリックス状に配置してある場合、積和演算処理の対象となる複数の処理対象信号に応じて、同一列の複数行のものとする列方向の積和演算処理、同一行の複数列のものとする行方向の積和演算処理、あるいはこれらを組み合わせた同一列の複数行かつ同一行の複数列とする２次元状の積和演算処理の３態様の空間処理がある。

１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式とし、列並列に比較部やカウント部を並べて配する場合、比較部とカウント部の組ごとに、列方向の積和演算処理を簡単に行なうことができる。これに対して、行方向の積和演算処理を伴う場合には、複数のカウント部から出力されたデジタルデータに基づき積和演算を行なう機能部を設ける、あるいは複数の垂直列を切り替えて比較部へ接続する列選択処理部を設けるなどの仕組みを講じる必要がある。

何れの空間処理の態様でも、積和演算における処理対象信号数に基づいてカウント処理のビット数を調整して、処理時間を短縮するあるいはフレームレートを高めるのがよい。

また、積和演算処理は、空間処理に限らず、それぞれ異なる時刻に単位構成要素にて取得された複数の処理対象信号についてカウント処理を行なうことで差分を得る時間差分処理もある。

本発明に係る半導体装置や電子機器は、本発明に係る上記データ処理方法を実施するのに好適な装置であって、アナログの処理対象信号とこの処理対象信号をデジタルデータに変換するための参照信号とを比較する比較部、複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較部における比較処理が完了した時点のカウント値を保持するカウンタ部、およびカウンタ部で保持されたカウント値を演算済みデータとして所定のタイミングで読み出す読出制御部とを有する演算データ処理部と、複数の処理対象信号のうちの何れか１つに基づいて通常データを生成し出力する通常データ処理部とを備えるものとした。

好ましくは、デジタルデータに変換するための参照信号を生成し比較部に供給する参照信号生成部や、カウンタ部におけるカウント処理のモードを制御する制御部をも備えているとなおよい。

カウンタ部は、共通のカウンタ回路で構成され、かつアップカウントモードとダウンカウントモードとを切替可能に構成されているものとすることもできるし、ダウンカウントモードでカウント処理を行なうダウンカウンタ回路と、アップカウントモードでカウント処理を行なうアップカウンタ回路とを有しているものとすることもできる。後者の場合、回路構成に応じて、ダウンカウンタ回路が保持したカウント値とアップカウンタ回路が保持したカウント値との和を取る加算回路を有しているものとすることもできる。

本発明に係る半導体装置においては、比較部とカウンタ部とで構成されるＡＤ変換機能を持つ信号処理部を、単位構成要素の列の並び方向である行方向に複数備えているものとするのがよい。

また、比較部は、単位信号生成部により生成され列方向に出力されるアナログの単位信号を行単位で取り込み、比較部およびカウンタ部は、行単位で、単位構成要素のそれぞれについて、それぞれが担当する処理を行なうようにするのがよい。また、単位信号生成部は、増幅用の半導体素子を有するものとするのがよい。

ここで、電荷生成部を、電磁波としての光を受光して、この受光した光に対応する電荷を生成する光電変換素子を有しているものとすれば、半導体装置を、光学像を取得する固体撮像装置として構成することができる。

色分解フィルタが設けられたカラー画像撮像用である場合は、色分解フィルタの各色フィルタの配置位置に基づいて、積和演算の対象となる複数の単位信号が同一色の色フィルタのものとなるように、複数の単位構成要素のそれぞれの位置を指定するのがよい。

本発明に係るデータ処理方法並びに半導体装置および電子機器によれば、ＡＤ変換用の参照信号と処理対象信号とを比較し、この比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持するようにした。

このとき、複数の処理対象信号の内の一方についてのデジタルデータを他方のカウント処理の初期値として設定するようにしている。このため、複数の処理対象信号に基づく積和演算結果を表す多値のデジタルデータを、カウント処理した結果として得ることができる。

比較処理とカウント処理にてＡＤ変換処理がなされるので、結果的には、ＡＤ変換処理と積和演算処理とを同時に実行する仕組みを構築できる。つまり、ＡＤ変換用の参照信号を操作して処理対象信号をＡＤ変換しつつ、同時に複数の処理対象信号を使用した積和演算を行ない、ＡＤ変換の結果である多値のカウント値そのものを積和演算結果として得ることができる。

よって、ＡＤ変換と演算処理を効率的に行なうことができるようになる。比較部とカウント処理部からなるＡＤ変換部とは別に、ＡＤ変換されたデータを保持する専用のメモリ装置や積和演算を行なう機能部を追加回路として設ける必要がなく、回路規模や回路面積の増大の問題を解消できる。

加えて、積和演算処理の対象とした複数の処理対象信号の何れか１つに基づいて通常データを生成し映像データとして出力するようにしている。よって、ＡＤ変換された演算結果の情報（画像）と映像データを用いた画像表示のバリエーションが増えて、装置の用途が著しく広がる。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子をデバイスとして使用した場合を例に説明する。また、ＣＭＯＳ撮像素子は、全ての画素がＮＭＯＳあるいはＰＭＯＳよりなるものであるとして説明する。

ただしこれは一例であって、対象となるデバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する全ての実施形態が同様に適用できる。

＜第１実施形態；固体撮像装置の構成＞
図１は、本発明に係る半導体装置の第１実施形態であるＣＭＯＳ固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。なお、このＣＭＯＳ固体撮像装置は、本発明に係る電子機器の一態様でもある。

固体撮像装置１は、入射光量に応じた電気信号を出力するフォトダイオードなどの光電変換素子（電荷生成部の一例）を含む複数個の画素が行および列に配列された（すなわち２次元マトリクス状の）画素部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などのデータ処理部が列並列に設けられているものである。

“列並列にデータ処理部が設けられている”とは、垂直列の垂直信号線１９に対して実質的に並列に複数のＣＤＳ処理機能部やデジタル変換部が設けられていることを意味する。たとえば、列並列にＣＤＳ処理機能部やデジタル変換部が設けられている典型例としては、撮像部の出力側に設けたカラム領域と呼ばれる部分に、ＣＤＳ処理機能部やデジタル変換部を垂直列ごとに設け、順次出力側に読み出すカラム型のものである。また、カラム型に限らず、隣接する複数（たとえば２つ分）の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態や、Ｎ本おき（Ｎは正の整数；間にＮ−１本を配する）のＮ本分の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態などを採ることもできる。

カラム型を除くものは、何れの形態も、複数の垂直信号線１９（垂直列）が１つのＣＤＳ処理機能部やデジタル変換部を共通に使用する構成となるので、画素部１０側から供給される複数列分の画素信号を１つのＣＤＳ処理機能部やデジタル変換部に供給する切替回路（スイッチ）を設ける。なお、後段の処理によっては、出力信号を保持するメモリを設けるなどの対処が必要になる。

何れにしても、複数の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態などを採ることで、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。

また、列並列に配された複数の信号処理部にて１行分の画素信号を同時並行処理することができるので、出力回路側やデバイスの外部で１つのＣＤＳ処理機能部やデジタル変換部にて処理を行なう場合に比べて、信号処理部を低速で動作させることができ、消費電力や帯域性能やノイズなどの面で有利である。逆に言えば、消費電力や帯域性能などを同じにする場合、センサ全体の高速動作が可能となる。

なお、カラム型の構成の場合、低速で動作させることができ消費電力や帯域性能やノイズなどの面で有利であるとともに切替回路（スイッチ）が不要である利点もある。以下の実施形態では、特に断りのない限り、このカラム型で説明する。

図１に示すように第１実施形態の固体撮像装置１は、画素形状が概ね正方状の複数の単位画素３が行および列に（つまり正方格子状に）配列された画素部（撮像部）１０と、画素部１０の外側に設けられた駆動制御部７と、カラム処理部２６と、カラム処理部２６にＡＤ変換用の参照電圧を供給する参照信号生成部２７と、出力回路２８とを備えている。

画素部１０における各電荷生成部（フォトダイオードなど）の電磁波（本例では光）が入射される受光面には、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられている。図示した例は、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いており、正方格子状に配された単位画素３が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタ（原色フィルタ）に対応するように配されて画素部１０を構成している。なお、モノクロ画像対応とする場合には、色分解フィルタがないものとして考えればよい。

なお、カラム処理部２６の前段または後段には、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路などをカラム処理部２６と同一の半導体領域に設けることも可能である。カラム処理部２６の前段でＡＧＣを行なう場合にはアナログ増幅、カラム処理部２６の後段でＡＧＣを行なう場合にはデジタル増幅となる。ｎビットのデジタルデータを単純に増幅してしまうと、階調が損なわれてしまう可能性があるため、どちらかというとアナログにて増幅した後にデジタル変換するのが好ましいと考えられる。

また本実施形態特有の構成として、水平走査回路１２、カラム処理部２６、および参照信号生成部２７が、それぞれ２つのブロックに分けて設けられている。たとえば、これらの各機能部は、デバイスを平面視したときに、画素部１０に対して列方向の一方の端縁側（図の下側に配されている出力側）とその反対側である他方の端縁側（図の上側）に分けて配した形態としている。

図の上側に配された通常データ処理部１１Ａは、積和演算処理にて使用する複数の処理対象信号のうちの何れか１つに基づいて通常のビデオデータを生成して出力するためのブロックである。一方、図の下側に配された演算データ処理部１１Ｂは、複数の処理対象の画素信号に基づき積和演算結果のデジタルデータを生成し出力するブロックである。各データ処理部１１Ａ，１１Ｂに属する各機能部は、それぞれ独立に動作可能になっている。

以下の説明において、ブロック（データ処理部）別に説明する場合には、それぞれのブロックに属する水平走査回路１２、カラム処理部２６、および参照信号生成部２７に対して、ブロックの参照子Ａ，Ｂを付して説明する。また、共通に説明する場合には、参照子を付さずに説明する。

駆動制御部７は、画素部１０の信号を順次読み出すための制御回路機能を備えている。たとえば、駆動制御部７としては、列アドレスや列走査を制御する水平走査回路（列走査回路）１２と、行アドレスや行走査を制御する垂直走査回路（行走査回路）１４と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部２０とを備えている。

なお、図示を割愛するが、高速クロック生成部の一例であって、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成するクロック変換部を設けるようにしてもよい。通信・タイミング制御部２０は、端子５ａを介して入力される入力ロック（マスタークロック）CLK0やクロック変換部で生成された高速クロックに基づいて内部クロックを生成する。

クロック変換部で生成された高速クロックを源とする信号を用いることで、ＡＤ変換処理などを高速に動作させることができるようになる。また、高速クロックを用いて、高速の計算を必要とする動き抽出や圧縮処理を行なうことができる。また、カラム処理部２６から出力されるパラレルデータをシリアルデータ化してデバイス外部に映像データＤ１を出力することもできる。こうすることで、ＡＤ変換されたデジタルデータのビット分よりも少ない端子で高速動作出力する構成を採ることができる。

図示を割愛したクロック変換部は、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成する逓倍回路を内蔵している。このクロック変換部は、通信・タイミング制御部２０から低速クロックCLK2を受け取り、それを元にして２倍以上高い周波数のクロックを生成する。クロック変換部の逓倍回路としては、ｋ１を低速クロックCLK2の周波数の倍数としたときｋ１逓倍回路を設ければよく、周知の様々な回路を利用することができる。

図１では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の単位画素３が画素部１０に配置される。この単位画素３は、典型的には、受光素子（電荷生成部）としてのフォトダイオードと、増幅用の半導体素子（たとえばトランジスタ）を有する画素内アンプとから構成される。

画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、フォトダイオードなどの光電変換素子を持つ電荷生成部に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、ＣＭＯＳセンサとして汎用的な４つのトランジスタからなる構成のものを使用することができる。

あるいは、特許第２７０８４５５号公報に記載のように、電荷生成部により生成された信号電荷に対応する信号電圧を増幅するための、ドレイン線（ＤＲＮ）に接続された増幅用トランジスタと、電荷生成部をリセットするためのリセットトランジスタと、垂直シフトレジスタより転送配線（ＴＲＦ）を介して走査される読出選択用トランジスタ（転送ゲート部）を有する、３つのトランジスタからなる構成のものを使用することもできる。

また、駆動制御部７の他の構成要素として、水平走査回路１２、垂直走査回路１４、および通信・タイミング制御部２０が設けられている。水平走査回路１２は、カラム処理部２６からカウント値を読み出す読出走査部の機能を持つ。これらの駆動制御部７の各要素は、画素部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。

単位画素３は、行選択のための行制御線１５を介して垂直走査回路１４と、また垂直信号線１９を介してカラムＡＤ回路２５が垂直列ごとに設けられているカラム処理部２６と、それぞれ接続されている。ここで、行制御線１５は垂直走査回路１４から画素に入る配線全般を示す。

なお、本実施形態において、演算データ処理部１１Ｂに配されたカラムＡＤ回路２５Ｂは、それそのもので、複数の処理対象信号の積和演算結果のデジタルデータを取得するデータ処理装置の機能を有する。

水平走査回路１２や垂直走査回路１４は、後述のようにデコーダを含んで構成され、通信・タイミング制御部２０から与えられる制御信号ＣＮ１，ＣＮ２に応答して、処理対象の画素信号の読出しを開始するようになっている。このため、行制御線１５には、単位画素３を駆動するための種々のパルス信号（たとえば、リセットパルスＲＳＴ、転送パルスＴＲＦ、ＤＲＮ制御パルスＤＲＮなど）が含まれる。

本実施形態において、通信・タイミング制御部２０と、演算データ処理部１１Ｂに配された垂直走査回路１４Ｂとで、積和演算処理対象の複数の単位画素３のそれぞれの位置を指定して、この単位画素３から複数の画素信号のそれぞれをカラム処理部２６Ｂに入力させる単位信号選択制御部が構成される。

通信・タイミング制御部２０は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、端子５ａを介してマスタークロックCLK0を受け取り、また端子５ｂを介して動作モードなどを指令するデータＤＡＴＡを受け取り、さらに固体撮像装置１の情報を含むデータを出力する通信インタフェースの機能ブロックとを備える。たとえば、水平アドレス信号を水平デコーダへ、また垂直アドレス信号を垂直デコーダへ出力し、各デコーダは、それを受けて対応する行もしくは列を選択する。

この際、単位画素３を２次元マトリックス状に配置してあるので、画素信号生成部５により生成され垂直信号線１９を介して列方向に出力されるアナログの画素信号を行単位で（列並列で）アクセスし取り込む（垂直）スキャン読みを行ない、この後に、垂直列の並び方向である行方向にアクセスし画素信号（本例ではデジタル化された画素データ）を出力側へ読み出す（水平）スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。もちろん、スキャン読みに限らず、読み出したい単位画素３を直接にアドレス指定することで、必要な単位画素３の情報のみを読み出すランダムアクセスも可能である。

また、第１実施形態の通信・タイミング制御部２０では、端子５ａを介して入力されるマスタークロック（マスタークロック）CLK0と同じ周波数のクロックCLK1や、それを２分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査回路１２、垂直走査回路１４、カラム処理部２６などに供給する。以下、２分周したクロックやそれ以下の周波数のクロック全般を纏めて、低速クロックCLK2という。

垂直走査回路１４は、画素部１０の行を選択し、その行に必要なパルスを供給するものである。たとえば、図示を割愛するが、垂直方向の読出行を規定する（画素部１０の行を選択する）垂直デコーダと、垂直デコーダにて規定された読出アドレス上（行方向）の単位画素３に対する行制御線１５にパルスを供給して駆動する垂直駆動回路とを有する。なお、垂直デコーダは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。

水平走査回路１２は、低速クロックCLK2に同期してカラム処理部２６のカラムＡＤ回路２５を順番に選択し、その信号を水平信号線（水平出力線）１８に導くものである。たとえば、図示を割愛するが、水平方向の読出列を規定する（カラム処理部２６内の個々のカラムＡＤ回路２５を選択する）水平デコーダと、水平デコーダにて規定された読出アドレスに従って、カラム処理部２６の各信号を水平信号線１８に導く水平駆動回路とを有する。なお、水平信号線１８は、たとえばカラムＡＤ回路２５が取り扱うビット数ｎ（ｎは正の整数）分、たとえば１０（＝ｎ）ビットならば、そのビット数分に対応して１０本配置される。

このような構成の固体撮像装置１において、単位画素３から出力された画素信号は、垂直列ごとに、垂直信号線１９を介して、通常データ処理部１１Ａおよび演算データ処理部１１Ｂの各カラム処理部２６のカラムＡＤ回路２５に供給される。

なお、カラム処理部２６と水平走査回路１２との間の信号経路上には、各垂直信号線１９に対してドレイン端子が接続された図示しない負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。

単位画素３を構成する増幅用トランジスタは各垂直信号線１９に接続されており、また垂直信号線１９は垂直列ごとに負荷ＭＯＳトランジスタのドレインに接続され、また各負荷ＭＯＳトランジスタのゲート端子には、負荷制御部からの負荷制御信号ＣＴldが共通に入力されており、信号読出し時には、各増幅用トランジスタに接続された負荷ＭＯＳトランジスタによって、予め決められた定電流を流し続けるようになっている。

通常データ処理部１１Ａに属するカラム処理部２６Ａの各カラムＡＤ回路２５Ａは、１列分の画素の信号を順次受けて、その信号を処理する。たとえば、各カラムＡＤ回路２５Ａは、アナログ信号を、たとえば低速クロックCLK2を用いて、たとえば１０ビットのデジタルデータに変換するＡＤＣ(Analog Digital Converter)回路を持つ。

また、演算データ処理部１１Ｂに属するカラム処理部２６Ｂの各カラムＡＤ回路２５Ｂは、通信・タイミング制御部２０と垂直走査回路１４Ｂとの協働動作で機能する単位信号選択制御部で指定された画素位置の複数の積和演算処理対象の画素信号（同一垂直列方向のみのものとは限らない）を順次受けて、その複数の画素信号に基づき積和演算するとともにデジタルデータに変換する。たとえば、各カラムＡＤ回路２５Ｂは、アナログ信号を、たとえば低速クロックCLK2を用いて、たとえば１０ビットのデジタルデータに変換しつつ積和演算を行なう演算機能付きのＡＤＣ(Analog Digital Converter)回路を持つ。

ＡＤＣ回路の構成については、詳細は後述するが、コンパレータ（電圧比較器）にランプ状の参照信号（参照電圧）RAMPを供給すると同時にクロック信号でのカウント（計数）を開始し、垂直信号線１９を介して入力されたアナログの画素信号を参照信号RAMPと比較することによってパルス信号が得られるまでカウントすることでＡＤ変換を行なう。

また、この際、回路構成を工夫することで、ＡＤ変換とともに、垂直信号線１９を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光光量に応じた）信号レベルＶsig との差分をとる処理を行なうことができる。これにより、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除くことができる。

このカラムＡＤ回路２５でデジタル化された画素データは、水平走査回路１２からの水平選択信号により駆動される図示しない水平選択スイッチを介して水平信号線１８に伝達され、さらに出力回路２８に入力される。なお、１０ビットは一例であって、１０ビット未満（たとえば８ビット）や１０ビットを超えるビット数（たとえば１４ビット）など、その他のビット数としてもよい。

このような構成によって、電荷生成部としての受光素子（フォトダイオードなどの光電変換素子）が行列状に配された画素部１０からは、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子が行列状に配された画素部１０に対応する１枚分の画像すなわちフレーム画像が、画素部１０全体の画素信号の集合で示されることとなる。

＜カラムＡＤ回路と参照信号生成部の詳細＞
参照信号生成部２７は、ＤＡ変換回路（ＤＡＣ；Digital Analog Converter）２７ａを有して構成されており、通信・タイミング制御部２０からの制御データＣＮ４で示される初期値から、通信・タイミング制御部２０からのカウントクロックＣＫdac に同期して、階段状の鋸歯状波（ランプ波形）を生成して、カラム処理部２６の個々のカラムＡＤ回路２５に、この生成した鋸歯状波をＡＤ変換用の参照信号（ＡＤＣ基準信号）RAMPとして供給するようになっている。なお、図示を割愛しているが、ノイズ防止用のフィルタを設けるとよい。

なお、この階段状の鋸歯状波は、クロック変換部２３からの高速クロック、たとえば逓倍回路で生成される逓倍クロックを元に生成することで、端子５ａを介して入力されるマスタークロックCLK0に基づき生成するよりも高速に変化させることができる。

通信・タイミング制御部２０から参照信号生成部２７のＤＡ変換回路２７ａに供給する制御データＣＮ４は、比較処理ごとのランプ電圧の傾き（変化の度合い；時間変化量）を指示する情報も含んでいる。具体的には、１カウント当たりの電圧変化分を設定し、単位時間（カウントクロックＣＫdac ）ごとに１ずつカウント値を変化させるのがよい。

たとえば、ＤＡ変換回路２７ａは、制御データＣＮ４に含まれている初期値を示す電圧（たとえば３．０Ｖ）から、カウントクロックＣＫdac ごとにΔRAMPずつ電圧を低下させる。なお、カウントクロックＣＫdac の周期を調整することで傾きを変えることができる。たとえば、基準に対して１／ｍ分周したクロックを使うと傾きが１／ｍとなる。カウンタ部２５４でのカウントクロックＣＫ０を同一とすれば、カウンタ部２５４にては、同じ画素電圧に対して、カウント値がｍ倍となる、すなわち係数としてｍを設定できる。つまり、参照信号RAMPの傾きを変えることで、後述する積和演算処理時の係数を調整することができる。

あるいは、参照信号生成部２７に与えるカウントクロックＣＫdac の周期を一定にしつつ、カウンタ出力値をｘ、制御データＣＮ４に含まれているランプ電圧の傾き（変化率）βとするとｙ＝α（初期値）−β＊ｘによって算出される電位を出力するなど、制御データＣＮ４に含まれているランプ電圧の傾き（変化率）を指示する情報により、１つのカウントクロックＣＫdac ごとの電圧変化分ΔRAMP（＝β）を調整するなど、任意の回路を用いることができる。

なお、同一の処理対象の画素信号についての基準信号レベルと真の信号成分レベルとの差を求める信号取得差分処理時には、それぞれの比較処理のランプ電圧の傾き（変化率）の絶対値の大きさを同じに設定するのがよい。

一方、信号取得差分処理で求められる複数の処理対象信号（本例では画素信号）について空間差分処理や時間差分処理を行なう場合には、処理対象信号についてのランプ電圧の傾き（変化率）の絶対値の大きさを同じに設定してもよいし、そのランプ電圧の傾き（変化率）の絶対値の大きさを異なるものとしてもよい。

傾き（変化率）の絶対値の大きさを異なるものに設定することで、各単位画素３からの画素信号（詳しくは真の信号成分）に係数を掛けた後に符号も含んだ総和を求める機能、つまり積和演算を実現することができる。この際、３以上の画素信号についての空間差分処理や時間差分処理を行なう場合には、傾き（変化率）の絶対値の大きさを同じにする画素数と異なるものにする画素数との組合せは任意である。

傾き（変化率）の絶対値の大きさを異なるものに設定するための構成としては、図示を割愛するが、たとえば、通信・タイミング制御部２０から参照信号生成部２７に供給する参照信号RAMP（ＡＤＣ基準信号）生成用のカウントクロックを、カウンタ部２５４が使用するカウントクロックＣＫ０とは独立に、ＤＡＣ用のカウントクロックＣＫdac として供給し、カウントクロックＣＫdac の周期（周波数）を行ごとに調整することで、行ごとに異なる参照信号RAMPを電圧比較部２５２に供給するようにすればよい。あるいは、参照信号生成部２７に与えるカウントクロックＣＫdac の周期を一定にしつつ、制御データＣＮ４に含まれているランプ電圧の傾き（変化率）を指示する情報により、１つのカウントクロックＣＫdac ごとの電圧変化分ΔRAMPを調整するなど、任意の回路を用いることができる。

カラムＡＤ回路２５は、参照信号生成部２７のＤＡ変換回路２７ａで生成される参照信号RAMPと、行制御線１５（Ｈ０，Ｈ１，…）ごとに単位画素３から垂直信号線１９（Ｖ０，Ｖ１，…）を経由し得られるアナログの画素信号とを比較する電圧比較部（コンパレータ）２５２と、電圧比較部２５２が比較処理を完了するまでの時間をカウントし、その結果を保持するカウンタ部２５４とを備えて構成されｎビットＡＤ変換機能を有している。

通信・タイミング制御部２０は、電圧比較部２５２が画素信号のリセット成分ΔＶと信号成分Ｖsig の何れについて比較処理を行なっているのかに応じてカウンタ部２５４におけるカウント処理のモードを制御する制御部の機能を持つ。この通信・タイミング制御部２０から各カラムＡＤ回路２５のカウンタ部２５４には、カウンタ部２５４がダウンカウントモードで動作するのかアップカウントモードで動作するのかを指示するためのモード制御信号ＣＮ５と、カウンタ部２５４が保持しているカウント値を初期値にリセットするリセット制御信号ＣＮ６とが入力されている。

電圧比較部２５２の一方の入力端子RAMPは、他の電圧比較部２５２の入力端子RAMPと共通に、参照信号生成部２７で生成される階段状の参照信号RAMPが入力され、他方の入力端子には、それぞれ対応する垂直列の垂直信号線１９が接続され、画素部１０からの画素信号電圧が個々に入力される。電圧比較部２５２の出力信号はカウンタ部２５４に供給される。

カウンタ部２５４のクロック端子ＣＫには、他のカウンタ部２５４のクロック端子ＣＫと共通に、通信・タイミング制御部２０からカウントクロックＣＫ０が入力されている。

このカウンタ部２５４は、その構成については図示を割愛するが、ラッチで構成されたデータ記憶部２５５の配線形態を同期カウンタ形式に変更することで実現でき、１本のカウントクロックＣＫ０の入力で、内部カウントを行なうようになっている。カウントクロックＣＫ０も、階段状の電圧波形と同様に、クロック変換部２３からの高速クロック（たとえば逓倍クロック）を元に生成することで、端子５ａを介して入力されるマスタークロックCLK0より高速にすることができる。

ｎ個のラッチの組合せでｎビットのカウンタ部２５４を実現でき、非特許文献１などのように２系統のｎ個のラッチで構成されたデータ記憶部２５５の回路規模に対して半分になる。加えて、カウンタ部２４が不要になるから、全体としては、非特許文献１に示される構成よりも大幅にコンパクトになる。

ここで、第１実施形態のカウンタ部２５４は、詳細は後述するが、カウントモードに拘わらず共通のアップダウンカウンタ（Ｕ／Ｄ ＣＮＴ）を用いて、同一の処理対象の画素信号あるいは物理的な性質が同一の複数の画素信号に対してダウンカウント動作とアップカウント動作とを切り替えてカウント処理を行なうことが可能に構成されている点に特徴を有する。

なお、カウンタ部２５４は、カウントのオーバーフローを検知する構成や正負の符号（＋／−）を処理する構成にする。たとえば、オーバーフロー用余剰ビットを付加したり、桁上げ（キャリー）、または桁借り（ボロー）のビットを用いたりするなど、公知の技術を用いることで、オーバーフローや符号に対する対処は容易に実現可能である。

ここで、単位画素３から出力される画素信号は、通常、真の有効な信号成分だけでなく、リセット成分を含んでいる。時系列的には先ずリセット成分（基準成分）が現われた後に、リセット成分に重畳された真の有効な信号成分が現われる。リセット成分レベルとリセット成分に重畳された真の有効な信号成分との差が真の有効な信号成分となる。

このため、画素信号についての真の有効な信号成分Ｖsig のデジタルデータを得る際には、同一の画素信号Ｖｘについて、基準成分（リセット成分ΔＶ）と真の信号成分に対してカウント処理してＡＤ変換を行なう際に、基準成分と真の信号成分の内の一方（通常はリセット成分）について取得したデジタルデータを他方（通常は信号成分）のカウント処理の初期値とする。こうすることで、他方（通常は信号成分）のカウント処理にてＡＤ変換をした後には、自動的に双方の差分結果のデジタルデータを取得する、すなわち、基準成分と信号成分とを含んで表されるアナログの処理対象信号の基準成分と信号成分との差信号成分をデジタルデータに変換することができる。これらの演算処理モードの切替えは、水平走査回路１２や垂直走査回路１４の走査パターンを通信・タイミング制御部２０による制御の元で調整することで実現できる。

加えて、演算データ処理部１１Ｂに属するカラムＡＤ回路２５Ｂにおいては、物理的な性質が同一の相異なる複数の（たとえば画素位置が異なる、あるいは同一画素位置の撮像時刻の異なる）処理対象の画素信号に対して、カウントモードの組合せを同一にしてカウント動作を繰り返し行なうことで、複数の画素信号間での加算演算を実現することや、カウントモードの組合せを切り替えて（具体的には組合せを逆にする）カウント動作を繰り返し行なうことで、複数の画素信号間での差分（減算）演算を実現することが可能に構成されている点に特徴を有する。これらの演算処理モードの切替えは、水平走査回路１２Ｂや垂直走査回路１４Ｂの走査パターンを通信・タイミング制御部２０による制御の元で調整することで実現できる。

たとえば、カウンタ部２５４Ｂは、複数の単位画素３の画素信号についてそれぞれカウント処理してＡＤ変換を行なう際に、各画素信号の内の一方について取得したデジタルデータを他方の画素信号（後のカウント処理の対象信号）のカウント処理の初期値とすることで、複数の単位画素３のうちの他方についてカウント処理にてＡＤ変換をした後には、自動的に双方の積和演算結果のデジタルデータを取得する。

ここで、それぞれについてのカウントモードを同じにすれば、後のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号（詳しくは真の信号成分）についての加算結果のデジタルデータを取得することができる。これに対して、それぞれについてのカウントモードを異なるモード（逆のモード）にすれば、後のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号についての減算結果のデジタルデータを取得することができる。３画素以上を処理対象とする場合、これらを組み合わせることも可能であり、各単位画素３からの画素信号（詳しくは真の信号成分）について、符号も含んだ総和を求める機能、つまり積和演算を実現することができる。

また、第１実施形態のカウンタ部２５４は、カウント出力値がカウントクロックＣＫ０に同期して出力される同期カウンタを使用する。なお、同期カウンタの場合、すべてのフリップフロップ（カウンタ基本要素）の動作がカウントクロックＣＫ０で制限される。よって、より高周波数動作が要求される場合には、カウンタ部２５４としては、その動作制限周波数が最初のフリップフロップ（カウンタ基本要素）の制限周波数でのみ決められるため高速動作に適する非同期カウンタの使用がより好ましい。

カウンタ部２５４には、水平走査回路１２から制御線１２ｃを介して制御パルスが入力される。カウンタ部２５４は、カウント結果を保持するラッチ機能を有しており、制御線１２ｃを介しての制御パルスによる指示があるまでは、カウンタ出力値を保持する。

このような構成のカラムＡＤ回路２５は、先にも述べたように、垂直信号線１９（Ｖ０，Ｖ１，…）ごとに配置され、列並列構成のＡＤＣブロックであるカラム処理部２６が構成される。

個々のカラムＡＤ回路２５の出力側は、水平信号線１８に接続されている。先にも述べたように、水平信号線１８は、カラムＡＤ回路２５のビット幅であるｎビット幅分の信号線を有し、図示しないそれぞれの出力線に対応したｎ個のセンス回路を経由して出力回路２８に接続される。

このような構成において、カラムＡＤ回路２５は、画素信号読出期間において、カウント動作を行ない、所定のタイミングでカウント結果を出力する。すなわち、先ず、電圧比較部２５２では、参照信号生成部２７からのランプ波形電圧と、垂直信号線１９を介して入力される画素信号電圧とを比較し、双方の電圧が同じになると、電圧比較部２５２のコンパレータ出力が反転（本例ではＨレベルからＬレベルへ遷移）する。

カウンタ部２５４は、参照信号生成部２７から発せられるランプ波形電圧に同期してダウンカウントモードもしくはアップカウントモードでカウント動作を開始しており、コンパレータ出力の反転した情報がカウンタ部２５４に通知されると、カウント動作を停止し、その時点のカウント値を画素データとしてラッチ（保持・記憶）することでＡＤ変換を完了する。

この後、カウンタ部２５４は、所定のタイミングで水平走査回路１２から制御線１２ｃを介して入力される水平選択信号ＣＨ（ｉ）によるシフト動作に基づいて、記憶・保持した画素データを、順次、カラム処理部２６外や画素部１０を有するチップ外へ出力端子５ｃから出力する。つまり、通信・タイミング制御部２０と水平走査回路１２とで、カラムＡＤ回路２５のカウンタ部２５４で保持されたカウント値を演算済みデータとして所定のタイミングで読み出す読出制御部が構成される。

なお、本実施形態の説明としては直接関連しないため特に図示しないが、その他の各種信号処理回路なども、固体撮像装置１の構成要素に含まれる場合がある。

＜第１実施形態；信号取得差分処理の動作＞
図２は、図１に示した第１実施形態の固体撮像装置１のカラムＡＤ回路２５における基本動作である信号取得差分処理を説明するためのタイミングチャートである。

画素部１０の各単位画素３で感知されたアナログの画素信号をデジタル信号に変換する仕組みとしては、たとえば、所定の傾きで下降するランプ波形状の参照信号RAMPと単位画素３からの画素信号における基準成分や信号成分の各電圧とが一致する点を探し、この比較処理で用いる参照信号RAMPの生成時点から、画素信号における基準成分や信号成分に応じた電気信号と参照信号とが一致した時点までをカウントクロックでカウント（計数）することで、基準成分や信号成分の各大きさに対応したカウント値を得る手法を採る。

ここで、垂直信号線１９から出力される画素信号は、時間系列として、基準成分としての画素信号の雑音を含むリセット成分ΔＶの後に信号成分Ｖsig が現れるものである。１回目の処理を基準成分（リセット成分ΔＶ）について行なう場合、２回目の処理は基準成分（リセット成分ΔＶ）に信号成分Ｖsig を加えた信号についての処理となる。以下具体的に説明する。

１回目の読出しのため、先ず通信・タイミング制御部２０は、モード制御信号ＣＮ５をローレベルにしてカウンタ部２５４をダウンカウントモードに設定するとともに、リセット制御信号ＣＮ６を所定期間アクティブ（本例ではハイレベル）にしてカウンタ部２５４のカウント値を初期値“０”にリセットさせる（ｔ９）。そして、任意の行Ｈｘの単位画素３から垂直信号線１９（Ｖ０，Ｖ１，…）への１回目の読出しが安定した後、通信・タイミング制御部２０は、参照信号生成部２７に向けて、参照信号RAMP生成用の制御データＣＮ４を供給する。

これを受けて、参照信号生成部２７は、電圧比較部２５２の一方の入力端子RAMPへの比較電圧として、全体として鋸歯状（RAMP状）に時間変化させた階段状の波形（RAMP波形）を入力する。電圧比較部２５２は、このRAMP波形の比較電圧と画素部１０から供給される任意の垂直信号線１９（Ｖｘ）の画素信号電圧とを比較する。

電圧比較部２５２の入力端子RAMPへの参照信号RAMPの入力と同時に、電圧比較部２５２における比較時間を、行ごとに配置されたカウンタ部２５４で計測するために、参照信号生成部２７から発せられるランプ波形電圧に同期して（ｔ１０）、カウンタ部２５４のクロック端子に通信・タイミング制御部２０からカウントクロックＣＫ０を入力し、１回目のカウント動作として、初期値“０”からダウンカウントを開始する。すなわち、負の方向にカウント処理を開始する。

電圧比較部２５２は、参照信号生成部２７からのランプ状の参照信号RAMPと垂直信号線１９を介して入力される画素信号電圧Ｖｘとを比較し、双方の電圧が同じになったときに、コンパレータ出力をＨレベルからＬレベルへ反転させる（ｔ１２）。つまり、リセット成分Ｖrst に応じた電圧信号と参照信号RAMPとを比較して、リセット成分Ｖrst の大きさに対応した時間経過後にアクティブロー（Ｌ）のパルス信号を生成して、カウンタ部２５４に供給する。

この結果を受けて、カウンタ部２５４は、コンパレータ出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値を画素データとしてラッチ（保持・記憶）することでＡＤ変換を完了する（ｔ１２）。つまり、電圧比較部２５２に供給するランプ状の参照信号RAMPの生成とともにダウンカウントを開始し、比較処理によってアクティブロー（Ｌ）のパルス信号が得られるまでクロックＣＫ０でカウント（計数）することで、リセット成分Ｖrst の大きさに対応したカウント値を得る。

通信・タイミング制御部２０は、所定のダウンカウント期間を経過すると（ｔ１４）、電圧比較部２５２への制御データの供給と、カウンタ部２５４へのカウントクロックＣＫ０の供給とを停止する。これにより、電圧比較部２５２は、ランプ状の参照信号RAMPの生成を停止する。

この１回目の読出し時は、画素信号電圧ＶｘにおけるリセットレベルＶrst を電圧比較部２５２で検知してカウント動作を行なっているので、単位画素３のリセット成分ΔＶを読み出していることになる。

このリセット成分ΔＶ内には、単位画素３ごとにばらつく雑音がオフセットとして含まれている。しかし、このリセット成分ΔＶのばらつきは一般に小さく、またリセットレベルＶrst は概ね全画素共通であるので、任意の垂直信号線１９の画素信号電圧Ｖｘにおけるリセット成分ΔＶの出力値はおおよそ既知である。

したがって、１回目のリセット成分ΔＶの読出し時には、RAMP電圧を調整することにより、ダウンカウント期間（ｔ１０〜ｔ１４；比較期間）を短くすることが可能である。本実施形態では、リセット成分ΔＶについての比較処理の最長期間を、７ビット分のカウント期間（１２８クロック）にして、リセット成分ΔＶの比較を行なっている。

続いての２回目の読出し時には、リセット成分ΔＶに加えて、単位画素３ごとの入射光量に応じた電気信号成分Ｖsig を読み出し、１回目の読出しと同様の動作を行なう。すなわち、先ず通信・タイミング制御部２０は、モード制御信号ＣＮ５をハイレベルにしてカウンタ部２５４をアップカウントモードに設定する（ｔ１８）。そして、任意の行Ｈｘの単位画素３から垂直信号線１９（Ｖ０，Ｖ１，…）への２回目の読出しが安定した後、通信・タイミング制御部２０は、参照信号生成部２７に向けて、参照信号RAMP生成用の制御データＣＮ４を供給する。

これを受けて、参照信号生成部２７は、電圧比較部２５２の一方の入力端子RAMPへの比較電圧として、全体として鋸歯状（RAMP状）に時間変化させた階段状の波形（RAMP波形）を入力する（ｔ２０）。電圧比較部２５２は、このRAMP波形の比較電圧と画素部１０から供給される任意の垂直信号線１９（Ｖｘ）の画素信号電圧とを比較する。

電圧比較部２５２の入力端子RAMPへの参照信号RAMPの入力と同時に、電圧比較部２５２における比較時間を、行ごとに配置されたカウンタ部２５４で計測するために、参照信号生成部２７から発せられるランプ波形電圧に同期して（ｔ２０）、カウンタ部２５４のクロック端子に通信・タイミング制御部２０からカウントクロックＣＫ０を入力し、２回目のカウント動作として、１回目の読出し時に取得された単位画素３のリセット成分ΔＶに対応するカウント値から、１回目とは逆にアップカウントを開始する。すなわち、正の方向にカウント処理を開始する。

電圧比較部２５２は、参照信号生成部２７からのランプ状の参照信号RAMPと垂直信号線１９を介して入力される画素信号電圧Ｖｘとを比較し、双方の電圧が同じになったときに、コンパレータ出力をＨレベルからＬレベルへ反転させる（ｔ２２）。つまり、信号成分Ｖsig に応じた電圧信号と参照信号RAMPとを比較して、信号成分Ｖsig の大きさに対応した時間経過後にアクティブロー（Ｌ）のパルス信号を生成して、カウンタ部２５４に供給する。

この結果を受けて、カウンタ部２５４は、コンパレータ出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値を画素データとしてラッチ（保持・記憶）することでＡＤ変換を完了する（ｔ２２）。つまり、電圧比較部２５２に供給するランプ状の参照信号RAMPの生成とともにダウンカウントを開始し、比較処理によってアクティブロー（Ｌ）のパルス信号が得られるまでクロックＣＫ０でカウント（計数）することで、信号成分Ｖsig の大きさに対応したカウント値を得る。

通信・タイミング制御部２０は、所定のダウンカウント期間を経過すると（ｔ２４）、電圧比較部２５２への制御データの供給と、カウンタ部２５４へのカウントクロックＣＫ０の供給とを停止する。これにより、電圧比較部２５２は、ランプ状の参照信号RAMPの生成を停止する。

この２回目の読出し時は、画素信号電圧Ｖｘにおける信号成分Ｖsig を電圧比較部２５２で検知してカウント動作を行なっているので、単位画素３の信号成分Ｖsig を読み出していることになる。

ここで、本実施形態においては、カウンタ部２５４におけるカウント動作を、１回目の読出し時にはダウンカウント、２回目の読出し時にはアップカウントとしているので、カウンタ部２５４内で自動的に、式（１）で示す減算が行なわれ、この減算結果に応じたカウント値がｎビットのデジタル値としてカウンタ部２５４に保持される。

ここで、式（１）は、式（２）のように変形でき、結果としては、カウンタ部２５４に保持されるカウント値は信号成分Ｖsig に応じたｎビットのデジタル値となる。

つまり、上述のようにして、１回目の読出し時におけるダウンカウントと２回目の読出し時におけるアップカウントといった、２回の読出しとカウント処理によるカウンタ部２５４内での減算処理によって、単位画素３ごとのばらつきを含んだリセット成分ΔＶとカラムＡＤ回路２５ごとのオフセット成分とを除去することができ、単位画素３ごとの入射光量に応じた電気信号成分Ｖsig のみを簡易な構成で取り出すことができる。この際、リセット雑音も除去できる利点がある。

よって、本実施形態のカラムＡＤ回路２５は、アナログの画素信号をデジタルの画素データに変換するデジタル変換部としてだけでなく、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部としても動作することとなる。

また、式（２）で得られるカウント値が示す画素データは正の信号電圧を示すので、補数演算などが不要となり、既存のシステムとの親和性が高い。

ここで、２回目の読出し時は、入射光量に応じた電気信号成分Ｖsig を読み出すので、光量の大小を広い範囲で判定するため、アップカウント期間（ｔ２０〜ｔ２４；比較期間）を広く取り、電圧比較部２５２に供給するランプ電圧を大きく変化させる必要がある。

そこで本実施形態では、信号成分Ｖsig についての比較処理の最長期間を、１０ビット分のカウント期間（１０２４クロック）にして、信号成分Ｖsig の比較を行なっている。つまり、リセット成分ΔＶ（基準成分）についての比較処理の最長期間を、信号成分Ｖsig についての比較処理の最長期間よりも短くする。リセット成分ΔＶ（基準成分）と信号成分Ｖsig の双方の比較処理の最長期間すなわちＡＤ変換期間の最大値を同じにするのではなく、リセット成分ΔＶ（基準成分）についての比較処理の最長期間を信号成分Ｖsig についての比較処理の最長期間よりも短くすることで、２回に亘るトータルのＡＤ変換期間が短くなるように工夫する。

このとき、２回に亘る総処理時間は、１行期間（１水平処理期間）内に収まるようにする。この調整は、信号の最大幅（ダイナミックレンジ）に割り当てるビット数と１ビットに割り当てるカウントクロックＣＫ０の周期設定で行なうことができる。参照信号生成部２７から発せられる参照信号RAMPは、信号の最大幅（ダイナミックレンジ）をカバーするようにする。

参照信号RAMPの傾きやカウントクロックＣＫ０の周期を一定とした場合、ビット数を調整することで、ＡＤ変換期間を調整することができる。たとえば、ビット数を“ｍ”減らすと、ＡＤ変換期間を１／（２＾ｍ；“＾”はべき乗を示す）にすることができる。また、カウントクロックＣＫ０の周期を一定とし、参照信号RAMPの傾きを１／ｋ倍すれば、信号に対する係数（ゲイン）をｋ倍にすることができる。

なお、基準成分と信号成分の各ＡＤ変換期間を異なるものとする場合、１回目と２回目との比較ビット数が異なるが、通信・タイミング制御部２０から制御データを参照信号生成部２７に供給して、この制御データに基づいて参照信号生成部２７にてランプ電圧を生成するようにすることで、ランプ電圧の傾きすなわち参照信号RAMPの変化率を１回目と２回目とで同じにする。デジタル制御でランプ電圧を生成するので、ランプ電圧の傾きを１回目と２回目とで同じにすることが容易である。これにより、ＡＤ変換の精度を等しくできるため、アップダウンカウンタによる式（１）で示した減算結果が正しく得られる。

２回目のカウント処理が完了した後の所定のタイミングで（ｔ２８）、通信・タイミング制御部２０は水平走査回路１２に対して画素データの読出しを指示する。これを受けて、水平走査回路１２は、制御線１２ｃを介してカウンタ部２５４に供給する水平選択信号ＣＨ（ｉ）を順次シフトさせる。

こうすることで、カウンタ部２５４に記憶・保持した式（２）で示されるカウント値、すなわちｎビットのデジタルデータで表された画素データが、ｎ本の水平信号線１８を介して、順次、カラム処理部２６外や画素部１０を有するチップ外へ出力端子５ｃから出力され、その後、順次行ごとに同様の動作が繰り返されることで、２次元画像を表す映像データＤ１が得られる。

このように、基準成分（リセット成分）と真の信号成分に対してカウント処理してＡＤ変換を行なう際に、同一の処理対象の画素信号に対してダウンカウント動作とアップカウント動作とを切り替えて（具体的には逆のモードで）カウント処理を行なうとともに、基準成分（リセット成分）と真の信号成分の内の何れか一方（前例では基準成分）について取得したデジタルデータ（カウント値）を他方（前例では信号成分）のカウント処理の初期値とすることで、他方（前例では信号成分）のカウント処理にてＡＤ変換を完了した時点で、自動的に双方の差分結果のデジタルデータを取得する、すなわち、基準成分と信号成分とを含んで表されるアナログの画素信号の基準成分と信号成分との差信号成分をデジタルデータに変換することができる。

＜第１実施形態；空間差分処理の動作＞
図３は、図１に示した第１実施形態の固体撮像装置１の演算データ処理部１１ＢにおけるカラムＡＤ回路２５Ｂによる空間差分処理の動作を説明するためのタイミングチャートである。ここでは、画素部１０には、色分解フィルタが設けられておらず、モノクロ画像対応のものであるとして説明する。

空間差分処理は、実質的に同一時刻に取得された１フィールド内の画像において、相異なる画素位置の複数の画素信号間で減算処理を行なう処理である。

なお、“実質的に同一時刻に取得された”と記述したのは、水平行（走査線）ごとに走査する時間だけ蓄積期間がずれるという、ＣＭＯＳセンサ特有の事情によるものである。全ての水平行が同一の蓄積期間となるように、たとえばメカニカルシャッタを併用したり、あるいはＣＭＯＳセンサにグローバル露光の機能を追加したりすることで、完全に同一時刻に取得されたものとすることができる。

空間差分処理の典型例としては、隣接する複数行（３行以上でもよい）の画素信号を処理対象とする垂直列方向の差分処理や、同一行における隣接する複数（３以上でもよい）の画素位置の画素信号を処理対象とする水平行方向の差分処理がある。以下で説明する第１実施形態の空間差分処理動作は、垂直列方向の差分処理である。

なお、“１フィールド周期”は、撮像面上を２次元走査して画像を読み出す期間（具体的には１垂直走査周期）であり、“１フレーム周期”は、撮像面上の全画素で画像を形成するに要する期間である。全ての行を順に垂直方向に走査する順次走査（プログレッシブ走査）を行なう場合は、“１フィールド周期”が“１フレーム周期”になる。これに対して、一方の垂直走査時には行を間引いて順に垂直方向に走査するとともに、他方の垂直走査時には一方の垂直走査時に間引いた行を補完するように垂直方向に走査する飛越し走査（インタレース走査）を行なう場合は、“ｋフィールド”が“１フレーム”になる。“ｋ”は間引きの程度によるもので、通常は、ｋ＝２とする。なお、順次走査であるのか飛越し走査であるのかに拘わらず、撮像面上を２次元走査して画像を読み出す１垂直走査周期を、広義の“１フレーム”ということもある。本願明細書においても、以下の説明におけるフレームは広義のフレームの意味で使用する。

カウンタ部２５４Ｂは、ｎビットのデジタル値を読み出した後も、そのデジタル値をカウンタ部２５４Ｂ内部に保持することができる。空間差分処理時には、カウンタ部２５４Ｂのデータ保持特性を利用して、複数の画素信号についてのデジタル減算処理を行なう。以下具体的に説明する。

図３に示すように、１番目の画素信号Ｖ１について、１回目の読出し時にダウンカウント処理をし、２回目の読出し時にアップカウント処理を行なうことでカウンタ部２５４Ｂ内での減算処理によって、単位画素３の入射光量に応じた電気信号成分Ｖsig1のみを取り出すことができる（ｔ１０〜ｔ２４）。このときのカウンタ部２５４Ｂに保持される式（２）で表されるカウント値は、正の信号電圧Ｖsig1を示すデジタル値である。

２番目の処理対象の画素信号については、１回目の読出し時にアップカウント処理をし２回目の読出し時にダウンカウント処理を行なう、すなわち１番目の処理対象の画素信号についてのＡＤ変換処理時のカウントモードの組合せとは逆の組合せでＡＤ変換処理を行なう（ｔ３０〜ｔ４４）。これにより、カウンタ部２５４Ｂ内で自動的に、式（１）で示す減算が行なわれ、この減算結果に応じたカウント値がカウンタ部２５４Ｂに保持される。

ここで、２番目の処理対象の画素信号Ｖ２についてのＡＤ変換処理時は、１番目の処理対象の画素信号についてのＡＤ変換処理時のカウントモードの組合せとは逆の組合せでＡＤ変換処理を行なうので、カウンタ部２５４Ｂに保持されるカウント値は、式（３）に示すように、信号成分Ｖsig2に応じたものとなるとともに、負の信号電圧（−Ｖsig2）を示すｎビットのデジタル値である。

よって、１番目の処理対象の画素信号Ｖ１についての２回目のカウント処理が完了した後に、２番目の処理対象の画素信号Ｖ２について、１回目のアップカウント処理を開始する際に、カウンタ部２５４Ｂに保持されているカウント値をリセットしないで引き続きカウント処理を行なうと、式（３）に対して式（２）のカウント値が加算される。よって、２番目の処理対象の画素信号Ｖ２についての２回目のカウント処理が完了した後にカウンタ部２５４Ｂに保持されるカウント値は、式（４）に示すように、２つの画素信号Ｖ１，Ｖ２間での差分（減算）演算の結果（Ｖsig1−Ｖsig2）を示すｎビットのデジタル値となる。

なお、図示を割愛するが、図３に示した例とは逆に、１番目の画素信号Ｖ１について、１回目の読出し時にアップカウント処理をし２回目の読出し時にダウンカウント処理を行なう一方で、２番目の処理対象の画素信号Ｖ２について、１回目のカウント処理を開始する際に、カウンタ部２５４Ｂに保持されているカウント値をリセットせずに、１回目の読出し時にダウンカウント処理をし２回目の読出し時にアップカウント処理を行なうようにすれば、２番目の処理対象の画素信号Ｖ２についての２回目のカウント処理が完了した後にカウンタ部２５４Ｂに保持されるカウント値は、２つの画素信号Ｖ１，Ｖ２間での差分（減算）演算の結果（Ｖsig2−Ｖsig1）となり、多値データ（本例ではｎビット）で出力されることとなる。

このように、Ｈｙ行のＡＤ変換処理が完了した後にカウンタ部２５４Ｂをリセットしないで、リセット成分ΔＶと信号成分Ｖsig とについて、Ｈｙ行のＡＤ変換処理時のカウントモードの組合せと逆の組合せでＨｙ＋１行のＡＤ変換処理を行なうようにすることで、カラムＡＤ回路２５Ｂのカウンタ部２５４Ｂには、同一垂直列におけるＨｙ行とＨｙ＋１行の減算結果が保持されることになり、２行についての差分処理が実現できる。

２番目の画素信号Ｖ１について、２回目のカウント処理が完了した後の所定のタイミングで（ｔ４８）、通信・タイミング制御部２０は水平走査回路１２Ｂに対して画素データの読出しを指示する。これを受けて、水平走査回路１２Ｂは、制御線１２Ｂｃを介してカウンタ部２５４Ｂに供給する水平選択信号ＣＨ（ｉ）を順次シフトさせる。

こうすることで、カウンタ部２５４Ｂに記憶・保持した式（４）で示されるカウント値、すなわち２つの画素信号Ｖ１，Ｖ２間での差分（減算）演算の結果（Ｖsig2−Ｖsig1）を示すｎビットのデジタルデータが、ｎ本の水平信号線１８Ｂを介して、順次、カラム処理部２６Ｂ外や画素部１０を有するチップ外へ出力端子５Ｂｃから出力され、その後、順次２行ごとに同様の動作が繰り返されることで、隣接する２行の２つの画素信号間での差分（減算）演算の結果を示す２次元の差分画像を表す演算データＤ２が得られる。この差分演算結果の画像は、垂直方向（センサ面縦方向）には、解像度を１／２にした画像となり、画像データ量が１／２に圧縮されることとなる。

このように、第１実施形態の固体撮像装置１によれば、同一の単位画素３の画素信号における基準成分（リセット成分）と信号成分に対して、カウントモードの組合せを逆にしてカウント動作を繰り返し行なうことで、画素信号の基準成分と信号成分との差信号成分をデジタルデータに変換することができるとともに、相異なる複数（前例では隣接する２行分）の単位画素３の画素信号に対して、カウントモードの組合せを逆にしてカウント動作を繰り返し行なうことで、複数の画素信号間での差分（減算）演算を実現することもできる。

カウンタ部２５４Ｂのアップダウンカウント機能を使ってｍ行ごとに減算処理を含む積和演算処理を実現することにより差分画像を取得することができるが、その一利用形態としては、２行ごとに減算処理を行なうようにすれば、外部に特殊な回路を用いることなく、エッジ抽出処理の機能を実現できるようになる。これにより、垂直方向のエッジ検出処理を複数の垂直列について処理することによって、水平行列方向の直線検出処理が実現できる。

また、抽出しようとしているパターンと同じ減算パターンの組合せで走査することで、減算パターンの組合せと同じ模様の部分から最も強い信号が得られ、外部に特殊な回路を用いることなく、パターン・マッチング機能を実現できる。

＜第１実施形態；空間差分処理の動作；３行以上＞
図４は、図１に示した第１実施形態の固体撮像装置１のカラムＡＤ回路２５における他の空間差分処理時の動作を説明するためのタイミングチャートである。ここでは、差分演算を含む３行に亘る積和演算処理とするとともに、複数の画素信号についての積和演算を行なうに当たり、相異なる係数を付与して減算処理もしくは加算処理を行なう。ここでも、画素部１０には、色分解フィルタが設けられておらず、モノクロ画像対応のものであるとして説明する。

本例では、カラムＡＤ回路２５のカウンタ部２５４における差分処理用のカウント処理としては、“３ｊ−２”行線Ｈ１，Ｈ４，…（ｊ＝１以上の正の整数、以下本実施形態において同様）に対しての係数α１は“１”、“３ｊ−１”行線Ｈ２，Ｈ５，…に対しての係数α２は“−２”、“３ｊ”行線Ｈ３，Ｈ６，…に対しての係数α３は“１”を設定するものとする。よって、通信・タイミング制御部２０は、カウンタ部２５４に対して、画素信号の信号成分Ｖsig について、それぞれ“３ｊ−２”行線に対してはアップカウント処理、“３ｊ−１”行線に対してはダウンカウント処理、“３ｊ”行線に対してはアップカウント処理を行なうように、カウントモードを制御する。

これにより、３ｊ番目の処理対象の画素信号Ｖ３ｊについての２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値は、式（５）に示すように、３つの画素信号Ｖ３ｊ−２，Ｖ３ｊ−１，Ｖ３ｊ間での差分演算（加減算；符号を含む積和演算）の結果（Ｖsig1−２・Ｖsig2＋Ｖsig3）を示すｎビットのデジタル値となる。

なお、本例では、列方向に３行単位で差分演算を含む積和演算を行なう事例で説明したが、４行以上にも容易に展開できる。この際、傾き（変化率）を同じにする画素数と傾き（変化率）を異なるものにする画素数との組合せも自由である。

これにより、処理単位行における最終行の処理対象の画素信号について、２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値は、式（６）に示すように、ｋ個の画素信号Ｖ１，Ｖ２，…，Ｖｋ間での積和演算（加減算；符号を含む積和演算）の結果を示すｎビットのデジタル値となる。ここで、係数βｋは符号も含むものとする。

このように、図３では隣接する２行の差分処理について説明したが、図４に示したように、３行以上に亘って、減算処理を含む積和演算を実行することもできる。このとき、処理対象の画素数（本例では行数）をｍとすれば、画像データ量を１／ｍに圧縮することができる。

このように、３行以上に亘って 加減算（符号を含む積和演算）処理を実現することにより、カラム処理部２６Ｂの外部に特殊な回路を用いることなく、中央画素強調の空間フィルタなど、１次元の空間フィルタ処理の機能を実現できるようになる。また、特定画素についてのカウント処理を停止して係数を“０”に設定することもできるので、微分フィルタを実現することもできる。

また、これらのことから、画像圧縮処理で頻繁に使われる離散的コサイン変換を実現することもできる。離散的コサイン変換では、たとえば８×８画素について、コサイン係数を掛けて和を求める必要があるとともに、コサイン係数には正負があるので、このような両極性の演算が必要な場合に、要求される機能を簡単に実現することができる。

＜第１実施形態；空間加算処理の動作＞
図５は、図１に示した第１実施形態の固体撮像装置１の演算データ処理部１１ＢにおけるカラムＡＤ回路２５Ｂによる空間加算処理の動作を説明するためのタイミングチャートである。ここでは、画素部１０には、色分解フィルタが設けられておらず、モノクロ画像対応のものであるとして説明する。

空間加算処理は、実質的に同一時刻に取得された１フィールド内の画像において、相異なる画素位置の複数の画素信号間で加算処理を行なう処理である。空間加算処理の典型例としては、隣接する複数行（３行以上でもよい）の画素信号を処理対象とする垂直列方向の加算処理や、同一行における隣接する複数（３以上でもよい）の画素位置の画素信号を処理対象とする水平行方向の差分処理がある。以下で説明する第１実施形態の空間加算処理動作は、垂直列方向の加算処理である。

図３と図５との比較から分かるように、空間加算処理時には、各行のＡＤ変換処理におけるリセット成分ΔＶと信号成分Ｖsig とについてのカウントモードの組合せを同一にすればよい。すなわち、Ｈｙ行のＡＤ変換処理が完了した後にカウンタ部２５４Ｂをリセットしないで、リセット成分ΔＶと信号成分Ｖsig とについて、Ｈｙ行のＡＤ変換処理時のカウントモードの組合せと同一の組合せでＨｙ＋１行のＡＤ変換処理を行なうようにすることで、カラムＡＤ回路２５Ｂのカウンタ部２５４Ｂには、同一垂直列におけるＨｙ行とＨｙ＋１行の加算結果が保持されることになり、２行についての加算処理が実現できる。

よって、Ｈｙ＋１行の画素信号についての２回目のカウント処理が完了した後にカウンタ部２５４Ｂに保持されるカウント値は、２つの画素信号Ｖ１，Ｖ２間での加算演算の結果（Ｖsig1＋Ｖsig2）を示すｎビットのデジタル値となる。画像データ量を１／２に圧縮することができる。

なお、図５では、隣接する２行の差分処理や加算処理について説明したが、図４に示した差分処理と同様に３行以上を処理対象とすることもでき、３行以上に亘って、加算演算処理のみを実行することもできる。このとき、処理対象の画素数（本例では行数）をｍとすれば、画像データ量を１／ｍに圧縮することができる。

このように、処理対象画素信号におけるリセット成分ΔＶと信号成分Ｖsig についてのカウントモードの組合せを全て同じにする、すなわち各画素信号についてのカウントモードを共通にすることで、カウント処理時の係数を全て正もしくは負にすることができる。

これは、加算演算処理のみを行なうことを意味し、加えて、本実施形態では、たとえば参照信号生成部２７が発する参照信号RAMPの傾きを変えるなどして係数も設定できるので、減算処理を含む積和演算処理では実現できないようなフィルタ処理を実現できるようになる。たとえば、処理対象画素信号の全ての係数を同じにすれば平滑化フィルタ処理を実現できる。また、周辺画素の係数よりも中央画素の係数を大きくすれば、中央画素を強調する重付け加算処理を実現することができる。

以上説明したように、第１実施形態の構成によれば、演算データ処理部１１Ｂのカウンタ部２５４Ｂは、複数の単位画素３の画素信号についてそれぞれカウント処理してＡＤ変換を行なう際に、各画素信号の内の一方について取得したデジタルデータを他方の画素信号（後のカウント処理の対象信号）のカウント処理の初期値とすることで、複数の単位画素３のうちの他方についてカウント処理にてＡＤ変換をした後には、自動的に全ての画素信号についての積和演算結果を示すｎビットのデジタルデータを取得して演算データＤ２として出力することができる。

ここで、図３や図４に示したように、それぞれについてのカウントモードを異なるモードにすれば、後段の画素信号のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号についての減算結果を示すｎビットのデジタルデータとなる。これに対して、図５に示したように、それぞれの信号成分についてのカウントモードを同じにすれば、後のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号（詳しくは真の信号成分）についての加算結果のデジタルデータを取得することができる。３画素以上を処理対象とする場合、これらを組み合わせることで、各単位画素３からの画素信号（詳しくは真の信号成分）について、符号も含んだ総和を求める機能、つまり積和演算を実現することができる。

加えて、通常データ処理部１１Ａでは、演算データ処理部１１Ｂにおける積和演算処理にて使用する複数の処理対象信号のうちの何れか１つに基づいて、通常通り、映像データＤ１を生成して出力するようにしている。

よって、単一の固体撮像装置１により、映像データＤ１と演算データＤ２とを同時に生成して、固体撮像装置１の外部へ出力することで、状況に応じて、適宜、映像データＤ１に基づく通常画像と演算データＤ２に基づく処理画像の両方もしくは一方を用いた適切な画像出力を行なうことができ、様々な利用形態を採ることができるようになる。

なお、上記実施形態では、垂直列方向にｍ行に亘って積和演算処理を行なう構成とその作用を説明したが、たとえば、列方向もしくは行方向についてのカラムＡＤ回路２５Ｂにおける積和演算結果のデジタルデータを複数受け取り、この複数のデジタルデータに基づき、カラムＡＤ回路２５Ｂにおける列方向もしくは行方向とは異なる方向についての積和演算を行なうデジタル演算部を出力回路２８側に設けることで、行方向のみもしくは列方向および列方向（つまり２次元状に）にも空間差分処理や空間加算処理を実現することもできる。

あるいは、単位画素３から垂直信号線１９を介してカラム処理部２６Ｂに送られるアナログの画素信号を切替スイッチにより列並列に配された複数のカラムＡＤ回路２５Ｂの何れかに繋ぎ変えることで、行方向のみもしくは２次元状の積和演算処理に対応するようにすることができる。

あるいは、カウンタ部２５４Ｂを、公知の技術を利用して任意の初期値をロードすることのできる構成のものとし、前段のカウンタ部２５４Ｂの出力データが後段のカウンタ部２５４Ｂの対応するデータ設定端子Ｄinに入力し、列並列に配されたカラムＡＤ回路２５Ｂ（詳しくはカウンタ部２５４Ｂ）が行方向に縦続接続されて動作可能に構成してもよい。この場合、前列のカウント処理が完了した後、次列のカウントモードを設定した後のカウント処理の開始前に、前列のカウンタ部２５４Ｂにおけるカウント処理で取得したカウント値を次列のカウンタ部２５４Ｂの初期値として設定することで、行方向のみもしくは２次元状の積和演算処理に対応するようにすることができる。

列方向だけでなく、行方向についても積和演算処理を行なうことができるようにすることで、たとえば、高精度な図形の認識機能を実現することができるようになる。たとえば、先ず列方向に２行ずつ差分処理をして列方向に１次元状に投影された各列のエッジプロファイル（列方向エッジ検出画像）を取得し、この後、行方向に２列ずつ差分処理をして行方向に１次元状に投影された各行のエッジプロファイル（行方向エッジ検出画像）を取得し、これらで得られる２次元状のエッジプロファイルに基づき、エッジの形やエッジの数を解析して処理対象画像の図形の特徴を求め、これを基準のテンプレートと比較して最も類似したものを選択することにより、図形の認識機能を実現することができる。

また、ｍ行×ｎ列（ｎ＝ｍでもよい）の２次元に積和演算処理を展開することで、エッジ検出処理や直線検出処理あるいはパターン・マッチング処理などが２次元に展開できるようになる。たとえば、２次元方向のエッジ検出処理として、頂点座標の抽出処理や、４５度斜め方向のエッジ検出処理ができるので斜め方向の直線検出処理が実現できる。

また、行列状に配された単位画素３を対象とした多入力の積和演算が簡単に実現でき、空間フィルタが掛るように単位画素３からの画素信号を配置でき、空間フィルタをＣＭＯＳイメージセンサに簡単に実装することができ、画像のエッジを強調する２次元のアンシャープ・マスキング・フィルタが簡単に実現できるようになる。また、画像圧縮処理で頻繁に使われる離散的コサイン変換を２次元状に実現することもできる。

＜第２実施形態；固体撮像装置の構成；パイプライン処理＞
図６は、本発明の第２実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第２実施形態の固体撮像装置１は、第１実施形態の固体撮像装置１に対して、カラムＡＤ回路２５の構成を変形している。

すなわち、第２実施形態におけるカラムＡＤ回路２５は、カウンタ部２５４の後段に、このカウンタ部２５４の保持したカウント結果を保持するｎビットのメモリ装置としてのデータ記憶部２５６と、カウンタ部２５４とデータ記憶部２５６との間に配されたスイッチ２５８とを備えている。

スイッチ２５８には、他の垂直列のスイッチ２５８と共通に、通信・タイミング制御部２０から、所定のタイミングで、制御パルスとしてのメモリ転送指示パルスＣＮ８が供給される。スイッチ２５８は、メモリ転送指示パルスＣＮ８が供給されると、対応するカウンタ部２５４のカウント値をデータ記憶部２５６に転送する。データ記憶部２５６は、転送されたカウント値を保持・記憶する。

なお、カウンタ部２５４のカウント値を所定のタイミングでデータ記憶部２５６に保持させる仕組みは、両者間にスイッチ２５８を配する構成に限らず、たとえば、カウンタ部２５４とデータ記憶部２５６とを直接に接続しつつ、カウンタ部２５４の出力イネーブルをメモリ転送指示パルスＣＮ８で制御することで実現することもできるし、データ記憶部２５６のデータ取込タイミングを決めるラッチクロックとしてメモリ転送指示パルスＣＮ８を用いることでも実現できる。

データ記憶部２５６には、水平走査回路１２から制御線１２ｃを介して制御パルスが入力される。データ記憶部２５６は、制御線１２ｃを介しての制御パルスによる指示があるまでは、カウンタ部２５４から取り込んだカウント値を保持する。

水平走査回路１２は、カラム処理部２６の各電圧比較部２５２とカウンタ部２５４とが、それぞれが担当する処理を行なうのと並行して、各データ記憶部２５６が保持していたカウント値を読み出す読出走査部の機能を持つ。

このような第２実施形態の構成によれば、カウンタ部２５４が保持したカウント結果をデータ記憶部２５６に転送することができるため、カウンタ部２５４のカウント動作すなわちＡＤ変換処理と、カウント結果の水平信号線１８への読出動作とを独立して制御可能であり、ＡＤ変換処理と外部（先ずは水平信号線１８）への信号の読出動作とを独立・並行して行なうパイプライン動作が実現できる。

＜第２実施形態；パイプライン処理の動作＞
図７は、図６に示した第２実施形態の固体撮像装置１のカラムＡＤ回路２５における基本動作を説明するためのタイミングチャートである。カラムＡＤ回路２５におけるＡＤ変換処理は、第１実施形態と同様である。ここではその詳細な説明を割愛する。

第２実施形態においては、第１実施形態の構成に、データ記憶部２５６を追加したものであり、ＡＤ変換処理を始めとする基本的な動作は第１実施形態と同様であるが、カウンタ部２５４の動作前（ｔ６）に、通信・タイミング制御部２０からのメモリ転送指示パルスＣＮ８に基づき、前行Ｈｘ−１の処理時におけるカウント結果をデータ記憶部２５６に転送する。

第１実施形態では、処理対象の画素信号における２回目の読出処理、すなわちＡＤ変換処理が完了した後でなければ画素データをカラム処理部２６の外部に出力することができないので、読出処理には制限があるのに対して、第２実施形態の構成では、処理対象の画素信号における１回目の読出処理（ＡＤ変換処理）に先立って前回の減算処理結果を示すカウント値をデータ記憶部２５６に転送しているので、読出処理には制限がない。

＜第２実施形態；固体撮像装置の空間差分処理動作＞
図８は、図６示した第２実施形態の固体撮像装置１のカラムＡＤ回路２５における空間差分処理時の動作を説明するためのタイミングチャートである。ここでも画素部１０には、色分解フィルタが設けられておらず、モノクロ画像対応のものであるとして説明する。

図７に示したように、第２実施形態においては、処理対象の画素信号における１回目の読出処理（ＡＤ変換処理）に先立って前回の減算処理結果を示すカウント値をデータ記憶部２５６に転送しているので、読出処理には制限がない。

なお、第２実施形態の固体撮像装置１における空間加算処理時の動作を説明するためのタイミングチャートは、図示を割愛するが、図５にて説明したように、各行のＡＤ変換処理におけるリセット成分ΔＶと信号成分Ｖsig とについてのカウントモードの組合せを同一にすればよい。

こうすることで、データ記憶部２５６から水平信号線１８および出力回路２８を経た外部への積和演算結果を示す演算データＤ２の信号出力動作と、現行Ｈｘおよび次行Ｈｘ＋１の読出しおよびカウンタ部２５４のカウント動作を利用した積和演算処理とを並行して行なうことができ、より効率のよい信号出力が可能となる。

図９は、空間差分処理や空間加算処理におけるフレームレートとの関わりを説明するタイミングチャートである。ここでも、画素部１０には、色分解フィルタが設けられておらず、モノクロ画像対応のものであるとして説明する。

図３や図５を用いて説明したように、カウンタ部２５４Ｂのアップダウンカウント機能を使って２行ごとの積和演算処理を実現することにより差分画像や加算画像を取得するとともにデータ量を圧縮することができるが、第２実施形態の構成ではデータ記憶部２５６を設けたことで、ＡＤ変換とデータ読出とを同時並行的に処理できる。

ここで第２実施形態においては、積和演算処理の対象とする全ての画素（本例では行）についての総ＡＤ変換期間が、１行内に収まるようにする。こうすることで、総ＡＤ変換時間を１／２＾ｍに低減するとともに、フレームレートを２＾ｍ倍向上させることができる。

ここで、処理対象の画素数２＾ｍ（“＾”はべき乗を示す）として、総ＡＤ変換時間を１／２＾ｍにしたり、フレームレートを２＾ｍ倍にしたりするに当たっては、参照信号RAMPの傾きを２＾ｍ倍にするとともに、カウントクロックＣＫ０を２＾ｍ倍にする方法や、参照信号RAMPの傾きやカウントクロックＣＫ０を変更せずにビット数を低減する方法などがある。

後者の場合、信号の最大幅（ダイナミックレンジ）に割り当てるビット分解能を通常時と同じに維持したまま信号の最大幅（ダイナミックレンジ）をカバーするようにすると、各単位画素３についてのＡＤ変換期間すなわちフルスケール分（たとえばｎビットカウントに対してｎビット分）のＡＤ変換期間を１行分に割り当てることができないので、各単位画素３についての最長ＡＤ変換期間をそれぞれ１／２＾ｍ倍と短くする必要がある。参照信号RAMPの傾きを通常処理時と同じにする場合、概ね、ビット数を“ｍ”だけ少なくする必要があることを意味する。

つまり、参照信号RAMPの傾きやカウントクロックＣＫ０を変更せずに、ビット分解能を維持したままで、複数画素の演算を１行期間内に収めるには、処理対象とする画素数（本例では行数）に応じて、カウント処理のビット数を上述のように調整する必要がある。

つまり、ＡＤ変換精度を維持したままＡＤ変換期間を短くできない場合、２＾ｍ個の画素を積和演算処理の処理対象とする場合、図９のタイミングチャートにおけるカウンタ部２５４の各２回目（すなわち信号成分Ｖsig の比較期間）のカウント処理のデジタルカウントを、“ｎ−ｍ”ビットまでとするとよい。

たとえば、２行について積和演算処理を行なう場合において、１０ビットでカウント処理を行なう場合、本来は１０２４クロック期間比較を行なうが、９ビットでカウント処理を行なう、すなわち５１２クロック期間に削減する。このとき、参照信号生成部２７のＤＡ変換回路２７ａで生成される参照信号RAMPの時間変化の割合は同一とする。これは、ＡＤ変換精度、すなわちビット分解能が変化しないことを意味する。

本例においては、図９のタイミングチャートに示すように、ＡＤ変換期間を１／２に短縮することで、カウントクロックＣＫ０を変更することなく、またデータ出力レートを変更せずにフレームレートを２倍にすることができる。

なお、フレームレートが２倍になると、単位画素当りの蓄積時間は１／２となり、信号振幅も１／２となりＳ／Ｎが低下する可能性がある。同様に、２＾ｍ（“＾”はべき乗を示す）行を処理対象の単位として減算を実行しＡＤ変換期間を１／ｍに削減した場合、フレームレートがｍ倍となる。このとき、ｎビットのＡＤ変換精度をｎ−ｍビットに低減することで、Ｓ／Ｎの劣化の可能性はあるがフレームレートを向上させることができる。

これに対して、加算演算を実施すると、２行加算実行後のデジタル値は、Ｖsig1＋Ｖsig2となりフレームレートが２倍になった場合でも信号振幅は（Ｖsig1＋Ｖsig2）／２≒Ｖsig1となり、信号振幅の変化は少なくＳ／Ｎも劣化しない。

一方、通常データ処理部１１Ａ側においても、垂直走査回路１４にて選択された行の画素信号を用いて通常画像を表す映像データＤ１を生成しなければならないので、フレームレートを演算データ処理部１１Ｂ側に合わせる必要がある。この場合、カラムＡＤ回路２５Ａは、ＡＤ変換期間をカラムＡＤ回路２５Ｂと同様に短縮すればよい。また、水平走査回路１２Ａは、カラムＡＤ回路２５Ａで得られる奇数行および偶数行のうちの何れか一方のカウント値のみをデータ記憶部２５６Ａから選択して出力する間引き読出しを行なうようにすればよい（図９では奇数行で示す）。

＜空間差分処理の動作；カラー対応＞
図１０は、図１や図６に示した固体撮像装置１のカラムＡＤ回路２５Ｂにおける空間差分処理動作を説明するためのタイミングチャートである。この例は、画素部１０をカラー撮像対応にしている点に特徴を有する。同色同士の差分演算を行なうために有効な構成である。

図１や図６に示したように、画素部１０における受光面には、カラー画像を撮像するための赤（Ｒ），緑（Ｇ），青（Ｂ）の色フィルタの組合せからなるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタに配されている。たとえば、奇数行偶数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇数列および偶数行偶数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、偶数行奇数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配しており、行ごとに異なったＲ／Ｇ、またはＧ／Ｂの２色のカラー画素が市松模様状に配置されている。

固体撮像装置１としては、使用する画素部１０（デバイス）を決めると、色分解フィルタにおける色フィルタの色の種類や配列は決まり、２次元格子位置における任意位置の色フィルタが何色であるのかを一義的に特定することができる。

よって、本例においては、垂直走査回路１４は、画素部１０からの画素信号の読出指示を通信・タイミング制御部２０から受けると、水平行を垂直方向に順に走査するのではなく、垂直デコーダ１４ａにおいて、色分解フィルタの各色フィルタの配置位置に基づいくアドレスデコード処理により、任意の行線Ｈｙを選択することで、カラーフィルタの配列に合わせて、同一の色配列の行を組み合わせるように行を選択する。

つまり、積和演算の対象となる複数の画素信号が同一色の色フィルタのものとなるように、処理対象の複数の単位画素３のそれぞれの位置を指定する。これにより、たとえば奇数行と偶数行とで色配列が異なる場合には、差分処理の対象行を奇数行と偶数行とに分けて独立に差分処理を行なうことができる。

ベイヤ配列カラーフィルタを有する画素部１０において、同一行の画素には緑Ｇと赤Ｒまたは青Ｂと緑Ｇのカラーフィルタが配置されている。このため、図３や図５などのように行線Ｈｘを順次選択してくと、異なるカラーフィルタ要素を持つ画素同士の演算となり、混色を起こす。

これに対して、本例では、垂直走査回路１４にて、行線Ｈｙの読み出しを、奇数の行線Ｈ１，行線Ｈ３，行線Ｈ５，…と、偶数の行線Ｈ２，行線Ｈ４，行線Ｈ６，…、というように、同一のカラーフィルタ要素を持つ行の組合せで順に行を選択することで、同色同士での積和演算処理（本例では差分処理）を行なうことができ、混色を起こすことがない。

図１や図６に示した画素配列でいえば、２行単位で差分処理を行なうと、行線Ｈ１上にある画素Ｇ１１と行線Ｈ３上にある画素Ｇ３１、行線Ｈ１上にある画素Ｒ１２と行線Ｈ３上にある画素Ｒ３２、…、というように、ともに奇数の行線Ｈ１上の画素と行線Ｈ３上の画素間にて、つまり奇数行同士の差分処理が実現できる。同様に、行線Ｈ２上にある画素Ｂ２１と行線Ｈ４上にある画素Ｂ４１、…、行線Ｈ２上にある画素Ｇ２２と行線Ｈ４上にある画素Ｇ４２、…、というように、ともに偶数の行線Ｈ２上の画素と行線Ｈ４上の画素間にて、つまり偶数行同士の差分処理が実現できる。

なお、図１や図６では、正方格子状に配された単位画素３に対して、赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタをベイヤ（Ｂａｙｅｒ）配列の基本形に従って配列していたが、フィルタ色やその配列順は図１や図６に示した例に限定されない。たとえば、ベイヤ配列の改良形にすることもできるし、補色フィルタあるいはその他のフィルタ色を用いることができる。

たとえば、偶数行偶数列に配した第２のカラー（緑；Ｇ）を感知するための第２のカラー画素に代えて、第４のカラー（エメラルド；Ｅ）を感知するための第４のカラー画素を配してもよい。この場合でも、差分処理に際しての行選択制御のタイミングは、図１０に示したタイミングをそのまま使用することができる。

色信号処理についての詳細な説明は割愛するが、４色カラーフィルタに対応して、４色で撮影された各色の映像信号から、人間の目に近いＲＧＢの３色を作り出すためのマトリックス演算を行なう画像処理プロセッサを出力回路２８の後段に設ける。赤（Ｒ），緑（Ｇ），青（Ｂ）のフィルタに加えてエメラルド（Ｅ）のフィルタを搭載すれば、３色カラーフィルタよりも色再現の差を低減させることができ、たとえば青緑色や赤色の再現性を向上させることができる。

なお、図１０に示した例では、同一色配列の２行に亘る差分処理について示したが、同一色配列の３行以上に亘る積和演算処理（減算および／または加算）にも展開できる。この場合でも、同一色配列の行間で積和演算処理を行なうことで、同一のカラーフィルタ要素を持つ画素同士の演算とすることができ混色を起こすことがない。

加えて、通常データ処理部１１Ａでは、演算データ処理部１１Ｂにおける積和演算処理にて使用する複数の処理対象信号のうちの何れか１つに基づいて、通常通り、カラー用の映像データＤ１を生成して出力する。よって、単一の固体撮像装置１により、カラー映像データＤ１と演算データＤ２とを同時に生成して、固体撮像装置１の外部へ出力することで、状況に応じて、適宜、映像データＤ１に基づくカラー画像と演算データＤ２に基づく処理画像の両方もしくは一方を用いた適切な画像出力を行なうことができ、モノクロ撮像対応の場合と同様に、様々な利用形態を採ることができる。

以上説明したように、第１および第２実施形態の固体撮像装置によれば、アップダウンカウンタを用いつつ、その処理モードを切り替えてｍ回に亘ってカウント処理を行なうようにした。また、行列状に単位画素３が配列された構成において、カラムＡＤ回路２５を垂直列ごとに設けた列並列カラムＡＤ回路で構成した。

さらに、ｍ回に亘ってカウント処理を行なうことで積和演算処理を実現するカラムＡＤ回路２５Ｂなどを有する演算データ処理部１１Ｂに加えて、通常のカウント処理を行なってリセット成分ΔＶと信号成分との差を示す真の信号成分Ｖsig を取り出してカラムＡＤ回路２５Ａなどを有する演算ブロックＡを設けることで、演算画像の出力と同時に通常画像も出力可能に構成した。

このため、基準成分（リセット成分）と信号成分との減算処理が２回目のカウント結果として垂直列ごとに直接に取得することができ、基準成分と信号成分のそれぞれのカウント結果を保持するメモリ装置をカウンタ部が備えるラッチ機能で実現でき、ＡＤ変換されたデータを保持する専用のメモリ装置をカウンタとは別に用意する必要がない。また、基準成分と信号成分との差を取るための特別な減算器が不要になる。

加えて、この減算処理で得られる真の信号成分を複数使って積和演算処理を行なう際も、カウント結果を保持するメモリ装置をカウンタ部が備えるラッチ機能で実現でき、ＡＤ変換されたデータを保持する専用のメモリ装置をカウンタとは別に用意する必要がない。

このように、ＡＤ変換結果を保持するだけの特別なメモリや、基準成分と信号成分との差を取るための特別な減算器や、積和演算処理を行なうための特別な減算器や加算器などの周辺回路が不要になる。よって、回路規模や回路面積を少なくすることができ、装置全体としてコストの低減を図ることができ、加えて、雑音の増加や電流、消費電力の増大を解消することができる。

また、比較部とカウンタ部でカラムＡＤ回路（ＡＤ変換部）を構成したので、ビット数によらずカウンタ部を動作させるカウントクロック１本とカウントモードを制御する制御線とでカウント処理を制御でき、カウンタ部のカウント値をメモリ装置まで導く信号線が不要になり、雑音の増加や消費電力の増大を解消することができる。

つまり、ＡＤ変換装置を同一チップ上に搭載した固体撮像装置１において、電圧比較部２５２とカウンタ部２５４とを対にしてＡＤ変換部としてのカラムＡＤ回路２５を構成するとともに、カウンタ部２５４の動作としてダウンカウントとアップカウントとを組み合わせて使用しつつ、信号成分の差や和をデジタルデータにすることで、回路規模や回路面積や消費電力、あるいは他の機能部と間のインタフェース用配線の数や、この配線によるノイズや消費電流などの問題を解消することができる。

また、処理モードとして、差分演算や加算演算あるいはこれらを組み合わせた積和演算処理モードにすれば、チップ外部のメモリを使用しないで、かつ列並列に配置されたカラムＡＤ回路２５Ｂのモード切替可能なアップダウンカウント機能やカウンタが持つラッチ機能を利用することで、積和演算結果を多値データで出力するようにしているのでデータの取扱いの自由度が増し、１次元や２次元に高精度の積和演算処理を実現できる。これによって、エッジ検出処理や直線検出処理あるいはパターン・マッチング処理などの空間処理が１次元や２次元に簡単に実現できる。

また演算データ処理部１１Ｂでの積和演算処理と並行して、通常データ処理部１１Ａを動作させる通常通り映像データＤ１を生成することで、映像データＤ１と演算データＤ２とを同時に生成して固体撮像装置１の外部へ出力することで、状況に応じて、適宜、映像データＤ１に基づくモノクロもしくはカラーの通常画像と演算データＤ２に基づく１次元や２次元に展開された処理画像の両方もしくは一方を用いた適切な画像出力を行なうことができる。

＜第３実施形態；固体撮像装置の構成；時間差分処理＞
図１１は、本発明の第３実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。また、図１２は、第３実施形態で用いる単位画素３の構造模式図である。第３実施形態の固体撮像装置１は、積和演算処理機能として、空間差分処理に代えて、時間差分処理を行なうことで動体検出を可能に構成した点に特徴を有する。時間差分処理を行なう場合、演算の対象画素は同一配列位置のものとする。

第３実施形態の画素部１０における単位画素３は、入射光に応じた電荷を生成し蓄積するフォトダイオードなどの電荷生成部（ＰＤ；光検出部／光電変換素子）３２と、制御領域（ゲート）に供給された電荷に応じてそのソース・ドレイン間に入射光に応じたアナログ信号を出力する増幅用トランジスタ（Ｍ）４２と、電荷生成部３２で生成・蓄積された電荷を増幅用トランジスタ４２の制御領域に直接かつ選択的に転送するためのｐチャネル型の読出選択用トランジスタ３４と、増幅用トランジスタ４２の制御領域の電荷をリセットするためのｐチャネル型のリセットトランジスタ３６と、増幅用トランジスタ４２と垂直信号線１９の間に設けられて増幅用トランジスタ４２のソースと垂直信号線１９を分離／接続するｎチャネル型の垂直選択用トランジスタ４０とを含んで構成されている。

図１２（Ａ）に示すように、電荷生成部３２にて検出された入射光に応じた電気信号（信号電荷）が増幅用トランジスタ４２のゲート（制御領域）に供給されて、そのソースフォロア動作によって電流増幅され、その後、この電気信号が、各々対応する垂直信号線１９に読み出され、垂直信号線１９に信号電圧が現れる仕組みになっている。

ここで、増幅用トランジスタ４２としては、ｎチャネル型の接合型電界効果トランジスタ（ＪＦＥＴ）を使用している。この接合型ＦＥＴのＰ型領域は、電荷生成部３２にて検出された信号電荷であるホールを蓄積する画素内メモリ（電荷保持部）としても機能するので、電荷生成部３２と増幅用トランジスタ４２の両方に蓄積された信号を使うことで、単位画素３から前のフレームの信号と現在のフレームの信号を短い間隔で順次出力し、比較することができるようになっている。

各増幅用トランジスタ４２のソースは、画素分離用の垂直選択用トランジスタ４０を介して、マトリックス状に配置された列ごとに対応する垂直信号線１９に共通に接続されている。また、各増幅用トランジスタ４２のドレインおよび電荷生成部３２のカソード側には電源電圧Ｖｄｄ（正電圧）が印加されている。

また、電荷生成部３２のアノード側と増幅用トランジスタ４２のゲート（制御領域）には、転送用の読出選択用トランジスタ３４のソース・ドレインが接続されている。また、転送用の読出選択用トランジスタ３４の転送用ゲート（ＴＧ）は、マトリックス状に配置された単位画素３の行ごとに、行制御線１５（詳しくは転送ゲート配線）に共通接続され、行制御線１５に接続された垂直走査回路１４から送出される駆動パルスφＴＧが与えられると、駆動パルスφＴＧのレベルに応じて転送用の読出選択用トランジスタ３４が行ごとに順次動作するようになっている。

また、リセット用のリセットトランジスタ３６のドレイン（リセットドレイン）には、電源電圧Ｖｒｄが単位画素３ごとに共通に接続されて電圧が印加されている。また、リセット用のリセットトランジスタ３６のゲート（ＲＳＧ）は、垂直走査回路１４に接続された行制御線１５（詳しくはリセット配線）に共通に接続され、そのソースは、転送用の読出選択用トランジスタ３４のソースと共有になっている。

そして、このリセット用のリセットトランジスタ３６のゲートに垂直走査回路１４から駆動パルスφＲＧが与えられると、リセット用のリセットトランジスタ３６は、この駆動パルスφＲＧのレベルに応じて動作するようになっている。また、画素分離用の垂直選択用トランジスタ４０のゲートは、マトリックス状に配置された単位画素３の行ごとに、制御線１５（詳しくは行選択線／垂直選択線）に共通接続され、垂直走査回路１４からの駆動パルスφＳＥＬのレベルに応じて、画素分離用の垂直選択用トランジスタ４０が行ごとに順次動作するようになっている。

なお、図示を割愛するが、カラム処理部２６と水平走査回路１２との間の垂直信号線１９の信号経路上には、各垂直信号線１９に対してドレイン端子が接続された図示しない負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。

単位画素３を構成する増幅用トランジスタは各垂直信号線１９に接続されており、また垂直信号線１９は垂直列ごとに負荷ＭＯＳトランジスタのドレインに接続され、また各負荷ＭＯＳトランジスタのゲート端子には、負荷制御部からの負荷制御信号ＣＴldが共通に入力されており、信号読出し時には、各増幅用トランジスタに接続された負荷ＭＯＳトランジスタによって、予め決められた定電流を流し続けるようになっている。

なお、本実施形態では、増幅アンプとしてだけでなく画素内メモリとしても機能する接合型電界効果トランジスタ（ＪＦＥＴ）を単位画素３として使用し、この接合型電界効果トランジスタが持つメモリ機能を利用して、複数フレームの同一画素位置の画素信号を取得するが、複数フレームの同一画素位置の画素信号を取得するための画素構造は、接合型電界効果トランジスタを利用するものに限定されない。

画素内メモリを利用する画素構造としては、接合型電界効果トランジスタの他に、たとえば、図１２（Ｂ）に示すように、電荷生成部３２としてのフォトダイオードにフォトゲート（Photogate ）と呼ばれるＭＯＳダイオードを使ったものを利用することができる。この画素構造では、フォトゲートで光電変換した信号電荷を、読出ゲートＴｘを挟んで形成されている画素内メモリとして機能するフローティングディフュージョン（ＦＤ）３８に転送し、フローティングディフュージョン３８の電圧変化を増幅用トランジスタ４２で増幅して出力する。このとき、予めフローティングディフュージョン３８をリセットしてリセット信号を出力した後、蓄積の完了したフォトゲートから読出ゲートＴｘを通して信号電荷を読み出して画素信号を出力する。フローティングディフュージョン３８のＫＴｃノイズを画素信号とリセット信号のＣＤＳ動作により取り除くことができる利点がある。

また、画素内メモリとして機能するフローティングディフュージョン（ＦＤ）３８を利用する他の画素構造としては、図１２（Ｃ）に示すように、埋込フォトダイオードを使ったものを利用することができる。この画素構造における読出動作は、フォトゲートを利用した構造における読出ゲートＴｘを読出選択用トランジスタ３４に置き換えて考えればよい。埋込フォトダイオードは、ｐｎ接合部に生じる空乏層が画素表面に達しないため低暗電流を実現でき、またフォトゲートのような電極材料による光の吸収がない利点がる。リセット時のＫＴｃノイズが発生しないことはフォトゲートを使った構造と同様である。

なお、接合型電界効果トランジスタに代えて、フォトゲートや埋込フォトダイオードと画素内メモリとしてのフローティングディフュージョンとを組み合わせた場合の読出タイミングについては図示を割愛するが、概ね、以下の図１３で示す接合型電界効果トランジスタと同様に、先ずフローティングディフュージョンに保持しておいた前フレームの信号成分を読み出した後にフローティングディフュージョンをリセットし、この後、現フレームにおける露光にて電荷生成部３２で生成された信号電荷をフローティングディフュージョンに転送して、現フレームの信号成分を読み出すようにする。

図１３は、第３実施形態の単位画素３を駆動する動作を説明するタイミングチャートである。図１３には、一定のタイミングごとに入射光を検知する１つの単位画素３が、連続した２フレーム、すなわちｎ−１フレーム（直前のフレーム）、ｎフレーム（現在のフレーム）で入射光を検出して、その読出動作を行なう場合を示している。

なお、マトリックス状に配置された各単位画素３のうち同一行の単位画素３の読出動作は同じであり、図１３のｎ−１フレームまたはｎフレームの期間ｔ６０〜ｔ６９が１行目の単位画素３の読出動作を、期間ｔ７０〜ｔ７９が、２行目の単位画素３の読出動作をそれぞれ示している。以下、ｎフレーム（現在のフレーム）における１行目の単位画素３の読出動作を中心に、図１３のタイミングチャートのｎフレームの期間ｔ６０に至ったときから説明する。なお、ｎ−１フレームにおける読出動作は、以下に説明するｎフレームにおける読出動作と同じである。

ｎフレームでのｔ６０からｔ６１に至る前（ｎ−１フレームのｔ７５の終了時以降と同等）、各行の駆動パルスφＴＧはともにハイレベルに保持され、各行の駆動パルスφＳＥＬはともにハイレベルに保持され、各行の駆動パルスφＲＧはともにハイレベルに保持されている。

このようにｔ６１に至る前は、各行の駆動パルスφＴＧがハイレベルのため転送用の読出選択用トランジスタ３４はオフとなり、各行の駆動パルスφＲＧがハイレベルのためリセット用のリセットトランジスタ３６はオフとなっている。

したがって、増幅用トランジスタ４２のゲート（制御領域）はフローティング状態とされるが、寄生容量の効果により、すでに直前のｎ−１フレームで各転送用の読出選択用トランジスタ３４がオンのときに読出選択用トランジスタ３４を介して各増幅用トランジスタ４２のゲート（制御領域）に転送されている各電荷生成部３２で生成された入射光に応じた電荷（第１信号電荷）は、読出選択用トランジスタ３４がオフとなった後も各増幅用トランジスタ４２のゲート（制御領域）に保持された状態となっている。増幅用トランジスタ４２は、そのゲート（制御領域）に蓄積された電荷がリセットされるまでの間、ソースフォロア動作によりそのゲート電圧に応じた電気信号を出力する。

なお、転送用の読出選択用トランジスタ３４がオフとなった後は、各電荷生成部３２では、新たに入射光に応じた電荷（第２信号電荷）が生成・蓄積される。このときの第１信号電荷が、電荷生成部３２にて生成・蓄積されたｎ−１フレーム（直前のフレーム）における入射光に応じた電荷であり、第２信号電荷が電荷生成部３２にて生成・蓄積されたｎフレーム（現在のフレーム）における入射光に応じた電荷となる。

また、ｔ６１に至る前は、各駆動パルスφＳＥＬがともにハイレベルのため画素分離用の垂直選択用トランジスタ４０はオフとなっており、各単位画素３は垂直信号線１９から分離された状態となっている。

次に、ｔ６０が経過しｔ６１に至ると、１行目の駆動パルスφＳＥＬ１がローレベルに反転され、１行目の各単位画素３の画素分離用の垂直選択用トランジスタ４０がオンとなって、増幅用トランジスタ４２は、ソースが垂直信号線１９に接続され、オン（選択）となる。このとき、１行目の各単位画素３の増幅用トランジスタ４２のゲート（制御領域）には、すでに直前のフレームにおいて（ｎ−１のフレームの期間ｔ６３において）入射光に応じた第１信号電荷が転送され、読出選択用トランジスタ３４がオフとなった後も第１信号電荷が保持されているので、この保持された第１信号電荷に応じた電気信号が垂直信号線１９に出力される。

また、ｔ６１では、リセットトランジスタがオフとなっているので、このｔ６１において選択された１行目の各増幅用トランジスタ４２がソースフォロア動作をしたとき、そのソースの電位は、ソース・ドレイン間に流れる電流（ドレイン電流）が、図示しない負荷ＭＯＳトランジスタによる定電流源に流れる電流値ＩＢになるまで上昇する。

このとき、この１行目の各増幅用トランジスタ４２は、そのゲート（制御領域）に、直前のフレーム（ｎ−１フレームの期間ｔ６３）において第１信号電荷が転送され、転送終了後（転送用の読出選択用トランジスタ３４がオフ）もそのゲート電圧を保持しているため、ソースフォロア動作によって第１信号電荷に応じた第１出力信号Ｖssn-1 を出力する。第１出力信号をＶssn-1 の値は、式（７）に示される値となる。

ここで、ＶＲＤはｎ−１フレームでリセット用のリセットトランジスタ３６がオンのときに供給された電源電圧、ＶＳ１はｎ−１フレームにおける第１信号電荷に応じた増幅用トランジスタ４２のゲート電位の上昇分、ＶＴは増幅用トランジスタ４２のドレイン電流が図示しない負荷ＭＯＳトランジスタで規定される負荷電流ＩＢのときのゲート・ソース間の電圧である。なお、ＶＳ１の値は、“入射光に応じた第１信号電荷／ゲート容量”で求められる。このようにして検知されたｎ−１フレームの出力信号Ｖssn-1 が、対応する垂直列のカラムＡＤ回路２５に通知される。また、実際には、駆動パルスφＲＧをローレベルにするリセット動作によって、真の信号成分だけでなくリセット成分やその他のばらつき成分（纏めてΔＶ１とする）を含んで画素信号が現われるのは、第１実施形態にて説明したと同様である。

なお、このとき２行目の各増幅用トランジスタ４２に関しては、駆動パルスφＳＥＬ２が依然ローレベルであるために、２行目の各画素分離用の垂直選択用トランジスタ４０がオフとなっており、２行目の各増幅用トランジスタ４２のソースは垂直信号線１９に接続されない状態になっている（非選択）。この後ｔ６２に至ると、駆動パルスφＲＧ１がローレベルに反転される。

このｔ６２において、駆動パルスφＲＧ１がローレベルになることによって、１行目の各リセット用のリセットトランジスタ３６がオンとなり、電源電圧ＶＲＤ（読出しレベル）が１行目の各増幅用トランジスタ４２のゲート（制御領域）に伝わる。このリセット用のリセットトランジスタ３６のオンにより、増幅用トランジスタ４２のゲート（制御領域）から第１信号電荷が排出されるとともに、増幅用トランジスタ４２のゲート（制御領域）が電源電圧ＶＲＤ（読出しレベル）にバイアスされる。

さらにｔ６３に至ると、駆動パルスφＲＧ１がハイレベルに反転されることにより、１行目の各リセット用のリセットトランジスタ３６が再びオフとなり、１行目の増幅用トランジスタ４２のゲート（制御領域）はフローティング状態とされるが、その寄生容量の効果によって、ゲートは、電源電圧ＶＲＤ（読出しレベル）にバイアスされたままの状態が保持される。

さらにｔ６４に至ると、駆動パルスφＴＧ１がローレベルに反転され、１行目の各単位画素３の転送用の読出選択用トランジスタ３４がオンとなり、１行目の各単位画素３のフォトダイオードにおいて生成・蓄積された入射光に応じた電荷（第２信号電荷）が、１行目の各単位画素３の増幅用トランジスタ４２のゲート（制御領域）に転送される。第２信号電荷が、ｎフレームにおける入射光に応じた電気信号電荷となる。

このように、増幅用トランジスタ４２のゲート（制御領域）に、ｎフレーム（現在のフレーム）における入射光に応じた電荷（第２信号電荷）が転送されると、各増幅用トランジスタ４２のゲート電位は、転送された電荷の分だけ上昇するので、１行目の増幅用トランジスタ４２がソースフォロア動作をし、増幅用トランジスタ４２のソースの電位は、ゲート電位の上昇分だけ上昇する。

この場合、ソースフォロア動作をする１行目の各増幅用トランジスタ４２からは第２信号電荷に応じた第２出力信号（第２の電気信号）が、このときオンとなっている画素分離用の垂直選択用トランジスタ４０を介して、垂直信号線１９に出力される。

さらにｔ６５に至ると、１行目の駆動パルスφＴＧ１がハイレベルに反転されることにより、１行目の各転送用の読出選択用トランジスタ３４がオフとなり、１行目の単位画素３の電荷生成部３２において生成・蓄積された入射光に応じた電荷（第２信号電荷）の増幅用トランジスタ４２のゲート（制御領域）への転送が終了し、増幅用トランジスタ４２のゲート（制御領域）は再びフローティング状態とされるが、その寄生容量の効果によって、転送された電荷（第２信号電荷）の分だけゲートの電位が上昇したままその状態が保持される。

このｎフレームで、現在のフレームに対する第２信号電荷としてゲート（制御領域）に転送された電荷は、次のｎ＋１フレーム（図示省略）でこのゲートがリセットされるまで（リセット用のリセットトランジスタ３６がオンとなるまで）保持される。この結果、このときゲートに蓄積されている電荷が、ｎ＋１フレームでは第１信号電荷（直前のフレームに対する電荷）として用いられる。

このように、転送用の読出選択用トランジスタ３４がオンとなって第２信号電荷が、増幅用トランジスタ４２のゲート（制御領域）に一旦転送され、その後、転送用の読出選択用トランジスタ３４がオフとなっても、第２信号電荷がゲート（制御領域）に保持されるので、増幅用トランジスタ４２からは、その後ゲートがリセットされるまでのソースフォロア動作で（ｔ６５以降）、ゲートに蓄積された電荷（第２信号電荷）に応じた電気信号（第２出力信号Ｖssn ）が出力されることとなる。

ｔ６４〜ｔ６５において、ソースフォロア動作によってソース・ドレイン間に流れる電流が図示しない負荷ＭＯＳトランジスタで規定される負荷電流ＩＢになったとき、増幅用トランジスタ４２のソースの電位（第２出力信号Ｖssn ）の値は、式（８）に示される値になる。

ここで、ＶＳ２は第２信号電荷に応じた増幅用トランジスタ４２のゲート電位の上昇分である。なお、ＶＳ２の値は、ＶＳ１と同様に、“入射光に応じた第２信号電荷／ゲート容量”として表わされる。また、実際には、駆動パルスφＲＧをローレベルにするリセット動作によって、真の信号成分だけでなくリセット成分やその他のばらつき成分（纏めてΔＶ２とする）を含んで画素信号が現われるのは、第１実施形態にて説明したと同様である。このようにして検知されたｎフレームの出力信号Ｖssn が、対応する垂直列のカラムＡＤ回路２５に通知される。

次に、ｔ６９に至ると、駆動パルスφＳＥＬ１がハイレベルに反転されることによって、画素分離用の垂直選択用トランジスタ４０がオフとなって、１行目の単位画素３と垂直信号線１９とが分離される。

続くｔ７０〜ｔ７９においては、２行目の単位画素３に対して、上述したｔ６０〜ｔ６９における１行目の単位画素３の読出動作と同様の動作が繰り返して行なわれ、ｎフレームにおける時間差分処理を行なう。

以上説明したように、連続した２フレーム（ｎ−１フレームとｎフレーム）間においてそれぞれ得られた、入射光に応じて出力される各単位画素３からのアナログの輝度をあらわすｎ−１フレームとｎフレームの各出力信号Ｖssn-1 ，Ｖssn が、各々カラムＡＤ回路２５に入力される。

接合型電界効果トランジスタの制御領域に、フォトダイオードなどの光電変換素子で生成・蓄積された電荷を直接的に供給するだけで、ゲートに供給された電荷に応じた電気信号を、直前のフレームに対する電気信号と現在のフレームに対する電気信号の２つの信号として出力することができる。ゲートに電荷を直接転送して電圧信号にしてから垂直信号線１９を介して画素信号を読み出すようにしているので、電荷のままで（電流モードで）画素信号を出力する場合に比べて電荷配分による信号の劣化を抑えることができる。

カラムＡＤ回路２５においては、連続した２フレーム（ｎ−１フレームとｎフレーム）間で得られた複数フレームについてのアナログの第１出力信号Ｖssn-1 と第２出力信号Ｖssn の差分を検出する、すなわち時間差分処理を行なうことで、動体検出を行なう。そして、上記動作を繰り返して行なうことにより、さらに連続した２またはそれ以上のフレーム間でその動体検出を行なうことができるようになる。

＜第３実施形態；時間差分処理の動作＞
図１４は、図１１に示した第３実施形態の固体撮像装置１のカラムＡＤ回路２５における時間差分処理動作を説明するためのタイミングチャートである。また、図１５は、時間差分処理におけるフレームレートとの関わりを説明するタイミングチャートである。ここでは、演算データ処理部１１Ｂによる時間差分出力側と通常データ処理部１１Ａ側による通常映像出力側の動作とに分けて説明する。

＜時間差分出力側の動作＞
図１４において、時間差分処理の動作タイミングは、図８に示した第２実施形態の空間差分処理におけるｎ−１行（直前の行）をｎ−１フレーム（直前のフレーム）に、ｎ行（現在の行）をｎフレーム（現在のフレーム）に、それぞれ置き換えて考えればよい。

カラムＡＤ回路２５は、増幅用トランジスタ４２に蓄積された直前フレームｎ−１の画素信号Ｖssn-1 と電荷生成部３２に蓄積された現在フレームｎの同一行の画素信号Ｖssn を短い間隔で順次取り込み、それらの差を取る。

すなわち、直前フレームの画素信号Ｖssn-1 についての２回目のカウント処理が完了した後に、現行フレームの画素信号Ｖssn について、１回目のアップカウント処理を開始する際に、カウンタ部２５４に保持されているカウント値をリセットしないで引き続きカウント処理を行なうようにすることで、現行フレームの画素信号Ｖssn についての２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値である時間差分データＤ５は、式（９）に示すように、フレームの異なる２つの画素信号Ｖssn-1 ，Ｖssn 間での差分演算の結果（Ｖssn-1 −Ｖssn ）を示すｋビットのデジタル値となる。フレームの異なるすなわち撮像時刻の異なる２つの画素信号Ｖssn-1 ，Ｖssn 間での差分演算を行なっているので、その差分処理は、空間差分処理ではなく時間差分処理となる。

式（９）で求めた時間差分データＤ５がゼロでなければ、フレーム間で画像に動きが存在したことになるので、被写体のうち動体の部分を検出することができる。

なお、図１３に示した単位画素３の駆動タイミングから分かるように、ｎ−１フレーム（直前のフレーム）の画素信号は、真の信号成分Ｖsig1の後に駆動パルスφＲＧに基づくリセット成分やその他のばらつき成分（ΔＶ１）が現われるのに対して、ｎフレーム（現在のフレーム）の画素信号は、駆動パルスφＲＧに基づくリセット成分やその他のばらつき成分（ΔＶ１）の後に、真の信号成分Ｖsig2が現われる。

そこで、通信・タイミング制御部２０は、時間差分処理のためのカウント処理時には、これら各成分の現れ方を考慮して、カウンタ部２５４におけるカウントモードを制御する。たとえば、図１４に示すように、ｎ−１フレームに関しては、先ずアップカウントモードにして信号成分Ｖsig1とΔＶ１との合成成分についてカウント処理を行ない、この後、アップカウントモードにしてΔＶ１についてカウント処理を行なうことで、ｎ−１フレームの信号成分Ｖsig1のカウント値（画素データ）を求める。引き続くｎフレームに関しては、先ずアップカウントモードにしてΔＶ１についてカウント処理を行ない、この後、ダウンカウントモードにして信号成分Ｖsig1とΔＶ１との合成成分についてカウント処理を行なう。これにより、カウント結果としては、“Ｖsig1−Ｖsig2”、つまり２フレームにおける真の信号成分の差分を求めることができる。

なお、ΔＶ１とΔＶ２とは、何れも、同一時点の駆動パルスφＲＧに基づくものであり、概ね同じと考えることもできる。よって、ΔＶ１とΔＶ２とについてのカウント処理を割愛しても、カウント結果としては、“Ｖsig1−Ｖsig2”、つまり２フレームにおける真の信号成分の差分を求めることができる。この場合、カウント処理を割愛した分だけ消費電力を低減することができる。

なお、上述のような時間差分処理で取得したカウント値に基づいて動体検出を行なう場合、ランダム雑音などの成分による誤判定を防止するべく、閾値処理を行って判定するのがよい。すなわち、式（９）で求めたデジタル値が一定以上である場合に、動体が検知されたものと判定する。

また、電荷のゆらぎなどに起因して発生するショット雑音（shot noise）は、信号の大きさの平方根に比例する、すなわち被写界が明るく輝度レベルが大きい場合にはショット雑音のレベルが大きくなる特質を持っているので、判定の閾値を一定すると、被写体が明るい場合には、静止しているものが誤って動体として検出されてしまう、あるいは逆に、低コントラストの被写体について十分な動き検出ができなくなる、被写界が暗い場合には、ランダム雑音の影響を受けやすく、静止しているものが誤って動体として検出されてしまう、など被写界が極端に明るい場合や極端に暗い場合には、動体信号を精度良く生成することができないという問題を生じ得る。

これを避けるべく、被写体のコントラストが高い場合や被写界が暗い場合には判定の閾値を上げる一方、被写体のコントラストが低い場合や被写界が明るい場合には判定の閾値を下げるなど、状況に応じて判定の閾値を調整するのがよい。こうすることで、精度良く被写体の動きを検出することができるようになる。

このように、本実施形態では、動体を示す時間差分データＤ５をｎビットの多値デジタルデータで出力するようにしているので、データの取扱いの自由度が増し、デバイスの外部においても、被写体のコントラストや照明などの環境条件に応じて、直前フレームに対する電気信号と現在フレームに対する電気信号との差分に基づき、映像コントラストや照明などの条件に合わせて動体であるか否かの判定を高精度で行なうことができる。

時間差分演算の手法は、第１や第２実施形態と同様に、電圧比較部２５２とカウンタ部２５４を用いて、各フレームの画素信号に応じた電圧信号と所定の傾きで変化する参照信号とを比較して、参照信号の生成時点から、各フレームの画素信号に応じた電圧信号と参照信号とが一致した時点までをカウントクロックでカウント（計数）することで、各フレームの画素信号に応じた電圧信号の各大きさの差分に対応したカウント値を得るようにしているので、ＡＤ変換の後に追加の差分回路を設ける必要なく、ＡＤ変換と同時に動体を表す差分信号を簡単に得ることができる。

加えて、第１や第２実施形態で説明したと同様に、回路規模や回路面積や消費電力、あるいは他の機能部と間のインタフェース用配線の数や、この配線によるノイズや消費電流などの問題を解消するなどの効果を享受できる。

＜通常映像出力側の動作＞
一方、図１４において、通常画像出力処理の動作タイミングは、図１４に示すｎフレーム（現在のフレーム）の読出期間の動作だけを行なうとよい。ｎ−１フレーム（直前のフレーム）の読出処理を停止させるには、参照信号生成部２７Ａやカウンタ部２５４Ａに供給するカウンタクロックＣＫ０を供給しないようにすればよい。こうすることで、ｎフレーム（現在のフレーム）の映像信号のみを取り出すことができる（図１５参照）。

なお、図１４の時間差分処理におけるｎフレーム（現在のフレーム）の読出期間の画素信号の極性は負であるが、通常画像出力処理の場合には、リセットレベルΔＶ２についてはダウンカウントモード、信号レベルＶssn（真の信号成分Ｖsig2）についてはアップカウントモードとすることで、正極性の画素信号を取得することができる。

このように、第３実施形態の固体撮像装置１によれば、動体検出用の時間差分データＤ５とともに、通常画像を示す映像データＤ１を並行して出力するようにしたので、動き検出とビデオ信号の出力を同時に行なうことができる。これにより、時間差分データＤ５と映像データＤ１とを、状況に応じて適宜切り替えてもしくは両方を同時に用いることで、種々な使い方ができるようになる。

なお、上記実施形態では、カラムＡＤ回路２５Ｂが行方向に複数配列され、行単位で画素部１０から送られる１行分の画素信号を各カラムＡＤ回路２５Ｂにて同時並行処理する構成のものに、比較処理とカウント処理とを組み合わせてＡＤ変換処理を行なうことで時間差分処理を行なう仕組みについて説明したが、比較処理とカウント処理とを組み合わせてＡＤ変換処理を行なうことで時間差分処理を行なうという基本的な仕組みに関しては、画素信号を１つ１つ取り出して処理する構成のデバイスにも適用することができる。

また、接合型電界効果トランジスタやフローティングディフュージョンなどの画素内メモリを有する構造の単位画素３を持つデバイスへの適用について説明したが、適用可能なデバイスは、画素内メモリを持つものに限定されない。たとえば、画素内メモリを備えていなければ、前フレームの画素信号を取り込んで参照信号と比較するとともに、この比較処理と並行してカウント処理を行ない、比較処理が完了した時点のカウント値を取得すし、この取得したカウント値を一旦デバイス外のフレームメモリに格納することで前フレームについてのＡＤ変換処理を完了させる。

つまり、差分処理の一方（前フレーム）の画素信号については、予めデジタルデータ化しておく。なお、前フレームの画素信号を予めデジタルデータにしておけばよく、カラムＡＤ回路２５Ｂを利用してデジタル化するものでなくてもよく、他のＡＤ変換装置を使用して前フレームの画素データを取得してフレームメモリに保存しておいてもよい。

この後、現フレームについてのＡＤ変換処理時には、処理対象画素について、フレームメモリに格納してある同一画素位置の前フレームのカウント値（画素データ）をカウント処理の初期値として、画素信号と参照信号とを比較するとともに、この比較処理と並行してカウント処理を行ない、比較処理が完了した時点のカウント値を取得することで、時間差分処理を行なうようにしてもよい。前フレームのカウント値（画素データ）を正のデータとしてフレームに保存していれば、現フレームのカウント処理はダウンカウントモードとすればよい。

＜第４実施形態；時間加算処理＞
図１６は、図１に示した第１実施形態の固体撮像装置１の演算データ処理部１１ＢにおけるカラムＡＤ回路２５Ｂによる時間加算処理の動作を説明するためのタイミングチャートである。以下、この態様を第４実施形態という。また、図１７および図１８は、第４実施形態における時間加算処理の処理態様を説明する図である。

ここで説明する時間加算処理は、積和演算処理機能として、空間加算処理に代えて、時間加算処理を行なうことで、ダイナミックレンジの拡大を可能に構成した点に特徴を有する。ここで、時間加算処理を行なうに際しては、それぞれ異なる蓄積時間の元で取得された複数の処理対象画素信号を取り扱い、加算演算を行なう。これにより蓄積時間の異なる画像を合成した合成画像を、演算済み画像として取得できる。この演算済み画像（合成画像）は、ダイナミックレンジの広い画像となる。

時間加算処理として、蓄積時間の異なる画像を取り扱う場合、加算演算の対象画素は同一配列位置のものとする。また、蓄積時間の設定範囲としては、長時間蓄積側は概ね１フレーム期間近傍に蓄積時間を設定する。もちろん、電子シャッタ機能を使う場合には、さらに蓄積時間を短くすることもできる。これに対して、短時間蓄積側は、１水平期間（たとえば６４マイクロ秒）以下の蓄積時間とする。これは、水平行（走査線）ごとに走査する時間だけ蓄積期間がずれるというＣＭＯＳセンサ特有の性質を利用して、水平行（走査線）ごとに走査して画素信号を読み出す際に、同一水平期間内で、長時間蓄積側の画素信号の読み出しを行なった後に、短時間蓄積を行ない、直ぐにその短時間蓄積側の画素信号の読み出しを行なうためである。

図３と図１６との比較から分かるように、時間加算処理時には、図５に示した空間加算処理と同様に、処理対象画素信号のＡＤ変換処理におけるリセット成分ΔＶと信号成分Ｖsig とについてのカウントモードの組合せを同一にすればよい。すなわち、比較的長時間蓄積された第１の処理対象画素のＡＤ変換処理が完了した後にカウンタ部２５４Ｂをリセットしないで、リセット成分ΔＶと信号成分Ｖsig とについて、比較的短時間蓄積された第２の処理対象画素のＡＤ変換処理時のカウントモードの組合せと同一の組合せで各処理対象画素信号のＡＤ変換処理を行なうようにする。

こうすることで、図１６に示した例では、短時間蓄積の画素信号についての２回目のカウント処理が完了した後にカウンタ部２５４Ｂに保持されるカウント値は、蓄積時間の異なる２つの画素信号Ｖ１，Ｖ２間での加算演算の結果（Ｖsig1＋Ｖsig2）を示すｎビットのデジタル値となる。

ここで、イメージセンサのダイナミックレンジが６０ｄＢあると仮定するとともに、長時間蓄積を１フレーム期間近傍の適当な期間、たとえば約１／１５ミリ秒程度に設定し、また短時間蓄積を１水平期間以下の適当な期間、たとえば約１／１５マイクロ秒程度に設定すると、図１７に示すように、長時間蓄積時間の光量に対するセンサ出力は、光量の変化に対し３桁まで対応することになる。また、短時間蓄積時間の光量に対するセンサ出力も、光量の変化に対し３桁まで対応することになるが、長時間蓄積時間で検出できる光量と３桁ずれることになる。

よって、第１と第２の蓄積時間の異なる出力を加算演算することで得られる加算演算の結果（Ｖsig1＋Ｖsig2）により、６桁すなわち１２０ｄＢのダイナミックレンジを実現できる。たとえば図１８に示すように、長時間蓄積時間では飽和してしまう部分が存在する画像を、短時間蓄積時間で検出された画像で補うことができ、一方の蓄積時間だけでは画像出力できない飽和レベル以上についても、再現することができるようになる。

なお、実際には、単純な加算処理では、光量に対するセンサ出力が視感度と適合した理想的なニー特性にはならない。すなわち、光量の対数に比例して明るさを識別するという人間の視覚特性に合わない。

この問題を解消するには、図示を割愛するが、参照信号生成部２７Ｂにて発生させる参照信号RAMPを、線形に変化させずに、傾きを数段階に亘り変化させるのがよい。このときの変化のさせ方としては、ＡＤ変換の初期において参照電位RAMPの傾きを小さくすることで係数を大きく設定（高ゲインにする）し、ＡＤ変換が進むに従って、参照電位RAMPの傾きを大きくするのがよい。こうすることで、人間の目の感度の対数特性に合わせて、人間の目が暗部での明るさの変化に敏感であることに適合するように暗部での階調精度を維持し、人間の目が明部での明るさの変化に鈍感であることに適合するように明部での階調精度を甘くする。

これにより、異なる蓄積時間の合成だけに留まらず、感度特性にガンマ補正を施し、より自然なセンサ特性を実現することができる。異なる蓄積時間の間の感度差を自然に繋ぐことができ、より自然な画像を合成することができるようになる。

以上説明したように、時間加算処理の応用として、蓄積時間の異なる同一位置の複数の画素信号についてそれぞれカウント処理してＡＤ変換を行なう際に、各画素信号の内の一方について取得したデジタルデータを他方の画素信号（後のカウント処理の対象信号）のカウント処理の初期値とすることで、複数の単位画素３のうちの他方についてカウント処理にてＡＤ変換をした後には、自動的に全ての画素信号についての加算演算結果を示すｎビットのデジタルデータを取得して演算データＤ２として出力することができる。そして、本例においては、演算データＤ２として、ダイナミックレンジを拡大可能なデータを取得できる。高ダイナミックレンジを実現しながらデジタル画像データのビット幅をｎビットに維持する、換言すればビット幅を圧縮することができる。白飛びや黒潰れの緩和された光量に対するダイナミックレンジの広い画像を取得することができるようになる。

加算器、ラインメモリ装置などの追加回路なしに、蓄積時間の異なる同一位置の複数の画素信号のデジタル値の加算演算を実行することができる。蓄積時間の異なる画像をデジタル値で合成できるため、フレームメモリなどの外部回路の追加や、内部回路の追加を必要としないで、ワイドダイナミックレンジを実現できる。感度特性にガンマ補正を施すことで、視感度特性に合致したセンサ特性を実現することができる。

なお、上記実施形態では、同一水平期間内で、長時間蓄積側の画素信号の読み出しを行なった後に、短時間蓄積を行ない、直ぐにその短時間蓄積側の画素信号の読み出しを行なうようにしており、短時間蓄積側は、１水平期間（たとえば６４マイクロ秒）以下の蓄積時間となるので、蓄積時間に自由度がない。この問題を解消するには、たとえば垂直列方向の２画素（つまり２行）を使い、一方の行の画素は長時間蓄積に割り当て、他方の行の画素は短時間蓄積に割り当てるようにするとよい。こうすることで、行ごとに蓄積時間を自由に設定できるようになるので、短時間蓄積側も蓄積時間に自由度が生まれる。なお、このような行ごとの蓄積時間設定は垂直走査回路１４により行なうこともできるが、その制御を容易にするため、それぞれ専用の蓄積時間制御回路を設けて蓄積時間を制御するようにしてもよい。

＜通常映像出力側の動作＞
一方、図１６において、通常データ処理部１１Ａにおける通常画像出力処理の動作タイミングは、図１６に示す長時間蓄積の画素の読出期間の動作だけを行なうか、もしくは短時間蓄積の画素の読出期間の動作だけを行なうとよい。何れか一方の読出処理を停止させるには、参照信号生成部２７Ａやカウンタ部２５４Ａに供給するカウンタクロックＣＫ０を供給しないようにすればよい。こうすることで、長時間蓄積および短時間蓄積の何れか一方の画素に基づく映像信号のみを取り出すことができる（図１６では短時間蓄積側を取り出す例で示している）。

このように、演算データ処理部１１Ｂにて、時間加算処理の応用として、蓄積時間の異なる同一位置の複数の画素信号についての加算演算を適用して演算データＤ２を出力するのと並行して、通常画像を示す映像データＤ１を出力するようにすることで、ダイナミックレンジアップと通常ビデオ信号の出力を同時に行なうことができる。これにより、時間加算データで示されるダイナミックレンジアップ画像と、通常画像とを、状況に応じて適宜切り替えてもしくは両方を同時に用いることで、種々な使い方ができるようになる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、上記実施形態では、画素部１０の読出し側に位置するカラム領域にＡＤ変換機能部を設けていたが、その他の箇所に設けることもできる。たとえば、水平信号線１８までアナログで画素信号を出力して、その後にＡＤ変換を行ない出力回路２８に渡すような構成としてもよい。

この場合でも、ＡＤ変換用の参照信号と積和演算対象の複数の画素信号とを比較し、この比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持する際、積和演算対象の複数の画素信号の内の一方についてのデジタルデータをカウント処理の初期値としておくことで、他方の画素信号についてＡＤ変換処理をした時点で、和演算結果を表すデジタルデータを、カウント処理した結果として得ることができる。

この結果、積和演算対象の複数の画素信号基のそれぞれのカウント結果を保持するメモリ装置をカウンタ部が備えるラッチ機能で実現でき、ＡＤ変換されたデータを保持する専用のメモリ装置をカウンタとは別に用意する必要がない。全ての垂直列に対して１つのＡＤ変換機能部を設ければよく、高速な変換処理が必要にはなるものの回路規模は上記実施形態よりも少なくなる。

また、上記実施形態では、モード切替え後のカウント処理時に、切替え前の最終カウント値からカウント処理を開始するようにしていたが、カウント出力値がカウントクロックＣＫ０に同期して出力される同期式のアップダウンカウンタを用いる場合には、モード切替時に特段の対処を要することなく、このことを実現できる。

しかしながら、動作制限周波数が最初のフリップフロップ（カウンタ基本要素）の制限周波数でのみ決められ高速動作に適する利点がある非同期式のアップダウンカウンタを用いる場合には、カウントモードを切り替えた際、カウント値が破壊されてしまい、切替え前後で値を保ったまま連続しての正常なカウント動作が行なえない問題を有する。よって、モード切替え前のカウント値からモード切替え後のカウント処理を開始可能にする調整処理部を設けることが好ましい。なお、ここでは調整処理部の詳細については説明を割愛する。なお、複数の信号間で加算処理を行なう場合、前段と後段の各カウントモードを同じにすればよく、このような対処は不要である。

また、上記実施形態では、画素信号が、時間系列として、同一画素について、リセット成分ΔＶ（基準成分）の後に信号成分Ｖsig が現れ、後段の処理部が正極性（信号レベルが大きいほど正の値が大きい）の信号について処理するものに対応して、真の信号成分を求めるに際して、１回目の処理として、リセット成分ΔＶ（基準成分）について比較処理とダウンカウント処理を行ない、２回目の処理として、信号成分Ｖsig について比較処理とアップカウント処理を行なうようにしていたが、基準成分と信号成分が現れる時間系列に拘わらず、対象信号成分とカウントモードとの組合せや処理順は任意である。処理手順によっては、２回目の処理で得られるデジタルデータが負の値になることもあるが、その場合には、符号反転や補正演算をするなどの対処をすればよい。

もちろん、画素部１０のデバイスアーキテクチャとして、信号成分Ｖsig の後にリセット成分ΔＶ（基準成分）を読み込まなければならず、後段の処理部が正極性の信号について処理するものである場合には、１回目の処理として、信号成分Ｖsig について比較処理とダウンカウント処理を行ない、２回目の処理として、リセット成分ΔＶ（基準成分）について比較処理とアップカウント処理を行なうのが効率的である。

また、上記実施形態では、画素信号が、時間系列として、同一画素について、リセット成分ΔＶ（基準成分）の後に信号成分Ｖsig が現れるものとして、複数の画素信号間での積和演算をするに当たって、画素信号ごとに、真の信号成分を求める差分処理を行なうようにしていたが、リセット成分ΔＶ（基準成分）を無視できるなど、信号成分Ｖsig のみを対象としてもよい場合には、真の信号成分を求める差分処理を割愛することができる。

また、上記実施形態では、アップダウンカウンタを動作モードに拘わらず共通に使用しつつ、その処理モードを切り替えてカウント処理を行なうようにしていたが、ダウンカウントモードとアップカウントモードを組み合わせてカウント処理を行なうものであればよく、モード切替可能なアップダウンカウンタを用いた構成に限定されない。

たとえば、ダウンカウント処理を行なうダウンカウンタ回路と、アップカウント処理を行なうアップカウンタ回路との組合せでカウンタ部を構成することもできる。この場合、カウンタ回路は、公知の技術を利用して任意の初期値をロードすることのできる構成のものとするのがよい。たとえば、ダウンカウントの後にアップカウントを行なう場合であれば、図１９（Ａ）に示すように、１回目のカウント処理ではダウンカウンタ回路を作動させ、２回目のカウント処理ではアップカウンタ回路を作動させる。このとき、カウントモード切替用の切替制御信号ＣＮ５によりカウントモードを切り替えた後のアップカウント処理の開始前に、初期値設定用のロード制御信号ＣＮldをアップカウンタ回路のロード端子ＬＤｕに供給することで、ダウンカウント処理で取得したダウンカウント値を初期値としてアップカウンタ回路に設定する。

また、アップカウントの後にダウンカウントを行なう場合であれば、図１９（Ｂ）に示すように、１回目のカウント処理ではアップカウンタ回路を作動させ、２回目のカウント処理ではダウンカウンタ回路を作動させる。このとき、カウントモード切替用の切替制御信号ＣＮ５によりカウントモードを切り替えた後のダウンカウント処理の開始前に、初期値設定用のロード制御信号ＣＮldをダウンカウンタ回路のロード端子ＬＤｄに供給することで、アップカウント処理で取得したアップカウント値を初期値としてダウンカウンタ回路に設定する。

なお、複数の信号間で加算処理を行なう場合、前段と後段の各カウントモードを同じに維持したまま、後段側のカウント回路におけるカウント処理の開始前に、複数の信号間で減算処理を行なう場合と同様にして初期値設定を行なえばよい。

こうすることで、図１９（Ａ）および図１９（Ｂ）の何れの構成も、後段のカウンタ回路の出力としては、複数の信号（基準成分と信号成分も含む）間で減算処理が直接にでき、複数の信号との差を取るための特別な加算回路が不要になる。また、非特許文献１では必要としていた減算器へのデータ転送が不要になり、そのための雑音の増加や電流あるいは消費電力の増大を解消することができる。

なお、ダウンカウンタ回路とアップカウンタ回路との組合せでカウンタ部を構成する場合、２回目のカウント処理に際して、１回目のカウント処理で取得したカウント値を初期値として設定せず、ゼロからカウントする構成を排除するものではない。

この場合、たとえば差分処理に対応する場合であれば、図１９（Ｃ）に示すように、アップカウンタ回路の出力Ｑup（正方向の値）とダウンカウンタ回路の出力Ｑdown（負方向の値）の和を取る加算回路が必要となるが、この場合でも、比較部とカウンタ部とで構成されるＡＤ変換部ごとに加算回路を設けるので、配線長を短くでき、データ転送のための雑音の増加や電流あるいは消費電力の増大を解消することができる。

図１９に示した何れの構成も、ダウンカウンタ回路とアップカウンタ回路の動作の指示は、上記実施形態と同様に通信・タイミング制御部２０が行なうことができる。また、ダウンカウンタ回路とアップカウンタ回路は、ともにカウントクロックＣＫ０で動作させればよい。

また、上記実施形態では、ＮＭＯＳあるいはＰＭＯＳより構成されている単位画素が行列状に配されて構成されたセンサを一例に説明したが、これに限らず、一列に配されたラインセンサにも適用でき上記実施形態で説明したと同様の作用・効果を享受可能である。

また、上記実施形態では、アドレス制御により個々の単位画素からの信号を任意選択して読出可能な固体撮像装置の一例として、光を受光することで信号電荷を生成する画素部を備えたＣＭＯＳセンサを例に示したが、信号電荷の生成は、光に限らず、たとえば赤外線、紫外線、あるいはＸ線などの電磁波一般に適用可能であり、この電磁波を受けてその量に応じたアナログ信号を出力する素子が多数配列された単位構成要素を備えた半導体装置に、上記実施形態で示した事項を適用可能である。

また、上記実施形態では、正方形状の単位画素３が正方格子状に配列されたものを対象に説明したが、単位画素の配列は、正方格子状に限らず、たとえば、図１に示した画素部１０を斜め４５度に傾けた配列状態の斜行格子状のものであってもよい。

また、単位画素の平面視上の形状が正方であるものとしていたが、正方に限らず、たとえば、６角形（ハニカム状）であってもよい。この場合、単位画素の配列は、たとえば以下のようにする。１つの単位画素列および１つの単位画素行は、それぞれ複数個の単位画素を含むようにする。

偶数列を構成している複数個の単位画素の各々は、奇数列を構成している複数個の単位画素に対し、各単位画素列内での単位画素同士のピッチの約１／２、列方向にずらす。同様に、偶数行を構成する複数個の単位画素の各々は、奇数行を構成する複数個の単位画素に対し、各単位画素行内での単位画素同士のピッチの約１／２、行方向にずらす。単位画素列の各々は、奇数行または偶数行の単位画素のみを含むようにする。

これら単位画素の電荷生成部に蓄積された信号電荷に基づく画素信号をカラム処理部２６側へ読み出すために、行制御線を設けるが、その配置は、ハニカム状の単位画素３の周りに蛇行して配される。逆に言えば、行制御線をハニカム状に配設することによって生じる６角形の隙間それぞれに、単位画素の各々が平面視上に位置するようにする。こうすることで、全体としては、約１／２ピッチの画素ずらしを交互にしながら、垂直方向に画素信号を読み出すようになる。

この単位画素や行制御線をハニカム配列にすれば、個々の単位画素における電荷生成部の受光面の面積低下を抑制しつつ、画素密度を向上させることができる。

単位画素の形状や配列に拘らず、何れの場合も、画素部１０をカラー撮像対応にする場合、積和演算処理時には、同色成分同士での演算がなされるように、画素を選択すればよい。すなわち、色分解フィルタの各色フィルタの配置位置に基づいて、積和演算の対象となる複数の単位信号が同一色の色フィルタのものとなるように、複数の単位構成要素のそれぞれの位置を指定するようにすればよい。

また、上記実施形態では、処理対象信号に応じた電気信号とＡＤ変換用の参照信号とを比較する比較部と、比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較部における比較処理が完了した時点のカウント値を保持するカウンタ部とを備えてなるデータ処理装置としてのＡＤ変換回路（ＡＤ変換装置；前例ではカラムＡＤ回路）を固体撮像装置に適用した事例を説明したが、上記実施形態で説明したＡＤ変換回路やデータ処理装置の仕組みは、固体撮像装置に限らず、２つの信号成分の差信号成分や和信号成分あるいは和と任意に組み合わせた積和演算信号をデジタルデータに変換するためのＡＤ変換の仕組みを用いるあらゆる電子機器に適用することができる。

たとえば、固体撮像装置１の外部にて、固体撮像装置１から取り込んだアナログの画素信号に基づき、上記実施形態で説明した比較器とカウンタとを利用してＡＤ変換を行ないつつ、複数の処理対象信号に基づき積和演算して演算済み画像を出力するのと並行して、処理対象信号のうちの何れか１つに基づいて通常データを生成し出力する電子機器を構成することもできる。この場合でも、演算済み画像と通常ビデオ信号の出力を同時に行なうことができるので、演算済み画像と通常画像とを、状況に応じて適宜切り替えてもしくは両方を同時に用いることで、上記実施形態で説明したと同様に、種々な使い方ができるようになる。

また、上記実施形態でデータ処理装置の一例として説明したＡＤ変換回路は、固体撮像装置やその他の電子機器に組み込まれて提供されることに限らず、たとえばＩＣ（Integrated Circuit；集積回路）や複数画素間での積和演算機能（データ処理機能）を持つＡＤ変換モジュールあるいはデータ処理モジュールなどのようにして、単独の装置として提供されてもよい。

この場合、比較部とカウンタ部とを備えたＡＤ変換装置（もしくはデータ処理装置）で提供してもよいが、ＡＤ変換用の参照信号を生成し比較部に供給する参照信号生成部や、カウンタ部におけるカウント処理のモードを制御する制御部も同一の半導体基板上に配したＩＣ（集積回路）や個別チップなどの組合せでなるモジュールに組み込んで提供してもよい。

これらを組み込んで提供することで、比較部とカウンタ部の動作を制御するために必要な機能部を纏めて取り扱うことができ、部材の取扱いや管理が簡易になる。また、ＡＤ変換処理に必要な要素がＩＣやモジュールとして纏まって（一体となって）いるので、固体撮像装置やその他の電子機器の完成品の製造も容易になる。

本発明に係る半導体装置の第１実施形態であるＣＭＯＳ固体撮像装置の概略構成図である。 図１に示した第１実施形態の固体撮像装置のカラムＡＤ回路における基本動作を説明するためのタイミングチャートである。 図１に示した第１実施形態の固体撮像装置のカラムＡＤ回路における空間差分処理時の動作（２列処理）を説明するためのタイミングチャートである。 図１に示した第１実施形態の固体撮像装置のカラムＡＤ回路における他の空間差分処理時の動作を説明するためのタイミングチャートである。 図１に示した第１実施形態の固体撮像装置のカラムＡＤ回路における空間加算処理時の動作（３列処理）を説明するためのタイミングチャートである。 本発明の第２実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 図６に示した第２実施形態の固体撮像装置のカラムＡＤ回路における基本動作を説明するためのタイミングチャートである。 図６示した第２実施形態の固体撮像装置のカラムＡＤ回路における空間差分処理時の動作を説明するためのタイミングチャートである。 空間差分処理や空間加算処理におけるフレームレートとの関わりを説明するタイミングチャートである。 図１や図６に示した固体撮像装置１のカラムＡＤ回路における空間差分処理動作を説明するためのタイミングチャートである。 本発明の第３実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第３実施形態で用いる単位画素の構造模式図である。 第３実施形態の単位画素を駆動する動作を説明するタイミングチャートである。 図１１に示した第３実施形態の固体撮像装置のカラムＡＤ回路における時間差分処理動作を説明するためのタイミングチャートである。 時間差分処理におけるフレームレートとの関わりを説明するタイミングチャートである。 図１に示した第１実施形態の固体撮像装置１の演算データ処理部１１ＢにおけるカラムＡＤ回路２５Ｂによる時間加算処理の動作を説明するためのタイミングチャートである。 時間加算処理の処理態様を説明する図である（その１）。 時間加算処理の処理態様を説明する図である（その２）。 カウンタ部の変形例を示す回路ブロック図である。

符号の説明

１…固体撮像装置、３…単位画素、７…駆動制御部、１０…画素部、１１Ａ…通常データ処理部、１１Ｂ…演算データ処理部、１２…水平走査回路、１４…垂直走査回路、１５…行制御線、１８…水平信号線、１９…垂直信号線、２０…通信・タイミング制御部、２３…クロック変換部、２４…カウンタ部、２５…カラムＡＤ回路、２６…カラム処理部、２７…参照信号生成部、２７ａ…ＤＡ変換回路、２８…出力回路、２５２…電圧比較部、２５４…カウンタ部、２５６…データ記憶部、２５８…スイッチ

Claims (40)

1. 複数の処理対象信号の積和演算結果のデジタルデータを取得するデータ処理方法であって、
   前記複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、前記複数の処理対象信号のうちの他方に応じた電気信号と、当該他方についてのデジタルデータを取得するための参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、前記比較処理が完了した時点のカウント値を保持し、この保持したカウント値を所定のタイミングで演算済みデータとして出力するとともに、
   前記複数の処理対象信号のうちの何れか１つに基づいて通常データを生成し出力する
   ことを特徴とするデータ処理方法。
2. 前記複数の処理対象信号の内の前記一方に応じた電気信号と、当該一方についてのデジタルデータを取得するための参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、前記比較処理が完了した時点のカウント値を保持することで、前記一方についてのデジタルデータを取得し前記初期値に設定する
   ことを特徴とする請求項１に記載のデータ処理方法。
3. 前記積和演算結果としての、処理対象信号の差分演算結果のデジタルデータを取得する際には、一方の処理対象信号についてのカウントモードと、他方の処理対象信号についてのカウントモードとを逆のモードにする
   ことを特徴とする請求項２に記載のデータ処理方法。
4. 前記処理対象信号のそれぞれは、実質的に同一時点に取得されたものであり、
   前記差分演算の処理は空間差分処理である
   ことを特徴とする請求項３に記載のデータ処理方法。
5. 前記処理対象信号のそれぞれは、実質的に異なる時点に取得されたものであり、
   前記差分演算の処理は時間差分処理である
   ことを特徴とする請求項３に記載のデータ処理方法。
6. 前記積和演算結果としての、処理対象信号の加算演算結果のデジタルデータを取得する際には、一方の処理対象信号についてのカウントモードと、他方の処理対象信号についてのカウントモードとを同一のモードにする
   ことを特徴とする請求項２に記載のデータ処理方法。
7. 前記処理対象信号のそれぞれは、実質的に同一時点に取得されたものであり、
   前記加算演算の処理は空間加算処理である
   ことを特徴とする請求項６に記載のデータ処理方法。
8. 前記処理対象信号のそれぞれは、蓄積時間の異なる条件の元で取得されたものであり、
   前記加算演算の処理はダイナミックレンジアップ処理である
   ことを特徴とする請求項６に記載のデータ処理方法。
9. 前記ダウンカウントモードと前記アップカウントモードとにおける各カウント処理を、モード切替可能なアップダウンカウンタを共通に用いつつ、その処理モードを切り替えて行なう
   ことを特徴とする請求項１に記載のデータ処理方法。
10. 前記積和演算における前記処理対象信号の数に基づいて、前記カウント処理のビット数を調整する
    ことを特徴とする請求項１に記載のデータ処理方法。
11. 前記積和演算における前記処理対象信号の数を２＾ｍ（“＾”はべき乗）としたとき、前記カウント処理のビット数を、通常時の１つの処理対象信号についての前記カウント処理のビット数に対してｍだけ削減する
    ことを特徴とする請求項１０に記載のデータ処理方法。
12. 前記参照信号の時間変化量により、前記積和演算における前記処理対象信号についての係数を設定する
    ことを特徴とする請求項２に記載のデータ処理方法。
13. 前回の前記カウント処理において取得した前記積和演算結果を示すカウント値を所定のデータ記憶部に保持しておき、
    今回の前記カウント処理を行なう際に、前記データ記憶部からの前記カウント値の読出処理を並行して行なう
    ことを特徴とする請求項１に記載のデータ処理方法。
14. 前記複数の処理対象信号のうちの何れか一方に基づく前記通常データを、当該一方に応じた電気信号と当該一方についてのデジタルデータを取得するための参照信号とを比較するとともに、この比較処理と並行して前記ダウンカウントモードおよび前記アップカウントモードのうちの何れか一方のモードでカウント処理を行ない、前記比較処理が完了した時点のカウント値を保持し、この保持したカウント値を所定のタイミングで取り出すことで取得する
    ことを特徴とする請求項１に記載のデータ処理方法。
15. 入射された電磁波に対応する電荷を生成する電荷生成部および前記電荷生成部により生成された電荷に応じた、基準成分と信号成分とを含んで表されるアナログの単位信号を生成する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置であって、
    アナログの処理対象信号と当該処理対象信号をデジタルデータに変換するための参照信号とを比較する比較部、複数のアナログの処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における比較処理が完了した時点のカウント値を保持するカウンタ部、および前記カウンタ部で保持されたカウント値を演算済みデータとして所定のタイミングで読み出す読出制御部を有する演算データ処理部と、
    複数の処理対象信号のうちの何れか１つに基づいて通常データを生成し出力する通常データ処理部と
    を備えることを特徴とする半導体装置。
16. 前記カウンタ部における前記カウント処理のモードを制御する制御部
    をさらに備えたことを特徴とする請求項１５に記載の半導体装置。
17. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とからなる組を、前記単位構成要素の列の並び方向である行方向に複数備えている
    ことを特徴とする請求項１５に記載の半導体装置。
18. 前記比較部と前記カウンタ部とが処理対象とする複数の前記単位構成要素のそれぞれの位置を指定して前記単位信号生成部から前記複数の単位信号のそれぞれを前記比較部に入力させる単位信号選択制御部
    をさらに備えたことを特徴とする請求項１５に記載の半導体装置。
19. 前記単位構成要素が行列状に配されており、
    前記単位信号選択制御部は、それぞれが同一列の前記単位構成要素の前記単位信号生成部から出力される前記単位信号を、列単位で切り替えて前記比較部に入力させる列選択処理部を有している
    ことを特徴とする請求項１８に記載の半導体装置。
20. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とは、前記単位信号選択制御部の制御の元で、前記単位信号生成部により生成され列方向に出力される同一列の複数の行の単位信号を前記複数の単位信号として、それぞれが担当する処理を行なう
    ことを特徴とする請求項１８に記載の半導体装置。
21. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とは、前記単位信号選択制御部の制御の元で、前記単位信号生成部により生成され列方向に出力される同一行の複数の列の単位信号を前記複数の単位信号として前記カウント処理を行なう
    ことを特徴とする請求項１８に記載の半導体装置。
22. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とは、前記単位信号選択制御部の制御の元で、前記単位信号生成部により生成され列方向に出力される同一列の複数の行と、前記単位信号生成部により生成され列方向に出力される同一行の複数の列の各処理対象信号を前記複数の処理対象信号として前記カウント処理を行なう
    ことを特徴とする請求項１８に記載の半導体装置。
23. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とからなる組を、前記単位構成要素の列の並び方向である行方向に複数備えており、
    前記単位信号選択制御部は、一方の組の前記カウンタ部に保持されたカウント値が示す前記積和演算結果のデジタルデータが他方の組の前記カウント処理における初期値となるように制御する
    ことを特徴とする請求項１８に記載の半導体装置。
24. 前記単位構成要素が行列状に配されており、
    前記一方の組の前記比較部と前記カウンタ部とは、前記単位信号選択制御部の制御の元で、前記単位信号生成部により生成され列方向に出力される同一列の複数の行の単位信号を前記複数の単位信号として、それぞれが担当する処理を行なう
    ことを特徴とする請求項１８に記載の半導体装置。
25. それぞれの前記電荷生成部の前記電磁波が入射される面には、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられており、
    前記単位信号選択制御部は、前記色分解フィルタの各色フィルタの配置位置に基づいて、前記積和演算の対象となる前記複数の単位信号が同一色の前記色フィルタのものとなるように、前記複数の単位構成要素のそれぞれの位置を指定する
    ことを特徴とする請求項１８に記載の半導体装置。
26. 前記制御部は、前記積和演算結果としての、処理対象信号の差分演算結果のデジタルデータを取得する際には、一方の処理対象信号についてのカウントモードと、他方の処理対象信号についてのカウントモードとを逆のモードに設定する
    ことを特徴とする請求項１８に記載の半導体装置。
27. 前記比較部と前記カウンタ部とは、それぞれ異なる配列位置の前記単位構成要素にて実質的に同一時点に取得された前記複数の処理対象信号について、それぞれが担当する処理を行なうことで、前記積和演算の処理として空間差分処理を行なう
    ことを特徴とする請求項１８に記載の半導体装置。
28. 前記比較部と前記カウンタ部とは、同一配列位置の前記単位構成要素におけるそれぞれ異なる時刻に取得された前記複数の処理対象信号について、それぞれが担当する処理を行なうことで、前記積和演算の処理として時間差分処理を行なう
    ことを特徴とする請求項１８に記載の半導体装置。
29. 前記単位構成要素は、相対的に前の時刻に前記電荷生成部が生成した電荷を保持するメモリ機能要素を備えており、
    前記比較部と前記カウンタ部とは、少なくとも前記複数の処理対象信号についての一方の処理対象信号に関しては、前記メモリ機能要素に保持された電荷に基づいて前記単位信号生成部により生成された処理対象信号について、それぞれが担当する処理を行なう
    ことを特徴とする請求項２８に記載の半導体装置。
30. 前記制御部は、前記積和演算結果としての、処理対象信号の加算演算結果のデジタルデータを取得する際には、一方の処理対象信号についてのカウントモードと、他方の処理対象信号についてのカウントモードとを同一のモードに設定する
    ことを特徴とする請求項１８に記載の半導体装置。
31. 前記比較部と前記カウンタ部とは、それぞれ異なる配列位置の前記単位構成要素にて実質的に同一時点に取得された前記複数の処理対象信号について、それぞれが担当する処理を行なうことで、前記積和演算の処理として空間加算処理を行なう
    ことを特徴とする請求項３０に記載の半導体装置。
32. 前記比較部と前記カウンタ部とは、前記単位構成要素におけるそれぞれ異なる電磁波の照射時間の元で取得された前記複数の処理対象信号について、それぞれが担当する処理を行なうことで、前記積和演算の処理としてダイナミックレンジアップ処理を行なう
    ことを特徴とする請求項３０に記載の半導体装置。
33. 前記カウンタ部は、共通のカウンタ回路で構成され、かつ前記アップカウントモードと前記ダウンカウントモードとを切替可能に構成されている
    ことを特徴とする請求項１５に記載の半導体装置。
34. 前記制御部は、前記積和演算における前記処理対象信号の数に基づいて、前記カウンタ部におけるカウント処理のビット数を調整する
    ことを特徴とする請求項１８に記載の半導体装置。
35. 前記制御部は、前記積和演算における前記処理対象信号の数を２＾ｍ（“＾”はべき乗）としたとき、前記カウント処理のビット数を、通常時の１つの処理対象信号についての前記カウント処理のビット数に対してｍだけ削減するように制御する
    ことを特徴とする請求項３４に記載の半導体装置。
36. 前記比較部は、前記複数の処理対象信号の内の前記一方に応じた電気信号と、当該一方についてのデジタルデータを取得するための参照信号とを比較し、
    前記カウンタ部は、前記比較部における比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、前記比較処理が完了した時点のカウント値を保持することで、前記一方についてのデジタルデータを取得し前記初期値に設定する
    ことを特徴とする請求項１５に記載の半導体装置。
37. 前記通常データ処理部は、前記通常データの基礎となる前記複数の処理対象信号のうちの何れか一方に応じた電気信号と当該一方についてのデジタルデータを取得するための参照信号とを比較する比較部と、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持するカウンタ部とを有し、当該カウンタ部で保持されたカウント値を所定のタイミング前記通常データとして出力する
    ことを特徴とする請求項１５に記載の半導体装置。
38. 前回の前記カウント処理において取得した前記積和演算結果を示すカウント値を保持するデータ記憶部と、
    今回の前記カウント処理について、前記比較部と前記カウンタ部とが、それぞれが担当する処理を行なうのと並行して、前記データ記憶部から前記カウント値を読み出す読出走査部と
    をさらに備えたことを特徴とする請求項１５に記載の半導体装置。
39. 前記単位信号生成部は、前記電荷生成部により生成された電荷に応じたアナログの電圧信号を前記単位信号として生成して前記比較部に供給する半導体素子を有する
    ことを特徴とする請求項１５に記載の半導体装置。
40. 複数の処理対象信号のうちの一方および他方に応じたアナログの処理対象信号をデジタルデータに変換するためのそれぞれの参照信号を生成する参照信号生成部と、
    前記アナログの処理対象信号と、前記参照信号生成部が生成した参照信号とを比較する比較部と、
    前記複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持するカウンタ部と、
    前記カウンタ部における前記カウント処理のモードを制御する制御部と、
    前記ウンタ部が保持したカウント値を演算済みデータとして所定のタイミングで読み出す読出制御部と、
    前記複数の処理対象信号のうちの何れか１つに基づいて通常データを生成し出力する通常データ処理部と
    を備えたことを特徴とする電子機器。
    

Images