JP4380439B2 - データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器 - Google Patents

データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器 Download PDF

Info

Publication number
JP4380439B2
JP4380439B2 JP2004209886A JP2004209886A JP4380439B2 JP 4380439 B2 JP4380439 B2 JP 4380439B2 JP 2004209886 A JP2004209886 A JP 2004209886A JP 2004209886 A JP2004209886 A JP 2004209886A JP 4380439 B2 JP4380439 B2 JP 4380439B2
Authority
JP
Japan
Prior art keywords
unit
signal
count
processing
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004209886A
Other languages
English (en)
Other versions
JP2006033452A (ja
Inventor
嘉一 新田
範之 福島
良徳 村松
幸弘 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004209886A priority Critical patent/JP4380439B2/ja
Priority to TW094123378A priority patent/TWI281821B/zh
Priority to US11/179,772 priority patent/US7786921B2/en
Priority to KR1020050064206A priority patent/KR101195325B1/ko
Priority to CNA2005101291077A priority patent/CN1770831A/zh
Priority to CN201410359530.5A priority patent/CN104202543A/zh
Publication of JP2006033452A publication Critical patent/JP2006033452A/ja
Application granted granted Critical
Publication of JP4380439B2 publication Critical patent/JP4380439B2/ja
Priority to KR1020110143842A priority patent/KR101195327B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/708—Pixels for edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Analogue/Digital Conversion (AREA)

Description

本発明は、データ処理方法およびデータ処理装置、並びに複数の単位構成要素が配列されてなる物理量分布検知の半導体装置および電子機器に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を、アドレス制御により任意選択して電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置やその他の電子機器に用いて好適な、デジタル信号処理技術に関する。特に、複数種類の処理対象信号を取り扱う際の演算済デジタルデータの取得技術に関する。
光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。
たとえば、映像機器の分野では、物理量のうちの光（電磁波の一例）を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。
また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子（ＡＰＳ；Active Pixel Sensor ／ゲインセルともいわれる）構成の画素を備えた増幅型固体撮像装置がある。たとえば、ＣＭＯＳ型固体撮像装置の多くはそのような構成をなしている。
このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。
たとえば、単位画素がマトリクス状に配されたＸ−Ｙアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、ＭＯＳ構造などの能動素子（ＭＯＳトランジスタ）を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷（光電子）を前記能動素子で増幅し、画像情報として読み出す。
この種のＸ−Ｙアドレス型固体撮像素子では、たとえば、画素トランジスタが２次元行列状に多数配列されて画素部が構成され、ライン（行）ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、ＭＯＳ（ＣＭＯＳを含む）型においては、アドレス制御の一例として、１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式が多く用いられている。
画素部から読み出されたアナログの画素信号は、必要に応じて、アナログ−デジタル変換装置（ＡＤ変換装置；Analog Digital Converter）にてデジタルデータに変換する。このため、種々のＡＤ変換の仕組みが提案されている（たとえば非特許文献１〜５、特許文献１参照）。これらの公知文献の中には、１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式に適合するように、垂直列ごとにＡＤ変換部やその他の信号処理を行なう信号処理部を配置したいわゆる列並列方式を採っているものもある。
W. Yang et. al., "An Integrated 800x600 CMOS ImageSystem," ISSCC Digest of Technical Papers, pp. 304-305, Feb., 1999 米本和也著、"ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用"、ＣＱ出版社、2003年8月10日、初版p201〜203 今村俊文、山本美子、"３．高速・機能ＣＭＯＳイメージセンサの研究"、［online］、［平成16年3月15日検索］、インターネット＜URL:http://www.sankaken.gr.jp/project/iwataPJ/report/h12/h12index.html＞ 今村俊文、山本美子、長谷川尚哉、"３．高速・機能ＣＭＯＳイメージセンサの研究"、［online］、［平成16年3月15日検索］、インターネット＜URL:http://www.sankaken.gr.jp/project/iwataPJ/report/h14/h14index.html＞ Oh-Bong Kwon et. al.,"A Novel Double Slope Analog-to-Digital Converter for a High-Quality 640x480 CMOS Imaging System"、VL3-03 1999 IEEE p335〜338 特開平１１−３３１８８３号公報 特開平１１−８８０５号公報 特開２００１−２６８４５１号公報
一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。この際の仕組みとしては、処理プロセスの側面では、大別すると、アナログ領域にて処理してからデジタルデータに変換する第１の手法と、アナログの画素信号をデジタルデータに変換してから演算（デジタル演算）する第２の手法とがある。
たとえば、処理プロセスの側面における第１の手法としては、非特許文献４，５に記載されているように、エッジ検出処理に際して、光を検出する複数のピクセルからの電流を同時に出力バス上に出力することで、出力バス上で電流による加減算を行ない、この後、時間軸方向に大きさを持つパルス幅信号に変換し、このパルス幅信号のパルス幅のクロック数を列並列に設けられたカウンタ回路でカウントしてＡＤ変換を行なうことで加減算結果をデジタルデータにする仕組みがある。また、特許文献２，３に記載されているように、異なる時点の画素信号の差をアナログ領域で取得してからデジタルデータ（たとえば２値）に変換することで動体検出を行なう仕組みがある。
また、非特許文献６に記載のように、画素内の容量を画素内メモリとして利用して、フォトダイオードで検知した信号電荷を一旦画素内メモリに保持してから読み出すことで電子シャッタ機能を実現する仕組みがある。あるいは、非特許文献７に記載のように、画素内の容量を画素内メモリとして利用して、直前のフレーム信号を保持しておき、現在のフレーム信号と画素内で加算することで、ダイナミックレンジ拡大やエッジ処理あるいは動体検出を行なう仕組みがある。
Chye Huat Aw,Bruce A.Wooley、"FA11.2: A 128X128Pixel Standard-CMOS Image Sensor with Electronic Shutter"、ISSCC96/SESSION11/ELECTRONIC IMAGING CIRCUITS/PAPER FA11.2、1996 ISSCC Digest of Techical Papers, pp180-182 Yoshinori Muramatsu et. al.,"A Signal-Processing CMOS Image Sensor Using a Simple Analog Operation"、IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 38, NO. 1, JANUARY 2003
また、処理プロセスの側面における第２の手法としては、たとえば、特許文献２の従来技術で述べられているように、撮像時点の異なる複数のアナログ映像信号をデジタルに変換して動体検出を行なう仕組みがある。
また、演算処理を何処で行なうかの回路配置の側面では、特許文献２の従来技術で述べられているように、デバイスの外部（チップ外）にて演算処理を行なう手法（オフチップ法という）と、非特許文献４〜７や特許文献２，３に記載されているように、イメージセンサ上に加減算機能など様々な処理機能を設ける手法（オンチップ法という）とがある。特に、画素部から画素信号を取り込む際に、垂直列ごとに信号処理部を配置したいわゆる列並列方式の構造のものは、オンチップ法に適していると考えられている。
しかしながら、これら従来の仕組みは、ＡＤ変換と演算処理の組合せの側面では、処理プロセスと回路配置の両側面ともに、一長一短があり、必ずしも十分なものではない。たとえば、アナログ領域にて加減算をしてからデジタル化する仕組みでは、必ずしも効率的でない問題がある。
また、従来のＡＤ変換機能の中には、減算処理を行なってノイズ成分を除去する相関２重サンプリング機能を持つものもあるが、あくまでも１つの画素信号における信号成分とリセット成分との間での差分処理を行なうものに過ぎない。つまり、画素など同一単位要素から出力される１つの処理対象信号における物理的性質の異なるリセット成分などと信号成分との差を取るもので、複数の画素信号間での演算のように、物理的性質が同一の複数の信号を処理対象とするものではない。よって、高画質のイメージ生成や特殊なアプリケーション利用などのために行なわれる複数画素間で演算処理を行なう範疇のものではなく、高画質のイメージ生成や特殊なアプリケーション利用などのためには、ＡＤ変換の後に、所望のデジタル演算処理を行なう必要がある。
本発明は、上記事情に鑑みてなされたものであり、ＡＤ変換と演算処理を効率的に行なうことのできる仕組みを提供することを目的とする。
本発明に係るデータ処理方法においては、物理的性質が同一の複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、複数の処理対象信号のうちの他方に応じた電気信号と、この他方についてのデジタルデータを取得するための参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持することとした。
前記の通り、本発明に係るデータ処理方法において扱う複数の処理対象信号のそれぞれは、たとえば画素信号など、物理的性質が同一の信号である。たとえば、隣接する複数の画素から出力される画素信号などのように、同一空間平面におけるそれぞれ異なる位置の信号、あるいは同一空間平面における同一位置においてそれぞれ異なる時刻に取得された信号などである。画素信号におけるリセット成分と信号成分のように、同一単位要素から出力される１つの処理対象信号における物理的性質の異なる２つの信号成分を意味するものではない。
比較処理を行なう際には、処理対象信号に応じた電気信号と所定の傾きで変化する参照信号とを比較し、処理対象信号に応じた電気信号と参照信号とが一致する点を探すのがよい。また、カウント処理を行なう際には、比較処理で用いる参照信号の生成時点から、処理対象信号に応じた電気信号と参照信号とが一致した時点までをカウントクロックでカウント（計数）することで、処理対象信号の大きさに対応したカウント値を得るのがよい。なお、参照信号の時間変化量を調整することで、積和演算における処理対象信号についての係数を設定するのがよい。
一方の処理対象信号についてのデジタルデータに関しては、予め本発明の仕組みとは別のものでデジタル化されているもの（別系統の）でもよい。あるいは、一方の処理対象信号に応じた電気信号と、この一方についての参照信号（前記他方についての参照信号と異なるものでもよい）を比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持することで、一方についてのデジタルデータを取得するようにしてもよい。
何れの場合においても、複数の処理対象信号のうちの他方についてのカウント処理にてＡＤ変換をした後には、複数の処理対象信号間での積和演算結果のデジタルデータがカウント値として自動的に得られる。
ここで、積和演算とは、各処理対象信号の係数の絶対値を同じにして、和を取るすなわち加算処理を行なう、もしくは差を取るすなわち加算処理を行なうことに限らず、各処理対象信号の係数の絶対値を異なるものにして和もしくは差を取ることも含む。また、「複数」は、少なくとも２つの意味であり、３、４、あるいはそれ以上の処理対象信号について順次積和演算を行なうものでもよい。
具体的には、本願発明において対象となる積和演算としては、たとえば、一方の処理対象信号についてのカウントモードと、他方の処理対象信号についてのカウントモードとを逆のモードにすることで得られる差分演算がある。３以上の処理対象信号を取り扱う場合には、少なくとも１つの処理対象信号について減算処理となるようにすればよい。加算と減算とを組み合わせた積和演算を行なう場合、加算であるのか減算であるのかに応じてカウント処理のモードを制御する。
この差分演算の一例としては、実質的に同一時点に取得された複数の処理対象信号を取り扱う空間差分処理がある。空間差分処理を行なうことで、エッジ検出や空間フィルタ処理などを行なった画像を、演算済み画像として取得できる。この演算済み画像を利用することで、エッジ強調画像を取得することや直線検出や図形認識を行なうことができる。
また、差分演算の他の一例としては、実質的に異なる時点に取得された複数の処理対象信号を取り扱う時間差分処理がある。時間差分処理を行なうことで、動きのある部分を抽出した画像を、演算済み画像として取得できる。この演算済み画像を利用することで、動体検出や動体追尾を行なうことができる。
なお、固体撮像装置などの半導体装置から出力される信号が真の信号成分だけでなくリセット成分やばら付きなどの成分（纏めて基準成分と呼ぶ）を持ち、基準成分をベースに真の信号成分が加わった形態で信号成分として出力される場合、１つの処理対象信号に関して、真の信号成分を差信号成分として取り出すために、上記本発明の仕組みを利用して差分処理を行なうのがよい。
この場合、基準成分および信号成分のそれぞれに応じた電気信号とデジタルデータに変換するための参照信号とを比較し、この比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持する。この際、基準成分と信号成分の何れについて比較処理を行なっているのかに応じてカウント処理のモードを制御する。
ここで、カウント処理のモード切替処理としては、先ず、１回目の処理として、画素など同一単位要素から出力される１つの処理対象信号における物理的性質の異なる基準成分と信号成分のうちの何れか一方に応じた電気信号と、デジタルデータに変換するための参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持する。
この後、２回目の処理として、基準成分と信号成分のうちの他方と参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの他方のモードでカウント処理を行ない、この比較処理が完了した時点のカウント値を保持する。こうすることで、２回目の処理後に保持されるカウント値は、１回目のカウント値との差となる。つまり、カウントモードを切り替えた２回のカウント処理を行なうことで、基準成分と信号成分の差に応じたデジタル値が２回目のカウント処理のカウント値として得られる。つまり、真の信号成分のデジタルデータが得られる。
なお、２回目の処理で対象とする信号成分とは、少なくとも処理対象信号における真の信号成分を示すものであればよく、真の信号成分のみを意味するものではなく、実際には処理対象信号に含まれる雑音成分やリセット成分などを含むものでもよい。
また、基準成分と信号成分とは、相対的なものであり、基準成分と信号成分との差信号成分は、要するに、画素など同一単位要素から出力される１つの処理対象信号における物理的性質の異なる２つの信号成分間の差の成分であればよい。
ダウンカウントモードやアップカウントモードでカウント処理を行なうに際しては、共通のアップダウンカウンタを用いつつ、その処理モードを切り替えて行なうのがよい。こうすることで、カウント処理に用いるカウンタ回路をコンパクトにすることができる。加えて、２つのモードを切り替えてカウント処理することで、積和演算処理が直接にでき、差を取るための特別な減算器や和を取るための特別な加算器が不要になる。
また、前回のカウント処理で取得した積和演算結果を示すカウント値を所定のデータ記憶部に保持しておき、今回のカウント処理を行なう際には、データ記憶部からのカウント値の読出処理を並行して行なうのがよい。
上述したデータ処理は、入射された電磁波に対応する電荷を生成する電荷生成部および電荷生成部により生成された電荷に応じた単位信号を生成する単位信号生成部を単位構成要素内に含み、この単位構成要素が行列状など所定の順に配された、物理量分布検知のための半導体装置において、単位信号生成部により生成され出力されたアナログの単位信号を処理対象信号としてデジタルデータに変換する処理に利用することができる。
なお、単位構成要素を２次元マトリックス状に配置してある場合、単位信号生成部により生成され列方向に出力されるアナログの単位信号を行単位で（列並列で）アクセスし取り込む（垂直）スキャン読みを行ない、この行単位で、単位構成要素のそれぞれについて、比較処理やカウント処理を行なうことで、ＡＤ変換を同時実行する積和演算処理と単位信号の読出しの高速化を図るのがよい。
単位構成要素を２次元マトリックス状に配置してある場合、積和演算処理の対象となる複数の処理対象信号に応じて、同一列の複数行のものとする列方向の積和演算処理、同一行の複数列のものとする行方向の積和演算処理、あるいはこれらを組み合わせた同一列の複数行かつ同一行の複数列とする２次元状の積和演算処理の３態様の空間処理がある。
１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式とし、列並列に比較部やカウント部を並べて配する場合、比較部とカウント部の組ごとに、列方向の積和演算処理を簡単に行なうことができる。これに対して、行方向の積和演算処理を伴う場合には、複数のカウント部から出力されたデジタルデータに基づき積和演算を行なう機能部を設ける、あるいは複数の垂直列を切り替えて比較部へ接続する列選択処理部を設けるなどの仕組みを講じる必要がある。
何れの空間処理の態様でも、積和演算における処理対象信号数に基づいてカウント処理のビット数を調整して、処理時間を短縮するあるいはフレームレートを高めるのがよい。
また、積和演算処理は、空間処理に限らず、それぞれ異なる時刻に単位構成要素にて取得された複数の処理対象信号についてカウント処理を行なうことで差分を得る時間差分処理もある。
本発明に係るデータ処理装置は、本発明に係る上記データ処理方法を実施するのに好適な装置であって、処理対象信号に応じた電気信号とデジタルデータに変換するための参照信号とを比較する比較部と、比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較部における比較処理が完了した時点のカウント値を保持するカウンタ部とを備えるものとした。
好ましくは、デジタルデータに変換するための参照信号を生成し比較部に供給する参照信号生成部や、カウンタ部におけるカウント処理のモードを制御する制御部をも備えているとなおよい。
カウンタ部は、共通のカウンタ回路で構成され、かつアップカウントモードとダウンカウントモードとを切替可能に構成されているものとすることもできるし、ダウンカウントモードでカウント処理を行なうダウンカウンタ回路と、アップカウントモードでカウント処理を行なうアップカウンタ回路とを有しているものとすることもできる。後者の場合、回路構成に応じて、ダウンカウンタ回路が保持したカウント値とアップカウンタ回路が保持したカウント値との和を取る加算回路を有しているものとすることもできる。
本発明に係る半導体装置や電子機器は、本発明に係る上記データ処理方法を適用した装置であって、本発明に係る上記データ処理装置と同様の構成を備えたものである。
本発明に係る半導体装置においては、比較部とカウンタ部とで構成されるＡＤ変換機能を持つ信号処理部を、単位構成要素の列の並び方向である行方向に複数備えているものとするのがよい。
また、比較部は、単位信号生成部により生成され列方向に出力されるアナログの単位信号を行単位で取り込み、比較部およびカウンタ部は、行単位で、単位構成要素のそれぞれについて、それぞれが担当する処理を行なうようにするのがよい。また、単位信号生成部は、増幅用の半導体素子を有するものとするのがよい。
ここで、電荷生成部を、電磁波としての光を受光して、この受光した光に対応する電荷を生成する光電変換素子を有しているものとすれば、半導体装置を固体撮像装置として構成することができる。
色分解フィルタが設けられたカラー画像撮像用である場合は、色分解フィルタの各色フィルタの配置位置に基づいて、積和演算の対象となる複数の単位信号が同一色の色フィルタのものとなるように、複数の単位構成要素のそれぞれの位置を指定するのがよい。
本発明に係るデータ処理方法およびデータ処理装置並びに半導体装置および電子機器によれば、ＡＤ変換用の参照信号と処理対象信号とを比較し、この比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持するようにした。
このとき、複数の処理対象信号の内の一方についてのデジタルデータを他方のカウント処理の初期値として設定するようにしている。このため、複数の処理対象信号に基づく積和演算結果を表すデジタルデータを、カウント処理した結果として得ることができる。
比較処理とカウント処理にてＡＤ変換処理がなされるので、結果的には、ＡＤ変換処理と積和演算処理とを同時に実行する仕組みを構築できる。つまり、ＡＤ変換用の参照信号を操作して処理対象信号をＡＤ変換しつつ、同時に複数の処理対象信号を使用した積和演算を行ない、ＡＤ変換の結果であるカウント値そのものを積和演算結果として得ることができる。よって、ＡＤ変換と演算処理を効率的に行なうことができるようになる。
たとえば、ｎ行の画素信号についてカウント処理をした後、ｎ＋１行の画素信号についてカウント処理を行なう場合、ｎ＋１行のカウント処理後のカウント値は、ｎ＋１行のカウント処理のモードをｎ行におけるカウントモードと逆にすれば減算結果となり、同じにすれば加算結果となる。
加えて、比較部とカウント処理部からなるＡＤ変換部とは別に、ＡＤ変換されたデータを保持する専用のメモリ装置や積和演算を行なう機能部を追加回路として設ける必要がなく、回路規模や回路面積の増大の問題を解消できる。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子をデバイスとして使用した場合を例に説明する。また、ＣＭＯＳ撮像素子は、全ての画素がＮＭＯＳあるいはＰＭＯＳよりなるものであるとして説明する。
ただしこれは一例であって、対象となるデバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する全ての実施形態が同様に適用できる。
＜第１実施形態；固体撮像装置の構成＞
図１は、本発明に係る半導体装置の第１実施形態であるＣＭＯＳ固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。なお、このＣＭＯＳ固体撮像装置は、本発明に係る電子機器の一態様でもある。
固体撮像装置１は、入射光量に応じた電気信号を出力するフォトダイオードなどの光電変換素子（電荷生成部の一例）を含む複数個の画素が行および列に配列された（すなわち２次元マトリクス状の）画素部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などのデータ処理部が列並列に設けられているものである。
“列並列にデータ処理部が設けられている”とは、垂直列の垂直信号線１９に対して実質的に並列に複数のＣＤＳ処理機能部やデジタル変換部が設けられていることを意味する。複数の各機能部は、デバイスを平面視したときに、ともに画素部１０に対して列方向の一方の端縁側（図の下側に配されている出力側）にのみ配されている形態のものであってもよいし、画素部１０に対して列方向の一方の端縁側（図の下側に配されている出力側）とその反対側である他方の端縁側（図の上側）に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査（水平走査）を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。
たとえば、列並列にＣＤＳ処理機能部やデジタル変換部が設けられている典型例としては、撮像部の出力側に設けたカラム領域と呼ばれる部分に、ＣＤＳ処理機能部やデジタル変換部を垂直列ごとに設け、順次出力側に読み出すカラム型のものである。また、カラム型に限らず、隣接する複数（たとえば２つ分）の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態や、Ｎ本おき（Ｎは正の整数；間にＮ−１本を配する）のＮ本分の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態などを採ることもできる。
カラム型を除くものは、何れの形態も、複数の垂直信号線１９（垂直列）が１つのＣＤＳ処理機能部やデジタル変換部を共通に使用する構成となるので、画素部１０側から供給される複数列分の画素信号を１つのＣＤＳ処理機能部やデジタル変換部に供給する切替回路（スイッチ）を設ける。なお、後段の処理によっては、出力信号を保持するメモリを設けるなどの対処が必要になる。
何れにしても、複数の垂直信号線１９（垂直列）に対して１つのＣＤＳ処理機能部やデジタル変換部を割り当てる形態などを採ることで、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。
また、列並列に配された複数の信号処理部にて１行分の画素信号を同時並行処理することができるので、出力回路側やデバイスの外部で１つのＣＤＳ処理機能部やデジタル変換部にて処理を行なう場合に比べて、信号処理部を低速で動作させることができ、消費電力や帯域性能やノイズなどの面で有利である。逆に言えば、消費電力や帯域性能などを同じにする場合、センサ全体の高速動作が可能となる。
なお、カラム型の構成の場合、低速で動作させることができ消費電力や帯域性能やノイズなどの面で有利であるとともに切替回路（スイッチ）が不要である利点もある。以下の実施形態では、特に断りのない限り、このカラム型で説明する。
図１に示すように、第１実施形態の固体撮像装置１は、正方状の複数の単位画素３が行および列に（つまり正方格子状に）配列された画素部（撮像部）１０と、画素部１０の外側に設けられた駆動制御部７と、カラム処理部２６と、カラム処理部２６にＡＤ変換用の参照電圧を供給する参照信号生成部２７と、出力回路２８とを備えている。
なお、カラム処理部２６の前段または後段には、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路などをカラム処理部２６と同一の半導体領域に設けることも可能である。カラム処理部２６の前段でＡＧＣを行なう場合にはアナログ増幅、カラム処理部２６の後段でＡＧＣを行なう場合にはデジタル増幅となる。ｎビットのデジタルデータを単純に増幅してしまうと、階調が損なわれてしまう可能性があるため、どちらかというとアナログにて増幅した後にデジタル変換するのが好ましいと考えられる。
駆動制御部７は、画素部１０の信号を順次読み出すための制御回路機能を備えている。たとえば、駆動制御部７としては、列アドレスや列走査を制御する水平走査回路（列走査回路）１２と、行アドレスや行走査を制御する垂直走査回路（行走査回路）１４と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部２０とを備えている。
なお、図中、通信・タイミング制御部２０の近傍に点線で示すように、高速クロック生成部の一例であって、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成するクロック変換部２３を設けるようにしてもよい。通信・タイミング制御部２０は、端子５ａを介して入力される入力ロック（マスタークロック）CLK0やクロック変換部２３で生成された高速クロックに基づいて内部クロックを生成する。
クロック変換部２３で生成された高速クロックを源とする信号を用いることで、ＡＤ変換処理などを高速に動作させることができるようになる。また、高速クロックを用いて、高速の計算を必要とする動き抽出や圧縮処理を行なうことができる。また、カラム処理部２６から出力されるパラレルデータをシリアルデータ化してデバイス外部に映像データＤ１を出力することもできる。こうすることで、ＡＤ変換されたデジタルデータのビット分よりも少ない端子で高速動作出力する構成を採ることができる。
クロック変換部２３は、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成する逓倍回路を内蔵している。このクロック変換部２３は、通信・タイミング制御部２０から低速クロックCLK2を受け取り、それを元にして２倍以上高い周波数のクロックを生成する。クロック変換部２３の逓倍回路としては、ｋ１を低速クロックCLK2の周波数の倍数としたときｋ１逓倍回路を設ければよく、周知の様々な回路を利用することができる。
図１では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の単位画素３が配置される。この単位画素３は、典型的には、受光素子（電荷生成部）としてのフォトダイオードと、増幅用の半導体素子（たとえばトランジスタ）を有する画素内アンプとから構成される。
画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、ＣＭＯＳセンサとして汎用的な４つのトランジスタからなる構成のものを使用することができる。
あるいは、特許第２７０８４５５号公報に記載のように、電荷生成部により生成された信号電荷に対応する信号電圧を増幅するための、ドレイン線（ＤＲＮ）に接続された増幅用トランジスタと、電荷生成部をリセットするためのリセットトランジスタと、垂直シフトレジスタより転送配線（ＴＲＦ）を介して走査される読出選択用トランジスタ（転送ゲート部）を有する、３つのトランジスタからなる構成のものを使用することもできる。
また、駆動制御部７の他の構成要素として、水平走査回路１２、垂直走査回路１４、および通信・タイミング制御部２０が設けられている。水平走査回路１２は、カラム処理部２６からカウント値を読み出す読出走査部の機能を持つ。これらの駆動制御部７の各要素は、画素部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。
単位画素３は、行選択のための行制御線１５を介して垂直走査回路１４と、また垂直信号線１９を介してカラムＡＤ回路２５が垂直列ごとに設けられているカラム処理部２６と、それぞれ接続されている。ここで、行制御線１５は垂直走査回路１４から画素に入る配線全般を示す。
なお、本実施形態のカラムＡＤ回路２５は、それそのもので、複数の処理対象信号の積和演算結果のデジタルデータを取得するデータ処理装置の機能を有する。
水平走査回路１２や垂直走査回路１４は、後述のようにデコーダを含んで構成され、通信・タイミング制御部２０から与えられる制御信号ＣＮ１，ＣＮ２に応答して、処理対象の画素信号の読出しを開始するようになっている。このため、行制御線１５には、単位画素３を駆動するための種々のパルス信号（たとえば、リセットパルスＲＳＴ、転送パルスＴＲＦ、ＤＲＮ制御パルスＤＲＮなど）が含まれる。
垂直走査回路１４と通信・タイミング制御部２０とで、処理対象の複数の単位画素３のそれぞれの位置を指定して、この単位画素３から複数の画素信号のそれぞれをカラム処理部２６に入力させる単位信号選択制御部が構成される。
通信・タイミング制御部２０は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、端子５ａを介してマスタークロックCLK0を受け取り、また端子５ｂを介して動作モードなどを指令するデータＤＡＴＡを受け取り、さらに固体撮像装置１の情報を含むデータを出力する通信インタフェースの機能ブロックとを備える。
たとえば、水平アドレス信号を水平デコーダ１２ａへ、また垂直アドレス信号を垂直デコーダ１４ａへ出力し、各デコーダ１２ａ，１４ａは、それを受けて対応する行もしくは列を選択する。
この際、単位画素３を２次元マトリックス状に配置してあるので、画素信号生成部５により生成され垂直信号線１９を介して列方向に出力されるアナログの画素信号を行単位で（列並列で）アクセスし取り込む（垂直）スキャン読みを行ない、この後に、垂直列の並び方向である行方向にアクセスし画素信号（本例ではデジタル化された画素データ）を出力側へ読み出す（水平）スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。勿論、スキャン読みに限らず、読み出したい単位画素３を直接にアドレス指定することで、必要な単位画素３の情報のみを読み出すランダムアクセスも可能である。
また、第１実施形態の通信・タイミング制御部２０では、端子５ａを介して入力されるマスタークロック（マスタークロック）CLK0と同じ周波数のクロックCLK1や、それを２分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査回路１２、垂直走査回路１４、カラム処理部２６などに供給する。以下、２分周したクロックやそれ以下の周波数のクロック全般を纏めて、低速クロックCLK2という。
垂直走査回路１４は、画素部１０の行を選択し、その行に必要なパルスを供給するものである。たとえば、垂直方向の読出行を規定する（画素部１０の行を選択する）垂直デコーダ１４ａと、垂直デコーダ１４ａにて規定された読出アドレス上（行方向）の単位画素３に対する行制御線１５にパルスを供給して駆動する垂直駆動回路１４ｂとを有する。なお、垂直デコーダ１４ａは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。
水平走査回路１２は、低速クロックCLK2に同期してカラム処理部２６のカラムＡＤ回路２５を順番に選択し、その信号を水平信号線（水平出力線）１８に導くものである。たとえば、水平方向の読出列を規定する（カラム処理部２６内の個々のカラムＡＤ回路２５を選択する）水平デコーダ１２ａと、水平デコーダ１２ａにて規定された読出アドレスに従って、カラム処理部２６の各信号を水平信号線１８に導く水平駆動回路１２ｂとを有する。なお、水平信号線１８は、たとえばカラムＡＤ回路２５が取り扱うビット数ｎ（ｎは正の整数）分、たとえば１０（＝ｎ）ビットならば、そのビット数分に対応して１０本配置される。
このような構成の固体撮像装置１において、単位画素３から出力された画素信号は、垂直列ごとに、垂直信号線１９を介して、カラム処理部２６のカラムＡＤ回路２５に供給される。
なお、カラム処理部２６と水平走査回路１２との間の信号経路上には、各垂直信号線１９に対してドレイン端子が接続された図示しない負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。
単位画素３を構成する増幅用トランジスタは各垂直信号線１９に接続されており、また垂直信号線１９は垂直列ごとに負荷ＭＯＳトランジスタのドレインに接続され、また各負荷ＭＯＳトランジスタのゲート端子には、負荷制御部からの負荷制御信号ＣＴldが共通に入力されており、信号読出し時には、各増幅用トランジスタに接続された負荷ＭＯＳトランジスタによって、予め決められた定電流を流し続けるようになっている。
カラム処理部２６の各カラムＡＤ回路２５は、１列分の画素の信号を受けて、その信号をデジタルデータに変換する。また、通信・タイミング制御部２０と垂直走査回路１４との協働動作で機能する単位信号選択制御部で指定された画素位置の複数の積和演算処理対象の画素信号（同一垂直列方向のみのものとは限らない）を順次受けて、その複数の画素信号に基づき積和演算するとともにデジタルデータに変換する。たとえば、各カラムＡＤ回路２５は、アナログ信号を、たとえば低速クロックCLK2を用いて、たとえば１０ビットのデジタルデータに変換しつつ積和演算を行なう演算機能付きのＡＤＣ(Analog Digital Converter)回路を持つ。
ＡＤＣ回路の構成については、詳細は後述するが、コンパレータ（電圧比較器）にランプ状の参照信号（参照電圧）RAMPを供給すると同時にクロック信号でのカウント（計数）を開始し、垂直信号線１９を介して入力されたアナログの画素信号を参照信号RAMPと比較することによってパルス信号が得られるまでカウントすることでＡＤ変換を行なう。
また、この際、回路構成を工夫することで、ＡＤ変換とともに、垂直信号線１９を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光光量に応じた）信号レベルＶsig との差分をとる処理を行なうことができる。これにより、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除くことができる。
このカラムＡＤ回路２５でデジタル化された画素データは、水平走査回路１２からの水平選択信号により駆動される図示しない水平選択スイッチを介して水平信号線１８に伝達され、さらに出力回路２８に入力される。なお、１０ビットは一例であって、１０ビット未満（たとえば８ビット）や１０ビットを超えるビット数（たとえば１４ビット）など、その他のビット数としてもよい。
このような構成によって、電荷生成部としての受光素子が行列状に配された画素部１０からは、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子（フォトダイオードなどの光電変換素子）が行列状に配された画素部１０に対応する１枚分の画像すなわちフレーム画像が、画素部１０全体の画素信号の集合で示されることとなる。
＜カラムＡＤ回路と参照信号生成部の詳細＞
参照信号生成部２７は、ＤＡ変換回路（ＤＡＣ；Digital Analog Converter）２７ａを有して構成されており、通信・タイミング制御部２０からの制御データＣＮ４で示される初期値から、カウントクロックＣＫ０に同期して、階段状の鋸歯状波（ランプ波形）を生成して、カラム処理部２６の個々のカラムＡＤ回路２５に、この生成した鋸歯状波をＡＤ変換用の参照信号（ＡＤＣ基準信号）RAMPとして供給するようになっている。なお、図示を割愛しているが、ノイズ防止用のフィルタを設けるとよい。
なお、この階段状の鋸歯状波は、クロック変換部２３からの高速クロック、たとえば逓倍回路で生成される逓倍クロックを元に生成することで、端子５ａを介して入力されるマスタークロックCLK0に基づき生成するよりも高速に変化させることができる。
通信・タイミング制御部２０から参照信号生成部２７のＤＡ変換回路２７ａに供給する制御データＣＮ４は、比較処理ごとのランプ電圧の傾き（変化の度合い；時間変化量）を指示する情報も含んでいる。具体的には、１カウント当たりの電圧変化分を設定し、単位時間（カウントクロックＣＫ０）ごとに１ずつカウント値を変化させるのがよい。
なお、同一の処理対象の画素信号についての基準信号レベルと真の信号成分レベルとの差を求める信号取得差分処理時には、それぞれの比較処理のランプ電圧の傾き（変化率）の絶対値の大きさを同じに設定するのがよい。
一方、信号取得差分処理で求められる複数の処理対象信号（本例では画素信号）について空間差分処理や時間差分処理を行なう場合には、処理対象信号についてのランプ電圧の傾き（変化率）の絶対値の大きさを同じに設定してもよいし、そのランプ電圧の傾き（変化率）の絶対値の大きさを異なるものとしてもよい。
傾き（変化率）の絶対値の大きさを異なるものに設定することで、各単位画素３からの画素信号（詳しくは真の信号成分）に係数を掛けた後に符号も含んだ総和を求める機能、つまり積和演算を実現することができる。この際、３以上の画素信号についての空間差分処理や時間差分処理を行なう場合には、傾き（変化率）の絶対値の大きさを同じにする画素数と異なるものにする画素数との組合せは任意である。
カラムＡＤ回路２５は、参照信号生成部２７のＤＡ変換回路２７ａで生成される参照信号RAMPと、行制御線１５（Ｈ０，Ｈ１，…）ごとに単位画素３から垂直信号線１９（Ｖ０，Ｖ１，…）を経由し得られるアナログの画素信号とを比較する電圧比較部（コンパレータ）２５２と、電圧比較部２５２が比較処理を完了するまでの時間をカウントし、その結果を保持するカウンタ部２５４とを備えて構成されｎビットＡＤ変換機能を有している。
通信・タイミング制御部２０は、電圧比較部２５２が画素信号のリセット成分ΔＶと信号成分Ｖsig の何れについて比較処理を行なっているのかに応じてカウンタ部２５４におけるカウント処理のモードを制御する制御部の機能を持つ。この通信・タイミング制御部２０から各カラムＡＤ回路２５のカウンタ部２５４には、カウンタ部２５４がダウンカウントモードで動作するのかアップカウントモードで動作するのかを指示するためのモード制御信号ＣＮ５と、カウンタ部２５４が保持しているカウント値を初期値にリセットするリセット制御信号ＣＮ６とが入力されている。
電圧比較部２５２の一方の入力端子RAMPは、他の電圧比較部２５２の入力端子RAMPと共通に、参照信号生成部２７で生成される階段状の参照信号RAMPが入力され、他方の入力端子には、それぞれ対応する垂直列の垂直信号線１９が接続され、画素部１０からの画素信号電圧が個々に入力される。電圧比較部２５２の出力信号はカウンタ部２５４に供給される。
カウンタ部２５４のクロック端子ＣＫには、他のカウンタ部２５４のクロック端子ＣＫと共通に、通信・タイミング制御部２０からカウントクロックＣＫ０が入力されている。
このカウンタ部２５４は、その構成については図示を割愛するが、ラッチで構成されたデータ記憶部２５５の配線形態を同期カウンタ形式に変更することで実現でき、１本のカウントクロックＣＫ０の入力で、内部カウントを行なうようになっている。カウントクロックＣＫ０も、階段状の電圧波形と同様に、クロック変換部２３からの高速クロック（たとえば逓倍クロック）を元に生成することで、端子５ａを介して入力されるマスタークロックCLK0より高速にすることができる。
ｎ個のラッチの組合せでｎビットのカウンタ部２５４を実現でき、非特許文献１などのように２系統のｎ個のラッチで構成されたデータ記憶部２５５の回路規模に対して半分になる。加えて、カウンタ部２４が不要になるから、全体としては、非特許文献１に示される構成よりも大幅にコンパクトになる。
ここで、第１実施形態のカウンタ部２５４は、詳細は後述するが、カウントモードに拘わらず共通のアップダウンカウンタ（Ｕ／Ｄ ＣＮＴ）を用いて、同一の処理対象の画素信号あるいは物理的な性質が同一の複数の画素信号に対してダウンカウント動作とアップカウント動作とを切り替えてカウント処理を行なうことが可能に構成されている点に特徴を有する。
なお、カウンタ部２５４は、カウントのオーバーフローを検知する構成や正負の符号（＋／−）を処理する構成にする。たとえば、オーバーフロー用余剰ビットを付加したり、桁上げ（キャリー）、または桁借り（ボロー）のビットを用いたりするなど、公知の技術を用いることで、オーバーフローや符号に対する対処は容易に実現可能である。
ここで、単位画素３から出力される画素信号は、通常、真の有効な信号成分だけでなく、リセット成分を含んでいる。時系列的には先ずリセット成分（基準成分）が現われた後に、リセット成分に重畳された真の有効な信号成分が現われる。リセット成分レベルとリセット成分に重畳された真の有効な信号成分との差が真の有効な信号成分となる。
このため、画素信号についての真の有効な信号成分Ｖsig のデジタルデータを得る際には、同一の画素信号Ｖｘについて、基準成分（リセット成分ΔＶ）と真の信号成分に対してカウント処理してＡＤ変換を行なう際に、基準成分と真の信号成分の内の一方（通常はリセット成分）について取得したデジタルデータを他方（通常は信号成分）のカウント処理の初期値とする。こうすることで、他方（通常は信号成分）のカウント処理にてＡＤ変換をした後には、自動的に双方の差分結果のデジタルデータを取得する、すなわち、基準成分と信号成分とを含んで表されるアナログの処理対象信号の基準成分と信号成分との差信号成分をデジタルデータに変換することができる。
加えて、物理的な性質が同一の相異なる複数の（たとえば画素位置が異なる、あるいは同一画素位置の撮像時刻の異なる）処理対象の画素信号に対して、カウントモードの組合せを同一にしてカウント動作を繰り返し行なうことで、複数の画素信号間での加算演算を実現することや、カウントモードの組合せを切り替えて（具体的には組合せを逆にする）カウント動作を繰り返し行なうことで、複数の画素信号間での差分（減算）演算を実現することが可能に構成されている点に特徴を有する。これらの演算処理モードの切替えは、水平走査回路１２や垂直走査回路１４の走査パターンを通信・タイミング制御部２０による制御の元で調整することで実現できる。
たとえば、カウンタ部２５４は、複数の単位画素３の画素信号についてそれぞれカウント処理してＡＤ変換を行なう際に、各画素信号の内の一方について取得したデジタルデータを他方の画素信号（後のカウント処理の対象信号）のカウント処理の初期値とすることで、複数の単位画素３のうちの他方についてカウント処理にてＡＤ変換をした後には、自動的に双方の積和演算結果のデジタルデータを取得する。
ここで、それぞれについてのカウントモードを同じにすれば、後のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号（詳しくは真の信号成分）についての加算結果のデジタルデータを取得することができる。これに対して、それぞれについてのカウントモードを異なるモード（逆のモード）にすれば、後のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号についての減算結果のデジタルデータを取得することができる。３画素以上を処理対象とする場合、これらを組み合わせることも可能であり、各単位画素３からの画素信号（詳しくは真の信号成分）について、符号も含んだ総和を求める機能、つまり積和演算を実現することができる。
また、第１実施形態のカウンタ部２５４は、カウント出力値がカウントクロックＣＫ０に同期して出力される同期カウンタを使用する。なお、同期カウンタの場合、すべてのフリップフロップ（カウンタ基本要素）の動作がカウントクロックＣＫ０で制限される。よって、より高周波数動作が要求される場合には、カウンタ部２５４としては、その動作制限周波数が最初のフリップフロップ（カウンタ基本要素）の制限周波数でのみ決められるため高速動作に適する非同期カウンタの使用がより好ましい。
カウンタ部２５４には、水平走査回路１２から制御線１２ｃを介して制御パルスが入力される。カウンタ部２５４は、カウント結果を保持するラッチ機能を有しており、制御線１２ｃを介しての制御パルスによる指示があるまでは、カウンタ出力値を保持する。
このような構成のカラムＡＤ回路２５は、先にも述べたように、垂直信号線１９（Ｖ０，Ｖ１，…）ごとに配置され、列並列構成のＡＤＣブロックであるカラム処理部２６が構成される。
個々のカラムＡＤ回路２５の出力側は、水平信号線１８に接続されている。先にも述べたように、水平信号線１８は、カラムＡＤ回路２５のビット幅であるｎビット幅分の信号線を有し、図示しないそれぞれの出力線に対応したｎ個のセンス回路を経由して出力回路２８に接続される。
このような構成において、カラムＡＤ回路２５は、画素信号読出期間において、カウント動作を行ない、所定のタイミングでカウント結果を出力する。すなわち、先ず、電圧比較部２５２では、参照信号生成部２７からのランプ波形電圧と、垂直信号線１９を介して入力される画素信号電圧とを比較し、双方の電圧が同じになると、電圧比較部２５２のコンパレータ出力が反転（本例ではＨレベルからＬレベルへ遷移）する。
カウンタ部２５４は、参照信号生成部２７から発せられるランプ波形電圧に同期してダウンカウントモードもしくはアップカウントモードでカウント動作を開始しており、コンパレータ出力の反転した情報がカウンタ部２５４に通知されると、カウント動作を停止し、その時点のカウント値を画素データとしてラッチ（保持・記憶）することでＡＤ変換を完了する。
この後、カウンタ部２５４は、所定のタイミングで水平走査回路１２から制御線１２ｃを介して入力される水平選択信号ＣＨ（ｉ）によるシフト動作に基づいて、記憶・保持した画素データを、順次、カラム処理部２６外や画素部１０を有するチップ外へ出力端子５ｃから出力する。
なお、本実施形態の説明としては直接関連しないため特に図示しないが、その他の各種信号処理回路なども、固体撮像装置１の構成要素に含まれる場合がある。
＜第１実施形態；信号取得差分処理の動作＞
図２は、図１に示した第１実施形態の固体撮像装置１のカラムＡＤ回路２５における基本動作である信号取得差分処理を説明するためのタイミングチャートである。
画素部１０の各単位画素３で感知されたアナログの画素信号をデジタル信号に変換する仕組みとしては、たとえば、所定の傾きで下降するランプ波形状の参照信号RAMPと単位画素３からの画素信号における基準成分や信号成分の各電圧とが一致する点を探し、この比較処理で用いる参照信号RAMPの生成時点から、画素信号における基準成分や信号成分に応じた電気信号と参照信号とが一致した時点までをカウントクロックでカウント（計数）することで、基準成分や信号成分の各大きさに対応したカウント値を得る手法を採る。
ここで、垂直信号線１９から出力される画素信号は、時間系列として、基準成分としての画素信号の雑音を含むリセット成分ΔＶの後に信号成分Ｖsig が現れるものである。１回目の処理を基準成分（リセット成分ΔＶ）について行なう場合、２回目の処理は基準成分（リセット成分ΔＶ）に信号成分Ｖsig を加えた信号についての処理となる。以下具体的に説明する。
１回目の読出しのため、先ず通信・タイミング制御部２０は、モード制御信号ＣＮ５をローレベルにしてカウンタ部２５４をダウンカウントモードに設定するとともに、リセット制御信号ＣＮ６を所定期間アクティブ（本例ではハイレベル）にしてカウンタ部２５４のカウント値を初期値“０”にリセットさせる（ｔ９）。そして、任意の行Ｈｘの単位画素３から垂直信号線１９（Ｖ０，Ｖ１，…）への１回目の読出しが安定した後、通信・タイミング制御部２０は、参照信号生成部２７に向けて、参照信号RAMP生成用の制御データＣＮ４を供給する。
これを受けて、参照信号生成部２７は、電圧比較部２５２の一方の入力端子RAMPへの比較電圧として、全体として鋸歯状（RAMP状）に時間変化させた階段状の波形（RAMP波形）を入力する。電圧比較部２５２は、このRAMP波形の比較電圧と画素部１０から供給される任意の垂直信号線１９（Ｖｘ）の画素信号電圧とを比較する。
電圧比較部２５２の入力端子RAMPへの参照信号RAMPの入力と同時に、電圧比較部２５２における比較時間を、行ごとに配置されたカウンタ部２５４で計測するために、参照信号生成部２７から発せられるランプ波形電圧に同期して（ｔ１０）、カウンタ部２５４のクロック端子に通信・タイミング制御部２０からカウントクロックＣＫ０を入力し、１回目のカウント動作として、初期値“０”からダウンカウントを開始する。すなわち、負の方向にカウント処理を開始する。
電圧比較部２５２は、参照信号生成部２７からのランプ状の参照信号RAMPと垂直信号線１９を介して入力される画素信号電圧Ｖｘとを比較し、双方の電圧が同じになったときに、コンパレータ出力をＨレベルからＬレベルへ反転させる（ｔ１２）。つまり、リセット成分Ｖrst に応じた電圧信号と参照信号RAMPとを比較して、リセット成分Ｖrst の大きさに対応した時間経過後にアクティブロー（Ｌ）のパルス信号を生成して、カウンタ部２５４に供給する。
この結果を受けて、カウンタ部２５４は、コンパレータ出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値を画素データとしてラッチ（保持・記憶）することでＡＤ変換を完了する（ｔ１２）。つまり、電圧比較部２５２に供給するランプ状の参照信号RAMPの生成とともにダウンカウントを開始し、比較処理によってアクティブロー（Ｌ）のパルス信号が得られるまでクロックＣＫ０でカウント（計数）することで、リセット成分Ｖrst の大きさに対応したカウント値を得る。
通信・タイミング制御部２０は、所定のダウンカウント期間を経過すると（ｔ１４）、電圧比較部２５２への制御データの供給と、カウンタ部２５４へのカウントクロックＣＫ０の供給とを停止する。これにより、電圧比較部２５２は、ランプ状の参照信号RAMPの生成を停止する。
この１回目の読出し時は、画素信号電圧ＶｘにおけるリセットレベルＶrst を電圧比較部２５２で検知してカウント動作を行なっているので、単位画素３のリセット成分ΔＶを読み出していることになる。
このリセット成分ΔＶ内には、単位画素３ごとにばらつく雑音がオフセットとして含まれている。しかし、このリセット成分ΔＶのばらつきは一般に小さく、またリセットレベルＶrst は概ね全画素共通であるので、任意の垂直信号線１９の画素信号電圧Ｖｘにおけるリセット成分ΔＶの出力値はおおよそ既知である。
したがって、１回目のリセット成分ΔＶの読出し時には、RAMP電圧を調整することにより、ダウンカウント期間（ｔ１０〜ｔ１４；比較期間）を短くすることが可能である。本実施形態では、リセット成分ΔＶについての比較処理の最長期間を、７ビット分のカウント期間（１２８クロック）にして、リセット成分ΔＶの比較を行なっている。
続いての２回目の読出し時には、リセット成分ΔＶに加えて、単位画素３ごとの入射光量に応じた電気信号成分Ｖsig を読み出し、１回目の読出しと同様の動作を行なう。すなわち、先ず通信・タイミング制御部２０は、モード制御信号ＣＮ５をハイレベルにしてカウンタ部２５４をアップカウントモードに設定する（ｔ１８）。そして、任意の行Ｈｘの単位画素３から垂直信号線１９（Ｖ０，Ｖ１，…）への２回目の読出しが安定した後、通信・タイミング制御部２０は、参照信号生成部２７に向けて、参照信号RAMP生成用の制御データＣＮ４を供給する。
これを受けて、参照信号生成部２７は、電圧比較部２５２の一方の入力端子RAMPへの比較電圧として、全体として鋸歯状（RAMP状）に時間変化させた階段状の波形（RAMP波形）を入力する（ｔ２０）。電圧比較部２５２は、このRAMP波形の比較電圧と画素部１０から供給される任意の垂直信号線１９（Ｖｘ）の画素信号電圧とを比較する。
電圧比較部２５２の入力端子RAMPへの参照信号RAMPの入力と同時に、電圧比較部２５２における比較時間を、行ごとに配置されたカウンタ部２５４で計測するために、参照信号生成部２７から発せられるランプ波形電圧に同期して（ｔ２０）、カウンタ部２５４のクロック端子に通信・タイミング制御部２０からカウントクロックＣＫ０を入力し、２回目のカウント動作として、１回目の読出し時に取得された単位画素３のリセット成分ΔＶに対応するカウント値から、１回目とは逆にアップカウントを開始する。すなわち、正の方向にカウント処理を開始する。
電圧比較部２５２は、参照信号生成部２７からのランプ状の参照信号RAMPと垂直信号線１９を介して入力される画素信号電圧Ｖｘとを比較し、双方の電圧が同じになったときに、コンパレータ出力をＨレベルからＬレベルへ反転させる（ｔ２２）。つまり、信号成分Ｖsig に応じた電圧信号と参照信号RAMPとを比較して、信号成分Ｖsig の大きさに対応した時間経過後にアクティブロー（Ｌ）のパルス信号を生成して、カウンタ部２５４に供給する。
この結果を受けて、カウンタ部２５４は、コンパレータ出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値を画素データとしてラッチ（保持・記憶）することでＡＤ変換を完了する（ｔ２２）。つまり、電圧比較部２５２に供給するランプ状の参照信号RAMPの生成とともにダウンカウントを開始し、比較処理によってアクティブロー（Ｌ）のパルス信号が得られるまでクロックＣＫ０でカウント（計数）することで、信号成分Ｖsig の大きさに対応したカウント値を得る。
通信・タイミング制御部２０は、所定のダウンカウント期間を経過すると（ｔ２４）、電圧比較部２５２への制御データの供給と、カウンタ部２５４へのカウントクロックＣＫ０の供給とを停止する。これにより、電圧比較部２５２は、ランプ状の参照信号RAMPの生成を停止する。
この２回目の読出し時は、画素信号電圧Ｖｘにおける信号成分Ｖsig を電圧比較部２５２で検知してカウント動作を行なっているので、単位画素３の信号成分Ｖsig を読み出していることになる。
ここで、本実施形態においては、カウンタ部２５４におけるカウント動作を、１回目の読出し時にはダウンカウント、２回目の読出し時にはアップカウントとしているので、カウンタ部２５４内で自動的に、式（１）で示す減算が行なわれ、この減算結果に応じたカウント値がｎビットのデジタル値としてカウンタ部２５４に保持される。
Figure 0004380439
ここで、式（１）は、式（２）のように変形でき、結果としては、カウンタ部２５４に保持されるカウント値は信号成分Ｖsig に応じたｎビットのデジタル値となる。
Figure 0004380439
つまり、上述のようにして、１回目の読出し時におけるダウンカウントと２回目の読出し時におけるアップカウントといった、２回の読出しとカウント処理によるカウンタ部２５４内での減算処理によって、単位画素３ごとのばらつきを含んだリセット成分ΔＶとカラムＡＤ回路２５ごとのオフセット成分とを除去することができ、単位画素３ごとの入射光量に応じた電気信号成分Ｖsig のみを簡易な構成で取り出すことができる。この際、リセット雑音も除去できる利点がある。
よって、本実施形態のカラムＡＤ回路２５は、アナログの画素信号をデジタルの画素データに変換するデジタル変換部としてだけでなく、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部としても動作することとなる。
また、式（２）で得られるカウント値が示す画素データは正の信号電圧を示すので、補数演算などが不要となり、既存のシステムとの親和性が高い。
ここで、２回目の読出し時は、入射光量に応じた電気信号成分Ｖsig を読み出すので、光量の大小を広い範囲で判定するため、アップカウント期間（ｔ２０〜ｔ２４；比較期間）を広く取り、電圧比較部２５２に供給するランプ電圧を大きく変化させる必要がある。
そこで本実施形態では、信号成分Ｖsig についての比較処理の最長期間を、１０ビット分のカウント期間（１０２４クロック）にして、信号成分Ｖsig の比較を行なっている。つまり、リセット成分ΔＶ（基準成分）についての比較処理の最長期間を、信号成分Ｖsig についての比較処理の最長期間よりも短くする。リセット成分ΔＶ（基準成分）と信号成分Ｖsig の双方の比較処理の最長期間すなわちＡＤ変換期間の最大値を同じにするのではなく、リセット成分ΔＶ（基準成分）についての比較処理の最長期間を信号成分Ｖsig についての比較処理の最長期間よりも短くすることで、２回に亘るトータルのＡＤ変換期間が短くなるように工夫する。
このとき、２回に亘る総処理時間は、１行期間（１水平処理期間）内に収まるようにする。この調整は、信号の最大幅（ダイナミックレンジ）に割り当てるビット数と１ビットに割り当てるカウントクロックＣＫ０の周期設定で行なうことができる。参照信号生成部２７から発せられる参照信号RAMPは、信号の最大幅（ダイナミックレンジ）をカバーするようにする。
参照信号RAMPの傾きやカウントクロックＣＫ０の周期を一定とした場合、ビット数を調整することで、ＡＤ変換期間を調整することができる。たとえば、ビット数を“ｍ”減らすと、ＡＤ変換期間を１／（２＾ｍ；“＾”はべき乗を示す）にすることができる。また、カウントクロックＣＫ０の周期を一定とし、参照信号RAMPの傾きを１／ｋ倍すれば、信号に対する係数（ゲイン）をｋ倍にすることができる。
なお、基準成分と信号成分の各ＡＤ変換期間を異なるものとする場合、１回目と２回目との比較ビット数が異なるが、通信・タイミング制御部２０から制御データを参照信号生成部２７に供給して、この制御データに基づいて参照信号生成部２７にてランプ電圧を生成するようにすることで、ランプ電圧の傾きすなわち参照信号RAMPの変化率を１回目と２回目とで同じにする。デジタル制御でランプ電圧を生成するので、ランプ電圧の傾きを１回目と２回目とで同じにすることが容易である。これにより、ＡＤ変換の精度を等しくできるため、アップダウンカウンタによる式（１）で示した減算結果が正しく得られる。
２回目のカウント処理が完了した後の所定のタイミングで（ｔ２８）、通信・タイミング制御部２０は水平走査回路１２に対して画素データの読出しを指示する。これを受けて、水平走査回路１２は、制御線１２ｃを介してカウンタ部２５４に供給する水平選択信号ＣＨ（ｉ）を順次シフトさせる。
こうすることで、カウンタ部２５４に記憶・保持した式（２）で示されるカウント値、すなわちｎビットのデジタルデータで表された画素データが、ｎ本の水平信号線１８を介して、順次、カラム処理部２６外や画素部１０を有するチップ外へ出力端子５ｃから出力され、その後、順次行ごとに同様の動作が繰り返されることで、２次元画像を表す映像データＤ１が得られる。
このように、基準成分（リセット成分）と真の信号成分に対してカウント処理してＡＤ変換を行なう際に、同一の処理対象の画素信号に対してダウンカウント動作とアップカウント動作とを切り替えて（具体的には逆のモードで）カウント処理を行なうとともに、基準成分（リセット成分）と真の信号成分の内の何れか一方（前例では基準成分）について取得したデジタルデータ（カウント値）を他方（前例では信号成分）のカウント処理の初期値とすることで、他方（前例では信号成分）のカウント処理にてＡＤ変換を完了した時点で、自動的に双方の差分結果のデジタルデータを取得する、すなわち、基準成分と信号成分とを含んで表されるアナログの画素信号の基準成分と信号成分との差信号成分をデジタルデータに変換することができる。
＜第１実施形態；空間差分処理の動作＞
図３は、図１に示した第１実施形態の固体撮像装置１のカラムＡＤ回路２５における空間差分処理時の動作を説明するためのタイミングチャートである。空間差分処理は、実質的に同一時刻に取得された１フィールド内の画像において、相異なる画素位置の複数の画素信号間で減算処理を行なう処理である。
なお、“実質的に同一時刻に取得された”と記述したのは、水平行（走査線）ごとに走査する時間だけ蓄積期間がずれるという、ＣＭＯＳセンサ特有の事情によるものである。全ての水平行が同一の蓄積期間となるように、たとえばメカニカルシャッタを併用したり、あるいはＣＭＯＳセンサにグローバル露光の機能を追加したりすることで、完全に同一時刻に取得されたものとすることができる。
空間差分処理の典型例としては、隣接する複数行（３行以上でもよい）の画素信号を処理対象とする垂直列方向の差分処理や、同一行における隣接する複数（３以上でもよい）の画素位置の画素信号を処理対象とする水平行方向の差分処理がある。以下で説明する第１実施形態の空間差分処理動作は、垂直列方向の差分処理である。
なお、“１フィールド周期”は、撮像面上を２次元走査して画像を読み出す期間（具体的には１垂直走査周期）であり、“１フレーム周期”は、撮像面上の全画素で画像を形成するに要する期間である。全ての行を順に垂直方向に走査する順次走査（プログレッシブ走査）を行なう場合は、“１フィールド周期”が“１フレーム周期”になる。これに対して、一方の垂直走査時には行を間引いて順に垂直方向に走査するとともに、他方の垂直走査時には一方の垂直走査時に間引いた行を補完するように垂直方向に走査する飛越し走査（インタレース走査）を行なう場合は、“ｋフィールド”が“１フレーム”になる。“ｋ”は間引きの程度によるもので、通常は、ｋ＝２とする。なお、順次走査であるのか飛越し走査であるのかに拘わらず、撮像面上を２次元走査して画像を読み出す１垂直走査周期を、広義の“１フレーム”ということもある。本願明細書においても、以下の説明におけるフレームは広義のフレームの意味で使用する。
カウンタ部２５４は、ｎビットのデジタル値を読み出した後も、そのデジタル値をカウンタ部２５４内部に保持することができる。空間差分処理時には、カウンタ部２５４のデータ保持特性を利用して、複数の画素信号についてのデジタル減算処理を行なう。以下具体的に説明する。
図３に示すように、１番目の画素信号Ｖ１について、１回目の読出し時にダウンカウント処理をし、２回目の読出し時にアップカウント処理を行なうことでカウンタ部２５４内での減算処理によって、単位画素３の入射光量に応じた電気信号成分Ｖsig1のみを取り出すことができる（ｔ１０〜ｔ２４）。このときのカウンタ部２５４に保持される式（２）で表されるカウント値は、正の信号電圧Ｖsig1を示すｎビットのデジタル値である。
２番目の処理対象の画素信号については、１回目の読出し時にアップカウント処理をし２回目の読出し時にダウンカウント処理を行なう、すなわち１番目の処理対象の画素信号についてのＡＤ変換処理時のカウントモードの組合せとは逆の組合せでＡＤ変換処理を行なう（ｔ３０〜ｔ４４）。これにより、カウンタ部２５４内で自動的に、式（１）で示す減算が行なわれ、この減算結果に応じたカウント値がカウンタ部２５４に保持される。
ここで、２番目の処理対象の画素信号Ｖ２についてのＡＤ変換処理時は、１番目の処理対象の画素信号についてのＡＤ変換処理時のカウントモードの組合せとは逆の組合せでＡＤ変換処理を行なうので、カウンタ部２５４に保持されるカウント値は、式（３）に示すように、信号成分Ｖsig2に応じたものとなるとともに、負の信号電圧（−Ｖsig2）を示すｎビットのデジタル値である。
Figure 0004380439
よって、１番目の処理対象の画素信号Ｖ１についての２回目のカウント処理が完了した後に、２番目の処理対象の画素信号Ｖ２について、１回目のアップカウント処理を開始する際に、カウンタ部２５４に保持されているカウント値をリセットしないで引き続きカウント処理を行なうと、式（３）に対して式（２）のカウント値が加算される。よって、２番目の処理対象の画素信号Ｖ２についての２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値は、式（４）に示すように、２つの画素信号Ｖ１，Ｖ２間での差分（減算）演算の結果（Ｖsig1−Ｖsig2）を示すｎビットのデジタル値となる。
Figure 0004380439
なお、図示を割愛するが、図３に示した例とは逆に、１番目の画素信号Ｖ１について、１回目の読出し時にアップカウント処理をし２回目の読出し時にダウンカウント処理を行なう一方で、２番目の処理対象の画素信号Ｖ２について、１回目のカウント処理を開始する際に、カウンタ部２５４に保持されているカウント値をリセットせずに、１回目の読出し時にダウンカウント処理をし２回目の読出し時にアップカウント処理を行なうようにすれば、２番目の処理対象の画素信号Ｖ２についての２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値は、２つの画素信号Ｖ１，Ｖ２間での差分（減算）演算の結果（Ｖsig2−Ｖsig1）となる。
このように、Ｈｙ行のＡＤ変換処理が完了した後にカウンタ部２５４をリセットしないで、リセット成分ΔＶと信号成分Ｖsig とについて、Ｈｙ行のＡＤ変換処理時のカウントモードの組合せと逆の組合せでＨｙ＋１行のＡＤ変換処理を行なうようにすることで、カラムＡＤ回路２５のカウンタ部２５４には、同一垂直列におけるＨｙ行とＨｙ＋１行の減算結果が保持されることになり、２行についての差分処理が実現できる。
２番目の画素信号Ｖ１について、２回目のカウント処理が完了した後の所定のタイミングで（ｔ４８）、通信・タイミング制御部２０は水平走査回路１２に対して画素データの読出しを指示する。これを受けて、水平走査回路１２は、制御線１２ｃを介してカウンタ部２５４に供給する水平選択信号ＣＨ（ｉ）を順次シフトさせる。
こうすることで、カウンタ部２５４に記憶・保持した式（４）で示されるカウント値、すなわち２つの画素信号Ｖ１，Ｖ２間での差分（減算）演算の結果（Ｖsig2−Ｖsig1）を示すｎビットのデジタルデータが、ｎ本の水平信号線１８を介して、順次、カラム処理部２６外や画素部１０を有するチップ外へ出力端子５ｃから出力され、その後、順次２行ごとに同様の動作が繰り返されることで、隣接する２行の２つの画素信号間での差分（減算）演算の結果を示す２次元の差分画像を表す演算データＤ２が得られる。この差分演算結果の画像は、垂直方向（センサ面縦方向）には、解像度を１／２にした画像となり、画像データ量が１／２に圧縮されることとなる。
本実施形態では、隣接する２行の差分処理について説明したが、３行以上に亘って、減算処理を含む積和演算を実行することもできる。このとき、処理対象の画素数（本例では行数）をｍとすれば、画像データ量を１／ｍに圧縮することができる。
このように、第１実施形態の固体撮像装置１によれば、同一の単位画素３の画素信号における基準成分（リセット成分）と信号成分に対して、カウントモードの組合せを逆にしてカウント動作を繰り返し行なうことで、画素信号の基準成分と信号成分との差信号成分をデジタルデータに変換することができるとともに、相異なる複数（前例では隣接する２行分）の単位画素３の画素信号に対して、カウントモードの組合せを逆にしてカウント動作を繰り返し行なうことで、複数の画素信号間での差分（減算）演算を実現することもできる。
たとえば、カウンタ部２５４は、複数の単位画素３の画素信号についてそれぞれカウント処理してＡＤ変換を行なう際に、各画素信号の内の一方について取得したデジタルデータを他方の画素信号（後のカウント処理の対象信号）のカウント処理の初期値とすることで、複数の単位画素３のうちの他方についてカウント処理にてＡＤ変換をした後には、自動的に双方の積和演算結果のデジタルデータを取得する。
ここで、図３に示したように、それぞれについてのカウントモードを異なるモード（逆のモード）にすれば、後のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号についての減算結果のデジタルデータを取得することができる。これに対して図示を割愛するが、それぞれの信号成分についてのカウントモードを同じにすれば、後のカウント処理時に得られるカウント値は、複数の単位画素３の画素信号（詳しくは真の信号成分）についての加算結果のデジタルデータを取得することができる。これらを組み合わせることで、各単位画素３からの画素信号（詳しくは真の信号成分）について、符号も含んだ総和を求める機能、つまり積和演算を実現することができる。
＜第２実施形態；固体撮像装置の構成；パイプライン処理＞
図４は、本発明の第２実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第２実施形態の固体撮像装置１は、第１実施形態の固体撮像装置１に対して、カラムＡＤ回路２５の構成を変形している。
すなわち、第２実施形態におけるカラムＡＤ回路２５は、カウンタ部２５４の後段に、このカウンタ部２５４の保持したカウント結果を保持するｎビットのメモリ装置としてのデータ記憶部２５６と、カウンタ部２５４とデータ記憶部２５６との間に配されたスイッチ２５８とを備えている。
スイッチ２５８には、他の垂直列のスイッチ２５８と共通に、通信・タイミング制御部２０から、所定のタイミングで、制御パルスとしてのメモリ転送指示パルスＣＮ８が供給される。スイッチ２５８は、メモリ転送指示パルスＣＮ８が供給されると、対応するカウンタ部２５４のカウント値をデータ記憶部２５６に転送する。データ記憶部２５６は、転送されたカウント値を保持・記憶する。
なお、カウンタ部２５４のカウント値を所定のタイミングでデータ記憶部２５６に保持させる仕組みは、両者間にスイッチ２５８を配する構成に限らず、たとえば、カウンタ部２５４とデータ記憶部２５６とを直接に接続しつつ、カウンタ部２５４の出力イネーブルをメモリ転送指示パルスＣＮ８で制御することで実現することもできるし、データ記憶部２５６のデータ取込タイミングを決めるラッチクロックとしてメモリ転送指示パルスＣＮ８を用いることでも実現できる。
データ記憶部２５６には、水平走査回路１２から制御線１２ｃを介して制御パルスが入力される。データ記憶部２５６は、制御線１２ｃを介しての制御パルスによる指示があるまでは、カウンタ部２５４から取り込んだカウント値を保持する。
水平走査回路１２は、カラム処理部２６の各電圧比較部２５２とカウンタ部２５４とが、それぞれが担当する処理を行なうのと並行して、各データ記憶部２５６が保持していたカウント値を読み出す読出走査部の機能を持つ。
このような第２実施形態の構成によれば、カウンタ部２５４が保持したカウント結果をデータ記憶部２５６に転送することができるため、カウンタ部２５４のカウント動作すなわちＡＤ変換処理と、カウント結果の水平信号線１８への読出動作とを独立して制御可能であり、ＡＤ変換処理と外部（先ずは水平信号線１８）への信号の読出動作とを独立・並行して行なうパイプライン動作が実現できる。
＜第２実施形態；パイプライン処理の基本動作＞
図５は、図４に示した第２実施形態の固体撮像装置１のカラムＡＤ回路２５における基本動作を説明するためのタイミングチャートである。カラムＡＤ回路２５におけるＡＤ変換処理は、第１実施形態と同様である。ここではその詳細な説明を割愛する。
第２実施形態においては、第１実施形態の構成に、データ記憶部２５６を追加したものであり、ＡＤ変換処理を始めとする基本的な動作は第１実施形態と同様であるが、カウンタ部２５４の動作前（ｔ６）に、通信・タイミング制御部２０からのメモリ転送指示パルスＣＮ８に基づき、前行Ｈｘ−１の処理時におけるカウント結果をデータ記憶部２５６に転送する。
第１実施形態では、処理対象の画素信号における２回目の読出処理、すなわちＡＤ変換処理が完了した後でなければ画素データをカラム処理部２６の外部に出力することができないので、読出処理には制限があるのに対して、第２実施形態の構成では、処理対象の画素信号における１回目の読出処理（ＡＤ変換処理）に先立って前回の減算処理結果を示すカウント値をデータ記憶部２５６に転送しているので、読出処理には制限がない。
＜第２実施形態；固体撮像装置の空間差分処理動作＞
図６は、図４示した第２実施形態の固体撮像装置１のカラムＡＤ回路２５における空間差分処理時の動作を説明するためのタイミングチャートである。
図５に示したように、第２実施形態においては、処理対象の画素信号における１回目の読出処理（ＡＤ変換処理）に先立って前回の減算処理結果を示すカウント値をデータ記憶部２５６に転送しているので、読出処理には制限がない。
こうすることで、図６に示すように、データ記憶部２５６から水平信号線１８および出力回路２８を経た外部への差分データの信号出力動作と、現行Ｈｘおよび次行Ｈｘ＋１の読出しおよびカウンタ部２５４のカウント動作を利用した差分処理とを並行して行なうことができ、より効率のよい信号出力が可能となる。
図７は、空間差分処理におけるフレームレートとの関わりを説明するタイミングチャートである。図３を用いて説明したように、カウンタ部２５４のアップダウンカウント機能を使って２行ごとの減算処理を実現することにより差分画像を取得するとともにデータ量を圧縮することができるが、第２実施形態の構成ではデータ記憶部２５６を設けたことで、ＡＤ変換とデータ読出とを同時並行的に処理できる。
ここで第２実施形態においては、差分処理の対象とする全ての画素（本例では行）についての総ＡＤ変換期間が、１行内に収まるようにする。こうすることで、総ＡＤ変換時間を１／２＾ｍに低減するとともに、フレームレートを２＾ｍ倍向上させることができる。
ここで、処理対象の画素数２＾ｍ（“＾”はべき乗を示す）として、総ＡＤ変換時間を１／２＾ｍにしたり、フレームレートを２＾ｍ倍にしたりするに当たっては、参照信号RAMPの傾きを２＾ｍ倍にするとともに、カウントクロックＣＫ０を２＾ｍ倍にする方法や、参照信号RAMPの傾きやカウントクロックＣＫ０を変更せずにビット数を低減する方法などがある。
後者の場合、信号の最大幅（ダイナミックレンジ）に割り当てるビット分解能を通常時と同じに維持したまま信号の最大幅（ダイナミックレンジ）をカバーするようにすると、各単位画素３についてのＡＤ変換期間すなわちフルスケール分（たとえばｎビットカウントに対してｎビット分）のＡＤ変換期間を１行分に割り当てることができないので、各単位画素３についての最長ＡＤ変換期間をそれぞれ１／２＾ｍ倍と短くする必要がある。参照信号RAMPの傾きを通常処理時と同じにする場合、概ね、ビット数を“ｍ”だけ少なくする必要があることを意味する。
つまり、参照信号RAMPの傾きやカウントクロックＣＫ０を変更せずに、ビット分解能を維持したままで、複数画素の演算を１行期間内に収めるには、処理対象とする画素数（本例では行数）に応じて、カウント処理のビット数を上述のように調整する必要がある。
つまり、ＡＤ変換精度を維持したままＡＤ変換期間を短くできない場合、２＾ｍ個の画素を差分処理の処理対象とする場合、図７のタイミングチャートにおけるカウンタ部２５４の各２回目（すなわち信号成分Ｖsig の比較期間）のカウント処理のデジタルカウントを、“ｎ−ｍ”ビットまでとするとよい。
たとえば、２行について差分処理を行なう場合において、１０ビットでカウント処理を行なう場合、本来は１０２４クロック期間比較を行なうが、９ビットでカウント処理を行なう、すなわち５１２クロック期間に削減する。このとき、参照信号生成部２７のＤＡ変換回路２７ａで生成される参照信号RAMPの時間変化の割合は同一とする。これは、ＡＤ変換精度、すなわちビット分解能が変化しないことを意味する。
本例においては、図７のタイミングチャートに示すように、ＡＤ変換期間を１／２に短縮することで、カウントクロックＣＫ０を変更することなく、またデータ出力レートを変更せずにフレームレートを２倍にすることができる。
なお、フレームレートが２倍になると、単位画素当りの蓄積時間は１／２となり、信号振幅も１／２となりＳ／Ｎが低下する可能性がある。同様に、２＾ｍ（“＾”はべき乗を示す）行を処理対象の単位として減算を実行しＡＤ変換期間を１／ｍに削減した場合、フレームレートがｍ倍となる。このとき、ｎビットのＡＤ変換精度をｎ−ｍビットに低減することで、Ｓ／Ｎの劣化の可能性はあるがフレームレートを向上させることができる。
＜空間差分処理の利用形態；１次元エッジ検出＞
図８および図９は、第１もしくは第２実施形態の構成における空間差分処理の利用形態の第１例を説明する図である。図６や図７を用いて説明したように、カウンタ部２５４のアップダウンカウント機能を使って２行ごとの減算処理を実現することにより差分画像を取得することができるが、その一利用形態としては、カラム処理部２６の外部に特殊な回路を用いることなく、エッジ抽出処理の機能を実現できるようになる。
たとえば、図８は、エッジ検出機能を説明する図である。カウンタ部２５４にて列方向に差分処理を行なうと、２行ごとすなわち垂直走査方向に隣り合う画素間で減算がなされエッジ検出ができるようになる。このように、垂直走査方向に隣り合う画素の信号を減算する動作をすると、図８（Ａ）に示すように、被写体の中に走査方向にある白と黒の境界で信号強度が最も強くなる。すなわち、フォトダイオードなどの電荷生成部の信号レベルが一定している部分では差分画像には出力が現れないが、信号レベルが変化する境界部分に差し掛かると差分出力が得られるので、これによりエッジ検出を行なうことができる。この垂直方向のエッジ検出処理を複数の垂直列について処理することによって、水平行列方向の直線検出処理が実現できる。
ただし、図７を用いて説明した差分処理では、２行ごとの減算処理を行なうので、白と黒の境界が丁度２行の繰返しと同期した位置にあると、図８（Ｂ）に示すように、白と黒の境界部分では、信号強度が強くなる事象が発生しない。
この問題を解消するには、２行ごとの減算処理を、１行ずつずらしながら行なう逐次処理にするのがよい。このためには、垂直走査回路１４は、水平行を垂直方向に２行ずつ順に走査するのではなく、垂直デコーダ１４ａによるアドレスデコード処理により、任意の行線Ｈｙを選択できるようにすることで、対応する任意の２行を選択するようにする。
この場合、図９に示すタイミングチャートのように、フレームレートを通常のままとするとともに、ＡＤ変換期間を１／２に短縮する。この場合でも、カウントクロックＣＫ０を変更することなく、またデータ出力レートを変更せずに、フレームレートを通常通りにすることができる。
なお、ランダム雑音などの成分による誤判定を防止するべく、エッジ判定に際しては、閾値処理を行なうのがよい。すなわち、カラム処理部２６の後段に接続された出力回路２８もしくは出力回路２８の後段に接続される図示しないデジタル信号処理部にて、式（４）で求めた２画素間の差分結果を示すデジタル値が一定以上である場合に、エッジが検出されたものと判定するのがよい。
また、電荷のゆらぎなどに起因して発生するショット雑音（shot noise）は、信号の大きさの平方根に比例する、すなわち被写界が明るく輝度レベルが大きい場合にはショット雑音のレベルが大きくなる特質を持っているので、判定の閾値を一定すると、被写界が極端に明るい場合や極端に暗い場合には、エッジを精度良く検出することができないという問題を生じ得る。これを避けるべく、被写体のコントラストが高い場合や被写界が暗い場合には判定の閾値を上げる一方、被写体のコントラストが低い場合や被写界が明るい場合には判定の閾値を下げるなど、状況に応じてエッジ判定の閾値を調整するのがよい。こうすることで、精度良くエッジを検出することができるようになる。
＜空間差分処理の利用形態；パターン・マッチング＞
図１０は、第１もしくは第２実施形態の構成における空間差分処理の利用形態の第２例を説明する図である。第２例では、パターン・マッチングを説明する。パターン・マッチングもエッジ検出と同様の概念で処理することができ、たとえば抽出しようとしているパターンと同じ減算パターンの組合せで走査することで、図１０（Ａ）に示す検知結果の出力イメージのように、減算パターンの組合せと同じ模様の部分から最も強い信号が得られる。これは、１次元の空間フィルタを通すのと同じ操作に該当し、上記で示した第１および第２実施形態の構成によれば、外部に特殊な回路を用いることなく、パターン・マッチング機能を実現できる。
ただし、図７を用いて説明した差分処理では、２行ごとの減算処理を行なうので、検知対象のパターン配置に対して１画素分ずれてサーチすると、図１０（Ｂ）に示すように、検知対象のパターンに合致しない場合であってもエッジ部分が検知されることがある。この問題を解消するには、１行分ずらした減算パターンの組合せでも走査するとともに、両方の検知結果を１行分ずらして論理積（ＡＮＤ）を取るか、もしくは、検知結果のイメージデータを加算するとよい。論理積を取ると検知対象のパターンに合致しない部分を完全に除去できる。またデータ加算をすると、検知対象のパターンに合致する部分の濃度が強調されるとともに、合致しない部分の濃度が低減されるので、抽出すべき部分がより強調される。
以上説明したように、第１および第２実施形態の固体撮像装置によれば、アップダウンカウンタを用いつつ、その処理モードを切り替えて２回に亘ってカウント処理を行なうようにした。また、行列状に単位画素３が配列された構成において、カラムＡＤ回路２５を垂直列ごとに設けた列並列カラムＡＤ回路で構成した。
このため、基準成分（リセット成分）と信号成分との減算処理が２回目のカウント結果として垂直列ごとに直接に取得することができ、基準成分と信号成分のそれぞれのカウント結果を保持するメモリ装置をカウンタ部が備えるラッチ機能で実現でき、ＡＤ変換されたデータを保持する専用のメモリ装置をカウンタとは別に用意する必要がない。また、基準成分と信号成分との差を取るための特別な減算器が不要になる。
加えて、この減算処理で得られる真の信号成分を複数使って積和演算処理を行なう際も、カウント結果を保持するメモリ装置をカウンタ部が備えるラッチ機能で実現でき、ＡＤ変換されたデータを保持する専用のメモリ装置をカウンタとは別に用意する必要がない。
このように、ＡＤ変換結果を保持するだけの特別なメモリや、基準成分と信号成分との差を取るための特別な減算器や、積和演算処理を行なうための特別な減算器や加算器などの周辺回路が不要になる。よって、回路規模や回路面積を少なくすることができ、装置全体としてコストの低減を図ることができ、加えて、雑音の増加や電流、消費電力の増大を解消することができる。
また、比較部とカウンタ部でカラムＡＤ回路（ＡＤ変換部）を構成したので、ビット数によらずカウンタ部を動作させるカウントクロック１本とカウントモードを制御する制御線とでカウント処理を制御でき、カウンタ部のカウント値をメモリ装置まで導く信号線が不要になり、雑音の増加や消費電力の増大を解消することができる。
つまり、ＡＤ変換装置を同一チップ上に搭載した固体撮像装置１において、電圧比較部２５２とカウンタ部２５４とを対にしてＡＤ変換部としてのカラムＡＤ回路２５を構成するとともに、カウンタ部２５４の動作としてダウンカウントとアップカウントとを組み合わせて使用しつつ、処理対象信号の基本成分（本実施形態ではリセット成分）と信号成分との差をデジタルデータにすることで、回路規模や回路面積や消費電力、あるいは他の機能部と間のインタフェース用配線の数や、この配線によるノイズや消費電流などの問題を解消することができる。
また、処理モードとして、差分演算処理モードにすれば、チップ外部のメモリを使用しないで、かつ列並列に配置されたカラムＡＤ回路２５のモード切替可能なアップダウンカウント機能を利用することで、追加回路を使わずに、行単位で、高精度の差分処理を実現できる。これによって、エッジ検出処理や直線検出処理あるいはパターン・マッチング処理などの空間差分処理が実現できる。
＜第３実施形態；固体撮像装置の構成；２次元処理対応；その１＞
図１１は、本発明の第３実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第３実施形態の固体撮像装置１は、第２実施形態の固体撮像装置１に対して、行方向についての空間差分処理を実現可能に構成する機能要素を追加した点に特徴を有する。ここでは、図３に示した列方向に２行単位で差分演算を行なうことに対応して、行方向に２列単位で差分演算を行なう“２行×２列”対応の事例で説明する。
具体的には、行方向についての差分処理を行なう主要な機能要素として、先ず、固体撮像装置１は、出力回路２８にｎビットの減算処理を行なうデジタル演算部（Δ）２８２を備えている。カラム処理部２６と出力回路２８のデジタル演算部２８２との間は、ｎビット分の水平信号線１８が２系統（それぞれを１８ａ，１８ｂとする）用意されている。
デジタル演算部２８２は、列方向もしくは行方向についてのカラムＡＤ回路２５における積和演算結果のデジタルデータを複数受け取り、この複数のデジタルデータに基づき、カラムＡＤ回路２５における列方向もしくは行方向と逆の関係となる方向についての積和演算を行なう。“逆の関係となる方向”とは、カラムＡＤ回路２５が列方向に処理していれば行方向、カラムＡＤ回路２５が行方向に処理していれば列方向である。本実施形態では、カラムＡＤ回路２５にて列方向の積和演算を行ない、デジタル演算部２８２にて行方向の積和演算を行なう。積和演算は、何れも差分演算とする。
本実施形態においては、カラム処理部２６とデジタル演算部２８２とで、複数の処理対象信号の積和演算結果のデジタルデータを取得するデータ処理装置が構成される。全体として、２次元の積和演算処理を行なったデジタルデータをデジタル演算部２８２から取得することができるように構成される。
奇数列（２ｊ−１）線Ｖ１，Ｖ３，…（ｊ＝１以上の正の整数、以下本実施形態において同様）に接続されたカラムＡＤ回路２５は、ｎビット幅の水平信号線１８ａを経由してデジタル演算部２８２の第１の入力端子に接続され、偶数（２ｊ）列線Ｖ２，Ｖ４，…に接続されたカラムＡＤ回路２５は、ｎビット幅の水平信号線１８ｂを経由してデジタル演算部２８２の第２の入力端子に接続されている。
デジタル演算部２８２は、水平信号線１８ａを介して入力される奇数列の２行分の差分処理で得られた差分データＤ３ａと、水平信号線１８ｂを介して入力される偶数列の２行分の差分処理で得られた差分データＤ３ｂとに基づき、行方向について、２列分を単位とする差分演算を行ない、最終的な差分データ（デジタル差分処理信号）Ｄ３を出力する。
この際の差分処理としては、図３に示した列方向における２行単位での差分演算と同様に、同じ係数としつつ、奇数列の差分データＤ３ａから偶数列の差分データＤ３ｂを差し引くことで、差分データＤ３＝Ｄ３ａ−Ｄ３ｂを求める処理とする。
＜第３実施形態；固体撮像装置の空間差分処理動作；２次元処理対応；その１＞
図１２は、図１１示した第３実施形態の固体撮像装置１のカラムＡＤ回路２５における空間差分処理時の動作を説明するためのタイミングチャートである。また、図１３は、第３実施形態の構成における空間差分処理の利用形態を説明する図である。
マトリックス状に配置された画素部１０の各単位画素３から列並列のカラムＡＤ回路２５に画素信号を読み出して列方向の２行分について差分処理する動作、すなわち行線Ｈｘ、Ｈｘ＋１のデジタルカウント値をカラムＡＤ回路２５を用いて差分処理する動作は、上述した第２実施形態と同様である。
カラムＡＤ回路２５のカウンタ部２５４は、取得した差分結果を示すデジタルカウント値をデータ記憶部２５６に転送し、データ記憶部２５６は、水平信号線１８ａ，１８ｂを通して奇数列線および偶数列線の行線Ｈｘ、Ｈｘ＋１の差分信号をデジタル演算部２８２に入力させる。
このとき、水平走査回路１２からの水平走査信号ＣＨ（ｉ）は、ＣＨ（１）とＣＨ（２）、ＣＨ（３）とＣＨ（４）、…というように、２列ごとにカラムＡＤ回路２５のデータ記憶部２５６に保持されたデジタル値を水平信号線１８ａ，１８ｂに同時に出力する。
図１２に示すタイミングチャートの出力信号Ａには奇数列の差分データＤ３ａが、また出力信号Ｂには偶数列の差分データＤ３ｂが出力されている。たとえば、出力信号Ａの先頭信号から、１列目の画素１１と画素２１の差分結果が出力され、出力信号Ｂの先頭信号から、２列目の画素１２と画素２２の差分結果が出力される。
したがって、デジタル演算部２８２から出力される差分データＤ３の先頭出力は、図１１に示す単位画素３の、１行１列（画素１１）と２行１列（画素２１）との差分“Ｖsig11 −Ｖsig21 ”から、１行２列（画素１２）と２行２列（画素２２）との差分“Ｖsig12 −Ｖsig22 ”を差し引いた差分データＤ３＝Ｄ３ａ−Ｄ３ｂの結果が出力される。
また、この第３実施形態では、第２実施形態と同様にデータ記憶部２５６を設けており、カラムＡＤ回路２５のカウンタ部２５４の保持したカウント結果をデータ記憶部２５６に転送することができるため、カウンタ部２５４のカウント動作と、カウント結果の水平信号線１８ａ，１８ｂへの読出動作とを独立して制御可能である。
ここで、差分処理の対象とする画素数に基づき、カウント処理のビット数を調整することで、ダイナミックレンジやビット分解能を維持したままで、ＡＤ変換時間を低減することも可能となる。また、画素信号のリセットレベル（基準成分）を取得するための通常処理時のビット精度をｎビットとし、処理対象の画素数をｍ（本例では４＝２×２）としたとき、差分処理時には、ＡＤ変換のビット数を“ｍ−１＝３”だけ低減すれば、参照信号RAMPの傾きやカウントクロックＣＫ０を変更することなく、ＡＤ変換時間を１／ｍに低減することができる。たとえば、図１２に示すように、ＡＤ変換のビット精度を低減し、それぞれのＡＤ変換期間を１／４に短縮することで、フレームレートを４倍にすることができる。
以上説明したように、第３実施形態の構成によれば、デジタル演算部２８２にて、行方向差分処理を実現することができる。たとえば、カウンタ部２５４では列方向についての差分処理を行なわずカウント値をデータ記憶部２５６を経由してデジタル演算部２８２に送るようにすれば、デジタル演算部２８２により、２列分についてのカウント値を対象として減算処理することが可能となり、結果として２列の画素の差分処理を行なう行方向差分処理を実現することができる。
この行方向の差分処理を単独で機能させることで、水平方向にエッジ検出ができ、この水平方向のエッジ検出処理を複数の水平行について処理することによって、垂直列方向の直線検出処理が実現できる。行方向についての２列分の差分処理をカラム処理部２６の外部に設けたデジタル演算部２８２で行なう構成ではあるものの、列方向についての差分処理に関しては上記第１や第２実施形態と同様の効果を享受できる。
単位画素３から垂直信号線１９には電圧モードで画素信号を出力するようにしている。よって、単位画素３に電荷生成部で取得した電荷を保持するフローティングディフュージョンなどのメモリ機能要素を設けることで、画素信号を垂直信号線１９に読み出した後でも、単位画素３の信号電荷をリセットするまでは、電荷生成部で取得した電荷に応じた電気信号（電圧信号）を出力させることができる。この性質を利用すれば、単位画素３から同一の画素信号を複数回を読み出すことができる。これにより、第１や第２実施形態で示した列方向だけでなく、この第３実施形態のように、行方向についても差分演算処理を行なうことができるようにすることで、たとえば、高精度な図形の認識機能を実現することができるようになる。
＜空間差分処理の利用形態；２列の２次元＞
たとえば、図１３（Ａ）に示すように、先ず列方向に２行ずつ差分処理をして列方向に１次元状に投影された各列のエッジプロファイル（列方向エッジ検出画像）を取得し、この後、行方向に２列ずつ差分処理をして行方向に１次元状に投影された各行のエッジプロファイル（行方向エッジ検出画像）を取得し、これらで得られる２次元状のエッジプロファイルに基づき、エッジの形やエッジの数を解析して処理対象画像の図形の特徴を求め、これを基準のテンプレートと比較して最も類似したものを選択することにより、図形の認識機能を実現することができる。
また、図３に示した列方向に２行単位で差分演算を行なう列方向差分処理と、デジタル演算部２８２による、２列単位で差分演算を行なう行方向差分処理とを組み合わせることにより、２行２列の差分処理を実現することが可能となる。この２行２列の差分処理の利用形態としては、２次元方向のエッジ検出処理として、たとえば図１３（Ｂ）に示すように、頂点座標の抽出処理や、４５度斜め方向のエッジ検出処理ができるので斜め方向の直線検出処理が実現できる。
以上説明したように、列並列に配置されたカラムＡＤ回路２５のモード切替可能なアップダウンカウント機能を利用して垂直列方向に差分処理を行なう構成だけでなく、カラム処理部２６の後段に設けたデジタル演算部２８２にて水平行方向にも差分処理を行なう機能要素を追加することで、エッジ検出処理や直線検出処理あるいはパターン・マッチング処理などが２次元に展開できるようになる。
この際、列並列に配置されたカラムＡＤ回路２５のモード切替可能なアップダウンカウント機能を利用した複数行の画素信号についての垂直列方向の差分処理機能を停止させておき、リセット成分と信号成分を含む画素信号から真の信号成分を抽出する差分処理機能のみを作用させることで、水平行方向のみについての複数の画素信号間で差分処理を行なうことができ、エッジ検出処理や直線検出処理あるいはパターン・マッチング処理などが水平行方向のみに展開できるようにもなる。
＜第４実施形態；固体撮像装置の構成；３行以上の画素信号対応＞
図１４は、本発明の第４実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第４実施形態の固体撮像装置１は、第２実施形態の固体撮像装置１に対して、３行以上の画素信号を対象として差分処理するとともに、符号も含んだ積和演算機能を実現するように構成した点に特徴を有する。ここでは、列方向に３行単位で差分演算を行なう事例で説明する。
先ず、基本的な固体撮像装置１の構成は、概ね第２実施形態の固体撮像装置１と同様としつつ、通信・タイミング制御部２０から参照信号生成部２７に供給する参照信号RAMP（ＡＤＣ基準信号）生成用のカウントクロックを、カウンタ部２５４が使用するカウントクロックＣＫ０とは独立に、ＤＡＣ用のカウントクロックＣＫdac として供給するようにしている。その他の構成は、第２実施形態と同様である。
カウントクロックＣＫdac の周期（周波数）を行ごとに調整することで、行ごとに異なる参照信号RAMPを電圧比較部２５２に供給することができるようになる。そしてこれにより、処理対象画素信号についての参照信号RAMPの傾き（変化率）を同じに設定するだけでなく、その参照信号RAMPの傾き（変化率）を異なるものとして差分処理ができるようになる。つまり、各単位画素３からの画素信号（詳しくは真の信号成分）に係数を掛けた後に減算処理を行なう、すなわち、符号も含んだ総和を求める積和演算機能を実現することができるようになる。
＜第４実施形態；参照信号生成部の機能説明＞
図１５は、第４実施形態の固体撮像装置１において使用される参照信号生成部２７のＤＡ変換回路（ＤＡＣ）２７ａの機能を説明する図である。
ＤＡ変換回路２７ａには、通信・タイミング制御部２０からＤＡＣ用のカウントクロックＣＫdac の供給を受け、カウントクロックＣＫdac に同期して、階段状の鋸歯状波（ランプ波形）を生成して、カラムＡＤ回路２５の電圧比較部２５２に、この生成した鋸歯状波をＡＤ変換用の参照電圧（ＡＤＣ基準信号）として供給する。
ここで、ＤＡ変換回路２７ａは、先ず、制御データＣＮ４に含まれている比較処理ごとのランプ電圧の傾き（変化率）を指示する情報に基づき、１クロック当たりの電圧変化分ΔRAMPを設定し、単位時間（カウントクロックＣＫdac ）ごとに１ずつカウント値を変化させるようにする。実際には、カウントクロックＣＫdac の最大カウント数（たとえば１０ビットで２．０など）に対しての最大電圧幅を設定するだけでよい。
こうすることで、ＤＡ変換回路２７ａは、制御データＣＮ４に含まれている初期値を示す電圧（たとえば３．０Ｖ）から、１つのカウントクロックＣＫdac ごとにΔRAMPずつ電圧を低下させる。
また、単位画素３からの画素信号（詳しくは真の信号成分）に対する係数を設定する際は、通信・タイミング制御部２０は、係数１を設定するカウントクロックＣＫdac1の基準周期に対して１／ｍ分周したカウントクロックＣＫdacmをＤＡ変換回路２７ａに供給する。ＤＡ変換回路２７ａは、制御データＣＮ４に含まれている初期値を示す電圧（たとえば３．０Ｖ）から、１つのカウントクロックＣＫdacmごとにΔRAMPずつ電圧を低下させる。
こうすることで、電圧比較部２５２に供給される参照信号RAMPの傾きが、カウントクロックＣＫdac1（＝ＣＫ０）で参照信号RAMPを生成する場合に対して、１／ｍ倍となり、カウンタ部２５４にては、同じ画素電圧に対して、カウント値がｍ倍となる、すなわち係数としてｍを設定できる。
図１５から分かるように、参照信号RAMPの傾きが大きい程、単位画素３に蓄積された情報量に掛かる係数は小さく、傾きが小さい程係数が大きいことになる。たとえば、カウントクロックＣＫdac1の基準周期に対して１／２分周したカウントクロックＣＫdac2を与えることで、係数を“２”に設定でき、１／４分周したカウントクロックＣＫdac4を与えることで、係数を“４”に設定できる。なお、ｎ／ｍ分周したカウントクロックＣＫdacnm を与えることで、係数をｍ／ｎに設定することもできる。
このように、カウントクロックＣＫdacmごとにΔRAMPずつ電圧を変化（本例では低下）させるようにしつつ、参照信号生成部２７に与えるカウントクロックＣＫdacnm の周期を調整することで、簡単かつ精度よく係数を設定することができる。なお、画素信号の信号成分Ｖsig についてのカウント処理のモードを調整することで係数の符号（＋／−）を指定することができる。
なお、ここで示した係数の設定手法は一例であって、このような手法に限定されない。たとえば、参照信号生成部２７に与えるカウントクロックＣＫdac の周期を一定にしつつ、カウンタ出力値をｘ、制御データＣＮ４に含まれているランプ電圧の傾き（変化率）βとするとｙ＝α（初期値）−β＊ｘによって算出される電位を出力するなど、制御データＣＮ４に含まれているランプ電圧の傾き（変化率）を指示する情報により、１つのカウントクロックＣＫdac ごとの電圧変化分ΔRAMPを調整するなど、任意の回路を用いることができる。
＜第４実施形態；空間差分処理の動作＞
図１６は、図１４に示した第４実施形態の固体撮像装置１のカラムＡＤ回路２５における空間差分処理時の動作を説明するためのタイミングチャートである。第４実施形態の構成によれば、複数の画素信号についての積和演算を行なうに当たり、相異なる係数を付与して減算処理もしくは加算処理を行なうことができる。
本例では、カラムＡＤ回路２５のカウンタ部２５４における差分処理用のカウント処理としては、“３ｊ−２”行線Ｈ１，Ｈ４，…（ｊ＝１以上の正の整数、以下本実施形態において同様）に対しての係数α１は“１”、“３ｊ−１”行線Ｈ２，Ｈ５，…に対しての係数α２は“−２”、“３ｊ”行線Ｈ３，Ｈ６，…に対しての係数α３は“１”を設定するものとする。よって、通信・タイミング制御部２０は、カウンタ部２５４に対して、画素信号の信号成分Ｖsig について、それぞれ“３ｊ−２”行線に対してはアップカウント処理、“３ｊ−１”行線に対してはダウンカウント処理、“３ｊ”行線に対してはアップカウント処理を行なうように、カウントモードを制御する。
これにより、３ｊ番目の処理対象の画素信号Ｖ３ｊについての２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値は、式（５）に示すように、３つの画素信号Ｖ３ｊ−２，Ｖ３ｊ−１，Ｖ３ｊ間での差分演算（加減算；符号を含む積和演算）の結果（Ｖsig1−２・Ｖsig2＋Ｖsig3）を示すｎビットのデジタル値となる。
Figure 0004380439
なお、第４実施形態では、列方向に３行単位で差分演算を含む積和演算を行なう事例で説明したが、４行以上にも容易に展開できる。この際、傾き（変化率）を同じにする画素数と傾き（変化率）を異なるものにする画素数との組合せも自由である。
これにより、処理単位行数における最終行の処理対象の画素信号について、２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値は、式（６）に示すように、ｋ個の画素信号Ｖ１，Ｖ２，…，Ｖｋ間での積和演算（加減算；符号を含む積和演算）の結果を示すｎビットのデジタル値となる。ここで、係数βｋは符号も含むものとする。
Figure 0004380439
＜空間差分処理の利用形態；３行以上＞
図１７は、第４実施形態の構成における空間差分処理の利用形態を説明する図である。図１６を用いて説明したように、カウンタ部２５４のアップダウンカウント機能を使って３行以上に亘って 加減算（符号を含む積和演算）処理を実現することにより様々な形態の演算画像を取得することができるが、その一利用形態としては、カラム処理部２６の外部に特殊な回路を用いることなく、１次元の空間フィルタ処理の機能を実現できるようになる。
たとえば、図１７は、３行に亘って積和演算処理を行なう場合に得られる空間フィルタの例を示している。参照信号生成部２７より発せられる参照信号RAMPの傾きを行ごとに調整することで、フィルタ係数を任意に設定できるので、たとえば、図１７（Ａ）に示すように“１，−２，１”としたり、図１７（Ｂ）に示すように“１，−３，１”としたりすることで、中央画素強調の空間フィルタを実現できる。
また、画素信号の信号成分Ｖsig についてのカウント処理のモードを調整することで係数の符号（＋／−）を指定することができるので、たとえば図１７（Ｃ）に示すように“−１，２，−１”としたり、図１７（Ｄ）に示すように“−１，３，−１”としたりすることで、図１７（Ａ），（Ｂ）とは逆特性の中央画素強調の空間フィルタを実現できる。
また、特定画素についてのカウント処理を停止して係数を“０”に設定することもできるので、たとえば図１７（Ｅ）に示すように“−１，０，１”としたり、図１７（Ｆ）に示すように“１，０，−１”としたりすることで、垂直列方向の微分フィルタを実現することもできる。
また、これらのことから、画像圧縮処理で頻繁に使われる離散的コサイン変換を実現することもできる。離散的コサイン変換では、たとえば８×８画素について、コサイン係数を掛けて和を求める必要があるとともに、コサイン係数には正負があるので、このような両極性の演算が必要な場合に、第４実施形態の構成を適用することで、要求される機能を簡単に実現することができる。
＜第５実施形態；固体撮像装置の構成；３列以上の２次元処理対応＞
図１８は、本発明の第５実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第５施形態の固体撮像装置１は、第４実施形態の固体撮像装置１に対して、行方向についての差分処理を行なう構成要素を追加している点に特徴を有する。第５実施形態の固体撮像装置１は、第２実施形態の固体撮像装置１に対して、行方向についての空間差分処理を実現可能に構成する機能要素を追加した点に特徴を有し、図１１に示した“２行×２列”対応の第３実施形態の固体撮像装置１を、３列以上に対応するように変形したものである。
以下では、図１６に示した列方向に３行単位で積和演算を行なうことに対応して、行方向に３列単位で積和演算を行なう“３行×３列”対応の事例で説明する。なお、説明を割愛するが、列方向に２行単位で差分演算を行なうものに適用して行方向に３列単位で積和演算を行なうようにすれば、“２行×３列”対応の構成となる。また、列方向にｊ行単位で積和演算を行なうものに適用して行方向に４列以上（ｋ列）の単位で積和演算を行なうようにすれば、“ｊ行×ｋ列”対応の構成となる。
行方向についての積和演算を行なう主要な機能要素として、先ず固体撮像装置１は、出力回路２８にｎビットの減算処理を伴う積和演算を行なうデジタル演算部２８２を備えている。カラム処理部２６と出力回路２８のデジタル演算部２８２との間は、ｎビット分の水平信号線１８が３系統（それぞれを１８ａ，１８ｂ，１８ｃとする）用意されている。
“３ｊ−２”列線Ｖ１，Ｖ４，…（ｎ＝１以上の正の整数、以下本実施形態において同様）に接続されたカラムＡＤ回路２５は、ｎビット幅の水平信号線１８ａを経由してデジタル演算部２８２の第１の入力端子に接続され、“３ｊ−１”列線Ｖ２，Ｖ５，…に接続されたカラムＡＤ回路２５は、ｎビット幅の水平信号線１８ｂを経由してデジタル演算部２８２の第２の入力端子に接続され、“３ｊ”列線Ｖ３，Ｖ６，…に接続されたカラムＡＤ回路２５は、ｎビット幅の水平信号線１８ｃを経由してデジタル演算部２８２の第３の入力端子に接続されている。
デジタル演算部２８２は、水平信号線１８ａを介して入力される“３ｊ−２”列の差分データＤ４ａと、水平信号線１８ｂを介して入力される“３ｊ−１”列の差分データＤ４ｂと、水平信号線１８ｃを介して入力される“３ｊ”列の差分データＤ４ｃとに基づき、行方向について、３列分を単位とする差分演算を伴う積和演算を行ない、最終的なデジタル演算データＤ４を出力する。
本実施形態では、カウンタ部２５４の保持したカウント結果を、メモリ装置２２に転送することができるため、カウンタ部２５４のカウント動作と、カウント結果の水平信号線１８および３２への読み出し動作とを独立して制御可能であり、デジタル演算部２８２により、３列分についてのカウント値を対象として減算処理することが可能となり、結果として３列の画素の差分処理を行なう行方向差分処理を実現することができる。
さらに、図１６に示した列方向に３行単位で差分演算を行なう列方向差分処理と組み合わせることにより、３行３列の差分処理を実現することが可能となる。行方向についての３列分の差分処理をカラム処理部２６の外部に設けたデジタル演算部２８２で行なう構成ではあるものの、列方向についての差分処理に関しては上記第１や第２実施形態と同様の効果を享受できる。
この図１８に示す第５実施形態の固体撮像装置１のカラムＡＤ回路２５における空間差分処理時の動作を説明するためのタイミングチャートは図示を割愛するが、基本的は、図１６に示した列方向に３行分の差分処理を行なう第４実施形態を、図１２に示したように、行方向に差分処理を行なう第３実施形態を適用して考えればよい。
よって、水平走査回路１２からの水平走査信号ＣＨ（ｉ）は、ＣＨ（１）とＣＨ（２）とＣＨ（３）、ＣＨ（４）とＣＨ（５）とＣＨ（６）、…というように、３列ごとにカラムＡＤ回路２５のデータ記憶部２５６に保持されたデジタル値を水平信号線１８ａ，１８ｂ、１８ｃに同時に出力する。
したがって、デジタル演算部２８２から出力される差分データＤ４の先頭出力は、図１８に示す単位画素３の、１行１列（画素１１）と２行１列（画素２１）と３行１列（画素３１）の差分γ１・（Ｖsig11 −Ｖsig21 ＋Ｖsig31 ）から、１行２列（画素１２）と２行２列（画素２２）と３行２列（画素３２）の差分γ２・（Ｖsig12 −Ｖsig22 ＋Ｖsig32 ）を差し引き、これに１行３列（画素１３）と２行３列（画素２３）と３行３列（画素３３）の差分γ３・（Ｖsig13 −Ｖsig23 ＋Ｖsig33 ）を加えた差分データＤ４＝γ１・Ｄ４ａ−γ２・Ｄ４ｂ−γ３・Ｄ４ｃの結果が出力される。なお、係数γｋは符号を含まないものとする。
本例でも、第２実施形態と同様にデータ記憶部２５６を設けており、カラムＡＤ回路２５のカウンタ部２５４の保持したカウント結果をデータ記憶部２５６に転送することができるため、カウンタ部２５４のカウント動作と、カウント結果の水平信号線１８ａ，１８ｂ，１８ｃへの読出動作とを独立して制御可能である。また、ＡＤ変換のビット精度を低減し、ＡＤ変換期間を１／９（１／３・１／３）に短縮することで、フレームレートを９倍にすることができる。
本実施形態においても、第４実施形態と同様に係数γｋを、それぞれ１，−２，１とすれば、デジタル演算部２８２における差分処理時には、“３ｋ−２”列線Ｖ１，Ｖ４，…（ｋ＝１以上の正の整数、以下本実施形態において同様）に対しての係数γ１は“１”、“３ｋ−１”列線Ｖ２，Ｖ５，…に対しての係数γ２は“−２”、“３ｋ”列線Ｖ３，Ｖ６，…に対しての係数γ３は“１”を設定するものとする。これにより、デジタル演算部２８２からは、差分データＤ４＝Ｄ３ａ−２・Ｄ３ｂ＋Ｄ３ｂの結果が出力される。
以上説明したように、第５実施形態の構成によれば、第３実施形態の構成と同様に、デジタル演算部２８２にて、３列分以上に亘って行方向差分処理を実現することができる。この行方向の差分処理を単独で機能させることで、水平方向についての空間フィルタ処理が実現できる。
また、図１６に示した列方向に３行単位で差分演算を行なう列方向差分処理と、デジタル演算部２８２による、３列以上を処理対象単位とした差分演算を行なう行方向差分処理とを組み合わせることにより、列方向および／または行方向に係数が対称の２次元の空間フィルタ処理が実現できる。
＜空間差分処理の利用形態；３列以上の２次元＞
図１９は、第５実施形態の構成における空間差分処理の利用形態を説明する図であり、本例で形成される２次元状の空間フィルタの一例を示す図である。
たとえば、行方向の差分処理を単独で機能させることで、水平方向についての空間フィルタ処理が実現でき、その結果として、図１９（Ａ）に示すように、垂直の線分を検出する２次元状の空間フィルタを形成できる。また、特定の行についての係数を“０”に設定することもできるので、たとえば図１９（Ｂ）に示すように、水平行方向の微分フィルタを実現することもできる。
また、たとえば、図１９に示した列方向に３行単位で差分演算を行なう列方向差分処理と、デジタル演算部２８２による、３列単位で差分演算を行なう行方向差分処理とを組み合わせることにより、３行３列の差分処理を実現することが可能となる。この３行３列の差分処理の利用形態としては、差分処理時の係数を列方向および行方向の何れについても“１，−２，１”とすることで、図１９（Ｃ）に示すように、３行３列でなる空間フィルタは、８近傍画素に対して中心画素を強調する２次元の空間フィルタ、いわゆる Roberts演算子といわれるアンシャープ・マスキング・フィルタ処理を実現できる。２番目の係数を“２”からたとえば“３”に変更すれば、図１９（Ｄ）に示すように、さらに強調度の高いアンシャープ・マスキング・フィルタ処理を実現できる。
このように、第５実施形態の構成によれば、行列状に配された単位画素３を対象とした多入力の積和演算が簡単に実現でき、空間フィルタが掛るように単位画素３からの画素信号を配置でき、空間フィルタをＣＭＯＳイメージセンサに簡単に実装することができ、画像のエッジを強調する２次元のアンシャープ・マスキング・フィルタが簡単に実現できるようになる。また、これらのことから、画像圧縮処理で頻繁に使われる離散的コサイン変換を２次元状に実現することもできる。
＜加算演算への適用＞
なお、上記説明から理解できるように、各画素信号についてのカウントモードを共通にすることで、カウント処理時の係数を全て正もしくは負にすることもできる。これは、加算演算処理のみを行なうことを意味し、加えて、たとえば参照信号生成部２７が発する参照信号RAMPの傾きを変えるなどして係数も設定できるので、減算処理を含む積和演算処理では実現できないようなフィルタ処理を実現できるようになる。たとえば、処理対象画素信号の全ての係数を同じにすれば、図１９（Ｅ）に示すような平滑化フィルタ処理を実現できる。また、周辺画素の係数よりも中央画素の係数を大きくすれば、図１９（Ｆ）に示すように中央画素を強調する重付け加算処理を実現することができる。
＜第６実施形態；固体撮像装置の構成；任意列の２次元処理対応の第１例＞
図２０は、本発明の第６実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第６施形態の固体撮像装置１は、第５実施形態の固体撮像装置１と同様に、行方向についての差分処理を行なう構成要素を追加している点に特徴を有する。つまり、単位画素３から垂直信号線１９を介してカラム処理部２６に送られるアナログの画素信号を切替スイッチにより列並列に配された複数のカラムＡＤ回路２５の何れかに繋ぎ変えることで、行方向の差分処理にも対応するようにする。
第５実施形態の構成では、行方向についての差分処理の機能をデジタル演算部２８２にて実現していたが、第６実施形態の構成では、画素部１０とカラム処理部２６との間に、単位画素３で検出される画素信号を、垂直信号線１９を切り替えて列並列に配されたカラムＡＤ回路２５の何れかに入力する列選択処理部２９０を備えている点に特徴を有する。
列選択処理部２９０には、列選択処理部２９０の選択動作を制御する２系統の切替制御信号ＣＮ１０，ＣＮ１２が入力されている。垂直走査回路１４および通信・タイミング制御部２０に加えて、この列選択処理部２９０を含んで、単位信号選択制御部が構成される。また、本実施形態においては、カラム処理部２６と列選択処理部２９０とで、複数の処理対象信号の積和演算結果のデジタルデータを取得するデータ処理装置が構成される。
図２１は、第６実施形態の固体撮像装置１にて用いられる列選択処理部２９０の一構成例を示す図である。列選択処理部２９０は、垂直信号線１９を切り替えて列並列に配されたカラムＡＤ回路２５の何れか１つに、その垂直信号線１９の画素信号を入力する１入力−多出力型の切替スイッチ２９２ａを有する切替スイッチ群２９２と、多入力−１出力型の切替スイッチ２９４ａを有する切替スイッチ群２９４からなる切替スイッチの集合物とする。本例では、３列対応の処理とするべく、切替スイッチ２９２ａは１入力−３出力型とし、切替スイッチ２９４ａは３入力−１出力型としている。
すなわち、１入力−３出力型の各切替スイッチ２９２ａの１入力側が先ず各垂直信号線１９に接続されている。また、３入力−１出力型の各切替スイッチ２９４ａの出力側が対応するカラムＡＤ回路２５（詳しくは電圧比較部２５２）に接続されている。
切替スイッチ２９２ａは、切替制御信号ＣＮ１０による制御の元で、何れか１つの垂直信号線１９を選択して出力側の端子を介して切替スイッチ２９4の対応する入力端子に伝達する。切替スイッチ２９４ａは、切替制御信号ＣＮ１２による制御の元で、３つの入力端子のそれぞれに入力された画素信号の中から何れか１つを選択して出力端子を介して対応するカラムＡＤ回路２５の電圧比較部２５２に伝達する。
なお、この図では、各列のカラムＡＤ回路２５が連続して隣接する３つの垂直信号線１９からの画素信号を切替制御信号ＣＮ１０，ＣＮ１２の制御の元で受付け可能に構成しているが、たとえば、３本おき（間に２本を配する）の３列分の垂直信号線１９に対して１つのカラムＡＤ回路２５を割り当てる形態とするなど、垂直信号線１９との対応付けに関しては種々の変形が可能である。
また、本例では、１つの垂直信号線１９に対して１つのカラムＡＤ回路２５を割り当てる通常の構成と、３列対応の構成とを切替え可能に構成しているが、３列対応の構成のみでよい場合には、切替スイッチ群２９２側を取り外すとともに、カラムＡＤ回路２５も、３列分に１つを配するようにすることができる。
＜空間差分処理の利用形態；任意列の２次元処理対応の第１例＞
図２２は、第６実施形態の構成における空間差分処理の利用形態の一例を説明する図である。図２１に示した構成の列選択処理部２９０を備えた第６実施形態の固体撮像装置１においては、処理対象の垂直信号線１９を切り替えながら、すなわち行方向に走査しながら（複数列に亘って）、列方向の複数行についてカウント処理を行なうことができる。
この場合における、行方向と列方向の処理順序としては、図２２（Ａ）に示すように、先ず任意の垂直信号線１９を選択した状態で列方向にｊ行分のカウント処理を行ない、この処理によって得られたカウントデータＤ１０を次のカウント処理の初期値に設定して（本例ではカウンタ部２５４のカウント値のリセットを行なわずに）、垂直信号線１９を切り替えて引き続き同一の処理対象行について、列方向にｊ行分のカウント処理を行なう処理を、処理対象のｋ列分に亘って繰り返す第１の走査手法を採ることができる。
また、図２２（Ｂ）に示すように、任意の水平行Ｈｘを選択した状態で任意の垂直信号線１９についてカウント処理を行ない、この処理によって得られたカウント値を次のカウント処理の初期値に設定して（本例ではカウンタ部２５４のカウント値のリセットを行なわずに）、垂直信号線１９を切り替えて引き続き同一の水平行Ｈｘについてのカウント処理を行ない、全ての処理対象列（ｋ列分）についてのカウント処理が完了した後に、処理対象の水平行を切り替えて、上記と同様に垂直信号線１９を切り替えながら全ての処理対象列（ｋ列分）についてのカウント処理を行なう処理を、処理対象のｊ行分に亘って繰り返す第２の走査手法を採ることもできる。また、図２２（Ｃ）に示すように、斜め方向に走査するいわゆるジグザグスキャンと呼ばれる第３の走査手法を採ることもできる。
カウント処理の対象とする行や列に応じて、参照信号RAMPの傾きを調整し、また画素信号における信号成分Ｖsig （リセット成分）についてのカウントモードをアップ（ダウン）カウントモードやダウン（アップ）カウントモードに設定することで、ｊ行ｋ列の各単位画素３を処理単位として、係数ηjk（符号を含む）を切り替えながら積和演算を行なうことができる。
第１〜第３の走査手法の何れであっても、ｊ行ｋ列の各画素について独立に参照信号RAMPを与えつつカウント処理を行なうことができるので、各カウント処理時の係数ηjk（符号を含む）を任意に設定することができる。よって、上記第３や第５実施形態においては、２次元状の配される係数としては、列方向および／または行方向に係数が対称に配されるものにしか対応できなかったのに対して、係数設定に自由度が生まれる。これにより、たとえば、図２２（Ｄ）に示すような垂直方向検出フィルタや、図２２（Ｅ）に示すような右斜め方向検出フィルタなどを構成することができる。
ここで、第１や第２の走査手法では、フィルタ係数の配列によっては、同じ符号の係数が多数並ぶ方向に演算される場合があり、演算過程で演算結果がダイナミックレンジを超えないようにするには、カウンタ部２５４のビット数に多くの余裕を持たせる必要がある。これに対して、第３の走査手法は、符号も考慮した係数の和がゼロに収束するように走査することができ、カウンタ部２５４のビット数に余裕がない場合でも、演算過程で演算結果がダイナミックレンジを超えてしまう現象を抑えることができる点で有効である。
＜第７実施形態；固体撮像装置の構成；任意列の２次元処理対応の第２例＞
図２３は、本発明の第７実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第７形態の固体撮像装置１は、第５実施形態や第６実施形態の固体撮像装置１と同様に、行方向についての差分処理を行なう構成要素を追加している点に特徴を有する。特に、第７実施形態の構成では、カウンタ部２５４を、公知の技術を利用して任意の初期値をロードすることのできる構成のものとしている点に特徴を有する。
各カウンタ部２５４には、初期値設定用のロード制御信号ＣＮldがロード端子LDに入力されている。また、前段のカウンタ部２５４の出力データが後段のカウンタ部２５４の対応するデータ設定端子Ｄinに入力される。これにより、列並列に配されたカラムＡＤ回路２５（詳しくはカウンタ部２５４）が行方向に縦続接続されて動作可能に構成される。
以下、３行３列の積和演算処理を行なう事例で説明する。ただし、３行３列に限らず、行および列の何れも、組合せの数を任意に設定することができる。なお、本実施形態の構成においては、図２２（Ａ）に示した第１の走査手法を採り、垂直列ごとにカウント処理を行なうので、カウント処理を実行していない垂直列のカウンタ部２５４の動作を停止させることで消費電力の低減を図る制御線を設けるとなおよい。
このような第７実施形態の構成においては、前列のカウント処理が完了した後、次列のカウントモードを設定した後のカウント処理の開始前に、前列のカウンタ部２５４におけるカウント処理で取得したカウント値を次列のカウンタ部２５４の初期値として設定することで、行方向の積和演算処理に対応することができる。
たとえば、先ず、１列目のカウンタ部２５４において、１列目について、列方向に３行に亘って差分処理を行なう。このとき参照信号生成部２７が発する参照信号RAMPは１列目についてのものを行ごとに設定すればよい。１列目のカウント処理が完了した後、処理対象列を２列目に移して、カウントモード切替用のモード制御信号ＣＮ５によりカウントモードを設定した後のカウント処理の開始前に、初期値設定用のロード制御信号ＣＮldをロード端子LDに供給することで、１列目のカウンタ部２５４におけるカウント処理で取得したカウント値を２列目のカウンタ部２５４の初期値として設定する。この後、２列目についての参照信号RAMPを参照信号生成部２７にて行ごとに設定しながら列方向に３行に亘って差分処理を行なう。
２列目のカウント処理が完了した後、処理対象列を３列目に移して、カウントモード切替用のモード制御信号ＣＮ５によりカウントモードを設定した後のカウント処理の開始前に、初期値設定用のロード制御信号ＣＮldをロード端子LDに供給することで、２列目のカウンタ部２５４におけるカウント処理で取得したカウント値を３列目のカウンタ部２５４の初期値として設定する。この後、３列目についての参照信号RAMPを参照信号生成部２７にて行ごとに設定しながら列方向に３行に亘って差分処理を行なう。こうすることで、３行３列に亘って積和演算処理を実行することができる。
３列目についてのカウント処理が完了した後の所定のタイミングで、通信・タイミング制御部２０は、次の３行分のカウント処理を開始するのに先立って、メモリ転送指示パルスＣＮ８をスイッチ２５８に与えて、カウント結果をデータ記憶部２５６に転送する。このとき、３行３列に亘って積和演算処理を実行したカウント値は、３列目ごとのカウンタ部２５４に保持されているので、３列目ごとのデータ記憶部２５６に正しい演算結果が保持されることになる。
この後所定のタイミングで、通信・タイミング制御部２０は、水平走査回路１２に対して画素データの読出しを指示する。これを受けて、水平走査回路１２は、制御線１２ｃを介してカウンタ部２５４に供給する水平選択信号ＣＨ（ｉ）を順次シフトさせる。このとき、前述のように、３列目ごとのデータ記憶部２５６に正しい演算結果が保持されているので、３列目ごとのデータ記憶部２５６からデータを水平信号線１８に読み出す。
第７実施形態の構成においても、第６実施形態と同様に、ｊ行ｋ列の各画素について独立に参照信号RAMPを与えつつカウント処理を行なうことができるので、各カウント処理時の係数ηjk（符号を含む）を任意に設定することができ係数設定に自由度が生まれる。これにより、第６実施形態と同様に、図２２（Ｄ）に示すような垂直方向検出フィルタや、図２２（Ｅ）に示すような右斜め方向検出フィルタなどを構成することができる。
なお、図２３では、前段のカウンタ部２５４の出力データが後段のカウンタ部２５４の対応するデータ設定端子Ｄinに入力されるように構成していたが、ｊ行ｋ列の範囲内で、任意のカウンタ部２５４の出力データを他の全てのカウンタ部２５４の対応するデータ設定端子Ｄinに入力するように構成すると、図２２（Ｂ）に示した第２の走査手法や、図２２（Ｃ）に示したジグザグスキャン（第３の走査手法）を採ることもできる。
また、複数のカラムＡＤ回路２５にて初期値設定機能を使って行方向の積和演算のみを行なうようにしつつ、第３実施形態のようなデジタル演算部２８２を設けることも可能である。この場合、デジタル演算部２８２は、行方向についてのカラムＡＤ回路２５における積和演算結果のデジタルデータを複数受け取り、この複数のデジタルデータに基づき、列方向についての積和演算を行なうことで、全体として、２次元の積和演算処理を行なうように構成することもできる。
＜第８実施形態；固体撮像装置の構成；カラー撮像対応＞
図２４は、本発明の第８施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。第８施形態の固体撮像装置１は、第２実施形態の固体撮像装置１に対して、画素部１０をカラー撮像対応にしている点に特徴を有する。同色同士の差分演算を行なうために有効な構成である。
画素部１０における各電荷生成部（フォトダイオードなど）の電磁波（本例では光）が入射される受光面には、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられている。図示した例は、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いており、正方格子状に配された単位画素３が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタ（原色フィルタ）に対応するように配されて画素部１０を構成している。
たとえば、奇数行偶数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇数列および偶数行偶数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、偶数行奇数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配しており、行ごとに異なったＲ／Ｇ、またはＧ／Ｂの２色のカラー画素が市松模様状に配置されている。
固体撮像装置１としては、使用する画素部１０（デバイス）を決めると、色分解フィルタにおける色フィルタの色の種類や配列は決まり、２次元格子位置における任意位置の色フィルタが何色であるのかを一義的に特定することができる。
よって、この第８実施形態においては、垂直走査回路１４は、画素部１０からの画素信号の読出指示を通信・タイミング制御部２０から受けると、水平行を垂直方向に順に走査するのではなく、垂直デコーダ１４ａにおいて、色分解フィルタの各色フィルタの配置位置に基づいくアドレスデコード処理により、任意の行線Ｈｙを選択することで、カラーフィルタの配列に合わせて、同一の色配列の行を組み合わせるように行を選択する。
つまり、積和演算（本例では差分演算）の対象となる複数の画素信号が同一色の色フィルタのものとなるように、処理対象の複数の単位画素３のそれぞれの位置を指定する。これにより、たとえば奇数行と偶数行とで色配列が異なる場合には、差分処理の対象行を奇数行と偶数行とに分けて独立に差分処理を行なうことができる。
＜第８実施形態；空間差分処理の動作＞
図２５は、図２４に示した第８施形態の固体撮像装置１のカラムＡＤ回路２５における空間差分処理動作を説明するためのタイミングチャートである。この図２５は、図７に対応するものである。
図２４に示すベイヤ配列カラーフィルタを有する画素部１０において、同一行の画素には緑Ｇと赤Ｒまたは青Ｂと緑Ｇのカラーフィルタが配置されている。このため、第１や第２実施形態などのように行線Ｈｘを順次選択してくと、異なるカラーフィルタ要素を持つ画素同士の演算となり、混色を起こす。
これに対して、第８施形態の構成では、垂直走査回路１４にて、行線Ｈｙの読み出しを図２４に示すように、奇数の行線Ｈ１，行線Ｈ３，行線Ｈ５，…と、偶数の行線Ｈ２，行線Ｈ４，行線Ｈ６，…、というように、同一のカラーフィルタ要素を持つ行の組合せで順に行を選択することで、同色同士での積和演算処理（本例では差分処理）を行なうことができ、混色を起こすことがない。
図２４に示した画素配列でいえば、２行単位で差分処理を行なうと、行線Ｈ１上にある画素Ｇ１１と行線Ｈ３上にある画素Ｇ３１、行線Ｈ１上にある画素Ｒ１２と行線Ｈ３上にある画素Ｒ３２、…、というように、ともに奇数の行線Ｈ１上の画素と行線Ｈ３上の画素間にて、つまり奇数行同士の差分処理が実現できる。同様に、行線Ｈ２上にある画素Ｂ２１と行線Ｈ４上にある画素Ｂ４１、…、行線Ｈ２上にある画素Ｇ２２と行線Ｈ４上にある画素Ｇ４２、…、というように、ともに偶数の行線Ｈ２上の画素と行線Ｈ４上の画素間にて、つまり偶数行同士の差分処理が実現できる。
なお、図２４では、正方格子状に配された単位画素３に対して、赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタをベイヤ（Ｂａｙｅｒ）配列の基本形に従って配列していたが、フィルタ色やその配列順は図２４に示した例に限定されない。たとえば、ベイヤ配列の改良形にすることもできるし、補色フィルタあるいはその他のフィルタ色を用いることができる。
たとえば、偶数行偶数列に配した第２のカラー（緑；Ｇ）を感知するための第２のカラー画素に代えて、第４のカラー（エメラルド；Ｅ）を感知するための第４のカラー画素を配してもよい。この場合でも、差分処理に際しての行選択制御のタイミングは、図２５に示したタイミングをそのまま使用することができる。
色信号処理についての詳細な説明は割愛するが、４色カラーフィルタに対応して、４色で撮影された各色の映像信号から、人間の目に近いＲＧＢの３色を作り出すためのマトリックス演算を行なう画像処理プロセッサを出力回路２８の後段に設ける。赤（Ｒ），緑（Ｇ），青（Ｂ）のフィルタに加えてエメラルド（Ｅ）のフィルタを搭載すれば、３色カラーフィルタよりも色再現の差を低減させることができ、たとえば青緑色や赤色の再現性を向上させることができる。
なお、図２５に示した例では、同一色配列の２行に亘る差分処理について示したが、同一色配列の３行以上に亘る積和演算処理（減算および／または加算）にも展開できる。この場合でも、同一色配列の行間で積和演算処理を行なうことで、同一のカラーフィルタ要素を持つ画素同士の演算とすることができ混色を起こすことがない。
＜第９実施形態；固体撮像装置の構成；時間差分処理＞
図２６は、本発明の第９実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。また、図２７は、第９実施形態で用いる単位画素３の構造模式図である。第９実施形態の固体撮像装置１は、積和演算処理機能として、空間差分処理に代えて、時間差分処理を行なうことで動体検出を可能に構成した点に特徴を有する。時間差分処理を行なう場合、演算の対象画素は同一配列位置のものとする。
第９実施形態の画素部１０における単位画素３は、入射光に応じた電荷を生成し蓄積するフォトダイオードなどの電荷生成部（ＰＤ；光検出部／光電変換素子）３２と、制御領域（ゲート）に供給された電荷に応じてそのソース・ドレイン間に入射光に応じたアナログ信号を出力する増幅用トランジスタ（Ｍ）４２と、電荷生成部３２で生成・蓄積された電荷を増幅用トランジスタ４２の制御領域に直接かつ選択的に転送するためのｐチャネル型の読出選択用トランジスタ３４と、増幅用トランジスタ４２の制御領域の電荷をリセットするためのｐチャネル型のリセットトランジスタ３６と、増幅用トランジスタ４２と垂直信号線１９の間に設けられて増幅用トランジスタ４２のソースと垂直信号線１９を分離／接続するｎチャネル型の垂直選択用トランジスタ４０とを含んで構成されている。
図２７（Ａ）に示すように、電荷生成部３２にて検出された入射光に応じた電気信号（信号電荷）が増幅用トランジスタ４２のゲート（制御領域）に供給されて、そのソースフォロア動作によって電流増幅され、その後、この電気信号が、各々対応する垂直信号線１９に読み出され、垂直信号線１９に信号電圧が現れる仕組みになっている。
ここで、増幅用トランジスタ４２としては、ｎチャネル型の接合型電界効果トランジスタ（ＪＦＥＴ）を使用している。この接合型ＦＥＴのＰ型領域は、電荷生成部３２にて検出された信号電荷であるホールを蓄積する画素内メモリ（電荷保持部）としても機能するので、電荷生成部３２と増幅用トランジスタ４２の両方に蓄積された信号を使うことで、単位画素３から前のフレームの信号と現在のフレームの信号を短い間隔で順次出力し、比較することができるようになっている。
各増幅用トランジスタ４２のソースは、画素分離用の垂直選択用トランジスタ４０を介して、マトリックス状に配置された列ごとに対応する垂直信号線１９に共通に接続されている。また、各増幅用トランジスタ４２のドレインおよび電荷生成部３２のカソード側には電源電圧Ｖｄｄ（正電圧）が印加されている。
また、電荷生成部３２のアノード側と増幅用トランジスタ４２のゲート（制御領域）には、転送用の読出選択用トランジスタ３４のソース・ドレインが接続されている。また、転送用の読出選択用トランジスタ３４の転送用ゲート（ＴＧ）は、マトリックス状に配置された単位画素３の行ごとに、行制御線１５（詳しくは転送ゲート配線）に共通接続され、行制御線１５に接続された垂直走査回路１４から送出される駆動パルスφＴＧが与えられると、駆動パルスφＴＧのレベルに応じて転送用の読出選択用トランジスタ３４が行ごとに順次動作するようになっている。
また、リセット用のリセットトランジスタ３６のドレイン（リセットドレイン）には、電源電圧Ｖｒｄが単位画素３ごとに共通に接続されて電圧が印加されている。また、リセット用のリセットトランジスタ３６のゲート（ＲＳＧ）は、垂直走査回路１４に接続された行制御線１５（詳しくはリセット配線）に共通に接続され、そのソースは、転送用の読出選択用トランジスタ３４のソースと共有になっている。
そして、このリセット用のリセットトランジスタ３６のゲートに垂直走査回路１４から駆動パルスφＲＧが与えられると、リセット用のリセットトランジスタ３６は、この駆動パルスφＲＧのレベルに応じて動作するようになっている。また、画素分離用の垂直選択用トランジスタ４０のゲートは、マトリックス状に配置された単位画素３の行ごとに、制御線１５（詳しくは行選択線／垂直選択線）に共通接続され、垂直走査回路１４からの駆動パルスφＳＥＬのレベルに応じて、画素分離用の垂直選択用トランジスタ４０が行ごとに順次動作するようになっている。
なお、図示を割愛するが、カラム処理部２６と水平走査回路１２との間の垂直信号線１９の信号経路上には、各垂直信号線１９に対してドレイン端子が接続された図示しない負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。
単位画素３を構成する増幅用トランジスタは各垂直信号線１９に接続されており、また垂直信号線１９は垂直列ごとに負荷ＭＯＳトランジスタのドレインに接続され、また各負荷ＭＯＳトランジスタのゲート端子には、負荷制御部からの負荷制御信号ＣＴldが共通に入力されており、信号読出し時には、各増幅用トランジスタに接続された負荷ＭＯＳトランジスタによって、予め決められた定電流を流し続けるようになっている。
なお、本実施形態では、増幅アンプとしてだけでなく画素内メモリとしても機能する接合型電界効果トランジスタ（ＪＦＥＴ）を単位画素３として使用し、この接合型電界効果トランジスタが持つメモリ機能を利用して、複数フレームの同一画素位置の画素信号を取得するが、複数フレームの同一画素位置の画素信号を取得するための画素構造は、接合型電界効果トランジスタを利用するものに限定されない。
画素内メモリを利用する画素構造としては、接合型電界効果トランジスタの他に、たとえば、図２７（Ｂ）に示すように、電荷生成部３２としてのフォトダイオードにフォトゲート（Photogate ）と呼ばれるＭＯＳダイオードを使ったものを利用することができる。この画素構造では、フォトゲートで光電変換した信号電荷を、読出ゲートＴｘを挟んで形成されている画素内メモリとして機能するフローティングディフュージョン（ＦＤ）３８に転送し、フローティングディフュージョン３８の電圧変化を増幅用トランジスタ４２で増幅して出力する。このとき、予めフローティングディフュージョン３８をリセットしてリセット信号を出力した後、蓄積の完了したフォトゲートから読出ゲートＴｘを通して信号電荷を読み出して画素信号を出力する。フローティングディフュージョン３８のＫＴｃノイズを画素信号とリセット信号のＣＤＳ動作により取り除くことができる利点がある。
また、画素内メモリとして機能するフローティングディフュージョン（ＦＤ）３８を利用する他の画素構造としては、図２７（Ｃ）に示すように、埋込フォトダイオードを使ったものを利用することができる。この画素構造における読出動作は、フォトゲートを利用した構造における読出ゲートＴｘを読出選択用トランジスタ３４に置き換えて考えればよい。埋込フォトダイオードは、ｐｎ接合部に生じる空乏層が画素表面に達しないため低暗電流を実現でき、またフォトゲートのような電極材料による光の吸収がない利点がる。リセット時のＫＴｃノイズが発生しないことはフォトゲートを使った構造と同様である。
なお、接合型電界効果トランジスタに代えて、フォトゲートや埋込フォトダイオードと画素内メモリとしてのフローティングディフュージョンとを組み合わせた場合の読出タイミングについては図示を割愛するが、概ね、以下に説明する図２８で示す接合型電界効果トランジスタと同様に、先ずフローティングディフュージョンに保持しておいた前フレームの信号成分を読み出した後にフローティングディフュージョンをリセットし、この後、現フレームにおける露光にて電荷生成部３２で生成された信号電荷をフローティングディフュージョンに転送して、現フレームの信号成分を読み出すようにする。
図２８は、第９実施形態の単位画素３を駆動する動作を説明するタイミングチャートである。図２８には、一定のタイミングごとに入射光を検知する１つの単位画素３が、連続した２フレーム、すなわちｎ−１フレーム（直前のフレーム）、ｎフレーム（現在のフレーム）で入射光を検出して、その読出動作を行なう場合を示している。
なお、マトリックス状に配置された各単位画素３のうち同一行の単位画素３の読出動作は同じであり、図２８のｎ−１フレームまたはｎフレームの期間ｔ６０〜ｔ６９が１行目の単位画素３の読出動作を、期間ｔ７０〜ｔ７９が、２行目の単位画素３の読出動作をそれぞれ示している。以下、ｎフレーム（現在のフレーム）における１行目の単位画素３の読出動作を中心に、図２８のタイミングチャートのｎフレームの期間ｔ６０に至ったときから説明する。なお、ｎ−１フレームにおける読出動作は、以下に説明するｎフレームにおける読出動作と同じである。
ｎフレームでのｔ６０からｔ６１に至る前（ｎ−１フレームのｔ７５の終了時以降と同等）、各行の駆動パルスφＴＧはともにハイレベルに保持され、各行の駆動パルスφＳＥＬはともにハイレベルに保持され、各行の駆動パルスφＲＧはともにハイレベルに保持されている。
このようにｔ６１に至る前は、各行の駆動パルスφＴＧがハイレベルのため転送用の読出選択用トランジスタ３４はオフとなり、各行の駆動パルスφＲＧがハイレベルのためリセット用のリセットトランジスタ３６はオフとなっている。
したがって、増幅用トランジスタ４２のゲート（制御領域）はフローティング状態とされるが、寄生容量の効果により、すでに直前のｎ−１フレームで各転送用の読出選択用トランジスタ３４がオンのときに読出選択用トランジスタ３４を介して各増幅用トランジスタ４２のゲート（制御領域）に転送されている各電荷生成部３２で生成された入射光に応じた電荷（第１信号電荷）は、読出選択用トランジスタ３４がオフとなった後も各増幅用トランジスタ４２のゲート（制御領域）に保持された状態となっている。増幅用トランジスタ４２は、そのゲート（制御領域）に蓄積された電荷がリセットされるまでの間、ソースフォロア動作によりそのゲート電圧に応じた電気信号を出力する。
なお、転送用の読出選択用トランジスタ３４がオフとなった後は、各電荷生成部３２では、新たに入射光に応じた電荷（第２信号電荷）が生成・蓄積される。このときの第１信号電荷が、電荷生成部３２にて生成・蓄積されたｎ−１フレーム（直前のフレーム）における入射光に応じた電荷であり、第２信号電荷が電荷生成部３２にて生成・蓄積されたｎフレーム（現在のフレーム）における入射光に応じた電荷となる。
また、ｔ６１に至る前は、各駆動パルスφＳＥＬがともにハイレベルのため画素分離用の垂直選択用トランジスタ４０はオフとなっており、各単位画素３は垂直信号線１９から分離された状態となっている。
次に、ｔ６０が経過しｔ６１に至ると、１行目の駆動パルスφＳＥＬ１がローレベルに反転され、１行目の各単位画素３の画素分離用の垂直選択用トランジスタ４０がオンとなって、増幅用トランジスタ４２は、ソースが垂直信号線１９に接続され、オン（選択）となる。このとき、１行目の各単位画素３の増幅用トランジスタ４２のゲート（制御領域）には、すでに直前のフレームにおいて（ｎ−１のフレームの期間ｔ６３において）入射光に応じた第１信号電荷が転送され、読出選択用トランジスタ３４がオフとなった後も第１信号電荷が保持されているので、この保持された第１信号電荷に応じた電気信号が垂直信号線１９に出力される。
また、ｔ６１では、リセットトランジスタがオフとなっているので、このｔ６１において選択された１行目の各増幅用トランジスタ４２がソースフォロア動作をしたとき、そのソースの電位は、ソース・ドレイン間に流れる電流（ドレイン電流）が、図示しない負荷ＭＯＳトランジスタによる定電流源に流れる電流値ＩＢになるまで上昇する。
このとき、この１行目の各増幅用トランジスタ４２は、そのゲート（制御領域）に、直前のフレーム（ｎ−１フレームの期間ｔ６３）において第１信号電荷が転送され、転送終了後（転送用の読出選択用トランジスタ３４がオフ）もそのゲート電圧を保持しているため、ソースフォロア動作によって第１信号電荷に応じた第１出力信号Ｖssn-1 を出力する。第１出力信号をＶssn-1 の値は、式（７）に示される値となる。このようにして検知されたｎ−１フレームの出力信号Ｖssn-1 が、対応する垂直列のカラムＡＤ回路２５に通知される。
Figure 0004380439
ここで、ＶＲＤはｎ−１フレームでリセット用のリセットトランジスタ３６がオンのときに供給された電源電圧、ＶＳ１はｎ−１フレームにおける第１信号電荷に応じた増幅用トランジスタ４２のゲート電位の上昇分、ＶＴは増幅用トランジスタ４２のドレイン電流が図示しない負荷ＭＯＳトランジスタで規定される負荷電流ＩＢのときのゲート・ソース間の電圧である。
なお、ＶＳ１の値は、“入射光に応じた第１信号電荷／ゲート容量”で求められる。なお、実際には、駆動パルスφＲＧをローレベルにするリセット動作によって、真の信号成分だけでなくリセット成分やその他のばらつき成分を含んで画素信号が現われるのは、第１あるいは第２実施形態にて説明したと同様である。ＶＲＤ−ＶＴは、このリセット成分やその他のばらつき成分を含むもので、たとえば上記第１実施形態のリセット成分などのばらつき成分（纏めてΔＶ１とする）に対応する。
なお、このとき２行目の各増幅用トランジスタ４２に関しては、駆動パルスφＳＥＬ２が依然ローレベルであるために、２行目の各画素分離用の垂直選択用トランジスタ４０がオフとなっており、２行目の各増幅用トランジスタ４２のソースは垂直信号線１９に接続されない状態になっている（非選択）。この後ｔ６２に至ると、駆動パルスφＲＧ１がローレベルに反転される。
このｔ６２において、駆動パルスφＲＧ１がローレベルになることによって、１行目の各リセット用のリセットトランジスタ３６がオンとなり、電源電圧ＶＲＤ（読出しレベル）が１行目の各増幅用トランジスタ４２のゲート（制御領域）に伝わる。このリセット用のリセットトランジスタ３６のオンにより、増幅用トランジスタ４２のゲート（制御領域）から第１信号電荷が排出されるとともに、増幅用トランジスタ４２のゲート（制御領域）が電源電圧ＶＲＤ（読出しレベル）にバイアスされる。
さらにｔ６３に至ると、駆動パルスφＲＧ１がハイレベルに反転されることにより、１行目の各リセット用のリセットトランジスタ３６が再びオフとなり、１行目の増幅用トランジスタ４２のゲート（制御領域）はフローティング状態とされるが、その寄生容量の効果によって、ゲートは、電源電圧ＶＲＤ（読出しレベル）にバイアスされたままの状態が保持される。
さらにｔ６４に至ると、駆動パルスφＴＧ１がローレベルに反転され、１行目の各単位画素３の転送用の読出選択用トランジスタ３４がオンとなり、１行目の各単位画素３のフォトダイオードにおいて生成・蓄積された入射光に応じた電荷（第２信号電荷）が、１行目の各単位画素３の増幅用トランジスタ４２のゲート（制御領域）に転送される。第２信号電荷が、ｎフレームにおける入射光に応じた電気信号電荷となる。
このように、増幅用トランジスタ４２のゲート（制御領域）に、ｎフレーム（現在のフレーム）における入射光に応じた電荷（第２信号電荷）が転送されると、各増幅用トランジスタ４２のゲート電位は、転送された電荷の分だけ上昇するので、１行目の増幅用トランジスタ４２がソースフォロア動作をし、増幅用トランジスタ４２のソースの電位は、ゲート電位の上昇分だけ上昇する。
この場合、ソースフォロア動作をする１行目の各増幅用トランジスタ４２からは第２信号電荷に応じた第２出力信号（第２の電気信号）が、このときオンとなっている画素分離用の垂直選択用トランジスタ４０を介して、垂直信号線１９に出力される。
さらにｔ６５に至ると、１行目の駆動パルスφＴＧ１がハイレベルに反転されることにより、１行目の各転送用の読出選択用トランジスタ３４がオフとなり、１行目の単位画素３の電荷生成部３２において生成・蓄積された入射光に応じた電荷（第２信号電荷）の増幅用トランジスタ４２のゲート（制御領域）への転送が終了し、増幅用トランジスタ４２のゲート（制御領域）は再びフローティング状態とされるが、その寄生容量の効果によって、転送された電荷（第２信号電荷）の分だけゲートの電位が上昇したままその状態が保持される。
このｎフレームで、現在のフレームに対する第２信号電荷としてゲート（制御領域）に転送された電荷は、次のｎ＋１フレーム（図示省略）でこのゲートがリセットされるまで（リセット用のリセットトランジスタ３６がオンとなるまで）保持される。この結果、このときゲートに蓄積されている電荷が、ｎ＋１フレームでは第１信号電荷（直前のフレームに対する電荷）として用いられる。
このように、転送用の読出選択用トランジスタ３４がオンとなって第２信号電荷が、増幅用トランジスタ４２のゲート（制御領域）に一旦転送され、その後、転送用の読出選択用トランジスタ３４がオフとなっても、第２信号電荷がゲート（制御領域）に保持されるので、増幅用トランジスタ４２からは、その後ゲートがリセットされるまでのソースフォロア動作で（ｔ６５以降）、ゲートに蓄積された電荷（第２信号電荷）に応じた電気信号（第２出力信号Ｖssn ）が出力されることとなる。
ｔ６４〜ｔ６５において、ソースフォロア動作によってソース・ドレイン間に流れる電流が図示しない負荷ＭＯＳトランジスタで規定される負荷電流ＩＢになったとき、増幅用トランジスタ４２のソースの電位（第２出力信号Ｖssn ）の値は、式（８）に示される値になる。このようにして検知されたｎフレームの出力信号Ｖssn が、対応する垂直列のカラムＡＤ回路２５に通知される。
Figure 0004380439
ここで、ＶＲＤはｎフレームでリセット用のリセットトランジスタ３６がオンのときに供給された電源電圧、ＶＳ２はｎフレームにおける第２信号電荷に応じた増幅用トランジスタ４２のゲート電位の上昇分、ＶＴは増幅用トランジスタ４２のドレイン電流が図示しない負荷ＭＯＳトランジスタで規定される負荷電流ＩＢのときのゲート・ソース間の電圧である。
なお、ＶＳ２の値は、ＶＳ１と同様に、“入射光に応じた第１信号電荷／ゲート容量”で求められる。なお、実際には、駆動パルスφＲＧをローレベルにするリセット動作によって、真の信号成分だけでなくリセット成分やその他のばらつき成分を含んで画素信号が現われるのは、第１あるいは第２実施形態にて説明したと同様である。ＶＲＤ−ＶＴは、このリセット成分やその他のばらつき成分を含むもので、たとえば上記第１実施形態のリセット成分などのばらつき成分（纏めてΔＶ２とする）に対応する。
次に、ｔ６９に至ると、駆動パルスφＳＥＬ１がハイレベルに反転されることによって、画素分離用の垂直選択用トランジスタ４０がオフとなって、１行目の単位画素３と垂直信号線１９とが分離される。
続くｔ７０〜ｔ７９においては、２行目の単位画素３に対して、上述したｔ６０〜ｔ６９における１行目の単位画素３の読出動作と同様の動作が繰り返して行なわれ、ｎフレームにおける時間差分処理を行なう。
以上説明したように、連続した２フレーム（ｎ−１フレームとｎフレーム）間においてそれぞれ得られた、入射光に応じて出力される各単位画素３からのアナログの輝度をあらわすｎ−１フレームとｎフレームの各出力信号Ｖssn-1 ，Ｖssn が、各々カラムＡＤ回路２５に入力される。
接合型電界効果トランジスタの制御領域に、フォトダイオードなどの光電変換素子で生成・蓄積された電荷を直接的に供給するだけで、ゲートに供給された電荷に応じた電気信号を、直前のフレームに対する電気信号と現在のフレームに対する電気信号の２つの信号として出力することができる。ゲートに電荷を直接転送して電圧信号にしてから垂直信号線１９を介して画素信号を読み出すようにしているので、電荷のままで（電流モードで）画素信号を出力する場合に比べて電荷配分による信号の劣化を抑えることができる。
カラムＡＤ回路２５においては、連続した２フレーム（ｎ−１フレームとｎフレーム）間で得られた複数フレームについてのアナログの第１出力信号Ｖssn-1 と第２出力信号Ｖssn の差分を検出する、すなわち時間差分処理を行なうことで、動体検出を行なう。そして、上記動作を繰り返して行なうことにより、さらに連続した２またはそれ以上のフレーム間でその動体検出を行なうことができるようになる。
＜第９実施形態；時間差分処理の動作＞
図２９は、図２６に示した第９実施形態の固体撮像装置１のカラムＡＤ回路２５における時間差分処理動作を説明するためのタイミングチャートである。また、図３０は、第９実施形態の時間差分処理におけるフレームレートとの関わりを説明するタイミングチャートである。
図２９は、図６に示した第２実施形態の空間差分処理におけるｎ−１行（直前の行）をｎ−１フレーム（直前のフレーム）に、ｎ行（現在の行）をｎフレーム（現在のフレーム）に、それぞれ置き換えて考えればよい。
カラムＡＤ回路２５は、増幅用トランジスタ４２に蓄積された直前フレームｎ−１の画素信号Ｖssn-1 と電荷生成部３２に蓄積された現在フレームｎの同一行の画素信号Ｖssn を短い間隔で順次取り込み、それらの差を取る。
すなわち、直前フレームの画素信号Ｖssn-1 についての２回目のカウント処理が完了した後に、現行フレームの画素信号Ｖssn について、１回目のアップカウント処理を開始する際に、カウンタ部２５４に保持されているカウント値をリセットしないで引き続きカウント処理を行なうようにすることで、現行フレームの画素信号Ｖssn についての２回目のカウント処理が完了した後にカウンタ部２５４に保持されるカウント値である時間差分データＤ５は、式（９）に示すように、フレームの異なる２つの画素信号Ｖssn-1 ，Ｖssn 間での差分演算の結果（Ｖssn-1 −Ｖssn ）を示すデジタル値となる。フレームの異なるすなわち撮像時刻の異なる２つの画素信号Ｖssn-1 ，Ｖssn 間での差分演算を行なっているので、その差分処理は、空間差分処理ではなく時間差分処理となる。
Figure 0004380439
式（９）で求めた時間差分データＤ５がゼロでなければ、フレーム間で画像に動きが存在したことになるので、被写体のうち動体の部分を検出することができる。
なお、図２８に示した単位画素３の駆動タイミングから分かるように、ｎ−１フレーム（直前のフレーム）の画素信号は、真の信号成分Ｖsig1の後に駆動パルスφＲＧに基づくリセット成分やその他のばらつき成分（ΔＶ１）が現われるのに対して、ｎフレーム（現在のフレーム）の画素信号は、駆動パルスφＲＧに基づくリセット成分やその他のばらつき成分（ΔＶ１）の後に、真の信号成分Ｖsig2が現われる。
そこで、通信・タイミング制御部２０は、時間差分処理のためのカウント処理時には、これら各成分の現れ方を考慮して、カウンタ部２５４におけるカウントモードを制御する。たとえば、図２９に示すように、ｎ−１フレームに関しては、先ずアップカウントモードにして信号成分Ｖsig1とΔＶ１との合成成分についてカウント処理を行ない、この後、アップカウントモードにしてΔＶ１についてカウント処理を行なうことで、ｎ−１フレームの信号成分Ｖsig1のカウント値（画素データ）を求める。
引き続くｎフレームに関しては、先ずアップカウントモードにしてΔＶ１についてカウント処理を行ない、この後、ダウンカウントモードにして信号成分Ｖsig1とΔＶ１との合成成分についてカウント処理を行なう。これにより、カウント結果としては、“Ｖsig1−Ｖsig2”、つまり２フレームにおける真の信号成分の差分を求めることができる。
なお、ΔＶ１とΔＶ２とは、何れも、同一時点の駆動パルスφＲＧに基づくものであり、概ね同じと考えることもできる。よって、ΔＶ１とΔＶ２とについてのカウント処理を割愛しても、カウント結果としては、“Ｖsig1−Ｖsig2”、つまり２フレームにおける真の信号成分の差分を求めることができる。この場合、カウント処理を割愛した分だけ消費電力を低減することができる。
なお、上述のような時間差分処理で取得したカウント値に基づいて動体検出を行なう場合、ランダム雑音などの成分による誤判定を防止するべく、閾値処理を行って判定するのがよい。すなわち、式（９）で求めたデジタル値が一定以上である場合に、動体が検知されたものと判定する。
また、電荷のゆらぎなどに起因して発生するショット雑音（shot noise）は、信号の大きさの平方根に比例する、すなわち被写界が明るく輝度レベルが大きい場合にはショット雑音のレベルが大きくなる特質を持っているので、判定の閾値を一定すると、被写体が明るい場合には、静止しているものが誤って動体として検出されてしまう、あるいは逆に、低コントラストの被写体について十分な動き検出ができなくなる、被写界が暗い場合には、ランダム雑音の影響を受けやすく、静止しているものが誤って動体として検出されてしまう、など被写界が極端に明るい場合や極端に暗い場合には、動体信号を精度良く生成することができないという問題を生じ得る。
これを避けるべく、被写体のコントラストが高い場合や被写界が暗い場合には判定の閾値を上げる一方、被写体のコントラストが低い場合や被写界が明るい場合には判定の閾値を下げるなど、状況に応じて判定の閾値を調整するのがよい。こうすることで、精度良く被写体の動きを検出することができるようになる。
このように、本実施形態では、動体を示す時間差分データＤ５をｎビットのデジタルデータで出力するようにしているので、被写体のコントラストや照明などの環境条件に応じて、直前フレームに対する電気信号と現在フレームに対する電気信号との差分に基づき、映像コントラストや照明などの条件に合わせて動体であるか否かの判定を高精度で行なうことができる。
なお、詳細な説明は割愛するが、通常動作時には、図２９に示すｎフレーム（現在のフレーム）の読出期間の動作だけを行なうことで映像信号のみを取り出すことができる。なお、図２９のｎフレーム（現在のフレーム）の読出期間の画素信号の極性は負であるが、リセットレベルΔＶ２についてはダウンカウントモード、信号レベルＶssn（真の信号成分Ｖsig2）についてはアップカウントモードとすることで、正極性の画素信号を取得することができる。
時間差分演算の手法は、第１や第２などの各実施形態と同様に、電圧比較部２５２とカウンタ部２５４を用いて、各フレームの画素信号に応じた電圧信号と所定の傾きで変化する参照信号とを比較して、参照信号の生成時点から、各フレームの画素信号に応じた電圧信号と参照信号とが一致した時点までをカウントクロックでカウント（計数）することで、各フレームの画素信号に応じた電圧信号の各大きさの差分に対応したカウント値を得るようにしているので、ＡＤ変換の後に追加の差分回路を設ける必要なく、ＡＤ変換と同時に動体を表す差分信号を簡単に得ることができる。
加えて、第１や第２実施形態で説明したと同様に、回路規模や回路面積や消費電力、あるいは他の機能部と間のインタフェース用配線の数や、この配線によるノイズや消費電流などの問題を解消するなどの効果を享受できる。
なお、上記実施形態では、カラムＡＤ回路２５が行方向に複数配列され、行単位で画素部１０から送られる１行分の画素信号を各カラムＡＤ回路２５にて同時並行処理する構成のものに、比較処理とカウント処理とを組み合わせてＡＤ変換処理を行なうことで時間差分処理を行なう仕組みについて説明したが、比較処理とカウント処理とを組み合わせてＡＤ変換処理を行なうことで時間差分処理を行なうという基本的な仕組みに関しては、画素信号を１つ１つ取り出して処理する構成のデバイスにも適用することができる。
また、接合型電界効果トランジスタやフローティングディフュージョンなどの画素内メモリを有する構造の単位画素３を持つデバイスへの適用について説明したが、適用可能なデバイスは、画素内メモリを持つものに限定されない。たとえば、画素内メモリを備えていなければ、前フレームの画素信号を取り込んで参照信号と比較するとともに、この比較処理と並行してカウント処理を行ない、比較処理が完了した時点のカウント値を取得すし、この取得したカウント値を一旦デバイス外のフレームメモリに格納することで前フレームについてのＡＤ変換処理を完了させる。
つまり、差分処理の一方（前フレーム）の画素信号については、予めデジタルデータ化しておく。なお、前フレームの画素信号を予めデジタルデータにしておけばよく、カラムＡＤ回路２５を利用してデジタル化するものでなくてもよく、他のＡＤ変換装置を使用して前フレームの画素データを取得してフレームメモリに保存しておいてもよい。
この後、現フレームについてのＡＤ変換処理時には、処理対象画素について、フレームメモリに格納してある同一画素位置の前フレームのカウント値（画素データ）をカウント処理の初期値として、画素信号と参照信号とを比較するとともに、この比較処理と並行してカウント処理を行ない、比較処理が完了した時点のカウント値を取得することで、時間差分処理を行なうようにしてもよい。前フレームのカウント値（画素データ）を正のデータとしてフレームに保存していれば、現フレームのカウント処理はダウンカウントモードとすればよい。
＜第１０実施形態；電子機器への適用＞
図３１は、本発明の第１０実施形態に係る電子機器の概略構成図である。上記第１〜第９実施形態では、処理対象信号に応じた電気信号とＡＤ変換用の参照信号とを比較する比較部と、比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較部における比較処理が完了した時点のカウント値を保持するカウンタ部とを備えてなるＡＤ変換回路（ＡＤ変換装置；前例ではカラムＡＤ回路）をデータ処理装置として固体撮像装置に適用した事例を説明したが、上記第１〜第９実施形態で説明したＡＤ変換回路やデータ処理装置の仕組みは、固体撮像装置に限らず、物理的な性質が同一の複数の信号間での積和演算結果のデジタルデータを取得するデータ処理の仕組みを必要とするあらゆる電子機器に適用することができる。
この第１０実施形態では、固体撮像装置以外の電子機器に本発明に係るデータ処理方法やデータ処理装置を適用する事例を示したものである。なお本実施形態でも、処理対象信号としては、上記第１〜第９実施形態と同様に、固体撮像装置１の画素部１０から出力される画素信号であるものとするが、画素信号に拘らず、積和演算に耐え得るように、物理的な性質が同一である信号である限り、任意の信号であってよい。
図示した電子機器８００は、固体撮像装置１の欠陥画素を診断したり、あるいは動体検出処理をしたりするなど、積和演算結果に基づく様々な処理機能を持つ。具体的には、電子機器８００は、図中の中央部分に示す分割線の左側に配された、当該電子機器８００の全体の動作を制御するパーソナルコンピュータなどを利用した制御装置８０２と、分割線の右側に配された、ＡＤ変換装置８０５とを備える。なお、分割線で制御装置８０２とＡＤ変換装置８０５とを分けるのではなく、その両者を含んで、複数の信号間での積和演算結果のデジタルデータを得るデータ処理装置の機能を持つ１つのＡＤ変換装置８０５として構成してもよい。
ＡＤ変換装置８０５は、固体撮像装置１から取り込んだアナログの画素信号をデジタルデータに変換する電圧比較部８５２およびカウンタ部８５４を有するデータ処理装置としての機能を持つＡＤ変換装置８０５とを備えている。電圧比較部８５２は、電圧比較部２５２に、カウンタ部８５４はカウンタ部２５４にそれぞれ対応するものであり、それらの基本的な動作は、上記第１〜第９実施形態の電圧比較部２５２、カウンタ部２５４と同様である。
制御装置８０２は、ＡＤ変換装置８０５を制御する機能要素として、ＡＤ変換装置８０５の電圧比較部８５２にＡＤ変換用の参照電圧を供給する参照信号生成部８２７と、参照信号生成部８２７やカウンタ部８５４を制御する出力回路２８とを備えている。タイミング制御部８２０は通信・タイミング制御部２０に、参照信号生成部８２７は参照信号生成部２７にそれぞれ対応するものであり、それらの基本的な動作は、上記第１〜第９実施形態の通信・タイミング制御部２０や参照信号生成部２７と同様である。
また、制御装置８０２は、本実施形態特有の構成として、積和演算処理対象の一方のデータを保持するデータ記憶部８２８と、カウンタ部８５４にて得られた積和演算結果を示すデータＤ８に基づいて、固体撮像装置１を診断したり、その他の判定処理をしたりするなどの機能を持つ判定・診断部８３０とを備えている。
このような構成において、固体撮像装置１の欠陥画素を診断する機能を実現するには、先ず比較対象となる正常な（画素欠陥のない）固体撮像装置１の画素データ（正常データという）を取得し、この後、診断対象の固体撮像装置１から画素信号を読み出して、正常データとの間で差分処理を行ない、その結果に基づいて欠陥の有無を診断する。画素欠陥としては、たとえば暗時欠陥と明示欠陥とを診断するのがよく、暗時欠陥の診断のためには、固体撮像装置１を非露光状態にして正常データの取得や診断を行ない、また、明時欠陥の診断のためには、たとえば全白撮影状態として固体撮像装置１の正常データの取得や診断を行なう。
正常データを取得する場合、ＡＤ変換装置８０５は、比較対象となる正常な固体撮像装置１からアナログの撮像信号を取得し、上記第１実施形態の基本動作で説明したと同様にして、先ず電圧比較部８５２において、参照信号生成部８２７から供給される所定の傾きで変化する参照信号RAMPと撮像信号の各画素信号とを比較し、画素信号と参照信号RAMPとが一致する点を探す。
なお、暗時の正常データを取得する際には、通信・タイミング制御部２０は、参照信号生成部８２７に対して、参照信号RAMPの傾きを通常よりも小さくするように指示するのがよい。これは、暗時の低レベルの画素信号を、高ゲインでデジタルデータに変換することを意味する。
カウンタ部８５４は、参照信号生成部８２７による参照信号RAMPの生成と同時にタイミング制御部８２０にて指示されたカウントモードにてカウントクロックＣＫ０に基づきカウント処理を開始する。ここでは、タイミング制御部８２０は、カウンタ部８５４のカウントモードを、リセット成分ΔＶについてはダウンカウントモードに設定し、信号成分Ｖsig についてはアップカウントモードに設定することとする。これは、信号成分Ｖsig に対応する画素データとして正のデータを取得することを意味する。
カウンタ部８５４は、電圧比較部８５２の比較処理で用いる参照信号RAMPの生成時点から画素信号と参照信号RAMPとが一致する時点までのカウントクロックＣＫ０を計数し、係数結果を自前の登録データＤ９ａとして画素位置を対応付けてデータ記憶部８２８に登録する。ＡＤ変換装置８０５は、このような処理を、撮像信号の全画素について繰り返す。
なお、正常データの取得は、必ずしもＡＤ変換装置８０５を利用して取得するものでなくてもよく、たとえば、外部の機器にて正常データを取得し、この外部の機器から入力される登録データＤ９ｂを画素位置と対応付けてデータ記憶部８２８に登録するようにしてもよい。あるいは、正常時のデータは、画素位置に関わらず一定である（ムラはない）とすることもでき、この場合には、正常データの取得は不要である。
暗時欠陥や明時欠陥の診断時には、固体撮像装置１を、各診断に応じた所定の露光状態とする。タイミング制御部８２０は、カウンタ部８５４のカウントモードを、リセット成分ΔＶについてはアップカウントモードに設定し、信号成分Ｖsig についてはダウンカウントモードに設定する。これは、信号成分Ｖsig に対応する画素データとして負のデータを取得することを意味する。
また、通信・タイミング制御部２０は、参照信号生成部８２７に対して、参照信号RAMPの傾きを、正常データの取得時と同じになるように指示する。これは、画素信号を、正常データの取得時と同じゲインでデジタルデータに変換することを意味する。
また、タイミング制御部８２０は、カウンタ部８５４に対して初期値制御信号ＣＮ７を発し、処理対象の画素位置と同じ画素位置の正常時の画素データをデータ記憶部８２８から読み出してカウント処理の初期値とするように指示する。
ＡＤ変換装置８０５は、診断対象の固体撮像装置１からアナログの撮像信号を取得し、先ず電圧比較部８５２において、参照信号生成部８２７から供給される所定の傾きで変化する参照信号RAMPと撮像信号の各画素信号とを比較し、画素信号と参照信号RAMPとが一致する点を探す。
カウンタ部８５４は、参照信号生成部８２７による参照信号RAMPの生成と同時にタイミング制御部８２０にて指示されたカウントモードにてカウントクロックＣＫ０に基づきカウント処理を開始する。そして、電圧比較部８５２の比較処理で用いる参照信号RAMPの生成時点から画素信号と参照信号RAMPとが一致する時点までのカウントクロックＣＫ０を計数する。
判定・診断部８３０は、カウンタ部８５４にて得られるカウント値が示す、正常時と実働時の差を表わす積和演算データＤ８を欠陥判定データとして用いて、画素欠陥の有無を判定する。
ここで、カウント結果としては、正常時の画素データから実働時の画素データを差し引いた値が得られる。画素欠陥がなければ、得られるカウント値は、誤差成分やノイズ成分だけとなり、十分に小さいと考えてよい。これに対して、画素欠陥がある場合には、正常時と実働時の画素データに大きな差が現われる。
よって、判定・診断部８３０は、画素欠陥の判定に際しては、誤差成分やノイズ成分などによる誤判定を防止するべく、カウンタ部８５４にて得られる積和演算データＤ８が一定以上である場合に、画素欠陥があるものと判定するのがよい。
このように、電子機器８００を画素欠陥診断に用いる場合、電圧比較部８５２とカウンタ部８５４の組合せからなるＡＤ変換装置８０５を用いて、正常デバイスと診断対象デバイスとの間で画素データの差分処理を行なうようにした。これにより、第１〜第９実施形態で説明したと同様に、正常状態に対する実働状態の差を示すデジタルデータを、実働状態の画素信号についてＡＤ変換をする際に、直接にカウンタ部８５４の出力として得ることができる。
正常データ保持用のフレームメモリとして機能するデータ記憶部８２８を利用することで、実働状態の画素信号用のフレームメモリや正常デバイスと診断対象デバイスとの間で画素データの差分処理を行なう追加回路を使わずに、画素欠陥診断を実現でき、実働状態の画素信号についてのＡＤ変換と画素欠陥診断のための演算処理（本例では差分処理）を効率的に行なうことができる。画素位置に拘らず正常データが一定であるとする場合には、正常データ保持用のフレームメモリとして機能するデータ記憶部８２８も不要になる。
また、図２６に示した構成において、動体検出機能を実現するには、先ず比較対象となる前フレームの画素信号を固体撮像装置１から読み出して画素データを取得し、この後、現フレームの画素信号を固体撮像装置１から読み出して、前フレームの画素データとの間で差分処理を行ない、その結果に基づいて動体を検出する。
前フレームの画素データを取得する場合、ＡＤ変換装置８０５は、固体撮像装置１からアナログの撮像信号を取得し、上記第１実施形態の基本動作で説明したと同様にして、先ず電圧比較部８５２において、参照信号生成部８２７から供給される所定の傾きで変化する参照信号RAMPと撮像信号の各画素信号とを比較し、画素信号と参照信号RAMPとが一致する点を探す。
カウンタ部８５４は、参照信号生成部８２７による参照信号RAMPの生成と同時にタイミング制御部８２０にて指示されたカウントモードにてカウントクロックＣＫ０に基づきカウント処理を開始する。ここでは、タイミング制御部８２０は、カウンタ部８５４のカウントモードを、リセット成分ΔＶについてはダウンカウントモードに設定し、信号成分Ｖsig についてはアップカウントモードに設定することとする。これは、信号成分Ｖsig に対応する画素データとして正のデータを取得することを意味する。
カウンタ部８５４は、電圧比較部８５２の比較処理で用いる参照信号RAMPの生成時点から画素信号と参照信号RAMPとが一致する時点までのカウントクロックＣＫ０を計数し、係数結果を自前の登録データＤ９ａとして画素位置を対応付けてデータ記憶部８２８に登録する。ＡＤ変換装置８０５は、このような処理を、撮像信号の全画素について繰り返す。これにより、固体撮像装置１の画素部１０を構成する単位画素３が、画素内メモリを有しない構造のものであっても、前フレームの画素データを取得して保持しておくことができる。
現フレームのデータ取得時には、タイミング制御部８２０は、カウンタ部８５４のカウントモードを、リセット成分ΔＶについてはアップカウントモードに設定し、信号成分Ｖsig についてはダウンカウントモードに設定する。これは、信号成分Ｖsig に対応する画素データとして負のデータを取得することを意味する。
また、通信・タイミング制御部２０は、参照信号生成部８２７に対して、参照信号RAMPの傾きを、前フレームの画素データの取得時と同じになるように指示する。これは、現フレームの画素信号を、前フレームの取得時と同じゲインでデジタルデータに変換することを意味する。
また、タイミング制御部８２０は、カウンタ部８５４に対して初期値制御信号ＣＮ７を発し、処理対象の画素位置と同じ画素位置の前フレームの画素データをデータ記憶部８２８から読み出してカウント処理の初期値とするように指示する。
ＡＤ変換装置８０５は、固体撮像装置１から現フレームのアナログの撮像信号を取得し、先ず電圧比較部８５２において、参照信号生成部８２７から供給される所定の傾きで変化する参照信号RAMPと撮像信号の各画素信号とを比較し、画素信号と参照信号RAMPとが一致する点を探す。
カウンタ部８５４は、参照信号生成部８２７による参照信号RAMPの生成と同時にタイミング制御部８２０にて指示されたカウントモードにてカウントクロックＣＫ０に基づきカウント処理を開始する。そして、電圧比較部８５２の比較処理で用いる参照信号RAMPの生成時点から画素信号と参照信号RAMPとが一致する時点までのカウントクロックＣＫ０を計数する。ＡＤ変換装置８０５は、このような処理を撮像信号の全画素について繰り返す。
判定・診断部８３０は、カウンタ部８５４にて得られるカウント値が示す、撮像時刻が所定時間（１フレーム分）離れた２フレーム間の画素信号の差を表わす積和演算データＤ８を動体検出判定データとして用いて、動体部分の有無を判定する。
ここで、カウント結果としては、同一画素位置における、前フレームの画素データから現フレームの画素データを差し引いた値が得られる。被写体に動きがなければ、得られるカウント値は、誤差成分やノイズ成分だけとなり、十分に小さいと考えてよい。これに対して、被写体に動きがある場合には、２フレーム間の画素データに大きな差が現われる。
よって、判定・診断部８３０は、動体部分の有無の判定に際しては、誤差成分やノイズ成分などによる誤判定を防止するべく、カウンタ部８５４にて得られる積和演算データＤ８が一定以上である場合に、判定対象画素は動体部分を構成する画素であると判定する。
このように、電子機器８００を動体検出に用いる場合でも、電圧比較部８５２とカウンタ部８５４の組合せからなるＡＤ変換装置８０５を用いて、２フレーム間で画素データの差分処理を行なうようにした。これにより、画素欠陥診断と同様に、前フレームに対する現フレームの差を示すデジタルデータを、現フレームの画素信号についてＡＤ変換をする際に、直接にカウンタ部８５４の出力として得ることができる。
画素内メモリを有しないデバイスであっても、前フレーム用のフレームメモリとして機能するデータ記憶部８２８を利用することで、現フレーム用のフレームメモリや２フレーム間で画素データの差分処理を行なう追加回路を使わずに、動体検出機能を実現でき、現フレームの画素信号についてのＡＤ変換と動体検出のための演算処理（本例では差分処理）を効率的に行なうことができる。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
たとえば、上記実施形態では、画素部１０の読出し側に位置するカラム領域にＡＤ変換機能部を設けていたが、その他の箇所に設けることもできる。たとえば、水平信号線１８までアナログで画素信号を出力して、その後にＡＤ変換を行ない出力回路２８に渡すような構成としてもよい。
この場合でも、ＡＤ変換用の参照信号と積和演算対象の複数の画素信号とを比較し、この比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較処理が完了した時点のカウント値を保持する際、積和演算対象の複数の画素信号の内の一方についてのデジタルデータをカウント処理の初期値としておくことで、他方の画素信号についてＡＤ変換処理をした時点で、和演算結果を表すデジタルデータを、カウント処理した結果として得ることができる。
この結果、積和演算対象の複数の画素信号基のそれぞれのカウント結果を保持するメモリ装置をカウンタ部が備えるラッチ機能で実現でき、ＡＤ変換されたデータを保持する専用のメモリ装置をカウンタとは別に用意する必要がない。全ての垂直列に対して１つのＡＤ変換機能部を設ければよく、高速な変換処理が必要にはなるものの回路規模は上記実施形態よりも少なくなる。
また、上記実施形態では、モード切替え後のカウント処理時に、切替え前の最終カウント値からカウント処理を開始するようにしていたが、カウント出力値がカウントクロックＣＫ０に同期して出力される同期式のアップダウンカウンタを用いる場合には、モード切替時に特段の対処を要することなく、このことを実現できる。
しかしながら、動作制限周波数が最初のフリップフロップ（カウンタ基本要素）の制限周波数でのみ決められ高速動作に適する利点がある非同期式のアップダウンカウンタを用いる場合には、カウントモードを切り替えた際、カウント値が破壊されてしまい、切替え前後で値を保ったまま連続しての正常なカウント動作が行なえない問題を有する。よって、モード切替え前のカウント値からモード切替え後のカウント処理を開始可能にする調整処理部を設けることが好ましい。なお、ここでは調整処理部の詳細については説明を割愛する。なお、複数の信号間で加算処理を行なう場合、前段と後段の各カウントモードを同じにすればよく、このような対処は不要である。
また、上記実施形態では、画素信号が、時間系列として、同一画素について、リセット成分ΔＶ（基準成分）の後に信号成分Ｖsig が現れ、後段の処理部が正極性（信号レベルが大きいほど正の値が大きい）の信号について処理するものに対応して、真の信号成分を求めるに際して、１回目の処理として、リセット成分ΔＶ（基準成分）について比較処理とダウンカウント処理を行ない、２回目の処理として、信号成分Ｖsig について比較処理とアップカウント処理を行なうようにしていたが、基準成分と信号成分が現れる時間系列に拘わらず、対象信号成分とカウントモードとの組合せや処理順は任意である。処理手順によっては、２回目の処理で得られるデジタルデータが負の値になることもあるが、その場合には、符号反転や補正演算をするなどの対処をすればよい。
勿論、画素部１０のデバイスアーキテクチャとして、信号成分Ｖsig の後にリセット成分ΔＶ（基準成分）を読み込まなければならず、後段の処理部が正極性の信号について処理するものである場合には、１回目の処理として、信号成分Ｖsig について比較処理とダウンカウント処理を行ない、２回目の処理として、リセット成分ΔＶ（基準成分）について比較処理とアップカウント処理を行なうのが効率的である。
また、上記実施形態では、画素信号が、時間系列として、同一画素について、リセット成分ΔＶ（基準成分）の後に信号成分Ｖsig が現れるものとして、複数の画素信号間での積和演算をするに当たって、画素信号ごとに、真の信号成分を求める差分処理を行なうようにしていたが、リセット成分ΔＶ（基準成分）を無視できるなど、信号成分Ｖsig のみを対象としてもよい場合には、真の信号成分を求める差分処理を割愛することができる。
また、上記実施形態では、アップダウンカウンタを動作モードに拘わらず共通に使用しつつ、その処理モードを切り替えてカウント処理を行なうようにしていたが、ダウンカウントモードとアップカウントモードを組み合わせてカウント処理を行なうものであればよく、モード切替可能なアップダウンカウンタを用いた構成に限定されない。
たとえば、ダウンカウント処理を行なうダウンカウンタ回路と、アップカウント処理を行なうアップカウンタ回路との組合せでカウンタ部を構成することもできる。この場合、カウンタ回路は、公知の技術を利用して任意の初期値をロードすることのできる構成のものとするのがよい。たとえば、ダウンカウントの後にアップカウントを行なう場合であれば、図３２（Ａ）に示すように、１回目のカウント処理ではダウンカウンタ回路を作動させ、２回目のカウント処理ではアップカウンタ回路を作動させる。このとき、カウントモード切替用の切替制御信号ＣＮ５によりカウントモードを切り替えた後のアップカウント処理の開始前に、初期値設定用のロード制御信号ＣＮldをアップカウンタ回路のロード端子ＬＤｕに供給することで、ダウンカウント処理で取得したダウンカウント値を初期値としてアップカウンタ回路に設定する。
また、アップカウントの後にダウンカウントを行なう場合であれば、図３２（Ｂ）に示すように、１回目のカウント処理ではアップカウンタ回路を作動させ、２回目のカウント処理ではダウンカウンタ回路を作動させる。このとき、カウントモード切替用の切替制御信号ＣＮ５によりカウントモードを切り替えた後のダウンカウント処理の開始前に、初期値設定用のロード制御信号ＣＮldをダウンカウンタ回路のロード端子ＬＤｄに供給することで、アップカウント処理で取得したアップカウント値を初期値としてダウンカウンタ回路に設定する。
なお、複数の信号間で加算処理を行なう場合、前段と後段の各カウントモードを同じに維持したまま、後段側のカウント回路におけるカウント処理の開始前に、複数の信号間で減算処理を行なう場合と同様にして初期値設定を行なえばよい。
こうすることで、図３２（Ａ）および図３２（Ｂ）の何れの構成も、後段のカウンタ回路の出力としては、複数の信号（基準成分と信号成分も含む）間で減算処理が直接にでき、複数の信号との差を取るための特別な加算回路が不要になる。また、非特許文献１では必要としていた減算器へのデータ転送が不要になり、そのための雑音の増加や電流あるいは消費電力の増大を解消することができる。
なお、ダウンカウンタ回路とアップカウンタ回路との組合せでカウンタ部を構成する場合、２回目のカウント処理に際して、１回目のカウント処理で取得したカウント値を初期値として設定せず、ゼロからカウントする構成を排除するものではない。
この場合、たとえば差分処理に対応する場合であれば、図３２（Ｃ）に示すように、アップカウンタ回路の出力Ｑup（正方向の値）とダウンカウンタ回路の出力Ｑdown（負方向の値）の和を取る加算回路が必要となるが、この場合でも、比較部とカウンタ部とで構成されるＡＤ変換部ごとに加算回路を設けるので、配線長を短くでき、データ転送のための雑音の増加や電流あるいは消費電力の増大を解消することができる。
図３２に示した何れの構成も、ダウンカウンタ回路とアップカウンタ回路の動作の指示は、上記実施形態と同様に通信・タイミング制御部２０が行なうことができる。また、ダウンカウンタ回路とアップカウンタ回路は、ともにカウントクロックＣＫ０で動作させればよい。
また、上記実施形態では、ＮＭＯＳあるいはＰＭＯＳより構成されている単位画素が行列状に配されて構成されたセンサを一例に説明したが、これに限らず、一列に配されたラインセンサにも適用でき上記実施形態で説明したと同様の作用・効果を享受可能である。
また、上記実施形態では、アドレス制御により個々の単位画素からの信号を任意選択して読出可能な固体撮像装置の一例として、光を受光することで信号電荷を生成する画素部を備えたＣＭＯＳセンサを例に示したが、信号電荷の生成は、光に限らず、たとえば赤外線、紫外線、あるいはＸ線などの電磁波一般に適用可能であり、この電磁波を受けてその量に応じたアナログ信号を出力する素子が多数配列された単位構成要素を備えた半導体装置に、上記実施形態で示した事項を適用可能である。
また、上記実施形態では、正方形状の単位画素３が正方格子状に配列されたものを対象に説明したが、単位画素の配列は、正方格子状に限らず、たとえば、図１に示した画素部１０を斜め４５度に傾けた配列状態の斜行格子状のものであってもよい。
また、単位画素の平面視上の形状が正方であるものとしていたが、正方に限らず、たとえば、６角形（ハニカム状）であってもよい。この場合、単位画素の配列は、たとえば以下のようにする。１つの単位画素列および１つの単位画素行は、それぞれ複数個の単位画素を含むようにする。
偶数列を構成している複数個の単位画素の各々は、奇数列を構成している複数個の単位画素に対し、各単位画素列内での単位画素同士のピッチの約１／２、列方向にずらす。同様に、偶数行を構成する複数個の単位画素の各々は、奇数行を構成する複数個の単位画素に対し、各単位画素行内での単位画素同士のピッチの約１／２、行方向にずらす。単位画素列の各々は、奇数行または偶数行の単位画素のみを含むようにする。
これら単位画素の電荷生成部に蓄積された信号電荷に基づく画素信号をカラム処理部２６側へ読み出すために、行制御線を設けるが、その配置は、ハニカム状の単位画素３の周りに蛇行して配される。逆に言えば、行制御線をハニカム状に配設することによって生じる６角形の隙間それぞれに、単位画素の各々が平面視上に位置するようにする。こうすることで、全体としては、約１／２ピッチの画素ずらしを交互にしながら、垂直方向に画素信号を読み出すようになる。
この単位画素や行制御線をハニカム配列にすれば、個々の単位画素における電荷生成部の受光面の面積低下を抑制しつつ、画素密度を向上させることができる。
単位画素の形状や配列に拘らず、何れの場合も、画素部１０をカラー撮像対応にする場合、積和演算処理時には、同色成分同士での演算がなされるように、画素を選択すればよい。すなわち、色分解フィルタの各色フィルタの配置位置に基づいて、積和演算の対象となる複数の単位信号が同一色の色フィルタのものとなるように、複数の単位構成要素のそれぞれの位置を指定するようにすればよい。
また、上記実施形態でデータ処理装置の一例として説明したＡＤ変換回路は、固体撮像装置やその他の電子機器に組み込まれて提供されることに限らず、たとえばＩＣ（Integrated Circuit；集積回路）や複数画素間での積和演算機能（データ処理機能）を持つＡＤ変換モジュールあるいはデータ処理モジュールなどのようにして、単独の装置として提供されてもよい。
この場合、比較部とカウンタ部とを備えたＡＤ変換装置（もしくはデータ処理装置）で提供してもよいが、ＡＤ変換用の参照信号を生成し比較部に供給する参照信号生成部や、カウンタ部におけるカウント処理のモードを制御する制御部も同一の半導体基板上に配したＩＣ（集積回路）や個別チップなどの組合せでなるモジュールに組み込んで提供してもよい。
これらを組み込んで提供することで、比較部とカウンタ部の動作を制御するために必要な機能部を纏めて取り扱うことができ、部材の取扱いや管理が簡易になる。また、ＡＤ変換処理に必要な要素がＩＣやモジュールとして纏まって（一体となって）いるので、固体撮像装置やその他の電子機器の完成品の製造も容易になる。
本発明に係る半導体装置の第１実施形態であるＣＭＯＳ固体撮像装置の概略構成図である。 図１に示した第１実施形態の固体撮像装置のカラムＡＤ回路における基本動作を説明するためのタイミングチャートである。 図１に示した第１実施形態の固体撮像装置のカラムＡＤ回路における空間差分処理時の動作を説明するためのタイミングチャートである。 本発明の第２実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第２実施形態の固体撮像装置のカラムＡＤ回路における基本動作を説明するためのタイミングチャートである。 図４示した第２実施形態の固体撮像装置のカラムＡＤ回路における空間差分処理時の動作を説明するためのタイミングチャートである。 空間差分処理におけるフレームレートとの関わりを説明するタイミングチャートである。 第１もしくは第２実施形態の構成における空間差分処理の利用形態の第１例（エッジ検出）を説明する図である（その１）。 第１もしくは第２実施形態の構成における空間差分処理の利用形態の第１例（エッジ検出）を説明する図である（その２）。 第１もしくは第２実施形態の構成における空間差分処理の利用形態の第２例（パターン・マッチング）を説明する図である。 本発明の第３実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第３実施形態の固体撮像装置のカラムＡＤ回路における空間差分処理時の動作を説明するためのタイミングチャートである。 第３実施形態の構成での空間差分処理の利用形態を説明する図である。 本発明の第４実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第４実施形態の固体撮像装置において使用される参照信号生成部のＤＡ変換回路の機能を説明する図である。 第４実施形態の固体撮像装置のカラムＡＤ回路における空間差分処理時の動作を説明するためのタイミングチャートである。 第４実施形態の構成での空間差分処理の利用形態を説明する図である。 本発明の第５実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第５実施形態の構成での空間差分処理の利用形態を説明する図である。 本発明の第６実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第６実施形態の固体撮像装置にて用いられる列選択処理部の一構成例を示す図である。 第６実施形態の構成での空間差分処理の利用形態を説明する図である。 本発明の第７実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 本発明の第８施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第８施形態の固体撮像装置のカラムＡＤ回路における空間差分処理動作を説明するためのタイミングチャートである。 本発明の第９実施形態に係るＣＭＯＳ固体撮像装置の概略構成図である。 第９実施形態で用いる単位画素の構造模式図である。 第９実施形態の単位画素を駆動する動作を説明するタイミングチャートである。 第９実施形態の固体撮像装置のカラムＡＤ回路における時間差分処理動作を説明するためのタイミングチャートである。 第９実施形態の時間差分処理におけるフレームレートとの関わりを説明するタイミングチャートである。 本発明の第１０実施形態に係る電子機器の概略構成図である。 カウンタ部の変形例を示す回路ブロック図である。
符号の説明
１…固体撮像装置、３…単位画素、７…駆動制御部、１０…画素部、１２…水平走査回路、１４…垂直走査回路、１５…行制御線、１８…水平信号線、１９…垂直信号線、２０…通信・タイミング制御部、２４…カウンタ部、２５…カラムＡＤ回路、２６…カラム処理部、２７…参照信号生成部、２７ａ…ＤＡ変換回路、２８…出力回路、２５２…電圧比較部、２５４…カウンタ部、２５６…データ記憶部、２５８…スイッチ、２８２…デジタル演算部、２９０…列選択処理部、８００…電子機器、８０２…制御装置、８０５…ＡＤ変換装置、８２０…タイミング制御部、８２７…参照信号生成部、８２８…データ記憶部、８３０…判定・診断部、８５２…電圧比較部、８５４…カウンタ部

Claims (41)

  1. 物理的性質が同一の複数の処理対象信号の積和演算結果のデジタルデータを取得するデータ処理方法であって、
    前記複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、前記複数の処理対象信号のうちの他方に応じた電気信号と、当該他方についてのデジタルデータを取得するための参照信号とを比較するとともに、この比較処理と並行してダウンカウントモードおよびアップカウントモードのうちの何れか一方のモードでカウント処理を行ない、前記比較処理が完了した時点のカウント値を保持する
    データ処理方法。
  2. 前記複数の処理対象信号のそれぞれは、同一空間平面におけるそれぞれ異なる位置の信号、あるいは同一空間平面における同一位置においてそれぞれ異なる時刻に所得された信号である
    請求項１に記載のデータ処理方法。
  3. 前記処理対象信号は、入射された電磁波に対応する電荷を生成する電荷生成部および前記電荷生成部により生成された電荷に応じた単位信号を生成する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された、物理量分布検知のための半導体装置における、前記単位信号生成部により生成され出力されたアナログの単位信号である
    請求項１または２に記載のデータ処理方法。
  4. 前記単位構成要素が行列状に配されており、
    前記単位信号生成部により生成され列方向に出力される同一列の複数の行の処理対象信号を前記複数の処理対象信号として前記カウント処理を行なう
    ことを特徴とする請求項３に記載のデータ処理方法。
  5. 前記単位構成要素が行列状に配されており、
    前記単位信号生成部により生成され列方向に出力される同一行の複数の列の処理対象信号を前記複数の処理対象信号として前記カウント処理を行なう
    請求項３に記載のデータ処理方法。
  6. 前記単位構成要素が行列状に配されており、
    前記単位信号生成部により生成され列方向に出力される同一列の複数の行と、前記単位信号生成部により生成され列方向に出力される同一行の複数の列の各処理対象信号を前記複数の処理対象信号として前記カウント処理を行なう
    請求項３に記載のデータ処理方法。
  7. 同一配列位置の前記単位構成要素におけるそれぞれ異なる時刻に取得された前記複数の処理対象信号について前記カウント処理を行なう
    請求項３に記載のデータ処理方法。
  8. 前記複数の処理対象信号の内の前記一方に応じた電気信号と、当該一方についてのデジタルデータを取得するための参照信号とを比較するとともに、この比較処理と並行して前記ダウンカウントモードおよび前記アップカウントモードのうちの何れか一方のモードでカウント処理を行ない、前記比較処理が完了した時点のカウント値を保持することで、前記一方についてのデジタルデータを取得する
    請求項１または２に記載のデータ処理方法。
  9. 前記複数の処理対象信号の差分結果のデジタルデータを取得する際には、前記複数の処理対象信号の内の前記一方についてのカウントモードと、前記複数の処理対象信号の内の前記他方についてのカウントモードとを逆のモードにする
    請求項８に記載のデータ処理方法。
  10. 前記参照信号の時間変化量により、前記積和演算における前記処理対象信号についての係数を設定する
    請求項８に記載のデータ処理方法。
  11. 前記ダウンカウントモードと前記アップカウントモードとにおける各カウント処理を、モード切替可能なアップダウンカウンタを共通に用いつつ、その処理モードを切り替えて行なう
    請求項１または２に記載のデータ処理方法。
  12. 前記積和演算における前記処理対象信号の数に基づいて、前記カウント処理のビット数を調整する
    請求項１または２に記載のデータ処理方法。
  13. 前記積和演算における前記処理対象信号の数を２＾ｍ（“＾”はべき乗）としたとき、前記カウント処理のビット数を、通常時の１つの処理対象信号についての前記カウント処理のビット数に対してｍだけ削減する
    請求項１２に記載のデータ処理方法。
  14. 前回の前記カウント処理において取得した前記積和演算結果を示すカウント値を所定のデータ記憶部に保持しておき、
    今回の前記カウント処理を行なう際に、前記データ記憶部からの前記カウント値の読出処理を並行して行なう
    請求項１または２に記載のデータ処理方法。
  15. 物理的性質が同一の複数の処理対象信号の積和演算結果のデジタルデータを取得するデータ処理装置であって、
    前記複数の処理対象信号のうちの他方に応じた電気信号と当該他方についてのデジタルデータを取得するための参照信号とを比較する比較部と、
    前記比較部における比較処理と並行して、前記複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持することで、前記一方と他方の積和演算結果のデジタルデータを取得するカウンタ部と
    を備えたデータ処理装置。
  16. 前記比較部は、前記複数の処理対象信号の内の前記一方に応じた電気信号と、当該一方についてのデジタルデータを取得するための参照信号とを比較し、
    前記カウンタ部は、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持することで、前記一方についてのデジタルデータを取得する
    請求項１５に記載のデータ処理装置。
  17. 前記カウンタ部は、共通のカウンタ回路で構成され、かつ前記アップカウントモードと前記ダウンカウントモードとを切替可能に構成されている
    請求項１５に記載のデータ処理装置。
  18. 前記参照信号を生成し前記比較部に供給する参照信号生成部をさらに備えた
    請求項１５に記載のデータ処理装置。
  19. 前記参照信号生成部は、前記参照信号の時間変化量を調整可能に構成されている
    ことを特徴とする請求項１７に記載のデータ処理装置。
  20. 前記カウント処理のモードを制御する制御部
    をさらに備えた請求項１５に記載のデータ処理装置。
  21. 前記複数の処理対象信号の内の前記一方についてのカウントモードと、前記複数の処理対象信号の内の前記他方についてのカウントモードとを逆のモードにする制御部
    をさらに備えた請求項１６に記載のデータ処理装置。
  22. 前記積和演算における前記処理対象信号の数に基づいて、前記カウンタ部におけるカウント処理のビット数を調整する制御部をさらに備えた
    請求項１５に記載のデータ処理装置。
  23. 前記制御部は、前記積和演算における前記処理対象信号の数を２＾ｍ（“＾”はべき乗）としたとき、前記カウント処理のビット数を、通常時の１つの処理対象信号についての前記カウント処理のビット数に対してｍだけ削減するように制御する
    請求項２２に記載のデータ処理装置。
  24. 前回の前記カウント処理において取得した前記積和演算結果を示すカウント値を保持するデータ記憶部と、
    今回の前記カウント処理について、前記比較部と前記カウンタ部とが、それぞれが担当する処理を行なうのと並行して、前記データ記憶部から前記カウント値を読み出す読出走査部と
    をさらに備えた請求項１５に記載のデータ処理装置。
  25. 入射された電磁波に対応する電荷を生成する電荷生成部および前記電荷生成部により生成された電荷に応じたアナログの単位信号を生成する単位信号生成部を単位構成要素内に含み、当該単位構成要素が所定の順に配された物理量分布検知のための半導体装置であって、
    物理的性質が同一の複数の前記単位信号の内の他方に応じた電気信号と当該他方についてのデジタルデータを取得するための参照信号とを比較する比較部と、
    前記比較部における比較処理と並行して、前記複数の前記単位信号の内一方についてのデジタルデータをカウント処理の初期値として、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持することで、前記一方と他方の積和演算結果のデジタルデータを取得するカウンタ部と
    を備えた半導体装置。
  26. 前記参照信号を生成し前記比較部に供給する参照信号生成部
    をさらに備えた請求項２５に記載の半導体装置。
  27. 前記カウンタ部における前記カウント処理のモードを制御する制御部
    をさらに備えた請求項２５に記載の半導体装置。
  28. 前記比較部と前記カウンタ部とからなる組を、前記単位構成要素の列の並び方向である行方向に複数備えている
    請求項２５に記載の半導体装置。
  29. 前記比較部と前記カウンタ部とが処理対象とする複数の前記単位構成要素のそれぞれの位置を指定して前記単位信号生成部から前記複数の単位信号のそれぞれを前記比較部に入力させる単位信号選択制御部
    をさらに備えた請求項２５に記載の半導体装置。
  30. 前記単位構成要素が行列状に配されており、
    前記単位信号選択制御部は、それぞれが同一列の前記単位構成要素の前記単位信号生成部から出力される前記単位信号を、列単位で切り替えて前記比較部に入力させる列選択処理部を有している
    請求項２９に記載の半導体装置。
  31. 前記単位構成要素が行列状に配されており、
    前記単位信号選択制御部の制御の元で、前記単位信号生成部により生成され列方向に出力される同一列の複数の行の単位信号を前記複数の単位信号として、
    前記比較部は、前記複数の単位信号の内の前記一方に応じた電気信号と、当該一方についてのデジタルデータを取得するための参照信号とを比較し、前記カウンタ部は、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持することで前記一方についてのデジタルデータを取得し、
    さらに、前記比較部は、前記複数の単位信号の内の一方について前記カウンタ部により取得されたデジタルデータをカウント処理の初期値として、前記複数の単位信号のうちの他方に応じた電気信号と当該他方についてのデジタルデータを取得するための参照信号とを比較し、前記カウンタ部は、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持する
    請求項２９に記載の半導体装置。
  32. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とは、前記単位信号選択制御部の制御の元で、前記単位信号生成部により生成され列方向に出力される同一行の複数の列の単位信号を前記複数の単位信号として前記カウント処理を行なう
    請求項２９に記載の半導体装置。
  33. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とは、前記単位信号選択制御部の制御の元で、前記画素信号生成部により生成され列方向に出力される同一列の複数の行と、前記画素信号生成部により生成され列方向に出力される同一行の複数の列の各単位信号を前記複数の単位信号として前記カウント処理を行なう
    請求項２９に記載の半導体装置。
  34. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とからなる組を、前記単位構成要素の列の並び方向である行方向に複数備えており、
    一方の組の前記比較部は、前記複数の単位信号の内の前記一方に応じた電気信号と、当該一方についてのデジタルデータを取得するための参照信号とを比較し、前記一方の組の前記カウンタ部は、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持することで前記一方についてのデジタルデータを取得し、
    前記単位信号選択制御部は、前記一方の組の前記カウンタ部に保持されたカウント値が示すデジタルデータが、前記複数の単位信号の内の前記他方について処理を行なう他方の組の前記カウント処理における初期値となるように制御する
    請求項２９に記載の半導体装置。
  35. 前記単位構成要素が行列状に配されており、
    前記比較部と前記カウンタ部とからなる組を、前記単位構成要素の列の並び方向である行方向に複数備えており、
    一方の組の前記比較部と前記カウンタ部とは、前記単位信号選択制御部の制御の元で、前記単位信号生成部により生成され列方向に出力される同一列の複数の行の単位信号を前記複数の単位信号として、
    前記比較部は、前記複数の単位信号の内の前記一方に応じた電気信号と、当該一方についてのデジタルデータを取得するための参照信号とを比較し、前記カウンタ部は、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持することで前記一方についてのデジタルデータを取得し、
    さらに、前記比較部は、前記複数の単位信号の内の一方について前記カウンタ部により取得されたデジタルデータをカウント処理の初期値として、前記複数の単位信号のうちの他方に応じた電気信号と当該他方についてのデジタルデータを取得するための参照信号とを比較し、前記カウンタ部は、前記比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持する
    請求項２９に記載の半導体装置。
  36. それぞれの前記電荷生成部の前記電磁波が入射される面には、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられており、
    前記単位信号選択制御部は、前記色分解フィルタの各色フィルタの配置位置に基づいて、処理対象となる前記複数の単位信号が同一色の前記色フィルタのものとなるように、前記複数の単位構成要素のそれぞれの位置を指定する
    請求項２９に記載の半導体装置。
  37. 前記比較部と前記カウンタ部とは、同一配列位置の前記単位構成要素におけるそれぞれ異なる時刻に取得された前記複数の単位信号について、それぞれが担当する処理を行なう
    請求項２５に記載の半導体装置。
  38. 前記単位構成要素は、相対的に前の時刻に前記電荷生成部が生成した電荷を保持するメモリ機能要素を備えており、
    前記比較部と前記カウンタ部とは、少なくとも前記複数の単位信号についての一方の単位信号に関しては、前記メモリ機能要素に保持された電荷に基づいて前記単位信号生成部により生成された単位信号について、それぞれが担当する処理を行なう
    請求項３４に記載の半導体装置。
  39. 前記単位構成要素が行列状に配されており、
    前記カウンタ部に保持されたカウント値が示す列方向についてのデジタルデータを複数受け取ったときには、この複数のデジタルデータに基づき、前記列方向と交差する行方向についての積和演算を行ない、前記カウンタ部に保持されたカウント値が示す行方向についてのデジタルデータを複数受け取ったときには、この複数のデジタルデータに基づき、前記行方向と交差する列方向についての積和演算を行なう演算部
    をさらに備えた請求項２５に記載の半導体装置。
  40. 前記単位信号生成部は、前記電荷生成部により生成された電荷に応じたアナログの電圧信号を前記単位信号として生成して前記比較部に供給する半導体素子を有する
    請求項２５に記載の半導体装置。
  41. 物理的性質が同一の複数の処理対象信号と対応するデジタルデータを取得するための参照信号を生成する参照信号生成部と、
    前記複数の処理対象信号のうちの他方に応じた電気信号と、当該他方について前記参照信号生成部が生成した参照信号とを比較する比較部と、
    前記比較部における比較処理と並行して、前記複数の処理対象信号の内の一方についてのデジタルデータをカウント処理の初期値として、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、前記比較部における前記比較処理が完了した時点のカウント値を保持することで、前記一方と他方の積和演算結果のデジタルデータを取得するカウンタ部と、
    前記カウンタ部における前記カウント処理のモードを制御する制御部と
    を備えた電子機器。
JP2004209886A 2004-07-16 2004-07-16 データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器 Expired - Fee Related JP4380439B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004209886A JP4380439B2 (ja) 2004-07-16 2004-07-16 データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器
TW094123378A TWI281821B (en) 2004-07-16 2005-07-11 Data processing method, data processing apparatus, semiconductor device for detecting physical quantity distribution, and electronic apparatus
US11/179,772 US7786921B2 (en) 2004-07-16 2005-07-12 Data processing method, data processing apparatus, semiconductor device, and electronic apparatus
KR1020050064206A KR101195325B1 (ko) 2004-07-16 2005-07-15 데이터 처리 방법, 데이터 처리 장치, 물리량 분포 검지용반도체 장치 및 전자 장치
CNA2005101291077A CN1770831A (zh) 2004-07-16 2005-07-18 数据处理方法、数据处理设备、半导体装置和电子设备
CN201410359530.5A CN104202543A (zh) 2004-07-16 2005-07-18 数据处理方法、数据处理设备、半导体装置和电子设备
KR1020110143842A KR101195327B1 (ko) 2004-07-16 2011-12-27 데이터 처리 방법, 데이터 처리 장치, 물리량 분포 검지용 반도체 장치 및 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004209886A JP4380439B2 (ja) 2004-07-16 2004-07-16 データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器

Publications (2)

Publication Number Publication Date
JP2006033452A JP2006033452A (ja) 2006-02-02
JP4380439B2 true JP4380439B2 (ja) 2009-12-09

Family

ID=35599488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004209886A Expired - Fee Related JP4380439B2 (ja) 2004-07-16 2004-07-16 データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器

Country Status (5)

Country Link
US (1) US7786921B2 (ja)
JP (1) JP4380439B2 (ja)
KR (2) KR101195325B1 (ja)
CN (2) CN1770831A (ja)
TW (1) TWI281821B (ja)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
EP1657910A1 (en) * 2004-11-12 2006-05-17 STMicroelectronics Limited Image sensor
JP4959207B2 (ja) * 2006-03-06 2012-06-20 ソニー株式会社 固体撮像装置
JP2008011284A (ja) * 2006-06-30 2008-01-17 Fujitsu Ltd 画像処理回路、撮像回路および電子機器
JP4786631B2 (ja) * 2007-01-17 2011-10-05 ソニー株式会社 固体撮像装置、撮像装置
US8237808B2 (en) 2007-01-17 2012-08-07 Sony Corporation Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
US8159585B2 (en) * 2007-05-01 2012-04-17 Omnivision Technologies, Inc. Image sensor pixel with gain control
DE102007027463B4 (de) * 2007-06-14 2021-03-25 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
JP4929075B2 (ja) 2007-06-28 2012-05-09 パナソニック株式会社 固体撮像装置およびその駆動方法、撮像装置
JP4929090B2 (ja) 2007-07-26 2012-05-09 パナソニック株式会社 固体撮像装置およびその駆動方法
KR101377270B1 (ko) 2007-08-29 2014-03-21 삼성전자주식회사 리플 카운터를 포함하는 이미지 센서와 상기 이미지 센서의 동작 방법
JP2009081705A (ja) * 2007-09-26 2009-04-16 Panasonic Corp 固体撮像装置、受光強度測定装置、および受光強度測定方法
JP4858388B2 (ja) * 2007-09-28 2012-01-18 ソニー株式会社 固体撮像装置、駆動制御方法、および撮像装置
TWI399088B (zh) 2007-10-12 2013-06-11 Sony Corp 資料處理器，固態成像裝置，成像裝置，及電子設備
DE102007058973A1 (de) * 2007-12-07 2009-06-18 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
JP2009159069A (ja) 2007-12-25 2009-07-16 Panasonic Corp 固体撮像装置およびカメラ
JP5347341B2 (ja) * 2008-06-06 2013-11-20 ソニー株式会社 固体撮像装置、撮像装置、電子機器、ａｄ変換装置、ａｄ変換方法
JP2009296500A (ja) * 2008-06-09 2009-12-17 Olympus Corp 撮像装置
JP5272634B2 (ja) * 2008-06-20 2013-08-28 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8253809B2 (en) * 2008-08-27 2012-08-28 Sony Corporation Analog-digital converter, analog-digital conversion method, image pickup device, method of driving the same, and camera
JP4535182B2 (ja) * 2008-08-27 2010-09-01 ソニー株式会社 アナログデジタル変換器及びアナログデジタル変換方法、並びに撮像装置及びその駆動方法
JP5165520B2 (ja) * 2008-10-01 2013-03-21 ソニー株式会社 固体撮像装置、撮像装置、および固体撮像装置のａｄ変換方法
JP2010103913A (ja) * 2008-10-27 2010-05-06 Toshiba Corp Ａ／ｄ変換器、及びそれを備えた固体撮像装置
US8010722B2 (en) * 2008-11-04 2011-08-30 Renesas Electronics America Inc. Analog comparators in a control system
KR101754131B1 (ko) 2010-12-01 2017-07-06 삼성전자주식회사 샘플링 회로와 광감지 장치
JP5822547B2 (ja) * 2011-06-10 2015-11-24 キヤノン株式会社 撮像装置および撮像システム
JP5445555B2 (ja) * 2011-10-17 2014-03-19 ソニー株式会社 固体撮像装置
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
WO2013164915A1 (ja) * 2012-05-02 2013-11-07 株式会社ニコン 撮像装置
JP6120495B2 (ja) 2012-06-04 2017-04-26 キヤノン株式会社 撮像装置、撮像装置の駆動方法、撮像システム、撮像システムの駆動方法
JP6119117B2 (ja) * 2012-06-05 2017-04-26 株式会社ニコン 電子機器
JP2014060573A (ja) * 2012-09-18 2014-04-03 Sony Corp 固体撮像素子、制御方法、および電子機器
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP5990080B2 (ja) * 2012-10-05 2016-09-07 キヤノン株式会社 撮像システム、および撮像システムの駆動方法
JP2014099693A (ja) 2012-11-13 2014-05-29 Sony Corp 撮像素子、撮像装置、半導体素子、および読み出し方法
JP6033098B2 (ja) * 2013-01-18 2016-11-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP5962533B2 (ja) * 2013-02-13 2016-08-03 ソニー株式会社 固体撮像素子、駆動方法、および撮像装置
CN103592598A (zh) * 2013-10-31 2014-02-19 江苏绿扬电子仪器集团有限公司 针对逻辑分析仪定时分析的采样装置
JP6399749B2 (ja) * 2013-12-19 2018-10-03 キヤノン株式会社 撮像装置および撮像システム
JPWO2015107575A1 (ja) * 2014-01-15 2017-03-23 パナソニックＩｐマネジメント株式会社 撮像装置
KR102108322B1 (ko) 2014-02-25 2020-05-28 삼성전자주식회사 이미지 센서에서의 데이터 이송 장치 및 데이터 이송 방법
US20150312093A1 (en) * 2014-04-29 2015-10-29 General Electric Company System and method for input and output between hardware components
JP6612056B2 (ja) 2014-05-16 2019-11-27 株式会社半導体エネルギー研究所 撮像装置、及び監視装置
JP6507627B2 (ja) * 2014-12-22 2019-05-08 株式会社デンソー 撮像装置
CN104767913B (zh) * 2015-04-16 2018-04-27 北京思朗科技有限责任公司 一种对比度自适应的视频去噪系统
US9843797B2 (en) * 2015-06-11 2017-12-12 Semiconductor Components Industries, Llc Imaging systems having column readout circuitry with test data injection capabilities
US9625312B2 (en) * 2015-07-30 2017-04-18 Intel Corporation Light sensor with correlated double sampling
US10003761B2 (en) 2015-09-10 2018-06-19 Canon Kabushiki Kaisha Imaging device having multiple analog-digital conversion circuits that perform multiple ad conversions for a singular one of a pixel signal
JP6666043B2 (ja) * 2015-09-10 2020-03-13 キヤノン株式会社 撮像装置及び撮像システム
KR102332942B1 (ko) * 2015-11-27 2021-12-01 에스케이하이닉스 주식회사 전력 소모 감소를 위한 카운팅 장치 및 그를 이용한 아날로그-디지털 변환 장치와 씨모스 이미지 센서
US9955096B2 (en) * 2016-03-22 2018-04-24 Taiwan Semiconductor Manufacturing Co., Ltd. System and method for high-speed down-sampled CMOS image sensor readout
JP2018121254A (ja) * 2017-01-26 2018-08-02 アイシン精機株式会社 固体撮像素子
JP6921587B2 (ja) * 2017-03-31 2021-08-18 キヤノン株式会社 撮像装置、撮像システム、移動体
US10395376B2 (en) * 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship
JP6870518B2 (ja) * 2017-07-25 2021-05-12 セイコーエプソン株式会社 集積回路装置、物理量測定装置、電子機器及び移動体
JP2019047383A (ja) * 2017-09-04 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、固体撮像素子の制御方法
CN107659762B (zh) * 2017-10-23 2019-11-22 德淮半导体有限公司 一种图像传感器及其输出电路
JP7169751B2 (ja) * 2018-03-15 2022-11-11 キヤノン株式会社 撮像素子およびそれを有する電子機器
JP7366522B2 (ja) * 2018-03-22 2023-10-23 カシオ計算機株式会社 液晶制御回路、電子時計、および液晶制御方法
JP6797249B2 (ja) * 2018-08-10 2020-12-09 シャープ株式会社 Ａｄ変換器、および固体撮像素子
JP7245638B2 (ja) * 2018-11-30 2023-03-24 株式会社ジャパンディスプレイ 検出装置
EP3702805B1 (en) * 2019-02-28 2025-12-31 STMicroelectronics (Research & Development) Limited PHOTODIODE SENSOR ARNEY WITH DEACTIVATION OF DEFECTIVE PIXELS
KR102737923B1 (ko) 2020-02-26 2024-12-03 삼성전자주식회사 이미지 센싱 장치, 이의 동작 방법
US11055548B1 (en) * 2020-06-05 2021-07-06 Pixart Imaging Inc. Motion sensor using temporal difference pixels and lift-up detection thereof
US12347181B2 (en) 2020-06-05 2025-07-01 Pixart Imaging Inc. Neural signal detection circuit outputting time difference data or neural data
CN113256872B (zh) * 2020-12-31 2024-02-02 深圳怡化电脑股份有限公司 图像传感器参数配置方法、装置、计算机设备及存储介质
CN112911175B (zh) * 2021-02-02 2023-03-14 中国电子科技集团公司第四十四研究所 一种cmos图像传感器微光成像的降噪系统
US11431925B1 (en) * 2021-03-07 2022-08-30 Shenzhen GOODIX Technology Co., Ltd. Pixel ramp generator controller for image sensor
JP2023013368A (ja) * 2021-07-16 2023-01-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
DE112022004951T5 (de) * 2021-10-15 2024-08-14 Sony Semiconductor Solutions Corporation Festkörper-bildgebungselement, bildgebungsvorrichtung und steuerungsverfahren für ein festkörper-bildgebungselement
KR102481596B1 (ko) 2021-11-25 2022-12-27 금오공과대학교 산학협력단 해상 태양광 접지 시스템
CN113936015B (zh) * 2021-12-17 2022-03-25 青岛美迪康数字工程有限公司 一种图像有效区域的提取方法及装置
JP2024004564A (ja) * 2022-06-29 2024-01-17 日本放送協会 信号処理装置及び信号処理方法
JP2024004565A (ja) * 2022-06-29 2024-01-17 日本放送協会 信号処理装置及び信号処理方法
US20260052324A1 (en) * 2022-08-25 2026-02-19 Sony Semiconductor Solutions Corporation Light detection element and electronic device
TWI850977B (zh) * 2023-01-17 2024-08-01 新唐科技股份有限公司 直接記憶體存取裝置與使用其的資料處理系統
CN119729247B (zh) * 2024-12-03 2026-02-13 武汉北极芯微电子有限公司 图像传感器、图像传感电路以及图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2503502B1 (fr) * 1981-03-31 1985-07-05 Thomson Csf Dispositif d'analyse d'images en couleur utilisant le transfert de charges electriques et camera de television comportant un tel dispositif
JPH09200052A (ja) 1996-01-16 1997-07-31 Meidensha Corp アナログ−ディジタル変換装置
US5877715A (en) * 1997-06-12 1999-03-02 International Business Machines Corporation Correlated double sampling with up/down counter
US5920274A (en) * 1997-08-05 1999-07-06 International Business Machines Corporation Image sensor employing non-uniform A/D conversion
US6204795B1 (en) 1999-01-08 2001-03-20 Intel Corporation Programmable incremental A/D converter for digital camera and image processing
JP3507800B2 (ja) * 2001-02-02 2004-03-15 有限会社リニアセル・デザイン アナログ−デジタル変換器及びこれを用いたイメージセンサ

Also Published As

Publication number Publication date
US20060013485A1 (en) 2006-01-19
TW200627939A (en) 2006-08-01
TWI281821B (en) 2007-05-21
KR20060050215A (ko) 2006-05-19
KR20120006961A (ko) 2012-01-19
KR101195327B1 (ko) 2012-10-29
CN1770831A (zh) 2006-05-10
CN104202543A (zh) 2014-12-10
KR101195325B1 (ko) 2012-10-29
US7786921B2 (en) 2010-08-31
JP2006033452A (ja) 2006-02-02

Similar Documents

Publication Publication Date Title
JP4380439B2 (ja) データ処理方法およびデータ処理装置並びに物理量分布検知の半導体装置および電子機器
JP4193768B2 (ja) データ処理方法並びに物理量分布検知の半導体装置および電子機器
JP4289244B2 (ja) 画像処理方法並びに物理量分布検知の半導体装置および電子機器
JP5605377B2 (ja) Ａｄ変換方法およびａｄ変換装置
US7321329B2 (en) Analog-to-digital converter and semiconductor device
JP4470700B2 (ja) Ａｄ変換方法およびａｄ変換装置並びに物理量分布検知の半導体装置および電子機器
TWI726070B (zh) 固體攝像元件
JP4449565B2 (ja) 物理量分布検知の半導体装置
EP2290823B1 (en) Solid-state imaging device
JP4423112B2 (ja) 固体撮像装置および撮像システム
US7256382B2 (en) Solid state imaging device, method of driving solid state imaging device and image pickup apparatus
US20110304755A1 (en) Solid-state image pickup element and camera system
JP2006197393A (ja) 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
TW201511564A (zh) 轉換裝置、攝像裝置、電子機器、轉換方法
CN114270805A (zh) 成像器件、成像器件中的方法和电子装置
US20200236309A1 (en) Image sensor
JP5115602B2 (ja) 半導体装置およびその制御方法
KR20140107212A (ko) 고체 촬상 소자 및 그 구동 방법, 카메라 시스템
JP2011091474A (ja) 固体撮像装置及び撮像機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees