JP3959925B2 - 画像処理装置及び撮像素子 - Google Patents
画像処理装置及び撮像素子 Download PDFInfo
- Publication number
- JP3959925B2 JP3959925B2 JP2000107723A JP2000107723A JP3959925B2 JP 3959925 B2 JP3959925 B2 JP 3959925B2 JP 2000107723 A JP2000107723 A JP 2000107723A JP 2000107723 A JP2000107723 A JP 2000107723A JP 3959925 B2 JP3959925 B2 JP 3959925B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- current
- signal
- output
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000003384 imaging method Methods 0.000 title claims description 32
- 230000003321 amplification Effects 0.000 claims description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000015654 memory Effects 0.000 description 50
- 239000003990 capacitor Substances 0.000 description 34
- 230000008859 change Effects 0.000 description 16
- 238000012546 transfer Methods 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 101100127345 Caenorhabditis elegans ckk-1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像素子による撮像画像を処理する画像処理装置に係り、特に、画像フレーム間の差分を求めることで被写体の明るさの時間的変化を求める画像処理装置に関する。
【０００２】
更に詳しくは、本発明は、撮像素子による撮像データを保持する記憶部を撮像素子と同一回路上に備えることで演算処理を高速化した画像処理装置に係り、特に、被写体の明るさの時間的変化が小さい状況下であっても記憶部の特性ばらつきを低く抑えて正確な演算出力を得ることができる画像処理装置に関する。
【０００３】
【従来の技術】
例えば１フレーム目で撮像した被写体画像と２フレーム目で撮像した被写体画像を求めることで、被写体の明るさの時間的変化を求めることができる。
【０００４】
従来、画像の差分を求めるためには、ＣＣＤ（Charge Coupled Device：電荷結合素子）のような撮像素子を組み込んだカメラと複数のフレーム・メモリと演算装置とを用意して接続していた。すなわち、カメラから出力される１フレーム目の画像データをフレーム・メモリに一旦蓄積した後、次いで撮影された２フレーム目の画像データを別のフレーム・メモリに蓄積する。そして、各フレーム・メモリに記憶された内容すなわち画素データを演算装置が同期的に読み出して、対応する画素同士の差分を演算していた。
【０００５】
しかしながら、カメラからフレーム・メモリへの転送は、通常、シリアル方式で行われるので、１画面分の転送時間は無視できるほど短くはない。例えばＣＣＤを撮像素子として用いたＮＴＳＣ（National Television System Committee）方式のカメラでは、１フレームの撮像期間中に、前のフレームの画像を読み出す構成なので、１フレーム分の読み出し転送が完了するには３３ｍｓｅｃという時間を要する。したがって、画素間の差分を求めるためには、撮像を開始してから演算結果が得られるのは、最短でも３３ｍｓｅｃ以降となる。
【０００６】
図１０には、ＣＣＤを撮像素子とする場合における、撮像画像の蓄積及び読み出し時のタイミング・チャートを示している。同図に示すように、奇数フィールド及び偶数フィールドともに、３３ｍｓｅｃの蓄積期間を要する。図示のように、２フレーム目の読み出し期間が過ぎた以降でなければ、演算結果を得ることができない。
【０００７】
したがって、ＣＣＤ撮像素子からなるカメラを用いた従来の撮像システムは、ビジュアル・フィードバックのような視覚情報を用いた制御システムには適用することが困難である。
【０００８】
一方、ＣＭＯＳイメージ・センサの中には、フレーム・レートを１ｋＨｚ程度まで上げて、非常に高速に撮影しながら逐次演算処理を行い、ビジュアル・フィードバックを実現するものも試作されている。しかしながら、このタイプのセンサの場合、内部処理をデジタルで行うため、アナログ値をデジタル値に変換するＡＤ変換回路、デジタル値を記憶する記憶回路、デジタル値を演算する演算回路などの各回路素子を実装する必要がある。これら回路モジュールはいずれも回路規模が大きいので、多画素化には不向きであり、実用化が困難である（例えば小室外著「汎用プロセッシングエレメントを用いた超並列・超高速ビジョンチップの設計」（電子情報通信学会誌、Ｖｏｌ．Ｊ８１−Ｄ−Ｉ、Ｎｏ．２、ｐｐ．７０−７６、１９９８年）を参照のこと）。
【０００９】
また、アナログ信号のまま演算を実行するＣＭＯＳイメージ・センサに関しても報告されている。但し、これらはいずれもメモリ機能はキャパシタに信号電圧を記憶するという動作で実現するものであるため、キャパシタの構成方法によっては１つの画素が肥大化してしまうという問題点がある。仮に、メモリ部を画素以外の領域に実装して、画素数を増大することができたとしても、チップ全体の小型化に適しているとは言い難い。
【００１０】
しかも、キャパシタに信号電圧を記憶する場合、異なるキャパシタの信号電圧を異なるトランジスタのゲート電位として読み出すと、トランジスタ毎の閾値電圧にばらつきがあるために、同じ信号でも異なる値として読み出される危険性は避けられず、演算結果の誤差を招来するという問題点もある。また、キャパシタに信号電圧を記憶する場合、充電時間を無視することができないので、高速処理には向いていない。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、画像フレーム間の差分を求めることで被写体の明るさの時間的変化を求めることができる、優れた画像処理装置を提供することにある。
【００１２】
本発明の更なる目的は、撮像素子による撮像データを保持する記憶部を撮像素子と同一回路上に備えることで演算処理を高速化した、優れた画像処理装置を提供することにある。
【００１３】
本発明の更なる目的は、被写体の明るさの時間的変化が小さい状況下であっても記憶部の特性ばらつきを低く抑えて正確な演算出力を得ることができる、優れた画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、受光した光強度に応じた電気信号を発生する受光部と、
前記受光部の出力信号を増幅する増幅部と、
前記増幅部において増幅された電気信号を電流信号として記憶する複数の記憶部と、
前記記憶部からの電流出力を電圧に変換する負荷部と、
前記負荷部への入力に対してオフセット電流を与えるバイアス部と、
前記負荷部の出力信号を演算する演算部と、
前記演算部における演算結果を外部に出力する出力部と、
を具備することを特徴とする画像処理装置である。
【００１５】
本発明の第１の側面に係る画像処理装置において、前記複数の記憶部の各々は異なる期間に受光した信号に基づく電流信号を記憶することができる。このような場合、前記演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことができる。
【００１６】
また、前記増幅部は、ゲート電極同士を対向して接続した２個のミラー・トランジスタを含んでもよい。このような場合、増幅部は、カレント・ミラーの原理に基づき、各ミラー・トランジスタのサイズ比に応じて電流信号を増幅させることができる。
【００１７】
また、前記記憶部は、カレントコピアの原理に従って電流信号を記憶するようにしてもよい。
【００１８】
また、前記演算部が２つの記憶部からの信号電流を比較する場合には、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないようにしてもよい。この結果、各記憶部間の特性ばらつきによる演算部出力への影響を抑制することができる。
【００１９】
また、本発明の第２の側面は、複数の画素が同一回路上にマトリックス状に配列されてなる、被写体の明るさを検出する撮像素子であって、前記画素の各々は、
受光した光強度に応じた電気信号を発生する受光部と、
前記受光部の出力信号を増幅する増幅部と、
前記増幅部において増幅された電気信号を電流信号として記憶する複数の記憶部と、
前記記憶部からの電流出力を電圧に変換する負荷部と、
前記負荷部への入力に対してオフセット電流を与えるバイアス部と、
前記負荷部の出力信号を演算する演算部と、
前記演算部における演算結果を出力する出力部と、
を具備することを特徴とする撮像素子である。
【００２０】
本発明の第２の側面に係る撮像素子において、各画素毎に設けられた複数の記憶部の各々は、異なる期間に受光した信号に基づく電流信号を記憶することができる。このような場合、各画素内における演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことができる。
【００２１】
また、各画素内の増幅部は、ゲート電極同士を対向して接続したミラー・トランジスタを含んでもよい。このような場合、増幅部は、カレント・ミラーの原理に基づき、各ミラー・トランジスタのサイズ比に応じて電流信号を増幅させることができる。
【００２２】
また、画素内の各記憶部は、前記記憶部は、カレントコピアの原理に従って電流信号を記憶するようにしてもよい。
【００２３】
また、前記演算部が２つの記憶部からの信号電流を比較する場合には、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないようにしてもよい。この結果、各記憶部間の特性ばらつきによる演算部出力への影響を抑制することができる。
【００２４】
また、本発明の第３の側面は、被写体の明るさを検出する撮像素子であって、
受光した光強度に応じた電気信号を発生する受光部と前記受光部の出力信号を増幅する増幅部からなる画素がマトリックス状に配列された画素エリアと、
ゲート電極同士を対向して接続したミラー・トランジスタによりカレント・ミラーの原理に従い電流信号を増幅する第２増幅部が前記画素エリアの各画素列毎に配列さた第２増幅部エリアと、
前記画素の増幅された電気信号を電流信号として記憶する複数の記憶部が前記画素エリアの各画素の配列に対応したマトリックス状に配列された画素外記憶エリアと、
前記記憶部からの電流出力を電圧に変換して演算処理する負荷部及び演算部が前記画素エリアの各画素列毎に配列された負荷部及び演算部エリアと、
前記演算部における演算結果を出力する出力部が前記画素エリアの各画素列毎に配列された出力部エリアとを備え、
前記画素エリアと、第２増幅部エリアと、前記画素外記憶エリアと、前記負荷部及び演算部エリアと、出力部エリアが同一回路上に実装されていることを特徴とする撮像素子である。
【００２５】
本発明の第３の側面に係る撮像素子において、前記複数の記憶部の各々は、異なる期間に受光した信号に基づく電流信号を記憶するようにしてもよい。このような場合、前記演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことができる。
【００２６】
また、撮像素子は、さらに、対応する記憶部からの出力電流にオフセット電流を付加するバイアス部を備えることができる。このような構成によれば、前期演算部が２つの記憶部からの信号電流を比較する場合において、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないようにすることで、各記憶部間の特性ばらつきによる演算部出力への影響を抑制することができる。
【００２７】
また、画素内の各記憶部は、前記記憶部は、カレントコピアの原理に従って電流信号を記憶するようにしてもよい。
【００２８】
【作用】
本発明に係る画像処理装置は、受光強度に応じた電気信号を発生する受光部と、受光信号を増幅する増幅部と、増幅信号を電流信号として記憶する複数の記憶部と、各記憶部の電流出力を電圧に変換する負荷部と、負荷部への入力にオフセット電流を与えるバイアス部と、負荷部の出力を演算する演算部を備えた画像処理装置である。
【００２９】
本発明に係る画像処理装置の構成によれば、記憶部が撮像素子と同一回路上に実装されるので、処理が高速化される。また、バイアス部が各記憶部から出力される演算前の電流信号にオフセット電流を付加することによって、記憶部における特性ばらつきの影響を抑止して、演算部の出力を安定化させることができる。
【００３０】
例えば、本発明に係る画像処理装置を画素として用い、各画素を同一回路上にマトリックス状に配列することで、演算機能付きの撮像素子を構成することができる。かかる撮像素子によれば、被写体の明るさの時間的な変化を高速に演算することができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００３３】
図１には、本発明の実施に供される撮像素子の回路構成を模式的に示している。同図に示すように、撮像素子は、ｍ×ｎ個の画素１がマトリックス状に配列され、各行毎に水平画素駆動信号群８１−１，８１−２，…，８１−ｎが敷設されるとともに、各列毎に垂直信号線９１−１，９１−２，…，９１−ｍが敷設されている。
【００３４】
水平画素駆動信号群８１は、画素内の各部（後述）の同期駆動を規定する信号を含み、垂直駆動回路８０から出力されている。また、垂直信号線９１は、各画素の撮像信号を出力するための信号線であり、水平出力部１００に向かって走っている。
【００３５】
図２には、撮像素子内に配列される画素１の内部構成を図解している。同図に示すように、画素１は、受光部１０と、第１増幅部２０と、第２増幅部３０と、第１基億部４０−１から第ｋ記憶部４０−ｋまでのｋ個の記憶部と、負荷及び演算部５０と、バイアス部５５と、出力部６０とで構成される。
【００３６】
受光部１０は、入射光を電気信号に変換する光電変換部であり、一般にはフォト・ダイオード（ＰＤ）で構成される。受光部１０の動作は、受光部駆動信号１１により制御される。
【００３７】
第１増幅部２０は、受光部１０から転送されてくる電流信号を後続の第２増幅部３０で処理するのに適したレベルに変換するとともに、第１増幅部駆動信号２１によって規定される適切なタイミングで電流信号を出力する。
【００３８】
第２増幅部３０は、第１増幅部２０から転送されてくる電流信号を後続の各記憶部４０において記憶するのに適したレベルにまで増幅するとともに、第２増幅部駆動信号３１によって規定される適切なタイミングで電流信号を出力する。
【００３９】
第１記憶部４０−１〜第ｋ記憶部４０−ｋからなるｋ個の記憶部は、すべて第２増幅部３０の出力に接続されており、この増幅信号の電流を記憶部駆動信号４１によって規定される適切なタイミングで記憶保持する。１つの画素内に配設される記憶部の個数ｋは、後続の演算処理において必要な数によって決定される。
【００４０】
負荷部及び演算部５０は、第１記憶部４０−１〜第ｋ記憶部４０−ｋのすべての出力に接続されており、すべての又は一部の記憶部４０からの出力電流を電圧に変換するとともに、演算部駆動信号５１により規定される適切なタイミングで演算処理を行う。演算の内容は、撮像素子の機能によって異なるが、信号の和、信号の差、信号の比較などが一般的である。
【００４１】
バイアス部５５は、演算部５０における演算時に必要なノイズ除去のためのバイアス電流を、バイアス部駆動信号５６に応じて発生する。
【００４２】
出力部６０は、負荷部及び演算部５０による演算結果を撮像素子内の信号線に出力するのに適したレベルに変換し、出力部駆動信号６１により適切なタイミングで画素出力７０として出力する。
【００４３】
各部への駆動信号１１〜６１は、水平画素駆動信号群８１として撮像素子内を各画素１毎に敷設されている。垂直駆動回路８０は、これら駆動信号１１〜６１を発生して、水平に並ぶｍ個の画素行単位で駆動する。
【００４４】
また、各画素からの画素出力７０は、垂直信号線９１で各画素列毎に互いに接続されている。各垂直信号線９１−１，９１−２…は、水平出力部１００に接続され、撮像信号１０１として撮像素子の外部に取り出される。
【００４５】
なお、撮像素子内で水平に並ぶ画素数ｍが少ないときには、画素出力７０を適切にレベル変換してからそのままｍ本の並列出力として撮像素子の外部に取り出すように構成してもよい。
【００４６】
次いで、本実施例に係る画素１の具体的な回路構成について説明する。
【００４７】
図３には、受光部１０、第１増幅部２０、第２増幅部３０、並びに第１記憶部４０−１〜第ｋ記憶部４０−ｋに至るまでの回路構成を示している。
【００４８】
受光部１０は、フォト・ダイオード（ＰＤ）とリセット・トランジスタ（ＱＲ）、転送トランジスタ（ＱＸ）で構成されており、リセット・トランジスタ（ＱＲ）のゲート端子にはリセット・パルス（ＲＳＴ）が、転送トランジスタ（ＱＸ）のゲート端子には転送パルス（ＴＸ）が、それぞれ受光部駆動信号１１ａ及び１１ｂとして入力されている。
【００４９】
第１増幅部２０は、増幅トランジスタ（ＱＡ）と読出しトランジスタ（ＧＲ１）で構成される。読出しトランジスタ（ＧＲ１）のゲート端子には読出しパルス（ＲＤ）が第１増幅部駆動信号２１として入力されている。
【００５０】
第２増幅部３０は、ゲート電極同士が対向したミラー・トランジスタ（ＣＭ１）とミラー・トランジスタ（ＣＭ２）からなるカレント・ミラー回路と、読出しトランジスタ（ＧＲ２）で構成される。読出しトランジスタ（ＧＲ２）には、後続の記憶部４０への信号転送タイミングを規定する書き込みパルス（ＷＲ）が第２増幅部駆動信号３１として入力されている。
【００５１】
第１記憶部４０−１〜第ｋ記憶部４０−ｋの各記憶部はそれぞれ、メモリ・トランジスタ（Ｍ１〜Ｍｋ）と、メモリ・ゲート・トランジスタ（Ｇ１〜Ｇｋ）と、メモリ・スイッチ（ＳＷ１〜ＳＷｋ）とで構成される。各メモリ・スイッチ（ＳＷ１〜ＳＷｋ）には記憶パルス（ＣＫ１１〜ＣＫｋ１）が、また、各メモリ・ゲート・トランジスタ（Ｍ１〜Ｍｋ）には記憶パルス（ＣＫ１２〜ＣＫｋ２）が、それぞれの記憶部駆動信号４１ａ及び４１ｂとして入力されている。
【００５２】
そして、第２増幅部３０の出力信号、並びに、第１記憶部４０−１〜第ｋ記憶部４０−ｋの入出力信号は、共通の信号線で接続されている。以下、該信号線を通過する電流を共通信号ＩＭとする。
【００５３】
また、図４には、負荷部及び演算部５０、並びに出力部６０の回路構成を示している。
【００５４】
負荷部及び演算部５０は、負荷トランジスタ（ＱＬ）、インバータ（ＩＮＶ１）、インバータ（ＩＮＶ２）、キャパシタ（ＣＡＰ１）、キャパシタ（ＣＡＰ２）、インバータ・スイッチ（ＳＷＡ）、及び、インバータ・スイッチ（ＳＷＢ）で構成される。
【００５５】
インバータ・スイッチ（ＳＷＡ）のゲート端子にはインバータ・パルスＣＫＡが、インバータ・スイッチ（ＳＷＢ）のゲート端子にはインバータ・パルスＣＫＢが、それぞれ演算部駆動信号５１ａ及び５１ｂとして入力されている。
【００５６】
また、負荷トランジスタ（ＱＬ）のゲート端子には、その動作点を決定する負荷バイアス電圧（ＶＬ）が入力されている。
【００５７】
キャパシタ（ＣＡＰ１）とインバータ（ＩＮＶ１）、並びにインバータ・スイッチ（ＳＷＡ）によって、１つのチョッパ型比較器が構成される。同様に、キャパシタ（ＣＡＰ２）とインバータ（ＩＮＶ２）、並びにインバータ・スイッチ（ＳＷＢ）によって、１つのチョッパ型比較器が構成される。
【００５８】
出力部６０は、バッファ・アンプ（ＢＡ）と画素出力ゲート（ＰＴＸ）で構成される。画素出力ゲート（ＰＴＸ）のゲート端子には、出力部駆動信号６１として出力パルス（ＣＫＯ）が入力されている。画素出力ゲート（ＰＴＸ）の出力が画素１の画素出力（ＶＯ）となる。
【００５９】
続いて、ある１つの画素１内の動作特性について説明する。画素１の動作は、リセット期間、転送期間、記憶期間、演算フェーズ１、及び、演算フェース２の各フェーズに区分される。
【００６０】
［リセット期間］
まず、リセット・パルス（ＲＳＴ）を印加することによって、リセット・トランジスタ（ＱＲ）を付勢する。この結果、リセット・トランジスタ（ＱＲ）のドレイン側の電位、すなわち受光信号電位（ＶＡ）は、電源電圧によって定まるある特定の電位（仮にＶＲとする）に設定される。
【００６１】
［転送期間］
次いで、転送パルス（ＴＸ）を印加することによって転送トランジスタ（ＱＸ）を付勢する。この結果、蓄積期間内において受光部１０内のフォト・ダイオード（ＰＤ）で光電変換されて蓄積されていた信号電荷（電子）は、リセット・トランジスタ（ＱＲ）のドレイン側に転送されて、受光信号電位（ＶＡ）は、その信号電荷の数によって決まる電位となる。
【００６２】
［記憶期間］
受光信号電位（ＶＡ）は、第１増幅部２０の増幅トランジスタ（ＱＡ）のゲート電位となっている。したがって、読出しパルス（ＲＤ）を印加して読出しトランジスタ（ＧＲ１）を付勢することによって、受光信号電位（ＶＡ）に応じた信号電流が第２増幅部３０のミラー・トランジスタ（ＣＭ１）に流れ込む。
【００６３】
この結果、カレント・ミラーの原理により、他方のミラー・トランジスタ（ＣＭ２）には、ミラー・トランジスタ（ＣＭ１）とのサイズ比によって決まる大きさの電流を流すことができる。
【００６４】
ここで、書き込みパルス（ＷＲ）を印加して第２増幅部３０の読出しトランジスタ（ＧＲ２）を付勢する。これと同時に、例えば、記憶パルス（ＣＫ１２）を印加して、第１記憶部４０−１のメモリ・ゲート・トランジスタ（Ｇ１）を付勢するとともに、記憶パルス（ＣＫ１１）を印加して、第１記憶部４０−１のメモリ・スイッチ（ＳＷ１）を付勢することによって、先述のミラー・トランジスタ（ＣＭ２）を通過する電流をメモリ・トランジスタ（Ｍ１）に流すことができる。
【００６５】
さらに、メモリ・スイッチ（ＳＷ１）を先に減勢した後に、メモリ・ゲート・トランジスタ（Ｇ１）及びトランジスタ（ＧＲ２）をともに減勢することによって、メモリ・トランジスタ（Ｍ１）に流れ込んだ電流を記憶することができる。
【００６６】
このような記憶動作は、メモリ・トランジスタ（Ｍ１）のソース及びドレイン間に流れる電流値を決定するためのゲート電圧が、比較的小さなゲート容量に充電されることによって実現される（カレントコピアの原理）ので、キャパシタのような大きな容量を充電する必要がない。したがって、記憶動作そのものが短時間で完了することになり、その結果、画素１全体の動作時間をも短縮することができる。
【００６７】
上記では、受光信号電位（ＶＡ）によって決まる電流を第１記憶部４０−１のメモリ・トランジスタ（Ｍ１）に記憶させる場合について説明したが、他の記憶部４０−２，…，４０−ｋに記憶させる場合であっても、同様の動作で実現することができる。
【００６８】
したがって、別の期間に光電変換された信号を、他の記憶部４０のメモリ・トランジスタに記憶しておくことにより、後述する演算（信号間の比較など）を画素１内において実現することができる。
【００６９】
ここで、第１記憶部４０−１のメモリ・トランジスタ（Ｍ１）及び第２記憶部４０−２のメモリ・トランジスタ（Ｍ２）に、それぞれ異なる期間に光電変換された信号によって決まる電流が記憶されているものとする。そして、各トランジスタＭ１及びＭ２に記憶されている電流をそれぞれＩＭ１及びＩＭ２とおくことにする。
【００７０】
［演算フェーズ１］
まず、第１記憶部４０−１のメモリ・ゲート・トランジスタ（Ｇ１）を付勢することによって、メモリ・トランジスタ（Ｍ１）に記憶していた電流ＩＭ１を負荷トランジスタ（ＱＬ）に流す。そして、電流ＩＭ１の大きさと負荷バイアス電圧（ＶＬ）によって定まる電圧（仮にＶ１とする）がキャパシタ（ＣＡＰ１）の電極Ａ側に発生する。
【００７１】
但し、演算フェーズ１の期間のみ負荷バイアス電圧（ＶＬ）を印加して、それ以外の期間は０Ｖとすることによって、負荷トランジスタ（ＱＬ）に電流が流れ込むのを防止する。
【００７２】
このとき、インバータ（ＩＮＶ１）の入力と出力を短絡するようにインバータ・スイッチ（ＳＷＡ）を付勢することによって、キャパシタ（ＣＡＰ１）の電極Ｂ側にはインバータ（ＩＮＶ１）の動作点電圧（Ｖinv1）が現れ、この結果、キャパシタ（ＣＡＰ１）のＡ側とＢ側にはＶ１とＶinv1の差だけ電位差が生じることになる。
【００７３】
さらに、インバータ（ＩＮＶ２）の入力と出力を短絡するインバータ・スイッチ（ＳＷＢ）をインバータ・スイッチ（ＳＷＡ）と同時に付勢した後、インバータ・スイッチ（ＳＷＡ）を減勢するよりも少し後にインバータ・スイッチ（ＳＷＢ）を減勢するようにする。このとき、キャパシタ（ＣＡＰ２）のＣ側とＤ側には、それぞれインバータ（ＩＮＶ１）の出力電圧（Ｖo1）とインバータ（ＩＮＶ２）の動作点電圧（Ｖinv2）が印加されるので、両端にはその差だけ電位差が生じることになる。
【００７４】
ここで、インバータ・スイッチ（ＳＷＡ）を付勢状態から減勢するとき、インバータ（ＩＮＶ１）の入力側及び出力側の各電位は、電荷注入効果により短絡時の電位よりわずかに異なる電位に変動する可能性がある点に留意されたい。図４に示すような構成によれば、このような電位変動分をキャパシタ（ＣＡＰ２）で吸収することができる。
【００７５】
［演算フェーズ２］
続いて、第２記憶部４０−２のメモリ・ゲート・トランジスタ（Ｇ２）を付勢することによって、メモリ・トランジスタ（Ｍ２）に記憶していた電流ＩＭ２を負荷トランジスタ（ＱＬ）に流す。そして、電流ＩＭ２の大きさと負荷バイアス電圧（ＶＬ）によって定まる電圧（仮にＶ２とする）がキャパシタ（ＣＡＰ２）の電極Ａ側に発生する。
【００７６】
このとき、電圧Ｖ２がＶ１よりも大きい場合、インバータ（ＩＮＶ１）の入力容量が無視できるほど小さいと仮定したならば、キャパシタ（ＣＡＰ１）のＢ側の電位は、動作点電圧（Ｖinv1）よりＶ２−Ｖ１だけ上昇することになり、インバータ（ＩＮＶ１）の出力はロー・レベルとなる。
【００７７】
その結果、キャパシタ（ＣＡＰ２）の電極Ｄ側の電位は、動作点電位（Ｖinv2）よりも低くなり、インバータ（ＩＮＶ２）の出力はハイ・レベルとなる。
【００７８】
逆に、電圧Ｖ２がＶ１よりも小さい場合、キャパシタ（ＣＡＰ１）の電極Ｂ側の電位は、動作点電圧（Ｖinv1）よりＶ１−Ｖ２だけ下降することになり、インバータ（ＩＮＶ１）の出力はハイ・レベルとなる。
【００７９】
その結果、キャパシタ（ＣＡＰ２）の電極Ｄ側の電位は、動作点電位（Ｖinv2）よりも高くなり、インバータ（ＩＮＶ２）の出力はロー・レベルとなる。
【００８０】
すなわち、第１記憶部４０−１のメモリ・トランジスタ（Ｍ１）に記憶されていた電流ＩＭ１よりも、第２記憶部４０−２のメモリ・トランジスタ（Ｍ２）に記憶されていた電流ＩＭ２の方が大きければ、演算部５０の出力はハイ・レベルとなり、逆に、電流ＩＭ１の方が大きければ、演算部５０の出力はロー・レベルになることが分かる。
【００８１】
このようにして、演算部５０においては、各記憶部４０において記憶されている電流の大小比較、すなわち受光した光の強弱の比較判定が可能となる。
【００８２】
演算部５０の出力は、出力部６０のバッファ・アンプ（ＢＡ）によって適当なレベルにまで増幅される。そして、出力パルス（ＣＫＯ）の印加により画素出力ゲート（ＰＴＸ）が付勢されると、画素出力ＶＯとして出力されるようになっている。
【００８３】
上述した動作では、１画素分の演算結果が画素出力という形で得られる。したがって、［記憶期間］から［演算フェーズ２］までを、画素の個数だけ繰り返すことによって、垂直方向に並んだすべての画素１から画素出力を得ることができる。
【００８４】
図５には、撮像素子内の動作特性をタイミング・チャートの形式で示している。但し、同図では２画素分のクロックのみの記載にとどめている。
【００８５】
図５では、［リセット期間］及び［転送期間］はすべての画素で共通としているが、画素毎に相違していても同様に動作することができる。但し、後者の場合は、光電変換されるタイミングが画素毎に少しずつずれることになる。
【００８６】
上述した例では、記憶されている２つの信号電流を比較するが、本実施例に係る画素１の構成によれば、３以上の信号電流を比較することも可能である。
【００８７】
例えば、第１から第４までの４個の記憶部４０−１〜４０−４が配設されている場合、それぞれのメモリ・トランジスタＭ１〜Ｍ４には、各期間Ｉ，II，III，IVに受光し光電変換して取り出された各信号電流ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４がそれぞれ記憶されているとする。
【００８８】
負荷部及び演算部５０において、演算フェーズ１でメモリ・ゲート・トランジスタＧ１及びＧ２を同時に付勢して、信号電流ＩＭ１とＩＭ２を同時に負荷トランジスタ（ＱＬ）に流して、負荷電流Ｖ１を発生させる。
【００８９】
次いで、演算フェーズ２では、メモリ・ゲート・トランジスタＧ３及びＧ４を同時に付勢して、信号電流ＩＭ３とＩＭ４を同時に負荷トランジスタ（ＱＬ）に流して、負荷電流Ｖ２を発生させる。
【００９０】
そして、先述した動作原理に従い、Ｖ２がＶ１よりも大きければ演算部５０の出力はハイ・レベルとなり、逆に、Ｖ２がＶ１よりも小さければ演算部５０の出力はロー・レベルとなる。このようにして、複数の記憶部４０−１…に記憶された信号電流ＩＭ１…の和どうしを比較することができる。
【００９１】
図６には、複数の記憶部４０−１…に記憶された信号電流ＩＭ１…の和どうしを比較する場合の動作特性をタイミング・チャートの形式で示している。但し、同図に示す例では、１画素分の駆動クロックだけを図解している。
【００９２】
また、図７には、バイアス部５５の回路構成を示している。バイアス部５５は、負荷部及び演算部５０への入力信号ＩＭに対してノイズなどの影響を除去するためにオフセット電流を追加するように動作する。
【００９３】
同図に示すように、バイアス部５５は、バイアス負荷トランジスタ（ＢＱＬ）と、カレント・ミラー回路となるバイアス・トランジスタ（ＢＱ１）及びバイアス・トランジスタ（ＢＱ２）とで構成される。バイアス負荷トランジスタ（ＢＱＬ）のゲート端子には、その動作点を可変とすることができるオフセット・バイアス電圧（ＶＢ）が印加されている。また、バイアス・トランジスタ（ＢＱ２）の出力は、バイアス電流（ＩＢ）として取り出される。
【００９４】
図７に示す構成によれば、オフセット・バイアス電圧（ＶＢ）を外部から制御することができる。演算フェーズ１において、記憶部４０から取り出して演算部５０の負荷トランジスタ（ＱＬ）に流す信号電流に対しては、バイアス電流（ＩＢ）を加える。他方、演算フェーズ２において取り出す信号電流に対しては、バイアス電流（ＩＢ）を加えないようにする。この結果、演算部５０の出力が安定化する。
【００９５】
比較すべき２つの信号レベルがほとんど同じであり、しかも時間的にわずかながら変動していると、演算部５０の出力はロー・レベルとハイ・レベルの間を繰り返し変動して不安定になってしまう。このような状況を避けるため、上述のように、一方の演算フェーズ１で取り出す電流にバイアス電流を重畳して、他方の演算フェーズ２で取り出す電流よりも大きな電流として扱う。この結果、演算部出力をロー・レベル又はハイ・レベルのうち一方に保ち（この場合はロー・レベル）、演算部５０の出力を安定化することができる。
【００９６】
演算フェーズ２において取り出す電流が、そのバイアス電流分と演算フェーズ１で取り出した電流の和よりも大きければ、演算部５０の出力は初めてロー・レベルからハイ・レベルに転じることになる。
【００９７】
なお、オフセット・バイアス電圧（ＶＢ）を与えるか否かで、バイアス負荷トランジスタ（ＢＱＬ）に電流を流すか否かが決定され、その結果、カレント・ミラー効果によって、バイアス電流（ＩＢ）の値が決まる。しかし、この電流の値を正確に制御するには、オフセット・バイアス電圧（ＶＢ）を正確に制御しなければならず、困難な場合もある。特に、バイアス負荷トランジスタ（ＢＱＬ）の閾値電圧にばらつきがあり、画素毎に得られるバイアス電流（ＩＢ）が異なり、結果が区々になる可能性がある。
【００９８】
そこで、オフセット・バイアス電圧（ＶＢ）の絶対値ではなく、その電位差によってバイアス電流（ＩＢ）の大きさを相対的に変えることによって、同様に演算部５０の出力の安定化を図る方が実用的である。
【００９９】
まず、演算フェーズ１でオフセット・バイアス電圧ＶＢ１をバイアス負荷トランジスタ（ＢＱＬ）に与え、このとき流れるバイアス電流をＩＢ２とする。次いで、演算フェーズ２でオフセット・バイアス電圧をＶＢ２としたときのバイアス電流をＩＢ２とする。このとき、バイアス負荷トランジスタ（ＢＱＬ）の閾値電圧が相違すると、ＩＢ１とＩＢ２の絶対値は大きく変化する可能性があるが、その差ＩＢ１−ＩＢ２を小さく抑えることができる。この結果として、演算フェーズ１と演算フェーズ２でバイアスとして与える電流差が安定する。
【０１００】
さらに、カレント・ミラー効果を考慮すると、バイアス・トランジスタ（ＢＱ１）に流れる電流、すなわちバイアス負荷トランジスタ（ＢＱＬ）に流れる電流よりも、バイアス・トランジスタ（ＢＱ２）に流れる電流を小さくするようにトランジスタのサイズを決めておけば、閾値電圧の変動の影響を小さくすることができる。
【０１０１】
以下では、本発明に係る画素１によれば、記憶部４０の構成要素であるメモリ・トランジスタＭ１〜Ｍｋの特性ばらつき、すなわち閾値電圧のばらつきを抑制することができることを、図３を参照しながら説明する。
【０１０２】
まず、第１増幅部２０の増幅トランジスタ（ＱＡ）のゲート電圧ＶＡが一定という状況下で考察する。
【０１０３】
このようなとき、読出しパルス（ＲＤ）を印加して読出しトランジスタ（ＧＲ１）を付勢すると、カレント・ミラーを構成するミラー・トランジスタ（ＣＭ１）には、ある一定の電流が流れる。
【０１０４】
また、カレント・ミラーを構成する他方のミラー・トランジスタ（ＣＭ２）には、飽和領域で動作する限りにおいては、トランジスタＣＭ１とのサイズ比で決まる一定の電流が流れる。この一定電流を仮にＩＭＡとおく。
【０１０５】
ここで、読出しトランジスタ（ＧＲ２）とメモリ・ゲート・トランジスタ（Ｇ１）、並びに、メモリ・スイッチ（ＳＷ１）を同時に付勢することによって、メモリ・トランジスタ（Ｍ１）には、ＩＭＡが流れることになる。
【０１０６】
このときのメモリ・トランジスタ（Ｍ１）の閾値電圧をＶth−１、ゲート電位（＝ドレイン電位）をＶG−１、メモリ・ゲート・トランジスタ（Ｇ１）と読出しトランジスタ（ＧＲ２）間の共通信号電位をＶM−１とする。
【０１０７】
また、上述した動作をメモリ・トランジスタ（Ｍ１）ではなく、メモリ・トランジスタ（Ｍ２）に対して適用した場合であっても、同様に、メモリ・トランジスタ（Ｍ２）には電流ＩＭＡが流れる。このとき、メモリ・トランジスタ（Ｍ２）の閾値電圧をＶth−２、ゲート電位（＝ドレイン電位）をＶG−２、メモリ・ゲート・トランジスタ（Ｇ２）と読出しトランジスタ（ＧＲ２）間の共通信号電位をＶM−２とする。
【０１０８】
メモリ・トランジスタ（Ｍ１）とメモリ・トランジスタ（Ｍ２）のサイズがまったく同じであり、閾値電圧も同じ（Ｖth−１＝Ｖth−２）であるならば、同じ電流ＩＭＡを流す以上、ＶG−１＝ＶG−２、ＶM−１＝ＶM−２である。
【０１０９】
ところが、トランジスタ・サイズが同じであっても、製造プロセス上のばらつき（又はその他の原因）により、閾値電圧が異なり、Ｖth−２＝Ｖth−１＋ΔＶthとなった場合、同じ電流ＩＭＡを流すためには、メモリ・トランジスタのゲート電位はＶG−２に対してΔＶGだけ変動し、また、共通信号電位はＶM−２に対してΔＶMだけ変動する必要があるものとする。
【０１１０】
このような電位変動が、第２増幅部３０のカレント・ミラー回路において、ミラー・トランジスタ（ＣＭ２）のドレイン側電位に影響を及ぼし、飽和領域で動作しなくなれば、本来得られるはずの電流ＩＭＡが流れなくなってしまう。
【０１１１】
そこで、メモリ・トランジスタ、メモリ・ゲート・トランジスタ、読出しトランジスタ、及びミラー・トランジスタのそれぞれのサイズを適切に選ぶことによって、動作点のマージンを持たせ、ミラー・トランジスタ（ＣＭ２）が常に飽和状態で動作するように設計しておけば、閾値電圧のばらつきによってΔＶGやΔＶMという電位変動が生じても、信号電流ＩＭＡは変化することなく記憶される。
【０１１２】
図８には、図１に示した撮像素子構造、並びに、図２に示した画素構造の変形例を示している。
【０１１３】
図５及び図６に示したタイミング・チャートからも分かるように、垂直方向に並設されたｎ個の画素は、リセットと転送動作を同時に行うことはあっても、記憶動作や演算動作については時間的にずらして行うことができる。したがって、記憶のための信号電流を発生させる第２増幅部３０と、記憶部４０からの信号を処理する負荷部及び演算部５０と、出力部６０、及びバイアス部５６は、１つの画素毎に専用のものを配設するは必ずしも必要ではなく、複数の画素間でこれらを共有することができる。
【０１１４】
また、画素内のこれらの構成要素をすべて各画素毎に配置すると、画素数の増加に伴って製造上のボトルネックとなる可能性もあるので、画素外に配置することが好ましいと考えられる。
【０１１５】
図８に示す画素構造では、垂直方向に並設された画素１−１〜画素１−ｎのそれぞれの内部には、受光部と第１増幅部２０のみが配置されている。第２増幅部３０は、画素１−１〜画素１−ｎの出力に対して１つだけ配設されている。すなわちこれら同一の画素列にある複数の画素間で共有されている。
【０１１６】
また、画素外記憶部２−１〜画素外記憶部２−ｎの各々は、画素１−１〜画素１−ｎのそれぞれに対応している。さらに、各記憶部２−１…の内部には、第１記憶部４０−１〜第ｋ記憶部４０−ｋが配設されている。
【０１１７】
一方、負荷部及び演算部５０や出力部６０は、画素外記憶部２−１〜画素外記憶部２−ｎに対して共通となっている。したがって、バイアス部５５を撮像素子内に設ける場合であっても、負荷部及び演算部５０に対して１つだけ用意すればよい。
【０１１８】
図９には、図１に示した撮像素子構造、並びに、図２に示した画素構造の他の変形例を示している。図８では撮像素子上で垂直方向に並設されたｎ個の画素と演算処理部を示しているか、図９に示す例では、かかる回路構成を水平方向に繰り返すことによって、マトリックス状の画素配列となっている。
【０１１９】
すなわち、図９に示す例では、撮像素子は、水平方向にｍ個、垂直方向にｎ個の画素がマトリックス状に配設された画素エリアの下方に、水平方向にｍ個の第２演算部３０が配設される。さらに、水平方向にｍ個、垂直方向にｎ個の画素外記憶部がマトリックス状に配設された画素外記憶領域と、負荷部及び演算部５０と出力部６０とからなるエリア、水平出力部１００が続く。
【０１２０】
図１に示した例と同様に、垂直駆動回路８０からは、水平方向に並設されたｍ個の画素に対して、受光部駆動信号１１並びに第１増幅部駆動信号２１が供給されている。また、第２増幅部３０には、第２増幅部駆動信号３１が供給されている。また、画素外記憶部２には記憶部駆動信号４１が供給されている。また、負荷部及び演算部５０には演算部駆動信号５１が、出力部６０には出力部駆動信号６１が、それぞれ供給されている。
【０１２１】
また、垂直方向に並設されたｎ個の画素１−１より画素１−ｎの出力は、垂直画素信号線９２によって互いに接続され、該信号線が第２増幅部３０への入力となる。そして、第２増幅部３０の出力は、垂直記憶部信号線９３によって、垂直方向に並設されたｎ個の画素外記憶部２−１〜２−ｎのすべて、及び、負荷部及び演算部５０の入力へと接続されている。
【０１２２】
図９に示す撮像素子内における、受光部１０、第１増幅部２０、第２増幅部３０、記憶部４０、負荷部及び演算部５０、バイアス部５５、出力部６０の各々の回路構成及び動作特性は、図３、図４、並びに図５の各々に示した該当部分と略同一でよい。
【０１２３】
また、撮像素子全体の動作も、図１に示した回路構成の場合とほとんど同一である。但し、垂直に並設されたｎ個の画素に共通の第２増幅部３０、負荷部及び演算部５０、出力部６０それぞれの駆動信号が独立ではなく共通となる点で、図１に示した例とは相違する。
【０１２４】
図１１には、図９に示した撮像素子内の動作特性をタイミング・チャートで示している。図５に示したタイミング・チャートとの相違は、第２増幅部３０内の読出しトランジスタ（ＧＲ２）を駆動する書き込みパルス（ＷＲ）、負荷部及び演算部５０内のインバータ・スイッチ（ＳＷＡ）及びインバータ・スイッチ（ＳＷＢ）を駆動するインバータ・パルス（ＣＫＡ）及びインバータ・パルス（ＣＫＢ）、並びに、出力部６０の出力パルス（ＣＫＯ）が、垂直方向に並設されたｎ個の画素間で共通するという点である。
【０１２５】
最後に、本実施例に係る撮像素子の適用例について説明しておく。
【０１２６】
図１２は、被写体までの距離を計測するアクティブ型距離計測システムの構成を模式的に示している（アクティブ型の距離計測原理については、例えば「三次元画像計測」（井口、佐藤共著、昭晃堂）に記載されている）。図示の例では、被写体は、該計測システムに対向する平面と、この平面の前方から突設された略半円柱で構成される。
【０１２７】
半導体レーザ（若しくは発光ダイオード）から照射されたスリット状のレーザ光は、回転ミラーによって反射されて、被写体に向かう。レーザ光の照射と同期的に回転ミラーを回転させることによって、レーザ光を紙面左右方向に走査させることができる。そして、カメラは、スリット状のレーザ光が平面及び半円柱上を照射する様子を時々刻々撮像することができる。該距離計測システムのカメラに対して本発明に係る撮像素子（図１又は図９を参照のこと）を適用することができる。
【０１２８】
また、図１３には、図１２に示した距離計測システムを上方から眺望した様子を示している。
【０１２９】
カメラは、微細画素のような所定の受光単位が２次元マトリックス状に配列され、且つ、各画素毎に受光強度を検出することができるタイプの撮像素子で構成され、被写体からの反射光をレンズで集光して撮像するとともに、その受光位置を特定することができるものとする。
【０１３０】
撮像素子上のある1つの画素Ｐは、レンズを介してΘPで表される視線方向のみを常に観測している。
【０１３１】
また、レーザ光を走査するための回転ミラーは、レンズの光軸から距離Ｂだけ離間した位置にその回転中心軸を有する。そして、時刻ゼロから回転を開始して、スリット状のレーザ光を紙面右から左に向かって被写体表面上を走査するようになっている。
【０１３２】
画素Ｐは視線方向ΘPのみを観測している。したがって、被写体が図１３の位置Ｉにあるときには、回転ミラーが回転して、レーザの照射角度がΘIになったときにのみ、被写体表面上からの反射光を受光することができる。同様に、被写体が同図の位置IIにあるときには、回転ミラーが回転して、レーザの照射角度がΘIIになったときにのみ、被写体表面上からの反射光を受光することができる。
【０１３３】
このような場合、三角測量などの幾何学的な計算により、距離計測システムと被写体との距離ＬI及びＬIIは、以下の式で表すことができる。
【０１３４】
【数１】
【０１３５】
言い換えれば、画素Ｐが受光したときのレーザ光の各照射方向ΘI及びΘIIによって、被写体までの距離ＬI及びＬIIを一意に求めることができる。
【０１３６】
ここで、照射角度ΘI及びΘＩＩはいずれも、回転ミラーが回転を開始してからの経過時間ｔの関数として表現することができる。したがって、被写体までの距離ＬI及びＬIIも、時間ｔの関数として表すことが可能である。
【０１３７】
撮像素子が受光する光強度の時間的な変化と該強度変化を撮像素子上で演算した結果を図１４に例示している。
【０１３８】
同図に示す例では、時刻ＴIにおいて演算結果の符号がマイナスからプラスに転じている。かかる符号の転換点に基づいて光強度がピークを迎えた時刻を検出することができる（但し、図１４に示す例では、撮像素子は受光量すなわち光強度に応じて電流量が減じる出力特性を持つものとする）。ピークを迎えた時刻が判れば、上述したように、被写体までの距離を特定することができる。
【０１３９】
図１４に示す例では、演算間隔すなわち撮像素子のサンプリング周期はΔＴである。ΔＴを細かくすることにより距離計測の分解能を向上させることができる。
【０１４０】
ここで、図１２〜図１４を参照しながら説明した処理を、従来の撮像素子を用いて行った場合について考察してみる。
【０１４１】
演算間隔ΔＴはビデオ・レートに相当し、３０Ｈｚ又は６０Ｈｚ程度である。したがって、被写体に動きがある場合には、その距離を正確に把握することは極めて難しい。
【０１４２】
しかも、仮に被写体が静止していたとしても、被写体表面全体の距離を求めるためには、レーザを３０Ｈｚ又は６０Ｈｚの撮像タイミング毎に少しずつ走査する必要があるため、測定には非常に長い時間を要する。
【０１４３】
さらに、撮像した映像を基にレーザが映っている位置を画像処理で特定するための時間も無視し難い。
【０１４４】
これに対し、本実施例に係る撮像素子を適用した場合には、演算間隔を劇的に短縮することが可能である。したがって、動きのある被写体であっても、正確に距離を測定することができる。
【０１４５】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４６】
【発明の効果】
以上詳記したように、本発明によれば、画像フレーム間の差分を求めることで被写体の明るさの時間的変化を求めることができる、優れた画像処理装置及び画像処理方法を提供することができる。
【０１４７】
また、本発明によれば、撮像素子による撮像データを保持する記憶部を撮像素子と同一回路上に備えることで演算処理を高速化した、優れた画像処理装置及び画像処理方法を提供することができる。
【０１４８】
また、本発明によれば、被写体の明るさの時間的変化が小さい状況下であっても記憶部の特性ばらつきを低く抑えて正確な演算出力を得ることができる、優れた画像処理装置及び画像処理方法を提供することができる。
【０１４９】
本発明に係る画像処理装置の構成によれば、記憶部が撮像素子と同一回路上に実装されるので、処理が高速化される。また、バイアス部が各記憶部から出力される演算前の電流信号にオフセット電流を付加することによって、記憶部における特性ばらつきの影響を抑止して、演算部の出力を安定化させることができる。
【０１５０】
例えば、本発明に係る画像処理装置を画素として用い、各画素を同一回路上にマトリックス状に配列することで、演算機能付きの撮像素子を構成することができる。かかる撮像素子によれば、被写体の明るさの時間的な変化を高速に演算することができる。
【図面の簡単な説明】
【図１】本発明の実施に供される撮像素子の回路構成を模式的に示した図である。
【図２】本実施例に係る撮像素子に組み込まれた画素の内部構成を示した図である。
【図３】受光部１０、第１増幅部２０、第２増幅部３０、並びに第１記憶部４０−１〜第ｋ記憶部４０−ｋに至るまでの回路構成を示した図である。
【図４】負荷部及び演算部５０、並びに出力部６０の回路構成を示した図である。
【図５】図１に示した撮像素子内の動作特性を示したタイミング・チャートである。
【図６】複数の記憶部４０−１…に記憶された信号電流ＩＭ１…の和どうしを比較する場合の動作特性を示したタイミング・チャートである。
【図７】バイアス部５５の回路構成例を示した図である。
【図８】図１に示した撮像素子構造、並びに、図２に示した画素構造の変形例を示した図である。
【図９】図１に示した撮像素子構造、並びに、図２に示した画素構造の他の変形例を示した図である。
【図１０】ＣＣＤを撮像素子とする場合における、撮像画像の蓄積及び読み出し時のタイミング・チャートを示した図である。
【図１１】図９に示した撮像素子内の動作特性を示したタイミング・チャートである。
【図１２】本実施例に係る撮像素子を適用したアクティブ型距離計測システムの構成を模式的に示した図である。
【図１３】図１２に示した距離計測システムを上方から眺望した様子を示した図である。
【図１４】撮像素子が受光する光強度の時間的な変化と該強度変化を撮像素子上で演算した結果を示した図である。
【符号の説明】
１…画素
１０…受光部
２０…第１増幅部
３０…第２増幅部
４０…記憶部
５０…負荷部及び演算部
５５…バイアス部
６０…出力部
８０…垂直駆動回路
１００…水平出力部
【発明の属する技術分野】
本発明は、撮像素子による撮像画像を処理する画像処理装置に係り、特に、画像フレーム間の差分を求めることで被写体の明るさの時間的変化を求める画像処理装置に関する。
【０００２】
更に詳しくは、本発明は、撮像素子による撮像データを保持する記憶部を撮像素子と同一回路上に備えることで演算処理を高速化した画像処理装置に係り、特に、被写体の明るさの時間的変化が小さい状況下であっても記憶部の特性ばらつきを低く抑えて正確な演算出力を得ることができる画像処理装置に関する。
【０００３】
【従来の技術】
例えば１フレーム目で撮像した被写体画像と２フレーム目で撮像した被写体画像を求めることで、被写体の明るさの時間的変化を求めることができる。
【０００４】
従来、画像の差分を求めるためには、ＣＣＤ（Charge Coupled Device：電荷結合素子）のような撮像素子を組み込んだカメラと複数のフレーム・メモリと演算装置とを用意して接続していた。すなわち、カメラから出力される１フレーム目の画像データをフレーム・メモリに一旦蓄積した後、次いで撮影された２フレーム目の画像データを別のフレーム・メモリに蓄積する。そして、各フレーム・メモリに記憶された内容すなわち画素データを演算装置が同期的に読み出して、対応する画素同士の差分を演算していた。
【０００５】
しかしながら、カメラからフレーム・メモリへの転送は、通常、シリアル方式で行われるので、１画面分の転送時間は無視できるほど短くはない。例えばＣＣＤを撮像素子として用いたＮＴＳＣ（National Television System Committee）方式のカメラでは、１フレームの撮像期間中に、前のフレームの画像を読み出す構成なので、１フレーム分の読み出し転送が完了するには３３ｍｓｅｃという時間を要する。したがって、画素間の差分を求めるためには、撮像を開始してから演算結果が得られるのは、最短でも３３ｍｓｅｃ以降となる。
【０００６】
図１０には、ＣＣＤを撮像素子とする場合における、撮像画像の蓄積及び読み出し時のタイミング・チャートを示している。同図に示すように、奇数フィールド及び偶数フィールドともに、３３ｍｓｅｃの蓄積期間を要する。図示のように、２フレーム目の読み出し期間が過ぎた以降でなければ、演算結果を得ることができない。
【０００７】
したがって、ＣＣＤ撮像素子からなるカメラを用いた従来の撮像システムは、ビジュアル・フィードバックのような視覚情報を用いた制御システムには適用することが困難である。
【０００８】
一方、ＣＭＯＳイメージ・センサの中には、フレーム・レートを１ｋＨｚ程度まで上げて、非常に高速に撮影しながら逐次演算処理を行い、ビジュアル・フィードバックを実現するものも試作されている。しかしながら、このタイプのセンサの場合、内部処理をデジタルで行うため、アナログ値をデジタル値に変換するＡＤ変換回路、デジタル値を記憶する記憶回路、デジタル値を演算する演算回路などの各回路素子を実装する必要がある。これら回路モジュールはいずれも回路規模が大きいので、多画素化には不向きであり、実用化が困難である（例えば小室外著「汎用プロセッシングエレメントを用いた超並列・超高速ビジョンチップの設計」（電子情報通信学会誌、Ｖｏｌ．Ｊ８１−Ｄ−Ｉ、Ｎｏ．２、ｐｐ．７０−７６、１９９８年）を参照のこと）。
【０００９】
また、アナログ信号のまま演算を実行するＣＭＯＳイメージ・センサに関しても報告されている。但し、これらはいずれもメモリ機能はキャパシタに信号電圧を記憶するという動作で実現するものであるため、キャパシタの構成方法によっては１つの画素が肥大化してしまうという問題点がある。仮に、メモリ部を画素以外の領域に実装して、画素数を増大することができたとしても、チップ全体の小型化に適しているとは言い難い。
【００１０】
しかも、キャパシタに信号電圧を記憶する場合、異なるキャパシタの信号電圧を異なるトランジスタのゲート電位として読み出すと、トランジスタ毎の閾値電圧にばらつきがあるために、同じ信号でも異なる値として読み出される危険性は避けられず、演算結果の誤差を招来するという問題点もある。また、キャパシタに信号電圧を記憶する場合、充電時間を無視することができないので、高速処理には向いていない。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、画像フレーム間の差分を求めることで被写体の明るさの時間的変化を求めることができる、優れた画像処理装置を提供することにある。
【００１２】
本発明の更なる目的は、撮像素子による撮像データを保持する記憶部を撮像素子と同一回路上に備えることで演算処理を高速化した、優れた画像処理装置を提供することにある。
【００１３】
本発明の更なる目的は、被写体の明るさの時間的変化が小さい状況下であっても記憶部の特性ばらつきを低く抑えて正確な演算出力を得ることができる、優れた画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、受光した光強度に応じた電気信号を発生する受光部と、
前記受光部の出力信号を増幅する増幅部と、
前記増幅部において増幅された電気信号を電流信号として記憶する複数の記憶部と、
前記記憶部からの電流出力を電圧に変換する負荷部と、
前記負荷部への入力に対してオフセット電流を与えるバイアス部と、
前記負荷部の出力信号を演算する演算部と、
前記演算部における演算結果を外部に出力する出力部と、
を具備することを特徴とする画像処理装置である。
【００１５】
本発明の第１の側面に係る画像処理装置において、前記複数の記憶部の各々は異なる期間に受光した信号に基づく電流信号を記憶することができる。このような場合、前記演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことができる。
【００１６】
また、前記増幅部は、ゲート電極同士を対向して接続した２個のミラー・トランジスタを含んでもよい。このような場合、増幅部は、カレント・ミラーの原理に基づき、各ミラー・トランジスタのサイズ比に応じて電流信号を増幅させることができる。
【００１７】
また、前記記憶部は、カレントコピアの原理に従って電流信号を記憶するようにしてもよい。
【００１８】
また、前記演算部が２つの記憶部からの信号電流を比較する場合には、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないようにしてもよい。この結果、各記憶部間の特性ばらつきによる演算部出力への影響を抑制することができる。
【００１９】
また、本発明の第２の側面は、複数の画素が同一回路上にマトリックス状に配列されてなる、被写体の明るさを検出する撮像素子であって、前記画素の各々は、
受光した光強度に応じた電気信号を発生する受光部と、
前記受光部の出力信号を増幅する増幅部と、
前記増幅部において増幅された電気信号を電流信号として記憶する複数の記憶部と、
前記記憶部からの電流出力を電圧に変換する負荷部と、
前記負荷部への入力に対してオフセット電流を与えるバイアス部と、
前記負荷部の出力信号を演算する演算部と、
前記演算部における演算結果を出力する出力部と、
を具備することを特徴とする撮像素子である。
【００２０】
本発明の第２の側面に係る撮像素子において、各画素毎に設けられた複数の記憶部の各々は、異なる期間に受光した信号に基づく電流信号を記憶することができる。このような場合、各画素内における演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことができる。
【００２１】
また、各画素内の増幅部は、ゲート電極同士を対向して接続したミラー・トランジスタを含んでもよい。このような場合、増幅部は、カレント・ミラーの原理に基づき、各ミラー・トランジスタのサイズ比に応じて電流信号を増幅させることができる。
【００２２】
また、画素内の各記憶部は、前記記憶部は、カレントコピアの原理に従って電流信号を記憶するようにしてもよい。
【００２３】
また、前記演算部が２つの記憶部からの信号電流を比較する場合には、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないようにしてもよい。この結果、各記憶部間の特性ばらつきによる演算部出力への影響を抑制することができる。
【００２４】
また、本発明の第３の側面は、被写体の明るさを検出する撮像素子であって、
受光した光強度に応じた電気信号を発生する受光部と前記受光部の出力信号を増幅する増幅部からなる画素がマトリックス状に配列された画素エリアと、
ゲート電極同士を対向して接続したミラー・トランジスタによりカレント・ミラーの原理に従い電流信号を増幅する第２増幅部が前記画素エリアの各画素列毎に配列さた第２増幅部エリアと、
前記画素の増幅された電気信号を電流信号として記憶する複数の記憶部が前記画素エリアの各画素の配列に対応したマトリックス状に配列された画素外記憶エリアと、
前記記憶部からの電流出力を電圧に変換して演算処理する負荷部及び演算部が前記画素エリアの各画素列毎に配列された負荷部及び演算部エリアと、
前記演算部における演算結果を出力する出力部が前記画素エリアの各画素列毎に配列された出力部エリアとを備え、
前記画素エリアと、第２増幅部エリアと、前記画素外記憶エリアと、前記負荷部及び演算部エリアと、出力部エリアが同一回路上に実装されていることを特徴とする撮像素子である。
【００２５】
本発明の第３の側面に係る撮像素子において、前記複数の記憶部の各々は、異なる期間に受光した信号に基づく電流信号を記憶するようにしてもよい。このような場合、前記演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことができる。
【００２６】
また、撮像素子は、さらに、対応する記憶部からの出力電流にオフセット電流を付加するバイアス部を備えることができる。このような構成によれば、前期演算部が２つの記憶部からの信号電流を比較する場合において、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないようにすることで、各記憶部間の特性ばらつきによる演算部出力への影響を抑制することができる。
【００２７】
また、画素内の各記憶部は、前記記憶部は、カレントコピアの原理に従って電流信号を記憶するようにしてもよい。
【００２８】
【作用】
本発明に係る画像処理装置は、受光強度に応じた電気信号を発生する受光部と、受光信号を増幅する増幅部と、増幅信号を電流信号として記憶する複数の記憶部と、各記憶部の電流出力を電圧に変換する負荷部と、負荷部への入力にオフセット電流を与えるバイアス部と、負荷部の出力を演算する演算部を備えた画像処理装置である。
【００２９】
本発明に係る画像処理装置の構成によれば、記憶部が撮像素子と同一回路上に実装されるので、処理が高速化される。また、バイアス部が各記憶部から出力される演算前の電流信号にオフセット電流を付加することによって、記憶部における特性ばらつきの影響を抑止して、演算部の出力を安定化させることができる。
【００３０】
例えば、本発明に係る画像処理装置を画素として用い、各画素を同一回路上にマトリックス状に配列することで、演算機能付きの撮像素子を構成することができる。かかる撮像素子によれば、被写体の明るさの時間的な変化を高速に演算することができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００３３】
図１には、本発明の実施に供される撮像素子の回路構成を模式的に示している。同図に示すように、撮像素子は、ｍ×ｎ個の画素１がマトリックス状に配列され、各行毎に水平画素駆動信号群８１−１，８１−２，…，８１−ｎが敷設されるとともに、各列毎に垂直信号線９１−１，９１−２，…，９１−ｍが敷設されている。
【００３４】
水平画素駆動信号群８１は、画素内の各部（後述）の同期駆動を規定する信号を含み、垂直駆動回路８０から出力されている。また、垂直信号線９１は、各画素の撮像信号を出力するための信号線であり、水平出力部１００に向かって走っている。
【００３５】
図２には、撮像素子内に配列される画素１の内部構成を図解している。同図に示すように、画素１は、受光部１０と、第１増幅部２０と、第２増幅部３０と、第１基億部４０−１から第ｋ記憶部４０−ｋまでのｋ個の記憶部と、負荷及び演算部５０と、バイアス部５５と、出力部６０とで構成される。
【００３６】
受光部１０は、入射光を電気信号に変換する光電変換部であり、一般にはフォト・ダイオード（ＰＤ）で構成される。受光部１０の動作は、受光部駆動信号１１により制御される。
【００３７】
第１増幅部２０は、受光部１０から転送されてくる電流信号を後続の第２増幅部３０で処理するのに適したレベルに変換するとともに、第１増幅部駆動信号２１によって規定される適切なタイミングで電流信号を出力する。
【００３８】
第２増幅部３０は、第１増幅部２０から転送されてくる電流信号を後続の各記憶部４０において記憶するのに適したレベルにまで増幅するとともに、第２増幅部駆動信号３１によって規定される適切なタイミングで電流信号を出力する。
【００３９】
第１記憶部４０−１〜第ｋ記憶部４０−ｋからなるｋ個の記憶部は、すべて第２増幅部３０の出力に接続されており、この増幅信号の電流を記憶部駆動信号４１によって規定される適切なタイミングで記憶保持する。１つの画素内に配設される記憶部の個数ｋは、後続の演算処理において必要な数によって決定される。
【００４０】
負荷部及び演算部５０は、第１記憶部４０−１〜第ｋ記憶部４０−ｋのすべての出力に接続されており、すべての又は一部の記憶部４０からの出力電流を電圧に変換するとともに、演算部駆動信号５１により規定される適切なタイミングで演算処理を行う。演算の内容は、撮像素子の機能によって異なるが、信号の和、信号の差、信号の比較などが一般的である。
【００４１】
バイアス部５５は、演算部５０における演算時に必要なノイズ除去のためのバイアス電流を、バイアス部駆動信号５６に応じて発生する。
【００４２】
出力部６０は、負荷部及び演算部５０による演算結果を撮像素子内の信号線に出力するのに適したレベルに変換し、出力部駆動信号６１により適切なタイミングで画素出力７０として出力する。
【００４３】
各部への駆動信号１１〜６１は、水平画素駆動信号群８１として撮像素子内を各画素１毎に敷設されている。垂直駆動回路８０は、これら駆動信号１１〜６１を発生して、水平に並ぶｍ個の画素行単位で駆動する。
【００４４】
また、各画素からの画素出力７０は、垂直信号線９１で各画素列毎に互いに接続されている。各垂直信号線９１−１，９１−２…は、水平出力部１００に接続され、撮像信号１０１として撮像素子の外部に取り出される。
【００４５】
なお、撮像素子内で水平に並ぶ画素数ｍが少ないときには、画素出力７０を適切にレベル変換してからそのままｍ本の並列出力として撮像素子の外部に取り出すように構成してもよい。
【００４６】
次いで、本実施例に係る画素１の具体的な回路構成について説明する。
【００４７】
図３には、受光部１０、第１増幅部２０、第２増幅部３０、並びに第１記憶部４０−１〜第ｋ記憶部４０−ｋに至るまでの回路構成を示している。
【００４８】
受光部１０は、フォト・ダイオード（ＰＤ）とリセット・トランジスタ（ＱＲ）、転送トランジスタ（ＱＸ）で構成されており、リセット・トランジスタ（ＱＲ）のゲート端子にはリセット・パルス（ＲＳＴ）が、転送トランジスタ（ＱＸ）のゲート端子には転送パルス（ＴＸ）が、それぞれ受光部駆動信号１１ａ及び１１ｂとして入力されている。
【００４９】
第１増幅部２０は、増幅トランジスタ（ＱＡ）と読出しトランジスタ（ＧＲ１）で構成される。読出しトランジスタ（ＧＲ１）のゲート端子には読出しパルス（ＲＤ）が第１増幅部駆動信号２１として入力されている。
【００５０】
第２増幅部３０は、ゲート電極同士が対向したミラー・トランジスタ（ＣＭ１）とミラー・トランジスタ（ＣＭ２）からなるカレント・ミラー回路と、読出しトランジスタ（ＧＲ２）で構成される。読出しトランジスタ（ＧＲ２）には、後続の記憶部４０への信号転送タイミングを規定する書き込みパルス（ＷＲ）が第２増幅部駆動信号３１として入力されている。
【００５１】
第１記憶部４０−１〜第ｋ記憶部４０−ｋの各記憶部はそれぞれ、メモリ・トランジスタ（Ｍ１〜Ｍｋ）と、メモリ・ゲート・トランジスタ（Ｇ１〜Ｇｋ）と、メモリ・スイッチ（ＳＷ１〜ＳＷｋ）とで構成される。各メモリ・スイッチ（ＳＷ１〜ＳＷｋ）には記憶パルス（ＣＫ１１〜ＣＫｋ１）が、また、各メモリ・ゲート・トランジスタ（Ｍ１〜Ｍｋ）には記憶パルス（ＣＫ１２〜ＣＫｋ２）が、それぞれの記憶部駆動信号４１ａ及び４１ｂとして入力されている。
【００５２】
そして、第２増幅部３０の出力信号、並びに、第１記憶部４０−１〜第ｋ記憶部４０−ｋの入出力信号は、共通の信号線で接続されている。以下、該信号線を通過する電流を共通信号ＩＭとする。
【００５３】
また、図４には、負荷部及び演算部５０、並びに出力部６０の回路構成を示している。
【００５４】
負荷部及び演算部５０は、負荷トランジスタ（ＱＬ）、インバータ（ＩＮＶ１）、インバータ（ＩＮＶ２）、キャパシタ（ＣＡＰ１）、キャパシタ（ＣＡＰ２）、インバータ・スイッチ（ＳＷＡ）、及び、インバータ・スイッチ（ＳＷＢ）で構成される。
【００５５】
インバータ・スイッチ（ＳＷＡ）のゲート端子にはインバータ・パルスＣＫＡが、インバータ・スイッチ（ＳＷＢ）のゲート端子にはインバータ・パルスＣＫＢが、それぞれ演算部駆動信号５１ａ及び５１ｂとして入力されている。
【００５６】
また、負荷トランジスタ（ＱＬ）のゲート端子には、その動作点を決定する負荷バイアス電圧（ＶＬ）が入力されている。
【００５７】
キャパシタ（ＣＡＰ１）とインバータ（ＩＮＶ１）、並びにインバータ・スイッチ（ＳＷＡ）によって、１つのチョッパ型比較器が構成される。同様に、キャパシタ（ＣＡＰ２）とインバータ（ＩＮＶ２）、並びにインバータ・スイッチ（ＳＷＢ）によって、１つのチョッパ型比較器が構成される。
【００５８】
出力部６０は、バッファ・アンプ（ＢＡ）と画素出力ゲート（ＰＴＸ）で構成される。画素出力ゲート（ＰＴＸ）のゲート端子には、出力部駆動信号６１として出力パルス（ＣＫＯ）が入力されている。画素出力ゲート（ＰＴＸ）の出力が画素１の画素出力（ＶＯ）となる。
【００５９】
続いて、ある１つの画素１内の動作特性について説明する。画素１の動作は、リセット期間、転送期間、記憶期間、演算フェーズ１、及び、演算フェース２の各フェーズに区分される。
【００６０】
［リセット期間］
まず、リセット・パルス（ＲＳＴ）を印加することによって、リセット・トランジスタ（ＱＲ）を付勢する。この結果、リセット・トランジスタ（ＱＲ）のドレイン側の電位、すなわち受光信号電位（ＶＡ）は、電源電圧によって定まるある特定の電位（仮にＶＲとする）に設定される。
【００６１】
［転送期間］
次いで、転送パルス（ＴＸ）を印加することによって転送トランジスタ（ＱＸ）を付勢する。この結果、蓄積期間内において受光部１０内のフォト・ダイオード（ＰＤ）で光電変換されて蓄積されていた信号電荷（電子）は、リセット・トランジスタ（ＱＲ）のドレイン側に転送されて、受光信号電位（ＶＡ）は、その信号電荷の数によって決まる電位となる。
【００６２】
［記憶期間］
受光信号電位（ＶＡ）は、第１増幅部２０の増幅トランジスタ（ＱＡ）のゲート電位となっている。したがって、読出しパルス（ＲＤ）を印加して読出しトランジスタ（ＧＲ１）を付勢することによって、受光信号電位（ＶＡ）に応じた信号電流が第２増幅部３０のミラー・トランジスタ（ＣＭ１）に流れ込む。
【００６３】
この結果、カレント・ミラーの原理により、他方のミラー・トランジスタ（ＣＭ２）には、ミラー・トランジスタ（ＣＭ１）とのサイズ比によって決まる大きさの電流を流すことができる。
【００６４】
ここで、書き込みパルス（ＷＲ）を印加して第２増幅部３０の読出しトランジスタ（ＧＲ２）を付勢する。これと同時に、例えば、記憶パルス（ＣＫ１２）を印加して、第１記憶部４０−１のメモリ・ゲート・トランジスタ（Ｇ１）を付勢するとともに、記憶パルス（ＣＫ１１）を印加して、第１記憶部４０−１のメモリ・スイッチ（ＳＷ１）を付勢することによって、先述のミラー・トランジスタ（ＣＭ２）を通過する電流をメモリ・トランジスタ（Ｍ１）に流すことができる。
【００６５】
さらに、メモリ・スイッチ（ＳＷ１）を先に減勢した後に、メモリ・ゲート・トランジスタ（Ｇ１）及びトランジスタ（ＧＲ２）をともに減勢することによって、メモリ・トランジスタ（Ｍ１）に流れ込んだ電流を記憶することができる。
【００６６】
このような記憶動作は、メモリ・トランジスタ（Ｍ１）のソース及びドレイン間に流れる電流値を決定するためのゲート電圧が、比較的小さなゲート容量に充電されることによって実現される（カレントコピアの原理）ので、キャパシタのような大きな容量を充電する必要がない。したがって、記憶動作そのものが短時間で完了することになり、その結果、画素１全体の動作時間をも短縮することができる。
【００６７】
上記では、受光信号電位（ＶＡ）によって決まる電流を第１記憶部４０−１のメモリ・トランジスタ（Ｍ１）に記憶させる場合について説明したが、他の記憶部４０−２，…，４０−ｋに記憶させる場合であっても、同様の動作で実現することができる。
【００６８】
したがって、別の期間に光電変換された信号を、他の記憶部４０のメモリ・トランジスタに記憶しておくことにより、後述する演算（信号間の比較など）を画素１内において実現することができる。
【００６９】
ここで、第１記憶部４０−１のメモリ・トランジスタ（Ｍ１）及び第２記憶部４０−２のメモリ・トランジスタ（Ｍ２）に、それぞれ異なる期間に光電変換された信号によって決まる電流が記憶されているものとする。そして、各トランジスタＭ１及びＭ２に記憶されている電流をそれぞれＩＭ１及びＩＭ２とおくことにする。
【００７０】
［演算フェーズ１］
まず、第１記憶部４０−１のメモリ・ゲート・トランジスタ（Ｇ１）を付勢することによって、メモリ・トランジスタ（Ｍ１）に記憶していた電流ＩＭ１を負荷トランジスタ（ＱＬ）に流す。そして、電流ＩＭ１の大きさと負荷バイアス電圧（ＶＬ）によって定まる電圧（仮にＶ１とする）がキャパシタ（ＣＡＰ１）の電極Ａ側に発生する。
【００７１】
但し、演算フェーズ１の期間のみ負荷バイアス電圧（ＶＬ）を印加して、それ以外の期間は０Ｖとすることによって、負荷トランジスタ（ＱＬ）に電流が流れ込むのを防止する。
【００７２】
このとき、インバータ（ＩＮＶ１）の入力と出力を短絡するようにインバータ・スイッチ（ＳＷＡ）を付勢することによって、キャパシタ（ＣＡＰ１）の電極Ｂ側にはインバータ（ＩＮＶ１）の動作点電圧（Ｖinv1）が現れ、この結果、キャパシタ（ＣＡＰ１）のＡ側とＢ側にはＶ１とＶinv1の差だけ電位差が生じることになる。
【００７３】
さらに、インバータ（ＩＮＶ２）の入力と出力を短絡するインバータ・スイッチ（ＳＷＢ）をインバータ・スイッチ（ＳＷＡ）と同時に付勢した後、インバータ・スイッチ（ＳＷＡ）を減勢するよりも少し後にインバータ・スイッチ（ＳＷＢ）を減勢するようにする。このとき、キャパシタ（ＣＡＰ２）のＣ側とＤ側には、それぞれインバータ（ＩＮＶ１）の出力電圧（Ｖo1）とインバータ（ＩＮＶ２）の動作点電圧（Ｖinv2）が印加されるので、両端にはその差だけ電位差が生じることになる。
【００７４】
ここで、インバータ・スイッチ（ＳＷＡ）を付勢状態から減勢するとき、インバータ（ＩＮＶ１）の入力側及び出力側の各電位は、電荷注入効果により短絡時の電位よりわずかに異なる電位に変動する可能性がある点に留意されたい。図４に示すような構成によれば、このような電位変動分をキャパシタ（ＣＡＰ２）で吸収することができる。
【００７５】
［演算フェーズ２］
続いて、第２記憶部４０−２のメモリ・ゲート・トランジスタ（Ｇ２）を付勢することによって、メモリ・トランジスタ（Ｍ２）に記憶していた電流ＩＭ２を負荷トランジスタ（ＱＬ）に流す。そして、電流ＩＭ２の大きさと負荷バイアス電圧（ＶＬ）によって定まる電圧（仮にＶ２とする）がキャパシタ（ＣＡＰ２）の電極Ａ側に発生する。
【００７６】
このとき、電圧Ｖ２がＶ１よりも大きい場合、インバータ（ＩＮＶ１）の入力容量が無視できるほど小さいと仮定したならば、キャパシタ（ＣＡＰ１）のＢ側の電位は、動作点電圧（Ｖinv1）よりＶ２−Ｖ１だけ上昇することになり、インバータ（ＩＮＶ１）の出力はロー・レベルとなる。
【００７７】
その結果、キャパシタ（ＣＡＰ２）の電極Ｄ側の電位は、動作点電位（Ｖinv2）よりも低くなり、インバータ（ＩＮＶ２）の出力はハイ・レベルとなる。
【００７８】
逆に、電圧Ｖ２がＶ１よりも小さい場合、キャパシタ（ＣＡＰ１）の電極Ｂ側の電位は、動作点電圧（Ｖinv1）よりＶ１−Ｖ２だけ下降することになり、インバータ（ＩＮＶ１）の出力はハイ・レベルとなる。
【００７９】
その結果、キャパシタ（ＣＡＰ２）の電極Ｄ側の電位は、動作点電位（Ｖinv2）よりも高くなり、インバータ（ＩＮＶ２）の出力はロー・レベルとなる。
【００８０】
すなわち、第１記憶部４０−１のメモリ・トランジスタ（Ｍ１）に記憶されていた電流ＩＭ１よりも、第２記憶部４０−２のメモリ・トランジスタ（Ｍ２）に記憶されていた電流ＩＭ２の方が大きければ、演算部５０の出力はハイ・レベルとなり、逆に、電流ＩＭ１の方が大きければ、演算部５０の出力はロー・レベルになることが分かる。
【００８１】
このようにして、演算部５０においては、各記憶部４０において記憶されている電流の大小比較、すなわち受光した光の強弱の比較判定が可能となる。
【００８２】
演算部５０の出力は、出力部６０のバッファ・アンプ（ＢＡ）によって適当なレベルにまで増幅される。そして、出力パルス（ＣＫＯ）の印加により画素出力ゲート（ＰＴＸ）が付勢されると、画素出力ＶＯとして出力されるようになっている。
【００８３】
上述した動作では、１画素分の演算結果が画素出力という形で得られる。したがって、［記憶期間］から［演算フェーズ２］までを、画素の個数だけ繰り返すことによって、垂直方向に並んだすべての画素１から画素出力を得ることができる。
【００８４】
図５には、撮像素子内の動作特性をタイミング・チャートの形式で示している。但し、同図では２画素分のクロックのみの記載にとどめている。
【００８５】
図５では、［リセット期間］及び［転送期間］はすべての画素で共通としているが、画素毎に相違していても同様に動作することができる。但し、後者の場合は、光電変換されるタイミングが画素毎に少しずつずれることになる。
【００８６】
上述した例では、記憶されている２つの信号電流を比較するが、本実施例に係る画素１の構成によれば、３以上の信号電流を比較することも可能である。
【００８７】
例えば、第１から第４までの４個の記憶部４０−１〜４０−４が配設されている場合、それぞれのメモリ・トランジスタＭ１〜Ｍ４には、各期間Ｉ，II，III，IVに受光し光電変換して取り出された各信号電流ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４がそれぞれ記憶されているとする。
【００８８】
負荷部及び演算部５０において、演算フェーズ１でメモリ・ゲート・トランジスタＧ１及びＧ２を同時に付勢して、信号電流ＩＭ１とＩＭ２を同時に負荷トランジスタ（ＱＬ）に流して、負荷電流Ｖ１を発生させる。
【００８９】
次いで、演算フェーズ２では、メモリ・ゲート・トランジスタＧ３及びＧ４を同時に付勢して、信号電流ＩＭ３とＩＭ４を同時に負荷トランジスタ（ＱＬ）に流して、負荷電流Ｖ２を発生させる。
【００９０】
そして、先述した動作原理に従い、Ｖ２がＶ１よりも大きければ演算部５０の出力はハイ・レベルとなり、逆に、Ｖ２がＶ１よりも小さければ演算部５０の出力はロー・レベルとなる。このようにして、複数の記憶部４０−１…に記憶された信号電流ＩＭ１…の和どうしを比較することができる。
【００９１】
図６には、複数の記憶部４０−１…に記憶された信号電流ＩＭ１…の和どうしを比較する場合の動作特性をタイミング・チャートの形式で示している。但し、同図に示す例では、１画素分の駆動クロックだけを図解している。
【００９２】
また、図７には、バイアス部５５の回路構成を示している。バイアス部５５は、負荷部及び演算部５０への入力信号ＩＭに対してノイズなどの影響を除去するためにオフセット電流を追加するように動作する。
【００９３】
同図に示すように、バイアス部５５は、バイアス負荷トランジスタ（ＢＱＬ）と、カレント・ミラー回路となるバイアス・トランジスタ（ＢＱ１）及びバイアス・トランジスタ（ＢＱ２）とで構成される。バイアス負荷トランジスタ（ＢＱＬ）のゲート端子には、その動作点を可変とすることができるオフセット・バイアス電圧（ＶＢ）が印加されている。また、バイアス・トランジスタ（ＢＱ２）の出力は、バイアス電流（ＩＢ）として取り出される。
【００９４】
図７に示す構成によれば、オフセット・バイアス電圧（ＶＢ）を外部から制御することができる。演算フェーズ１において、記憶部４０から取り出して演算部５０の負荷トランジスタ（ＱＬ）に流す信号電流に対しては、バイアス電流（ＩＢ）を加える。他方、演算フェーズ２において取り出す信号電流に対しては、バイアス電流（ＩＢ）を加えないようにする。この結果、演算部５０の出力が安定化する。
【００９５】
比較すべき２つの信号レベルがほとんど同じであり、しかも時間的にわずかながら変動していると、演算部５０の出力はロー・レベルとハイ・レベルの間を繰り返し変動して不安定になってしまう。このような状況を避けるため、上述のように、一方の演算フェーズ１で取り出す電流にバイアス電流を重畳して、他方の演算フェーズ２で取り出す電流よりも大きな電流として扱う。この結果、演算部出力をロー・レベル又はハイ・レベルのうち一方に保ち（この場合はロー・レベル）、演算部５０の出力を安定化することができる。
【００９６】
演算フェーズ２において取り出す電流が、そのバイアス電流分と演算フェーズ１で取り出した電流の和よりも大きければ、演算部５０の出力は初めてロー・レベルからハイ・レベルに転じることになる。
【００９７】
なお、オフセット・バイアス電圧（ＶＢ）を与えるか否かで、バイアス負荷トランジスタ（ＢＱＬ）に電流を流すか否かが決定され、その結果、カレント・ミラー効果によって、バイアス電流（ＩＢ）の値が決まる。しかし、この電流の値を正確に制御するには、オフセット・バイアス電圧（ＶＢ）を正確に制御しなければならず、困難な場合もある。特に、バイアス負荷トランジスタ（ＢＱＬ）の閾値電圧にばらつきがあり、画素毎に得られるバイアス電流（ＩＢ）が異なり、結果が区々になる可能性がある。
【００９８】
そこで、オフセット・バイアス電圧（ＶＢ）の絶対値ではなく、その電位差によってバイアス電流（ＩＢ）の大きさを相対的に変えることによって、同様に演算部５０の出力の安定化を図る方が実用的である。
【００９９】
まず、演算フェーズ１でオフセット・バイアス電圧ＶＢ１をバイアス負荷トランジスタ（ＢＱＬ）に与え、このとき流れるバイアス電流をＩＢ２とする。次いで、演算フェーズ２でオフセット・バイアス電圧をＶＢ２としたときのバイアス電流をＩＢ２とする。このとき、バイアス負荷トランジスタ（ＢＱＬ）の閾値電圧が相違すると、ＩＢ１とＩＢ２の絶対値は大きく変化する可能性があるが、その差ＩＢ１−ＩＢ２を小さく抑えることができる。この結果として、演算フェーズ１と演算フェーズ２でバイアスとして与える電流差が安定する。
【０１００】
さらに、カレント・ミラー効果を考慮すると、バイアス・トランジスタ（ＢＱ１）に流れる電流、すなわちバイアス負荷トランジスタ（ＢＱＬ）に流れる電流よりも、バイアス・トランジスタ（ＢＱ２）に流れる電流を小さくするようにトランジスタのサイズを決めておけば、閾値電圧の変動の影響を小さくすることができる。
【０１０１】
以下では、本発明に係る画素１によれば、記憶部４０の構成要素であるメモリ・トランジスタＭ１〜Ｍｋの特性ばらつき、すなわち閾値電圧のばらつきを抑制することができることを、図３を参照しながら説明する。
【０１０２】
まず、第１増幅部２０の増幅トランジスタ（ＱＡ）のゲート電圧ＶＡが一定という状況下で考察する。
【０１０３】
このようなとき、読出しパルス（ＲＤ）を印加して読出しトランジスタ（ＧＲ１）を付勢すると、カレント・ミラーを構成するミラー・トランジスタ（ＣＭ１）には、ある一定の電流が流れる。
【０１０４】
また、カレント・ミラーを構成する他方のミラー・トランジスタ（ＣＭ２）には、飽和領域で動作する限りにおいては、トランジスタＣＭ１とのサイズ比で決まる一定の電流が流れる。この一定電流を仮にＩＭＡとおく。
【０１０５】
ここで、読出しトランジスタ（ＧＲ２）とメモリ・ゲート・トランジスタ（Ｇ１）、並びに、メモリ・スイッチ（ＳＷ１）を同時に付勢することによって、メモリ・トランジスタ（Ｍ１）には、ＩＭＡが流れることになる。
【０１０６】
このときのメモリ・トランジスタ（Ｍ１）の閾値電圧をＶth−１、ゲート電位（＝ドレイン電位）をＶG−１、メモリ・ゲート・トランジスタ（Ｇ１）と読出しトランジスタ（ＧＲ２）間の共通信号電位をＶM−１とする。
【０１０７】
また、上述した動作をメモリ・トランジスタ（Ｍ１）ではなく、メモリ・トランジスタ（Ｍ２）に対して適用した場合であっても、同様に、メモリ・トランジスタ（Ｍ２）には電流ＩＭＡが流れる。このとき、メモリ・トランジスタ（Ｍ２）の閾値電圧をＶth−２、ゲート電位（＝ドレイン電位）をＶG−２、メモリ・ゲート・トランジスタ（Ｇ２）と読出しトランジスタ（ＧＲ２）間の共通信号電位をＶM−２とする。
【０１０８】
メモリ・トランジスタ（Ｍ１）とメモリ・トランジスタ（Ｍ２）のサイズがまったく同じであり、閾値電圧も同じ（Ｖth−１＝Ｖth−２）であるならば、同じ電流ＩＭＡを流す以上、ＶG−１＝ＶG−２、ＶM−１＝ＶM−２である。
【０１０９】
ところが、トランジスタ・サイズが同じであっても、製造プロセス上のばらつき（又はその他の原因）により、閾値電圧が異なり、Ｖth−２＝Ｖth−１＋ΔＶthとなった場合、同じ電流ＩＭＡを流すためには、メモリ・トランジスタのゲート電位はＶG−２に対してΔＶGだけ変動し、また、共通信号電位はＶM−２に対してΔＶMだけ変動する必要があるものとする。
【０１１０】
このような電位変動が、第２増幅部３０のカレント・ミラー回路において、ミラー・トランジスタ（ＣＭ２）のドレイン側電位に影響を及ぼし、飽和領域で動作しなくなれば、本来得られるはずの電流ＩＭＡが流れなくなってしまう。
【０１１１】
そこで、メモリ・トランジスタ、メモリ・ゲート・トランジスタ、読出しトランジスタ、及びミラー・トランジスタのそれぞれのサイズを適切に選ぶことによって、動作点のマージンを持たせ、ミラー・トランジスタ（ＣＭ２）が常に飽和状態で動作するように設計しておけば、閾値電圧のばらつきによってΔＶGやΔＶMという電位変動が生じても、信号電流ＩＭＡは変化することなく記憶される。
【０１１２】
図８には、図１に示した撮像素子構造、並びに、図２に示した画素構造の変形例を示している。
【０１１３】
図５及び図６に示したタイミング・チャートからも分かるように、垂直方向に並設されたｎ個の画素は、リセットと転送動作を同時に行うことはあっても、記憶動作や演算動作については時間的にずらして行うことができる。したがって、記憶のための信号電流を発生させる第２増幅部３０と、記憶部４０からの信号を処理する負荷部及び演算部５０と、出力部６０、及びバイアス部５６は、１つの画素毎に専用のものを配設するは必ずしも必要ではなく、複数の画素間でこれらを共有することができる。
【０１１４】
また、画素内のこれらの構成要素をすべて各画素毎に配置すると、画素数の増加に伴って製造上のボトルネックとなる可能性もあるので、画素外に配置することが好ましいと考えられる。
【０１１５】
図８に示す画素構造では、垂直方向に並設された画素１−１〜画素１−ｎのそれぞれの内部には、受光部と第１増幅部２０のみが配置されている。第２増幅部３０は、画素１−１〜画素１−ｎの出力に対して１つだけ配設されている。すなわちこれら同一の画素列にある複数の画素間で共有されている。
【０１１６】
また、画素外記憶部２−１〜画素外記憶部２−ｎの各々は、画素１−１〜画素１−ｎのそれぞれに対応している。さらに、各記憶部２−１…の内部には、第１記憶部４０−１〜第ｋ記憶部４０−ｋが配設されている。
【０１１７】
一方、負荷部及び演算部５０や出力部６０は、画素外記憶部２−１〜画素外記憶部２−ｎに対して共通となっている。したがって、バイアス部５５を撮像素子内に設ける場合であっても、負荷部及び演算部５０に対して１つだけ用意すればよい。
【０１１８】
図９には、図１に示した撮像素子構造、並びに、図２に示した画素構造の他の変形例を示している。図８では撮像素子上で垂直方向に並設されたｎ個の画素と演算処理部を示しているか、図９に示す例では、かかる回路構成を水平方向に繰り返すことによって、マトリックス状の画素配列となっている。
【０１１９】
すなわち、図９に示す例では、撮像素子は、水平方向にｍ個、垂直方向にｎ個の画素がマトリックス状に配設された画素エリアの下方に、水平方向にｍ個の第２演算部３０が配設される。さらに、水平方向にｍ個、垂直方向にｎ個の画素外記憶部がマトリックス状に配設された画素外記憶領域と、負荷部及び演算部５０と出力部６０とからなるエリア、水平出力部１００が続く。
【０１２０】
図１に示した例と同様に、垂直駆動回路８０からは、水平方向に並設されたｍ個の画素に対して、受光部駆動信号１１並びに第１増幅部駆動信号２１が供給されている。また、第２増幅部３０には、第２増幅部駆動信号３１が供給されている。また、画素外記憶部２には記憶部駆動信号４１が供給されている。また、負荷部及び演算部５０には演算部駆動信号５１が、出力部６０には出力部駆動信号６１が、それぞれ供給されている。
【０１２１】
また、垂直方向に並設されたｎ個の画素１−１より画素１−ｎの出力は、垂直画素信号線９２によって互いに接続され、該信号線が第２増幅部３０への入力となる。そして、第２増幅部３０の出力は、垂直記憶部信号線９３によって、垂直方向に並設されたｎ個の画素外記憶部２−１〜２−ｎのすべて、及び、負荷部及び演算部５０の入力へと接続されている。
【０１２２】
図９に示す撮像素子内における、受光部１０、第１増幅部２０、第２増幅部３０、記憶部４０、負荷部及び演算部５０、バイアス部５５、出力部６０の各々の回路構成及び動作特性は、図３、図４、並びに図５の各々に示した該当部分と略同一でよい。
【０１２３】
また、撮像素子全体の動作も、図１に示した回路構成の場合とほとんど同一である。但し、垂直に並設されたｎ個の画素に共通の第２増幅部３０、負荷部及び演算部５０、出力部６０それぞれの駆動信号が独立ではなく共通となる点で、図１に示した例とは相違する。
【０１２４】
図１１には、図９に示した撮像素子内の動作特性をタイミング・チャートで示している。図５に示したタイミング・チャートとの相違は、第２増幅部３０内の読出しトランジスタ（ＧＲ２）を駆動する書き込みパルス（ＷＲ）、負荷部及び演算部５０内のインバータ・スイッチ（ＳＷＡ）及びインバータ・スイッチ（ＳＷＢ）を駆動するインバータ・パルス（ＣＫＡ）及びインバータ・パルス（ＣＫＢ）、並びに、出力部６０の出力パルス（ＣＫＯ）が、垂直方向に並設されたｎ個の画素間で共通するという点である。
【０１２５】
最後に、本実施例に係る撮像素子の適用例について説明しておく。
【０１２６】
図１２は、被写体までの距離を計測するアクティブ型距離計測システムの構成を模式的に示している（アクティブ型の距離計測原理については、例えば「三次元画像計測」（井口、佐藤共著、昭晃堂）に記載されている）。図示の例では、被写体は、該計測システムに対向する平面と、この平面の前方から突設された略半円柱で構成される。
【０１２７】
半導体レーザ（若しくは発光ダイオード）から照射されたスリット状のレーザ光は、回転ミラーによって反射されて、被写体に向かう。レーザ光の照射と同期的に回転ミラーを回転させることによって、レーザ光を紙面左右方向に走査させることができる。そして、カメラは、スリット状のレーザ光が平面及び半円柱上を照射する様子を時々刻々撮像することができる。該距離計測システムのカメラに対して本発明に係る撮像素子（図１又は図９を参照のこと）を適用することができる。
【０１２８】
また、図１３には、図１２に示した距離計測システムを上方から眺望した様子を示している。
【０１２９】
カメラは、微細画素のような所定の受光単位が２次元マトリックス状に配列され、且つ、各画素毎に受光強度を検出することができるタイプの撮像素子で構成され、被写体からの反射光をレンズで集光して撮像するとともに、その受光位置を特定することができるものとする。
【０１３０】
撮像素子上のある1つの画素Ｐは、レンズを介してΘPで表される視線方向のみを常に観測している。
【０１３１】
また、レーザ光を走査するための回転ミラーは、レンズの光軸から距離Ｂだけ離間した位置にその回転中心軸を有する。そして、時刻ゼロから回転を開始して、スリット状のレーザ光を紙面右から左に向かって被写体表面上を走査するようになっている。
【０１３２】
画素Ｐは視線方向ΘPのみを観測している。したがって、被写体が図１３の位置Ｉにあるときには、回転ミラーが回転して、レーザの照射角度がΘIになったときにのみ、被写体表面上からの反射光を受光することができる。同様に、被写体が同図の位置IIにあるときには、回転ミラーが回転して、レーザの照射角度がΘIIになったときにのみ、被写体表面上からの反射光を受光することができる。
【０１３３】
このような場合、三角測量などの幾何学的な計算により、距離計測システムと被写体との距離ＬI及びＬIIは、以下の式で表すことができる。
【０１３４】
【数１】
言い換えれば、画素Ｐが受光したときのレーザ光の各照射方向ΘI及びΘIIによって、被写体までの距離ＬI及びＬIIを一意に求めることができる。
【０１３６】
ここで、照射角度ΘI及びΘＩＩはいずれも、回転ミラーが回転を開始してからの経過時間ｔの関数として表現することができる。したがって、被写体までの距離ＬI及びＬIIも、時間ｔの関数として表すことが可能である。
【０１３７】
撮像素子が受光する光強度の時間的な変化と該強度変化を撮像素子上で演算した結果を図１４に例示している。
【０１３８】
同図に示す例では、時刻ＴIにおいて演算結果の符号がマイナスからプラスに転じている。かかる符号の転換点に基づいて光強度がピークを迎えた時刻を検出することができる（但し、図１４に示す例では、撮像素子は受光量すなわち光強度に応じて電流量が減じる出力特性を持つものとする）。ピークを迎えた時刻が判れば、上述したように、被写体までの距離を特定することができる。
【０１３９】
図１４に示す例では、演算間隔すなわち撮像素子のサンプリング周期はΔＴである。ΔＴを細かくすることにより距離計測の分解能を向上させることができる。
【０１４０】
ここで、図１２〜図１４を参照しながら説明した処理を、従来の撮像素子を用いて行った場合について考察してみる。
【０１４１】
演算間隔ΔＴはビデオ・レートに相当し、３０Ｈｚ又は６０Ｈｚ程度である。したがって、被写体に動きがある場合には、その距離を正確に把握することは極めて難しい。
【０１４２】
しかも、仮に被写体が静止していたとしても、被写体表面全体の距離を求めるためには、レーザを３０Ｈｚ又は６０Ｈｚの撮像タイミング毎に少しずつ走査する必要があるため、測定には非常に長い時間を要する。
【０１４３】
さらに、撮像した映像を基にレーザが映っている位置を画像処理で特定するための時間も無視し難い。
【０１４４】
これに対し、本実施例に係る撮像素子を適用した場合には、演算間隔を劇的に短縮することが可能である。したがって、動きのある被写体であっても、正確に距離を測定することができる。
【０１４５】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４６】
【発明の効果】
以上詳記したように、本発明によれば、画像フレーム間の差分を求めることで被写体の明るさの時間的変化を求めることができる、優れた画像処理装置及び画像処理方法を提供することができる。
【０１４７】
また、本発明によれば、撮像素子による撮像データを保持する記憶部を撮像素子と同一回路上に備えることで演算処理を高速化した、優れた画像処理装置及び画像処理方法を提供することができる。
【０１４８】
また、本発明によれば、被写体の明るさの時間的変化が小さい状況下であっても記憶部の特性ばらつきを低く抑えて正確な演算出力を得ることができる、優れた画像処理装置及び画像処理方法を提供することができる。
【０１４９】
本発明に係る画像処理装置の構成によれば、記憶部が撮像素子と同一回路上に実装されるので、処理が高速化される。また、バイアス部が各記憶部から出力される演算前の電流信号にオフセット電流を付加することによって、記憶部における特性ばらつきの影響を抑止して、演算部の出力を安定化させることができる。
【０１５０】
例えば、本発明に係る画像処理装置を画素として用い、各画素を同一回路上にマトリックス状に配列することで、演算機能付きの撮像素子を構成することができる。かかる撮像素子によれば、被写体の明るさの時間的な変化を高速に演算することができる。
【図面の簡単な説明】
【図１】本発明の実施に供される撮像素子の回路構成を模式的に示した図である。
【図２】本実施例に係る撮像素子に組み込まれた画素の内部構成を示した図である。
【図３】受光部１０、第１増幅部２０、第２増幅部３０、並びに第１記憶部４０−１〜第ｋ記憶部４０−ｋに至るまでの回路構成を示した図である。
【図４】負荷部及び演算部５０、並びに出力部６０の回路構成を示した図である。
【図５】図１に示した撮像素子内の動作特性を示したタイミング・チャートである。
【図６】複数の記憶部４０−１…に記憶された信号電流ＩＭ１…の和どうしを比較する場合の動作特性を示したタイミング・チャートである。
【図７】バイアス部５５の回路構成例を示した図である。
【図８】図１に示した撮像素子構造、並びに、図２に示した画素構造の変形例を示した図である。
【図９】図１に示した撮像素子構造、並びに、図２に示した画素構造の他の変形例を示した図である。
【図１０】ＣＣＤを撮像素子とする場合における、撮像画像の蓄積及び読み出し時のタイミング・チャートを示した図である。
【図１１】図９に示した撮像素子内の動作特性を示したタイミング・チャートである。
【図１２】本実施例に係る撮像素子を適用したアクティブ型距離計測システムの構成を模式的に示した図である。
【図１３】図１２に示した距離計測システムを上方から眺望した様子を示した図である。
【図１４】撮像素子が受光する光強度の時間的な変化と該強度変化を撮像素子上で演算した結果を示した図である。
【符号の説明】
１…画素
１０…受光部
２０…第１増幅部
３０…第２増幅部
４０…記憶部
５０…負荷部及び演算部
５５…バイアス部
６０…出力部
８０…垂直駆動回路
１００…水平出力部
Claims (15)
- 受光した光強度に応じた電気信号を発生する受光部と、
前記受光部の出力信号を増幅する増幅部と、
前記増幅部において増幅された電気信号を電流信号として記憶する複数の記憶部と、
前記記憶部からの電流出力を電圧に変換する負荷部と、
前記負荷部への入力に対してオフセット電流を与えるバイアス部と、
前記負荷部の出力信号を演算する演算部と、
前記演算部における演算結果を外部に出力する出力部と、
を具備することを特徴とする画像処理装置。 - 前記複数の記憶部の各々は異なる期間に受光した信号に基づく電流信号を記憶し、
前記演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことを特徴とする請求項１に記載の画像処理装置。 - 前記増幅部は、ゲート電極同士を対向して接続したミラー・トランジスタを含み、カレント・ミラーの原理に従い電流信号を増幅することを特徴とする請求項１に記載の画像処理装置。
- 前記記憶部は、カレントコピアの原理に従って電流信号を記憶することを特徴とする請求項１に記載の画像処理装置。
- 前記演算部が２つの記憶部からの信号電流を比較する場合において、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないことを特徴とする請求項１に記載の画像処理装置。
- 複数の画素が同一回路上にマトリックス状に配列されてなる、被写体の明るさを検出する撮像素子であって、前記画素の各々は、
受光した光強度に応じた電気信号を発生する受光部と、
前記受光部の出力信号を増幅する増幅部と、
前記増幅部において増幅された電気信号を電流信号として記憶する複数の記憶部と、
前記記憶部からの電流出力を電圧に変換する負荷部と、
前記負荷部への入力に対してオフセット電流を与えるバイアス部と、
前記負荷部の出力信号を演算する演算部と、
前記演算部における演算結果を出力する出力部と、
を具備することを特徴とする撮像素子。 - 前記複数の記憶部の各々は異なる期間に受光した信号に基づく電流信号を記憶し、
前記演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことを特徴とする請求項６に記載の撮像素子。 - 前記増幅部は、ゲート電極同士を対向して接続したミラー・トランジスタを含み、カレント・ミラーの原理に従い電流信号を増幅することを特徴とする請求項６に記載の撮像素子。
- 前記記憶部は、カレントコピアの原理に従って電流信号を記憶することを特徴とする請求項６に記載の撮像素子。
- 前記演算部が２つの記憶部からの信号電流を比較する場合において、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないことを特徴とする請求項６に記載の撮像素子。
- 被写体の明るさを検出する撮像素子であって、
受光した光強度に応じた電気信号を発生する受光部と前記受光部の出力信号を増幅する増幅部からなる画素がマトリックス状に配列された画素エリアと、
ゲート電極同士を対向して接続したミラー・トランジスタによりカレント・ミラーの原理に従い電流信号を増幅する第２増幅部が前記画素エリアの各画素列毎に配列さた第２増幅部エリアと、
前記画素の増幅された電気信号を電流信号として記憶する複数の記憶部が前記画素エリアの各画素の配列に対応したマトリックス状に配列された画素外記憶エリアと、
前記記憶部からの電流出力を電圧に変換して演算処理する負荷部及び演算部が前記画素エリアの各画素列毎に配列された負荷部及び演算部エリアと、
前記演算部における演算結果を出力する出力部が前記画素エリアの各画素列毎に配列された出力部エリアとを備え、
前記画素エリアと、第２増幅部エリアと、前記画素外記憶エリアと、前記負荷部及び演算部エリアと、出力部エリアが同一回路上に実装されていることを特徴とする撮像素子。 - 前記複数の記憶部の各々は異なる期間に受光した信号に基づく電流信号を記憶し、
前記演算部は、２以上の記憶部から取り出された電流信号に基づく電圧信号に対して和、差、比較などの演算処理を施すことを特徴とする請求項１１に記載の撮像素子。 - さらに、対応する記憶部からの出力電流にオフセット電流を付加するバイアス部を備えることを特徴とする請求項１１に記載の撮像素子。
- 前期演算部が２つの記憶部からの信号電流を比較する場合において、前記バイアス部は、一方の記憶部からの信号電流に対してオフセット電流を付加するとともに、他方の記憶部からの信号電流に対してオフセット電流を付加しないことを特徴とする請求項１３に記載の撮像素子。
- 前記記憶部は、カレントコピアの原理に従って電流信号を記憶することを特徴とする請求項１１に記載の撮像素子。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000107723A JP3959925B2 (ja) | 2000-04-10 | 2000-04-10 | 画像処理装置及び撮像素子 |
| US10/009,857 US7091978B2 (en) | 2000-04-10 | 2001-04-09 | Processing apparatus and photographing device |
| PCT/JP2001/003041 WO2001078006A1 (fr) | 2000-04-10 | 2001-04-09 | Unite de traitement d'images et dispositif d'imagerie |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000107723A JP3959925B2 (ja) | 2000-04-10 | 2000-04-10 | 画像処理装置及び撮像素子 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001292379A JP2001292379A (ja) | 2001-10-19 |
| JP3959925B2 true JP3959925B2 (ja) | 2007-08-15 |
Family
ID=18620674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000107723A Expired - Fee Related JP3959925B2 (ja) | 2000-04-10 | 2000-04-10 | 画像処理装置及び撮像素子 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7091978B2 (ja) |
| JP (1) | JP3959925B2 (ja) |
| WO (1) | WO2001078006A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3833088B2 (ja) * | 2001-09-05 | 2006-10-11 | 独立行政法人科学技術振興機構 | 画像検出処理装置 |
| WO2006049196A1 (ja) * | 2004-11-05 | 2006-05-11 | Sony Corporation | 光センサーおよび光センサーの画素選択方法 |
| JP2007166581A (ja) * | 2005-11-16 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 高速撮影用固体撮像装置 |
| US7586076B2 (en) * | 2006-09-21 | 2009-09-08 | Aptina Imaging Corporation | Image sensor device having one or more modified dummy pixels that are usable as non-volatile memory elements |
| JP5176215B2 (ja) * | 2008-06-10 | 2013-04-03 | 国立大学法人東北大学 | 固体撮像素子 |
| JP5257271B2 (ja) * | 2009-06-26 | 2013-08-07 | ソニー株式会社 | 光電変換装置および光電変換装置の駆動方法、並びに放射線撮像装置および放射線撮像装置の駆動方法 |
| KR101139477B1 (ko) * | 2010-06-25 | 2012-04-30 | 에스케이하이닉스 주식회사 | 이미지 센서 |
| JP5924924B2 (ja) | 2011-12-15 | 2016-05-25 | キヤノン株式会社 | 電子回路 |
| JP5812959B2 (ja) | 2011-12-15 | 2015-11-17 | キヤノン株式会社 | 撮像装置 |
| JP5924922B2 (ja) | 2011-12-15 | 2016-05-25 | キヤノン株式会社 | 光電変換装置 |
| JP5924923B2 (ja) | 2011-12-15 | 2016-05-25 | キヤノン株式会社 | 光電変換装置、及び光電変換装置の駆動方法 |
| JP6822468B2 (ja) | 2016-03-24 | 2021-01-27 | 株式会社ニコン | 撮像素子および撮像装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4454416A (en) * | 1982-01-13 | 1984-06-12 | Sprague Electric Company | Photo-electric circuit employing current mirrors |
| JPH0270173A (ja) * | 1988-09-02 | 1990-03-09 | Fuji Xerox Co Ltd | デジタル画像処理装置 |
| US5276521A (en) * | 1990-07-30 | 1994-01-04 | Olympus Optical Co., Ltd. | Solid state imaging device having a constant pixel integrating period and blooming resistance |
| JPH04360284A (ja) * | 1991-06-06 | 1992-12-14 | Nissan Motor Co Ltd | 画像処理装置 |
| JP3834113B2 (ja) * | 1996-11-08 | 2006-10-18 | 浜松ホトニクス株式会社 | 高速視覚センサ装置 |
| JPH11307756A (ja) * | 1998-02-20 | 1999-11-05 | Canon Inc | 光電変換装置および放射線読取装置 |
| JP2000299820A (ja) * | 1999-04-14 | 2000-10-24 | Hamamatsu Photonics Kk | 高速視覚センサ装置 |
| JP2001208538A (ja) * | 2000-01-28 | 2001-08-03 | Seiko Precision Inc | 測距装置 |
| WO2001073381A2 (en) * | 2000-03-28 | 2001-10-04 | Matsushita Electric Works, Ltd. | Particle sensor |
-
2000
- 2000-04-10 JP JP2000107723A patent/JP3959925B2/ja not_active Expired - Fee Related
-
2001
- 2001-04-09 WO PCT/JP2001/003041 patent/WO2001078006A1/ja active Application Filing
- 2001-04-09 US US10/009,857 patent/US7091978B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2001078006A1 (fr) | 2001-10-18 |
| US20020163491A1 (en) | 2002-11-07 |
| US7091978B2 (en) | 2006-08-15 |
| JP2001292379A (ja) | 2001-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200374480A1 (en) | Image sensor and image capturing apparatus | |
| JP7374242B2 (ja) | 動的ビジョンセンサアーキテクチャ | |
| US11539907B2 (en) | Image sensor and image capturing apparatus | |
| US8233071B2 (en) | Image capturing apparatus comprising image sensor and plurality of pixels with simultaneous transfer of pixel electric charge from a first to an oppositely arranged second storage device | |
| CN101257564B (zh) | 光电转换装置和使用其的图像拾取系统 | |
| JP3959925B2 (ja) | 画像処理装置及び撮像素子 | |
| US9560275B2 (en) | Solid-state imaging device, driving method, and electronic apparatus | |
| US8786734B2 (en) | Image pickup apparatus | |
| JPH10290400A (ja) | 動き検出用固体撮像装置 | |
| TW200838298A (en) | Solid-state imaging device, drive method of solid-state imaging device, and imaging device | |
| CN106664378A (zh) | 固体摄像装置以及相机 | |
| JP2003247809A (ja) | 距離情報入力装置 | |
| US20220182567A1 (en) | Photoelectric conversion apparatus, photoelectric conversion system, moving body, semiconductor substrate, and method for driving photoelectric conversion apparatus | |
| JP2010147834A (ja) | 固体撮像素子、撮像装置及び固体撮像素子の制御方法 | |
| US7872674B2 (en) | Solid-state imaging device and method of operating solid-state imaging device | |
| JP7180299B2 (ja) | 赤外線検出器の制御回路、撮像素子及び赤外線検出器の制御方法 | |
| JP2001169193A (ja) | 撮像装置 | |
| US20050218293A1 (en) | Image sensing module capable of fast transferring signal and method thereof | |
| JPH04225687A (ja) | 撮像装置 | |
| JP2001169192A (ja) | 撮像装置 | |
| JP2000032347A (ja) | 動き検出用固体撮像装置 | |
| JP2000253319A (ja) | 固体電子撮像装置の映像信号レベル調整装置および方法ならびに電子カメラの映像信号レベル調整装置および方法 | |
| JP2000299815A (ja) | 露光制御機能付テレビカメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |