JP4389347B2 - 演算機能付き撮像素子 - Google Patents
演算機能付き撮像素子 Download PDFInfo
- Publication number
- JP4389347B2 JP4389347B2 JP2000141797A JP2000141797A JP4389347B2 JP 4389347 B2 JP4389347 B2 JP 4389347B2 JP 2000141797 A JP2000141797 A JP 2000141797A JP 2000141797 A JP2000141797 A JP 2000141797A JP 4389347 B2 JP4389347 B2 JP 4389347B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- unit
- signal
- calculation
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Heads (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、小型・軽量に構成された撮像素子に係り、特に、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いて実現される演算機能付きの撮像素子に関する。
【０００２】
更に詳しくは、本発明は、充分な画素数と小さな画素サイズとを実現した演算機能付きの撮像素子に係り、特に、オンチップ・カラーフィルタによりカラー画像の撮影が可能な撮像素子に関する。
【０００３】
【従来の技術】
昨今の半導体製造技術の急速な進歩とも相俟って、比較的安価な撮像素子が入手可能となってきた。この結果、携帯電話やＰＤＡ（Personal Digital Assistant）などの携帯端末において、小型のカメラを付属あるいは搭載した機器が開発され、市場に流通し始めている。ところが、これらの携帯端末は、小型軽量を特徴とするので、搭載されるカメラも小型軽量でなければならない。また、携帯型機器は、一般にバッテリ駆動式であるため、機器本体自体も付属・搭載部品も、低消費電力であることが求められる。
【０００４】
一般的に、カメラと言えばＣＣＤ（Charge Coupled Device：電荷結合素子）センサを用いたものを思い浮かべることができる。ＣＣＤとは、ＭＯＳ（Metal Oxide Semiconductor）型電極をチェーンのように配設して構成される集積回路のことであり、半導体表面の電荷をある電極から次の電極へと順次転送する機能を利用して、撮像した画像データを出力するようになっている。ところが、ＣＣＤセンサは電源電圧が複数必要、消費電力が比較的大きいといった点から上記のような用途には向いているとは言い難い。
【０００５】
他方、カメラあるいは撮像素子として、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）イメージ・センサは、次世代のイメージセンサとして注目を浴びている。特に、センサ上に画像処理を行う演算機能を持たせた、いわゆる「スマートセンサ」は、ゲーム用からセキュリティ用途にまで幅広く利用されるものとして期待が持たれている。
【０００６】
ＣＭＯＳ技術を用いて実装されるこのタイプのイメージ・センサであれば、小型・軽量化や、低消費電力などの仕様を満足させることができる。また、イメージ・センサと同一のチップ上に、ＣＭＯＳ技術で実現できる様々な回路部品を集積することができる。特に、センサ上の各画素におけるフォト・ダイオード出力をノイズ除去並びにゲイン補正を経た後、アナログ値からデジタル値に変換して、さらにはデジタル信号のまま画像処理を行うといった機能を持たせたＣＭＯＳイメージ・センサに関する報告もいくつかなされている。
【０００７】
ＣＭＯＳイメージ・センサに関する特集記事としては、例えば、「ディジタル画像処理機能を持ったＣＭＯＳイメージセンサ」（映像情報メディア学会誌Vol.53，No.2，pp.172〜177，1999）が挙げられる。
【０００８】
また、具体的な撮像素子の例としては、"An Artificial Retina Chip with Current-Mode Focal Plane Image Processing Functions"（Eiichi Funatsu, et al，IEEE Trans. Electron Devices, Vol.44, No.10, Oct. 1997） や、藤本他著「動体検出機能搭載ＣＭＯＳイメージャの開発」（IPU99-62，1999）、石渡他著「３次元ジェスチャ認識用ＣＭＯＳイメージセンサ」（映像情報メディア学会技術報告，Vol.23，No.30，1999）などが挙げられる。
【０００９】
これらのスマートセンサは、画素毎（画素並列型）、あるいは画素が並んだ列毎（列並列型）に記憶部や演算部を持ち、被写体の明るさを受光しながら何らかの演算を行い、高速に所望の処理を完了するという共通の特徴を持っている。
【００１０】
しかしながら、本出願に先行する技術の多くは、スマートセンサに演算処理機能を持たせるために、画素内に複雑な回路を実現して結果として画素数の低下を招いてしまうという弊害があった。
【００１１】
一方、演算機能を列毎に配置した列並列型撮像素子の多くは、画素数は通常のイメージセンサと同等ではあっても、機能を限定しており（例えばＡＤコンバータ動作のみ等）、必ずしも充分な演算が行えないという欠点があった。
【００１２】
さらに、撮像素子のカラー化という点では、後者の列並列型撮像素子の場合は、画素サイズも小さく、オンチップ・カラーフィルタ（ＯＣＣＦ）により実現できるが、あくまでも機能が限られている。また、前者の画素並列型の撮像素子では、そもそも画素数が少なく、カラー化によるさらなる解像度の低下が懸念されるために、カラー化はほとんど検討されていないのが実情である。
【００１３】
【発明が解決しようとする課題】
本発明の目的は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いて小型・軽量に構成された、演算機能付きの優れた撮像素子を提供することにある。
【００１４】
本発明の更なる目的は、充分な画素数と小さな画素サイズとを実現した、演算機能付きの優れた撮像素子を提供することにある。
【００１５】
本発明の更なる目的は、オンチップカラーフィルタによりカラー画像の撮影が可能な演算機能付きの優れた撮像素子を提供することにある。
【００１６】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、それぞれ被写体の明るさを電気信号に変える受光部と該受光部出力を増幅する画素内増幅部と該画素内増幅部から画素外へ信号を読み出す読出し部とからなる複数の画素と、
各画素から読み出された信号を増幅する画素外増幅部と、
各画素から読み出された信号を記憶する複数の記憶部と、
１以上の記憶部から読み出された信号を演算する演算部と、
前記演算部による演算結果に応じて書き込み動作を行い、前記画素の信号レベルに応じたデジタルデータ信号を記憶するデジタル・メモリと、
デジタル・メモリ出力を外部に出力する出力部と、
前記各部の駆動を制御する駆動制御部とを具備し、
前記駆動制御部は、前記演算部に供給する駆動パルスの組み合わせ及びそのタイミングによって前記演算部における演算内容を決定することを特徴とする演算機能付き撮像素子である。
【００１７】
本発明の第１の側面に係る演算機能付き撮像素子において、前記演算部及び／又は前記画素外増幅部は、複数の画素間で共有してもよい。
【００１９】
また、前記駆動制御部は、同じタイミングで検出した２個以上の画素読み出し信号を１つの記憶部に記憶させる駆動制御モードを有してもよい。
【００２０】
また、前記駆動制御部は、各タイミングで検出した各画素の読み出し信号をそれぞれ別の記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて同じ画素におる画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第１の駆動制御モードを有してもよい。この結果、演算機能付き撮像素子は、被写体の明るさの変化を演算して外部出力することができる。
【００２１】
また、前記駆動制御部は、さらに、各タイミングで検出した２個以上の画素読み出し信号をそれぞれ同じ記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて該２個以上の画素における画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第２の駆動制御モードを有してもよい。
【００２２】
第２の駆動制御モード下では、被写体の明るさが低過ぎたり、あるいは、被写体の明るさを光電変換するサンプリング間隔が短過ぎて、単一の画素では出力が小さくノイズの影響を受け易いような場合であっても、隣接する複数の画素の信号を１つにまとめて処理することによって、低出力を補い、感度の低下を回避することができる。この結果、演算機能付き撮像素子は、ノイズの影響を受けずに演算を正しく実行することが可能となる。他方、充分な被写体の明るさが得られる場合には、上記の第１の駆動制御モードによって、一つ一つの画素で独立して演算処理するように動作せしめて、撮像素子の解像度の低下を回避することができる。
【００２３】
また、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめる駆動制御モードを有してもよい。このような動作モード下では、演算機能つき撮像素子は、アナログ量である被写体の明るさをデジタル量に変換した撮像画像を外部出力することができる。
【００２４】
また、演算機能付き撮像素子の各画素に対して、例えば、Ｍ（マゼンダ）、Ｃ（シアン）、Ｇ（グリーン）、Ｙ（イエロー）などの各色のオンチップ・カラーフィルタを交互に配置してもよい。このような場合、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめることによって、演算機能付き撮像素子は、ＭＣＧＹ系の色空間からなるカラー撮像画像を外部出力することができる。
【００２５】
また、演算機能付き撮像素子の各画素に対して、オンチップ・レンズを配置してもよい。このような場合、各画素における光の集光度を高めることができるので、演算機能付き撮像素子がいずれの駆動制御モードで動作する場合であっても、その感度を向上させることができる。
【００２６】
また、本発明の第２の側面は、それぞれ被写体の明るさを電気信号に変える受光部と該受光部出力を増幅する画素内増幅部と該画素内増幅部から画素外へ信号を読み出す読出し部とからなる複数の画素が配列された画素エリアと、
各画素毎に２以上の記憶部が配置されたアナログ記憶エリアと、
各画素から読み出された信号を増幅する画素外増幅部並びに１以上の記憶部から読み出された信号を演算する演算部が配置された演算エリアと、
前記演算部による演算結果に応じて書き込み動作を行い、前記画素の信号レベルに応じたデジタルデータ信号を画素毎に記憶する複数のデジタル・メモリが配設されたデジタル記憶エリアと、
デジタル・メモリ出力を外部に出力する複数の出力部が配設された出力エリアと、
を具備することを特徴とする演算機能付き撮像素子である。
【００２７】
例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いることで、上記の各エリアを単一の回路チップ上に実装することができる。
【００２８】
本発明の第２の側面に係る演算機能付き撮像素子において、画素エリアでは、所定数の隣接画素が基本動作単位として駆動するようにしてもよい。
【００２９】
また、前記演算部及び／又は前記画素外増幅部は複数の画素間で共有するようにしてもよい。
【００３０】
また、前記演算部に供給する駆動パルスの組み合わせ及びそのタイミングによって前記演算部における演算内容を決定する駆動制御部をさらに備えてもよい。この駆動制御部は、例えば、同じタイミングで検出した２個以上の画素読み出し信号を１つの記憶部に記憶させる駆動制御モードを有することができる。
【００３１】
また、前記駆動制御部は、各タイミングで検出した各画素の読み出し信号をそれぞれ別の記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて同じ画素におる画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第１の駆動制御モードを有してもよい。このような動作モード下では、演算機能付き撮像素子は、被写体の明るさの変化を演算して外部出力することができる。
【００３２】
また、前記駆動制御部は、各タイミングで検出した２個以上の画素読み出し信号をそれぞれ同じ記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて該２個以上の画素における画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第２の駆動制御モードを有してもよい。この動作モード下では、被写体の明るさが低すぎたり、あるいは、被写体の明るさを光電変換する時間間隔が短く、単一の画素では出力が小さくノイズの影響を受け易いような場合であっても、隣接する複数の画素の信号を１つにまとめて処理することによって、低出力を補い、感度の低下を回避することができる。この結果、演算機能付き撮像素子は、ノイズの影響を受けずに演算を正しく実行することが可能となる。
【００３３】
また、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめる駆動制御モードを有してもよい。この動作モード下では、演算機能つき撮像素子は、アナログ量である被写体の明るさをデジタル量に変換した撮像画像を外部出力することができる。
【００３４】
また、本発明の第２の側面に係る演算機能付き撮像素子の各画素に対して、例えば、Ｍ、Ｃ、Ｇ、Ｙなどの各色のオンチップ・カラーフィルタを交互に配置してもよい。このような場合、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめることによって、演算機能付き撮像素子は、ＭＣＧＹ系の色空間からなるカラー撮像画像を外部出力することができる。また、Ｍ、Ｃ、Ｇ、Ｙの各カラーフィルタが搭載された一組の隣接画素を画素エリアにおける基本動作単位として扱ってもよい。
【００３５】
また、演算機能付き撮像素子の各画素に対して、オンチップ・レンズを配置してもよい。このような場合、各画素における光の集光度を高めることができるので、演算機能付き撮像素子がいずれの駆動制御モードで動作する場合であっても、その感度を向上させることができる。
【００３６】
【作用】
本発明に係る撮像素子は、通常の画像取得用撮像素子と同等面積の画素からなる光学エリアを有しているが、さらに複数の画素に共通の演算処理回路を持たせることによって、被写体の明るさが暗い場合、若しくは被写体の明るさを光電変換する時間が短い場合は、複数の画素の信号を同時に利用することによって明るさを補うことで感度の低下を避けることができる。この結果、ノイズの影響を受けずに被写体の明るさに基づく演算を正しく実行することが可能となる。
【００３７】
他方、被写体から充分な明るさが得られる場合には、一つ一つの画素を独立して演算に用いることによって、解像度の低下を避けることが可能となる。
【００３８】
本発明に係る撮像素子は、画素数が充分に多いので、オンチップ・カラーフィルタを採用することによって、容易にカラー化が可能である。また、本実施例に係る撮像素子は、画素サイズが小さいので、オンチップ・レンズによって光の集光度を高めることができ、感度アップが可能である。
【００３９】
また、本発明に係る撮像素子では、演算部における演算内容を、外部から与える駆動パルスの組み合わせ及びそのタイミングに応じて自由に変更することができる。したがって、単一の演算機能のみを持つ撮像素子には不可能であったさまざまな機能を単一の撮像素子上で実現することが可能となる。
【００４０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４１】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００４２】
図１には、本発明の実施例に係る撮像素子の構成を模式的に示している。同図に示すように、撮像素子は、画素エリアと、アナログ記憶エリアと、演算エリアと、デジタル記憶エリアと、出力エリアとで構成される。例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いることで、これらの機能モジュールを単一の回路チップ上に実装することができる。以下、撮像素子内の各部について説明する。
【００４３】
画素エリア１０内には、横方向にＭ個、縦方向にＮ個の画素１１が２次元的に配列されている。図示の通り、横方向に隣り合う２列の画素の出力信号は１本の垂直信号線１０１を共有し、各垂直信号線１０１の終端には画素外増幅部３１が接続されている。
【００４４】
アナログ記憶エリア２０内には、横方向にＭ／２個、縦方向にＮ／２個の記憶部２１が２次元的に配列されている。図示の通り、縦に並んだＮ／２個の記憶部２１は、１本の垂直増幅信号線１０２を共有し，各垂直増幅信号線１０２の終端には対応する前述の画素外増幅部３１が接続されている。また、垂直増幅信号線１０２は、演算エリア３０内の演算部３２にも接続されている。但し、１つの記憶部２１には，複数のアナログ・メモリが内蔵されているものとする。
【００４５】
演算エリア３０内には、画素外増幅部３１と演算部３２がそれぞれＭ／２個ずつ配置されている。各画素外増幅部３１の入力には、画素エリア１０からの対応する垂直信号線１０１がそれぞれ接続されている。また、各画素外増幅部３１の出力は、垂直増幅信号線１０２を介して、対応する演算部３２とアナログ記憶エリア２０内の記憶部２１に接続されている。一方、演算部３２の出力は、演算出力信号１０３として、デジタル記憶エリア４０内の複数のデジタル・メモリ４１によって共有されている。
【００４６】
デジタル記憶エリア４０内には、Ｍ×Ｎ個のデジタル・メモリ４１が、画素１１に対応して２次元的に配列されている。各演算部３２が出力する演算出力信号１０３は、対応するデジタル・メモリ４１のライト・イネーブル信号として作用している。デジタル・メモリ４１の入力には，撮像素子内部あるいは外部から供給されるデジタル信号（後述）が接続されており、前述のライト・イネーブル信号に従って書き込まれるようになっている。また、縦方向に１列に並んだＮ個からなるデジタル・メモリ４１の出力は、そのビット数に応じた幅のデジタル信号線であるメモリ・バス１０４を共有している。各メモリ・バス１０４は、出力エリア５０内の対応する出力部５１に接続されている。
【００４７】
出力エリア５０内では、出力部５１がＭ個並設されている。各出力部５１の入力にはデジタル記憶エリア４０内の対応するデジタル・メモリ４１の出力であるメモリ・バス１０４が接続されている。また、各出力部５１の出力は、デジタル列出力１０５となっている。このデジタル列出力１０５のデータ幅は、必ずしもメモリ・バス１０４のデータ幅と同じである必要はなく、出力部５１での処理内容に応じたビット幅にすることができる。
【００４８】
図１に示した撮像素子では、Ｍ×Ｎ個の画素１１が画素エリア１０内にまとめて配置してあり、しかも画素１１内部には特別な演算回路を保有しない構成となっている。このような回路構造を採用することによって、画素サイズを通常のイメージ・センサすなわちＣＣＤ等と同程度にすることができる。その結果、同程度の数の画素(解像度)を持ち、なおかつ演算機能を搭載した撮像素子を実現することができる。
【００４９】
図２には、図１に示した撮像素子構造から、基本動作単位を抜粋して図解している。ここで言う基本動作単位は、４個の画素と、１本の垂直信号線と、１個の画素外増幅部と、１個の記憶部と、１本の垂直増幅信号線と、１個の演算部と、４個のデジタル・メモリと、２個の出力部とで構成される。
【００５０】
また、図３には、単位画素の構成例を、図４には、単位画素に対応するアナログ記憶部の構成例を、それぞれ示している。
【００５１】
図２〜図４に示す例において、基本動作単位における画素数を４個とした場合の１つの用途は、単板式カラー撮像素子のカラーフィルタを採用することを想定しているからである。すなわち、例えば補色フィルタを用いる場合、４個の画素は、それぞれマゼンダ（Ｍ），グリーン（Ｇ），シアン（Ｃ），イエロー（Ｙ）のカラー・フィルタに対応している。あるいは、原色フィルタを用いる場合には、４個の画素は、それぞれレッド（Ｒ），グリーン（Ｇ１），ブルー（Ｂ），再びグリーン（Ｇ２）のカラーフィルタに対応させてもよい。
【００５２】
また、基本動作単位となる画素数を４個（又は複数個）とした場合の他の用途として、このように複数の画素をまとめて処理できる構造にしておくことで、例えば、そもそも被写体の明るさが低かったり、光の蓄積時間が短くて1個の画素から得られる信号が弱い場合であっても、複数の画素信号を同時に利用することによって、信号レベルの低下を避けることが可能となる。
【００５３】
以下、図３及び図４を適宜参照しながら、図２に示す基本動作単位の構造及び動作特性について詳解する。
【００５４】
各色のカラーフィルタに割り当てられた４個の画素１１は、共通の垂直信号線１０１に接続されている。図３に示すように、各画素においては、被写体の明るさに応じた入射光が蓄積時間中に受光部１２で光電変換された後、画素内増幅部１３及び読出し部１４を通って、この垂直信号線１０１に順次出力されるようになっている。
【００５５】
各画素１１の動作は、画素内増幅部１３に供給されているリセット・パルス１１２（φＲＳＴ）、受光部１２に供給されている転送パルス１１３（φＰＴＸ）、読出し部１４に供給されている画素信号読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ。但し、φＲＤ_Ｇ以外は図３には図示されていない）によって制御される。さらに、画素内増幅部１３には、そのリセット・レベルを設定するリセット電圧１１１（ＶＲＳＴ）が供給されている。
【００５６】
本実施例では、リセット・パルス１１２（φＲＳＴ）と転送パルス１１３（φＰＴＸ）は基本動作単位となる４個の画素間で共通とし、４個の画素における光の蓄積タイミングが一致するようになっている。すなわち、基本動作単位となる４個の画素の間では、各々の画素内増幅部１３が、リセット・パルス１１２（φＲＳＴ）によってリセット電圧１１１（ＶＲＳＴ）で決まるリセット・レベルに同時にリセットされた後、転送パルス１１３（φＰＴＸ）を印加することによって、受光部１２において光電変換された信号がそれぞれの画素内増幅部１３へ同時に転送されるようになっている。ある１つの転送から次の転送までの時間間隔が画素における光の蓄積時間となる。
【００５７】
画素１１の内部で転送された信号は、画素信号読出しパルス（例えば、Ｇの画素に対してはφＲＤ_Ｇ）が印加されて初めて、画素１１の外部、より具体的には垂直信号線１０１によって画素外増幅部３１へ伝わるようになっている。
【００５８】
再び図２に戻って説明する。垂直信号線１０１は、その終端が画素外増幅部３１に接続されている。画素外増幅部３１は、基本動作単位となる各画素１１からの出力信号が後続の処理に必要なレベルにまで増幅するようになっている。画素外増幅部３１には、増幅部読出しパルス１３７（φＣＲＤ）が与えられており、先述の４つの画素信号読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）に同期して各画素１１からの出力信号が画素外増幅部３１へ送り込まれ、増幅されるようになっている。画素外増幅部３１の出力は、垂直増幅信号線１０２に接続されており、ここで増幅された信号は記憶部２１並びに演算部３２に出力される。
【００５９】
記憶部２１内部には、１つの画素につき２個、すなわち基本動作単位では計８個のアナログ・メモリ２２が配置されている。各々のアナログ・メモリ２２は垂直増幅信号線１０２を共有しており、後述する制御信号の規則に従って、増幅された信号を記憶したり、記憶しておいた信号を読み出したりすることができる。
【００６０】
ここで、図４を参照しながら、アナログ・メモリ２２について説明する。
【００６１】
８個のアナログ・メモリ２２は、２個ずつが１つの画素に対応している。すなわち、Ｇ，Ｍ，Ｃ，Ｙの各画素に対応して、アナログ・メモリ１Ｇ及び２Ｇ、１Ｍ及び２Ｍ、１Ｃ及び２Ｃ、１Ｙ及び２Ｙが配置されている。また、各アナログ・メモリ２２には、アナログ・メモリ読出しパルス１２１〜１２８（φＡＭＲ_１Ｇ，φＡＭＲ_２Ｇ，φＡＭＲ_１Ｍ，φＡＭＲ_２Ｍ，φＡＭＲ_１Ｃ，φＡＭＲ_２Ｃ，φＡＭＲ_１Ｙ，φＡＭＲ_２Ｙ）、並びに、アナログ・メモリ書き込みパルス１２９〜１３６（φＡＭＷ_１Ｇ，φＡＭＷ_２Ｇ，φＡＭＷ_１Ｍ，φＡＭＷ_２Ｍ，φＡＭＷ_１Ｃ，φＡＭＷ_２Ｃ，φＡＭＷ_１Ｙ，φＡＭＷ_２Ｙ)がそれぞれ与えられている。
【００６２】
アナログ・メモリ読出しパルスが印加されたアナログ・メモリ２２からは、垂直増幅信号線１０２を介して信号を読み出される。また、アナログ・メモリ書き込みパルスが印加されたアナログ・メモリ２２には、垂直増幅信号線１０２に現れている信号を記憶することができる。
【００６３】
再び図２に戻って説明する。
【００６４】
垂直増幅信号線１０２は、アナログ・メモリ２２とともに、演算部３２にも接続されている。アナログ・メモリ２２に記憶され、又は読み出された信号を、後述する制御信号に従って演算部３２へ伝えることができる。
【００６５】
演算部３２では、アナログ・メモリ２２から入力された読出し信号を演算するとともに、該演算結果を演算出力信号１０３として出力し、その出力信号は各画素に対応するデジタル・メモリ４１のライト・イネーブル信号として作用する。演算部３２には、演算パルス１３８（φＯＰ）並びに演算読出しパルス１３９（φＰＲＤ）が与えられている。そして、演算部３２は、演算パルス１３８（φＯＰ）が印加されている期間に入力された２つの信号の大小比較を行い、演算読出しパルス１３９（φＰＲＤ）が印加されている間に、その比較結果を、例えばロー又はハイ・レベルの演算出力信号１０３として出力するようになっている。
【００６６】
本実施例では、１画素につき１個のデジタル・メモリ４１が用意されている。各デジタル・メモリ４１のビット数は、処理する信号に最適な数を設定され（例えば、１６ビット）、そのビット数に相応するビット幅のデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）が接続されている。このデジタル・データ入力信号１４１は、撮像素子内部のデジタル回路で発生された信号でもよいし、撮像素子外部から供給される信号であってもよい。
【００６７】
各画素に対応したデジタル・メモリ４１には、チップ選択信号１４２〜１４５（φＣＳ_Ｇ，φＣＳ_Ｍ，φＣＳ_Ｃ，φＣＳ_Ｙ。但し、φＣＳ_Ｇ以外は図２には図示されていない)が与えられており、チップ選択信号によって選択されたデジタル・メモリ４１のみが書き込み若しくは読出し動作が可能となる。また、デジタル・メモリ４１の出力は、そのメモリ・ビット数に応じたビット幅を持つデジタル信号線すなわちメモリ・バス１０４経由で出力部５１に接続されている。
【００６８】
演算部３２からの演算出力信号１０３がライト・イネーブル信号となっているので、ライト・イネーブル信号が印加されているときには、チップ選択信号によって選択されているデジタル・メモリのみに、撮像素子内部もしくは外部から供給されるデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）が記憶されるようになっている。他方、デジタルメモリ４１へのライト・イネーブル信号が印加されていないときには、チップ選択信号が印加されたデジタル・メモリ４１に記憶されていた信号がメモリ・バス１０４に読み出され、出力部５１へ伝送されるようになっている。
【００６９】
出力部５１では，後述する制御信号に同期して、画素毎のデジタル出力を撮像素子の外部へ出力するようになっている。すなわち、図示の通り、出力部５１は垂直に並んだ画素の基本単位の個数だけ並設されている。各出力部５１には、デジタル・メモリ出力パルス１５１（φＰＯＵＴ）が逐次的に与えられており、該入力に同期して、対応するデジタル・メモリ４１からメモリ・バス１０４を介して読み出された信号が、出力部５１を通してデジタル列出力１０５として、撮像素子の外部へデジタルの画素信号となって出力される。
なお、画像１１，記憶部２１，画素外増幅部２１，演算部３２等を動作させるためのパルスは駆動制御部（図示せず）から供給されて、この駆動制御部によって各部の駆動が制御される。
【００７０】
次いで、図５を参照しながら、図２の基本動作単位における動作タイミングについて説明する。
【００７１】
一般に、光強度の時間的な変化をできるだけ高速に演算するためには、光の蓄積時間はできるだけ短い方がよい。しかしながら、蓄積時間が短くなると、１回の演算で利用する１つの画素から得られる光電変換された信号は当然弱くなるので、その分だけ演算過程でノイズの影響を受け易くなる。本実施例に係る撮像素子によれば、このような蓄積時間の短い状態での演算を行う場合には、後述するように、複数の（すなわち基本動作単位となる）画素の出力信号を同時に利用することによって、単体の画素の信号だけを用いる場合よりも信号量を増やし、ノイズの影響を低減することが可能となる。
【００７２】
本実施例に係る撮像素子は、モードＡからモードＤまで４通りの動作モードで駆動することができる。これら４つの動作モードは、アナログ・メモリ２２への信号記憶動作ならびに読出し動作を逐次的に行い、結果として時間軸に沿った一種の微分処理を連続して行うことを可能とするものである。以下、各動作モードについて説明する。
【００７３】
モードＡ：
モードＡでは、まず、画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）を印加することによって画素Ｍと画素Ｃから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_１Ｍ（１３１）を印加することによってこれら読み出し信号を画素Ｍに対応するアナログ・メモリ１Ｍに記憶する。
【００７４】
続いて、同じくモードＡの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）を印加することによって画素Ｇと画素Ｙから信号を読み出し、さらにアナログメモリ書き込みパルスφＡＭＷ_１Ｇ（１２９）を印加することによってこれら読み出し信号を画素Ｇに対応するアナログ・メモリ１Ｇに記憶する。
【００７５】
上記の動作においては、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）と同時に印加することで、画素外増幅部３１で増幅された信号が、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶されるようになっている。
【００７６】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｇ（１２２）、φＡＭＲ_１Ｙ（１２７）を印加することによって、画素Ｍに対するアナログ・メモリ２Ｍ、画素Ｃに対するアナログ・メモリ１Ｃ、画素Ｇに対するアナログ・メモリ２Ｇ、そして画素Ｙに対するアナログ・メモリ１Ｙに記憶されていた各信号を同時に読み出すとともに、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００７７】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｃ（１２６）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｙ（１２８）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ、画素Ｃに対するアナログ・メモリ２Ｃ、画素Ｇに対するアナログ・メモリ１Ｇ、そして画素Ｙに対するアナログ・メモリ２Ｙに記憶されていた各信号を同時に読み出して、これらを一括して演算部３２に入力する。
【００７８】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【００７９】
そして、デジタル・メモリ４１を選択するチップ選択信号としてφＣＳ_Ｍ（１４３）が印加されているので、上記演算結果としては、ライト・イネーブル信号に応じて、画素Ｍに対応するデジタル・メモリ４１にデジタル・データ入力信号１４１が記憶される。
【００８０】
モードＢ：
モードＢでは、まず画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）を印加することによって画素Ｍと画素Ｃから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_２Ｍ（１３２）を印加することによってこれら読み出し信号を画素Ｍに対応するアナログ・メモリ２Ｍに記憶する。
【００８１】
続いて、同じくモードＢの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）を印加することによって画素Ｇと画素Ｙから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_２Ｇ（１３０）を印加することによってこれら読み出し信号を画素Ｇに対応するアナログ・メモリ２Ｇに記憶する。
【００８２】
この動作モード下でも、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ)と同時に印加することで、画素外増幅部３１で増幅された信号を、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶するようになっている。
【００８３】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｃ（１２６），φＡＭＲ_１Ｙ（１２７），φＡＭＲ_２Ｙ（１２８）を印加することによって、画素Ｃに対するアナログ・メモリ１Ｃ、アナログ・メモリ２Ｃ、画素Ｙに対するアナログ・メモリ１Ｙ、並びにアナログメモリ２Ｙに記憶されていた信号を同時に読み出して、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００８４】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｇ（１２２）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ並びにアナログ・メモリ２Ｍ、画素Ｇに対するアナログ・メモリ１Ｇ並びにアナログ・メモリ２Ｇに記憶されていた各信号を同時に読み出して、これらを一括して演算部３２に入力する。
【００８５】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【００８６】
そして、デジタル・メモリ４１を選択するチップ選択信号として、やはりφＣＳ_Ｍ（１４３）が印加されているので、上記演算結果として、ライト・イネーブル信号に応じて、画素Ｍに対応するデジタル・メモリ４１にデジタル・データ入力信号１４１が記憶される。
【００８７】
モードＣ：
モードＣでは、まず画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）を印加することによって画素Ｍと画素Ｃから信号を読み出して、さらにアナログ・メモリ書き込みパルスφＡＭＷ_１Ｃ（１３３）を印加することによってこれら読み出し信号を画素Ｃに対応するアナログ・メモリ１Ｃに記憶する。
【００８８】
続いて、同じくモードＣの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）を印加することによって画素Ｇと画素Ｙから信号を読み出して、さらにアナログ・メモリ書き込みパルスφＡＭＷ_１Ｙ（１３５）を印加することによってこれら読み出し信号を画素Ｙに対応するアナログ・メモリ１Ｙに記憶する。
【００８９】
この動作モード下でも、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）と同時に印加することで、画素外増幅部３１で増幅された信号を、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶するようになっている。
【００９０】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｃ（１２６）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｙ（１２８）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ、画素Ｃに対するアナログ・メモリ２Ｃ、画素Ｇに対するアナログ・メモリ１Ｇ、そして画素Ｙに対するアナログ・メモリ２Ｙに記憶されていた信号を同時に読み出して、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００９１】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｇ（１２２）、φＡＭＲ_１Ｙ（１２７）を印加することによって画素Ｍに対するアナログ・メモリ２Ｍ、画素Ｃに対するアナログ・メモリ１Ｃ、画素Ｇに対するアナログ・メモリ２Ｇ、そして画素Ｙに対するアナログ・メモリ１Ｙに記憶されていた各信号を同時に読み出して、一括して演算部３２に入力する。
【００９２】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【００９３】
そして、上記の演算結果により、チップ選択信号１４３（φＣＳ_Ｍ）を印加することによって、ライト・イネーブル信号に応じて、画素Ｍに対応するデジタルメモリ４１にデジタル・データ入力信号１４１が記憶される。
【００９４】
モードＤ：
モードＤでは、まず画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）によって画素Ｍと画素Ｃから信号を読み出し、さらにアナログ・メモリ書き込みパルスφAMW_2C(134)を印加することによってこれら読み出し信号を画素Ｃに対応するアナログ・メモリ２Ｃに記憶する。
【００９５】
続いて、同じくモードＤの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）によって画素Ｇと画素Ｙから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_２Ｙ（１３６）を印加することによってこれら読み出し信号を画素Ｙに対応するアナログメモリ２Ｙに記憶する。
【００９６】
この動作モード下でも、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）と同時に印加することで、画素外増幅部３１で増幅された信号を、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶するようになっている。
【００９７】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｇ（１２２）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ並びにアナログ・メモリ２Ｍ、画素Ｇに対するアナログ・メモリ１Ｇ並びにアナログ・メモリ２Ｇに記憶されていた信号を同時に読み出して、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００９８】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｃ（１２６）、φＡＭＲ_１Ｙ（１２７）、φＡＭＲ_２Ｙ（１２８）を印加することによって画素Ｃに対するアナログ・メモリ１Ｃ並びにアナログ・メモリ２Ｃ、画素Ｙに対するアナログ・メモリ１Ｙ並びにアナログ・メモリ２Ｙに記憶されていた信号を同時に読み出して、一括して演算部３２に入力する。
【００９９】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【０１００】
そして，画素Ｍに対するデジタル・メモリ４１のチップ選択信号φＣＳ_Ｍ（１４３）を印加することによって、このデジタル・メモリ４１にのみ、そのときのデジタル・データ入力信号１４１を記憶するようになっている。
【０１０１】
なお、上述したモードＡからモードＤにおいては、リセット・パルス１１２（φＲＳＴ）と転送パルス１１３（φＰＴＸ）はいずれも、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）の前に与えられているので、モードが切り替わる毎に新たに光電変換された信号を演算に用いるようになっている。
【０１０２】
このように、モードＡからモードＤまでの４通りの動作モードを繰り返して実行する場合、１つのモード期間内で光電変換された２個ずつの画素の合計信号レベルをｆ（ｋ）とおくと、下式に示すような時間軸に沿った信号の微分に相当する演算処理を行うことが可能となる（但し、ｋは時間のサンプリングを示すインデックス）。
【０１０３】
【数１】
ｆ(ｆ)＋ｆ(ｋ−１)−{ｆ(ｋ−２)＋ｆ(ｋ−３)} （式１）
【０１０４】
これを表にすると下のようになる。
【０１０５】
【表１】
【０１０６】
上表で、１Ｍや２Ｇと表記してあるのは、それぞれ画素Ｍのアナログ・メモリ１Ｍ、画素Ｇのアナログ・メモリ２Ｇに記憶してある信号を意味している。例えばサンプリング時刻ｋ−４のときは、時刻ｋ−４，ｋ−５，ｋ−６，ｋ−７という連続するサンプリング時刻における各画素の信号を用いて、下式に示すようにモードＡにおける演算を行うことができる。
【０１０７】
【数２】
（１Ｍ＋１Ｇ＋２Ｃ＋２Ｙ）−（１Ｃ＋１Ｙ＋２Ｍ＋２Ｇ） (式2)
【０１０８】
同様に、次のサンプリング時刻ｋ−３では、下式に示すようにモードＢにおける演算を行うことができる。
【０１０９】
【数３】
（２Ｍ＋２Ｇ＋１Ｍ＋１Ｇ）−（２Ｃ＋２Ｙ＋１Ｃ＋１Ｙ） （式３）
【０１１０】
以上のような順番でｋ−２，ｋ−１，…と演算を続けることによって、結果として（式１）の演算を行っていることになる。
【０１１１】
しかも、この場合は４個の画素内でそれぞれ光電変換された信号を読み出しているので、各１つの画素出力だけでは信号レベルの低い微弱な光に対する信号の時間的変化を求めることができる。もちろん、同時に処理する画素数を画素４個ではなく、６個、８個というように基本動作単位の画素数を増加させていけば、さらに弱い光に対する演算処理も可能となる。
【０１１２】
なお、図５に示す動作タイミング・チャートでは、デジタル・メモリ４１からの読出しタイミングは示されていないが、必要な回数だけモードＡ，Ｂ，Ｃ，Ｄ，Ａ，Ｂ，Ｃ，Ｄ，…という具合に逐次的に処理を行い、その後、デジタル・メモリ出力パルス１５１（φＰＯＵＴ）を記憶に用いたデジタル・メモリ４１の個数だけ順次発生させると同時に、読み出すべきデジタル・メモリ４１に対してチップ選択信号（この例の場合はφＣＳ_Ｍ）を印加して、メモリ・バス１０４から出力部５１を介してデジタル列出力１０５を得ることができる。
【０１１３】
次いで、画素が受光する光強度（明るさ）をデジタル信号に変換して出力する時の動作タイミングについて説明する。
【０１１４】
本実施例に係る撮像素子の動作の場合、１回の蓄積時間は短いものの、画素から読み出された信号は逐次加算されていくので、信号レベルの低下は避けることができる（前述）。したがって、画素一つ一つを独立して演算に用いることができ、解像度の低下も避けることができる。しかも、オンチップ・カラーフィルタが採用されている場合には、１チップ・カラー撮像素子としてカラー出力も可能となる。
【０１１５】
まず、図６を用いて、図３に示す単位画素においてアナログ量である明るさをデジタル量に変換する原理について説明する。
【０１１６】
ＶＦＤは、図３に示す画素１１における画素内増幅部１３の信号電圧レベルである。通常の動作では画素内増幅部１３にリセット・パルス１１２（φＲＳＴ）を与えることによって、ＶＦＤには電源電圧に設定されたリセット電圧１１１（ＶＲＳＴ）によって決まるリセット・レベルに設定されている。
【０１１７】
この状態で画素１１に光が照射されると、受光部１２には光電変換によって発生した電子が蓄積される。そして、受光部１２に転送パルス１１３（φＰＴＸ）を印加することによって、蓄積された電子を画素内増幅部１３に転送すると、信号電圧レベルＶＦＤは先のリセット・レベルから低下する。
【０１１８】
信号電圧レベルＶＦＤの電圧が低下する度合いは、転送される電子の量、すなわち受光部１２への入射光強度に比例している。したがって，明るい光が入射されるほど信号電圧レベルＶＦＤの低下は急峻となり、逆に暗いほどＶＦＤは緩やかに低下することになる。
【０１１９】
このような性質を利用すれば、例えば図６に示すグラフにおいて、ラインＨで示される明るい光、ラインＭの中間の明るさの光、そしてラインＬの暗い光のそれぞれの明るさレベルＶＨ，ＶＭ，ＶＬを、三角形の相似関係に基づき以下の式によって表現することができる。但し、ＴＨ，ＴＭ，ＴＬはそれぞれ、明るさを表すラインＨ，Ｍ，Ｌが、基準電圧に設定されたリセット電圧１１１（ＶＲＳＴ）によって決まる基準レベルと交差するときの時刻を表すものとする。
【０１２０】
【数４】
ＶＨ ＝ ＴＳ・ΔＶＲ／ＴＨ （式４）
ＶＭ ＝ ＴＳ・ΔＶＲ／ＴＭ （式５）
ＶＬ ＝ ＴＳ・ΔＶＲ／ＴＬ （式６）
【０１２１】
したがって、時刻ゼロから光の蓄積を始め、転送パルス１１３（φＰＴＸ）を印加する度に低下していく信号電圧レベルＶＦＤが基準レベルに達する瞬間の時刻を検出することによって、受光部１２において検出される明るさを時刻の関数として表現することが可能となる。
【０１２２】
このとき、転送パルス１１３（φＰＴＸ）を与えるタイミングを、サンプリング周期ΔＴ刻みの時間としてカウントすれば、信号電圧レベルＶＦＤが基準レベルに達する瞬間の時刻を明るさのデジタル量として得ることができる。
【０１２３】
また、信号電圧レベルＶＦＤの値を直接基準レベルと比較するのではなく、ＶＦＤが基準レベルであったときに画素から読み出される信号レベルを記憶しておき、光が照射されているときに転送パルス１１３（φＰＴＸ）を与える度に時々刻々変化するＶＦＤの値を画素１１から読み出される信号レベルと比較することによって、同様に明るさの検出が可能であるということは、上記の説明により当業者には容易に理解できるであろう。
【０１２４】
このようにして、明るさというアナログ量を、時間刻みでサンプリングされた時刻情報によって量子化されたデジタル量に変換することが可能な訳である。なお、デジタル量のビット数は、時刻情報のサンプリングの細かさに依存する。
【０１２５】
図７には、明るさの基準となる基準レベルに対応する画素出力信号をアナログ・メモリ２２に記憶する動作を示している。以下、同図を参照しながら該動作について説明する。
【０１２６】
まず、転送パルス１１３（φＰＴＸ）を印加して、光電変換された信号を受光部１２から画素内増幅部１３に掃き出す。但し、このときの出力信号は以降の処理では必要ないので、直ちにリセット・パルス１１２（φＲＳＴ）を印加して、電源電圧より低い基準電圧に設定されているリセット電圧１１１（ＶＲＳＴ）によって画素内増幅部１３をリセットする。
【０１２７】
そして、画素Ｍ、画素Ｃ、画素Ｇ、画素Ｙの順に、画素読出しパルスφＲＤ_Ｍ（１１５）、φＲＤ_Ｃ（１１６）、φＲＤ_Ｇ（１１４）、φＲＤ_Ｙ（１１７）を印加すると同時に、増幅部読出しパルス１３７（φＣＲＤ）及びアナログ・メモリ書き込みパルスφＡＭＷ_１Ｍ（１３１）、φＡＭＷ_１Ｃ（１３３）、φＡＭＷ_１Ｇ（１２９）、φＡＭＷ_１Ｙ（１３５）を印加することによって、アナログ・メモリ１Ｍ、アナログ・メモリ１Ｃ、アナログ・メモリ１Ｇ、アナログ・メモリ１Ｙの各々に対応する画素から出力されて画素外増幅部３１で増幅された基準レベルに相当する信号を記憶しておく。
【０１２８】
なお、この期間では、演算部３２やデジタル・メモリ４１は動作する必要ないので、それらに対する駆動パルスは発生させていない。
【０１２９】
図８には、図７に示す動作タイミングに従って記憶した基準レベル信号と光電変換された信号の比較を画素毎に行い、デジタル・メモリにその結果を格納する一連の動作を示したタイミング・チャートである
【０１３０】
まず、先頭の記憶期間では、各画素Ｍ、Ｃ、Ｇ、Ｙに対応するそれぞれのアナログ・メモリ２Ｍ、２Ｃ、２Ｇ、２Ｙに、先の基準信号記憶期間以降に光電変換された信号を記憶する。
【０１３１】
最初にリセット・パルス１１２（φＲＳＴ）を印加して、電源電圧に設定されたリセット電圧１１１（ＶＲＳＴ）（図示しない）によってそれぞれの画素における画素内増幅部１３をリセットする。
【０１３２】
その直後に転送パルス１１３（φＰＴＸ）を印加して、受光部１２で光電変換された信号を画素内増幅部１３へ転送する。
【０１３３】
そして、画素Ｍ、画素Ｃ、画素Ｇ、画素Ｙの順に、画素読出しパルスφＲＤ_Ｍ（１１５）、φＲＤ_Ｃ（１１６）、φＲＤ_Ｇ（１１４）、φＲＤ_Ｙ（１１７）を印加すると同時に、増幅部読出しパルス１３７（φＣＲＤ）及びアナログ・メモリ書き込みパルスφＡＭＷ_２Ｍ（１３２）、φＡＭＷ_２Ｃ（１３４）、φＡＭＷ_２Ｇ（１３０）、φＡＭＷ_２Ｙ（１３６）を印加することによって、アナログ・メモリ２Ｍ、２Ｃ、２Ｇ、２Ｙの各々に、対応する画素から読み出されて画素外増幅部３１で増幅された信号を記憶する。
【０１３４】
続いて、画素Ｍ、画素Ｃ、画素Ｇ、画素Ｙの順に、アナログ・メモリ１Ｍ、１Ｃ、１Ｇ、１Ｙに記憶された基準レベル信号とアナログ・メモリ２Ｍ、２Ｃ、２Ｇ、２Ｙそれぞれに記憶された画素信号の比較を行う。
【０１３５】
まず、演算パルス１３８（φＯＰ）が印加されている間に、まずアナログ・メモリ読出しパルス１２４（φＡＭＲ_２Ｍ）を印加することによってアナログ・メモリ２Ｍに記憶されている画素Ｍの信号を読み出し、次いで、アナログ・メモリ読出しパルス１２３（φＡＭＲ_１Ｍ）を印加することによってアナログ・メモリ１Ｍに記憶されている画素Ｍの基準レベル信号を演算部３２へ読み出す。
【０１３６】
そして、両者の信号レベルを比較して、演算読出しパルス１３９（φＰＲＤ）が印加されている間に画素Ｍに対応するデジタル・メモリ４１をチップ選択信号１４３（φＣＳ_Ｍ）によって選択する。例えば、基準レベル信号の方が読み出した画素信号よりも小さければ、そのときのデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）の値を画素Ｍに対応するデジタル・メモリ４１に書き込む。
【０１３７】
以上の処理が終了したら、演算パルス１３８（φＯＰ）を一旦ロー・レベルに戻して、再び該パルスを印加している間に、アナログ・メモリ読出しパルス１２６（φＡＭＲ_２Ｃ）を印加することによってアナログ・メモリ２Ｃに記憶されている画素Ｃの信号を読み出し、次いで、アナログ・メモリ読出しパルス１２５（φＡＭＲ_１Ｃ）を印加することによって、アナログ・メモリ１Ｃに記憶されていた画素Ｃの基準レベル信号を演算部３２へ読み出す。
【０１３８】
そして、両者の信号レベルを比較して、演算読出しパルス１３９（φＰＲＤ）が印加されている間に画素Ｃに対応するデジタル・メモリ４１をチップ選択信号１４４（φＣＳ_Ｃ）によって選択する。例えば、基準信号の方が読み出した画素信号より小さければ、そのときのデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）の値を画素Ｃに対応するデジタル・メモリ４１に書き込む。
【０１３９】
上述と同様の処理をさらに画素Ｇ並びに画素Ｙに対して実施することによって、４個の画素における比較演算処理を独立して行うことができる。このような処理をさらに、垂直信号線を共有しているすべての画素に対して順次同様に実行することによって、撮像素子上のすべての画素に対する演算処理を行うことができる。
【０１４０】
さて、上記で説明した動作では、ただ１回の光電変換された画素信号に対する処理しか行えないので、上記の演算動作を繰り返し実施する必要がある。
【０１４１】
光電変換された信号を読み出すときにリセット動作を行うと、先に読み出されていた信号がリセットされてしまう。そこで、２回目以降の処理では、リセットパルスφＲＳＴ（１１２）のみ印加せず、他の駆動パルスは全く同様に与えるようにすればよい。
【０１４２】
このようにすることによって、１度読み出された光電変換後の信号レベルに、さらに新たに光電変換された信号が足し合わされ、その値が基準レベル信号に到達するまで上記の処理を繰り返すことによって、明るさを時間情報に変化した結果を得ることができる。
【０１４３】
以上、撮像素子上で行う演算機能として２通りの例を紹介したが、これらはあくまでも本発明に係る撮像素子の機能の一部に過ぎない。本発明によれば、外部から供給する駆動パルスのタイミングや組み合わせによって、アプリケーションに応じた様々な演算を実行することが可能である。
【０１４４】
本発明に係る撮像素子では、このような多機能演算を実現するための部分、すなわち、アナログ記憶エリア２０、演算エリア３０、デジタル記憶エリア４０、出力エリア５０は、多数の画素１１が２次元的に並んで構成される画素エリア１０とは別に設けられている（図１を参照のこと）。したがって、画素数(解像度)の低下を招くことなく、演算処理を実現することが可能となのである。
【０１４５】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４６】
【発明の効果】
以上詳記したように、本発明によれば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いて小型・軽量に構成された、演算機能付きの優れた撮像素子を提供することができる。
【０１４７】
また、本発明によれば、充分な画素数と小さな画素サイズとを実現した、演算機能付きの優れた撮像素子を提供することができる。
【０１４８】
また、本発明によれば、オンチップ・カラーフィルタによりカラー画像の撮影が可能な演算機能付きの優れた撮像素子を提供することができる。
【０１４９】
本発明に係る撮像素子は、通常の画像取得用撮像素子と同等面積の画素からなる光学エリアを有しているが、さらに複数の画素に共通の演算処理回路を持たせることによって、被写体の明るさが暗い場合、若しくは被写体の明るさを光電変換するサンプリング間隔が短い場合は、複数の画素の信号を同時に利用することによって明るさを補うことで感度の低下を避けることができる。この結果、撮像素子は、ノイズの影響を受けずに被写体の明るさに基づく演算を正しく実行することが可能となる。
【０１５０】
他方、被写体から充分な明るさが得られる場合には、一つ一つの画素を独立して演算に用いることによって、解像度の低下を避けることが可能となる。
【０１５１】
本発明に係る撮像素子は、画素数が充分に多いので、オンチップ・カラーフィルタを採用することによって、容易にカラー化が可能である。また、本実施例に係る撮像素子は、画素サイズが小さいので、オンチップ・レンズによって光の集光度を高めることができ、感度アップが可能である。
【０１５２】
また、本発明に係る撮像素子では、演算部における演算内容を、外部から与える駆動パルスの組み合わせ及びそのタイミングに応じて自由に変更することができる。したがって、単一の演算機能のみを持つ撮像素子には不可能であったさまざまな機能を、単一の撮像素子上で実現することが可能となる。
【０１５３】
【図面の簡単な説明】
【図１】本発明の実施例に係る撮像素子の構成を模式的に示したブロック図である。
【図２】図１に示した撮像素子構造から、基本動作単位を抜粋して示した図である。
【図３】単位画素の構成例を示した図である。
【図４】アナログ記憶部の構成例を示した図である。
【図５】画素の基本動作単位における動作タイミング・チャートである。
【図６】単位画素において、アナログ量である明るさをデジタル量に変換する原理図である。
【図７】明るさの基準となる基準レベルに対応する画素出力信号をアナログ・メモリ２２に記憶する動作を示したタイミング・チャートである。
【図８】図７に示す動作タイミングに従って記憶した基準レベル信号と光電変換された信号の比較を画素毎に行い、デジタル・メモリにその結果を格納する一連の動作を示したタイミング・チャートである。
【符号の説明】
１０…画素エリア
１１…画素
１２…受光部
１３…画素内増幅部
１４…読出部
２０…アナログ記憶エリア
３０…演算エリア
３１…画素外記憶部
４０…デジタル記憶エリア
４１…デジタル・メモリ
５０…出力エリア
５１…出力部
【発明の属する技術分野】
本発明は、小型・軽量に構成された撮像素子に係り、特に、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いて実現される演算機能付きの撮像素子に関する。
【０００２】
更に詳しくは、本発明は、充分な画素数と小さな画素サイズとを実現した演算機能付きの撮像素子に係り、特に、オンチップ・カラーフィルタによりカラー画像の撮影が可能な撮像素子に関する。
【０００３】
【従来の技術】
昨今の半導体製造技術の急速な進歩とも相俟って、比較的安価な撮像素子が入手可能となってきた。この結果、携帯電話やＰＤＡ（Personal Digital Assistant）などの携帯端末において、小型のカメラを付属あるいは搭載した機器が開発され、市場に流通し始めている。ところが、これらの携帯端末は、小型軽量を特徴とするので、搭載されるカメラも小型軽量でなければならない。また、携帯型機器は、一般にバッテリ駆動式であるため、機器本体自体も付属・搭載部品も、低消費電力であることが求められる。
【０００４】
一般的に、カメラと言えばＣＣＤ（Charge Coupled Device：電荷結合素子）センサを用いたものを思い浮かべることができる。ＣＣＤとは、ＭＯＳ（Metal Oxide Semiconductor）型電極をチェーンのように配設して構成される集積回路のことであり、半導体表面の電荷をある電極から次の電極へと順次転送する機能を利用して、撮像した画像データを出力するようになっている。ところが、ＣＣＤセンサは電源電圧が複数必要、消費電力が比較的大きいといった点から上記のような用途には向いているとは言い難い。
【０００５】
他方、カメラあるいは撮像素子として、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）イメージ・センサは、次世代のイメージセンサとして注目を浴びている。特に、センサ上に画像処理を行う演算機能を持たせた、いわゆる「スマートセンサ」は、ゲーム用からセキュリティ用途にまで幅広く利用されるものとして期待が持たれている。
【０００６】
ＣＭＯＳ技術を用いて実装されるこのタイプのイメージ・センサであれば、小型・軽量化や、低消費電力などの仕様を満足させることができる。また、イメージ・センサと同一のチップ上に、ＣＭＯＳ技術で実現できる様々な回路部品を集積することができる。特に、センサ上の各画素におけるフォト・ダイオード出力をノイズ除去並びにゲイン補正を経た後、アナログ値からデジタル値に変換して、さらにはデジタル信号のまま画像処理を行うといった機能を持たせたＣＭＯＳイメージ・センサに関する報告もいくつかなされている。
【０００７】
ＣＭＯＳイメージ・センサに関する特集記事としては、例えば、「ディジタル画像処理機能を持ったＣＭＯＳイメージセンサ」（映像情報メディア学会誌Vol.53，No.2，pp.172〜177，1999）が挙げられる。
【０００８】
また、具体的な撮像素子の例としては、"An Artificial Retina Chip with Current-Mode Focal Plane Image Processing Functions"（Eiichi Funatsu, et al，IEEE Trans. Electron Devices, Vol.44, No.10, Oct. 1997） や、藤本他著「動体検出機能搭載ＣＭＯＳイメージャの開発」（IPU99-62，1999）、石渡他著「３次元ジェスチャ認識用ＣＭＯＳイメージセンサ」（映像情報メディア学会技術報告，Vol.23，No.30，1999）などが挙げられる。
【０００９】
これらのスマートセンサは、画素毎（画素並列型）、あるいは画素が並んだ列毎（列並列型）に記憶部や演算部を持ち、被写体の明るさを受光しながら何らかの演算を行い、高速に所望の処理を完了するという共通の特徴を持っている。
【００１０】
しかしながら、本出願に先行する技術の多くは、スマートセンサに演算処理機能を持たせるために、画素内に複雑な回路を実現して結果として画素数の低下を招いてしまうという弊害があった。
【００１１】
一方、演算機能を列毎に配置した列並列型撮像素子の多くは、画素数は通常のイメージセンサと同等ではあっても、機能を限定しており（例えばＡＤコンバータ動作のみ等）、必ずしも充分な演算が行えないという欠点があった。
【００１２】
さらに、撮像素子のカラー化という点では、後者の列並列型撮像素子の場合は、画素サイズも小さく、オンチップ・カラーフィルタ（ＯＣＣＦ）により実現できるが、あくまでも機能が限られている。また、前者の画素並列型の撮像素子では、そもそも画素数が少なく、カラー化によるさらなる解像度の低下が懸念されるために、カラー化はほとんど検討されていないのが実情である。
【００１３】
【発明が解決しようとする課題】
本発明の目的は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いて小型・軽量に構成された、演算機能付きの優れた撮像素子を提供することにある。
【００１４】
本発明の更なる目的は、充分な画素数と小さな画素サイズとを実現した、演算機能付きの優れた撮像素子を提供することにある。
【００１５】
本発明の更なる目的は、オンチップカラーフィルタによりカラー画像の撮影が可能な演算機能付きの優れた撮像素子を提供することにある。
【００１６】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、それぞれ被写体の明るさを電気信号に変える受光部と該受光部出力を増幅する画素内増幅部と該画素内増幅部から画素外へ信号を読み出す読出し部とからなる複数の画素と、
各画素から読み出された信号を増幅する画素外増幅部と、
各画素から読み出された信号を記憶する複数の記憶部と、
１以上の記憶部から読み出された信号を演算する演算部と、
前記演算部による演算結果に応じて書き込み動作を行い、前記画素の信号レベルに応じたデジタルデータ信号を記憶するデジタル・メモリと、
デジタル・メモリ出力を外部に出力する出力部と、
前記各部の駆動を制御する駆動制御部とを具備し、
前記駆動制御部は、前記演算部に供給する駆動パルスの組み合わせ及びそのタイミングによって前記演算部における演算内容を決定することを特徴とする演算機能付き撮像素子である。
【００１７】
本発明の第１の側面に係る演算機能付き撮像素子において、前記演算部及び／又は前記画素外増幅部は、複数の画素間で共有してもよい。
【００１９】
また、前記駆動制御部は、同じタイミングで検出した２個以上の画素読み出し信号を１つの記憶部に記憶させる駆動制御モードを有してもよい。
【００２０】
また、前記駆動制御部は、各タイミングで検出した各画素の読み出し信号をそれぞれ別の記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて同じ画素におる画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第１の駆動制御モードを有してもよい。この結果、演算機能付き撮像素子は、被写体の明るさの変化を演算して外部出力することができる。
【００２１】
また、前記駆動制御部は、さらに、各タイミングで検出した２個以上の画素読み出し信号をそれぞれ同じ記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて該２個以上の画素における画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第２の駆動制御モードを有してもよい。
【００２２】
第２の駆動制御モード下では、被写体の明るさが低過ぎたり、あるいは、被写体の明るさを光電変換するサンプリング間隔が短過ぎて、単一の画素では出力が小さくノイズの影響を受け易いような場合であっても、隣接する複数の画素の信号を１つにまとめて処理することによって、低出力を補い、感度の低下を回避することができる。この結果、演算機能付き撮像素子は、ノイズの影響を受けずに演算を正しく実行することが可能となる。他方、充分な被写体の明るさが得られる場合には、上記の第１の駆動制御モードによって、一つ一つの画素で独立して演算処理するように動作せしめて、撮像素子の解像度の低下を回避することができる。
【００２３】
また、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめる駆動制御モードを有してもよい。このような動作モード下では、演算機能つき撮像素子は、アナログ量である被写体の明るさをデジタル量に変換した撮像画像を外部出力することができる。
【００２４】
また、演算機能付き撮像素子の各画素に対して、例えば、Ｍ（マゼンダ）、Ｃ（シアン）、Ｇ（グリーン）、Ｙ（イエロー）などの各色のオンチップ・カラーフィルタを交互に配置してもよい。このような場合、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめることによって、演算機能付き撮像素子は、ＭＣＧＹ系の色空間からなるカラー撮像画像を外部出力することができる。
【００２５】
また、演算機能付き撮像素子の各画素に対して、オンチップ・レンズを配置してもよい。このような場合、各画素における光の集光度を高めることができるので、演算機能付き撮像素子がいずれの駆動制御モードで動作する場合であっても、その感度を向上させることができる。
【００２６】
また、本発明の第２の側面は、それぞれ被写体の明るさを電気信号に変える受光部と該受光部出力を増幅する画素内増幅部と該画素内増幅部から画素外へ信号を読み出す読出し部とからなる複数の画素が配列された画素エリアと、
各画素毎に２以上の記憶部が配置されたアナログ記憶エリアと、
各画素から読み出された信号を増幅する画素外増幅部並びに１以上の記憶部から読み出された信号を演算する演算部が配置された演算エリアと、
前記演算部による演算結果に応じて書き込み動作を行い、前記画素の信号レベルに応じたデジタルデータ信号を画素毎に記憶する複数のデジタル・メモリが配設されたデジタル記憶エリアと、
デジタル・メモリ出力を外部に出力する複数の出力部が配設された出力エリアと、
を具備することを特徴とする演算機能付き撮像素子である。
【００２７】
例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いることで、上記の各エリアを単一の回路チップ上に実装することができる。
【００２８】
本発明の第２の側面に係る演算機能付き撮像素子において、画素エリアでは、所定数の隣接画素が基本動作単位として駆動するようにしてもよい。
【００２９】
また、前記演算部及び／又は前記画素外増幅部は複数の画素間で共有するようにしてもよい。
【００３０】
また、前記演算部に供給する駆動パルスの組み合わせ及びそのタイミングによって前記演算部における演算内容を決定する駆動制御部をさらに備えてもよい。この駆動制御部は、例えば、同じタイミングで検出した２個以上の画素読み出し信号を１つの記憶部に記憶させる駆動制御モードを有することができる。
【００３１】
また、前記駆動制御部は、各タイミングで検出した各画素の読み出し信号をそれぞれ別の記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて同じ画素におる画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第１の駆動制御モードを有してもよい。このような動作モード下では、演算機能付き撮像素子は、被写体の明るさの変化を演算して外部出力することができる。
【００３２】
また、前記駆動制御部は、各タイミングで検出した２個以上の画素読み出し信号をそれぞれ同じ記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて該２個以上の画素における画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第２の駆動制御モードを有してもよい。この動作モード下では、被写体の明るさが低すぎたり、あるいは、被写体の明るさを光電変換する時間間隔が短く、単一の画素では出力が小さくノイズの影響を受け易いような場合であっても、隣接する複数の画素の信号を１つにまとめて処理することによって、低出力を補い、感度の低下を回避することができる。この結果、演算機能付き撮像素子は、ノイズの影響を受けずに演算を正しく実行することが可能となる。
【００３３】
また、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめる駆動制御モードを有してもよい。この動作モード下では、演算機能つき撮像素子は、アナログ量である被写体の明るさをデジタル量に変換した撮像画像を外部出力することができる。
【００３４】
また、本発明の第２の側面に係る演算機能付き撮像素子の各画素に対して、例えば、Ｍ、Ｃ、Ｇ、Ｙなどの各色のオンチップ・カラーフィルタを交互に配置してもよい。このような場合、前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめることによって、演算機能付き撮像素子は、ＭＣＧＹ系の色空間からなるカラー撮像画像を外部出力することができる。また、Ｍ、Ｃ、Ｇ、Ｙの各カラーフィルタが搭載された一組の隣接画素を画素エリアにおける基本動作単位として扱ってもよい。
【００３５】
また、演算機能付き撮像素子の各画素に対して、オンチップ・レンズを配置してもよい。このような場合、各画素における光の集光度を高めることができるので、演算機能付き撮像素子がいずれの駆動制御モードで動作する場合であっても、その感度を向上させることができる。
【００３６】
【作用】
本発明に係る撮像素子は、通常の画像取得用撮像素子と同等面積の画素からなる光学エリアを有しているが、さらに複数の画素に共通の演算処理回路を持たせることによって、被写体の明るさが暗い場合、若しくは被写体の明るさを光電変換する時間が短い場合は、複数の画素の信号を同時に利用することによって明るさを補うことで感度の低下を避けることができる。この結果、ノイズの影響を受けずに被写体の明るさに基づく演算を正しく実行することが可能となる。
【００３７】
他方、被写体から充分な明るさが得られる場合には、一つ一つの画素を独立して演算に用いることによって、解像度の低下を避けることが可能となる。
【００３８】
本発明に係る撮像素子は、画素数が充分に多いので、オンチップ・カラーフィルタを採用することによって、容易にカラー化が可能である。また、本実施例に係る撮像素子は、画素サイズが小さいので、オンチップ・レンズによって光の集光度を高めることができ、感度アップが可能である。
【００３９】
また、本発明に係る撮像素子では、演算部における演算内容を、外部から与える駆動パルスの組み合わせ及びそのタイミングに応じて自由に変更することができる。したがって、単一の演算機能のみを持つ撮像素子には不可能であったさまざまな機能を単一の撮像素子上で実現することが可能となる。
【００４０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４１】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００４２】
図１には、本発明の実施例に係る撮像素子の構成を模式的に示している。同図に示すように、撮像素子は、画素エリアと、アナログ記憶エリアと、演算エリアと、デジタル記憶エリアと、出力エリアとで構成される。例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いることで、これらの機能モジュールを単一の回路チップ上に実装することができる。以下、撮像素子内の各部について説明する。
【００４３】
画素エリア１０内には、横方向にＭ個、縦方向にＮ個の画素１１が２次元的に配列されている。図示の通り、横方向に隣り合う２列の画素の出力信号は１本の垂直信号線１０１を共有し、各垂直信号線１０１の終端には画素外増幅部３１が接続されている。
【００４４】
アナログ記憶エリア２０内には、横方向にＭ／２個、縦方向にＮ／２個の記憶部２１が２次元的に配列されている。図示の通り、縦に並んだＮ／２個の記憶部２１は、１本の垂直増幅信号線１０２を共有し，各垂直増幅信号線１０２の終端には対応する前述の画素外増幅部３１が接続されている。また、垂直増幅信号線１０２は、演算エリア３０内の演算部３２にも接続されている。但し、１つの記憶部２１には，複数のアナログ・メモリが内蔵されているものとする。
【００４５】
演算エリア３０内には、画素外増幅部３１と演算部３２がそれぞれＭ／２個ずつ配置されている。各画素外増幅部３１の入力には、画素エリア１０からの対応する垂直信号線１０１がそれぞれ接続されている。また、各画素外増幅部３１の出力は、垂直増幅信号線１０２を介して、対応する演算部３２とアナログ記憶エリア２０内の記憶部２１に接続されている。一方、演算部３２の出力は、演算出力信号１０３として、デジタル記憶エリア４０内の複数のデジタル・メモリ４１によって共有されている。
【００４６】
デジタル記憶エリア４０内には、Ｍ×Ｎ個のデジタル・メモリ４１が、画素１１に対応して２次元的に配列されている。各演算部３２が出力する演算出力信号１０３は、対応するデジタル・メモリ４１のライト・イネーブル信号として作用している。デジタル・メモリ４１の入力には，撮像素子内部あるいは外部から供給されるデジタル信号（後述）が接続されており、前述のライト・イネーブル信号に従って書き込まれるようになっている。また、縦方向に１列に並んだＮ個からなるデジタル・メモリ４１の出力は、そのビット数に応じた幅のデジタル信号線であるメモリ・バス１０４を共有している。各メモリ・バス１０４は、出力エリア５０内の対応する出力部５１に接続されている。
【００４７】
出力エリア５０内では、出力部５１がＭ個並設されている。各出力部５１の入力にはデジタル記憶エリア４０内の対応するデジタル・メモリ４１の出力であるメモリ・バス１０４が接続されている。また、各出力部５１の出力は、デジタル列出力１０５となっている。このデジタル列出力１０５のデータ幅は、必ずしもメモリ・バス１０４のデータ幅と同じである必要はなく、出力部５１での処理内容に応じたビット幅にすることができる。
【００４８】
図１に示した撮像素子では、Ｍ×Ｎ個の画素１１が画素エリア１０内にまとめて配置してあり、しかも画素１１内部には特別な演算回路を保有しない構成となっている。このような回路構造を採用することによって、画素サイズを通常のイメージ・センサすなわちＣＣＤ等と同程度にすることができる。その結果、同程度の数の画素(解像度)を持ち、なおかつ演算機能を搭載した撮像素子を実現することができる。
【００４９】
図２には、図１に示した撮像素子構造から、基本動作単位を抜粋して図解している。ここで言う基本動作単位は、４個の画素と、１本の垂直信号線と、１個の画素外増幅部と、１個の記憶部と、１本の垂直増幅信号線と、１個の演算部と、４個のデジタル・メモリと、２個の出力部とで構成される。
【００５０】
また、図３には、単位画素の構成例を、図４には、単位画素に対応するアナログ記憶部の構成例を、それぞれ示している。
【００５１】
図２〜図４に示す例において、基本動作単位における画素数を４個とした場合の１つの用途は、単板式カラー撮像素子のカラーフィルタを採用することを想定しているからである。すなわち、例えば補色フィルタを用いる場合、４個の画素は、それぞれマゼンダ（Ｍ），グリーン（Ｇ），シアン（Ｃ），イエロー（Ｙ）のカラー・フィルタに対応している。あるいは、原色フィルタを用いる場合には、４個の画素は、それぞれレッド（Ｒ），グリーン（Ｇ１），ブルー（Ｂ），再びグリーン（Ｇ２）のカラーフィルタに対応させてもよい。
【００５２】
また、基本動作単位となる画素数を４個（又は複数個）とした場合の他の用途として、このように複数の画素をまとめて処理できる構造にしておくことで、例えば、そもそも被写体の明るさが低かったり、光の蓄積時間が短くて1個の画素から得られる信号が弱い場合であっても、複数の画素信号を同時に利用することによって、信号レベルの低下を避けることが可能となる。
【００５３】
以下、図３及び図４を適宜参照しながら、図２に示す基本動作単位の構造及び動作特性について詳解する。
【００５４】
各色のカラーフィルタに割り当てられた４個の画素１１は、共通の垂直信号線１０１に接続されている。図３に示すように、各画素においては、被写体の明るさに応じた入射光が蓄積時間中に受光部１２で光電変換された後、画素内増幅部１３及び読出し部１４を通って、この垂直信号線１０１に順次出力されるようになっている。
【００５５】
各画素１１の動作は、画素内増幅部１３に供給されているリセット・パルス１１２（φＲＳＴ）、受光部１２に供給されている転送パルス１１３（φＰＴＸ）、読出し部１４に供給されている画素信号読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ。但し、φＲＤ_Ｇ以外は図３には図示されていない）によって制御される。さらに、画素内増幅部１３には、そのリセット・レベルを設定するリセット電圧１１１（ＶＲＳＴ）が供給されている。
【００５６】
本実施例では、リセット・パルス１１２（φＲＳＴ）と転送パルス１１３（φＰＴＸ）は基本動作単位となる４個の画素間で共通とし、４個の画素における光の蓄積タイミングが一致するようになっている。すなわち、基本動作単位となる４個の画素の間では、各々の画素内増幅部１３が、リセット・パルス１１２（φＲＳＴ）によってリセット電圧１１１（ＶＲＳＴ）で決まるリセット・レベルに同時にリセットされた後、転送パルス１１３（φＰＴＸ）を印加することによって、受光部１２において光電変換された信号がそれぞれの画素内増幅部１３へ同時に転送されるようになっている。ある１つの転送から次の転送までの時間間隔が画素における光の蓄積時間となる。
【００５７】
画素１１の内部で転送された信号は、画素信号読出しパルス（例えば、Ｇの画素に対してはφＲＤ_Ｇ）が印加されて初めて、画素１１の外部、より具体的には垂直信号線１０１によって画素外増幅部３１へ伝わるようになっている。
【００５８】
再び図２に戻って説明する。垂直信号線１０１は、その終端が画素外増幅部３１に接続されている。画素外増幅部３１は、基本動作単位となる各画素１１からの出力信号が後続の処理に必要なレベルにまで増幅するようになっている。画素外増幅部３１には、増幅部読出しパルス１３７（φＣＲＤ）が与えられており、先述の４つの画素信号読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）に同期して各画素１１からの出力信号が画素外増幅部３１へ送り込まれ、増幅されるようになっている。画素外増幅部３１の出力は、垂直増幅信号線１０２に接続されており、ここで増幅された信号は記憶部２１並びに演算部３２に出力される。
【００５９】
記憶部２１内部には、１つの画素につき２個、すなわち基本動作単位では計８個のアナログ・メモリ２２が配置されている。各々のアナログ・メモリ２２は垂直増幅信号線１０２を共有しており、後述する制御信号の規則に従って、増幅された信号を記憶したり、記憶しておいた信号を読み出したりすることができる。
【００６０】
ここで、図４を参照しながら、アナログ・メモリ２２について説明する。
【００６１】
８個のアナログ・メモリ２２は、２個ずつが１つの画素に対応している。すなわち、Ｇ，Ｍ，Ｃ，Ｙの各画素に対応して、アナログ・メモリ１Ｇ及び２Ｇ、１Ｍ及び２Ｍ、１Ｃ及び２Ｃ、１Ｙ及び２Ｙが配置されている。また、各アナログ・メモリ２２には、アナログ・メモリ読出しパルス１２１〜１２８（φＡＭＲ_１Ｇ，φＡＭＲ_２Ｇ，φＡＭＲ_１Ｍ，φＡＭＲ_２Ｍ，φＡＭＲ_１Ｃ，φＡＭＲ_２Ｃ，φＡＭＲ_１Ｙ，φＡＭＲ_２Ｙ）、並びに、アナログ・メモリ書き込みパルス１２９〜１３６（φＡＭＷ_１Ｇ，φＡＭＷ_２Ｇ，φＡＭＷ_１Ｍ，φＡＭＷ_２Ｍ，φＡＭＷ_１Ｃ，φＡＭＷ_２Ｃ，φＡＭＷ_１Ｙ，φＡＭＷ_２Ｙ)がそれぞれ与えられている。
【００６２】
アナログ・メモリ読出しパルスが印加されたアナログ・メモリ２２からは、垂直増幅信号線１０２を介して信号を読み出される。また、アナログ・メモリ書き込みパルスが印加されたアナログ・メモリ２２には、垂直増幅信号線１０２に現れている信号を記憶することができる。
【００６３】
再び図２に戻って説明する。
【００６４】
垂直増幅信号線１０２は、アナログ・メモリ２２とともに、演算部３２にも接続されている。アナログ・メモリ２２に記憶され、又は読み出された信号を、後述する制御信号に従って演算部３２へ伝えることができる。
【００６５】
演算部３２では、アナログ・メモリ２２から入力された読出し信号を演算するとともに、該演算結果を演算出力信号１０３として出力し、その出力信号は各画素に対応するデジタル・メモリ４１のライト・イネーブル信号として作用する。演算部３２には、演算パルス１３８（φＯＰ）並びに演算読出しパルス１３９（φＰＲＤ）が与えられている。そして、演算部３２は、演算パルス１３８（φＯＰ）が印加されている期間に入力された２つの信号の大小比較を行い、演算読出しパルス１３９（φＰＲＤ）が印加されている間に、その比較結果を、例えばロー又はハイ・レベルの演算出力信号１０３として出力するようになっている。
【００６６】
本実施例では、１画素につき１個のデジタル・メモリ４１が用意されている。各デジタル・メモリ４１のビット数は、処理する信号に最適な数を設定され（例えば、１６ビット）、そのビット数に相応するビット幅のデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）が接続されている。このデジタル・データ入力信号１４１は、撮像素子内部のデジタル回路で発生された信号でもよいし、撮像素子外部から供給される信号であってもよい。
【００６７】
各画素に対応したデジタル・メモリ４１には、チップ選択信号１４２〜１４５（φＣＳ_Ｇ，φＣＳ_Ｍ，φＣＳ_Ｃ，φＣＳ_Ｙ。但し、φＣＳ_Ｇ以外は図２には図示されていない)が与えられており、チップ選択信号によって選択されたデジタル・メモリ４１のみが書き込み若しくは読出し動作が可能となる。また、デジタル・メモリ４１の出力は、そのメモリ・ビット数に応じたビット幅を持つデジタル信号線すなわちメモリ・バス１０４経由で出力部５１に接続されている。
【００６８】
演算部３２からの演算出力信号１０３がライト・イネーブル信号となっているので、ライト・イネーブル信号が印加されているときには、チップ選択信号によって選択されているデジタル・メモリのみに、撮像素子内部もしくは外部から供給されるデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）が記憶されるようになっている。他方、デジタルメモリ４１へのライト・イネーブル信号が印加されていないときには、チップ選択信号が印加されたデジタル・メモリ４１に記憶されていた信号がメモリ・バス１０４に読み出され、出力部５１へ伝送されるようになっている。
【００６９】
出力部５１では，後述する制御信号に同期して、画素毎のデジタル出力を撮像素子の外部へ出力するようになっている。すなわち、図示の通り、出力部５１は垂直に並んだ画素の基本単位の個数だけ並設されている。各出力部５１には、デジタル・メモリ出力パルス１５１（φＰＯＵＴ）が逐次的に与えられており、該入力に同期して、対応するデジタル・メモリ４１からメモリ・バス１０４を介して読み出された信号が、出力部５１を通してデジタル列出力１０５として、撮像素子の外部へデジタルの画素信号となって出力される。
なお、画像１１，記憶部２１，画素外増幅部２１，演算部３２等を動作させるためのパルスは駆動制御部（図示せず）から供給されて、この駆動制御部によって各部の駆動が制御される。
【００７０】
次いで、図５を参照しながら、図２の基本動作単位における動作タイミングについて説明する。
【００７１】
一般に、光強度の時間的な変化をできるだけ高速に演算するためには、光の蓄積時間はできるだけ短い方がよい。しかしながら、蓄積時間が短くなると、１回の演算で利用する１つの画素から得られる光電変換された信号は当然弱くなるので、その分だけ演算過程でノイズの影響を受け易くなる。本実施例に係る撮像素子によれば、このような蓄積時間の短い状態での演算を行う場合には、後述するように、複数の（すなわち基本動作単位となる）画素の出力信号を同時に利用することによって、単体の画素の信号だけを用いる場合よりも信号量を増やし、ノイズの影響を低減することが可能となる。
【００７２】
本実施例に係る撮像素子は、モードＡからモードＤまで４通りの動作モードで駆動することができる。これら４つの動作モードは、アナログ・メモリ２２への信号記憶動作ならびに読出し動作を逐次的に行い、結果として時間軸に沿った一種の微分処理を連続して行うことを可能とするものである。以下、各動作モードについて説明する。
【００７３】
モードＡ：
モードＡでは、まず、画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）を印加することによって画素Ｍと画素Ｃから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_１Ｍ（１３１）を印加することによってこれら読み出し信号を画素Ｍに対応するアナログ・メモリ１Ｍに記憶する。
【００７４】
続いて、同じくモードＡの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）を印加することによって画素Ｇと画素Ｙから信号を読み出し、さらにアナログメモリ書き込みパルスφＡＭＷ_１Ｇ（１２９）を印加することによってこれら読み出し信号を画素Ｇに対応するアナログ・メモリ１Ｇに記憶する。
【００７５】
上記の動作においては、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）と同時に印加することで、画素外増幅部３１で増幅された信号が、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶されるようになっている。
【００７６】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｇ（１２２）、φＡＭＲ_１Ｙ（１２７）を印加することによって、画素Ｍに対するアナログ・メモリ２Ｍ、画素Ｃに対するアナログ・メモリ１Ｃ、画素Ｇに対するアナログ・メモリ２Ｇ、そして画素Ｙに対するアナログ・メモリ１Ｙに記憶されていた各信号を同時に読み出すとともに、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００７７】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｃ（１２６）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｙ（１２８）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ、画素Ｃに対するアナログ・メモリ２Ｃ、画素Ｇに対するアナログ・メモリ１Ｇ、そして画素Ｙに対するアナログ・メモリ２Ｙに記憶されていた各信号を同時に読み出して、これらを一括して演算部３２に入力する。
【００７８】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【００７９】
そして、デジタル・メモリ４１を選択するチップ選択信号としてφＣＳ_Ｍ（１４３）が印加されているので、上記演算結果としては、ライト・イネーブル信号に応じて、画素Ｍに対応するデジタル・メモリ４１にデジタル・データ入力信号１４１が記憶される。
【００８０】
モードＢ：
モードＢでは、まず画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）を印加することによって画素Ｍと画素Ｃから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_２Ｍ（１３２）を印加することによってこれら読み出し信号を画素Ｍに対応するアナログ・メモリ２Ｍに記憶する。
【００８１】
続いて、同じくモードＢの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）を印加することによって画素Ｇと画素Ｙから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_２Ｇ（１３０）を印加することによってこれら読み出し信号を画素Ｇに対応するアナログ・メモリ２Ｇに記憶する。
【００８２】
この動作モード下でも、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ)と同時に印加することで、画素外増幅部３１で増幅された信号を、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶するようになっている。
【００８３】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｃ（１２６），φＡＭＲ_１Ｙ（１２７），φＡＭＲ_２Ｙ（１２８）を印加することによって、画素Ｃに対するアナログ・メモリ１Ｃ、アナログ・メモリ２Ｃ、画素Ｙに対するアナログ・メモリ１Ｙ、並びにアナログメモリ２Ｙに記憶されていた信号を同時に読み出して、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００８４】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｇ（１２２）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ並びにアナログ・メモリ２Ｍ、画素Ｇに対するアナログ・メモリ１Ｇ並びにアナログ・メモリ２Ｇに記憶されていた各信号を同時に読み出して、これらを一括して演算部３２に入力する。
【００８５】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【００８６】
そして、デジタル・メモリ４１を選択するチップ選択信号として、やはりφＣＳ_Ｍ（１４３）が印加されているので、上記演算結果として、ライト・イネーブル信号に応じて、画素Ｍに対応するデジタル・メモリ４１にデジタル・データ入力信号１４１が記憶される。
【００８７】
モードＣ：
モードＣでは、まず画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）を印加することによって画素Ｍと画素Ｃから信号を読み出して、さらにアナログ・メモリ書き込みパルスφＡＭＷ_１Ｃ（１３３）を印加することによってこれら読み出し信号を画素Ｃに対応するアナログ・メモリ１Ｃに記憶する。
【００８８】
続いて、同じくモードＣの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）を印加することによって画素Ｇと画素Ｙから信号を読み出して、さらにアナログ・メモリ書き込みパルスφＡＭＷ_１Ｙ（１３５）を印加することによってこれら読み出し信号を画素Ｙに対応するアナログ・メモリ１Ｙに記憶する。
【００８９】
この動作モード下でも、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）と同時に印加することで、画素外増幅部３１で増幅された信号を、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶するようになっている。
【００９０】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｃ（１２６）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｙ（１２８）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ、画素Ｃに対するアナログ・メモリ２Ｃ、画素Ｇに対するアナログ・メモリ１Ｇ、そして画素Ｙに対するアナログ・メモリ２Ｙに記憶されていた信号を同時に読み出して、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００９１】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｇ（１２２）、φＡＭＲ_１Ｙ（１２７）を印加することによって画素Ｍに対するアナログ・メモリ２Ｍ、画素Ｃに対するアナログ・メモリ１Ｃ、画素Ｇに対するアナログ・メモリ２Ｇ、そして画素Ｙに対するアナログ・メモリ１Ｙに記憶されていた各信号を同時に読み出して、一括して演算部３２に入力する。
【００９２】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【００９３】
そして、上記の演算結果により、チップ選択信号１４３（φＣＳ_Ｍ）を印加することによって、ライト・イネーブル信号に応じて、画素Ｍに対応するデジタルメモリ４１にデジタル・データ入力信号１４１が記憶される。
【００９４】
モードＤ：
モードＤでは、まず画素読出しパルスφＲＤ_Ｍ（１１５）とφＲＤ_Ｃ（１１６）によって画素Ｍと画素Ｃから信号を読み出し、さらにアナログ・メモリ書き込みパルスφAMW_2C(134)を印加することによってこれら読み出し信号を画素Ｃに対応するアナログ・メモリ２Ｃに記憶する。
【００９５】
続いて、同じくモードＤの期間内で、画素読出しパルスφＲＤ_Ｇ（１１４）とφＲＤ_Ｙ（１１７）によって画素Ｇと画素Ｙから信号を読み出し、さらにアナログ・メモリ書き込みパルスφＡＭＷ_２Ｙ（１３６）を印加することによってこれら読み出し信号を画素Ｙに対応するアナログメモリ２Ｙに記憶する。
【００９６】
この動作モード下でも、増幅部読出しパルス１３７（φＣＲＤ）を、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）と同時に印加することで、画素外増幅部３１で増幅された信号を、垂直増幅信号線１０２を経由して対応するアナログ・メモリ２２に記憶するようになっている。
【００９７】
さらに続いて、アナログ・メモリ読出しパルスφＡＭＲ_１Ｍ（１２３）、φＡＭＲ_２Ｍ（１２４）、φＡＭＲ_１Ｇ（１２１）、φＡＭＲ_２Ｇ（１２２）を印加することによって、画素Ｍに対するアナログ・メモリ１Ｍ並びにアナログ・メモリ２Ｍ、画素Ｇに対するアナログ・メモリ１Ｇ並びにアナログ・メモリ２Ｇに記憶されていた信号を同時に読み出して、演算パルスφＯＰ（１３８）を印加することによって、それらの信号を一括して演算部３２に入力する。
【００９８】
そして今度は、アナログ・メモリ読出しパルスφＡＭＲ_１Ｃ（１２５）、φＡＭＲ_２Ｃ（１２６）、φＡＭＲ_１Ｙ（１２７）、φＡＭＲ_２Ｙ（１２８）を印加することによって画素Ｃに対するアナログ・メモリ１Ｃ並びにアナログ・メモリ２Ｃ、画素Ｙに対するアナログ・メモリ１Ｙ並びにアナログ・メモリ２Ｙに記憶されていた信号を同時に読み出して、一括して演算部３２に入力する。
【００９９】
このとき、演算部３２では、最初に一括して入力された４つの信号の合計と後で一括して入力された４つの信号の合計を比較した結果を、演算読出しパルスφＰＲＤ（１３９）が印加されている期間に、デジタル・メモリ４１のライト・イネーブル信号として演算出力信号１０３を出力する。
【０１００】
そして，画素Ｍに対するデジタル・メモリ４１のチップ選択信号φＣＳ_Ｍ（１４３）を印加することによって、このデジタル・メモリ４１にのみ、そのときのデジタル・データ入力信号１４１を記憶するようになっている。
【０１０１】
なお、上述したモードＡからモードＤにおいては、リセット・パルス１１２（φＲＳＴ）と転送パルス１１３（φＰＴＸ）はいずれも、画素読出しパルス１１４〜１１７（φＲＤ_Ｇ，φＲＤ_Ｍ，φＲＤ_Ｃ，φＲＤ_Ｙ）の前に与えられているので、モードが切り替わる毎に新たに光電変換された信号を演算に用いるようになっている。
【０１０２】
このように、モードＡからモードＤまでの４通りの動作モードを繰り返して実行する場合、１つのモード期間内で光電変換された２個ずつの画素の合計信号レベルをｆ（ｋ）とおくと、下式に示すような時間軸に沿った信号の微分に相当する演算処理を行うことが可能となる（但し、ｋは時間のサンプリングを示すインデックス）。
【０１０３】
【数１】
ｆ(ｆ)＋ｆ(ｋ−１)−{ｆ(ｋ−２)＋ｆ(ｋ−３)} （式１）
【０１０４】
これを表にすると下のようになる。
【０１０５】
【表１】
上表で、１Ｍや２Ｇと表記してあるのは、それぞれ画素Ｍのアナログ・メモリ１Ｍ、画素Ｇのアナログ・メモリ２Ｇに記憶してある信号を意味している。例えばサンプリング時刻ｋ−４のときは、時刻ｋ−４，ｋ−５，ｋ−６，ｋ−７という連続するサンプリング時刻における各画素の信号を用いて、下式に示すようにモードＡにおける演算を行うことができる。
【０１０７】
【数２】
（１Ｍ＋１Ｇ＋２Ｃ＋２Ｙ）−（１Ｃ＋１Ｙ＋２Ｍ＋２Ｇ） (式2)
【０１０８】
同様に、次のサンプリング時刻ｋ−３では、下式に示すようにモードＢにおける演算を行うことができる。
【０１０９】
【数３】
（２Ｍ＋２Ｇ＋１Ｍ＋１Ｇ）−（２Ｃ＋２Ｙ＋１Ｃ＋１Ｙ） （式３）
【０１１０】
以上のような順番でｋ−２，ｋ−１，…と演算を続けることによって、結果として（式１）の演算を行っていることになる。
【０１１１】
しかも、この場合は４個の画素内でそれぞれ光電変換された信号を読み出しているので、各１つの画素出力だけでは信号レベルの低い微弱な光に対する信号の時間的変化を求めることができる。もちろん、同時に処理する画素数を画素４個ではなく、６個、８個というように基本動作単位の画素数を増加させていけば、さらに弱い光に対する演算処理も可能となる。
【０１１２】
なお、図５に示す動作タイミング・チャートでは、デジタル・メモリ４１からの読出しタイミングは示されていないが、必要な回数だけモードＡ，Ｂ，Ｃ，Ｄ，Ａ，Ｂ，Ｃ，Ｄ，…という具合に逐次的に処理を行い、その後、デジタル・メモリ出力パルス１５１（φＰＯＵＴ）を記憶に用いたデジタル・メモリ４１の個数だけ順次発生させると同時に、読み出すべきデジタル・メモリ４１に対してチップ選択信号（この例の場合はφＣＳ_Ｍ）を印加して、メモリ・バス１０４から出力部５１を介してデジタル列出力１０５を得ることができる。
【０１１３】
次いで、画素が受光する光強度（明るさ）をデジタル信号に変換して出力する時の動作タイミングについて説明する。
【０１１４】
本実施例に係る撮像素子の動作の場合、１回の蓄積時間は短いものの、画素から読み出された信号は逐次加算されていくので、信号レベルの低下は避けることができる（前述）。したがって、画素一つ一つを独立して演算に用いることができ、解像度の低下も避けることができる。しかも、オンチップ・カラーフィルタが採用されている場合には、１チップ・カラー撮像素子としてカラー出力も可能となる。
【０１１５】
まず、図６を用いて、図３に示す単位画素においてアナログ量である明るさをデジタル量に変換する原理について説明する。
【０１１６】
ＶＦＤは、図３に示す画素１１における画素内増幅部１３の信号電圧レベルである。通常の動作では画素内増幅部１３にリセット・パルス１１２（φＲＳＴ）を与えることによって、ＶＦＤには電源電圧に設定されたリセット電圧１１１（ＶＲＳＴ）によって決まるリセット・レベルに設定されている。
【０１１７】
この状態で画素１１に光が照射されると、受光部１２には光電変換によって発生した電子が蓄積される。そして、受光部１２に転送パルス１１３（φＰＴＸ）を印加することによって、蓄積された電子を画素内増幅部１３に転送すると、信号電圧レベルＶＦＤは先のリセット・レベルから低下する。
【０１１８】
信号電圧レベルＶＦＤの電圧が低下する度合いは、転送される電子の量、すなわち受光部１２への入射光強度に比例している。したがって，明るい光が入射されるほど信号電圧レベルＶＦＤの低下は急峻となり、逆に暗いほどＶＦＤは緩やかに低下することになる。
【０１１９】
このような性質を利用すれば、例えば図６に示すグラフにおいて、ラインＨで示される明るい光、ラインＭの中間の明るさの光、そしてラインＬの暗い光のそれぞれの明るさレベルＶＨ，ＶＭ，ＶＬを、三角形の相似関係に基づき以下の式によって表現することができる。但し、ＴＨ，ＴＭ，ＴＬはそれぞれ、明るさを表すラインＨ，Ｍ，Ｌが、基準電圧に設定されたリセット電圧１１１（ＶＲＳＴ）によって決まる基準レベルと交差するときの時刻を表すものとする。
【０１２０】
【数４】
ＶＨ ＝ ＴＳ・ΔＶＲ／ＴＨ （式４）
ＶＭ ＝ ＴＳ・ΔＶＲ／ＴＭ （式５）
ＶＬ ＝ ＴＳ・ΔＶＲ／ＴＬ （式６）
【０１２１】
したがって、時刻ゼロから光の蓄積を始め、転送パルス１１３（φＰＴＸ）を印加する度に低下していく信号電圧レベルＶＦＤが基準レベルに達する瞬間の時刻を検出することによって、受光部１２において検出される明るさを時刻の関数として表現することが可能となる。
【０１２２】
このとき、転送パルス１１３（φＰＴＸ）を与えるタイミングを、サンプリング周期ΔＴ刻みの時間としてカウントすれば、信号電圧レベルＶＦＤが基準レベルに達する瞬間の時刻を明るさのデジタル量として得ることができる。
【０１２３】
また、信号電圧レベルＶＦＤの値を直接基準レベルと比較するのではなく、ＶＦＤが基準レベルであったときに画素から読み出される信号レベルを記憶しておき、光が照射されているときに転送パルス１１３（φＰＴＸ）を与える度に時々刻々変化するＶＦＤの値を画素１１から読み出される信号レベルと比較することによって、同様に明るさの検出が可能であるということは、上記の説明により当業者には容易に理解できるであろう。
【０１２４】
このようにして、明るさというアナログ量を、時間刻みでサンプリングされた時刻情報によって量子化されたデジタル量に変換することが可能な訳である。なお、デジタル量のビット数は、時刻情報のサンプリングの細かさに依存する。
【０１２５】
図７には、明るさの基準となる基準レベルに対応する画素出力信号をアナログ・メモリ２２に記憶する動作を示している。以下、同図を参照しながら該動作について説明する。
【０１２６】
まず、転送パルス１１３（φＰＴＸ）を印加して、光電変換された信号を受光部１２から画素内増幅部１３に掃き出す。但し、このときの出力信号は以降の処理では必要ないので、直ちにリセット・パルス１１２（φＲＳＴ）を印加して、電源電圧より低い基準電圧に設定されているリセット電圧１１１（ＶＲＳＴ）によって画素内増幅部１３をリセットする。
【０１２７】
そして、画素Ｍ、画素Ｃ、画素Ｇ、画素Ｙの順に、画素読出しパルスφＲＤ_Ｍ（１１５）、φＲＤ_Ｃ（１１６）、φＲＤ_Ｇ（１１４）、φＲＤ_Ｙ（１１７）を印加すると同時に、増幅部読出しパルス１３７（φＣＲＤ）及びアナログ・メモリ書き込みパルスφＡＭＷ_１Ｍ（１３１）、φＡＭＷ_１Ｃ（１３３）、φＡＭＷ_１Ｇ（１２９）、φＡＭＷ_１Ｙ（１３５）を印加することによって、アナログ・メモリ１Ｍ、アナログ・メモリ１Ｃ、アナログ・メモリ１Ｇ、アナログ・メモリ１Ｙの各々に対応する画素から出力されて画素外増幅部３１で増幅された基準レベルに相当する信号を記憶しておく。
【０１２８】
なお、この期間では、演算部３２やデジタル・メモリ４１は動作する必要ないので、それらに対する駆動パルスは発生させていない。
【０１２９】
図８には、図７に示す動作タイミングに従って記憶した基準レベル信号と光電変換された信号の比較を画素毎に行い、デジタル・メモリにその結果を格納する一連の動作を示したタイミング・チャートである
【０１３０】
まず、先頭の記憶期間では、各画素Ｍ、Ｃ、Ｇ、Ｙに対応するそれぞれのアナログ・メモリ２Ｍ、２Ｃ、２Ｇ、２Ｙに、先の基準信号記憶期間以降に光電変換された信号を記憶する。
【０１３１】
最初にリセット・パルス１１２（φＲＳＴ）を印加して、電源電圧に設定されたリセット電圧１１１（ＶＲＳＴ）（図示しない）によってそれぞれの画素における画素内増幅部１３をリセットする。
【０１３２】
その直後に転送パルス１１３（φＰＴＸ）を印加して、受光部１２で光電変換された信号を画素内増幅部１３へ転送する。
【０１３３】
そして、画素Ｍ、画素Ｃ、画素Ｇ、画素Ｙの順に、画素読出しパルスφＲＤ_Ｍ（１１５）、φＲＤ_Ｃ（１１６）、φＲＤ_Ｇ（１１４）、φＲＤ_Ｙ（１１７）を印加すると同時に、増幅部読出しパルス１３７（φＣＲＤ）及びアナログ・メモリ書き込みパルスφＡＭＷ_２Ｍ（１３２）、φＡＭＷ_２Ｃ（１３４）、φＡＭＷ_２Ｇ（１３０）、φＡＭＷ_２Ｙ（１３６）を印加することによって、アナログ・メモリ２Ｍ、２Ｃ、２Ｇ、２Ｙの各々に、対応する画素から読み出されて画素外増幅部３１で増幅された信号を記憶する。
【０１３４】
続いて、画素Ｍ、画素Ｃ、画素Ｇ、画素Ｙの順に、アナログ・メモリ１Ｍ、１Ｃ、１Ｇ、１Ｙに記憶された基準レベル信号とアナログ・メモリ２Ｍ、２Ｃ、２Ｇ、２Ｙそれぞれに記憶された画素信号の比較を行う。
【０１３５】
まず、演算パルス１３８（φＯＰ）が印加されている間に、まずアナログ・メモリ読出しパルス１２４（φＡＭＲ_２Ｍ）を印加することによってアナログ・メモリ２Ｍに記憶されている画素Ｍの信号を読み出し、次いで、アナログ・メモリ読出しパルス１２３（φＡＭＲ_１Ｍ）を印加することによってアナログ・メモリ１Ｍに記憶されている画素Ｍの基準レベル信号を演算部３２へ読み出す。
【０１３６】
そして、両者の信号レベルを比較して、演算読出しパルス１３９（φＰＲＤ）が印加されている間に画素Ｍに対応するデジタル・メモリ４１をチップ選択信号１４３（φＣＳ_Ｍ）によって選択する。例えば、基準レベル信号の方が読み出した画素信号よりも小さければ、そのときのデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）の値を画素Ｍに対応するデジタル・メモリ４１に書き込む。
【０１３７】
以上の処理が終了したら、演算パルス１３８（φＯＰ）を一旦ロー・レベルに戻して、再び該パルスを印加している間に、アナログ・メモリ読出しパルス１２６（φＡＭＲ_２Ｃ）を印加することによってアナログ・メモリ２Ｃに記憶されている画素Ｃの信号を読み出し、次いで、アナログ・メモリ読出しパルス１２５（φＡＭＲ_１Ｃ）を印加することによって、アナログ・メモリ１Ｃに記憶されていた画素Ｃの基準レベル信号を演算部３２へ読み出す。
【０１３８】
そして、両者の信号レベルを比較して、演算読出しパルス１３９（φＰＲＤ）が印加されている間に画素Ｃに対応するデジタル・メモリ４１をチップ選択信号１４４（φＣＳ_Ｃ）によって選択する。例えば、基準信号の方が読み出した画素信号より小さければ、そのときのデジタル・データ入力信号１４１（ＤＡＴＡ_ＩＮ）の値を画素Ｃに対応するデジタル・メモリ４１に書き込む。
【０１３９】
上述と同様の処理をさらに画素Ｇ並びに画素Ｙに対して実施することによって、４個の画素における比較演算処理を独立して行うことができる。このような処理をさらに、垂直信号線を共有しているすべての画素に対して順次同様に実行することによって、撮像素子上のすべての画素に対する演算処理を行うことができる。
【０１４０】
さて、上記で説明した動作では、ただ１回の光電変換された画素信号に対する処理しか行えないので、上記の演算動作を繰り返し実施する必要がある。
【０１４１】
光電変換された信号を読み出すときにリセット動作を行うと、先に読み出されていた信号がリセットされてしまう。そこで、２回目以降の処理では、リセットパルスφＲＳＴ（１１２）のみ印加せず、他の駆動パルスは全く同様に与えるようにすればよい。
【０１４２】
このようにすることによって、１度読み出された光電変換後の信号レベルに、さらに新たに光電変換された信号が足し合わされ、その値が基準レベル信号に到達するまで上記の処理を繰り返すことによって、明るさを時間情報に変化した結果を得ることができる。
【０１４３】
以上、撮像素子上で行う演算機能として２通りの例を紹介したが、これらはあくまでも本発明に係る撮像素子の機能の一部に過ぎない。本発明によれば、外部から供給する駆動パルスのタイミングや組み合わせによって、アプリケーションに応じた様々な演算を実行することが可能である。
【０１４４】
本発明に係る撮像素子では、このような多機能演算を実現するための部分、すなわち、アナログ記憶エリア２０、演算エリア３０、デジタル記憶エリア４０、出力エリア５０は、多数の画素１１が２次元的に並んで構成される画素エリア１０とは別に設けられている（図１を参照のこと）。したがって、画素数(解像度)の低下を招くことなく、演算処理を実現することが可能となのである。
【０１４５】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４６】
【発明の効果】
以上詳記したように、本発明によれば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）などの半導体製造技術を用いて小型・軽量に構成された、演算機能付きの優れた撮像素子を提供することができる。
【０１４７】
また、本発明によれば、充分な画素数と小さな画素サイズとを実現した、演算機能付きの優れた撮像素子を提供することができる。
【０１４８】
また、本発明によれば、オンチップ・カラーフィルタによりカラー画像の撮影が可能な演算機能付きの優れた撮像素子を提供することができる。
【０１４９】
本発明に係る撮像素子は、通常の画像取得用撮像素子と同等面積の画素からなる光学エリアを有しているが、さらに複数の画素に共通の演算処理回路を持たせることによって、被写体の明るさが暗い場合、若しくは被写体の明るさを光電変換するサンプリング間隔が短い場合は、複数の画素の信号を同時に利用することによって明るさを補うことで感度の低下を避けることができる。この結果、撮像素子は、ノイズの影響を受けずに被写体の明るさに基づく演算を正しく実行することが可能となる。
【０１５０】
他方、被写体から充分な明るさが得られる場合には、一つ一つの画素を独立して演算に用いることによって、解像度の低下を避けることが可能となる。
【０１５１】
本発明に係る撮像素子は、画素数が充分に多いので、オンチップ・カラーフィルタを採用することによって、容易にカラー化が可能である。また、本実施例に係る撮像素子は、画素サイズが小さいので、オンチップ・レンズによって光の集光度を高めることができ、感度アップが可能である。
【０１５２】
また、本発明に係る撮像素子では、演算部における演算内容を、外部から与える駆動パルスの組み合わせ及びそのタイミングに応じて自由に変更することができる。したがって、単一の演算機能のみを持つ撮像素子には不可能であったさまざまな機能を、単一の撮像素子上で実現することが可能となる。
【０１５３】
【図面の簡単な説明】
【図１】本発明の実施例に係る撮像素子の構成を模式的に示したブロック図である。
【図２】図１に示した撮像素子構造から、基本動作単位を抜粋して示した図である。
【図３】単位画素の構成例を示した図である。
【図４】アナログ記憶部の構成例を示した図である。
【図５】画素の基本動作単位における動作タイミング・チャートである。
【図６】単位画素において、アナログ量である明るさをデジタル量に変換する原理図である。
【図７】明るさの基準となる基準レベルに対応する画素出力信号をアナログ・メモリ２２に記憶する動作を示したタイミング・チャートである。
【図８】図７に示す動作タイミングに従って記憶した基準レベル信号と光電変換された信号の比較を画素毎に行い、デジタル・メモリにその結果を格納する一連の動作を示したタイミング・チャートである。
【符号の説明】
１０…画素エリア
１１…画素
１２…受光部
１３…画素内増幅部
１４…読出部
２０…アナログ記憶エリア
３０…演算エリア
３１…画素外記憶部
４０…デジタル記憶エリア
４１…デジタル・メモリ
５０…出力エリア
５１…出力部
Claims (12)
- それぞれ被写体の明るさを電気信号に変える受光部と該受光部出力を増幅する画素内増幅部と該画素内増幅部から画素外へ信号を読み出す読出し部とからなる複数の画素と、
各画素から読み出された信号を増幅する画素外増幅部と、
各画素から読み出された信号を記憶する複数の記憶部と、
１以上の記憶部から読み出された信号を演算する演算部と、
前記演算部による演算結果に応じて書き込み動作を行い、前記画素の信号レベルに応じたデジタルデータ信号を記憶するデジタル・メモリと、
デジタル・メモリ出力を外部に出力する出力部と、
前記各部の駆動を制御する駆動制御部とを具備し、
前記駆動制御部は、前記演算部に供給する駆動パルスの組み合わせ及びそのタイミングによって前記演算部における演算内容を決定することを特徴とする演算機能付き撮像素子。 - 前記演算部及び前記画素外増幅部は複数の画素間で共有されることを特徴とする請求項１に記載の演算機能付き撮像素子。
- 前記駆動制御部は、同じタイミングで検出した２個以上の画素読み出し信号を１つの記憶部に記憶させる駆動制御モードを有することを特徴とする請求項１に記載の演算機能付き撮像素子。
- 前記駆動制御部は、各タイミングで検出した２個以上の画素読み出し信号をそれぞれ同じ記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて該２個以上の画素における画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる駆動制御モードを有することを特徴とする請求項１に記載の演算機能付き撮像素子。
- 前記駆動制御部は、
各タイミングで検出した各画素の読み出し信号をそれぞれ別の記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて同じ画素におる画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第１の駆動制御モードと、
各タイミングで検出した２個以上の画素読み出し信号をそれぞれ同じ記憶部に記憶させるとともに、各記憶部から読み出された信号に基づいて該２個以上の画素における画素読み出し信号の時間軸に沿った比較処理を前記演算部に行わせる第２の駆動制御モードと、
を有することを特徴とする請求項１に記載の演算機能付き撮像素子。 - 前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめて基準信号レベルに対する被写体の明るさを出力する駆動制御モードを有することを特徴とする請求項１に記載の演算機能付き撮像素子。
- 各画素には各色のオンチップ・カラーフィルタが搭載され、
前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめて該画素における色信号を出力する駆動制御モードを有することを特徴とする請求項１に記載の演算機能付き撮像素子。 - 各画素にはオンチップ・レンズが搭載され、
前記駆動制御部は、ある画素の基準信号レベルに相当する画素読み出し信号を１つの記憶部に記憶させるとともに、該画素の被写体の明るさに相当する画素読み出し信号を他の記憶部に記憶させ、各記憶部から読み出された画素読み出し信号に基づいて基準信号レベルと被写体の明るさを前記演算部において比較処理せしめて基準信号レベルに対する被写体の明るさを出力する駆動制御モードを有することを特徴とする請求項１に記載の演算機能付き撮像素子。 - それぞれ被写体の明るさを電気信号に変える受光部と該受光部出力を増幅する画素内増幅部と該画素内増幅部から画素外へ信号を読み出す読出し部とからなる複数の画素が配列された画素エリアと、
各画素毎に２以上の記憶部が配置されたアナログ記憶エリアと、
各画素から読み出された信号を増幅する画素外増幅部並びに１以上の記憶部から読み出された信号を演算する演算部が配置された演算エリアと、
前記演算部による演算結果に応じて書き込み動作を行い、前記画素の信号レベルに応じたデジタルデータ信号を画素毎に記憶する複数のデジタル・メモリが配設されたデジタル記憶エリアと、
デジタル・メモリ出力を外部に出力する複数の出力部が配設された出力エリアと、
を具備することを特徴とする演算機能付き撮像素子。 - 前記画素エリアでは、所定数の隣接画素が基本動作単位として駆動することを特徴とする請求項９に記載の演算機能付き撮像素子。
- 前記演算部及び前記画素外増幅部は複数の画素間で共有されることを特徴とする請求項９に記載の演算機能付き撮像素子。
- さらに、前記演算部に供給する駆動パルスの組み合わせ及びそのタイミングによって前記演算部における演算内容を決定する駆動制御部を備えることを特徴とする請求項９に記載の演算機能付き撮像素子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000141797A JP4389347B2 (ja) | 2000-05-15 | 2000-05-15 | 演算機能付き撮像素子 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000141797A JP4389347B2 (ja) | 2000-05-15 | 2000-05-15 | 演算機能付き撮像素子 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001326857A JP2001326857A (ja) | 2001-11-22 |
| JP2001326857A5 JP2001326857A5 (ja) | 2007-03-01 |
| JP4389347B2 true JP4389347B2 (ja) | 2009-12-24 |
Family
ID=18648868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000141797A Expired - Fee Related JP4389347B2 (ja) | 2000-05-15 | 2000-05-15 | 演算機能付き撮像素子 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4389347B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7119341B2 (en) * | 2003-12-08 | 2006-10-10 | General Electric Company | Split scan line and combined data line x-ray detectors |
| KR101046817B1 (ko) * | 2003-12-29 | 2011-07-06 | 크로스텍 캐피탈, 엘엘씨 | 센싱 감도를 개선하기 위한 이미지 센서 및 그 구동 방법 |
| US7728893B2 (en) | 2004-11-02 | 2010-06-01 | Japan Science And Technology Agency | Imaging device and method for reading signals from such device |
| JP4765027B2 (ja) | 2005-07-29 | 2011-09-07 | 国立大学法人 奈良先端科学技術大学院大学 | 情報処理装置及び情報処理システム |
| JP2010268080A (ja) * | 2009-05-12 | 2010-11-25 | Canon Inc | 固体撮像装置 |
| US20170302872A1 (en) * | 2014-10-01 | 2017-10-19 | Sony Corporation | Solid-state imaging device, signal processing method, and electronic device |
| JP2021158982A (ja) * | 2020-03-31 | 2021-10-11 | ソニーグループ株式会社 | データ取得装置、データ取得方法及び生体試料観察システム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2532374B2 (ja) * | 1985-12-27 | 1996-09-11 | 株式会社日立製作所 | 固体撮像素子 |
| JP2884191B2 (ja) * | 1990-12-25 | 1999-04-19 | オリンパス光学工業株式会社 | 固体撮像装置 |
| JPH05145859A (ja) * | 1991-11-25 | 1993-06-11 | Hitachi Ltd | 固体撮像装置およびその制御方法 |
| JP3897389B2 (ja) * | 1996-02-22 | 2007-03-22 | キヤノン株式会社 | 光電変換装置の駆動方法及び光電変換装置 |
| JPH09238286A (ja) * | 1996-02-29 | 1997-09-09 | Toshiba Corp | デジタル光学センサ |
| JPH09247535A (ja) * | 1996-03-12 | 1997-09-19 | Toshiba Corp | 固体撮像装置 |
-
2000
- 2000-05-15 JP JP2000141797A patent/JP4389347B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001326857A (ja) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112911173B (zh) | 图像传感器 | |
| CN1732681B (zh) | 固态成像器件 | |
| US10218923B2 (en) | Methods and apparatus for pixel binning and readout | |
| JP5751524B2 (ja) | 画像を転送する方法、イメージ・センサシステム、およびイメージ・センサ | |
| US7436343B2 (en) | Solid state image pickup apparatus, camera and driving method of solid state image pickup apparatus | |
| CN101371564B (zh) | 为成像器中的电子稳定提供像素存储栅极电荷感测的方法及设备 | |
| JP5026951B2 (ja) | 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子 | |
| EP1271930B1 (en) | Image sensing apparatus capable of outputting image with converted resolution, its control method, and image sensing system | |
| CN101262565B (zh) | 摄像方法及摄像装置以及驱动装置 | |
| US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
| JP4423112B2 (ja) | 固体撮像装置および撮像システム | |
| TWI430657B (zh) | 利用可變敏感度像素之加強動態範圍 | |
| WO2017150240A1 (ja) | 固体撮像素子、駆動方法、および電子機器 | |
| JP2016012903A (ja) | 撮像素子、撮像方法、および電子機器 | |
| JP2017169143A (ja) | 撮像素子およびその駆動方法、および撮像装置 | |
| KR20110014089A (ko) | 고체 촬상 장치, 고체 촬상 장치의 아날로그-디지털 변환 방법 및 전자기기 | |
| US20170353683A1 (en) | Solid-state imaging device, method of driving the same, and electronic apparatus | |
| CN105763819A (zh) | 图像传感器和摄像设备 | |
| CN102209209A (zh) | 固体成像设备和摄像系统 | |
| CN102970494A (zh) | 摄像器件、摄像方法和电子设备 | |
| JP3906202B2 (ja) | 固体撮像装置およびそれを利用した撮像システム | |
| JP2019193184A (ja) | 撮像装置及び撮像装置の駆動方法 | |
| JP4389347B2 (ja) | 演算機能付き撮像素子 | |
| US20020154233A1 (en) | Imaging device ,and its drive control method | |
| US20070085924A1 (en) | Control circuit for reading out signal charges from main and subsidiary pixels of a solid-state image sensor separately from each other in interlace scanning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |