WO2018047642A1 - 撮像素子および撮像素子の動作方法、撮像装置、および電子機器 - Google Patents

Abstract

本開示は、撮像素子に対して、新たにメモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにする撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関する。 複数のアナログデジタル変換部の一部が、画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも一部以外のアナログデジタル変換部は、低解像度画像を構成する画素信号を用いた演算処理を実行する。本開示は、撮像素子に適用することができる。

Description

撮像素子および撮像素子の動作方法、撮像装置、および電子機器

　本開示は、撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関し、特に、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにした撮像素子および撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関する。

　撮像された画像のうち、過去画像と入力画像との差分をとることで物体領域を検出するフレーム間差分法とよばれる物体領域検出方法が一般的な技術として普及している。

　そこで、この技術を利用して、イメージセンサ内でフレーム間差分を実現するために画素毎にメモリを持ち、アナログ値を差分処理する方式が提案されている（非特許文献１参照）。

　また、背景画像と入力画像の差分をとることで物体領域を検出する背景差分法と呼ばれる技術が提案されている（非特許文献２参照）。

　さらに、時間方向に複数の画像の重み付平均をとることでノイズ除去を行う手法が提案されている。

S.Ma,J,Chen JSSCC1999, A Singl-Chip CMOS APS Camera with Direct Frame Difference Chris Stauffer, W.E.L Grimson, Adaptive background mixture models for real-time tracking

　しかしながら、非特許文献１に記載の技術では、画素毎にメモリを持つことでセンサが大型化する。また、単純なフレーム間差分では十分な検知性能が発揮できない恐れがある。

　また、非特許文献２に記載の技術の実現のためには、読み出し及び背景更新処理後の書き戻しが可能なフレームメモリの確保が必要となり、その機能をアナログ回路により実現すると回路が煩雑になってしまうため、一般的にはデジタルのフレームメモリに保持することになるが、面積が嵩むとともに、消費電力が大きくなってしまう。

　さらに、上述したノイズ除去の手法では、同様にフレームメモリに書き戻す必要があるため、やはりアナログ回路により実現すると煩雑になり、デジタルフレームメモリを別途確保する必要があり、消費電力および面積が大きくなる。

　本開示は、このような状況に鑑みてなされたものであり、特に、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにするものである。

　本開示の一側面の撮像素子は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像素子である。

　前記アナログデジタル変換部には、前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。

　少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。

　少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。

　少なくとも前記一部以外の前記アナログデジタル変換部には、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行させるようにすることができる。

　少なくとも前記一部以外の前記アナログデジタル変換部には、前記記憶部に記憶している、所定のタイミングの１フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きさせるようにすることができる。

　少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成させるようにすることができる。

　前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含ませるようにすることができる。

　前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算させ、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算させるようにすることができる。

　前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算させ、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算させるようにすることができる。

　前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算させ、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第１の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算させるようにすることができる。

　前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含ませるようにすることができる。

　前記演算部には、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算させるようにすることができる。

　前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像とすることができる。

　本開示の一側面の撮像素子の動作方法は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像素子の動作方法である。

　本開示の一側面の撮像装置は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像装置である。

　本開示の一側面の電子機器は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する電子機器である。

　本開示の一側面においては、複数の画素が２次元のアレイ状に配設された画素アレイにより、入射光の光量に応じた画素信号が生成され、前記複数の画素が配列された列ごとに設けられた複数のアナログデジタル変換部により、前記画素信号がアナログ信号からデジタル信号に変換され、前記複数のアナログデジタル変換部の一部により、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号がアナログデジタル変換され、少なくとも前記一部以外の前記アナログデジタル変換部により、前記低解像度画像を構成する画素信号を用いた演算処理が実行される。

　本開示の一側面によれば、画像処理に使用することがないカラムAD回路を利用することで、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現することが可能となる。

従来の撮像素子の構成例を説明する図である。 従来の撮像素子の構成例を説明する図である。 本開示の技術を適用した撮像素子の構成例を説明する図である。 図３のカラムAD回路の詳細な構成例を説明する図である。 図３のカラムAD回路の撮像時の詳細な動作例を説明する図である。 図３のカラムAD回路の演算時の詳細な動作例を説明する図である。 図３のカラムAD回路の動作例を説明する図である。 図３の撮像素子によるフレーム間差分演算処理を説明するフローチャートである。 カラムAD回路内のメモリを用いた１フレーム単位での画素信号のシフト処理を説明する図である。 カラムAD回路内のメモリを用いた１フレームおきでの画素信号のシフト処理を説明する図である。 カラムAD回路内のメモリを用いたＮフレームおきでの画素信号のシフト処理を説明するフローチャートである。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算を実現する演算回路の構成例を説明するブロック図である。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算を説明するブロック図である。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算の従来の構成と比較した優位性を説明するブロック図である。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算処理を説明するフローチャートである。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算を実現する演算回路の第１の応用例を説明するブロック図である。 図１６の撮像素子による、カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算処理を説明するフローチャートである。 カラムAD回路内のメモリを用いてリングバッファを構成するときの第２の応用例として、ノイズ除去処理を実現する演算回路の構成例を説明するブロック図である。 図１８の撮像素子による、カラムAD回路内のメモリを用いてリングバッファを構成するときのノイズ除去処理を説明するフローチャートである。 カラムAD回路内の変形例を説明する図である。 図２０のカラムAD回路により実現可能な演算回路の例を説明する図である。 図２０のカラムAD回路により実現可能な演算回路を組み合わせることで実現される演算処理を説明する図である。 図２０のカラムAD回路において、水平転送線を接続する場合の構成例を説明する図である。 本開示のカメラモジュールを適用した電子機器としての撮像装置の構成例を示すブロック図である。 本開示の技術を適用したカメラモジュールの使用例を説明する図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　＜一般的な撮像素子の構成例＞
　（前景画像と背景画像とを抽出する撮像素子の構成例）
　過去画像と入力画像の差分をとることで動物体領域の検出を行うという従来技術（フレーム間差分法）がある。そこで、例えば、上述した非特許文献１で示されるように、撮像素子（イメージセンサ）内でフレーム間差分を実現するために画素毎にメモリを設けて、アナログ回路により差分処理する方式が提案されている。

　また、非特許文献２で示されるように、背景画像と入力画像の差分をとることで物体領域を検出する背景差分法と呼ばれる手法を撮像素子内で実現する技術が提案されている。この場合、背景画像を格納するメモリの構成が必須となるので、装置構成が大型化してしまう上、入力画像が供給される毎に、背景画像を更新するために読出し、さらに、更新した背景画像を上書きするため、動作が複雑なものとなり、装置構成も複雑なものとなる。

　より詳細には、上述する撮像素子１は、例えば、図１で示されるように、AD（Analog Digital）変換部１１、画像縮小化部１２、デジタルフレームメモリ１３、背景更新アルゴリズム処理部１４、減算部１５、絶対値化部１６、および閾値処理部１７より構成されている。

　AD変換部１１は、図視せぬ画素アレイより供給されてくるアナログ信号からなる画素信号をデジタル信号に変換し、画像縮小化部１２に出力する。

　画像縮小化部１２は、デジタル信号に変換された画素信号の解像度を低減するように画像を縮小し、デジタルフレームメモリ１３に記憶させるとともに、減算部１５に出力する。

　デジタルフレームメモリ１３は、画像縮小化部１２より供給されてきた縮小された画像信号を格納するとともに、背景更新アルゴリズム処理部１４に供給し、さらに、背景更新アルゴリズム処理部１４の処理結果を上書きする。

　背景更新アルゴリズム処理部１４は、画像縮小化部１２より供給されてくる入力画像である縮小画像を用いて背景画像を更新し、デジタルフレームメモリ１３に書き戻す。すなわち、この処理によりデジタルフレームメモリ１３に、背景画像が順次更新されて保持されることになる。

　減算部１５は、画像縮小化部１２より供給されてくる縮小画像と、デジタルフレームメモリ１３に記憶されている、背景更新アルゴリズム処理部１４により背景更新アルゴリズム処理された背景画像との差分を求めて、前景画像を絶対値化部１６に供給する。

　絶対値化部１６は、入力画像である縮小画像と背景画像との差分値の絶対値を求めて、差分画像を構成する。

　閾値処理部１７は、差分画像における差分値valと閾値thとの比較により、閾値より多きい画素の画素値を１とし、それ以外の画素を０とする２値化処理により、動画像からなる前景領域を推定する。

　次に、図１の撮像素子の動作について説明する。

　まず、AD変換部１１がアナログ信号の画像信号をデジタル信号に変換する。次に、画像縮小化部１２は、デジタル信号に変換された画像信号を縮小化して低解像度化し、デジタルフレームメモリ１３に格納させる。

　次に、背景更新アルゴリズム処理部１４は、デジタルフレームメモリ１３に順次格納されてくる画像信号を用いて、背景画像を更新して書き戻す処理を繰り返す。

　減算部１５は、縮小画像とデジタルフレームメモリ１３に格納されている背景画像との差分を求めて絶対値化部１６に出力する。

　絶対値化部１６は、入力画像である縮小画像と、デジタルフレームメモリ１３より読み出される背景画像との差分絶対値からなる差分画像を閾値処理部１７に供給する。

　閾値処理部１７は、この差分画像の各画素の画素値valと閾値thとを比較し、大きな画素の画素値を１とし、それ以外の画素の画素値を０とする２値化画像とすることで、動画像からなる前景領域を推定する画像を出力する。

　この図１の撮像素子１の場合、背景画像を順次更新するためにデジタルフレームメモリ１３が必須の構成となり、このため、装置が大型化してしまう。

　また、背景更新アルゴリズム処理部１４は、デジタルフレームメモリ１３に格納されている縮小画像を読み出し、背景画像に更新処理を施した後、デジタルフレームメモリ１３に書き戻す必要があり、消費電力を増大させてしまう。

　（画質を向上させる撮像素子の構成例）
　さらに、図２で示される撮像素子のように、時間方向の複数の画像の重み付け平均により画質を向上させる撮像素子も提案されている。尚、図２における撮像素子３１において、図１の撮像素子１と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略するものとする。

　すなわち、図２の撮像素子３１において、図１の撮像素子１と異なる点は、背景更新アルゴリズム処理部１４、減算部１５、絶対値化部１６、および閾値処理部１７に代えて、重み付平均化部４１が設けられている点である。

　重み付平均化部４１は、デジタルフレームメモリ１３に記憶されている、それまでの重み付平均化部４１により処理された画像と、入力画像である縮小画像とを、入力画像に大きな重みが付されるように重み付平均化することで、画像よりノイズを除去して出力する。さらに、重み付平均化部４１は、重み付平均化した画像をデジタルフレームメモリ１３に格納させ、同様の処理を繰り返すことにより、ノイズを徐々に除去する。

　ただし、この場合においても、重み付平均化部４１は、デジタルフレームメモリ１３より直前の処理結果となる画像を読み出すとともに、入力画像を用いて重み付平均化処理し、再びデジタルフレームメモリ１３に書き戻す必要があり、消費電力が大きくなってしまう。また、デジタルフレームメモリ１３が必須の構成となるため、設置面積を確保する必要があり、装置が大型化してしまう。

　＜本開示の撮像素子の構成例＞
　そこで、本開示の撮像素子においては、高解像度で撮像する際には、全画素に対して列ごとに設けられている全てのカラムAD回路を用いて画素信号を生成する機能を備える。そして、その上で、本開示の撮像素子は、画像を撮像することを目的としない、例えば、背景画像および前景画像のそれぞれの領域を検出するようなセンサとして機能させる際には、低解像度化した画像を用い、低解像度化されることで生じる画像処理に用いられることがないカラムAD回路を用いて、他の演算処理を実行させる。このような動作を実現することにより、撮像素子の構成に新たな構成を付加することなく、高解像度の画像を撮像する機能と、センサとしての機能とを切り替えて実現する。

　より詳細には、図３は、本開示の撮像素子の構成例を示している。図３の撮像素子５１は、ｍ行×ｎ列からなる２次元に配列された画素を備えた画素アレイ７１、ｎ列の垂直転送線毎に設けられたカラムAD回路７２－０乃至７２－（ｎ－１）、および演算回路７３を備えている。尚、以降において、カラムAD回路７２－０乃至７２－（ｎ－１）のそれぞれを特に区別する必要がない場合、単にカラムAD回路７２と称するものとし、その他の構成についても同様に称するものとする。

　画素アレイ７１は、画素単位でフォトダイオードを有し、入射光の光量に応じた画素信号を発生し、垂直転送線を介して各列のカラムAD回路７２に供給する。

　カラムAD（Analog Digital）回路７２は、垂直転送線を介して供給されてくるアナログ信号からなる画素信号をデジタル信号に変換して演算回路７３に供給する。

　演算回路７３は、カラムAD回路７２－０乃至７２－（ｎ－１）より供給されてくるデジタル信号からなる画素信号に各種の演算処理を施して、演算結果を出力する。

　また、画素アレイ７１は、全画素を用いた高解像度の画像信号を撮像する上、さらに、動作モードに応じて異なる動作をする。動作モードには、全画素を用いた高解像度画像を撮像する画像撮像モードと、低解像度画像の情報を用いたセンサモードとがある。例えば、センサモードにおいては、画像内の動画像からなる前景画像が撮像されている前景領域と、背景画像が撮像されている背景領域とを識別する差分画像を出力する。

　より詳細には、画素アレイ７１は、センサモードの場合、画素加算や間引きなどにより全画素の解像度に対して低解像度の画像を生成して、低解像度の画素信号を対応するカラムAD回路７２に供給する。図３においては、画素アレイ７１を構成する画素のうちの所定数の画素群７１ａ－１乃至７１ａ－ｐからなるｐ画素の低解像度画像として撮像する際の構成が示されている。

　そこで、センサモードにおいては、低解像度画像が使用されることにより、画像処理に使用されないカラムAD回路７２が発生することになるので、この画像処理に使用されないカラムAD回路７２を使用して、差分画像を生成するといった撮像処理以外の演算処理を実行する。

　より具体的には、図３で示されるように、例えば、画素アレイ７１を、所定数の画素からなる画素群７１ａ－１を１画素として扱う画素信号が、カラムAD回路７２－０乃至７２－２で処理され、画素群７１ａ－２を１画素として扱う画素信号が、カラムAD回路７２－３乃至７２－５で処理される。そして、画素群７１ａ－（ｐ－１）を１画素として扱う画素信号が、カラムAD回路７２－（ｎ－６）乃至７２－（ｎ－４）で処理され、画素群７１ａ－ｐを１画素として扱う画素信号が、カラムAD回路７２－（ｎ－３）乃至７２－（ｎ－１）のそれぞれで処理される。

　カラムAD回路７２－０乃至７２－ｎは、それぞれ演算器７２ａ－０乃至７２ａ－ｎを備えているが、１フレーム単位で、順次、隣接するカラムAD回路７２に演算結果をシフトさせる。

　すなわち、例えば、０フレーム目の画素信号が、画素群７１ａ－１を１画素とする画素信号が、カラムAD回路７２－０に供給され、画素群７１ａ－２を１画素とする画素信号が、カラムAD回路７２－３に供給され、・・・画素群７１ａ－（ｐ－１）を１画素とする画素信号が、カラムAD回路７２－（ｎ－６）に供給され、画素群７１ａ－ｐを１画素とする画素信号が、カラムAD回路７２－（ｎ－３）に供給される場合、それぞれで画素信号がアナログ信号からデジタル信号に変換されて、保持される。

　次の１フレーム目の画素信号が供給される前に、カラムAD回路７２－０，７２－３，・・・７２－（ｎ－６），７２－（ｎ－３）は、それぞれが保持している画素信号を右隣りのカラムAD回路７２－１，７２－４，・・・７２－（ｎ－５），７２－（ｎ－２）にシフトする。

　そして、新たな１フレーム目の画素信号が供給されると、画素群７１ａ－１を１画素とする画素信号が、カラムAD回路７２－０に供給され、画素群７１ａ－２を１画素とする画素信号が、カラムAD回路７２－３に供給され、・・・画素群７１ａ－（ｐ－１）を１画素とする画素信号が、カラムAD回路７２－（ｎ－６）に供給され、画素群７１ａ－ｐを１画素とする画素信号が、カラムAD回路７２－（ｎ－３）に供給される。

　すなわち、一般的に、カラムAD回路７２は、画像を構成する画素信号を行単位でアナログ信号からデジタル信号に変換し、出力する。しかしながら、本開示の撮像素子５１の画素アレイにおいては、センサモードにおいて、画素群７１ａを１画素とみなすことで、低解像度画像を構成し、複数のカラムAD回路７２が有するラッチ回路などからなるメモリに、この低解像度画像からなる複数フレーム分の画像をフレームメモリ代わりに記憶させ、バッファリングや演算に使用する。

　尚、画素群７１ａを１画素とみなすようにする処理としては、例えば、画素群７１ａを構成する各画素の画素値を加算して平均を求めるようにしてもよいし、いずれかの代表画素の画素値を用いるようにしてもよいし、画素群７１ａを構成する画素の画素値のメジアンなどを利用するようにしてもよい。

　図３の撮像素子５１においては、同様の処理が繰り返されることにより、低解像度の画像信号が、３フレーム分だけ蓄積される例が示されている。そして、新たに低解像度の１フレーム分の画素信号が供給されてくるとき、最も古い画素信号が破棄されて、最新の３フレーム分の画素信号が蓄積される。

　（カラムAD回路の詳細な構成例）
　ここで、図４を参照して、カラムAD回路７２の詳細な構成例について説明する。

　カラムAD回路７２は、図３で示されるように、演算器７２ａをそれぞれ備えているが、演算器７２ａは、より詳細には、例えば、図４で示される、コンパレータ９１、組み合わせ回路９２、およびメモリ９３により構成される。

　より詳細には、図４で示されるように、カラムAD回路７２－０乃至７２－２には、それぞれコンパレータ９１－０乃至９１－２、組み合わせ回路９２－０乃至９２－２、およびメモリ９３－０乃至９３－２を備えている。コンパレータ９１は、それぞれ垂直転送線より供給されてくる画素信号と、リファレンス電圧とを比較して、比較結果を組み合わせ回路９２に供給する。組み合わせ回路９２－０乃至９２－２は、画像撮像モードにおいては、AD変換処理を実現するものであり、また、センサモードにおいては、AD回路として機能させるために組み合わされている各種の回路を適宜使用して、様々な演算を実行し、メモリ９３－０乃至９３－２に供給する。メモリ９３－０乃至９３－２は、例えば、ラッチ回路などからなるものであり、演算結果を一時的に記憶する。

　組み合わせ回路９２－０乃至９２－２は、それぞれ例えば、セレクタ１０１－０乃至１０１－２、１０２－０乃至１０２－２、符号反転部１０３－０乃至１０３－２、セレクタ１０４－０乃至１０４－２、加算器１０５－０乃至１０５－２、絶対値化部１０６－０乃至１０６－２、およびセレクタ１０７－０乃至１０７－２を備えている。

　組み合わせ回路９２のセレクタ１０１、１０２、符号反転部１０３、セレクタ１０４、加算器１０５、絶対値化部１０６、およびセレクタ１０７は、画像撮像モードにおいては、コンパレータ９１、およびメモリ９３と共に、いわゆるカウンタなどと同等の機能を実現し、AD変換を実現するものである。また、センサモードである場合、組み合わせ回路９２のセレクタ１０１、１０２、符号反転部１０３、セレクタ１０４、加算器１０５、絶対値化部１０６、およびセレクタ１０７は、図中の左側に隣接するカラムAD回路７２の画素信号を順次取得し、自らのメモリ９３に格納する、または、メモリ９３に格納されている値と共に所定の演算を加えて、メモリ９３に書き戻す。さらには、メモリ９３に格納された値は、右側に隣接するカラムAD回路７２に供給される。

　図４においては、セレクタ１０１は、コンパレータ９１の比較結果に基づいて、０または１を出力し、セレクタ１０２に供給する。セレクタ１０２は、左隣のカラムAD回路７２のメモリ９３の値、または、セレクタ１０１より供給されてくる値のいずれかを選択的に加算器１０５に出力する。符号反転部１０３は、メモリ９３に格納されている値の正負の符号を反転させてセレクタ１０４に供給する。セレクタ１０４は、自らのメモリ９３の値、符号反転部１０３からの自らのメモリ９３の値であって符号が反転された値、または、０のいずれかを選択的に加算器１０５に出力する。加算器１０５は、セレクタ１０２より出力される値と、セレクタ１０４より出力される値とを加算して、絶対値化部１０６およびセレクタ１０７に出力する。絶対値化部１０６は、加算器１０５より供給されてくる値の絶対値を求めてセレクタ１０７に供給する。セレクタ１０７は、加算機１０５より供給されてくる値、または、絶対値化部１０１より供給されてくる値のいずれかを選択的にメモリ９３に格納させる。

　このような構成により、カラムAD回路７２は、AD変換回路、または、左隣のカラムAD７２のメモリ９３に格納されている値を転送する、若しくは、転送した値と自らのメモリ９３に格納されている値とを加算する演算回路として機能する。

　すなわち、AD変換回路として機能する場合、図５の左部、および右部のそれぞれの太線で示されるように、コンパレータ９１の比較結果に基づいて、図５の左部で示されるようにセレクタ１０１が１を選択的に出力する、または、図５の右部で示されるようにセレクタ１０１が０を選択的に出力する。そして、セレクタ１０２が、セレクタ１０１の出力値を加算器１０５に供給する。また、セレクタ１０４が、メモリ９３に格納されている値を読み出して加算器１０５に出力する。加算器１０５は、セレクタ１０２，１０４よりそれぞれ供給されてくる値を加算して、セレクタ１０７および絶対値化部１０６に出力する。セレクタ１０７は、加算器１０５より出力された値をメモリ９３に格納する。以降において、同様の処理を繰り返す。

　また、演算回路として機能する場合、左隣のカラムAD回路７２のメモリ９３の値を自らのメモリ９３に読み込むとき、図６の左部で示されるように、セレクタ１０２が左隣のカラムAD回路７２のメモリ９３の値を選択して加算器１０５に供給し、セレクタ１０４が０を加算器１０５に供給する。これにより、加算器１０５は、実質的に、左隣のカラムAD回路７２のメモリ９３の値を絶対値化部１０６およびセレクタ１０７に供給する。セレクタ１０７は、加算器１０５より供給されてくる左隣のカラムAD回路７２のメモリ９３に格納されている値を自らのメモリ９３に格納させる。

　さらに、他の演算回路として機能する場合、自らのメモリ９３に格納されている値と、左隣のカラムAD回路７２のメモリ９３の値を加算して、自らのメモリ９３に読み戻すとき、図６の右部で示されるように、セレクタ１０２が左隣のカラムAD回路７２のメモリ９３の値を選択して加算器１０５に供給し、符号反転部１０３が、自らのメモリ９３に格納されている値の符号を反転し、セレクタ１０４が、符号反転部１０３により符号が反転された値を加算器１０５に供給する。これにより、加算器１０５は、左隣のカラムAD回路７２のメモリ９３の値と、自らのメモリ９３に格納されている値とを加算して絶対値化部１０６およびセレクタ１０７に供給する。絶対値化部１０６は、加算器１０５による加算結果の絶対値を求めてセレクタ１０７に供給する。セレクタ１０７は、絶対値化部１０６より供給されてくる加算結果を自らのメモリ９３に書き戻して格納する。

　（フレーム間差分演算処理）
　次に、図７の動作説明図と、図８のフローチャートを参照して、画素信号を順次演算し、演算結果を右隣のカラムAD回路に転送させて、フレーム間の差分絶対値からなる差分画像を出力するフレーム間差分処理を実現させる処理について説明する。

　尚、図７においては、０列目（column0）におけるカラムAD回路７２－０および１列目（column1）におけるカラムAD回路７２－１における処理を説明するものとするが、以降の列においても同様の処理がなされるものである。また、ここでは、カラムAD回路７２における各組み合わせ回路９２は、AD変換処理を行うとともに、順次供給されてくる画素値の差分絶対値を演算して出力すると共にメモリ９３に格納させるものであるものとする。

　すなわち、ステップＳ１１（図８）において、図７の左上段部で示されるように、カラムAD回路７２－０の組み合わせ回路９２－０は、垂直転送線を介して供給される第０番目のフレームの画素信号をAD変換し、デジタル信号からなる画素値val0としてメモリ９３－０に格納する。

　ステップＳ１２において、図７の左中段部で示されるように、カラムAD回路７２－１の組み合わせ回路９２－１は、配線Ｌ－０を介して、左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素値val0を読み出し、メモリ９３－１に格納する。この動作は、上述した図６の左部の動作に対応する動作である。

　ステップＳ１３において、図７の左下段部で示されるように、カラムAD回路７２－０の組み合わせ回路９２－０は、垂直転送線を介して供給される第１番目のフレームの画素信号をAD変換し、デジタル信号からなる画素値val1としてメモリ９３－０に格納する。

　ステップＳ１４において、図７の右上段部で示されるように、カラムAD回路７２－１の組み合わせ回路９２－１は、配線Ｌ－０を介して、左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素値val1を読み出すと共に、メモリ９３－１に格納されている画素値val0を読み出し、差分絶対値を演算し、演算結果である差分絶対値ad01（＝（abs-diff01）＝｜val1－val0｜）をメモリ９３－１に書き戻す。この動作は、上述した図６の右部の動作に対応する動作である。

　ステップＳ１５において、図７の右中段部で示されるように、メモリ９３－１に格納された差分絶対値である演算結果ad01がフレーム間差分演算結果として出力される。

　ステップＳ１６において、図７の右下段部で示されるように、カラムAD回路７２－１の組み合わせ回路９２－１は、配線Ｌ－０を介して、左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素値val1を読み出し、メモリ９３－１に格納する。すなわち、画素値val1が１列分シフトされる。この動作は、上述した図６の左部の動作に対応する動作である。

　そして、以降において、順次画素信号が供給されてくると、ステップＳ１３以降の処理が順次繰り返されて、順次フレーム間差分の画素信号からなる画像が出力される。

　以上の処理が繰り返しなされることにより、前後するフレームの画素間の差分絶対値からなる差分画像を順次出力することが可能となる。

　すなわち、画素アレイ７１の解像度に対して低解像度の画像ながら、撮像素子の構成を新たに追加することなく、フレーム間差分画像を求めることが可能となるので、例えば、低解像度ながら動画像の領域である前景領域と、動画像ではない、すなわち、動きのない背景領域とを区別する差分画像を生成することが可能となる。また、動画像領域である前景領域の検出により、監視画像などにおいて、侵入者などを前景領域として検出するまでは、センサモードで動作し、侵入者が検出された場合にのみ、画像撮像モードに切り替えて、高解像度画像で撮像するようにすることが可能となる。この際、センサモードにおいては、カラムAD回路７２の一部のみを使用して、侵入者が検出されたときにのみ、高解像度で、カラムAD回路７２を全て使用するようにすることで、侵入者が撮像されるまでは、比較的低消費電力のセンサモードとし、侵入者を高解像度で確実に撮像することができるので、消費電力を低減させつつ、必要な侵入者の画像について高解像度で撮像することが可能となる。また、フレームメモリ等を増設する必要がないので、装置構成を小型化することが可能となる。

　（リングバッファ）
　以上においては、低解像度化された画素信号を用いて順次フレーム間差分を求める例について説明してきたが、カラムAD回路７２におけるメモリ９３に画素信号を順次格納し、さらに、次のフレームの画素信号が供給される度に、隣接するカラムAD回路７２にシフトさせるのみの処理をすることで、複数フレーム間のリングバッファを構成するようにしてもよい。

　基本的な動作については、上述した差分演算を実行することなく、単に、画素信号を隣接するカラムAD回路７２にシフトする動作を繰り返すことのみで実現することが可能となる。

　すなわち、図９の左上部で示されるように、まず、第１フレームであるフレームＦ１の画素信号「１」がカラムAD回路７２－０によりAD変換されて、メモリ９３－０に格納される。

　次に、第２フレームであるフレームＦ２の画素信号が供給されてくると、図９の中央上部で示されるように、メモリ９３－０に格納されていた画素信号「１」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされると共に、新たなフレームＦ２の画素信号「２」がカラムAD回路７２－０のメモリ９３－０に格納される。

　さらに、第３フレームであるフレームＦ３の画素信号が供給されてくると、図９の右上部で示されるように、メモリ９３－１に格納されていた画素信号「１」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「２」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ３の画素信号「３」がカラムAD回路７２－０のメモリ９３－０に格納される。

　また、第４フレームであるフレームＦ４の画素信号が供給されてくると、図９の左下部で示されるように、カラムAD回路７２－２のメモリ９３－２に格納されていた画素信号「１」が破棄されて、メモリ９３－１に格納されていた画素信号「２」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「３」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ４の画素信号「４」がカラムAD回路７２－０のメモリ９３－０に格納される。

　さらに、第５フレームであるフレームＦ５の画素信号が供給されてくると、図９の中央下部で示されるように、カラムAD回路７２－２のメモリ９３－２に格納されていた画素信号「２」が破棄されて、メモリ９３－１に格納されていた画素信号「３」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「４」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ５の画素信号「５」がカラムAD回路７２－０のメモリ９３－０に格納される。

　また、第６フレームであるフレームＦ６の画素信号が供給されてくると、図９の右下部で示されるように、カラムAD回路７２－２のメモリ９３－２に格納されていた画素信号「３」が破棄されて、メモリ９３－１に格納されていた画素信号「４」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「５」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ６の画素信号「６」がカラムAD回路７２－０のメモリ９３－０に格納される。

　以降において、順次、１フレームごとに画素信号が供給されてくると、順次、図中の右方向に隣接するカラムAD回路７２のメモリ９３にシフトされ、最も古いフレームの画素信号が破棄されて、常に、最新の３フレーム分の画素信号が蓄積され続け、結果として、リングバッファを実現することが可能となる。

　（Nフレームごとに画素信号をバッファリングするリングバッファ）
　以上においては、毎フレームごとに画素信号を隣接するカラムAD回路７２のメモリ７３にシフトすることでリングバッファを構成する例について説明してきたが、Ｎフレームごとに画素信号をシフトして、リングバッファを構成するようにしてもよい。

　すなわち、図１０の左上部で示されるように、まず、第１フレームであるフレームＦ１の画素信号「１」がカラムAD回路７２－０によりAD変換されて、メモリ９３－０に格納される。

　次に、第２フレームであるフレームＦ２の画素信号が供給されてくると、図１０の中央上部で示されるように、メモリ９３－０に格納されていた画素信号「１」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされると共に、新たなフレームＦ２の画素信号「２」がカラムAD回路７２－０のメモリ９３－０に格納される。

　さらに、第３フレームであるフレームＦ３の画素信号が供給されてくると、図１０の右上部で示されるように、メモリ９３－０に格納されていた画素信号「２」が破棄されて、画素信号「３」が上書きされる。

　また、第４フレームであるフレームＦ４の画素信号が供給されてくると、図１０の左下部で示されるように、メモリ９３－１に格納されていた画素信号「１」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「３」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ４の画素信号「４」がカラムAD回路７２－０のメモリ９３－０に上書きされて格納される。

　さらに、第５フレームであるフレームＦ５の画素信号が供給されてくると、図１０の中央下部で示されるように、メモリ９３－０に格納されていた画素信号「４」が破棄されて、新たなフレームＦ５の画素信号「５」がカラムAD回路７２－０のメモリ９３－０に格納される。

　また、第６フレームであるフレームＦ６の画素信号が供給されてくると、図１０の右下部で示されるように、メモリ９３－０に格納されていた画素信号「５」が破棄されて、新たなフレームＦ６の画素信号「６」により上書きされて、カラムAD回路７２－０のメモリ９３－０に格納される。

　以降において、順次、画素信号が供給されてくると、Ｎフレームおき（１フレームおき）に、図中の右方向に隣接するカラムAD回路７２のメモリ９３にシフトされ、最も古いフレームの画素信号が破棄されて、常に、最新の３フレーム分の画素信号が、１フレームおきに蓄積され続け、結果として、リングバッファを実現することが可能となる。

　（Ｎフレームおきに右側に隣接するカラムAD回路に画素信号をシフトするシフト処理）
　次に、図１１のフローチャートを参照して、Ｎフレームおきに右側に隣接するカラムAD回路に画素信号をシフトするシフト処理について説明する。

　ステップＳ３１において、図示せぬ制御部により、カウンタｎが１に初期化される。

　ステップＳ３２において、図示せぬ制御部により、新たなフレームの画素信号が供給されてきたか否かが判定され、送信されてくるまで、同様の処理が繰り返される。

　ステップＳ３２において、新たなフレームの画素信号が供給されてきた場合、処理は、ステップＳ３３に進む。

　ステップＳ３３において、図示せぬ制御部により、カウンタｎがＮ＋１であるか否かが判定される。例えば、図１０を参照して説明したＮ＝１フレームおきの場合、最初の処理ではカウンタｎ＝１であり、２（＝Ｎ＋１）ではないので、処理は、ステップＳ３４に進む。

　ステップＳ３４において、組み合わせ回路９２－０は、画素信号をAD変換してメモリ９３－０にAD変換されるまでに格納されていた画素信号を破棄した上で、新たに上書きして格納し、処理は、ステップＳ３５に進む。尚、最初の処理では、値がないので、そのまま格納される。

　ステップＳ３５において、図示せぬ制御部により、カウンタｎが１インクリメントされて、処理は、ステップＳ３２に戻る。

　すなわち、カウンタｎがＮ＋１となるまで、ステップＳ３２乃至Ｓ３５の処理が繰り返されて、新たなフレームの画素信号が供給されてきても、画素信号がAD変換されて、カラムAD回路７２－０のメモリ９３－０の値が上書きされ続ける。

　そして、ステップＳ３３において、カウンタｎがＮ＋１となった場合、処理は、ステップＳ３６に進む。

　ステップＳ３６において、組み合わせ回路９２－１は、図４における左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素信号を読み出し、メモリ９３－１に格納させることにより、画素信号を１列分だけシフトさせる。

　ステップＳ３７において、組み合わせ回路９２－０は、画素信号をAD変換してメモリ９３－０に格納し、処理は、ステップＳ３８に進む。

　ステップＳ３８において、組み合わせ回路９２－０は、処理が終了か否かを判定し、終了ではない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ３８において、処理の終了が判定されると、処理は、終了される。

　すなわち、このような処理により、任意のＮフレームおきに画素信号が順次右隣のカラムAD回路７２のメモリ９３にシフトされて、リングバッファを構成することが可能となる。

　＜リングバッファを用いた背景画像を算出する演算回路の構成例＞
　以上においては、カラムAD回路７２－０乃至７２－（ｎ－１）のメモリ９３－０乃至９３－（ｎ－１）を用いてリングバッファを構成する例について説明してきたが、このリングバッファを用いて背景画像と前景画像との差分画像を演算する演算回路７３の構成例について説明する。

　図１２は、上述したメモリ９３からなるリングバッファを用いて背景画像を演算する演算回路７３の構成例を示している。尚、図１２においては、メモリ９３－０が最新のフレームの画素信号を格納するバッファ１１０ａと、過去のフレームの画素信号を格納する、メモリ９３－１乃至９３－（ｎ－１）からなるバッファ１１０ｂを構成しており、このバッファ１１０ａおよび１１０ｂによりリングバッファ１１０が構成されている。

　図１２の演算回路７３は、加算部１１１、ゲインアンプ１１２、減算部１１３、絶対値化部１１４、および閾値処理部１１５を備えている。

　加算部１１１は、それぞれリングバッファ１１０を構成するメモリ９３－０乃至９３－Ｎのうち、最も古いフレームの画素信号から４番目まで古いフレームの画素信号を保持している、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）の画素信号を加算し、ゲインアンプ１１２に供給する。

　ゲインアンプ１１２は、リングバッファ１１０を構成するメモリ９３－０乃至９３－Ｎのうち、最も古いフレームの画素信号から４番目まで古いフレームの画素信号を保持している、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）の画素信号の加算結果を１／４のゲインにすることで画素信号の平均値を求めて減算部１１３に出力する。

　減算部１１３は、最も新しいフレームの画素信号が保持されているメモリ９３－０の画素信号とゲインアンプ１１２より供給されてくる最も古いフレームの画素信号から４番目まで古いフレームの画素信号の平均値との差分を求めて絶対値化部１１４に供給する。

　絶対値化部１１４は、減算部１１３より出力される差分となる画素値の絶対値を差分絶対値として求めて、閾値処理部１１５に出力する。

　閾値処理部１１５は、絶対値化部１１４より供給されてくる差分絶対値となる画素値valと、所定の閾値thとを比較して所定の閾値thよりも大きな画素の画素値を１とし、それ以外の画素の画素値を０とした２値化された差分画像を出力する。この２値化された差分画像により、画素値が「１」からなる前景領域、および画素値が「０」からなる背景領域をからなる画像が生成されて、それぞれの前景領域および背景領域を推定することが可能となる。尚、画素値の０，１は入れ替わったものであってもよいし、それ以外の２値で表現されていてもよい。

　すなわち、メモリ９３－０乃至９３－（ｎ－１）が１フレームおきに画素信号を順次シフトして画素信号を記憶し、リングバッファ１１０を構成する場合、Ｎ（＝１）フレームおきに画素値をシフトさせるとき、図１３の最上段で示されるように、メモリ９３－０にフレーム０（frame0）乃至フレーム１０（frame10）が順次格納されるものとする。

　この場合、メモリ９３－１乃至９３－（ｎ－１）により形成されるリングバッファ１１０には、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－５）に、フレーム０（frame0）が供給されるタイミングで格納され、フレーム１（frame1）がスキップされる。そして、フレーム２（frame2）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－４）にシフトされると共に、メモリ９３－（ｎ－５）に、フレーム２（frame2）が供給されると共に格納され、フレーム３（frame3）のタイミングでもこの状態が保持される。

　また、フレーム４（frame4）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－３）にシフトされると共に、フレーム２（frame2）の画素信号が、メモリ９３－（ｎ－４）にシフトされて、メモリ９３－（ｎ－５）に、フレーム４（frame4）が供給されると共に格納され、フレーム５（frame5）のタイミングでもこの状態が保持される。

　さらに、フレーム６（frame6）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－２）にシフトされると共に、フレーム２（frame2）の画素信号が、メモリ９３－（ｎ－３）にシフトされて、フレーム４（frame4）の画素信号が、メモリ９３－（ｎ－４）にシフトされて、メモリ９３－（ｎ－５）に、フレーム６（frame6）が供給されると共に格納され、フレーム７（frame7）のタイミングでもこの状態が保持される。

　また、フレーム８（frame8）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－１）にシフトされると共に、フレーム２（frame2）の画素信号が、メモリ９３－（ｎ－２）にシフトされて、フレーム４（frame4）の画素信号が、メモリ９３－（ｎ－３）にシフトされて、フレーム６（frame6）の画素信号が、メモリ９３－（ｎ－３）にシフトされて、メモリ９３－（ｎ－５）に、フレーム８（frame8）が供給されると共に格納され、フレーム９（frame9）のタイミングでもこの状態が保持される。

　この処理により、メモリ９３－０に、例えば、フレーム８（frame8）が供給されるタイミングにおいては、フレーム０，２，４，６（frame0,2,4,6）の平均値と、フレーム８（frame8）との差分絶対値が差分画像の画素値としてそれぞれ求められる。

　すなわち、従来においては、図１４の上段で示されるように、各フレームの画素信号が供給されてくる度に、直前の背景画像（背景画像（ｔ－１））が読み出され、入力画像（入力画像（ｔ））との重みαを用いた重み付平均が背景画像（＝背景画像（ｔ－１）×α＋入力画像（ｔ）×（１－α））として求められて書き戻す処理が繰り返されていた。このため、読み出し、演算、および書き戻しにより、演算回路７３の構成が複雑になると共に、消費電力を増大させる原因となっていた。

　しかしながら、図１２の演算回路７３の構成によれば、図１４の下段で示されるように、例えば、フレーム８（frame8）の画素信号が供給されるタイミングにおいては、格納されているフレーム０，２，４，６（frame0,2,4,6）の画素信号を読み出して平均値を求め、フレーム８（frame8）の画素信号との差分絶対値を演算するのみでよいため演算回路７３の構成を簡素化することができ、さらに、書き戻す処理が不要であるので、消費電力を低減させることが可能となる。

　（背景差分演算処理）
　次に、図１５のフローチャートを参照して、図１２の演算回路７３による背景差分演算処理について説明する。尚、ここでは、古い方から４フレーム分の画素信号の平均値を求めるものとする。

　ステップＳ５１において、ゲインアンプ１１１－０乃至１１１－３は、それぞれリングバッファを構成するメモリ９３－０乃至９３－（ｎ－１）のうち、最も古いフレームの画素信号からＮ番目まで古いフレームの画素信号を保持している、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）の画素信号を読み出す。

　ステップＳ５２において、加算部１１１は、リングバッファ１１０に保持されている、最も古いフレーム画素信号から４番目まで古いフレームの画素信号を加算し、ゲインアンプ１１２に供給する。

　ステップＳ５３において、ゲインアンプ１１２は、加算した画素信号のゲインを１／４にして、最も古いフレーム画素信号から４番目まで古いフレームの画素信号の平均値を求めて減算部１１３に供給する。

　ステップＳ５４において、減算部１１３は、最も新しいフレームの画素信号が保持されているメモリ９３－０の画素信号と加算部１１２より供給されてくる最も古いフレームの画素信号から４番目まで古いフレームの画素信号の平均値との差分を求めて絶対値化部１１４に供給する。

　ステップＳ５５において、絶対値化部１１４は、減算部１１３より出力される差分となる画素値の絶対値を求めて、差分絶対値として、閾値処理部１１５に出力する。

　ステップＳ５６において、閾値処理部１１５は、絶対値化部１１４より供給されてくる差分絶対値となる画素値valと、所定の閾値thとを比較して所定の閾値thよりも大きな画素の画素値を１とし、それ以外の画素の画素値を０とした２値化された差分画像を出力する。

　この２値化された差分画像により、前景領域、および背景領域を推定することが可能となる。尚、以上においては、リングバッファ１１０に格納された画素信号のうち、最も古い４フレーム分の平均値と最新のフレームの画素信号との差分絶対値を用いて前景領域および背景領域を推定する例について説明してきたが、最も古い複数フレームの平均値については、４フレーム以外のフレーム数の平均値を求めるようにしてもよい。

　＜第１の応用例＞
　以上においては、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により最新のフレームにおける画素信号と、最も古い４フレーム分の画素信号の平均値との差分絶対値を用いる例について説明してきたが、最新のフレームにおける画素信号と、最も古い４フレームのそれぞれとの差分絶対値が全て閾値よりも大きいときの差分絶対値の画素のみを前景領域とみなし、それ以外の画素を背景領域とみなすようにしてもよい。

　図１６は、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により、最新のフレームにおける画素信号と、最も古い４フレームのそれぞれとの差分絶対値が全て閾値よりも大きいときの差分絶対値の画素のみを前景領域とみなし、それ以外の画素を背景領域とみなすようにした演算回路７３の第１の応用例である。

　図１６の演算回路７３は、減算器１３１－０乃至１３１－３、絶対値化部１３２－０乃至１３２－３、閾値処理部１３３－０乃至１３３－３、および判定部１３４を備えている。

　減算器１３１－０乃至１３１－３は、メモリ９３－Ｎ乃至９３－（Ｎ－３）に格納されている最も古い４フレーム分の画素信号を読み出し、メモリ９３－０に格納されている最新の入力画像の画素信号との差分を求めて、それぞれ絶対値化部１３２－０乃至１３２－３に供給する。

　絶対値化部１３２－０乃至１３２－３は、それぞれ供給されてくる差分値を差分絶対値として閾値処理部１３３－０乃至１３３－３に供給する。

　閾値処理部１３３－０乃至１３３－３は、それぞれ差分絶対値と所定の閾値とを比較し、閾値よりも大きな画素について画素値を１とし、それ以外の画素について画素値を０とする２値化画像を生成し、判定部１３４に供給する。

　判定部１３４は、閾値処理部１３３－０乃至１３３－３より供給されてくる４個の２値化画像の各画素について、画素値がいずれも１である画素のみの画素値を１とし、それ以外の画素の画素値を０とする。

　このような構成により、例えば、背景に木の葉が含まれており、風に揺らぐなどして安定的に背景領域とみなされない範囲については、時系列に画素値を加算して求められる平均値の場合、値にばらつきが生じて、背景画像であるにもかかわらず、前景画像であるとみなされることがあり、安定的に背景画像であるとみなされないことがある。しかしながら、各タイミングの同一位置の画素値の全てが前景画像であるとみなされる場合にのみ前景画像であるとみなされるようにすることで、木の葉が揺れるのみで動物体が検出されてしまうようなことがなくなるので、被写体が移動した範囲のみを確実に前景領域とみなすことが可能となる。

　（図１６の演算回路による背景差分演算処理）
　次に、図１７のフローチャートを参照して、図１６の演算回路による背景差分演算処理について説明する。

　ステップＳ７１において、減算器１３１－０乃至１３１－３は、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）に格納されている最も古い４フレーム分の画素信号（N個の画素信号）を読み出す。

　ステップＳ７２において、減算器１３１－０乃至１３１－３は、それぞれ読み出した最も古い４フレーム分の画素信号と、メモリ９３－０に格納されている最新の入力画像の画素信号との差分を求めて、それぞれ絶対値化部１３２－０乃至１３２－３に供給する。

　ステップＳ７３において、絶対値化部１３２－０乃至１３２－３は、それぞれ供給されてくる差分値の絶対値を求め、差分絶対値として閾値処理部１３３－０乃至１３３－３に供給する。

　ステップＳ７４において、閾値処理部１３３－０乃至１３３－３は、それぞれ差分絶対値と所定の閾値とを比較し、閾値よりも大きな画素について画素値を１とし、それ以外の画素について画素値を０とする２値化画像を生成し、判定部１３４に供給する。

　ステップＳ７５において、判定部１３４は、閾値処理部１３３－０乃至１３３－３より供給されてくる４個の２値化画像の各画素について、画素値がいずれも１である画素のみの画素値を１とし、それ以外の画素の画素値を０とする。

　このような構成により、例えば、背景に木の葉が含まれており、風に揺らぐなどして安定的に前景領域とみなされない範囲については、確実に背景領域とみなされ、安定的に被写体が移動した範囲のみを前景領域とみなすことが可能となる。

　＜第２の応用例＞
　以上においては、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により最新のフレームにおける画素信号と、最も古い４フレーム分の画素信号のそれぞれとの差分絶対値の比較結果を用いる例について説明してきたが、リングバッファ１１０に格納されている全フレームにおける画素信号の平均を求めるようにすることで、ノイズ除去を実現するようにしてもよい。

　図１８は、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により全フレームにおける画素信号の平均を求めるようにすることで、ノイズ除去を実現するようにした演算回路７３の構成例を示している。

　図１８の演算回路７３は、加算器１５１、およびゲインアンプ１５２を備えている。加算器１５１は、メモリ９３－０乃至９３－（ｎ－１）に格納されているｎフレーム分の全フレームの画素信号を加算し、ゲインアンプ１５２に供給する。ゲインアンプ１５２は、加算器１５１の加算結果に、１／ｎ倍のゲインを掛けることにより、リングバッファに平均値を求めるゲインアンプ１５２を備えている。

　このような構成により、ノイズを除去することが可能となる。

　（図１８の演算回路によるノイズ除去処理）
　次に、図１９のフローチャートを参照して、図１８の演算回路７３によるノイズ除去処理について説明する。

　ステップＳ９１において、加算器１５１は、メモリ９３－０乃至９３－（ｎ－１）に格納されているｎフレーム分の画素信号を全て読み出して、加算し、加算結果をゲインアンプ１５２に供給する。

　ステップＳ９２において、ゲインアンプ１５２は、加算結果を１／ｎ倍のゲインを掛けて、画素信号の平均値を求めるようにする。

　ステップＳ９３において、ゲインアンプ１５２は、画素信号の全フレーム分の平均値を出力する。

　この結果、メモリ９３－０乃至９３－（ｎ－１）により構成されたリングバッファ１１０に格納されている全フレーム分の画素信号を平均化することで、ノイズが除去された画像を出力することが可能となる。尚、以上においては、全ての画像を均等に加算して平均化する例について説明してきたが、新しい画像により大きな重みを付して、重み付平均をもとめるようにしてもよい。

　＜第３の応用例＞
　以上においては、カラムAD回路７２のメモリ９３の値を順次、右隣のカラムAD回路７２のメモリ９３にシフトする例について説明してきたが、例えば、図２０で示されるように、左隣のカラムAD回路７２にシフトさせるようにしてもよいし、垂直転送線の接続のオンまたはオフを切り替えるようにしてもよいし、さらに、隣接する垂直転送線の接続を切り替えるようにしてもよい。

　すなわち、図２０においては、垂直転送線１９２間を接続する水平転送線１９１が設けられ、さらに、垂直転送線１９２間の接続のオンまたはオフを切り替えるスイッチ１８１－０乃至１８１－２が設けられている。また、垂直転送線の接続のオンまたはオフを切り替えるスイッチ１８２－０乃至１８２－２が設けられている。

　さらに、カラムAD回路７２－０，７２－１間、およびカラムAD回路７２－１，７２－２間のそれぞれに設けられている、メモリ９３の値を隣接する左側のカラムAD回路７２に転送する配線Ｌ１－０，Ｌ１－１に加えて、右側のカラムAD回路７２に転送する配線Ｌ２－１，Ｌ２－２が設けられている。

　尚、図２０の各構成において、図４と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。すなわち、図２０において、図４と異なる点は、組み合わせ回路９２に代えて、組み合わせ回路９２’を設けている点である。組み合わせ回路９２’は、基本的な機能は、組み合わせ回路９２と同様であるが、セレクタ１７１をさらに設けている点で異なる。セレクタ１７１は、動作モードに応じて、右隣のカラムAD回路７２のメモリ９３の画素信号か、または０のいずれかを選択して加算器１０５に供給する。従って、図２０の組み合わせ回路９２’においては、加算器１０５は、セレクタ１０２，１０４，１７１より供給されてくる３値を加算して、絶対値化部１０６およびセレクタ１０７に供給する。

　このような構成により、様々な演算を実現することが可能となる。

　より具体的には、図２１の左上部のカラムAD回路７２－１１で示されるように、コンパレータ９１－１１が、垂直転送線より供給されてくるアナログ信号の画素信号をリファレンスとの比較結果を組み合わせ回路９２’－１１に供給し、組み合わせ回路９２’－１１を、AD変換する際に使用されるカウントアップ回路またはカウントダウン回路として機能させることが可能となる。尚、図２１においては、各配線上の太線が、画素信号の移動経路を示している。

　また、図２１の中央上部のカラムAD回路７２－２１，７２－２２で示されるように、カラムAD回路７２－２２の組み合わせ回路９２’－２２が、配線Ｌ１を介して、左隣のカラムAD回路７２－２１のメモリ９３－２１に格納された画素信号を読み出し、メモリ９３－２２に格納させることで、カラムAD回路７２－２１のメモリ９３－２１に格納された画素信号を、右隣のカラムAD回路７２－２２のメモリ９３－２２に移動させる右シフト処理回路として機能させることが可能となる。

　さらに、図２１の右上部のカラムAD回路７２－３１，７２－３２で示されるように、カラムAD回路７２－３１の組み合わせ回路９２’－３１が、配線Ｌ２を介して、右隣のカラムAD回路７２－３２のメモリ９３－３２に格納された画素信号を読み出し、メモリ９３－３１に格納させることで、カラムAD回路７２－３２のメモリ９３－３２に格納された画素信号を、左隣のカラムAD回路７２－３１のメモリ９３－３１に移動させる左シフト処理回路として機能させることが可能となる。

　また、図２１の左下部で示されるように、カラムAD回路７２－５１で示されるように、カラムAD回路７２－５１のメモリ９３－５１に初期値として画素信号を格納させることで初期値設定回路として機能させることが可能となる。

　さらに、図２１の中央下部で示されるように、カラムAD回路７２－７１，７２－７２で示されるように、カラムAD回路７２－７２の組み合わせ回路９２’－７２が、配線Ｌ１を介して、左隣のカラムAD回路７２－７１のメモリ９３－７１に格納された画素信号を読み出し、メモリ９３－７２に格納されている値と共に演算し、メモリ９３－７２に格納する右シフト演算回路として機能させることが可能となる。

　また、図２１の右下部で示されるように、カラムAD回路７２－９１，７２－９２で示されるように、カラムAD回路７２－９１の組み合わせ回路９２’－９１が、配線Ｌ２を介して、左隣のカラムAD回路７２－９２のメモリ９３－９２に格納された画素信号を読み出し、メモリ９３－９１に格納されている値を用いて演算し、メモリ９３－９１に格納することで左シフト演算回路として機能させることが可能となる。

　このような演算回路を組み合わせるようにすることで、様々な演算処理を実現することが可能となる。

　例えば、０列目（column0）乃至５列目（column５）までの６列について、カラムAD回路７２－０乃至７２－５を設けて、カラムAD回路７２－０，７２－４をAD変換のためのカウントアップ回路として機能させ、カラムAD回路７２－１乃至７２－３を右シフト処理回路として機能させ、カラムAD回路７２－５を初期値設定回路として機能させ、カラムAD回路７２－４を、さらに、図５で示されるような右シフト演算回路として機能させることで、図２２で示されるような処理を実現することが可能となる。

　尚、図２２においては、各列（column0乃至5）のカラムAD回路７２－０乃至７２－５における第０フレーム（frame0）乃至第３フレーム（frame3）までの処理がタイミングＴ１乃至Ｔ１３のそれぞれにおいて示されている。

　また、予めcolumn5のカラムAD回路７２－５が、初期設定回路として機能し、メモリ９３－５に閾値（thresh）が設定されるものとする。

　タイミングＴ１において、column0のカラムAD回路７２－０に、0フレーム目（frame0）の画素値（val0）が入力されると、カラムAD回路７２－０の組み合わせ回路９２’－０が、AD変換し、タイミングＴ２において、カラムAD回路７２－０（column0）内のメモリ９３－０に保存する。

　タイミングＴ３において、カラムAD回路７２－１の組み合わせ回路９２’－１が、column0内のメモリ９３－０に保存した画素値（val0）を、column1内のメモリ９３－１にシフトする。

　タイミングＴ４において、１フレーム目（frame1）の画素値（val1）がcolumn0のカラムAD回路７２－０の組み合わせ回路９２’－０に入力されると、カラムAD回路７２－０の組み合わせ回路９２’－０が、AD変換し、タイミングＴ５において、column0内のメモリ９３－０に保存する。

　タイミングＴ６において、画素値（val0）がcolum1内のメモリ９３－１からcolumn2のメモリ９３－２へシフトされ、同様に、画素値（val1）がcolumn0内のメモリ９３－０からcolumn1のメモリ９３－１へとシフトされる。

　タイミングＴ７において、2フレーム目（frame2）の画素値（val2）に対しても順次AD変換がなされ、タイミングＴ８において、column0のメモリ９３－０に保存される。

　そして、タイミングＴ９において、column2の画素値（val0）がcolumn3のメモリ９３－３にシフトされ、column1の画素値（val1）がcolumn2のメモリ９３－２にシフトされ、column0の画素値（val2）がcolumn1のメモリ９３－１にシフトされる。

　タイミングＴ１０において、3フレーム目（frame3）の画素値（val3）が入力されたとき、図２３で示されるように、水平転送線１９１のスイッチ１８１－０乃至１８１－３をオンにして接続し、column0のカラムAD回路７２－０とcolumn4のカラムAD回路７２－４とで同時にAD変換を実行し、タイミングＴ１１において、それぞれ画素値（val3）が、メモリ９３－０，９３－４に格納される。

　タイミングＴ１２において、column0乃至3の画素値val0乃至val3は、それぞれ右隣に隣接するカラムAD回路７２－３乃至７２－１のメモリ９３－３乃至９３－１にそれぞれシフトされる。このとき、同時に、column4のカラムAD回路７２－４では、組み合わせ回路９２－４が、column3のカラムAD回路７２－３のメモリ９３－３に格納されている画素値（val0）とcolumn4のカラムAD回路７２－４によりAD変換された画素値（val3）とで差分絶対値を演算により求め、演算結果（abs_diff03）をcolumn4のカラムAD回路７２－４のメモリ９３－４に格納する。

　タイミングＴ１３において、column5のカラムAD回路７２－５に設定された閾値（thresh）がcolumn4のカラムAD回路７２－４にシフトされながら、その差分絶対値（abs_diff03）から減算し、減算結果（diff03）を保存する。

　この減算結果（diff03）が、所定の閾値よりも大きい場合、この画素が動体を含む前景領域であるものとみなされることになる。

　このような動作により、前景領域と背景領域とからなる２値化画像からなる差分画像を構成することが可能となる。

　尚、以上においては、低解像度画像とすることでAD変換に使用されないカラムAD回路７２を用いて差分画像を演算する例について説明してきたが、カラムAD回路７２を構成する組み合わせ回路９２の構成を工夫することで、他の演算処理に応用することも可能である。また、AD変換に使用されないカラムAD回路７２を利用してリングバッファ１１０を構成し、リングバッファ１１０を用いて、演算回路７３の構成により差分画像を求める、およびノイズを除去するようにする例についても説明してきたが、演算回路７３の構成を変えることで、他の演算に使用するようにしてもよいものである。

　また、以上においては、全画素について露光時間が同一である例について説明してきたが、露光時間の異なる低解像度画像をカラムAD回路７２のグループを分けて格納し、白飛びや黒沈みを除去するようにしてもよい。

　以上の如く、本開示の撮像素子によれば、カラムAD回路７２内メモリ９３を用いて演算処理を行うことで、デジタルフレームメモリを増設する必要がないため、その分の実装エリアを小さくすることができるので、装置の小型化を実現することが可能となる。また、デジタルフレームメモリを設ける必要がないので、リーク電流を低く抑えることが可能となり、省電力化を実現することが可能となる。

　また、画素内にメモリを持つ方式に比べて、画素を小さくできるので、その分多画素化を実現する、または、小面積化を実現することが可能となる。

　さらに、カラムAD回路内で動物体を検知する構成にすることで、通常時はカラムAD回路の後段の構成を完全に停止したまま、動き検知をすることができるため、省電力化を実現することが可能となる。

　＜電子機器への適用例＞
　上述した撮像素子５１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

　図２４は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。

　図２４に示される撮像装置５０１は、光学系５０２、シャッタ装置５０３、固体撮像素子５０４、駆動回路５０５、信号処理回路５０６、モニタ５０７、およびメモリ５０８を備えて構成され、静止画像および動画像を撮像可能である。

　光学系５０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子５０４に導き、固体撮像素子５０４の受光面に結像させる。

　シャッタ装置５０３は、光学系５０２および固体撮像素子５０４の間に配置され、駆動回路１００５の制御に従って、固体撮像素子５０４への光照射期間および遮光期間を制御する。

　固体撮像素子５０４は、上述した固体撮像素子を含むパッケージにより構成される。固体撮像素子５０４は、光学系５０２およびシャッタ装置５０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子５０４に蓄積された信号電荷は、駆動回路５０５から供給される駆動信号（タイミング信号）に従って転送される。

　駆動回路５０５は、固体撮像素子５０４の転送動作、および、シャッタ装置５０３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子５０４およびシャッタ装置５０３を駆動する。

　信号処理回路５０６は、固体撮像素子５０４から出力された信号電荷に対して各種の信号処理を施す。信号処理回路５０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ５０７に供給されて表示されたり、メモリ５０８に供給されて記憶（記録）されたりする。

　このように構成されている撮像装置５０１においても、上述した光学系５０２、シャッタ装置５０３、および固体撮像素子５０４に代えて、撮像素子５１を適用することにより、演算に必要とされる回路構成を増設することなく画像撮像モードとセンサモードとを切り替えた撮像が可能となり、装置の小型化や省電力化を実現することが可能となる。
　＜固体撮像素子の使用例＞

　図２５は、上述の撮像素子５１を使用する使用例を示す図である。

　上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

　尚、本開示は、以下のような構成も取ることができる。
＜１＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　撮像素子。
＜２＞　前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、
　少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
　＜１＞に記載の撮像素子。
＜３＞　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
　＜２＞に記載の撮像素子。
＜４＞　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
　＜２＞に記載の撮像素子。
＜５＞　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行する
　＜２＞に記載の撮像素子。
＜６＞　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、所定のタイミングの１フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きする
　＜５＞に記載の撮像素子。
＜７＞　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成する
　＜２＞に記載の撮像素子。
＜８＞　前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含む
　＜７＞に記載の撮像素子。
＜９＞　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
　＜８＞に記載の撮像素子。
＜１０＞　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
　＜９＞に記載の撮像素子。
＜１１＞　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算し、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第１の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
　＜９＞に記載の撮像素子。
＜１２＞　前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含む
　＜７＞に記載の撮像素子。
＜１３＞　前記演算部は、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算する
　＜１２＞に記載の撮像素子。
＜１４＞　前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像である
　＜１＞に記載の撮像素子。
＜１５＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　撮像素子の動作方法。
＜１６＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　撮像装置。
＜１７＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　電子機器。

　５１　撮像素子，　７１　画素アレイ，　７１ａ，７１ａ－１乃至７１ａ－ｐ　画素群，　７２，７２－０乃至７２－（ｎ－１）　カラムAD回路，　７３　演算回路，　９１　コンパレータ，　９２，９２－０乃至９２－（ｎ－１）　組み合わせ回路，　９３，９３－０乃至９３－（ｎ－１）　メモリ，　１０１，１０１－０乃至１０１－（ｎ－１）　回路，　１０２，１０２－０乃至１０２－（ｎ－１）　加算器，　１０３，１０３－０乃至１０３－（ｎ－１）　回路，　１１０　リングバッファ，　１１１，１１１－０乃至１１１－４　ゲインアンプ，　１１２　加算器，　１１３　減算気，　１１４　絶対値化部，　１１５　閾値処理部，　１３１，１３１－０乃至１３１－３　減算気，　１３２，１３２－０乃至１３２－３　絶対値化部，　１３３，１３３－０乃至１３３－（ｎ－１）　閾値判定部，　１３４　判定部，　１５１　加算器，　１５２　ゲインアンプ，　１８１，１８１－０乃至１８１－２　スイッチ，　１８２，１８２－０乃至１８２－２　スイッチ，　１９１　水平転送線，　１９２，１９２－１乃至１９２－２　垂直転送

Claims (17)

1. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
   　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
   　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
   　撮像素子。
2. 　前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、
   　少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
   　請求項１に記載の撮像素子。
3. 　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
   　請求項２に記載の撮像素子。
4. 　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
   　請求項２に記載の撮像素子。
5. 　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行する
   　請求項２に記載の撮像素子。
6. 　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、所定のタイミングの１フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きする
   　請求項５に記載の撮像素子。
7. 　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成する
   　請求項２に記載の撮像素子。
8. 　前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含む
   　請求項７に記載の撮像素子。
9. 　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
   　請求項８に記載の撮像素子。
10. 　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
    　請求項９に記載の撮像素子。
11. 　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算し、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第１の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
    　請求項９に記載の撮像素子。
12. 　前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含む
    　請求項７に記載の撮像素子。
13. 　前記演算部は、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算する
    　請求項１２に記載の撮像素子。
14. 　前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像である
    　請求項１に記載の撮像素子。
15. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
    　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、
    　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
    　撮像素子の動作方法。
16. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
    　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
    　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
    　撮像装置。
17. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
    　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
    　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
    　電子機器。

Images