JP3709857B2 - 動体検出イメージセンサ - Google Patents
動体検出イメージセンサ Download PDFInfo
- Publication number
- JP3709857B2 JP3709857B2 JP2002175312A JP2002175312A JP3709857B2 JP 3709857 B2 JP3709857 B2 JP 3709857B2 JP 2002175312 A JP2002175312 A JP 2002175312A JP 2002175312 A JP2002175312 A JP 2002175312A JP 3709857 B2 JP3709857 B2 JP 3709857B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pulse
- delay
- light
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 125
- 230000033001 locomotion Effects 0.000 title description 17
- 239000003990 capacitor Substances 0.000 claims description 29
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 6
- 210000004027 cell Anatomy 0.000 description 70
- 208000003098 Ganglion Cysts Diseases 0.000 description 37
- 208000005400 Synovial Cyst Diseases 0.000 description 37
- 238000012545 processing Methods 0.000 description 23
- 210000001525 retina Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 210000004556 brain Anatomy 0.000 description 12
- 210000000411 amacrine cell Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 206010001497 Agitation Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000008054 signal transmission Effects 0.000 description 6
- 230000002964 excitative effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000270666 Testudines Species 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002287 horizontal cell Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動体の移動方向および速度に依存した出力を行なう動体検出イメージセンサに関する。さらに詳細には、複数の受光素子からの入力信号の処理により動体の移動方向に依存した出力を可能とした動体検出イメージセンサに関する。
【０００２】
【従来の技術】
画像の撮り込みに適用する素子として、固体撮像素子（ＣＣＤ：Charge Coupled Device）がよく知られている。多くの画像処理システムでは、ＣＣＤを備えたビデオカメラで撮影した画像を例えばＰＣ等に入力し、ＰＣ側のソフトウェアおよびハードウェアを適用した処理により、画像データの様々な処理および再生が行われる。
【０００３】
画像処理にソフトウエア適用することで処理の柔軟性が増すという利点があるが、特に画素数が多い場合や高度な処理を行なう場合にカメラとコンピュータの間、あるいはコンピュータ内のメモリとプロセッサの間のデータ転送が全体の処理速度を制限する要因となることが多い。これらの制限要因を除くための高速化アルゴリズムや並列アーキテクチャによる信号処理に関する研究が盛んに行われている。
【０００４】
しかし、これらの研究の多くは、根本的に画像を構成する画素の１つ１つに対して順次処理を行なう逐次処理方式であるため、劇的な高速化・高機能化は望みにくい。これに対し、集積回路技術の進歩により、一部の情報処理機能をイメージセンサにとりこむ、いわゆるＶｉｓｉｏｎ Ｃｈｉｐが広く研究されている。Ｖｉｓｉｏｎ Ｃｈｉｐについては、例えば、“ G.Indiveri, ``Modeling Selective Attention Using a Neuromorphic Analog VLSI Device,'' Neural Computation, Vol.12, No.12, pp.2857--2880, 2000.”、あるいは、“ R.Etienne-Cummings et al., ``High Performance Biomorphic Image Processing Under Tight Space and Power Constraints,'' Autonomous Robots, Vol.11, No.3, pp.227--232, 2001”.に記載されている。
【０００５】
しかし、ほとんどのＶｉｓｉｏｎ Ｃｈｉｐに関する研究では、ノイズ除去やエッジ検出などの比較的単純な処理を対象とするものがほとんどであり、またその出力自身も処理後の映像のままである場合が多い。しかしロボットビジョンなどへの応用を考えると、最終的に必要となるのは画像の「意味」であり、それを抽出するためには再びコンピュータによるソフトウエア処理によることになる。
【０００６】
【発明が解決しようとする課題】
本発明は、上述の既存技術の問題点に鑑みてなされたものであり、カメラからの撮り込み画像のソフトウェア処理による依存度を軽減させる１つの構成として、カメラによる撮り込み画像の１つの「意味」を出力可能とするイメージセンサとして、撮り込み画像中の動体の速度、方向を検出して出力することを可能とした動体検出イメージセンサを提供する。
【０００７】
【課題を解決するための手段】
本発明の第１の側面は、
空間的に離間した位置にある２つの受光部の各々に接続され、各受光部の光検出に基づく電気信号を出力する２つの光検出部Ａ，Ｂと、
前記２つの光検出部の一方の光検出部Ａの出力信号を入力し、該出力信号の遅延を発生させて遅延信号を出力する遅延発生部と、
前記遅延発生部の遅延信号を入力し、該遅延信号に基づくパルス信号Ｑ１を発生する第１のパルス発生部Ａと、
前記２つの光検出部の他方の光検出部Ｂの出力信号を入力し、該入力信号に基づくパルス信号Ｑ２を発生する第２のパルス発生部Ｂと、
前記第１のパルス発生部Ａと、前記第２のパルス発生部Ｂの出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するパルス到達検出部と、
を有することを特徴とする動体検出イメージセンサにある。
【０００８】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記遅延発生部は、コンデンサを有し、入力信号に対して、前記コンデンサの放電時間に応じた遅延をもたらす構成を有するとともに、遅延時間の調整に適用可能なバイアス電圧Ｖｂの印加構成を持つトランジスタを有する構成であることを特徴とする。
【０００９】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記パルス発生部Ａおよびパルス発生部Ｂの各々は、コンデンサを有し、該コンデンサの放電時間に応じたパルス幅のパルスを発生させる構成を有するとともに、パルス幅の調整に適用可能なバイアス電圧Ｖｂ２の印加構成を持つトランジスタを有する構成であることを特徴とする。
【００１０】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記パルス到達検出部は、前記第１のパルス発生部Ａと、前記第２のパルス発生部Ｂの出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するアンド回路によって構成されたものであることを特徴とする。
【００１１】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記光検出部Ａおよび光検出部Ｂの各々は、光検出素子としてのフォトダイオードと、出力信号レベルを調整するバイアス電圧Ｖｂ１の印加構成を持つトランジスタを有する構成であることを特徴とする。
【００１２】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記光検出部Ａは、前記遅延発生部に対する出力値をハイ状態に維持するＮＯＲゲートを有することを特徴とする。
【００１３】
さらに、本発明の胴体検出イメージセンサの一実施態様において、前記イメージセンサは、各々が離間した位置にランダムに配置された複数の受光部を有し、前記光検出部は、前記ランダムに配置された複数の受光部に対応して設けられた構成であることを特徴とする。
さらに、本発明の第２の側面は、
動体検出方法であり、
空間的に離間した位置にある２つの受光部の各々に接続され、各受光部の光検出に基づく電気信号を出力する２つの光検出部Ａ，Ｂの一方の光検出部Ａの出力信号を入力し、該出力信号の遅延を発生させて遅延信号を出力する遅延信号出力ステップと、
前記遅延信号を入力し、該遅延信号に基づくパルス信号Ｑ１を発生する第１のパルス信号発生ステップと、
前記２つの光検出部の他方の光検出部Ｂの出力信号を入力し、該入力信号に基づくパルス信号Ｑ２を発生する第２のパルス信号発生ステップと、
前記第１のパルス発生信号ステップと、前記第２のパルス信号発生ステップにおける出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するパルス到達検出ステップと、
を有することを特徴とする動体検出方法にある。
【００１４】
【作用】
本発明の構成によれば、生体の網膜における細胞の生成する興奮性信号の空間的伝搬遅延に対応する構成を持つ動体検出イメージセンサが実現され、複数の受光部の受光信号の処理に基づいて、動体の移動方向。速度を検出することが可能となる。
【００１５】
さらに、本発明の動体検出イメージセンサによれば、遅延回路による遅延を様々な設定とすることで、さまざまな速度の動体の動きを検出することが可能となる。
【００１６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００１７】
【発明の実施の形態】
以下、本発明の動体検出イメージセンサについて、図面を参照して、詳細に説明する。
【００１８】
［１．生体における動体検出］
本発明の動体検出イメージセンサの構成は、生体の網膜における作用に関する研究に基づくものである。生体の網膜中には、受光素子にあたる錐体や桿体という受光細胞以外にも、水平細胞・ガングリオン細胞といった細胞が存在し、相互にネットワークを作っていることが知られている。このネットワークによって、網膜が単なる撮像素子だけではなく、初期的な視覚情報処理を行なう機能をもつことが知られている。
【００１９】
この網膜がもつ情報処理の１つに、網膜上を動く輝点の動きの方向と速度を検出する機能がある。方向選択性とよばれているこの機能のメカニズムは未だに未解決の問題で、神経の持つ興奮性信号と抑制性信号のうち、従来は抑制信号が重要な役割を担っていると思われてきたが、最近、カメなどの一部の動物の網膜中では、抑制性信号が発生せずに、興奮性信号のみが発生していることが知られている。
【００２０】
図１は、網膜上を動く輝点の動きの方向と速度を検出する機能、すなわち方向選択性を実現する生体の網膜上の処理を説明する図である。
【００２１】
網膜上には、光を検出すると所定幅（Ｔ０）の正（＋）のパルス信号を出力するバイポーラセル（細胞）Ａ１０１，Ｂ１０２と、光を検出すると所定幅（Ｔ０）の負（−）のパルス信号を出力するアマクリンセル（細胞）Ｃ１０３、さらに、バイポーラセル１０１，１０２、および、アマクリンセルＣ１０３からの信号を受領して、その加算信号が所定の閾値以上である場合に信号を脳に出力するガングリオンセル（細胞）１０４が多数、配置された構成を持つ。
【００２２】
バイポーラセルＡ１０１，Ｂ１０２からガングリオンセル１０４に対する信号遅延、およびアマクリンセルＣ１０３からガングリオンセル１０４に対する信号遅延は、それぞれの信号伝達経路長、構成等によって異なるものとなる。
【００２３】
バイポーラセルＡ１０１から、ガングリオンセル１０４に対する信号遅延をＴａ、バイポーラセルＢ１０２から、ガングリオンセル１０４に対する信号遅延をＴｂ、アマクリンセルＣ１０３から、ガングリオンセル１０４に対する信号遅延時間をＴｃとする。バイポーラセルＡ１０１とバイポーラセルＢ１０２の距離をｄ、アマクリンセルＣ１０３とバイポーラセルＢ１０２の距離をｄ’とする。
【００２４】
このとき、まず、反転信号を出力するアマクリンを適用せず、バイポーラセルＡ１０１とバイポーラセルＢ１０２のみによって、動体の移動方向を検出する処理について、図２を参照して説明する。
【００２５】
図２（１）がＡ→Ｂに動体が移動した場合の出力を示し、上段からそれぞれ、バイポーラセルＡ１０１の出力、バイポーラセルＢ１０２の出力、および、その加算値Ａ＋Ｂの信号を示している。ガングリオンセル１０４は、加算値Ａ＋Ｂが閾値以上である場合に脳に対して信号を出力する。
【００２６】
動体が、ＡからＢに移動すると、バイポーラセルＡ１０１は矢印ａに示す点で動体の光を検出し、遅延時間Ｔａの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。バイポーラセルＢ１０２は矢印ｂに示す点で動体の光を検出し、遅延時間Ｔａの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。なお、Ｔａ＞Ｔｂとする。
【００２７】
この時のＡ＋Ｂ信号は、図２（１）の最下段に示すものとなる。ガングリオンセル１０４は、加算値Ａ＋Ｂが閾値Ｖｔ以上である場合に脳に対して信号を出力する。図から明らかなように、加算値Ａ＋Ｂは、閾値Ｖｔ以上である領域２０１を形成し、ガングリオンセル１０４は、信号を脳に対して伝達する。
【００２８】
一方、動体が、ＢからＡに移動した場合の信号の遷移を示したのが図２（２）である。まず、バイポーラセルＢ１０２は矢印ｂに示す点で動体の光を検出し、遅延時間Ｔｂの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。バイポーラセルＡ１０１は矢印ａに示す点で動体の光を検出し、遅延時間Ｔａの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。条件は（１）と同様であり、Ｔａ＞Ｔｂである。
【００２９】
この時のＡ＋Ｂ信号は、図２（２）の最下段に示すものとなる。ガングリオンセル１０４は、加算値Ａ＋Ｂが閾値Ｖｔ以上である場合に脳に対して信号を出力する。図から明らかなように、加算値Ａ＋Ｂは、閾値Ｖｔ以上である領域を形成しないことになり、ガングリオンセル１０４は、信号を脳に対して伝達しない。
【００３０】
このように、ある一定方向に動体が移動した場合にのみガングリオンセル１０４は、信号を出力することになり、生体の網膜の細胞レベルで方向検知センサとしての機能を有することになる。
【００３１】
次に、反転信号をガングリオンセル１０４に対して出力するアマクリンセルＣ１０３の作用について、図３を参照して説明する。
【００３２】
図３（１），（２）は、図２の（１），（２）と同様、それぞれＡ→Ｂ、Ｂ→Ａに動体が移動した場合の各セルの出力および加算信号を示している。ただし、動体の移動速度が図２の場合に比較して高速である点が異なっている。
【００３３】
動体がＡからＢに高速で移動した場合、図３（１）に示すように、矢印ａｂ間の間隔が、図２（１）に比較して短くなり、その結果、Ａ，Ｂのパルスの重複期間が広がり、信号Ａ＋Ｂが閾値Ｖｔを超える領域２１１も長く発生する。このとき、ガングリオンセル１０４は、信号を脳に伝達することになる。
【００３４】
一方、動体がＢからＡに高速で移動した場合、図３（２）に示すように、先の図２（２）と異なり、Ａ，Ｂのパルスの重複期間が発生してしまうことになる。この結果、信号Ａ＋Ｂが閾値Ｖｔを超える領域２１２が発生し、ガングリオンセル１０４は、信号を脳に伝達することになる。
【００３５】
このように、動体が高速移動すると、Ａ→Ｂ、Ｂ→Ａ、いずれにおいても、信号Ａ＋Ｂが閾値Ｖｔを超える領域が発生し、ガングリオンセル１０４は、信号を脳に伝達することになり、動体の方向検出が不可能になる。
【００３６】
この不都合を解決するのが、ガングリオンセル１０４に対して反転信号を伝達するアマクリンセルＣ１０３である。アマクリンセルＣ１０３の信号を考慮した信号遷移を図３（３），（４）に示す。
【００３７】
図３（３），（４）は、（１），（２）と同様の方向に対する動体移動に対応し、それぞれＡ→Ｂ→Ｃ、Ｃ→Ｂ→Ａに動体が移動した場合の各セルの出力および、Ａ＋Ｂ＋Ｃの加算信号を示している。ただし、動体の移動速度は、図３（１），（２）と同様、高速である。
【００３８】
動体がＡ→Ｂ→Ｃに高速で移動した場合、図３（３）に示すように、加算信号Ａ＋Ｂ＋Ｃは、反転信号Ｃの入力により、閾値Ｖｔ以下に抑制される。しかし、信号Ａ＋Ｂ＋Ｃが閾値Ｖｔを超える領域２１３は発生する。このとき、ガングリオンセル１０４は、信号を脳に伝達することになる。
【００３９】
一方、動体がＣ→Ｂ→Ａに高速で移動した場合、図３（４）に示すように、加算信号Ａ＋Ｂ＋Ｃが、反転信号Ｃの入力により、閾値Ｖｔ以下に抑制され、その結果、信号Ａ＋Ｂ＋Ｃが閾値Ｖｔを超える領域が発生しないことになる。従って、ガングリオンセル１０４は、信号を脳に伝達しないことになる。
【００４０】
このように、ある一定方向に動体が高速で移動した場合であっても、抑制信号としての反転出力をガングリオンセル１０４に伝達するアマクリンセルＣ１０３の作用により、動体の方向検出が可能となる。
【００４１】
上述したバイポーラセルのガングリオンセルに対する正の信号（興奮性信号）のみでも方向選択性が実現可能であることを、次に示すような単純化した電気回路モデルを利用して明らかにすることができる。
【００４２】
図４に示すように空間的に離れた、光があたると幅Ｔの興奮性信号を発するバイポーラセルに相当する２つの受光素子ＰＲ１，３０１，ＰＲ２，３０２を仮定し、動く輝点Ｐ３０５が受光素子ＰＲ１，３０１，ＰＲ２，３０２が順に検出するのに要する時間間隔をΔｔｍとする。
【００４３】
すなわち２つの受光素子ＰＲ１，３０１、ＰＲ２，３０２の空間的な距離をＬ、動く輝点Ｐの速度をｖとすればΔｔｍ＝Ｌ／ｖである。また受光素子ＰＲ１，３０１で発生した興奮性信号は、Δｔｐの遅延を発生させる遅延素子３０３を経てガングリオンセルに相当する検出素子Ｃ３０４まで到達する。すなわち、受光素子ＰＲ１，３０１の出力信号は、時間をΔｔｐの後に検出素子Ｃ３０４まで到達する。
【００４４】
２つの受光素子ＰＲ１，３０１、ＰＲ２，３０２をつなぐガングリオンセルに相当する検出素子Ｃ３０４は、２つの受光素子ＰＲ１，３０１、ＰＲ２，３０２から重複して興奮性信号が到達した場合のみ、出力信号Ｑを出力するとする。この出力Ｑは、以下の条件を満たすときに出力される。
｜Δｔｍ−Δｔｐ｜＜Ｔ・・（１）
【００４５】
この出力Ｑは、ガングリオンセルから脳に対する信号に対応する。逆に出力Ｑが発生した場合には、上記条件（１）を満足しているとの判定が可能となる。これは、ガングリオンセルに相当する検出素子Ｃ３０４に接続している受光素子ＰＲ１，３０１から、受光素子ＰＲ２，３０２へ向かう方向に輝点Ｐ３０５の動きがあったこと、その輝点の速度ｖがｖ＝Ｌ／Δｔｐ程度であるとの判定が可能であることを示している。
【００４６】
この受光素子ＰＲ１，３０１と受光素子ＰＲ２，３０２との距離：Ｌと、受光素子ＰＲ１，３０１からガングリオンセルに相当する検出素子Ｃ３０４に対する信号遅延時間：Δｔｐは２つの受光素子ＰＲ１，３０１と受光素子ＰＲ２，３０２との空間的な配置と遅延要素によってのみ決まるため、ガングリオンセルに相当する検出素子Ｃ３０４の出力Ｑのみに基づいて、輝点Ｐ３０５の移動方向と速度の判定が可能となる。
【００４７】
［２．興奮性信号の空間的伝搬遅延を用いた動体検出イメージセンサ］
上述の説明から明らかなように、生体のバイポーラセルの出力する正の信号（興奮性信号）のみを用いることで動き検出が可能となる。
【００４８】
以下では、生体のバイポーラセルに対応する興奮性信号に相当する信号の出力および信号処理を実行するアルゴリズムを適用した動体検出機能をもつ本発明に係るイメージセンサの構成について説明する。
【００４９】
図５に本発明に係るイメージセンサの全体構成を示す。本発明に係るイメージセンサは、上述した生体の網膜における２つのバイポーラセルと１つのガングリオンセルに対応する構成を持つ。
【００５０】
光検出部Ａ３１０と、光検出部Ｂ３４０は、それぞれ動体３８０の光を受光して電流を発生させるフォトダイオード（ＰＤ１，ＰＤ２）を有する。動体３８０は矢印のα方向、または、β方向に移動する。従って、光検出部Ａ３１０と、光検出部Ｂ３４０は、それぞれ動体３８０の移動方向に従って、いずれかが先行して受光し、他方が遅れて受光する。
【００５１】
一方の光検出部Ａ３１０の検出光によって発生した電気信号は、遅延発生部３２０を介して所定時間遅延された後、パルス発生部Ａ３３０に入力されて、所定時間の遅延（例えばＴａ）の後、所定幅（Ｔ）のパルスＱ１を発生して、アンド回路３６０に出力する。
【００５２】
さらに、もう一方の光検出部Ｂ３４０の検出光によって発生した電気信号は、遅延発生部を介さずに、パルス発生部Ｂ３５０に入力されて、所定幅（Ｔ）のパルスＱ２を発生して、アンド回路３６０に出力する。
【００５３】
アンド回路３６０は、上述の生体の網膜におけるガングリオンセルに対応する処理を実行するものであり、パルスＱ１，Ｑ２が重複して入力した場合に限り、出力Ｑを出力する構成である。
【００５４】
図５に示した本発明に係るイメージセンサを構成する複数の回路要素の各々の詳細について説明する。
【００５５】
Ａ．光検出部およびパルス発生部
本発明に係るイメージセンサを構成する光検出部およびパルス発生部の基本回路構成を図６に示す。なお、図６に示す回路構成は、図５の全体構成図における光検出部Ｂと、パルス発生部Ｂとを併せた構成に相当する。図５の全体構成図における光検出部Ａには、さらに、ＮＯＲゲート構成が付加される。このＮＯＲゲートを持つ光検出部の構成については、図７を参照して後段で説明する。
【００５６】
図６を参照して回路の詳細について説明する。光検出部およびパルス発生部は、動体の光を直接検出し、検出光に基づいて電流を生成するフォトダイオード５１１と、その光電流によって発生する電圧によってコンデンサ５１６の容量Ｃを放電させるための複数のトランジスタ５１２，５１３，５１４、５１５およびアンド回路５１７からなる。
【００５７】
図６の回路構成において、回路部５１８，５１９は電源接続（例えば５Ｖ）され、ＭＯＳトランジスタ５１２のゲートにはバイアス電圧Ｖｂ１、ＭＯＳトランジスタ５１３のゲートにはバイアス電圧Ｖｂ２が印加される。また、ＭＯＳトランジスタ５１５のゲートにはコンデンサ５１６に対するプリチャージのためにプリチャージ電圧Ｖｐｃが印加される。
【００５８】
動作以前の段階で、ＭＯＳトランジスタ５１５のゲートのプリチャージ電圧Ｖｐ印加により、コンデンサ５１６に容量Ｃがプリチャージされる。
【００５９】
フォトダイオード５１１が動体からの光を検出すると、フォトダイオード５１１を介した電流が流れ、ポイント５１０に電圧が発生する。ポイント５１０の電圧により、ＭＯＳトランジスタ５１４を介した電流が流れることになり、コンデンサ５１６にプリチャージしていた電荷がコンデンサ５１３を介して放電する。
【００６０】
アンド回路５１７は、コンデンサ５１６が放電する期間、（１（Ｈｉｇｈ），１（Ｈｉｇｈ））の入力を２入力ラインから受領することになり、コンデンサ５１６が放電する時間幅のパルス信号を出力する。
【００６１】
バルス幅の調整のためには、コンデンサ５１６が放電する時間幅を調整すればよく、これは、トランジスタ５１３のゲートに印可するバイアス電圧Ｖｂ２の調整によって可能となる。また、ポイント５１０の電圧調整は、トランジスタ５１２のゲートに印可するバイアス電圧Ｖｂ１の調整によって可能となる。
【００６２】
この回路により、動体の発する光がフォトダイオード５１１に受光された場合に、アンド回路５１７が一定時間幅のパルスを出力する。
【００６３】
図５の全体構成図における光検出部Ａ３１０には、さらに、ＮＯＲゲート構成が付加される。このＮＯＲゲートを持つ光検出部の構成について、図７を参照して説明する。
【００６４】
図５における光検出部Ａ３１０は遅延発生部３２０に対して信号を出力し、この信号は、フォトダイオードＰＤ１，５２１に光があたった時点から出力が１に維持されることが必要となる。この信号維持のために、図７に示すＮＯＲゲート５２３を付加している。
【００６５】
ＮＯＲゲート５２３は、ＭＯＳトランジスタ４個で構成される回路であり、２つの入力の「論理和の否定」を出力する。ＮＯＲゲート５２３に対する入力の一方をフォトダイオードＰＤ１，５２１に光があたったことで電圧の発生する点Ａの入力とし、他方をプリチャージ電圧Ｖｐｃの論理値の否定入力：／Ｖｐｃとして設定する。本構成は、ＮＯＲゲート５２３によるＲＳフリップフロップ構成であり、リセット時、すなわち、Ｖｐｃ＝０、／Ｖｐｃ＝１において、遅延発生部３２０に対する出力Ｖｉ＝０となり、その後ＰＤ１が露光され、ポイント５２０に電圧が発生した時点で、ＮＯＲゲート５２３に対する入力値が変更されて、それ以降、遅延発生部に対する出力Ｖｉ＝１が維持される。
【００６６】
Ｂ．遅延発生部
次に、光検出部での光受信から、パルス発生までの時間を遅延させるための遅延発生部の構成について、説明する。これは、先の生体の網膜の説明におけるバイポーラセルからガングリオンセルまでの信号伝達遅延に相当する遅延を発生させるための回路である。
【００６７】
遅延発生部は、図５に示す一方の光検出部Ａ３１０の検出光によって発生した電気信号の遅延を発生させてパルス発生部Ａ３３０に入力させる処理を実行する。遅延発生部は、光検出部Ａ３１０の検出光によって発生した電気信号に所定時間の遅延（例えばＴａ）を発生させる。
【００６８】
ここでは、動体が空間的に離れた２つの受光部間を通過するために要する時間と同程度の遅延時間を生成する遅延発生回路について、図８を参照して説明する。図８に示す遅延回路は、トランジスタ５３１，５３２、５３３、コンデンサ５３４、インバータ５３５からなり、回路部５３６は電源接続（例えば５Ｖ）され、ＭＯＳトランジスタ５３１のゲートにはバイアス電圧Ｖｂが印加される。また、ＭＯＳトランジスタ５３３のゲートにはコンデンサ５３４に対するプリチャージのためにプリチャージ電圧Ｖｐｃが印加される。
【００６９】
ＭＯＳトランジスタ５３２のゲートには光検出部のフォトダイオードによって受光されたことを条件として印加される電圧Ｖｉが入力（図５参照）される。図７を参照して説明したような、Ｖｉは、ＮＯＲゲートを介した出力される出力値であり、所定時間継続して所定の電圧値ＶｉをＭＯＳトランジスタ５３２のゲートに供給する。
【００７０】
図５に示す空間的に離れた２つの受光部（ＰＤ１，ＰＤ２）間を通過するために要する時間を１ｍｓとすると、図８に示す遅延回路は、１ｍｓ程度の遅延時間を発生させることが必要となる。ここでコンデンサ５３４の容量Ｃを１ｐＦ程度とし、その放電に要する時間を用いてこの遅延時間を発生させるとすると１０9Ω程度の抵抗が必要となる。
【００７１】
これにはＭＯＳトランジスタのサブスレッショルド領域を利用する。サブスレッショルド領域とは、ＭＯＳトランジスタのゲートに加える電圧（Ｖｂ）が閾値以下、すなわち抵抗が大となる領域のことであり、Ｖｂの調整により、ＭＯＳトランジスタ５３１の抵抗を調整し、ここでコンデンサ５３４の容量Ｃの放電時間が調節可能となる。
【００７２】
図８に示す遅延回路の動作について説明する。まず、コンデンサ５３４には、ＭＯＳトランジスタ５３３によるＶｐｃ印加により、容量Ｃがプリチャージされる。その後、光検出部から受光に基づく電圧値ＶｉがＭＯＳトランジスタ５３２のゲートに入力されると、コンデンサ５３４の放電が開始される。放電時間は、ＭＯＳトランジスタ５３１のゲート印加電圧Ｖｂによって調整される。
【００７３】
コンデンサ５３４の放電開始時は、インバータ５３５の入力は、Ｈｉｇｈであり、出力はローとなるが、コンデンサ５３４の放電終了後インバータ５３５の入力がＬｏに代わり、出力がＨｉとなる。この放電時間の期間を約１ｍｓとすることで、図５に示す光検出部Ａ３１０による光検出から、遅延Δｔｐ＝１ｍｓ後に、遅延発生部３２０のインバータを介してパルス発生部に対して遅延発生部３２０を介してＨｉｇｈ信号が出力されることになる。
【００７４】
Ｃ．パルス到達検出部
図５に示す空間的に離れた受光部（ＰＤ１，ＰＤ２）に対して、動体３８０の光を時間差を持って受光し、かつ、一方の受光部ＰＤ１の受光に基づく電気信号に遅延（Ｔａ）を発生させて、２つのパルス信号Ｑ１，Ｑ２をパルス発生部Ａ，３３０と、パルス発生部Ｂ，３５０によって発生させ、この２つのパルスとが同時に到達する場合に、信号を出力し、信号出力の有無により、動体３８０の移動方向、速度を求るのが、本イメージセンサの要点である。このパルスの同時発生を検出する回路を図９に示す。
【００７５】
図９に示す回路５５１は、図５のアンド回路３６０である。これは、生体の網膜におけるガングリオンセルに相当する処理を行なうものであり、パルス発生部Ａ，３３０と、パルス発生部Ｂ，３５０から入力するパルス信号Ｑ１，Ｑ２を入力し、両信号ともＨｉｇｈである場合に、信号Ｑを出力する。
【００７６】
信号Ｑが出力されることが、パルス発生部Ａ，３３０と、パルス発生部Ｂ，３５０から重複してパルス信号Ｑ１，Ｑ２が入力したことを示す。
【００７７】
［３．イメージセンサによる動体検出］
次に、上記項目において説明した本発明のイメージセンサをもちいた動体の検出処理について説明する。
【００７８】
本発明のイメージセンサは、図５に示すように、空間的に離間した位置にある２つの受光素子（ＰＤ１，ＰＤ２）によって、動体３８０の光を時間さをもって受光し、一方の光検出部Ａ３１０の信号に遅延を発生させた後、それぞれのパルス発生部Ａ，Ｂから出力するパルスＱ１，Ｑ２の重なりを検出して信号Ｑを出力する構成である。
【００７９】
バイアス電圧Ｖｂ，Ｖｂ２をそれぞれＶｂ＝０．５３Ｖ，Ｖｂ２＝０．８Ｖとしたときの回路シミュレータＨＳｐｉｃｅによる回路シミュレーションの結果を図１０および図１１を参照して説明する。なおトランジスタのモデルはＶＤＥＣＣＭＯＳ ０．６μｍプロセスのモデルを用い、このバイアス電圧の条件で受光部が発するパルス幅Ｔはおよそ１μｓであり、また遅延発生部の遅延Δｔｐはおよそ２５０μｓである。
【００８０】
なお、この回路の出力はディジタル値であり、高い電圧（＋５Ｖ）を論理値“１”、低い電圧（０Ｖ）を論理値“０”とする。まず時間：ｔ＝０で輝点が受光部ＰＤ１に達して出力≡１≡が発生している。この値は直後の遅延発生回路に伝わるが、この条件での遅延発生回路の遅延は２５０μｓであるため、ＰＤ１に輝点が到達してから２５０μｓ後に、この論理値≡１≡が直後のパルス発生回路に伝わり、そこから幅１μｓのパルスがＱ１に発生している。
【００８１】
図１０は、（ａ）に示すように、動体７１０が所定距離（Ｌ）離間した受光部（ＰＤ１）７１１から、受光部（ＰＤ２）７１２の方向に比較的低速（Ｖ１）で移動した場合であり、この動体移動を受光部で検出した際の検出信号：ＰＤ１、検出信号ＰＤ１に基づくパルスＱ１、さらに検出信号：ＰＤ２、検出信号ＰＤ２に基づくパルスＱ２、Ｑ１、Ｑ２の入力を受けて、パルス到達検出部で出力する信号：Ｑの各信号遷移を（ｂ）に示してある。
【００８２】
まず、動体７１０の光は、受光部（ＰＤ１）７１１において検出され、その後、遅延回路による遅延時間（Ｔａ＝２５０μｓ）の後、１μｓのパルス（Ｑ１）が発生する。パルス（Ｑ１）が発生する時刻とほぼ同時刻において、動体７１０の光は、受光部（ＰＤ２）７１２において検出され、パルス（Ｑ２）が発生する。この場合、パルス（Ｑ１）、パルス（Ｑ２）の重なりが発生することになり、アンド回路で構成されるパルス到達検出部から１μｓのパルス信号：Ｑが出力される。
【００８３】
このパルス信号：Ｑの出力から、ＰＤ１からＰＤ２へ向かう方向に、この両者の距離を２５０μｓ±１μｓで輝点が移動するような速度で動体が移動したと判定することができる。
【００８４】
図１１は、図１０と異なり、動体が高速（Ｖ２：Ｖ２＞Ｖ１）で、所定距離（Ｌ）離間した受光部（ＰＤ１）７１１から、受光部（ＰＤ２）７１２の方向に移動した場合であり、この動体移動を受光部で検出した際の検出信号：ＰＤ１、検出信号ＰＤ１に基づくパルスＱ１、さらに検出信号：ＰＤ２、検出信号ＰＤ２に基づくパルスＱ２、Ｑ１、Ｑ２の入力を受けて、パルス到達検出部で出力する信号：Ｑの各信号遷移を（ｂ）に示してある。
【００８５】
まず、動体７１０の光は、受光部（ＰＤ１）７１１において検出され、その後、遅延回路による遅延時間（Ｔａ＝２５０μｓ）の後、パルス（Ｑ１）が発生する。パルス（Ｑ１）が発生する以前に、動体７１０の光は、受光部（ＰＤ２）７１２において検出され、パルス（Ｑ２）が発生する。動体７１０が受光部（ＰＤ１）７１１において検出されてから１００μｓ後に受光部（ＰＤ２）７１２において検出されている。
【００８６】
この場合、パルス（Ｑ１）、パルス（Ｑ２）の重なり領域は発生せず、その結果、アンド回路で構成されるパルス到達検出部からの信号：Ｑは出力されない。
【００８７】
したがって受光部（ＰＤ１）７１１から受光部（ＰＤ２）７１２へ２５０μｓで移動する動体は検出されなかったことになる。
【００８８】
上記のイメージセンサでは、Ｑに論理値“１”が発生したときには、受光部ＰＤ１から受光部ＰＤ２へ、この間を２５０μｓで移動する輝点の動きがあったと判定することが可能となる。このように、この回路で検出できる輝点の動きは、２つの受光部の向きと距離という空間的な配置と、遅延発生回路による遅延時間によって決定できることになる。
【００８９】
［４．任意方向の動き検出のためのアーキテクチャ］
通常のイメージセンサでは、受光部は正方形、あるいは六角形などの平面を埋め尽くす格子状に配置される。これは各受光部の信号を読み出すときの簡便さや、またイメージセンサの設計自身の簡素化に有効であり、また走査線によって映像を作るビデオカメラのイメージセンサには特に有効なアーキテクチャである。しかしこの格子状の受光部の配置により、平面上の輝点や輝線の方向に特異性が現われる。
【００９０】
この特異性を解消するためには、受光部を空間的に無作為に配置した構造が好ましい。このように、受光部の空間的な配置が無作為であるということは、方向による特異性もないことに対応する。すなわち理想的に空間的に無作為に配置された受光部からなるイメージセンサでは、対象となる画像に対して方向特異性が全くなくなると考えられる。
【００９１】
従って、図１２に示すように、無作為に光検出部を配置し、それぞれをパルス発生部、あるいは所定の遅延時間Δｔｘを発生させる遅延発生部を介してパルス発生部に接続し、複数のパルス発生部の出力をパルス到達検出部に入力する構成として、各パルス検出部の出力の有無に基づいて、様々な方向への動体移動の検出を可能とするイメージセンサが構成される。なお、遅延発生部における遅延時間の設定を様々な設定にすることで、様々な動体速度についての検出が可能となる。
【００９２】
動体の動き検出自体は、始点位置の受光部と終点位置の受光部の組合せのみによって決まる。これらの特長から、各受光部の空間的な配置は図１２のように無作為にしても、その配置位置に基づいて出力を分析することにより、動体の様々な動きが検出可能となる。さまざまな遅延の遅延回路を、空間的に均一な分布となるように配置し、各受光部との接続も空間的に均一な分布となるようにすることができれば、さまざまな速度の輝点の動きが、理想的には任意の空間的な方向に対して検出することが可能となる。
【００９３】
上述したように本発明の動体検出イメージセンサは、生体の網膜中での信号処理システムにおけるバイホーラセルの発する興奮性信号に対応する信号を発生させて、信号の空間的な伝搬遅延を利用して、動体の移動方向、速度の検出が可能となる。上述した回路構成忠の受光部を無作為に配列することで、方向の特異性のない動体検出イメージセンサが実現される。
【００９４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００９５】
【発明の効果】
以上、説明してきたように、本発明の構成によれば、生体の網膜における細胞の生成する興奮性信号の空間的伝搬遅延に対応する構成を持つ動体検出イメージセンサが実現され、複数の受光部の受光信号の処理に基づいて、動体の移動方向。速度を検出することが可能となる。
【００９６】
さらに、本発明の動体検出イメージセンサによれば、遅延回路による遅延を様々な設定とすることで、さまざまな速度の動体の動きを検出することができる。
【図面の簡単な説明】
【図１】生体の網膜における信号伝達処理について説明する図である。
【図２】生体の網膜における信号伝達による動体検出処理について説明する図である。
【図３】生体の網膜における信号伝達による動体検出処理について説明する図である。
【図４】生体の網膜における信号伝達による動体検出処理をセンサとする場合の構成概要および信号について説明する図である。
【図５】本発明の動体検出イメージセンサの全体構成を示す回路図である。
【図６】本発明の動体検出イメージセンサを構成する光検出部、パルス発生部構成を示す回路図である。
【図７】本発明の動体検出イメージセンサを構成する光検出部にＮＯＲゲートを付加した構成を示す回路図である。
【図８】本発明の動体検出イメージセンサを構成する遅延発生部の構成を示す回路図である。
【図９】本発明の動体検出イメージセンサを構成するパルス到達検出部の構成を示す回路図である。
【図１０】本発明の動体検出イメージセンサによる動体検出処理例を説明する図である。
【図１１】本発明の動体検出イメージセンサによる動体検出処理例を説明する図である。
【図１２】本発明の動体検出イメージセンサにおいて受光部をランダム配置した構成例を示す図である。
【符号の説明】
１０１，１０２ バイポーラセル
１０３ アマクリンセル
１０４ ガングリオンセル
３０１，３０２ 受光素子
３０３ 遅延素子
３０４ 検出素子
３０５ 輝点
３１０ 光検出部
３２０ 遅延発生部
３３０ パルス発生部
３４０ 光検出部
３５０ パルス発生部
３６０ アンド回路
５１１ フォトダイオード
５１２，５１３，５１４、５１５ トランジスタ
５１６ コンデンサ
５１７ アンド回路
５２１ フォトダイオード
５２２ トランジスタ
５２３ ＮＯＲゲート
５３１，５３２，５３３ トランジスタ
５３４ コンデンサ
５３５ インバータ
５５１ アンド回路
７１０ 動体
７１１，７１２ フォトダイオード
【発明の属する技術分野】
本発明は、動体の移動方向および速度に依存した出力を行なう動体検出イメージセンサに関する。さらに詳細には、複数の受光素子からの入力信号の処理により動体の移動方向に依存した出力を可能とした動体検出イメージセンサに関する。
【０００２】
【従来の技術】
画像の撮り込みに適用する素子として、固体撮像素子（ＣＣＤ：Charge Coupled Device）がよく知られている。多くの画像処理システムでは、ＣＣＤを備えたビデオカメラで撮影した画像を例えばＰＣ等に入力し、ＰＣ側のソフトウェアおよびハードウェアを適用した処理により、画像データの様々な処理および再生が行われる。
【０００３】
画像処理にソフトウエア適用することで処理の柔軟性が増すという利点があるが、特に画素数が多い場合や高度な処理を行なう場合にカメラとコンピュータの間、あるいはコンピュータ内のメモリとプロセッサの間のデータ転送が全体の処理速度を制限する要因となることが多い。これらの制限要因を除くための高速化アルゴリズムや並列アーキテクチャによる信号処理に関する研究が盛んに行われている。
【０００４】
しかし、これらの研究の多くは、根本的に画像を構成する画素の１つ１つに対して順次処理を行なう逐次処理方式であるため、劇的な高速化・高機能化は望みにくい。これに対し、集積回路技術の進歩により、一部の情報処理機能をイメージセンサにとりこむ、いわゆるＶｉｓｉｏｎ Ｃｈｉｐが広く研究されている。Ｖｉｓｉｏｎ Ｃｈｉｐについては、例えば、“ G.Indiveri, ``Modeling Selective Attention Using a Neuromorphic Analog VLSI Device,'' Neural Computation, Vol.12, No.12, pp.2857--2880, 2000.”、あるいは、“ R.Etienne-Cummings et al., ``High Performance Biomorphic Image Processing Under Tight Space and Power Constraints,'' Autonomous Robots, Vol.11, No.3, pp.227--232, 2001”.に記載されている。
【０００５】
しかし、ほとんどのＶｉｓｉｏｎ Ｃｈｉｐに関する研究では、ノイズ除去やエッジ検出などの比較的単純な処理を対象とするものがほとんどであり、またその出力自身も処理後の映像のままである場合が多い。しかしロボットビジョンなどへの応用を考えると、最終的に必要となるのは画像の「意味」であり、それを抽出するためには再びコンピュータによるソフトウエア処理によることになる。
【０００６】
【発明が解決しようとする課題】
本発明は、上述の既存技術の問題点に鑑みてなされたものであり、カメラからの撮り込み画像のソフトウェア処理による依存度を軽減させる１つの構成として、カメラによる撮り込み画像の１つの「意味」を出力可能とするイメージセンサとして、撮り込み画像中の動体の速度、方向を検出して出力することを可能とした動体検出イメージセンサを提供する。
【０００７】
【課題を解決するための手段】
本発明の第１の側面は、
空間的に離間した位置にある２つの受光部の各々に接続され、各受光部の光検出に基づく電気信号を出力する２つの光検出部Ａ，Ｂと、
前記２つの光検出部の一方の光検出部Ａの出力信号を入力し、該出力信号の遅延を発生させて遅延信号を出力する遅延発生部と、
前記遅延発生部の遅延信号を入力し、該遅延信号に基づくパルス信号Ｑ１を発生する第１のパルス発生部Ａと、
前記２つの光検出部の他方の光検出部Ｂの出力信号を入力し、該入力信号に基づくパルス信号Ｑ２を発生する第２のパルス発生部Ｂと、
前記第１のパルス発生部Ａと、前記第２のパルス発生部Ｂの出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するパルス到達検出部と、
を有することを特徴とする動体検出イメージセンサにある。
【０００８】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記遅延発生部は、コンデンサを有し、入力信号に対して、前記コンデンサの放電時間に応じた遅延をもたらす構成を有するとともに、遅延時間の調整に適用可能なバイアス電圧Ｖｂの印加構成を持つトランジスタを有する構成であることを特徴とする。
【０００９】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記パルス発生部Ａおよびパルス発生部Ｂの各々は、コンデンサを有し、該コンデンサの放電時間に応じたパルス幅のパルスを発生させる構成を有するとともに、パルス幅の調整に適用可能なバイアス電圧Ｖｂ２の印加構成を持つトランジスタを有する構成であることを特徴とする。
【００１０】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記パルス到達検出部は、前記第１のパルス発生部Ａと、前記第２のパルス発生部Ｂの出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するアンド回路によって構成されたものであることを特徴とする。
【００１１】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記光検出部Ａおよび光検出部Ｂの各々は、光検出素子としてのフォトダイオードと、出力信号レベルを調整するバイアス電圧Ｖｂ１の印加構成を持つトランジスタを有する構成であることを特徴とする。
【００１２】
さらに、本発明の動体検出イメージセンサの一実施態様において、前記光検出部Ａは、前記遅延発生部に対する出力値をハイ状態に維持するＮＯＲゲートを有することを特徴とする。
【００１３】
さらに、本発明の胴体検出イメージセンサの一実施態様において、前記イメージセンサは、各々が離間した位置にランダムに配置された複数の受光部を有し、前記光検出部は、前記ランダムに配置された複数の受光部に対応して設けられた構成であることを特徴とする。
さらに、本発明の第２の側面は、
動体検出方法であり、
空間的に離間した位置にある２つの受光部の各々に接続され、各受光部の光検出に基づく電気信号を出力する２つの光検出部Ａ，Ｂの一方の光検出部Ａの出力信号を入力し、該出力信号の遅延を発生させて遅延信号を出力する遅延信号出力ステップと、
前記遅延信号を入力し、該遅延信号に基づくパルス信号Ｑ１を発生する第１のパルス信号発生ステップと、
前記２つの光検出部の他方の光検出部Ｂの出力信号を入力し、該入力信号に基づくパルス信号Ｑ２を発生する第２のパルス信号発生ステップと、
前記第１のパルス発生信号ステップと、前記第２のパルス信号発生ステップにおける出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するパルス到達検出ステップと、
を有することを特徴とする動体検出方法にある。
【００１４】
【作用】
本発明の構成によれば、生体の網膜における細胞の生成する興奮性信号の空間的伝搬遅延に対応する構成を持つ動体検出イメージセンサが実現され、複数の受光部の受光信号の処理に基づいて、動体の移動方向。速度を検出することが可能となる。
【００１５】
さらに、本発明の動体検出イメージセンサによれば、遅延回路による遅延を様々な設定とすることで、さまざまな速度の動体の動きを検出することが可能となる。
【００１６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００１７】
【発明の実施の形態】
以下、本発明の動体検出イメージセンサについて、図面を参照して、詳細に説明する。
【００１８】
［１．生体における動体検出］
本発明の動体検出イメージセンサの構成は、生体の網膜における作用に関する研究に基づくものである。生体の網膜中には、受光素子にあたる錐体や桿体という受光細胞以外にも、水平細胞・ガングリオン細胞といった細胞が存在し、相互にネットワークを作っていることが知られている。このネットワークによって、網膜が単なる撮像素子だけではなく、初期的な視覚情報処理を行なう機能をもつことが知られている。
【００１９】
この網膜がもつ情報処理の１つに、網膜上を動く輝点の動きの方向と速度を検出する機能がある。方向選択性とよばれているこの機能のメカニズムは未だに未解決の問題で、神経の持つ興奮性信号と抑制性信号のうち、従来は抑制信号が重要な役割を担っていると思われてきたが、最近、カメなどの一部の動物の網膜中では、抑制性信号が発生せずに、興奮性信号のみが発生していることが知られている。
【００２０】
図１は、網膜上を動く輝点の動きの方向と速度を検出する機能、すなわち方向選択性を実現する生体の網膜上の処理を説明する図である。
【００２１】
網膜上には、光を検出すると所定幅（Ｔ０）の正（＋）のパルス信号を出力するバイポーラセル（細胞）Ａ１０１，Ｂ１０２と、光を検出すると所定幅（Ｔ０）の負（−）のパルス信号を出力するアマクリンセル（細胞）Ｃ１０３、さらに、バイポーラセル１０１，１０２、および、アマクリンセルＣ１０３からの信号を受領して、その加算信号が所定の閾値以上である場合に信号を脳に出力するガングリオンセル（細胞）１０４が多数、配置された構成を持つ。
【００２２】
バイポーラセルＡ１０１，Ｂ１０２からガングリオンセル１０４に対する信号遅延、およびアマクリンセルＣ１０３からガングリオンセル１０４に対する信号遅延は、それぞれの信号伝達経路長、構成等によって異なるものとなる。
【００２３】
バイポーラセルＡ１０１から、ガングリオンセル１０４に対する信号遅延をＴａ、バイポーラセルＢ１０２から、ガングリオンセル１０４に対する信号遅延をＴｂ、アマクリンセルＣ１０３から、ガングリオンセル１０４に対する信号遅延時間をＴｃとする。バイポーラセルＡ１０１とバイポーラセルＢ１０２の距離をｄ、アマクリンセルＣ１０３とバイポーラセルＢ１０２の距離をｄ’とする。
【００２４】
このとき、まず、反転信号を出力するアマクリンを適用せず、バイポーラセルＡ１０１とバイポーラセルＢ１０２のみによって、動体の移動方向を検出する処理について、図２を参照して説明する。
【００２５】
図２（１）がＡ→Ｂに動体が移動した場合の出力を示し、上段からそれぞれ、バイポーラセルＡ１０１の出力、バイポーラセルＢ１０２の出力、および、その加算値Ａ＋Ｂの信号を示している。ガングリオンセル１０４は、加算値Ａ＋Ｂが閾値以上である場合に脳に対して信号を出力する。
【００２６】
動体が、ＡからＢに移動すると、バイポーラセルＡ１０１は矢印ａに示す点で動体の光を検出し、遅延時間Ｔａの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。バイポーラセルＢ１０２は矢印ｂに示す点で動体の光を検出し、遅延時間Ｔａの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。なお、Ｔａ＞Ｔｂとする。
【００２７】
この時のＡ＋Ｂ信号は、図２（１）の最下段に示すものとなる。ガングリオンセル１０４は、加算値Ａ＋Ｂが閾値Ｖｔ以上である場合に脳に対して信号を出力する。図から明らかなように、加算値Ａ＋Ｂは、閾値Ｖｔ以上である領域２０１を形成し、ガングリオンセル１０４は、信号を脳に対して伝達する。
【００２８】
一方、動体が、ＢからＡに移動した場合の信号の遷移を示したのが図２（２）である。まず、バイポーラセルＢ１０２は矢印ｂに示す点で動体の光を検出し、遅延時間Ｔｂの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。バイポーラセルＡ１０１は矢印ａに示す点で動体の光を検出し、遅延時間Ｔａの後パルス幅Ｔ０の信号をガングリオンセル１０４に対して入力する。条件は（１）と同様であり、Ｔａ＞Ｔｂである。
【００２９】
この時のＡ＋Ｂ信号は、図２（２）の最下段に示すものとなる。ガングリオンセル１０４は、加算値Ａ＋Ｂが閾値Ｖｔ以上である場合に脳に対して信号を出力する。図から明らかなように、加算値Ａ＋Ｂは、閾値Ｖｔ以上である領域を形成しないことになり、ガングリオンセル１０４は、信号を脳に対して伝達しない。
【００３０】
このように、ある一定方向に動体が移動した場合にのみガングリオンセル１０４は、信号を出力することになり、生体の網膜の細胞レベルで方向検知センサとしての機能を有することになる。
【００３１】
次に、反転信号をガングリオンセル１０４に対して出力するアマクリンセルＣ１０３の作用について、図３を参照して説明する。
【００３２】
図３（１），（２）は、図２の（１），（２）と同様、それぞれＡ→Ｂ、Ｂ→Ａに動体が移動した場合の各セルの出力および加算信号を示している。ただし、動体の移動速度が図２の場合に比較して高速である点が異なっている。
【００３３】
動体がＡからＢに高速で移動した場合、図３（１）に示すように、矢印ａｂ間の間隔が、図２（１）に比較して短くなり、その結果、Ａ，Ｂのパルスの重複期間が広がり、信号Ａ＋Ｂが閾値Ｖｔを超える領域２１１も長く発生する。このとき、ガングリオンセル１０４は、信号を脳に伝達することになる。
【００３４】
一方、動体がＢからＡに高速で移動した場合、図３（２）に示すように、先の図２（２）と異なり、Ａ，Ｂのパルスの重複期間が発生してしまうことになる。この結果、信号Ａ＋Ｂが閾値Ｖｔを超える領域２１２が発生し、ガングリオンセル１０４は、信号を脳に伝達することになる。
【００３５】
このように、動体が高速移動すると、Ａ→Ｂ、Ｂ→Ａ、いずれにおいても、信号Ａ＋Ｂが閾値Ｖｔを超える領域が発生し、ガングリオンセル１０４は、信号を脳に伝達することになり、動体の方向検出が不可能になる。
【００３６】
この不都合を解決するのが、ガングリオンセル１０４に対して反転信号を伝達するアマクリンセルＣ１０３である。アマクリンセルＣ１０３の信号を考慮した信号遷移を図３（３），（４）に示す。
【００３７】
図３（３），（４）は、（１），（２）と同様の方向に対する動体移動に対応し、それぞれＡ→Ｂ→Ｃ、Ｃ→Ｂ→Ａに動体が移動した場合の各セルの出力および、Ａ＋Ｂ＋Ｃの加算信号を示している。ただし、動体の移動速度は、図３（１），（２）と同様、高速である。
【００３８】
動体がＡ→Ｂ→Ｃに高速で移動した場合、図３（３）に示すように、加算信号Ａ＋Ｂ＋Ｃは、反転信号Ｃの入力により、閾値Ｖｔ以下に抑制される。しかし、信号Ａ＋Ｂ＋Ｃが閾値Ｖｔを超える領域２１３は発生する。このとき、ガングリオンセル１０４は、信号を脳に伝達することになる。
【００３９】
一方、動体がＣ→Ｂ→Ａに高速で移動した場合、図３（４）に示すように、加算信号Ａ＋Ｂ＋Ｃが、反転信号Ｃの入力により、閾値Ｖｔ以下に抑制され、その結果、信号Ａ＋Ｂ＋Ｃが閾値Ｖｔを超える領域が発生しないことになる。従って、ガングリオンセル１０４は、信号を脳に伝達しないことになる。
【００４０】
このように、ある一定方向に動体が高速で移動した場合であっても、抑制信号としての反転出力をガングリオンセル１０４に伝達するアマクリンセルＣ１０３の作用により、動体の方向検出が可能となる。
【００４１】
上述したバイポーラセルのガングリオンセルに対する正の信号（興奮性信号）のみでも方向選択性が実現可能であることを、次に示すような単純化した電気回路モデルを利用して明らかにすることができる。
【００４２】
図４に示すように空間的に離れた、光があたると幅Ｔの興奮性信号を発するバイポーラセルに相当する２つの受光素子ＰＲ１，３０１，ＰＲ２，３０２を仮定し、動く輝点Ｐ３０５が受光素子ＰＲ１，３０１，ＰＲ２，３０２が順に検出するのに要する時間間隔をΔｔｍとする。
【００４３】
すなわち２つの受光素子ＰＲ１，３０１、ＰＲ２，３０２の空間的な距離をＬ、動く輝点Ｐの速度をｖとすればΔｔｍ＝Ｌ／ｖである。また受光素子ＰＲ１，３０１で発生した興奮性信号は、Δｔｐの遅延を発生させる遅延素子３０３を経てガングリオンセルに相当する検出素子Ｃ３０４まで到達する。すなわち、受光素子ＰＲ１，３０１の出力信号は、時間をΔｔｐの後に検出素子Ｃ３０４まで到達する。
【００４４】
２つの受光素子ＰＲ１，３０１、ＰＲ２，３０２をつなぐガングリオンセルに相当する検出素子Ｃ３０４は、２つの受光素子ＰＲ１，３０１、ＰＲ２，３０２から重複して興奮性信号が到達した場合のみ、出力信号Ｑを出力するとする。この出力Ｑは、以下の条件を満たすときに出力される。
｜Δｔｍ−Δｔｐ｜＜Ｔ・・（１）
【００４５】
この出力Ｑは、ガングリオンセルから脳に対する信号に対応する。逆に出力Ｑが発生した場合には、上記条件（１）を満足しているとの判定が可能となる。これは、ガングリオンセルに相当する検出素子Ｃ３０４に接続している受光素子ＰＲ１，３０１から、受光素子ＰＲ２，３０２へ向かう方向に輝点Ｐ３０５の動きがあったこと、その輝点の速度ｖがｖ＝Ｌ／Δｔｐ程度であるとの判定が可能であることを示している。
【００４６】
この受光素子ＰＲ１，３０１と受光素子ＰＲ２，３０２との距離：Ｌと、受光素子ＰＲ１，３０１からガングリオンセルに相当する検出素子Ｃ３０４に対する信号遅延時間：Δｔｐは２つの受光素子ＰＲ１，３０１と受光素子ＰＲ２，３０２との空間的な配置と遅延要素によってのみ決まるため、ガングリオンセルに相当する検出素子Ｃ３０４の出力Ｑのみに基づいて、輝点Ｐ３０５の移動方向と速度の判定が可能となる。
【００４７】
［２．興奮性信号の空間的伝搬遅延を用いた動体検出イメージセンサ］
上述の説明から明らかなように、生体のバイポーラセルの出力する正の信号（興奮性信号）のみを用いることで動き検出が可能となる。
【００４８】
以下では、生体のバイポーラセルに対応する興奮性信号に相当する信号の出力および信号処理を実行するアルゴリズムを適用した動体検出機能をもつ本発明に係るイメージセンサの構成について説明する。
【００４９】
図５に本発明に係るイメージセンサの全体構成を示す。本発明に係るイメージセンサは、上述した生体の網膜における２つのバイポーラセルと１つのガングリオンセルに対応する構成を持つ。
【００５０】
光検出部Ａ３１０と、光検出部Ｂ３４０は、それぞれ動体３８０の光を受光して電流を発生させるフォトダイオード（ＰＤ１，ＰＤ２）を有する。動体３８０は矢印のα方向、または、β方向に移動する。従って、光検出部Ａ３１０と、光検出部Ｂ３４０は、それぞれ動体３８０の移動方向に従って、いずれかが先行して受光し、他方が遅れて受光する。
【００５１】
一方の光検出部Ａ３１０の検出光によって発生した電気信号は、遅延発生部３２０を介して所定時間遅延された後、パルス発生部Ａ３３０に入力されて、所定時間の遅延（例えばＴａ）の後、所定幅（Ｔ）のパルスＱ１を発生して、アンド回路３６０に出力する。
【００５２】
さらに、もう一方の光検出部Ｂ３４０の検出光によって発生した電気信号は、遅延発生部を介さずに、パルス発生部Ｂ３５０に入力されて、所定幅（Ｔ）のパルスＱ２を発生して、アンド回路３６０に出力する。
【００５３】
アンド回路３６０は、上述の生体の網膜におけるガングリオンセルに対応する処理を実行するものであり、パルスＱ１，Ｑ２が重複して入力した場合に限り、出力Ｑを出力する構成である。
【００５４】
図５に示した本発明に係るイメージセンサを構成する複数の回路要素の各々の詳細について説明する。
【００５５】
Ａ．光検出部およびパルス発生部
本発明に係るイメージセンサを構成する光検出部およびパルス発生部の基本回路構成を図６に示す。なお、図６に示す回路構成は、図５の全体構成図における光検出部Ｂと、パルス発生部Ｂとを併せた構成に相当する。図５の全体構成図における光検出部Ａには、さらに、ＮＯＲゲート構成が付加される。このＮＯＲゲートを持つ光検出部の構成については、図７を参照して後段で説明する。
【００５６】
図６を参照して回路の詳細について説明する。光検出部およびパルス発生部は、動体の光を直接検出し、検出光に基づいて電流を生成するフォトダイオード５１１と、その光電流によって発生する電圧によってコンデンサ５１６の容量Ｃを放電させるための複数のトランジスタ５１２，５１３，５１４、５１５およびアンド回路５１７からなる。
【００５７】
図６の回路構成において、回路部５１８，５１９は電源接続（例えば５Ｖ）され、ＭＯＳトランジスタ５１２のゲートにはバイアス電圧Ｖｂ１、ＭＯＳトランジスタ５１３のゲートにはバイアス電圧Ｖｂ２が印加される。また、ＭＯＳトランジスタ５１５のゲートにはコンデンサ５１６に対するプリチャージのためにプリチャージ電圧Ｖｐｃが印加される。
【００５８】
動作以前の段階で、ＭＯＳトランジスタ５１５のゲートのプリチャージ電圧Ｖｐ印加により、コンデンサ５１６に容量Ｃがプリチャージされる。
【００５９】
フォトダイオード５１１が動体からの光を検出すると、フォトダイオード５１１を介した電流が流れ、ポイント５１０に電圧が発生する。ポイント５１０の電圧により、ＭＯＳトランジスタ５１４を介した電流が流れることになり、コンデンサ５１６にプリチャージしていた電荷がコンデンサ５１３を介して放電する。
【００６０】
アンド回路５１７は、コンデンサ５１６が放電する期間、（１（Ｈｉｇｈ），１（Ｈｉｇｈ））の入力を２入力ラインから受領することになり、コンデンサ５１６が放電する時間幅のパルス信号を出力する。
【００６１】
バルス幅の調整のためには、コンデンサ５１６が放電する時間幅を調整すればよく、これは、トランジスタ５１３のゲートに印可するバイアス電圧Ｖｂ２の調整によって可能となる。また、ポイント５１０の電圧調整は、トランジスタ５１２のゲートに印可するバイアス電圧Ｖｂ１の調整によって可能となる。
【００６２】
この回路により、動体の発する光がフォトダイオード５１１に受光された場合に、アンド回路５１７が一定時間幅のパルスを出力する。
【００６３】
図５の全体構成図における光検出部Ａ３１０には、さらに、ＮＯＲゲート構成が付加される。このＮＯＲゲートを持つ光検出部の構成について、図７を参照して説明する。
【００６４】
図５における光検出部Ａ３１０は遅延発生部３２０に対して信号を出力し、この信号は、フォトダイオードＰＤ１，５２１に光があたった時点から出力が１に維持されることが必要となる。この信号維持のために、図７に示すＮＯＲゲート５２３を付加している。
【００６５】
ＮＯＲゲート５２３は、ＭＯＳトランジスタ４個で構成される回路であり、２つの入力の「論理和の否定」を出力する。ＮＯＲゲート５２３に対する入力の一方をフォトダイオードＰＤ１，５２１に光があたったことで電圧の発生する点Ａの入力とし、他方をプリチャージ電圧Ｖｐｃの論理値の否定入力：／Ｖｐｃとして設定する。本構成は、ＮＯＲゲート５２３によるＲＳフリップフロップ構成であり、リセット時、すなわち、Ｖｐｃ＝０、／Ｖｐｃ＝１において、遅延発生部３２０に対する出力Ｖｉ＝０となり、その後ＰＤ１が露光され、ポイント５２０に電圧が発生した時点で、ＮＯＲゲート５２３に対する入力値が変更されて、それ以降、遅延発生部に対する出力Ｖｉ＝１が維持される。
【００６６】
Ｂ．遅延発生部
次に、光検出部での光受信から、パルス発生までの時間を遅延させるための遅延発生部の構成について、説明する。これは、先の生体の網膜の説明におけるバイポーラセルからガングリオンセルまでの信号伝達遅延に相当する遅延を発生させるための回路である。
【００６７】
遅延発生部は、図５に示す一方の光検出部Ａ３１０の検出光によって発生した電気信号の遅延を発生させてパルス発生部Ａ３３０に入力させる処理を実行する。遅延発生部は、光検出部Ａ３１０の検出光によって発生した電気信号に所定時間の遅延（例えばＴａ）を発生させる。
【００６８】
ここでは、動体が空間的に離れた２つの受光部間を通過するために要する時間と同程度の遅延時間を生成する遅延発生回路について、図８を参照して説明する。図８に示す遅延回路は、トランジスタ５３１，５３２、５３３、コンデンサ５３４、インバータ５３５からなり、回路部５３６は電源接続（例えば５Ｖ）され、ＭＯＳトランジスタ５３１のゲートにはバイアス電圧Ｖｂが印加される。また、ＭＯＳトランジスタ５３３のゲートにはコンデンサ５３４に対するプリチャージのためにプリチャージ電圧Ｖｐｃが印加される。
【００６９】
ＭＯＳトランジスタ５３２のゲートには光検出部のフォトダイオードによって受光されたことを条件として印加される電圧Ｖｉが入力（図５参照）される。図７を参照して説明したような、Ｖｉは、ＮＯＲゲートを介した出力される出力値であり、所定時間継続して所定の電圧値ＶｉをＭＯＳトランジスタ５３２のゲートに供給する。
【００７０】
図５に示す空間的に離れた２つの受光部（ＰＤ１，ＰＤ２）間を通過するために要する時間を１ｍｓとすると、図８に示す遅延回路は、１ｍｓ程度の遅延時間を発生させることが必要となる。ここでコンデンサ５３４の容量Ｃを１ｐＦ程度とし、その放電に要する時間を用いてこの遅延時間を発生させるとすると１０9Ω程度の抵抗が必要となる。
【００７１】
これにはＭＯＳトランジスタのサブスレッショルド領域を利用する。サブスレッショルド領域とは、ＭＯＳトランジスタのゲートに加える電圧（Ｖｂ）が閾値以下、すなわち抵抗が大となる領域のことであり、Ｖｂの調整により、ＭＯＳトランジスタ５３１の抵抗を調整し、ここでコンデンサ５３４の容量Ｃの放電時間が調節可能となる。
【００７２】
図８に示す遅延回路の動作について説明する。まず、コンデンサ５３４には、ＭＯＳトランジスタ５３３によるＶｐｃ印加により、容量Ｃがプリチャージされる。その後、光検出部から受光に基づく電圧値ＶｉがＭＯＳトランジスタ５３２のゲートに入力されると、コンデンサ５３４の放電が開始される。放電時間は、ＭＯＳトランジスタ５３１のゲート印加電圧Ｖｂによって調整される。
【００７３】
コンデンサ５３４の放電開始時は、インバータ５３５の入力は、Ｈｉｇｈであり、出力はローとなるが、コンデンサ５３４の放電終了後インバータ５３５の入力がＬｏに代わり、出力がＨｉとなる。この放電時間の期間を約１ｍｓとすることで、図５に示す光検出部Ａ３１０による光検出から、遅延Δｔｐ＝１ｍｓ後に、遅延発生部３２０のインバータを介してパルス発生部に対して遅延発生部３２０を介してＨｉｇｈ信号が出力されることになる。
【００７４】
Ｃ．パルス到達検出部
図５に示す空間的に離れた受光部（ＰＤ１，ＰＤ２）に対して、動体３８０の光を時間差を持って受光し、かつ、一方の受光部ＰＤ１の受光に基づく電気信号に遅延（Ｔａ）を発生させて、２つのパルス信号Ｑ１，Ｑ２をパルス発生部Ａ，３３０と、パルス発生部Ｂ，３５０によって発生させ、この２つのパルスとが同時に到達する場合に、信号を出力し、信号出力の有無により、動体３８０の移動方向、速度を求るのが、本イメージセンサの要点である。このパルスの同時発生を検出する回路を図９に示す。
【００７５】
図９に示す回路５５１は、図５のアンド回路３６０である。これは、生体の網膜におけるガングリオンセルに相当する処理を行なうものであり、パルス発生部Ａ，３３０と、パルス発生部Ｂ，３５０から入力するパルス信号Ｑ１，Ｑ２を入力し、両信号ともＨｉｇｈである場合に、信号Ｑを出力する。
【００７６】
信号Ｑが出力されることが、パルス発生部Ａ，３３０と、パルス発生部Ｂ，３５０から重複してパルス信号Ｑ１，Ｑ２が入力したことを示す。
【００７７】
［３．イメージセンサによる動体検出］
次に、上記項目において説明した本発明のイメージセンサをもちいた動体の検出処理について説明する。
【００７８】
本発明のイメージセンサは、図５に示すように、空間的に離間した位置にある２つの受光素子（ＰＤ１，ＰＤ２）によって、動体３８０の光を時間さをもって受光し、一方の光検出部Ａ３１０の信号に遅延を発生させた後、それぞれのパルス発生部Ａ，Ｂから出力するパルスＱ１，Ｑ２の重なりを検出して信号Ｑを出力する構成である。
【００７９】
バイアス電圧Ｖｂ，Ｖｂ２をそれぞれＶｂ＝０．５３Ｖ，Ｖｂ２＝０．８Ｖとしたときの回路シミュレータＨＳｐｉｃｅによる回路シミュレーションの結果を図１０および図１１を参照して説明する。なおトランジスタのモデルはＶＤＥＣＣＭＯＳ ０．６μｍプロセスのモデルを用い、このバイアス電圧の条件で受光部が発するパルス幅Ｔはおよそ１μｓであり、また遅延発生部の遅延Δｔｐはおよそ２５０μｓである。
【００８０】
なお、この回路の出力はディジタル値であり、高い電圧（＋５Ｖ）を論理値“１”、低い電圧（０Ｖ）を論理値“０”とする。まず時間：ｔ＝０で輝点が受光部ＰＤ１に達して出力≡１≡が発生している。この値は直後の遅延発生回路に伝わるが、この条件での遅延発生回路の遅延は２５０μｓであるため、ＰＤ１に輝点が到達してから２５０μｓ後に、この論理値≡１≡が直後のパルス発生回路に伝わり、そこから幅１μｓのパルスがＱ１に発生している。
【００８１】
図１０は、（ａ）に示すように、動体７１０が所定距離（Ｌ）離間した受光部（ＰＤ１）７１１から、受光部（ＰＤ２）７１２の方向に比較的低速（Ｖ１）で移動した場合であり、この動体移動を受光部で検出した際の検出信号：ＰＤ１、検出信号ＰＤ１に基づくパルスＱ１、さらに検出信号：ＰＤ２、検出信号ＰＤ２に基づくパルスＱ２、Ｑ１、Ｑ２の入力を受けて、パルス到達検出部で出力する信号：Ｑの各信号遷移を（ｂ）に示してある。
【００８２】
まず、動体７１０の光は、受光部（ＰＤ１）７１１において検出され、その後、遅延回路による遅延時間（Ｔａ＝２５０μｓ）の後、１μｓのパルス（Ｑ１）が発生する。パルス（Ｑ１）が発生する時刻とほぼ同時刻において、動体７１０の光は、受光部（ＰＤ２）７１２において検出され、パルス（Ｑ２）が発生する。この場合、パルス（Ｑ１）、パルス（Ｑ２）の重なりが発生することになり、アンド回路で構成されるパルス到達検出部から１μｓのパルス信号：Ｑが出力される。
【００８３】
このパルス信号：Ｑの出力から、ＰＤ１からＰＤ２へ向かう方向に、この両者の距離を２５０μｓ±１μｓで輝点が移動するような速度で動体が移動したと判定することができる。
【００８４】
図１１は、図１０と異なり、動体が高速（Ｖ２：Ｖ２＞Ｖ１）で、所定距離（Ｌ）離間した受光部（ＰＤ１）７１１から、受光部（ＰＤ２）７１２の方向に移動した場合であり、この動体移動を受光部で検出した際の検出信号：ＰＤ１、検出信号ＰＤ１に基づくパルスＱ１、さらに検出信号：ＰＤ２、検出信号ＰＤ２に基づくパルスＱ２、Ｑ１、Ｑ２の入力を受けて、パルス到達検出部で出力する信号：Ｑの各信号遷移を（ｂ）に示してある。
【００８５】
まず、動体７１０の光は、受光部（ＰＤ１）７１１において検出され、その後、遅延回路による遅延時間（Ｔａ＝２５０μｓ）の後、パルス（Ｑ１）が発生する。パルス（Ｑ１）が発生する以前に、動体７１０の光は、受光部（ＰＤ２）７１２において検出され、パルス（Ｑ２）が発生する。動体７１０が受光部（ＰＤ１）７１１において検出されてから１００μｓ後に受光部（ＰＤ２）７１２において検出されている。
【００８６】
この場合、パルス（Ｑ１）、パルス（Ｑ２）の重なり領域は発生せず、その結果、アンド回路で構成されるパルス到達検出部からの信号：Ｑは出力されない。
【００８７】
したがって受光部（ＰＤ１）７１１から受光部（ＰＤ２）７１２へ２５０μｓで移動する動体は検出されなかったことになる。
【００８８】
上記のイメージセンサでは、Ｑに論理値“１”が発生したときには、受光部ＰＤ１から受光部ＰＤ２へ、この間を２５０μｓで移動する輝点の動きがあったと判定することが可能となる。このように、この回路で検出できる輝点の動きは、２つの受光部の向きと距離という空間的な配置と、遅延発生回路による遅延時間によって決定できることになる。
【００８９】
［４．任意方向の動き検出のためのアーキテクチャ］
通常のイメージセンサでは、受光部は正方形、あるいは六角形などの平面を埋め尽くす格子状に配置される。これは各受光部の信号を読み出すときの簡便さや、またイメージセンサの設計自身の簡素化に有効であり、また走査線によって映像を作るビデオカメラのイメージセンサには特に有効なアーキテクチャである。しかしこの格子状の受光部の配置により、平面上の輝点や輝線の方向に特異性が現われる。
【００９０】
この特異性を解消するためには、受光部を空間的に無作為に配置した構造が好ましい。このように、受光部の空間的な配置が無作為であるということは、方向による特異性もないことに対応する。すなわち理想的に空間的に無作為に配置された受光部からなるイメージセンサでは、対象となる画像に対して方向特異性が全くなくなると考えられる。
【００９１】
従って、図１２に示すように、無作為に光検出部を配置し、それぞれをパルス発生部、あるいは所定の遅延時間Δｔｘを発生させる遅延発生部を介してパルス発生部に接続し、複数のパルス発生部の出力をパルス到達検出部に入力する構成として、各パルス検出部の出力の有無に基づいて、様々な方向への動体移動の検出を可能とするイメージセンサが構成される。なお、遅延発生部における遅延時間の設定を様々な設定にすることで、様々な動体速度についての検出が可能となる。
【００９２】
動体の動き検出自体は、始点位置の受光部と終点位置の受光部の組合せのみによって決まる。これらの特長から、各受光部の空間的な配置は図１２のように無作為にしても、その配置位置に基づいて出力を分析することにより、動体の様々な動きが検出可能となる。さまざまな遅延の遅延回路を、空間的に均一な分布となるように配置し、各受光部との接続も空間的に均一な分布となるようにすることができれば、さまざまな速度の輝点の動きが、理想的には任意の空間的な方向に対して検出することが可能となる。
【００９３】
上述したように本発明の動体検出イメージセンサは、生体の網膜中での信号処理システムにおけるバイホーラセルの発する興奮性信号に対応する信号を発生させて、信号の空間的な伝搬遅延を利用して、動体の移動方向、速度の検出が可能となる。上述した回路構成忠の受光部を無作為に配列することで、方向の特異性のない動体検出イメージセンサが実現される。
【００９４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００９５】
【発明の効果】
以上、説明してきたように、本発明の構成によれば、生体の網膜における細胞の生成する興奮性信号の空間的伝搬遅延に対応する構成を持つ動体検出イメージセンサが実現され、複数の受光部の受光信号の処理に基づいて、動体の移動方向。速度を検出することが可能となる。
【００９６】
さらに、本発明の動体検出イメージセンサによれば、遅延回路による遅延を様々な設定とすることで、さまざまな速度の動体の動きを検出することができる。
【図面の簡単な説明】
【図１】生体の網膜における信号伝達処理について説明する図である。
【図２】生体の網膜における信号伝達による動体検出処理について説明する図である。
【図３】生体の網膜における信号伝達による動体検出処理について説明する図である。
【図４】生体の網膜における信号伝達による動体検出処理をセンサとする場合の構成概要および信号について説明する図である。
【図５】本発明の動体検出イメージセンサの全体構成を示す回路図である。
【図６】本発明の動体検出イメージセンサを構成する光検出部、パルス発生部構成を示す回路図である。
【図７】本発明の動体検出イメージセンサを構成する光検出部にＮＯＲゲートを付加した構成を示す回路図である。
【図８】本発明の動体検出イメージセンサを構成する遅延発生部の構成を示す回路図である。
【図９】本発明の動体検出イメージセンサを構成するパルス到達検出部の構成を示す回路図である。
【図１０】本発明の動体検出イメージセンサによる動体検出処理例を説明する図である。
【図１１】本発明の動体検出イメージセンサによる動体検出処理例を説明する図である。
【図１２】本発明の動体検出イメージセンサにおいて受光部をランダム配置した構成例を示す図である。
【符号の説明】
１０１，１０２ バイポーラセル
１０３ アマクリンセル
１０４ ガングリオンセル
３０１，３０２ 受光素子
３０３ 遅延素子
３０４ 検出素子
３０５ 輝点
３１０ 光検出部
３２０ 遅延発生部
３３０ パルス発生部
３４０ 光検出部
３５０ パルス発生部
３６０ アンド回路
５１１ フォトダイオード
５１２，５１３，５１４、５１５ トランジスタ
５１６ コンデンサ
５１７ アンド回路
５２１ フォトダイオード
５２２ トランジスタ
５２３ ＮＯＲゲート
５３１，５３２，５３３ トランジスタ
５３４ コンデンサ
５３５ インバータ
５５１ アンド回路
７１０ 動体
７１１，７１２ フォトダイオード
Claims (8)
- 空間的に離間した位置にある２つの受光部の各々に接続され、各受光部の光検出に基づく電気信号を出力する２つの光検出部Ａ，Ｂと、
前記２つの光検出部の一方の光検出部Ａの出力信号を入力し、該出力信号の遅延を発生させて遅延信号を出力する遅延発生部と、
前記遅延発生部の遅延信号を入力し、該遅延信号に基づくパルス信号Ｑ１を発生する第１のパルス発生部Ａと、
前記２つの光検出部の他方の光検出部Ｂの出力信号を入力し、該入力信号に基づくパルス信号Ｑ２を発生する第２のパルス発生部Ｂと、
前記第１のパルス発生部Ａと、前記第２のパルス発生部Ｂの出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するパルス到達検出部と、
を有することを特徴とする動体検出イメージセンサ。 - 前記遅延発生部は、コンデンサを有し、入力信号に対して、前記コンデンサの放電時間に応じた遅延をもたらす構成を有するとともに、
遅延時間の調整に適用可能なバイアス電圧Ｖｂの印加構成を持つトランジスタを有する構成であることを特徴とする請求項１に記載の動体検出イメージセンサ。 - 前記パルス発生部Ａおよびパルス発生部Ｂの各々は、コンデンサを有し、該コンデンサの放電時間に応じたパルス幅のパルスを発生させる構成を有するとともに、
パルス幅の調整に適用可能なバイアス電圧Ｖｂ２の印加構成を持つトランジスタを有する構成であることを特徴とする請求項１に記載の動体検出イメージセンサ。 - 前記パルス到達検出部は、前記第１のパルス発生部Ａと、前記第２のパルス発生部Ｂの出力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するアンド回路によって構成されたものであることを特徴とする請求項１に記載の動体検出イメージセンサ。
- 前記光検出部Ａおよび光検出部Ｂの各々は、光検出素子としてのフォトダイオードと、出力信号レベルを調整するバイアス電圧Ｖｂ１の印加構成を持つトランジスタを有する構成であることを特徴とする請求項１に記載の動体検出イメージセンサ。
- 前記光検出部Ａは、前記遅延発生部に対する出力値をハイ状態に維持するＮＯＲゲートを有することを特徴とする請求項１に記載の動体検出イメージセンサ。
- 前記イメージセンサは、
各々が離間した位置にランダムに配置された複数の受光部を有し、
前記光検出部は、前記ランダムに配置された複数の受光部に対応して設けられた構成であることを特徴とする請求項１に記載の動体検出イメージセンサ。 - 動体検出方法であり、
空間的に離間した位置にある２つの受光部の各々に接続され、各受光部の光検出に基づく電気信号を出力する２つの光検出部Ａ，Ｂの一方の光検出部Ａの出力信号を入力し、該出力信号の遅延を発生させて遅延信号を出力する遅延信号出力ステップと、
前記遅延信号を入力し、該遅延信号に基づくパルス信号Ｑ１を発生する第１のパルス信号発生ステップと、
前記２つの光検出部の他方の光検出部Ｂの出力信号を入力し、該入力信号に基づくパルス信号Ｑ２を発生する第２のパルス信号発生ステップと、
前記第１のパルス発生信号ステップと、前記第２のパルス信号発生ステップにおける出 力パルス信号Ｑ１，Ｑ２を入力し、パルス信号Ｑ１，Ｑ２の重複入力時に信号Ｑを出力するパルス到達検出ステップと、
を有することを特徴とする動体検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002175312A JP3709857B2 (ja) | 2002-06-17 | 2002-06-17 | 動体検出イメージセンサ |
| US10/445,654 US7242789B2 (en) | 2002-06-17 | 2003-05-27 | Moving-body detecting image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002175312A JP3709857B2 (ja) | 2002-06-17 | 2002-06-17 | 動体検出イメージセンサ |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004020360A JP2004020360A (ja) | 2004-01-22 |
| JP2004020360A5 JP2004020360A5 (ja) | 2005-03-17 |
| JP3709857B2 true JP3709857B2 (ja) | 2005-10-26 |
Family
ID=31174003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002175312A Expired - Fee Related JP3709857B2 (ja) | 2002-06-17 | 2002-06-17 | 動体検出イメージセンサ |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7242789B2 (ja) |
| JP (1) | JP3709857B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7710549B2 (en) * | 2005-02-23 | 2010-05-04 | Kyocera Corporation | Apparatus for detecting speed of movable body and drive stage using the same |
| US7740081B2 (en) * | 2007-05-25 | 2010-06-22 | Tsm Corporation | Hazard detection and suppression apparatus |
| EP2507780B1 (en) * | 2009-12-03 | 2017-08-30 | Luigi Barosso | Keyboard musical instrument learning aid |
| WO2020023611A1 (en) * | 2018-07-25 | 2020-01-30 | Synergy Microwave Corporation | Optoelectronic oscillator using monolithically integrated multi-quantum well laser and phase modulator |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4140060A (en) * | 1975-05-19 | 1979-02-20 | Motorola, Inc. | Subcarrier modulated optical transceiver |
| US4292672A (en) * | 1979-03-19 | 1981-09-29 | Rca Corporation | Inspection system for detecting defects in regular patterns |
| JPS5814332A (ja) * | 1981-07-16 | 1983-01-27 | Mitsubishi Electric Corp | 光学式情報再生装置 |
| US4480192A (en) * | 1982-02-16 | 1984-10-30 | The University Of Rochester | Optical pulse correlation measurement |
| GB0012554D0 (en) * | 2000-05-24 | 2000-07-12 | Bae Systems Electronics Limite | Improvements in or relating to optical delay lines |
| US7024111B2 (en) * | 2001-04-05 | 2006-04-04 | Lucent Technologies Inc. | Dynamic measurement of and compensation for impairments to optical data communication pulses using photon-counting silicon avalanche photodiode |
-
2002
- 2002-06-17 JP JP2002175312A patent/JP3709857B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-27 US US10/445,654 patent/US7242789B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040057058A1 (en) | 2004-03-25 |
| US7242789B2 (en) | 2007-07-10 |
| JP2004020360A (ja) | 2004-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11363218B2 (en) | Event-based vision sensor | |
| US10116925B1 (en) | Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement | |
| US10557925B2 (en) | Time-of-flight (TOF) image sensor using amplitude modulation for range measurement | |
| JP7074954B2 (ja) | 動的ビジョンセンサアーキテクチャ | |
| Delbruck | Neuromorophic vision sensing and processing | |
| KR100718761B1 (ko) | 눈동자 위치추적 센서 및 센싱방법 | |
| KR20190074196A (ko) | 다이렉트 tof 범위 측정을 위한 non-spad 픽셀들 | |
| EP3462731A1 (en) | Imaging device, imaging system, and moving body | |
| Oike et al. | Design and implementation of real-time 3-D image sensor with 640/spl times/480 pixel resolution | |
| JP3709857B2 (ja) | 動体検出イメージセンサ | |
| EP4236298A1 (en) | Photoelectric conversion device and photoelectric conversion system | |
| KR102663646B1 (ko) | 거리 측정을 위해 픽셀에서 spad + ppd 또는 커패시터를 사용하는 시간 분해형 센서 | |
| US11189649B2 (en) | Photoelectric conversion apparatus and image pickup system | |
| Yin et al. | A 0.5 V 34.4 uW 14.28 kfps 105dB smart image sensor with array-level analog signal processing | |
| KR20240036035A (ko) | 센서 디바이스 및 센서 디바이스 작동 방법 | |
| EP4131156A1 (en) | Information processing device, information processing method, and information processing program | |
| Rodríguez-Vázquez et al. | A 3D chip architecture for optical sensing and concurrent processing | |
| US20210132198A1 (en) | Time-of-flight sensor and control method thereof | |
| WO2022153854A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| US11936998B1 (en) | Digital pixel sensor having extended dynamic range | |
| Zuccarello et al. | A 32× 32 pixels vision sensor for selective change driven readout strategy | |
| Noohi et al. | A high-speed low-power multitask digital vision chip | |
| Adnan et al. | On-chip interface for event based sensor and spiking neuromorphic processing | |
| WO2023161006A1 (en) | Sensor device and method for operating a sensor device | |
| JPH04360284A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040421 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080819 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |