JP3546296B2 - 動き検出装置 - Google Patents
動き検出装置 Download PDFInfo
- Publication number
- JP3546296B2 JP3546296B2 JP24884299A JP24884299A JP3546296B2 JP 3546296 B2 JP3546296 B2 JP 3546296B2 JP 24884299 A JP24884299 A JP 24884299A JP 24884299 A JP24884299 A JP 24884299A JP 3546296 B2 JP3546296 B2 JP 3546296B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- motion
- speed
- image
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、動き検出装置に関する。
【０００２】
【従来の技術】
テレビカメラで撮像した画像のデジタル画像処理によって像の動きの方向やその速度を検出する方法として、所定時間間隔を空けた画面間で、画像の小領域の明るさや特徴点の対応を見付けることにより、各小領域や特徴点の移動の方向を検出したり、その移動の距離から速度を検出する方法がある。また、物体上の明るさが時間的に変化しないと仮定したときの画像の明るさの時間微分と空間微分の関係を拘束条件として、速度を求める方法がある（例えば、谷内田正彦編，コンピユータビジョン，平成２年（丸善）発行，に示されている）。
【０００３】
しかし、カメラで撮像した画像によるこれらの方法は、多数の画素を参照して計算するものであるので、高速な検出が難しかったり、高速化のためにはハードウェア規模が大きくなる間題がある。また、撮像のフレームレートに比べて物体の動きが著しく速い場合、正しく動きを検出することが難しい問題がある。また、対象物の明るさの変動が大きい場合、テレビカメラのダイナミックレンジやＡ／Ｄ変換器のレンジによる画質の低下や、処理回路の濃淡のダイナミックレンジなどが原因で、良好な検出結果が得られない問題がある。
【０００４】
一方、テレビカメラで撮像した画像のデジタル画像処理によるのではなく、半導体上に集積された光検出器の出力を直接処理することによって、極めて小型で低消賛電力なハードウェアで、高速に像の動きの方向やその速度を検出する方法や装置がいくつか報告されている。「Ｃ．ミード著，自井，米津訳，アナログＶＬＳＩと神経システム，（株）トッパン，１９９３，ｐｐ．２６９−２９９」には、物体上の明るさが時問的に変化しないと仮定したときの、画像の明るさの時問微分と空間微分の関係を拘束条件として大域的速度を求める、半導体上に集積された動き検出チップが示されている。しかしミードの動き検出チップは、微分値を使って計算するので、雑音に弱い問題がある。
【０００５】
そこで、信号の時間的相関を利用した装置として、「Ｊ．Ｋｒａｍｅｒ，Ｒ．Ｓａｒｐｅｓｈｋａｒ ａｎｄ Ｃ．Ｋｏｃｈ，”Ｐｕｌｓｅ−Ｂａｓｅｄ Ａｎａｌｏｇ ＶＬＳＩ Ｖｌｏｃｉｔｙ Ｓｅｎｓｏｒｓ”，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ▼２▲，Ｖｏｌ．４４，Ｎｏ．２，ｐｐ．８６−１０１，１９９７．」には、２つの光検出器の出力の時間微分信号に基づいて動きの方向や速度を検出する、半導体上に集積された動き検出チッブが示されている．また、「Ｒ．Ｅｔｉｅｎｎｅ−Ｃｕｍｍｉｎｇｓ，Ｊ．Ｖａｎ ｄｅｒ Ｓｐｉｅｇｅｌ ａｎｄ Ｐ．Ｍｕｅｌｌｅｒ，”Ａ Ｆｏｃａｌ Ｐｌａｎｅ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｅｎｓｏｒ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ−▼１▲，Ｖｏｌ．４４，Ｎｏ．１，ｐｐ．５５−６６，１９９７．」には、抵抗回路網を用いて像の明るさのラプラシアン又はＤＯＧ（２つのガウス関数の差）を求め、そのゼロクロス信号又は閾値で２値化した信号の発生と消滅の関係から、像の動きの方向や速度を検出する、半導体上に集積された動き検出チッブが示されている。
【０００６】
また、特開昭４９−７９０１や、特開昭６３−２３３３７５などには、交互に配置した２組の受光素子群による空間フィルタを利用した光学式の速度センサが示されている。
【０００７】
【発明が解決しようとする課題】
図１（ａ）は、物体がｘの正方向に動いたときの、各位置ｘ−ｄｘ，ｘ，ｘ＋ｄｘ，ｘ＋２ｄｘ（ただし，ｄｘ＞０）における、像の強度を示した図で、横軸は時間である。
【０００８】
Ｊ．Ｋｒａｍｅｒ ｅｔ ａ１．の装置では、図１（ｂ）に示したように、位置ｘ及びｘ＋ｄｘにおける像の強度の時間微分信号を利用し、これらの信号を２値化した信号の相互関係から動きの方向や速度を検出している。Ｊ．Ｋｒａｍｅｒ ｅｔ ａ１．の装置では、物体の動きによって生じる像の明るさの時間的変化である光検出器の出力の時間微分信号を用いて動きを検出するので、物体の動きの速さによって時間微分信号の大きさが変化するために、広い速度レンジで安定して動き方向や速度を検出することができない間題がある。
【０００９】
Ｅｔｉｅｎｎｅ−Ｃｕｍｍｉｎｇｓ ｅｔ ａ１．の装置では、像の強度の空間的なラプラシアン又はＤＯＧのゼロクロス位置の信号の相互関係から動きの方向や速度を検出している。図１（ｃ）は、像の強度の空間的なラプラシアンのゼロクロス位置の信号を、位置ｘ，およびｘ＋ｄｘについて示したものである。この方法では、図１（ｃ）からも分かるように、位置ｘの信号の消滅と位置ｘ＋ｄｘの信号の生成が同時刻に起こるので、これらの信号からの動きの検出が小規模な回路で実現できるメリットがある。また、時間に関する定数を用いる必要がないので、検出できる速度レンジが広い。しかし，像の明るさのラプラシアン又はＤＯＧを抵抗回路網を使って検出するので、全体の回路規模が大きくなる問題がある。また、ラプラシアン又はＤＯＧのゼロクロス点を２箇所で求める必要があるので、少なくとも４個の光検出器が必要となる。
【００１０】
空間フィルタを利用した光学式の速度センサでは、物体の動きの速度は検出できるが、動きの方向を検出することができない。また、交互に配置した２組の受光素子群による空間フィルタを用いるので、局所的な速度を検出することが困難である。
【００１１】
本発明の目的は、広い速度レンジで、局所的な動き方向と速度を、安定して高速に検出することができる、小規模で低消費電力な、半導体上に集積するのに適した、広い明るさレンジで動作する、動き検出装置を提供することである。
【００１２】
【課題を解決するための手段】
本発明は、位置Ａの近傍の２箇所に於ける像の強度の違いに基づく２値信号１と、位置Ｂの近傍の２箇所に於ける像の強度の違いに基づく２値信号２とを用い、信号１と信号２の関係に基づいて、像の動きの方向と動きの速さの少なくとも１つを求めることを特徴とする動き検出装置である。
【００１３】
図１（ｄ）〜（ｆ）を参照して説明する。図１（ｄ）は、位置ｘ−ｄｘの強度と位置ｘの強度の差の信号、および位置ｘの強度と位置ｘ＋ｄｘの強度の差の信号、を示したものである。そして、図１（ｅ）は、図１（ｄ）の信号を閾値ｐで２値化した信号を示す。同図から、（ｅ）の２つの２値信号の関係から、像の動き方向や速度を検出できることが分かる。また、図１（ｆ）は，図１（ｄ）の信号を閾値ｑで２値化した信号を示す。同図から、（ｆ）の２つの２値信号の関係からも、像の動き方向や速度を検出できることが分かる。即ち、本発明では、位置Ａの近傍の２箇所における像の強度の違いに基づく２値信号１と、位置Ｂの近傍の２箇所における像の強度の違いに基づく２値信号２とを用い、信号１と信号２の関係に基づいて、像の動きの方向または動きの速度を求める。速度は、具体的には、信号１が発生してから信号２が発生するまでの時間又は信号１が消滅したときから信号２が消滅するまでの時間に基づいて、ＡＢ間の移動時間を検出し、それによって像の動きの速度を求める。ここで、図１の（ｘ−ｄｘ），ｘ，（ｘ＋ｄｘ）と、位置Ａ及び位置Ｂとの関係を説明すると、位置Ａは（ｘ−ｄｘ）〜ｘ間に在り、位置Ｂはｘ〜（ｘ＋ｄｘ）間に在る。
【００１４】
図１（ｅ）の信号と、図１（ｆ）の信号の違いは、前者は２つの信号間に重なりがあるのに対し、後者には２つの信号間の重なりがない点である。これらの違いは、像の空間的エッジの強さや傾き、光検出器の空間的解像度、閾値などの関係により生じる。
【００１５】
前者の場合に対して、本発明は、信号１の出力中に信号２が発生したとき、ＡからＢ方向への動きと判定する。その具体例は実施例２で示す。また、信号２の出力中に信号１が消滅したとき、ＡからＢ方向への動きと判定する。その具体例は実施例１で示す。
【００１６】
後者の場合に対して、本発明は、信号１の消滅と信号２の発生が所定時間内に生じたときＡからＢ方向への動きと判定する。また、上記２つを併せて実施することにより、前者と後者の両方の場合を検出することも可能である。この具体例は実施例４で示す。
【００１７】
また本発明では、信号１と信号２の対応関係に矛盾があるときには動きを検出しないようにすることにより、動きの検出精度をあげることができる。その具体例は実施例３で示す。
【００１８】
ここで、作用効果を説明する。
位置Ａ，Ｂの近傍の２箇所における像の強度の違いに基づく２値信号を用いるので、像の明るさレンジが広くても、像の動きの方向や速度を検出することができる。また、位置Ａ，Ｂの近傍の２箇所における像の強度の遠いに基づく２値信号を用いるので、最低３個の検出器により、像の動きの方向や速度を検出することができる。また、最低３個の検出器を用いればよいので、局所的な動きを検出することが容易である。また、位置Ａ，Ｂの近傍の２箇所における像の強度の違いに基づく２値信号を用いるので、抵抗回路網が不要であり、小規模なハードウェアで像の動きの方向や速度を検出することができる。
【００１９】
また、２値信号の関係に基づいて動きの方向や速度を検出するので、半導体上に集積するのが容易である。また、２値信号の関係に基づいて動きの方向や速度を検出するので、雑音に強い。
【００２０】
また、信号１の出力中に信号２が発生したとき又は信号２の出力中に信号１が消滅したとき動きを検出する方法は、時間に関する定数を用いないので、広い速度レンジで像の動きの方向や速度を検出することができる。また、信号１の消滅と信号２の発生が所定時間内に生じたとき動きを検出する方法は、対象物の濃淡エッジの強さなどによることなく、動きを検出することができる。また、信号１が発生してから信号２が発生するまでの時間、又は信号１が消滅したときから信号２が消滅するまでの時間に基づいてＡからＢ方向への動き速度を求めるので、速度を精度よく求めることができる。
【００２１】
【発明の実施の形態】
以下、図示する実施例１（図２〜６）、実施例１の変形例（図７〜１１）、実施例２（図１２〜１４）、実施例３（図１５〜２６）、実施例３の変形例（図２７〜２８）、及び実施例４（図２９〜３５）に即して、本発明の実施の形態を説明する。
【００２２】
１．実施例１．
本発明の実施例１を図２に示す。図２の構成は半導体基板上に集積されており、例えば、図３に示すようにして、この基板上に対象物の像が結像される。図２の動き検出装置は、像の光強度の対数に比例した信号を出力する光検出器１，２，３、光検出器１，２の出力信号の差を求める差分回路１、光検出器２，３の出力信号の差を求める差分回路２、差分回路１の出力値を所定の閾値で２値化する２値化回路１、差分回路２の出力値を所定の閾値で２値化する２値化回路２、２値化回路１，２の出力する２値の信号１および信号２に基づいて動きの方向および速度を検出する動き判定回路、から構成される。
【００２３】
光検出器１および２は、位置Ａの近傍の２箇所における像の強度を検出するためのもの、光検出器２および３は位置Ｂの近傍の２箇所における像の強度を検出するためのもの、である。したがって、信号１は位置Ａの近傍の２箇所における像の強度の違いに基づく２値信号であり、信号２は位置Ｂの近傍の２箇所における像の強度の違いに基づく２値信号である。
【００２４】
この実施例１では、動き判定回路は、信号２の出力中に信号１が消滅したときＡからＢ方向への動きと判定し、逆に、信号１の出力中に信号２が消滅したときＢからＡ方向への動きと判定する。さらに、信号１が消滅したときから信号２が消滅するまでの時間、又は信号２が消滅したときから信号１が消滅するまでの時間に基づいて、動き速度を求める。
【００２５】
図４（ａ）〜（ｄ）は、動き判定回路での動きの方向や速度の検出原理を示した図であり、信号１及び信号２の時間的変化を示す。（ａ）（ｂ）は動きの方向の判定方法を示した図で、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例である。（ｃ）（ｄ）は、動き判定回路において動き速度を求める方法を示した図であり、（ｃ）は像がＡからＢ方向に動いた場合の例、（ｄ）は像がＢからＡ方向に動いた場合の例である。
【００２６】
動き判定回路は、図４（ａ）に示したように、信号２の出力中（ハイレベル状態）に信号１が消滅（ハイレベルからローレベルに変化）したときＡからＢ方向への動きと判定し、図４（ｂ）に示したように、信号１の出力中（ハイレベル状態）に信号２が消滅（ハイレベルからローレベルに変化）したときＢからＡ方向への動きと判定する。また、動き判定回路は、図４（ｃ）に示すように、信号２の出力中に信号１が消滅した時点から信号２が消滅するまでの時間Ｔ、即ち、光検出器１と２の間隔（ＡＢ間の距離）を像が移動するのに要した時間Ｔを求める。速度はＡＢ間の距離を時間Ｔで割ることにより求められる。なお、時間Ｔは実質的に速度と同じ情報なので、本明細書では、移動時間のことも含めて速度と呼ぶことにする。同様にして、図４（ｄ）に示すように、信号１の出力中に信号２が消滅した時点から信号１が消滅するまでの時間Ｔから、ＢからＡ方向への動きの速度を求める。
【００２７】
図５は、実施例１の動き判定回路のブロック構成を示す。同図において、回路１１，４１は、入力２がハイレベルのときに入力１がハイレベルからローレベルに変化したときにパルスを出力する回路である。回路２１，５１は、インバータ回路であり、回路３１，６１は、ＳＲフリップフロップである。回路３１は、ＡからＢ方向への動きが検出されたとき、ＡＢ間の移動時間をパルス幅で出力する。また、回路６１は、ＢからＡ方向への動きが検出されたとき、ＢＡ間の移動時間をパルス幅で出力する。図６は、図５の動き判定回路の動作のタイミングチャートを示し、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例で、同図に示されるようにして、動きの方向及び速度（移動時間Ｔ）が検出される。
【００２８】
実施例１では、上述のように、２箇所における像の強度の違い（強度の比）を所定の閾値で２値化した信号を用い、像の強度自体を検出しないので、像の明るさレンジが広くても、像の動きの方向や速度を検出することが容易である。また、実施例１では、光検出器が像の光強度の対数に比例した信号を出力するので、差分回路の出力は光強度の比に比例した出力となり、光検出器が光強度に比例した信号を出力し、その差を２値化した信号を用いる場合に比ベ、より広い明るさレンジで動きが検出できる。また、実施例１では、抵抗回路網が不要なため、小規模なハードウェアで像の動きの方向や速度を検出することができる。
【００２９】
また、実施例１では、上述のように、３個の検出器により像の動きの方向や速度を検出することができる。また、２値信号の発生と消滅の関係に基づいて動きの方向や速度を検出するので、半導体上に集積するのが容易である。また、実施例１では、２値信号の関係に基づいて動きの方向や速度を検出するので、雑音に強い。また、実施例１では、信号の時間的な変化や時間に関する定数を用いないので、広い速度レンジで像の動きの方向や速度を検出することができる。
【００３０】
２．実施例１の変形例．
実施例１は種々の変形が可能であり、そのいくつかを図７〜１１に示す。
【００３１】
２−１．変形例１．
図７は、複数の位置で動きの方向や速度を検出するための構成例である。図２の構成を単に並べるのではなく、図７では光検出器を共用しており、これにより、集積度を高められる効果がある。図７の例では光検出器が１次元上に並ベられているが、２次元的に配置する場合にも、同様の考えに基づいて光検出器を共用することで、集積度を高めることが可能である。
【００３２】
２−２．変形例２．
図８は、光検出器の配置の別の例である。図２の構成では、位置Ａの近傍の２箇所における像の強度の違いを検出するための光検出器の１つが、位置Ｂの近傍の２箇所における像の強度の違いを検出するための光検出器の１つと共用されていたのに対して、図８の構成では、別になっている．すなわち，図８の構成では、光検出器１，３が位置Ａの近傍の２箇所における像の強度を検出するためのものであり、光検出器２，４が位置Ｂの近傍の２箇所における像の強度を検出するためのものである。実施例１では、閾値を大きくすると、信号１と信号２が時間的重なりをもたない場合が多くなるため、検出できる動きの数が少なくなり、また、閾値を小さくすると、検出できる動きの数が多くなる反面、ノイズを検出する確率が大きくなるため、動きの検出結果の信頼度が低下する。図８のように構成することで、閾値を小さくすることなくより確実に信号１と信号２が時間的重なりをもつようになるため、検出結果の信頼度を低下させることなくより多くの動きを検出することが可能となる。
【００３３】
２−３．変形例３．
図９は、位置Ａ，Ｂの近傍の２箇所における像の強度の違いに基づく２値信号１，２の別の実施例であり、図９（ａ）は、２個の光検出器の出力の差が、閾値１以上で且つ閾値２以下である場合に信号を出力する２値化回路を用いた例である。これにより、位置ＡとＢにおける像のエッジの対応がより確実となり、動きの検出精度が向上する効果がある。図９（ｂ）は、２個の光検出器の出力の差の絶対値を閾値で２値化する例であり、図２のように差を閾値で２値化する場合に比ベ、位置ＡとＢにおける像のエッジの対応の確度は低下するが、小規模な回路構成でより多くの動き検出が可能になる効果がある。
【００３４】
２−４．変形例４．
図１０は、位置Ａに関しては光検出器２（図１０内の３つの光検出器の中の中央の光検出器）の出力から光検出器１（図１０内の３つの光検出器の中の左端の光検出器）の出力を引いた値を所定の閾値で２値化した信号をも利用するようにし、位置Ｂに関しても同様に光検出器３（図１０内の３つの光検出器の中の右端の光検出器）の出力から光検出器２（図１０内の３つの光検出器の中の中央の光検出器）の出力を引いた値を所定の閾値で２値化した信号をも利用するようにした構成例である。前述の図２の構成では、位置Ａの近傍の２箇所における像の強度の違いに基づく２値信号としては光検出器１の出力から光検出器２の出力を引いた値を所定の閾値で２値化した信号を用い、位置Ｂの近傍の２箇所における像の強度の違いに基づく２値信号としては光検出器２の出力から光検出器３の出力を引いた値を所定の閾値で２値化した信号を用いていたのに対し、図１０の構成では、位置Ａに関しては光検出器２の出力から光検出器１の出力を引いた値を所定の閾値で２値化した信号をも利用し、位置Ｂに関しては光検出器３の出力から光検出器２の出力を引いた値を所定の閾値で２値化した信号をも利用しているので、より多くの動き検出が可能になる効果がある。また、光検出器１と光検出器２の出力の差の信号や、光検出器２と光検出器３の出力の差の信号を、符号によって２つの異なる回路で処理するため、位置ＡとＢにおける像のエッジの対応の確度が低下することはない。
【００３５】
２−５．変形例５．
図１１は、２種類の閾値を用いた例であり、対象物の濃淡エッジ強度のバラツキが大きくても、信号１と信号２の対応関係がより精度良く求められるので、検出の精度を高められる効果がある。
【００３６】
２−６．他の変形．
実施例１とその変形例では、光学像の強度を光検出器で検出して像の動きを検出する場合を示したが、光以外の像についても、その像の各位置における強度を検出する検出器を用いることにより、本発明を実施することが可能であることは明らかである。また、実施例１とその変形例では、半導体基板上に集積した装置の例を示したが、本発明は、必ずしも半導体基板上に集積する必要がないことも明らかである。
【００３７】
３．実施例２．
実施例２は、動き判定回路が、信号１の出力中に信号２が発生したときＡからＢ方向への動きと判定し、逆に、信号２の出力中に信号１が発生したときＢからＡ方向への動きと判定すること、及び、信号２が発生したときから信号１が発生するまでの時間または信号１が発生したときから信号２が発生するまでの時間に基づいて動き速度を求めること以外は、実施例１と同様である。
【００３８】
図１２（ａ）〜（ｄ）は、実施例２の動き判定回路での動きの方向や速度の検出原理を示した図である。（ａ）（ｂ）は、動きの方向の判定方法を示した図であり、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例である。（ｃ）（ｄ）は、動き判定回路において動き速度を求める方法を示した図であり、（ｃ）は像がＡからＢ方向に動いた場合の例、（ｄ）は像がＢからＡ方向に動いた場合の例である。
【００３９】
実施例２の動き判定回路は、図１２（ａ）に示したように、信号１の出力中（ハイレベル状態）に信号２が生成（ローレベルからハイレベルに変化）したときＡからＢ方向への動きと判定し、図１２（ｂ）に示したように、信号２の出力中（ハイレベル状態）に信号１が生成（ローレベルからハイレベルに変化）したときＢからＡ方向への動きと判定する。また、動き判定回路は、図１２（ｃ）に示すように、信号１が発生した時点から信号１の出力中に信号２が生成するまでの時間ＴよりＡからＢ方向への動きの速度を求め、図１２（ｄ）に示すように、信号２が発生した時点から信号２の出力中に信号１が生成するまでの時間ＴよりＢからＡ方向への動きの速度を求める。図１３は、実施例２の動き判定回路のブロック構成を示す。同図において、回路１２は、入力１がローレベルのときに入力２がローレベルからハイレベルに変化したとき又は入力２がローレベルのときに入力１がローレベルからハイレベルに変化したときにパルスを出力する回路、回路２２，３２は、入力１がハイレベルのときに入力２がローレベルからハイレベルに変化したときにパルスを出力する回路である。
【００４０】
この動き判定回路では、定電流源によって充電されるコンデンサＣの電圧によって移動時間Ｔを検出する。すなわち、回路１２の出力によりスイッチＳＷ１２が閉じてコンデンサの電荷がクリアされてから、スイッチＳＷ２２またはスイッチＳＷ３２が閉じるまでの時間が、電圧として読み出される。スイッチＳＷ２２は、信号１の出力中に信号２が生成したときに閉じるので、ＡからＢ方向への動きが検出されたときにパルスを出力する。そして、そのパルスの電圧は、その動きの速度に対応する移動時間Ｔに対応した電圧となる。同様にして、スイッチＳＷ３２は、ＢからＡ方向への動きが検出されたとき、その動きの速度に対応する移動時間Ｔに対応した電圧のパルスを出力する。
【００４１】
図１４は、この動き判定回路の動作のタイミングチャートを示し、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例である。同図に示されるようにして、動きの方向及び速度（移動時間Ｔ）が検出される。この動き判定回路を用いた場合も、図５の動き判定回路を用いた実施例１の場合と同様な作用効果がある。また、実施例１と同様の、種々の変形が可能である。
【００４２】
４．実施例３．
実施例３は、信号１と信号２の波形の対応関係が不明確なとき及び矛盾しているときには動きを検出しないことにより、動きの誤検出の可能性を小さくすることを特徴とする動き検出方法及び装置である。構成は概略実施例１と同様であるが、動き判定回路が異なる。
【００４３】
実施例１，２の方法は、信号１と信号２の各１個の同じ時間的長さの波形のみが時問的重なりをもつことを前提として動きを検出する方法である。しかし、対象物が複雑である場合や、２値化回路の閾値が小さい場合、信号１と信号２の複数の波形が時間的重なりをもつようになり、信号１の波形と信号２の波形の対応関係が不明確になったり、矛盾する可能性がある。
【００４４】
図１５は、信号１と信号２の波形の対応関係が明確な場合、不明確な場合、及び矛盾している場合の例を示した図である。図１５（ａ）は信号１と信号２の同じ時問的長さの２つの波形が時間的な重なりをもつ場合の例、同図（ｂ）は信号１の波形と信号２の複数の波形が時間的重なりをもつ場合の例、同図（ｃ）は信号１と信号２の異なる時問的長さの２つの波形が時問的な重なりをもつ場合の例である。
【００４５】
図１５（ａ）の場合、信号１の１つの波形と信号２の１つの波形が時間的重なりをもつため、波形の対応関係は明確であり、実施例１及び実施例２で示した方法によって正しく動きの方向と速度を検出することが可能である。図１５（ｂ）の場合、信号２の１つの波形が信号１の２つの波形と時間的な重なりをもつため対応関係が不明確であり、実施例１の方法を用いて動き検出を行った場合も、実施例２の方法を用いて動き検出を行った場合も、ともに、異なる２つの方向の動きを検出してしまう。図１５（ｃ）の場合、２つの波形が対応していると仮定すると信号１が発生してから信号２が発生するまでの時問と、信号１が消滅してから信号２が消滅するまでの時間が異なるため、矛盾しており、実施例１の方法を用いて動き検出を行った場合と実施例２の方法を用いて動き検出を行った場合とでは、検出される速度（通過時間）が異なる。
【００４６】
図１６は、実施例３の動き検出の原理を示した図であり、（ａ）は像がＡからＢ方向へ動いた場合、（ｂ）は像がＢからＡ方向へ動いた場合である。
【００４７】
実施例３の動き検出では、以下に述べる５つの条件を満足したときに、動きがあると判定する。図１６（ａ）に示すように、信号２が出力無で信号１が発生し（条件１）、信号１が消滅する前に信号２が発生し（条件２）、信号２が消滅する前に信号１が消滅し（条件３）、信号１が発生する前に信号２が消滅し（条件４）、また、信号１の発生から信号２の発生までの時問Ｔｌ（条件１を満たした時点から条件２を満たす時点までの時間）と、信号１の消滅から信号２の消滅までの時間Ｔ２（条件３を満たした時点から条件４を満たす時点までの時問）が等しい場合（条件５）、ＡからＢ方向への動きと判定し、時間Ｔ１（＝Ｔ２）に基づいて動きの速度を求める。
【００４８】
同様にして、同図（ｂ）に示すように、信号１が出力無で信号２が発生し（条件１）、信号２が消滅する前に信号１が発生し（条件２）、信号１が消減する前に信号２が消滅し（条件３）、信号２が発生する前に信号１が消滅し（条件４）、また、信号２の発生から信号１の発生までの時間Ｔ１（条件１を満たした時点から条件２を満たす時点までの時間）と、信号２の消滅から信号１の消滅までの時間Ｔ２（条件３を満たした時点から条件４を満たす時点までの時問）が等しい場合（条件５）、ＢからＡ方向への動きと判定し、時問Ｔ１（＝Ｔ２）に基づいて動きの速度を求める。
【００４９】
上述の動き判定の条件１〜４を満足するためには、信号１の１つの波形と信号２の１つの波形のみが時問的重なりをもつことが必要であり、信号１の１つの波形と信号２の複数の波形が時間的な重なりをもつ場合又は信号２の１つの波形と信号１の複数の波形が時間的な重なりをもつ場合には、条件１〜４を満足しない。したがって、信号１と信号２の波形の対応関係が不明確であり、このときは動きを検出しない。また、上記の動き判定の条件１〜４を満足する場合には、信号１と信号２の波形が対応していると仮定できるが、条件５を満足しない場合には、信号１と信号２の波形が対応しているという仮定と矛盾する。したがって、信号１と信号２の波形の対応関係に矛盾があり、このときは動きを検出しない。
【００５０】
図１７は本実施例３での動き判定回路のブロック図、図１８は図１７中の回路１３の状態遷移図である。図１７の回路１３は状態数７の非同期式順序回路であり、図１８に示したように各状態を遷移する。図１８において、Ｓ１とＳ２はそれぞれ信号１と信号２を表し、＋と−はそれぞれ発生（ローレベルからハイレベルに変化）と消滅（ハイレベルからローレベルに変化）を表す。図１７の回路２３はサンプルホールド回路であり、入力２がローレベルからハイレベルに変化したとき入力１の電圧を記憶して出力し、次に入力２がローレベルからハイレベルに変化するまでその出力を保持する。図１７の回路３３は比較回路であり、入力３がローレベルからハイレベルに変化したとき、入力１と入力２の差が閾値以下なら入力１または入力２をそのまま出力し、閾値以上なら出力なしである。この動き判定回路では、実施例２と同様にスイッチＳＷ２３，ＳＷ３３の出力電圧より動きの方向及び速度を検出することができる。
【００５１】
図１９〜図２６は、実施例３の動き判定回路のタイミングチャートと状態遷移の様子を示した図である。図１９と図２０は、ＡからＢ方向の動きとＢからＡ方向の動きについて、信号１と信号２の波形の対応が明らかな場合の例であり、図に示すように正しく動きを検出することができる。図２１〜図２２は、信号１と信号２の波形が対応しているという仮定と矛盾が生じる場合の２つの例であり、図に示すようにいずれも動きを検出しない。図２３〜図２６は、信号１の１つの波形が信号２のｎ個（ｎ≧２）の波形と時問的重なりをもつ例を４つのパターンに場合分けして示している。信号１と信号２の波形の対応関係が不明確であり、図に示すように、４つのパターンすべて動きを検出しない。
【００５２】
実施例３で示した動き判定方法は、実施例１及び実施例２の方法に比べ、動きがあると判定するために満たすべき条件が多く、信号１と信号２の波形の対応関係が不明確であるときや、対応関係に矛盾があるときには、動きを検出しない。したがって本実施例で示した動き検出方法は、検出できる動きの数は少なくなるが、誤検出が少なく、対象物の動きを信頼度よく検出することが可能である。
【００５３】
５．実施例３の変形例．
上述の実施例３は、対象物が単純である場合、動きを判定するのに用いる条件を削減することによる変形が可能である。判定条件を削減すると、検出される動きの精度は悪くなるが、対象が単純なときは、信号１と信号２の波形の対応関係が明確である場合が多いため、判定条件を削減しても判定結果に大きな違いはない。動き判定の条件を削減した例を以下に示す。
【００５４】
５−２．変形例１．
図２７は、実施例３の動き検出の条件１、３、４のみを用いた場合の動き判定回路のブロック図である。また、図２８は、図２７中の回路１３ａの状態遷移図である。図示のように、動き判定の条件を削減することにより、順序回路の状態数を削減することができ、回路構成を簡略化することが可能となる。
【００５５】
５−３．変形例２．
図３６は、実質的には実施例３の動き検出条件の中の２，３，４のみを用いた動き検出装置である。同図において、ＰＤｌ，ＰＤ２，ＰＤ３は、光検出器（フォトダイオード）を示す。また、Ｍｌ，Ｍ２，Ｍ３はＭＯＳＦＥＴであり、ＰＤｌ，ＰＤ２，ＰＤ３とともに、隣り合うフォトダイオードの光電流比を２値化して出力する回路を構成している。Ｅ１，Ｅ２，Ｅ３は、各々ＰＤｌ，ＰＤ２，ＰＤ３の受光面での光強度を示す。なお、Ｍｌ，Ｍ２，Ｍ３のゲートの縦横比Ｗ／Ｌは、各々Ｓｌ，Ｓ２，Ｓ３である（図３８参照）。
【００５６】
図３８に、光電流比２値化回路（図３６の回路と該図３６の回路の出力を入力して処理する図３７の回路とで構成される回路）の特性を示す。信号ＶＡと信号ＶＢは、それぞれ本発明の信号１と信号２に対応する負論理の信号である。信号ＶＡが入力する変化検出回路は、信号ＶＡから、本発明の信号１の立上りを示す信号ＡＵＰ，立下りを示す信号ＡＤＮ，及び立上りから立下りまでの間を示す信号ＡＷＮを作成する回路である。同様に信号ＶＢが入力する変化検出回路は、信号ＶＢから、本発明の信号２の立上りを示す信号ＢＵＰ，立下りを示す信号ＢＤＮ，及び立上りから立下りまでの間を示す信号ＢＷＮを作成する回路である。
【００５７】
図３９に図３６と図３７の回路のタイミングチャートを示す。信号ＶＡ（本発明の信号１に対応する）が発生している間に信号ＶＢ（本発明の信号２に対応する）が発生してから、信号ＶＡ（本発明の信号１に対応する）が再度発生する前に、信号ＶＡ（本発明の信号１に対応する）が消滅している状態で信号ＶＢ（本発明の信号２に対応する）が消滅したとき、ＰＤｌからＰＤ３の方向への動きを検出して信号Ｇｌ（負論理）を出力する。また、信号ＶＡ（本発明の信号１に対応する）の消滅時に容量Ｃｌを充電し、Ｃｌの電荷を定電流Ｉｏで放電しながら、前記信号Ｇｌが発生したときのＣｌの電荷を容量Ｃ２（≪Ｃｌ）に転送することで、速度に対応した時間Ｔを電圧Ｖleftとして出力する。逆方向（ＰＤ３からＰＤ１の方向）の動きについても同様な仕組みで検出し、速度に対応した時間ＴをＶright として出力する。さらに本変形例２では、Ｖright −Ｖleftを演算することにより、符号付きの速度をＶout に出力する。
本変形例２のように、実施例３の動き検出条件のうち、条件１を省略するとともに、条件２，３，４と実質的に同等の条件を用いることで、回路構成を簡略化した動き検出装置が構成可能である。
【００５８】
上述の実施例３の変形例１や変形例２は、ＶＬＳＩへ集積するときのチップ面積を小さくできるので、例えば、路上の車両の流れや建物出入口での人の出入りを、低コストに検出する応用に於いて、特に有用である。
【００５９】
６．実施例４．
実施例４は、信号１の波形と信号２の波形が時問的重なりをもたない場合でも動きを検出することができることを特徴とする動き検出方法及び装置である。構成は概略実施例１と同様であるが、動き判定回路が異なる。
【００６０】
実施例１、２、３の方法は、信号１の波形と信号２の波形が時間的重なりをもつとき２つの波形を対応付けてその発生と消滅の関係から動きを検出する方法である。しかし、検出器の間隔が大きい場合や対象物の像の強度変化の度合いが小さい場合、信号１と信号２の波形が時間的に重ならないため、波形の対応付けを行うことができず、動きを検出することができなくなる場合がある。
【００６１】
実施例４では、信号１の消滅と信号２の発生が所定時問内に生じたとき、または信号２の消滅と信号１の発生が所定時問内に生じたとき、信号１と信号２の波形の対応付けを行うことにより、信号１の波形と信号２の波形が時間的重なりをもたない場合でも動きを検出することが可能である。
【００６２】
図２９は、動きの方向や速度の検出原理を示した図である。図２９（ａ）（ｃ）は、像がＡからＢ方向に動いた場合の例、同図（ｂ）（ｄ）は、像がＢからＡ方向に動いた場合の例である。また、同図（ａ）（ｂ）は信号１と信号２が時間的重なりをもつ場合、同図（ｃ）（ｄ）は、信号１と信号２が時間的重なりをもたない場合である。
【００６３】
実施例４の動き判定回路は、図２９（ａ）に示したように、信号２の出力中（ハイレベル状態）に信号１が消滅（ハイレベルからローレベルに変化）したときＡからＢ方向への動きと判定し、信号２の出力中に信号１が消滅した時点から信号２が消滅する時点までの時問Ｔに基づいてＡからＢ方向への動きの速度を求める。また、図２９（ｂ）に示したように、信号１の出力中に信号２が消滅したときＢからＡ方向への動きと判定し、信号１の出力中に信号２が消滅した時点から信号１が消滅する時点までの時問Ｔに基づいてＢからＡ方向への動きの速度を求める。
【００６４】
更に、図２９（ｃ）に示したように、信号１の消滅から所定時間以内に信号２が発生（ローレベルからハイレベルに変化）したときＡからＢ方向への動きと判定し、信号１が発生した時点から信号１の消滅から所定時間以内に信号２が発生する時点までの時間Ｔに基づいてＡからＢ方向への動きの速度を求める。また、図２９（ｄ）に示したように、信号２の消滅から所定時間以内に信号１が発生したときＢからＡ方向への動きと判定し、信号２が発生した時点から信号２の消滅から所定時間以内に信号１が発生する時点までの時間Ｔに基づいてＢからＡ方向への動きの速度を求める。
【００６５】
図３０は、本実施例４での動き判定回路のブロック図であり、図３１は図３０中の回路３４の状態遷移図である。図３０において、回路１４，２４は入力信号がハイレベルからローレベルに変化したとき所定時問幅のパルスを出力する回路、回路３４は状態数５の非同期順序回路であり、図３１に示したように各状態を遷移する。図３１において、Ｓ１とＳ２はそれぞれ信号１と信号２を表し、＋と−はそれぞれ発生（ローレベルからハイレベルに変化）と消滅（ハイレベルからローレベルに変化）を表す。また、Ｒ１とＲ２は、それぞれ信号１と信号２の消滅から所定時間以内であるときハイレベルとなるパルスを表す。この動き判定回路では、実施例２、３と同様にスイッチＳＷ２４，ＳＷ３４の出力電圧より動きの方向及び速度を検出することができる。
【００６６】
図３２〜図３５は、実施例４の動き判定回路のタイミングチャートを示し、図３２と図３４は、像がＡからＢ方向に動いた場合の例、図３３と図３５は、像がＢからＡ方向に動いた場合の例である。また、図３２と図３３は信号１と信号２が時間的重なりをもつ場合、図３４と図３５は、信号１と信号２が時問的重なりをもたない場合である。図示のように、信号１と信号２が時間的重なりをもつ場合ももたない場合も動きの方向及び速度を検出することができる。
【００６７】
実施例４では、信号１の消滅から所定時問内に信号２が発生した場合ＡからＢ方向の動きと判定し、または信号２の消滅から所定時間内に信号１が発生した場合ＢからＡ方向の動きと判定することにより、信号１と信号２の波形が時問的重なりがない場合も動きを検出することができる。実施例４では時間的定数を用いているため検出できる速度レンジが制限されるという欠点が生じるが、対象物の像の強度変化の度合いが小さい場合や光検出器の間隔が大きい場合でも、より多くの動きを検出することが可能である。
【００６８】
【発明の効果】
本発明によると、広い速度レンジで、局所的な動き方向と速度を、安定して高速に検出でき、小規模で低消費電力な、半導体上に集積するのに適した、広い明るさレンジで動作する、動き検出装置を提供することができる。
【図面の簡単な説明】
【図１】物体がｘの正方向に動いたときの各位置での像の強度（ａ）と、（ａ）に関して動きの方向と速度を検出する従来の方法（ｂ）（ｃ）と、本発明の方法（ｄ）〜（ｆ）を示す説明図。
【図２】実施例１の動き検出装置の主要部のブロック図。
【図３】実施例１の動き検出装置に像を結像させる構成の説明図。
【図４】図２内の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図５】図２内の動き判定回路の構成を示すブロック図。
【図６】図５の動き判定回路での動作を示すタイミングチャート。（ａ）は像がＡからＢ方向へ動いた場合、（ｂ）は像がＢからＡ方向へ動いた場合を示す。
【図７】実施例１の変形例１の動き検出装置の主要部のブロック図。
【図８】実施例１の変形例２の動き検出装置の主要部のブロック図。
【図９】実施例１の変形例３の動き検出装置の主要部のブロック図。
【図１０】実施例１の変形例４の動き検出装置の主要部のブロック図。
【図１１】実施例１の変形例５の動き検出装置の主要部のブロック図。
【図１２】実施例２の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図１３】実施例２の動き判定回路を示すブロック図。
【図１４】図１３の動き判定回路での動作を示すタイミングチャート。
【図１５】実施例３の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図１６】実施例３の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図１７】実施例３の動き判定回路を示すブロック図。
【図１８】図１７内の回路１の状態遷移図。
【図１９】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２０】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２１】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２２】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２３】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２４】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２５】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２６】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２７】実施例３の変形例１の動き判定回路を示すブロック図。
【図２８】図２７内の回路１の状態遷移図。
【図２９】実施例４の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図３０】実施例４の動き判定回路を示すブロック図。
【図３１】図３０内の回路３の状態遷移図。
【図３２】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３３】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３４】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３５】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３６】実施例３の変形例２の動き検出装置を示すブロック図の一部。
【図３７】実施例３の変形例２の動き検出装置を示すブロック図の残部。
【図３８】図３６の回路の特性を示す特性図。
【図３９】図３６と図３７の回路の動作を示すタイミングチャート。
【発明の属する技術分野】
本発明は、動き検出装置に関する。
【０００２】
【従来の技術】
テレビカメラで撮像した画像のデジタル画像処理によって像の動きの方向やその速度を検出する方法として、所定時間間隔を空けた画面間で、画像の小領域の明るさや特徴点の対応を見付けることにより、各小領域や特徴点の移動の方向を検出したり、その移動の距離から速度を検出する方法がある。また、物体上の明るさが時間的に変化しないと仮定したときの画像の明るさの時間微分と空間微分の関係を拘束条件として、速度を求める方法がある（例えば、谷内田正彦編，コンピユータビジョン，平成２年（丸善）発行，に示されている）。
【０００３】
しかし、カメラで撮像した画像によるこれらの方法は、多数の画素を参照して計算するものであるので、高速な検出が難しかったり、高速化のためにはハードウェア規模が大きくなる間題がある。また、撮像のフレームレートに比べて物体の動きが著しく速い場合、正しく動きを検出することが難しい問題がある。また、対象物の明るさの変動が大きい場合、テレビカメラのダイナミックレンジやＡ／Ｄ変換器のレンジによる画質の低下や、処理回路の濃淡のダイナミックレンジなどが原因で、良好な検出結果が得られない問題がある。
【０００４】
一方、テレビカメラで撮像した画像のデジタル画像処理によるのではなく、半導体上に集積された光検出器の出力を直接処理することによって、極めて小型で低消賛電力なハードウェアで、高速に像の動きの方向やその速度を検出する方法や装置がいくつか報告されている。「Ｃ．ミード著，自井，米津訳，アナログＶＬＳＩと神経システム，（株）トッパン，１９９３，ｐｐ．２６９−２９９」には、物体上の明るさが時問的に変化しないと仮定したときの、画像の明るさの時問微分と空間微分の関係を拘束条件として大域的速度を求める、半導体上に集積された動き検出チップが示されている。しかしミードの動き検出チップは、微分値を使って計算するので、雑音に弱い問題がある。
【０００５】
そこで、信号の時間的相関を利用した装置として、「Ｊ．Ｋｒａｍｅｒ，Ｒ．Ｓａｒｐｅｓｈｋａｒ ａｎｄ Ｃ．Ｋｏｃｈ，”Ｐｕｌｓｅ−Ｂａｓｅｄ Ａｎａｌｏｇ ＶＬＳＩ Ｖｌｏｃｉｔｙ Ｓｅｎｓｏｒｓ”，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ▼２▲，Ｖｏｌ．４４，Ｎｏ．２，ｐｐ．８６−１０１，１９９７．」には、２つの光検出器の出力の時間微分信号に基づいて動きの方向や速度を検出する、半導体上に集積された動き検出チッブが示されている．また、「Ｒ．Ｅｔｉｅｎｎｅ−Ｃｕｍｍｉｎｇｓ，Ｊ．Ｖａｎ ｄｅｒ Ｓｐｉｅｇｅｌ ａｎｄ Ｐ．Ｍｕｅｌｌｅｒ，”Ａ Ｆｏｃａｌ Ｐｌａｎｅ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｅｎｓｏｒ”，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ−▼１▲，Ｖｏｌ．４４，Ｎｏ．１，ｐｐ．５５−６６，１９９７．」には、抵抗回路網を用いて像の明るさのラプラシアン又はＤＯＧ（２つのガウス関数の差）を求め、そのゼロクロス信号又は閾値で２値化した信号の発生と消滅の関係から、像の動きの方向や速度を検出する、半導体上に集積された動き検出チッブが示されている。
【０００６】
また、特開昭４９−７９０１や、特開昭６３−２３３３７５などには、交互に配置した２組の受光素子群による空間フィルタを利用した光学式の速度センサが示されている。
【０００７】
【発明が解決しようとする課題】
図１（ａ）は、物体がｘの正方向に動いたときの、各位置ｘ−ｄｘ，ｘ，ｘ＋ｄｘ，ｘ＋２ｄｘ（ただし，ｄｘ＞０）における、像の強度を示した図で、横軸は時間である。
【０００８】
Ｊ．Ｋｒａｍｅｒ ｅｔ ａ１．の装置では、図１（ｂ）に示したように、位置ｘ及びｘ＋ｄｘにおける像の強度の時間微分信号を利用し、これらの信号を２値化した信号の相互関係から動きの方向や速度を検出している。Ｊ．Ｋｒａｍｅｒ ｅｔ ａ１．の装置では、物体の動きによって生じる像の明るさの時間的変化である光検出器の出力の時間微分信号を用いて動きを検出するので、物体の動きの速さによって時間微分信号の大きさが変化するために、広い速度レンジで安定して動き方向や速度を検出することができない間題がある。
【０００９】
Ｅｔｉｅｎｎｅ−Ｃｕｍｍｉｎｇｓ ｅｔ ａ１．の装置では、像の強度の空間的なラプラシアン又はＤＯＧのゼロクロス位置の信号の相互関係から動きの方向や速度を検出している。図１（ｃ）は、像の強度の空間的なラプラシアンのゼロクロス位置の信号を、位置ｘ，およびｘ＋ｄｘについて示したものである。この方法では、図１（ｃ）からも分かるように、位置ｘの信号の消滅と位置ｘ＋ｄｘの信号の生成が同時刻に起こるので、これらの信号からの動きの検出が小規模な回路で実現できるメリットがある。また、時間に関する定数を用いる必要がないので、検出できる速度レンジが広い。しかし，像の明るさのラプラシアン又はＤＯＧを抵抗回路網を使って検出するので、全体の回路規模が大きくなる問題がある。また、ラプラシアン又はＤＯＧのゼロクロス点を２箇所で求める必要があるので、少なくとも４個の光検出器が必要となる。
【００１０】
空間フィルタを利用した光学式の速度センサでは、物体の動きの速度は検出できるが、動きの方向を検出することができない。また、交互に配置した２組の受光素子群による空間フィルタを用いるので、局所的な速度を検出することが困難である。
【００１１】
本発明の目的は、広い速度レンジで、局所的な動き方向と速度を、安定して高速に検出することができる、小規模で低消費電力な、半導体上に集積するのに適した、広い明るさレンジで動作する、動き検出装置を提供することである。
【００１２】
【課題を解決するための手段】
本発明は、位置Ａの近傍の２箇所に於ける像の強度の違いに基づく２値信号１と、位置Ｂの近傍の２箇所に於ける像の強度の違いに基づく２値信号２とを用い、信号１と信号２の関係に基づいて、像の動きの方向と動きの速さの少なくとも１つを求めることを特徴とする動き検出装置である。
【００１３】
図１（ｄ）〜（ｆ）を参照して説明する。図１（ｄ）は、位置ｘ−ｄｘの強度と位置ｘの強度の差の信号、および位置ｘの強度と位置ｘ＋ｄｘの強度の差の信号、を示したものである。そして、図１（ｅ）は、図１（ｄ）の信号を閾値ｐで２値化した信号を示す。同図から、（ｅ）の２つの２値信号の関係から、像の動き方向や速度を検出できることが分かる。また、図１（ｆ）は，図１（ｄ）の信号を閾値ｑで２値化した信号を示す。同図から、（ｆ）の２つの２値信号の関係からも、像の動き方向や速度を検出できることが分かる。即ち、本発明では、位置Ａの近傍の２箇所における像の強度の違いに基づく２値信号１と、位置Ｂの近傍の２箇所における像の強度の違いに基づく２値信号２とを用い、信号１と信号２の関係に基づいて、像の動きの方向または動きの速度を求める。速度は、具体的には、信号１が発生してから信号２が発生するまでの時間又は信号１が消滅したときから信号２が消滅するまでの時間に基づいて、ＡＢ間の移動時間を検出し、それによって像の動きの速度を求める。ここで、図１の（ｘ−ｄｘ），ｘ，（ｘ＋ｄｘ）と、位置Ａ及び位置Ｂとの関係を説明すると、位置Ａは（ｘ−ｄｘ）〜ｘ間に在り、位置Ｂはｘ〜（ｘ＋ｄｘ）間に在る。
【００１４】
図１（ｅ）の信号と、図１（ｆ）の信号の違いは、前者は２つの信号間に重なりがあるのに対し、後者には２つの信号間の重なりがない点である。これらの違いは、像の空間的エッジの強さや傾き、光検出器の空間的解像度、閾値などの関係により生じる。
【００１５】
前者の場合に対して、本発明は、信号１の出力中に信号２が発生したとき、ＡからＢ方向への動きと判定する。その具体例は実施例２で示す。また、信号２の出力中に信号１が消滅したとき、ＡからＢ方向への動きと判定する。その具体例は実施例１で示す。
【００１６】
後者の場合に対して、本発明は、信号１の消滅と信号２の発生が所定時間内に生じたときＡからＢ方向への動きと判定する。また、上記２つを併せて実施することにより、前者と後者の両方の場合を検出することも可能である。この具体例は実施例４で示す。
【００１７】
また本発明では、信号１と信号２の対応関係に矛盾があるときには動きを検出しないようにすることにより、動きの検出精度をあげることができる。その具体例は実施例３で示す。
【００１８】
ここで、作用効果を説明する。
位置Ａ，Ｂの近傍の２箇所における像の強度の違いに基づく２値信号を用いるので、像の明るさレンジが広くても、像の動きの方向や速度を検出することができる。また、位置Ａ，Ｂの近傍の２箇所における像の強度の遠いに基づく２値信号を用いるので、最低３個の検出器により、像の動きの方向や速度を検出することができる。また、最低３個の検出器を用いればよいので、局所的な動きを検出することが容易である。また、位置Ａ，Ｂの近傍の２箇所における像の強度の違いに基づく２値信号を用いるので、抵抗回路網が不要であり、小規模なハードウェアで像の動きの方向や速度を検出することができる。
【００１９】
また、２値信号の関係に基づいて動きの方向や速度を検出するので、半導体上に集積するのが容易である。また、２値信号の関係に基づいて動きの方向や速度を検出するので、雑音に強い。
【００２０】
また、信号１の出力中に信号２が発生したとき又は信号２の出力中に信号１が消滅したとき動きを検出する方法は、時間に関する定数を用いないので、広い速度レンジで像の動きの方向や速度を検出することができる。また、信号１の消滅と信号２の発生が所定時間内に生じたとき動きを検出する方法は、対象物の濃淡エッジの強さなどによることなく、動きを検出することができる。また、信号１が発生してから信号２が発生するまでの時間、又は信号１が消滅したときから信号２が消滅するまでの時間に基づいてＡからＢ方向への動き速度を求めるので、速度を精度よく求めることができる。
【００２１】
【発明の実施の形態】
以下、図示する実施例１（図２〜６）、実施例１の変形例（図７〜１１）、実施例２（図１２〜１４）、実施例３（図１５〜２６）、実施例３の変形例（図２７〜２８）、及び実施例４（図２９〜３５）に即して、本発明の実施の形態を説明する。
【００２２】
１．実施例１．
本発明の実施例１を図２に示す。図２の構成は半導体基板上に集積されており、例えば、図３に示すようにして、この基板上に対象物の像が結像される。図２の動き検出装置は、像の光強度の対数に比例した信号を出力する光検出器１，２，３、光検出器１，２の出力信号の差を求める差分回路１、光検出器２，３の出力信号の差を求める差分回路２、差分回路１の出力値を所定の閾値で２値化する２値化回路１、差分回路２の出力値を所定の閾値で２値化する２値化回路２、２値化回路１，２の出力する２値の信号１および信号２に基づいて動きの方向および速度を検出する動き判定回路、から構成される。
【００２３】
光検出器１および２は、位置Ａの近傍の２箇所における像の強度を検出するためのもの、光検出器２および３は位置Ｂの近傍の２箇所における像の強度を検出するためのもの、である。したがって、信号１は位置Ａの近傍の２箇所における像の強度の違いに基づく２値信号であり、信号２は位置Ｂの近傍の２箇所における像の強度の違いに基づく２値信号である。
【００２４】
この実施例１では、動き判定回路は、信号２の出力中に信号１が消滅したときＡからＢ方向への動きと判定し、逆に、信号１の出力中に信号２が消滅したときＢからＡ方向への動きと判定する。さらに、信号１が消滅したときから信号２が消滅するまでの時間、又は信号２が消滅したときから信号１が消滅するまでの時間に基づいて、動き速度を求める。
【００２５】
図４（ａ）〜（ｄ）は、動き判定回路での動きの方向や速度の検出原理を示した図であり、信号１及び信号２の時間的変化を示す。（ａ）（ｂ）は動きの方向の判定方法を示した図で、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例である。（ｃ）（ｄ）は、動き判定回路において動き速度を求める方法を示した図であり、（ｃ）は像がＡからＢ方向に動いた場合の例、（ｄ）は像がＢからＡ方向に動いた場合の例である。
【００２６】
動き判定回路は、図４（ａ）に示したように、信号２の出力中（ハイレベル状態）に信号１が消滅（ハイレベルからローレベルに変化）したときＡからＢ方向への動きと判定し、図４（ｂ）に示したように、信号１の出力中（ハイレベル状態）に信号２が消滅（ハイレベルからローレベルに変化）したときＢからＡ方向への動きと判定する。また、動き判定回路は、図４（ｃ）に示すように、信号２の出力中に信号１が消滅した時点から信号２が消滅するまでの時間Ｔ、即ち、光検出器１と２の間隔（ＡＢ間の距離）を像が移動するのに要した時間Ｔを求める。速度はＡＢ間の距離を時間Ｔで割ることにより求められる。なお、時間Ｔは実質的に速度と同じ情報なので、本明細書では、移動時間のことも含めて速度と呼ぶことにする。同様にして、図４（ｄ）に示すように、信号１の出力中に信号２が消滅した時点から信号１が消滅するまでの時間Ｔから、ＢからＡ方向への動きの速度を求める。
【００２７】
図５は、実施例１の動き判定回路のブロック構成を示す。同図において、回路１１，４１は、入力２がハイレベルのときに入力１がハイレベルからローレベルに変化したときにパルスを出力する回路である。回路２１，５１は、インバータ回路であり、回路３１，６１は、ＳＲフリップフロップである。回路３１は、ＡからＢ方向への動きが検出されたとき、ＡＢ間の移動時間をパルス幅で出力する。また、回路６１は、ＢからＡ方向への動きが検出されたとき、ＢＡ間の移動時間をパルス幅で出力する。図６は、図５の動き判定回路の動作のタイミングチャートを示し、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例で、同図に示されるようにして、動きの方向及び速度（移動時間Ｔ）が検出される。
【００２８】
実施例１では、上述のように、２箇所における像の強度の違い（強度の比）を所定の閾値で２値化した信号を用い、像の強度自体を検出しないので、像の明るさレンジが広くても、像の動きの方向や速度を検出することが容易である。また、実施例１では、光検出器が像の光強度の対数に比例した信号を出力するので、差分回路の出力は光強度の比に比例した出力となり、光検出器が光強度に比例した信号を出力し、その差を２値化した信号を用いる場合に比ベ、より広い明るさレンジで動きが検出できる。また、実施例１では、抵抗回路網が不要なため、小規模なハードウェアで像の動きの方向や速度を検出することができる。
【００２９】
また、実施例１では、上述のように、３個の検出器により像の動きの方向や速度を検出することができる。また、２値信号の発生と消滅の関係に基づいて動きの方向や速度を検出するので、半導体上に集積するのが容易である。また、実施例１では、２値信号の関係に基づいて動きの方向や速度を検出するので、雑音に強い。また、実施例１では、信号の時間的な変化や時間に関する定数を用いないので、広い速度レンジで像の動きの方向や速度を検出することができる。
【００３０】
２．実施例１の変形例．
実施例１は種々の変形が可能であり、そのいくつかを図７〜１１に示す。
【００３１】
２−１．変形例１．
図７は、複数の位置で動きの方向や速度を検出するための構成例である。図２の構成を単に並べるのではなく、図７では光検出器を共用しており、これにより、集積度を高められる効果がある。図７の例では光検出器が１次元上に並ベられているが、２次元的に配置する場合にも、同様の考えに基づいて光検出器を共用することで、集積度を高めることが可能である。
【００３２】
２−２．変形例２．
図８は、光検出器の配置の別の例である。図２の構成では、位置Ａの近傍の２箇所における像の強度の違いを検出するための光検出器の１つが、位置Ｂの近傍の２箇所における像の強度の違いを検出するための光検出器の１つと共用されていたのに対して、図８の構成では、別になっている．すなわち，図８の構成では、光検出器１，３が位置Ａの近傍の２箇所における像の強度を検出するためのものであり、光検出器２，４が位置Ｂの近傍の２箇所における像の強度を検出するためのものである。実施例１では、閾値を大きくすると、信号１と信号２が時間的重なりをもたない場合が多くなるため、検出できる動きの数が少なくなり、また、閾値を小さくすると、検出できる動きの数が多くなる反面、ノイズを検出する確率が大きくなるため、動きの検出結果の信頼度が低下する。図８のように構成することで、閾値を小さくすることなくより確実に信号１と信号２が時間的重なりをもつようになるため、検出結果の信頼度を低下させることなくより多くの動きを検出することが可能となる。
【００３３】
２−３．変形例３．
図９は、位置Ａ，Ｂの近傍の２箇所における像の強度の違いに基づく２値信号１，２の別の実施例であり、図９（ａ）は、２個の光検出器の出力の差が、閾値１以上で且つ閾値２以下である場合に信号を出力する２値化回路を用いた例である。これにより、位置ＡとＢにおける像のエッジの対応がより確実となり、動きの検出精度が向上する効果がある。図９（ｂ）は、２個の光検出器の出力の差の絶対値を閾値で２値化する例であり、図２のように差を閾値で２値化する場合に比ベ、位置ＡとＢにおける像のエッジの対応の確度は低下するが、小規模な回路構成でより多くの動き検出が可能になる効果がある。
【００３４】
２−４．変形例４．
図１０は、位置Ａに関しては光検出器２（図１０内の３つの光検出器の中の中央の光検出器）の出力から光検出器１（図１０内の３つの光検出器の中の左端の光検出器）の出力を引いた値を所定の閾値で２値化した信号をも利用するようにし、位置Ｂに関しても同様に光検出器３（図１０内の３つの光検出器の中の右端の光検出器）の出力から光検出器２（図１０内の３つの光検出器の中の中央の光検出器）の出力を引いた値を所定の閾値で２値化した信号をも利用するようにした構成例である。前述の図２の構成では、位置Ａの近傍の２箇所における像の強度の違いに基づく２値信号としては光検出器１の出力から光検出器２の出力を引いた値を所定の閾値で２値化した信号を用い、位置Ｂの近傍の２箇所における像の強度の違いに基づく２値信号としては光検出器２の出力から光検出器３の出力を引いた値を所定の閾値で２値化した信号を用いていたのに対し、図１０の構成では、位置Ａに関しては光検出器２の出力から光検出器１の出力を引いた値を所定の閾値で２値化した信号をも利用し、位置Ｂに関しては光検出器３の出力から光検出器２の出力を引いた値を所定の閾値で２値化した信号をも利用しているので、より多くの動き検出が可能になる効果がある。また、光検出器１と光検出器２の出力の差の信号や、光検出器２と光検出器３の出力の差の信号を、符号によって２つの異なる回路で処理するため、位置ＡとＢにおける像のエッジの対応の確度が低下することはない。
【００３５】
２−５．変形例５．
図１１は、２種類の閾値を用いた例であり、対象物の濃淡エッジ強度のバラツキが大きくても、信号１と信号２の対応関係がより精度良く求められるので、検出の精度を高められる効果がある。
【００３６】
２−６．他の変形．
実施例１とその変形例では、光学像の強度を光検出器で検出して像の動きを検出する場合を示したが、光以外の像についても、その像の各位置における強度を検出する検出器を用いることにより、本発明を実施することが可能であることは明らかである。また、実施例１とその変形例では、半導体基板上に集積した装置の例を示したが、本発明は、必ずしも半導体基板上に集積する必要がないことも明らかである。
【００３７】
３．実施例２．
実施例２は、動き判定回路が、信号１の出力中に信号２が発生したときＡからＢ方向への動きと判定し、逆に、信号２の出力中に信号１が発生したときＢからＡ方向への動きと判定すること、及び、信号２が発生したときから信号１が発生するまでの時間または信号１が発生したときから信号２が発生するまでの時間に基づいて動き速度を求めること以外は、実施例１と同様である。
【００３８】
図１２（ａ）〜（ｄ）は、実施例２の動き判定回路での動きの方向や速度の検出原理を示した図である。（ａ）（ｂ）は、動きの方向の判定方法を示した図であり、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例である。（ｃ）（ｄ）は、動き判定回路において動き速度を求める方法を示した図であり、（ｃ）は像がＡからＢ方向に動いた場合の例、（ｄ）は像がＢからＡ方向に動いた場合の例である。
【００３９】
実施例２の動き判定回路は、図１２（ａ）に示したように、信号１の出力中（ハイレベル状態）に信号２が生成（ローレベルからハイレベルに変化）したときＡからＢ方向への動きと判定し、図１２（ｂ）に示したように、信号２の出力中（ハイレベル状態）に信号１が生成（ローレベルからハイレベルに変化）したときＢからＡ方向への動きと判定する。また、動き判定回路は、図１２（ｃ）に示すように、信号１が発生した時点から信号１の出力中に信号２が生成するまでの時間ＴよりＡからＢ方向への動きの速度を求め、図１２（ｄ）に示すように、信号２が発生した時点から信号２の出力中に信号１が生成するまでの時間ＴよりＢからＡ方向への動きの速度を求める。図１３は、実施例２の動き判定回路のブロック構成を示す。同図において、回路１２は、入力１がローレベルのときに入力２がローレベルからハイレベルに変化したとき又は入力２がローレベルのときに入力１がローレベルからハイレベルに変化したときにパルスを出力する回路、回路２２，３２は、入力１がハイレベルのときに入力２がローレベルからハイレベルに変化したときにパルスを出力する回路である。
【００４０】
この動き判定回路では、定電流源によって充電されるコンデンサＣの電圧によって移動時間Ｔを検出する。すなわち、回路１２の出力によりスイッチＳＷ１２が閉じてコンデンサの電荷がクリアされてから、スイッチＳＷ２２またはスイッチＳＷ３２が閉じるまでの時間が、電圧として読み出される。スイッチＳＷ２２は、信号１の出力中に信号２が生成したときに閉じるので、ＡからＢ方向への動きが検出されたときにパルスを出力する。そして、そのパルスの電圧は、その動きの速度に対応する移動時間Ｔに対応した電圧となる。同様にして、スイッチＳＷ３２は、ＢからＡ方向への動きが検出されたとき、その動きの速度に対応する移動時間Ｔに対応した電圧のパルスを出力する。
【００４１】
図１４は、この動き判定回路の動作のタイミングチャートを示し、（ａ）は像がＡからＢ方向に動いた場合の例、（ｂ）は像がＢからＡ方向に動いた場合の例である。同図に示されるようにして、動きの方向及び速度（移動時間Ｔ）が検出される。この動き判定回路を用いた場合も、図５の動き判定回路を用いた実施例１の場合と同様な作用効果がある。また、実施例１と同様の、種々の変形が可能である。
【００４２】
４．実施例３．
実施例３は、信号１と信号２の波形の対応関係が不明確なとき及び矛盾しているときには動きを検出しないことにより、動きの誤検出の可能性を小さくすることを特徴とする動き検出方法及び装置である。構成は概略実施例１と同様であるが、動き判定回路が異なる。
【００４３】
実施例１，２の方法は、信号１と信号２の各１個の同じ時間的長さの波形のみが時問的重なりをもつことを前提として動きを検出する方法である。しかし、対象物が複雑である場合や、２値化回路の閾値が小さい場合、信号１と信号２の複数の波形が時間的重なりをもつようになり、信号１の波形と信号２の波形の対応関係が不明確になったり、矛盾する可能性がある。
【００４４】
図１５は、信号１と信号２の波形の対応関係が明確な場合、不明確な場合、及び矛盾している場合の例を示した図である。図１５（ａ）は信号１と信号２の同じ時問的長さの２つの波形が時間的な重なりをもつ場合の例、同図（ｂ）は信号１の波形と信号２の複数の波形が時間的重なりをもつ場合の例、同図（ｃ）は信号１と信号２の異なる時問的長さの２つの波形が時問的な重なりをもつ場合の例である。
【００４５】
図１５（ａ）の場合、信号１の１つの波形と信号２の１つの波形が時間的重なりをもつため、波形の対応関係は明確であり、実施例１及び実施例２で示した方法によって正しく動きの方向と速度を検出することが可能である。図１５（ｂ）の場合、信号２の１つの波形が信号１の２つの波形と時間的な重なりをもつため対応関係が不明確であり、実施例１の方法を用いて動き検出を行った場合も、実施例２の方法を用いて動き検出を行った場合も、ともに、異なる２つの方向の動きを検出してしまう。図１５（ｃ）の場合、２つの波形が対応していると仮定すると信号１が発生してから信号２が発生するまでの時問と、信号１が消滅してから信号２が消滅するまでの時間が異なるため、矛盾しており、実施例１の方法を用いて動き検出を行った場合と実施例２の方法を用いて動き検出を行った場合とでは、検出される速度（通過時間）が異なる。
【００４６】
図１６は、実施例３の動き検出の原理を示した図であり、（ａ）は像がＡからＢ方向へ動いた場合、（ｂ）は像がＢからＡ方向へ動いた場合である。
【００４７】
実施例３の動き検出では、以下に述べる５つの条件を満足したときに、動きがあると判定する。図１６（ａ）に示すように、信号２が出力無で信号１が発生し（条件１）、信号１が消滅する前に信号２が発生し（条件２）、信号２が消滅する前に信号１が消滅し（条件３）、信号１が発生する前に信号２が消滅し（条件４）、また、信号１の発生から信号２の発生までの時問Ｔｌ（条件１を満たした時点から条件２を満たす時点までの時間）と、信号１の消滅から信号２の消滅までの時間Ｔ２（条件３を満たした時点から条件４を満たす時点までの時問）が等しい場合（条件５）、ＡからＢ方向への動きと判定し、時間Ｔ１（＝Ｔ２）に基づいて動きの速度を求める。
【００４８】
同様にして、同図（ｂ）に示すように、信号１が出力無で信号２が発生し（条件１）、信号２が消滅する前に信号１が発生し（条件２）、信号１が消減する前に信号２が消滅し（条件３）、信号２が発生する前に信号１が消滅し（条件４）、また、信号２の発生から信号１の発生までの時間Ｔ１（条件１を満たした時点から条件２を満たす時点までの時間）と、信号２の消滅から信号１の消滅までの時間Ｔ２（条件３を満たした時点から条件４を満たす時点までの時問）が等しい場合（条件５）、ＢからＡ方向への動きと判定し、時問Ｔ１（＝Ｔ２）に基づいて動きの速度を求める。
【００４９】
上述の動き判定の条件１〜４を満足するためには、信号１の１つの波形と信号２の１つの波形のみが時問的重なりをもつことが必要であり、信号１の１つの波形と信号２の複数の波形が時間的な重なりをもつ場合又は信号２の１つの波形と信号１の複数の波形が時間的な重なりをもつ場合には、条件１〜４を満足しない。したがって、信号１と信号２の波形の対応関係が不明確であり、このときは動きを検出しない。また、上記の動き判定の条件１〜４を満足する場合には、信号１と信号２の波形が対応していると仮定できるが、条件５を満足しない場合には、信号１と信号２の波形が対応しているという仮定と矛盾する。したがって、信号１と信号２の波形の対応関係に矛盾があり、このときは動きを検出しない。
【００５０】
図１７は本実施例３での動き判定回路のブロック図、図１８は図１７中の回路１３の状態遷移図である。図１７の回路１３は状態数７の非同期式順序回路であり、図１８に示したように各状態を遷移する。図１８において、Ｓ１とＳ２はそれぞれ信号１と信号２を表し、＋と−はそれぞれ発生（ローレベルからハイレベルに変化）と消滅（ハイレベルからローレベルに変化）を表す。図１７の回路２３はサンプルホールド回路であり、入力２がローレベルからハイレベルに変化したとき入力１の電圧を記憶して出力し、次に入力２がローレベルからハイレベルに変化するまでその出力を保持する。図１７の回路３３は比較回路であり、入力３がローレベルからハイレベルに変化したとき、入力１と入力２の差が閾値以下なら入力１または入力２をそのまま出力し、閾値以上なら出力なしである。この動き判定回路では、実施例２と同様にスイッチＳＷ２３，ＳＷ３３の出力電圧より動きの方向及び速度を検出することができる。
【００５１】
図１９〜図２６は、実施例３の動き判定回路のタイミングチャートと状態遷移の様子を示した図である。図１９と図２０は、ＡからＢ方向の動きとＢからＡ方向の動きについて、信号１と信号２の波形の対応が明らかな場合の例であり、図に示すように正しく動きを検出することができる。図２１〜図２２は、信号１と信号２の波形が対応しているという仮定と矛盾が生じる場合の２つの例であり、図に示すようにいずれも動きを検出しない。図２３〜図２６は、信号１の１つの波形が信号２のｎ個（ｎ≧２）の波形と時問的重なりをもつ例を４つのパターンに場合分けして示している。信号１と信号２の波形の対応関係が不明確であり、図に示すように、４つのパターンすべて動きを検出しない。
【００５２】
実施例３で示した動き判定方法は、実施例１及び実施例２の方法に比べ、動きがあると判定するために満たすべき条件が多く、信号１と信号２の波形の対応関係が不明確であるときや、対応関係に矛盾があるときには、動きを検出しない。したがって本実施例で示した動き検出方法は、検出できる動きの数は少なくなるが、誤検出が少なく、対象物の動きを信頼度よく検出することが可能である。
【００５３】
５．実施例３の変形例．
上述の実施例３は、対象物が単純である場合、動きを判定するのに用いる条件を削減することによる変形が可能である。判定条件を削減すると、検出される動きの精度は悪くなるが、対象が単純なときは、信号１と信号２の波形の対応関係が明確である場合が多いため、判定条件を削減しても判定結果に大きな違いはない。動き判定の条件を削減した例を以下に示す。
【００５４】
５−２．変形例１．
図２７は、実施例３の動き検出の条件１、３、４のみを用いた場合の動き判定回路のブロック図である。また、図２８は、図２７中の回路１３ａの状態遷移図である。図示のように、動き判定の条件を削減することにより、順序回路の状態数を削減することができ、回路構成を簡略化することが可能となる。
【００５５】
５−３．変形例２．
図３６は、実質的には実施例３の動き検出条件の中の２，３，４のみを用いた動き検出装置である。同図において、ＰＤｌ，ＰＤ２，ＰＤ３は、光検出器（フォトダイオード）を示す。また、Ｍｌ，Ｍ２，Ｍ３はＭＯＳＦＥＴであり、ＰＤｌ，ＰＤ２，ＰＤ３とともに、隣り合うフォトダイオードの光電流比を２値化して出力する回路を構成している。Ｅ１，Ｅ２，Ｅ３は、各々ＰＤｌ，ＰＤ２，ＰＤ３の受光面での光強度を示す。なお、Ｍｌ，Ｍ２，Ｍ３のゲートの縦横比Ｗ／Ｌは、各々Ｓｌ，Ｓ２，Ｓ３である（図３８参照）。
【００５６】
図３８に、光電流比２値化回路（図３６の回路と該図３６の回路の出力を入力して処理する図３７の回路とで構成される回路）の特性を示す。信号ＶＡと信号ＶＢは、それぞれ本発明の信号１と信号２に対応する負論理の信号である。信号ＶＡが入力する変化検出回路は、信号ＶＡから、本発明の信号１の立上りを示す信号ＡＵＰ，立下りを示す信号ＡＤＮ，及び立上りから立下りまでの間を示す信号ＡＷＮを作成する回路である。同様に信号ＶＢが入力する変化検出回路は、信号ＶＢから、本発明の信号２の立上りを示す信号ＢＵＰ，立下りを示す信号ＢＤＮ，及び立上りから立下りまでの間を示す信号ＢＷＮを作成する回路である。
【００５７】
図３９に図３６と図３７の回路のタイミングチャートを示す。信号ＶＡ（本発明の信号１に対応する）が発生している間に信号ＶＢ（本発明の信号２に対応する）が発生してから、信号ＶＡ（本発明の信号１に対応する）が再度発生する前に、信号ＶＡ（本発明の信号１に対応する）が消滅している状態で信号ＶＢ（本発明の信号２に対応する）が消滅したとき、ＰＤｌからＰＤ３の方向への動きを検出して信号Ｇｌ（負論理）を出力する。また、信号ＶＡ（本発明の信号１に対応する）の消滅時に容量Ｃｌを充電し、Ｃｌの電荷を定電流Ｉｏで放電しながら、前記信号Ｇｌが発生したときのＣｌの電荷を容量Ｃ２（≪Ｃｌ）に転送することで、速度に対応した時間Ｔを電圧Ｖleftとして出力する。逆方向（ＰＤ３からＰＤ１の方向）の動きについても同様な仕組みで検出し、速度に対応した時間ＴをＶright として出力する。さらに本変形例２では、Ｖright −Ｖleftを演算することにより、符号付きの速度をＶout に出力する。
本変形例２のように、実施例３の動き検出条件のうち、条件１を省略するとともに、条件２，３，４と実質的に同等の条件を用いることで、回路構成を簡略化した動き検出装置が構成可能である。
【００５８】
上述の実施例３の変形例１や変形例２は、ＶＬＳＩへ集積するときのチップ面積を小さくできるので、例えば、路上の車両の流れや建物出入口での人の出入りを、低コストに検出する応用に於いて、特に有用である。
【００５９】
６．実施例４．
実施例４は、信号１の波形と信号２の波形が時問的重なりをもたない場合でも動きを検出することができることを特徴とする動き検出方法及び装置である。構成は概略実施例１と同様であるが、動き判定回路が異なる。
【００６０】
実施例１、２、３の方法は、信号１の波形と信号２の波形が時間的重なりをもつとき２つの波形を対応付けてその発生と消滅の関係から動きを検出する方法である。しかし、検出器の間隔が大きい場合や対象物の像の強度変化の度合いが小さい場合、信号１と信号２の波形が時間的に重ならないため、波形の対応付けを行うことができず、動きを検出することができなくなる場合がある。
【００６１】
実施例４では、信号１の消滅と信号２の発生が所定時問内に生じたとき、または信号２の消滅と信号１の発生が所定時問内に生じたとき、信号１と信号２の波形の対応付けを行うことにより、信号１の波形と信号２の波形が時間的重なりをもたない場合でも動きを検出することが可能である。
【００６２】
図２９は、動きの方向や速度の検出原理を示した図である。図２９（ａ）（ｃ）は、像がＡからＢ方向に動いた場合の例、同図（ｂ）（ｄ）は、像がＢからＡ方向に動いた場合の例である。また、同図（ａ）（ｂ）は信号１と信号２が時間的重なりをもつ場合、同図（ｃ）（ｄ）は、信号１と信号２が時間的重なりをもたない場合である。
【００６３】
実施例４の動き判定回路は、図２９（ａ）に示したように、信号２の出力中（ハイレベル状態）に信号１が消滅（ハイレベルからローレベルに変化）したときＡからＢ方向への動きと判定し、信号２の出力中に信号１が消滅した時点から信号２が消滅する時点までの時問Ｔに基づいてＡからＢ方向への動きの速度を求める。また、図２９（ｂ）に示したように、信号１の出力中に信号２が消滅したときＢからＡ方向への動きと判定し、信号１の出力中に信号２が消滅した時点から信号１が消滅する時点までの時問Ｔに基づいてＢからＡ方向への動きの速度を求める。
【００６４】
更に、図２９（ｃ）に示したように、信号１の消滅から所定時間以内に信号２が発生（ローレベルからハイレベルに変化）したときＡからＢ方向への動きと判定し、信号１が発生した時点から信号１の消滅から所定時間以内に信号２が発生する時点までの時間Ｔに基づいてＡからＢ方向への動きの速度を求める。また、図２９（ｄ）に示したように、信号２の消滅から所定時間以内に信号１が発生したときＢからＡ方向への動きと判定し、信号２が発生した時点から信号２の消滅から所定時間以内に信号１が発生する時点までの時間Ｔに基づいてＢからＡ方向への動きの速度を求める。
【００６５】
図３０は、本実施例４での動き判定回路のブロック図であり、図３１は図３０中の回路３４の状態遷移図である。図３０において、回路１４，２４は入力信号がハイレベルからローレベルに変化したとき所定時問幅のパルスを出力する回路、回路３４は状態数５の非同期順序回路であり、図３１に示したように各状態を遷移する。図３１において、Ｓ１とＳ２はそれぞれ信号１と信号２を表し、＋と−はそれぞれ発生（ローレベルからハイレベルに変化）と消滅（ハイレベルからローレベルに変化）を表す。また、Ｒ１とＲ２は、それぞれ信号１と信号２の消滅から所定時間以内であるときハイレベルとなるパルスを表す。この動き判定回路では、実施例２、３と同様にスイッチＳＷ２４，ＳＷ３４の出力電圧より動きの方向及び速度を検出することができる。
【００６６】
図３２〜図３５は、実施例４の動き判定回路のタイミングチャートを示し、図３２と図３４は、像がＡからＢ方向に動いた場合の例、図３３と図３５は、像がＢからＡ方向に動いた場合の例である。また、図３２と図３３は信号１と信号２が時間的重なりをもつ場合、図３４と図３５は、信号１と信号２が時問的重なりをもたない場合である。図示のように、信号１と信号２が時間的重なりをもつ場合ももたない場合も動きの方向及び速度を検出することができる。
【００６７】
実施例４では、信号１の消滅から所定時問内に信号２が発生した場合ＡからＢ方向の動きと判定し、または信号２の消滅から所定時間内に信号１が発生した場合ＢからＡ方向の動きと判定することにより、信号１と信号２の波形が時問的重なりがない場合も動きを検出することができる。実施例４では時間的定数を用いているため検出できる速度レンジが制限されるという欠点が生じるが、対象物の像の強度変化の度合いが小さい場合や光検出器の間隔が大きい場合でも、より多くの動きを検出することが可能である。
【００６８】
【発明の効果】
本発明によると、広い速度レンジで、局所的な動き方向と速度を、安定して高速に検出でき、小規模で低消費電力な、半導体上に集積するのに適した、広い明るさレンジで動作する、動き検出装置を提供することができる。
【図面の簡単な説明】
【図１】物体がｘの正方向に動いたときの各位置での像の強度（ａ）と、（ａ）に関して動きの方向と速度を検出する従来の方法（ｂ）（ｃ）と、本発明の方法（ｄ）〜（ｆ）を示す説明図。
【図２】実施例１の動き検出装置の主要部のブロック図。
【図３】実施例１の動き検出装置に像を結像させる構成の説明図。
【図４】図２内の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図５】図２内の動き判定回路の構成を示すブロック図。
【図６】図５の動き判定回路での動作を示すタイミングチャート。（ａ）は像がＡからＢ方向へ動いた場合、（ｂ）は像がＢからＡ方向へ動いた場合を示す。
【図７】実施例１の変形例１の動き検出装置の主要部のブロック図。
【図８】実施例１の変形例２の動き検出装置の主要部のブロック図。
【図９】実施例１の変形例３の動き検出装置の主要部のブロック図。
【図１０】実施例１の変形例４の動き検出装置の主要部のブロック図。
【図１１】実施例１の変形例５の動き検出装置の主要部のブロック図。
【図１２】実施例２の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図１３】実施例２の動き判定回路を示すブロック図。
【図１４】図１３の動き判定回路での動作を示すタイミングチャート。
【図１５】実施例３の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図１６】実施例３の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図１７】実施例３の動き判定回路を示すブロック図。
【図１８】図１７内の回路１の状態遷移図。
【図１９】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２０】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２１】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２２】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２３】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２４】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２５】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２６】実施例３の動き判定回路での動作を示すタイミングチャートと状態遷移の様子を示す説明図。
【図２７】実施例３の変形例１の動き判定回路を示すブロック図。
【図２８】図２７内の回路１の状態遷移図。
【図２９】実施例４の動き判定回路による動きの方向や速度の検出原理を示す説明図。
【図３０】実施例４の動き判定回路を示すブロック図。
【図３１】図３０内の回路３の状態遷移図。
【図３２】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３３】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３４】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３５】実施例４の動き判定回路での動作を示すタイミングチャート。
【図３６】実施例３の変形例２の動き検出装置を示すブロック図の一部。
【図３７】実施例３の変形例２の動き検出装置を示すブロック図の残部。
【図３８】図３６の回路の特性を示す特性図。
【図３９】図３６と図３７の回路の動作を示すタイミングチャート。
Claims (1)
- 位置Ａの近傍の２箇所に於ける像の強度の違いに基づく２値信号１と、位置Ｂの近傍の２箇所に於ける像の強度の違いに基づく２値信号２とを用い、信号１と信号２の関係に基づいて、像の動きの方向と動きの速さの少なくとも１つを求めることを特徴とする動き検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24884299A JP3546296B2 (ja) | 1998-09-14 | 1999-09-02 | 動き検出装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26063398 | 1998-09-14 | ||
| JP10-260633 | 1998-09-14 | ||
| JP24884299A JP3546296B2 (ja) | 1998-09-14 | 1999-09-02 | 動き検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000155125A JP2000155125A (ja) | 2000-06-06 |
| JP3546296B2 true JP3546296B2 (ja) | 2004-07-21 |
Family
ID=26538972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24884299A Expired - Fee Related JP3546296B2 (ja) | 1998-09-14 | 1999-09-02 | 動き検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3546296B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006071621A (ja) * | 2004-08-06 | 2006-03-16 | Kodenshi Corp | 移動体検知センサ |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4609000B2 (ja) * | 2004-08-26 | 2011-01-12 | 日立電線株式会社 | 磁気式運動センサ |
| KR100796160B1 (ko) * | 2007-10-24 | 2008-01-21 | 박재형 | 뒷굽이 높은 신발용 기능성 안창 |
| EP2199806A1 (en) | 2008-12-18 | 2010-06-23 | Universität Zürich | Passive translational velocity measurement from optical information |
-
1999
- 1999-09-02 JP JP24884299A patent/JP3546296B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006071621A (ja) * | 2004-08-06 | 2006-03-16 | Kodenshi Corp | 移動体検知センサ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000155125A (ja) | 2000-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5585652A (en) | Method and apparatus for real-time background illumination subtraction | |
| US20060197664A1 (en) | Method, system and apparatus for a time stamped visual motion sensor | |
| Ruedi et al. | A 128× 128 pixel 120-dB dynamic-range vision-sensor chip for image contrast and orientation extraction | |
| JP5114493B2 (ja) | 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ | |
| US8254688B2 (en) | Imaging system and imaging method | |
| US4490036A (en) | Image sensor and rangefinder device having background subtraction with paired analog shift registers | |
| CN100394606C (zh) | 光探测装置、成像装置和测距图像捕捉装置 | |
| JP3662059B2 (ja) | エッジ位置決定のための方法 | |
| JP3546296B2 (ja) | 動き検出装置 | |
| US6624849B1 (en) | Solid-state imaging apparatus for motion detection | |
| US6753904B1 (en) | Solid-state imaging apparatus for motion detection | |
| Habibi et al. | Asynchronous demodulation technique for use in vision sensor image classification and segmentation | |
| JP3643210B2 (ja) | 時間相関検出型イメージセンサおよび画像解析方法 | |
| Burns et al. | Pixel-parallel CMOS active pixel sensor for fast object location | |
| JP2010210265A (ja) | 通過検出装置 | |
| EP3796035A1 (en) | Spad photodetector array with active quenching and output control | |
| Anders et al. | Fast, Low-Complex, Non-Contact Motion Encoder based on the NSIP Concept | |
| JPS63292386A (ja) | 移動物体計数装置 | |
| JP2001516095A (ja) | 時系列状に前後するピクセル信号間の変化を検知する方法と装置 | |
| SU1746391A1 (ru) | Устройство дл выделени контуров изображений объектов | |
| Ruedi | Motion detection silicon retina based on event correlations | |
| JP4001598B2 (ja) | 時間相関検出型イメージセンサおよび画像解析方法 | |
| JPH069068B2 (ja) | 移動体検出装置 | |
| JPH0477951B2 (ja) | ||
| JPH04103169A (ja) | 電荷転送撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040329 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |