JP4130975B2 - 動作検出装置及び動作検出方法 - Google Patents

Description

本発明は、動画像に含まれる物体像の位置や動きをリアルタイムで検出解析する動作検出技術に関する。

移動体にとって、移動中の安全を確保することは重要な課題である。移動中の安全を確保する技術は多くの場面で用いられており、例えば、自動車の安全運転に係る警報装置、ナビゲーション装置、自動運転装置、自動掃除機等が挙げられる。これらの装置を実現するためには、撮像された前方の動画像から物体像の動きをリアルタイムで検出解析する動作検出技術が必要不可欠である。

動画像に含まれる物体像の動作を検出する技術としては、オプティカルフローを用いた動作検出方法が知られている。オプティカルフロー(optical flow)とは、画面上の各点の速度場のことである。この場合、まず、動画像のあるフレームＦ１と一定時間後のフレームＦ２の２枚のフレームを複数の小領域に分割する。そして、フレームＦ２の中から、フレームＦ１内の各小領域と最も相関が高い小領域を探索することで、各小領域のオプティカルフローが算出される。オプティカルフローを検出することにより物体像の移動方向や速度、およびカメラからの奥行きに関する情報を得ることができる。

図２０はオプティカルフローを用いた移動体の検出装置の概略を示すブロック図である（特許文献２，図７参照）。図２０において、まず、カメラ１０１で撮影された画像信号Ｇは、ＡＤ変換器１０２によりデジタル信号の画像信号Ｄに変換される。ある時刻とその時刻から所定時間経過後の時刻の２つの画像信号Ｄａ，Ｄｂは、一対のメモリ１０３ａ，１０３ｂに格納される。ＣＰＵ１０５は、各メモリ１０３ａ，１０３ｂの画像データＤａ，Ｄｂを相関演算器１０４に入力させる。相関演算器１０４は、注目される各小領域Ａ_ｉ，ｊ（∈Ｄａ）ごとに、その近傍の小領域Ｂ_ｉ，ｊ（∈Ｄｂ）に対し画像相関演算を行い、小領域Ｂ_ｉ，ｊで最も相関の高い小領域Ｂ_ｍ，ｎを探索する。そして、ＣＰＵ１０５は、小領域Ａ_ｉ，ｊが移動したか否かを判定する。ＣＰＵ１０５は、移動が判定された小領域Ｂ_ｍ，ｎを相関データとし、この相関データをスーパーインポーザ１０６により画像Ｇに重畳させる。重畳された画像は、ＣＲＴ１０７に表示される。

オプティカルフローの演算においては、各小領域毎に相関演算が行われるため、計算量が膨大となり処理時間が長くなる。そこで、リアルタイムな処理が要求される場合には、図２０に示されたように、メモリ１０３ａ，１０３ｂ及び相関演算器１０４を並列化することにより、演算の高速化が図られる。

上述のようなオプティカルフローを用いた動作検出技術としては、例えば、特許文献１記載の技術が公知である。特許文献１に記載の障害物検出方法では、まず、車両に備えられた画像取得手段により当該車両の進行可能な方向の所定範囲の画像を撮影する。次に、車両に備えられた演算手段は、取り込んだ画像を用いてオプティカルフローを算出する。

次いで、演算手段は、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する。この場合、まず、複数のオプティカルフロー（Ｖ１，Ｖ２，Ｖ３，…）を算出した後に、これらベクトルの吹き出し口となるいわゆる無限遠点Ｐを算出する。例えば、各ベクトルＶ１，Ｖ２，Ｖ３，…を当該ベクトルの向きとは反対方向に延長し、これらの交点を無限遠点Ｐとする。そして、この無限遠点Ｐを車両の進行方向と認識し、さらに、画像上で無限遠点Ｐを中心としてあらかじめ定めた一定の大きさの範囲を、後に注意すべき障害物を検出する範囲（進行方向エリア）として設定する。

また、車両に備えられた距離計測手段により、撮影範囲に存在する障害物との距離を計測する。そして、演算手段は、距離計測工程にて計測した撮影範囲に存在する障害物との距離のうち、進行方向エリアの画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両に対して注意すべき障害物であるか否かを判断する。この障害物判断機能により、注意すべき障害物であると判断された場合には、警報発生手段により警報を出力することができる。

また、図２０のように、高速化のためにメモリ１０３ａ，１０３ｂと相関演算器１０４を並列化すると回路規模が膨大となり消費電力の増加やコストアップを招く。そこで、特許文献２には、簡単な装置構成によりコストダウンを図るとともに、画像データの高速処理を可能とした移動体検出装置が記載されている。図２１は特許文献２に記載の移動体検出装置の構成を表すブロック図である。

この場合、まず、カメラ１０１により撮影された画像信号Ｇは、ＡＤ変換器１０２によりデジタル信号の画像データＤに変換される。画像データＤは水平エッジ検出部１１０に入力される。水平エッジ検出部１１０は、画像データＤ内の注目画素と注目画素から所定画素だけ離れて下にある画素との差分をとることにより、水平エッジＥｈを検出する。続いて、水平エッジ加算部１１１は、検出された水平エッジＥｈを２値化した後に加算し、ヒストグラムの度数となるデータを求める。この加算結果から得られるデータは、ＣＰＵ１０５及びスーパーインポーザ１０６に入力される。

ＣＰＵ１０５では、水平エッジＥｈのヒストグラムデータ（度数）から、閾値ｃ以上の垂直位置ｑ１及びｑ２を求める。そして画面の最も下方に位置する垂直位置ｑ２を今回の障害物の候補位置ｑ（ｔ_ｎ）とする。次いで、ＣＰＵ１０５は、障害物が移動したか否かを検出する。この場合、所定時間前の障害物候補の位置ｑ（ｔ_ｎ−１）と今回検出された障害物候補の位置ｑ（ｔ_ｎ）との垂直方向の移動量を求める。この移動量が検出されれば、移動体が存在すると判定される。

最後に、スーパーインポーザ１０６は、カメラ１０１から得られる画像信号ＧとＣＰＵ１０５における演算によって得られる移動体とを重畳し、ＣＲＴ１０７に表示する。このように、水平エッジのヒストグラムを検出するという簡単な演算により移動体検出を行うことにより、ハードウェア構成の簡略化を図り移動体認識処理の高速化を図っている。
特開２００４−３４９９２６号公報 特開平７−２８０５１７号公報 特開２００３−２８１５４３号公報

しかしながら、上記特許文献１の方法においては、オプティカルフローを算出するのに画像小領域の相関演算を行う必要があり、多量の計算量を必要とするため、或る程度の演算時間を要する。従って、高速で移動する車両から物体像の動きを検出する場合のようにリアルタイムでの物体検出を行う必要がある場合には、演算量を減らすために、画像中からオプティカルフローの演算を行う点をサンプリングし、特定点に対して動き検出を行うといった処理が必要となる。そのため、動きの検出精度が低くなるという問題がある。

また、特許文献２の方法は、少ないハードウェア構成で高速に移動体の検出を行うことができる。しかしながら、移動体が存在することとその垂直方向の位置の検出は自動化されているものの、移動体の水平方向の位置は目視により確認する必要がある。また、移動体の大きさについても不明である。また、画像内にある移動体の速度についても、垂直方向の速度以外は検出することができない。更に、複数の移動体が同時に画面上に現れた場合、一つの移動体のみしか検出できない。従って、警報装置、ナビゲーション装置、自動運転装置、自動掃除機等の高度な障害物検出精度が要求される装置に適用するには十分な物であるとはいえない。

そこで、本発明の目的は、簡単なハードウェア構成により、動画像内に含まれる物体像の位置や動きをリアルタイムで精度よく検出解析することが可能な動作検出技術を提供することにある。

ここでは、まず、本発明の基本的な考え方について説明を行い、続いて、本発明の構成及び作用について説明する。

〔１〕本発明の基本的な考え方
脳の海馬Ｃ３領野では、学習の結果、信号入力部位からニューロン活動が波紋状に広がるようになる。これは、ニューロン活動の放射状伝搬と呼ばれる。この波紋の半径は、信号が入力されてからの時間に依存する。従って、複数の信号が異なる場所に入力されると、それぞれの入力部位から生じたニューロン活動の波紋の半径はそれぞれの信号が入力された時間に依存し、半径の大小が信号の時間的順序関係を反映することとなる。

そこで、本発明者は、ニューロン活動の放射状伝搬に基づく海馬の時系列学習機構に基づいて、前方視野中にある物体の位置、速度、方向を同時にリアルタイムで検出できる時系列情報処理システムとして本発明をするに至った。

本発明に係る動作検出装置の基本構造は、図１に示すような海馬の時系列学習機構を模倣したものである。入力信号としては、時系列で与えられる画像情報（画像フレームの並び）を用いる（図１（ａ）参照）。これらの画像フレーム１を、図１（ａ）のように、中心を通る動径と同心の長方形でマス目に区切る。マスの数、１マスの大きさ、マス内の画素の数などは、要求される空間分解能や時間分解能に依存して適宜決められる。

尚、本発明ではマス目の区切り方は図１（ａ）のようなものに限られるものではなく、例えば、同心円状のマス目や単なる方形格子状のマス目等、種々のものを選択することが可能である。

画像情報としては物体の輪郭（エッジ像）を用いるが、輪郭抽出（エッジ抽出）には既存の技術を用いることができる。例えば、動く物体の輪郭をリアルタイムで検出するビジョンチップの出力画像を使用することができる。

一方、画像フレーム１と同様にマス目に区切られたＣＡ３ネット（中間層）２を用意する。ＣＡ３ネット２の各マス内は、網目状に結合した多数のユニット（ニューロン）が存在しているものとする。図１（ｂ）は、図１（ａ）の画像フレーム１を上下左右の４つの象限（以下「上象限」、「下象限」、「左象限」、「右象限」という。）に分割したときの上象限に対応するＣＡ３ネット２を表している。その他の象限（下象限、左象限、右象限）についても、同様にＣＡ３ネット２を用意する。

尚、ここでは説明の便宜上、各象限ごとにＣＡ３ネット２が分割されているものとするが、本発明では、画像フレーム１のすべてに対応する１つのＣＡ３ネット２を使用することも可能である。

更に、各ＣＡ３ネット２に対応してＣＡ１ネット（出力層）３を用意する（図１（ｄ）参照）。ＣＡ１ネット３の各マス内は、ＣＡ３ネット２と同様に、網目状に結合した多数のユニット（ニューロン）が存在しているものとする。

また、図１において、画像フレーム１のマスＢ，Ｃは、それぞれＣＡ３ネット２のマスＢ３，Ｃ３、及びＣＡ１ネット３のマスＢ１，Ｃ１と対応している、図１（ｃ）のＣＡ３ネット２のマスＤ３はＣＡ１ネット３のマスＤ１と対応している。

まず、時刻ｔの画像フレーム１において、図１（ａ）のマスＢのフレームの中心方向に隣接するマスに存在していた物体の輪郭（エッジ像）がマスＢに移動したとする。このとき、マスＢから、マスＢに対応するＣＡ３ネット２内のマスＢ３の中心のユニットに信号が送られ、そのマスＢ３内で興奮が減衰しながら放射状に伝搬し始める（図１（ｃ）参照）。尚、図１（ｃ）は、図１（ｂ）の一部のマスを拡大したものである。

次に、ＣＡ３ネット２のマスＢ３の中心にあるユニット（ニューロン）は、対応するＣＡ１ネット３のマスＢ１内のすべてのユニットに信号を送る。ＣＡ３ネット２のマスＢ３の中心以外にあるユニットは、ＣＡ１ネット３のマスＢ１の上側のマスＣ１内にあるユニットのうち、マス内における相対座標が等しいユニットに信号を送る。これにより、マスＣ１内においてマスＢ３内の興奮の波紋と同じ形の領域に信号を送る。

次に、時刻ｔ＋１において、次の時刻の画像フレーム１が入力される。次の時刻の画像フレーム１では、物体の輪郭は上方に移動し、時刻ｔでマスＢに当たっていた物体の輪郭が時刻ｔ＋１にマスＣへ移動したとする。このとき、マスＣからＣＡ３ネット２内の対応するマスＣ３の中心のユニットに信号が送られる。マスＣ３の中心のユニットは、ＣＡ１ネット３のマスＣ１全体に信号を送るので、マスＢ３の放射状伝搬の波紋状の領域のユニットから送られてくる信号と一致したマスＣ１の円環状のユニットが発火する。

マスＢ３の放射状伝搬は時間と共に減衰するので、マスＣ１内の円環領域の発火の強さはマスＢ３の波紋の半径に依存して弱くなる。従って、ＣＡ１ネット３内のマスＣ１の出力の強さは、物体の上方への移動速度に対して単調増加な関数となる。また、マスＣ１内の発火する円環領域の半径は、物体の上方への移動速度に対して単調減少な関数となる。

従って、発火するマスＣ１に対応する画像フレーム１内のブロックＣの位置座標は、移動する物体の輪郭が存在する位置を表す。また、マスＣ１内で発火した円環領域の発火強度（又は円環の半径）は、移動する物体の上方向の速度を表す。このようにして、移動する物体の位置と速度をリアルタイムに検出することが可能となる。

尚、ここでは、上方向の物体の移動の検出方法についての例で説明をしたが、他の方向の動きについても同様な方法で検出することができる。物体の動きを検出したい方向を「動き検出方向」と呼ぶこととする。このとき、ＣＡ３ネット２のマスＢ３の中心以外にあるユニットが、ＣＡ１ネット３のマスＢ１に対し動き検出方向に隣接するマスＣ１の内部にあるユニットのうち、マス内における相対座標が等しいユニットに信号を送るようにする。これにより、動き検出方向に動く物体の位置と動き検出方向の速さを検出することが可能となる。

ところで、上述のように、ＣＡ３ネット２の一つのマス目には多数のユニットが存在すると考えてもよいが、実際には、興奮の遅延を記憶する素子が１個あればよい。すなわち、本発明に係る動作検出装置を考える場合、必ずしも興奮の伝搬現象そのものを用いる必要はなく、伝搬遅延に相当する遅延が得られればよい。従って、図２に示すように、ＣＡ３ネット２’のマスＢ３の素子（ユニット）からのトリガ信号で電圧、電流又は電荷量の減衰を始める素子（ユニット）が、ＣＡ１ネット３’のマスＣ１内に１個あればよい。この素子の減衰は、ＣＡ３ネット２’のマスＣ３の素子からの信号の入力により止められる。そして、このときの素子の電圧、電流又は電荷量は、物体の移動速度に関する情報を表す。

以上に説明した動作検出装置においては、物体の上方向への移動のみを検出することができる。そこで、物体の上方向の移動検出の他に、下方向、左方向、右方向への物体の移動を検出するＣ１ネット３を設ける。図３では、画像フレーム１の４つの象限（上象限、下象限、左象限、右象限）に対しそれぞれ計４枚のＣＡ３ネット（図示せず）を設け、更に、各ＣＡ３ネットに対して上方向、下方向、左方向、右方向への物体の移動を検出するＣ１ネット３ｕ，３ｄ，３ｌ，３ｒをそれぞれ設けた例を示す。ＣＡ３ネット２及びＣ１ネット３をそれぞれ４枚に分けたのは、配線が複雑化しないようにするためであり、配線をあまり考慮しなくてもよい低解像度の場合には、それぞれ１枚のＣＡ３ネット２及びＣ１ネット３を、動き検出方向を切り換えながら使用することも可能である。

また、左方向、下方向、右方向への物体の移動を検出するネットは、上方向の検出を行うＣＡ３ネット２及びＣＡ１ネット３を９０°、１８０°及び２７０°回転して用いればよく、新たに設計する必要はない。更に、後に述べるように、上下左右方向に特化したＣＡ１ネット３をうまく配置すれば、画像フレーム１内の物体との衝突の可能性をパターン化して表示できるという利点がある。

〔１〕本発明の構成
本発明に係る動作検出装置の第１の構成は、エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段； 前記各画像ブロックに対応して中間ブロックを複数個有する中間層； 及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層；を備えた動作検出装置において、前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化されるものであり、前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性化に伴い活性値を初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持し、前記対応中間ブロックが活性化された場合に保持している前記活性値の大きさに関する情報を発火信号として出力するものであることを特徴とする。

この構成によれば、ある画像ブロックＢにエッジ像が移動してきた場合、中間層においては、画像ブロックＢに対応する中間ブロックＢ_３が活性化される。また、出力層では、中間ブロックＢ_３が活性化されると、その中間ブロックＢ_３に対し動き検出方向に隣接する中間ブロックＣ_３に対応する反応ブロックＣ_１の活性値が初期化される。反応ブロックＣ_１では、画像ブロックＢにエッジ像が存在する間は、当該活性値を単調関数に従い経時変化させつつ所定期間保持する。

エッジ像が画像ブロックＢから画像ブロックＣ（中間ブロックＣ_３に対応する画像ブロック）へ移動した場合、画像ブロックＣに対応する中間ブロックＣ_３が活性化される。このとき、出力層では、中間ブロックＣ_３に対応する反応ブロックＣ_１が、保持している活性値の大きさに関する情報を発火信号として出力する。この活性値の大きさは、エッジ像が画像ブロックＢを移動するのに要した時間に一対一対応しており、エッジ像の動き検出方向の速度成分を表す。従って、出力層においては、動きが検出されたエッジ像の位置とその速度に加え動き方向をも２次元的にリアルタイムに検出することが可能となる。

本発明に係る動作検出装置の第２の構成は、前記第１の構成において、前記各反応ブロックは、 順序づけられて接続され、活性値を保持する複数の反応ユニット； 前記隣接中間ブロックの活性化に伴い、先頭の前記反応ユニットの活性値を初期化する活性値初期化手段； 前順の前記反応ユニットの活性値を後順の前記反応ユニットへ伝達する活性信号伝達手段； 及び前記対応中間ブロックが活性化された場合に、活性値を保持している前記反応ユニットの順序に関する情報を発火信号として出力する経時情報出力手段；を備えていることを特徴とする。

このように、活性値の代わりに活性値を保持している反応ユニットの順序情報を用いても、同様にエッジ像の動き検出方向の速度成分を検出することが可能である。

本発明に係る動作検出装置の第３の構成は、エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段； 前記各画像ブロックに対応して中間ブロックを複数個有する中間層； 及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層；を備えた動作検出装置において、前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化され、活性値を初期値に初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持するものであり、前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性値と、前記対応中間ブロックの活性値とを加算して、加算値が前記初期値より大きく設定された所定の閾値以上の場合に前記活性値の大きさに関する情報を発火信号として出力するものであることを特徴とする。

この構成によれば、ある画像ブロックＢにエッジ像が移動してきた場合、中間層においては、画像ブロックＢに対応する中間ブロックＢ_３が活性化され、その活性値ｘ_Ｂが初期化される。中間ブロックＢ_３では、画像ブロックＢにエッジ像が存在する間は、当該活性値ｘ_Ｂを単調関数に従い経時変化させつつ所定期間保持する。このとき、画像ブロックＢに対し動き検出方向に隣接する画像ブロックＣに対応する中間ブロックＣ_３の活性値ｘ_Ｃは０である。出力層では、中間ブロックＣ_３に対応する反応ブロックＣ_１において、活性値ｘ_Ｂと活性値ｘ_Ｃとが加算され、この加算値ｘ_Ｂ＋ｘ_Ｃが閾値判定される。このとき、加算値は閾値未満であるため反応ブロックＣ_１は発火しない。

エッジ像が画像ブロックＢから画像ブロックＣへ移動した場合、画像ブロックＣに対応する中間ブロックＣ_３が活性化され、その活性値ｘ_Ｃが初期値に初期化される。このとき、出力層では、反応ブロックＣ_１において、加算値ｘ_Ｂ＋ｘ_Ｃが閾値を超えて発火する。反応ブロックＣ_１は、活性値ｘ_Ｂの大きさに関する情報を発火信号として出力する。この活性値ｘ_Ｂの大きさは、エッジ像が画像ブロックＢを移動するのに要した時間に一対一対応しており、エッジ像の動き検出方向の速度成分を表す。従って、出力層においては、動きが検出されたエッジ像の位置と動き検出方向の速度を２次元的にリアルタイムに検出することが可能となる。

本発明に係る動作検出装置の第４の構成は、前記第３の構成において、前記各中間ブロックは、 順序づけられて接続され、活性値を保持する複数の中間ユニット； 対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に、先頭の前記中間ユニットの活性値を初期化する活性値初期化手段； 及び前順の前記中間ユニットの活性値を後順の前記中間ユニットへ伝達する活性信号伝達手段；を備え、前記各反応ブロックは、前記対応中間ブロックが活性化された場合に、前記隣接ブロック内の活性値を保持している前記中間ユニットの順序に関する情報を発火信号として出力する経時情報出力手段を備えていることを特徴とする。

このように、活性値の代わりに活性値を保持している中間ユニットの順序情報を用いても、同様にエッジ像の動き検出方向の速度成分を検出することが可能である。

本発明に係る動作検出装置の第５の構成は、前記第１乃至４の何れか一の構成において、前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする。

このように、上下左右の各方向の動きを検出する出力層を設けることで、すべての方向のエッジ像の動きの二次元的なパターンをリアルタイムに検出することが可能となる。

本発明に係る動作検出装置の第６の構成は、前記第１乃至４の何れか一の構成において、前記フレームを４つの象限に分割し各象限に対応して４枚の前記中間層を備えていることを特徴とする。

このように、中間層を４つの象限の各々に分割することで、中間層と出力層間の信号の配線を簡単化することができる。

本発明に係る動作検出装置の第７の構成は、前記第６の構成において、前記各象限に対応する前記中間層の各々に対して、前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする。

このように、上下左右の各方向の動きを検出する出力層を設けることで、すべての方向のエッジ像の動きの二次元的なパターンをリアルタイムに検出することが可能となる。

本発明に係る動作検出装置の第８の構成は、エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段； 及び、所定の動き検出方向に対するエッジ像の動きを検出する動き検出ブロックが、前記各画像ブロックに対応して複数個配列されてなる動き検出ブロック集合体； を備え、前記動き検出ブロックは、対応する画像ブロックに対し動き検出方向と反対方向の側に隣接する画像ブロックについてのエッジ検出信号が検出された場合には、その検出時刻からの経過時間の情報である経時情報を生成するとともに当該経時情報を単調関数で時間変化させつつ保持し、対応する画像ブロックについてのエッジ検出信号が出力された場合に、その時点において保持している前記経時情報を出力するものであることを特徴とする。

この構成による作用は以下の通りである。ここで、説明の便宜上、動画像の時刻ｔにおけるフレームＦ（ｔ）内のある画像ブロックをＢと記す。画像ブロックＢについてのエッジ検出信号をｓ（Ｂ）と記す。画像ブロックＢに対応する動き検出ブロックをＭ（Ｂ）と記す。

まず、エッジブロック検出手段がフレームＦ（ｔ_０）の各画像ブロックについて、その画像ブロック内にエッジの存否を検査する。ここで、画像ブロックＢ_１についてエッジが検出されたとし、画像ブロックＢ_１に対し動き検出方向に隣接する画像ブロックＢ_２ではエッジが検出されなかったとする。このとき、エッジブロック検出手段はエッジ検出信号ｓ（Ｂ_１）を出力する。このとき、画像ブロックＢ２に対応する動き検出ブロックＭ（Ｂ_２）では、エッジ検出信号ｓ（Ｂ_１）を検出すると、その検出時刻ｔ_０からの経過時間の情報である経時情報Δ_ｔ（Ｂ_２）＝ｆ（ｔ−ｔ_０）を生成する。Δ_ｔ（Ｂ_２）は時間の経過と共に順次更新される。ここで、関数ｆ（ｔ）は、ｔに対する単調関数であれば、どのようなものであってもよい。

一方、画像ブロックＢ_１に対応する動き検出ブロックＭ（Ｂ_１）では、エッジ検出信号ｓ（Ｂ_１）を検出すると、その時点において保持している経時情報Δ_ｔ（Ｂ_１）を出力する。ここでは、Δ_ｔ（Ｂ_１）は保持されておらず、何も出力されない。
続いて、動画像中のエッジ像が移動して時刻ｔ_１においてエッジが画像ブロックＢ_１から画像ブロックＢ_２に移動したとする。このとき、エッジブロック検出手段は、エッジ検出信号ｓ（Ｂ_２）を出力する。そうすると、画像ブロックＢ_２に対応する動き検出ブロックＭ（Ｂ_２）では、その時点において保持している経時情報Δ_ｔ（Ｂ_２）＝ｔ_１−ｔ_０を出力する。

このように、経時情報Δ_ｔ（Ｂ）を出力した動き検出ブロックＭ（Ｂ）の位置を検出すれば、それに対応する画像ブロックＢの位置を知ることができる。そして画像ブロックＢの位置に移動するエッジ像が存在することが検出できる。

また、経時情報Δ_ｔ（Ｂ）の値はエッジ像の動き検出方向の速さと一対一関係にある。すなわち、経時情報Δ_ｔ（Ｂ）がわかれば一意的にエッジ像の動き検出方向の速さを求めることが可能である。

従って、動き検出方向に動く物体の位置をリアルタイムに二次元的に検出することが可能であると同時に、動き検出方向の物体の速さもリアルタイムに検出することが可能となる。

ここで、「経時情報」は、電圧値情報、電流値情報、電荷量情報、経時伝搬する信号の位置情報等、種々の形態の情報を用いることができる。

本発明に係る動作検出装置の第９の構成は、前記第８の構成において、前記動き検出ブロックが前記経時情報を出力した場合、前記経時情報が出力された前記画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判定する動き判定手段； を備えていることを特徴とする。

この構成により、動画像内における移動物体の位置と速度のパターンからリアルタイムで物体の動きの種別を検出することが可能となる。

本発明に係る動作検出装置の第１０の構成は、前記第８又は９の構成において、上下左右の各動き検出方向に対応してそれぞれ前記動き検出ブロック集合体を具備していることを特徴とする。

このように、上下左右の各動き検出方向の動き検出ブロック集合体を備えたことにより、動画像内の物体像のすべての方向の動きをリアルタイムに検出することが可能となる。

本発明に係る動作検出装置の第１１の構成は、前記第８乃至１０の何れか一の構成において、前記動き検出ブロックは、 前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック； 及び、前記活性信号及び出力トリガ信号に基づき経時情報を生成し出力する反応ブロック； を備え、前記反応ブロックは、固有の活性値を保持する活性値記憶手段； 前記活性信号が入力され始めた時に当該活性値を所定の初期値とする活性値初期化手段； 所定の単調関数である活性値変化関数に従って前記活性値を経時変化させる活性値変化手段； 及び、前記出力トリガ信号が入力された場合にはその時点の前記活性値又は前記活性値から所定の出力関数により算出される値である出力値を前記経時情報として出力する経時情報出力手段； を備え、前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックに対して前記活性信号を出力するものであることを特徴とする。

この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性値として各反応ブロックに保持される。従って、経時情報出力手段が出力する出力値によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。

本発明に係る動作検出装置の第１２の構成は、前記第８乃至１０の何れか一の構成において、前記動き検出ブロックは、前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック； 及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック； を備え、前記反応ブロックは、活性信号を保持するための反応ユニットが順序づけて複数個配列された反応ユニット配列； 先頭の反応ユニットから末尾の反応ユニットへ活性信号を経時的に順次転送又は伝搬する活性信号伝達手段； 前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ユニット配列における順序情報を前記経時情報として出力する経時情報出力手段； を備え、前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ユニット配列の先頭の反応ユニットに対して前記活性信号を出力するものであることを特徴とする。

この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性値を保持している反応ユニットの順序として各反応ブロックに保持される。従って、経時情報出力手段が出力する順序情報によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。

本発明に係る動作検出装置の第１３の構成は、前記第１２の構成において、前記活性信号伝達手段は、先頭の反応ユニットから末尾の反応ユニットへ所定の活性値変化関数に従って前記活性信号を経時的に変化させながら順次転送又は伝搬するものであり、前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであることを特徴とする。

この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号の値（活性値）を保持している反応ユニットの活性値として各反応ブロックに保持される。従って、経時情報出力手段が出力する活性値によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。

本発明に係る動作検出装置の第１４の構成は、前記第８乃至１０の何れか一の構成において、前記動き検出ブロックは、前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック； 及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック； を備え、前記反応ブロックは、活性信号を保持するための反応ユニットがリンクを介して二次元的に複数個接続された反応ネット； 前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに経時的に転送又は伝搬させる活性信号伝達手段； 前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ネットにおける分布範囲情報を前記経時情報として出力する経時情報出力手段； を備え、前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ネットの中央に位置する反応ユニットに活性信号を出力するものであることを特徴とする。

この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号を保持している反応ユニットの分布範囲（分布の半径、面積等）として各反応ブロックに保持される。従って、経時情報出力手段が出力する分布範囲情報によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。

本発明に係る動作検出装置の第１５の構成は、前記第１４の構成において、前記活性信号伝達手段は、前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに所定の活性値変化関数に従って前記活性信号を変化させながら順次転送又は伝搬するものであり、前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであることを特徴とする。

この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号の値（活性値）を保持している反応ユニットの活性値として各反応ブロックに保持される。従って、経時情報出力手段が出力する活性値によりエッジ像の動き検出方向の移動速度を検出することができる。また、活性値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。

本発明に係る動作検出装置の第１６の構成は、前記第８乃至１０の何れか一の構成において、前記動き検出ブロックは、活性信号を保持するための中間ユニットがリンクを介して二次元的に複数個接続された中間ネットを有する中間ブロック； 及び、前記中間ブロック内の前記中間ユニットのそれぞれに対応して設けられた複数の反応ユニットを有する反応ブロック； を備え、前記エッジブロック検出手段は、前記各フレームを順次読み込み、前記フレーム内の各画像ブロックについて、当該画像ブロック内にエッジ像が含まれるか否かを検出し、エッジ像が含まれる画像ブロックに対応する前記中間ブロック内の前記中間ネットの中央に位置する中間ユニットである中央中間ユニットにエッジ検出信号を出力するものであり、前記中間ブロックは、 前記中央中間ユニットに活性信号が入力されたときに、当該中央中間ユニットの保持する活性信号を初期値に初期化した後、当該動き検出ブロックに属する前記反応ブロックのすべての反応ユニットに対し当該活性信号を出力する活性値初期化手段； 前記中間ネット内のリンクで接続された二つの中間ユニットについて、当該リンクの入力側の中間ユニットの活性信号を減衰させて当該リンクの出力側の中間ユニットに経時的に転送又は伝搬させる活性信号伝達手段； 前記中央中間ユニット以外の各中間ユニットについて、当該中間ブロックに対し動き検出方向に隣接する前記中間ブロックに対応する反応ブロックである隣接反応ブロック内の反応ユニットのうち、当該隣接反応ブロック内の相対位置が当該中間ブロック内における当該中間ユニットの相対位置と同じ相対位置にある反応ユニットに対し保持している活性信号を出力する活性信号転送手段； を備え、前記反応ブロック内の前記各反応ユニットは、前記活性信号転送手段から入力される活性信号を保持する活性信号保持手段； 前記活性信号保持手段が保持する活性信号を減衰させる反応信号減衰手段； 前記活性信号転送手段又は前記活性値初期化手段により活性信号が入力された場合、入力された活性信号の値を前記活性信号保持手段が保持する活性信号の値に加えることにより前記活性信号保持手段の保持する活性信号を更新する活性信号更新手段； 前記活性信号保持手段が保持する活性信号が所定の閾値を超えたときに、その活性信号又は発火信号を前記経時情報として出力する発火手段； を備えていることを特徴とする。

この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号を保持している反応ユニットの分布範囲（分布の半径、面積等）及び活性値として各反応ブロックに保持される。従って、発火した反応ユニットの分布範囲情報又はその出力値によりエッジ像の動き検出方向の移動速度を検出することができる。また、発火信号が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。

本発明に係る動作検出装置の第１７の構成は、前記第１１乃至１６の何れか一の構成において、前記各動き検出ブロックは、一つの前記中間ブロックと、上下左右の各動き検出方向に対応する４つの前記反応ブロックとを具備していることを特徴とする。

この構成によれば、上下左右の各動き検出方向に対するエッジ像の動き速度及びその方向に動くエッジ像の位置を検出することができる。そして、各方向の動きが二次元的に検出されるため、二次元的なエッジ像の動きのパターンを判別することによって、各種物体の動きの種類を判別することも可能となる。

本発明に係る動作検出装置の第１８の構成は、前記第１１乃至１６の何れか一の構成において、前記各動き検出ブロックは、前記中間ブロックは、前記フレームを上下左右の４象限に分割した場合の各象限に対応して４つの前記中間ブロックと、前記各中間ブロックのそれぞれについて、上下左右の各動き検出方向に対応する４つの前記反応ブロックとを具備していることを特徴とする。

この構成によれば、フレーム内の各象限の動きを個別に二次元的に検出することが可能となる。従って、フレーム内の各象限におけるエッジ像の動きのパターンを判別することによって、各種物体の動きの種類をより精度よく判別することも可能となる。

本発明に係るプログラムは、コンピュータに読み込ませて実行することにより、コンピュータを前記第８乃至１８の何れか一の構成の動作検出装置として機能させることを特徴とする。

本発明に係る動作検出方法の第１の構成は、順次入力されるエッジ抽出処理された動画像のフレームをブロック分割したときの各画像ブロックについて、各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出ステップ； 前記エッジ検出信号が出力された画像ブロックである検出ブロックに対し動き検出方向に隣接する画像ブロックである隣接ブロックに対して、前記検出ブロックにおいて前記エッジ検出信号が継続的に出力され始めた時刻からの経過時間の情報である経時情報を生成する経時情報生成ステップ； 及び、前記隣接ブロックにおいて前記エッジ検出信号が出力され始めた時に、前記隣接ブロックについて生成された前記経時情報を出力する経時情報出力ステップ； を有することを特徴とする。

本発明に係る動作検出装置の第２の構成は、前記第１の構成において、前記経時情報出力ステップで各画像ブロックについての前記経時情報を出力した後に、経時情報を出力した各画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判定する動き判定ステップ； を備えていることを特徴とする。

以上のように、本発明によれば、簡単なハードウェア構成により、動画像内に含まれる物体像の位置や動きを二次元的にリアルタイムで精度よく検出解析することが可能な動作検出技術を提供することができる。

本発明に係る動作検出装置の基本原理を表す図である。 ＣＡ３ネット２及びＣＡ１ネット３の各マスを１個の素子で構成した例を表す図である。 画像フレーム１に対するＣＡ１ネット３の配置を表す図である。 本発明の実施例１に係る動作検出装置のハードウェア構成を表したブロック図である。 実施例１に係る動作検出装置の機能構成を表すブロック図である。 中間ブロック２１が反応ブロック２２に対して信号を出力する様子を示す図である。 各反応ブロックの活性値ｘの時間変化を表す図である。 フレーム内の物体像の動きとＣＡ１ネット９が出力する発火信号のパターンとの関係を示した図である（遠方物体の接近）。 フレーム内の物体像の動きとＣＡ１ネット９が出力する発火信号のパターンとの関係を示した図である（近接物体の接近）。 フレーム内の物体像の動きとＣＡ１ネット９が出力する発火信号のパターンとの関係を示した図である（遠方物体の離隔）。 フレーム内の物体像の動きとＣＡ１ネット９が出力する発火信号のパターンとの関係を示した図である（遠方物体の右移動）。 フレーム内の物体像の動きとＣＡ１ネット９が出力する発火信号のパターンとの関係を示した図である（近接下方物体の接近）。 実施例２に係る動作検出装置の機能構成を表すブロック図である。 実施例２に係る動作検出装置の機能構成を表すブロック図である。 エッジ検出信号と活性信号の時間変化の一例を表す図である。 エッジ検出信号と活性信号の時間変化の他の一例を表す図である。 実施例３に係る動作検出装置の機能構成を表すブロック図である。 実施例４に係る動作検出装置の機能構成を表すブロック図である。 各反応ユニット４１の構成を示すブロック図である。 オプティカルフローを用いた移動体の検出装置の概略を示すブロック図である。 特許文献２に記載の移動体検出装置の構成を表すブロック図である。

符号の説明

１ 画像フレーム
２，２’ ＣＡ３ネット
３，３’，３ｕ，３ｄ，３ｌ，３ｒ ＣＡ１ネット
４ カメラ
５ エッジ検出手段
６ フレームメモリ
７ エッジブロック検出手段
８ ＣＡ３ネット
８ａ 上象限ＣＡ３ネット
８ｂ 左象限ＣＡ３ネット
８ｃ 下象限ＣＡ３ネット
８ｄ 右象限ＣＡ３ネット
９ ＣＡ１ネット
９ａ 上ＣＡ１ネット
９ｂ 左ＣＡ１ネット
９ｃ 下ＣＡ１ネット
９ｄ 右ＣＡ１ネット
１０ 動き判定手段
１９ 動き検出ブロック集合体
２０ 動き検出ブロック
２１ 中間ブロック
２２ 反応ブロック
２３ 活性値記憶手段
２４ 活性値初期化手段
２５ 活性値変化手段
２６ 経時情報出力手段
３１ 反応ユニット配列
３２ 活性信号伝達手段
３３ 経時情報出力手段
３４ 反応ユニット
３５ 反応ネット
３６ 活性信号伝達手段
３７ 経時情報出力手段
３８ 反応ユニット
４０ 中間ユニット
４０ｃ 中央中間ユニット
４１ 反応ユニット
４２ 活性信号保持手段
４３ 反応信号減衰手段
４４ 活性信号更新手段
４５ 発火手段

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図４は、本発明の実施例１に係る動作検出装置のハードウェア構成を表したブロック図である。本実施例に係る動作検出装置は、カメラ４、エッジ検出手段５、フレームメモリ６、エッジブロック検出手段７、ＣＡ３ネット（中間層）８、ＣＡ１ネット（出力層）９、及び動き判定手段１０を備えている。

カメラ４はＣＣＤなどの撮像素子アレイを備える。カメラ４は、視野内の動画像を撮像し、時間的に連続するフレーム列として出力する。エッジ検出手段５は、カメラ４から出力される各フレームについて、エッジ検出処理を行う。エッジ検出処理については、各種公知の方法を適用することができる。例えば、フレームの画像を一次微分（差分）フィルタで処理した後に二値化する方法、ラプラシアン（一次微分（差分））フィルタを用いる方法など、種々の方法が採られる。エッジ検出処理により得られる各フレームのエッジ画像Ｅは、フレームメモリ６に一時的に保存される。

エッジブロック検出手段７は、フレームメモリ６に格納された一枚のフレームのエッジ画像Ｅについて、所定の小領域に区画する。これら各小領域を「画像ブロック」といい、Ｂ_ｉ，ｊと記す。ｉ，ｊは画像ブロックの座標を表す。ここで、フレームの小領域への区画は、例えば、図１（ａ）に示したように、フレームの中心を原点として放射状に区画される。

エッジブロック検出手段７は、それぞれの画像ブロックＢ_ｉ，ｊに対して、その画像ブロック内にエッジ像が存在するか否かを検出する。エッジ像が存在する画像ブロックＢ_ｉ，ｊに対しては、エッジ検出信号ｓ（Ｂ_ｉ，ｊ）を出力する。

ＣＡ３ネット８は、図１のＣＡ３ネット２に対応する構成部分である。ＣＡ３ネット８は、複数の中間ブロック２１が格子状に並べられた構造を有する。各中間ブロック２１は、フレーム内のそれぞれの画像ブロックＢ_ｉ，ｊに対応している。エッジブロック検出手段７が各画像ブロックＢ_ｉ，ｊについて出力するエッジ検出信号ｓ（Ｂ_ｉ，ｊ）は、その画像ブロックＢ_ｉ，ｊに対応する中間ブロック２１に入力される。

ＣＡ３ネット８は、フレームを４つの象限（上象限、左象限、下象限、右象限）に分割した場合に各象限に対応する４つのネットからなる。各象限に対応するＣＡ３ネット８を、それぞれ、上象限ＣＡ３ネット８ａ、左象限ＣＡ３ネット８ｂ、下象限ＣＡ３ネット８ｃ、右象限ＣＡ３ネット８ｄという。

ＣＡ３ネット８内の各中間ブロック２１は、エッジ検出信号ｓ（Ｂ_ｉ，ｊ）の入力に対して、ＣＡ１ネット９に活性信号又は出力トリガ信号を出力する。

ＣＡ１ネット９は、図１のＣＡ１ネット３に対応する構成部分である。ＣＡ１ネット９は、上象限ＣＡ３ネット８ａ、左象限ＣＡ３ネット８ｂ、下象限ＣＡ３ネット８ｃ、及び右象限ＣＡ３ネット８ｄに対応して各々４枚のネット、すなわち、計１６枚のネットから構成されている。一つの象限のＣＡ３ネット８に対応する４つのネットを、上ＣＡ１ネット９ａ、左ＣＡ１ネット９ｂ、下ＣＡ１ネット９ｃ、及び右ＣＡ１ネット９ｄという。上ＣＡ１ネット９ａ、左ＣＡ１ネット９ｂ、下ＣＡ１ネット９ｃ、右ＣＡ１ネット９ｄは、それぞれ、上方向、左方向、下方向、右方向の動き検出方向に対応したＣＡ１ネット９である。各ＣＡ１ネット９は、それぞれ、対応するＣＡ３ネット８内の中間ブロック２１に対応して設けられた反応ブロック２２が格子状に配列された構成を有する。

ＣＡ１ネット９内の各反応ブロック２２は、活性信号又は出力トリガ信号に対して、動き判定手段１０に発火信号を出力する。

動き判定手段１０は、ＣＡ１ネット９から入力される各発火信号により伝達される経時情報に基づいて、フレーム内の動きのあるエッジ像の位置及び速さを算出する。そして、これにより得られる二次元的な動きのパターンから動きの種類を判別し、動き検出情報として出力する。

尚、本実施例ではＣＡ３ネット８は、４つの象限に対応して４つ設けた構成としたが、本発明においては、ＣＡ３ネットの数はこれに限るものではない。例えば、上記４つの象限の各々に対して、上下左右の動き検出用のＣＡ３ネット８を各４枚ずつ、計１６枚のＣＡ３ネット８を備えた構成とすることもできる。この場合、ＣＡ３ネット８とＣＡ１ネット９とは一対一対応の関係となる。

図５は、実施例１に係る動作検出装置の機能構成を表すブロック図である。図５において、カメラ４、エッジ検出手段５、フレームメモリ６、エッジブロック検出手段７、及び動き判定手段１０は、図４と同様である。

また、図４のＣＡ３ネット８とＣＡ１ネット９とは、協働して一つの動き検出ブロック集合体１９として機能する。この動き検出ブロック集合体１９は、それぞれの画像ブロックに対応する動き検出ブロック２０の集合で構成される。各動き検出ブロック２０は、ＣＡ３ネット８内の１つの中間ブロック２１と、それに対応するＣＡ１ネット９内の４つの反応ブロック２２の組から構成されている。４つの反応ブロック２２は、それぞれ、当該中間ブロック２１に対応する、上ＣＡ１ネット９ａ、左ＣＡ１ネット９ｂ、下ＣＡ１ネット９ｃ、及び右ＣＡ１ネット９ｄに属する。

中間ブロック２１は、対応する画像ブロックＢ_ｉ，ｊについてのエッジ検出信号ｓ（Ｂ_ｉ，ｊ）が出力された場合に、対応する４つの反応ブロック２２に対して出力トリガ信号を出力する。それとともに、当該反応ブロック２２に対し動き検出方向に隣接する反応ブロック２２に対しては活性信号を出力する。

更に、反応ブロック２２は、活性値記憶手段２３、活性値初期化手段２４、活性値変化手段２５、及び経時情報出力手段２６を備えている。活性値記憶手段２３は、その反応ブロック２２に固有の活性値ｘ（＝ｘ（Ｂ_ｉ，ｊ））を保持する。活性値初期化手段２４は、対応する中間ブロック２１から活性信号が入力され始めた時点で、活性値記憶手段２３の活性値ｘを所定の初期値ｘ_０とする。活性値変化手段２５は、活性値変化関数に従って活性値記憶手段２３の活性値ｘの経時変化させる。

ここで、活性値変化関数には、時間ｔに対する任意の単調関数ｆ（ｔ）が用いられる。例えば、線形関数ｆ（ｔ）＝ｆ_０−Ａ・ｔ、指数減衰関数ｆ（ｔ）＝ｆ_０ｅ^−αｔなどを用いることができる。

経時情報出力手段２６は、隣接する中間ブロック２１から出力トリガ信号が入力された場合にはその時点の活性値（出力値）ｘを経時情報として出力する。尚、経時情報出力手段２６が出力する出力値は、活性値ｘそのものに限らず、活性値ｘから所定の出力関数Ｆ（ｘ）により算出される値であってもよい。

尚、上記構成は、専用のＡＳＩＣ（特定用途むけ集積回路）としてＬＳＩチップとしてもよいが、カメラ４以外の部分はＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）等のプログラマブル論理回路を用いて構成することもできる。更に、カメラ４以外の機能部分はプログラムにより構成してＣＰＵ（中央演算装置）などでそのプログラムを実行することにより実現してもよい。

以上のように構成された本実施例に係る動作検出装置について、以下その動作検出方法を説明する。

まず、カメラ４から動画像が撮像されて、動画像の各フレームが次々にエッジ検出手段５に入力される。エッジ検出手段５は、各フレームについてエッジ検出を行い、エッジ画像としてフレームメモリ６に保存する。これにより、フレーム内の物体像の境界は、エッジ像として抽出される。

エッジブロック検出手段７は、フレームメモリ６に格納されたフレームのエッジ画像について、上述のように画像ブロックに分割し、各画像ブロックにエッジ像が含まれるか否か検出する。エッジ像が含まれる画像ブロックＢ_ｉ，ｊに対しては、その画像ブロックＢ_ｉ，ｊに対応する中間ブロック２１に対してエッジ検出信号ｓ（Ｂ_ｉ，ｊ）を出力する。

各中間ブロック２１は、エッジ検出信号ｓ（Ｂ_ｉ，ｊ）が入力されると、対応する４つの反応ブロック２２のそれぞれに対し、出力トリガ信号を出力する。また、対応する反応ブロック２２に対し動き検出方向の側に隣接する反応ブロック２２には、活性信号を出力する。この様子を図６，図７に示す。

図６では、動き検出方向は左方向であるとする。座標（ｉ，ｊ）に位置する中間ブロック２１（以下、中間ブロックＭ（ｉ，ｊ）と記す。）にエッジ検出信号ｓ（Ｂ_ｉ，ｊ）が入力された場合、中間ブロックＭ（ｉ，ｊ）は、対応する反応ブロック２２（以下、反応ブロックＲ（ｉ，ｊ）と記す。）に対して出力トリガ信号を出力する。一方、反応ブロックＲ（ｉ，ｊ）に対し左方向に隣接する反応ブロックＲ（ｉ，ｊ−１）に対しては、活性信号を出力する。

このとき、各反応ブロックの活性値ｘの時間変化は、図７のようになる。図７において、時刻ｔ_０で中間ブロックＭ（ｉ，ｊ）へエッジ検出信号ｓ（Ｂ_ｉ，ｊ）が入力され始める。この時点において、反応ブロックＲ（ｉ，ｊ−１）に活性信号が入力され、活性値初期化手段２４は、活性値記憶手段２３に記憶された反応ブロックＲ（ｉ，ｊ−１）の活性値ｘ_{ｉ，ｊ−１}をｘ_０に初期化する。

次に、時刻ｔ_０から時刻ｔ_１にかけて、中間ブロックＭ（ｉ，ｊ）へエッジ検出信号ｓ（Ｂ_ｉ，ｊ）が入力され続ける。この間は、活性値変化手段２５が活性値記憶手段２３に記憶された反応ブロックＲ（ｉ，ｊ−１）の活性値ｘ_{ｉ，ｊ−１}を活性値変化関数ｆ（ｔ）に従って変化させる。図７では、活性値変化関数ｆ（ｔ）として単調減少する関数を使用している。

時刻ｔ_１において、エッジ像がブロックＢ_ｉ，ｊからブロックＢ_{ｉ，ｊ−１}へ移ったとする。それに伴い、中間ブロックＭ（ｉ，ｊ）へのエッジ検出信号ｓ（Ｂ_ｉ，ｊ）はなくなり、中間ブロックＭ（ｉ，ｊ−１）へエッジ検出信号ｓ（Ｂ_{ｉ，ｊ−１}）が入力され始める。このとき、反応ブロックＲ（ｉ，ｊ−１）に出力トリガ信号が入力され、反応ブロックＲ（ｉ，ｊ−１）は、時刻ｔ_１において活性値記憶手段２３が保持している活性値ｘ_{ｉ，ｊ−１}（ｔ_１）を発火信号として出力する。活性値記憶手段２３の活性値ｘ_{ｉ，ｊ−１}は、発火信号を出力した後には０にリセットされる。

同様に、時刻ｔ_１において反応ブロックＲ（ｉ，ｊ−２）には活性信号が入力され、反応ブロックＲ（ｉ，ｊ−２）の活性値初期化手段２４は、活性値記憶手段２３に記憶された反応ブロックＲ（ｉ，ｊ−２）の活性値ｘ_{ｉ，ｊ−２}をｘ_０に初期化する。そして、同様の動作が繰り返される。

ここで、エッジ像の動き検出方向の移動速度が速いときは、エッジ像は反応ブロックＲ（ｉ，ｊ−１）を素早く通過するため、発火信号として出力される活性値ｘ_{ｉ，ｊ−１}は大きな値となる。逆に、エッジ像の動き検出方向の移動速度が遅いときは、エッジ像は反応ブロックＲ（ｉ，ｊ−１）をゆっくり通過するため、発火信号として出力される活性値ｘ_{ｉ，ｊ−１}は小さな値となる。従って、発火信号として出力される活性値ｘ_{ｉ，ｊ−１}は、エッジ像の動き検出方向の速度を表す。

図８〜図１２は、フレーム内の物体像の動きとＣＡ１ネット９が出力する発火信号のパターンとの関係を示した図である。図８は遠方にある物体が接近している場合を示す。図９は近接する物体が接近している場合を示す。図１０は遠方にある物体が離隔している場合を示す。図１１は遠方にある物体が右方向に移動している場合を示す。図１２は前方下方に近接して存在する物体が接近している場合を示す。

図８〜１２において、中央の長方形は画像フレーム１（図１（ａ）参照）を表している。画像フレーム１は、中心で交差する斜めの境界軸により上下左右の４つの象限に分割されている。フレームの中心は無限遠点を表す。また、フレームの中心を通り水平に引かれる線（図示せず）が地平線となる。各画像フレーム内の斜線で示された矩形は物体を表す。物体に付された矢印は、物体の移動方向を表す。

また、中央の画像フレーム１の上下左右に４枚ずつ示された方形のネットは、上下左右の各象限に対応するＣＡ１ネット９（上ＣＡ１ネット９ａ、左ＣＡ１ネット９ｂ、下ＣＡ１ネット９ｃ、右ＣＡ１ネット９ｄ）である。各ＣＡ１ネット９において、各反応ブロック２２が出力する発火信号の大きさは濃淡で示されており、濃い色で示された反応ブロック２２ほど大きな活性値を出力している。

図８、図９のように、画像フレーム１の中央にある物体が接近する場合、上象限の上ＣＡ１ネット９ａ、左象限の左ＣＡ１ネット９ｂ、下象限の下ＣＡ１ネット９ｃ、及び右象限の右ＣＡ１ネット９ｄが発火する。従って、このような発火パターンが検出された場合、動き判定手段１０は前方から物体が接近していると判定する。

図１０のように、画像フレーム１の中央にある物体が離隔している場合、上象限の下ＣＡ１ネット９ｃ、左象限の右ＣＡ１ネット９ｄ、下象限の上ＣＡ１ネット９ａ、及び右象限の左ＣＡ１ネット９ｂが発火する。従って、このような発火パターンが検出された場合、動き判定手段１０は前方の物体が遠方に離隔していると判定する。

図１１のように、画像フレーム１の中央にある物体が右方向に移動している場合、下象限の下ＣＡ１ネット９ｃ及び右ＣＡ１ネット９ｄに特徴的な発火パターンが生じる。従って、このような発火パターンが検出された場合、動き判定手段１０は前方の物体が右方に移動していると判定する。

図１２のように、画像フレーム１の下方にある物体が接近している場合、下象限の下ＣＡ１ネット９ｃ、左ＣＡ１ネット９ｂ、及び右ＣＡ１ネット９ｄに特徴的な発火パターンが生じる。従って、このような発火パターンが検出された場合、動き判定手段１０は前方下方にある近接物体が接近していると判定する。

このように、各ＣＡ１ネット９の発火パターンを分析することによって、フレーム内の物体の動きをリアルタイムに検出することができる。動き判定手段１０がどのような場合にどのような物体の動きであると判定するかは、各パターンの特徴量抽出やパターンマッチング、パターン学習などの手法により任意に設定することができる。

図１３、図１４は、実施例２に係る動作検出装置の機能構成を表すブロック図である。尚、本実施例の動作検出装置のハードウェア構成は図４と同様である。カメラ４、エッジ検出手段５、フレームメモリ６、エッジブロック検出手段７、動き判定手段１０、及び中間ブロック２１は、実施例１のものと同様である。

実施例２においては、各反応ブロック２２は、反応ユニット配列３１、活性信号伝達手段３２、及び経時情報出力手段３３を備えている。反応ユニット配列３１は、図１４に示したように、活性信号を保持するための反応ユニット３４が順序づけて複数個配列された構成を有する（以下、先頭の反応ユニット３４から３４＿１，３４＿２，３４＿３，…，３４＿ｎと符号を付す。）。

活性信号伝達手段３２は、先頭の反応ユニット３４＿１から末尾の反応ユニット３４＿ｎへ活性信号を経時的に順次転送又は伝搬する。尚、アナログ回路で構成する場合には、活性信号伝達手段３２としては遅延線を使用してもよい。

経時情報出力手段３３は、中間ブロック２１から出力トリガ信号が入力された場合に活性信号を保持している反応ユニット３４の反応ユニット配列３１における順序情報を発火信号（経時情報）として出力する。

尚、中間ブロック２１は、対応する画像ブロックについてのエッジ検出信号が出力された場合に、対応する反応ブロック２２に対して出力トリガ信号を出力するとともに、当該反応ブロック２２に対し動き検出方向に隣接する反応ブロック２２の反応ユニット配列３１の先頭の反応ユニット３４＿１に対して活性信号を出力する。

以上のように構成された実施例２に係る動作検出装置について、以下その動作検出方法を図１５を参照しながら説明する。図１５は、エッジ検出信号と活性信号の時間変化の一例を表す図である。ここでも、図６と同様に、動き検出方向が左のＣＡ１ネット９を例にとって説明する。

時刻ｔ_０において、画像ブロックＢ_ｉ，ｊにエッジ像が移動したとする。このとき、中間ブロックＭ（ｉ，ｊ）にエッジ検出信号ｓ（Ｂ_ｉ，ｊ）が入力される。中間ブロックＭ（ｉ，ｊ）は、対応する反応ブロックＲ（ｉ，ｊ）の左方向（動き検出方向）に隣接する反応ブロックＲ（ｉ，ｊ−１）の先頭の反応ユニット３４＿１に対して活性信号を入力する。これにより、反応ユニット３４＿１は活性化する。

時刻ｔ_０から時刻ｔ_１にかけて、活性信号伝達手段３２により、反応ユニット３４＿１から反応ユニット３４＿ｎに向かって反応信号が経時的に伝達される。

時刻ｔ_１において、画像ブロックＢ_ｉ，ｊからブロックＢ_{ｉ，ｊ−１}にエッジ像が移動したとする。このとき、中間ブロックＭ（ｉ，ｊ−１）にエッジ検出信号ｓ（Ｂ_{ｉ，ｊ−１}）が入力される。中間ブロックＭ（ｉ，ｊ−１）は、対応する反応ブロックＲ（ｉ，ｊ）に対して出力トリガ信号を入力する。これにより、経時情報出力手段３３は、反応ユニット３４＿１〜３４＿ｎの保持する活性値を読み出し、その時点で活性信号を保持している反応ユニット３４の順序（図１５の例では７）を検出する。そして、検出された順序情報を発火信号（経時情報）として出力する。

実施例１の場合と同様、この順序情報はエッジ像の動き検出方向の速度に逆比例する。従って、順序情報を検出することで、エッジ像の動きを検出することが可能である。

尚、本実施例において、活性信号伝達手段３２は、図１６に示したように、経時的に単調関数に従って活性値を変化させながら各反応ユニット３４間を伝達させるように構成してもよい。この場合、経時情報出力手段３３は、反応ユニット３４＿１〜３４＿ｎの保持する活性値を読み出し、その時点で活性信号を保持している反応ユニット３４の活性値（図１６の例では７番目の反応ユニット３４＿７の活性値）を検出する。そして、検出された活性値を発火信号（経時情報）として出力すればよい。

図１７は、実施例３に係る動作検出装置の機能構成を表すブロック図である。尚、本実施例の動作検出装置のハードウェア構成は図４と同様である。また、反応ブロック２２以外の構成については、実施例２の図１３同様である。

実施例３においては、各反応ブロック２２は、反応ネット３５、活性信号伝達手段３６、及び経時情報出力手段３７を備えている。反応ネット３５は、活性信号を保持するための反応ユニット３８がリンクを介して二次元的に複数個接続された構成を有する。各リンクは方向性を有し、中央の反応ユニット３８から周辺の反応ユニット３８に向けて信号を伝達する。

活性信号伝達手段３６は、反応ネット３５内のリンクで接続された二つの反応ユニット３８（ここでは、説明の便宜上、「反応ユニット３８ａ」，「反応ユニット３８ｂ」とする。）について、当該リンクの入力側の反応ユニット３８ａの活性信号を当該リンクの出力側の反応ユニット３８ｂに経時的に転送又は伝搬させる。この場合、活性信号は、中央の反応ユニット３８から周辺の反応ユニット３８に向けて円環状に伝達される。

経時情報出力手段３７は、出力トリガ信号が入力された場合に活性信号を保持している反応ユニット３８の反応ネット３５における分布範囲情報を経時情報として出力する。ここで、分布範囲情報とは、具体的には、活性信号を保持している反応ユニット３８の円環状の分布の半径又は円面積、円環状に分布する反応ユニット３８の活性値の積算強度等が使用できる。

この場合、中間ブロック２１は、対応する画像ブロックについてのエッジ検出信号が出力された場合に、対応する反応ブロック２２に対して出力トリガ信号を出力する。それとともに、当該中間ブロック２１対応する反応ブロック２２に対し動き検出方向に隣接する反応ブロック２１の反応ネット３５の中央の反応ユニット３８（図１６参照）に活性信号を出力するように構成すればよい。

尚、本実施例においても、活性信号伝達手段３６は、経時的に単調関数に従って活性値を変化させながら各反応ユニット３８間を伝達させるように構成してもよい。この場合、経時情報出力手段３７は、円環の最外端の反応ユニット３８の保持する活性値を検出する。そして、検出された活性値を発火信号（経時情報）として出力すればよい。

図１８は実施例４に係る動作検出装置の機能構成を表すブロック図である。尚、本実施例の動作検出装置のハードウェア構成は図４と同様である。また、反応ブロック２２以外の構成については、実施例２の図１３同様である。

実施例４に係る動作検出装置は、図１で示したモデルに忠実に構成した例である。この動作検出装置においては、中間ブロック２１は、活性信号を保持するための中間ユニット４０がリンクを介して二次元的に複数個接続された中間ネットを有する。また、反応ブロック２２は、中間ブロック２１内の中間ユニット４０のそれぞれに対応して設けられた複数の反応ユニット４１を有する。

エッジブロック検出手段７（図４参照）は、各フレームを順次読み込み、フレーム内の各画像ブロックについて、当該画像ブロック内にエッジ像が含まれるか否かを検出する。そして、エッジ像が含まれる画像ブロックに対応する中間ブロック２１内の中間ネットの中央に位置する中間ユニット４０（以下「中央中間ユニット４０ｃ」という。）にエッジ検出信号を出力する。

中間ブロック２１は、活性値初期化手段（図示せず）、活性信号伝達手段（図示せず）、及び活性信号転送手段（図示せず）を具備している。

活性値初期化手段は、中央中間ユニット４０ｃに活性信号が入力されたときに、当該中央中間ユニット４０ｃの保持する活性信号を初期値に初期化する。そして、対応する反応ブロック２２のすべての反応ユニット４１に対し活性信号を出力する。

活性信号伝達手段は、中間ネット内のリンクで接続された二つの中間ユニット４０（ここでは、便宜上「中間ユニット４０ａ」，「中間ユニット４０ｂ」とする。）について、当該リンクの入力側の中間ユニット４０ａの活性信号を減衰させて当該リンクの出力側の中間ユニット４０ｂに経時的に転送又は伝搬させる。

活性信号転送手段は、中央中間ユニット４０ｃ以外の各中間ユニット４０について、当該中間ブロック２１に対し動き検出方向に隣接する中間ブロック２１に対応する反応ブロック２２（以下「隣接反応ブロック」という。）内の反応ユニット４１のうち、当該隣接反応ブロック２２内の相対位置が当該中間ブロック２１内における当該中間ユニット４０の相対位置と同じ相対位置にある反応ユニット４１に対し保持している活性信号を出力する。これをもう少しわかりやすく説明する。

例えば、図１８において、符号Ａが付された中間ブロック２１（以下「中間ブロックＡ」と呼ぶ。）において、符号Ｐが付された中間ユニット４０（以下「中間ユニットＰ」と呼ぶ。）の中間ブロックＡ内における相対位置は、中央中間ユニット４０ｃから左に２である。これを、相対座標（−２，０）と記す。一方、中間ブロックＡに対し動き検出方向（図１８では左方向）に隣接する中間ブロック２１は符号Ｂが付された中間ブロック２１（以下「中間ブロックＢ」と呼ぶ。）である。

中間ブロックＡに対応する反応ブロック２２を「反応ブロックＡ」と呼び、中間ブロックＢに対応する反応ブロック２２を「反応ブロックＢ」と呼ぶ。中間ブロックＡに対し動き検出方向（図１８では左方向）に隣接する中間ブロックＢに対応する反応ブロックＢが隣接反応ブロックである。この隣接反応ブロックＢ内の反応ユニット４１のうち、当該隣接反応ブロックＢ内の相対位置が中間ブロックＡ内における中間ユニットＰの相対位置（−２，０）と同じ相対位置にある反応ユニット４１は、図１８で符号Ｑが付された反応ユニット４１（以下「反応ユニットＱ」と呼ぶ。）である。従って、活性信号転送手段は、中間ユニットＰが保持する活性信号を反応ユニットＱに対して出力する。その他の中間ユニット４０に関しても同様である。

図１９は各反応ユニット４１の構成を示すブロック図である。各反応ユニット４１は、活性信号保持手段４２、反応信号減衰手段４３、活性信号更新手段４４、発火手段４５を有している。

活性信号保持手段４２は、中間ブロック２１の活性信号転送手段から入力される活性信号を保持する。反応信号減衰手段４３は、活性信号保持手段４２が保持する活性信号を経時的に減衰させる。活性信号更新手段４４は、中間ブロック２１の活性信号転送手段又は活性値初期化手段２４により活性信号が入力された場合、入力された活性信号の値を活性信号保持手段４２が保持する活性信号の値に加えることにより活性信号保持手段４２の保持する活性信号を更新する。発火手段４５は、活性信号保持手段４２が保持する活性信号が所定の閾値を超えたときに、その活性信号を発火信号（経時情報）として出力する。

以上のような構成により、図１で説明したような動作検出装置を構成することができる。尚、本実施例では、中間ユニット４０や反応ユニット４１を二次元的に配列した例を示したが、これらは図１４の場合と同様に１次元的に配列してもよい。

本発明は、動作検出を行う画像処理ＬＳＩにおいて使用される。例えば、自動車などにおいて前方の歩行者，自動車その他の動体物の検出を自動検出する際の画像処理技術として利用可能である。

Claims (19)

1. エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段；
   前記各画像ブロックに対応して中間ブロックを複数個有する中間層；
   及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層；
   を備えた動作検出装置において、
   前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化されるものであり、
   前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性化に伴い活性値を初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持し、前記対応中間ブロックが活性化された場合に保持している前記活性値の大きさに関する情報を発火信号として出力するものであり、
   前記出力層における前記各反応ブロックから出力される前記発火信号のパターンに基づき、当該発火信号のパターンと対応づけられた物体の動きの種類を判別し、判別された物体の動きの種類を動き検出情報として出力する動き判定手段を備えたことを特徴とする動作検出装置。
2. 前記各反応ブロックは、
   順序づけられて接続され、活性値を保持する複数の反応ユニット；
   前記隣接中間ブロックの活性化に伴い、先頭の前記反応ユニットの活性値を初期化する活性値初期化手段；
   前順の前記反応ユニットの活性値を後順の前記反応ユニットへ伝達する活性信号伝達手段；
   及び前記対応中間ブロックが活性化された場合に、活性値を保持している前記反応ユニットの順序に関する情報を発火信号として出力する経時情報出力手段；
   を備えていることを特徴とする請求項１記載の動作検出装置。
3. エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段；
   前記各画像ブロックに対応して中間ブロックを複数個有する中間層；
   及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層；
   を備えた動作検出装置において、
   前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化され、活性値を初期値に初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持するものであり、
   前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性値と、前記対応中間ブロックの活性値とを加算して、加算値が前記初期値より大きく設定された所定の閾値以上の場合に前記活性値の大きさに関する情報を発火信号として出力するものであること
   を特徴とする動作検出装置。
4. 前記各中間ブロックは、
   順序づけられて接続され、活性値を保持する複数の中間ユニット；
   対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に、先頭の前記中間ユニットの活性値を初期化する活性値初期化手段；
   及び前順の前記中間ユニットの活性値を後順の前記中間ユニットへ伝達する活性信号伝達手段；
   を備え、
   前記各反応ブロックは、前記対応中間ブロックが活性化された場合に、前記隣接ブロック内の活性値を保持している前記中間ユニットの順序に関する情報を発火信号として出力する経時情報出力手段を備えていることを特徴とする請求項３記載の動作検出装置。
5. 前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする請求項１乃至４の何れか一記載の動作検出装置。
6. 前記フレームを４つの象限に分割し各象限に対応して４枚の前記中間層を備えていることを特徴とする請求項１乃至４の何れか一記載の動作検出装置。
7. 前記各象限に対応する前記中間層の各々に対して、前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする請求項６記載の動作検出装置。
8. エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段；
   及び、所定の動き検出方向に対するエッジ像の動きを検出する動き検出ブロックが、前記各画像ブロックに対応して複数個配列されてなる動き検出ブロック集合体；
   を備え、
   前記動き検出ブロックは、
   対応する画像ブロックに対し動き検出方向と反対方向の側に隣接する画像ブロックについてのエッジ検出信号が検出された場合には、その検出時刻からの経過時間の情報である経時情報を生成するとともに当該経時情報を単調関数で時間変化させつつ保持し、
   対応する画像ブロックについてのエッジ検出信号が出力された場合に、その時点において保持している前記経時情報を出力するものであり、
   前記動き検出ブロックが前記経時情報を出力した場合、前記経時情報が出力された画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判定し、判別された物体の動きの種類を動き検出情報として出力する動き判定手段を備えたことを特徴とする動作検出装置。
9. 上下左右の各動き検出方向に対応してそれぞれ前記動き検出ブロック集合体を具備していることを特徴とする請求項８記載の動作検出装置。
10. 前記動き検出ブロックは、
    前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック；
    及び、前記活性信号及び出力トリガ信号に基づき経時情報を生成し出力する反応ブロック；
    を備え、
    前記反応ブロックは、
    固有の活性値を保持する活性値記憶手段；
    前記活性信号が入力され始めた時に当該活性値を所定の初期値とする活性値初期化手段；
    所定の単調関数である活性値変化関数に従って前記活性値を経時変化させる活性値変化手段；
    及び、前記出力トリガ信号が入力された場合にはその時点の前記活性値又は前記活性値から所定の出力関数により算出される値である出力値を前記経時情報として出力する経時情報出力手段；
    を備え、
    前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックに対して前記活性信号を出力するものであること
    を特徴とする請求項８又は９記載の動作検出装置。
11. 前記動き検出ブロックは、
    前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック；
    及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック；
    を備え、
    前記反応ブロックは、
    活性信号を保持するための反応ユニットが順序づけて複数個配列された反応ユニット配列；
    先頭の反応ユニットから末尾の反応ユニットへ活性信号を経時的に順次転送又は伝搬する活性信号伝達手段；
    前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ユニット配列における順序情報を前記経時情報として出力する経時情報出力手段；
    を備え、
    前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ユニット配列の先頭の反応ユニットに対して前記活性信号を出力するものであること
    を特徴とする請求項８又は９記載の動作検出装置。
12. 前記活性信号伝達手段は、先頭の反応ユニットから末尾の反応ユニットへ所定の活性値変化関数に従って前記活性信号を経時的に変化させながら順次転送又は伝搬するものであり、
    前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであること
    を特徴とする請求項１１記載の動作検出装置。
13. 前記動き検出ブロックは、
    前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック；
    及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック；
    を備え、
    前記反応ブロックは、
    活性信号を保持するための反応ユニットがリンクを介して二次元的に複数個接続された反応ネット；
    前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに経時的に転送又は伝搬させる活性信号伝達手段；
    前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ネットにおける分布範囲情報を前記経時情報として出力する経時情報出力手段；
    を備え、
    前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ネットの中央に位置する反応ユニットに活性信号を出力するものであること
    を特徴とする請求項８又は９記載の動作検出装置。
14. 前記活性信号伝達手段は、前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに所定の活性値変化関数に従って前記活性信号を変化させながら順次転送又は伝搬するものであり、
    前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであること
    を特徴とする請求項１３記載の動作検出装置。
15. 前記動き検出ブロックは、
    活性信号を保持するための中間ユニットがリンクを介して二次元的に複数個接続された中間ネットを有する中間ブロック；
    及び、前記中間ブロック内の前記中間ユニットのそれぞれに対応して設けられた複数の反応ユニットを有する反応ブロック；
    を備え、
    前記エッジブロック検出手段は、前記各フレームを順次読み込み、前記フレーム内の各画像ブロックについて、当該画像ブロック内にエッジ像が含まれるか否かを検出し、エッジ像が含まれる画像ブロックに対応する前記中間ブロック内の前記中間ネットの中央に位置する中間ユニットである中央中間ユニットにエッジ検出信号を出力するものであり、
    前記中間ブロックは、
    前記中央中間ユニットに活性信号が入力されたときに、当該中央中間ユニットの保持する活性信号を初期値に初期化した後、当該動き検出ブロックに属する前記反応ブロックのすべての反応ユニットに対し当該活性信号を出力する活性値初期化手段；
    前記中間ネット内のリンクで接続された二つの中間ユニットについて、当該リンクの入力側の中間ユニットの活性信号を減衰させて当該リンクの出力側の中間ユニットに経時的に転送又は伝搬させる活性信号伝達手段；
    前記中央中間ユニット以外の各中間ユニットについて、当該中間ブロックに対し動き検出方向に隣接する前記中間ブロックに対応する反応ブロックである隣接反応ブロック内の反応ユニットのうち、当該隣接反応ブロック内の相対位置が当該中間ブロック内における当該中間ユニットの相対位置と同じ相対位置にある反応ユニットに対し保持している活性信号を出力する活性信号転送手段；
    を備え、
    前記反応ブロック内の前記各反応ユニットは、
    前記活性信号転送手段から入力される活性信号を保持する活性信号保持手段；
    前記活性信号保持手段が保持する活性信号を減衰させる反応信号減衰手段；
    前記活性信号転送手段又は前記活性値初期化手段により活性信号が入力された場合、入力された活性信号の値を前記活性信号保持手段が保持する活性信号の値に加えることにより前記活性信号保持手段の保持する活性信号を更新する活性信号更新手段；
    前記活性信号保持手段が保持する活性信号が所定の閾値を超えたときに、その活性信号又は発火信号を前記経時情報として出力する発火手段；
    を備えていることを特徴とする請求項８又は９記載の動作検出装置。
16. 前記各動き検出ブロックは、一つの前記中間ブロックと、上下左右の各動き検出方向に対応する４つの前記反応ブロックとを具備していることを特徴とする請求項１０乃至１５の何れか一記載の動作検出装置。
17. 前記各動き検出ブロックは、
    前記中間ブロックは、前記フレームを上下左右の４象限に分割した場合の各象限に対応して４つの前記中間ブロックと、
    前記各中間ブロックのそれぞれについて、上下左右の各動き検出方向に対応する４つの前記反応ブロックと、
    を具備していることを特徴とする請求項１０乃至１５の何れか一記載の動作検出装置。
18. コンピュータに読み込ませて実行することにより、コンピュータを請求項１乃至１７の何れか一に記載の動作検出装置として機能させることを特徴とするプログラム。
19. 順次入力されるエッジ抽出処理された動画像のフレームをブロック分割したときの各画像ブロックについて、各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出ステップ；
    前記エッジ検出信号が出力された画像ブロックである検出ブロックに対し動き検出方向に隣接する画像ブロックである隣接ブロックに対して、前記検出ブロックにおいて前記エッジ検出信号が継続的に出力され始めた時刻からの経過時間の情報である経時情報を生成する経時情報生成ステップ；
    前記隣接ブロックにおいて前記エッジ検出信号が出力され始めた時に、前記隣接ブロックについて生成された前記経時情報を出力する経時情報出力ステップ；
    及び、前記経時情報出力ステップで各画像ブロックについての前記経時情報を出力した後に、経時情報を出力した各画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判別し、判別された物体の動きの種類を動き検出情報として出力する動き判定ステップ；
    を有することを特徴とする動作検出方法。

Images