JP4662142B2 - 移動物体検出装置及び方法 - Google Patents

Description

本発明は、移動物体検出装置及び方法に関し、例えば映像監視システムに採用される移動物体検出装置に適用して好適なものである。

近年、防犯管理上の理由からビルや倉庫などにおいて、移動物体検出装置が搭載された映像監視システムが広く採用されている。この移動物体検出装置は、監視カメラから出力される画像信号を処理することにより、当該画像信号に基づく画像内の移動物体を検出し得るようになされたものである。

この場合、このような移動物体検出装置を構築するに際しては、風で揺れる草木や夜間におけるヘッドライトの乱反射などの自然界に存在する外乱に影響されることなく、画像内に存在する移動物体を正確に検知できるような工夫が必要となる。

そこで、従来、このような要求に答えるべく、監視カメラから与えられる画像信号に基づく画像内の動きのある画像領域を検出すると共にこの画像領域の動きを規定時間追跡し、追跡した動きが移動物体のものであるか否かを判断するようにして移動物体を検出する移動物体検出装置が提案されている（例えば特許文献１及び非特許文献１参照）。

また、移動物体検出装置として、これ以外にも、監視カメラから与えられる画像信号に基づく画像の変化を抽出してその変化の生じた領域を変化領域として設定し、設定した変化領域内に複数の相関演算ブロックを配置して相関演算ブロック毎に相関演算を行い、当該相関演算の結果に基づいて移動物体を検出し得るようになされたものも提案されている（例えば特許文献２参照）。

ここで、図２１は、かかる非特許文献１において開示された従来の移動体検出装置（以下、これを第１の移動物体検出装置と呼ぶ）１の構成を示すものである。

この第１の移動物体検出装置１においては、監視カメラ等から供給される画像データＤ１を画像入力部２を介して検知ブロック設定部３に入力し、当該画像データＤ１に基づく画像を検知ブロック設定部３において図２２（Ａ）のように複数の検知ブロック（領域）ＢＲ_１に分割した後に、これら各検知ブロックＢＲ_１の画像データを検知ブロックデータＤ２として相関演算ブロック配置部４に順次送出する。

この場合において、最初の分割方法は固定であり、従って各検知ブロックＢＲ_１の初期位置及び大きさは常に一定となる。ただし、位置については、後述のように、検知ブロックＢＲ_１が追跡状態に遷移した場合に、後段の空間的動き一様性判定部９から与えられるその検知ブロックＢＲ_１の代表動きベクトルのベクトル情報Ｄ８に基づいて当該検知ブロックＢＲ_１が図２２（Ｂ）及び（Ｃ）のように順次移動される。

相関演算ブロック配置部４は、検知ブロック設定部３から供給される各検知ブロックデータＤ２に対して、各検知ブロックＢＲ_１をそれぞれさらに複数の相関演算ブロックＢＲ_２に分割する処理を行い、これら各相関演算ブロックＢＲ_２の画像データを相関演算ブロックデータＤ３として相関演算実行部６に送出する。従って、前段の検知ブロック設定部３による処理によって検知ブロックＢＲ１の位置が移動した場合には、当該検知ブロックＢＲ１に含まれる各相関演算ブロックＢＲ２の位置もそれに合わせて移動することとなる。

一方、画像入力部２を介して入力した画像データＤ１は、過去画像蓄積部５にも与えられ、この過去画像蓄積部５において順次蓄積される。そして、この過去画像蓄積部５に蓄積された画像データＤ１は、この後相関演算ブロック配置部４から相関演算ブロックデータＤ３が相関演算実行部６に与えられるタイミングで、１フレーム前の画像のその相関演算ブロックＢＲ２と同じ位置及び同じ大きさの画像部分の画像データＤ１が切り取られて遅延画像データＤ４として相関演算実行部６に読み出される。

相関演算実行部６は、相関演算ブロック配置部４から与えられる相関演算ブロックデータＤ３と、過去画像蓄積部５から読み出した遅延画像データＤ４とに基づいて、相関演算ブロックＢＲ２毎に現在の画像と過去の画像との相関演算を行い、当該演算結果に基づいて各相関演算ブロックＢＲ２の相関値マップを生成する。そして相関演算実行部６は、相関値マップの原点から最小値を与える点に向かうベクトルをその相関演算ブロックＢＲ２の動きベクトルとする。

このとき相関値マップの最小値が明確な負のピークを形成している場合は動きベクトルの信頼度が高く、そうでない場合は信頼度が低いと判断できる。そこで相関演算実行部６は、動きベクトルの大きさが「０」でなく、かつ相関値マップの最小値が明確な負のピークを形成している場合にはその相関演算ブロックＢＲ２に「動きがある」と判定し、そうでない場合には「動きがない」と判定して、判定結果を相関演算結果情報Ｄ５として初期検知部７に送出する。

初期検知部７は、供給される相関演算結果情報Ｄ５に基づいて、検知ブロックＢＲ１毎に「動きがある」と判定された相関演算ブロックＢＲ２の数をカウントし、その数が規定個数以上あったときにはその検知ブロックＢＲ１について「動きがある」と判定し、判定結果を初期検知判定情報Ｄ６として空間的動きベクトル統合部８に送出する。なお、「動きがある」と判定された検知ブロックＢＲ１は、この後追跡状態（図２２（Ｂ）及び（Ｃ））に遷移することとなる。

空間的動きベクトル統合部８は、初期検知判定情報Ｄ６に基づいて、「動きがある」と判定された各検知ブロックＢＲ１について、検知ブロックＢＲ１内のすべての相関演算ブロックＢＲ２の相関値マップを累積し、累積結果を空間的動きベクトル統合情報Ｄ７として空間的動き一様性判定部９に送出する。

空間的動き一様性判定部９は、供給される空間的動きベクトル統合情報Ｄ７に基づいて、初期検知部７により「動きがある」と判定された各検知ブロックＢＲ１について、それぞれ累積された相関値マップの原点から最小値を与える点に向かうベクトルを動きベクトル（図２２（Ａ）における矢印）として求め、さらにその動きベクトルの大きさが「０」でなく、かつ累積された相関値マップの最小値が明確な負のピークを形成している場合には当該動きベクトルをその検知ブロックＢＲ１の代表的な動きベクトル（以下、これを代表動きベクトルと呼ぶ）とする。

そして空間的動き一様性判定部９は、このようにして得られた代表動きベクトルのベクトル情報Ｄ８を検知ブロック設定部３に送出する。この結果、検知ブロック設定部３は、このベクトル情報Ｄ８に基づいて、初期検知部７によって「動きがある」と判定された各検知ブロックＢＲ１を追跡状態に遷移させ、これら検知ブロックＢＲ１を、図２２（Ｂ）及び（Ｃ）のように、ベクトル情報Ｄ８に基づき得られる代表動きベクトルの向きにその大きさだけ順次移動させる。これにより「動きがある」と判定された各検知ブロックＢＲ１について「動き」を検出することが可能となる。そしてこのような「動きがある」検知ブロックの追跡処理が規定の追跡期間が経過するまで繰り返される。

また空間的動き一様性判定部９は、追跡状態にある各検知ブロックＢＲ１内においてそれぞれ空間的に累積された相関値マップのマップ情報Ｄ９を時間的動きベクトル統合部１０に送出する。

このとき時間的動きベクトル統合部１０は、供給されるマップ情報Ｄ９に基づいて、空間的に累積された各検知ブロックＢＲ１についての相関値マップを規定の追跡期間が終了するまでの間、時間的に累積する。この結果、かかる追跡期間が終了したときに、各検知ブロックＢＲ１についての空間的及び時間的に累積された相関値マップが生成される。そして時間的動きベクトル統合部１０は、このようにして得られた追跡情報にある各検知ブロックＢＲ１についての空間的及び時間的に累積された相関値マップのマップ情報Ｄ１０を時間的動き一様性判定部１１に送出する。

時間的動き一様性判定部１１は、供給されるマップ情報Ｄ１０に基づいて、追跡期間が終了して空間的及び時間的な累積が完了した相関値マップに基づいて、当該相関値マップの原点から最小値を与える点に向かうベクトルを動きベクトルとし、さらに当該動きベクトルの大きさが「０」でなく、かつ相関値マップの最小値が明確な負のピークを形成している場合に対応する検知ブロックＢＲ１に「動きがある」と判定する。

これは、上述のように人物や車両などの移動物体は短い時間でみると一定方向に動くことから、「動き」の検出対象がかかる移動体の場合には、空間的及び時間的に累積した相関値マップにおいて毎回ほぼ同じ位置に最小値の負のピークが生じるのに対し、自然界に存在する木々や波などの揺れに代表される背景変動は振動的に動くことから、「動き」の検出対象がかかる木々や波などの場合には、空間的に累積した相関値マップにおいて毎回異なる位置に最小値の負のピークが生じるからである。

このようにしてこの第１の移動物体検出装置１においては、入力した画像データＤ１に基づく画像内の動きのある物体の当該「動き」に基づいて、人物や車両などの移動物体を精度良く検出することができるようになされている。

ところが、かかる第１の移動物体検出装置１によると、１つの検知ブロックＢＲ１内に複数の移動物体や背景変動が存在し、それぞれの動く方向が異なる場合には互いに動きベクトルを打ち消しあうことになって、移動物体の検出に失敗するという問題がある。

そこで、このような問題を解決するために提案されたのが特許文献２において開示された移動物体検出方法である。実際上、図２１との対応部分に同一符号を付して示す図２３は、かかる移動物体検出方法を適用した特許文献２に開示された移動物体検出装置（以下、これを第２の移動物体検出装置）２０を示すものであり、検知ブロック設定部３（図２１）及び初期検知部７（図２１）に代えて画像変化抽出部２１が設けられる点を除いて図２１について上述した移動物体検出装置１とほぼ同様に構成される。

この場合、画像変化抽出部２１においては、図２４に示すように、画像入力部２から与えられる画像データＤ１に基づく画像から背景画像を除去する背景差分部３０と、背景画像を更新する背景更新部３１と、背景差分部３０によって背景画像が除去された画像に変化領域を設定する変化領域抽出部３２とから構成される。

そして背景差分部３０は、画像データＤ１に基づく画像と、背景更新部３１に保持されている背景画像との差分を求め、画像データＤ１に基づく画像から背景画像を除いた、変化が認められる部分を抽出した画像を背景更新部３１及び変化領域抽出部３２に送出する。

背景更新部３１は、例えば画像データＤ１に基づく所定数の画像の平均画像を求める。そして、このように求められた平均画像においては、動きのある部分の輪郭等がずれて重なり、当該部分の外観が不明瞭になる。かくして背景更新部３１は、このようにして得られた平均画像の中から外観が不明瞭な物体を除去したものを、適宜更新しながら背景画像として保持する。

さらに変化領域抽出部３２は、背景差分部３０によって背景画像が除去された画像内の変化がある部分に対して図２５（Ａ）のように変化領域（図２５（Ａ）においてハッチングを付して示す部分）ＡＲを設定し、その結果を変化領域設定情報Ｄ１１として相関演算ブロック配置部２２に送出する。

すなわち相関演算ブロック配置部２２は、画像変化抽出部２１から供給される各変化領域ＡＲに対して、各変化領域ＡＲをそれぞれ複数の相関演算ブロックＢＲ２（図２２（Ａ））に分割する処理を行い、これら各相関演算ブロックＢＲ２の画像データを相関演算ブロックデータＤ１２として相関演算実行部６に送出する。従って、前段の画像変化抽出部２１による処理によって変化領域ＡＲの位置が移動した場合には、当該変化領域ＡＲ内に設定される各相関演算ブロックＢＲ２の位置もそれに合わせて移動することとなる。

相関演算実行部２３は、相関演算ブロック配置部２２から与えられる相関演算ブロックデータＤ３と、過去画像蓄積部５から読み出した遅延画像データＤ４とに基づいて、相関演算ブロックＢＲ２毎に現在の画像と過去の画像との相関演算を行い、当該演算結果に基づいて各相関演算ブロックＢＲ２の相関値マップを生成する。そして相関演算実行部２２は、相関値マップの原点から最小値を与える点に向かうベクトルをその相関演算ブロックＢＲ２の動きベクトルとする。

さらに相関演算実行部２３は、各相関演算ブロックＲＢ２について、動きベクトルの大きさが「０」でなく、かつ相関値マップの最小値が明確な負のピークを形成している場合にはその相関演算ブロックＲＢ２に「動きがある」と判定し、そうでない場合には「動きがない」と判定して、判定結果を相関演算結果情報Ｄ１３として空間的動きベクトル統合部２４に送出する。

空間的動きベクトル統合部２４は、相関演算結果情報Ｄ１３に基づいて、各変化領域ＡＲについて、当該変化領域ＡＲ内のすべての相関演算ブロックＢＲ２の相関値マップを累積し、累積結果を空間的動きベクトル統合情報Ｄ１４として空間的動き一様性判定部２５に送出する。

空間的動き一様性判定部２５は、供給される空間的動きベクトル統合情報Ｄ１４に基づいて、各変化領域ＡＲについて、それぞれ累積された相関値マップの原点から最小値を与える点に向かうベクトルを動きベクトル（図２５（Ａ）における矢印）として求め、さらにその動きベクトルの大きさが「０」でなく、かつ累積された相関値マップの最小値が明確な負のピークを形成している場合には当該動きベクトルをその変化領域ＡＲの代表的な動きベクトル（以下、これを代表動きベクトルと呼ぶ）とする。

そして空間的動き一様性判定部２５は、このようにして得られた代表動きベクトルのベクトル情報Ｄ１５を相関演算ブロック配置部２２に送出する。この結果、相関演算ブロック配置部２２は、このベクトル情報Ｄ１５に基づいて、各変化領域ＡＲを追跡状態に遷移させ、当該移動領域ＡＲについての相関演算ブロックデータを相関演算実行部２３に送出するようになる。これにより各変化領域ＡＲについて「動き」を検出することが可能となる。そしてこのような追跡処理が規定の追跡期間が経過するまで繰り返される。

また空間的動き一様性判定部２５は、追跡状態にある各変化領域ＡＲ内においてそれぞれ空間的に累積された相関値マップのマップ情報Ｄ９を時間的動きベクトル統合部１０に送出する。

この結果、この後上述した第１の移動物体検出装置１の場合と同様にして、時間的動きベクトル統合部１０において、移動物体であろう変化領域ＡＲについての相関値マップを規定の追跡時間分だけ空間的及び時間的に累積した相関値マップが生成され、さらに時間的動き一様性判定部１１において、「動きがある」変化領域ＡＲが検出される。

このようにしてこの第２の移動物体検出装置２０においては、入力した画像データＤ１に基づく画像内の動きのある物体の当該「動き」に基づいて、人物や車両などの移動物体を精度良く検出することができるようになされている。
特開２０００−３２２５８１公報 特開２００３−１６９３１９公報 森田俊彦著，「局所相関演算による動きの検知と追跡」，電子情報学会論文誌，Ｄ−１１，Ｖｏｌ．Ｊ８４−Ｄ−１１，Ｎｏ．２，ｐｐ．２９９−３０９，２００１年２月

ところで、上述のように従来の第１及び第２の移動物体検出装置１、２０は、いずれも始めに動きを検出する対象となる領域を規定し、その領域を一定時間追跡することによって移動物体か否かの判定を行うようになされている。

しかしながら、このような方法によると、常に移動物体のみを含むような領域設定ができるとは限らない問題がある。

例えば第１の移動物体検出装置１の場合、図２６に示すように、風で揺れる木々のような動きのある背景ＢＧの前を人物ＨＵが通過するときに、同じ検知ブロックＢＲ１内に人物ＨＵと背景変動との両方が含まれてしまうことになる。そしてこの場合、人物ＨＵの動きと背景変動とは相関がないため、相関値マップを検知ブロックＢＲ１内で空間的に統合しても、明確なピークが現れず、その検知ブロックＢＲ１に「動きがある」とは判定されない。また「動きがある」と判定された場合においても、人物ＨＵの動きが代表動きベクトルに正しく反映されず、その人物ＨＵの追跡や検出が失敗することがある。

一方、第２の移動物体検出装置２０の場合には、予め背景差分によって変化領域ＡＲ（図２５）を設定するため、移動する人物ＨＵと動きのある背景ＢＧとが近接して存在する場合にも人物ＨＵのみを正しく検出することが可能であるものの、図２７に示すように、画面上で動きのある背景ＢＧと人物ＨＵとが重なる場合には、やはり１つの変化領域ＡＲ内に人物ＨＵと背景変動の両方が含まれてしまうこととなる。そしてこのような条件のもとでは、第１の移動物体検出装置１の場合と同様に、人物ＨＵの追跡及び検出に失敗することがある。

さらに、これら第１及び第２の移動物体検出装置１、２０が適用される映像監視システムの場合、監視カメラが十分な照明が得られない環境に設置されることも多い。そして、このような環境のもとでは監視カメラから入力される画像信号に基づく画像のＳＮ比が悪く、被写体のコントラストに対してランダムノイズが無視できない大きさになる。この場合において、ランダムノイズは画面全体に発生し、時間とともに変動するため、上述した背景変動及び移動物体が重なる場合と同様の問題が生ずることなる。

一方、従来提案されている第１及び第２の移動物体検出装置１、２０は、いずれも始めに設定した領域（検知ブロックＢＲ１又は変化領域ＡＲ）を追跡に伴って移動させることに起因して、当該領域が移動した後の部分に相関演算ブロックＢＲ２が配置されず、その領域に新たに現れた移動物体を検出できないという問題がある。

すなわち、第１の移動物体検出装置１では、図２８に示すように、画面内に現れた一人目の人物ＨＵ１を検知ブロックＢＲ１を移動させながら追跡している期間内に（図２８（Ａ））、当該一人目の人物ＨＵ１を追うようにして二人目の人物ＨＵ２が画面内に現れた場合（図２８（Ｂ））、一人目の人物ＨＵ１を追跡している検知ブロックＢＲ１が最初にあった場所には既に相関演算ブロックが配置されていないため、二人目の人物ＨＵ２を検出することができない（図２８（Ｃ））。

また第２の移動物体検出装置２０では、例えば図２９に示すように、一人目の人物ＨＵ１が画面内に現れて変化領域ＡＲが設定され、相関演算ブロックＢＲ２を移動させながら一人目の人物ＨＵ１を追跡している期間に（図２９（Ａ））、当該一人目の人物ＨＵ１を追うようにして二人目の人物ＨＵ２が画面内に現れ（図２９（Ｂ））、その後これら一人目及び二人目の双方の人物ＨＵ１、ＨＵ２を含むように変化領域ＡＲ′が設定された場合（図２９（Ｃ））、二人目の人物ＨＵ２上には相関演算ブロックＢＲ２が配置されず、その動きが検出されない。これは、第２の移動物体検出装置２０では、追跡期間中に変化領域ＡＲの形状が変化しても相関演算ブロックＢＲ２の変化領域ＡＲ内での相対的な配置を変えられないことによる。

さらに追跡に伴って相関演算ブロックＢＲ２の位置を移動させることは、相関演算ブロックＢＲ２の位置を時間的に、しかも領域ごとに独立して変化させるということを意味し、このことは画像処理の処理内容及び装置構成を煩雑化させる問題がある。

このように、上述した第１及び第２の移動物体検出装置１、２０のいずれの場合も、始めに動きを検出する対象となる領域（検知ブロックＢＲ１又は変化領域ＡＲ）を設定することや、相関演算ブロックＢＲ２を移動させることに起因して、精度良く移動物体の追跡及び検出を行い得ない等の種々の問題があった。

本発明は以上の点を考慮してなされたもので、移動物体を精度良く検出し得る移動物体検出装置及び方法を提案しようとするものである。

かかる課題を解決するため本発明においては、移動物体検出装置において、入力画像から動きベクトルを算出する動きベクトル算出手段と、過去の各動きベクトルの積算値及び積算回数を蓄積する積算値蓄積手段と、積算値蓄積手段に蓄積された各動きベクトルの積算値及び積算回数を、現在の動きベクトルと、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における積算値及び積算回数とを用いて更新する積算値更新手段と、過去の各動きベクトルを蓄積する過去ベクトル蓄積手段と、現在の動きベクトルと、過去ベクトル蓄積手段に蓄積された各動きベクトルとから、各動きベクトルの変化量を算出する動きベクトル変化量算出手段と、過去の各動きベクトルの時間的な一様性を表す特徴量を蓄積する一様性データ蓄積手段と、一様性データ蓄積手段に蓄積された各動きベクトルの特徴量を、動きベクトル変化量算出手段により算出された動きベクトルの変化量と、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における過去の特徴量とを用いて更新する一様性データ更新手段と、動きベクトル毎の積算値及び積算回数並びに動きベクトル毎の時間的な一様性を表す特徴量が、それぞれ所定の閾値と所定の大小関係にある場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出手段とを設けるようにした。

この結果、この移動物体検出装置では、最初に検出の対象とする領域を規定しないことから、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても、移動物体を確実に検出することができる。

また本発明においては、入力画像から動きベクトルを算出する動きベクトル算出ステップと、過去の各動きベクトルの積算値及び積算回数を蓄積する積算値蓄積ステップと、積算値蓄積ステップにおいて蓄積された各動きベクトルの積算値及び積算回数を、現在の動きベクトルと、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における積算値及び積算回数とを用いて更新する積算値更新ステップと、過去の各動きベクトルを蓄積する過去ベクトル蓄積ステップと、現在の動きベクトルと、過去ベクトル蓄積ステップにおいて蓄積された各動きベクトルとから、各動きベクトルの変化量を算出する動きベクトル変化量算出ステップと、過去の各動きベクトルの時間的な一様性を表す特徴量を蓄積する一様性データ蓄積ステップと、一様性データ蓄積ステップにおいて蓄積された各動きベクトルの特徴量を、動きベクトル変化量算出ステップにおいて算出された動きベクトルの変化量と、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における過去の特徴量とを用いて更新する一様性データ更新ステップと、動きベクトル毎の積算値及び積算回数並びに動きベクトル毎の時間的な一様性を表す特徴量が、それぞれ所定の閾値と所定の大小関係にある場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップとを設けるようにした。

この結果、この移動物体検出方法によれば、最初に検出の対象とする領域を規定しないことから、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても、移動物体を確実に検出することができる。

本発明によれば、移動物体検出装置において、入力画像から動きベクトルを算出する動きベクトル算出手段と、過去の各動きベクトルの積算値及び積算回数を蓄積する積算値蓄積手段と、積算値蓄積手段に蓄積された各動きベクトルの積算値及び積算回数を、現在の動きベクトルと、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における積算値及び積算回数とを用いて更新する積算値更新手段と、過去の各動きベクトルを蓄積する過去ベクトル蓄積手段と、現在の動きベクトルと、過去ベクトル蓄積手段に蓄積された各動きベクトルとから、各動きベクトルの変化量を算出する動きベクトル変化量算出手段と、過去の各動きベクトルの時間的な一様性を表す特徴量を蓄積する一様性データ蓄積手段と、一様性データ蓄積手段に蓄積された各動きベクトルの特徴量を、動きベクトル変化量算出手段により算出された動きベクトルの変化量と、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における過去の特徴量とを用いて更新する一様性データ更新手段と、動きベクトル毎の積算値及び積算回数並びに動きベクトル毎の時間的な一様性を表す特徴量が、それぞれ所定の閾値と所定の大小関係にある場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出手段とを設けるようにしたことにより、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても、移動物体を確実に検出することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

また本発明によれば、入力画像から動きベクトルを算出する動きベクトル算出ステップと、過去の各動きベクトルの積算値及び積算回数を蓄積する積算値蓄積ステップと、積算値蓄積ステップにおいて蓄積された各動きベクトルの積算値及び積算回数を、現在の動きベクトルと、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における積算値及び積算回数とを用いて更新する積算値更新ステップと、過去の各動きベクトルを蓄積する過去ベクトル蓄積ステップと、現在の動きベクトルと、過去ベクトル蓄積ステップにおいて蓄積された各動きベクトルとから、各動きベクトルの変化量を算出する動きベクトル変化量算出ステップと、過去の各動きベクトルの時間的な一様性を表す特徴量を蓄積する一様性データ蓄積ステップと、一様性データ蓄積ステップにおいて蓄積された各動きベクトルの特徴量を、動きベクトル変化量算出ステップにおいて算出された動きベクトルの変化量と、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における過去の特徴量とを用いて更新する一様性データ更新ステップと、動きベクトル毎の積算値及び積算回数並びに動きベクトル毎の時間的な一様性を表す特徴量が、それぞれ所定の閾値と所定の大小関係にある場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップとを設けるようにしたことにより、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても、移動物体を確実に検出することができ、かくして移動物体を精度良く検出し得る移動物体検出方法を実現できる。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
（１−１）第１の実施の形態による移動物体検出装置の構成
図１において、４０は全体として映像監視システム等の監視システムに適用される第１の実施の形態による移動物体検出装置を示し、図示しない監視カメラから供給される画像情報を画像入力部４１を介して画像データＤ２０として相関演算ブロック配置部４２及び過去画像蓄積部４３に入力する。

相関演算ブロック配置部４２は、図２に示すように、供給される画像データＤ２０に基づく画像Ｐの全領域又は画像上の移動物体を検出したいと意図する領域に相関演算ブロックＢＲ１０を配置し、これら相関演算ブロックＢＲ１０のデータを相関演算ブロックデータＤ２１として順次相関演算実行部４４に送出する。この場合において、相関演算ブロック配置部４２は、配置される個々の相関演算ブロックＢＲ１０の位置及び大きさをフレームごとに変化させることなく、常に画像Ｐ内の一定の位置に一定の大きさで配置する。

過去画像蓄積部４３は、例えばフレームメモリから構成され、画像入力部４１から与えられる画像データＤ２０を蓄積する。そして、この過去画像蓄積部４３に蓄積された画像データＤ２０は、この後相関演算ブロック配置部４２から相関演算ブロックデータＤ２１が相関演算実行部４４に与えられるタイミングで、１フレーム前の画像のその相関演算ブロックＢＲ１０と同じ位置及び同じ大きさの画像部分の画像データＤ２０が切り取られて遅延画像データＤ２２として相関演算実行部４４に読み出される。

相関演算実行部４４は、相関演算ブロック配置部４２から与えられる相関演算ブロックデータＤ２１と、過去画像蓄積部４３から読み出した遅延画像データＤ２２とに基づいて相関演算処理を実行することにより、相関演算ブロックＢＲ１０毎に、動きベクトルを算出する。

この相関演算処理は、図３に示すように、そのとき対象としているフレームｎ内の相関演算を行おうとしている局所画像、すなわち相関演算ブロックＢＲ１０（以下、これを参照ブロックＢＲ１０_Ｒｅｆと呼ぶ）の画像部分と、これよりも１フレーム前のフレームｎ−１における参照ブロックＢＲ１０_Ｒｅｆと同じ大きさのブロック（以下、これを候補ブロックＢＲ１１と呼ぶ）の画像部分との間の相関演算を、候補ブロックＢＲ１１の位置を変えながら繰り返すものであり、相関が最大となる候補ブロックＢＲ１１の位置から、両フレーム画像間での物体の動きベクトルを求めることができる。

この場合の相関演算は、次式

で与えられる。この（１）式において、Ｉ_ｎはフレームｎの画像、Ｉ_ｎ−１はフレームｎ−１の画像であり、相関演算ブロックＢＲ１０のサイズをｍ×ｍ画素、動きベクトルの探索範囲ＳＡＲ（図３）を水平方向及び垂直方向ともに−ｐ〜＋ｐ画素としている。

この式に基づく相関演算の結果、図４に示すような２次元の相関マップＤ（ｈ，ｖ）が得られる。なお、本実施の形態においては、フレームｎに参照ブロックＢＲ１０_Ｒｅｆ、１つ前のフレームｎ−１に候補ブロックＢＲ１１を設定しているため、Ｄ（ｈ，ｖ）が最小となる位置（ｈ，ｖ）に対して、動きベクトルＶ_ｎは、次式

となる。そして相関演算実行部４４は、このようにして算出したフレームｎの各相関演算ブロックＢＲ１０の動きベクトルＶ_ｎを動きベクトル情報Ｄ２３として動きベクトル積算部４５及び動きベクトル一様性算出部４６にそれぞれ送出する。

動きベクトル積算部４５は、図５に示すように、個々の相関演算ブロックＢＲ１０について、前フレームまでの動きベクトルの積算値及び積算回数を蓄積する積算値蓄積部５０と、個々の相関演算ブロックＢＲ１０について、動きベクトル情報Ｄ２３に基づき得られる過去の動きベクトルを蓄積する過去ベクトル蓄積部５１と、個々の相関演算ブロックＢＲ１０について、前フレームまでの積算値及び積算回数を積算値蓄積部５０から読み出して更新する動きベクトル積算値更新部５２と、個々の相関演算ブロックＢＲ１０について、過去ベクトル蓄積部５１に蓄積されたデータをもとに、積算値及び積算回数を更新するか又はリセットするかを判定するリセット判定部５３とから構成されている。

この場合、リセット判定部５３は、過去ベクトル蓄積部５１に蓄積された過去の動きベクトルの情報と、相関演算実行部４４から与えられる動きベクトル情報Ｄ２３に基づき認識される現在の動きベクトルの情報とを用いて積算を継続するか又はリセットするかを制御する。例えばある相関演算ブロックＢＲ１０について、規定フレーム数（例えば0.5〔ｓ〕分のフレーム数）以上連続して動きベクトルがゼロの場合には、その相関演算ブロックＢＲ１０において動きがないものと判定し、動きベクトル積算値更新部５２に対して動きベクトルの積算値及び積算回数をリセットすべき旨の指示を与える。これに対してリセット判定部５３は、これ以外の場合には、対応する相関演算ブロックＢＲ１０において動きがあると判定し、動きベクトル積算値更新部５２に対して動きベクトルの積算値及び積算回数を更新するように指示を与える。

動きベクトル積算値更新部５２は、リセット判定部５３からの指示に応じて、積算値蓄積部５０に蓄積された各相関演算ブロックＢＲ１０についての前フレームまでの動きベクトルの積算値及び積算回数をそれぞれ更新する。

実際上、動きベクトル積算値更新部５２は、リセット判定部５３から例えば更新の指示を受けた場合、次式

のようにして、積算値蓄積部５０に蓄積されている、そのとき対象としている相関演算ブロックＢＲ１０についてのそれまでの動きベクトルの積算値及び積算回数を更新する。なお、この（３）式及び（４）式において、（ｘ，ｙ）は対応する相関演算ブロックＢＲ１０の位置座標、ＡＣＣ_ｎはフレームｎにおけるその相関演算ブロックＢＲ１０の動きベクトルのそれまでの積算値、Ｖ_ｎは動きベクトル情報Ｄ２３に基づき得られるフレームｎにおけるその相関演算ブロックＢＲ１０の動きベクトルを表し、Ｖ_ｎ（ｘ，ｙ）は次式

を満たす。またＣＮＴ_ｎはそのフレームｎまでの動きベクトルの積算回数を表す。

これに対して動きベクトル積算値更新部５２は、リセット判定部５３からリセットの指示を受けた場合には、次式

のように、積算値蓄積部５０に蓄積されている、そのとき対象としている相関演算ブロックＢＲ１０の動きベクトルのそれまでの積算値及び積算回数をリセットする。

このように動きベクトル積算値更新部５２は、各相関演算ブロックＢＲ１０について、リセットしない場合には、そのとき対象とする相関演算ブロックＢＲ１０の位置からそのフレームｎにおいて算出された動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置にある相関演算ブロックＢＲ１０の動きベクトルのそれまでの積算値及び積算回数を引き継ぐように、対象とする相関演算ブロックＢＲ１０の動きベクトルの積算値及び積算回数を更新する。そしてこのような処理により、各動きベクトルを個々にかつ時間的に積算し、動きベクトル毎の積算値及び積算回数を順次求めることができる。この結果、相関演算ブロックＢＲ１０を移動させることなく、移動物体の動きに沿って動きベクトルの積算値及び積算回数という特徴量を移動させながら順次更新していくことが可能となる。

ただし、動きベクトルを１画素単位で求めたとしても、相関演算ブロックＢＲ１０を１画素単位で配置するとは限らず、ある相関演算ブロックＢＲ１０の位置（ｘ，ｙ）から動きベクトルだけ空間的に離れた位置（ｘ−ｈ，ｙ−ｖ）に引き継ぎの相手となる相関演算ブロックＢＲ１０が存在しない場合がある。例えば図６に示すように、かかる位置（ｘ−ｈ，ｙ−ｖ）が相互に隣接する４つの相関演算ブロックＢＲ１０の中央である場合がこれに該当する。

そこでこの場合、動きベクトル積算値更新部５２は、移動物体が急に向きを変えないであろうことを前提として、かかる相関演算ブロックＢＲ１０の位置（ｘ，ｙ）から動きベクトルだけ空間的に離れた位置（ｘ−ｈ，ｙ−ｖ）の近傍に存在する複数の相関演算ブロックＢＲ１０に注目し、過去ベクトル蓄積部５１に蓄積されているこれら相関演算ブロックＢＲ１０の１つ前のフレームｎ−１における動きベクトルと、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの差分を演算する。

そして動きベクトル積算値更新部５２は、この演算結果に基づいて、差分のノルムが最小となる相関演算ブロックＢＲ１０を過去の動きベクトルの積算値及び積算回数を引き継ぐ相手に選定し、積算値蓄積部５０に蓄積されているその相関演算ブロックＢＲ１０の動きベクトルについての積算値及び積算回数を更新する。

また動きベクトル積算値更新部５２は、移動物体が急に向きを変えないであろうことを前提として、かかる相関演算ブロックＢＲ１０の位置（ｘ，ｙ）から動きベクトルだけ空間的に離れた位置（ｘ−ｈ，ｙ−ｖ）の近傍に存在する複数の相関演算ブロックＢＲ１０に注目し、過去ベクトル蓄積部５１に蓄積されているこれら相関演算ブロックＢＲ１０の１つ前のフレームｎ−１における動きベクトルの積算値と、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの内積を演算し、内積が最大となる相関演算ブロックＢＲ１０を更新元の相関演算ブロックＢＲ１０として選択する。

このようにフレームｎ−１における動きベクトルの積算値と、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの内積を演算し、動きの時間的な一様性を示す指標として用いることによって、移動物体が一定方向に運動している場合には、動きベクトルの積算値の更新を一段と安定的に継続することができる。

そして動きベクトル積算値更新部５２は、このようにして各相関演算ブロックＢＲ１０について動きベクトルの積算値及び積算回数を更新（リセットも含む）すると、この更新結果を動きベクトル積算情報Ｄ２４として次段の移動物体検出部４７に送出する。

一方、動きベクトル一様性算出部４６は、図７に示すように、個々の相関演算ブロックＢＲ１０について、前フレームまでの動きベクトルの時間的一様性を表す一様性データを蓄積する一様性データ蓄積部６０と、個々の相関演算ブロックＢＲ１０について、過去の動きベクトルを蓄積する過去ベクトル蓄積部６１と、個々の相関演算ブロックＢＲ１０について、前フレームまでの動きベクトル一様性データを一様性データ蓄積部６０から読み出して更新する動きベクトル一様性データ更新部６２と、個々の相関演算ブロックＢＲ１０について、過去ベクトル蓄積手段６１に蓄積された過去の動きベクトルの情報と、相関演算実行部４４から与えられる動きベクトル情報Ｄ２３に基づき認識される現在の動きベクトルの情報とに基づいて動きベクトル一様性データを更新するか又はリセットするかを判定するリセット判定部６３と、個々の相関演算ブロックＢＲ１０について、現フレームの動きベクトルと前フレームの動きベクトルの変化量を算出する動きベクトル変化量算出部６４とから構成されている。

この場合、過去ベクトル蓄積部６１及びリセット判定部６３は、それぞれ図５について上述した動きベクトル積算部４５の過去ベクトル蓄積部５１又はリセット判定部５３とそれぞれ同様に構成されている。

また動きベクトル変化量算出部６４は、あるフレームｎとその１つ前のフレームｎ−１との間における動きベクトルの変化量Ｃ_ｎを次式

のように算出する。なお、この（８）式において、（ｘ，ｙ）は相関演算ブロックＢＲ１０の位置座標、Ｖ_ｎ−１はフレームｎ−１における動きベクトル、Ｖ_ｎは動きベクトル情報Ｄ２３に基づき得られるフレームｎでの動きベクトルをそれぞれ表し、Ｖ_ｎ（ｘ，ｙ）は次式

を満たす。

動きベクトル一様性データ更新部６２は、リセット判定手段６３からの指示に応じて、一様性データ蓄積部６０に蓄積された各相関演算ブロックＢＲ１０についての動きベクトルの一様性データを更新する。

実際上、動きベクトル一様性データ更新部６２は、例えばリセット判定部６３から更新の指示を受けた場合、次式

のようにして、対応する相関演算ブロックＢＲ１０の一様性データを更新する。なお、この（１０）式において、（ｘ，ｙ）は対応する相関演算ブロックＢＲ１０の位置座標、ＵＮＦ_ｎはフレームｎでの動きベクトル一様性データ、ＵＮＦ_ｎ−１はフレームｎ−１での動きベクトル一様性データ、α_１は定数（ただし、０＜α_１＜１）である。

これに対して動きベクトル一様性データ更新部６２は、リセット判定部６３からリセットの指示を受けた場合には、ＵＮＦ_ｎ（ｘ，ｙ）をある初期値にリセットする。この場合において、動きベクトル一様性データ更新部６２は、次式

の場合には、次式

のように、その相関演算ブロックＢＲ１０の動きベクトル一様性データを更新する。

なお、本実施の形態においては、移動物体の動きが等速直線運動に近いほど動きベクトルの一様性が高いものとなる。因みに、移動物体の動きが等速直線運動に近いほど、ベクトル一様性データの数値が小さくなる。

このように動きベクトル一様性算出部４６は、各相関演算ブロックＢＲ１０について、リセットしない場合には、その相関演算ブロックＢＲ１０の位置からそのフレームｎにおいて算出された動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置にある相関演算ブロックＢＲ１０の前フレームまでの動きベクトル及び動きベクトル一様性データを引き継いで動きベクトル変化量を求め、さらに一様性データの更新を行う。そしてこのような処理により、各動きベクトルについて、個別に時間的な一様性をそれぞれ求めることができる。この結果、相関演算ブロックＢＲ１０を移動させることなく、移動物体の動きに沿って動きベクトルの一様性データという特徴量を移動させながら順次更新していくことが可能となる。

ただし、動きベクトル積算部４５（図５）について上述したように、動きベクトルを１画素単位で求めたとしても、相関演算ブロックＢＲ１０が１画素単位で配置するとは限らず、ある相関演算ブロックＢＲ１０の位置（ｘ，ｙ）から動きベクトルだけ空間的に離れた位置（ｘ−ｈ，ｙ−ｖ）に引き継ぎの相手となる相関演算ブロックが存在しない場合がある。

そこでこの場合、動きベクトル一様性データ更新部６２は、上述した動きベクトル積算部４５と同様に、かかる相関演算ブロックＢＲ１０の位置（ｘ，ｙ）から動きベクトルだけ空間的に離れた位置（ｘ−ｈ，ｙ−ｖ）の近傍に存在する複数の相関演算ブロックＢＲ１０の中から動きベクトルの一様性データを引き継ぐ相関演算ブロックＢＲ１０を求めて、その相関演算ブロックＢＲ１０についての動きベクトルの一様性データを更新する。

そして動きベクトル一様性データ更新部６２は、このようにして各相関演算ブロックＢＲ１０について動きベクトルの一様性データを更新（リセットも含む）すると、この更新結果を動きベクトル一様性情報Ｄ２５として次段の移動物体検出部４７に送出する。

移動物体検出部４７は、個々の相関演算ブロックＢＲ１０について、動きベクトル積算部４５から与えられる動きベクトル積算情報Ｄ２４に基づき得られる動きベクトルの時間的な積算値及び積算回数と、動きベクトル一様性算出部４６から与えられる動きベクトル一様性情報Ｄ２５に基づき得られる動きベクトルの時間的な一様性データとを用い、図８に示す第１の移動物体検出処理手順ＲＴ１に従って、画像入力部４１（図１）を介して入力した画像データＤ２０（図１）に基づく画像内に存在する移動物体を検出する。

すなわち移動物体検出部４７は、動きベクトル積算部４５及び動きベクトル一様性算出部４６から同期して１個の相関演算ブロックＢＲ１０分のデータが与えられる毎にこの第１の移動物体検出処理手順ＲＴ１をステップＳＰ０において開始し、続くステップＳＰ１において、動きベクトルの積算回数が当該積算回数について予め設定された第１の閾値ＣＮＴ_ｔｈ以上であるか否かを判断する。

そして移動物体検出部４７は、このステップＳＰ１において否定結果を得ると、ステップＳＰ４に進んでその相関演算ブロックＢＲ１０には移動物体がないと判定し、この後ステップＳＰ６に進んでこの第１の移動物体検出処理手順ＲＴ１を終了する。

これに対して移動物体検出部４７は、ステップＳＰ１において肯定結果を得ると、ステップＳＰ２に進んで、動きベクトルの積算値のノルムが当該積算値のノルムについて予め設定された第２の閾値ＡＣＣ_ｔｈ以上であるか否かを判断する。

そして移動物体検出部４７は、このステップＳＰ２において否定結果を得ると、ステップＳＰ４に進んでその相関演算ブロックＢＲ１０には移動物体がないと判定し、この後ステップＳＰ６に進んでこの第１の移動物体検出処理手順ＲＴ１を終了する。

これに対して移動物体検出部４７は、ステップＳＰ２において肯定結果を得ると、ステップＳＰ３に進んで、動きベクトルの一様性データが当該一様性データについて予め設定された第３の閾値ＵＮＦ_ｔｈ以下であるか否かを判断する。

そして移動物体検出部４７は、このステップＳＰ３において否定結果を得ると、ステップＳＰ４に進んでその相関演算ブロックＢＲ１０には移動物体がないと判定し、この後ステップＳＰ６に進んでこの第１の移動物体検出処理手順ＲＴ１を終了する。

これに対して移動物体検出部４７は、ステップＳＰ３において肯定結果を得ると、ステップＳＰ５に進んで、その相関演算ブロックＢＲ１０には移動物体があると判定し、この後ステップＳＰ６に進んでこの第１の移動物体検出処理手順ＲＴ１を終了する。

このようにして移動物体検出部４７は、動きベクトル積算部４５により算出された動きベクトル毎の積算回数及び積算値と、動きベクトル一様性算出部４６により算出された動きベクトル毎の一様性に基づいてその動きベクトルが移動物体のものであるか否かを判定し、これにより画像内の移動物体を検出する。

ここで、図９は、人物や車両などの移動物体による動きベクトルの積算結果を示すものである。この図９において、１つの矢印はあるフレームでの動きベクトルを表す（以下の図１０〜図１３においても同様）。人物や車両が移動する場合、大きさと向きがほぼ一定の動きベクトルがある程度の時間継続して発生する。従って、この場合には、移動物体検出部４７においてかかる第１の移動物体検出処理手順ＲＴ１に従った処理により移動物体であると判定されることとなる。

これに対して図１０は、風による木々の揺れに代表される、振動的な背景変動による動きベクトルの積算を示すものである。この図１０からも明らかなように、動きが振動的である場合、動きベクトルの積算値のノルムが大きくならないため、移動物体検出部４７において移動物体として検出されない。

また図１１は、夜間におけるヘッドライトの乱反射による動きベクトルなど、短時間のランダムな動きベクトルの積算を示している。この場合も動きベクトルの積算値のノルムが大きくならないため、移動物体検出部４７において移動物体として検出されない。

一方、図１２は、照明のオン／オフなど、急激な照明変動による動きベクトルの積算を示している。急激な照明変動が発生すると、移動物体が存在しないにもかかわらず、誤って大きな動きベクトルが検出され、積算値のノルムが第２の閾値ＡＣＣ_ｔｈを超えてしまう場合がある。しかしながら、この場合には、動きベクトルが発生するのは極めて短時間（数フレーム）に限られ、動きベクトルの積算回数が第１の閾値ＣＮＴ_ｔｈを超えないため、移動物体検出部４７において移動物体として検出されない。

他方、図１３は、強風にあおられ続ける旗やランダムノイズ等による、長時間持続するランダムな動きベクトルの積算を示している。動きベクトルが時間的にランダムであっても、長時間積算されると動きベクトルの積算値のノルムが第２の閾値ＡＣＣ_ｔｈを超える場合がある。しかしながら、この場合には、動きベクトルの時間的一様性が低いため、移動物体検出部４７において移動物体として検出されない。

従って、個々の動きベクトルの積算回数及び積算値並びに一様性という３つの特徴量を組み合わせて判定することで、風で揺れる木々などの自然界に存在する移動物体によるものでない動きや、十分な照明が得られない環境下に監視カメラが設置された場合のランダムノイズによる影響を排除しながら、画像内の移動物体を確実に検出し得ることが分かる。

次に、図１４に示すように、風で揺れる木々のような動きのある背景ＢＧの前を人物ＨＵが通過する場合について説明する。

図１５は、図１４の幾つかの相関演算ブロックＢＲ１０について、動きベクトルの積算値、積算回数、時間的一様性が時間的に引き継がれる経路を点線で示したものである。時間ｔ１、ｔ２、ｔ３（ｔ１＜ｔ２＜ｔ３）を通じて人物ＨＵは一方向に動き続けるのに対して、背景変動は周期的又はランダムに向きが変化する。

この結果、図１５において「Ａ」で示す人物ＨＵ上の相関演算ブロックＢＲ１０においては、図９について上述したように動きベクトルが積算され、移動物体として検出される。また図１５において「Ｂ」及び「Ｃ」で示す背景変動上の相関演算ブロックＢＲ１０においては、図１０又は図１１について上述したように動きベクトルが積算されるため、移動物体として認識されない。

このように本実施の形態による移動物体検出装置４０では、個々の相関演算ブロックＢＲ１０について独立に動きを解析するため、背景変動と移動物体が重なる場合でも移動物体の検出が可能となる。

またこの移動物体検出装置４０では、移動物体の追跡の際に、相関演算ブロックＢＲ１０を移動させることなく、常に画面全体又は移動物体の検出を意図する領域全体に相関演算ブロックＢＲ１０を固定的に配置するようにしているため、例えば図１６のように一人目の人物ＨＵ１が画面内に現れ、その後これに続いて二人目の人物ＨＵ２が画面内に現れた場合においても、この二人目の人物ＨＵ２を移動物体として確実に検出することができる。

（１−２）本実施の形態の動作及び効果
以上の構成において、この移動物体検出装置４０では、入力する画像データＤ２０に基づき検出される各々の動きベクトルを個別にかつ時間的に積算してその積算値及び積算回数を算出する一方、これら各々の動きベクトルの一様性を検出し、各動きベクトルの積算値及び積算回数並びに一様性に基づいて移動物体を検出する。

従って、この移動物体検出装置４０では、従来のように最初に検出の対象とする領域を規定することなく、常に個々の相関演算ブロックＢＲ１０について独立に動きを解析するため、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても、移動物体を確実に検出することができる。

またこの移動物体検出装置４０では、常に画面全体又は移動物体の検出を意図する領域全体に相関演算ブロックＢＲ１０を固定的に配置するようにしているため、複数の移動物体が続けて画面内に現れた場合においても、これらの移動物体をそれぞれ確実に検出することができる。さらに相関演算ブロックＢＲ１０を固定的に配置する分、かかる検出処理を簡易に行うことができ、この結果、装置構成を簡易化することもできる。

以上の構成によれば、入力する画像データに基づき検出される各々の動きベクトルを個別にかつ時間的に積算してその積算値及び積算回数を算出する一方、これら各々の動きベクトルの一様性を検出し、各動きベクトルの積算値及び積算回数並びに一様性に基づいて移動物体を検出するようにしたことにより、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても移動物体を確実に検出することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

（２）第２の実施の形態
（２−１）第２の実施の形態による移動物体検出装置の構成
図１との対応部分に同一符号を付して示す図１７は、第２の実施の形態による移動物体検出装置を示し、動きベクトル一様性算出部７１における動きベクトルの時間的な一様性の算出手法と、これに伴う移動物体検出部７２における移動物体の検出手法が異なる点を除いて第１の実施の形態による移動物体検出装置４０（図１）と同様に構成されている。

この場合動きベクトル一様性算出部７１は、図７との対応部分に同一符号を付した図１８に示すように、動きベクトル変化量算出部８０及び動きベクトル一様性データ更新部８１の構成が異なる点を除いて第１の実施の形態による動きベクトル一様性算出部４６（図７）と同様の構成を有する。

そしてこの第２の実施の形態の場合、動きベクトル変化量算出部８０は、相関演算ブロックＢＲ１０毎に、フレームｎとその１つ前のフレームｎ−１との間における動きベクトルの変化量Ｃ_ｎを、次式

のように算出する。

ここでこの（１３）式において、（ｘ，ｙ）は相関演算ブロックＢＲ１０の位置座標、Ｖ_ｎ−１はフレームｎ−１における動きベクトルを表し、Ｖ_ｎはフレームｎにおける動きベクトルで次式

を満たす。また（１３）式の右辺の分子はＶ_ｎ（ｘ，ｙ）とＶ_ｎ−１（ｘ−ｈ，ｙ−ｖ）との内積を表す。従って、変化量Ｃ_ｎ（ｘ，ｙ）は、２つの動きベクトルＶ_ｎ（ｘ，ｙ）とＶ_ｎ−１（ｘ−ｈ，ｙ−ｖ）とがなす角の余弦（コサイン）に等しい。

つまり第２の実施の形態においては、あるフレームｎでの動きベクトルＶ_ｎと、その１つの前のフレームｎ−１での動きベクトルＶ_ｎ−１とのなす角に基づいて各動きベクトルの変化量を算出する。そして動きベクトル変化量算出部８０は、このようにして得られた相関演算ブロックＢＲ１０毎の変化量Ｃ_ｎを順次動きベクトル一様性データ更新部８１に送出する。

動きベクトル一様性データ更新部８１は、リセット判定部６３からの指示に応じて、各相関演算ブロックＢＲ１０の動きベクトルの積算値及び積算回数を更新する。

実際上、動きベクトル一様性データ更新部８１は、リセット判定部６３から例えば更新の指示を受けた場合、次式

のようにして、一様性データ蓄積部６０に蓄積された各相関演算ブロックＢＲ１０のうちの対応する相関演算ブロックＢＲ１０の一様性データＵＮＦ２_ｎ（ｘ，ｙ）を更新する。なお、この（１５）式において、（ｘ，ｙ）は対象としている相関演算ブロックＢＲ１０の位置座標、ＵＮＦ_ｎはフレームｎでの動きベクトル一様性データ、ＵＮＦ_ｎ−１はフレームｎ−１での動きベクトル一様性データ、α_２は定数（ただし、０＜α_２＜１）をそれぞれ表す。

これに対して動きベクトル一様性データ更新部８１は、リセット判定部６３からリセットの指示を受けた場合には、一様性データ蓄積部６０に蓄積された各相関演算ブロックＢＲ１０のうちの対応する相関演算ブロックＢＲ１０の一様性データＵＮＦ_ｎ（ｘ，ｙ）をある初期値にリセットする。この場合において、動きベクトル一様性データ更新部８１は、次式

又は次式

の場合には、次式

のように、その相関演算ブロックＢＲ１０の動きベクトル一様性データＵＮＦ_ｎ（ｘ，ｙ）を更新する。

なお、本実施の形態においては、動きベクトルの向きが変化しない場合ほど（すなわち移動物体が直線運動に近いほど）、動きベクトルの一様性が高いものとなる。因みに、動きベクトル一様性データは、「−１」から「１」までの値をとり、移動物体の動きが直線運動に近いほど「１」に近づく（数値が大きくなる）。

このように動きベクトル一様性算出部７１は、各相関演算ブロックＢＲ１０について、リセットしない場合には、その相関演算ブロックＢＲ１０の位置からそのフレームｎにおいて算出された動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置にある相関演算ブロックＢＲ１０の前フレームまでの動きベクトル及び動きベクトル一様性データを引き継いで動きベクトル変化量を求め、さらに一様性データの更新を行う。そしてこのような処理により、各動きベクトルについて、個別に時間的な一様性をそれぞれ求めることができる。この結果、相関演算ブロックＢＲ１０を移動させることなく、移動物体の動きに沿って動きベクトルの一様性データという特徴量を追跡しながら順次更新していくことが可能となる。

ただし、動きベクトルを１画素単位で求めたとしても、相関演算ブロックＢＲ１０を１画素単位で配置するとは限らず、第１の実施の形態において上述したように、ある相関演算ブロックＢＲ１０の位置（ｘ，ｙ）から動きベクトルだけ空間的に離れた位置（ｘ−ｈ，ｙ−ｖ）に引き継ぎの相手となる相関演算ブロックＢＲ１０が存在しない場合がある。

そこでこの場合、動きベクトル一様性データ更新部８１は、上述した第１の実施の形態の動きベクトル積算部４６（図７）と同様にして、かかる相関演算ブロックＢＲ１０の位置（ｘ，ｙ）から動きベクトルだけ空間的に離れた位置（ｘ−ｈ，ｙ−ｖ）の近傍に存在する複数の相関演算ブロックＢＲ１０の中から動きベクトルの一様性データを引き継ぐ相関演算ブロックＢＲ１０を求めて、その相関演算ブロックＢＲ１０についての動きベクトルの一様性データを更新する。

そして動きベクトル一様性更新部８１は、このようにして各相関演算ブロックＢＲ１０について動きベクトルの一様性データを更新（リセットも含む）すると、この更新結果を動きベクトル一様性情報Ｄ３０として次段の移動物体検出部７２に送出する。

移動物体検出部７２は、個々の相関演算ブロックＢＲ１０について、動きベクトル積算部４５から与えられる動きベクトル積算情報Ｄ２４に基づき得られる動きベクトルの時間的な積算値及び積算回数と、動きベクトル一様性算出部７１から与えられる動きベクトル一様性情報Ｄ３０に基づき得られる動きベクトルの時間的な一様性データとを用い、図１９に示す第２の移動物体検出処理手順ＲＴ２に従って、画像入力部４１（図１７）を介して入力した画像データＤ２０に基づく画像内に存在する移動物体を検出する。

この場合この第２の移動物体検出処理手順ＲＴ２は、ステップＳＰ１３において、動きベクトルの一様性データが当該一様性データについて予め設定された第３の閾値ＵＮＦ_ｔｈ以上であるか否かを判断する点を除いて第１の移動物体検出処理手順ＲＴ１と同様である。

このようにして移動物体検出部７２は、各相関演算ブロックＢＲ１０について、動きベクトルの積算回数、積算値及び一様性データがいずれもこれらについて定められた第１〜第３の閾値ＣＮＴ_ｔｈ、ＡＣＣ_ｔｈ、ＵＮＦ_ｔｈ以上である場合にのみ、その相関演算ブロックＢＲ１０について移動物体があると判定する。

ここで図２０に、等速ではないが直線運動する物体による動きベクトルの積算結果を示す。人物や車両が加速又は減速する場合にこの図２０のように向きが一定の動きベクトルが継続的に発生する。一方、図１０及び図１１について上述したように、風で揺れる木々やランダムノイズによっては向きが一定の動きベクトルが継続的に発生することはない。従って、このように向きが一定の動きベクトルが継続的に発生する動きをする物体については、移動物体として検出することができる。そして本実施の形態においては、動きベクトルの向きの変化に基づいて動きベクトルの一様性を算出するため、等速ではないが直線運動する物体を移動物体として検出することができる。

（２−２）本実施の形態の動作及び効果
以上の構成において、この移動物体検出装置７０では、あるフレームｎでの動きベクトルＶ_ｎと、その１つの前のフレームｎ−１での動きベクトルＶ_ｎ−１とのなす角に基づいて各動きベクトルの変化量を算出し、当該算出した変化量に基づいて、各動きベクトルの時間的な一様性を算出する。

そして移動物体検出装置７０では、このようにして算出した各動きベクトルの一様性と、入力する画像データＤ１に基づき検出される各動きベクトルを個別にかつ時間的に積算することにより得られたその積算値及び積算回数とに基づいて移動物体を検出する。

従って、この移動物体検出装置７０も第１の実施の形態による移動物体検出装置４０（図１）と同様に、従来のように最初に検出の対象とする領域を規定することなく、常に個々の相関演算ブロックＢＲ１０について独立に動きを解析するため、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても、移動物体を確実に検出することができる。

以上の構成によれば、入力する画像データに基づき検出される各々の動きベクトルを個別にかつ時間的に積算してその積算値及び積算回数を算出する一方、これら各々の動きベクトルの一様性をあるフレームｎでの動きベクトルＶ_ｎと、その１つの前のフレームｎ−１での動きベクトルＶ_ｎ−１とのなす角に基づいて検出し、各動きベクトルの積算値及び積算回数並びに一様性に基づいて移動物体を検出するようにしたことにより、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても移動物体を確実に検出することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

（３）他の実施の形態
なお上述の実施の形態においては、本発明を、映像監視システム等の監視システムに適用される移動物体検出装置４０、７０に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステムにおける移動物体の検出装置として広く適用することができる。

また上述の実施の形態においては、相関演算ブロックＢＲ１０を図２のように隙間なく配置するようにした場合について述べたが、本発明はこれに限らず、隙間を開けて配置しても良く、さらには相関演算ブロックＢＲ１０の一部が互いに重なるように配置しても良い。ただし配置される個々の相関演算ブロックＢＲ１０の位置は、時間によって変化せず、常に一定とする必要がある。なお、配置される個々の相関演算ブロックＢＲ１０の大きさについては、一定とする必要はない。

さらに上述の実施の形態においては、図３について上述したように、相関演算ブロックＢＲ１０をｍ×ｍ画素の正方形状に設定するようにした場合について述べたが、本発明はこれに限らず、相関演算ブロックＢＲ１０の形状としては、この他種々の形状を広く適用することができる。

本発明は、映像監視システム等の監視システムのほか、画像内の移動物体を検出し、当該検出結果に基づいて種々の処理を実行する各種システムに適用できる。

第１の実施の形態による移動物体検出装置の構成を示すブロック図である。 相関演算ブロックの配置例を示す概念図である。 相関演算の説明に供する概念図である。 相関マップを示す概念図である。 動きベクトル積算部の構成を示すブロック図である。 動きベクトルの積算値及び積算回数の引き継ぎ相手となる相関演算ブロックＢＲ１０が存在しない場合の一例の説明に供する概念図である。 第１の実施の形態による動きベクトル一様性算出部の構成を示すブロック図である。 第１の移動物体検出処理手順を示すフローチャートである。 人物や車の動きによる動きベクトルの積算の説明に供する概念図である。 振動的な背景変動による動きベクトルの積算の説明に供する概念図である。 短時間のランダムな動きによる動きベクトルの積算の説明に供する概念図である。 瞬間的な照明変動による動きベクトルの積算の説明に供する概念図である。 長時間持続するランダムな動きによる動きベクトルの積算の説明に供する概念図である。 本実施の形態による移動物体検出装置における移動物体と背景変動とが重なった場合での移動物体の検出の説明に供する概念図である。 移動物体と背景変動とが重なるシーンにおける時間経過に伴う動きベクトルの積算の説明に供する概念図である。 本実施の形態による移動物体検出装置における連続して二人の人物が画面内に現れた場合の追跡処理の説明に供する概念図である。 第２の実施の形態による移動物体検出装置の構成を示すブロック図である。 第２の実施の形態による動きベクトル一様性算出部の構成を示すブロック図である。 第２の移動物体検出処理手順を示すフローチャートである。 等速ではないが直線運動する移動物体による動きベクトルの積算の説明に供する概念図である。 従来の移動物体検出装置の構成を示すブロック図である。 図２１の移動物体検出装置における移動物体の検出方法の説明に供する概念図である。 従来の移動物体検出装置の構成を示すブロック図である。 画像変化抽出部の構成を示すブロック図である。 従来の移動物体検出装置における問題点の説明に供する概念図である。 従来の移動物体検出装置における問題点の説明に供する概念図である。 従来の移動物体検出装置における問題点の説明に供する概念図である。 従来の移動物体検出装置における問題点の説明に供する概念図である。 従来の移動物体検出装置における問題点の説明に供する概念図である。

符号の説明

４０、７０……移動物体検出装置、４２……相関演算ブロック配置部、４３……過去画像蓄積部、４４……相関演算実行部、４５……動きベクトル積算部、４６、７１……動きベクトル一様性算出部、４７、７２……移動物体検出部、５０……積算値蓄積部、５１、６１……過去ベクトル蓄積部、５２……動きベクトル積算値更新部、５３、６３……リセット判定部、６０……一様性データ蓄積部、６２、８１……動きベクトル一様性データ更新部、６４、８０……動きベクトル変化量算出部、Ｄ２４……動きベクトル積算情報、Ｄ２５、Ｄ３０……動きベクトル一様性情報、ＢＲ１０……相関演算ブロック、Ｖ_ｎ……動きベクトル、ＣＮＴ_ｔｈ……第１の閾値、ＡＣＣ_ｔｈ……第２の閾値、ＵＮＦ１_ｔｈ、ＵＮＦ２_ｔｈ……第３の閾値、ＲＴ１……第１の移動物体検出処理手順、ＲＴ２……第２の移動物体検出処理手順。

Claims (16)

1. 入力画像から動きベクトルを算出する動きベクトル算出手段と、
   過去の各上記動きベクトルの積算値及び積算回数を蓄積する積算値蓄積手段と、
   上記積算値蓄積手段に蓄積された各上記動きベクトルの上記積算値及び上記積算回数を、現在の動きベクトルと、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における上記積算値及び上記積算回数とを用いて更新する積算値更新手段と、
   過去の各上記動きベクトルを蓄積する過去ベクトル蓄積手段と、
   現在の動きベクトルと、上記過去ベクトル蓄積手段に蓄積された上記各動きベクトルとから、各上記動きベクトルの変化量を算出する動きベクトル変化量算出手段と、
   過去の各上記動きベクトルの上記時間的な一様性を表す特徴量を蓄積する一様性データ蓄積手段と、
   上記一様性データ蓄積手段に蓄積された各上記動きベクトルの上記特徴量を、上記動きベクトル変化量算出手段により算出された上記動きベクトルの変化量と、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における上記過去の特徴量とを用いて更新する一様性データ更新手段と、
   上記動きベクトル毎の上記積算値及び上記積算回数並びに上記動きベクトル毎の時間的な一様性を表す特徴量が、それぞれ所定の閾値と所定の大小関係にある場合に、各上記動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出手段と
   を具える移動物体検出装置。
2. 上記動きベクトル算出手段は、
   過去の上記入力画像を蓄積する過去画像蓄積手段と、
   現在の上記入力画像に複数の領域を配置し、当該領域ごとに上記過去画像蓄積手段から読み出した上記過去の入力画像との間で相関演算を実行するようにして、上記動きベクトルを算出する相関演算手段と
   を具え、
   上記相関演算手段は、
   各上記領域を、常に一定位置となるようにそれぞれ配置する
   請求項１に記載の移動物体検出装置。
3. 上記積算値更新手段は、
   上記積算値及び上記積算回数を、現在の動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置について、過去の動きベクトルと現在の動きベクトルの差分が最小のものを１つ選択し、又は過去の動きベクトル積算値と現在の動きベクトルの内積が最大のものを選択して更新する
   請求項１に記載の移動物体検出装置。
4. 上記積算値更新手段は、
   過去の上記動きベクトルを蓄積する過去ベクトル蓄積手段
   を具え、
   上記積算値更新手段は、
   上記積算値蓄積手段に蓄積された各上記動きベクトルの上記積算値及び上記積算回数のうち、上記過去ベクトル蓄積手段に蓄積された過去の上記動きベクトルと、上記動きベクトル算出手段により算出された現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記積算値及び上記積算回数をリセットする
   請求項１に記載の移動物体検出装置。
5. 上記一様性データ更新手段は、
   各上記動きベクトルの上記特徴量を、現在の当該動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における上記過去の特徴量を用いて更新する
   請求項１に記載の移動物体検出装置。
6. 上記一様性データ更新手段は、
   上記一様性データ蓄積手段に蓄積された各上記動きベクトルの上記一様性を表す特徴量のうち、上記過去ベクトル蓄積手段に蓄積された過去の上記動きベクトルと、上記動きベクトル算出手段により算出された現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記一様性を表す特徴量をリセットする
   請求項１に記載の移動物体検出装置。
7. 上記動きベクトル変化量算出手段は、
   現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルを上記過去ベクトル蓄積手段から読み出し、読み出した上記過去の動きベクトルと上記現在の動きベクトルとの差分ベクトルを求め、当該差分ベクトルのノルムと上記現在の動きベクトルのノルムとに基づいて上記動きベクトルの上記変化量を求める
   請求項５に記載の移動物体検出装置。
8. 上記動きベクトル変化量算出手段は、
   現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルを上記過去ベクトル蓄積手段から読み出し、読み出した上記過去の動きベクトルと上記現在の動きベクトルとがなす角度に基づいて上記動きベクトルの上記変化量を求める
   請求項５に記載の移動物体検出装置。
9. 入力画像から動きベクトルを算出する動きベクトル算出ステップと、
   過去の各上記動きベクトルの積算値及び積算回数を蓄積する積算値蓄積ステップと、
   上記積算値蓄積ステップにおいて蓄積された各上記動きベクトルの上記積算値及び上記積算回数を、現在の動きベクトルと、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における上記積算値及び上記積算回数とを用いて更新する積算値更新ステップと、
   過去の各上記動きベクトルを蓄積する過去ベクトル蓄積ステップと、
   現在の動きベクトルと、上記過去ベクトル蓄積ステップにおいて蓄積された上記各動きベクトルとから、各上記動きベクトルの変化量を算出する動きベクトル変化量算出ステップと、
   過去の各上記動きベクトルの上記時間的な一様性を表す特徴量を蓄積する一様性データ蓄積ステップと、
   上記一様性データ蓄積ステップにおいて蓄積された各上記動きベクトルの上記特徴量を、上記動きベクトル変化量算出ステップにおいて算出された上記動きベクトルの変化量と、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における上記過去の特徴量とを用いて更新する一様性データ更新ステップと、
   上記動きベクトル毎の上記積算値及び上記積算回数並びに上記動きベクトル毎の時間的な一様性を表す特徴量が、それぞれ所定の閾値と所定の大小関係にある場合に、各上記動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップと
   を具える移動物体検出方法。
10. 上記動きベクトル算出ステップは、
    過去の上記入力画像を蓄積する過去画像蓄積ステップと、
    現在の上記入力画像に複数の領域を配置し、当該領域ごとに上記過去画像蓄積ステップにおいて蓄積した上記過去の入力画像との間で相関演算を実行するようにして、上記動きベクトルを算出する相関演算ステップと
    を具え、
    上記相関演算ステップでは、
    各上記領域を、常に一定位置となるようにそれぞれ配置する
    請求項９に記載の移動物体検出方法。
11. 上記積算値更新ステップでは、
    上記積算値及び上記積算回数を、現在の当該動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置について、過去動きベクトルと現在の動きベクトルの差分が最小のものを１つ選択し、又は過去の動きベクトル積算値と現在の動きベクトルの内積が最大のものを選択して更新する
    請求項９に記載の移動物体検出方法。
12. 上記積算値更新ステップは、
    過去の上記動きベクトルを蓄積する過去ベクトル蓄積ステップ
    を具え、
    上記積算値更新ステップでは、
    上記積算値蓄積ステップにおいて蓄積された各上記動きベクトルの上記積算値及び上記積算回数のうち、上記過去ベクトル蓄積ステップにおいて蓄積された過去の上記動きベクトルと、上記動きベクトル算出ステップにおいて算出された現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記積算値及び上記積算回数をリセットする
    請求項９に記載の移動物体検出方法。
13. 上記一様性データ更新ステップでは、
    各上記動きベクトルの上記特徴量を、現在の当該動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置における上記過去の特徴量を用いて更新する
    請求項９に記載の移動物体検出方法。
14. 上記一様性データ更新ステップでは、
    上記一様性データ蓄積ステップにおいて蓄積された各上記動きベクトルの上記一様性を表す特徴量のうち、上記過去ベクトル蓄積ステップにおいて蓄積された過去の上記動きベクトルと、上記動きベクトル算出ステップにおいて算出された現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記一様性を表す特徴量をリセットする
    請求項９に記載の移動物体検出方法。
15. 上記動きベクトル変化量算出ステップでは、
    現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルと、上記現在の動きベクトルとの差分ベクトルを求め、当該差分ベクトルのノルムと上記現在の動きベクトルのノルムとに基づいて上記動きベクトルの上記変化量を求める
    請求項１３に記載の移動物体検出方法。
16. 上記動きベクトル変化量算出ステップでは、
    現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルと、上記現在の動きベクトルとがなす角度に基づいて上記動きベクトルの上記変化量を求める
    請求項１３に記載の移動物体検出方法。

Images