JP4623368B2 - 移動物体検出装置、移動物体検出方法及びプログラム - Google Patents

Description

本発明は、移動物体検出装置、移動物体検出方法及びプログラムに関し、例えば映像監視システムに採用される移動物体検出装置に適用して好適なものである。

近年、防犯管理上の理由からビルや倉庫などにおいて、移動物体検出装置が搭載された映像監視システムが広く採用されている。この移動物体検出装置は、監視カメラから出力される画像信号を処理することにより、当該画像信号に基づく画像内の移動物体を検出し得るようになされたものである。

この場合、このような移動物体検出装置を構築するに際しては、水面上の波による光の乱反射や風で揺れる草木などの自然界に存在する外乱、さらに強風で激しくたなびく旗や夜間におけるヘッドライトの乱反射、照明のオン又はオフによる急激な照明変動などの人工物による外乱に影響されることなく、画像内に存在する移動物体を正確に検知できるような工夫が必要となる。

そこで、従来、このような要求に答えるべく、監視カメラから与えられる画像信号に基づく画像内の動きのある画像領域を検出すると共にこの画像領域の動きを規定時間追跡し、追跡した動きが移動物体のものであるか否かを判断するようにして移動物体を検出する移動物体検出装置が提案されている（例えば特許文献１及び非特許文献１参照）。

また、移動物体検出装置として、これ以外にも、監視カメラから与えられる画像信号に基づく画像の変化を抽出してその変化の生じた領域を変化領域として設定し、設定した変化領域内に複数の相関演算ブロックを配置して相関演算ブロック毎に相関演算を行い、当該相関演算の結果に基づいて移動物体を検出し得るようになされたものも提案されている（例えば特許文献２参照）。

ここで、図３９は、かかる非特許文献１において開示された従来の移動体検出装置１の構成を示すものである。

この移動物体検出装置１においては、監視カメラ等から供給される画像データＤ１を画像入力部２を介して検知ブロック設定部３に入力し、当該画像データＤ１に基づく画像を検知ブロック設定部３において図４０（Ａ）のように複数の検知ブロック（領域）ＢＲ１（図４０（Ａ）において点線で囲まれた部分）に分割した後に、これら各検知ブロックＢＲ１の画像データを検知ブロックデータＤ２として相関演算ブロック配置部４に順次送出する。

この場合において、最初の分割方法は固定であり、従って各検知ブロックＢＲ１の初期位置及び大きさは常に一定となる。ただし、位置については後述のように検知ブロックＢＲ１が追跡状態に遷移した場合に、後段の空間的動き一様性判定部９から与えられるその検知ブロックＢＲ１の動きベクトルに基づく代表動きベクトルのベクトル情報Ｄ８に基づいて当該検知ブロックＢＲ１が図４０（Ｂ）のように順次移動される。

相関演算ブロック配置部４は、検知ブロック設定部３から供給される各検知ブロックデータＤ２に対して、各検知ブロックＢＲ１をそれぞれさらに複数の相関演算ブロックＢＲ２に分割する処理を行い、これら各相関演算ブロックＢＲ２（図４０（Ａ）において罫線で囲まれた部分）の画像データを相関演算ブロックデータＤ３として相関演算実行部６に送出する。従って、前段の検知ブロック設定部３による処理によって検知ブロックＢＲ１の位置が移動した場合には、当該検知ブロックＢＲ１に含まれる各相関演算ブロックＢＲ２の位置もそれに合わせて移動することとなる。

一方、画像入力部２を介して入力した画像データＤ１は、過去画像蓄積部５にも与えられ、この過去画像蓄積部５において順次蓄積される。そして、この過去画像蓄積部５に蓄積された画像データＤ１は、この後相関演算ブロック配置部４から相関演算ブロックデータＤ３が相関演算実行部６に与えられるタイミングで、１フレーム前の画像のその相関演算ブロックＢＲ２と同じ位置及び同じ大きさの画像部分の画像データＤ１が切り取られて遅延画像データＤ４として相関演算実行部６に読み出される。

相関演算実行部６は、相関演算ブロック配置部４から与えられる相関演算ブロックデータＤ３と、過去画像蓄積部５から読み出した遅延画像データＤ４とに基づいて、相関演算ブロックＢＲ２毎に現在の画像と過去の画像との相関演算を行い、当該演算結果に基づいて各相関演算ブロックＢＲ２の相関値マップを生成する。そして相関演算実行部６は、相関値マップの原点から最小値を与える点に向かうベクトルをその相関演算ブロックＢＲ２の動きベクトルとする。

このとき相関値マップの最小値が明確な負のピークを形成している場合は動きベクトルの信頼度が高く、そうでない場合は信頼度が低いと判断できる。そこで相関演算実行部６は、動きベクトルの大きさが「０」でなく、かつ相関値マップの最小値が明確な負のピークを形成している場合にはその相関演算ブロックＲＢ２に「動きがある」と判定し、そうでない場合には「動きがない」と判定して、判定結果を相関演算結果情報Ｄ５として初期検知部７に送出する。

初期検知部７は、供給される相関演算結果情報Ｄ５に基づいて、検知ブロックＢＲ１毎に「動きがある」と判定された相関演算ブロックＢＲ２の数をカウントし、その数が規定個数以上あったときにはその検知ブロックＢＲ１について「動きがある」と判定し、判定結果を初期検知判定情報Ｄ６として空間的動きベクトル統合部８に送出する。なお、「動きがある」と判定された検知ブロックＢＲ１は、この後追跡状態（図４０（Ｂ））に遷移することとなる。

空間的動きベクトル統合部８は、初期検知判定情報Ｄ６に基づいて、「動きがある」と判定された各検知ブロックＢＲ１について、検知ブロックＢＲ１内のすべての相関演算ブロックＢＲ２の相関値マップを累積し、累積結果を空間的動きベクトル統合情報Ｄ７として空間的動き一様性判定部９に送出する。

空間的動き一様性判定部９は、供給される空間的動きベクトル統合情報Ｄ７に基づいて、初期検知部７により「動きがある」と判定された各検知ブロックＢＲ１について、それぞれ累積された相関値マップの原点から最小値を与える点に向かうベクトルを動きベクトル（図４０（Ａ）における矢印）として求め、さらにその動きベクトルの大きさが「０」でなく、かつ累積された相関値マップの最小値が明確な負のピークを形成している場合には当該動きベクトルをその検知ブロックＢＲ１の代表的な動きベクトル（以下、これを代表動きベクトルと呼ぶ）とする。

そして空間的動き一様性判定部９は、このようにして得られた代表動きベクトルのベクトル情報Ｄ８を検知ブロック設定部３に送出する。この結果、検知ブロック設定部３は、このベクトル情報Ｄ８に基づいて、初期検知部３によって「動きがある」と判定された各検知ブロックＢＲ１を追跡状態に遷移させ、これら検知ブロックＢＲ１を、図４０（Ｂ）のように、ベクトル情報Ｄ８に基づき得られる代表動きベクトルの向きにその大きさだけ順次移動させる。これにより「動きがある」と判定された各検知ブロックＢＲ１について「動き」を検出することが可能となる。そしてこのような「動きがある」検知ブロックの追跡処理が規定の追跡期間が経過するまで繰り返される。

また空間的動き一様性判定部９は、追跡状態にある各検知ブロックＢＲ１内においてそれぞれ空間的に累積された相関値マップのマップ情報Ｄ９を時間的動きベクトル統合部１０に送出する。

このとき時間的動きベクトル統合部１０は、供給されるマップ情報Ｄ９に基づいて、空間的に累積された各検知ブロックＢＲ１についての相関値マップを規定の追跡期間が終了するまでの間、時間的に累積する。この結果、かかる追跡期間が終了したときに、各検知ブロックＢＲ１についての空間的及び時間的に累積された相関値マップが生成される。そして時間的動きベクトル統合部１０は、このようにして得られた追跡情報にある各検知ブロックＢＲ１についての空間的及び時間的に累積された相関値マップのマップ情報Ｄ１０を時間的動き一様性判定部１１に送出する。

時間的動き一様性判定部１１は、供給されるマップ情報Ｄ１０に基づいて、追跡期間が終了して空間的及び時間的な累積が完了した相関値マップに基づいて、当該相関値マップの原点から最小値を与える点に向かうベクトルを動きベクトルとし、さらに当該動きベクトルの大きさが「０」でなく、かつ相関値マップの最小値が明確な負のピークを形成している場合に対応する検知ブロックＢＲ１に「動きがある」と判定する。

これは、上述のように人物や車両などの移動物体は短い時間でみると一定方向に動くことから、「動き」の検出対象がかかる移動体の場合には、空間的及び時間的に累積した相関値マップにおいて毎回ほぼ同じ位置に最小値の負のピークが生じるのに対し、自然界に存在する木々や波などの揺れに代表される背景変動は振動的に動くことから、「動き」の検出対象がかかる木々や波などの場合には、空間的に累積した相関値マップにおいて毎回異なる位置に最小値の負のピークが生じるからである。

このようにしてこの移動物体検出装置１においては、入力した画像データＤ１に基づく画像内の動きのある物体の当該「動き」に基づいて、人物や車両などの移動物体を精度良く検出することができるようになされている。

ところが、かかる移動物体検出装置１によると、１つの検知ブロックＢＲ１内に複数の移動物体や背景変動が存在し、それぞれの動く方向が異なる場合には互いに動きベクトルを打ち消しあうことになって、移動物体の検出に失敗するという問題がある。

そこで、このような問題を解決するために提案されたのが特許文献２において開示された移動物体検出方法である。実際上、図３９との対応部分に同一符号を付して示す図４１は、かかる移動物体検出方法を適用した特許文献２に開示された従来の移動物体検出装置２０を示すものであり、検知ブロック設定部３（図３９）及び初期検知部７（図３９）に代えて画像変化抽出部２１が設けられる点を除いて図３９について上述した移動物体検出装置１とほぼ同様に構成される。

この場合、画像変化抽出部２１においては、図４２に示すように、画像入力部２から与えられる画像データＤ１に基づく画像から背景画像を除去する背景差分部３０と、背景画像を更新する背景更新部３１と、背景差分部３０によって背景画像が除去された画像に変化領域を設定する変化領域抽出部３２とから構成される。

そして背景差分部３０は、画像データＤ１に基づく画像と、背景更新部３１から供給される当該背景更新部３１に保持されている背景画像データＤ２０に基づく画像との差分を求め、画像データＤ１に基づく画像から背景画像データに基づく画像を除いて、変化が認められる部分を抽出した抽出画像データＤ２１を背景更新部３１及び変化領域抽出部３２に送出する。

背景更新部３１は、例えば画像データＤ１に基づく所定数の画像の平均画像を求める。そして、このように求められた平均画像においては、動きのある部分の輪郭等がずれて重なり、当該部分の外観が不明瞭になる。かくして背景更新部３１は、このようにして得られた平均画像の中から外観が不明瞭な物体を除去したものを、適宜更新しながら背景画像データＤ２１として保持する。

変化領域抽出部３２は、背景差分部３０によって背景画像が除去された画像内の変化がある部分に対して図４３（Ａ）のように変化領域（図４３（Ａ）において点線で囲まれた部分）ＡＲを設定し、その結果を変化領域設定情報Ｄ１１として相関演算ブロック配置部２２に送出する。

相関演算ブロック配置部２２は、画像変化抽出部２１から供給される各変化領域ＡＲに対して、各変化領域ＡＲをそれぞれ複数の相関演算ブロックＢＲ２（図４３（Ａ））に分割する処理を行い、これら各相関演算ブロックＢＲ２の画像データを相関演算ブロックデータＤ１２として相関演算実行部２３に送出する。従って、前段の画像変化抽出部２１による処理によって変化領域ＡＲの位置が移動した場合には、当該変化領域ＡＲ内に設定される各相関演算ブロックＢＲ２の位置もそれに合わせて移動することとなる。

相関演算実行部２３は、相関演算ブロック配置部２２から与えられる相関演算ブロックデータＤ１２と、過去画像蓄積部５から読み出した遅延画像データＤ４とに基づいて、相関演算ブロックＢＲ２毎に現在の画像と過去の画像との相関演算を行い、当該演算結果に基づいて各相関演算ブロックＢＲ２の相関値マップを生成する。そして相関演算実行部２３は、相関値マップの原点から最小値を与える点に向かうベクトルをその相関演算ブロックＢＲ２の動きベクトルとする。

また相関演算実行部２３は、各相関演算ブロックＢＲ２について、動きベクトルの大きさが「０」でなく、かつ相関値マップの最小値が明確な負のピークを形成している場合にはその相関演算ブロックＲＢ２に「動きがある」と判定し、そうでない場合には「動きがない」と判定して、判定結果を相関演算結果情報Ｄ１３として空間的動きベクトル統合部２４に送出する。

空間的動きベクトル統合部２４は、相関演算結果情報Ｄ１３に基づいて、各変化領域ＡＲについて、当該変化領域ＡＲ内のすべての相関演算ブロックＢＲ２の相関値マップを累積し、累積結果を空間的動きベクトル統合情報Ｄ１４として空間的動き一様性判定部２５に送出する。

空間的動き一様性判定部２５は、供給される空間的動きベクトル統合情報Ｄ１４に基づいて、各変化領域ＡＲについて、それぞれ累積された相関値マップの原点から最小値を与える点に向かうベクトルを動きベクトル（図４３（Ａ）における矢印）として求め、さらにその動きベクトルの大きさが「０」でなく、かつ累積された相関値マップの最小値が明確な負のピークを形成している場合には当該動きベクトルをその変化領域ＡＲの代表的な動きベクトル（以下、これを代表動きベクトルと呼ぶ）とする。

そして空間的動き一様性判定部２５は、このようにして得られた代表動きベクトルのベクトル情報Ｄ１５を相関演算ブロック配置部２２に送出する。この結果、相関演算ブロック配置部２２は、このベクトル情報Ｄ１５に基づいて、各変化領域ＡＲを追跡状態に遷移させ、当該移動領域ＡＲについての相関演算ブロックデータを相関演算実行部２３に送出するようになる。これにより各変化領域ＡＲについて「動き」を検出することが可能となる。そしてこのような追跡処理が規定の追跡期間が経過するまで繰り返される。

また空間的動き一様性判定部２５は、追跡状態にある各変化領域ＡＲ内においてそれぞれ空間的に累積された相関値マップのマップ情報Ｄ９を時間的動きベクトル統合部１０に送出する。

この結果、この後上述した移動物体検出装置１の場合と同様にして、時間的動きベクトル統合部１０において、移動物体であろう変化領域ＡＲについての相関値マップを規定の追跡時間分だけ空間的及び時間的に累積した相関値マップが生成され、さらに時間的動き一様性判定部１１において、「動きがある」変化領域ＡＲが検出される。

このようにしてこの移動物体検出装置２０においては、入力した画像データＤ１に基づく画像内の動きのある物体の当該「動き」に基づいて、人物や車両などの移動物体を精度良く検出することができるようになされている。
特開２０００−３２２５８１公報 特開２００３−１６９３１９公報 森田俊彦著，「局所相関演算による動きの検知と追跡」，電子情報学会論文誌，Ｄ−１１，Ｖｏｌ．Ｊ８４−Ｄ−１１，Ｎｏ．２，ｐｐ．２９９−３０９，２００１年２月

ところで、上述のように従来の移動物体検出装置１、２０は、いずれも始めに動きを検出する対象となる領域を規定し、その領域を一定時間追跡しながら「動き」の空間的及び時間的な一様性を評価することによって移動物体か否かの判定を行うようになされている。

しかしながら、このような方法によると、常に移動物体のみを含むような領域設定ができるとは限らない問題がある。

例えば移動物体検出装置１の場合、図４４に示すように、道路脇に立てられた広告宣伝用の旗のような動きのある背景ＢＧの前を人物ＨＵが通過するときに、同じ検知ブロックＢＲ１内に人物ＨＵにおける動きベクトルと背景ＢＧの背景変動における動きベクトルとの両方が含まれることになる。そしてこの場合、人物ＨＵの動きと背景変動とは相関がないため、相関値マップを検知ブロックＢＲ１内で空間的に統合しても、明確なピークが現れず、その検知ブロックＢＲ１に「動きがある」とは判定されない。また「動きがある」と判定された場合においても、人物ＨＵの動きが代表動きベクトルに正しく反映されず、その人物ＨＵの追跡や検出が失敗することがある。

一方、移動物体検出装置２０の場合には、予め背景差分によって変化領域ＡＲ（図４３）を設定するため、移動する人物ＨＵと動きのある背景ＢＧとが近接して存在する場合にも人物ＨＵのみを正しく検出することが可能であるものの、図４５に示すように、画面上で動きのある背景ＢＧと人物ＨＵとが重なる場合には、やはり１つの変化領域ＡＲ内に人物ＨＵにおける動きベクトルと背景ＢＧの背景変動における動きベクトルとの両方が含まれてしまうこととなる。そしてこのような条件のもとでは、移動物体検出装置１の場合と同様に、人物ＨＵの追跡及び検出に失敗することがある。

また移動物体検出装置２０の場合には、背景差分の検出感度を低く設定することにより、背景ＢＧの背景変動が変化領域ＡＲとして検出し得ないようにすることが可能であるものの、このような設定のもとでは、人物ＨＵの動きと背景変動との輝度レベルが近いレベルである場合には、人物ＨＵの動きが変化領域ＡＲとして検出されなくなるため、背景差分の検出感度を調整したとしても、移動物体検出装置１の場合と同様に、人物ＨＵの追跡及び検出に失敗することがある。

さらに、これら移動物体検出装置１、２０が適用される映像監視システムの場合、監視カメラが十分な照明が得られない環境に設置されることも多い。そして、このような環境のもとでは監視カメラから入力される画像信号に基づく画像のＳＮ比が悪く、被写体のコントラストに対してランダムノイズが無視できない大きさになる。この場合において、ランダムノイズは画面全体に発生し、時間とともに変動するため、上述した背景変動及び移動物体が重なる場合と同様の問題が生ずることなる。

一方、従来提案されている移動物体検出装置１、２０は、いずれも始めに設定した領域（検知ブロックＢＲ１又は変化領域ＡＲ）を追跡に伴って移動させることに起因して、当該領域が移動した後の部分に相関演算ブロックＢＲ２が配置されず、その領域に新たに現れた移動物体を検出できないという問題がある。

すなわち、移動物体検出装置１では、図４６に示すように、画面内に現れた一人目の人物ＨＵ１を検知ブロックＢＲ１を移動させながら追跡している期間内に（図４６（Ａ））、当該一人目の人物ＨＵ１を追うようにして二人目の人物ＨＵ２が画面内に現れた場合、一人目の人物ＨＵ１を追跡している検知ブロックＢＲ１が最初にあった場所には既に相関演算ブロックが配置されていないため、二人目の人物ＨＵ２を検出することができない（図４６（Ｂ））。

また移動物体検出装置２０では、例えば図４７に示すように、一人目の人物ＨＵ１が画面内に現れて変化領域ＡＲが設定され、相関演算ブロックＢＲ２を移動させながら一人目の人物ＨＵ１を追跡している期間に（図４７（Ａ））、当該一人目の人物ＨＵ１を追うようにして二人目の人物ＨＵ２が画面内に現れ、その後これら一人目及び二人目の双方の人物ＨＵ１、ＨＵ２を含むように変化領域ＡＲ′が設定された場合（図４７（Ｂ））、二人目の人物ＨＵ２上には相関演算ブロックＢＲ２が配置されず、その動きが検出されない。これは、移動物体検出装置２０では、追跡期間中に変化領域ＡＲの形状が変化しても相関演算ブロックＢＲ２の変化領域ＡＲ内での相対的な配置を変えられないことによる。

さらに追跡に伴って相関演算ブロックＢＲ２の位置を移動させることは、相関演算ブロックＢＲ２の位置を時間的に、しかも領域ごとに独立して変化させるということを意味し、このことは画像処理の処理内容及び装置構成を煩雑化させる問題がある。

このように、上述した移動物体検出装置１、２０のいずれの場合も、「動き」の一様性を評価する前に始めに動きを検出する対象となる領域（検知ブロックＢＲ１又は変化領域ＡＲ）を設定することや、相関演算ブロックＢＲ２を移動させることに起因して、精度良く移動物体の追跡及び検出を行い得ない等の種々の問題があった。

本発明は以上の点を考慮してなされたもので、移動物体を精度良く検出し得る移動物体検出装置、移動物体検出方法及びプログラムを提案しようとするものである。

かかる課題を解決するために本発明においては、入力画像から動きベクトルを算出する動きベクトル算出手段と、過去の動きベクトルを蓄積する過去ベクトル蓄積手段と、現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、過去ベクトル蓄積手段から読み出した過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、現在の瞬間的な乱雑度と過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出手段と、各動きベクトルについて、瞬間的な乱雑度が第１の閾値以上、かつ、定常的な乱雑度が第２の閾値以上であるときに、動きベクトルを除去する乱雑ベクトル除去手段と、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積手段と、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出し手段と、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新手段と、動きベクトル毎の積算値の大きさが第３の閾値以上、かつ、積算値更新手段により算出された動きベクトルごとの積算回数が第４の閾値以上の場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出手段とを設けるようにした。

従って、移動物体に起因する動きベクトルを除去することなく、背景変動に起因する動きベクトルを除去するようにしているため、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができる。

また、入力画像から動きベクトルを算出する動きベクトル算出ステップと、
過去の動きベクトルを蓄積する過去ベクトル蓄積ステップと、現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、過去ベクトル蓄積手段から読み出した過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、現在の瞬間的な乱雑度と過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出ステップと、各動きベクトルについて、瞬間的な乱雑度が第１の閾値以上、かつ、定常的な乱雑度が第２の閾値以上であるときに、動きベクトルを除去する乱雑ベクトル除去ステップと、積算値蓄積手段に対し、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積ステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出しステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新ステップと、動きベクトルごとの積算値の大きさが第３の閾値以上、かつ、積算値更新手段により算出された動きベクトルごとの積算回数が第４の閾値以上の場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップとを設けるようにした。

従って、移動物体に起因する動きベクトルを除去することなく、背景変動に起因する動きベクトルを除去するようにしているため、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができる。

さらに、移動物体検出装置に対して、プログラムによって、入力画像から動きベクトルを算出する動きベクトル算出ステップと、過去の動きベクトルを蓄積する過去ベクトル蓄積ステップと、現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、過去ベクトル蓄積手段から読み出した過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、現在の瞬間的な乱雑度と過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出ステップと、各動きベクトルについて、瞬間的な乱雑度が第１の閾値以上、かつ、定常的な乱雑度が第２の閾値以上であるときに、動きベクトルを除去する乱雑ベクトル除去ステップと、積算値蓄積手段に対し、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積ステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出しステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新ステップと、動きベクトルごとの積算値の大きさが第３の閾値以上、かつ、積算値更新手段により算出された動きベクトルごとの積算回数が第４の閾値以上の場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップとを実行させるようにした。

従って、移動物体に起因する動きベクトルを除去することなく、背景変動に起因する動きベクトルを除去するようにしているため、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができる。

本発明によれば、入力画像から動きベクトルを算出する動きベクトル算出手段と、過去の動きベクトルを蓄積する過去ベクトル蓄積手段と、現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、過去ベクトル蓄積手段から読み出した過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、現在の瞬間的な乱雑度と過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出手段と、各動きベクトルについて、瞬間的な乱雑度が第１の閾値以上、かつ、定常的な乱雑度が第２の閾値以上であるときに、動きベクトルを除去する乱雑ベクトル除去手段と、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積手段と、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出し手段と、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新手段と、動きベクトル毎の積算値の大きさが第３の閾値以上、かつ、積算値更新手段により算出された動きベクトルごとの積算回数が第４の閾値以上の場合に、各動きベクトルについて、動きベクトルが移動物体のものであると判定する移動物体検出手段とを設けるようにしたことにより、移動物体に起因する動きベクトルを除去することなく、背景変動に起因する動きベクトルを除去するようにしているため、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

また本発明によれば、入力画像から動きベクトルを算出する動きベクトル算出ステップと、過去の動きベクトルを蓄積する過去ベクトル蓄積ステップと、現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、過去ベクトル蓄積手段から読み出した過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、現在の瞬間的な乱雑度と過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出ステップと、各動きベクトルについて、瞬間的な乱雑度が第１の閾値以上、かつ、定常的な乱雑度が第２の閾値以上であるときに、動きベクトルを除去する乱雑ベクトル除去ステップと、積算値蓄積手段に対し、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積ステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出しステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新ステップと、動きベクトルごとの積算値の大きさが第３の閾値以上、かつ、積算値更新手段により算出された動きベクトルごとの積算回数が第４の閾値以上の場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップとを設けるようにしたことにより、移動物体に起因する動きベクトルを除去することなく、背景変動に起因する動きベクトルを除去するようにしているため、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができ、かくして移動物体を精度良く検出し得る移動物体検出方法を実現できる。

さらに本発明によれば、移動物体検出装置に対して、プログラムによって、入力画像から動きベクトルを算出する動きベクトル算出ステップと、過去の動きベクトルを蓄積する過去ベクトル蓄積ステップと、現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、過去ベクトル蓄積手段から読み出した過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、現在の瞬間的な乱雑度と過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出ステップと、各動きベクトルについて、瞬間的な乱雑度が第１の閾値以上、かつ、定常的な乱雑度が第２の閾値以上であるときに、動きベクトルを除去する乱雑ベクトル除去ステップと、積算値蓄積手段に対し、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積ステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出しステップと、積算値蓄積手段に蓄積された過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新ステップと、動きベクトルごとの積算値の大きさが第３の閾値以上、かつ、積算値更新手段により算出された動きベクトルごとの積算回数が第４の閾値以上の場合に、各動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップとを実行させるようにしたことにより、移動物体に起因する動きベクトルを除去することなく、背景変動に起因する動きベクトルを除去するようにしているため、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができ、かくして移動物体を精度良く検出し得るプログラムを実現できる。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
（１−１）第１の実施の形態による移動物体検出装置の構成
図１において、４０は全体として映像監視システム等の監視システムに適用される第１の実施の形態による移動物体検出装置を示し、図示しない監視カメラから供給される画像情報を画像入力部４１を介して画像データＤ３０として相関演算ブロック配置部４２及び過去画像蓄積部４３に入力する。

相関演算ブロック配置部４２は、図２に示すように、供給される画像データＤ３０に基づく画像ＰＴの全領域又は画像ＰＴ上における移動物体の検出を意図する領域に相関演算ブロックＢＲ１０（図２における罫線に囲まれた部分）を配置する。この相関演算ブロックＢＲ１０のサイズについては、ｍ×ｍ画素とし、当該相関演算ブロックＢＲ１０を配置する配置間隔については、縦方向にＴ画素、横方向にＴ画素とする。ちなみに、本実施の形態における移動物体検出装置４０においては、ｍとＴとが同じ長さに選定されているため、図２のように相関演算ブロックＢＲ１０が隙間なく配置されている。

そして相関演算ブロック配置部４２は、これら相関演算ブロックＢＲ１０のデータを相関演算ブロックデータＤ３１として順次相関演算実行部４４に送出する。この場合において、相関演算ブロック配置部４２は、配置される個々の相関演算ブロックＢＲ１０の位置、大きさ及び配置間隔をフレームごとに変化させることなく、常に画像ＰＴ内の一定の位置に一定の大きさで配置する。

過去画像蓄積部４３は、例えばフレームメモリから構成され、画像入力部４１から与えられる画像データＤ３０を蓄積する。そして、この過去画像蓄積部４３に蓄積された画像データＤ３０は、この後相関演算ブロック配置部４２から相関演算ブロックデータＤ３１が相関演算実行部４４に与えられるのと同じタイミングで、１フレーム前の画像のその相関演算ブロックＢＲ１０と同じ位置及び同じ大きさの画像部分の画像データＤ３０が切り取られて遅延画像データＤ３２として相関演算実行部４４に読み出される。

相関演算実行部４４は、相関演算ブロック配置部４２から与えられる相関演算ブロックデータＤ３１と、過去画像蓄積部４３から読み出した遅延画像データＤ３２とに基づいて相関演算処理を実行することにより、相関演算ブロックＢＲ１０毎に動きベクトルを算出する。

この相関演算処理は、図３に示すように、そのとき対象としているフレームｎ内の相関演算を行おうとしている局所画像である相関演算ブロックＢＲ１０（以下、これを参照ブロックＢＲ１１と呼ぶ）の画像部分と、これよりも１フレーム前のフレームｎ−１における参照ブロックＢＲ１１と同じ大きさの相関演算ブロック（以下、これを候補ブロックＢＲ１２と呼ぶ）の画像部分との間の相関演算を、候補ブロックＢＲ１２の位置を変えながら繰り返すものであり、相関が最大となる候補ブロックＢＲ１２の位置から、両フレーム画像間での物体の動きベクトルを求めることができる。

この場合の相関演算は、次式

で与えられる。この（１）式において、Ｉｎはフレームｎの画像、Ｉｎ−１はフレームｎ−１の画像であり、相関演算ブロックＢＲ１０のサイズをｍ×ｍ画素、動きベクトルの探索範囲ＳＡＲ（図３）を水平方向及び垂直方向ともに−ｐ〜＋ｐ画素としている。

この式に基づく相関演算の結果、図４に示すような２次元の相関マップＤ（ｈ，ｖ）が得られる。なお、本実施の形態においては、フレームｎに参照ブロックＢＲ１１、１つ前のフレームｎ−１に候補ブロックＢＲ１２を設定しているため、Ｄ（ｈ，ｖ）が最小となる位置（ｈ，ｖ）に対して、動きベクトルＶｎは、次式

となる。そして相関演算実行部４４は、このようにして算出したフレームｎの各相関演算ブロックＢＲ１０の動きベクトルＶｎを動きベクトル情報Ｄ３３として動きベクトル除去部４５に送出する。

このとき相関演算実行部４４では、各相関演算ブロックＢＲ１０内の画像のコントラストが著しく低い場合には、信頼性のある動きベクトルＶｎを算出することができないので、当該相関演算ブロックＢＲ１０における動きベクトルＶｎをゼロベクトルに置き換える、すなわち、次式

とする。

動きベクトル除去部４５は、図５に示すように、個々の相関演算ブロックＢＲ１０について、動きベクトル情報Ｄ３３に基づき得られる過去の動きベクトルを過去ベクトル情報Ｄ４０として蓄積する過去ベクトル蓄積部５０と、個々の相関演算ブロックＢＲ１０ごとに、動きベクトルの空間的及び時間的な乱雑度を算出する乱雑度算出部５１と、乱雑度が所定の閾値より大きい場合に、当該動きベクトルを除去する乱雑ベクトル除去部５２とから構成されている。

この場合、乱雑度算出部５１は、図６に示すように、過去ベクトル蓄積部５０から読み出した過去ベクトル情報Ｄ４０における過去の動きベクトルと、相関演算実行部４４から与えられる動きベクトル情報Ｄ３３に基づく現在の動きベクトルとに基づいて、個々の相関演算ブロックＢＲ１０ごとに、動きベクトルの乱雑度を算出する。

すなわち乱雑度算出部５１は、相関演算実行部４４から１個の相関演算ブロックＢＲ１０分のデータが与えられ、これと同期して過去ベクトル蓄積部５０から１個の相関演算ブロックＢＲ１０分のデータを読み出す毎に、図６に示す乱雑度算出処理手順ＲＴ１をステップＳＰ０において開始し、続くステップＳＰ１において、乱雑度を算出する対象となる動きベクトルに対し、当該動きベクトルＶｎ（Ｘ，Ｙ）と時間的及び空間的に隣接する動きベクトルからなる動きベクトル群Ｗｎ（Ｘ，Ｙ）を、次式

のように生成する。この（４）式において、（Ｘ，Ｙ）は動きベクトルの位置、ｎはフレーム、Ｔは相関演算ブロックＢＲ１０の配置間隔として示す。

続いて乱雑度算出部５１は、ステップＳＰ２に進んで、動きベクトルＶｎ（Ｘ，Ｙ）に対する空間的な乱雑度を示す瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）を、次式

のように算出する。ここで、Ｌｎ（Ｘ，Ｙ）は、動きベクトル群Ｗｎ（Ｘ，Ｙ）に含まれるそれぞれの動きベクトルの大きさの絶対値を示すノルムを平均した値であり、Ｓｎ（Ｘ，Ｙ）は、動きベクトル群Ｗｎ（Ｘ，Ｙ）に含まれるそれぞれの動きベクトルにおけるＸ成分、Ｙ成分それぞれの平均偏差を加算した値である。但し、Ｌｎ（Ｘ，Ｙ）は所定の定数よりも大きい値とする。

続いて乱雑度算出部５１は、ステップＳＰ３に進んで、動きベクトルＶｎ（Ｘ，Ｙ）に対する定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）を、次式

のように算出する。但し、ａは０．００１〜０．０１程度に選定されている。このように乱雑度算出部５１では、過去のフレームｎ−1における定常的な乱雑度Ｅ’ｎ−1（Ｘ，Ｙ）と現在のフレームｎにおける瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）とを重み付け加算することによって、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）を算出する。続いて乱雑度算出部５１は、この後ステップＳＰ４に進んで、この乱雑度算出処理手順ＲＴ１を終了する。

そして乱雑度算出手段５１は、このようにして算出した各相関演算ブロックＢＲ１０の動きベクトルＶｎ（Ｘ，Ｙ）における瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）及び定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）を乱雑度情報Ｄ４１として乱雑ベクトル除去部５２に送出する。

乱雑ベクトル除去部５２は、乱雑度算出手段５１から供給される乱雑度情報Ｄ４１における動きベクトルＶｎ（Ｘ，Ｙ）の瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）と定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）とに基づいて、個々の相関演算ブロックＢＲ１０ごとに、動きベクトルを除去するか否かを判定する。

すなわち乱雑ベクトル除去部５２は、相関演算実行部４４及び乱雑度算出部５１から同期して１個の相関演算ブロックＢＲ１０分のデータが与えられる毎に、図７に示す第１の動きベクトル除去判定処理手順ＲＴ２をステップＳＰ１０において開始し、続くステップＳＰ１１において、動きベクトルＶｎ（Ｘ，Ｙ）について、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が当該瞬時的な乱雑度について予め設定された閾値が第１の閾値ＴＨ＿Ｅ１とすると、次式

を満たすか否かを判断する。そして乱雑ベクトル除去部５２は、このステップＳＰ１１において肯定結果を得ると、このことは瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以下であることを示しており、この後ステップＳＰ１３に進んで、動きベクトルＶｎ（Ｘ，Ｙ）と空間的に隣接するすべての動きベクトルを除去しないと判定し、この後ステップＳＰ１５に進んでこの動きベクトル除去判定処理手順ＲＴ２を終了する。

これに対して乱雑ベクトル除去部５２は、ステップＳＰ１１において肯定結果を得ると、このことは瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１よりも大きいことを示しており、この後ステップＳＰ１２に進んで、動きベクトルＶｎ（Ｘ，Ｙ）について、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が当該定常的な乱雑度について予め設定された閾値が第２の閾値ＴＨ＿Ｅ２とすると、次式

を満たすか否かを判断する。そして乱雑ベクトル除去部５２は、このステップＳＰ１２において否定結果を得ると、このことは定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２より小さいことを示しており、この後ステップＳＰ１３に進んで、動きベクトルＶｎ（Ｘ，Ｙ）を除去しないと判定し、この後ステップＳＰ１５に進んでこの動きベクトル除去判定処理手順ＲＴ２を終了する。

これに対して乱雑ベクトル除去部５２は、ステップＳＰ１２において否定結果を得ると、このことは定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上であることを示しており、この後ステップＳＰ１４に進んで、動きベクトルＶｎ（Ｘ，Ｙ）を除去すると判定する。このとき乱雑ベクトル除去部５２は、除去対象の動きベクトルＶｎ（Ｘ，Ｙ）を上述の（３）式を用いてゼロベクトルに置き換え、この後ステップＳＰ１５に進んでこの第１の動きベクトル除去判定処理手順ＲＴ２を終了する。

実際上、図８は、フレームｎにおける動きベクトルＶｎ（Ｘ，Ｙ）と時間的及び空間的に隣接する動きベクトルからなるベクトル群Ｗｎ（Ｘ，Ｙ）（図８の網かけ部分）を示している。

このとき、図９に示すように、動きベクトルＶｎ（Ｘ，Ｙ）が人物や車両などの移動物体に起因する動きベクトルの場合には、空間的及び時間的に隣接する動きベクトル群Ｗｎ（Ｘ，Ｙ）におけるそれぞれの動きベクトルの方向がほぼ同じ方向を向いている。このことは、当該動きベクトル群Ｗｎ（Ｘ，Ｙ）の一様性が高いことを示しており、このような動きベクトル群Ｗｎ（Ｘ，Ｙ）に対しては、図１０（Ａ）に示すように、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が小さくなる。

そして、図１０（Ａ）における丸点線で囲まれた部分に示すように、何らかの原因で瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が大きくなったとしても、その状態が画面上の同じ位置で長い時間継続することはなく、図１０（Ｂ）における対応する丸点線で囲まれた部分に示すように、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が大きくなることはない。すなわち、移動物体に起因する動きベクトルの場合には、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１より大きくなったとしても、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が大きくなることはない。

従って、乱雑ベクトル除去部５２では、このような移動物体に起因する動きベクトルを除去することなく、フレームｎの各相関演算ブロックＢＲ１０の動きベクトルＶｎ（Ｘ，Ｙ）を非除去ベクトル情報Ｄ３４として動きベクトル積算部４６に送出する。

一方、図１１に示すように、動きベクトルＶｎ（Ｘ，Ｙ）が水面上の波による光の乱反射、強風で激しくたなびく旗などの背景変動に起因する動きベクトルの場合には、空間的及び時間的に隣接する動きベクトル群Ｗｎ（Ｘ，Ｙ）におけるそれぞれの動きベクトルの方向が別の方向を向いている。このことは、当該動きベクトル群Ｗｎ（Ｘ，Ｙ）の一様性が低いことを示しており、このような動きベクトル群Ｗｎ（Ｘ，Ｙ）に対しては、図１２（Ａ）に示すように、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が大きくなる。

そして、背景変動に起因する動きベクトルの場合には、動きベクトルＶｎ（Ｘ，Ｙ）がある程度の期間ほぼ空間的に同じ位置に発生し続けるため、図１２（Ｂ）に示すように、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）についても大きくなる。すなわち、背景変動に起因する動きベクトルの場合には、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が大きくなり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が大きくなる。

従って、乱雑ベクトル除去部５２は、このような背景変動に起因する動きベクトルを除去し、動きベクトル積算部４６に送出しないようになされている。

他方、背景変動を隠すように移動物体が通過するような場合には、図１３（Ｂ）に示すように、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が大きくなっているが、図１３（Ａ）に示すように、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）は、移動物体に起因する動きベクトルをもとに算出されるため、移動物体が背景変動に重なって背景変動を隠すと同時に小さくなると共に、移動物体が背景変動を隠している間は小さいままとなる一方、移動物体が通過して背景変動が現れると再び大きくなる。

従って、乱雑ベクトル除去部５２は、背景変動を隠すように移動物体が通過するような場合にも、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が小さくなるため、このような移動物体に起因する動きベクトルを除去することなく、フレームｎの各相関演算ブロックＢＲ１０の動きベクトルＶｎ（Ｘ，Ｙ）を非除去ベクトル情報Ｄ３４として動きベクトル積算部４６に送出する。

このようにして乱雑ベクトル除去部５２においては、移動物体に起因する動きベクトルを除去することなく、動きベクトル群Ｗｎ（Ｘ，Ｙ）の乱雑度が高い背景変動に起因する動きベクトルを除去することにより、背景変動に起因する動きベクトルが移動物体に起因する動きベクトルとして誤認識されることを未然かつ有効に防止し得るようになされている。

動きベクトル積算部４６は、図１４に示すように、個々の相関演算ブロックＢＲ１０ごとに非除去ベクトル情報Ｄ３４に基づき得られる過去の動きベクトルを非除去過去ベクトル情報Ｄ５０として蓄積する過去ベクトル蓄積部６０と、個々の相関演算ブロックＢＲ１０ごとに動きベクトルの積算値及び積算回数を更新するか又はリセットするかを判定する積算制御部６１と、動きベクトルの積算値及び積算回数を更新する積算値更新部６２と、更新された動きベクトルの積算値及び積算回数を蓄積する積算値蓄積部６３と、更新された動きベクトルの積算値及び積算回数を過去の動きベクトルの積算値及び積算回数を示す過去ベクトル積算情報Ｄ５１として蓄積する過去積算値蓄積部６４と、過去の動きベクトルの積算値及び積算回数を読み出す過去積算値読み出し部６５とから構成されている。

この場合、積算制御部６１は、過去ベクトル蓄積部６０から読み出した非除去過去ベクトル情報Ｄ５０に基づく過去のベクトルと、動きベクトル除去部４５から与えられる非除去ベクトル情報Ｄ３４に基づき認識される現在の動きベクトルとを用いて積算を継続するか又はリセットするかを制御する。

ここで積算制御部６１は、例えばある相関演算ブロックＢＲ１０について、規定フレーム数（例えば0.5〔ｓ〕分のフレーム数）以上連続して動きベクトルがゼロの場合には、その相関演算ブロックＢＲ１０において動きがないものと判定し、積算値更新部６２に対して動きベクトルの積算値及び積算回数をリセットすべき旨の指示を積算制御情報Ｄ５２として与える。

これに対して積算制御部６１は、これ以外の場合には、対応する相関演算ブロックＢＲ１０において動きがあると判定し、積算値更新部６２に対して動きベクトルの積算値及び積算回数を更新するような指示を積算制御情報Ｄ５２として与える。

積算値更新部６２は、リセット判定部５３から与えられる積算制御情報Ｄ５１に応じて、過去積算値蓄積部６４から過去積算値読み出し部６５を介して読み出された各相関演算ブロックＢＲ１０についての過去ベクトル積算情報Ｄ５１をそれぞれ更新する。

実際上、積算値更新部６２は、積算制御部６１からリセットの指示を示す積算制御情報Ｄ５２を受けた場合には、次式

のように、過去積算値蓄積部６４に蓄積された過去ベクトル積算情報Ｄ５１、すなわちそのとき対象としている相関演算ブロックＢＲ１０の動きベクトルのそれまでの積算値及び積算回数をリセットする。なお、この（９）式及び（１０）式において、（Ｘ，Ｙ）は対応する相関演算ブロックＢＲ１０の位置座標、ＡＣＣｎはフレームｎにおけるその相関演算ブロックＢＲ１０の動きベクトルのそれまでの積算値、ＣＮＴｎはそのフレームｎまでの動きベクトルの積算回数を表す。

これに対して積算値更新部６２は、積算制御部６１から例えば更新の指示を示す積算制御情報Ｄ５２を受けた場合、次式

のようにして、過去積算値蓄積部６４に蓄積された過去ベクトル積算情報Ｄ５１、すなわちそのとき対象としている相関演算ブロックＢＲ１０についてのそれまでの動きベクトルの積算値及び積算回数を更新する。なお、動きベクトルＶｎは非除去ベクトル情報Ｄ３３に基づき得られるフレームｎにおけるその相関演算ブロックＢＲ１０の動きベクトルを表し、Ｖｎ（ｘ，ｙ）は次式

を満たす。

このようにして積算値更新部６２は、積算制御部６１から与えられる積算制御情報Ｄ５２に応じて、過去積算値蓄積部６４から過去積算値読み出し部６５を介して読み出された各相関演算ブロックＢＲ１０についての過去ベクトル積算情報Ｄ５１をそれぞれ更新（リセットも含む）し、この結果得られた更新された動きベクトルの積算値及び積算回数を更新ベクトル積算情報Ｄ３５として、移動物体検出部４７及び積算値蓄積部６３に送出する。

このとき積算値蓄積部６３は、積算値更新部６２から与えられる更新ベクトル積算情報Ｄ３５を順次蓄積し、あるフレームでのすべての相関演算ブロックＢＲ１０の積算値及び積算回数の更新が終了したときに、個々の相関演算ブロックＢＲ１０ごとの更新ベクトル積算情報Ｄ３５を過去ベクトル積算情報Ｄ５１としてまとめて過去積算値蓄積部６４に転送される。

過去積算値読み出し部６５は、過去積算値蓄積部６４に蓄積された過去ベクトル積算情報Ｄ５１、すなわちそのとき対象としている相関演算ブロックＢＲ１０についてのそれまでの動きベクトルの積算値ＡＣＣｎ−１（α，β）及び積算回数ＣＮＴｎ−１（α，β）を読み出して、積算値更新部６２に送出する。なお、（α，β）は、積算値及び積算回数の更新元となる相関演算ブロックＢＲ１０の位置である。

このとき過去積算値読み出し部６５は、更新する対象である相関演算ブロックＢＲ１０における現在の動きベクトルを上述の（１３）式を用いて算出したときに、位置（Ｘ−ｈ，Ｙ−ｖ）又はその近傍に位置する複数の相関演算ブロックＢＲ１０の中から、フレームｎ−１における動きベクトルが、現在の動きベクトル、すなわちフレームｎにおけるＶｎ（Ｘ，Ｙ）と最もよく一致する相関演算ブロックＢＲ１０を更新元の相関演算ブロックＢＲ１０として選択する。

すなわち過去積算値読み出し部６５は、移動物体が急に向きを変えないであろうことを前提として、かかる相関演算ブロックＢＲ１０の位置（Ｘ，Ｙ）から動きベクトルだけ空間的に離れた位置（Ｘ−ｈ，Ｙ−ｖ）の近傍に存在する複数の相関演算ブロックＢＲ１０に注目し、過去ベクトル蓄積部６０に蓄積されているこれら相関演算ブロックＢＲ１０の１つ前のフレームｎ−１における動きベクトルと、位置（Ｘ，Ｙ）のフレームｎにおける動きベクトルとの差分を演算する。

そして過去積算値読み出し部６５は、この演算結果に基づいて、差分のノルムが最小となる相関演算ブロックＢＲ１０を過去の動きベクトルの積算値及び積算回数を引き継ぐ相手に選定し、選定した相関演算ブロックＢＲ１０に対応する過去の動きベクトルの積算値及び積算回数を過去積算値蓄積部６４から読み出して、積算値更新部６２に送出する。

これにより積算値更新部６２では、各相関演算ブロックＢＲ１０について、リセットしない場合には、そのとき対象とする相関演算ブロックＢＲ１０の位置からそのフレームｎにおいて算出された動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置にある位相演算ブロックＢＲ１０の動きベクトルのそれまでの積算値及び積算回数を引き継ぐように、対象とする位相演算ブロックＢＲ１０の動きベクトルの積算値及び積算回数を更新する。そしてこのような処理により、各動きベクトルを個々にかつ時間的に積算し、動きベクトル毎の積算値及び積算回数を順次求めることができる。この結果、相関演算ブロックＢＲ１０を移動させることなく、移動物体の動きに沿って動きベクトルの積算値及び積算回数という特徴量を移動させながら順次更新していくことが可能となる。

移動物体検出部４７は、個々の相関演算ブロックＢＲ１０について、動きベクトル積算部４６から与えられる非除去ベクトル積算情報Ｄ３４に基づき得られる動きベクトルの時間的な積算値及び積算回数を用い、図１５に示す第１の移動物体検出処理手順ＲＴ３に従って、画像入力部４１（図１）を介して入力した画像データＤ２０（図１）に基づく画像内に存在する移動物体を検出する。

すなわち移動物体検出部４７は、動きベクトル積算部４６から個々の相関演算ブロックＢＲ１０が与えられる毎にこの移動物体検出処理手順ＲＴ３をステップＳＰ２０において開始し、続くステップＳＰ２１において、動きベクトルの積算値のノルムが当該積算値のノルムについて予め設定された閾値が第３の閾値ＴＨ＿ＡＣＣであるとすると、次式、

を満たすか否かを判断する。そして移動物体検出部４７は、このステップＳＰ２１において否定結果を得ると、このことは動きベクトルの積算値のノルムが第３の閾値ＴＨ＿ＡＣＣより小さいことを示しており、この後ステップＳＰ２３に進んでその相関演算ブロックＢＲ１０には移動物体がないと判定し、この後ステップＳＰ２５に進んでこの移動物体検出処理手順ＲＴ３を終了する。

これに対して移動物体検出部４７は、ステップＳＰ２１において肯定結果を得ると、このことは動きベクトルの積算値のノルムが第３の閾値ＴＨ＿ＡＣＣ以上であることを示しており、この後ステップＳＰ２２に進んで動きベクトルの積算回数が当該積算回数について予め設定された閾値が第４の閾値ＴＨ＿ＣＮＴとすると、次式

を満たすか否かを判断する。そして移動物体検出部４７は、このステップＳＰ２２において否定結果を得ると、このことは動きベクトルの積算回数が第４の閾値ＴＨ＿ＣＮＴより小さいことを示しており、この後ステップＳＰ２３に進んでその相関演算ブロックＢＲ１０には移動物体がないと判定し、この後ステップＳＰ２５に進んでこの移動物体検出処理手順ＲＴ３を終了する。

これに対して移動物体検出部４７は、ステップＳＰ２２において肯定結果を得ると、このことは動きベクトルの積算回数が第４の閾値ＴＨ＿ＣＮＴより以上であることを示しており、この後ステップＳＰ２４に進んで、その相関演算ブロックＢＲ１０には移動物体があると判定し、この後ステップＳＰ２５に進んでこの移動物体検出処理手順ＲＴ３を終了する。

このようにして移動物体検出部４７は、動きベクトル積算部４６により算出された動きベクトルそれぞれについての積算回数及び積算値に基づいてその動きベクトルが移動物体のものであるか否かを判定し、これにより画像内の移動物体を検出する。

このように移動物体検出装置４０においては、動きベクトル除去部４５により乱雑度の高い動きベクトル、つまり背景変動に起因する動きベクトルを除去し、動きベクトル積算部４６及び移動物体検出部４７において、動きベクトル除去部４５において区別できなかった背景変動に起因する動きベクトルと移動物体に起因する動きベクトルとを区別し、これにより移動物体を検出するものである。

このとき移動物体検出装置４０においては、動きベクトル除去部４５において除去されなかった動きベクトルに対して、個別にかつ時間的に積算してその積算値及び積算回数を算出するようにしているため、動きベクトル積算部４６及び移動物体検出部４７における計算量を格段的に低減することができる。

ここで、図１６は、人物や車両などの移動物体による動きベクトルの積算結果を示すものである。この図１６において、１つの矢印はあるフレームでの動きベクトルを表す（以下の図１６〜図１９においても同様）。人物や車両が移動する場合、大きさと向きがほぼ一定の動きベクトルがある程度の時間継続して発生する。従って、この場合には、移動物体検出部４７においてかかる移動物体検出処理手順ＲＴ３に従った処理により移動物体であると判定されることとなる。

これに対して図１７は、風による木々の揺れに代表される振動的な背景変動による動きベクトルの積算を示すものである。この図１７からも明らかなように、動きが振動的である場合、動きベクトルの積算値のノルムが大きくならない、すなわち動きベクトルの積算値のノルムが第３の閾値ＴＨ＿ＡＣＣを超えないため、移動物体検出部４７において移動物体として検出されないようになされている。

また図１８は、夜間におけるヘッドライトの乱反射による動きベクトルなど、短時間のランダムな動きベクトルの積算を示している。この場合も動きベクトルの積算値のノルムが大きくならない、すなわち動きベクトルの積算値のノルムが第３の閾値ＴＨ＿ＡＣＣを超えないため、移動物体検出部４７において移動物体として検出されないようになされている。

一方、図１９は、照明のオン／オフなど、急激な照明変動による動きベクトルの積算を示している。急激な照明変動が発生すると、移動物体が存在しないにもかかわらず、誤って大きな動きベクトルが検出され、積算値のノルムが第３の閾値ＴＨ＿ＡＣＣを超える場合がある。しかしながら、この場合には、動きベクトルが発生するのは極めて短時間（数フレーム）に限られ、動きベクトルの積算回数が第４の閾値ＴＨ＿ＣＮＴを超えないため、移動物体検出部４７において移動物体として検出されないようになされている。

従って、乱雑度の高い動きベクトルを予め除去することにより、強風で激しくたなびく旗や十分な照明が得られない環境下に監視カメラが設置された場合のランダムノイズによる影響を排除した後に、風で揺れる木々や夜間におけるヘッドライトの乱反射、照明のオン／オフなど移動物体によるものでない動きによる影響を、個々の動きベクトルの積算値及び積算回数を組み合わせて判定することで、画像内の移動物体をさらに確実に検出し得ることが分かる。

次に、図２０に示すように、道路脇に立てられた旗が強風で激しくたなびくような動きのある背景ＢＧの前を人物ＨＵが通過する場合について説明する。

図２０は、道路脇に立てられた旗が強風で激しくたなびくような動きのある背景ＢＧの前を人物ＨＵが通過する場面であり、画面全体に相関演算ブロックＢＲ１０が配置されており、人物ＨＵにおける動きベクトルと背景ＢＧの背景変動における動きベクトルとの両方が含まれている。このとき図２０では、相関演算実行部４４により算出された動きベクトルのうち、ゼロベクトルでない動きベクトルがすべて表示されている。

図２１は、図２０から動きベクトル除去部４５により乱雑度の高い動きベクトルを除去した結果を示しており、背景ＢＧの背景変動における動きベクトルは、瞬時的な乱雑度と定常的な乱雑度の双方が高いため、その大半が除去される。

一方、人物ＨＵにおける動きベクトルは、当該人物ＨＵが侵入してくるまでは背景ＢＧの背景変動における動きベクトルが発生していたため定常的な乱雑度が第２の閾値ＴＨ＿Ｅ２以上となっているが、人物ＨＵが侵入に伴う当該人物ＨＵの移動に起因する動きベクトルから算出される瞬時的な乱雑度が第１の閾値ＴＨ＿Ｅ１より小さくなる。従って、人物ＨＵにおける動きベクトルは、動きベクトル除去部４５により除去されることなく、ベクトル積算部４６に送出される。

このように本実施の形態による移動物体検出装置４０では、個々の相関演算ブロックＢＲ１０について瞬時的な乱雑度と定常的な乱雑度とを評価するため、背景変動と移動物体が重なる場合でも移動物体の検出が可能となる。

図２２〜２４は、個々の相関演算ブロックＢＲ１０について、動きベクトルの積算値が積算される過程を示したものである。図２２〜２４における（Ａ）は、時刻ｔ１、ｔ２、ｔ３における動きベクトルを示し、図２２〜２４における（Ｂ）は、時刻ｔ１、ｔ２、ｔ３（ｔ１＜ｔ２＜ｔ３）を通じた動きベクトルの積算値を示す。

この場合、時刻ｔ１、ｔ２、ｔ３（ｔ１＜ｔ２＜ｔ３）を通じて人物ＨＵは、一方向に動き続けるため、時刻の経過と共に動きベクトルの積算値が増大していくのに対して、背景変動は、瞬時的な乱雑度が低くなり除去されずに残された動きベクトルであり、動きベクトルが周期的又はランダムに向きが変化する。

この結果、人物ＨＵ上の相関演算ブロックＢＲ１０においては、動きベクトルが積算され、やがて積算値のノルムと積算回数の双方が閾値を超え、移動物体として検出される。また背景変動上の相関演算ブロックＢＲ１０においては、動きベクトルが積算されるため、積算回数が閾値を超えたとしても積算値のノルムが第３の閾値ＴＨ＿ＡＣＣを超えないために、移動物体として認識されない。

このように本実施の形態による移動物体検出装置４０では、個々の相関演算ブロックＢＲ１０について積算値のノルムと積算回数とを評価するため、背景変動と移動物体が重なる場合でも移動物体の検出が可能となる。

またこの移動物体検出装置４０では、移動物体の追跡の際に、相関演算ブロックＢＲ１０を移動させることなく、常に画面全体又は移動物体の検出を意図する領域全体に相関演算ブロックＢＲ１０を固定的に配置するようにしているため、例えば図１７のように１人目の人物ＨＵ１が画面内に現れ、その後これに続いて２人目の人物ＨＵ２が画面内に現れた場合においても、この２人目の人物ＨＵ２を移動物体として確実に検出することができる。

（１−２）動作及び効果
以上の構成において、この移動物体検出装置４０では、入力する画像データＤ１に基づき検出される各々の動きベクトルから瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以上であり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上である動きベクトルを除去し、除去されなかった動きベクトルに対して、個別にかつ時間的に積算してその積算値及び積算回数を算出して、各々の動きベクトルの積算値及び積算回数に基づいて移動物体を検出する。

従って、移動物体に起因する動きベクトルを除去することなく、背景変動に起因する動きベクトルを除去するようにしているため、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができる。

またこの移動物体検出装置４０では、従来のように最初に検出の対象とする領域を規定することなく、常に個々の相関演算ブロックＢＲ１０について独立に動きを解析するため、背景変動と移動物体とが重なる場合や、十分な照明が得られない環境に監視カメラが設置された場合においても、移動物体を確実に検出することができる。

さらにこの移動物体検出装置４０では、常に画面全体又は移動物体の検出を意図する領域全体に相関演算ブロックＢＲ１０を固定的に配置するようにしているため、複数の移動物体が続けて画面内に現れた場合においても、これらの移動物体をそれぞれ確実に検出することができる。さらに相関演算ブロックＢＲ１０を固定的に配置する分、かかる検出処理を簡易に行うことができ、この結果、装置構成を簡易化することもできる。

以上の構成によれば、入力する画像データＤ１に基づき検出される各々の動きベクトルから瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以上であり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上である動きベクトルを除去することにより、移動物体に起因する動きベクトルと背景変動に起因する動きベクトルとの両方が含まれる場合にも、背景変動に起因する動きベクトルを移動物体に起因する動きベクトルとして誤認識することを未然かつ有効に防止することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

（２）第２の実施の形態
（２−１）第２の実施の形態による移動物体検出装置の構成
図１との対応部分に同一符号を付して示す図２６は、第２の実施の形態による移動物体検出装置７０を示し、相関演算ブロック配置部４２から相関演算ブロックデータＤ３１を動きベクトル除去部７１に送出すると共に、当該動きベクトル除去部７１における構成が異なる点を除いて第１の実施の形態による移動物体検出装置４０（図１）と同様に構成されている。

この場合、動きベクトル除去部７１は、図５との対応部分に同一符号を付した図２７に示すように、背景モデル差分算出部８０が新たに設けられる点と、乱雑ベクトル除去部８１における動きベクトルの除去手法が異なる点を除いて第１の実施の形態による動きベクトル除去部４５（図１）と同様の構成を有する。

そしてこの第２の実施の形態の場合、背景モデル差分算出部８０は、平均輝度算出部８２と、背景モデル蓄積部８３と、背景モデル更新部８４と、背景モデル差分部８５とから構成されている。

この場合、背景モデル差分算出部８０の平均輝度算出部８２は、相関演算ブロック配置部４２から供給される相関演算ブロックデータＤ３１に対して、個々の相関演算ブロックＢＲ１０ごとに当該相関演算ブロックＢＲ１０内の平均輝度レベルを算出し、この結果得られた相関演算ブロックＢＲ１０ごとの平均輝度レベルを平均輝度情報Ｄ７０として背景モデル更新部８３及び背景モデル差分部８５に送出する。

ここで、背景モデル蓄積部８４には、個々の相関演算ブロックＢＲ１０ごとに、平均輝度レベルの分布を表すパラメータが背景モデルとして蓄積されている。すなわち背景モデル蓄積部８３には、背景モデルとして、平均輝度算出部８２が算出する相関演算ブロックＢＲ１０ごとの平均輝度をＭｎ（Ｘ，Ｙ）とすると、平均輝度Ｍｎ（Ｘ，Ｙ）の時間的な平均値Ｍ’ｎ（Ｘ，Ｙ）と時間的なばらつきの大きさＢｎ（Ｘ，Ｙ）とが蓄積されている。

そして背景モデル更新部８４は、平均輝度算出部８２から供給される平均輝度情報Ｄ７０における平均輝度レベルに基づいて、背景モデル蓄積部８３に蓄積された背景モデルを、毎フレーム、相関演算ブロックＢＲ１０ごとに、次式

のようにして更新する。ここで、ａは０．００１〜０．０１程度に選定されており、（Ｘ，Ｙ）は相関演算ブロックＢＲ１０の位置を示している。

このように背景モデル更新部８４では、過去のフレームｎ−1における平均輝度Ｍｎ−１（Ｘ，Ｙ）の時間的な平均値Ｍ’ｎ−１（Ｘ，Ｙ）と、現在のフレームｎにおける平均輝度Ｍｎ（Ｘ，Ｙ）とを重み付け加算することによって、平均輝度の時間的な平均値Ｍ’ｎ（Ｘ，Ｙ）を更新する。また背景モデル更新部８４では、過去のフレームｎ−1における平均輝度Ｍｎ−１（Ｘ，Ｙ）の時間的なばらつきの大きさＢｎ−１（Ｘ，Ｙ）と、現在のフレームｎにおける平均輝度Ｍｎ（Ｘ，Ｙ）と平均輝度の時間的な平均値Ｍ’ｎ（Ｘ，Ｙ）との差分とを重み付け加算することによって、平均輝度Ｍｎ−１（Ｘ，Ｙ）の時間的なばらつきの大きさＢｎ（Ｘ，Ｙ）を更新する。

背景モデル差分部８５は、平均輝度算出部８２から供給される平均輝度情報Ｄ７０における現在のフレームの平均輝度レベルと、背景モデル蓄積部８４から背景モデル情報Ｄ７１として読み出した背景モデルとの偏差を偏差ＤＥＶｎ（Ｘ，Ｙ）とすると、次式

のように算出する。但し、Ｂｎ（Ｘ，Ｙ）は、ある定数より大きな値とする。そして背景差分部８５は、このようにして算出したフレームｎの各相関演算ブロックＢＲ１０における平均輝度レベルと背景モデルとの偏差を背景差分情報Ｄ７２として乱雑ベクトル除去部８１に送出する。

乱雑ベクトル除去部８１は、背景差分部８５から供給される背景差分情報Ｄ７２における平均輝度レベルと背景モデルとの偏差ＤＥＶｎ（Ｘ，Ｙ）と、乱雑度算出手段５１から供給される乱雑度情報Ｄ４１における動きベクトルの瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）及び定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）とに基づいて、個々の相関演算ブロックＢＲ１０ごとに、動きベクトルを除去するか否かを判定する。

すなわち乱雑ベクトル除去部８１は、相関演算実行部４４、乱雑度算出部５１及び背景モデル差分部８５から同期して１個の相関演算ブロックＢＲ１０分のデータが与えられる毎に、図２８に示す第２の動きベクトル除去判定処理手順ＲＴ４をステップＳＰ３０において開始し、続くステップＳＰ３１において、動きベクトルＶｎ（Ｘ，Ｙ）について、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が当該瞬時的な乱雑度について予め設定された閾値が第１の閾値ＴＨ＿Ｅ１とすると、次式

を満たすか否かを判断する。そして乱雑ベクトル除去部８１は、このステップＳＰ３１において肯定結果を得ると、このことは瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以下であることを示しており、この後ステップＳＰ３３に進んで、動きベクトルＶｎ（Ｘ，Ｙ）と空間的に隣接するすべての動きベクトルを除去しないと判定し、この後ステップＳＰ３５に進んでこの第２の動きベクトル除去判定処理手順ＲＴ４を終了する。

これに対して乱雑ベクトル除去部８１は、ステップＳＰ３１において肯定結果を得ると、このことは瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１よりも大きいことを示しており、この後ステップＳＰ３２に進んで、動きベクトルＶｎ（Ｘ，Ｙ）について、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が当該定常的な乱雑度について予め設定された閾値が第２の閾値ＴＨ＿Ｅ２とし、平均輝度レベルと背景モデルとの偏差ＤＥＶｎ（Ｘ，Ｙ）に対して、当該平均輝度レベルと背景モデルとの偏差について予め設定された閾値が第５の閾値ＴＨ＿ＤＥＶとすると、次式

及び

を満たすか否かを判断する。そして乱雑ベクトル除去部８１は、このステップＳＰ３２において否定結果を得ると、このことは定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２より小さい、又は平均輝度レベルと背景モデルとの偏差が第５の閾値ＴＨ＿ＤＥＶ以上であることを示しており、この後ステップＳＰ３３に進んで、動きベクトルＶｎ（Ｘ，Ｙ）を除去しないと判定し、この後ステップＳＰ３５に進んでこの第２の動きベクトル除去判定処理手順ＲＴ４を終了する。

これに対して乱雑ベクトル除去部８１は、ステップＳＰ３２において否定結果を得ると、このことは定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上であり、かつ平均輝度レベルと背景モデルとの偏差が第５の閾値ＴＨ＿ＤＥＶより小さいことを示しており、この後ステップＳＰ３４に進んで、動きベクトルＶｎ（Ｘ，Ｙ）を除去すると判定する。このとき乱雑ベクトル除去部８１は、除去対象の動きベクトルＶｎ（Ｘ，Ｙ）を上述の（３）式を用いてゼロベクトルに置き換え、この後ステップＳＰ３５に進んでこの第２の動きベクトル除去判定処理手順ＲＴ４を終了する。

実際上、本実施の形態による移動物体検出装置７０では、定常的に動きベクトルの乱雑度が高い背景変動の前を小さな移動物体が通過するような場合でも移動物体の検出が可能となる。

図２９（Ａ）及び（Ｂ）は、水面上の波のようにランダムな動きを続ける背景ＢＧの前を人物ＨＵが通過する場面であり、画面上での人物の大きさが小さく、人物ＨＵ上に配置される相関演算ブロックＢＲ１０が２個程度しかないものとする。このとき図２９では、人物ＨＵ上の動きベクトルＶｎ（Ｘ，Ｙ）に対して時間的及び空間的に隣接する動きベクトル群Ｗｎ（Ｘ，Ｙ）には、背景ＢＧにおける波に起因する乱雑度の高い動きベクトルが多く含まれる。従って、乱雑度算出部５１により算出された動きベクトルＶｎ（Ｘ，Ｙ）の瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が大きくなる。また人物ＨＵが侵入してくるまでは背景ＢＧの背景変動における動きベクトルが発生しているため、定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）についても大きくなる。

ここで、図３０（Ａ）及び（Ｂ）は、背景差分部８５から与えられる背景差分情報Ｄ７２を第５の閾値ＴＨ＿ＤＥＶで二値化したものである。すなわち図３０は、平均輝度レベルと背景モデルとの偏差が第５の閾値ＴＨ＿ＤＥＶ以上である相関演算ブロックＢＲ１０を白色ブロックＷＢとして表し、平均輝度レベルと背景モデルとの偏差が第５の閾値ＴＨ＿ＤＥＶより小さい相関演算ブロックＢＲ１０を網かけブロックＮＢとして表している。

この場合、ある相関演算ブロックＢＲ１０について、移動物体が存在している時間に比して背景ＢＧが露出している時間のほうが十分長いであろうことを前提として、背景モデル蓄積部８３には、背景変動の輝度分布を表す平均輝度Ｍｎ（Ｘ，Ｙ）の時間的な平均値Ｍ’ｎ（Ｘ，Ｙ）と時間的なばらつきの大きさＢｎ（Ｘ，Ｙ）とが蓄積されている。

そして、移動物体については、一般的に背景変動における輝度分布とは異なった平均輝度となるため、移動物体が存在する相関演算ブロックＢＲ１０においては、平均輝度レベルと背景モデルとの偏差が大きくなる。すなわち背景モデル差分部８５により算出された平均輝度レベルと背景モデルとの偏差が第５の閾値ＴＨ＿ＤＥＶ以上となるため、除去対象の動きベクトルして判定されない。

一方、移動物体が存在しない相関演算ブロックＢＲ１０においては、平均輝度レベルと背景モデルとの偏差が小さくなる。すなわち背景モデル差分部８５により算出された平均輝度レベルと背景モデルとの偏差が第５の閾値ＴＨ＿ＤＥＶより小さくなるため、除去対象の動きベクトルとして判定される。

そして図３１（Ａ）及び（Ｂ）は、図３０から動きベクトル除去部７１によって瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以上であり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上で、平均輝度レベルと背景モデルとの偏差ＤＥＶｎ（Ｘ，Ｙ）が第５の閾値ＴＨ＿ＤＥＶより小さい動きベクトルを除去した結果を示しており、背景ＢＧの背景変動における動きベクトルは、動きベクトル除去部７１によってその大半が除去されることとなる。

（２−２）動作及び効果
以上の構成において、この移動物体検出装置７０では、入力する画像データＤ１に基づき検出される各々の動きベクトルから瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以上であり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上で、平均輝度レベルと背景モデルとの偏差ＤＥＶｎ（Ｘ，Ｙ）が第５の閾値ＴＨ＿ＤＥＶより小さい動きベクトルを除去する。

従って、背景変動の前を小さな移動物体が通過するような場合において、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以上となり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上となるようなときにも、この場合、平均輝度と背景モデルとの偏差ＤＥＶｎ（Ｘ，Ｙ）が第５の閾値ＴＨ＿ＤＥＶ以上となるため、小さな移動物体に起因する動きベクトルを除去することなく、確実に移動物体を検出することができる。

以上の構成によれば、入力する画像データＤ１に基づき検出される各々の動きベクトルから瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以上であり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上で、平均輝度レベルと背景モデルとの偏差ＤＥＶｎ（Ｘ，Ｙ）が第５の閾値ＴＨ＿ＤＥＶより小さい動きベクトルを除去することにより、背景変動の前を小さな移動物体が通過するような場合において、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）が第１の閾値ＴＨ＿Ｅ１以上となり、かつ定常的な乱雑度Ｅ’ｎ（Ｘ，Ｙ）が第２の閾値ＴＨ＿Ｅ２以上となるようなときにも、この場合、平均輝度と背景モデルとの偏差ＤＥＶｎ（Ｘ，Ｙ）が第５の閾値ＴＨ＿ＤＥＶ以上となるため、小さな移動物体に起因する動きベクトルを除去することなく、確実に移動物体を検出することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

（３）第３の実施の形態
（３−１）第３の実施の形態による移動物体検出装置の構成
図２６との対応部分に同一符号を付して示す図３２は、第３の実施の形態による移動物体検出装置９０を示し、第２の相関演算部９１及び動きベクトル統合部９２が新たに設けられている点を除いて第２の実施の形態による移動物体検出装置７０（図２６）と同様に構成されている。

そしてこの第３の実施の形態における移動物体検出装置９０では、画像入力部４１から供給される画像データＤ３０を第１階層の画像データＤ３０とし、当該第１階層の画像データＤ３０の処理を施す相関演算ブロック配置部４２、過去画像蓄積部４３及び相関演算実行部４４をそれぞれ第１の相関演算ブロック配置部４２、第１の過去画像蓄積部４３及び第１の相関演算実行部４４とする。

この場合、第２の相関演算部９１は、画像縮小部９３と、第２の相関演算ブロック配置部９４と、第２の過去画像蓄積部９５と、第２の相関演算実行部９６とから構成されており、画像縮小部９３は、図３３（Ａ）に示すように、画像入力部４１から供給される第１階層の画像データＤ３０に基づく第１階層の画像を１／２の解像度の画像に縮小し、この結果得られる縮小画像を表す第２階層の画像データＤ８０を第２の相関演算ブロック配置部９４及び第２の過去画像蓄積部９５に送出する。

第２の相関演算ブロック配置部９４は、図３２のように画像縮小部９３から供給される第２階層の画像データＤ８０に基づく第２階層の画像に対し、第１の相関演算ブロック配置部４２と同様にｍ×ｍ画素の演算ブロックＢＲ２０を配置間隔Ｔで配置し、当該相関演算ブロックＢＲ２０のデータを第２階層の相関演算ブロックデータＤ８１として順次第２の相関演算実行部９６に送出する。また第２階層の過去画像蓄積部９５では、第１の過去画像蓄積部４３と同様に第２の遅延画像データＤ８２が第２の相関演算実行部９６に読み出される。

第２の相関演算実行部９６は、第２の相関演算ブロック配置部９４から与えられる第２の相関演算ブロックデータＤ８１と、第２の過去画像蓄積部９５から読み出した第２階層の遅延画像データＤ８２とに基づいて第１の相関演算実行部４４と同様の処理を施し、この結果得られるフレームｎの各相関演算ブロックＢＲ２０の動きベクトルＶ２ｎを第２階層の動きベクトル情報Ｄ８３として動きベクトル統合部９２に送出する。

ここで、移動物体検出装置９０における第１の過去画像蓄積部４３、第２の過去画像蓄積部９５、第１の相関演算実行部４４、第２の相関演算実行部９６及び動きベクトル統合部９２の動作タイミングを図３４に示す。この移動物体検出装置９０においては、２フレーム周期で動作するために、フレームｎ−１とフレームｎについて動作を説明する。

この場合、画像入力部４１からフレームｎ−１の第１階層の画像データＤ３０が入力される期間において、第２の過去画像蓄積部９５では、画像縮小部９３から与えられるフレームｎ−１の第２階層の画像データＤ８０が蓄積される。

また、画像入力部４１からフレームｎの第１階層の画像データＤ３０が入力される期間において、第１の過去画像蓄積部４３では、フレームｎの第１階層の画像データＤ３０が蓄積されると共に、フレームｎ−２の第１階層の遅延画像データＤ３２が読み出される。

そして第１の相関演算実行部４４では、フレームｎの第１階層の画像データＤ３０とフレームｎ−２の第１階層の遅延画像データＤ３２との間で相関演算を施すことにより（図３３（Ｂ））、第１階層の動きベクトル情報Ｄ３３を算出する。

一方、第２の過去画像蓄積部９５では、フレームｎ−１の第２階層の画像データＤ８０が読み出される。また第２の相関演算実行部９６では、画像縮小部９３から与えられるフレームｎの第２階層の画像データＤ８０とフレームｎ−１の第２階層の画像データＤ８０との間で相関演算を施す、すなわち第１階層の画像の１／２の時間間隔で相関演算を施すことにより（図３３（Ｃ））、第２階層の動きベクトル情報Ｄ８３を算出する。

そして動きベクトル統合部９２では、第１階層の相関演算実行部４４から与えられる第１階層の動きベクトル情報Ｄ３３と、第２の相関演算実行部９６から与えられる第２階層の動きベクトル情報Ｄ８３とに基づいて第１階層の動きベクトルＶ１ｎ（Ｘ，Ｙ）と第２階層の動きベクトルＶ２ｎ（Ｘ，Ｙ）とを統合し、統合後の動きベクトルＶｎ（Ｘ，Ｙ）を統合ベクトル情報Ｄ８４として動きベクトル除去部７１に送出する。

この場合、図３５（Ａ）及び（Ｂ）は、第１階層の動きベクトルＶ１ｎ（Ｘ，Ｙ）と第２階層の動きベクトルＶ２ｎ（Ｘ，Ｙ）との空間的な位置関係を示したものである。このとき、第２階層の画像データＤ８０に基づく第２階層の画像は、第１階層の画像データＤ３０に基づく第１階層の画像を１／２倍に縮小して生成していること、及び第１の階層の相関演算ブロックＢＲ１０と第２階層の相関演算ブロックＢＲ２０とが同じサイズ及び配置間隔であることより、ある１つの第２階層の相関演算ブロックＢＲ２０の画像上における同じ位置には、４つの第１の階層の相関演算ブロックＢＲ１０が配置されることとなる。すなわち、ある１つの第２階層の動きベクトルＶ２ｎ（Ｘ＋Ｔ／２，Ｙ＋Ｔ／２）は、第１階層の動きベクトルＶ１ｎ（Ｘ，Ｙ）、Ｖ１ｎ（Ｘ＋Ｔ，Ｙ）、Ｖ１ｎ（Ｘ，Ｙ＋Ｔ）及びＶ１ｎ（Ｘ＋Ｔ，Ｙ＋Ｔ）と画像上の同じ位置の動きを表しているものとして対応づけることができる。

従って、動きベクトル統合部９２は、個々の第１階層の相関演算ブロックＢＲ１０ごとに、第１の相関演算実行部４４から供給される第１階層の動きベクトルと、第２の相関演算実行部９６から供給される第１階層の動きベクトルと同一位置の第２階層の動きベクトルとのどちらか一方を、次式

のように選択する。ここで、Ｖｎ（Ｘ，Ｙ）は統合後の動きベクトル、ＭＡＸ（Ｘ，Ｙ）は第１階層の動きベクトルＶ１ｎ、第２階層の動きベクトルＶ２ｎのうちノルムの大きい方を選択する関数、Ｖ２’ｎ（Ｘ＋Ｔ／２，Ｙ＋Ｔ／２）は、Ｖ２ｎ（Ｘ＋Ｔ／２，Ｙ＋Ｔ／２）を第１の階層の動きベクトルに変換したものである。

ここで、第２階層の動きベクトルは、第１階層の画像の１／２の解像度の画像を用い、かつ第１階層の画像の１／２の時間間隔で相関演算が施されていることから（図３３）、当該第２階層の動きベクトルを４倍することで第１階層の動きベクトルに換算することができる。すなわち、

のようにして第１階層の動きベクトルに換算し得るようになされている。

このようにして動きベクトル統合部９２では、第１階層の動きベクトルＶ１ｎ（Ｘ，Ｙ）と第２階層の動きベクトルＶ２ｎ（Ｘ，Ｙ）とを統合し、図３５（Ｃ）に示す統合後の動きベクトルＶｎ（Ｘ，Ｙ）を第１階層と同じ空間解像度をもつ統合ベクトル情報Ｄ８４として動きベクトル除去部７１に送出する。

このように本実施の形態による移動物体検出装置９０では、第１階層の画像の１／２の解像度の画像を用い、かつ第１階層の画像の１／２の時間間隔で相関演算を施して、第２階層の動きベクトルを算出することから、相関演算の計算量を抑えながらより広い範囲の動きベクトルを算出することができる。

すなわち本実施の形態による移動物体検出装置９０では、移動速度の大きい移動物体の検出が可能となる。このとき、一般的に算出可能な動きベクトルの範囲は、相関演算の探索範囲で決まり、探索範囲を広くするほど計算量が増大する。しかしながら本実施の形態による移動物体検出装置９０において、例えば第１階層の相関演算ブロックＢＲ１０で±７画素、第２階層の相関演算ブロックＢＲ２０で±８画素の探索範囲について相関演算を施す場合には、第１階層の相関演算ブロックＢＲ１０のみで水平垂直ともに±８画素の探索範囲について相関演算を施す場合に比して、相関演算の計算量はほぼ同じであるが、統合後の動きベクトルの算出範囲が４倍大きくなる。

また本実施の形態による移動物体検出装置９０では、第１階層の動きベクトルが求められなかった場合でも第２階層の動きベクトルで代用することにより移動物体の検出をすることができる。

図３６は、走行中の自動車の上に４つの第１階層の相関演算ブロックＢＲ１０及び１つの第２階層の相関演算ブロックＢＲ２０が配置されている場面である。このとき図１４では、第２階層の相関演算ブロックＢＲ２０と、４つのうち３つの第１階層の相関演算ブロックＢＲ１０では、動きベクトルが算出されているが、残る１つの第１階層の相関演算ブロックＢＲ１０については、動きベクトルが算出されない。

これは、当該残る１つの第１階層の相関演算ブロックＢＲ１０は、自動車の窓上に配置されているため、当該相関演算ブロックＢＲ１０内部の画像のコントラストが非常に低く、信頼性のある動きベクトルが求められないために、第１の相関演算実行部４４において動きベクトルがゼロベクトルとされるからである。

このとき動きベクトル統合部９２では、第１階層の動きベクトルと第２階層の動きベクトルのうちノルムの大きい方を選択するため、当該残る１つの相関演算ブロックＢＲ１０に、第２階層の動きベクトルを選択することができる。

さらに本実施の形態による移動物体検出装置９０では、コントラストの大きな背景の近傍をコントラストの小さな人物が移動しているような場合でも確実に移動物体を検出することができる。

図３７は、コントラストの大きな背景ＢＧの近傍をコントラストの小さな人物ＨＵが移動しており、第２階層の相関演算ブロックＢＲ２０が背景ＢＧと人物ＨＵの両方を含むように配置されている。この場合、第２階層の相関演算ブロックＢＲ２０においては、コントラストの大きな背景ＢＧの影響が支配的となり、人物ＨＵが移動していても第２階層の動きベクトルがゼロベクトルとなる。

しかしながら、第１階層の相関演算ブロックＢＲ１０のうち人物ＨＵ上に配置された相関演算ブロックＢＲ１０においては、人物ＨＵの動きを反映した動きベクトルが算出される。そして動きベクトル統合部９２では、第１階層の動きベクトルと第２階層の動きベクトルとのうちノルムの大きい方を選択するため、この場合には、第１階層の相関演算ブロックＢＲ１０に、人物ＨＵの動きを反映した第１階層の動きベクトルを選択することができる。

（３−２）動作及び効果
以上の構成において、この移動物体検出装置９０では、入力する画像データＤ１に基づき検出される第１階層の動きベクトルと、第１階層の画像の１／２の解像度の画像を用い、かつ第１階層の画像の１／２の時間間隔で相関演算が施された第２階層の動きベクトルとのうち、動きベクトルのノルムの大きい方を選択する。

従って、相関演算の計算量を抑えながら、移動速度の大きい物体と、面積の小さい物体又は移動速度が小さい物体とを双方とも検出することができると共に、コントラストの大きな背景の近傍を移動するコントラストの小さな移動物体を確実に検出することができる。

以上の構成によれば、入力する画像データＤ１に基づき検出される第１階層の動きベクトルと、第１階層の画像の１／２の解像度の画像を用い、かつ第１階層の画像の１／２の時間間隔で相関演算が施された第２階層の動きベクトルとのうち、動きベクトルのノルムの大きい方を選択することにより、相関演算の計算量を抑えながら、移動速度の大きい物体と、面積の小さい物体又は移動速度が小さい物体とを双方とも検出することができると共に、コントラストの大きな背景の近傍を移動するコントラストの小さな移動物体を確実に検出することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

（４）第４の実施の形態
（４−１）第４の実施の形態による移動物体検出装置の構成
図１は、第４の実施の形態における移動物体検出装置１００を示し、上述した第１の実施の形態における移動物体検出装置４０とは、動きベクトル積算部１０１における構成が異なる点を除いて第１の実施の形態による移動物体検出装置４０（図１）と同様に構成されている。

そしてこの動きベクトル積算部１０１は、図１４に示すように、過去積算値読み出し部１１０における過去の動きベクトルの読み出し手法が異なる点を除いて第１の実施の形態による動きベクトル積算部４６（図１）と同様の構成を有する。

この場合、過去積算値読み出し部１１０は、過去積算値蓄積部６４に蓄積された過去ベクトル積算情報Ｄ５１、すなわちそのとき対象としている相関演算ブロックＢＲ１０についてのそれまでの動きベクトルの積算値ＡＣＣｎ−１（α，β）及び積算回数ＣＮＴｎ−１（α，β）を読み出して、積算値更新部６２に送出する。なお、（α，β）は、積算値及び積算回数の更新元となる相関演算ブロックＢＲ１０の位置である。

このとき過去積算値読み出し部１１０は、更新する対象である相関演算ブロックＢＲ１０における現在の動きベクトルをＶｎ（Ｘ，Ｙ）とすると、次式

のように算出する。そして過去積算値読み出し部１１０は、位置（Ｘ−ｈ，Ｙ−ｖ）又はその近傍に位置する複数の相関演算ブロックＢＲ１０の中から、フレームｎ−１までの動きベクトルの積算値が、現在の動きベクトル、すなわちフレームｎにおけるＶｎ（Ｘ，Ｙ）と最も相関の高い相関演算ブロックＢＲ１０を更新元の相関演算ブロックＢＲ１０として選択する。

すなわち過去積算値読み出し部１１０は、移動物体が急に向きを変えないであろうことを前提として、かかる相関演算ブロックＢＲ１０の位置（Ｘ，Ｙ）から動きベクトルだけ空間的に離れた位置（Ｘ−ｈ，Ｙ−ｖ）の近傍に存在する複数の相関演算ブロックＢＲ１０に注目し、過去ベクトル蓄積部６０に蓄積されているこれら相関演算ブロックＢＲ１０の１つ前のフレームｎ−１における動きベクトルの積算値と、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの内積を演算し、内積が最大となる相関演算ブロックＢＲ１０を更新元の相関演算ブロックＢＲ１０として選択する。

このようにフレームｎ−１における動きベクトルの積算値と、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの内積を演算し、動きの時間的な一様性を示す指標として用いることによって、移動物体が一定方向に運動している場合には、動きベクトルの積算値の更新を一段と安定的に継続することができる。

一方、移動物体が方向転換したときには、更新元の相関演算ブロックが正しく選択されない場合があるが、移動物体が画面に出現し始めてから検出されるまで、又は移動物体が動き始めてから検出されるまでの短時間の間に、動きベクトルの積算値及び積算回数が正しく引き継がれることに主眼をおく場合には、移動物体が方向転換することは考慮する必要がないため、フレームｎ−１における動きベクトルの積算値と、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの内積を演算することが一段と有効である。

（４−２）動作及び効果
以上の構成において、この移動物体検出装置１００では、動きベクトル積算部１０１において、過去ベクトル蓄積部６０に蓄積されているこれら相関演算ブロックＢＲ１０の１つ前のフレームｎ−１における動きベクトルの積算値と、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの内積を演算し、内積が最大となる相関演算ブロックＢＲ１０を更新元の相関演算ブロックＢＲ１０として選択する。

従って、フレームｎ−１における動きベクトルと、位置（Ｘ，Ｙ）のフレームｎにおける動きベクトルとの差分を演算する場合に比して動きベクトルの積算値の更新を一段と安定的に継続することができると共に、フレームｎ−１における動きベクトルの積算値を用いるようにしたため、動きベクトルの積算値の更新を一段と精度良く継続することができる。

以上の構成によれば、動きベクトル積算部１０１において、過去ベクトル蓄積部６０に蓄積されているこれら相関演算ブロックＢＲ１０の１つ前のフレームｎ−１における動きベクトルの積算値と、位置（ｘ，ｙ）のフレームｎにおける動きベクトルとの内積を演算し、内積が最大となる相関演算ブロックＢＲ１０を更新元の相関演算ブロックＢＲ１０として選択することにより、フレームｎ−１における動きベクトルと、位置（Ｘ，Ｙ）のフレームｎにおける動きベクトルとの差分を演算する場合に比して動きベクトルの積算値の更新を一段と安定的に継続することができると共に、フレームｎ−１における動きベクトルの積算値を用いるようにしたため、動きベクトルの積算値の更新を一段と精度良く継続することができ、かくして移動物体を精度良く検出し得る移動物体検出装置を実現できる。

（５）他の実施の形態
なお上述の実施の形態においては、本発明を、映像監視システム等の監視システムに適用される移動物体検出装置４０、７０、９０、１００に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステムにおける移動物体の検出装置として広く適用することができる。

また上述の実施の形態においては、ｍ×ｍ画素の相関演算ブロックＢＲ１０を配置間隔Ｔと同一の長さ（ｍ＝Ｔ）に選定したため、図２のように隙間なく配置するようにした場合について述べたが、本発明はこれに限らず、図３８のように相関演算ブロックに比して配置間隔を大きくして（ｍ＜Ｔ）、隙間を開けて配置するようにしても良く、さらには相関演算ブロックに比して配置間隔を小さくして（ｍ＞Ｔ）、相関演算ブロックＢＲ１０の一部が互いに重なるように配置するようにして良い。ただし配置される個々の相関演算ブロックＢＲ１０の位置は、時間によって変化せず、常に一定とする必要がある。なお、配置される個々の相関演算ブロックＢＲ１０の大きさについては、一定とする必要はない。

さらに上述の実施の形態においては、図２について上述したように、相関演算ブロックＢＲ１０をｍ×ｍ画素の正方形状に設定するようにした場合について述べたが、本発明はこれに限らず、相関演算ブロックＢＲ１０の形状としては、この他種々の形状を広く適用することができる。

さらに上述の実施の形態においては、現在の入力画像に基づく所定のパラメータと、入力画像に基づく上記パラメータの分布を表す分布パラメータとの差分を算出する差分手段として、現在の入力画像における輝度レベルと、入力画像の輝度レベルの時間的な平均値との偏差を上記差分として算出した場合について述べたが、本発明はこれに限らず、この他種々の分布パラメータに適用することができる。

さらに上述の実施の形態においては、相関演算ブロック配置部４２から供給される相関演算ブロックデータＤ３１に対して、個々の相関演算ブロックＢＲ１０ごとに当該相関演算ブロックＢＲ１０内の平均輝度レベルを算出し、この結果得られた相関演算ブロックＢＲ１０ごとの平均輝度レベルを平均輝度情報Ｄ７０として背景モデル更新部８３及び背景モデル差分部８５に送出した場合について述べたが、本発明はこれに限らず、相関演算ブロックＢＲ１０内の所定の位置の輝度レベルを相関演算ブロックＢＲ１０の輝度レベルとして算出するようにしても良く、また相関演算ブロックＢＲ１０内の輝度レベルそのままでも良く、この他種々の輝度レベルに適用することができる。

さらに上述の実施の形態においては、過去の動きベクトル及び現在の動きベクトルと
として、フレームｎ−１における動きベクトル及びフレームｎにおける動きベクトルを採用した場合について述べたが、本発明はこれに限らず、過去の動きベクトルとして例えばフレームｎ−３における動きベクトルやフレームｎ−５における動きベクトルのようにフレームｎ−１における動きベクトルより前の動きベクトルを採用するようにしても良い。

さらに上述の実施の形態においては、瞬時的な乱雑度Ｅｎ（Ｘ，Ｙ）の算出時におけるＳｎ（Ｘ，Ｙ）が、動きベクトル群Ｗｎ（Ｘ，Ｙ）に含まれるそれぞれの動きベクトルにおけるＸ成分、Ｙ成分それぞれの平均偏差を加算した値である場合について述べたが、本発明はこれに限らず、例えば動きベクトル群Ｗｎ（Ｘ，Ｙ）のそれぞれの動きベクトルの分散共分散行列など、この他種々のばらつきの程度を表す指標を用いるようにしても良い。

さらに上述の実施の形態においては、第４の実施の形態における動きベクトル積算部１０１の過去積算値読み出し部１１０を第１の実施の形態における移動物体検出装置４０に適用した場合について述べたが、本発明はこれに限らず、例えば第２の実施の形態における移動物体検出装置７０に適用するようにしても良く、また第３の実施の形態における移動物体検出装置９０に適用するようにしても良く、この他種々の移動物体検出装置に適用することができる。

さらに上述の実施の形態においては、一連の処理をそれぞれの機能を有するハードウェアにより実行させた場合について述べたが、本発明はこれに限らず、ソフトウェアにより実行させるようにしても良い。このとき、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータに対して、各種プログラムをインストールすることで各種の機能を実行することが可能となり、例えば汎用のパーソナルコンピュータなどに例えば記録媒体からインストールされる。そしてこの記録媒体は、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体を含むことは言うまでもない。また例えば汎用のパーソナルコンピュータなどに例えばインターネット等のネットワークを介してダウンロードすることによって、各種プログラムをインストールするようにしても良い。

本発明は、映像監視システム等の監視システムのほか、画像内の移動物体を検出し、当該検出結果に基づいて種々の処理を実行する各種システムに適用できる。

第１の実施の形態による移動物体検出装置の構成を示すブロック図である。 相関演算ブロックの配置例を示す概念図である。 相関演算の一例の説明に供する概念図である。 相関マップを示す概念図である。 動きベクトル除去部の構成を示すブロック図である。 乱雑度算出処理手順を示すフローチャートである。 第１の動きベクトル除去判定処理手順を示すフローチャートである。 空間的及び時間的に隣接する動きベクトルからなるベクトル群の説明に供する概念図である。 空間的及び時間的に一様性の高い動きベクトル群の説明に供する概念図である。 移動物体に起因する動きベクトルの瞬時的な乱雑度及び定常的な乱雑度を示すグラフである。 空間的及び時間的に一様性の低い動きベクトル群の説明に供する概念図である。 背景変動に起因する動きベクトルの瞬時的な乱雑度及び定常的な乱雑度を示すグラフである。 背景変動を隠すように移動物体が通過するような場合における動きベクトルの瞬時的な乱雑度及び定常的な乱雑度を示すグラフである。 動きベクトル積算部の構成を示すブロック図である。 移動物体検出処理手順を示すフローチャートである。 人物や車両による動きベクトルの積算の説明に供する概念図である。 振動的な背景変動による動きベクトルの積算の説明に供する概念図である。 短時間のランダムな動きによる動きベクトルの積算の説明に供する概念図である。 瞬間的な照明変動による動きベクトルの積算の説明に供する概念図である。 本実施の形態による移動物体と背景変動の重なりの説明に供する概念図である。 動きベクトル除去部による乱雑度の高い動きベクトルの除去の説明に供する概念図である。 第１の実施の形態による動きベクトルの時間経過の説明に供する概念図である。 第１の実施の形態による動きベクトルの時間経過の説明に供する概念図である。 第１の実施の形態による動きベクトルの時間経過の説明に供する概念図である。 本実施の形態による連続して二人の人物が画面内に現れた場合の追跡処理の説明に供する概念図である。 第２の実施の形態による移動物体検出装置の構成を示すブロック図である。 第２の実施の形態による動きベクトル除去部の構成を示すブロック図である。 第２の動きベクトル除去判定処理手順を示すフローチャートである。 小さな移動物体と背景変動の重なりの説明に供する概念図である。 背景差分情報に基づく２値化の説明に供する概念図である。 動きベクトル除去部による乱雑度の高い動きベクトルの除去の説明に供する概念図である。 第３の実施の形態による移動物体検出装置の構成を示すブロック図である。 第１階層の画像データ及び第２階層の画像データの処理の説明に供する概念図である。 第３の実施の形態による移動物体検出装置の動作タイミングの説明に供する概念図である。 第３の実施の形態による動きベクトルの算出の説明に供する概念図である。 走行中の自動車における動きベクトルの算出の説明に供する概念図である。 大きな背景の近傍を小さな人物が移動する場合における動きベクトルの算出の説明に供する概念図である。 他の実施の形態による相関演算ブロックの配置の説明に供する概念図である。 従来の移動物体検出装置の構成を示すブロック図である。 従来の移動物体検出装置における移動物体の検出方法の説明に供する概念図である。 従来の移動物体検出装置の構成を示すブロック図である。 画像変化抽出部の構成を示すブロック図である。 従来の移動物体検出装置における移動物体の検出方法の説明に供する概念図である。 移動物体と背景変動の重なりの説明に供する概念図である。 移動物体と背景変動の重なりの説明に供する概念図である。 従来の移動物体検出装置における連続して二人の人物が画面内に現れた場合の追跡処理の説明に供する概念図である。 従来の移動物体検出装置における連続して二人の人物が画面内に現れた場合の追跡処理の説明に供する概念図である。

符号の説明

４０、７０、９０、１００……移動物体検出装置、４２……相関演算ブロック配置部、第１の相関演算ブロック配置部、４３……過去画像蓄積部、第１の過去画像蓄積部、４４……相関演算実行部、第１の相関演算実行部、４５、７１……動きベクトル除去部、４６、１０１……動きベクトル積算部、４７……移動物体検出部、５０……過去ベクトル蓄積部、５１……乱雑度算出部、５２、８１……乱雑ベクトル除去部、６０……過去ベクトル蓄積部、６１……積算制御部、６２……積算値更新部、６３……積算値蓄積部、６４……過去積算値蓄積部、６５、１１０……過去積算値読み出し部、８０……背景モデル差分算出部、８２……平均輝度算出部、８３……背景モデル更新部、８４……背景モデル蓄積部、８５……背景モデル差分部、９１……第２の相関演算部、９２……動きベクトル統合部、９３……画像縮小部、９４……第２の相関演算ブロック配置部、９５……第２の過去画像蓄積部、９６……第２の相関演算実行部、ＢＧ……背景、ＨＵ、ＨＵ１、ＨＵ２……人物、ＢＲ１０、ＢＲ２０……相関演算ブロック、Ｅｎ……瞬時的な乱雑度、Ｅ’ｎ……定常的な乱雑度、Ｖｎ……動きベクトル、Ｗｎ……動きベクトル群、ＴＨ＿Ｅ１……第１の閾値、ＴＨ＿Ｅ２……第２の閾値、ＴＨ＿ＡＣＣ……第３の閾値、ＴＨ＿ＣＮＴ……第４の閾値、ＴＨ＿ＤＥＶ……第５の閾値、ＲＴ１……乱雑度算出処理手順、ＲＴ２……第１の動きベクトル除去判定処理手順、ＲＴ３……移動物体検出処理手順、ＲＴ４……第２の動きベクトル除去判定処理手順。

Claims (12)

1. 入力画像から動きベクトルを算出する動きベクトル算出手段と、
   過去の動きベクトルを蓄積する過去ベクトル蓄積手段と、
   現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、
   上記過去ベクトル蓄積手段から読み出した上記過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、
   上記現在の瞬間的な乱雑度と上記過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出手段と、
   各上記動きベクトルについて、上記瞬間的な乱雑度が第１の閾値以上、かつ、上記定常的な乱雑度が第２の閾値以上であるときに、上記動きベクトルを除去する乱雑ベクトル除去手段と、
   過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積手段と、
   上記積算値蓄積手段に蓄積された上記過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出し手段と、
   上記積算値蓄積手段に蓄積された上記過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新手段と、
   動きベクトル毎の上記積算値の大きさが第３の閾値以上、かつ、上記積算値更新手段により算出された上記動きベクトル毎の上記積算回数が第４の閾値以上の場合に、各上記動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出手段と
   を具える移動物体検出装置。
2. 上記移動物体検出装置は、現在の上記入力画像に基づく所定のパラメータと、上記入力画像に基づく上記パラメータの分布を表す分布パラメータとの差分を算出する差分手段を具え、
   上記乱雑ベクトル除去手段は、各上記動きベクトルについて、上記瞬時的な乱雑度及び上記定常的な乱雑度並びに上記差分手段により算出された上記差分に基づいて上記移動物体に起因しないと判定される上記動きベクトルを除去する
   請求項１に記載の移動物体検出装置。
3. 上記乱雑ベクトル除去手段は、上記瞬時的な乱雑度及び上記定常的な乱雑度の双方が所定の閾値以上であり、かつ上記差分手段により算出された上記差分が所定の閾値より小さいときに上記動きベクトルを除去する
   請求項２に記載の移動物体検出装置。
4. 上記パラメータは、現在の上記入力画像における輝度レベルであり、
   上記分布パラメータは、上記入力画像の輝度レベルの時間的な平均値及び時間的なばらつきの大きさであり、上記差分手段は、現在の上記入力画像における上記輝度レベルと、上記入力画像の輝度レベルの時間的な平均値との偏差を上記差分とする
   請求項２に記載の移動物体検出装置。
5. 上記動きベクトル算出手段は、
   所定の画像解像度の上記入力画像を所定のフレーム間隔で相関演算する第１の相関演算実行手段と、
   上記画像解像度より低解像度の第２の画像を第１のフレーム間隔と異なるフレーム間隔で相関演算する第２の相関演算実行手段と、
   上記入力画像の同一の時間及び同一の位置に算出される上記第１の相関演算実行手段により算出された第１の動きベクトル及び上記第２の相関演算実行手段により算出された第２の動きベクトルのうち、上記動きベクトルの大きさが最大の上記第１の動きベクトル又は上記第２の動きベクトルを選択することにより、動きベクトルを統合する動きベクトル統合手段とを具え、
   上記乱雑ベクトル除去手段は、上記動きベクトル統合手段により統合された各統合動きベクトルについて、上記瞬時的な乱雑度が上記第１の閾値以上、かつ、上記定常的な乱雑度が第２の閾値以上であるとき、上記各統合動きベクトルを除去する
   請求項１に記載の移動物体検出装置。
6. 上記動きベクトル算出手段は、
   上記入力画像に複数の領域を配置する領域配置手段と、
   過去の上記入力画像を蓄積する過去画像蓄積手段と、
   上記領域配置手段により配置された上記領域毎に、上記過去画像蓄積手段から読み出した過去の上記入力画像と現在の上記入力画像との間で相関演算を実行するようにして上記動きベクトルを演算する相関演算手段とを具え、
   上記領域配置手段は、各上記領域を常に一定位置となるようにそれぞれ配置する
   請求項１に記載の移動物体検出装置。
7. 上記積算値読み出し手段は、
   上記現在の動きベクトルの位置から当該動きベクトルと逆向きに、かつ当該動きベクトルの大きさだけ空間的に離れた位置、又はその近傍の位置と対応付けられた過去の各上記動きベクトルの上記積算値及び上記積算回数から一の上記動きベクトルの上記積算値及び上記積算回数を選択する
   請求項６に記載の移動物体検出装置。
8. 上記積算値読み出し手段は、過去の各上記動きベクトルと現在の上記動きベクトルとの差分が最小となる過去の上記動きベクトルの上記積算値及び上記積算回数を選択する
   請求項７に記載の移動物体検出装置。
9. 上記積算値読み出し手段は、過去の各上記動きベクトルの上記積算値と現在の上記動きベクトルとの内積が最大となる過去の上記動きベクトルの上記積算値及び上記積算回数を選択する
   請求項７に記載の移動物体検出装置。
10. 上記積算値更新手段は、過去の上記動きベクトルを蓄積する過去ベクトル蓄積手段を具え、
    上記積算値蓄積手段に蓄積された過去の各上記動きベクトルの上記積算値及び上記積算回数のうち、上記過去ベクトル蓄積手段に蓄積された過去の上記動きベクトルと、上記動きベクトル算出手段により算出された現在の上記動きベクトルとに基づいて上記移動物体に起因しないと判定される上記位置と対応付けられた上記動きベクトルの上記積算値及び上記積算回数をリセットする
    請求項７に記載の移動物体検出装置。
11. 入力画像から動きベクトルを算出する動きベクトル算出ステップと、
    過去の動きベクトルを蓄積する過去ベクトル蓄積ステップと、
    現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、
    上記過去ベクトル蓄積手段から読み出した上記過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、
    上記現在の瞬間的な乱雑度と上記過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出ステップと、
    各上記動きベクトルについて、上記瞬間的な乱雑度が第１の閾値以上、かつ、上記定常的な乱雑度が第２の閾値以上であるときに、上記動きベクトルを除去する乱雑ベクトル除去ステップと、
    積算値蓄積手段に対し、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積ステップと、
    上記積算値蓄積手段に蓄積された上記過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出しステップと、
    上記積算値蓄積手段に蓄積された上記過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新ステップと、
    上記動きベクトル毎の上記積算値の大きさが第３の閾値以上、かつ、上記積算値更新手段により算出された上記動きベクトル毎の上記積算回数が第４の閾値以上の場合に、各上記動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップと
    を具える移動物体検出方法。
12. 移動物体検出装置に対して、
    入力画像から動きベクトルを算出する動きベクトル算出ステップと、
    過去の動きベクトルを蓄積する過去ベクトル蓄積ステップと、
    現在の動きベクトルからなる動きベクトル群から現在の瞬間的な乱雑度を算出し、
    上記過去ベクトル蓄積手段から読み出した上記過去の動きベクトルからなる動きベクトル群に基づいて過去の定常的な乱雑度を算出し、
    上記現在の瞬間的な乱雑度と上記過去の定常的な乱雑度とに基づいて、現在の定常的な乱雑度を算出する乱雑度算出ステップと、
    各上記動きベクトルについて、上記瞬間的な乱雑度が第１の閾値以上、かつ、上記定常的な乱雑度が第２の閾値以上であるときに、上記動きベクトルを除去する乱雑ベクトル除去ステップと、
    積算値蓄積手段に対し、過去の各非除去動きベクトルの積算値及び積算回数を、それぞれ直前の非除去動きベクトルの位置と対応付けて蓄積する積算値蓄積ステップと、
    上記積算値蓄積手段に蓄積された上記過去の各非除去動きベクトルの積算値及び積算回数を読み出す積算値読み出しステップと、
    上記積算値蓄積手段に蓄積された上記過去の各非除去動きベクトルの積算値及び積算回数と、現在の非除去動きベクトルの大きさ及び位置とを用いて更新するようにして、新たな動きベクトルの積算値及び積算回数をそれぞれ算出する積算値更新ステップと、
    上記動きベクトル毎の上記積算値の大きさが第３の閾値以上、かつ、上記積算値更新手段により算出された上記動きベクトル毎の上記積算回数が第４の閾値以上の場合に、各上記動きベクトルについて、当該動きベクトルが移動物体のものであると判定する移動物体検出ステップと
    を実行させるプログラム。

Images