JPH11502351A

JPH11502351A - 時間的に順次連続する画像の運動物体を検出する方法

Info

Publication number: JPH11502351A
Application number: JP9525567A
Authority: JP
Inventors: マイヤーミヒャエル; ヘッターミヒャエル; ロットマンフランク
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1996-01-15
Filing date: 1996-10-26
Publication date: 1999-02-23
Also published as: EP0815539A1; CN1178592A; CN1107282C; EP0815539B1; US6069918A; DE19601005A1; WO1997026622A1; DE59607782D1

Abstract

(57)【要約】時間的に順次連続する画像において動いている物体を検出するために利用される方法を提供する。この場合、ブロック指向形の分析のために目下の画像を画像ブロックに分割し、各画像ブロックごとに目下の画像の画像信号と、画像の時間順序で目下の画像に先行する第１の基準画像の対応する画像ブロックにおける画像信号とを比較する。その際にこの比較を、たとえば画像信号変化および／またはテクスチャ変化を求めることにより行う。そして変化検出のため、目下の画像の画像信号と運動物体のない第２の基準画像の画像信号との差を、画素単位精度で所定の第１の閾値と比較する。その差が所定の第１の閾値を超えていれば、物体指向形の分析で物体の大きさおよび／または形状を求め、動いている物体を表す画像信号と、第１の基準画像の対応する画像領域における画像信号とを、たとえば画像信号変化および／またはテクスチャ変化を求めることで比較する。また、所定の第１の大きさ閾値を下回っている目下の画像の少なくとも１つの運動物体に対し、第１の基準画像の対応する物体への対応づけとその動きベクトルの形成により動き予測を行う。予測された動きベクトルの値が所定の第２の閾値を超えていれば、その物体に対し時間的な監視を行い、予測された動きベクトルの値が所定の第３の閾値を超えていれば、その物体を運動物体として識別する。時間的に監視されている物体に対し、以前に利用された目下の画像に対応する第３の基準画像に基づき、目下の画像に対する新しい物体位置を予測することで動き予測を実行する。さらに、目下の画像における物体への被監視物体の対応づけを、動き予測により得られた物体位置と物体指向形の分析で求められた目下の画像中の対応する物体位置とをオーバーラップさせることによって行う。この場合、被監視物体の動きを、それまでに求められた動きベクトルの和の形成により時間に依存して求め、和の形成による動きベクトルの値が所定の第３の閾値を超えていれば、被監視物体を動いている物体として検出する。

Description

【発明の詳細な説明】時間的に順次連続する画像の運動物体を検出する方法従来の技術本発明は、請求項１の上位概念に記載の時間的に順次連続する画像における運動物体を検出する方法に関する。未公開の特許出願第４４４０６７１号明細書には、運動物体を光学的に検出する方法についてすでに述ベられている。この公知の方法によれば運動物体を検出するために、目下の画像と基準画像とが画像信号変化、テクスチャないし組織構造、変位という測定量に関して比較される。運動物体が検出されると、それに続いて、背景画像と関連づけて画素単位精度の変化検出手法を用いることにより、その運動物体の物体指向形分析が実施される。次に、物体マスクにおいて、運動物体に属する関連の画像領域が特徴づけられる。そして特徴、大きさ、直線性に基づくトポロジー検査、ならびに画像信号変化、テクスチャ、動きという物体関連の測定量の検査を完了させることで、運動物体が検出される。発明の利点これに対し請求項１の特徴部分に記載の構成を備えた本発明による方法の利点とは、ある物体に関する物体特徴がある１つの時点で検出され評価されるだけでなく、特徴の時間的なシーケンスが求められて評価されることにある。このことにより、短時間だけ短い距離で移動した物体と、比較的長い距離にわたり連続的に移動した物体との区別を行うことができる。したがってたとえば、ある撮影場面中を方向づけられて移動する人物と、風の中でごく短い距離しか運動していない樹木の領域とを区別することができる。そしてこのようにして有効量と障害量との区別が改善されることで、物体検出手法の安定性が高められる。従属請求項には、請求項１記載の方法の有利な実施形態が示されている。殊に有利には請求項２に示されているように、物体の動きをそれまでに求められた動きベクトルの和の計により時間に依存して求める。このことにより、動いている物体が観察されている撮影場面中を方向づけられて移動しているという情報に加えて、撮影場面中の物体の経路に関する精確な情報もベクトル連鎖の形で得られる。このようにして、アラームトリガの判定が著しく改善される。有利には請求項３に記載のように物体指向形の分析を、ブロック指向形の分析により運動物体が識別されている画像領域ないしは動き予測により物体が予測されている両像領域に制限される。このようにすれば、物体運動に係わる画像領域においてのみ分析が行われることになり、その結果、計算コストおよび計算時間が節約される。有利には請求項４に示されているように、物体を監視すべきか否かの必要性を判定するために、物体に関する平均的な時間的テクスチャ変化を関与させる。このようにして、物体の時間特性判定のために付加的な特徴を得ることができ、その結果、有効量と障害量との区別がさらに改善される。請求項５に記載されているように、物体に関する平均的な時間的テクスチャ変化を求めるためにテクスチャ変化のブロック指向形分析を利用するのが有利である。これにより、物体に関する平均的な時間的テクスチャ変化を求めるための付加コストが大幅に低減される。請求項６に示されているように、和の形成による動きベクトルの値が所定の第２の閾値を下回っていれば物体の監視を中止すると有利である。これにより、重要でない動きをしている物体たとえば行ったり来たりして動いている樹木の枝のような動きをしている物体を、方向づけられた動きをしている重要な物体と区別することができ、これと同時にコストが節約される。それというのも、いっそう僅かな物体しか監視しなくてよいからである。有利には請求項７と８に記載されているように、直前に実行された動き予測では動きベクトルを求めることができなかったとき、ないしは目下の画像における物体への被監視物体の対応づけが不可能であるとき、被監視物体が運動物体として識別される。このようにすれば、たとえば画像撮影頻度が制限されている理由で捕捉できないような物体の動きであっても識別される。さらに有利には請求項９に示されているように、より精密な物体指向形の分析の前に、物体をその大きさおよびその形状について所定の大きさおよび所定の形状と比較し、物体の大きさないし物体の形状が所定の大きさないし所定の形状に適合していなければ、物体の画像信号が続いて比較されないように構成されている。このようにすることで方法の効率が改善される。請求項１０に示されているように、動いていると識別された物体について物体アラームがトリガされると有利である。これにより、この方法を警報設備に適用することができる。請求項１１に記載されているように、動いていると識別された物体について監視を中止するのが有利である。これにより、まだ動いていると識別されていない物体を監視するためのコスト、時間および記憶場所を節約することができる。請求項１２に示されているように、動き予測を品質基準により判定するのが有利である。これにより、信頼性のない動き予測を伴う物体を特別にマーキングして監視することができるようになる。このことはたとえば、予測の信頼性のなさが、物体が撮影場面から離れ去ったことあるいは画像撮影頻度が制限されている理由でその動きが捕捉不可能であることに起因している場合に、とりわけ重要な役割を果たす。請求項１３に記載されているとおり、物体マスク中に含まれている画素を利用して物体の変位を求めるようにして物体運動の効率的な算出を行うのが有利である。請求項１４に示されているように、画素単位精度の変化検出により上記の物体マスクを求めるのが有利であり、この場合、変化していると識別された幾重にも関連する各画像領域が識別子によってマーキングされる。これにより、本発明による方法がさらに簡単になる。有利には請求項１５に示されているように簡単かつ僅かなコストで、目下の画像における物体への被監視物体の対応づけが行われ、この対応づけは、予測された物体の動きを考慮しながら各物体マスクをオーバーラップさせ、それを取り囲む矩形のオーバーラップを検査するようにして行われる。請求項１６に記載されているように、動いている物体の大きさを画像位置に依存して重み付けるのが有利である。このことによって撮影場面の遠近法的な判定を実現することができ、いっそう遠くに位置する物体については物体検出のための閾値ないし物体アラームのための閾値を低減することができる。請求項１７に示されているように、物体が監視されておらず、かつ目下の画像中のすべての物体が非運動物体として識別されたのであれば、第２の基準画像を第１の基準画像による上書きによって追従処理するのが有利である。このようにすることで、動いている物体のない第２の基準画像の簡単な更新を実現できる。請求項１８に示されているように、小さい動きをしている物体をバッファメモリに記憶し、第１の基準画像においてそれを考慮するのが有利である。このことで、蓄積する著しく小さい動きを捕捉することができる。請求項１９に記載されているように、動いている物体あるいは信頼性のない動き予測であるとされた物体が存在しているとき、第１の基準画像を後続の目下の画像により上書きするのが有利である。これにより画像撮影頻度が高められ、その結果、相応に速い物体でも捕捉できるようになる。図面図面には本発明の実施例が示されており、次にそれについて詳細に説明する。図１は本発明による方法を実施するための装置を示す図であり、図２はプログラムのフローチャート、図３および図４は物体指向分析のためのサブプログラムのフローチャート、図５は物体変位を伴う物体マスクを示す図であり、図６は画素単位精度の変化検出により求められた物体マスク、図７は周囲を取り囲む矩形のオーバーラップを示す図、さらに図８はオーバーラップした周囲を取り囲む矩形の画素単位精度のオーバーラップ平面を示す図である。実施例の説明図１には画像撮影ユニット１が示されており、このユニットはデータライン７を介して計算ユニット２と接続されている。計算ユニット２は別のデータライン７を介して信号表示装置５と接続されている。さらに計算ユニット２は別のデータライン７を介してメモリ４と接続されている。また、この計算ユニット２とは、さらに別のデータライン７を介してディスプレイ６が接続されている。これに加えて図１には入力ユニット３も示されており、このユニットは別のデータライン７を介して計算ユニット２と接続されている。図２には、時間的に順次連続する画像における運動物体を検出する方法を実施するためのプログラムのフローチャートが示されている。この場合、対応するプログラムはメモリ４に格納されており、計算ユニット２により処理される。このプログラムのステップ１０において、画像撮影ユニット１により時間的に順次連続する２つの画像が記録され、計算ユニット２へ転送される。その際、時間的に古い方の画像が第１の基準画像にコピーされる。さらにこの時間的に古い方の画像は、運動物体のない撮影場面を表す第２の基準画像にコピーされる。時間的に新しい方の画像は以下では目下の画像と称する。計算ユニット２は、目下の画像と第１および第２の基準画像をメモリ４に記憶し、目下の画像と第１の基準画像を画像ブロックへ分割する。このようにして、目下の画像全体と第１の基準画像全体が同じ大きさの矩形の画像ブロックに分割される。この場合、たとえば１０×１０画素の大きさの画像ブロックが用いられる。ステップ２０において、目下の画像の各画像ブロックごとに、第１の基準画像の対応する画像ブロックとの比較によって画像信号変化という測定量が算出される。次に、このようにして求められた測定量はステップ３０において（平均値と分散により記述される）時間的な分散関数と比較される。これにより各画像ブロックごとに、以前に求められた画像信号変化と画像ブロックに典型的な画像信号変化との間の画像信号変化比ｒ_sが、統計的な有意性検査手法に基づき求められる。画像ブロックに対する典型的な画像信号変化は、この方法の開始にあたり有利にはカメラとして構成される画像撮影ユニット１のノイズに応じた値で開始され、ステップ３２０において画像シーケンスから再帰的に評価される。画像信号変化比ｒ_sが画像信号変化閾値ｔ_sよりも大きい画像ブロックについては、ステータス”運動物体”がブロック単位精度のステータスマスクにエントリされる。他の画像ブロックについては、ブロック単位精度のステータスマスクにステータス” 非運動物体”がエントリされる。ブロック単位精度のステータスマスクはバイナリマスクであって、そこでは画像信号変化比ｒ_sが画像信号変化閾値ｔ_sを上回ると、対応する画像ブロックないしはその画像ブロックの画素に１が割り当てられる。画像信号変化比ｒ_sが画像信号変化閾値ｔ_sを下回ると、ブロック単位精度のステータスマスクにおける対応の画像ブロックに０が割り当てられる。ステップ４０において、目下の画像中の画像ブロック各々に対しテクスチャないし組織構造という測定量が計算される。ステップ５０において画像ブロックの各々について、該当画像ブロックに対するテクスチャの時間的平均値で表される、以前に求められたテクスチャとその画像ブロックに典型的なテクスチャの偏差が求められ、典型的なテクスチャの時間分散で表される、以前に求められたテクスチャ変化と該当画像ブロックに典型的なテクスチャ変化との間におけるテクスチャ変化比ｒ_tが、統計的な有意性検査手法に従って求められる。この方法の開始にあたりテクスチャの時間的平均値と時間的分散の値は、第１の基準画像からカメラノイズを考慮した値によって開始され、ステップ３２０において画像シーケンスから再帰的に評価される。テクスチャ変化比ｒ_tがテクスチャ変化閾値ｔ_tを下回っており、かつブロック単位精度のステータスマスクにステータス”運動物体”がエントリされていれば、ブロック単位精度のステータスマスクに”非運動物体”がエントリされる。これにより、画像信号変化に関する画像信号変化比ｒ_sとテクスチャ変化に関するテクスチャ変化比ｒ_tが対応の変化閾値ｔ_sおよびｔ_tを上回っているすべての画像ブロックに対するブロック単位精度のステータスマスクには、ステータス”非運動物体”が生じる。残りの画像ブロックについては、ステータス”非運動物体”がエントリされている状態となる。この場合、ステータス”運動物体”は、ブロック単位精度のステータスマスクにおいて値１でマーキングされる画像ブロックに対応し、ステータス”非運動物体”は、ブロック単位精度のステータスマスクにおいて値０でマーキングされる画像ブロックに対応する。ステップ６０においてこのプログラムは目下の画像の物体指向形分析を可能にするサブプログラムにジャンプし、図３および図４にはそのサブプログラムのフローチャートが示されている。物体を時間的に監視するために、被監視物体の２次元のリストが管理される。この２次元のリストのうち一方のインデックスにより被監視物体の個数が計数され、他方のインデックスにより１つの被監視物体がセグメント化されている画像の個数が計数される。この２次元のリストは方法開始にあたり空のものとして初期化される。ステップ７０において、被監視物体の２次元のリスト中に物体がエントリされているかが調べられる。もしエントリされているならば、この方法はステップ８０に進み、そうでなければステップ１１０に進む。ステップ８０において、被監視物体の２次元のリスト中の全ての物体について動き予測が実行される。この動き予測は、以前に用いた目下の画像に対応する第３の基準画像に基づきその目下の画像に関する新たな物体位置を予測しながら実行される。この場合、以前に用いられた目下の画像の物体マスクの出発物体位置を利用することができる。この方法を開始する際にはまだ第３の基準画像は存在していない、それというのも以前に用いられた目下の画像がなく、同様にそれに属する物体マスクもほとんどない。したがって動き予測は方法開始時には実行できず、被監視物体の２次元のリストは方法開始時にはいずれにせよ空のものとして初期化されている。動き予測を行うためには次のような方法が用いられる。すなわちこの方法によれば、起こり得る各動きベクトルに対するサーチ領域内で品質基準が求められ、その品質基準を最良に満たす動きベクトルが、起こり得る他の動きベクトルに対し相対的に評価される。サーチされる動きベクトルについて、起こり得る他のすべての動きベクトルよりも品質基準を著しく良好に満たしていれば、信頼性のある予測が生じる。そうでなければ、予測は信頼できないものとして評価しなければならない。動き予測の結果は被監視物体の２次元のリストにエントリされる。ステップ９０において、ある動きベクトルを以前に求めることのできた被監視物体の２次元のリストからの全ての物体について、そのベクトルならびに以前に用いられた目下の画像の物体マスク中の先行の位置を利用しながら、目下の画像内の新しい物体位置が予測される。次のステップにおいて物体指向形分析が実行される。有利にはこの物体指向形分析は、可能な運動物体が検出された画像ブロックについてのみ実行される。これに相応する画像ブロックは、ブロック単位精度のステータスマスクにおいて値１でマーキングされている。さらにこの物体指向形分析は、予測された物体位置から取り出される画像領域に対しても行われる。そしてステップ９０において画素単位精度の補助マスクが生成され、このマスクには予測された物体位置が画素単位の精度で挿入される。次にステップ１００において、ブロック単位精度のステータスマスクにステータス”運動物体”をもつエントリが存在しているかが調べられる。それが存在しているならばステップ１２０に進み、そうでなければステップ１３０にジャンプする。ステップ１１０においても、ブロック単位精度のステータスマスク中にステータス”運動物体”をもつエントリが存在しているかがやはり調べられる。存在しているならばステップ１２０に進み、そうでなければステップ３１０に進む。ステップ１２０において、ブロック単位精度のステータスマスク内でステータス”運動物体”をもつすべての画像ブロックが、画素ごとに画素単位精度の補助マスクの対応領域にエントリされる。このようにすると画素単位精度の補助マスクによって、物体指向形分析を行うべき画素すべてが表される。ステップ１３０において、画素単位精度の補助マスクに従って物体指向形で分析すべき画像領域中の目下の画像の画像信号が、第２の基準画像における対応の画像信号と画素ごとに比較され、その結果、画素単位精度の変化マスクが求められる。この画素単位精度の変化マスクにより運動物体が表される。画素単位精度の変化マスクを求めるために、目下の画像における被検査画像ブロックの各画素の画像信号が、第２の基準画像における画素の対応する画像信号と比較される。次に画像信号の差が、まえもって定められた第１の閾値と比較される。変化マスクにおいて画素がマーキングされるのは、画像信号の対応の差が所定の第１の閾値を超えているときである。その際、この所定の第１の閾値は、対応する画素における画像信号の時間経過特性および／またはそれらの画像信号と空間的に隣接する画素に依存して適合調整できる。ステップ１４０において、変化マスクにおける関連領域が識別子によりマーキングされ、物体として検出される。その結果は、目下の画像の画素単位精度の物体マスクである。目下の画像における画素単位精度の物体マスクにおいて、個々の物体の画素が物体固有のグレー値により特徴づけられ、このグレー値は対応する物体に特徴的なものであり、一義的に他の物体とは識別可能に特徴づけられるものである。関連領域の個数は目下の画像における物体の個数である。目下の画像の画素単位精度の物体マスクにおいて、特徴的なグレー値により表された各物体について、物体ステータス”運動物体”が所定のデータ構造体内に記憶される。ステップ１５０において、画像単位精度の物体マスクに従って表されている目下の画像における物体すべてについて、物体の大きさが求められる。これは関連領域に属する画素の個数からじかに得られる。まえもって定められた第２の大きさ閾値よりも小さいすべての物体に対し、上記のデータ構造体において物体ステータス”非運動物体”が与えられる。他のすべての物体に対しては、物体ステータス”運動物体”が与えられる。この場合、まえもって定められている上述の第２の大きさ閾値は、目下の画像中の対応する物体の位置に合わせて整合され、これにより撮影場面の遠近法的な評価が可能となる。このために利用される方法は、未公開の特許出願第４４４０６７１号明細書に記載されている。ステップ１６０において、データ構造体中で物体ステータス”運動物体”を有するすべての物体に対し、目下の画像の物体領域におけるテクスチャと、物体なしの撮影場面において再帰的に求められたテクスチャとの偏差が求められる。この目的で、物体に属する画像ブロックについて目下のテクスチャとテクスチャの時間的平均値との偏差の２乗の重みづけられた和Ｓ_aと、テクスチャの時間的分散の重みづけられた和Ｓ_vが求められ、上記のデータ構造体にエントリされる。次に、２乗偏差の和Ｓ_aと時間的分散の和Ｓ_vから、物体指向のテクスチャ変化比ｒ_tobjが求められ、対応する物体のためのデータ構造体に同様にエントリされる。物体指向のテクスチャ変化比ｒ_tobjは、物体領域におけるテクスチャとこの領域における物体のないテクスチャとの偏差に対する尺度である。この場合、対応する物体における面積配分に依存して画像ブロックの重み付けが行われる。図４のステップ１７０において、被監視物体の２次元のリスト中に物体が存在しているかが調べられる。存在していないならばこのプログラムはステップ２２０に進み、そうでなければステップ１８０に進む。ステップ１８０において、被監視物体の２次元のリストからの物体と目下の画像における物体との対応づけが行われる。その際、以前に用いられた目下の画像における物体マスク中に正確な位置が記述されている被監視物体の２次元のリスト内のすべての物体について、目下の画像の画素単位精度の物体マスク中に正確な位置が記述されている目下の画像の物体への対応づけが行われる。図５には、以前に用いられた目下の画像の物体マスク１１が描かれている。この物体マスク１１には、ある物体のマスク１２が含まれている。この場合、以前に用いられた目下の画像の物体マスク１１内において上記のある物体に属するマスク１２が、図５に参照符号１３で示されているステップ８０でその物体について求められた動きベクトルだけシフトされる。これにより、シフトされた物体のマスク１４が得られる。次に、既述のデータ構造体においてステータス”運動物体”をもつ目下の画像における画素単位精度の物体マスクの物体との位置に関するオーバーラップが存在するか否かが調べられる。この目的で、シフトされた物体のマスク１４について周囲を取り囲む矩形１５が形成される。図６には目下の画像の画素単位精度の物体マスク１７が描かれており、この図によればそこに描かれている物体２０にも周囲を取り囲む矩形１６が付されている。次に、目下の画像の画素単位精度の物体マスクにおいて、既述のデータ構造体中に格納されているステータス”運動物体 ”をもつすべての物体について、周囲を取り囲む矩形１５と１６とのオーバーラップが存在しているか否かが調べられる。オーバーラップが存在しているならば、図７に示されているようにオーバーラップ矩形１９が求められ、このオーバーラップ矩形１９内で図８に示されているようにして画素単位精度のオーバーラップ平面１８が求められる。画素単位精度のこのオーバーラップ平面１８は、オーバーラップ矩形１９内に存在している。目下の画像における画素単位精度の物体マスクにおいて、ステータス”運動物体”をもつ複数の物体が存在している可能性がある。この場合、画素単位精度のオーバーラップ平面が最大となる物体への対応づけが行われる。その際、目下の画像における画素単位精度の物体マスク中の対応づけられた物体にステータス”追跡済みの物体”が与えられ、これは上述のデータ構造体にエントリされる。次に、物体のこの特性が被監視物体の２次元のリストにエントリされる。目下の画像の画素単位精度の物体マスクにおける物体とのオーバーラップが存在していなければ、やはりそのことが被監視物体の２次元のリストにエントリされる。このような結果はたとえば、物体が撮影場面から離れ去ったかあるいは障害物に隠されたことを意味する可能性がある。ステップ１９０において、被監視物体の２次元のリストにおけるすべての物体の評価が行われる。この目的で、それらの物体の各々について新たな２つの特徴が求められる。この場合、一方は、求められた各動きベクトルのベクトル和としての全体動きベクトルｖであり、他方は、物体に関する平均的な時間的テクスチャ変化である。物体に関連する平均的な時間的テクスチャ変化を求めるために、ブロック指向形分析で求められた少なくとも部分的に物体を有する各画像ブロックのテクスチャにおける２乗偏差において物体指向形分析により求められた重みづけられた和が、テクスチャの時間的な平均値により物体指向形で時間にわたり加算され、やはりブロック指向形分析により求められ同様に重みづけられたテクスチャの時間分散の和の時間的な和により除算される。これにより得られた商ｒ_tgesが所定の第４の閾値と比較される。商ｒ_tgesがこの閾値を下回っていれば、その物体は被監視物体の２次元のリストから消去される。次に、仝体ベクトルｖの値が所定の第２の閾値と比較される。この値が第２の閾値を下回っていれば、その物体は被監視物体の２次元のリストから消去される。上記の値が所定の第２の閾値よりも大きいかまたはそれと等しければ、その物体に関してステップ８０における先行の動き予測において動きベクトルを求めることができなかった場合、またはその物体について関連物体が見つけられなかった場合、運動物体が検出され、その物体が２次元のリストから消去される。その理由は、運動物体の後続追跡が保証されないからである。これによりたとえば、撮影場面から離れ去った物体、あるいはその動きによって障害物に隠された物体が、動いているものとして検出される。全体ベクトルｖの値が所定の第３の閾値よりも大きければ、運動物体が検出され、その物体はやはり２次元のリストから消去され、ないしは２次元のリストにおいて後続追跡されないまま放置されることになる。さらにステップ２００において、被監視物体の２次元のリスト中の運動物体がステップ１９０において検出されたか否かが調べられる。検出されていたのであれば、ステップ２１０において物体アラームがトリガされてステップ２２０にジャンプし、そうでなければ物体アラームがトリガされることなくこのプログラムのステップ２２０へ進む。ステップ２２０において、データ構造体中にステータス”運動物体”をもつ目下の画像の画素単位精度の物体マスク中の物体について、ステップ１６０により求められたテクスチャ偏差が物体指向形のテクスチャ変化閾値ｔ_tobjと比較される。テクスチャ偏差がこの閾値を下回っていれば、その物体に対しデータ構造体におけるステータス”非運動物体”が与えられる。ステップ２３０において、データ構造中でステータス”運動物体”をもつ目下の画像の画素単位精度の物体マスクにおける物体について、物体指向形の画像信号変化が求められる。この目的で、その物体に属する画像ブロックについて、画像信号変化の時間的平均値と目下の画像信号変化が累算される。これら両方の和の商は物体指向形の画像信号変化比ｒ_sobjであり、これは物体により引き起こされた画像信号変化の有意性に対する尺度である。この場合、画像ブロックは、物体におけるその面積配分に依存して重みづけられる。ステップ２４０においてステータス”運動物体”を有するすべての物体について、ステップ２３０で求められた物体指向形の画像信号変化比ｒ_sobjが物体指向形の画像信号変化閾値ｔ_sobjと比較される。物体指向形の画像信号変化比ｒ_sobj がこの閾値を下回っていれば、その物体に対しデータ構造においてステータス” 非運動物体”が与えられる。ステップ２５０において、ステップ１５０で求められた物体の大きさが第１の大きさ閾値よりも下でありデータ構造体に格納されたステータス”運動物体”をもつすべての物体について、物体指向形の動き予測が実行される。この場合、第１の大きさ閾値は、この閾値よりも上の大きさの物体は、有為な動き予測が不可能であるような大きさの全画像における面積配分を有するものとなるよう選定される。物体指向形の動き予測の場合には目下の画像に基づき、データ構造体に格納されたステータス”運動物体”をもつ目下の画像の画像単位精度の物体マスクにおけるすべての物体について、第１の基準画像と関連づけて予測が実行される。これに利用される方法によれば、既述のように起こり得る各動きベクトルに対するサーチ範囲内で品質基準が求められ、その品質基準を最良に満たす動きベクトルが、起こり得る他の動きベクトルに対し相対的に評価される。最良に満たされた品質基準をもつ動きベクトルに関して、その品質基準が起こり得る他の動きベクトルよりも著しく良好に満たされているならば、信頼性のある予測が得られる。さもなければ、その予測は信頼できないものとして評価される。先に述べたこの方法はたとえば、R.Mester および M.Hoetter 著の刊行物”Zuverlaessigkeit und Effizienz von Verfahren zur Verschiebungs vektorschaetzung”，Jarestagung 1995 der deutschen Arbeitsgemeinschaft f uer Mustererkennung，Bielefeld，に示されている。ある物体に関する動きベクトルを信頼性を伴って求めることができなければ、その物体に対しステータス”不確実物体”が与えられる。動きベクトルを信頼性を伴って求めることができるならば、まずはじめにその値が所定の第２の閾値と比較される。この値が所定の第２の閾値よりも小さければ、その物体に対しステータス”小さい動きの物体”が与えられる。個々のステータスはやはりデータ構造体に格納される。動きベクトルの値が所定の第２の閾値を超えていれば、その値はさらに所定の第３の閾値と比較される。動きベクトルの値がこの所定の第３の閾値よりも小さければ、その物体に対しステータス”追跡すべき物体”が与えられ、被監視物体の２次元のリスト中にエントリされる。動きベクトルの値が上記の第３の閾値を超えていれば、その物体は運動物体として識別され、ステータス”運動物体”がその物体に与えられる。これらの個々のステータスはやはりデータ構造体にエントリされる。次にステップ２７０において、データ構造体においてステータス”運動物体” をもつ物体が目下の画像中に存在しているか否かが調べられる。存在しているのであれば、ステップ２８０において物体アラームがトリガされる。物体アラームをトリガされた被監視物体の２次元のリストにおける物体は、その２次元のリストから消去することもできるし、あるいはこの２次元のリスト中で後続追跡しないまま放置しておいてもかまわない。さらにステップ２９０において、ブロック単位精度のステータスマスクは物体指向形の分析結果に応じて適合化される。この目的でまずはじめに、すべての画像ブロックに値”非運動物体”が書き込まれる。次にすべての物体について、それぞれに属するステータスがデータ構造体から物体の触れている画像ブロックへ書き込まれる。この場合、１つの画像ブロックに対し複数の物体が触れている可能性があるので、一定の順序でステータスが求められ、その結果、いっそう重要なステータスによってそれよりも重要でないステータスが上書きされるようになる。その際、重要度が増していくようにしたステータスの順序は以下のとおりである。”小さい動きの物体”、”不確実な物体”、” 追跡済みの物体””追跡すべき物体”、”運動物体”という具合である。被監視物体の２次元のリストにおいてそのリストから消去された、運動していると検出された物体に対しては、さらに動きが検出されたときに新たにアラームがトリガされるので、運動していると検出された物体の後続追跡によっていずれにせよ、何度でも物体アラームがトリガされることになる。ステップ３００において、被監視物体の２次元のリスト中に少なくとも１つの物体がエントリされている場合、目下の画像の画素単位精度の物体マスクが以前に使用された目下の画像の物体マスクにコピーされ、これによりこの物体マスクはやはり画素単位精度の物体マスクを表すことになり、さらに目下の画像が第３の基準画像にコピーされる。ステップ３１０において、被監視物体の２次元のリスト中に物体がなにもエントリされておらず、かつ目下の画像中のすべての物体がステータス”非運動物体 ”をデータ構造体において有している場合、第１の基準画像が新しい第２の基準画像として記憶される。ステップ３２０において、ブロック指向形の画像信号変化とテクスチャの平均値および分散の形式で、ブロック単位精度のステータスマスクに依存して統計データの追従処理が続けられる。この目的で１次のＩＩＲフィルタが使用される。このフィルタの巡回係数ｒは、ブロック単位精度のステータスマスクに依存して設定される。分析により運動物体または起こり得る運動物体が検出された画像領域においては、たとえば小さい巡回係数ｒが設定される。他の画像領域では中庸な大きさの巡回係数が設定され、その結果、追従処理により撮影場面のゆっくりとした変化、たとえば昼と夜との移り変わりの場合に生じるようなゆっくりとした変化が考慮されるようになる。ステップ３３０において、ブロック単位精度のステータスマスク中にステータス”小さい動きの物体”がエントリされているすべての画像領域が、第１の基準画像からバッファメモリへコピーされる。ステップ３４０において、データ構造体に格納されているステータス”運動物体”または”不確実な物体 ”をもつ少なくとも１つの物体が存在しているか否かが調べられる。存在していないのであれば、ステップ３５０において第１の基準画像が目下の画像により上書きされ、続いて目下の画像が画像撮影ユニット１からの新たな映像により上書きされる。ステータス”運動物体”または”不確実な物体”をデータ構造中にもつ少なくとも１つの物体が存在しているならば、ステップ３６０において第１の基準画像と目下の画像が画像撮影ユニット１からの新たな映像によって上書きされる。このようにして画像撮影頻度が高められ、その結果、いっそう速い動きの物体も捕捉できるようになる。そしてこの方法はステップ３７０へと進む。ステップ３７０において、ブロック単位精度のステータスマスク中にステータス”小さい動きの物体”がエントリされているすべての画像領域が、バッファメモリから第１の基準画像へコピーされる。これによって、蓄積していく著しく小さい動きを捕捉することができる。次にこの方法はステップ２０へ進む。ステップ１５０で求められた物体の大きさに加えて、あるいはそれに対する代案として、形状特徴を求めることもでき、これにより所定の要求を満たしていない形状の物体は運動物体として検出されないようになり、計算コスト節約のためそれらの物体に関する画像信号比較を避けることができるようになる。形状特徴としてたとえば、関連する領域の直線性を検出することができる。直線性を検出するために、相応の物体の空間的な最大の広がりｅが求められる。この目的で、相互間で最大の距離を有する関連領域の画素が求められる。直線性の測定量として、物体面積に対する最大距離の２乗が用いられる。つまり直線性＝ｅ²：Ａであり、ここでｅは物体における２つの画素の最大距離、Ａは物体における画素の個数を表す。所定の直線性閾値を超えた直線性を有する物体（たとえば枝が該当する）はそれ以降検査されず、データ構造体においてステータス”非運動物体” が与えられることになる。

───────────────────────────────────────────────────── 【要約の続き】を行う。予測された動きベクトルの値が所定の第２の閾値を超えていれば、その物体に対し時間的な監視を行い、予測された動きベクトルの値が所定の第３の閾値を超えていれば、その物体を運動物体として識別する。時間的に監視されている物体に対し、以前に利用された目下の画像に対応する第３の基準画像に基づき、目下の画像に対する新しい物体位置を予測することで動き予測を実行する。さらに、目下の画像における物体への被監視物体の対応づけを、動き予測により得られた物体位置と物体指向形の分析で求められた目下の画像中の対応する物体位置とをオーバーラップさせることによって行う。この場合、被監視物体の動きを、それまでに求められた動きベクトルの和の形成により時間に依存して求め、和の形成による動きベクトルの値が所定の第３の閾値を超えていれば、被監視物体を動いている物体として検出する。

Claims

【特許請求の範囲】１．ブロック指向形の分析のために目下の画像が画像ブロックに分割され、各画像ブロックごとに目下の画像の画像信号が、画像の時間順序で該目下の画像に先行する第１の基準画像の対応する画像ブロックの画像信号と比較され、比較にあたりたとえば画像信号変化および／またはテクスチャ変化が求められる、時間的に順次連続する画像の運動物体を検出する方法において、変化検出のため、目下の画像の画像信号と運動物体のない第２の基準画像の画像信号との差を、画素単位精度で所定の第１の閾値と比較し、該所定の第１の閾値を前記の差が超えていれば、物体指向形の分析において物体の大きさおよび／または形状を求め、運動物体を表す画像信号を、前記第１の基準画像の対応する画像領域における画像信号と比較し、たとえば画像信号変化および／またはテクスチャ変化を求めることにより比較し、所定の第１の大きさ閾値を下回っている目下の画像における少なくとも１つの運動物体に対し、前記第１の基準画像の対応する画像領域への対応づけとそれに属する動きベクトルの形成により動き予測を実行し、予測された動きベクトルの値が所定の第２の閾値を超えていれば、前記物体に対し時間的な監視を行い、予測された動きベクトルの値が所定の第３の閾値を超えていれば、運動物体として前記物体を検出することを特徴とする、時間的に順次連続する画像の運動物体を検出する方法。２．時間的に監視される少なくとも１つの物体に対し、以前に使用された目下の画像に対応する第３の基準画像に基づき、その動きベクトルを形成して目下の画像に対する新しい物体位置を相応に予測しながら動き予測を実行し、画素単位精度の変化検出にあたり、目下の画像の予測された物体位置における画像信号と、第２の基準画像の対応する画像信号との差を、画素単位精度で所定の第１の閾値と比較し、該所定の第１の閾値を前記の差が超えていれば、物体指向形の分析により物体の大きさおよび／または形状を求め、被監視物体を表す画像信号を物体指向で、第１の基準画像の対応する画像領域における画像信号と、テクスチャ変化を求めることにより比較し、目下の画像の物体への前記被監視物体の対応づけを、動き予測で得られた物体位置と物体指向形分析で求められた目下の画像中の対応する物体位置とをオーバーラップさせることにより実行し、被監視物体の動きを、それまでに求められた動きベクトルの和の形成により時間に依存して求め、和の形成による動きベクトルの値が所定の第３の閾値を超えていれば、前記被監視物体を運動物体として検出する、請求項１記載の方法。３．前記の物体指向形の分析を、ブロック指向形の分析により運動物体が検出されたおよび／または動き予測により物体の予測された画像領域においてのみ実行する、請求項１または２記載の方法。４．前記被監視物体に対し物体に関する平均的な時間的テクスチャ変化を求め、該テクスチャ変化が所定の第４の閾値を下回っていれば物体の監視を中止する、請求項１〜３のいずれか１項記載の方法。５．物体に関する平均的な時間的テクスチャ変化を求めるために、少なくとも部分的に物体を有する画像ブロックについてブロック指向形の分析で求められたテクスチャの２乗偏差を、テクスチャの時間的平均値により重み付けて累算し、被加数の重み付けを物体を覆っている画像ブロックの面積に比例して選定し、重み付けられた和を物体指向で時間にわたり累算し、やはりブロック指向形の分析で求められ同様にテクスチャの時間分散の重み付けられた和の時間的な和により除算する、請求項１〜４のいずれか１項記載の方法。６．和の形成による前記被監視物体の動きベクトルの値が所定の第２の閾値を下回れば、物体の監視を中止する、請求項１〜５のいずれか１項記載の方法。７．直前に実行された動き予測では信頼性のある動きベクトルを求めることができなかったとき、和の形成による前記被監視物体の動きベクトルの値が所定の第２の閾値を超えていれば、物体を運動物体として識別する、請求項１〜６のいずれか１項記載の方法。８．目下の画像における物体への被監視物体の対応づけが不可能であるとき、和の形成による前記被監視物体の動きベクトルの値が所定の第２の閾値を超えていれば、物体を運動物体として識別する、請求項１〜７のいずれか１項記載の方法。９．大きさが所定の第２の大きさ閾値を下回っている物体および形状が所定の要求を満たしていない物体は運動物体として識別せず、その物体に関する画像信号の比較を行わない、請求項１〜８のいずれか１項記載の方法。 10．検出された運動物体に対し物体アラームをトリガする、請求項１〜９のいずれか１項記載の方法。 11．検出された運動物体に対し該物体に対し存続中の監視を中止する、請求項１〜１０のいずれか１項記載の方法。 12．起こり得る動きベクトルに対する所定のサーチ領域内で動き予測を行うために品質基準を求め、最良の品質をもつ動きベクトルが起こり得る他の動きベクトルよりも著しく良好な品質基準を有しているとき、測を信頼性のあるものとして評価し、さもなければ予測を信頼できないものとして評価する、請求項１〜１１のいずれか１項記載の方法。 13．物体の動きを物体マスク中に含まれている画素の変位により求める、請求項１〜１２のいずれか１項記載の方法。 14．前記物体マスクを画素単位精度の変化検出により求め、変化したと識別された関連する各画像領域を識別子によってマーキングする、請求項１〜１３のいずれか１項記載の方法。 15．目下の画像における物体への被監視物体の対応づけを確定するため、目下の画像の物体マスクと以前に使用された目下の画像の物体マスクとを、予測された物体の動きを考慮することでオーバーラップさせ、一義的な対応づけのため対応する物体を取り囲む矩形をオーバーラップさせる、請求項１〜１４のいずれか１項記載の方法。 16．運動物体の大きさを画像位置に依存して重み付けて求める、請求項１〜１５のいずれか１項記載の方法。 17．物体が監視されおらず、目下の画像中のすべての画像が非運動物体として識別されていれば、第１の基準画像を第２の基準画像へコピーする、請求項１〜１６のいずれか１項記載の方法。 18．小さい動きをしている物体を有する画像ブロックを第１の基準画像からバッファメモリへコピーし、第１の基準画像の変化後、動きのない物体を有する画像ブロックを前記バッファメモリから再び第１の基準画像へコピーする、請求項１〜１７のいずれか１項記載の方法。 19．非運動物体または信頼性のない動き予測であるとされた物体が存在していれば、第１の基準画像を目下の画像により上書きし、そうでなければ第１の基準画像を後続の目下の画像により上書きする、請求項１〜１８のいずれか１項記載の方法。