JP3625910B2 - 移動物体抽出装置 - Google Patents
移動物体抽出装置 Download PDFInfo
- Publication number
- JP3625910B2 JP3625910B2 JP23269995A JP23269995A JP3625910B2 JP 3625910 B2 JP3625910 B2 JP 3625910B2 JP 23269995 A JP23269995 A JP 23269995A JP 23269995 A JP23269995 A JP 23269995A JP 3625910 B2 JP3625910 B2 JP 3625910B2
- Authority
- JP
- Japan
- Prior art keywords
- moving
- image
- moving object
- label
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、監視装置等において動画像から動領域を検出して正確に移動物体を抽出するための技術に関する。
【０００２】
【従来の技術】
動画像から、フレーム間または背景画像との差分を用いて移動物体を抽出する際に特に問題となるのは、一つには移動物体と背景との間の輝度・色度信号差が出ないことによる検出動領域の分断であり、もう一つには移動物体どうしまたは移動物体と静止物体との間で起こる遮蔽である。これら両者の問題について解決を試みた従来例として『時系列差分画像を用いた複数移動物体の抽出及び追跡』（嶺・八木・谷内田、情報処理学会研究報告、ＣＶ−８１−７ 、５１−５５）がある。この方式の処理の流れについて図面を参照しながら説明する。図１５において、ステップ１２０１は時系列画像から動きのあった領域を検出して変化領域を抽出する処理であり、ステップ１２０２は変化領域を画像内および時間方向でラベリングする時空間ラベリング処理であり、ステップ１２０３はラベリングされた各領域を時間方向にグルーピングするグルーピング処理であり、ステップ１２０４はグルーピングされた各移動物体に時間方向に対応付けて同定する、移動物体の対応付け処理である。前記方式は、このようにして検出動領域の分断並びに遮蔽の問題を解決することを試みたものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の技術における検出動領域の分断並びに遮蔽の問題では、検出された動領域に対して一定のフレーム数にわたってグルーピングを行うため、背景との十分な輝度・色度差がない等の原因で同一移動物体内で動領域の分断が生じた場合に同一物体と認識することができず、また実際に遮蔽が解消された時点を特定できないため、対象物体像を追跡できないという欠点があった。
【０００４】
本発明は前記従来の問題点に鑑みてなされたもので、その目的は、背景との十分な輝度・色度差がない等の原因で同一移動物体内で動領域の分断が生じても同一物体と認識することができ、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定できる移動物体抽出装置を提供することである。
【０００５】
本発明の第二の目的は、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定できる移動物体抽出装置を提供することである。
【０００８】
【課題を解決するための手段】
前記目的を達成するために本発明の移動物体抽出装置は、映像信号をサンプリングして原画像を出力するサンプリング手段と、前記原画像から動領域を検出して動領域２値画像を出力する動領域検出手段と、前記動領域２値画像における連結領域をラベリングして動領域ラベル画像を出力するラベリング手段と、時間的に相前後する動領域ラベル画像のラベルとフレーム番号との対応関係を検出して対応関係グラフを出力する対応関係グラフ生成手段と、前記対応関係グラフを時間軸の順方向に追跡することで同じ移動物体に相当するとみなされるものに同じラベルを振り直して動物体グループ画像を出力する順方向グルーピング手段と、前記対応関係グラフを時間軸の逆方向に追跡することで前記動物体グループ画像の各グループ内の異なる移動物体に相当するとみなされるものに再度異なるラベルを振り直して移動物体画像を出力する逆方向グルーピング手段とを備えた構成となっている。
【００１１】
前記構成により、背景との十分な輝度・色度差がない場合に同一移動物体内で動領域の分断が生じても同一物体と認識することができ、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定することができる移動物体抽出装置を提供できる。
【００１２】
【発明の実施の形態】
（実施例１）
以下、本発明の第一の実施例について図面を参照しながら説明する。まず、本発明の第一の実施例の基本構成について図１ならびに図２を用いて説明する。図１は本発明の第一の実施例の基本構成を表したブロック図である。図１において、１０１は映像信号２１１をサンプリングして原画像２１２を出力するサンプリング手段であり、１０２は原画像２１２から動領域を検出して動領域２値画像２１３を出力する動領域検出手段であり、１０３は時間的に相前後するフレームの動領域２値画像の間で同一の移動物体に相当する動領域の対応関係をグラフ化し、前記グラフに基づき時間軸の順方向に動領域をグルーピングするとともに、前記グラフに基づき時間軸の逆方向に動領域を再グルーピングすることによって、原画像中で移動物体に相当する領域を正確にラベリングした移動物体画像２１４を生成する動領域対応付け手段である。
【００１３】
次に、図２は本発明の第一の実施例の基本構成を、特に動領域対応付け手段についてより細かく表したブロック図である。図２において、１０１は映像信号２１１をサンプリングして原画像２１２を出力するサンプリング手段であり、１０２は原画像２１２から動領域を検出して動領域２値画像２１３を出力する動領域検出手段であり、１０３は動領域２値画像２１３の中で同一の移動物体に相当する動領域に対応付けを行なって移動物体画像２１４を出力する動領域対応付け手段であり、１０４は動領域２値画像２１３の連結成分をラベリングして動領域ラベル画像２１５を出力するラベリング手段であり、１０５は時間的に相前後する動領域ラベル画像２１５の各連結成分の間の対応関係を検出して対応関係グラフ２１６を出力する対応関係グラフ生成手段であり、１０６は対応関係グラフ２１６を時間軸の順方向に追跡することで動領域ラベル画像２１５と移動物体画像２１４との各連結成分のうち同じ動物体に相当するとみなされるものに同じラベルを振り直して動物体グループ画像２１７を出力する順方向グルーピング手段であり、１０７は対応関係グラフ２１６を時間軸の逆方向に追跡することで動物体グループ画像２１７の各グループ内の連結成分のうち異なる動物体に相当するとみなされるものに再度異なるラベルを振り直して移動物体画像２１４を出力する逆方向グルーピング手段である。
【００１４】
次に、本発明の第一の実施例の具体的構成について図３を参照しながら説明する。図３において、１０１は映像信号２１１をサンプリングして原画像２１２を出力するサンプリング手段であり、１０２は原画像２１２から動領域を検出して動領域２値画像２１３を出力する動領域検出手段であり、１０３は動領域２値画像２１３の中で同一の移動物体に相当する動領域に対応付けを行なって移動物体画像２１４を出力する動領域対応付け手段であり、１０４は動領域２値画像２１３の連結成分をラベリングして動領域ラベル画像２１５を出力するラベリング手段であり、１０５は時間的に相前後する動領域ラベル画像２１５の各連結成分の間の対応関係を検出して対応関係グラフ２１６を出力する対応関係グラフ生成手段であり、これらの各手段（機能部）は前記図２中で説明されているものと同様である。
【００１５】
対応関係グラフ生成手段１０５の内部構造として、１０８は１フレームまたはそれ以上の枚数の動領域ラベル画像２１５を記憶する動領域ラベル画像記憶手段であり、１０９は動領域ラベル画像記憶手段１０８から時間的に相前後する２フレームの動領域ラベル画像２１５を入力し両者にそれぞれ含まれる各連結成分どうしの全ての組み合わせについて対応の有無を判定し出力する対応検出手段であり、１１０は対応検出手段１０９の判定に基づき対応関係グラフ２１６を生成及び更新・記憶・出力する対応関係グラフ記憶手段である。１０６は対応関係グラフ２１６を時間軸の順方向に追跡することで動領域ラベル画像２１５と移動物体画像２１４との各連結成分のうち同じ動物体に相当するとみなされるものに同じラベルを振り直して動物体グループ画像２１７を出力する順方向グルーピング手段である。
【００１６】
この順方向グルーピング手段１０６を構成する機能部として、１１１は逆方向グルーピング手段１０７が出力する前フレームの移動物体画像２１４を記憶しかつ出力する移動物体画像記憶手段であり、１１２は、対応関係グラフ２１６に基づき、動領域ラベル画像２１５の各連結成分のうち、移動物体画像記憶手段１１１が出力する移動物体画像２１４のいずれかの移動物体領域との間に対応関係のあるものには前記移動物体領域と同じラベル番号を振り直し、かつ前記移動物体画像２１４のどの移動物体領域とも対応関係のないものには新しいラベル番号を振り直すことによって動物体グループ画像２１７を作成して出力する第一の再ラベリング手段である。１０７は対応関係グラフ２１６を時間軸の逆方向に追跡することで動物体グループ画像２１７の各グループ内の連結成分のうち異なる動物体に相当するとみなされるものに再度異なるラベルを振り直して移動物体画像２１４を出力する逆方向グルーピング手段である。１１３は動物体グループ画像２１７の各連結成分で同じラベル番号を持つものの全ての組み合わせについて対応関係グラフ２１６を一定フレーム数時間だけ時間軸の逆方向に遡ることにより異なる物体であるかどうかを判定する動物体判定手段である。また、１１４は動物体判定手段１１３により異なる物体と判定された組み合わせについて異なるラベル番号を振り直すことによって移動物体画像２１４を作成して出力する第二の再ラベリング手段である。
【００１７】
このように構成された本発明の移動物体抽出装置の実施例の動作について、図面を参照しながら説明する。まず、対応関係グラフについて図１１を用いて説明する。図１１において、９０１、９０２、９０３は３つの連続したフレーム（１）〜（３）を表す。各フレーム内に記された「１」「２」などの数字は、当該フレームで検出された動領域の連結領域（連結成分）をラベリング・付番した数字を示す。９０４、９０５はそれぞれ、フレーム（１）と（２）と、フレーム（２）と（３）とを、重ね合わせた画像を模式的に示したものである。９０４において、フレーム（１）のラベル１( 人物頭部) とフレーム（２）のラベル１( 人物上半身) とが重なり合い、またフレーム（１）のラベル２( 人物胴体・脚部) とフレーム（２）のラベル１及び２とが重なり合っている。同様にフレーム（２）とフレーム（３）の各ラベルの重なり合いを９０５に示した。９０６は、これらの重なり合い関係をリンクとし、各ラベルをノードとして、各フレーム間のラベルの対応関係をグラフで表したものである。これを対応関係グラフと呼ぶことにする。
【００１８】
次に、順方向並びに逆方向グルーピングについて、図面を参照しながら説明する。図１２、図１３は前記対応関係グラフの一例を示したものである。図１２、図１３において、（１）−１、（２）−１等の符号を付して示したマークはいずれも各フレームに含まれるラベルを示す。
【００１９】
まず、順方向グルーピングについて図１２を参照しながら説明する。図１２は、移動物体の追尾中にフレーム（３）で一時的な分断が起こりその後フレーム（５）で再び回復した場合に想定される対応関係グラフの一例を模式的に表したものである。順方向グルーピングでは、対応関係グラフに基づき、リンクで結ばれたラベルは同一移動物体に相当するものとみなす。従って、図１２において、フレーム（１）〜フレーム（２）までの間は［（１）−１、（２）−１］を一つの移動物体に相当するグループと判定し、同じラベル番号をもって再ラベリングを行なう。フレーム（３）において前記グループは二つのラベルとリンクを持つ。このとき、順方向グルーピングにおいては動物体の分断が起こったものとみなし、ラベル（３）−１及び（３）−２を前記グループと同一の移動物体に相当するものと判定して前記グループに加え、同じラベル番号をもって再ラベリングを行なう。
【００２０】
フレーム（４）においても同様に、ラベル（４）−１及び（４）−２を前記グループと同一の移動物体に相当するものと判定して前記グループに加え、同じラベル番号をもって再ラベリングを行なう。フレーム（５）以降は再び単一のラベルに戻り、ラベル（５）−１、（６）−１を前記グループに加え、同じラベル番号をもって再ラベリングを行なう。このようにして、順方向グルーピング手順を経ることにより、同一移動物体に相当する動領域に一時的な分断が起こってもこれらの動領域を一つの移動物体として同じラベル番号をもって再ラベリングを行なうことが可能となる。
【００２１】
次に、逆方向グルーピングについて図１３を参照しながら説明する。図１３は、離れた位置にあった二つの移動物体がフレーム（４）からフレーム（６）にかけて重なり合いながらすれ違い、その後再び離れた場合に想定される対応関係グラフの一例を模式的に表したものである。この場合に、前記順方向グルーピング手順では、フレーム（１）からフレーム（３）まで二つの移動物体と判定されていた二つのグループがフレーム（４）で一つの移動物体に相当するグループと判定され、フレーム（７）以降移動物体が離れた後も引き続き一つの移動物体に相当するものと判定され、同じラベル番号で再ラベリングされ続けてしまう。
【００２２】
逆方向グルーピングはこの不具合を回避するためのもので、最新（つまり、直近）のフレームから時間軸を逆方向に一定フレーム数（例えば２フレーム）さかのぼってグルーピングを行なうものである。さかのぼるフレーム数は撮影環境や想定される対象移動物体の標準的な大きさや速度などによって適切に決定する。時間軸を逆方向に２フレームさかのぼってグルーピングすることにより、フレーム（９）において逆方向グルーピングを行えば、［（９）−１、（８）−１、（７）−１］及び［（９）−２、（８）−２、（７）−２］をそれぞれ別の移動物体に相当するグループとして分割し、異なるラベル番号をもって再ラベリングを行なうことができる。従って、順方向グルーピングに並行して逆方向グルーピングを行なうことで、移動物体が重なり合った後に離れた場合に、一定のタイムラグの後にこれを検出し、異なるラベル番号をもって再ラベリングを行なうことが可能となる。
【００２３】
以下、本発明の移動物体抽出装置の実施例の動作について、図４を参照しながら説明する。図４に示す通り、本実施例の移動物体抽出装置は、まず処理ステップ（以下単にステップという）４０１でサンプリングされた画像から動画像を検出する処理を行なう。この処理内容については、例えば前後する二つまたはそれ以上のフレーム間での差分信号を２値化して検出することもできるし、また予め別に撮影ないし形成された背景画像との差分信号を２値化して検出することもできる。このようにして形成された動領域２値画像に対して、ステップ４０２で連結成分のラベリング処理を行なう。この際に、画素数が一定のしきい値に満たない連結成分をノイズと見なして除去するなどの処理を併せて行なってもよい。次にステップ４０３で、時間的に前後する動領域２値画像を比較して、対応関係グラフを作成する。ステップ４０３で形成された対応関係グラフおよび過去のラベリング結果をもとにステップ４０４で順方向グルーピングを、またステップ４０３で形成された対応関係グラフをもとにステップ４０５で逆方向グルーピングを行なう。
【００２４】
次のステップ４０６では、逆方向グルーピングの結果にもとづき、順方向グルーピングの結果に既に分離した移動物体を一つの移動物体にグルーピングしているなどの過剰なグループ化が行なわれていないかを判定する。その結果、過剰なグループ化が行なわれていると判定されれば、逆方向グルーピングの結果に従ってステップ４０６で再グルーピングを行なう。過剰なグループ化が行なわれていないと判定されれば、順方向グルーピングの結果をそのまま出力する。グルーピングの結果に基づいてステップ４０７で再ラベリングを行ない、前記ラベリング結果記憶手段にラベリング結果を記憶する。このラベリング結果は次フレームにおいてステップ４０４の順方向ラベリングにフィードバックされる。
【００２５】
以上のような構成及び動作で、動物体に分断がある場合にも同一の移動物体として追跡を行なうことができ、かつ、一時的に重なり合った二つの移動物体が分離した場合にも、分離が起こった時刻を一定フレームのタイムラグの後に検出することができる。
【００２６】
（実施例２）
次に、検出動領域から対象物体の影等の部分を除去して正しい対象物体像を抽出するための本発明の第二の実施例について図面を参照しながら説明する。まず、形状パターン画像について図面を参照しながら説明する。図１４において、１３０１、１３０２、１３０３は連続する適当な数のフレームを表しており、１３０４、１３０５、１３０６はそれぞれのフレームの中で検出された動領域を表している。形状パターン画像は、１３０７に示すように同一移動物体に対応する各フレームの動領域を平行移動によって最新フレームでの位置に合わせて重ね合わせ、１３０８に示すように各画素の出現頻度を画像にしたものである。位置合わせのための基準点としては、動領域の重心を用いてもよいし、また動領域の外接矩形の中心もしくは四隅のいずれかを用いてもよいし、また重心のＸ座標もしくはＹ座標と外接矩形の四隅のいずれかのＹ座標もしくはＸ座標とをそれぞれ組み合わせた点を用いてもよいし、また動領域と形状パターン画像とから算出した移動ベクトル分だけ動領域の重心をずらした点を用いてもよい。出現頻度としては、例えば移動物体出現時からの出現回数の平均値を用いてもよいし、また各フレーム毎に重み付けをした平均値を用いてもよい。
【００２７】
１３０８において濃淡のハッチングで示したのは出現頻度を模式的に表したものである。１３０８に一例として示したのは人物の例であるが、この場合一般に、相対的な動きの激しい手や足の部分は出現頻度が比較的低く、相対的な動きの少ない頭や胴体など人物像の中心軸付近では出現頻度が比較的高くなる。また、移動物体とともに動く影や床面による鏡面反射像などは現れたり消えたりを繰り返すため、出現頻度は低くなる。このように、形状パターン画像を形成することにより、影や床面による鏡面反射像、あるいは移動物体の偶発的な変形などによらず、対象移動物体の形状を安定して抽出することが可能となる。
【００２８】
以下、前記形状パターン画像を用いた本発明の第二の実施例の基本構成について図５及び図６を参照しながら説明する。図５は本発明の第二の実施例の基本的な一構成例を示し、また図６は第二の実施例の構成を一部変更した例を示すブロック図である。図５において、サンプリング手段１０１は入力された映像信号２１１をサンプリングして原画像信号２１２を出力する。
【００２９】
動領域検出手段１０２は前記原画像信号２１２を受けて動領域を検出し、動領域２値画像２１３を出力する。動領域検出方式としては、前フレームまたは数フレーム前と現フレームとの差分をとる方式でもよいし、予め用意された背景画像との差分をとる方式でもよい。またこれらを組み合わせた方式でもよいし、フレーム間差分を数フレーム時間にわたり累積する方式でもよい。ラベリング手段１０４は、前記動領域２値画像２１３を受けてその連結成分をラベリングし、動領域ラベル画像２１５を出力する。
【００３０】
動領域整形手段１１５は、前記動領域ラベル画像２１５と後述する形状パターン画像生成手段１１５が各動物体毎に出力する形状パターン画像２１８とを受けて、動領域ラベル画像２１５の各動領域に整形を施して移動物体画像２１４を出力する。なお、対応する形状パターン画像の存在しない動領域に対しては、新しく出現した移動物体としてそのまま出力する構成としてもよい。形状パターン画像生成手段１１６は、前記動領域整形手段１１５からの移動物体画像２１４を受けて、各移動物体の形状パターン画像２１８を形成及び更新、出力する。
【００３１】
なお、本実施例では動領域整形手段１１５からの動領域整形画像を形状パターン画像生成手段１１６に入力し、動領域整形画像を用いて形状パターン画像を更新する構成としたが、図６の変更例に示すように、ラベリング手段１０４からの動領域ラベル画像を形状パターン画像生成手段１１６に入力し、動領域ラベル画像を用いて形状パターン画像２１８を生成および更新する構成としてもよい。
【００３２】
次に、前記形状パターン画像を用いた本発明の第二の実施例の具体的構成について図７を参照しながら説明する。図７において、サンプリング手段１０１は入力された映像信号２１１をサンプリングして原画像信号２１２を出力する。動領域検出手段１０２は前記原画像信号２１２を受けて動領域を検出し、動領域２値画像２１３を出力する。動領域検出方式としては、前フレームまたは数フレーム前と現フレームとの差分をとる方式でもよいし、予め用意された背景画像との差分をとる方式でもよい。またこれらを組み合わせた方式でもよいし、フレーム間差分を数フレーム時間にわたり累積する方式でもよい。ラベリング手段１０４は、前記動領域２値画像２１３を受けてその連結成分をラベリングし、動領域ラベル画像２１５を出力する。
【００３３】
動領域整形手段１１５は、形状パターン画像検索手段１１７と、形状パターン画像選択手段１１８と、動領域ラベル整形手段１１９とから成り、前記動領域ラベル画像２１５と形状パターン画像生成手段１１６が各動物体毎に出力する形状パターン画像２１８とを受けて、動領域ラベル画像２１５の各動領域に整形を施して移動物体画像２１４を出力する。動領域ラベル整形手段１１９は、形状パターン２値化手段１２０と、ＡＮＤ回路１２１とから構成されている。なお、対応する形状パターン画像２１８の存在しない動領域に対しては、新しく出現した移動物体としてそのまま出力する構成としてもよい。
【００３４】
本実施例では１２１をＡＮＤ回路としているが、これをＯＲ回路とする構成でもよい。図８には、動領域ラベル整形手段１１９を形状パターン２値化手段１２０と、ＯＲ回路１２４とから構成した例を示す。また、ＡＮＤ回路１２１とＯＲ回路１２４とを並列に併せ備え、これらＡＮＤ回路１２１とＯＲ回路１２４のうちいずれかの出力を切り替え出力するようにしてもよい。すなわち、図９に示すように、動領域ラベル整形手段１１９を形状パターン２値化手段１２０と、ＡＮＤ回路１２１と、ＯＲ回路１２４と、セレクタ１２５とから構成し、各形状パターン画像に対応する移動物体が初めて出現してからの時間情報２１９に応じてＡＮＤ回路１２１とＯＲ回路１２４とを切り替える構成としてもよい。
【００３５】
形状パターン画像検索手段１１７は、前記動領域ラベル画像２１５に含まれる各動領域毎に、形状パターン画像生成手段１１６で生成された形状パターン画像２１８の中から前記動領域に対応するものを検索する。検索方法としては、一例として、動領域の重心における各移動物体の形状パターン画像の画素値、すなわち出現頻度が一定のしきい値を越えるものを選ぶ方式を採ってもよい。また、形状パターン画像の重心が動領域に含まれるものを選ぶ方式を採ってもよい。
【００３６】
形状パターン画像選択手段１１８は、前記動領域ラベル画像２１５に含まれる各動領域毎に、前記形状パターン画像検索手段１１７の出力する一つまたは複数の形状パターン画像２１８の中から、前記動領域と同一の移動物体に相当するものを選択して出力する。選択方法としては、一例として動領域の重心と形状パターン画像２１８の重心とが最も近いものを選ぶ方式を採ってもよい。また、動領域と各形状パターン画像２１８とをパターンマッチングして、最も近い形状であると判定されたものを選ぶ方式を採ってもよい。また、一時的に分断されていた動領域が再統合された場合など、複数の形状パターン画像２１８が単一の動領域対応する場合に前記複数の形状パターン画像を重ね合わせたものを新たな形状パターン画像２１８として生成して出力する方式を採ってもよい。また、一時的に重なり合っていた移動物体が再び離れた場合など、複数の動領域が単一の形状パターン画像に対応し、かつその状態が一定フレーム数以上にわたって継続する場合には、前記複数の動領域を各々新たな形状パターン画像２１８として生成して出力する方式としてもよい。
【００３７】
形状パターン画像２値化手段１２０は、前記形状パターン画像選択手段１１８が出力する画像情報を受けて、これに２値化処理を施し、形状パターン２値画像を出力する。２値化処理のしきい値は撮影環境によって予め決定しておいてもよいし、前記形状パターン画像に相当する移動物体の輝度や監視領域の照度によって変動させる構成としてもよい。
【００３８】
動領域ラベル整形手段１１９を構成するＡＮＤ回路１２１は、前記動領域ラベル画像２１５と前記形状パターン画像２値化手段１２０からの形状パターン２値画像とを受けて、動領域ラベル画像２１５の各ラベル毎に対応する形状パターン２値画像とのＡＮＤをとり、移動物体画像２１４を出力する。
【００３９】
形状パターン画像生成手段１１６は、形状パターン画像記憶手段１２２と形状パターン画像更新手段１２３とから成り、前記動領域整形手段１１５からの移動物体画像２１４を受けて、各移動物体の形状パターン画像２１８を形成及び更新、出力する。形状パターン画像更新手段１２３は、前記動領域整形手段１１５が出力する移動物体画像２１４と形状パターン画像記憶手段１２２に記憶された形状パターン画像２１８とを受けて、前記形状パターン画像２１８を更新する。更新の方式としては、一例として次のような方式を採用してもよい。前記動領域整形画像の中の各動領域ごとに、対応する形状パターン画像が存在しない場合は動領域自体を新しく出現した移動物体に相当する形状パターン画像として出力し、そうでない場合には形状パターン画像と動領域とを両者の重心で位置合わせして重み付け加算したものを出力する。
【００４０】
形状パターン画像記憶手段１２２は、前記形状パターン画像更新手段１２３から出力される各移動物体ごとの形状パターン画像２１８を記憶し、次フレームで再び動領域整形手段１１５に出力する。なお、長時間にわたる監視などで多数の移動物体が検出される場合などに記憶容量を節約するため、記憶された形状パターン画像２１８が定められた時間以上にわたって更新されなかった場合に、この形状パターン画像２１８に相当する移動物体が監視領域から外に出たものとしてこの形状パターン画像を消去する構成としてもよい。
【００４１】
なお、本実施例では動領域整形手段１１５からの動領域整形画像を形状パターン画像生成手段１１６に入力し、動領域整形画像を用いて形状パターン画像を更新する構成としたが、図１０に示すように、ラベリング手段１０４からの動領域ラベル画像２１５を形状パターン画像生成手段１１６に入力し、動領域ラベル画像２１５を用いて形状パターン画像２１８を更新する構成としてもよい。このように、図１０に示した構成は、図７に示した構成に対して形状パターン画像生成手段１１６を構成する形状パターン画像記憶手段１２２および形状パターン画像更新手段１２３への画像信号の入力のし方を変更した点が異なるのみである。したがって図７の構成の動領域整形手段１１５に対してなされた図８および図９に示す変更は、図１０の構成に対してもそのまま適用することができる。
【００４２】
以上のような構成及び動作で、検出動領域に影や床面による鏡面反射像、もしくは持ち物等による偶発的な変形などが生じた場合にも正しい対象物体像を抽出・追跡でき、さらに検出動領域と移動物体との対応関係を常に記憶・更新しつつ処理を行なうことができる。
【００４３】
【発明の効果】
以上説明したように、本発明によって、背景との十分な輝度・色度差がない等の原因で同一移動物体内で動領域の分断が生じても同一物体と認識し、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定できる優れた移動物体抽出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の移動物体抽出装置の第一の実施例の基本構成を示すブロック図
【図２】本発明の移動物体抽出装置の第一の実施例の構成の概略を示すブロック図
【図３】本発明の移動物体抽出装置の第一の実施例の構成を示すブロック図
【図４】本発明の移動物体抽出装置の第一の実施例の動作機序を示すフロー図
【図５】本発明の移動物体抽出装置の第二の実施例の基本構成を示すブロック図
【図６】本発明の移動物体抽出装置の第二の実施例の構成を一部変更した例を示すブ ロック図
【図７】本発明の移動物体抽出装置の第二の実施例について図５の構成に対して一部の機能部をより詳細に示したブロック図
【図８】図７に示す構成の動領域整形手段に対してなされた変更例を示すブロック図
【図９】図７に示す構成の動領域整形手段に対してなされた他の変更例を示すブロック図
【図１０】本発明の移動物体抽出装置の第二の実施例について図６の構成に対して一部の機能部をより詳細に示したブロック図
【図１１】対応関係グラフの説明図
【図１２】本発明の移動物体抽出装置の第一の実施例における順方向グルーピングの説明図
【図１３】本発明の移動物体抽出装置の第一の実施例における逆方向グルーピングの説明図
【図１４】形状パターン画像の説明図
【図１５】従来の移動物体抽出装置の一例の処理の流れを示すフロー図
【符号の説明】
１０１ サンプリング手段
１０２ 動領域検出手段
１０３ 動領域対応付け手段
１０４ ラベリング手段
１０５ 対応関係グラフ生成手段
１０６ 順方向グルーピング手段
１０７ 逆方向グルーピング手段
１０８ 動領域ラベル画像記憶手段
１０９ 対応検出手段
１１０ 対応関係グラフ記憶手段
１１１ 移動物体画像記憶手段
１１２ 第１の再ラベリング手段
１１３ 動物体判定手段
１１４ 第２の再ラベリング手段
１１５ 動領域整形手段
１１６ 形状パターン画像生成手段
１１７ 形状パターン画像検索手段
１１８ 形状パターン画像選択手段
１１９ 動領域ラベル整形手段
１２０ 形状パターン画像２値化手段
１２１ ＡＮＤ回路
１２２ 形状パターン画像記憶手段
１２３ 形状パターン画像更新手段
１２４ ＯＲ回路
１２５ セレクタ
９０１、９０２、９０３ ３つの連続したフレーム画像の一例
９０４ フレーム９０１とフレーム９０２とを重ね合わせた画像
９０５ フレーム９０２とフレーム９０３とを重ね合わせた画像
９０６ フレーム９０１、９０２、９０３から得られる対応関係グラフ
１３０１、１３０２、１３０３ 複数の連続したフレーム画像の一例
１３０４ フレーム１３０１で検出された動領域
１３０５ フレーム１３０２で検出された動領域
１３０６ フレーム１３０３で検出された動領域
１ ３０７ 一連のフレーム１３０１〜１３０３で検出された動領域をフレーム１３０３の動領域１３０６に重ね合わせて得られる画像
１３０８ フレーム１３０１〜１３０３で検出された動領域から形成される形状パターン画像
【産業上の利用分野】
本発明は、監視装置等において動画像から動領域を検出して正確に移動物体を抽出するための技術に関する。
【０００２】
【従来の技術】
動画像から、フレーム間または背景画像との差分を用いて移動物体を抽出する際に特に問題となるのは、一つには移動物体と背景との間の輝度・色度信号差が出ないことによる検出動領域の分断であり、もう一つには移動物体どうしまたは移動物体と静止物体との間で起こる遮蔽である。これら両者の問題について解決を試みた従来例として『時系列差分画像を用いた複数移動物体の抽出及び追跡』（嶺・八木・谷内田、情報処理学会研究報告、ＣＶ−８１−７ 、５１−５５）がある。この方式の処理の流れについて図面を参照しながら説明する。図１５において、ステップ１２０１は時系列画像から動きのあった領域を検出して変化領域を抽出する処理であり、ステップ１２０２は変化領域を画像内および時間方向でラベリングする時空間ラベリング処理であり、ステップ１２０３はラベリングされた各領域を時間方向にグルーピングするグルーピング処理であり、ステップ１２０４はグルーピングされた各移動物体に時間方向に対応付けて同定する、移動物体の対応付け処理である。前記方式は、このようにして検出動領域の分断並びに遮蔽の問題を解決することを試みたものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の技術における検出動領域の分断並びに遮蔽の問題では、検出された動領域に対して一定のフレーム数にわたってグルーピングを行うため、背景との十分な輝度・色度差がない等の原因で同一移動物体内で動領域の分断が生じた場合に同一物体と認識することができず、また実際に遮蔽が解消された時点を特定できないため、対象物体像を追跡できないという欠点があった。
【０００４】
本発明は前記従来の問題点に鑑みてなされたもので、その目的は、背景との十分な輝度・色度差がない等の原因で同一移動物体内で動領域の分断が生じても同一物体と認識することができ、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定できる移動物体抽出装置を提供することである。
【０００５】
本発明の第二の目的は、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定できる移動物体抽出装置を提供することである。
【０００８】
【課題を解決するための手段】
前記目的を達成するために本発明の移動物体抽出装置は、映像信号をサンプリングして原画像を出力するサンプリング手段と、前記原画像から動領域を検出して動領域２値画像を出力する動領域検出手段と、前記動領域２値画像における連結領域をラベリングして動領域ラベル画像を出力するラベリング手段と、時間的に相前後する動領域ラベル画像のラベルとフレーム番号との対応関係を検出して対応関係グラフを出力する対応関係グラフ生成手段と、前記対応関係グラフを時間軸の順方向に追跡することで同じ移動物体に相当するとみなされるものに同じラベルを振り直して動物体グループ画像を出力する順方向グルーピング手段と、前記対応関係グラフを時間軸の逆方向に追跡することで前記動物体グループ画像の各グループ内の異なる移動物体に相当するとみなされるものに再度異なるラベルを振り直して移動物体画像を出力する逆方向グルーピング手段とを備えた構成となっている。
【００１１】
前記構成により、背景との十分な輝度・色度差がない場合に同一移動物体内で動領域の分断が生じても同一物体と認識することができ、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定することができる移動物体抽出装置を提供できる。
【００１２】
【発明の実施の形態】
（実施例１）
以下、本発明の第一の実施例について図面を参照しながら説明する。まず、本発明の第一の実施例の基本構成について図１ならびに図２を用いて説明する。図１は本発明の第一の実施例の基本構成を表したブロック図である。図１において、１０１は映像信号２１１をサンプリングして原画像２１２を出力するサンプリング手段であり、１０２は原画像２１２から動領域を検出して動領域２値画像２１３を出力する動領域検出手段であり、１０３は時間的に相前後するフレームの動領域２値画像の間で同一の移動物体に相当する動領域の対応関係をグラフ化し、前記グラフに基づき時間軸の順方向に動領域をグルーピングするとともに、前記グラフに基づき時間軸の逆方向に動領域を再グルーピングすることによって、原画像中で移動物体に相当する領域を正確にラベリングした移動物体画像２１４を生成する動領域対応付け手段である。
【００１３】
次に、図２は本発明の第一の実施例の基本構成を、特に動領域対応付け手段についてより細かく表したブロック図である。図２において、１０１は映像信号２１１をサンプリングして原画像２１２を出力するサンプリング手段であり、１０２は原画像２１２から動領域を検出して動領域２値画像２１３を出力する動領域検出手段であり、１０３は動領域２値画像２１３の中で同一の移動物体に相当する動領域に対応付けを行なって移動物体画像２１４を出力する動領域対応付け手段であり、１０４は動領域２値画像２１３の連結成分をラベリングして動領域ラベル画像２１５を出力するラベリング手段であり、１０５は時間的に相前後する動領域ラベル画像２１５の各連結成分の間の対応関係を検出して対応関係グラフ２１６を出力する対応関係グラフ生成手段であり、１０６は対応関係グラフ２１６を時間軸の順方向に追跡することで動領域ラベル画像２１５と移動物体画像２１４との各連結成分のうち同じ動物体に相当するとみなされるものに同じラベルを振り直して動物体グループ画像２１７を出力する順方向グルーピング手段であり、１０７は対応関係グラフ２１６を時間軸の逆方向に追跡することで動物体グループ画像２１７の各グループ内の連結成分のうち異なる動物体に相当するとみなされるものに再度異なるラベルを振り直して移動物体画像２１４を出力する逆方向グルーピング手段である。
【００１４】
次に、本発明の第一の実施例の具体的構成について図３を参照しながら説明する。図３において、１０１は映像信号２１１をサンプリングして原画像２１２を出力するサンプリング手段であり、１０２は原画像２１２から動領域を検出して動領域２値画像２１３を出力する動領域検出手段であり、１０３は動領域２値画像２１３の中で同一の移動物体に相当する動領域に対応付けを行なって移動物体画像２１４を出力する動領域対応付け手段であり、１０４は動領域２値画像２１３の連結成分をラベリングして動領域ラベル画像２１５を出力するラベリング手段であり、１０５は時間的に相前後する動領域ラベル画像２１５の各連結成分の間の対応関係を検出して対応関係グラフ２１６を出力する対応関係グラフ生成手段であり、これらの各手段（機能部）は前記図２中で説明されているものと同様である。
【００１５】
対応関係グラフ生成手段１０５の内部構造として、１０８は１フレームまたはそれ以上の枚数の動領域ラベル画像２１５を記憶する動領域ラベル画像記憶手段であり、１０９は動領域ラベル画像記憶手段１０８から時間的に相前後する２フレームの動領域ラベル画像２１５を入力し両者にそれぞれ含まれる各連結成分どうしの全ての組み合わせについて対応の有無を判定し出力する対応検出手段であり、１１０は対応検出手段１０９の判定に基づき対応関係グラフ２１６を生成及び更新・記憶・出力する対応関係グラフ記憶手段である。１０６は対応関係グラフ２１６を時間軸の順方向に追跡することで動領域ラベル画像２１５と移動物体画像２１４との各連結成分のうち同じ動物体に相当するとみなされるものに同じラベルを振り直して動物体グループ画像２１７を出力する順方向グルーピング手段である。
【００１６】
この順方向グルーピング手段１０６を構成する機能部として、１１１は逆方向グルーピング手段１０７が出力する前フレームの移動物体画像２１４を記憶しかつ出力する移動物体画像記憶手段であり、１１２は、対応関係グラフ２１６に基づき、動領域ラベル画像２１５の各連結成分のうち、移動物体画像記憶手段１１１が出力する移動物体画像２１４のいずれかの移動物体領域との間に対応関係のあるものには前記移動物体領域と同じラベル番号を振り直し、かつ前記移動物体画像２１４のどの移動物体領域とも対応関係のないものには新しいラベル番号を振り直すことによって動物体グループ画像２１７を作成して出力する第一の再ラベリング手段である。１０７は対応関係グラフ２１６を時間軸の逆方向に追跡することで動物体グループ画像２１７の各グループ内の連結成分のうち異なる動物体に相当するとみなされるものに再度異なるラベルを振り直して移動物体画像２１４を出力する逆方向グルーピング手段である。１１３は動物体グループ画像２１７の各連結成分で同じラベル番号を持つものの全ての組み合わせについて対応関係グラフ２１６を一定フレーム数時間だけ時間軸の逆方向に遡ることにより異なる物体であるかどうかを判定する動物体判定手段である。また、１１４は動物体判定手段１１３により異なる物体と判定された組み合わせについて異なるラベル番号を振り直すことによって移動物体画像２１４を作成して出力する第二の再ラベリング手段である。
【００１７】
このように構成された本発明の移動物体抽出装置の実施例の動作について、図面を参照しながら説明する。まず、対応関係グラフについて図１１を用いて説明する。図１１において、９０１、９０２、９０３は３つの連続したフレーム（１）〜（３）を表す。各フレーム内に記された「１」「２」などの数字は、当該フレームで検出された動領域の連結領域（連結成分）をラベリング・付番した数字を示す。９０４、９０５はそれぞれ、フレーム（１）と（２）と、フレーム（２）と（３）とを、重ね合わせた画像を模式的に示したものである。９０４において、フレーム（１）のラベル１( 人物頭部) とフレーム（２）のラベル１( 人物上半身) とが重なり合い、またフレーム（１）のラベル２( 人物胴体・脚部) とフレーム（２）のラベル１及び２とが重なり合っている。同様にフレーム（２）とフレーム（３）の各ラベルの重なり合いを９０５に示した。９０６は、これらの重なり合い関係をリンクとし、各ラベルをノードとして、各フレーム間のラベルの対応関係をグラフで表したものである。これを対応関係グラフと呼ぶことにする。
【００１８】
次に、順方向並びに逆方向グルーピングについて、図面を参照しながら説明する。図１２、図１３は前記対応関係グラフの一例を示したものである。図１２、図１３において、（１）−１、（２）−１等の符号を付して示したマークはいずれも各フレームに含まれるラベルを示す。
【００１９】
まず、順方向グルーピングについて図１２を参照しながら説明する。図１２は、移動物体の追尾中にフレーム（３）で一時的な分断が起こりその後フレーム（５）で再び回復した場合に想定される対応関係グラフの一例を模式的に表したものである。順方向グルーピングでは、対応関係グラフに基づき、リンクで結ばれたラベルは同一移動物体に相当するものとみなす。従って、図１２において、フレーム（１）〜フレーム（２）までの間は［（１）−１、（２）−１］を一つの移動物体に相当するグループと判定し、同じラベル番号をもって再ラベリングを行なう。フレーム（３）において前記グループは二つのラベルとリンクを持つ。このとき、順方向グルーピングにおいては動物体の分断が起こったものとみなし、ラベル（３）−１及び（３）−２を前記グループと同一の移動物体に相当するものと判定して前記グループに加え、同じラベル番号をもって再ラベリングを行なう。
【００２０】
フレーム（４）においても同様に、ラベル（４）−１及び（４）−２を前記グループと同一の移動物体に相当するものと判定して前記グループに加え、同じラベル番号をもって再ラベリングを行なう。フレーム（５）以降は再び単一のラベルに戻り、ラベル（５）−１、（６）−１を前記グループに加え、同じラベル番号をもって再ラベリングを行なう。このようにして、順方向グルーピング手順を経ることにより、同一移動物体に相当する動領域に一時的な分断が起こってもこれらの動領域を一つの移動物体として同じラベル番号をもって再ラベリングを行なうことが可能となる。
【００２１】
次に、逆方向グルーピングについて図１３を参照しながら説明する。図１３は、離れた位置にあった二つの移動物体がフレーム（４）からフレーム（６）にかけて重なり合いながらすれ違い、その後再び離れた場合に想定される対応関係グラフの一例を模式的に表したものである。この場合に、前記順方向グルーピング手順では、フレーム（１）からフレーム（３）まで二つの移動物体と判定されていた二つのグループがフレーム（４）で一つの移動物体に相当するグループと判定され、フレーム（７）以降移動物体が離れた後も引き続き一つの移動物体に相当するものと判定され、同じラベル番号で再ラベリングされ続けてしまう。
【００２２】
逆方向グルーピングはこの不具合を回避するためのもので、最新（つまり、直近）のフレームから時間軸を逆方向に一定フレーム数（例えば２フレーム）さかのぼってグルーピングを行なうものである。さかのぼるフレーム数は撮影環境や想定される対象移動物体の標準的な大きさや速度などによって適切に決定する。時間軸を逆方向に２フレームさかのぼってグルーピングすることにより、フレーム（９）において逆方向グルーピングを行えば、［（９）−１、（８）−１、（７）−１］及び［（９）−２、（８）−２、（７）−２］をそれぞれ別の移動物体に相当するグループとして分割し、異なるラベル番号をもって再ラベリングを行なうことができる。従って、順方向グルーピングに並行して逆方向グルーピングを行なうことで、移動物体が重なり合った後に離れた場合に、一定のタイムラグの後にこれを検出し、異なるラベル番号をもって再ラベリングを行なうことが可能となる。
【００２３】
以下、本発明の移動物体抽出装置の実施例の動作について、図４を参照しながら説明する。図４に示す通り、本実施例の移動物体抽出装置は、まず処理ステップ（以下単にステップという）４０１でサンプリングされた画像から動画像を検出する処理を行なう。この処理内容については、例えば前後する二つまたはそれ以上のフレーム間での差分信号を２値化して検出することもできるし、また予め別に撮影ないし形成された背景画像との差分信号を２値化して検出することもできる。このようにして形成された動領域２値画像に対して、ステップ４０２で連結成分のラベリング処理を行なう。この際に、画素数が一定のしきい値に満たない連結成分をノイズと見なして除去するなどの処理を併せて行なってもよい。次にステップ４０３で、時間的に前後する動領域２値画像を比較して、対応関係グラフを作成する。ステップ４０３で形成された対応関係グラフおよび過去のラベリング結果をもとにステップ４０４で順方向グルーピングを、またステップ４０３で形成された対応関係グラフをもとにステップ４０５で逆方向グルーピングを行なう。
【００２４】
次のステップ４０６では、逆方向グルーピングの結果にもとづき、順方向グルーピングの結果に既に分離した移動物体を一つの移動物体にグルーピングしているなどの過剰なグループ化が行なわれていないかを判定する。その結果、過剰なグループ化が行なわれていると判定されれば、逆方向グルーピングの結果に従ってステップ４０６で再グルーピングを行なう。過剰なグループ化が行なわれていないと判定されれば、順方向グルーピングの結果をそのまま出力する。グルーピングの結果に基づいてステップ４０７で再ラベリングを行ない、前記ラベリング結果記憶手段にラベリング結果を記憶する。このラベリング結果は次フレームにおいてステップ４０４の順方向ラベリングにフィードバックされる。
【００２５】
以上のような構成及び動作で、動物体に分断がある場合にも同一の移動物体として追跡を行なうことができ、かつ、一時的に重なり合った二つの移動物体が分離した場合にも、分離が起こった時刻を一定フレームのタイムラグの後に検出することができる。
【００２６】
（実施例２）
次に、検出動領域から対象物体の影等の部分を除去して正しい対象物体像を抽出するための本発明の第二の実施例について図面を参照しながら説明する。まず、形状パターン画像について図面を参照しながら説明する。図１４において、１３０１、１３０２、１３０３は連続する適当な数のフレームを表しており、１３０４、１３０５、１３０６はそれぞれのフレームの中で検出された動領域を表している。形状パターン画像は、１３０７に示すように同一移動物体に対応する各フレームの動領域を平行移動によって最新フレームでの位置に合わせて重ね合わせ、１３０８に示すように各画素の出現頻度を画像にしたものである。位置合わせのための基準点としては、動領域の重心を用いてもよいし、また動領域の外接矩形の中心もしくは四隅のいずれかを用いてもよいし、また重心のＸ座標もしくはＹ座標と外接矩形の四隅のいずれかのＹ座標もしくはＸ座標とをそれぞれ組み合わせた点を用いてもよいし、また動領域と形状パターン画像とから算出した移動ベクトル分だけ動領域の重心をずらした点を用いてもよい。出現頻度としては、例えば移動物体出現時からの出現回数の平均値を用いてもよいし、また各フレーム毎に重み付けをした平均値を用いてもよい。
【００２７】
１３０８において濃淡のハッチングで示したのは出現頻度を模式的に表したものである。１３０８に一例として示したのは人物の例であるが、この場合一般に、相対的な動きの激しい手や足の部分は出現頻度が比較的低く、相対的な動きの少ない頭や胴体など人物像の中心軸付近では出現頻度が比較的高くなる。また、移動物体とともに動く影や床面による鏡面反射像などは現れたり消えたりを繰り返すため、出現頻度は低くなる。このように、形状パターン画像を形成することにより、影や床面による鏡面反射像、あるいは移動物体の偶発的な変形などによらず、対象移動物体の形状を安定して抽出することが可能となる。
【００２８】
以下、前記形状パターン画像を用いた本発明の第二の実施例の基本構成について図５及び図６を参照しながら説明する。図５は本発明の第二の実施例の基本的な一構成例を示し、また図６は第二の実施例の構成を一部変更した例を示すブロック図である。図５において、サンプリング手段１０１は入力された映像信号２１１をサンプリングして原画像信号２１２を出力する。
【００２９】
動領域検出手段１０２は前記原画像信号２１２を受けて動領域を検出し、動領域２値画像２１３を出力する。動領域検出方式としては、前フレームまたは数フレーム前と現フレームとの差分をとる方式でもよいし、予め用意された背景画像との差分をとる方式でもよい。またこれらを組み合わせた方式でもよいし、フレーム間差分を数フレーム時間にわたり累積する方式でもよい。ラベリング手段１０４は、前記動領域２値画像２１３を受けてその連結成分をラベリングし、動領域ラベル画像２１５を出力する。
【００３０】
動領域整形手段１１５は、前記動領域ラベル画像２１５と後述する形状パターン画像生成手段１１５が各動物体毎に出力する形状パターン画像２１８とを受けて、動領域ラベル画像２１５の各動領域に整形を施して移動物体画像２１４を出力する。なお、対応する形状パターン画像の存在しない動領域に対しては、新しく出現した移動物体としてそのまま出力する構成としてもよい。形状パターン画像生成手段１１６は、前記動領域整形手段１１５からの移動物体画像２１４を受けて、各移動物体の形状パターン画像２１８を形成及び更新、出力する。
【００３１】
なお、本実施例では動領域整形手段１１５からの動領域整形画像を形状パターン画像生成手段１１６に入力し、動領域整形画像を用いて形状パターン画像を更新する構成としたが、図６の変更例に示すように、ラベリング手段１０４からの動領域ラベル画像を形状パターン画像生成手段１１６に入力し、動領域ラベル画像を用いて形状パターン画像２１８を生成および更新する構成としてもよい。
【００３２】
次に、前記形状パターン画像を用いた本発明の第二の実施例の具体的構成について図７を参照しながら説明する。図７において、サンプリング手段１０１は入力された映像信号２１１をサンプリングして原画像信号２１２を出力する。動領域検出手段１０２は前記原画像信号２１２を受けて動領域を検出し、動領域２値画像２１３を出力する。動領域検出方式としては、前フレームまたは数フレーム前と現フレームとの差分をとる方式でもよいし、予め用意された背景画像との差分をとる方式でもよい。またこれらを組み合わせた方式でもよいし、フレーム間差分を数フレーム時間にわたり累積する方式でもよい。ラベリング手段１０４は、前記動領域２値画像２１３を受けてその連結成分をラベリングし、動領域ラベル画像２１５を出力する。
【００３３】
動領域整形手段１１５は、形状パターン画像検索手段１１７と、形状パターン画像選択手段１１８と、動領域ラベル整形手段１１９とから成り、前記動領域ラベル画像２１５と形状パターン画像生成手段１１６が各動物体毎に出力する形状パターン画像２１８とを受けて、動領域ラベル画像２１５の各動領域に整形を施して移動物体画像２１４を出力する。動領域ラベル整形手段１１９は、形状パターン２値化手段１２０と、ＡＮＤ回路１２１とから構成されている。なお、対応する形状パターン画像２１８の存在しない動領域に対しては、新しく出現した移動物体としてそのまま出力する構成としてもよい。
【００３４】
本実施例では１２１をＡＮＤ回路としているが、これをＯＲ回路とする構成でもよい。図８には、動領域ラベル整形手段１１９を形状パターン２値化手段１２０と、ＯＲ回路１２４とから構成した例を示す。また、ＡＮＤ回路１２１とＯＲ回路１２４とを並列に併せ備え、これらＡＮＤ回路１２１とＯＲ回路１２４のうちいずれかの出力を切り替え出力するようにしてもよい。すなわち、図９に示すように、動領域ラベル整形手段１１９を形状パターン２値化手段１２０と、ＡＮＤ回路１２１と、ＯＲ回路１２４と、セレクタ１２５とから構成し、各形状パターン画像に対応する移動物体が初めて出現してからの時間情報２１９に応じてＡＮＤ回路１２１とＯＲ回路１２４とを切り替える構成としてもよい。
【００３５】
形状パターン画像検索手段１１７は、前記動領域ラベル画像２１５に含まれる各動領域毎に、形状パターン画像生成手段１１６で生成された形状パターン画像２１８の中から前記動領域に対応するものを検索する。検索方法としては、一例として、動領域の重心における各移動物体の形状パターン画像の画素値、すなわち出現頻度が一定のしきい値を越えるものを選ぶ方式を採ってもよい。また、形状パターン画像の重心が動領域に含まれるものを選ぶ方式を採ってもよい。
【００３６】
形状パターン画像選択手段１１８は、前記動領域ラベル画像２１５に含まれる各動領域毎に、前記形状パターン画像検索手段１１７の出力する一つまたは複数の形状パターン画像２１８の中から、前記動領域と同一の移動物体に相当するものを選択して出力する。選択方法としては、一例として動領域の重心と形状パターン画像２１８の重心とが最も近いものを選ぶ方式を採ってもよい。また、動領域と各形状パターン画像２１８とをパターンマッチングして、最も近い形状であると判定されたものを選ぶ方式を採ってもよい。また、一時的に分断されていた動領域が再統合された場合など、複数の形状パターン画像２１８が単一の動領域対応する場合に前記複数の形状パターン画像を重ね合わせたものを新たな形状パターン画像２１８として生成して出力する方式を採ってもよい。また、一時的に重なり合っていた移動物体が再び離れた場合など、複数の動領域が単一の形状パターン画像に対応し、かつその状態が一定フレーム数以上にわたって継続する場合には、前記複数の動領域を各々新たな形状パターン画像２１８として生成して出力する方式としてもよい。
【００３７】
形状パターン画像２値化手段１２０は、前記形状パターン画像選択手段１１８が出力する画像情報を受けて、これに２値化処理を施し、形状パターン２値画像を出力する。２値化処理のしきい値は撮影環境によって予め決定しておいてもよいし、前記形状パターン画像に相当する移動物体の輝度や監視領域の照度によって変動させる構成としてもよい。
【００３８】
動領域ラベル整形手段１１９を構成するＡＮＤ回路１２１は、前記動領域ラベル画像２１５と前記形状パターン画像２値化手段１２０からの形状パターン２値画像とを受けて、動領域ラベル画像２１５の各ラベル毎に対応する形状パターン２値画像とのＡＮＤをとり、移動物体画像２１４を出力する。
【００３９】
形状パターン画像生成手段１１６は、形状パターン画像記憶手段１２２と形状パターン画像更新手段１２３とから成り、前記動領域整形手段１１５からの移動物体画像２１４を受けて、各移動物体の形状パターン画像２１８を形成及び更新、出力する。形状パターン画像更新手段１２３は、前記動領域整形手段１１５が出力する移動物体画像２１４と形状パターン画像記憶手段１２２に記憶された形状パターン画像２１８とを受けて、前記形状パターン画像２１８を更新する。更新の方式としては、一例として次のような方式を採用してもよい。前記動領域整形画像の中の各動領域ごとに、対応する形状パターン画像が存在しない場合は動領域自体を新しく出現した移動物体に相当する形状パターン画像として出力し、そうでない場合には形状パターン画像と動領域とを両者の重心で位置合わせして重み付け加算したものを出力する。
【００４０】
形状パターン画像記憶手段１２２は、前記形状パターン画像更新手段１２３から出力される各移動物体ごとの形状パターン画像２１８を記憶し、次フレームで再び動領域整形手段１１５に出力する。なお、長時間にわたる監視などで多数の移動物体が検出される場合などに記憶容量を節約するため、記憶された形状パターン画像２１８が定められた時間以上にわたって更新されなかった場合に、この形状パターン画像２１８に相当する移動物体が監視領域から外に出たものとしてこの形状パターン画像を消去する構成としてもよい。
【００４１】
なお、本実施例では動領域整形手段１１５からの動領域整形画像を形状パターン画像生成手段１１６に入力し、動領域整形画像を用いて形状パターン画像を更新する構成としたが、図１０に示すように、ラベリング手段１０４からの動領域ラベル画像２１５を形状パターン画像生成手段１１６に入力し、動領域ラベル画像２１５を用いて形状パターン画像２１８を更新する構成としてもよい。このように、図１０に示した構成は、図７に示した構成に対して形状パターン画像生成手段１１６を構成する形状パターン画像記憶手段１２２および形状パターン画像更新手段１２３への画像信号の入力のし方を変更した点が異なるのみである。したがって図７の構成の動領域整形手段１１５に対してなされた図８および図９に示す変更は、図１０の構成に対してもそのまま適用することができる。
【００４２】
以上のような構成及び動作で、検出動領域に影や床面による鏡面反射像、もしくは持ち物等による偶発的な変形などが生じた場合にも正しい対象物体像を抽出・追跡でき、さらに検出動領域と移動物体との対応関係を常に記憶・更新しつつ処理を行なうことができる。
【００４３】
【発明の効果】
以上説明したように、本発明によって、背景との十分な輝度・色度差がない等の原因で同一移動物体内で動領域の分断が生じても同一物体と認識し、移動物体どうしの遮蔽が起こった際にこれを検知し、遮蔽が解消した場合に迅速にこれを認識して遮蔽解消時点を特定できる優れた移動物体抽出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の移動物体抽出装置の第一の実施例の基本構成を示すブロック図
【図２】本発明の移動物体抽出装置の第一の実施例の構成の概略を示すブロック図
【図３】本発明の移動物体抽出装置の第一の実施例の構成を示すブロック図
【図４】本発明の移動物体抽出装置の第一の実施例の動作機序を示すフロー図
【図５】本発明の移動物体抽出装置の第二の実施例の基本構成を示すブロック図
【図６】本発明の移動物体抽出装置の第二の実施例の構成を一部変更した例を示すブ ロック図
【図７】本発明の移動物体抽出装置の第二の実施例について図５の構成に対して一部の機能部をより詳細に示したブロック図
【図８】図７に示す構成の動領域整形手段に対してなされた変更例を示すブロック図
【図９】図７に示す構成の動領域整形手段に対してなされた他の変更例を示すブロック図
【図１０】本発明の移動物体抽出装置の第二の実施例について図６の構成に対して一部の機能部をより詳細に示したブロック図
【図１１】対応関係グラフの説明図
【図１２】本発明の移動物体抽出装置の第一の実施例における順方向グルーピングの説明図
【図１３】本発明の移動物体抽出装置の第一の実施例における逆方向グルーピングの説明図
【図１４】形状パターン画像の説明図
【図１５】従来の移動物体抽出装置の一例の処理の流れを示すフロー図
【符号の説明】
１０１ サンプリング手段
１０２ 動領域検出手段
１０３ 動領域対応付け手段
１０４ ラベリング手段
１０５ 対応関係グラフ生成手段
１０６ 順方向グルーピング手段
１０７ 逆方向グルーピング手段
１０８ 動領域ラベル画像記憶手段
１０９ 対応検出手段
１１０ 対応関係グラフ記憶手段
１１１ 移動物体画像記憶手段
１１２ 第１の再ラベリング手段
１１３ 動物体判定手段
１１４ 第２の再ラベリング手段
１１５ 動領域整形手段
１１６ 形状パターン画像生成手段
１１７ 形状パターン画像検索手段
１１８ 形状パターン画像選択手段
１１９ 動領域ラベル整形手段
１２０ 形状パターン画像２値化手段
１２１ ＡＮＤ回路
１２２ 形状パターン画像記憶手段
１２３ 形状パターン画像更新手段
１２４ ＯＲ回路
１２５ セレクタ
９０１、９０２、９０３ ３つの連続したフレーム画像の一例
９０４ フレーム９０１とフレーム９０２とを重ね合わせた画像
９０５ フレーム９０２とフレーム９０３とを重ね合わせた画像
９０６ フレーム９０１、９０２、９０３から得られる対応関係グラフ
１３０１、１３０２、１３０３ 複数の連続したフレーム画像の一例
１３０４ フレーム１３０１で検出された動領域
１３０５ フレーム１３０２で検出された動領域
１３０６ フレーム１３０３で検出された動領域
１ ３０７ 一連のフレーム１３０１〜１３０３で検出された動領域をフレーム１３０３の動領域１３０６に重ね合わせて得られる画像
１３０８ フレーム１３０１〜１３０３で検出された動領域から形成される形状パターン画像
Claims (5)
- 映像信号をサンプリングして原画像を出力するサンプリング手段と、前記原画像から動領域を検出して動領域２値画像を出力する動領域検出手段と、前記動領域２値画像における連結領域をラベリングして動領域ラベル画像を出力するラベリング手段と、時間的に相前後する動領域ラベル画像のラベルとフレーム番号との対応関係を検出して対応関係グラフを出力する対応関係グラフ生成手段と、前記対応関係グラフを時間軸の順方向に追跡することで同じ移動物体に相当するとみなされるものに同じラベルを振り直して動物体グループ画像を出力する順方向グルーピング手段と、前記対応関係グラフを時間軸の逆方向に追跡することで前記動物体グループ画像の各グループ内の異なる移動物体に相当するとみなされるものに再度異なるラベルを振り直して移動物体画像を出力する逆方向グルーピング手段とを備えたことを特徴とする移動物体抽出装置。
- 前記ラベリング手段は、前記動領域２値画像の連結領域をラベリングして動領域ラベル画像を出力する際に、画素数が一定のしきい値に満たない連結領域をノイズと見なして除去することを特徴とする請求項１記載の移動物体抽出装置。
- 前記対応関係グラフ生成手段は、前記ラベリング手段からの１フレームまたはそれ以上の枚数の動領域ラベル画像を記憶する動領域画像記憶手段と、時間的に相前後する２フレームの動領域ラベル画像にそれぞれ含まれる各連結領域どうしの全ての組み合わせについて対応の有無を判定し出力する対応検出手段と、前記対応検出手段の判定に基づき対応関係グラフを生成及び更新・記憶・出力する対応関係グラフ記憶手段とから成ることを特徴とする請求項１または２記載の移動物体抽出装置。
- 前記順方向グルーピング手段は、逆方向グルーピング手段が出力する前フレームの移動物体画像を記憶しかつ出力する移動物体画像記憶手段と、前記対応関係グラフに基づき、前記動領域ラベル画像の各連結領域のうち、前記移動物体画像記憶手段が出力する移動物体画像のいずれかの移動物体領域との間に対応関係のあるものには前記移動物体領域と同じラベル番号を振り直し、かつ前記移動物体画像のどの移動物体領域とも対応関係のないものには新しいラベル番号を振り直すことによって動物体グループ画像を作成して出力する第一の再ラベリング手段とを備えて成ることを特徴とする請求項１乃至３のいずれかに記載の移動物体抽出装置。
- 前記逆方向グルーピング手段は、前記動物体グループ画像の各連結領域で同じラベル番号を持つものの全ての組み合わせについて前記対応関係グラフを一定フレーム数時間だけ時間軸逆方向に遡ることにより異なる物体であるかどうかを判定する動物体判定手段と、前記動物体判定手段により異なる物体と判定された組み合わせについて異なるラベル番号を振り直すことによって移動物体画像を作成して出力する第二の再ラベリング手段とを備えて成ることを特徴とする請求項１乃至４のいずれかに記載の移動物体抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23269995A JP3625910B2 (ja) | 1995-09-11 | 1995-09-11 | 移動物体抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23269995A JP3625910B2 (ja) | 1995-09-11 | 1995-09-11 | 移動物体抽出装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004151283A Division JP3917148B2 (ja) | 2004-05-21 | 2004-05-21 | 移動物体抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0981753A JPH0981753A (ja) | 1997-03-28 |
| JP3625910B2 true JP3625910B2 (ja) | 2005-03-02 |
Family
ID=16943393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23269995A Expired - Fee Related JP3625910B2 (ja) | 1995-09-11 | 1995-09-11 | 移動物体抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3625910B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007102650A (ja) * | 2005-10-07 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 動き領域検出システム、動き領域検出方法、及び動き領域検出プログラム |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3880759B2 (ja) | 1999-12-20 | 2007-02-14 | 富士通株式会社 | 移動物体検出方法 |
| US6973201B1 (en) * | 2000-11-01 | 2005-12-06 | Koninklijke Philips Electronics N.V. | Person tagging in an image processing system utilizing a statistical model based on both appearance and geometric features |
| JP4218368B2 (ja) * | 2003-02-25 | 2009-02-04 | パナソニック電工株式会社 | 人検出方法及び人検出装置 |
| US7639839B2 (en) * | 2004-03-31 | 2009-12-29 | Fuji Xerox Co., Ltd. | Extracting video regions of interest |
| JP4719127B2 (ja) * | 2006-11-06 | 2011-07-06 | 株式会社東芝 | 誘導装置の動画像処理装置、誘導装置の目標追跡システム及び誘導装置の動画像処理装置における目標追跡方法 |
| JP4507129B2 (ja) * | 2008-06-06 | 2010-07-21 | ソニー株式会社 | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
| JP5676610B2 (ja) * | 2009-08-12 | 2015-02-25 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法 |
| JP5892079B2 (ja) * | 2013-01-29 | 2016-03-23 | トヨタ自動車株式会社 | 物体検出装置 |
| JP6570906B2 (ja) * | 2015-07-17 | 2019-09-04 | 株式会社日立製作所 | 監視システム及び監視方法 |
-
1995
- 1995-09-11 JP JP23269995A patent/JP3625910B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007102650A (ja) * | 2005-10-07 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 動き領域検出システム、動き領域検出方法、及び動き領域検出プログラム |
| JP4627711B2 (ja) * | 2005-10-07 | 2011-02-09 | 日本電信電話株式会社 | 動き領域検出システム、動き領域検出方法、及び動き領域検出プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0981753A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6337917B1 (en) | Rule-based moving object segmentation | |
| US5991428A (en) | Moving object detection apparatus and method | |
| US6937655B2 (en) | Recognizing film and video objects occuring in parallel in single television signal fields | |
| US7313254B2 (en) | Method for extracting object region | |
| US7742650B2 (en) | Object detection in images | |
| JP3625910B2 (ja) | 移動物体抽出装置 | |
| Venkatesh et al. | Efficient object-based video inpainting | |
| EP2715278B1 (en) | 3d scanner using structured lighting | |
| JPH06325180A (ja) | 移動体自動追跡装置 | |
| JP3793258B2 (ja) | 動画像処理装置および方法 | |
| KR101130963B1 (ko) | 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 | |
| Li et al. | Detection of vehicles from traffic scenes using fuzzy integrals | |
| JP2008250746A (ja) | 移動物体追跡装置 | |
| CN108710879B (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
| JPH06231252A (ja) | 監視画像の移動物体追跡方法 | |
| JP2001061152A (ja) | 動き検出方法および動き検出装置 | |
| JPH11136664A (ja) | 動物体自動追尾装置 | |
| US20130027549A1 (en) | Method and device for video surveillance | |
| CN104732558B (zh) | 运动目标检测装置 | |
| JP2021189512A (ja) | 教師データの作成システム、教師データの作成方法、および教師データの作成プログラム | |
| US6044114A (en) | Method of image segmentation | |
| Jain et al. | Analyzing a real world scene sequence using fuzziness | |
| KR20000054784A (ko) | 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법 | |
| CN110569853A (zh) | 一种基于目标定位的独立公式的分割方法 | |
| JPH0844844A (ja) | 物体検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |