JP5349367B2

JP5349367B2 - 移動物体追跡装置

Info

Publication number: JP5349367B2
Application number: JP2010042250A
Authority: JP
Inventors: 功 ▲高▼橋
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2010-02-26
Filing date: 2010-02-26
Publication date: 2013-11-20
Anticipated expiration: 2030-02-26
Also published as: JP2011180684A

Description

本発明は、監視空間内を移動する移動物体の位置を追跡する移動物体追跡装置に関する。特に監視空間を撮像した画像から移動物体の画像特徴を検出して追跡を行う移動物体追跡装置に関する。

画像上にて移動物体を追跡する従来技術として、移動物体の画像特徴を検出し当該画像特徴を有する画像領域を時系列の監視画像にて追跡するものが知られている。画像特徴として例えば、色に関するものが比較的単純で広く用いられている。

画像特徴を用いた追跡では、移動物体の像の近くに存在する背景や他の移動物体が当該移動物体と似た特徴を有すると、当該似た特徴を有する領域を誤追跡する可能性がある。この点に関し、例えば、移動物体の像に現れる色を画像特徴に設定する構成では、当該移動物体の周辺領域に存在しない色を予め当該移動物体の特徴色として選択することで誤追跡の防止を図ることができる。

なお、誤追跡の抑制を図る自動追尾装置に関して特許文献１及び特許文献２に示されるものがある。特許文献１には、移動物体の領域を表す対象枠と、対象枠を拡大した類似度枠とを設定し、それら対象枠と類似度枠とに挟まれる領域を周辺領域とする自動追尾装置が記載されている。この構成では、対象枠内の特徴量のうち類似度枠内の特徴量との類似度が低いものを追尾に用いる。また特許文献２には、移動物体の領域を表す対象指定枠の外の画像全体を周辺領域とする自動追尾装置が記載されている。

特開平４−３２９４９０号公報特開平９−１８１９５３号公報

追跡に用いる画像特徴は周辺領域に存在しないものに設定されるが、周辺領域が有限である限り、当該周辺領域の外側に追跡対象の移動物体と同一又は類似する画像特徴を有する移動物体が存在する可能性がある。そのため画像特徴として、或る時点の周辺領域に存在しないものを設定しても、追跡の途中の周辺領域には当該画像特徴を有する移動物体が出現する可能性がある。その結果、同一・類似の画像特徴を有する画像領域が複数、近接又は重複して存在することとなり、それらのいずれが真の追跡対象であるかの判断が困難となって追跡不能となったり、取り違えが生じる可能性があるという問題があった。

この可能性は例えば色に関する特徴のように、単純な画像特徴ほど高くなる。また、周辺領域を小さく設定するほど、つまり周辺領域に含まれない領域を多く残すほど当該可能性は高くなり得る。一方、色を例に説明すると、周辺領域を大きくすれば、当該可能性は小さくなり得るが、周辺領域に存在する色が増えるため追跡対象の画像特徴として設定できる色が無くなって追跡が困難となる可能性がある。

本発明は上記問題点を解決するためになされたものであり、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる移動物体追跡装置を提供することを目的とする。

本発明に係る移動物体追跡装置は、監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の複数の移動物体を追跡するものであって、各時刻の監視画像から移動物体像を検出する物体像検出部と、前記移動物体像から画像特徴を抽出する特徴抽出部と、前記移動物体ごとに前記画像特徴を記憶する特徴記憶部と、前記移動物体間で前記特徴記憶部に記憶されている前記画像特徴を比較し、当該比較された移動物体間で互いに異なる前記画像特徴の一部又は全部を当該移動物体それぞれの追跡特徴に設定する追跡特徴設定部と、前記移動物体の前記追跡特徴を前記移動物体像から検出し、前記追跡特徴が検出された位置を当該移動物体の追跡結果とする物体位置判定部と、を有する。

他の本発明に係る移動物体追跡装置は、さらに、時系列で得られる前記追跡結果を前記移動物体ごとに記憶する追跡結果記憶部と、時系列の前記追跡結果から前記移動物体の移動先を予測する移動先予測部と、を有し、前記追跡特徴設定部が、前記移動先が相互接近状態である前記移動物体を特定し、当該特定された移動物体間で前記比較を行う。

別の本発明に係る移動物体追跡装置においては、前記追跡特徴設定部が、前記移動物体のうち互いに前記相互接近状態にある接近注目物体と接近対象物体とに関し、前記接近対象物体の複数時刻における前記画像特徴のいずれにも該当しない範囲にて前記接近注目物体の前記追跡特徴を設定する。

さらに別の本発明に係る移動物体追跡装置においては、前記追跡特徴設定部が、前記移動物体の複数時刻における前記画像特徴に共通する範囲にて前記追跡特徴を設定する。

本発明に係る移動物体追跡装置によれば、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる。

本発明の実施形態に係る移動物体追跡装置の概略のブロック構成図である。相互接近状態にある移動物体の一方を注目物体とした場合の物体特徴、特徴不動範囲、特徴変動範囲及び追跡特徴の具体例を表した説明図である。相互接近状態にある移動物体の他方を注目物体とした場合の物体特徴、特徴不動範囲、特徴変動範囲及び追跡特徴の具体例を表した説明図である。監視画像にて検出された移動物体の物体像の例を示す模式図である。監視画像面内にて模式的に表した移動軌跡及び移動先領域の模式図である。本発明の実施形態における移動物体追跡処理を含む不審者検知処理の概略のフロー図である。本発明の実施形態における追跡特徴設定処理の概略のフロー図である。本発明の実施形態における物体位置判定処理の概略のフロー図である。図４に示す時刻より１時刻進んだ時刻における監視画像を例とした物体位置判定処理を説明するための模式図である。物体位置判定処理にて検出される、物体像と当該物体像の重心位置を移動先領域に包含する移動物体との組の情報を模式的に示す説明図である。物体位置判定処理にて作成される同定リストの記録過程の具体例を示す説明図である。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、監視空間を撮影した時系列の監視画像に基づいて、監視空間内の複数の移動物体を追跡するものであり、本実施形態では、その一例として、ＡＴＭコーナーを監視空間とし、その監視画像にて利用者の位置を追跡して不審行動を検知する例を説明する。不審行動を検知すると、移動物体追跡装置１は異常信号を出力する。図１は、実施形態に係る移動物体追跡装置１の概略のブロック構成図である。移動物体追跡装置１は、撮像部２、記憶部３、制御部４及び出力部５を含んで構成される。撮像部２、記憶部３及び出力部５は制御部４と接続される。

撮像部２は、監視カメラであり、例えば、監視空間の天井部に監視空間を俯瞰して設置される。撮像部２は、監視空間を所定の時間間隔で撮像し、撮影した画像（監視画像）を順次、制御部４へ出力する。以下、所定時間間隔で行われる撮影のタイミングを時刻と称する。本実施形態において監視画像はカラー画像であり、例えば、各画素の画素値がそれぞれ２５６階調のＲ値、Ｇ値及びＢ値の組で表現される。

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置であり、制御部４で使用されるプログラムやデータを記憶する。記憶部３はこれらプログラム、データを制御部４との間で入出力する。記憶部３に記憶されるデータには背景画像３０、物体特徴３１、移動軌跡３２が含まれる。

背景画像３０は、監視空間の背景の画像データであり、追跡処理に先立って記憶部３に格納され、追跡処理にて監視画像から移動物体の像を抽出するために用いられる。具体的には、監視画像のうち動体が存在しないと判断された画像を背景画像３０として記憶部３に登録することができる。

なお、監視画像から移動物体の像を検出する方法として背景画像を用いずに、追跡対象である人の像が予め学習された識別器を用いる方法を採用することもできる。この場合には、予め、追跡対象が撮像されている多数のサンプル画像及び追跡対象が撮像されていない多数のサンプル画像を基に学習を行って識別器を表すパラメータを生成し、当該パラメータを記憶部３に格納する。

物体特徴３１は、監視画像にて検出された移動物体の物体像から抽出された複数の画像特徴のデータである。記憶部３には物体特徴３１として、移動物体ごとに複数の画像特徴が、当該移動物体を識別する物体ＩＤ（identification data）と対応付けて記憶される。

本実施形態では物体像の色に関する特徴を画像特徴とする。移動物体追跡装置１における追跡処理では、ＲＧＢ値それぞれの階調レンジを３２分割して定義される３２７６８個の色領域を「色」と定義し、これら色領域に通しの色番号を付与する。物体特徴３１は各移動物体の物体像を構成する画素の色ヒストグラムの形式で表すことができる。後の説明で用いる図２、図３に示す色ヒストグラム３１０，３１１，３１３，３１４はそれぞれ物体特徴３１の例である。ここでは、各移動物体の色ヒストグラムにおいて頻度が０でない色の集合を当該移動物体の画像特徴として扱う。各移動物体についての画像特徴の一部又は全部が、当該移動物体の追跡に用いる追跡特徴として設定される。追跡特徴の信頼性を向上させるために複数時刻に亘る画像特徴が比較される。そのために各移動物体について過去の複数時刻の物体像から抽出された画像特徴が記憶部３に記憶される。例えば、時刻数は２時刻とすることができる。また、３時刻以上としてもよい。

移動軌跡３２は、移動物体ごとの追跡結果を表すデータであり、各移動物体の位置の履歴を含む。例えば、移動軌跡３２として、監視画像における各移動物体の物体像の重心位置を時系列に並べたデータが当該移動物体の物体ＩＤと対応付けて記憶部３に記憶される。この移動軌跡３２は各移動物体の移動先の予測や異常の判定にも用いられる。図４は、時刻Ｔ−１での模式的な監視画像の例であり、４つの移動物体Ａ〜Ｄの物体像５０１〜５０４が表されている。そして図５に示す監視画像面内の軌跡３２０〜３２３がそれぞれ当該移動物体Ａ〜Ｄの時刻Ｔ−１までに得られた移動軌跡３２に対応する。なお、図５の軌跡３２０〜３２３において黒丸が位置のデータに対応する。

制御部４は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、撮像部２、記憶部３及び出力部５と接続される。制御部４は、記憶部３からプログラムを読み出して実行し、後述する各種の手段（物体像検出部４０、特徴抽出部４１、移動先予測部４２、追跡特徴設定部４３、物体位置判定部４４、異常判定部４５等）として機能する。制御部４は、撮像部２からの監視画像を処理して移動物体を追跡し、移動軌跡３２を分析することにより不審行動を検知すると、異常信号を出力部５へ出力する。

物体像検出部４０は、監視画像から移動物体の物体像を検出し、検出された物体像の情報を特徴抽出部４１及び物体位置判定部４４へ出力する。具体的には、監視画像を背景画像３０と比較して両画像間で相違する画素を検出し、互いに隣接して検出された画素からなる領域を監視画像における変化領域として抽出する。そして、予め定めた基準値を超える大きさの変化領域を物体領域と判定して、監視画像のうち物体領域内の画像を物体像として検出する。例えば、図４の物体像５０１〜５０４はこのようにして検出される。また、物体像の重心を算出し、これを物体像の位置と定義する。上述した図５の黒丸で表す位置はこのようにして定義される。なお、当該重心を物体像の外接矩形の中心で近似し、物体像の位置として用いてもよい。また、上述の処理において、背景画像に対し相違する監視画像の画素は、背景画像との間で輝度値又は色成分の差が所定値以上である監視画像の画素、或いは背景画像との間で輝度値、或いは色成分の相関が所定値未満である監視画像の画素として検出可能である。また、物体像検出部４０は、監視画像を基に背景画像３０を生成・更新する際にも用いられる。

なお、上述の識別器を用いて監視画像から移動物体の像を検出する構成では、物体像検出部４０は、監視画像に所定の大きさ、所定の形状の候補領域を順次設定し、候補領域の画像を分析して特徴量（コントラスト、エッジ方向など）を抽出し、抽出された特徴量を識別器に入力して、識別結果（追跡対象であることが肯定されるか否定されるか）を導出し、肯定の識別結果が出力された候補領域に物体像を検出する。候補領域を設定した探索は、候補領域の大きさ及び形状を変更して複数回繰り返してもよい。

特徴抽出部４１は、現時刻以前に検出された移動物体の物体像それぞれから画像特徴を抽出し、抽出された画像特徴を当該移動物体の物体特徴３１として記憶部３に記憶させる。具体的には、物体像を構成する各画素の画素値から色番号を判別して色番号ごとに画素数を計数し、０でない計数値それぞれを総画素数で除した頻度値とその色番号とを画像特徴として抽出する。特徴抽出部４１は、抽出された物体像ごとの画像特徴を物体位置判定部４４へ出力し、物体位置判定部４４にて当該物体像の物体ＩＤが特定されると、当該物体ＩＤに対応する移動物体の物体特徴３１を当該物体像の画像特徴で更新する。但し、物体特徴３１の混同を避けるため、特徴抽出部４１は、１つの物体ＩＤが特定されているときだけ当該物体ＩＤに対応する物体特徴３１を更新する。当該更新処理では、既に記憶されている複数時刻（本実施形態では２時刻）のデータのうち時刻が最も古い時刻のデータを削除し、今回抽出された最新時刻のデータを追加する。

移動先予測部４２は、移動軌跡３２に運動モデルを適用して移動物体それぞれの移動先を予測する。予測された移動先の情報は追跡特徴設定部４３及び物体位置判定部４４に入力される。具体的には、各移動物体の移動軌跡３２（現時刻Ｔより１時刻前の時刻（Ｔ−１）までの位置履歴）に等速直線モデルを適用して、現時刻Ｔにおける当該移動物体の位置Ｐ_Ｔを予測し、１時刻前の位置Ｐ_Ｔ−１と予測位置Ｐ_Ｔとを焦点とする楕円領域を移動先として算出する。ここで、移動物体の運動の変化により生じる予測の誤差を吸収する目的で移動先を点ではなく領域として算出している。予測位置Ｐ_Ｔの算出には等速直線モデルの代わりにカルマンフィルタ等を利用することもできる。図５に移動先領域の例として、図４の時刻Ｔ−１の移動物体Ａ〜Ｄに対する移動先領域４２０〜４２３を示している。なお、移動先領域は、予測位置Ｐ_Ｔを中心とする円などとすることもできる。

追跡特徴設定部４３は、移動物体の物体像の相互位置関係の変化に応じて追跡特徴を設定し直し、相互接近状態にある物体像を物体位置判定部４４にて弁別可能とする。具体的には、弁別可能にするために、移動物体間で物体特徴３１を比較し、一方の移動物体にあって他方の移動物体にない画像特徴の範囲を一方の移動物体の追跡特徴に設定する。これにより追跡中の移動物体間で互いに異なる追跡特徴が設定されるので、移動物体同士が接近したときにこれらを取り違える誤追跡を回避できる。

ここで、追跡中の移動物体が２つ程度の少数であれば、総当たり制によって移動物体の可能な組み合わせ全てについて物体特徴３１を比較して、全ての移動物体に互いに異なる追跡特徴を設定できる可能性が高い。しかし、移動物体の数が多い場合には、総当たりでの比較を行うと追跡特徴に設定できる画像特徴が無くなる可能性が高まる。すなわち、この場合、全ての移動物体に互いに異なる追跡特徴が設定されることを要件とすると、追跡特徴の設定が不可能となり追跡不能となり得る。

そこで、本実施形態では、各移動物体の予測移動先を比較して接近が予測される移動物体同士に対してのみ互いに異なる追跡特徴が設定されることを要件として課す。この構成では、相互接近状態にないと判断される移動物体間にて同じ追跡特徴を設定することが許容されるが、物体像の位置が互いに離れている移動物体間では同じ追跡特徴を設定しても取り違えは生じない。また、或る時刻では相互接近状態にはなく互いに同じ追跡特徴を設定されていた移動物体が相互位置関係の変化によって接近が予測された場合には、それら移動物体の追跡特徴が相違するように変更される。

具体的には、移動先予測部４２により各移動物体の移動先として算出された楕円領域の重なりを検出し、重なりが検出された移動物体間に相互接近状態を判定する。例えば、図５に示す例では、移動先領域４２０，４２３が重複部分を有することから物体Ａ，Ｄは接近が予測される相互接近状態であると判断されるが、他の移動物体間では移動先領域は重複しないので相互接近状態とはならない。この場合、移動物体Ａ，Ｄ間でのみ追跡特徴を排他的に設定すればよく、他の移動物体間に関しては追跡特徴の設定に制限は課されない。このように追跡特徴の設定に対する制約条件が緩和され、この点で追跡不能となる可能性が少なくなる。

さて、物体が移動すると、照明状態が変わって物体像での色が変化したり、部分が見え隠れしたりといった特徴変動が生じる。相互接近状態にて注目している移動物体（接近注目物体、以下、注目物体）の追跡特徴として、一時的にでも消失する可能性が高い画像特徴の範囲を設定してしまうと、注目物体を見失う可能性も高くなり追跡の安定性が低下し得る。これに対応するために本実施形態では追跡特徴の設定に関し、注目物体の複数時刻に亘る物体特徴３１に共通して含まれている画像特徴の範囲のみを注目物体の追跡特徴に設定する。こうすることで、注目物体の画像特徴のうち複数時刻の間に一時的に消失したことがあり、それ故、今後も消失する可能性が高いと推定される範囲は注目物体の追跡特徴に設定されなくなるので、特徴変動に起因する見失いを防げる。ここで、各移動物体の物体特徴３１において複数時刻に亘り共通して抽出された画像特徴の範囲を特徴不動範囲と呼ぶことにする。

一方、注目物体への接近が予測された相手方の移動物体（接近対象物体、以下、接近物体）において上述した特徴変動の影響で一時的に消失していただけの画像特徴の範囲を、注目物体の追跡特徴に設定してしまうと取り違えが発生する可能性が高くなる。これに対応するために本実施形態では、接近物体の複数時刻に亘る物体特徴３１のうち何れかの時刻の物体特徴３１に含まれている画像特徴の範囲は注目物体の追跡特徴に設定しない。こうすることで、接近物体の物体像から複数時刻のうち一度でも抽出された範囲は注目物体の追跡特徴に設定されなくなるので、特徴変動に起因する取り違えが生じる可能性を低下させることができる。ここで、各移動物体の物体特徴３１において複数時刻のうち一度でも抽出された画像特徴の範囲を特徴変動範囲と呼ぶ。

図２、図３は上述したように物体特徴３１の例を示すと共に、その例示した物体特徴３１に対する特徴不動範囲、特徴変動範囲及び追跡特徴を表した説明図である。図２、図３は一例として、図５に示したように物体ＩＤ「Ａ」，「Ｄ」でそれぞれ識別される移動物体Ａ，Ｄが相互接近状態となる場合を示しており、図２は移動物体Ａを注目物体、移動物体Ｄを接近物体とする場合における特徴不動範囲、特徴変動範囲及び追跡特徴を示し、逆に図３は移動物体Ｄを注目物体、移動物体Ａを接近物体とする場合における特徴不動範囲、特徴変動範囲及び追跡特徴を示している。

移動物体Ａに注目した図２に示す例では、追跡特徴設定部４３は、現時刻Ｔ以前の２時刻（Ｔ−１），（Ｔ−２）それぞれの移動物体Ａの物体特徴３１として記憶部３に記憶されている色ヒストグラム３１０（時刻の関数ｆ_Ａ（Ｔ−１）で表す）及び色ヒストグラム３１１（時刻の関数ｆ_Ａ（Ｔ−２）で表す）を読み出し、それらに基づいて移動物体Ａの特徴不動範囲を表す最小色ヒストグラム３１２を求める。最小色ヒストグラム３１２は、色ヒストグラム３１０，３１１の対応するビンごとに求めた頻度の最小値ｍｉｎ（ｆ_Ａ（Ｔ−１），ｆ_Ａ（Ｔ−２））によって構成される。特徴不動範囲は、最小色ヒストグラム３１２において頻度が非０の色番号（色＃）である。最小色ヒストグラム３１２に対応する具体的な特徴不動範囲は色＃１０〜１４及び色＃２８〜３２であると算出される。

また、追跡特徴設定部４３は、現時刻Ｔ以前の２時刻（Ｔ−１），（Ｔ−２）それぞれの移動物体Ｄの物体特徴３１として記憶部３に記憶されている色ヒストグラム３１３（時刻の関数ｆ_Ｄ（Ｔ−１）で表す）及び色ヒストグラム３１４（時刻の関数ｆ_Ｄ（Ｔ−２）で表す）を読み出し、それらに基づいて移動物体Ｄの特徴変動範囲を表す最大色ヒストグラム３１５を求める。最大色ヒストグラム３１５は、色ヒストグラム３１３，３１４の対応するビンごとに求めた頻度の最大値ｍａｘ（ｆ_Ｄ（Ｔ−１），ｆ_Ｄ（Ｔ−２））によって構成される。特徴変動範囲は、最大色ヒストグラム３１５において頻度が非０の色番号（色＃）である。最大色ヒストグラム３１５に対応する具体的な特徴変動範囲は色＃１９〜２４及び色＃２７〜３４であると算出される。

物体Ａの追跡特徴は、移動物体Ａの最小色ヒストグラム３１２から移動物体Ｄの最大色ヒストグラム３１５との重複部分を除いた色ヒストグラム３１６で表される色＃１０〜１４の範囲内にて設定される。

移動物体Ｄに注目した図３に示す例は、上述の図２の例と比較して移動物体Ａ，Ｄ間の注目物体・接近物体の関係を逆にする点を除き同様であり、追跡特徴設定部４３は、色ヒストグラム３１３，３１４の各ビンの最小値ｍｉｎ（ｆ_Ｄ（Ｔ−１），ｆ_Ｄ（Ｔ−２））からなる最小色ヒストグラム３１８から、色ヒストグラム３１０，３１１の各ビンの最大値ｍａｘ（ｆ_Ａ（Ｔ−１），ｆ_Ａ（Ｔ−２））からなる最大色ヒストグラム３１７との重複部分を除いた色ヒストグラム３１９を求め、これが表す色＃１９〜２４の範囲内にて移動物体Ｄの追跡特徴を設定する。

このようにして移動物体Ａ，Ｄの間に互いに異なる追跡特徴が設定される。

なお、上述のような単純比較を行うと、注目物体の追跡特徴を設定できない場合が生じ得る。例えば、３つの移動物体Ｅ，Ｆ，Ｇが相互接近状態にあり、移動物体Ｅの色が赤、青であり、移動物体Ｆの色が青、緑であり、移動物体Ｇの色が赤、緑である場合に、移動物体Ｅの追跡特徴は移動物体Ｆとの関係では赤に限定されるが、さらに移動物体Ｇとの関係も含めると赤も追跡特徴に設定できない。このような場合は、色の組み合わせを追跡特徴に設定できる可能性がある。例えば、上述の移動物体Ｅ，Ｆ，Ｇにおいて移動物体Ｅの追跡特徴を赤及び青の両方に設定すれば、移動物体Ｆ，Ｇとの取り違えを回避できる可能性がある。また、注目物体Ｅの部分特徴が赤・黒であり、接近物体Ｆの部分特徴が赤・青・黒の場合である。このような場合も、注目物体の追跡特徴として特徴不動範囲の画像特徴全てを設定することで、一部の画像特徴を追跡特徴に設定する場合よりも取り違えが起こりにくくなり得る。

物体位置判定部４４は、現時刻の監視画像から検出された物体像内で追跡特徴の検出を行い、各移動物体の追跡特徴の検出位置を当該移動物体の位置と判定する。そして、物体位置判定部４４は移動物体それぞれの位置を当該移動物体の追跡結果として記憶部３に蓄積する。追跡特徴の検出は、物体像を構成する各画素の画素値を追跡特徴と比較することにより行われる。物体位置判定部４４は画素値が追跡特徴と一致する画素を検出し、検出された画素の平均位置を検出位置として算出する。すれ違う複数の移動物体の物体像が一体化している場合もあり、この場合には１つの物体像内に複数の移動物体の位置が判定されることに注意されたい。なお、１つの物体像内に移動物体の位置が１つだけ判定された場合は当該移動物体の検出位置を当該物体像の重心位置とすることでより安定した追跡結果となる。移動物体間で互いに異なる追跡特徴が設定されているので複数の移動物体が近接又は重複していてもこれらを取り違える誤追跡が防止できる。また、検出位置は物体像内であることから背景の誤追跡が防止できる。さらに本実施形態の物体位置判定部４４は、移動物体の追跡特徴を検出する物体像を当該移動物体の移動先領域に含まれる物体像に制限する。これにより移動物体を取り違える誤追跡が効率的に防止できる。また、物体位置判定部４４は物体特徴３１の更新のために物体像と移動物体との対応関係を特徴抽出部４１へ出力する。

異常判定部４５は、記憶部３に記憶されている移動軌跡３２を分析して、所定の基準時間以上、監視空間内に留まっている移動物体があれば異常と判定し、該当する移動物体の情報を含んだ異常信号を出力する。基準時間は、監視空間での一般的な人の滞留時間に基づき、それを超える長時間に設定される。本実施形態におけるＡＴＭコーナーを監視空間とする例では、混雑時間帯以外の時間帯の移動物体やＡＴＭ利用者が列をなす領域以外の領域の移動物体に対して基準時間は例えば、１０分間程度に設定することができる。

出力部５は、異常を警告する警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなり、異常信号が入力されると異常発生の旨を例えば、外部の監視者等へ知らせる。また、出力部５は、正常時も追跡結果として表示手段に監視画像や移動軌跡３２を出力してもよい。さらに、通信回線を介して異常信号を警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。

次に、移動物体追跡装置１の動作を説明する。図６は、移動物体追跡装置１における移動物体追跡処理を含む不審者検知処理の概略のフロー図である。監視空間が無人であることを確認した管理者が電源を投入すると各部が動作を始め、初期化される（Ｓ１）。初期化には、制御部４の物体像検出部４０が撮像部２からの監視画像を背景画像として記憶部３に記憶させる処理が含まれる。初期化の後は、撮像部２から制御部４に新たな監視画像（以下、現画像と呼ぶ）が入力されるたびにＳ２〜Ｓ１４の処理が繰り返される。

現画像が入力されると（Ｓ２）、まず、制御部４は物体像検出部４０により、現画像を背景画像３０と比較して物体像を検出し、検出された各物体像の重心位置を算出する（Ｓ３）。物体像検出部４０は、現画像から切り出した物体像及び重心位置と、当該物体像を識別するラベル番号とを対応付けて物体像情報とし、これを検出結果として記憶部３に一時記憶させる。

次に、制御部４は移動先予測部４２により、各移動物体の移動軌跡３２から当該移動物体の移動先を予測する（Ｓ４）。移動先予測部４２は移動先として上述の楕円領域を算出し、当該楕円領域内の画素値を１、それ以外の画素値を０とした移動先領域画像を生成する。移動先予測部４２は当該移動先領域画像を当該移動物体の物体ＩＤと対応付け、これを予測情報として記憶部３に一時記憶させる。なお、追跡開始直後は移動軌跡３２に１データしかなく移動速度（方向と速さ）が予測できないため移動軌跡３２中の当該１データを中心とし、予め設定された追跡対象の移動物体の平均速度に対応する大きさの円を移動先として予測する。

続いて、制御部４の追跡特徴設定部４３が、ステップＳ４にて予測された移動先及び物体特徴３１に基づいて各移動物体の追跡特徴を設定する（Ｓ５）。図７は、この追跡特徴設定処理の概略のフロー図である。図７を参照して追跡特徴設定処理を説明する。当該処理において、追跡特徴設定部４３は、まず各移動物体について記憶されている複数時刻の物体特徴３１に基づいて特徴変動範囲及び特徴不動範囲を算出する（Ｓ５０，Ｓ５１）。追跡特徴設定部４３は算出した特徴変動範囲及び特徴不動範囲の情報を物体ＩＤと対応付けて記憶部３に一時記憶させる。

次に追跡特徴設定部４３は、移動物体間で移動先領域画像同士の論理積演算を行い、論理積が１となる画素を有する移動物体の組み合わせを全て検出する（Ｓ５２）。この処理により移動先領域が重複する移動物体の組み合わせが全て検出される。追跡特徴設定部４３は、検出した物体ＩＤの組み合わせを接近情報として記憶部３に一時記憶させる。

続いて追跡特徴設定部４３は、物体特徴３１が記憶されている各移動物体を順次、注目物体に設定し、全ての移動物体に対してステップＳ５３〜Ｓ５９のループ処理を実行する。

当該ループ処理において、追跡特徴設定部４３は接近情報を確認し、接近情報に注目物体の物体ＩＤが含まれていれば注目物体への接近物体があると判断する（Ｓ５４にてＹＥＳ）。接近物体が存在する場合には、注目物体の特徴不動範囲と接近物体の特徴変動範囲とを比較して、注目物体の特徴不動範囲のうち接近物体の特徴変動範囲に含まれない範囲を検出する（Ｓ５５）。当該範囲を検出できた場合（Ｓ５６にてＹＥＳ）は、当該範囲の画像特徴を注目物体の追跡特徴に設定する（Ｓ５７）。

他方、注目物体への接近物体がない場合（Ｓ５４にてＮＯ）、及び接近物体はあるが注目物体の特徴不動範囲全体が接近物体の特徴変動範囲に含まれている場合（Ｓ５６にてＮＯ）には、追跡特徴設定部４３は、注目物体の特徴不動範囲の全ての画像特徴を当該注目物体の追跡特徴に設定する（Ｓ５８）。

こうして、各移動物体についてのループ処理が完了して全ての移動物体に追跡特徴が設定されると、追跡特徴設定処理Ｓ５は終了し、物体位置判定処理（図６のステップＳ６）が開始される。

物体位置判定処理Ｓ６では、制御部４の物体位置判定部４４が、追跡特徴設定処理Ｓ５にて設定された追跡特徴を基にして、各移動物体の位置を判定し、また、各物体像がどの移動物体によるものかを同定する。図８は、物体位置判定処理の概略のフロー図である。図９は或る時刻における監視画像を例にして表した物体位置判定処理を説明するための模式図であり、図１０、図１１は図９の例に対応した物体位置判定処理の過程を説明する説明図である。以下、図８〜図１１を参照して、物体位置判定処理を説明する。

当該処理において、物体位置判定部４４は、まずステップＳ３にて得られている物体像情報とステップＳ４にて得られている予測情報とを参照して、物体像と、当該物体像の重心位置を移動先領域に包含する移動物体との組を検出する（Ｓ６０）。さらに、ステップＳ５２にて得られている接近情報を参照して、接近物体同士で、この物体像と移動物体との組をマージする（Ｓ６１）。また、物体像と移動物体との対応関係を記録するための空の同定リストを準備する（Ｓ６２）。

ここまでの物体位置判定処理を図９〜図１１を用いて具体的に説明する。図９に示す監視画像６００は、図４の例から１時刻進んで時刻Ｔになったときの監視画像である。当該監視画像ではラベル１〜４の４つの物体像が検出されている。図９に示す点線の楕円は図５にて例示した物体Ａ〜Ｄの移動先領域４２０〜４２３を表している。

図１０に示す表６１０は検出された、物体像と移動物体との組を示している。この場合、２つの組Ｉ，ＩＩが検出される。組Ｉは物体Ａ，Ｄとラベル１，３の組み合わせとなる。図５に示す例では移動物体Ａ，Ｄがそれぞれ他方との関係で接近物体となることから、組Ｉはマージ処理がなされている。組ＩＩは物体Ｂとラベル２の組み合わせとなる。また、物体Ｃとラベル４は組を作れないので、表６１０には現れない。

続いて物体位置判定部４４は各組を順次、注目組に設定したループ処理を実行し（Ｓ６３〜Ｓ６９）、さらに各組についてのループ処理の中で注目組の移動物体を順次、注目物体に設定したループ処理を実行する（Ｓ６４〜Ｓ６８）。

この多重ループ処理において、物体位置判定部４４は、注目組の各物体像から注目物体の追跡特徴の検出を行い（Ｓ６５）、追跡特徴が検出された場合に（Ｓ６６にてＹＥＳ）、注目物体の物体ＩＤと追跡特徴が検出された物体像のラベル番号と追跡特徴が検出された画素の平均位置（検出位置）とを対応付けたデータを同定リストに記録する（Ｓ６７）。

図１１は、同定リストへの記録過程の具体例を示す説明図である。同定リスト６２０はステップＳ６７を終えた時点での状態を表している（検出位置は省略されている）。組Ｉにおいては、ラベル１の物体像からのみ図２に示した移動物体Ａの追跡特徴である色＃１０〜１４が検出されたためラベル１が物体Ａと対応付けられ、ラベル３の物体像からのみ図３に示した移動物体Ｄの追跡特徴である色＃１９〜２４が検出されたためラベル３が物体Ｄと対応付けられた。組ＩＩにおいても同様に物体Ｂの追跡特徴がラベル２の物体像から検出され、ラベル２が物体Ｂと対応付けられた。

多重ループ処理を終えると（Ｓ６８にてＹＥＳ、かつＳ６９にてＹＥＳ）、移動物体の消失及び新規出現を確認する。

すなわち物体位置判定部４４は、物体特徴３１と同定リストとを比較して、記憶部３に物体特徴３１が記憶されているが同定リストには記録が無い移動物体があるかを確認し、該当する移動物体があれば当該移動物体が消失した旨を同定リストに追記する（Ｓ７０）。

図１１の同定リスト６２１はステップＳ７０を終えた時点での状態を表している。同定リスト６２０に記録がない物体Ｃが消失と判定され、ラベル番号の欄に消失を表す「−１」が追記された。

また物体位置判定部４４は、物体像情報と同定リストとを比較して、同定リストに記録の無い物体像があるかを確認し、該当する物体像があれば当該物体像に新規の物体ＩＤを付与して同定リストに追記する（Ｓ７１）。

図１１の同定リスト６２２はステップＳ７１を終えた時点での状態を示している。ラベル４の物体像が新規であるとして物体ＩＤ「Ｅ」が付与され、物体Ｅとラベル４の対応付けが追記された。

こうして、追跡特徴と移動先予測とに基づく物体位置の判定及び物体像の同定が終わると、制御部４の処理は物体位置蓄積処理（図６のステップＳ７）へ進む。

物体位置蓄積処理Ｓ７では、物体位置判定部４４が現時刻の移動物体の位置を移動軌跡３２に蓄積する。すなわち物体位置判定部４４は、同定リストを参照して、各移動物体の移動軌跡３２に当該移動物体の位置を追記する。このとき物体位置判定部４４は、新規の移動物体があれば当該移動物体の移動軌跡３２を新たに追加し、消失した移動物体があれば当該移動物体の移動軌跡３２を削除する。

制御部４は、現画像及び更新された移動軌跡３２を追跡結果として出力部５へ出力し、出力部５は表示手段によりこれらを表示する（Ｓ８）。

制御部４の異常判定部４５は、各移動物体の移動軌跡３２から当該移動物体の滞在時間を計測して、しきい値として設定される所定の基準時間と当該滞在時間とを比較し、滞在時間が基準時間を超える移動物体があれば異常ありと判定する（Ｓ９）。異常ありと判定された場合（Ｓ１０にてＹＥＳ）、異常判定部４５は、異常が判定された移動物体（不審物体）の物体像の情報を含む異常信号を生成して出力部５へ出力する（Ｓ１１）。出力部５は異常信号を入力されると、例えば、音響出力手段を鳴動させ、表示手段に不審物体の物体像を表示し、表示中の監視画像における不審物体の位置に枠画像を重畳表示する。監視員は当該表示を基に異常判定の原因となった人に対する案内、或いは排除といった対処の必要性を判断し、必要であれば監視空間に急行して対処を行う。

異常判定を終えると、制御部４の特徴抽出部４１は、次時刻に備えて物体特徴３１を更新する。すなわち特徴抽出部４１は、物体像情報及び同定リストを参照して、各物体像から画像特徴を抽出し（Ｓ１２）、抽出された画像特徴を、同定された移動物体の物体特徴３１の最も古い情報と入れ替えることで物体特徴３１を更新する（Ｓ１３）。なお、特徴抽出部４１は、同定リストにおいて１つの物体像に重複して同定されている２以上の移動物体については、これらの移動物体を更新の対象としない。また特徴抽出部４１は、新規の移動物体があれば当該移動物体の物体特徴３１を新たに追加し、消失した移動物体があれば当該移動物体の物体特徴３１を削除する。

また制御部４の物体像検出部４０は、次時刻に備えて背景画像３０を更新する（Ｓ１４）。すなわち物体像検出部４０は、現画像、物体像情報及び背景画像３０を参照して、現画像のうちいずれの物体像とも重ならない部分を背景画像３０と平均処理して背景画像３０を更新する。

以上の処理を終えると、処理は再びステップＳ２へ戻され、監視空間における移動物体の追跡が続行される。

上記実施形態において、画像特徴は画素単位の色特徴とされた。別の実施形態においては、局所領域のテクスチャ、局所領域の形状又は局所領域の輝度勾配などの領域特徴が画像特徴とされる。この場合、特徴抽出部４１は、物体像から新たな領域特徴が抽出されると当該領域特徴に新たな特徴番号を付与して物体特徴３１の一部として記憶させ、各移動物体の物体ＩＤと特徴番号との対応関係を当該移動物体の物体特徴３１として記憶部３に記憶させる。

１移動物体追跡装置、２撮像部、３記憶部、４制御部、５出力部、３０背景画像、３１物体特徴、３２移動軌跡、４０物体像検出部、４１特徴抽出部、４２移動先予測部、４３追跡特徴設定部、４４物体位置判定部、４５異常判定部、３２０，３２１，３２２，３２３軌跡、４２０，４２１，４２２，４２３移動先領域、５０１，５０２，５０３，５０４物体像、６２０，６２１，６２２同定リスト。

Claims

監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の複数の移動物体を追跡する移動物体追跡装置であって、
各時刻の監視画像から移動物体像を検出する物体像検出部と、
前記移動物体像から画像特徴を抽出する特徴抽出部と、
前記移動物体ごとに前記画像特徴を記憶する特徴記憶部と、
前記移動物体間で前記特徴記憶部に記憶されている前記画像特徴を比較し、当該比較された移動物体間で互いに異なる前記画像特徴の一部又は全部を当該移動物体それぞれの追跡特徴に設定する追跡特徴設定部と、
前記移動物体の前記追跡特徴を前記移動物体像から検出し、前記追跡特徴が検出された位置を当該移動物体の追跡結果とする物体位置判定部と、
時系列で得られる前記追跡結果を前記移動物体ごとに記憶する追跡結果記憶部と、
時系列の前記追跡結果から前記移動物体の移動先を予測する移動先予測部と、
を有し、
前記追跡特徴設定部は、前記移動先が相互接近状態である前記移動物体を特定し、前記移動物体のうち互いに前記相互接近状態にある接近注目物体と接近対象物体とに関し、前記接近対象物体の複数時刻における前記画像特徴のいずれにも該当しない範囲にて前記接近注目物体における前記追跡特徴を設定すること、
を特徴とする移動物体追跡装置。
請求項１に記載の移動物体追跡装置において、
前記追跡特徴設定部は、前記接近注目物体の複数時刻における前記画像特徴に共通する範囲にて当該接近注目物体における前記追跡特徴を設定すること、を特徴とする移動物体追跡装置。