JP7422572B2 - 移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム - Google Patents

Description

本発明は、 順次取得した撮影画像に基づいて移動物体を追跡する移動物体追跡技術に関する。

特許文献１では、移動物体の交差や動きの急変などが生じても追跡精度を確保できるよう、交差があっても正しく追跡できる可能性の高い低レート候補位置算出部１１（長間隔候補位置推定手段）と、動きの急変があっても正しく追跡できる可能性の高い高レート候補位置算出部１２（短間隔候補位置推定手段）とを用い、両算出部１１，１２が算出した候補位置を統合して移動物体の位置を算出していた。ここで、交差があっても長間隔候補位置推定手段が正しく追跡できるのは、長間隔候補位置推定手段が処理する時間間隔では交差する移動物体間で隠蔽が生じる画像が少なくなり、算出される候補位置で隠蔽が生じる可能性が低くなるためである。

特に、合成尤度分布を参照して各移動物体の位置を計算する物体抽出部（物体位置決定手段）１４が周囲にて抽出した移動物体の数が多い移動物体の候補位置ほど（すなわち追跡している移動物体の混雑度が高い候補位置ほど）、動きの急変が起きにくく交差が発生しやすいため、短間隔候補位置推定手段が算出した候補位置を小さく重みづけて（換言すると長間隔候補位置推定手段が算出した候補位置を重視して）統合を行っていた。

特開２０１７－０７６１８１号公報

しかしながら、従来技術にて想定していた混雑度が高い状態は移動物体間の隠蔽が短時間だけ生じる状態であり、この想定以上に混雑度が高くなると追跡精度が低下する問題があった。

例えば、イベント会場の入り口付近では、そこを俯瞰撮影して得られる画像において専ら観客の頭と肩付近しか撮影されないというほどの混雑が生じる。このような状態では、頭と肩付近の特徴量で対応づけを行わねばならず、且つ、長い時間間隔をあけると対応づく可能性のある移動物体が増加してしまう。そのため、長間隔候補位置推定手段が算出する候補位置よりもむしろ短間隔候補位置推定手段が算出する候補位置の方が正しく追跡できる可能性が高くなる。よって、従来技術が想定していた以上に混雑度が高くなると長間隔候補位置推定手段が算出した候補位置を重視していると追跡精度が低下してしまう。

また、従来技術では、過去の追跡結果から混雑度を判定し、その混雑度に基づいて候補位置の重みづけを行い現時刻の追跡結果を求めていたため、追跡精度が下がると追跡結果に基づいた混雑度の推定精度も低下し、追跡精度の低下が倍化する問題があった。

本発明は、上記問題を鑑みてなされたものであり、長間隔候補位置推定手段が処理する時間間隔を超えて移動物体間の隠蔽が続くほどの混雑となっても追跡精度の低下を防止できる移動物体追跡装置を提供することを目的とする。

また、本発明は、混雑度を追跡に利用しても追跡の精度低下が倍化することを防止できる移動物体追跡装置を提供することを別の目的とする。

（１）本発明に係る移動物体追跡装置は、順次撮影した撮影画像に基づいて移動物体を追跡する移動物体追跡装置であって、所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定する短間隔候補位置推定手段と、前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定する長間隔候補位置推定手段と、前記撮影画像に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、前記混雑度が第１混雑度よりも高い場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも大きくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定する物体位置決定手段と、を有する。

（２）上記（１）に記載する本発明に係る移動物体追跡装置において、前記混雑度推定手段は、前記撮影画像を入力されると当該撮影画像内の任意の位置の前記混雑度を出力するよう予め学習した推定器に前記撮影画像を入力して前記撮影画像内の任意の位置の前記混雑度を推定し、前記物体位置決定手段は、前記撮影画像内の領域毎の混雑度に応じた重みづけで前記短間隔候補位置と前記長間隔候補位置を統合する構成とすることができる。

（３）上記（１）及び（２）に記載する本発明に係る移動物体追跡装置において、前記物体位置決定手段は、前記混雑度が前記第１混雑度以下であり第２混雑度以上の場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも小さくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定し、前記統合候補位置を求め、前記混雑度が前記第２混雑度よりも小さい場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも大きくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定する構成とすることができる。

（４）他の本発明に係る移動物体追跡装置は、順次撮影した撮影画像に基づいて移動物体を追跡する移動物体追跡装置であって、所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定する短間隔候補位置推定手段と、前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定する長間隔候補位置推定手段と、前記撮影画像に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、前記混雑度が第１混雑度よりも高い場合、または、第２混雑度よりも低い場合は、前記短間隔候補位置に基づいて現時刻における前記移動物体の位置を決定し、前記混雑度が前記第１混雑度以下かつ前記第２混雑度以上の場合は、前記長間隔候補位置に基づいて現時刻における前記移動物体の位置を決定する物体位置決定手段と、を有する。

（５）別の本発明に係る移動物体追跡装置は、順次取得した撮影画像に基づいて移動物体を追跡する移動物体追跡装置であって、所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定する短間隔候補位置推定手段と、前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定する長間隔候補位置推定手段と、現時刻の前記撮影画像から当該撮影画像上の任意の位置に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、前記撮影画像内の領域毎の混雑度に応じた重みづけで前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定する物体位置決定手段と、を有する。

上記（１）～（５）に記載した本発明によれば、長間隔候補位置推定手段が処理する時間間隔を超えて移動物体間の隠蔽が続くほどの混雑となっても高精度な追跡が可能となる。また、（２）、（５）に記載した本発明によれば、混雑度を追跡に利用しても追跡の精度低下が倍化することを防止することが可能となる。

実施形態に係る移動物体追跡装置の概略のブロック図である。 短間隔候補位置推定手段による処理を示す模式図である。 長間隔候補位置推定手段による処理を示す模式図である。 混雑度推定手段による処理を示す模式図である。 短間隔候補位置と長間隔候補位置の重みを示す図である。 物体位置決定手段による処理を示す模式図である。 実施形態に係る移動物体追跡装置の全体的な処理を示す概略のフロー図である。 長間隔尤度分布の算出処理の概略のフロー図である。 物体位置決定処理の概略のフロー図である。 短間隔候補位置と長間隔候補位置の重みの他例を示す図である。

本発明の好適な実施形態として、移動物体である人物の追跡を行う移動物体追跡装置の例について説明する。

図１は実施形態に係る移動物体追跡装置１の概略のブロック図である。本移動物体追跡装置１は、追跡処理部１０、記憶部２０から構成されており、移動物体追跡装置１には撮影装置３０、表示装置４０が接続されている。

撮影装置３０はいわゆる監視カメラであり、また表示装置４０はいわゆるモニタ装置である。例えば撮影装置３０は、監視空間であるイベント会場に立てられたポールに当該監視空間に存在する人を俯瞰する固定視野を有して設置され、監視空間を周期的に撮影したカラー画像またはモノクロ画像を順次、追跡処理部１０へ出力する。本実施形態では撮影装置３０が１／１０秒ごとに撮影を行うものとする。以下、撮影の時間間隔で刻まれる時間の単位を時刻と称する。

記憶部２０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置により実現される。記憶部２０は、追跡処理部１０の処理に必要な情報、追跡処理部１０から出力される追跡情報２１及び各種パラメータ類も記憶している。追跡処理部１０の処理に必要な情報には、後述する短間隔候補位置推定手段１１と長間隔候補位置推定手段１２が処理する時間間隔、移動物体の形状モデルが含まれる。移動物体の形状モデルの一例は立位の人を近似した楕円の図形データである。楕円に代えて矩形、又は頭部・胴部・脚部をそれぞれ近似した楕円を３つ連結した図形としてもよい。好適には形状モデルは撮影画像内の各位置の人の像の大きさの違いに対応させ、基準の図形データおよび位置と図形データの大きさを対応付けたデータで構成する。追跡情報２１には、混雑度マップ、追跡中の移動物体それぞれを識別する物体ＩＤと対応付けられた、当該移動物体のテンプレート、当該移動物体の物体位置、当該移動物体の仮説が含まれる。なお、テンプレートには長間隔候補位置推定手段１２が用いる第１テンプレートと物体位置決定手段１４が用いる第２テンプレートとがある。本実施形態においては第１テンプレートとして位置ずれに鈍感な色ヒストグラム、第２テンプレートとして位置ずれに敏感なエッジ情報を例示するが、テンプレートマッチングに用いられ得る他の周知の画像特徴量とすることもできる。

追跡処理部１０は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置等で構成される。追跡処理部１０は短間隔候補位置推定手段１１、長間隔候補位置推定手段１２、混雑度推定手段１３、物体位置決定手段１４及び出力手段１５を備え、撮影装置３０から入力された撮影画像をもとに人物の検出を行い、検出された人物を追跡し、追跡結果を追跡情報２１に記憶するとともに、表示装置４０に出力する。

以下、追跡処理部１０の各構成要素を説明する。これら要素は演算装置上にてソフトウェアモジュールとして実現される。

短間隔候補位置推定手段１１及び長間隔候補位置推定手段１２はそれぞれの時間間隔で取り出した撮影画像上での移動物体の位置の候補を過去の位置から推定する。なお、本実施形態では人物の頭部中心の位置を移動物体の位置とし、これを物体位置と称する。そして物体位置の候補を候補位置と称する。

短間隔候補位置推定手段１１は、後述する長時間間隔より短い時間間隔ごとに撮影される短間隔画像上での移動物体の候補位置である短間隔候補位置を、当該移動物体の過去の物体位置から推定する。本実施形態では、短間隔候補位置推定手段１１が各時刻の撮影画像を取り出すこととし、短間隔画像が撮影される時間間隔である短時間間隔は基準時間間隔と同一の１／１０秒に設定される。

本実施形態において、短間隔候補位置推定手段１１は、人物について複数の局所的な画像特徴を用いた特徴点追跡を行い、特徴点との相対位置関係から推定される物体位置（物体位置の推定値）を短間隔候補位置として求め、追跡情報２１を更新する。つまりいわゆるオプティカルフローを検出する。

そのために、まず、短間隔候補位置推定手段１１は、後述する物体位置決定手段１４が各人物の物体位置を決定するたびに、記憶部２０に記憶されている追跡情報２１および形状モデルを参照して、当該人物の物体位置が頭部中心となるように形状モデルを配置し、短間隔画像において形状モデルと重なる領域の部分画像からコーナー検出またはブロッブ検出などの公知の方法を適宜用いて複数の特徴点を抽出する。そして短間隔候補位置推定手段１１は、特徴点ごとに、当該特徴点から物体位置までのベクトル（位置ベクトルと称する）を求める。ちなみに物体位置が決定されるたびに抽出し直すのは特徴点追跡の誤差の累積を防ぐためである。

なおその際、短間隔候補位置推定手段１１は、記憶部２０に記憶されている混雑度マップを参照して各人物の物体位置における混雑度を取得し、取得した混雑度が後述する第１混雑度以上である人物については形状モデルの上部１／３の領域のみから特徴点を抽出する。こうすることで、高混雑状態である場合に、混雑により隠蔽されやすい胴部・脚部を除いて頭部のみにより特徴点を追跡し、追跡精度低下を防止する。

そして、短間隔候補位置推定手段１１は、特徴点それぞれにＩＤ番号（特徴点ＩＤ）を付与し、特徴点の座標、特徴点を中心とする局所領域の画像および位置ベクトルと対応づけて追跡情報２１に加える。なお、局所領域は５×５画素などと予め定めておく。

特徴点を抽出してから次に抽出するまで、短間隔候補位置推定手段１１は、追跡情報２１に含まれている過去の特徴点の情報を用いて追跡を行う。すなわち短間隔候補位置推定手段１１は、人物ごとに短時間間隔だけ前の時刻（つまり１時刻前）の各特徴点について、現時刻の短間隔画像における当該特徴点周辺にて当該特徴点の画像特徴と類似する画像特徴が現れている局所領域を探索し、当該局所領域の中心を現時刻での特徴点とする。探索にはＬＫ法またはブロックマッチングなどの公知の手法を用いることができる。

そして、短間隔候補位置推定手段１１は、現時刻での特徴点それぞれについて、類似が判定された過去の特徴点ＩＤに対応づけて、当該特徴点の座標と類似度とを追跡情報２１に加える。なお、類似度が所定値未満であった特徴点については、消失したと判定して追跡情報２１から削除し、削除した数だけ現時刻の短間隔画像から抽出し直してもよい。探索の際に算出した類似度が短間隔尤度であり、特徴点の座標に位置ベクトルを加えた座標が短間隔候補位置であり、短間隔候補位置と短間隔尤度との組み合わせの集まりが短間隔尤度分布である。

図２は短間隔候補位置推定手段１１による処理を示す模式図である。図２（ａ）は例えば、時刻ｔ－５にて求められた人物像３００の特徴点３０１、当該特徴点３０１に対して設定される局所領域３０２、特徴点３０１から物体位置３０４への位置ベクトル３０３を示している。図２（ａ）では描画の都合で特徴点３０１が７点である例を示しているが、実際には数十点を抽出するのが望ましい。

図２（ｂ）は短間隔候補位置推定手段１１による追跡処理の様子を示しており、具体的には順次時刻がｔ－５，ｔ－４，ｔ－３，ｔ－２，ｔ－１，ｔと進むごとに特徴点が追跡される様子を示している。

長間隔候補位置推定手段１２は、短時間間隔より長い時間間隔ごとに撮影される長間隔画像上での移動物体の候補位置である長間隔候補位置を、当該移動物体の過去の物体位置または過去の長間隔候補位置から推定する。本実施形態では、長間隔候補位置推定手段１２が５時刻ごとに撮影画像を取り出すこととし、長間隔画像が撮影される時間間隔である長時間間隔は１／２秒に設定される。

本実施形態において、長間隔候補位置推定手段１２は、周知のパーティクルフィルターに準じた方法により、人物ごとに、過去の物体位置または過去の長間隔候補位置から現時刻の長間隔候補位置を求め、現時刻の長間隔候補位置を含んだ仮説を生成して、記憶部２０の追跡情報２１を更新する。

そのために、長間隔候補位置推定手段１２は、人物ごとに、追跡情報２１に含まれている過去の物体位置に現時刻の物体位置を外挿する。そして、長間隔候補位置推定手段１２は、外挿した現時刻の物体位置に所定の条件を満たすノイズを加えて複数通りの長間隔候補位置を推定する。長間隔候補位置推定手段１２は、長間隔候補位置のそれぞれに仮説ＩＤを付与して、仮説ＩＤと長間隔候補位置とを対応づけて追跡情報２１に加える。なお、過去の物体位置の個数が所定数に満たない人物については現時刻の物体位置に代えて長時間間隔だけ前の時刻（つまり５時刻前）の物体位置が用いられる。また、過去の物体位置に代えて過去の長間隔候補位置を用いてもよい。

そして、長間隔候補位置推定手段１２は、人物ごとに、記憶部２０に記憶されている追跡情報２１および形状モデルを参照して、当該人物の長間隔候補位置それぞれが頭部中心となるように形状モデルを配置し、長間隔画像において形状モデルと重なる領域の部分画像の色ヒストグラムと当該人物の第１テンプレートの類似度を尤度Ｌ_Lとして算出し、算出した尤度Ｌ_Lを対応する仮説に含ませる。この尤度を長間隔尤度と称する。長間隔候補位置と長間隔尤度との組み合わせの集まりが長間隔尤度分布である。またテンプレートマッチングのために長間隔候補位置推定手段１２は、物体位置決定手段１４が物体位置を決定するたびに、各人物の物体位置が頭部中心となるように形状モデルを配置し、長間隔画像において形状モデルと重なる領域の部分画像の色ヒストグラムを抽出して追跡情報２１の第１テンプレートを更新する。

なお上記処理の際、長間隔候補位置推定手段１２は、記憶部２０に記憶されている混雑度マップを参照して各人物の長間隔候補位置および物体位置における混雑度を取得し、取得した混雑度が後述する第１混雑度以上である人物については形状モデルの上部１／３の領域のみから色ヒストグラムを抽出し、第１テンプレートの生成・更新やテンプレートマッチングを行う。こうすることで、高混雑状態である場合に、混雑により隠蔽されやすい胴部・脚部を除いて頭部のみによりテンプレートマッチングを行い、追跡精度低下を防止する。

図３は長間隔候補位置推定手段１２による処理を示す模式図である。現時刻をｔとして、図３には時刻ｔ－１０からの処理が示されている。図３において、黒丸“●”がそれぞれ仮説３１１であり、その位置が長間隔候補位置、その大きさが長間隔尤度を示している。つまり黒丸が大きな位置ほど人物がいる可能性が高いことを示している。また物体位置を“■”で表している。

図３において、時刻ｔ－１０の人物３１０の物体位置３１２の近傍に示される仮説３１１は時刻ｔ－１５の物体位置に基づいて生成されたものであり、後述する処理にて物体位置３１２を決定する際に用いられる。物体位置３１２に基づいて時刻ｔ－５の仮説３１１が生成され、それを用いて時刻ｔ－５の人物３１３の物体位置３１４が決定され、そして物体位置３１４に基づいて現時刻ｔの人物３１５の物体位置の決定に用いられる仮説３１１が生成される。

混雑度推定手段１３は、撮影画像に撮影された移動物体の混雑度を推定する。混雑度推定手段１３は、例えば、１時刻前の物体位置の数を撮影画像全体または撮影画像を複数のブロックに分割したブロックごとに計数することによって現時刻の混雑度（の近似値）を推定してもよい。しかし、追跡結果から混雑度を算出し、その混雑度を追跡に用いた場合、追跡精度が下がると追跡結果に基づいた混雑度の推定精度も低下してしまい、追跡精度の低下が倍化してしまう。そのため、追跡や混雑度推定の誤差が倍化してしまわないよう、追跡とは独立した処理によって混雑度を推定するのが望ましい。

すなわち好適には混雑度推定手段１３は過去の撮影画像に基づかずに現時刻の撮影画像から現時刻の撮影画像上の任意の位置に撮影された移動物体の混雑度を推定する。換言すると動画ではなく静止画から混雑度を推定する。本実施形態においては、混雑度推定手段１３は、撮影画像を入力されると当該撮影画像内の任意の位置の混雑度を出力するよう予め学習した推定器に撮影画像を入力して撮影画像内の任意の位置の混雑度を推定する。具体的には、混雑度推定手段１３は、画像を入力されると各画素の混雑度を推定した混雑度マップを出力するよう予め学習した推定器に、撮影画像を入力して当該撮影画像の混雑度マップを出力させ、得られた混雑度マップを記憶部２０に記憶させる。

推定器は具体的にはディープラーニングの技術を用いて実現できる。すなわち推定器は画像を入力されると当該画像の混雑度マップを出力するＣＮＮ（畳み込みニューラルネット―ワーク；convolutional neural network）でモデル化することができる。学習のために、例えば、群衆が撮影された大量の学習用画像と、学習用画像それぞれにおける各人の頭部の重心位置を平均値とし当該頭部のサイズに応じた分散を有する確率密度関数を設定して頭部ごとの当該関数の値を画素ごとに加算した混雑度マップとが用意される。そして、モデルに学習用画像それぞれを入力したときの出力を当該画像に対応する混雑度マップに近づける学習が事前に行われる。こうして得られた学習済みモデルを混雑度推定手段１３のプログラムの一部をなす推定器として記憶部４に記憶させておく。例えば、“Single image crowd counting via multi-column convolutional neural network”, Zhang, Y. ,Zhou他, CVPR 2016に記載されているＭＣＮＮ（multi-column convolutional neural network）は推定器の一例であり、当該論文に記載されている群衆密度マップ（crowd density map）は混雑度マップの一例である。

図４は混雑度推定手段１３の処理を示す模式図である。図４（ａ）の撮影画像に対し、出力された混雑度マップが図４（ｂ）である。また、図４（ｃ）は図４（ａ）の直線５１０上の混雑度を示したものである。混雑している場所ほど高い値が出力され、人物５０１，５０２，５０３の位置における混雑度はそれぞれ０．２，１．２，２．８と推定される。

物体位置決定手段１４は、移動物体ごとに、短間隔候補位置推定手段１１が推定した短間隔候補位置と長間隔候補位置推定手段１２が推定した長間隔候補位置とを統合して現時刻における物体位置を決定する。本実施形態においては、現時刻の短間隔候補位置と現時刻の長間隔候補位置とを統合して統合候補位置を求め、統合候補位置に基づいて現時刻における物体位置を決定する処理が５時刻ごとに行われる。

特に、物体位置決定手段１４は、各移動物体の統合候補位置を、当該移動物体が存在し得る領域について混雑度推定手段１３が推定した混雑度と当該移動物体の各候補位置の尤度Ｌとに基づく重みＷにて短間隔候補位置と長間隔候補位置とを重みづけて統合することによって求める。

各候補位置に対する重みＷは、例えば、混雑度に基づく重みＶと尤度Ｌに応じた重みＵの積とすることができる。本実施形態においては、尤度Ｌに応じた重みＵは尤度Ｌそのものとし、各候補位置に対する重みＷは混雑度に基づく重みＶと尤度Ｌとの積とする。

また、本実施形態において、物体位置決定手段１４は、短間隔候補位置と長間隔候補位置とを、それぞれの重みＷに応じた個数の統合候補位置として改めて設定することによって統合する。

また、本実施形態において、物体位置決定手段１４は、統合候補位置におけるテンプレートマッチングを改めて行って尤度λを算出し、当該尤度λに応じた重みωにて重みづけた統合候補位置の平均値を物体位置として決定し、追跡情報２１を更新する。

また、物体位置決定手段１４は、新規出現した移動物体の登録処理および追跡終了した移動物体の削除処理も行う。登録処理および削除処理は図７のフローチャートを参照して後述する。

各移動物体が存在し得る領域についての混雑度を説明する。物体位置決定手段１４は、各移動物体について、当該移動物体の物体位置または候補位置から当該移動物体が存在し得る領域を求め、混雑度マップから当該領域の混雑度を取得して当該移動物体が存在し得る領域についての混雑度とする。

本実施形態においては、物体位置決定手段１４は、人物ごとに、追跡情報２１に含まれている過去の物体位置に現時刻の物体位置を外挿し、外挿した現時刻の物体位置の混雑度を取得する。ただし、過去の物体位置が２つ以上存在しない人物については長時間間隔だけ前の物体位置の混雑度を取得する。その場合は混雑度マップも長時間間隔だけ前のものを用いることが望ましい。

別の実施形態においては、物体位置決定手段１４は、人物ごとに、外挿した現時刻の物体位置とその周囲の混雑度を読み取ってそれらの代表値を移動物体が存在し得る領域についての混雑度とする。代表値は平均値、最頻値または最大値とすることができる。ただし、過去の物体位置が２つ以上存在しない人物については長時間間隔だけ前の物体位置とその周囲の混雑度の代表値とする。

さらに別の実施形態においては、物体位置決定手段１４は、人物ごとに、短間隔候補位置での混雑度および長間隔候補位置での混雑度を読み取ってそれらの代表値を移動物体が存在し得る領域についての混雑度とする。代表値は平均値、最頻値または最大値とすることができる。

また、ここまでは移動物体ごとの混雑度とする実施形態を示したが、候補位置ごとの混雑度としてもよい。その実施形態においては、物体位置決定手段１４は混雑度マップから短間隔候補位置での混雑度および長間隔候補位置での混雑度を取得する。

混雑度に基づく重みＶについて説明する。混雑度に基づく重みＶは、例えば、図５に示す関数によって定めることができる。この関数に従い物体位置決定手段１４は混雑度が第２混雑度よりも低い場合は短間隔候補位置の重みＶ_Sを長間隔候補位置の重みＶ_Lよりも大きく設定する。また、物体位置決定手段１４は混雑度が第１混雑度以下であり第２混雑度以上の場合は短間隔候補位置の重みＶ_Sを長間隔候補位置の重みＶ_Lよりも小さく設定する。また、物体位置決定手段１４は混雑度が第２混雑度よりも小さい場合は短間隔候補位置の重みＶ_Sを長間隔候補位置の重みＶ_Lよりも大きく設定する。

最適な第２混雑度および第１混雑度の値は、撮影装置３０と追跡対象の位置関係によって異なるが、おおよそ、第１混雑度は１．５～３．０程度、第２混雑度は０．３～１．０程度が好適である。これらは追跡性能の変化を鑑みながら実験的に定めるなどすればよく、本実施形態では第１混雑度を２．５、第２混雑度を０．５とする。

追跡対象が人である場合を例に、混雑度に基づく重みづけの意義を説明する。混雑度が低く人が少ないところでは自由に動き得る範囲が広く、運動急変が発生しやすくなるため長間隔候補位置の信頼性が低下する。そのため物体位置決定手段１４が短間隔候補位置の重みＶ_Sを高くすることで追跡精度の低下を防止する。混雑度が高まると人が自由に動き得る範囲が限られて運動急変がおきにくくなるため長間隔候補位置の信頼性が高くなることに加え、交差の頻度が高まるため短間隔候補位置の信頼性が低下する。そのため物体位置決定手段１４が長間隔候補位置の重みＶ_Lを高くすることで追跡精度の低下を防止する。

一方で、さらに混雑度が高まりいわゆる密集状態になると、多くの人が隠蔽し合って頭と肩付近しか撮影画像上に映らないような状態になる。つまり人物間での見えの違いが全身に比べて小さくテンプレートマッチングによる人物の区別が難しい状態になる。また長間隔候補位置推定手段１２は処理時間間隔が長い分、広い範囲に粗く長間隔候補位置を設定するため、密集状態では多くの人物が長間隔候補位置に含まれてしまう。この結果、長間隔候補位置推定手段１２による追跡精度が低下するため、このようなより混雑度が高い状態においては物体位置決定手段１４が再び長間隔候補位置よりも短間隔候補位置の重みＶ_Sを高くすることでさらに追跡精度の低下を防止できる。

統合および物体位置決定について具体的に説明する。まず、物体位置決定手段１４は、人物ごとに、混雑度に基づく重みと現時刻の短間隔候補尤度と長間隔候補尤度のそれぞれとの積を積の総和で除して各候補位置の重みを算出する。短間隔候補位置の混雑度に基づく重みをＶ_S、長間隔候補位置の混雑度に基づく重みをＶ_L、短間隔候補尤度をＬ_S、長間隔候補尤度をＬ_Lと表記すると、短間隔候補位置の重みＷ_SはＶ_S×Ｌ_S／｛Σ（Ｖ_S×Ｌ_S）＋Σ（Ｖ_L×Ｌ_L）｝であり、長間隔候補位置の重みＷ_LはＶ_L×Ｌ_L／｛Σ（Ｖ_S×Ｌ_S）＋Σ（Ｖ_L×Ｌ_L）｝である。

次に、物体位置決定手段１４は、人物ごとに、短間隔候補位置および長間隔候補位置がそれぞれの重みＷ_S，Ｗ_Lの比率で当選する抽選を行っては当選した候補位置に乱数に基づく拡散量を加えて統合候補位置とする処理を、１人当たりの統合候補位置数Ｎと同じ回数だけ繰り返す。拡散量は１時刻に人が移動し得る距離範囲内でランダムに決定すればよい。物体位置決定手段１４は、物体ＩＤと統合候補位置の組み合わせの数だけそれらを含んだ仮説を生成する。人物ごとに短間隔尤度分布と長間隔尤度分布とが混雑度に基づく重みＶ_S，Ｖ_Lで統合された分布（統合尤度分布）に従った密度でＮ個の統合候補位置が分布することになり、仮説は人物がいる可能性が高い位置ほど密集することになる。

続いて、物体位置決定手段１４は、人物ごとに、記憶部２０に記憶されている追跡情報２１および形状モデルを参照して、当該人物の統合候補位置それぞれが頭部中心となるように形状モデルを配置し、長間隔画像において形状モデルと重なる領域の部分画像のエッジ情報と当該人物の第２テンプレートの類似度を尤度λとして算出する。

そして、物体位置決定手段１４は、人物ごとに、各統合候補位置について求めた尤度λを当該統合候補位置の重みωとし、統合候補位置を重みωにて重みづけた重みづけ平均値を当該人物の物体位置と決定する。物体位置決定手段１４は当該物体位置を追跡情報２１に記憶させる。

人物の位置を決定する処理は、統合候補位置の重みづけ平均のほかに、カーネル密度推定法に準じて、ウィンドウ走査をして各位置におけるウィンドウ内部の重み付き密度が最大ピークを示したウィンドウ位置を物体位置にしても良い。あるいは、統合候補位置に対してクラスタリング処理を行い、尤度λの合計が最大のクラスタの重心位置を物体位置に決めても良い。

さらに、物体位置決定手段１４は、人物ごとに、当該人物の物体位置が頭部中心となるように形状モデルを配置し、長間隔画像において形状モデルと重なる領域の部分画像のエッジ情報を抽出して追跡情報２１の第２テンプレートを更新する。なお上記処理の際、物体位置決定手段１４は、記憶部２０に記憶されている混雑度マップを参照して各人物の統合候補位置および物体位置における混雑度を取得し、取得した混雑度が第１混雑度以上である人物については形状モデルの上部１／３の領域のみからエッジ情報を抽出して、第２テンプレートの生成・更新やテンプレートマッチングを行う。こうすることで、高混雑状態である場合に、混雑により隠蔽されやすい胴部・脚部を除いて頭部のみによりテンプレートマッチングを行い、追跡精度低下を防止する。

図６は、第２混雑度を超える混雑度の位置にて追跡中の人物一人に対する物体位置決定手段１４の処理を説明する模式図である。物体位置決定手段１４が短間隔尤度分布４１０と長間隔尤度分布４１１とを統合して統合尤度分布４１２，４１３を生成する様子を示している。

短間隔尤度分布４１０を示す円内の“△”の位置が短間隔候補位置を表し、大きさが短間隔尤度を表す。また、長間隔尤度分布４１１を示す円内の“●”の位置が長間隔候補位置を表し、大きさが長間隔尤度を表す。なお、描画の都合で各候補位置が１０個前後である例を示しているが、実際には数十～数百個を設定するのが望ましい。

統合尤度分布４１２を示す円内の“△”の位置が短間隔候補位置、その大きさが重みＷ_Sを表す。長間隔尤度分布４１１を示す円内の“●”の位置が長間隔候補位置、その大きさが重みＷ_Lを表す。図５の関数が適用されて、混雑度に基づく短間隔候補位置に対する重みＶ_Sは０．８、混雑度に基づく長間隔候補位置に対する重みＶ_Lは０．２となり、“●”の大きさに対する“△”の大きさの比率は元の大きさの比率の４倍となっている。

統合尤度分布４１３を示す円内の“◆”の位置は統合候補位置を表す。重みＷ_Sの方がＷ_Lよりも大きいため、“△”と対応する位置の近傍に高密度で“◆”が設定され、“●”と対応する位置の近傍は低密度で“◆”が設定されている。

そのため、統合候補位置を重みづけ平均して決定する物体位置は、短間隔候補位置とその付近での尤度λを重視し、長間隔候補位置とそこでの尤度λを軽視したものとなる。

出力手段１５は、外部接続された表示装置４０に、求められた結果を表示するためのインターフェースである。例えば、出力手段１５は表示装置４０に撮影画像を表示すると共に、当該撮影画像上に物体位置決定手段１４が決定した物体位置を“×”印で強調表示したり、物体テンプレートを求めるために用いた領域を入力画像に重畳表示したりしてもよい。

[動作例]
次に、フロー図を用いて、移動物体追跡装置１の動作を説明する。図７は移動物体追跡装置１の全体的な処理の概略を表すメインフロー図である。図７において、ステップＳ１００～Ｓ１１０は短時間間隔で繰り返され、ステップＳ１１５以降は長時間間隔で繰り返される。

移動物体追跡装置１は、撮影装置３０からの撮影画像の入力を受けつける（ステップＳ１００）。当該撮影画像は短間隔候補位置推定手段１１、長間隔候補位置推定手段１２および混雑度推定手段１３に入力される。

短間隔候補位置推定手段１１は、追跡中の人物の特徴点を撮影画像中で追跡する処理を行い、追跡された特徴点のＩＤ番号、座標値、短間隔尤度、当該特徴点から物体位置への位置ベクトルを物体ＩＤと対応づけて記憶部２０の追跡情報２１に追記する（ステップＳ１０５）。なお、追跡中の人物が存在しない場合にはＳ１０５の処理は省略される。

移動物体追跡装置１はステップＳ１００とＳ１０５の処理を長時間間隔で規定される枚数（つまり５枚）の撮影画像について繰り返す（ステップＳ１１０にてＮо）。

規定枚数の撮影画像について特徴点追跡処理を終えると（ステップＳ１１０にてＹｅｓ）、処理はステップＳ１１５に進められる。現時刻をｔとすると、短間隔候補位置推定手段１１は、時刻ｔの撮影画像から得られた特徴点の位置と、時刻ｔ－５にて求められた位置ベクトルとを追跡情報２１から読み出す（ステップＳ１１５）。そして、両者の座標値を加算して短間隔候補位置を求めて追跡情報２１に追記する（ステップＳ１２０）。短間隔候補位置と短間隔尤度によって短間隔尤度分布が表される。

一方、長間隔候補位置推定手段１２は現時刻ｔの長間隔尤度分布を算出する（ステップＳ１２５）。

図８は長間隔尤度分布の算出処理Ｓ１２５の概略の処理を示すサブフロー図である。長間隔候補位置推定手段１２は追跡情報２１から過去の物体位置、第１テンプレートを読み出す（ステップＳ２００）。そして、長間隔候補位置推定手段１２は、過去の物体位置を基に現時刻ｔにおける長間隔候補位置を推定して、当該位置に仮説を生成し（ステップＳ２０５）、第１テンプレートを用いて当該位置におけるテンプレートマッチングを行って長間隔尤度を求める（ステップＳ２１０）。長間隔候補位置推定手段１２は、各仮説の仮説ＩＤ、長間隔候補位置、長間隔尤度を物体ＩＤと対応づけて追跡情報２１に追記する（ステップＳ２１５）。長間隔候補位置と長間隔尤度によって長間隔尤度分布が表される。

図７のメインフロー図に戻り説明を続ける。

混雑度推定手段１３は、撮影画像を推定器に入力して混雑度マップを出力させ、混雑度マップを記憶部２０に記憶させる（ステップＳ１３０）。

物体位置決定手段１４は、追跡情報２１から現時刻ｔの短間隔候補位置、短間隔尤度、長間隔候補位置および長間隔尤度を読み出し、これらを人物ごとにまとめることで候補位置を統合する（ステップＳ１３５）。これらの各まとまりが各人物の統合尤度分布を表す。

このとき、短間隔尤度および長間隔尤度の全てが低い人物は撮影画像に写っていない人物である。物体位置決定手段１４は、人物ごとに、短間隔尤度および長間隔尤度を予め定めた閾値と比較し、全尤度が閾値未満の人物を追跡終了人物であるとして追跡情報２１から当該人物の情報を削除する（ステップＳ１３７）。追跡終了人物の統合尤度分布も以降の処理対象から除外する。

物体位置決定手段１４は統合尤度分布を参照して各人物の物体位置を計算する（ステップＳ１４０）。図９は物体位置決定処理Ｓ１４０の概略の処理を示すサブフロー図である。

物体位置決定手段１４は、追跡情報２１から過去の物体位置を読み出してそれを基に各人物の現時刻ｔの物体位置を予測し、予測した各物体位置の混雑度を混雑度マップから取得する（ステップＳ３００）。なお、過去の物体位置が２個未満の人物については過去の物体位置の混雑度を取得する。

物体位置決定手段１４は、図５で示した関数を用いて、ステップＳ１３０で取得した各人物の混雑度を短間隔候補位置の重みＶ_Sと長間隔候補位置の重みＶ_Lに変換する（ステップＳ３０５）。そして、物体位置決定手段１４は、人物ごとに、短間隔尤度Ｌ_Sを重みＶ_Sで重みづけ、長間隔尤度Ｌ_Lを重みＶ_Lで重みづけることによって、統合尤度分布を算出する（ステップＳ３１０）。

物体位置決定手段１４は、人物ごとに、統合尤度分布に応じた密度で予め定めた個数の統合候補位置を設定し、各統合候補位置に仮説を生成する（ステップＳ３１５）。

物体位置決定手段１４は、ステップＳ３１５で生成した仮説ごとに、追跡情報２１に記憶された当該仮説が示す人物の第２テンプレートを用いて、当該仮説が示す統合候補位置における撮影画像とのテンプレートマッチングにより尤度λを求める（ステップＳ３２０）。次に物体位置決定手段１４は、人物ごとに、ステップＳ３１５で生成した仮説が示す統合候補位置を当該位置の尤度λで重みづけて重みつき平均座標を当該人物の物体位置として計算し（ステップＳ３２５）、計算した物体位置を追跡情報２１に追記する（ステップＳ３３０）。

再び図７のメインフロー図に戻り説明を続ける。

物体位置決定手段１４は、撮影画像中に追跡中ではない人物、つまり新規出現した人物の存在の有無を調べ、存在する場合には新規の物体ＩＤとともにその位置を物体位置として追跡情報２１に追記する（ステップＳ１４５）。すなわち、物体位置決定手段１４は、監視空間に人物が存在しないときに撮影された背景画像と撮影画像との差分処理を行って背景差分領域を検出するとともに、現時刻の物体位置それぞれに形状モデルを配置していずれの形状モデルとも重ならない背景差分領域を抽出する。そして、物体位置決定手段１４は、非重複の背景差分領域が人として有効な面積を有していれば、非重複の背景差分領域に新規出現人物が存在すると判定する。物体位置決定手段１４は、非重複の背景差分領域に形状モデルを当てはめて新規出現人物の物体位置を決定し、物体ＩＤと対応付けて追跡情報２１に追記する。また、物体位置決定手段１４は、人物が存在しないときの撮影画像を背景画像として記憶部２０に記憶させ、背景差分領域が検出されなかった領域の撮影画像で背景画像を更新する。

こうして追跡が進捗すると、次時刻以降に備えて特徴点情報の生成と更新（ステップＳ１５０）およびテンプレートの生成と更新（ステップＳ１５５）が行われる。すなわち短間隔候補位置推定手段１１は各追跡人物についてその物体位置を基準とする領域で特徴点を抽出し、位置ベクトル、短間隔候補位置とともに追跡情報２１に記録する。また長間隔候補位置推定手段１２は各追跡人物についてその物体位置を基準とする領域で第１テンプレートを生成し、追跡情報２１に記録する。また物体位置決定手段１４は、各追跡人物についてその物体位置を基準とする領域で第２テンプレートを生成し、追跡情報２１に記録する。いずれの記録も新規出現した人物については新たな情報の生成となり、それ以外の人物については情報の上書き更新となる。

物体位置決定手段１４は、追跡結果として物体位置やテンプレートを生成することになった領域を撮影画像から切り出して出力手段１５に出力し、表示装置４０は、その結果を画面表示する（ステップＳ１６０）。

以上の処理を終えると、処理はステップＳ１００に戻され、次時刻の撮影画像に対する処理が継続される。

［変形例］
（１）上記実施形態において、短間隔候補位置推定手段１１がオプティカルフローを検出する例を示したが、短間隔候補位置推定手段１１がパーティクルフィルターを用いた追跡を行っても良い。

（２）上記実施形態およびその変形例では短間隔尤度分布、長間隔尤度分布および統合尤度分布を離散値で表す例を示したが、連続値で表しても良い。

例えば、物体位置決定手段１４は図９のステップＳ３１０において、まず、短間隔候補位置推定手段１１および長間隔候補位置推定手段１２による推定結果のそれぞれについて、人物ごとに、各候補位置を平均値としその尤度Ｌに応じた高さの二次元正規分布を設定して二次元正規分布を重ね合わせ（各画素の位置において正規分布の値を累積的に加算し和を求め）、その後、撮影画像全体についての総和が１になるように正規化することで、各尤度分布を求める。そして、物体位置決定手段１４は人物ごとに短間隔尤度分布と長間隔尤度分布を重ね合わせて統合尤度分布を算出する。その結果を正規化してもよい。

その場合、物体位置決定手段１４は図９のステップＳ３１５において、各画素が当該画素の位置における統合尤度分布の値の比率で当選する抽選によって統合候補位置を設定する。

（３）上記実施形態およびその変形例では、物体位置決定手段１４が統合尤度分布に従って統合候補位置を設定する例を示したが、統合候補位置の設定を省略することもできる。

その場合、物体位置決定手段１４は、図９のステップＳ３１０～Ｓ３２０の処理を行わず、ステップＳ３２５にて行う重みつき平均処理を、短間隔候補位置に対する重みＷ_Sを短間隔尤度Ｌ_Sと混雑度に基づく重みＶ_Sとの積とし、長間隔候補位置に対する重みＷ_Lを長間隔尤度Ｌ_Lと混雑度に基づく重みＶ_Lとの積として、短間隔候補位置と長間隔候補位置の重みづけ平均値を物体位置とする処理に代えればよい。

（４）上記実施形態およびその変形例では、移動物体ごとに短間隔候補位置および長間隔候補位置をそれぞれ複数算出する例を示したが、各候補位置を１つだけ算出する構成とすることもできる。

例えば、短間隔候補位置推定手段１１および長間隔候補位置推定手段１２のそれぞれが候補位置をひとつに統合してから物体位置決定手段１４に出力する構成とすることができる。或いは、短間隔候補位置推定手段１１および長間隔候補位置推定手段１２の追跡方法を、前の時刻の物体位置の周辺でテンプレートマッチングによる探索を行って最も高い尤度が算出された位置を候補位置として出力する方法としてもよい。

その場合、物体位置決定手段１４は、変形例（３）と同様、統合候補位置の設定を省略して短間隔候補位置と長間隔候補位置を統合する。

（５）上記実施形態およびその各変形例では、図５に示す重みづけ関数を用いる例を示したが、重みづけ関数はこの限りではない。運動急変が発生する可能性が比較的高い混雑度の低い領域と、群衆の集合状態のように頭部位置しか見えないような非常に混雑度の高い領域においては短間隔候補位置の重みを高くし、その中間の混雑度帯においては長間隔候補位置の重みを高くする重みづけ関数であればよく、例を図１０に示す。

図１０（ａ）に示す関数の例は、シグモイド関数等を組み合わせ滑らかに重みを変化させるものである。図１０（ｂ）および図１０（ｃ）に示す例は、混雑度が低混雑・中混雑・高混雑のように離散的に推定される場合の重みづけ関数であり、第２混雑度は低混雑と中混雑の境界、第１混雑度は中混雑と高混雑の境界に設定する。これにより低混雑および高混雑では、短間隔候補位置の重みが高く設定され、中混雑では長間隔候補位置の重みが高く設定される。さらに図１０（ｃ）では、重みは０あるいは１の２値をとっており、この重みづけ関数では、低混雑および高混雑では長間隔候補位置は利用されず短間隔候補位置のみから物体位置が決定されることになる。一方、中混雑では短間隔候補位置は利用されず、長間隔候補位置のみから物体位置が決定されることになる。したがって図１０（ｃ）の重みづけ関数を利用すると混雑度に応じた短間隔と長間隔の切り替え型の追跡として動作する。

（６）上記実施形態およびその各変形例では、長間隔画像は短間隔画像と常に一致していたが、それに限られない。例えば、長時間間隔を１／２秒、短時間間隔を１／５秒と設定する場合は、長間隔画像が短間隔画像に一致しない場合が生じる。この場合は、長間隔候補位置が求められた時刻を基準とした直近過去の短間隔候補位置を現時刻の短間隔候補位置と見なして直接処理に用いたり、現時刻における短間隔候補位置を内挿または外挿して処理に用いればよい。

（７）混雑度推定手段１３が連続値を出力する推定器を用いた例を示したが、離散的な混雑度を出力する推定器を用いることもできる。

例えば、推定器を多クラスＳＶＭ（Support Vector Machine）でモデル化し、混雑度の度合いに応じて「背景（無人）」、「低混雑度」、「中混雑度」、「高混雑度」の４クラスに分類してラベル付けされた学習用画像を用いて当該モデルを学習させておく。そして、混雑度推定手段１３は、撮影画像の各画素を中心とする窓を設定して窓内の画像の特徴量を推定器に入力し、各画素のクラスを識別する。混雑度推定手段１３は、この場合、「低混雑度」クラスと「中混雑度」クラスの境界に第２混雑度を設定し、「中混雑度」クラスと「高混雑度」クラスの境界に第１混雑度を設定すれば良い。

また、多クラスＳＶＭ以外にも、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した種々の多クラス識別器によっても推定器を実現できる。或いは識別型のＣＮＮによっても推定器を実現できる（ＣＮＮ場合、窓走査は不要）。また、クラス分類された学習用画像を用いる場合でも特徴量から混雑度を回帰する回帰型のモデルとすることによって連続値の混雑度を出力する推定器を実現することもできる。その場合、リッジ回帰法、サポートベクターリグレッション法、回帰木型のランダムフォレスト法またはガウス過程回帰（Gaussian Process Regression）などによって、特徴量から混雑度を求めるための回帰関数のパラメータを学習させる。或いは回帰型のＣＮＮを用いた推定器とすることもできる（ＣＮＮ場合、窓走査は不要）。

（８）上記実施形態およびその各変形例では、いずれも機械学習を用いた混雑度推定手段を例示したがこれに代えて、撮影画像のテクスチャパターンに基づき人らしい領域を検出し、検出された個数から混雑度を求める混雑度推定手段とすることができる。例えば、人の頭部形状はおおむね丸い形状であることから、ハフ変換やブロッブ検出を用いて人の頭部らしき領域を検出し、その個数から混雑度を推定することができる。この方法によっても現時刻における一つの撮影画像から混雑度の推定ができるため、追跡精度の低下が倍化することを抑制できる。

（９）上記各実施形態およびその各変形例においては、物体位置決定手段１４が背景差分処理に基づき新規出現した移動物体を検出する例を示したが、その代わりに、追跡対象とする移動物体の画像を不特定多数機械学習した（例えば不特定多数の人の画像を深層学習した）学習済みモデルを用いて新規出現した移動物体を検出してもよい。その場合、物体位置決定手段１４は、撮影画像を学習済みモデルに入力して移動物体の領域を検出し、いずれの形状モデルとも重複しない領域が閾値ＴＤ以上の大きさである移動物体の領域に移動物体が新規出現したと判定する。

（１０）本発明は、車両、動物等、混雑状態をなし得る人以外の移動物体にも適用できる。

１…移動物体追跡装置、１０…追跡処理部、１１…短間隔候補位置推定手段、１２…長間隔候補位置推定手段、１３…混雑度推定手段、１４…物体位置決定手段、２０…記憶部、２１…追跡情報、３０…撮影装置、４０…表示装置。

Claims (7)

1. 順次撮影した撮影画像に基づいて移動物体を追跡する移動物体追跡装置であって、
   所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定する短間隔候補位置推定手段と、
   前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定する長間隔候補位置推定手段と、
   前記撮影画像に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、
   前記混雑度が第１混雑度よりも高い場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも大きくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定する物体位置決定手段と、
   を有することを特徴とする移動物体追跡装置。
2. 前記混雑度推定手段は、前記撮影画像を入力されると当該撮影画像内の任意の位置の前記混雑度を出力するよう予め学習した推定器に前記撮影画像を入力して前記撮影画像内の任意の位置の前記混雑度を推定し、
   前記物体位置決定手段は、前記撮影画像内の領域毎の混雑度に応じた重みづけで前記短間隔候補位置と前記長間隔候補位置を統合することを特徴とする請求項１記載の移動物体追跡装置。
3. 前記物体位置決定手段は、
   前記混雑度が前記第１混雑度以下であり第２混雑度以上の場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも小さくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定し、
   前記混雑度が前記第２混雑度よりも小さい場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも大きくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定することを特徴とする請求項１又は２記載の移動物体追跡装置。
4. 順次撮影した撮影画像に基づいて移動物体を追跡する移動物体追跡装置であって、
   所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定する短間隔候補位置推定手段と、
   前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定する長間隔候補位置推定手段と、
   前記撮影画像に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、
   前記混雑度が第１混雑度よりも高い場合、または、第２混雑度よりも低い場合は、前記短間隔候補位置に基づいて現時刻における前記移動物体の位置を決定し、前記混雑度が前記第１混雑度以下かつ前記第２混雑度以上の場合は、前記長間隔候補位置に基づいて現時刻における前記移動物体の位置を決定する物体位置決定手段と、
   を有することを特徴とする移動物体追跡装置。
5. 順次撮影した撮影画像に基づいて移動物体を追跡する移動物体追跡装置であって、
   所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定する短間隔候補位置推定手段と、
   前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定する長間隔候補位置推定手段と、
   現時刻の前記撮影画像から当該撮影画像上の任意の位置に撮影された前記移動物体の混雑度を推定する混雑度推定手段と、
   前記撮影画像内の領域毎の混雑度に応じた重みづけで前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定する物体位置決定手段と、
   を有することを特徴とする移動物体追跡装置。
6. 順次撮影した撮影画像に基づいて移動物体を追跡する移動物体追跡装置による移動物体追跡方法であって、
   所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定し、
   前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定し、
   前記撮影画像に撮影された前記移動物体の混雑度を推定し、
   前記混雑度が第１混雑度よりも高い場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも大きくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定する、
   ことを特徴とする移動物体追跡方法。
7. 順次撮影した撮影画像に基づいて移動物体を追跡する移動物体追跡装置において実行される移動物体追跡プログラムであって、
   所定の短時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である短間隔候補位置を推定する処理と、
   前記短時間間隔よりも長い長時間間隔ごとの前記撮影画像上での前記移動物体の位置から現時刻における前記移動物体の位置である長間隔候補位置を推定する処理と、
   前記撮影画像に撮影された前記移動物体の混雑度を推定する処理と、
   前記混雑度が第１混雑度よりも高い場合は前記短間隔候補位置の重みを前記長間隔候補位置の重みよりも大きくして前記短間隔候補位置と前記長間隔候補位置を統合して現時刻における前記移動物体の位置を決定する処理と、
   を実行させることを特徴とする移動物体追跡プログラム。

Images