JP6894398B2 - オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム - Google Patents

Description

本発明は、オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラムに関する。

従来、店内等の所定エリアを行動する人物の動線を解析することが行われている。例えば、特許文献１には、所定エリアを撮像した複数の撮像画像に含まれる追跡対象のオブジェクトを包含する矩形を作成し、当該矩形の中心点を結ぶことで動線を作成することが開示されている。

連続して撮像された第１の画像と第２の画像とのそれぞれに一以上のオブジェクトが含まれている場合には、第１の画像に含まれるオブジェクトと、第２の画像に含まれるオブジェクトとのマッチングを行う必要がある。当該マッチングは、例えば、オブジェクトを包含する直立矩形に含まれる画像の特徴量に基づいて行われる（例えば、非特許文献１参照）。

特開２０１１−２４３１５５号公報

Nicolai Wojke et al., "SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC," Cornell University Library arXiv:1703.07402，２０１７年

店内等の所定エリアを撮像する撮像装置として、全方位画像を撮像する撮像装置が用いられることがある。全方位撮影装置が撮像した画像では、オブジェクトの画像上の位置により、オブジェクトが大きく歪むことがある。これにより、オブジェクトを包含する直立矩形に含まれる背景画像の割合も大きく変化し、オブジェクトのマッチングを精度良く行うことができないという問題がある。

そこで、本発明はこれらの点に鑑みてなされたものであり、全方位画像に含まれるオブジェクトを精度良くマッチングすることができるオブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラムを提供することを目的とする。

本発明の第１の態様に係るオブジェクト追跡装置は、所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトの位置を特定するオブジェクト特定部と、前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第１オブジェクトに対応する第１矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第２オブジェクトに対応する第２矩形領域を特定する領域特定部と、前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うマッチング部と、を備える。

前記オブジェクト特定部は、前記第１画像に表示される第１オブジェクトに対応し、画像上の所定軸に対して二辺が平行する矩形である第１直立矩形領域を特定することにより前記第１オブジェクトの位置を特定するとともに、前記第２画像に表示される第２オブジェクトに対応し、前記所定軸に対して二辺が平行する矩形である第２直立矩形領域を特定することにより前記第２オブジェクトの位置を特定してもよい。

前記領域特定部は、前記第１直立矩形領域を、当該第１直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第１回転矩形領域を前記第１矩形領域として特定し、前記第２直立矩形領域を、当該第２直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第２回転矩形領域を前記第２矩形領域として特定してもよい。

前記オブジェクト追跡装置は、前記全方位画像における複数の位置のそれぞれに対応する直立矩形領域を示す情報と、回転矩形領域を示す情報とを関連付けた変換情報を記憶する記憶部を備え、前記領域特定部は、前記変換情報を参照し、前記第１オブジェクトに対応する前記第１直立矩形領域を示す情報に関連付けられている前記回転矩形領域を示す情報に基づいて、前記第１オブジェクトに対応する前記第１回転矩形領域を特定し、前記第２オブジェクトに対応する前記第２直立矩形領域を示す情報に関連付けられている前記回転矩形領域を示す情報に基づいて、前記第２オブジェクトに対応する前記第２回転矩形領域を特定してもよい。

前記マッチング部は、前記第１矩形領域に含まれる画像の特徴量と、前記第２矩形領域に含まれる画像の特徴量とに基づいて、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行ってもよい。

前記領域特定部は、前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第１オブジェクトに対応し、前記所定エリアを示す二次元平面上の所定サイズの矩形領域である前記第１矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第２オブジェクトに対応し、前記二次元平面上の前記所定サイズの矩形領域である前記第２矩形領域を特定してもよい。

前記オブジェクト追跡装置は、前記全方位画像における複数の位置のそれぞれに対応する直立矩形領域を示す情報と、前記二次元平面上の位置を示す情報とを関連付けた変換情報を記憶する記憶部を備え、前記オブジェクト特定部は、前記第１画像に表示される第１オブジェクトに対応し、画像上の所定軸に対して二辺が平行する矩形である第１直立矩形領域を特定することにより前記第１オブジェクトの位置を特定するとともに、前記第２画像に表示される第２オブジェクトに対応し、前記所定軸に対して二辺が平行する矩形である第２直立矩形領域を特定することにより前記第２オブジェクトの位置を特定し、前記領域特定部は、前記変換情報を参照し、前記第１オブジェクトに対応する前記第１直立矩形領域を示す情報に関連付けられている前記二次元平面上の位置に対応する前記第１矩形領域を特定し、前記第２直立矩形領域の位置に関連付けられている前記二次元平面上の位置に対応する前記第２矩形領域を特定してもよい。

前記マッチング部は、前記第１矩形領域と、前記第２矩形領域との重複率に基づいて、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行ってもよい。

前記領域特定部は、前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記所定エリアを示す二次元平面上の所定サイズの矩形領域を示す第３矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記二次元平面上の所定サイズの矩形領域を示す第４矩形領域を特定し、前記マッチング部は、前記第１矩形領域と前記第２矩形領域とをマッチングさせるとともに、前記第３矩形領域と前記第４矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行ってもよい。

前記マッチング部は、前記第１矩形領域と、前記第２矩形領域とのマッチングに失敗した第１オブジェクト及び第２オブジェクトについて、前記第３矩形領域と前記第４矩形領域とをマッチングさせてもよい。
前記マッチング部は、前記第３矩形領域と、前記第４矩形領域とのマッチングに失敗した第１オブジェクト及び第２オブジェクトについて、前記第１矩形領域と前記第２矩形領域とをマッチングさせてもよい。

本発明の第２の態様に係るオブジェクト追跡方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトの位置を特定するステップと、前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第１オブジェクトに対応する第１矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第２オブジェクトに対応する第２矩形領域を特定するステップと、前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うステップと、を備える。

本発明の第３の態様に係るオブジェクト追跡プログラムは、コンピュータを、所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトの位置を特定するオブジェクト特定部、前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第１オブジェクトに対応する第１矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第２オブジェクトに対応する第２矩形領域を特定する領域特定部、及び、前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うマッチング部、として機能させる。

本発明によれば、全方位画像に含まれるオブジェクトを精度良くマッチングすることができるという効果を奏する。

本実施形態に係るオブジェクト追跡装置の概要を示す図である。 本実施形態に係るオブジェクト追跡装置の構成を示す図である。 第１画像の一例を示す図である。 図３に示す第１画像に対して第１回転矩形領域が特定された例を示す図である。 図３に示す第１画像に対して、フロアマップ上に矩形領域が特定された例を示す図である。 本実施形態に係るオブジェクト追跡装置における処理の流れを示すフローチャートである。

［オブジェクト追跡装置１の概要］
図１は、本実施形態に係るオブジェクト追跡装置１の概要を示す図である。オブジェクト追跡装置１は、店舗内等の所定エリアを撮像する撮像装置２が撮像した全方位画像に含まれる一以上のオブジェクトを追跡する装置である。ここで、オブジェクトは、例えば店舗内を行動する店員である。

オブジェクト追跡装置１は、所定エリアを撮像する撮像装置２が撮像した時系列の複数の全方位画像を取得する（図１の（１））。オブジェクト追跡装置１は、複数の全方位画像のそれぞれに含まれるオブジェクトの位置を特定する（図１の（２））。

オブジェクト追跡装置１は、特定したオブジェクトの位置と、撮像装置２の位置との関係に基づいて、オブジェクトに対応する矩形領域を特定する。本実施形態において、オブジェクト追跡装置１は、全方位画像において、オブジェクトを囲む矩形領域のうち、領域の面積が相対的に小さい回転矩形領域を特定するとともに（図１の（３−１））、所定エリアを示す二次元平面上の矩形領域を特定する（図１の（３−２））。オブジェクト追跡装置１は、特定した回転矩形領域及び二次元平面上の矩形領域に基づいて、各オブジェクトのマッチングを行う（図１の（４））。

回転矩形領域は、全方位画像上に映るオブジェクトを、背景画像をできるだけ含まないように囲む矩形領域であることから、オブジェクト追跡装置１は、例えば、回転矩形領域に含まれる画像の特徴量に基づいてオブジェクトをマッチングすることにより、精度良くオブジェクトをマッチングすることができる。

また、二次元平面上の矩形領域は、オブジェクトに対応する領域のみを局所的に二次元平面上に展開したものであることから、オブジェクト追跡装置１は、全方位画像において発生する画像の歪みを除去することができる。これにより、オブジェクト追跡装置１は、例えば、二次元平面上の矩形領域の重複率に基づいてオブジェクトをマッチングすることにより、精度良くオブジェクトをマッチングすることができる。したがって、オブジェクト追跡装置１は、全方位画像に含まれるオブジェクトを精度良くマッチングすることができる。
以下、オブジェクト追跡装置１の構成を詳細に説明する。

［オブジェクト追跡装置１の構成］
図２は、本実施形態に係るオブジェクト追跡装置１の構成を示す図である。図２に示すように、オブジェクト追跡装置１は、記憶部１１と、制御部１２とを備える。

記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。例えば、記憶部１１は、オブジェクト追跡装置１を、画像取得部１２１、オブジェクト特定部１２２、領域特定部１２３、マッチング部１２４及び動線生成部１２５として機能させるオブジェクト追跡プログラムを記憶している。

制御部１２は、例えばＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）である。制御部１２は、記憶部１１に記憶されたオブジェクト追跡プログラムを実行することにより、画像取得部１２１、オブジェクト特定部１２２、領域特定部１２３、マッチング部１２４、及び動線生成部１２５として機能する。

画像取得部１２１は、所定エリアを撮像する撮像装置２が撮像した複数の全方位画像を取得する。全方位画像には、撮像時刻を示す情報が含まれている。画像取得部１２１は、撮像時刻が最も古い画像を第１画像として選択するとともに、未選択の画像のうち、撮像時刻が最も古い画像を第２画像として選択する。

また、画像取得部１２１は、第１画像及び第２画像による第１オブジェクト及び第２オブジェクトのマッチングが行われると、現在の第２画像を新たな第１画像に設定するとともに、未選択の画像のうち、撮像時刻が最も古い画像を第２画像として選択する。

［オブジェクトの位置の特定］
オブジェクト特定部１２２は、撮像装置２が撮像した全方位画像のうち、画像取得部１２１が選択した第１画像に表示される第１オブジェクトの位置を特定し、撮像装置２が第１画像よりも後に撮像した全方位画像であり、画像取得部１２１が選択した第２画像に表示される第２オブジェクトの位置を特定する。

具体的には、オブジェクト特定部１２２は、第１画像を解析することにより、第１画像に表示される一以上の第１オブジェクトのそれぞれの輪郭を示す輪郭領域を特定する。オブジェクト特定部１２２は、第１画像に表示される一以上の第１オブジェクトのそれぞれに対して特定された輪郭領域に基づいて、画像上の所定軸に対して二辺が平行する矩形である第１直立矩形領域を特定することにより、第１オブジェクトの位置を特定する。

図３は、第１画像Ｐ１の一例を示す図である。図３（ａ）に示すように、第１画像Ｐ１には、３つの第１オブジェクトＯ１〜Ｏ３が表示されている。オブジェクト特定部１２２は、第１オブジェクトＯ１〜Ｏ３のそれぞれに対応して、図３（ｂ）に示すように、第１直立矩形領域ＵＲ１〜ＵＲ３を特定する。

ここで、直立矩形領域は、撮像装置２が撮像した画像に対して規定される座標系における、直立矩形領域の一つの頂点を示す画像上の２次元座標（ｘ，ｙ）と、当該頂点と隣接する２つの頂点との距離ｗ、ｈとを含む情報（ｘ，ｙ，ｗ，ｈ）により規定される。以下の説明において、この情報を、直立矩形領域を示す情報という。

オブジェクト特定部１２２は、第２画像についても同様に、第２画像に表示される第２オブジェクトに対応し、所定軸に対して二辺が平行する矩形である第２直立矩形領域を特定することにより第２オブジェクトの位置を特定する。

また、オブジェクト特定部１２２は、第１画像において特定した第１オブジェクトのそれぞれに、第１オブジェクトを識別するオブジェクト識別情報を付加する。オブジェクト識別情報は、動線生成部１２５が動線情報を生成する際に用いられる。ここで、オブジェクト特定部１２２は、画像取得部１２１が第２画像を新たな第１画像として選択した場合には、当該第２画像において特定された第２オブジェクトを、新たな第１画像における第１オブジェクトとして特定する。

領域特定部１２３は、第１画像において特定された第１オブジェクトの位置と撮像装置２の位置との関係に基づいて、第１オブジェクトに対応する第１矩形領域を特定し、第２画像において特定された第２オブジェクトの位置と撮像装置２の位置との関係に基づいて、第２オブジェクトに対応する第２矩形領域を特定する。

領域特定部１２３は、所定フロアにおける第１オブジェクトの位置と撮像装置２の位置との関係により特定可能な、第１画像における当該第１オブジェクトを示す画像の表示態様（例えば、歪み具合）に対応する第１矩形領域を特定する。同様に、領域特定部１２３は、所定フロアにおける第２オブジェクトの位置と撮像装置２の位置との関係により特定可能な、第２画像における当該第２オブジェクトを示す画像の表示態様に対応する第２矩形領域を特定する。

［回転矩形領域の特定］
領域特定部１２３は、オブジェクト特定部１２２が特定した第１直立矩形領域を、第１直立矩形領域の位置と、撮像装置２の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第１回転矩形領域を、第１矩形領域として特定する。同様に、領域特定部１２３は、オブジェクト特定部１２２が特定した第２直立矩形領域を、第２直立矩形領域の位置と、撮像装置２の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第２回転矩形領域を、第２矩形領域として特定する。

ここで、回転矩形領域は、直立矩形領域と同様の４次元の情報（ｘ，ｙ，ｗ，ｈ）に、当該直立矩形領域の回転角ｒを付加した情報（ｘ，ｙ，ｗ，ｈ，ｒ）により規定される。以下の説明において、この情報を、回転矩形領域を示す情報という。

より具体的には、まず、記憶部１１には、全方位画像における複数の位置のそれぞれに対応する直立矩形領域を示す情報と、回転矩形領域を示す情報とを関連付けた第１変換情報が記憶されている。第１変換情報は、例えば、以下のようにして生成される。すなわち、制御部１２が、所定エリアを示す三次元空間における複数の位置のそれぞれに、所定エリアにおいて検出する対象となるオブジェクトを模した三次元モデルを仮想的に配置した場合における、撮像装置２が撮像する画像に含まれる当該三次元モデルを示す画像の輪郭領域を特定する。この輪郭領域の大きさ及び形状は、同一形状の三次元モデルであっても、当該三次元モデルの配置位置と、撮像装置２の位置との関係によって変化する。

そして、制御部１２は、特定した輪郭領域に対応する直立矩形領域と、回転矩形領域とを特定し、当該直立矩形領域を示す情報と、当該回転矩形領域を示す情報とを関連付けることにより第１変換情報を生成し、当該第１変換情報を記憶部１１に記憶させる。なお、回転矩形を示す情報において回転角が０度の矩形領域は、直立矩形領域となるが、ここでは、当該矩形領域を回転矩形領域として扱うこととする。

ここで、制御部１２は、特定した輪郭領域に外接するあらゆる矩形領域の中で面積が相対的に小さい回転矩形領域（例えば、面積が最小となる回転矩形領域）を、特定した輪郭領域に対応する回転矩形領域として特定してもよい。

また、制御部１２は、特定した輪郭領域の中心と、全方位画像の中心とを通る直線と、画像上の所定軸とがなす角を、回転矩形領域の回転角ｒと特定してもよい。そして、制御部１２は、当該回転角ｒに対応し、輪郭領域に外接するあらゆる回転矩形領域のうち、面積が相対的に小さい回転矩形領域（例えば、面積が最小となる回転矩形領域）を、特定した輪郭領域に対応する回転矩形領域として特定してもよい。このようにすることで、オブジェクト追跡装置１は、特定した輪郭領域に外接するあらゆる矩形領域の中から面積が相対的に小さい回転矩形領域を特定する場合に比べて、連続する複数の全方位画像のそれぞれにおける回転矩形領域の回転角ｒが大きく変化することを抑制し、回転矩形領域の推定に関するロバスト性を向上させることができる。

領域特定部１２３は、予め記憶部１１に記憶されている第１変換情報を参照し、第１画像に表示された第１オブジェクトに対応する第１直立矩形領域を示す情報に関連付けられている回転矩形領域を示す情報を特定する。そして、領域特定部１２３は、特定した回転矩形領域を示す情報を、当該第１オブジェクトに対応する第１回転矩形領域を示す情報として特定する。ここで、領域特定部１２３は、第１変換情報に、第１直立矩形領域を示す情報と一致する直立矩形領域を示す情報が存在しない場合には、第１直立矩形領域を示す情報との類似度が最も高い直立矩形領域を示す情報に関連付けられている回転矩形領域を示す情報を特定する。

図４は、図３に示す第１画像Ｐ１に対して第１回転矩形領域が特定された例を示す図である。図４に示すように、第１オブジェクトＯ１〜Ｏ３を囲むように第１回転矩形領域ＲＲ１〜ＲＲ３が表示されている。また、第１回転矩形領域ＲＲ１〜ＲＲ３は、図３に示す第１直立矩形領域ＵＲ１〜ＵＲ３に比べて領域のサイズが小さく、第１直立矩形領域ＵＲ１〜ＵＲ３に比べて背景画像を含んでいないことが確認できる。

同様に、領域特定部１２３は、予め記憶部１１に記憶されている第１変換情報を参照し、第２画像に表示された第２オブジェクトに対応する第２直立矩形領域を示す情報に関連付けられている回転矩形領域を示す情報を特定する。そして、領域特定部１２３は、特定した回転矩形領域を示す情報を、当該第２オブジェクトに対応する第２回転矩形領域を示す情報として特定する。ここで、領域特定部１２３は、第１変換情報に、第２直立矩形領域を示す情報と一致する直立矩形領域を示す情報が存在しない場合には、第２直立矩形領域を示す情報との類似度が最も高い直立矩形領域を示す情報に関連付けられている回転矩形領域を示す情報を特定する。

［フロアマップ上の領域の特定］
領域特定部１２３は、第１画像において特定された第１オブジェクトの位置と撮像装置２の位置との関係に基づいて、所定エリアを示す二次元平面上の所定サイズの矩形領域である第１矩形領域（第３矩形領域）を特定する。同様に、領域特定部１２３は、第２画像において特定された第２オブジェクトの位置と撮像装置２の位置との関係に基づいて、二次元平面上の所定サイズの矩形領域である第２矩形領域（第４矩形領域）を特定する。なお、以下の説明において、所定エリアを示す二次元平面をフロアマップともいう。ここで、フロアマップ上の座標系は、撮像装置２が撮像した画像に対応する座標系とは異なる座標系である。

より具体的には、まず、記憶部１１には、全方位画像における複数の位置のそれぞれに対応する直立矩形領域を示す情報と、フロアマップ上の位置を示す情報とを関連付けた第２変換情報が記憶されている。第２変換情報は、例えば、以下のようにして生成される。すなわち、制御部１２が、所定エリアを示す三次元空間における複数の位置のそれぞれに、所定エリアにおいて検出する対象となるオブジェクトを模した三次元モデルを仮想的に配置した場合における、撮像装置２が撮像する画像に含まれる当該三次元モデルを示す画像の輪郭領域を特定する。そして、制御部１２は、特定した輪郭領域に対応する直立矩形領域を特定する。続いて、制御部１２は、特定した領域に対応する直立矩形領域と、三次元モデルを配置した位置に対応する、フロアマップ上の三次元モデルの位置に対応する二次元座標とを関連付けることにより第２変換情報を生成し、当該第２変換情報を記憶部１１に記憶させる。

領域特定部１２３は、予め記憶部１１に記憶されている第２変換情報を参照し、第１画像に表示された第１オブジェクトに対応する第１直立矩形領域を示す情報に関連付けられているフロアマップ上の位置を特定する。ここで、領域特定部１２３は、第２変換情報に、第１直立矩形領域を示す情報と一致する直立矩形領域を示す情報が存在しない場合には、第１直立矩形領域を示す情報との類似度が最も高い直立矩形領域を示す情報に関連付けられているフロアマップ上の位置を特定する。そして、領域特定部１２３は、フロアマップ上の位置に基づいて、当該第１オブジェクトに対応するフロアマップ上の矩形領域の位置を特定する。

図５は、図３に示す第１画像Ｐ１に対して、フロアマップ上に矩形領域が特定された例を示す図である。図５に示すように、フロアマップＭに対して、第１オブジェクトＯ１〜Ｏ３に対応する矩形領域Ｒ１〜Ｒ３が表示されている。ここで、矩形領域Ｒ１〜Ｒ３の内部に表示される「＋」は、フロアマップＭに対して特定された第１オブジェクトＯ１〜Ｏ３のそれぞれの足元位置を示している。領域特定部１２３は、当該足元位置に基づいてフロアマップＭにおいて、矩形領域Ｒ１〜Ｒ３を特定する。また、図５において、矩形領域Ｒ１〜Ｒ３は、それぞれ、領域のサイズが等しく、図３に示す第１画像に表示されている第１オブジェクトＯ１〜Ｏ３を示す画像の歪みが除去されていることが確認できる。

同様に、領域特定部１２３は、予め記憶部１１に記憶されている第２変換情報を参照し、第２画像に表示された第２オブジェクトに対応する第２直立矩形領域を示す情報に関連付けられているフロアマップ上の位置を特定する。ここで、領域特定部１２３は、第２変換情報に、第２直立矩形領域を示す情報と一致する直立矩形領域を示す情報が存在しない場合には、第２直立矩形領域を示す情報との類似度が最も高い直立矩形領域を示す情報に関連付けられているフロアマップ上の位置を特定する。そして、領域特定部１２３は、フロアマップ上の位置に基づいて、当該第２オブジェクトに対応するフロアマップ上の矩形領域の位置を特定する。

［第１オブジェクトと第２オブジェクトとのマッチング］
マッチング部１２４は、領域特定部１２３が特定した第１矩形領域と第２矩形領域とをマッチングさせることにより、第１オブジェクトと第２オブジェクトとのマッチングを行う。マッチング部１２４は、第１画像から特定された一以上の第１オブジェクトのそれぞれに対応する第１矩形領域と、第２画像から特定された一以上の第２オブジェクトのそれぞれに対応する第２矩形領域とのそれぞれをマッチングさせることにより、第１画像に含まれる一以上の第１オブジェクトのそれぞれに対応する第２オブジェクトを特定する。

具体的には、マッチング部１２４は、領域特定部１２３が特定した一以上の第１回転矩形領域に含まれる画像の特徴量と、一以上の第２回転矩形領域に含まれる画像の特徴量とに基づいて、第１オブジェクトと、第２オブジェクトとをマッチングさせる。以下の説明において、画像の特徴量に基づくマッチングを、特徴量マッチングともいう。

マッチング部１２４は、第１変換情報を参照し、第１回転矩形領域を、第１回転矩形領域に対応する回転角だけ回転させることにより直立矩形領域に変換するとともに、第２回転矩形領域を、第２回転矩形領域に対応する回転角だけ回転させることにより直立矩形領域に変換する。そして、マッチング部１２４は、変換された直立矩形領域に含まれる画像を抽出する。マッチング部１２４は、２つの回転矩形領域に含まれる画像を、画像の特徴量を算出する特徴抽出器に入力することにより、当該特徴抽出器から、２つの画像のそれぞれの特徴量を示す情報を取得する。ここで、特徴抽出器は、記憶部１１に記憶されていてもよいし、ネットワークを介して参照されてもよい。

マッチング部１２４は、第１画像に含まれる一以上の第１オブジェクトと、第２画像に含まれる一以上の第２オブジェクトとの全ての組み合わせについて、特徴抽出器を用いて特徴量を特定する。続いて、マッチング部１２４は、当該全ての組み合わせに対して特定した特徴量に基づいて、類似度を算出する。そして、マッチング部１２４は、算出した類似度が相対的に高い第１オブジェクトと第２オブジェクトとの組み合わせから順に、当該組み合わせを特定する。

なお、マッチング部１２４は、特徴抽出機を用いて特定した特徴量に基づいて、第１画像に含まれる一以上の第１オブジェクトと、第２画像に含まれる一以上の第２オブジェクトとの全ての組み合わせのそれぞれに対応する類似度を算出したが、これに限らない。例えば、２つの画像の入力を受け付けると、当該２つの画像の特徴量に基づいて類似度を算出する類似度算出器が記憶部１１又はネットワーク上に設けられていてもよい。そして、マッチング部１２４は、第１画像に含まれる一以上の第１オブジェクトと、第２画像に含まれる一以上の第２オブジェクトとの全ての組み合わせのそれぞれに対応する２つの画像を類似度算出器に入力することにより、類似度を特定してもよい。

マッチング部１２４は、例えば、ハンガリアンアルゴリズムを用いることにより、類似度が相対的に高い第１オブジェクトと第２オブジェクトとの組み合わせを特定する。ここで、マッチング部１２４は、いずれの第２オブジェクトに対しても類似度が小さい第１オブジェクトを、マッチングに失敗した第１オブジェクトとする。同様に、マッチング部１２４は、いずれの第１オブジェクトともマッチングされなかった第２オブジェクトを、マッチングに失敗した第２オブジェクトとする。

また、マッチング部１２４は、領域特定部１２３が特定したフロアマップ上の位置に対応する一以上の第１矩形領域と、フロアマップ上の位置に対応する一以上の第２矩形領域との重複率（IOU：Intersection over Union）に基づいて、相対的に重複率が高い第１オブジェクトと、第２オブジェクトとをマッチングさせる。マッチング部１２４は、一以上の第１矩形領域と、一以上の第２矩形領域との全ての組み合わせについて、重複率を算出する。続いて、マッチング部１２４は、当該全ての組み合わせに対して特定した重複率について、例えば、ハンガリアンアルゴリズムを用いることにより、一以上の第１オブジェクトのそれぞれに対応する一以上の第２オブジェクトを特定する。以下の説明において、画像の特徴量に基づくマッチングを、特徴量マッチングともいう。以下の説明において、矩形領域の重複率に基づくマッチングを、重複率マッチングともいう。

マッチング部１２４は、まず、特徴量マッチングにより一以上の第１オブジェクトと一以上の第２オブジェクトのマッチングを行い、特徴量マッチングにおいてマッチングに失敗した一以上の第１オブジェクト及び一以上の第２オブジェクトに対応するフロアマップ上の第１矩形領域及び第２矩形領域との重複率マッチングを行うことにより、マッチングに失敗した一以上の第１オブジェクト及び一以上の第２オブジェクトのマッチングを行う。このようにすることで、オブジェクト追跡装置１は、画像の特徴量により精度良くマッチングを行うことができるとともに、特徴量マッチングに失敗した第１オブジェクトと第２オブジェクトとについて重複率マッチングに基づいて補完的にマッチングを行うことができる。

［動線情報の生成］
動線生成部１２５は、マッチング結果に基づいて動線情報を生成する。具体的には、動線生成部１２５は、第１オブジェクトを識別する識別情報と、第１オブジェクトに対応するフロアマップ上の位置情報と、当該第１オブジェクトにマッチングした第２オブジェクトに対応するフロアマップ上の位置情報とを関連付けて動線情報として記憶部１１に記憶させる。

［オブジェクト追跡装置１における処理の流れ］
続いて、オブジェクト追跡装置１における処理の流れについて説明する。図６は、本実施形態に係るオブジェクト追跡装置１における処理の流れを示すフローチャートである。

まず、画像取得部１２１は、撮像装置２が撮像した複数の全方位画像を取得する（Ｓ１）。
続いて、画像取得部１２１は、Ｓ１において取得した複数の全方位画像のうち、撮像時刻が最も古い画像を第１画像として選択する（Ｓ２）。
続いて、画像取得部１２１は、複数の全方位画像における未選択の画像のうち、撮像時刻が最も古い画像を第２画像として選択する（Ｓ３）。

続いて、オブジェクト特定部１２２は、第１画像において一以上の第１オブジェクトのそれぞれに対応する第１直立矩形領域を特定するとともに、第２画像において一以上の第２オブジェクトのそれぞれに対応する第２直立矩形領域を特定する（Ｓ４）。

続いて、領域特定部１２３は、一以上の第１直立矩形領域に基づいて、一以上の第１オブジェクトのそれぞれに対応する第１回転矩形領域を特定するとともに、一以上の第２直立矩形領域に基づいて、一以上の第２オブジェクトのそれぞれに対応する第２回転矩形領域を特定する（Ｓ５）。

続いて、領域特定部１２３は、一以上の第１直立矩形領域に基づいて、一以上の第１オブジェクトのそれぞれに対応するフロアマップ上の第１矩形領域を特定するとともに、一以上の第２直立矩形領域に基づいて、一以上の第２オブジェクトのそれぞれに対応するフロアマップ上の第２矩形領域を特定する（Ｓ６）。なお、オブジェクト特定部１２２は、Ｓ５よりも前にＳ６を実行したり、Ｓ５とＳ６とを並列に実行したりしてもよい。

続いて、マッチング部１２４は、一以上の第１回転矩形領域のそれぞれに含まれる画像と、一以上の第２回転矩形領域のそれぞれに含まれる画像とに基づいて、特徴量マッチングを実行することにより、一以上の第１オブジェクトのそれぞれに対応する第２オブジェクトを特定する（Ｓ７）。

続いて、マッチング部１２４は、特徴量マッチングにおいてマッチングに失敗した第１オブジェクト及び第２オブジェクトが有るか否かを判定する（Ｓ８）。マッチング部１２４は、マッチングに失敗した第１オブジェクト及び第２オブジェクトが有ると判定すると、Ｓ９に処理を移し、マッチングに失敗した第１オブジェクト及び第２オブジェクトが無いと判定すると、Ｓ１０に処理を移す。

続いて、マッチング部１２４は、マッチングに失敗した第１オブジェクト及び第２オブジェクトに基づいて重複率マッチングを行うことにより、マッチングに失敗した一以上の第１オブジェクトのそれぞれに対応する第２オブジェクトを特定する（Ｓ９）。

続いて、動線生成部１２５は、マッチング結果に基づいて動線情報を生成する（Ｓ１０）。具体的には、動線生成部１２５は、第１オブジェクトを識別する識別情報と、第１オブジェクトに対応するフロアマップ上の位置情報と、当該第１オブジェクトにマッチングした第２オブジェクトに対応するフロアマップ上の位置情報とを関連付けて動線情報として記憶部１１に記憶させる。

続いて、画像取得部１２１は、現在第２画像として選択されている画像を第１画像に設定する（Ｓ１１）。ここで、画像取得部１２１は、現在第２画像として選択されている画像に表示されている第２オブジェクト（新たな第１オブジェクト）が、第１オブジェクトとマッチングされ、動線情報が生成されている場合には、当該第２オブジェクトに対して、当該第１オブジェクトのオブジェクト識別情報を引き継ぐものとする。

続いて、画像取得部１２１は、Ｓ１において取得した全ての全方位画像が選択済であるか否かを判定する（Ｓ１２）。画像取得部１２１は、全ての全方位画像が選択済であると判定すると、本フローチャートに係る処理を終了し、全ての全方位画像が選択済ではないと判定すると、Ｓ３に処理を移す。

［本実施形態における効果］
以上説明したように、本実施形態に係るオブジェクト追跡装置１は、所定エリアを撮像する撮像装置２が撮像した全方位画像である第１画像において特定した第１オブジェクトの位置と撮像装置２の位置との関係に基づいて、第１オブジェクトに対応する第１矩形領域を特定し、撮像装置２が第１画像よりも後に撮像した全方位画像である第２画像において特定した第２オブジェクトの位置と撮像装置２の位置との関係に基づいて、第２オブジェクトに対応する第２矩形領域を特定する。

このようにすることで、オブジェクト追跡装置１は、第１オブジェクトの歪みの影響を低減した第１矩形領域と、第２オブジェクトの歪みの影響を低減した第２矩形領域とを特定することができる。

そして、オブジェクト追跡装置１は、歪みの影響が低減された第１矩形領域と第２矩形領域とをマッチングさせることにより、第１オブジェクトと第２オブジェクトとのマッチングを行うので、全方位画像に含まれるオブジェクトを精度良くマッチングすることができる。

また、オブジェクト追跡装置１は、第１画像に表示される第１オブジェクトに対して特定した第１直立矩形領域を、当該第１直立矩形領域の位置と、前記撮像装置２の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第１回転矩形領域を第１矩形領域として特定し、第２画像に表示される第２オブジェクトに対して特定した第２直立矩形領域を、当該第２直立矩形領域の位置と、前記撮像装置２の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第２回転矩形領域を第２矩形領域として特定する。そして、オブジェクト追跡装置１は、第１矩形領域としての第１回転矩形領域と、第２矩形領域としての第２回転矩形領域とをマッチングさせることにより、第１オブジェクトと第２オブジェクトとのマッチングを行う。

回転矩形領域は、直立矩形領域に比べて背景画像を含まないようにオブジェクトを囲む矩形領域であることから、オブジェクト追跡装置１は、回転矩形領域に含まれる画像の特徴量に基づいてオブジェクトをマッチングすることにより、オブジェクトを精度良くマッチングすることができる。

また、オブジェクト追跡装置１は、第１画像に表示される第１オブジェクトの位置と、撮像装置２の位置との関係に基づいて、第１オブジェクトに対応し、二次元平面（フロアマップ）上の所定サイズの矩形領域である第１矩形領域を特定し、第２画像に表示される第２オブジェクトの位置と、撮像装置２の位置との関係に基づいて、第２オブジェクトに対応し、二次元平面上の所定サイズの矩形領域である第２矩形領域を特定する。そして、オブジェクト追跡装置１は、第１矩形領域としての二次元平面上の矩形領域と、第２矩形領域としての二次元平面上の矩形領域とをマッチングさせることにより、第１オブジェクトと第２オブジェクトとのマッチングを行う。

二次元平面上の矩形領域は、オブジェクトに対応する領域のみを局所的に二次元平面上に展開したものであることから、全方位画像において発生する画像の歪みを除去することができる。よって、オブジェクト追跡装置１は、例えば、二次元平面上の矩形領域に基づいてオブジェクトをマッチングすることにより、オブジェクトを精度良くマッチングすることができる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。

上述の実施形態において、オブジェクト追跡装置１は、回転矩形領域を用いた特徴量マッチングと、フロアマップ上の矩形領域を用いた重複率マッチングとを行ったが、これに限らない。オブジェクト追跡装置１は、回転矩形領域を用いた特徴量マッチングと、フロアマップ上の矩形領域を用いた重複率マッチングとの少なくともいずれかが行われていてもよい。

例えば、オブジェクト追跡装置１は、フロアマップ上の矩形領域を用いた重複率マッチングのみを行ってもよい。また、オブジェクト追跡装置１は、直立矩形領域を用いた特徴量マッチングを行うとともに、フロアマップ上の矩形領域を用いた重複率マッチングとを行ってもよい。また、オブジェクト追跡装置１は、回転矩形領域を用いた特徴量マッチングを行うとともに、フロアマップ上に直立矩形領域を反映して、当該直立矩形領域を用いた重複率マッチングとを行ってもよい。

また、オブジェクト追跡装置１は、フロアマップ上の矩形領域を用いて重複率マッチングを行ったが、これに限らない。オブジェクト追跡装置１は、全方位画像において特定した回転矩形領域を用いて重複率マッチングを行ってもよい。また、オブジェクト追跡装置１は、全方位画像において特定した直立矩形領域を用いて重複率マッチングを行ってもよい。

また、オブジェクト追跡装置１は、特徴量マッチングにおいてマッチングに失敗した一以上の第１オブジェクト及び一以上の第２オブジェクトに対応するフロアマップ上の第１矩形領域及び第２矩形領域との重複率マッチングを行うこととしたが、これに限らない。オブジェクト追跡装置１は、まず、重複率マッチングにより一以上の第１オブジェクトと一以上の第２オブジェクトのマッチングを行い、その後、重複率マッチングにおいてマッチングに失敗した一以上の第１オブジェクト及び一以上の第２オブジェクトに対応する特徴量マッチングを行うことにより、マッチングに失敗した一以上の第１オブジェクト及び一以上の第２オブジェクトのマッチングを行うようにしてもよい。重複率マッチングは、特徴量マッチングに比べて計算コストが低いことから、オブジェクト追跡装置１は、先に重複率マッチングを行うことにより、計算コストを削減することができる。

また、オブジェクト追跡装置１は、全方位画像に含まれるオブジェクトの位置にかかわらず、回転矩形領域を特定したが、これに限らない。例えば、全方位画像において、画像の中心から所定範囲では、オブジェクトに対応する直立矩形領域が正方形に近くなり、回転矩形領域の角度ｒが、各画像において大きく変化してしまうことがある。そこで、領域特定部１２３は、全方位画像におけるオブジェクトに対応する直立矩形領域の位置が、全方位画像の中心から所定範囲内である場合、当該直立矩形領域を当該オブジェクトに対応する回転矩形領域とし、回転矩形領域の角度ｒを固定（０度）にしてもよい。このようにすることで、回転矩形領域の特定精度を向上させるとともに、回転矩形領域の安定を図り、特徴量マッチングの精度を向上させることができる。また、この場合において、領域特定部１２３は、全方位画像におけるオブジェクトに対応する直立矩形領域の位置が、画像の中心から所定範囲外である場合、第１変換情報を参照し、回転矩形領域を特定するものとする。

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１・・・オブジェクト追跡装置、１１・・・記憶部、１２・・・制御部、１２１・・・画像取得部、１２２・・・オブジェクト特定部、１２３・・・領域特定部、１２４・・・マッチング部、１２５・・・動線生成部、２・・・撮像装置

Claims (13)

1. 所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトに対応し、画像上の所定軸に対して二辺が平行する矩形である第１直立矩形領域を特定することにより前記第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトに対応し、前記所定軸に対して二辺が平行する矩形である第２直立矩形領域を特定することにより前記第２オブジェクトの位置を特定するオブジェクト特定部と、
   前記第１画像において特定された前記第１直立矩形領域を、当該第１直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第１回転矩形領域を、前記第１オブジェクトに対応する第１矩形領域として特定し、前記第２画像において特定された前記第２直立矩形領域を、当該第２直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第２回転矩形領域を、前記第２オブジェクトに対応する第２矩形領域として特定する領域特定部と、
   前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うマッチング部と、
   を備えるオブジェクト追跡装置。
2. 前記全方位画像における複数の位置のそれぞれに対応する直立矩形領域を示す情報と、回転矩形領域を示す情報とを関連付けた変換情報を記憶する記憶部を備え、
   前記領域特定部は、前記変換情報を参照し、前記第１オブジェクトに対応する前記第１直立矩形領域を示す情報に関連付けられている前記回転矩形領域を示す情報に基づいて、前記第１オブジェクトに対応する前記第１回転矩形領域を特定し、前記第２オブジェクトに対応する前記第２直立矩形領域を示す情報に関連付けられている前記回転矩形領域を示す情報に基づいて、前記第２オブジェクトに対応する前記第２回転矩形領域を特定する、
   請求項１に記載のオブジェクト追跡装置。
3. 前記領域特定部は、前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記所定エリアを示す二次元平面上の所定サイズの矩形領域を示す第３矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記二次元平面上の所定サイズの矩形領域を示す第４矩形領域を特定し、
   前記マッチング部は、前記第１矩形領域と前記第２矩形領域とをマッチングさせるとともに、前記第３矩形領域と前記第４矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行う、
   請求項１又は２に記載のオブジェクト追跡装置。
4. 前記マッチング部は、前記第１矩形領域と、前記第２矩形領域とのマッチングに失敗した第１オブジェクト及び第２オブジェクトについて、前記第３矩形領域と前記第４矩形領域とをマッチングさせる、
   請求項３に記載のオブジェクト追跡装置。
5. 前記マッチング部は、前記第３矩形領域と、前記第４矩形領域とのマッチングに失敗した第１オブジェクト及び第２オブジェクトについて、前記第１矩形領域と前記第２矩形領域とをマッチングさせる、
   請求項３に記載のオブジェクト追跡装置。
6. 所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトの位置を特定するオブジェクト特定部と、
   前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第１オブジェクトに対応し、前記所定エリアを示す二次元平面上の所定サイズの矩形領域である第１矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第２オブジェクトに対応し、前記二次元平面上の前記所定サイズの矩形領域である第２矩形領域を特定する領域特定部と、
   前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うマッチング部と、
   を備えるオブジェクト追跡装置。
7. 前記全方位画像における複数の位置のそれぞれに対応する直立矩形領域を示す情報と、前記二次元平面上の位置を示す情報とを関連付けた変換情報を記憶する記憶部を備え、
   前記オブジェクト特定部は、前記第１画像に表示される第１オブジェクトに対応し、画像上の所定軸に対して二辺が平行する矩形である第１直立矩形領域を特定することにより前記第１オブジェクトの位置を特定するとともに、前記第２画像に表示される第２オブジェクトに対応し、前記所定軸に対して二辺が平行する矩形である第２直立矩形領域を特定することにより前記第２オブジェクトの位置を特定し、
   前記領域特定部は、前記変換情報を参照し、前記第１オブジェクトに対応する前記第１直立矩形領域を示す情報に関連付けられている前記二次元平面上の位置に対応する前記第１矩形領域を特定し、前記第２直立矩形領域の位置に関連付けられている前記二次元平面上の位置に対応する前記第２矩形領域を特定する、
   請求項６に記載のオブジェクト追跡装置。
8. 前記マッチング部は、前記第１矩形領域に含まれる画像の特徴量と、前記第２矩形領域に含まれる画像の特徴量とに基づいて、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行う、
   請求項１から７のいずれか１項に記載のオブジェクト追跡装置。
9. 前記マッチング部は、前記第１矩形領域と、前記第２矩形領域との重複率に基づいて、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行う、
   請求項１から８のいずれか１項に記載のオブジェクト追跡装置。
10. コンピュータが実行する、
    所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトに対応し、画像上の所定軸に対して二辺が平行する矩形である第１直立矩形領域を特定することにより前記第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトに対応し、前記所定軸に対して二辺が平行する矩形である第２直立矩形領域を特定することにより前記第２オブジェクトの位置を特定するステップと、
    前記第１画像において特定された前記第１直立矩形領域を、当該第１直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第１回転矩形領域を、前記第１オブジェクトに対応する第１矩形領域として特定し、前記第２画像において特定された前記第２直立矩形領域を、当該第２直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第２回転矩形領域を、前記第２オブジェクトに対応する第２矩形領域として特定するステップと、
    前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うステップと、
    を備えるオブジェクト追跡方法。
11. コンピュータが実行する、
    所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトの位置を特定するステップと、
    前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第１オブジェクトに対応し、前記所定エリアを示す二次元平面上の所定サイズの矩形領域である第１矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第２オブジェクトに対応し、前記二次元平面上の前記所定サイズの矩形領域である第２矩形領域を特定するステップと、
    前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うステップと、
    を備えるオブジェクト追跡方法。
12. コンピュータを、
    所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトに対応し、画像上の所定軸に対して二辺が平行する矩形である第１直立矩形領域を特定することにより前記第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトに対応し、前記所定軸に対して二辺が平行する矩形である第２直立矩形領域を特定することにより前記第２オブジェクトの位置を特定するオブジェクト特定部、
    前記第１画像において特定された前記第１直立矩形領域を、当該第１直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第１回転矩形領域を、前記第１オブジェクトに対応する第１矩形領域として特定し、前記第２画像において特定された前記第２直立矩形領域を、当該第２直立矩形領域の位置と、前記撮像装置の位置との関係に対応する角度で回転させるとともに、領域のサイズを縮小した第２回転矩形領域を、前記第２オブジェクトに対応する第２矩形領域として特定する領域特定部、及び、
    前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うマッチング部、
    として機能させるオブジェクト追跡プログラム。
13. コンピュータを、
    所定エリアを撮像する撮像装置が撮像した全方位画像である第１画像に表示される第１オブジェクトの位置を特定し、前記撮像装置が前記第１画像よりも後に撮像した全方位画像である第２画像に表示される第２オブジェクトの位置を特定するオブジェクト特定部、
    前記第１画像において特定された前記第１オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第１オブジェクトに対応し、前記所定エリアを示す二次元平面上の所定サイズの矩形領域である第１矩形領域を特定し、前記第２画像において特定された前記第２オブジェクトの位置と前記撮像装置の位置との関係に基づいて、前記第２オブジェクトに対応し、前記二次元平面上の前記所定サイズの矩形領域である第２矩形領域を特定する領域特定部、及び、
    前記第１矩形領域と前記第２矩形領域とをマッチングさせることにより、前記第１オブジェクトと前記第２オブジェクトとのマッチングを行うマッチング部、
    として機能させるオブジェクト追跡プログラム。

Images