JP6865110B2

JP6865110B2 - オブジェクト追跡方法および装置

Info

Publication number: JP6865110B2
Application number: JP2017107652A
Authority: JP
Inventors: ホウアリサビリン; 内藤　整; 整内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2017-05-31
Filing date: 2017-05-31
Publication date: 2021-04-28
Anticipated expiration: 2037-05-31
Also published as: JP2018205870A

Description

本発明は、オブジェクト追跡方法および装置に係り、特に、撮影範囲の異なる複数の奥行映像間で移動するオブジェクトをオクルージョンに関わらず正確に追跡できるオブジェクト追跡方法および装置に関する。

特許文献１には、2D投影深度データ（デプス値）の位置およびサイズに関する類似度測定を行うことによって深度ベースでオブジェクトを追跡する技術が開示されている。特許文献２には、深度データおよび対応する2D投影像を分析することによって移動体を検出および追跡する方法が開示されている。

特許文献３には、検出された物体の深度情報を分析することによって、複数のカメラからの距離センサ情報を用いて移動体を検出および追跡する技術が開示されている。特許文献４には、３つの視点から得た深度データを分析することによってオブジェクトを検出および追跡する方法が開示されている。

非特許文献１，２は、深度センサ（すなわち、RGBデータ／画像なし）からの深度情報のみを利用してオブジェクトを検出および追跡する方法が開示されている。

特開2016-71534号公報特開2016-162075号公報特願2016-062076号特願2016-210608号

H. Sabirin, H. Sankoh, and S. Naito, "Utilizing attributed graph representation in object detection and tracking for indoor range sensor surveillance cameras," IEICE Transactions on information and Systems, vol. 98, no. 12, pp. 2299-2307, 2015. T. Bagautdinov, F. Fleuret, and P. Fua, "Probability occupancy maps for occluded depth images," IEEE Conf. on Comp. Vision and Patt. Rec., pp. 2829-2837, 2015.

特許文献１では、２つ以上のオブジェクトが同様の位置およびサイズを有する場合に追跡精度の信頼性が低下する可能性がある。特許文献２では、オブジェクト同士のオクルージョン判定が、オクルージョン前後における各オブジェクトの形状、位置およびサイズの類似性を見出すことによって行われる。したがって、オクルージョン前後でのオブジェクトの識別が不正確であると追跡精度が低下する。

特許文献３は、オクルージョン中も信頼性の高い追跡を保証するために、オクルージョン状態の各オブジェクトは深度モデルに基づいて分離されて個別に追跡を継続される。したがって、デプス情報が不明であると追跡精度が低下する。非特許文献１，２ではオブジェクト同士のオクルージョンが考慮されていない。

本発明の目的は、上記の技術課題を解決し、撮影範囲の異なる複数の奥行映像間で移動するオブジェクトをオクルージョンに関わらず正確に追跡できるオブジェクト追跡方法および装置を提供することにある。

上記の目的を達成するために、本発明は、撮影範囲の一部が重複するような複数の映像（例えば、奥行映像）上でオブジェクトを追跡するオブジェクト追跡装置において、以下の構成を具備した点に特徴がある。

(1) 映像ごとにオブジェクトを識別して、その位置を含む特徴量を抽出する第１制御レイヤと、第１制御レイヤで識別された各オブジェクトの位置を共通の平面上へ投影し、重複領域に異なる映像から投影された同一オブジェクトの位置を統合し、フレーム間で前記各位置の追跡を実行する第２制御レイヤと、第２制御レイヤでの前記統合された位置の追跡結果を対応する映像上にそれぞれ再投影し、映像ごとにフレーム間で各オブジェクトをその位置を含む特徴量に基づいて追跡する第３制御レイヤとを具備した.

(2) 前記第２制御レイヤは、重複領域に異なる映像から投影された複数のオブジェクトの特徴量として、例えば位置情報を比較し、特徴量が類似する位置同士を統合するようにした。

(3) 前記第３制御レイヤが、平面上の各オブジェクトを対応する各映像上へ再投影する手段と、映像ごとに前記再投影された各オブジェクトをその特徴量に基づいて追跡する手段とを具備した。

(4) 前記第３制御レイヤが、フレーム間で各オブジェクトの位置特徴量の類似度を評価する手段と、フレーム間で各オブジェクトのデプス特徴量の類似度を評価する手段と、映像間で各オブジェクトの位置特徴量の類似度を評価する手段と、前記フレーム間での位置特徴量の類似度およびデプス特徴量の類似度ならびに映像間での位置特徴量の類似度に基づいて買うオブジェクトの追跡を実行する手段とを具備した。

本発明によれば、以下のような効果が達成される。

(1) オブジェクトの存在範囲が広いために撮影範囲の異なる複数台のカメラ画像上でオブジェクトを追跡する際に、オブジェクトが各撮影範囲の重複領域に位置しており、同一オブジェクトが複数のカメラ画像上で認識されている場合でも、オブジェクトの正確な追跡が可能になる。

(2) 各カメラから抽出したオブジェクトを共通（同一）の平面上へ投影し、撮影範囲の重複領域内でのオブジェクト追跡は、当該平面上で、異なるカメラから投影された同一オブジェクトに関する複数の投影像を一つに統合したうえで実行されるので、カメラ間でのオブジェクト追跡のハンドオーバーを少ない計算負荷で実現できるようになる。

(3) オブジェクト追跡の機能が複数の制御レイヤに分割されているので、所望の仕様に応じて対象の制御レイヤを置換すれば様々な仕様への対応が可能となり、汎用性の高い追跡システムを実現できるようになる。

(4) 第３制御レイヤでは、オブジェクト追跡がフレーム間での類似度評価および映像間での類似度評価の双方に基づいて行われるので、オブジェクトが同一の映像内での移動にとどまらず複数の映像を跨って移動する場合でも正確な追跡が可能になる。

本発明の一実施形態に係るオブジェクト追跡装置が設置される環境の一例を模式的に示した図である。オブジェクト追跡システムの主要部の構成を示した機能ブロック図である。第１制御レイヤ２Aの構成を示した機能ブロック図である。オクルージョンの発生を判定する方法を模式的に示した図である。第２制御レイヤ２Bの構成を示したブロック図である。オブジェクトを2D平面上へ射影変換する方法を示した図である。第３制御レイヤ２Cの構成を示した機能ブロック図である。フレーム間及びセンサ間でのオブジェクト追跡を示した図である。オブジェクトの再投影を示した図である。オブジェクト領域のリファイン方法を模式的に示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクト追跡装置が設置される環境の一例を模式的に示した図であり、本発明では撮影範囲の一部が重複するように複数の奥行カメラcamが設置されるが、ここでは２台の奥行カメラcam1，cam2を設置する場合を例にして説明する。

奥行カメラcam1は、撮影範囲Q1内のオブジェクトObjを撮影し、その奥行映像を取得する。奥行カメラcam2は、撮影範囲Q2内のオブジェクトObjを撮影し、その奥行映像を取得する。各撮影範囲Q1，Q2は矩形であり、各撮影範囲Q1，Q2の４隅には、後述する透視投影用のマーカm11〜m14，m21〜m24が予め設定されている。

撮影範囲Q1，Q2は、その一辺およびその近傍を共有するように隣接配置される。当該一辺の一端および他端の各マーカm13，m23およびm14，m24は共通であり、前記一辺はオーバラップマーカm_overとして利用される。当該オーバラップマーカm_overは、オブジェクトObjが撮影範囲Q1，Q2の一方から他方に移動した場合でもオブジェクトObjを見失うことなく追跡を継続できるように、各撮影範囲Q1，Q2を統合するために参照される。

図２は、各奥行カメラcamが撮影した奥行映像に基づいてオブジェクトを追跡するオブジェクト追跡システム１の主要部の構成を示した機能ブロック図である。本発明のオブジェクト追跡システム１は、観察範囲の異なる奥行カメラごとに３つの制御レイヤ２A，２B，２Cで構成され、観察範囲ごとにオブジェクトObjを追跡する。

このようなオブジェクト追跡システム１は、汎用のコンピュータやサーバに各制御レイヤを実現するアプリケーション（プログラム）を実装して構成しても良いし、あるいは各制御レイヤがハードウェア化またはROM化された専用機や単能機として構成しても良い。

第１制御レイヤ２Aは、観察範囲の異なる奥行映像ごとに、各フレームから各ピクセルのデプス値に基づいてオブジェクトを抽出し、各オブジェクトを包含するオブジェクト領域の特徴量として、その位置、サイズおよび各デプス値を計算する。また、フレーム間で各オブジェクトの特徴量を比較し、特徴量が類似するオブジェクトを同一オブジェクトとみなして同一IDを割り当てる追跡を実行する。さらに、オクルージョン中のオブジェクトをそのデプス値に基づいて分離、識別する。各オブジェクトの特徴量は、各観察範囲に固有のIDおよび各オブジェクトに固有のIDと共に第２制御レイヤ２Bへ提供される。

第２制御レイヤ２Bは、第１制御レイヤ２Aから観察範囲ごとに取得した各オブジェクトの特徴量のうち、特にその位置情報（足元位置）に注目し、各オブジェクト領域の位置を共通の2D平面上に投影する。さらに、観察範囲の重複領域内に各奥行映像から投影された各オブジェクトの相対距離をその足元位置に基づいて求め、相対距離が所定の閾値を下回るほど近接した位置同士を同一オブジェクトの位置とみなして統合し、同一IDを付して管理する。さらに、各位置をフレーム間で追跡し、相対距離の最も近い位置同士に同一IDを付することで追跡を実行する。

第３制御レイヤ２Cは、前記2D平面上で統合された各オブジェクトの位置を、対応する奥行映像上へ再投影し、フレーム間およびカメラ間で各オブジェクトの特徴量を比較することで追跡を実行する。

図３は、第１制御レイヤ２Aの構成を示した機能ブロック図であり、図２と同一の符号は同一部分を表している。本実施形態では、複数台の奥行カメラcamがその奥行映像上のオブジェクトをそれぞれ独立して追跡するが、第１制御レイヤ２Aにおける各追跡メカニズムはいずれのカメラでも同一なので、ここでは一つの奥行カメラに注目して説明する。

奥行映像取得部１１は、対応する奥行カメラから奥行映像をフレーム単位で取得する。背景減算部１２は、オブジェクトが存在しない環境下で撮影した背景映像を蓄積しておき、奥行映像から背景映像を減じて差分画像を取得する。オブジェクトマスク生成部１３は、差分画像のピクセルごとに、そのデプス値を所定の閾値と比較することで、オブジェクトとそれ以外の背景とを識別するオブジェクトマスクを生成する。

オブジェクト特徴量取得部１４は、各オブジェクトマスクに外接する矩形のオブジェクト領域（ROI：Region of interest）を定義し、オブジェクト領域ごとに、その位置、サイズおよびデプス値を取得する。本実施形態では、f番目のフレーム映像におけるm番目のオブジェクトのROIをO^f _mと定義し、その位置P^f _m、サイズS^f _m、デプス値D^f _mおよびその識別ラベルl^f _mを次式(1)-(4)のように定義する。

ここで、サイズS^f _mはオブジェクト領域の横幅wおよび高さhで定義され、位置P^f _mはサイズS^f _mの中心座標i，jとして定義される。デプス値D^f _mはオブジェクト領域の各座標のデプス値を左上座標から右下座標へラスタスキャン順に配列して定義される。

第１制御レイヤ２Aにおけるオブジェクト追跡は、２つの連続するフレーム内での各オブジェクトの位置の類似性マッチングにより実行される。すなわち、f番目のフレームで検知されたm番目のオブジェクトO^f _mの位置P^f _mが、f-1番目のフレームで検知された各オブジェクトの位置と比較され、次式(5)に示すように、f-1番目のフレームのn番目のオブジェクトO^f-1 _nの位置P^f-1 _nとの相対距離が最短であれば、オブジェクトO^f _mにオブジェクトO^f-1 _nと同じIDが割り当てられる。

しかしながら、オブジェクト間にオクルージョンが発生すると、オクルージョンが解消して各オブジェクトが分離するまでは位置特徴量に基づく類似性マッチングを行うことができない。そこで、本実施形態ではオクルージョン判定部１５が重畳面積計算部１５ａを含み、後に詳述するように、ROI同士が重なる重畳範囲の面積の割合に基づいてオクルージョンの有無を判定する。

図４は、各ROIの重畳面積の割合に基づいてオクルージョンの発生を判定する方法を模式的に示した図である。本実施形態では、前回フレーム(f-1)で検知されたROIと今回フレーム(f)で検知されたROIとの重なりが判断される。その結果、同図(a)に示したように、前回フレームで検知されたオブジェクトObja^f-1，Objb^f-1の各領域ROIa，ROIbと、今回フレームで検知されたオブジェクトObjc^fの領域ROIcとの重畳面積の割合がいずれも５０パーセント以上であれば、オブジェクトObjc^fは２つのオブジェクトObja^f-1，Objb^f-1のオクルージョンにより生じた統合オブジェクトであると判断される。

これに対して、同図(b)に示したように、前回フレームで検知されたオブジェクトObja^f-1，Objb^f-1の各領域ROIa，ROIbと今回フレームで検知されたオブジェクトObjc^fの領域ROIcとの重畳が検知されても、重畳面積の割合が５０パーセント以上の組み合わせが一つのみ（ここでは、オブジェクトObja^f-1，Objd^fの組み合わせのみ）であればオクルージョン状態とは判定されない。

また、同図(c)に示したように、前回フレームで検知されたオブジェクトObja^f-1の領域ROIaと今回フレームで検知されたオブジェクトObjf^fの領域ROIfとの重畳面積の割合が５０パーセント以上であっても、それが一つのみであればオクルージョン状態とは判定されない。

ID割当実行部１６は、原則として、f番目のフレームで検知されたm番目のオブジェクトO^f _mの位置P^f _mとf-1番目のフレームで検知された各オブジェクトO^f-1 _nの位置P^f-1 _nとを比較し、上式(5)を満足するオブジェクトO^f _mにオブジェクトO^f-1 _nと同じIDを割り当てる。前記ID割当実行部１６はさらに、統合オブジェクト分割部１６ａおよびオブジェクト対応付け部１６ｂを含み、オクルージョン状態にあるオブジェクトも追跡する。

前記統合オブジェクト分割部１６ａは、オクルージョンにより複数のオブジェクトが統合したオブジェクト（統合オブジェクト）から、オクルージョン前の各オブジェクトとデプス値の分布が類似する各重畳範囲を追跡対象のオブジェクトとして分割する。

前記オブジェクト対応付け部１６ｂは、オクルージョンの新たな発生が検知されると、統合オブジェクトから分割した各オブジェクトを統合前の各オブジェクトと対応付ける第１機能、オクルージョン期間中に前回フレームの統合オブジェクトから分割した各オブジェクトを今回フレームの統合オブジェクトから分割した各オブジェクトと対応付ける第２機能、および前回フレームで統合オブジェクトから分割した各オブジェクトをオクルージョン解消後に各オブジェクトと対応付ける第３機能を備え、対応するオブジェクトに同一IDを割り当てる。

図５は、前記第２制御レイヤ２Bの構成を示したブロック図である。第２制御レイヤ２Bは、各奥行映像から抽出した各オブジェクトの足元位置Pを同一の2D平面上へ投影し、異なる奥行映像から重複領域に投影された各オブジェクトの位置を比較する。そして、相対位置が接近している位置を同一オブジェクトの位置とみなして統合する。すなわち、第２制御レイヤ２Bではオブジェクトのデプス情報、形状およびサイズは参照されない。

透視投影部２１は、図６に示したように、前記マーカm11〜m22のカメラ座標系での位置ならびに各奥行カメラcamの内部パラメータおよび外部パラメータに基づいて、各奥行映像上で検知されたオブジェクトの足元位置Pを2D平面上へ射影変換するための変換行列Mを計算する。オブジェクトデータ統合部２２は、前記射影変換行列Mを用いて各オブジェクトの足元位置Pを共通の2D平面上へ射影変換する。そして、2D平面上の重複領域内で足元位置が近接し、異なる奥行映像から投影されたオブジェクト同士を同一オブジェクトとみなして一のオブジェクトに統合する。

追跡部２３において、初期識別部２３ａは、前記投影した各オブジェクトの足元位置を、例えば第１制御レイヤ２Aのc番目の奥行映像から投影された、第２制御レイヤ（すなわち、処理平面内）２Bの第fフレームの第mオブジェクト_cO^f _mと定義する。オブジェクト_cO^f _mは、その位置特徴量として足元位置_cP^f _mを備え、ラベル_cl^f _mが割り当てられる。

位置マッチング部２３ｂは、重複領域に投影された各オブジェクトの同一性を各オブジェクトの位置特徴量_cP^f _mに基づいて判定する。重複領域処理部２３ｃは、同一判定された重複領域上のオブジェクトを統合する。本実施形態では、２つのオブジェクト_cO^f _m，_bO^f _nの位置_cP^f _m，_bP^f _nの差分が類似性閾値δ_Treshを下回り、次式(6)を満たす場合に各オブジェクトにインデックスn_duplが付与される。

ここで、類似性閾値δ_Treshは、異なる奥行映像から検出された２つのオブジェクト間の空間尤度として次式(7)で定義される。

また、重複領域の形態に依存して、Rはデプス画像の高さまたは幅を表すことができ、_c(P_θ)^f _mは、処理平面内のオブジェクトの位置の水平または垂直成分とすることができる。重複領域の形状は、2D平面の左右の端部が重複領域と判定されれば「水平重なり」(horizontal overlap)と定義され、上下の端部が重複領域と判定されれば「垂直重なり」(vertical overlap)と定義される。したがって、以下(8)，(9)の条件が定義される。

オブジェクト識別部２３ｄは、インデックスn_duplを有するオブジェクトを重複と認識し、そのIDを_cl^f _mから_bl^f _nに変更する。ここでは、同一IDを有する重複するオブジェクトの中の１つのオブジェクト情報のみが第２のレイヤ上での追跡に用いられる。

図７は、第３制御レイヤ２Cの構成を示した機能ブロック図である。第３制御レイヤ２Cは、図８に示したように、連続する２つのフレームf-1，f間でのオブジェクト追跡および異なる奥行カメラcam1，cam2…間でのオブジェクト追跡を実行する。また、オプション機能としてオブジェクト形状のリファイン機能を備える。

再投影部３１は、図９に示したように、第２レイヤでIDを付されたオブジェクトの足元位置をその投影元の奥行映像上へ再投影する。オブジェクト領域リファイン部３２は、前記再投影の結果に基づいて各オブジェクト領域ROIをリファインする。

図１０は、前記オブジェクト領域リファイン部３２の機能を模式的に示した図であり、検出されたオブジェクト領域の視点を近似するために、ROIの幅102(Sw)および回転角103(θ)を、次式のROI改修パラメータ(10)，(11)，(12)，(13)に基づいてROI'のようにリファインする。

ROIサイズ係数A，Bは、それぞれ垂直位置および水平位置の位置重みを決定し、次式(14)，(15)，(16)で計算される。

図７へ戻り、デプスマッチング部３３は、連続する２つの各フレームf-1，f内で検知された各オブジェクト間でデプス情報に基づいてROIのマッチングを行う。フレーム間位置マッチング部３４は、連続する２つの各フレームf-1，f内で検知された各オブジェクト間でその位置情報に基づいてROIのマッチングを行う。センサ間位置マッチング部３５は、観察範囲の重複領域内で検知された各オブジェクト間で位置情報に基づいてROIのマッチングを行う。

前記デプスマッチングでは、連続する２つのフレーム内で検知された各オブジェクト間でデプス値の類似度Δ_depthが次式(17)に基づいて計算される。

前記フレーム間位置マッチングでは、連続する２つのフレーム内で検知された各オブジェクト間で位置の類似性Δ_posが次式(18)に基づいて計算される。

前記センサ間位置マッチングでは、オブジェクトが前記重複領域内に位置している場合に各オブジェクトの位置の類似性Δ_sensorが次式(19)に基づいて計算される。

ただし、

ID見直し部３６は、次式(21)に基づいてオブジェクトの類似性を計算することで類似度の高いオブジェクトペアを判別し、この判別結果に基づいて各オブジェクトのIDを見直す。ここで、α，βおよびγは経験的に定められる重み要素である。

本実施形態によれば、オブジェクトの存在範囲が広いために撮影範囲の異なる複数台のカメラ画像上でオブジェクトを追跡する際に、オブジェクトが各撮影範囲の重複領域に位置しており、同一オブジェクトが複数のカメラ画像上で認識されている場合でも、オブジェクトの正確な追跡が可能になる。

また、本実施形態によれば、各カメラから抽出したオブジェクトを同一の2D平面上へ投影し、撮影範囲の重複領域内でのオブジェクト追跡は、当該2D平面上で、異なるカメラから投影された同一オブジェクトに関する複数の投影像を一つに統合したうえで実行されるので、カメラ間でのオブジェクト追跡のハンドオーバーを少ない計算負荷で実現できるようになる。

さらに、本発明によれば、オブジェクト追跡の機能が複数の制御レイヤに分割されているので、所望の仕様に応じて対象の制御レイヤを置換すれば様々な仕様への対応が可能となり、汎用性の高い追跡システムを実現できるようになる。

さらに、第３制御レイヤでは、オブジェクト追跡がフレーム間での類似度評価および奥行映像間での類似度評価の双方に基づいて行われるので、オブジェクトが同一の奥行映像内での移動にとどまらず複数の奥行映像を跨って移動する場合でも正確な追跡が可能になる。

１１…奥行映像取得部，１２…背景減算部，１３…オブジェクトマスク生成部，１４…オブジェクト特徴量取得部，１５…オクルージョン判定部，１６…ID割当実行部，１６ａ…統合オブジェクト分割部，１６ｂ…オブジェクト対応付け部，２１…透視投影部，２２…オブジェクトデータ統合部，２３ａ…初期識別部，２３ｂ…位置マッチング部，２３ｃ…重複領域処理部，２３ｄ…オブジェクト識別部，３１…再投影部，３２…オブジェクト領域リファイン部，３３…デプスマッチング部，３４…フレーム間位置マッチング部，３５…センサ間位置マッチング部

Claims

撮影領域の一部が重複する複数の映像上でオブジェクトを追跡するオブジェクト追跡装置において、
映像ごとにオブジェクトを識別して位置情報を含む特徴量を抽出する第１制御レイヤと、
前記第１制御レイヤで識別された各オブジェクトの位置情報を共通の平面上へ投影し、撮影領域の重複領域に異なる映像から投影された同一オブジェクトの位置を統合し、フレーム間で前記各位置の追跡を実行する第２制御レイヤと、
第２制御レイヤで統合された重複領域上での位置の追跡結果を対応する映像上にそれぞれ再投影し、映像ごとにフレーム間で各オブジェクトをその位置を含む特徴量に基づいて追跡する第３制御レイヤとを具備したことを特徴とするオブジェクト追跡装置。
前記第１制御レイヤが、
複数の映像を取得する手段と、
映像ごとに背景映像との差分に基づいてオブジェクトマスクを抽出する手段と、
前記オブジェクトマスクに基づいてオブジェクト領域を設定する手段と、
映像ごとに各オブジェクト領域の位置を含む特徴量を計算する手段と、
映像ごとにフレーム間で各オブジェクトをその特徴量に基づいて追跡する手段と含むことを特徴とする請求項１に記載のオブジェクト追跡装置。
前記第１制御レイヤでは、各オブジェクト領域の特徴量として、その位置、サイズおよびデプス値が計算されることを特徴とする請求項２に記載のオブジェクト追跡装置。
前記第１制御レイヤでは、各オブジェクト領域のデプス特徴量に基づいてオクルージョンにあるオブジェクトが識別されることを特徴とする請求項３に記載のオブジェクト追跡装置。
前記第２制御レイヤは、前記重複領域に異なる映像から投影された複数のオブジェクトの特徴量を比較し、特徴量が類似する位置同士を統合することを特徴とする請求項１に記載のオブジェクト追跡装置。
前記位置同士を統合する手段は、前記重複領域に異なる映像から投影された複数のオブジェクトの位置を比較し、相対距離が所定の閾値を下回る位置同士を統合することを特徴とする請求項５に記載のオブジェクト追跡装置。
前記第３制御レイヤが、
前記平面上の各オブジェクトを対応する各映像上へ再投影する手段と、
映像ごとに前記再投影された各オブジェクトをその特徴量に基づいて追跡する手段とを含むことを特徴とする請求項１に記載のオブジェクト追跡装置。
前記第３制御レイヤの追跡する手段は、
フレーム間で各オブジェクトの位置特徴量の類似度を評価する手段と、
フレーム間で各オブジェクトのデプス特徴量の類似度を評価する手段と、
映像間で各オブジェクトの位置特徴量の類似度を評価する手段と、
前記フレーム間での位置特徴量の類似度およびデプス特徴量の類似度ならびに映像間での位置特徴量の類似度に基づいて各オブジェクトの追跡を実行する手段とを含むことを特徴とする請求項７に記載のオブジェクト追跡装置。
前記第３制御レイヤが、前記再投影されたオブジェクトの位置に応じてオブジェクトの形状をリファインする手段を更に具備したことを特徴とする請求項７に記載のオブジェクト追跡装置。
前記映像が奥行映像であることを特徴とする請求項１ないし９のいずれかに記載のオブジェクト追跡装置。
撮影範囲の一部が重複する複数の映像上でコンピュータがオブジェクトを追跡するオブジェクト追跡方法において、
映像ごとにオブジェクトを識別して、その位置を含む特徴量を抽出し、
各オブジェクトの位置を共通の平面上へ投影し、
撮影範囲の重複領域に異なる映像から投影された同一オブジェクトの位置を統合して隣接するフレーム間で前記各位置の追跡を実行し、
前記統合された重複領域上での位置の追跡結果を対応する映像上にそれぞれ再投影し、
映像ごとにフレーム間で各オブジェクトを、前記再投影の位置を含む特徴量に基づいて追跡することを特徴とするオブジェクト追跡方法。