JP6925295B2 - オブジェクト追跡装置、方法およびプログラム - Google Patents

オブジェクト追跡装置、方法およびプログラム Download PDF

Info

Publication number
JP6925295B2
JP6925295B2 JP2018059010A JP2018059010A JP6925295B2 JP 6925295 B2 JP6925295 B2 JP 6925295B2 JP 2018059010 A JP2018059010 A JP 2018059010A JP 2018059010 A JP2018059010 A JP 2018059010A JP 6925295 B2 JP6925295 B2 JP 6925295B2
Authority
JP
Japan
Prior art keywords
distance
matching
frame
map
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018059010A
Other languages
English (en)
Other versions
JP2019174868A (ja
JP2019174868A5 (ja
Inventor
ホウアリ サビリン
ホウアリ サビリン
内藤 整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018059010A priority Critical patent/JP6925295B2/ja
Publication of JP2019174868A publication Critical patent/JP2019174868A/ja
Publication of JP2019174868A5 publication Critical patent/JP2019174868A5/ja
Application granted granted Critical
Publication of JP6925295B2 publication Critical patent/JP6925295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、カメラ映像に基づいてオブジェクトを追跡する装置、方法およびプログラムに係り、特に、視野が重なる複数のカメラ映像から抽出したオブジェクトの同一性をカメラ間およびフレーム間で識別して追跡するオブジェクト追跡装置、方法およびプログラムに関する。
非特許文献1には、複数のカメラを使用して複数のオブジェクトを検出および追跡する技術が開示されている。非特許文献2には、マルチカメラシステムにおけるオブジェクトの追跡情報を決定するためにグラフ構造を利用する技術が開示されている。
特許文献1には、視野が重なり合わないカメラ映像から人体を再識別する技術が開示されている。特許文献2には、複数のカメラ映像から抽出した複数のオブジェクトに基づくグラフトポロジーを整合させることでカメラ間でのオブジェクトの同一性を識別する技術が開示されている。
WO2017101434 A1 特願2017-188650号
W. Lu, O. Camps, M. Sznaier, "Multi-camera Multi-object Tracking," arXiv:1709.07065, 2017. J. Dias and P. M. Jorge, "People Tracking with Multi-camera System," Int. Conference on Distributed Smart Cameras, pp. 181-186, 2015.
非特許文献1、2は、視野が重なり合うカメラおよび視野が重なり合わないカメラにおけるオブジェクトの検出および追跡に関する技術を提供し、これらはカメラ視野内の全域を歩き回る複数のオブジェクトの検出および追跡を可能にし、カメラ視野間でオブジェクトの同一性を維持することができる。しかしながら、いずれの方式でもオブジェクトの存在範囲が広範にわたり、検知されたオブジェクトは短時間で一のカメラの視野から他の一のカメラの視野へ移動する傾向がある。
特許文献2によれば、2台のカメラで類似のオブジェクトを識別できるので、あるカメラ視野内のオブジェクトと他のカメラ視野内の対応するオブジェクト(同じオブジェクト)との同一性を識別することが可能になる。しかしながら、これらの方式ではカメラ間で正しくマッチングできたオブジェクトをフレーム間で追跡することができない。
本発明の目的は、上記の技術課題を解決し、視野が重なる複数のカメラ映像から抽出したオブジェクトの同一性をカメラ間およびフレーム間で識別して追跡するオブジェクト追跡装置、方法およびプログラムを提供することにある。
上記の目的を達成するために、本発明は、視野が重なる複数のカメラ映像のフレーム画像に基づいてオブジェクトを追跡する装置において、以下の構成を具備した点に特徴がある。
(1) 各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングする手段と、オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出する手段と、オブジェクト間の色の相違を表す色ベース距離を算出する手段と、前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのマッチングを実行するカメラ間マッチング手段と、前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのマッチングを実行するフレーム間マッチング手段とを具備した。
(2) 前記フレーム間マッチング手段が、フロアマップ上でのオブジェクト間の距離を算出する手段と、一のカメラ映像上でのオブジェクト間の距離を算出する手段と、他の一のカメラ映像上でのオブジェクト間の距離を算出する手段と、前記各距離に基づいてオブジェクト間の相対距離を算出する手段とを具備し、前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行するようにした。
本発明によれば、以下のような効果が達成される。
本発明の一実施形態に係るオブジェクト追跡装置の機能ブロック図である。 カメラ映像から抽出したオブジェクトを共通のフロアマップ上へマッピングする方法を示した図である。 グラフ構築部(104)の機能を模式的に示した図である。 カメラ映像から抽出したオブジェクト集合をグラフ化する方法を示した図である。 カメラ間マッチング部(105)による各オブジェクトのマッチング手順を示したフローチャートである。 フレーム間マッチング部(107)による各オブジェクトのマッチング手順を示したフローチャートである。 マッチング結果処理部(108)によるマッチング結果の修正手順を示したフローチャートである。 再投影部(109)によるグラフ頂点の再投影方法を示した図である。 5台のカメラが設置された環境への適用例を示した図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、視野が重複し、視点が異なる複数のカメラ映像に基づいてオブジェクトを識別し、フレーム間で追跡する。本実施形態では、視野が重複するカメラが2台設置されており、2つのカメラ映像に基づいてオブジェクトを識別、追跡する場合を例にして説明する。
このようなオブジェクト追跡装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション(プログラム)を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。
画像取得部101は、一方のカメラ映像Ic1および他方のカメラ映像Ic2を取得する。オブジェクト抽出部102は、各カメラ映像Ic1,Ic2のフレーム画像から全てのオブジェクトTを抽出する。マッピング部103は、フレーム画像から抽出したオブジェクトTを共通のフロアマップMf上にマッピングする。これにより、カメラ映像の抽出元に関わらず、各オブジェクトTに対して共通の座標系上で位置属性を付することが可能になる。
図2は、2つのカメラ映像Ic1,Ic2から抽出したオブジェクトTを共通のフロアマップMf上にマピングする例を示した図であり、一方のカメラ映像Ic1から抽出した4つのオブジェクトT11,T12,T13,T14および他方のカメラ映像Ic2から抽出した4つのオブジェクトT21,T22,T23,T24が、フロアマップMf上の位置p1',p2',p3',p4'にそれぞれマッピングされている。
グラフ構築部104は、各カメラ映像Icからフレームごとに抽出したオブジェクトTに基づいて、各オブジェクトTに対応した頂点Viおよび各オブジェクトTを関連付けるエッジEiを用いて、次式(1)-(5)で定義される属性付き無向グラフGiを構築する。
Figure 0006925295
なお、各符号の定義は以下の通りである。
Gi:カメラ映像Iciに基づいて構築したグラフ
Vi:グラフGiの頂点群
N,M:各頂点を識別する序数
Ei:グラフGiのエッジ群
vn:n番目の頂点
emn:m番目の頂点とn番目の頂点とを関連付けるエッジ
p:カメラビュー上での位置
p':フロアマップ上での位置
c:オブジェクトの色特徴量
θ:2つの頂点間の方向角度
d:2つの頂点間の距離
また、本実施形態では、説明を簡略化するために次の表記法を定義する。
vn[p]:n番目の頂点のカメラビュー上での位置属性
vn[p']:n番目の頂点のフロアマップ上での位置属性
vn[c]:n番目の頂点に対応したオブジェクトの色特徴
emn[θ]:m番目の頂点とn番目の頂点とを関連付けるエッジの方向属性
emn[d]:m番目の頂点とn番目の頂点とを関連付けるエッジの長さ属性
Vi[p]:グラフGi内の全頂点のカメラビュー上での位置属性のセット
Vi[p']:グラフGi内の全頂点のフロアマップ上での位置属性のセット
Vi[c]:グラフGi内の全頂点に対応したオブジェクトの色属性のセット
Ei[θ]:グラフGi内の全エッジの方向属性のセット
Ei[d]:グラフGi内の全エッジの長さ属性のセット
図3は、前記グラフ構築部104の機能を模式的に示した図であり、オブジェクトTが頂点V1で定義されている。同一フレーム内で他のオブジェクトを定義する頂点V2,V3は、エッジE12,E13によって前記頂点V1に関連付けることができる。頂点V1は頂点V3に対して方向角度θ13および長さL13の属性を有する。
図4は、上記の手順を繰り返して、前記カメラ映像Ic1から抽出したオブジェクト集合をグラフ化する方法を示した図であり、前記4つのオブジェクトT11,T12,T13,T14が、それぞれ頂点V11,V12,V13,V14で表現され、各頂点VをエッジE1112,E1113,E1114,E1213,E1214,E1314で関連付けることでグラフG1が構築されている。
カメラ間マッチング部105は、グラフG1の各頂点V1とグラフG2の各頂点V2とを、フロアマップ上での各頂点間の位置属性および各オブジェクトの色属性に基づいて齟齬なく対応付ける。
マップベース距離計算部105aは、フロアマップ上での各頂点Vの位置属性に基づいてグラフG1,G2間での各頂点間のユークリッド距離を次式(6)に基づいて計算する。色ベース距離計算部105bは、各頂点Vに対応するオブジェクトの色属性に基づいてグラフG1,G2間での各頂点間のバッチチェリ距離を次式(7)に基づいて計算する。なお、式(7)において、μは各頂点に対応するオブジェクトの色分布の平均であり、σ2は各頂点に対応するオブジェクトの色分布の分散である。
Figure 0006925295
ラウンドマッチング実行部105cは、グラフG1,G2の各頂点間で前記位置属性のユークリッド距離および色属性のバッチチェリ距離を指標としてラウンドマッチングを実行し、対応するオブジェクトを識別する。
図5は、前記カメラ間マッチング部105における各オブジェクトのマッチング手順を示したフローチャートである。
ステップS300では、グラフG1の全ての頂点Vに関して後述する処理が完了したか否かが判断される。完了していなければ、ステップS301へ進んで今回の注目エントリ(i,j)のマッチング結果Match(i,j)がリセット(=0)される。ステップS302では、グラフG2の全ての頂点Vに関して処理が終了したか否かが判断される。終了していなければステップS303へ進み、注目エントリ(i,j)のフロアマップ上での距離S(p'(i),p'(j))が取得される。
ステップS304では、前記マップベース距離S(p'(i),p'(j))が第1閾値未満であるか否かが判断される。本実施形態では、第1閾値が「32」に設定されており、マップベース距離S(p'(i),p'(j))<32であればステップS305へ進む。
ステップS305では、グラフG1のi番目の頂点とグラフG2の全頂点との距離の最小値p'min(i)が取得される。ステップS306では、グラフG2のj番目の頂点とグラフG1の全頂点との距離の最小値p'min(j)が取得される。ステップS307では、前記各最小距離p'min(i),p'min(j)が今回の注目ペア(i,j)のマップベース距離S(p'(i),p'(j))と一致するか否かが判断される。一致すればステップS308へ進み、注目エントリ(i,j)のマッチング結果Match(i,j)がセット(=1)される。
一方、前記ステップS304においてマップベース距離S(p'(i),p'(j))<32ではないと判断されるとステップS309へ進み、マップベース距離S(p'(i),p'(j))<128であるか否かが判断される。マップベース距離S(p'(i),p'(j))<128であればステップS310へ進み、注目エントリ(i,j)の色ベース距離S(c(i),c(j))が取得される。ステップS311では、色ベース距離S(c(i),c(j))<25であるか否かが判断される。
色ベース距離S(c(i),c(j))<25であればステップS312へ進み、グラフG1のi番目の頂点を除いた全頂点に関して判断が終了したか否かが判断される。終了していなければステップS313へ進み、注目エントリ(i,j)と同一列上の他のエントリのマップベース距離S(p'(k),p'(j))が取得される。ステップS314では、注目エントリのマップベース距離S(p'(i),p'(j))と前記同一列上の各エントリのマップベース距離S(p'(k),p'(j))とが比較され、S(p'(k),p'(j))<S(p'(i),p'(j))であればステップS315へ進む。
ステップS315では、前記同一列上の各エントリの色ベース距離の最小値Smin(c(i),c(j))が取得される。ステップS316では、色ベース距離の最小値Smin(c(i),c(j))が前記ステップS314の要件を満たしたエントリS(p'(k),p'(j))の色ベース距離S(c(k),c(j))と比較され、値が一致していればステップS317へ進む。ステップS317では、前記同一列上のエントリ(k,j)のマッチング結果Match(k,j)がセットされる。
これに対して、前記ステップS316において、Smin(c(i),c(j))とS(c(k),c(j))とが等しくないと判断されるとステップS318へ進み、S(c(k),c(j))とSmin(c(i),c(j))とが比較され、S(c(k),c(j))<Smin(c(i),c(j))であれば、ステップS319へ進んでエントリ(k,j)のマッチング結果Match(k,j)がセットされる。
図1へ戻り、グラフ構築部106は前記グラフ構築部104と同様に、今回フレームから抽出したオブジェクトTに基づいて無向グラフGfを構築し、前回フレームから抽出したオブジェクトTに基づいて無向グラフGf-1を構築する。
フレーム間マッチング部107は、前回フレームで抽出されたオブジェクトと今回フレームで抽出されたオブジェクト間で、一方のカメラビュー上での位置属性、他のカメラビュー上での位置属性およびマッピング先のフロアマップ上での位置属性に基づいてオブジェクトマッチングを実施する。
フレーム間マッチング部107において、マップベース距離計算部107aは、次式(8)に基づいてフロアマップ上での各頂点間距離SFを計算する。第1カメラビューベース距離計算部107bは、次式(9)に基づいて、第1カメラビューでの位置属性に基づいて各頂点間距離Sc1を算出する。第2カメラビューベース距離計算部107cは、次式(10)に基づいて、第2カメラビューでの位置属性に基づいて各頂点間距離Sc2を算出する。
Figure 0006925295
相対距離計算部107dは、上記3種の類似度パラメータを統合して類似度指標値Distを次式(11)に基づいて計算する。Dist行列構築部107eは、この類似度指標値Distを行列要素とするDist行列を構築する。ラウンドマッチング実行部107fは、グラフGf,Gf-1の各頂点間で前記Dist値を指標としてラウンドマッチングを実行し、対応するオブジェクトを識別する。
Figure 0006925295
ここで、相関位置Poscは次式(12)で求められる。
Figure 0006925295
図6は、前記フレーム間マッチング部107によるマッチング手順を示したフローチャートであり、ステップS601,S602では、それぞれ今回フレームから抽出したグラフGfの全頂点および前回フレームから抽出したグラフGf-1の全頂点の全ての組み合わせに関して、後述する頂点間の相対距離の計算が完了したか否かが判断される。完了していなければ、ステップS603以降へ進んで各頂点間の相対距離の計算が繰り返される。
ステップS603では、各グラフGf,Gf-1の頂点座標をマッピングしたフロアマップ上での各頂点間距離SFが上式(8)に基づいて計算される。ステップS604では、第1カメラビューの座標系上での各頂点間距離Sc1が上式(9)に基づいて計算される。ステップS605では、第2カメラビューの座標系上での各頂点間距離Sc2が上式(10)に基づいて計算される。ステップS606では、前記各頂点間距離SF,Sc1,Sc2に基づいて各頂点間類似度Distx,yが上式(11)に基づいて計算され、ステップS607において、各頂点間の相対距離を行列要素Distx,yとするDist行列が完成する。
ステップS608では、Dist行列において注目するエントリと同一行の各エントリに関して後述する全ての処理が完了したか否かが判断される。完了していなければステップS609へ進み、今回の注目エントリ(x,y)のマッチング結果Match(x,y)が初期化(=0)される。ステップS610では、注目エントリ(x,y)の同一列に関して後述する全ての処理が完了したか否かが判断され、完了していなければステップS611へ進む。
ステップS611では、注目エントリの相対距離Distx,yが取得される。ステップS612では、相対距離Distx,yが所定の第1閾値Dref1(ここでは、Dref1=24)未満であるか否かが判断され、Distx,y<Dref1であればステップS613以降へ進む。
ステップS613では、注目エントリ(x,y)と同一列状の全てのエントリに関して判断が終了したか否かが判断される。最初は終了していないと判断されるのでステップS614へ進み、注目エントリと同一行の他のエントリの相対距離Distz,yが取得される。ステップS615では、Distz,y<Distx,yであるか否かが判断される。Distz,y<Distx,yでなければステップS616,S617へ進み、前記Distz,yと同一列内で相対距離が最小値Distx,y|minのエントリが探索される。ステップS618では、当該最小値Distx,y|minを与えるエントリ(x,y)のマッチング結果Match(x,y)がセットされる。
一方、前記ステップS615において、Distz,y<Distx,yと判断されるとステップS619,S620,S621へ進み、同一列内に相対距離Distx,yが40未満となるエントリ(x,y)が存在するか否かが判断される。
相対距離Distx,y<40のエントリが存在すればステップS622,S623,S624へ進み、同一行内で当該相対距離Distx,yよりも相対距離の小さいエントリが探索され、そのようなエントリ(x,z)が見つかると、ステップS625において、当該エントリのマッチング結果Match(x,z)がセットされる。
図1へ戻り、マッチング結果処理部108は、今回フレームから抽出したグラフGfの各頂点と前回フレームから抽出したグラフGf-1の各頂点とのマッチング結果が一対一対応となるようにマッチング結果を修正すると共に、視野空間へのオブジェクトの入退が検知されていると、一対一対応とならない場合でもフレーム間マッチングの結果を正当と評価する。
図7は、前記マッチング結果処理部108によるマッチング結果の修正手順を示したフローチャートであり、ステップS701では、今回フレームから抽出されてマッチング結果Match(x,y)がセットされているオブジェクトの個数N1が取得される。ステップS702では、今回フレームと前回フレームとの各オブジェクトの類似度指標値Distに関する行列が取得される。
ステップS703では、同一列の全てのエントリに関して処理が完了したか否かが判断され、最初は完了していないと判断されるのでステップS704へ進み、同一行の全てのエントリに関して処理が完了したか否かが判断される。完了していなければステップS705へ進み、今回の注目エントリ(x,y)のDist(x,y)値およびマッチング結果Match(x,y)が取得される。
ステップS706では、マッチング結果Match(x,y)が参照され、セット(対応するオブジェクトとして登録されている)されていればステップS707へ進む。ステップS707では、注目エントリ(x,y)と同一列での全エントリのDist値の最小値Distx|minおよび同一行での全エントリのDist値の最小値Disty|minが探索される。
ステップS708では、注目エントリ(x,y)のDist(x,y)値が前記最小値Distx|minおよび最小値Disty|minのいずれとも一致するか否かが判断される。いずれとも一致すれば、現在のマッチング結果Match(x,y)=1を維持したままステップS704へ戻る。これに対して、少なくとも一方と一致しなければ、重複マッチングの可能性があるのでステップS709へ進み、マッチング結果Match(x,y)をリセットした後にステップS704へ戻る。
一方、前記ステップS706において、マッチング結果Match(x,y)がセットされていないと判断されるとステップS710へ進み、注目エントリ(x,y)と同一列での全エントリのDist(x,y)値の最小値Distx|minおよび同一行での全エントリのDist(x,y)値の最小値Disty|minであって、かつそのDist値がマッチング判定の閾値に準ずる程度に小さい(本実施形態では、2.8<Dist値<<100)エントリが探索される。
ステップS711では、探索結果が今回の注目エントリ(x,y)と同一であるか否かが判断される。同一であれば、ステップS712へ進んでマッチング結果Match(x,y)がセットされ、同一でなければ、現在のマッチング結果Match(x,y)=0を維持したままステップS704へ戻る。
上記の処理が全てのエントリに対して完了するとステップS713へ進み、今回フレームから抽出されてマッチング結果Match(x,y)がセットされているオブジェクトの個数N2が改めて取得される。ステップS714では、N1とN2とが比較され、N1=N2であれば当該処理を終了する。
これに対して、N1≠N2であればステップS715へ進み、オブジェクトの入退室の有無が判断される。オブジェクトの入退室が検知されていなければステップS702へ戻って当該処理が繰り返される。これに対して、オブジェクトの入退室が検知されていれば、N1≠N2の原因が当該入退室にあり、マッチング結果は正当なので当該処理を終了する。
すなわち、オブジェクトのフロアマップ上での位置p'をオブジェクト領域の中心位置または重心位置で代表したような場合、同一のオブジェクトであってもフレーム間でオブジェクト領域の大きさが異なる場合がある。そして、オブジェクト領域が大きくなるほど、オブジェクトの実際の位置とオブジェクト領域の中心位置(重心位置)との距離が大きくなる傾向があるため、フレーム間での距離が同一オブジェクトにかかわらず大きくなってマッチング関係に無いと誤判断される場合がある。
そこで、本実施形態ではこのような誤判断を修正すべく、注目エントリのDist(x,y)が同一列、同一行内で最小値であり、かつマッチング判定の閾値に準ずる程度に小さければ、マッチング結果をセットするようにした。
本実施形態では、撮影範囲の出入口近傍の所定範囲内でオブジェクトの個数を検知してフレーム間で比較し、前回フレーフとの比較で今回フレームのオブジェクト数が増えていれオブジェクトの入室があったと判断し、オブジェクト数が減っていれオブジェクトの退室があったと判断するようにしている。
よび退出を検知して処理する。
再投影部109は、図8に示したように、マッチングされたグラフの各頂点VをフロアマップMf上にマッピングし、さらにフロアマップMf上の各頂点Vを各カメラビューに再投影する。これにより、各カメラ映像から抽出したオブジェクトTの対応関係を正確に識別できるようになる。
なお、上記の実施形態では本発明をカメラが2台の場合を例にして説明したが、本発明はこれのみに限定されるものではなく、撮影範囲が広く、カメラが3台以上設置される場合にも同様に適用できる。
図9は、5台のカメラ(cam1,cam2,cam3,cam4,cam5)が設置された例を示した図であり、このような場合、本実施形態では5台のカメラから選択した2台のカメラ間でオブジェクトの抽出、カメラ間追跡およびフレーム間追跡が実行される。例えば、cam1/cam5のカメラペア、cam2/cam5のカメラペア、cam3/cam5のカメラペアおよびcam3/cam4のカメラペアにおいて、それぞれをカメラ間追跡およびフレーム間追跡が実行される。その結果、各カレラペアでの追跡結果を、例えばフロアマップ上への各オブジェクトのマッピング位置に基づいて追跡結果を同期させることができる。
例えば、カメラペアcam1/cam5の視野内で各カメラ映像に基づいて追跡されていたオブジェクトObj11がカメラペアcam2/cam5の視野内に移動すると、カメラペアcam2/cam5は各カメラ映像に基づいてオブジェクトObj11の追跡を開始すると同時に、カメラペアcam1/cam5による追跡結果に基づいて識別情報を受け取ることができ、これにより移動前後での一貫した追跡が可能になる。
101…画像取得部,102…オブジェクト抽出部,103…マッピング部,104,106…グラフ構築部,105…カメラ間マッチング部,105a…マップベース距離計算部,105b…色ベース距離計算部,105c…ラウンドマッチング実行部,107…フレーム間マッチング部,107a…マップベース距離計算部,107b…第1カメラビューベース距離計算部,107c…第2カメラビューベース距離計算部,107d…相対距離計算部,107e…Dist行列構築部,107f…ラウンドマッチング実行部,108…マッチング結果処理部,109…再投影部

Claims (6)

  1. 視野が重なる複数のカメラ映像のフレーム画像に基づいてオブジェクトを追跡する装置において、
    各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングする手段と、
    オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出する手段と、
    オブジェクト間の色の相違を表す色ベース距離を算出する手段と、
    前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのマッチングを実行するカメラ間マッチング手段と、
    前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのマッチングを実行するフレーム間マッチング手段とを具備し
    前記カメラ間マッチング手段は、
    マップベース距離に基づいてマッチングを行い、
    前記マップベース距離に基づくマッチング結果に応じて前記色ベース距離に基づいてカメラ間マッチングを行い、
    前記フレーム間マッチング手段は、
    フロアマップ上での各オブジェクト間の距離を算出し、
    各カメラ映像上での各オブジェクト間の距離をそれぞれ算出し、
    前記各距離に基づいてオブジェクト間の相対距離を算出し、
    前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行することを特徴とするオブジェクト追跡装置。
  2. 前記カメラ間マッチング手段は、
    注目エントリのマップベース距離が第1位置閾値未満であるか否かを判別する第1手順と、
    第1位置閾値未満であると、前記注目エントリと同一列上および同一行上の各エントリのマップベース距離の最小値を探索する第2手順と、
    前記注目エントリのマップベース距離が前記各最小値と等しければ当該注目エントリのマッチング結果をセットする第3手順とを含むことを特徴とする請求項に記載のオブジェクト追跡装置。
  3. 前記カメラ間マッチング手段は、
    前記注目エントリのマップベース距離が前記第1位置閾値未満でないと当該第1位置閾値よりも大きい第2位置閾値未満であるか否かを判別する第4手順と、
    前記第4手順で前記第2位置閾値未満と判別されると、前記注目エントリと同一列上に当該注目エントリよりもマップベース距離の小さいエントリが存在するか否かを判定する第5手順と、
    前記第5手順において、前記マップベース距離の小さいエントリが存在すると判定されると、当該エントリの色ベース距離が同一列上で最小であるか否かを判定する第6手順と、
    前記第6手順で最小であると判定されると当該エントリのマッチング結果をセットすることを特徴とする請求項に記載のオブジェクト追跡装置。
  4. 視野空間へ出入口近傍でのオブジェクト数の変化に基づいてオブジェクトの視野空間への入退を監視し、入退の有無に基づいて前記フレーム間マッチングを評価することを特徴とする請求項1ないしのいずれかに記載のオブジェクト追跡装置。
  5. 視野が重なる複数のカメラ映像のフレーム画像に基づいてコンピュータがオブジェクトを追跡する方法において、
    各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングし、
    オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出し、
    オブジェクト間の色の相違を表す色ベース距離を算出し、
    前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのカメラ間マッチングを実行し、
    前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのフレーム間マッチングを実行し、
    前記カメラ間マッチングでは、
    マップベース距離に基づいてマッチングを行い、
    前記マップベース距離に基づくマッチング結果に応じて前記色ベース距離に基づいてカメラ間マッチングを行い、
    前記フレーム間マッチングでは、
    フロアマップ上での各オブジェクト間の距離を算出し、
    各カメラ映像上での各オブジェクト間の距離をそれぞれ算出し、
    前記各距離に基づいてオブジェクト間の相対距離を算出し、
    前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行することを特徴とするオブジェクト追跡方法。
  6. 視野が重なる複数のカメラ映像のフレーム画像に基づいてオブジェクトを追跡するプログラムにおいて、
    各カメラ映像からフレームごとに抽出したオブジェクトを共通のフロアマップにマッピングする処理と、
    オブジェクト間のフロアマップ上での距離を表すマップベース距離を算出する処理と、
    オブジェクト間の色の相違を表す色ベース距離を算出する処理と、
    前記マップベース距離および色ベース距離に基づいて、一のカメラ映像から抽出したオブジェクトと他の一のカメラ映像から抽出したオブジェクトとのカメラ間マッチングと、
    前記カメラ間のマッチング結果に基づいて、今回フレームから抽出したオブジェクトと前回フレームから抽出したオブジェクトとのフレーム間マッチングと、をコンピュータに実行させ
    前記カメラ間マッチングが、
    マップベース距離に基づいてマッチングを行う処理と、
    前記マップベース距離に基づくマッチング結果に応じて前記色ベース距離に基づいてマッチングを行う処理とを含み、
    前記フレーム間マッチングが、
    フロアマップ上での各オブジェクト間の距離を算出する処理と、
    各カメラ映像上での各オブジェクト間の距離をそれぞれ算出する処理と、
    前記各距離に基づいてオブジェクト間の相対距離を算出する処理とを含み、
    前記相対距離を行列要素とする相対距離行列に基づいてフレーム間マッチングを実行させることを特徴とするオブジェクト追跡プログラム。
JP2018059010A 2018-03-26 2018-03-26 オブジェクト追跡装置、方法およびプログラム Active JP6925295B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018059010A JP6925295B2 (ja) 2018-03-26 2018-03-26 オブジェクト追跡装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018059010A JP6925295B2 (ja) 2018-03-26 2018-03-26 オブジェクト追跡装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2019174868A JP2019174868A (ja) 2019-10-10
JP2019174868A5 JP2019174868A5 (ja) 2020-03-19
JP6925295B2 true JP6925295B2 (ja) 2021-08-25

Family

ID=68166897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018059010A Active JP6925295B2 (ja) 2018-03-26 2018-03-26 オブジェクト追跡装置、方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6925295B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020294259B2 (en) * 2020-08-01 2022-06-30 Sensetime International Pte. Ltd. Object association method, apparatus and system, electronic device, storage medium and computer program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法
JP2016026355A (ja) * 2015-09-18 2016-02-12 株式会社ニコン システム

Also Published As

Publication number Publication date
JP2019174868A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
US20110134221A1 (en) Object recognition system using left and right images and method
WO2012101962A1 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN110728754B (zh) 刚体标记点识别方法、装置、设备及存储介质
US11380010B2 (en) Image processing device, image processing method, and image processing program
JP2015215877A (ja) ステレオ画像の対において物体を検出する方法
CN104615998B (zh) 一种基于多视角的车辆检索方法
JP6280020B2 (ja) 移動物体追跡装置
Tanke et al. Iterative greedy matching for 3d human pose tracking from multiple views
US20190087687A1 (en) Method for locating one or more candidate digital images being likely candidates for depicting an object
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
EP3100177A1 (en) Method for recognizing objects
Führ et al. Camera self-calibration based on nonlinear optimization and applications in surveillance systems
CN105447869B (zh) 基于粒子群优化算法的摄像机自标定方法及装置
Lee et al. RS-SLAM: RANSAC sampling for visual FastSLAM
JP6925295B2 (ja) オブジェクト追跡装置、方法およびプログラム
US20220156977A1 (en) Calibration apparatus, calibration method, and non-transitory computer readable medium storing program
CN107563344B (zh) 一种基于语义区域测度学习的行人再识别方法
Fahmy et al. Stereo vision based depth estimation algorithm in uncalibrated rectification
JP2017068375A (ja) 複数のカメラ間での人物の追跡装置、追跡方法及びプログラム
CN114581875A (zh) 一种封闭场景下slam自主导航识别方法
Mizotin et al. Robust matching of aerial images with low overlap
Kim et al. Directional pedestrian counting with a hybrid map-based model
Ohta Performance evaluation of image feature detectors and descriptors for outdoor-scene visual navigation
Caramazana et al. Visual odometry correction based on loop closure detection
Song et al. Learning Local Feature Descriptor with Motion Attribute For Vision-based Localization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210803

R150 Certificate of patent or registration of utility model

Ref document number: 6925295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150