JPWO2007026744A1 - 広域分散カメラ間の連結関係推定法および連結関係推定プログラム - Google Patents
広域分散カメラ間の連結関係推定法および連結関係推定プログラム Download PDFInfo
- Publication number
- JPWO2007026744A1 JPWO2007026744A1 JP2007533280A JP2007533280A JPWO2007026744A1 JP WO2007026744 A1 JPWO2007026744 A1 JP WO2007026744A1 JP 2007533280 A JP2007533280 A JP 2007533280A JP 2007533280 A JP2007533280 A JP 2007533280A JP WO2007026744 A1 JPWO2007026744 A1 JP WO2007026744A1
- Authority
- JP
- Japan
- Prior art keywords
- route
- camera
- view
- path
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
広域における多数対象の監視及び追跡への利用を目的として、分散カメラ群の連結関係の推定法と推定プログラムを提供する。本発明の特徴は、カメラ画像の認識によるカメラ間の対象対応付けを必要としない。まず各カメラで独立に観測画像中に出入りする対象群を検出・追跡して、画像中で各対象を最初と最後に検出した各瞬間の画像座標と時刻を獲得する。各カメラで観測された全獲得データを、その検出時刻以前に観測された全カメラにおける全獲得データと仮に対応づけ、その対応データ間の経過時間ごとに対応付けられたデータ数をカウントする。この経過時間・観測回数のヒストグラム中、同一対象の移動に伴う正しい対応付けデータの経過時間は顕著なピークを示すことを利用して、このピーク検出結果に基づき、カメラ視野間の連結関係(視野の重なりの有無,入出の生じる画像座標,経過時間,通過確率)を得るものである。
Description
本発明は、広域における多数対象の監視および追跡への利用を目的として、分散カメラ群の連結関係の推定法並びに広域分散カメラ間の連結関係推定プログラムに関するものである。
実世界視覚システムを実現する上で、対象の追跡は最も基盤となる技術の一つで、特に、マルチカメラによる対象追跡は、対象を多方向から観測した詳細情報獲得や観測範囲の広域化のための重要な技術とされている。
この対象追跡にとって最も重要な機能は対象同定である。マルチカメラによる対象追跡下で、複数カメラ画像の共有視野で同時観測される対象情報の同定を行う際には、カメラ群の3次元位置および姿勢が既知であれば、検出対象の3次元位置情報の整合性を利用することにより対象同定が容易となる技術が知られている(特許文献1)。
また、カメラ入力画像に対し背景画像との比較により差分処理・2値化処理・ラベリング処理を行う方法が知られている(特許文献2)。
この対象追跡にとって最も重要な機能は対象同定である。マルチカメラによる対象追跡下で、複数カメラ画像の共有視野で同時観測される対象情報の同定を行う際には、カメラ群の3次元位置および姿勢が既知であれば、検出対象の3次元位置情報の整合性を利用することにより対象同定が容易となる技術が知られている(特許文献1)。
また、カメラ入力画像に対し背景画像との比較により差分処理・2値化処理・ラベリング処理を行う方法が知られている(特許文献2)。
但し、多数カメラによる広域観測では、カメラ同士の共有視野は狭くなる上に空間中に点在してしまい、また、通常の広域環境では往来を遮断した静的シーンの観測は難しいことから、一般的なキャリブレーションターゲットに頼ったカメラキャリブレーションは困難である。
そこで、同定容易な移動物体の同時観測結果を利用したカメラキャリブレーション方法として、同期カメラ群用のキャリブレーション方法、非同期カメラ群用のキャリブレーション方法、それにより得られた初期解の精度を向上させるキャリブレーション方法、GPS により位置の特定された広域分散ランドマークの観測結果を利用するキャリブレーション方法などが提案されている(例えば、非特許文献1を参照。)。
上記の移動物体の同時観測結果を利用したカメラキャリブレーション方法を用いたマルチカメラシステムでは、通常、図1−1(a)に示すように全観測領域を複数のカメラ視野が観測し、カメラ視野同士に重なりがあるケース(全視野連結型のカメラ配置)を想定している。
よって、会議室やロビーなどの大きな空間の詳細観測には適しているものの、さらに広域(ビル全体,屋外交通網など)における移動物体の活動状況の調査などに利用するためには、全移動経路を網羅したカメラ配置が必要になってくる。この全移動経路を網羅したカメラ配置はコスト・管理の両面から実質的に困難である。そのため、図1−1(b)に示すようなカメラ視野に重なりの無い(孤立視野の)ケース(全視野非連結型のカメラ配置)による広域追跡が必要になってくる。こうした不可視領域を含んだ対象追跡における複数カメラ間での対象同定は、上述の視野の重なり領域における対象同定と比較して非常に困難な問題である。
よって、会議室やロビーなどの大きな空間の詳細観測には適しているものの、さらに広域(ビル全体,屋外交通網など)における移動物体の活動状況の調査などに利用するためには、全移動経路を網羅したカメラ配置が必要になってくる。この全移動経路を網羅したカメラ配置はコスト・管理の両面から実質的に困難である。そのため、図1−1(b)に示すようなカメラ視野に重なりの無い(孤立視野の)ケース(全視野非連結型のカメラ配置)による広域追跡が必要になってくる。こうした不可視領域を含んだ対象追跡における複数カメラ間での対象同定は、上述の視野の重なり領域における対象同定と比較して非常に困難な問題である。
既に、この問題の対処法として、いくつかの方法が提案されているが(例えば、非特許文献2を参照。)、いずれの方法もカメラ視野間の連結関係(視野重畳領域の有無,不可視領域を挟んだ隣接視野の対応づけ,不可視経路の移動時間や通行確率など)を考慮して同定精度を上げているものである。
これらの方法では、カメラ視野間の連結関係情報を人間の手作業により与えているため、観測範囲の拡大とカメラ数の増加にともない、カメラ視野間の連結関係は急激に複雑化してしまうことから自ずと限界がある。また、長期間継続的なオンライン観測を目的とするならば、機器(カメラや制御コンピュータ)の故障や環境の変化(障害物配置の変化など)に応じて連結関係情報は自動的に更新できるべきである。
よって、人間の手作業ではなく、自動的にカメラ視野間の連結関係を推定できるキャリブレーション方法が切望されているのである。
これらの方法では、カメラ視野間の連結関係情報を人間の手作業により与えているため、観測範囲の拡大とカメラ数の増加にともない、カメラ視野間の連結関係は急激に複雑化してしまうことから自ずと限界がある。また、長期間継続的なオンライン観測を目的とするならば、機器(カメラや制御コンピュータ)の故障や環境の変化(障害物配置の変化など)に応じて連結関係情報は自動的に更新できるべきである。
よって、人間の手作業ではなく、自動的にカメラ視野間の連結関係を推定できるキャリブレーション方法が切望されているのである。
また、マルチカメラの配置として上述した全視野連結型と全視野非連結型があるが、実際のマルチカメラによる対象追跡の用途では、対象追跡の観察場所における動的状況(人物の振る舞いなど)を詳細観測しなければならない領域と広域を移動する対象の軌跡観測のみが要求される領域が混在しているのが一般的である。
本発明は、カメラ視野の重畳領域が点在する環境において、多数対象の継続的追跡に有用な分散カメラ群の連結関係を自動推定する方法を提供するものである。
本発明は、カメラ視野の重畳領域が点在する環境において、多数対象の継続的追跡に有用な分散カメラ群の連結関係を自動推定する方法を提供するものである。
一般的に、分散カメラ群の連結関係は、カメラ視野と視野中や視野間の経路によって表される。以下、本明細書中では,対象が視野へ入出する点群の中で、連続した2点を結んだ移動軌跡を「経路」と称し、また、その端点を「始点」、「終点」と称する。すなわち、経路とは、例えば、図1−1において(a),(b)中の矢印“Route”のようなものを指し、カメラ視野で最初と最後に検出された点群の中で隣接する2点同士を結んだ対象軌跡を意味するものとする。
実際には、カメラの画像中で観測されるのは三次元空間中の領域である。図1−2に示されるように、カメラから延びる円錐内の領域が三次元領域を指すことになる。図1−2の例で、観測画像の枠内に収まっていても、建物などの障害物により常時観測不可能な領域は視野外とみなすことにしている(図1−2の“Unobservable area”)。
また、経路に関して、「前フレームにおいて視野外にいた対象が新たに画像上で検出された」,「次フレームにおいて視野外に出る対象が最後に画像上で検出された」というイベントをそれぞれ視野における対象の入・出と呼ぶことにする。
対象がカメラ視野へ入出する瞬間の対象座標点群(図1−2中の点IN1,OUT1,IN2,OUT2)の中で、時系列的に連続した2点の組を経路と呼び、この2点のうち先に観測された点を始点、後に観測された点を終点と呼ぶ。
図1−2の例では、3本の経路IN1・OUT1,OUT1・IN2,IN2・OUT2が存在している。本明細書においては、x・yは、始点xから終点yまでの経路を表す意味で用いている。
図中の矢印は、経路の始点から終点に延びている。経路情報は対象が視野に入出する瞬間の情報のみにより定義され、視野内外での対象の移動軌跡は扱わないものとする。これは、本来、経路も視野と同様に三次元空間座標における情報であるが、本発明においては、画像上の二次元座標の情報のみを扱い、三次元情報復元は行わない。対象が視野に入出したデータ(カメラCの画像座標P(C)で時刻Tにおいて対象が入出したという情報)をそれぞれIN情報、OUT情報と呼ぶことにする。
実際には、カメラの画像中で観測されるのは三次元空間中の領域である。図1−2に示されるように、カメラから延びる円錐内の領域が三次元領域を指すことになる。図1−2の例で、観測画像の枠内に収まっていても、建物などの障害物により常時観測不可能な領域は視野外とみなすことにしている(図1−2の“Unobservable area”)。
また、経路に関して、「前フレームにおいて視野外にいた対象が新たに画像上で検出された」,「次フレームにおいて視野外に出る対象が最後に画像上で検出された」というイベントをそれぞれ視野における対象の入・出と呼ぶことにする。
対象がカメラ視野へ入出する瞬間の対象座標点群(図1−2中の点IN1,OUT1,IN2,OUT2)の中で、時系列的に連続した2点の組を経路と呼び、この2点のうち先に観測された点を始点、後に観測された点を終点と呼ぶ。
図1−2の例では、3本の経路IN1・OUT1,OUT1・IN2,IN2・OUT2が存在している。本明細書においては、x・yは、始点xから終点yまでの経路を表す意味で用いている。
図中の矢印は、経路の始点から終点に延びている。経路情報は対象が視野に入出する瞬間の情報のみにより定義され、視野内外での対象の移動軌跡は扱わないものとする。これは、本来、経路も視野と同様に三次元空間座標における情報であるが、本発明においては、画像上の二次元座標の情報のみを扱い、三次元情報復元は行わない。対象が視野に入出したデータ(カメラCの画像座標P(C)で時刻Tにおいて対象が入出したという情報)をそれぞれIN情報、OUT情報と呼ぶことにする。
本発明は、カメラ視野の重畳領域が点在する環境において、多数対象の継続的追跡に有用な分散カメラ群の連結関係を自動推定する方法を提供することを目的とする。ここで、カメラ群の連結関係とは、以下の2種類(クラスV情報,クラスR情報)に大別できるため、以下に種類毎に説明していく。
先ず、クラスVとは、カメラ視野間の関係を意味し、具体的には、カメラペアの全組み合わせ(任意のカメラ視野の組み合わせをCiとCj と表記)について、下記の3種類の情報(V1,V2,V3)が提供されることになる。
・V1:任意のカメラ視野のペア(CiとCj)の視野間を結ぶ経路の有無同士の重なりの有無
・V2:任意のカメラ視野のペア(CiとCj)の視野同士の重なりの有無
・V3:重なりがある場合は、CiとCj間の相対的な位置・姿勢(並進・回転)パラメータ
ここで、公知のキャリブレーション法を用いることで、上記情報V3が推定できることが知られている。
本発明は、上記情報V1およびV2の視野間関係を推定することを目的とする。
・V1:任意のカメラ視野のペア(CiとCj)の視野間を結ぶ経路の有無同士の重なりの有無
・V2:任意のカメラ視野のペア(CiとCj)の視野同士の重なりの有無
・V3:重なりがある場合は、CiとCj間の相対的な位置・姿勢(並進・回転)パラメータ
ここで、公知のキャリブレーション法を用いることで、上記情報V3が推定できることが知られている。
本発明は、上記情報V1およびV2の視野間関係を推定することを目的とする。
次に、クラスRについて説明する。クラスRは、経路の特徴(どれくらいの確率で対象が通るか,どれくらいの時間で対象が通過するかの情報)を意味する。
カメラCEの画像座標PE(CE)で時刻TEにおいて、対象の入出が検出された際、TE直前の同対象のIN/OUT情報を見つけることが対象追跡である。ここで、肩付文字B,Eは経路の始点と終点に対応するカメラおよび座標を表すものとする。以下本明細書において同様である。
対象は、経路を通過するはずなので、TE以前の全IN/OUT情報を追跡解の候補とする必要はなく、「PE(CE)付近に終点をもつ経路のいずれかの始点付近で検出された」かつ「その経路の通過に時間Tを要する場合、TEよりもT前頃に検出された」IN/OUT情報のみが候補解となる。この制約条件を確率的に表現した下記2種類の情報(R1とR2)が、座標PE(CE)付近に終点をもつ経路集合の特徴として参照される。
PEで時刻TEにおいて新たに対象が検出された際、この対象のTE以前における観測情報がPEを終点に持つ経路のクラスR情報として提供される。クラスR情報は、以下の2つの情報(R1,R2)からなる。
・R1:座標PE(CE)で入出を検出された対象が、座標PB(CB)を始点とする経路を使用した確率
・R2:経路PB(CB)・PE(CE)の通過に要する時間TE−TBがTである確率(但し、TBはPB(CB)における対象検出時刻である。)
カメラCEの画像座標PE(CE)で時刻TEにおいて、対象の入出が検出された際、TE直前の同対象のIN/OUT情報を見つけることが対象追跡である。ここで、肩付文字B,Eは経路の始点と終点に対応するカメラおよび座標を表すものとする。以下本明細書において同様である。
対象は、経路を通過するはずなので、TE以前の全IN/OUT情報を追跡解の候補とする必要はなく、「PE(CE)付近に終点をもつ経路のいずれかの始点付近で検出された」かつ「その経路の通過に時間Tを要する場合、TEよりもT前頃に検出された」IN/OUT情報のみが候補解となる。この制約条件を確率的に表現した下記2種類の情報(R1とR2)が、座標PE(CE)付近に終点をもつ経路集合の特徴として参照される。
PEで時刻TEにおいて新たに対象が検出された際、この対象のTE以前における観測情報がPEを終点に持つ経路のクラスR情報として提供される。クラスR情報は、以下の2つの情報(R1,R2)からなる。
・R1:座標PE(CE)で入出を検出された対象が、座標PB(CB)を始点とする経路を使用した確率
・R2:経路PB(CB)・PE(CE)の通過に要する時間TE−TBがTである確率(但し、TBはPB(CB)における対象検出時刻である。)
クラスRが既知であれば、あるカメラのある座標で対象が新たに検出された際、その検出時刻以前の対象検出情報とクラスRを比較して新検出対象の追跡結果の候補を絞り込むことができるのである。
上述した情報V1とV2は、カメラの相対的な位置関係と密接に関連している。カメラの位置推定には、カメラに取りつけたGPSや無線発信器による距離計測など、画像解析に依存しないセンサによる計測方法が知られている。しかし、これらの計測方法は、カメラの姿勢情報が得られない、信号を遮る遮蔽物の多い屋内では利用できない、といった欠点がある。加えて,実際の対象移動環境を観測した画像を解析しない限り、クラスR情報は獲得できないという本質的な問題がある。本発明に係る広域分散カメラ間の連結関係推定法は、重畳視野の有無が混在するカメラ群に適用ができ、クラスV(V1およびV2),クラスR(R1およびR2)の情報を推定できる、カメラ画像のみの解析に基づいた方法を提供するのである。
以上述べたように、本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムの課題は、実環境における任意対象の追跡に有用な情報を得るために、実際の観測画像情報のみを解析して、カメラ群の連結関係情報を求め得ることである。
本発明者は、種々の検討・実験を行い、研究を重ねた結果、本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムを完成するに至った。以下、本発明に係る広域分散カメラ間の連結関係推定法を説明する。
上記目的を達成するため、本発明に係る広域分散カメラ間の連結関係推定法は、マルチカメラによる対象追跡における分散カメラ群の連結関係の推定プロセスにおいて、各カメラの視野内の対象入出点の検出ステップと、全入出点を対応づける投票ステップと、投票の始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップと、各視野と経路の特徴を推定するステップとを備え、カメラの画像のみを用いて経路を検出できることを特徴とする。
上記構成において、各カメラの視野内の対象入出点の検出ステップとは、各カメラで独立に観測したカメラ画像中に出入りする対象群を検出・追跡して、カメラ画像中で対象を最初と最後に検出した各瞬間の画像座標と時刻を獲得する処理である。
また、全入出点を対応づける投票ステップとは、各カメラで観測された全獲得データを、その検出時刻以前に観測された全カメラにおける全獲得データと仮に対応づけ、その対応データ間の経過時間ごとに対応付けられたデータ数をカウントしていく処理である。この経過時間・観測回数を、例えば、ヒストグラムで表した場合に、同一対象の移動に伴う正しい対応付けデータの経過時間は顕著なピークを示すこととなるのである。
また、全入出点を対応づける投票ステップとは、各カメラで観測された全獲得データを、その検出時刻以前に観測された全カメラにおける全獲得データと仮に対応づけ、その対応データ間の経過時間ごとに対応付けられたデータ数をカウントしていく処理である。この経過時間・観測回数を、例えば、ヒストグラムで表した場合に、同一対象の移動に伴う正しい対応付けデータの経過時間は顕著なピークを示すこととなるのである。
次に、投票の始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップとは、対応付けデータの両座標および観測時刻の差を類似性に基づいて分類することによって、誤対応を除いた実在の経路に相当する対応付けデータの検出および各経路への対応付けデータの分類を行い、この分類結果に基づいてカメラ視野間の連結関係(すなわち経路情報)を取得する処理である。
また、各視野と経路の特徴を推定するステップとは、各視野間の関係の推定、視野間経路の始点終点座標と通過に要する時間の確率的表現の推定、各経路の経路タイプの推定を行う処理である。
また、各視野と経路の特徴を推定するステップとは、各視野間の関係の推定、視野間経路の始点終点座標と通過に要する時間の確率的表現の推定、各経路の経路タイプの推定を行う処理である。
また上記構成において、各視野と経路の特徴を推定するステップは、一方視野通過経路,単一視野横断経路,重畳領域通過経路,ループ経路または不可視視野間経路のいずれかの経路タイプと検出された正対応経路との比較から視野間の幾何学的関係を得ることが好ましい。
経路タイプの分類は、検出された経路集合からのカメラ視野間の関係V1及びV3の推定、および検出された経路集合からの誤検出経路の除去にも用いることができるからである。
経路タイプの分類は、検出された経路集合からのカメラ視野間の関係V1及びV3の推定、および検出された経路集合からの誤検出経路の除去にも用いることができるからである。
さらに上記構成において、広域分散カメラ間の連結関係推定法における、各視野と経路の特徴を推定するステップは、各経路に投票された始点終点座標集合から経路座標の確率的情報を推定するステップと、各経路に対応する投票の通過時間集合から経路通過時間の確率的情報を推定するステップとを少なくとも備えることが好ましい。
カメラ視野間の連結関係(入出の生じる画像座標,経過時間,通過確率)が得られるからである。
カメラ視野間の連結関係(入出の生じる画像座標,経過時間,通過確率)が得られるからである。
また上記構成において、前記始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップにおける分類は、始点座標,終点座標および通過時間を少なくともベクトル要素に含む多次元ベクトルの類似分類を用いることが好ましい。
大量のデータを観測した際の経路の通過時間の均一性および始点終点座標の均一性を統合して考慮した分類を行えるからである。
また上記構成において、前記始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップは、同一の対象入出点を持つ投票を含んだ経路間で通過時間の大小に応じて経路とその複合経路とを分類することが好ましい。
大量のデータを観測した際の経路の通過時間の均一性および始点終点座標の均一性を統合して考慮した分類を行えるからである。
また上記構成において、前記始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップは、同一の対象入出点を持つ投票を含んだ経路間で通過時間の大小に応じて経路とその複合経路とを分類することが好ましい。
また、上記広域分散カメラ間の連結関係推定法を少なくとも含む対象検出および追跡法を提供する。
また、複数カメラがネットワークで結合され、各カメラ画像データがネットワークを介してコンピュータに取り込まれるシステムにおいて、本発明に係る広域分散カメラ間の連結関係推定プログラムは、上述した広域分散カメラ間の連結関係推定法の各ステップを該コンピュータに実行させることを特徴とする。
また、上記広域分散カメラ間の連結関係推定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
また、複数カメラがネットワークで結合され、各カメラ画像データがネットワークを介してコンピュータに取り込まれるシステムにおいて、本発明に係る広域分散カメラ間の連結関係推定プログラムは、上述した広域分散カメラ間の連結関係推定法の各ステップを該コンピュータに実行させることを特徴とする。
また、上記広域分散カメラ間の連結関係推定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムでは、屋内・屋外を問わず、視野の重なりの有無が混在する分散カメラ群に対して有用で、経路タイプの分類(クラスV)の推定が行えるという効果を有する。また、実際の移動対象の軌跡を多数解析することによって経路の特徴(クラスR)の推定が行えるといった効果を有する。
また、本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムでは、対象同定に不確実性が高い対象追跡を行う必要がなく、実際に移動している対象の観測情報のみを利用するため、追跡を成功させるための観測環境の条件といったもの(例えば、連結関係学習時には観測環境中を1対象のみが移動するといった条件など)は必要ない。
また、センサ(GPS等)を使ったキャリブレーション,環境を限定した(環境中の移動対象数を減らす,検出・追跡しやすいLEDなどのランドマークを利用する等)キャリブレーションとは異なり、カメラ画像の認識のみによる移動対象の同定に基づいた連結関係の推定を行えるので、カメラ配置に制約はなく自由に配置が行えるといった効果を有する。
以下、本発明の実施形態について、図2に示す本発明に係る分散カメラ視野間の連結関係推定法の全体処理フロー図を参照しながら詳細に説明していく。
本発明に係る分散カメラ視野間の連結関係推定法は、各カメラ視野内の対象入出点の検出ステップ(S1),全入出点の仮対応付け投票ステップ(S2),正対応経路と誤対応経路の分類ステップ(S3),各視野と経路の特徴の推定ステップ(S4)ら構成される。以下、各ステップに分けて順をおって説明していくこととする。
本発明に係る分散カメラ視野間の連結関係推定法は、各カメラ視野内の対象入出点の検出ステップ(S1),全入出点の仮対応付け投票ステップ(S2),正対応経路と誤対応経路の分類ステップ(S3),各視野と経路の特徴の推定ステップ(S4)ら構成される。以下、各ステップに分けて順をおって説明していくこととする。
(各カメラ視野内の入出点対象の検出ステップ:S1)
本発明に係る広域分散カメラ間の連結関係推定法の目的は、カメラ群の連結関係を推定することであるが、このカメラ群の連結関係は、カメラ視野と視野中や視野間の経路によって表されるものである。そこで、本発明では、先ず、経路を検出して、次に各経路を通過した対象の観測情報に基づいて視野間連結情報を推定することとした。
本発明に係る広域分散カメラ間の連結関係推定法の目的は、カメラ群の連結関係を推定することであるが、このカメラ群の連結関係は、カメラ視野と視野中や視野間の経路によって表されるものである。そこで、本発明では、先ず、経路を検出して、次に各経路を通過した対象の観測情報に基づいて視野間連結情報を推定することとした。
ここで、経路はその始点と終点によって定まり、始点と終点は視野における対象の入出点と対応するものである。よって、経路検出のために最低限必要となる情報は対象の入出点となる。対象の入出点を得るためには、カメラ画像中からの対象領域検出および検出対象情報を時系列的に対応づけて各対象の入出点を得るための対象追跡が必要である。
対象検出・追跡については、それぞれ動的環境下における頑健な任意対象検出、相互遮蔽に頑健な対象追跡などが数多く提案されている。
対象検出・追跡については、それぞれ動的環境下における頑健な任意対象検出、相互遮蔽に頑健な対象追跡などが数多く提案されている。
ここで、対象検出は、対象追跡を目的とした場合、画像中の検出領域に多少の過検出・検出漏れがあっても大きな問題にはならないことや、遮蔽などにより短期間の検出遅れや未検出が生じても、対象の入出を全く検出できない可能性は極めて低いという理由から、十分安定に検出結果を得ることができるのである。
一方、対象追跡では、障害物による長時間の遮蔽や見えの類似した移動物体同士の相互遮蔽により失敗が起こり易く、追跡開始時と終了時において同一対象情報が正しく対応付いている可能性は十分に高いとは言えない問題がある。しかし、対象検出の信頼性が高ければ、各対象が視野内に入った瞬間・視野外に出た瞬間を正しく検出するための短期間の追跡結果は信頼できる。よって、複数カメラの視野間を移動するというイベントの解析に対して最も重要である視野への入出情報(視野への入出が起きる画像座標とその時刻)は、既存の手法により安定して得ることが可能なのである。
このことから、本発明に係る推定法では、このカメラ視野への入出点情報のみを利用することにしたものである。
対象のカメラ視野への入出点情報から経路検出を行うためには、対象の入出点と経路の始点終点を対応づける必要がある。以下本明細書においては、対象がカメラ視野に入ったデータ(観測画像座標と時刻,およびカメラ識別子)をIN情報と称し、カメラ視野から出たデータをOUT情報と称することとする。経路の始点終点は、同一対象の連続したIN/OUT情報のペアと対応していることになる。
ここで、経路の種類について以下に説明する。カメラ視野の重なりの有無が混在するマルチカメラシステムでは、観測空間中で図3に示すような対象の入出が起こり得る。図3中のINi,OUTi(iはカメラ識別子)は、それぞれ対象がカメラ視野へ侵入する点(各カメラ視野における新対象の検出点)、カメラ視野から退出する点(カメラ視野内の追跡終了点)を表すものとする。
IN/OUT,OUT・IN,IN・IN,又は,OUT・OUTといった連続するINまたはOUTのペアにより経路が構成される。ここで、X・Yは点Xから点Yまでの経路を表すものとする。
IN/OUT,OUT・IN,IN・IN,又は,OUT・OUTといった連続するINまたはOUTのペアにより経路が構成される。ここで、X・Yは点Xから点Yまでの経路を表すものとする。
図3の(a)単一視野は単一のカメラ視野における入出を示し、(b)部分重なり,(c)包含,(d)重なり無しは、2つのカメラ視野間の入出を示している。3つ以上のカメラ視野構成における入出の全ては、(a)〜(d)の組み合わせにより表現できることになる。
図3から全経路を以下の経路タイプ1〜経路タイプ5の5種類に分類が可能である。
図3から全経路を以下の経路タイプ1〜経路タイプ5の5種類に分類が可能である。
(1)先ず、INi・INj 又は OUTp・OUTq(ここで、i,j,p,qは任意のインデックスである。)は、2つの視野で構成される経路タイプ1に分類される。
・経路タイプ1:一方視野通過経路
重なりを持つ2つのカメラ視野のうち、片方のカメラ視野内にのみ含まれる経路のことを意味する。例えば、図3の中で経路タイプ1に属するものは、図3中の(b)のIN3・IN4,OUT3・OUT4,と図3中の(c)のIN5・IN6,OUT6・OUT5である。
(2)次に、INj・OUTjは、INiとOUTjを観測した視野内に存在し、この始点と終点を観測した視野の組合せに応じて以下の経路タイプ2と経路タイプ3の2種類に分類される。
・経路タイプ2:単一視野横断経路
INiとOUTjが同一のカメラ視野の入出点である場合は、INi・OUTjは単一カメラ視野内を横断する経路のことを意味する。例えば、図3の中で経路タイプ2に属するものは、図3中の(a)のIN1・OUT1と図3中の(c)のIN6・OUT6と図3中の(d)のIN7・OUT7,IN8・OUT8である。
・経路タイプ3:重畳領域通過経路
INiとOUTjが異なるカメラ視野の入出点である場合は、INi・OUTjは重なりのあるカメラ視野間の経路のことを意味する。例えば、図3の中で経路タイプ3に属するものは、図3中の(b)のIN4・OUT3である。
(3)OUTi・INjは、OUTiとINjを観測した視野の外に存在し、この始点と終点を観測した視野の組合せに応じて、以下の経路タイプ4と経路タイプ5の2種類に分類される。
・経路タイプ4:ループ経路
OUTiとINjが同一カメラ視野の入出点である場合は、OUTi・INjはカメラ視野を出た後に同一視野に戻る経路のことを意味する。例えば、図3の中で経路タイプ4に属するものは、図3中の(a)のOUT2・IN2である。
・経路タイプ5:不可視視野間経路
OUTiとINjが異なるカメラ視野の入出点である場合は、OUTi・INjは重なりの無いカメラ視野間の経路のことを意味する。例えば、図3の中で経路タイプ5に属するものは、図3中の(d)のOUT7・IN8である。
・経路タイプ1:一方視野通過経路
重なりを持つ2つのカメラ視野のうち、片方のカメラ視野内にのみ含まれる経路のことを意味する。例えば、図3の中で経路タイプ1に属するものは、図3中の(b)のIN3・IN4,OUT3・OUT4,と図3中の(c)のIN5・IN6,OUT6・OUT5である。
(2)次に、INj・OUTjは、INiとOUTjを観測した視野内に存在し、この始点と終点を観測した視野の組合せに応じて以下の経路タイプ2と経路タイプ3の2種類に分類される。
・経路タイプ2:単一視野横断経路
INiとOUTjが同一のカメラ視野の入出点である場合は、INi・OUTjは単一カメラ視野内を横断する経路のことを意味する。例えば、図3の中で経路タイプ2に属するものは、図3中の(a)のIN1・OUT1と図3中の(c)のIN6・OUT6と図3中の(d)のIN7・OUT7,IN8・OUT8である。
・経路タイプ3:重畳領域通過経路
INiとOUTjが異なるカメラ視野の入出点である場合は、INi・OUTjは重なりのあるカメラ視野間の経路のことを意味する。例えば、図3の中で経路タイプ3に属するものは、図3中の(b)のIN4・OUT3である。
(3)OUTi・INjは、OUTiとINjを観測した視野の外に存在し、この始点と終点を観測した視野の組合せに応じて、以下の経路タイプ4と経路タイプ5の2種類に分類される。
・経路タイプ4:ループ経路
OUTiとINjが同一カメラ視野の入出点である場合は、OUTi・INjはカメラ視野を出た後に同一視野に戻る経路のことを意味する。例えば、図3の中で経路タイプ4に属するものは、図3中の(a)のOUT2・IN2である。
・経路タイプ5:不可視視野間経路
OUTiとINjが異なるカメラ視野の入出点である場合は、OUTi・INjは重なりの無いカメラ視野間の経路のことを意味する。例えば、図3の中で経路タイプ5に属するものは、図3中の(d)のOUT7・IN8である。
この経路の分類に基づいて、その経路の始点と終点を測定したカメラ視野の連結関係(クラスV情報)を求めることができる。但し、本明細書における経路の定義は、「対象軌跡中の連続する2点を始点終点に持つ線」である。例えば、図4に示すような複数のカメラ視野を包含するカメラ視野を対象が通過する場合には、他のカメラ視野をまたいだカメラ視野の入出点ペア(例えば、図4のIN1・IN3などのように複数の経路の連結からなる複合経路)は経路として検出されない。よって、経路のみに対する処理でカメラ視野間の関係を求めた場合は、経路を持たないが重なりのあるカメラ視野ペア(例えば、図4のカメラ視野C1とC3など)の関係が検出できない。
そこで、経路の連結からなる複合経路に対しても経路タイプを当てはめることとし、その両端のカメラ視野間の関係を求める必要がある。本発明では、経路検出の過程で複合経路も求まるため、必要なカメラ視野間関係をもれなく得ることが可能となるのである。
そこで、経路の連結からなる複合経路に対しても経路タイプを当てはめることとし、その両端のカメラ視野間の関係を求める必要がある。本発明では、経路検出の過程で複合経路も求まるため、必要なカメラ視野間関係をもれなく得ることが可能となるのである。
上述の(1)〜(5)の経路タイプの分類は、検出された経路集合からのカメラ視野の連結関係V1とV3の推定、および後述する誤検出経路の除去に用いることができる。
(全入出点の仮対応付け投票ステップ:S2)
次に、全入出点を対応付ける投票ステップ(S2)について説明する。
複数対象が同時に移動する環境下では,単純に時系列的に連続するIN/OUT 情報のペアを経路の始点終点と見なすことができない。そのため、大量のデータを観測した際の経路の通過時間の均一性と始点終点座標の均一性に着目することにした。
次に、全入出点を対応付ける投票ステップ(S2)について説明する。
複数対象が同時に移動する環境下では,単純に時系列的に連続するIN/OUT 情報のペアを経路の始点終点と見なすことができない。そのため、大量のデータを観測した際の経路の通過時間の均一性と始点終点座標の均一性に着目することにした。
先ず、通過時間の均一性について説明する。通過時間の均一性とは、ある種類の対象(歩行者,走っている人,車など)が各経路を通過する際には、途中で止まったり、観測環境外へ移動してしまうような特殊な状況を除いてほぼ同程度の時間を要するというものである。従って、大量にIN/OUT情報を観測して、全ての組み合わせ可能なIN/OUT情報のペアを仮に経路の始点終点と見なして、その間の経過時間を計算すると、実在経路に相当するペア間の経過時間の観測頻度は高くなることになる。
この通過時間の均一性を考慮にいれて経路の検出・分類を行うと、同じ経路を大きく異なる速度で通過する対象が存在する場合、位置的には同じ経路が通過時間の違いによって異なる経路として検出されてしまうことが起こる。ただし、本発明に係る推定法の目的は、対象追跡に利用する分散カメラ群の連結関係を推定することであり、その中の視野間連結情報には各経路の通過に要する時間情報が含まれている。従って、大きく通過時間の異る経路が別経路として表現されることに問題は生じないのである。
次に、始点終点座標の均一性について説明する。始点終点座標の均一性とは、観測時刻の差が同程度になるIN/OUT情報のペアの中には、偶然に、その時間間隔で観測された異なる対象軌跡のIN/OUT情報ペアも含まれてしまうことがある。さらに、実在経路の始点終点に相当するIN/OUT 情報ペアの中にも、通過時間が等しい複数の経路の始点終点に対応するペアが含まれる可能性がある。しかし,各経路はそれぞれ異なる始点終点のカメラと画像座標によって構成されるため、始点終点のIN/OUT情報の類似性に基づいて各IN/OUT情報のペアはそれぞれ適切な経路の情報として分類することが可能である。
以下、本明細書では、誤対応から成る経路を誤対応経路、正対応から成る経路を正対応経路と称することにする。
以下、本明細書では、誤対応から成る経路を誤対応経路、正対応から成る経路を正対応経路と称することにする。
この分類処理の結果、対象の移動のたびに必ず観測される正対応経路と比べて,誤対応経路に分類されるIN/OUT情報の数は極めて小さくなるはずである。
さて、これらの通過時間の均一性および始点終点座標の均一性に基づいて経路検出を行うためには、まずIN/OUT情報の全仮対応付けを獲得する必要がある。
本発明に係る推定法では、まず視野への対象の入出を大量に観測して得られるIN/OUT情報間の中で、各IN/OUT情報をその観測時間よりも以前に検出された全カメラの全IN/OUT情報とペアとして対応づけ、それぞれを仮に経路の終点・始点と見なすことにしている。
ただし、十分に長時間離れて観測されたIN/OUT情報同士の対応付けを考慮する必要はなく、観測時刻の間隔がある閾値以内のIN/OUT情報の対応付けのみを考慮すれば十分である。
本発明に係る推定法では、まず視野への対象の入出を大量に観測して得られるIN/OUT情報間の中で、各IN/OUT情報をその観測時間よりも以前に検出された全カメラの全IN/OUT情報とペアとして対応づけ、それぞれを仮に経路の終点・始点と見なすことにしている。
ただし、十分に長時間離れて観測されたIN/OUT情報同士の対応付けを考慮する必要はなく、観測時刻の間隔がある閾値以内のIN/OUT情報の対応付けのみを考慮すれば十分である。
IN/OUT情報の仮対応付け集合は、その始点および終点のIN/OUT情報が観測されたカメラに応じてそれぞれ独立の仮対応付け集合として取り扱われる。すなわち、始点がカメラB,終点がカメラEに相当する仮対応付け集合をSB,Eと表記すると、始点,終点がそれぞれカメラB,カメラEで観測されたIN/OUT情報同士の仮対応付けは集合SB,Eに投票されることとなる。ここで、カメラ数Nに対してはNP2+N個の始点終点のカメラペアが可能である。
(正対応経路と誤対応経路の分類ステップ:S3)
次に、上記処理によって求められた多数投票結果から対象経路を検出する処理、すなわち、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップ(S3)について説明する。
次に、上記処理によって求められた多数投票結果から対象経路を検出する処理、すなわち、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップ(S3)について説明する。
先ず、集合を各始点終点のカメラペア毎に、例えば、ヒストグラム(横軸が経路間の経過時間,縦軸が観測回数)表示を行う。このヒストグラム表示においては、正対応経路の通過時間に相当する投票数は顕著に大きな値を示すこととなる。これは、上述した通過時間の均一性という特徴を表しているものである。本発明に係る推定法は、単純なピーク検出で経路検出を行うのではなく、上述した通過時間の均一性および始点終点座標の均一性を統合して考慮した分類により、経路検出を行っているものである。
これは、単純なピーク検出による経路検出には、以下に示すいくつかの問題があるためである。
これは、単純なピーク検出による経路検出には、以下に示すいくつかの問題があるためである。
第1の問題点は、単純なピーク検出による経路検出の場合、ある経路を通る対象の移動時間は、時間軸のサンプリング単位内に収まらずばらつくため、複数ピークが近い時間間隔に存在するときれいなピークは観測されないということである。
また、第2の問題点は、経過時間の値が近い正対応経路が複数存在すると、それらに相当する投票結果が同じ離散移動時間内に含まれてしまうということである。
また、第3の問題点は、投票結果には正対応だけではなく誤対応も混在しているということである。
また、第2の問題点は、経過時間の値が近い正対応経路が複数存在すると、それらに相当する投票結果が同じ離散移動時間内に含まれてしまうということである。
また、第3の問題点は、投票結果には正対応だけではなく誤対応も混在しているということである。
これらの問題を軽減するため、まず観測された入出点座標集合を近接する入出点ごとに分類して、この分類点群(経路の始点終点に相当)の間の経過時間をヒストグラムに投票してピークを検出することとした。この処理により各ヒストグラムには、ある始点または終点を端点に持つ経路情報のみが投票され、ピーク検出が容易になる。
ただし、各画像で独立に入出点分類が行われており始点終点の結び付きが考慮されないこと、入出点座標集合の分類はガウス混合分布に基づいたクラス識別により行われているが、クラス数(各画像中の始点終点の数)は未知であること、複数の経路の端点が近接する場合に誤って別々に分類されるべき点が一点に分類されると、複数経路のクラスR情報が一つの経路情報中に混在してしまうことといった問題がある。
ただし、各画像で独立に入出点分類が行われており始点終点の結び付きが考慮されないこと、入出点座標集合の分類はガウス混合分布に基づいたクラス識別により行われているが、クラス数(各画像中の始点終点の数)は未知であること、複数の経路の端点が近接する場合に誤って別々に分類されるべき点が一点に分類されると、複数経路のクラスR情報が一つの経路情報中に混在してしまうことといった問題がある。
正対応経路の中には、推定目標である経路だけでなく複数経路の組み合わせによる複合経路も含まれるが、ピーク検出だけではこの二種類の経路の識別が不可能である。
また、詳細な経路タイプ分類まで考慮されていないといった問題がある。
また、詳細な経路タイプ分類まで考慮されていないといった問題がある。
そこで、本発明に係る推定法では、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップ(S3)において、IN/OUT情報の仮対応付けられた各集合Si,jごとに、投票結果の始点終点の画像座標と経過時間を並べた5次元ベクトルの分類を行い、Si,jから正対応経路のみを抽出し、それを各経路に相当する投票結果ごとに分類することにしている。
以下、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップ(S3)を、図5に示す正対応経路と誤対応経路の分類処理フロー図を参照しながら、処理1〜処理5に分けて説明する。
処理1:多次元ベクトル化処理(S31)
IN/OUT情報の仮対応付けられた各集合Si,j中の、各投票結果の始点終点座標と経過時間からなる5次元ベクトル集合を{V1,・・・,VNi,j} とする。
ここで、Vi=(xB i,yB i,xE i,yE i,ti) は、始点、終点の画像座標(xB i,yB i),(xE i,yE i) (但し、i ∈ {1,・・・,Ni,j})とこの始点終点間の経過時間tiからなる5次元ベクトルである。また、Ni,jはSi,j中の投票総数である。
処理2:正規化処理(S32)
画像座標と経過時間には全く異なるオーダーの値が入力されることになるため正規化する。
処理3:分類処理(S33)
次に、{V1,・・・,VNi,j}をLBG(Linde-Buzo-Gray)アルゴリズムにより分類する。LBGアルゴリズムとは、集合中のベクトルを類似性に基づいて2分割し、得られた各部分集合のコードベクトル(集合中のベクトルを最も良く近似した代表ベクトル)を求めるものである。本発明に係る推定法では、分割生成された部分集合ごとに、その全要素からコードベクトルまでの平均距離が閾値以下になるまで分割を繰り返している。また、閾値には、正対応経路と誤対応経路が異なる部分集合に分類されるように、十分小さな値を経験的に与えることにしている。この処理3により、各正対応経路に対応する正対応経路集合と誤対応経路集合の分類が行えることとなる。
この処理3の良くない結果として、ある経路に対応する投票結果が分割されたとしても、この過分割は検出経路情報を対象追跡に用いる際には特に問題にならないと考える。その理由としては、対象追跡時に、あるカメラの座標Xにおいて新たに対象が検出された場合に、座標Xを終点とする可能性のある全経路をこの対象の通過済経路の候補として選び出し、これらの経路情報を統合して対象同定に必要な情報を得るからである。過分割された経路情報は全て候補として選ばれることになる。
(4)処理4:誤対応経路の除去処理(S34)
上記処理1乃至3によりSi,jから得られる各部分集合に含まれるベクトルの総数を求めて、その数が(平均−標準偏差の2.5倍)未満である部分集合を、投票数が極めて小さい誤対応経路として除去する。
処理5:経路タイプとの比較処理(S35)
上記処理1乃至4により、ほとんどのケースでは正対応経路のみを検出できることになる。
しかし誤対応経路が極端に多い場合、前記処理4により誤対応経路が除去し切れない可能性がある。そこで、本処理により、この除去し切れない誤対応経路を経路タイプと比較処理することにより除去するのである。
例えば、始点と終点がIN・IN,またはOUT・OUTとなる経路タイプ1 は、必ず始点と終点の視野が異なることになる。よって、始点と終点がIN・IN,またはOUT・OUTで、かつ、始点と終点の視野が等しい経路は誤対応経路として除去できることとなるのである。
処理1:多次元ベクトル化処理(S31)
IN/OUT情報の仮対応付けられた各集合Si,j中の、各投票結果の始点終点座標と経過時間からなる5次元ベクトル集合を{V1,・・・,VNi,j} とする。
ここで、Vi=(xB i,yB i,xE i,yE i,ti) は、始点、終点の画像座標(xB i,yB i),(xE i,yE i) (但し、i ∈ {1,・・・,Ni,j})とこの始点終点間の経過時間tiからなる5次元ベクトルである。また、Ni,jはSi,j中の投票総数である。
処理2:正規化処理(S32)
画像座標と経過時間には全く異なるオーダーの値が入力されることになるため正規化する。
処理3:分類処理(S33)
次に、{V1,・・・,VNi,j}をLBG(Linde-Buzo-Gray)アルゴリズムにより分類する。LBGアルゴリズムとは、集合中のベクトルを類似性に基づいて2分割し、得られた各部分集合のコードベクトル(集合中のベクトルを最も良く近似した代表ベクトル)を求めるものである。本発明に係る推定法では、分割生成された部分集合ごとに、その全要素からコードベクトルまでの平均距離が閾値以下になるまで分割を繰り返している。また、閾値には、正対応経路と誤対応経路が異なる部分集合に分類されるように、十分小さな値を経験的に与えることにしている。この処理3により、各正対応経路に対応する正対応経路集合と誤対応経路集合の分類が行えることとなる。
この処理3の良くない結果として、ある経路に対応する投票結果が分割されたとしても、この過分割は検出経路情報を対象追跡に用いる際には特に問題にならないと考える。その理由としては、対象追跡時に、あるカメラの座標Xにおいて新たに対象が検出された場合に、座標Xを終点とする可能性のある全経路をこの対象の通過済経路の候補として選び出し、これらの経路情報を統合して対象同定に必要な情報を得るからである。過分割された経路情報は全て候補として選ばれることになる。
(4)処理4:誤対応経路の除去処理(S34)
上記処理1乃至3によりSi,jから得られる各部分集合に含まれるベクトルの総数を求めて、その数が(平均−標準偏差の2.5倍)未満である部分集合を、投票数が極めて小さい誤対応経路として除去する。
処理5:経路タイプとの比較処理(S35)
上記処理1乃至4により、ほとんどのケースでは正対応経路のみを検出できることになる。
しかし誤対応経路が極端に多い場合、前記処理4により誤対応経路が除去し切れない可能性がある。そこで、本処理により、この除去し切れない誤対応経路を経路タイプと比較処理することにより除去するのである。
例えば、始点と終点がIN・IN,またはOUT・OUTとなる経路タイプ1 は、必ず始点と終点の視野が異なることになる。よって、始点と終点がIN・IN,またはOUT・OUTで、かつ、始点と終点の視野が等しい経路は誤対応経路として除去できることとなるのである。
上記処理1乃至5は、全ての仮対応付け集合Si,jに対して行われる。その結果、得られた各部分集合が、それぞれ一つの正対応経路に対応することになる。
以下の明細書においては、上記処理1乃至5から得られた正対応経路をRB,E={RB,E i |i ∈ {1, ・・・,NB,E}})と表記することにする。NB,Eはその始点カメラBと終点カメラEにおける検出経路数である。また、経路RB,E iに分類された正対応経路集合(すなわち上記処理1乃至5の部分集合)をTCSB,E iと表記することにする。
以下の明細書においては、上記処理1乃至5から得られた正対応経路をRB,E={RB,E i |i ∈ {1, ・・・,NB,E}})と表記することにする。NB,Eはその始点カメラBと終点カメラEにおける検出経路数である。また、経路RB,E iに分類された正対応経路集合(すなわち上記処理1乃至5の部分集合)をTCSB,E iと表記することにする。
上述の処理1乃至5で得られた正対応経路の中には、連続する検出目標経路が繋がって形成されている複合経路も含まれている。この過検出した複合経路は、同一点を終点に有し、かつ異なる視野に始点を持つ経路集合の検出を行うことにより除去できる。以下、複合経路の除去処理について説明する。
(複合経路の除去処理)
(a)処理a
あるカメラ視野Eが終点、かつ異なるカメラ視野BiとBjを始点とする正対応経路の集合をRBi,EとRBj,Eと表した場合に、RBi,E中の正対応経路pに分類された対応付け集合TCSBi,E pとRBj,E中の正対応経路qに分類された対応付け集合TCSBj,E qの中に、終点が同じ観測結果(IN/OUT情報)が含まれていると仮定して、終点が同じIN/OUT情報の対応付けのうち、TCSBi,E p中の対応付けの始点終点間の経過時間のほうがTCSBj,E q中の対応付けのそれよりも長い場合には、前者に対応する経路RBi,E pは、後者に対応する経路RBj,E qとその他の経路の複合経路である可能性が高いと判定する。
(b)処理b
上記処理aでは対応付け集合の中の一つの対応付けでのみ判定を行っているため、集合中の全対応付け同士を比較して複合経路の候補RBi,E pとその構成経路RBj,E qの関係を確認する必要がある。TCSBi,E pとTCSBj,E qに含まれる対応付け間で、終点が同じで、かつTCSBi,E pの対応付けの経過時間のほうが長いIN/OUT情報の対応付けの割合を計算する。この割合が閾値を超える場合、複合経路の候補RBi,E pを複合経路とみなして除去するのである。
(c)処理c
上記処理a〜bを、全ての視野をカメラ視野Eとみなして総カメラ数回だけ実行する。
(a)処理a
あるカメラ視野Eが終点、かつ異なるカメラ視野BiとBjを始点とする正対応経路の集合をRBi,EとRBj,Eと表した場合に、RBi,E中の正対応経路pに分類された対応付け集合TCSBi,E pとRBj,E中の正対応経路qに分類された対応付け集合TCSBj,E qの中に、終点が同じ観測結果(IN/OUT情報)が含まれていると仮定して、終点が同じIN/OUT情報の対応付けのうち、TCSBi,E p中の対応付けの始点終点間の経過時間のほうがTCSBj,E q中の対応付けのそれよりも長い場合には、前者に対応する経路RBi,E pは、後者に対応する経路RBj,E qとその他の経路の複合経路である可能性が高いと判定する。
(b)処理b
上記処理aでは対応付け集合の中の一つの対応付けでのみ判定を行っているため、集合中の全対応付け同士を比較して複合経路の候補RBi,E pとその構成経路RBj,E qの関係を確認する必要がある。TCSBi,E pとTCSBj,E qに含まれる対応付け間で、終点が同じで、かつTCSBi,E pの対応付けの経過時間のほうが長いIN/OUT情報の対応付けの割合を計算する。この割合が閾値を超える場合、複合経路の候補RBi,E pを複合経路とみなして除去するのである。
(c)処理c
上記処理a〜bを、全ての視野をカメラ視野Eとみなして総カメラ数回だけ実行する。
全カメラに対して処理を適用した後に、最終的に残る経路集合は、処理を行うカメラの順序に依存することなく一定である。上記処理a乃至cによって、複合経路が全て除去されることとなり、始点終点間の経過時間が最短の検出目標経路のみが残るのである。
以上の処理により、本発明に係る推定目標の1つである全経路の検出が終了する。
以上の処理により、本発明に係る推定目標の1つである全経路の検出が終了する。
(正対応投票結果からの対象追跡)
上述したように、本発明ではカメラ視野間を結ぶ経路を検出するために、入出点ペアの投票を行っている。この投票結果の中で、各正対応経路に相当する正対応集合中には、その経路の始点終点を通過した同一対象のIN/OUT情報のペアが投票されている。
すなわち、正対応集合中の各投票結果は、カメラ視野間を移動した対象の追跡結果に相当する。従って、本発明は、経路検出の過程でオフラインの対象追跡を行うことができることが理解できよう。
上述したように、本発明ではカメラ視野間を結ぶ経路を検出するために、入出点ペアの投票を行っている。この投票結果の中で、各正対応経路に相当する正対応集合中には、その経路の始点終点を通過した同一対象のIN/OUT情報のペアが投票されている。
すなわち、正対応集合中の各投票結果は、カメラ視野間を移動した対象の追跡結果に相当する。従って、本発明は、経路検出の過程でオフラインの対象追跡を行うことができることが理解できよう。
(各視野と経路の特徴の推定ステップ:S4)
次に、各視野と経路の特徴の推定ステップ(S4)について説明する。各視野と経路の特徴の推定ステップは、検出経路集合からのカメラ視野間連結関係情報の推定処理と、経路の始点情報と始点終点間の経過時間情報を取得処理から構成される。
(1)検出経路集合からのカメラ視野間連結関係情報の推定処理
検出された各経路は、上述した5種類の経路タイプと比較してそれぞれに分類できる。例えば、始点と終点がIN・IN,またはOUT・OUTである全経路はタイプ1の経路に分類される。但し、重なりのあるカメラ視野関係をもれなく検出するためには、上述したように経路以外の入出点ペアも分類対象とする必要がある。このため、本発明で分類対象とするのは、全ての正対応経路集合である。
次に、各視野と経路の特徴の推定ステップ(S4)について説明する。各視野と経路の特徴の推定ステップは、検出経路集合からのカメラ視野間連結関係情報の推定処理と、経路の始点情報と始点終点間の経過時間情報を取得処理から構成される。
(1)検出経路集合からのカメラ視野間連結関係情報の推定処理
検出された各経路は、上述した5種類の経路タイプと比較してそれぞれに分類できる。例えば、始点と終点がIN・IN,またはOUT・OUTである全経路はタイプ1の経路に分類される。但し、重なりのあるカメラ視野関係をもれなく検出するためには、上述したように経路以外の入出点ペアも分類対象とする必要がある。このため、本発明で分類対象とするのは、全ての正対応経路集合である。
また、得られた5種類の経路タイプ分類に基づいて、カメラ視野間の連結情報である経路のクラスV1情報とクラスV3情報を取得できるのである。
ここで、クラスV1とは、経路タイプ1,3を間に持つカメラ視野ペアには重なりがあり、その他の視野の組み合わせ間には重なりがないというものである。
また、クラスV3とは、経路タイプ5を間に持つ視野ペアの間には不可視経路が存在し、その他の重なりのない視野ペア間には経路がないというものである。
ここで、クラスV1とは、経路タイプ1,3を間に持つカメラ視野ペアには重なりがあり、その他の視野の組み合わせ間には重なりがないというものである。
また、クラスV3とは、経路タイプ5を間に持つ視野ペアの間には不可視経路が存在し、その他の重なりのない視野ペア間には経路がないというものである。
(2)経路の始点情報と始点終点間の経過時間情報を取得処理
次に、全経路の始点終点の平均座標データおよび分散データから経路の始点情報と始点終点間の経過時間情報を取得処理について説明する。
各経路rに分類された正対応経路の集合から、rの始点と終点それぞれの平均(x, y) 座標μB r,μE r,および共分散行列ΣB r,ΣE rを求める。この平均座標と共分散行列および集合中の正対応付けの数Ncrを重みとして、クラスR1情報(すなわち、カメラ視野CEの画像座標PEにおいて新たに対象が検出された際、カメラ視野CBの座標PBで、その対象が最後に観測されていた確率PR1(CB,PB,CE,PE))は、以下に示す手順(a)〜(c)により求める。
次に、全経路の始点終点の平均座標データおよび分散データから経路の始点情報と始点終点間の経過時間情報を取得処理について説明する。
各経路rに分類された正対応経路の集合から、rの始点と終点それぞれの平均(x, y) 座標μB r,μE r,および共分散行列ΣB r,ΣE rを求める。この平均座標と共分散行列および集合中の正対応付けの数Ncrを重みとして、クラスR1情報(すなわち、カメラ視野CEの画像座標PEにおいて新たに対象が検出された際、カメラ視野CBの座標PBで、その対象が最後に観測されていた確率PR1(CB,PB,CE,PE))は、以下に示す手順(a)〜(c)により求める。
(a)カメラ視野CEに終点を持つ全経路 R・,E=R・,E 1,・・・,R・,E N(R・,E iは終点のみが決まっている経路を表す)について、経路R・,E iの終点Epi(平均座標がμE i,共分散行列がΣE i)の座標が、新検出座標PEとなる確率Q(PE,μE i,ΣE i) を正規分布と仮定し、下記数1により求めるものである。また、このQ(PE,μE i,ΣE i)に重みNciをかけたちの総和を用いて、新検出座標PEが経路R・,E iの終点EPiに対応する確率P(PE,EPi)を下記数2により求める。
(b)経路R・,E iの中で、カメラ視野CBに始点を持つ経路の集合をRB,E =RB,E 1,・・・,RB,E Nとすると、上記処理(1)と同様に、RB,E中の全経路について、経路RB,E jの始点Bpjの座標がPBとなる確率Q(PB,μB j,ΣB j)を上記数1により求めることができる。
(c)この確率Qに同一経路の確率Pをかけた値の総和が、本発明に係る推定法の目的であるクラスR1情報となるのである。クラスR1情報は下記数3により得ることができる。
以上説明したように、全経路の始点終点の平均座標・共分散と観測された対応付け総数から、あらゆる視野・座標同士を始点終点と見なした際のクラスR1情報を推定可能である。
一方、クラスR2情報は、各経路rに投票された正対応経路の集合中の始点終点間の移動に要した経過時間の平均μB,E rおよび分散σB,E rから算出することが可能である。
上記数1に基づいて算出されるQ(T,μB,E r,σB,E r) が、この経路rの移動に要する時間がTである確率を表している。
対象追跡時にクラスR情報を利用する際には、クラスR1情報から得られた確率とクラスR2情報から得られた確率をかけあわせたPR1(CB,PB,CE,PE)・Q(T,μB,E r,σB,E r)を、対象がカメラ視野CBの座標PBからカメラ視野CEの座標PEに移動し、かつその経過時刻がTであった確率として得ることができるのである。
一方、クラスR2情報は、各経路rに投票された正対応経路の集合中の始点終点間の移動に要した経過時間の平均μB,E rおよび分散σB,E rから算出することが可能である。
上記数1に基づいて算出されるQ(T,μB,E r,σB,E r) が、この経路rの移動に要する時間がTである確率を表している。
対象追跡時にクラスR情報を利用する際には、クラスR1情報から得られた確率とクラスR2情報から得られた確率をかけあわせたPR1(CB,PB,CE,PE)・Q(T,μB,E r,σB,E r)を、対象がカメラ視野CBの座標PBからカメラ視野CEの座標PEに移動し、かつその経過時刻がTであった確率として得ることができるのである。
IN/OUT情報の仮対応付けの獲得について、図6を参照して説明する。図6は、カメラ3台が2種類の対象軌跡を観測している場合を表しており、検出目標である経路は、IN1・IN2,IN2・OUT1,OUT1・OUT2,IN4・OUT4,OUT4・IN3,IN3・OUT3の6種類となる。
上述したように、本発明に係る推定法では、まず視野への対象の入出を大量に観測して得られるIN/OUT情報間の中で、各IN/OUT情報をその観測時間よりも以前に検出された全カメラの全IN/OUT情報とペアとして対応づけ、それぞれを仮に経路の終点・始点と見なすことにしている。
十分に長時間離れて観測されたIN/OUT情報同士の対応付けを考慮する必要はなく、観測時刻の間隔がある閾値以内のIN/OUT情報の対応付けのみを考慮すれば十分であることから、図6の場合では、最長経路に相当するOUT4・IN3の経路の通過に要する時間に若干の余裕を加えた時間を閾値として与えることとするのである。
また、上述したように、IN/OUT情報の仮対応付け集合は、その始点および終点のIN/OUT情報が観測されたカメラに応じてそれぞれ独立の仮対応付け集合として取り扱うため、図6の場合のように3台のカメラ(カメラ1〜3)があるとすると、カメラ1・カメラ2(S1,2),カメラ1・カメラ3(S1,3),カメラ2・カメラ3(S2,3),カメラ2・カメラ1(S2,1),カメラ3・カメラ1(S3,1),カメラ3・カメラ2(S3,2),カメラ1・カメラ1(S1,1),カメラ2・カメラ2(S2,2),カメラ3・カメラ3(S3,3)の9通りの組み合わせ(カメラ数Nに対してはNP2+N個の始点終点のカメラペア)の仮対応付け集合が存在することになるのである。
上述したように、本発明に係る推定法では、まず視野への対象の入出を大量に観測して得られるIN/OUT情報間の中で、各IN/OUT情報をその観測時間よりも以前に検出された全カメラの全IN/OUT情報とペアとして対応づけ、それぞれを仮に経路の終点・始点と見なすことにしている。
十分に長時間離れて観測されたIN/OUT情報同士の対応付けを考慮する必要はなく、観測時刻の間隔がある閾値以内のIN/OUT情報の対応付けのみを考慮すれば十分であることから、図6の場合では、最長経路に相当するOUT4・IN3の経路の通過に要する時間に若干の余裕を加えた時間を閾値として与えることとするのである。
また、上述したように、IN/OUT情報の仮対応付け集合は、その始点および終点のIN/OUT情報が観測されたカメラに応じてそれぞれ独立の仮対応付け集合として取り扱うため、図6の場合のように3台のカメラ(カメラ1〜3)があるとすると、カメラ1・カメラ2(S1,2),カメラ1・カメラ3(S1,3),カメラ2・カメラ3(S2,3),カメラ2・カメラ1(S2,1),カメラ3・カメラ1(S3,1),カメラ3・カメラ2(S3,2),カメラ1・カメラ1(S1,1),カメラ2・カメラ2(S2,2),カメラ3・カメラ3(S3,3)の9通りの組み合わせ(カメラ数Nに対してはNP2+N個の始点終点のカメラペア)の仮対応付け集合が存在することになるのである。
次に、図6の場合を例にして、全入出点を仮対応付けた視野間の通過時間の投票の具体例について、図7−1,図7−2を参照して説明する。
図7−1,図7−2は,図6に示したケースを観測した際に得られる仮対応付け集合を、各始点終点のカメラペアごとにヒストグラム(横軸が経路間の経過時間,縦軸が観測回数)表示した結果である。
図7−1,図7−2に示すように、通過時間の均一性から、正対応経路の通過時間に相当する投票数は顕著に大きな値を示すことが理解されよう。
図7−1,図7−2の例中、楕円で囲まれたピークが、推定目標である経路に対応し、その他のピークは複合経路である。
図7−1,図7−2は,図6に示したケースを観測した際に得られる仮対応付け集合を、各始点終点のカメラペアごとにヒストグラム(横軸が経路間の経過時間,縦軸が観測回数)表示した結果である。
図7−1,図7−2に示すように、通過時間の均一性から、正対応経路の通過時間に相当する投票数は顕著に大きな値を示すことが理解されよう。
図7−1,図7−2の例中、楕円で囲まれたピークが、推定目標である経路に対応し、その他のピークは複合経路である。
次に図8は、図6の場合を観測した際に得られる仮対応付け集合の例を示している。図8の中の矢印は、仮対応付け集合の例を図示している。ここで、図8(a)は集合S1,2 中の対応付けを、図8(b)は集合S2,2中の対応付けを示している。図8中の“False correspondence”が誤対応経路の投票結果例であり、こうした誤対応経路が各集合Si,j(i, j は任意のカメラ識別子)中に含まれているのである。
(シミュレーション実験結果)
実施例2は、シミュレーションにより、対象検出座標とカメラ視野間移動時間の誤差やばらつき、および同時に移動する対象数に応じて、本発明による経路検出結果が、理想値からどのように変化するのかを確認し、本発明の頑健性を検証するものである。図9は、実施例2のシミュレーション実験で用いた観測シーン全体の鳥瞰図を示している。これは、平面シーン上の対象の移動を上方から鉛直下向のカメラで観測している状況を模している。矩形Vi (i ∈ {1,2・・・,12})がカメラCiの視野(640×480pixel の撮像範囲に対応)を表し、点線が対象の移動軌跡を表している。観測ノイズおよび対象の移動軌跡のばらつきがない場合、すなわち理想的な条件下での検出目標となる経路数は78(37の双方向経路と4の一方向経路)である。
実施例2は、シミュレーションにより、対象検出座標とカメラ視野間移動時間の誤差やばらつき、および同時に移動する対象数に応じて、本発明による経路検出結果が、理想値からどのように変化するのかを確認し、本発明の頑健性を検証するものである。図9は、実施例2のシミュレーション実験で用いた観測シーン全体の鳥瞰図を示している。これは、平面シーン上の対象の移動を上方から鉛直下向のカメラで観測している状況を模している。矩形Vi (i ∈ {1,2・・・,12})がカメラCiの視野(640×480pixel の撮像範囲に対応)を表し、点線が対象の移動軌跡を表している。観測ノイズおよび対象の移動軌跡のばらつきがない場合、すなわち理想的な条件下での検出目標となる経路数は78(37の双方向経路と4の一方向経路)である。
上記実験設定の下で、以下の3種類の実験を行っている。
(1)実験1:対象検出座標のばらつきによる経路数の増減を確認
対象検出座標のばらつきは,環境中における実際の対象移動のばらつきと画像からの検出の誤差によって生じるのであるが、本実験1では両方の要因をまとめて観測画像上における真の軌跡からのばらつきによって表現するものとしている。このばらつきはx,y 座標独立に正規分布を仮定して与えることとした。
(2)実験2:対象速度のばらつきによる経路数の増減を確認
対象速度のばらつき表現のため、環境中における各対象の移動速度にはある基準速度値を正規分布に基づいて変化させた値を与えることとした。
(3)実験3:同時観測する対象数による経路数の増減を確認
(1)実験1:対象検出座標のばらつきによる経路数の増減を確認
対象検出座標のばらつきは,環境中における実際の対象移動のばらつきと画像からの検出の誤差によって生じるのであるが、本実験1では両方の要因をまとめて観測画像上における真の軌跡からのばらつきによって表現するものとしている。このばらつきはx,y 座標独立に正規分布を仮定して与えることとした。
(2)実験2:対象速度のばらつきによる経路数の増減を確認
対象速度のばらつき表現のため、環境中における各対象の移動速度にはある基準速度値を正規分布に基づいて変化させた値を与えることとした。
(3)実験3:同時観測する対象数による経路数の増減を確認
実験1の結果を表1に、実験2の結果を表2に、実験3の結果を表3に示す。ここで、表中の経路数の欄には、理想値の78 本の経路からの増減(+,-)と誤対応経路の本数(下線付の値)が示されており、下表3中の成功率の欄には、経路検出の結果得られる対象追跡結果においてtrue-positiveの対応付けのみが1つ得られた確率(単位は%)が示されている。但し、同時観測対象数が1体のみである実験1と2での成功率は当然100%になるので省略することにしている。
上記表中の「座標分散」,「速度分散」,および「同時観測数」は、それぞれ検出された入出(x, y)座標[pixel]の分散,シーン中の対象移動速度の分散,および単位時間内に各画像で観測される対象入出数の平均値である。
また、上記表1〜3中の対象検出座標のばらつきは、x,y座標独立に正規分布を仮定して与えた。また、対象速度のばらつき表現のため、環境中における各対象の移動速度には、ある基準速度を正規分布に基づいて変化させて値を採用した。
また、各実験では変化させるパラメータによる影響のみを確認するため、変化パラメータ以外は「検出座標の分散は0pixel」「全対象の移動速度は一定」「同時観測する対象検出数は1」として、閾値は適切な一定値を、全実験を通して採用するという条件で行った。
また、上記表1〜3中の対象検出座標のばらつきは、x,y座標独立に正規分布を仮定して与えた。また、対象速度のばらつき表現のため、環境中における各対象の移動速度には、ある基準速度を正規分布に基づいて変化させて値を採用した。
また、各実験では変化させるパラメータによる影響のみを確認するため、変化パラメータ以外は「検出座標の分散は0pixel」「全対象の移動速度は一定」「同時観測する対象検出数は1」として、閾値は適切な一定値を、全実験を通して採用するという条件で行った。
図10に、実施例2のシミュレーションにおける検出経路の増減の例を示す。(a)は実験1,(b)は実験2,(c)は実験3における検出経路の増減を示す。
実験1での経路減少については、図10(a)における視野V9 からV10 に入る理想経路(図10(a)左図中のP1・P2 とP1・P5)の終点座標がばらつきにより混在して観測されており、その結果、視野V9からV10に入る経路が一つに統合されたものである(右図中のP1・P2)。一方、このP2付近を始点にして視野V10からV11 に入る経路の終点P3 とP6 の距離は十分に離れているため、この二つの経路は多少の観測点のばらつきが生じても独立に検出される。このときP2付近で観測されるIN情報は、終点がP3となる始点とP6になる始点の二種類(図10(a)右図中のP“2 とP‘2 )に分類され、経路P’2・P6とP”2・P3が構成される。
実験1での経路減少については、図10(a)における視野V9 からV10 に入る理想経路(図10(a)左図中のP1・P2 とP1・P5)の終点座標がばらつきにより混在して観測されており、その結果、視野V9からV10に入る経路が一つに統合されたものである(右図中のP1・P2)。一方、このP2付近を始点にして視野V10からV11 に入る経路の終点P3 とP6 の距離は十分に離れているため、この二つの経路は多少の観測点のばらつきが生じても独立に検出される。このときP2付近で観測されるIN情報は、終点がP3となる始点とP6になる始点の二種類(図10(a)右図中のP“2 とP‘2 )に分類され、経路P’2・P6とP”2・P3が構成される。
実験1 での経路増加については、図10(a)におけるばらつきにより左図の点P5からP8に移動する際に視野V11を通らない軌跡が観測されたため、経路P’2・P‘6(図10(a)右図中)が新たに検出されたものである。
実験2での経路増加については、図10(b)における対象の移動速度のばらつきにより点P1からP2(図10(b)左図中)への経過時間がばらついた結果、経路が経過時間の異なるP1・P2とP’1・P‘2(図10(b)右図中)に分割されたものである。
実験3での経路増加については、図10図(c)における同時に観測されるIN/OUT情報が増加したため、P2 におけるIN情報、P1 におけるOUT情報の誤対応が除去しきれず、誤対応経路P2・P1が検出されてしまったものである。この結果,視野V6とV8が重なりありと判断されたものと考える。
上記結果から経路検出に関する以下の特徴が確認できることが理解できる。
実験1の結果からは、検出座標のばらつきは検出経路の増加・減少を起こすものの、誤対応は生じないことが確認できる。
実験2の結果からは、対象速度のばらつきにより経路減少は起らないし、また、誤対応も生じないことが確認できる。
実験3の結果からは、画像内への対象入出頻度の増加は誤対応経路の増加を起こし、誤対応が検出されると、カメラ視野間の関係推定にも誤りが生じてしまうものの、入出頻度が極端に大きくならない限り、本発明は安定に経路検出が可能であることが確認できる。
実験1の結果からは、検出座標のばらつきは検出経路の増加・減少を起こすものの、誤対応は生じないことが確認できる。
実験2の結果からは、対象速度のばらつきにより経路減少は起らないし、また、誤対応も生じないことが確認できる。
実験3の結果からは、画像内への対象入出頻度の増加は誤対応経路の増加を起こし、誤対応が検出されると、カメラ視野間の関係推定にも誤りが生じてしまうものの、入出頻度が極端に大きくならない限り、本発明は安定に経路検出が可能であることが確認できる。
検出経路数の増減値は、LBGアルゴリズムによる仮対応付け集合分類の停止のための閾値によって変化するが、経路増減に関する特徴は不変である。この増減の中で、誤対応経路以外の増減経路は、観測ノイズの影響で入出点の分類が増減した結果に対応している。この増減は、LBGアルゴリズムの閾値設定による経路の増減と同じく、推定結果を対象検出に適用する際には問題とならない。問題となるのは誤対応経路の本数であり、これが増えるほど実際にはあり得ない対象経路を考慮して対象追跡の絞り込が行われるため、追跡失敗の原因となってしまう。
よって、検出座標,および対象の移動速度がばらついたとしても、推定結果は後の対象追跡に対して有用な情報を提供できることが確認できた。
よって、検出座標,および対象の移動速度がばらついたとしても、推定結果は後の対象追跡に対して有用な情報を提供できることが確認できた。
また、上記表3の結果から、経路検出の結果として得られた対象追跡結果の成功率は、誤対応経路が検出されている場合を除いて極めて高いことが確認できる。
実施例3では、図11のように、12台のカメラC1〜C12を分散配置した屋内環境下で、本発明の動作を確認した。全てのカメラは非同期撮影を行っているが、各カメラの撮影を制御するコンピュータの内部時計を同期させることにより、全画像の観測時刻を既知としている。
撮影は平日3日間の日中(AM9:00〜PM7:00)に実施した。日中の間は、約300人程度の人数が日常の活動を行っていた。
各カメラにおいて1秒間隔で撮影した320×240pixelの画像系列を入力として本発明の動作を確認している。先ず公知の手法により前景抽出した後、抽出画素の近接性に基づいて検出した各対象領域の重心を対象座標と擬制した。また、観察画像内の対象追跡は、単純な座標の近接性と領域サイズの類似性に基づいて実施した。観察対象はすべて歩行者であり(但し、歩行速度にはばらつきがある。)、各カメラの各観測画像系列において検出された対象の入出数は、カメラC1〜C12の順に7238,7910,11789,13782,12376,6792,7067,7856,8178,12574,12456,12786であった。
撮影は平日3日間の日中(AM9:00〜PM7:00)に実施した。日中の間は、約300人程度の人数が日常の活動を行っていた。
各カメラにおいて1秒間隔で撮影した320×240pixelの画像系列を入力として本発明の動作を確認している。先ず公知の手法により前景抽出した後、抽出画素の近接性に基づいて検出した各対象領域の重心を対象座標と擬制した。また、観察画像内の対象追跡は、単純な座標の近接性と領域サイズの類似性に基づいて実施した。観察対象はすべて歩行者であり(但し、歩行速度にはばらつきがある。)、各カメラの各観測画像系列において検出された対象の入出数は、カメラC1〜C12の順に7238,7910,11789,13782,12376,6792,7067,7856,8178,12574,12456,12786であった。
図12に、カメラの観測画像における歩行者のカメラ視野への入出の検出例を示す。ここで、図12(a)はカメラC2の視野内の追跡成功例を示しており、図12(b)はカメラC1の視野内の追跡失敗例を示している。図12(a)(b)共に、カメラを床から2.2m程度の高さで、水平より若干下向きに設置したカメラの観察画像である。
水平より若干下向きに設置したカメラ画像の場合、対象を真上から観測した画像(例えば、図11におけるカメラC10,C11,C12の観察画像)と比較して安定な対象が難しい。例えば、図12(b)で、(画像1)でIN検出された対象Aと、(画像2)でIN検出された対象Bが、(画像3)において重なったため対象Aと対象Bとを識別することが不可能になってしまった。この結果、(画像4)で対象AのOUT情報を誤って対象BのOUT情報とみなしている。
水平より若干下向きに設置したカメラ画像の場合、対象を真上から観測した画像(例えば、図11におけるカメラC10,C11,C12の観察画像)と比較して安定な対象が難しい。例えば、図12(b)で、(画像1)でIN検出された対象Aと、(画像2)でIN検出された対象Bが、(画像3)において重なったため対象Aと対象Bとを識別することが不可能になってしまった。この結果、(画像4)で対象AのOUT情報を誤って対象BのOUT情報とみなしている。
しかし、本発明の連結関係推定法の入力情報であるIN/OUT情報には対象IDが含まれないため、このような対象追跡の失敗は全く影響がないのである。上述したように、本発明の連結関係推定法で重要な入力情報は、対象の入出座標と時刻のみである。図12(a)(b)で示されるように、対象AおよびBの短時間の追跡には成功しており、対象のIN/OUT情報が得られている。但し、入出時に複数の対象が画像中で重なっている場合、検出座標は真の座標から多少ずれてしまう。
このIN/OUT情報から、130の経路(59の双方向経路と12の一方向経路)が検出された。各経路に分類された正対応投票数の平均は2139であった。
図13に実施例3の検出経路の例を示す。楕円と矢印がそれぞれ始点や終点の位置・分散と始点終点の対応付けを表し、矢印上の数字が経路間の平均経過時間を示している。また、矢印の太さはその経路に投票された対応付けの数に比例している。図13中、過分割とみなせる経路は1本にまとめ、異なる経路の近接した始点終点も1つの楕円にまとめている。
なお、検出された経路を人手により観察画像と照合したところ、経路の過分割とみなせる結果は数多く(40程度)存在したが、すべて実際の経路に対応しており誤検出は見当たらなかった。また検出漏れも見当たらなかった。
図13に実施例3の検出経路の例を示す。楕円と矢印がそれぞれ始点や終点の位置・分散と始点終点の対応付けを表し、矢印上の数字が経路間の平均経過時間を示している。また、矢印の太さはその経路に投票された対応付けの数に比例している。図13中、過分割とみなせる経路は1本にまとめ、異なる経路の近接した始点終点も1つの楕円にまとめている。
なお、検出された経路を人手により観察画像と照合したところ、経路の過分割とみなせる結果は数多く(40程度)存在したが、すべて実際の経路に対応しており誤検出は見当たらなかった。また検出漏れも見当たらなかった。
経路の検出結果からクラスV情報が得られた。得られたクラスV情報を以下に示す。
・経路をもつ視野のカメラペア(V1)
C1−C2,C1−C4,C2−C4,「C3,C4,C5,C10,C11,C12中のすべての可能なペアの組合せ」,C6−C7,C7−C8,C7−C9,C8−C9
・重畳領域をもつ視野のカメラペア(V2)
C1−C2,「C3,C4,C5,C10,C11,C12中のすべての可能なペアの組合せ」,C6−C7,C8−C9
・経路をもつ視野のカメラペア(V1)
C1−C2,C1−C4,C2−C4,「C3,C4,C5,C10,C11,C12中のすべての可能なペアの組合せ」,C6−C7,C7−C8,C7−C9,C8−C9
・重畳領域をもつ視野のカメラペア(V2)
C1−C2,「C3,C4,C5,C10,C11,C12中のすべての可能なペアの組合せ」,C6−C7,C8−C9
次に、クラスV情報と同様に得られたクラスR情報の一例(図13のC5,C2,C1の観察画像に関するもの)を以下に示す。
・R1
カメラC5の観察画像中の点Aの平均と分散は、それぞれ(56.1,71.8)と(4.1,2.2)であった。
・R2
各経路の平均通過時間(秒)は図13の観察画像中の矢印の数字で示した。
・R1
カメラC5の観察画像中の点Aの平均と分散は、それぞれ(56.1,71.8)と(4.1,2.2)であった。
・R2
各経路の平均通過時間(秒)は図13の観察画像中の矢印の数字で示した。
また、全観測シーケンスの中から対象のカメラ視野間移動をランダムに300だけ抽出し、経路検出時に得られた対象追跡結果と比較したところ、追跡失敗は2つだけ存在した。但し、本実験での対象検出では厳密な対象のセグメンテーションを行っていないため、対象検出時に複数人が近接している際にそれらが1対象として検出されることがある。本発明では、その群れ(1対象)を視野間で正しく対応付けることができていれば追跡成功と見なしている。
次に、入力するIN/OUT情報数と閾値設定の与える影響について検証を実施した。本発明における閾値は、以下の(1)〜(3)の3種類である。
(1)仮対応付けするIN/OUT情報ペアの検出時刻の差の最大値
(2)LBGアルゴリズムによる仮対応付け分割終了判定の閾値
(3)複合経路検出の閾値
(1)仮対応付けするIN/OUT情報ペアの検出時刻の差の最大値
(2)LBGアルゴリズムによる仮対応付け分割終了判定の閾値
(3)複合経路検出の閾値
しかし、上記(1)仮対応付けするIN/OUT情報ペアの検出時刻の差の最大値は、人手で容易に決定可能であり、また、上記(3)複合経路検出の閾値は、閾値の変化に対して結果は極めて安定であることは既に示していることから、ここでは、上記(2)LBGアルゴリズムによる仮対応付け分割終了判定の閾値の影響を実験的に評価してみる。
図14のグラフは、LBGアルゴリズムによる仮対応付け分割終了判定の閾値の影響の実験結果を示している。ここで、図14の(a)は、投票ペア数に対する正対応・誤対応の検出径路率の増減を示しており、(b)は閾値に対する正対応・誤対応の検出径路率の増減を示している。
図14(a)(b)で示したグラフの縦軸は、共に、上述の実験結果における130本の検出経路を正解とみなしたTrue-positive(正解経路を検出した割合=検出した正解経路数/正解経路数)とFalse-positive(正解経路以外を検出した割合=誤検出した経路数/正解経路数)を示している。
また、図14(a)で示したグラフの横軸は、各経路に分類されたIN/OUT情報の対応付け数の平均値(投票ペア数)である。投票ペア数が700を超えると、検出漏れ・誤検出ともになくなっていることが示されている。
また、図14(b)で示したグラフの横軸は、LBGアルゴリズムによる分類の終了判定の閾値である。但し、分類する5次元ベクトルの各要素は1に正規化している。0.01〜0.05付近で検出漏れ・誤検出ともになくなっていることが示されている。
図14(a)(b)で示したグラフの縦軸は、共に、上述の実験結果における130本の検出経路を正解とみなしたTrue-positive(正解経路を検出した割合=検出した正解経路数/正解経路数)とFalse-positive(正解経路以外を検出した割合=誤検出した経路数/正解経路数)を示している。
また、図14(a)で示したグラフの横軸は、各経路に分類されたIN/OUT情報の対応付け数の平均値(投票ペア数)である。投票ペア数が700を超えると、検出漏れ・誤検出ともになくなっていることが示されている。
また、図14(b)で示したグラフの横軸は、LBGアルゴリズムによる分類の終了判定の閾値である。但し、分類する5次元ベクトルの各要素は1に正規化している。0.01〜0.05付近で検出漏れ・誤検出ともになくなっていることが示されている。
しかし、閾値が0.01未満になると誤検出が急増している。この要因としては、ほとんどの分割集合の要素数が極めて少なくなり、正対応と誤対応の集合の要素数に有意差がなくなって、両者の識別が困難となったためであると考えられる。このことから、閾値は小さいほどよいといった極端な基準を用いた場合、適切な結果を取得することは困難である。
本発明において、複数対象がカメラ画像中で重なっている場合でも、各対象の重心座標を正確に検出することにより、より安定した結果を得ることが可能である。
以上の実施例3の結果から、本発明が実際の分散カメラ群の連結関係推定を実現可能であることが確認できた。
以上の実施例3の結果から、本発明が実際の分散カメラ群の連結関係推定を実現可能であることが確認できた。
本発明に係る推定法によれば、多数カメラのキャリブレーションが自動化できるため、例えば、広域分散配置された複数カメラによる継続的対象観測を必要とする全ての実世界視覚システムに活用が期待される。具体的には、道路交通監視システムやビル等のセキュリティシステムなどに有用である。
Claims (8)
- マルチカメラによる対象追跡における分散カメラ群の連結関係の推定プロセスにおいて、各カメラ視野内の対象入出点の検出ステップと;全入出点を対応づける投票ステップと;投票の始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップと;各視野と経路の特徴を推定するステップとを備え、カメラの画像のみを用いて経路検出できることを特徴とする広域分散カメラ間の連結関係推定法。
- 請求項1に記載の広域分散カメラ間の連結関係推定法において、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップにおける分類は、始点座標,終点座標,および通過時間を少なくともベクトル要素に含む多次元ベクトルの類似分類を用いることを特徴とする広域分散カメラ間の連結関係推定法。
- 請求項1に記載の広域分散カメラ間の連結関係推定法において、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップは、同一の対象入出点を持つ投票を含んだ経路間で通過時間の大小に応じて経路とその複合経路とを分類することを特徴とする広域分散カメラ間の連結関係推定法。
- 請求項1に記載の広域分散カメラ間の連結関係推定法における、各視野と経路の特徴を推定するステップは、一方視野通過経路,単一視野横断経路,重畳領域通過経路,ループ経路,不可視視野間経路の5つの経路タイプと検出された正対応経路との比較から視野間の幾何学的関係を得ることを特徴とする広域分散カメラ間の連結関係推定法。
- 請求項1に記載の広域分散カメラ間の連結関係推定法における、各視野と経路の特徴を推定するステップは、各経路に投票された始点終点座標集合から経路座標の確率的情報を推定するステップと、各経路に対応する投票の通過時間集合から経路通過時間の確率的情報を推定するステップとを少なくとも備えたことを特徴とする広域分散カメラ間の連結関係推定法。
- 請求項1乃至請求項5のいずれかに記載の広域分散カメラ間の連結関係推定法を少なくとも含む対象検出および追跡法。
- 請求項1乃至請求項5のいずれかに記載の広域分散カメラ間の連結関係推定法をコンピュータに実行させることを特徴とする広域分散カメラ間の連結関係推定プログラム。
- 請求項7に記載の広域分散カメラ間の連結関係推定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007533280A JP4852765B2 (ja) | 2005-08-30 | 2006-08-30 | 広域分散カメラ間の連結関係推定法および連結関係推定プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005249549 | 2005-08-30 | ||
JP2005249549 | 2005-08-30 | ||
PCT/JP2006/317067 WO2007026744A1 (ja) | 2005-08-30 | 2006-08-30 | 広域分散カメラ間の連結関係推定法および連結関係推定プログラム |
JP2007533280A JP4852765B2 (ja) | 2005-08-30 | 2006-08-30 | 広域分散カメラ間の連結関係推定法および連結関係推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007026744A1 true JPWO2007026744A1 (ja) | 2009-03-12 |
JP4852765B2 JP4852765B2 (ja) | 2012-01-11 |
Family
ID=37808829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007533280A Active JP4852765B2 (ja) | 2005-08-30 | 2006-08-30 | 広域分散カメラ間の連結関係推定法および連結関係推定プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20090268033A1 (ja) |
JP (1) | JP4852765B2 (ja) |
WO (1) | WO2007026744A1 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101187909B1 (ko) * | 2007-10-04 | 2012-10-05 | 삼성테크윈 주식회사 | 감시 카메라 시스템 |
WO2009074654A1 (en) * | 2007-12-11 | 2009-06-18 | Nemerix Sa | Gnss method and receiver with camera aid |
US9019381B2 (en) * | 2008-05-09 | 2015-04-28 | Intuvision Inc. | Video tracking systems and methods employing cognitive vision |
JP5570176B2 (ja) * | 2009-10-19 | 2014-08-13 | キヤノン株式会社 | 画像処理システム及び情報処理方法 |
JP2011128992A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 情報処理装置およびその処理方法 |
US8463772B1 (en) * | 2010-05-13 | 2013-06-11 | Google Inc. | Varied-importance proximity values |
CN102263932A (zh) * | 2010-05-27 | 2011-11-30 | 中兴通讯股份有限公司 | 视频监控阵列控制的方法、装置及系统 |
CN102831615A (zh) * | 2011-06-13 | 2012-12-19 | 索尼公司 | 对象监控方法和装置,以及监控系统操作方法 |
AU2011265430B2 (en) * | 2011-12-21 | 2015-03-19 | Canon Kabushiki Kaisha | 3D reconstruction of partially unobserved trajectory |
US10609335B2 (en) | 2012-03-23 | 2020-03-31 | Magna Electronics Inc. | Vehicle vision system with accelerated object confirmation |
US9948897B2 (en) | 2012-05-23 | 2018-04-17 | Sony Corporation | Surveillance camera management device, surveillance camera management method, and program |
US9641763B2 (en) * | 2012-08-29 | 2017-05-02 | Conduent Business Services, Llc | System and method for object tracking and timing across multiple camera views |
US9589192B2 (en) | 2012-09-27 | 2017-03-07 | Nec Corporation | Information processing system, information processing method, and program |
JP6233624B2 (ja) * | 2013-02-13 | 2017-11-22 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
US9280833B2 (en) | 2013-03-05 | 2016-03-08 | International Business Machines Corporation | Topology determination for non-overlapping camera network |
US8913791B2 (en) | 2013-03-28 | 2014-12-16 | International Business Machines Corporation | Automatically determining field of view overlap among multiple cameras |
JP6219101B2 (ja) | 2013-08-29 | 2017-10-25 | 株式会社日立製作所 | 映像監視システム、映像監視方法、映像監視システム構築方法 |
JP6187811B2 (ja) * | 2013-09-09 | 2017-08-30 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US20160182814A1 (en) * | 2014-12-19 | 2016-06-23 | Microsoft Technology Licensing, Llc | Automatic camera adjustment to follow a target |
US20160379074A1 (en) * | 2015-06-25 | 2016-12-29 | Appropolis Inc. | System and a method for tracking mobile objects using cameras and tag devices |
US10088549B2 (en) * | 2015-06-25 | 2018-10-02 | Appropolis Inc. | System and a method for tracking mobile objects using cameras and tag devices |
KR102334767B1 (ko) * | 2015-07-23 | 2021-12-02 | 한화테크윈 주식회사 | 네트워크 카메라 제어 장치 및 방법 |
US10733231B2 (en) | 2016-03-22 | 2020-08-04 | Sensormatic Electronics, LLC | Method and system for modeling image of interest to users |
US10764539B2 (en) | 2016-03-22 | 2020-09-01 | Sensormatic Electronics, LLC | System and method for using mobile device of zone and correlated motion detection |
US10192414B2 (en) | 2016-03-22 | 2019-01-29 | Sensormatic Electronics, LLC | System and method for overlap detection in surveillance camera network |
US11216847B2 (en) | 2016-03-22 | 2022-01-04 | Sensormatic Electronics, LLC | System and method for retail customer tracking in surveillance camera network |
US11601583B2 (en) | 2016-03-22 | 2023-03-07 | Johnson Controls Tyco IP Holdings LLP | System and method for controlling surveillance cameras |
US10347102B2 (en) | 2016-03-22 | 2019-07-09 | Sensormatic Electronics, LLC | Method and system for surveillance camera arbitration of uplink consumption |
US9965680B2 (en) | 2016-03-22 | 2018-05-08 | Sensormatic Electronics, LLC | Method and system for conveying data from monitored scene via surveillance cameras |
US10318836B2 (en) | 2016-03-22 | 2019-06-11 | Sensormatic Electronics, LLC | System and method for designating surveillance camera regions of interest |
US10665071B2 (en) | 2016-03-22 | 2020-05-26 | Sensormatic Electronics, LLC | System and method for deadzone detection in surveillance camera network |
US10475315B2 (en) | 2016-03-22 | 2019-11-12 | Sensormatic Electronics, LLC | System and method for configuring surveillance cameras using mobile computing devices |
CN106023253B (zh) * | 2016-05-18 | 2019-02-12 | 杭州智诚惠通科技有限公司 | 一种城市目标轨迹追踪的方法 |
CN106303442B (zh) | 2016-08-26 | 2020-05-26 | 浙江大华技术股份有限公司 | 追踪路径拓扑结构建立方法、目标对象追踪方法及设备 |
EP3428884B1 (en) * | 2017-05-12 | 2020-01-08 | HTC Corporation | Tracking system and tracking method thereof |
CN111291585B (zh) * | 2018-12-06 | 2023-12-08 | 杭州海康威视数字技术股份有限公司 | 一种基于gps的目标跟踪系统、方法、装置及球机 |
CN110717474B (zh) * | 2019-10-18 | 2022-07-26 | 阿波罗智能技术(北京)有限公司 | 目标关联计算方法、装置、设备和介质 |
WO2021166032A1 (ja) * | 2020-02-17 | 2021-08-26 | 日本電信電話株式会社 | デバイス間位置関係推定装置、デバイス間位置関係推定方法およびプログラム |
CN113473091B (zh) * | 2021-07-09 | 2023-04-18 | 杭州海康威视数字技术股份有限公司 | 摄像机关联方法、装置、系统、电子设备及存储介质 |
KR20230012755A (ko) * | 2021-07-16 | 2023-01-26 | 한국전자통신연구원 | 2차원 배열 구조의 다중 시점 영상을 이용한 카메라 자세 추정 장치 및 이를 이용한 방법 |
CN117725137A (zh) * | 2023-08-25 | 2024-03-19 | 荣耀终端有限公司 | 相似路径匹配方法及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001325695A (ja) * | 2000-05-17 | 2001-11-22 | Mitsubishi Electric Corp | 交通流監視装置 |
JP2004072628A (ja) * | 2002-08-08 | 2004-03-04 | Univ Waseda | 複数カメラを用いた移動体追跡システム及びその方法 |
JP4195991B2 (ja) * | 2003-06-18 | 2008-12-17 | パナソニック株式会社 | 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ |
-
2006
- 2006-08-30 US US11/991,137 patent/US20090268033A1/en not_active Abandoned
- 2006-08-30 JP JP2007533280A patent/JP4852765B2/ja active Active
- 2006-08-30 WO PCT/JP2006/317067 patent/WO2007026744A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP4852765B2 (ja) | 2012-01-11 |
US20090268033A1 (en) | 2009-10-29 |
WO2007026744A1 (ja) | 2007-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4852765B2 (ja) | 広域分散カメラ間の連結関係推定法および連結関係推定プログラム | |
US9569531B2 (en) | System and method for multi-agent event detection and recognition | |
US8254633B1 (en) | Method and system for finding correspondence between face camera views and behavior camera views | |
Saxena et al. | Crowd behavior recognition for video surveillance | |
US20080123900A1 (en) | Seamless tracking framework using hierarchical tracklet association | |
Bondi et al. | Real-time people counting from depth imagery of crowded environments | |
Simonnet et al. | Re-identification of pedestrians in crowds using dynamic time warping | |
US10110801B2 (en) | Methods and systems for controlling a camera to perform a task | |
CN106934817B (zh) | 基于多属性的多目标跟踪方法及装置 | |
Chen et al. | A joint estimation of head and body orientation cues in surveillance video | |
US9977970B2 (en) | Method and system for detecting the occurrence of an interaction event via trajectory-based analysis | |
JP2018055607A (ja) | イベント検知プログラム、イベント検知装置、及びイベント検知方法 | |
Stahlschmidt et al. | Applications for a people detection and tracking algorithm using a time-of-flight camera | |
Papaioannou et al. | Tracking people in highly dynamic industrial environments | |
Denman et al. | Automatic surveillance in transportation hubs: No longer just about catching the bad guy | |
JP2015210823A (ja) | 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム | |
Burkert et al. | People tracking and trajectory interpretation in aerial image sequences | |
Parameswaran et al. | Design and validation of a system for people queue statistics estimation | |
CN109977796A (zh) | 尾随通行检测方法及装置 | |
Ko et al. | Rectified trajectory analysis based abnormal loitering detection for video surveillance | |
Virgona et al. | Sensing and perception technology to enable real time monitoring of passenger movement behaviours through congested rail stations | |
Seer et al. | Kinects and human kinetics: a new approach for studying crowd behavior | |
Bek et al. | The crowd congestion level—A new measure for risk assessment in video-based crowd monitoring | |
Antunes et al. | Multiple hypothesis tracking in camera networks | |
Yao et al. | Multi-Person Bayesian Tracking with Multiple Cameras. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |