JP4852765B2

JP4852765B2 - 広域分散カメラ間の連結関係推定法および連結関係推定プログラム

Info

Publication number: JP4852765B2
Application number: JP2007533280A
Authority: JP
Inventors: 宗伯浮田
Original assignee: 国立大学法人奈良先端科学技術大学院大学
Priority date: 2005-08-30
Filing date: 2006-08-30
Publication date: 2012-01-11
Anticipated expiration: 2026-08-30
Also published as: US20090268033A1; JPWO2007026744A1; WO2007026744A1

Description

本発明は、広域における多数対象の監視および追跡への利用を目的として、分散カメラ群の連結関係の推定法並びに広域分散カメラ間の連結関係推定プログラムに関するものである。

実世界視覚システムを実現する上で、対象の追跡は最も基盤となる技術の一つで、特に、マルチカメラによる対象追跡は、対象を多方向から観測した詳細情報獲得や観測範囲の広域化のための重要な技術とされている。
この対象追跡にとって最も重要な機能は対象同定である。マルチカメラによる対象追跡下で、複数カメラ画像の共有視野で同時観測される対象情報の同定を行う際には、カメラ群の３次元位置および姿勢が既知であれば、検出対象の３次元位置情報の整合性を利用することにより対象同定が容易となる技術が知られている（特許文献１）。
また、カメラ入力画像に対し背景画像との比較により差分処理・２値化処理・ラベリング処理を行う方法が知られている（特許文献２）。

但し、多数カメラによる広域観測では、カメラ同士の共有視野は狭くなる上に空間中に点在してしまい、また、通常の広域環境では往来を遮断した静的シーンの観測は難しいことから、一般的なキャリブレーションターゲットに頼ったカメラキャリブレーションは困難である。

そこで、同定容易な移動物体の同時観測結果を利用したカメラキャリブレーション方法として、同期カメラ群用のキャリブレーション方法、非同期カメラ群用のキャリブレーション方法、それにより得られた初期解の精度を向上させるキャリブレーション方法、GPS により位置の特定された広域分散ランドマークの観測結果を利用するキャリブレーション方法などが提案されている（例えば、非特許文献１を参照。）。

上記の移動物体の同時観測結果を利用したカメラキャリブレーション方法を用いたマルチカメラシステムでは、通常、図１−１（ａ）に示すように全観測領域を複数のカメラ視野が観測し、カメラ視野同士に重なりがあるケース（全視野連結型のカメラ配置）を想定している。
よって、会議室やロビーなどの大きな空間の詳細観測には適しているものの、さらに広域（ビル全体，屋外交通網など）における移動物体の活動状況の調査などに利用するためには、全移動経路を網羅したカメラ配置が必要になってくる。この全移動経路を網羅したカメラ配置はコスト・管理の両面から実質的に困難である。そのため、図１−１（ｂ）に示すようなカメラ視野に重なりの無い（孤立視野の）ケース（全視野非連結型のカメラ配置）による広域追跡が必要になってくる。こうした不可視領域を含んだ対象追跡における複数カメラ間での対象同定は、上述の視野の重なり領域における対象同定と比較して非常に困難な問題である。

既に、この問題の対処法として、いくつかの方法が提案されているが（例えば、非特許文献２を参照。）、いずれの方法もカメラ視野間の連結関係（視野重畳領域の有無，不可視領域を挟んだ隣接視野の対応づけ，不可視経路の移動時間や通行確率など）を考慮して同定精度を上げているものである。
これらの方法では、カメラ視野間の連結関係情報を人間の手作業により与えているため、観測範囲の拡大とカメラ数の増加にともない、カメラ視野間の連結関係は急激に複雑化してしまうことから自ずと限界がある。また、長期間継続的なオンライン観測を目的とするならば、機器（カメラや制御コンピュータ）の故障や環境の変化（障害物配置の変化など）に応じて連結関係情報は自動的に更新できるべきである。
よって、人間の手作業ではなく、自動的にカメラ視野間の連結関係を推定できるキャリブレーション方法が切望されているのである。

また、マルチカメラの配置として上述した全視野連結型と全視野非連結型があるが、実際のマルチカメラによる対象追跡の用途では、対象追跡の観察場所における動的状況（人物の振る舞いなど）を詳細観測しなければならない領域と広域を移動する対象の軌跡観測のみが要求される領域が混在しているのが一般的である。
本発明は、カメラ視野の重畳領域が点在する環境において、多数対象の継続的追跡に有用な分散カメラ群の連結関係を自動推定する方法を提供するものである。

特開２００４−００５４６２号公報特開２００３−２８４０５９号公報 R. Collins, A. Lipton, H. Fujiyoshi, and T. Kanade,"Algorithms for Cooperative Multisensor Surveillance,"in . Proc. of the IEEE, Vol.89, No.10, pp.14561477, 2001. V. Kettnaker and R. Zabih, "Bayesian Multi-camera Surveillance," in Proc. of CVPR99, pp.253259, 1999.

一般的に、分散カメラ群の連結関係は、カメラ視野と視野中や視野間の経路によって表される。以下、本明細書中では，対象が視野へ入出する点群の中で、連続した２点を結んだ移動軌跡を「経路」と称し、また、その端点を「始点」、「終点」と称する。すなわち、経路とは、例えば、図１−１において（ａ），（ｂ）中の矢印“Route”のようなものを指し、カメラ視野で最初と最後に検出された点群の中で隣接する２点同士を結んだ対象軌跡を意味するものとする。
実際には、カメラの画像中で観測されるのは三次元空間中の領域である。図１−２に示されるように、カメラから延びる円錐内の領域が三次元領域を指すことになる。図１−２の例で、観測画像の枠内に収まっていても、建物などの障害物により常時観測不可能な領域は視野外とみなすことにしている（図１−２の“Unobservable area”）。
また、経路に関して、「前フレームにおいて視野外にいた対象が新たに画像上で検出された」，「次フレームにおいて視野外に出る対象が最後に画像上で検出された」というイベントをそれぞれ視野における対象の入・出と呼ぶことにする。
対象がカメラ視野へ入出する瞬間の対象座標点群（図１−２中の点ＩＮ_１，ＯＵＴ_１，ＩＮ_２，ＯＵＴ_２）の中で、時系列的に連続した２点の組を経路と呼び、この２点のうち先に観測された点を始点、後に観測された点を終点と呼ぶ。
図１−２の例では、３本の経路ＩＮ１・ＯＵＴ１，ＯＵＴ１・ＩＮ２，ＩＮ２・ＯＵＴ２が存在している。本明細書においては、ｘ・ｙは、始点ｘから終点ｙまでの経路を表す意味で用いている。
図中の矢印は、経路の始点から終点に延びている。経路情報は対象が視野に入出する瞬間の情報のみにより定義され、視野内外での対象の移動軌跡は扱わないものとする。これは、本来、経路も視野と同様に三次元空間座標における情報であるが、本発明においては、画像上の二次元座標の情報のみを扱い、三次元情報復元は行わない。対象が視野に入出したデータ（カメラＣの画像座標Ｐ（Ｃ）で時刻Ｔにおいて対象が入出したという情報）をそれぞれＩＮ情報、ＯＵＴ情報と呼ぶことにする。

本発明は、カメラ視野の重畳領域が点在する環境において、多数対象の継続的追跡に有用な分散カメラ群の連結関係を自動推定する方法を提供することを目的とする。ここで、カメラ群の連結関係とは、以下の２種類（クラスＶ情報，クラスＲ情報）に大別できるため、以下に種類毎に説明していく。

先ず、クラスＶとは、カメラ視野間の関係を意味し、具体的には、カメラペアの全組み合わせ（任意のカメラ視野の組み合わせをCiとCj と表記）について、下記の３種類の情報（Ｖ１，Ｖ２，Ｖ３）が提供されることになる。
・Ｖ１：任意のカメラ視野のペア（CiとCj）の視野間を結ぶ経路の有無同士の重なりの有無
・Ｖ２：任意のカメラ視野のペア（CiとCj）の視野同士の重なりの有無
・Ｖ３：重なりがある場合は、CiとCj間の相対的な位置・姿勢（並進・回転）パラメータ
ここで、公知のキャリブレーション法を用いることで、上記情報Ｖ３が推定できることが知られている。
本発明は、上記情報Ｖ１およびＶ２の視野間関係を推定することを目的とする。

次に、クラスＲについて説明する。クラスＲは、経路の特徴（どれくらいの確率で対象が通るか，どれくらいの時間で対象が通過するかの情報）を意味する。
カメラＣ^Ｅの画像座標Ｐ^Ｅ（Ｃ^Ｅ）で時刻Ｔ^Ｅにおいて、対象の入出が検出された際、Ｔ^Ｅ直前の同対象のＩＮ／ＯＵＴ情報を見つけることが対象追跡である。ここで、肩付文字Ｂ，Ｅは経路の始点と終点に対応するカメラおよび座標を表すものとする。以下本明細書において同様である。
対象は、経路を通過するはずなので、Ｔ^Ｅ以前の全ＩＮ／ＯＵＴ情報を追跡解の候補とする必要はなく、「Ｐ^Ｅ（Ｃ^Ｅ）付近に終点をもつ経路のいずれかの始点付近で検出された」かつ「その経路の通過に時間Ｔを要する場合、Ｔ^ＥよりもＴ前頃に検出された」ＩＮ／ＯＵＴ情報のみが候補解となる。この制約条件を確率的に表現した下記２種類の情報（Ｒ１とＲ２）が、座標Ｐ^Ｅ（Ｃ^Ｅ）付近に終点をもつ経路集合の特徴として参照される。
Ｐ^Ｅで時刻Ｔ^Ｅにおいて新たに対象が検出された際、この対象のＴ^Ｅ以前における観測情報がＰ^Ｅを終点に持つ経路のクラスＲ情報として提供される。クラスＲ情報は、以下の２つの情報（Ｒ１，Ｒ２）からなる。
・Ｒ１：座標Ｐ^Ｅ（Ｃ^Ｅ）で入出を検出された対象が、座標Ｐ^Ｂ（Ｃ^Ｂ）を始点とする経路を使用した確率
・Ｒ２：経路Ｐ^Ｂ（Ｃ^Ｂ）・Ｐ^Ｅ（Ｃ^Ｅ）の通過に要する時間Ｔ^Ｅ−Ｔ^ＢがＴである確率（但し、Ｔ^ＢはＰ^Ｂ（Ｃ^Ｂ）における対象検出時刻である。）

クラスＲが既知であれば、あるカメラのある座標で対象が新たに検出された際、その検出時刻以前の対象検出情報とクラスＲを比較して新検出対象の追跡結果の候補を絞り込むことができるのである。

上述した情報Ｖ１とＶ２は、カメラの相対的な位置関係と密接に関連している。カメラの位置推定には、カメラに取りつけたＧＰＳや無線発信器による距離計測など、画像解析に依存しないセンサによる計測方法が知られている。しかし、これらの計測方法は、カメラの姿勢情報が得られない、信号を遮る遮蔽物の多い屋内では利用できない、といった欠点がある。加えて，実際の対象移動環境を観測した画像を解析しない限り、クラスＲ情報は獲得できないという本質的な問題がある。本発明に係る広域分散カメラ間の連結関係推定法は、重畳視野の有無が混在するカメラ群に適用ができ、クラスＶ（Ｖ１およびＶ２），クラスＲ（Ｒ１およびＲ２）の情報を推定できる、カメラ画像のみの解析に基づいた方法を提供するのである。

以上述べたように、本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムの課題は、実環境における任意対象の追跡に有用な情報を得るために、実際の観測画像情報のみを解析して、カメラ群の連結関係情報を求め得ることである。

本発明者は、種々の検討・実験を行い、研究を重ねた結果、本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムを完成するに至った。以下、本発明に係る広域分散カメラ間の連結関係推定法を説明する。

上記目的を達成するため、本発明に係る広域分散カメラ間の連結関係推定法は、マルチカメラによる対象追跡における分散カメラ群の連結関係の推定プロセスにおいて、各カメラの視野内の対象入出点の検出ステップと、全入出点を対応づける投票ステップと、投票の始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップと、各視野と経路の特徴を推定するステップとを備え、カメラの画像のみを用いて経路を検出できることを特徴とする。

上記構成において、各カメラの視野内の対象入出点の検出ステップとは、各カメラで独立に観測したカメラ画像中に出入りする対象群を検出・追跡して、カメラ画像中で対象を最初と最後に検出した各瞬間の画像座標と時刻を獲得する処理である。
また、全入出点を対応づける投票ステップとは、各カメラで観測された全獲得データを、その検出時刻以前に観測された全カメラにおける全獲得データと仮に対応づけ、その対応データ間の経過時間ごとに対応付けられたデータ数をカウントしていく処理である。この経過時間・観測回数を、例えば、ヒストグラムで表した場合に、同一対象の移動に伴う正しい対応付けデータの経過時間は顕著なピークを示すこととなるのである。

次に、投票の始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップとは、対応付けデータの両座標および観測時刻の差を類似性に基づいて分類することによって、誤対応を除いた実在の経路に相当する対応付けデータの検出および各経路への対応付けデータの分類を行い、この分類結果に基づいてカメラ視野間の連結関係（すなわち経路情報）を取得する処理である。
また、各視野と経路の特徴を推定するステップとは、各視野間の関係の推定、視野間経路の始点終点座標と通過に要する時間の確率的表現の推定、各経路の経路タイプの推定を行う処理である。

また上記構成において、各視野と経路の特徴を推定するステップは、一方視野通過経路，単一視野横断経路，重畳領域通過経路，ループ経路または不可視視野間経路のいずれかの経路タイプと検出された正対応経路との比較から視野間の幾何学的関係を得ることが好ましい。
経路タイプの分類は、検出された経路集合からのカメラ視野間の関係Ｖ１及びＶ３の推定、および検出された経路集合からの誤検出経路の除去にも用いることができるからである。

さらに上記構成において、広域分散カメラ間の連結関係推定法における、各視野と経路の特徴を推定するステップは、各経路に投票された始点終点座標集合から経路座標の確率的情報を推定するステップと、各経路に対応する投票の通過時間集合から経路通過時間の確率的情報を推定するステップとを少なくとも備えることが好ましい。
カメラ視野間の連結関係（入出の生じる画像座標，経過時間，通過確率）が得られるからである。

また上記構成において、前記始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップにおける分類は、始点座標，終点座標および通過時間を少なくともベクトル要素に含む多次元ベクトルの類似分類を用いることが好ましい。
大量のデータを観測した際の経路の通過時間の均一性および始点終点座標の均一性を統合して考慮した分類を行えるからである。
また上記構成において、前記始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップは、同一の対象入出点を持つ投票を含んだ経路間で通過時間の大小に応じて経路とその複合経路とを分類することが好ましい。

また、上記広域分散カメラ間の連結関係推定法を少なくとも含む対象検出および追跡法を提供する。
また、複数カメラがネットワークで結合され、各カメラ画像データがネットワークを介してコンピュータに取り込まれるシステムにおいて、本発明に係る広域分散カメラ間の連結関係推定プログラムは、上述した広域分散カメラ間の連結関係推定法の各ステップを該コンピュータに実行させることを特徴とする。
また、上記広域分散カメラ間の連結関係推定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。

本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムでは、屋内・屋外を問わず、視野の重なりの有無が混在する分散カメラ群に対して有用で、経路タイプの分類（クラスＶ）の推定が行えるという効果を有する。また、実際の移動対象の軌跡を多数解析することによって経路の特徴（クラスＲ）の推定が行えるといった効果を有する。

また、本発明に係る広域分散カメラ間の連結関係推定法および連結関係推定プログラムでは、対象同定に不確実性が高い対象追跡を行う必要がなく、実際に移動している対象の観測情報のみを利用するため、追跡を成功させるための観測環境の条件といったもの（例えば、連結関係学習時には観測環境中を１対象のみが移動するといった条件など）は必要ない。

また、センサ（ＧＰＳ等）を使ったキャリブレーション，環境を限定した（環境中の移動対象数を減らす，検出・追跡しやすいLEDなどのランドマークを利用する等）キャリブレーションとは異なり、カメラ画像の認識のみによる移動対象の同定に基づいた連結関係の推定を行えるので、カメラ配置に制約はなく自由に配置が行えるといった効果を有する。

以下、本発明の実施形態について、図２に示す本発明に係る分散カメラ視野間の連結関係推定法の全体処理フロー図を参照しながら詳細に説明していく。
本発明に係る分散カメラ視野間の連結関係推定法は、各カメラ視野内の対象入出点の検出ステップ（Ｓ１），全入出点の仮対応付け投票ステップ（Ｓ２），正対応経路と誤対応経路の分類ステップ（Ｓ３），各視野と経路の特徴の推定ステップ（Ｓ４）ら構成される。以下、各ステップに分けて順をおって説明していくこととする。

（各カメラ視野内の入出点対象の検出ステップ：Ｓ１）
本発明に係る広域分散カメラ間の連結関係推定法の目的は、カメラ群の連結関係を推定することであるが、このカメラ群の連結関係は、カメラ視野と視野中や視野間の経路によって表されるものである。そこで、本発明では、先ず、経路を検出して、次に各経路を通過した対象の観測情報に基づいて視野間連結情報を推定することとした。

ここで、経路はその始点と終点によって定まり、始点と終点は視野における対象の入出点と対応するものである。よって、経路検出のために最低限必要となる情報は対象の入出点となる。対象の入出点を得るためには、カメラ画像中からの対象領域検出および検出対象情報を時系列的に対応づけて各対象の入出点を得るための対象追跡が必要である。
対象検出・追跡については、それぞれ動的環境下における頑健な任意対象検出、相互遮蔽に頑健な対象追跡などが数多く提案されている。

ここで、対象検出は、対象追跡を目的とした場合、画像中の検出領域に多少の過検出・検出漏れがあっても大きな問題にはならないことや、遮蔽などにより短期間の検出遅れや未検出が生じても、対象の入出を全く検出できない可能性は極めて低いという理由から、十分安定に検出結果を得ることができるのである。

一方、対象追跡では、障害物による長時間の遮蔽や見えの類似した移動物体同士の相互遮蔽により失敗が起こり易く、追跡開始時と終了時において同一対象情報が正しく対応付いている可能性は十分に高いとは言えない問題がある。しかし、対象検出の信頼性が高ければ、各対象が視野内に入った瞬間・視野外に出た瞬間を正しく検出するための短期間の追跡結果は信頼できる。よって、複数カメラの視野間を移動するというイベントの解析に対して最も重要である視野への入出情報（視野への入出が起きる画像座標とその時刻）は、既存の手法により安定して得ることが可能なのである。

このことから、本発明に係る推定法では、このカメラ視野への入出点情報のみを利用することにしたものである。

対象のカメラ視野への入出点情報から経路検出を行うためには、対象の入出点と経路の始点終点を対応づける必要がある。以下本明細書においては、対象がカメラ視野に入ったデータ（観測画像座標と時刻，およびカメラ識別子）をIN情報と称し、カメラ視野から出たデータをＯＵＴ情報と称することとする。経路の始点終点は、同一対象の連続したＩＮ／ＯＵＴ情報のペアと対応していることになる。

ここで、経路の種類について以下に説明する。カメラ視野の重なりの有無が混在するマルチカメラシステムでは、観測空間中で図３に示すような対象の入出が起こり得る。図３中のINi，OUTi（iはカメラ識別子）は、それぞれ対象がカメラ視野へ侵入する点（各カメラ視野における新対象の検出点）、カメラ視野から退出する点（カメラ視野内の追跡終了点）を表すものとする。
ＩＮ／ＯＵＴ，OUT・IN，IN・IN，又は，OUT・OUTといった連続するINまたはOUTのペアにより経路が構成される。ここで、Ｘ・Ｙは点Ｘから点Ｙまでの経路を表すものとする。

図３の（ａ）単一視野は単一のカメラ視野における入出を示し、（ｂ）部分重なり，（ｃ）包含，（ｄ）重なり無しは、２つのカメラ視野間の入出を示している。３つ以上のカメラ視野構成における入出の全ては、（ａ）〜（ｄ）の組み合わせにより表現できることになる。
図３から全経路を以下の経路タイプ１〜経路タイプ５の５種類に分類が可能である。

（１）先ず、ＩＮ_ｉ・ＩＮ_ｊ又はＯＵＴ_ｐ・ＯＵＴ_ｑ（ここで、ｉ，ｊ，ｐ，ｑは任意のインデックスである。）は、２つの視野で構成される経路タイプ１に分類される。
・経路タイプ１：一方視野通過経路
重なりを持つ２つのカメラ視野のうち、片方のカメラ視野内にのみ含まれる経路のことを意味する。例えば、図３の中で経路タイプ１に属するものは、図３中の（ｂ）のIN₃・IN₄，OUT₃・OUT₄，と図３中の（ｃ）のIN₅・IN₆，OUT₆・OUT₅である。
（２）次に、ＩＮ_ｊ・ＯＵＴ_ｊは、ＩＮ_ｉとＯＵＴ_ｊを観測した視野内に存在し、この始点と終点を観測した視野の組合せに応じて以下の経路タイプ２と経路タイプ３の２種類に分類される。
・経路タイプ２：単一視野横断経路
ＩＮ_ｉとＯＵＴ_ｊが同一のカメラ視野の入出点である場合は、ＩＮ_ｉ・ＯＵＴ_ｊは単一カメラ視野内を横断する経路のことを意味する。例えば、図３の中で経路タイプ２に属するものは、図３中の（ａ）のIN₁・OUT₁と図３中の（ｃ）のIN₆・OUT₆と図３中の（ｄ）のIN₇・OUT₇，IN₈・OUT₈である。
・経路タイプ３：重畳領域通過経路
ＩＮ_ｉとＯＵＴ_ｊが異なるカメラ視野の入出点である場合は、ＩＮ_ｉ・ＯＵＴ_ｊは重なりのあるカメラ視野間の経路のことを意味する。例えば、図３の中で経路タイプ３に属するものは、図３中の（ｂ）のIN₄・OUT₃である。
（３）ＯＵＴ_ｉ・ＩＮ_ｊは、ＯＵＴ_ｉとＩＮ_ｊを観測した視野の外に存在し、この始点と終点を観測した視野の組合せに応じて、以下の経路タイプ４と経路タイプ５の２種類に分類される。
・経路タイプ４：ループ経路
ＯＵＴ_ｉとＩＮ_ｊが同一カメラ視野の入出点である場合は、ＯＵＴ_ｉ・ＩＮ_ｊはカメラ視野を出た後に同一視野に戻る経路のことを意味する。例えば、図３の中で経路タイプ４に属するものは、図３中の（ａ）のOUT₂・IN₂である。
・経路タイプ５：不可視視野間経路
ＯＵＴ_ｉとＩＮ_ｊが異なるカメラ視野の入出点である場合は、ＯＵＴ_ｉ・ＩＮ_ｊは重なりの無いカメラ視野間の経路のことを意味する。例えば、図３の中で経路タイプ５に属するものは、図３中の（ｄ）のOUT₇・IN₈である。

この経路の分類に基づいて、その経路の始点と終点を測定したカメラ視野の連結関係（クラスＶ情報）を求めることができる。但し、本明細書における経路の定義は、「対象軌跡中の連続する２点を始点終点に持つ線」である。例えば、図４に示すような複数のカメラ視野を包含するカメラ視野を対象が通過する場合には、他のカメラ視野をまたいだカメラ視野の入出点ペア（例えば、図４のIN_１・IN_３などのように複数の経路の連結からなる複合経路）は経路として検出されない。よって、経路のみに対する処理でカメラ視野間の関係を求めた場合は、経路を持たないが重なりのあるカメラ視野ペア（例えば、図４のカメラ視野Ｃ１とＣ３など）の関係が検出できない。
そこで、経路の連結からなる複合経路に対しても経路タイプを当てはめることとし、その両端のカメラ視野間の関係を求める必要がある。本発明では、経路検出の過程で複合経路も求まるため、必要なカメラ視野間関係をもれなく得ることが可能となるのである。

上述の（１）〜（５）の経路タイプの分類は、検出された経路集合からのカメラ視野の連結関係Ｖ１とＶ３の推定、および後述する誤検出経路の除去に用いることができる。

（全入出点の仮対応付け投票ステップ：Ｓ２）
次に、全入出点を対応付ける投票ステップ（Ｓ２）について説明する。
複数対象が同時に移動する環境下では，単純に時系列的に連続するＩＮ／ＯＵＴ情報のペアを経路の始点終点と見なすことができない。そのため、大量のデータを観測した際の経路の通過時間の均一性と始点終点座標の均一性に着目することにした。

先ず、通過時間の均一性について説明する。通過時間の均一性とは、ある種類の対象（歩行者，走っている人，車など）が各経路を通過する際には、途中で止まったり、観測環境外へ移動してしまうような特殊な状況を除いてほぼ同程度の時間を要するというものである。従って、大量にＩＮ／ＯＵＴ情報を観測して、全ての組み合わせ可能なＩＮ／ＯＵＴ情報のペアを仮に経路の始点終点と見なして、その間の経過時間を計算すると、実在経路に相当するペア間の経過時間の観測頻度は高くなることになる。

この通過時間の均一性を考慮にいれて経路の検出・分類を行うと、同じ経路を大きく異なる速度で通過する対象が存在する場合、位置的には同じ経路が通過時間の違いによって異なる経路として検出されてしまうことが起こる。ただし、本発明に係る推定法の目的は、対象追跡に利用する分散カメラ群の連結関係を推定することであり、その中の視野間連結情報には各経路の通過に要する時間情報が含まれている。従って、大きく通過時間の異る経路が別経路として表現されることに問題は生じないのである。

次に、始点終点座標の均一性について説明する。始点終点座標の均一性とは、観測時刻の差が同程度になるＩＮ／ＯＵＴ情報のペアの中には、偶然に、その時間間隔で観測された異なる対象軌跡のＩＮ／ＯＵＴ情報ペアも含まれてしまうことがある。さらに、実在経路の始点終点に相当するＩＮ／ＯＵＴ情報ペアの中にも、通過時間が等しい複数の経路の始点終点に対応するペアが含まれる可能性がある。しかし，各経路はそれぞれ異なる始点終点のカメラと画像座標によって構成されるため、始点終点のＩＮ／ＯＵＴ情報の類似性に基づいて各ＩＮ／ＯＵＴ情報のペアはそれぞれ適切な経路の情報として分類することが可能である。
以下、本明細書では、誤対応から成る経路を誤対応経路、正対応から成る経路を正対応経路と称することにする。

この分類処理の結果、対象の移動のたびに必ず観測される正対応経路と比べて，誤対応経路に分類されるＩＮ／ＯＵＴ情報の数は極めて小さくなるはずである。

さて、これらの通過時間の均一性および始点終点座標の均一性に基づいて経路検出を行うためには、まずＩＮ／ＯＵＴ情報の全仮対応付けを獲得する必要がある。
本発明に係る推定法では、まず視野への対象の入出を大量に観測して得られるＩＮ／ＯＵＴ情報間の中で、各ＩＮ／ＯＵＴ情報をその観測時間よりも以前に検出された全カメラの全ＩＮ／ＯＵＴ情報とペアとして対応づけ、それぞれを仮に経路の終点・始点と見なすことにしている。
ただし、十分に長時間離れて観測されたＩＮ／ＯＵＴ情報同士の対応付けを考慮する必要はなく、観測時刻の間隔がある閾値以内のＩＮ／ＯＵＴ情報の対応付けのみを考慮すれば十分である。

ＩＮ／ＯＵＴ情報の仮対応付け集合は、その始点および終点のＩＮ／ＯＵＴ情報が観測されたカメラに応じてそれぞれ独立の仮対応付け集合として取り扱われる。すなわち、始点がカメラＢ，終点がカメラＥに相当する仮対応付け集合をＳ^Ｂ，Ｅと表記すると、始点，終点がそれぞれカメラＢ，カメラＥで観測されたＩＮ／ＯＵＴ情報同士の仮対応付けは集合Ｓ^Ｂ，Ｅに投票されることとなる。ここで、カメラ数Ｎに対しては_ＮＰ_２＋Ｎ個の始点終点のカメラペアが可能である。

（正対応経路と誤対応経路の分類ステップ：Ｓ３）
次に、上記処理によって求められた多数投票結果から対象経路を検出する処理、すなわち、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップ(Ｓ３)について説明する。

先ず、集合を各始点終点のカメラペア毎に、例えば、ヒストグラム（横軸が経路間の経過時間，縦軸が観測回数）表示を行う。このヒストグラム表示においては、正対応経路の通過時間に相当する投票数は顕著に大きな値を示すこととなる。これは、上述した通過時間の均一性という特徴を表しているものである。本発明に係る推定法は、単純なピーク検出で経路検出を行うのではなく、上述した通過時間の均一性および始点終点座標の均一性を統合して考慮した分類により、経路検出を行っているものである。
これは、単純なピーク検出による経路検出には、以下に示すいくつかの問題があるためである。

第１の問題点は、単純なピーク検出による経路検出の場合、ある経路を通る対象の移動時間は、時間軸のサンプリング単位内に収まらずばらつくため、複数ピークが近い時間間隔に存在するときれいなピークは観測されないということである。
また、第２の問題点は、経過時間の値が近い正対応経路が複数存在すると、それらに相当する投票結果が同じ離散移動時間内に含まれてしまうということである。
また、第３の問題点は、投票結果には正対応だけではなく誤対応も混在しているということである。

これらの問題を軽減するため、まず観測された入出点座標集合を近接する入出点ごとに分類して、この分類点群（経路の始点終点に相当）の間の経過時間をヒストグラムに投票してピークを検出することとした。この処理により各ヒストグラムには、ある始点または終点を端点に持つ経路情報のみが投票され、ピーク検出が容易になる。
ただし、各画像で独立に入出点分類が行われており始点終点の結び付きが考慮されないこと、入出点座標集合の分類はガウス混合分布に基づいたクラス識別により行われているが、クラス数（各画像中の始点終点の数）は未知であること、複数の経路の端点が近接する場合に誤って別々に分類されるべき点が一点に分類されると、複数経路のクラスＲ情報が一つの経路情報中に混在してしまうことといった問題がある。

正対応経路の中には、推定目標である経路だけでなく複数経路の組み合わせによる複合経路も含まれるが、ピーク検出だけではこの二種類の経路の識別が不可能である。
また、詳細な経路タイプ分類まで考慮されていないといった問題がある。

そこで、本発明に係る推定法では、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップ(Ｓ３)において、ＩＮ／ＯＵＴ情報の仮対応付けられた各集合Ｓ^ｉ，ｊごとに、投票結果の始点終点の画像座標と経過時間を並べた５次元ベクトルの分類を行い、Ｓ^ｉ，ｊから正対応経路のみを抽出し、それを各経路に相当する投票結果ごとに分類することにしている。

以下、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップ（Ｓ３）を、図５に示す正対応経路と誤対応経路の分類処理フロー図を参照しながら、処理１〜処理５に分けて説明する。
処理１：多次元ベクトル化処理（Ｓ３１）
ＩＮ／ＯＵＴ情報の仮対応付けられた各集合Ｓ^ｉ，ｊ中の、各投票結果の始点終点座標と経過時間からなる５次元ベクトル集合を{Ｖ_１,・・・,Ｖ_Ｎｉ，ｊ} とする。
ここで、Ｖｉ＝(ｘ^Ｂ _ｉ,ｙ^Ｂ _ｉ,ｘ^Ｅ _ｉ,ｙ^Ｅ _ｉ,ｔ_ｉ) は、始点、終点の画像座標(ｘ^Ｂ _ｉ,ｙ^Ｂ _ｉ)，(ｘ^Ｅ _ｉ,ｙ^Ｅ _ｉ) （但し、i ∈ {１,・・・,Ｎ^ｉ，ｊ}）とこの始点終点間の経過時間ｔ_ｉからなる５次元ベクトルである。また、Ｎ^ｉ，ｊはＳ^ｉ，ｊ中の投票総数である。
処理２：正規化処理（Ｓ３２）
画像座標と経過時間には全く異なるオーダーの値が入力されることになるため正規化する。
処理３：分類処理（Ｓ３３）
次に、{Ｖ_１,・・・,Ｖ_Ｎｉ，ｊ}をＬＢＧ（Linde-Buzo-Gray）アルゴリズムにより分類する。ＬＢＧアルゴリズムとは、集合中のベクトルを類似性に基づいて２分割し、得られた各部分集合のコードベクトル（集合中のベクトルを最も良く近似した代表ベクトル）を求めるものである。本発明に係る推定法では、分割生成された部分集合ごとに、その全要素からコードベクトルまでの平均距離が閾値以下になるまで分割を繰り返している。また、閾値には、正対応経路と誤対応経路が異なる部分集合に分類されるように、十分小さな値を経験的に与えることにしている。この処理３により、各正対応経路に対応する正対応経路集合と誤対応経路集合の分類が行えることとなる。
この処理３の良くない結果として、ある経路に対応する投票結果が分割されたとしても、この過分割は検出経路情報を対象追跡に用いる際には特に問題にならないと考える。その理由としては、対象追跡時に、あるカメラの座標Ｘにおいて新たに対象が検出された場合に、座標Ｘを終点とする可能性のある全経路をこの対象の通過済経路の候補として選び出し、これらの経路情報を統合して対象同定に必要な情報を得るからである。過分割された経路情報は全て候補として選ばれることになる。
（４）処理４：誤対応経路の除去処理（Ｓ３４）
上記処理１乃至３によりＳ^ｉ，ｊから得られる各部分集合に含まれるベクトルの総数を求めて、その数が（平均−標準偏差の2.5倍）未満である部分集合を、投票数が極めて小さい誤対応経路として除去する。
処理５：経路タイプとの比較処理（Ｓ３５）
上記処理１乃至４により、ほとんどのケースでは正対応経路のみを検出できることになる。
しかし誤対応経路が極端に多い場合、前記処理４により誤対応経路が除去し切れない可能性がある。そこで、本処理により、この除去し切れない誤対応経路を経路タイプと比較処理することにより除去するのである。
例えば、始点と終点がIN・IN，またはOUT・OUTとなる経路タイプ1 は、必ず始点と終点の視野が異なることになる。よって、始点と終点がIN・IN，またはOUT・OUTで、かつ、始点と終点の視野が等しい経路は誤対応経路として除去できることとなるのである。

上記処理１乃至５は、全ての仮対応付け集合Ｓ^ｉ，ｊに対して行われる。その結果、得られた各部分集合が、それぞれ一つの正対応経路に対応することになる。
以下の明細書においては、上記処理１乃至５から得られた正対応経路をＲ^Ｂ，Ｅ＝{Ｒ^Ｂ，Ｅ _ｉ |ｉ ∈ {１, ・・・,Ｎ^Ｂ，Ｅ}}）と表記することにする。Ｎ^Ｂ，Ｅはその始点カメラＢと終点カメラＥにおける検出経路数である。また、経路Ｒ^Ｂ，Ｅ _ｉに分類された正対応経路集合（すなわち上記処理１乃至５の部分集合）をＴＣＳ^Ｂ，Ｅ _ｉと表記することにする。

上述の処理１乃至５で得られた正対応経路の中には、連続する検出目標経路が繋がって形成されている複合経路も含まれている。この過検出した複合経路は、同一点を終点に有し、かつ異なる視野に始点を持つ経路集合の検出を行うことにより除去できる。以下、複合経路の除去処理について説明する。

（複合経路の除去処理）
（ａ）処理ａ
あるカメラ視野Ｅが終点、かつ異なるカメラ視野Ｂ_ｉとＢ_ｊを始点とする正対応経路の集合をＲ^Ｂｉ，ＥとＲ^Ｂｊ，Ｅと表した場合に、Ｒ^Ｂｉ，Ｅ中の正対応経路ｐに分類された対応付け集合ＴＣＳ^Ｂｉ，Ｅ _ｐとＲ^Ｂｊ，Ｅ中の正対応経路ｑに分類された対応付け集合ＴＣＳ^Ｂｊ，Ｅ _ｑの中に、終点が同じ観測結果（ＩＮ／ＯＵＴ情報）が含まれていると仮定して、終点が同じＩＮ／ＯＵＴ情報の対応付けのうち、ＴＣＳ^Ｂｉ，Ｅ _ｐ中の対応付けの始点終点間の経過時間のほうがＴＣＳ^Ｂｊ，Ｅ _ｑ中の対応付けのそれよりも長い場合には、前者に対応する経路Ｒ^Ｂｉ，Ｅ _ｐは、後者に対応する経路Ｒ^Ｂｊ，Ｅ _ｑとその他の経路の複合経路である可能性が高いと判定する。
（ｂ）処理ｂ
上記処理ａでは対応付け集合の中の一つの対応付けでのみ判定を行っているため、集合中の全対応付け同士を比較して複合経路の候補Ｒ^Ｂｉ，Ｅ _ｐとその構成経路Ｒ^Ｂｊ，Ｅ _ｑの関係を確認する必要がある。ＴＣＳ^Ｂｉ，Ｅ _ｐとＴＣＳ^Ｂｊ，Ｅ _ｑに含まれる対応付け間で、終点が同じで、かつＴＣＳ^Ｂｉ，Ｅ _ｐの対応付けの経過時間のほうが長いＩＮ／ＯＵＴ情報の対応付けの割合を計算する。この割合が閾値を超える場合、複合経路の候補Ｒ^Ｂｉ，Ｅ _ｐを複合経路とみなして除去するのである。
（ｃ）処理ｃ
上記処理ａ〜ｂを、全ての視野をカメラ視野Ｅとみなして総カメラ数回だけ実行する。

全カメラに対して処理を適用した後に、最終的に残る経路集合は、処理を行うカメラの順序に依存することなく一定である。上記処理ａ乃至ｃによって、複合経路が全て除去されることとなり、始点終点間の経過時間が最短の検出目標経路のみが残るのである。
以上の処理により、本発明に係る推定目標の１つである全経路の検出が終了する。

（正対応投票結果からの対象追跡）
上述したように、本発明ではカメラ視野間を結ぶ経路を検出するために、入出点ペアの投票を行っている。この投票結果の中で、各正対応経路に相当する正対応集合中には、その経路の始点終点を通過した同一対象のＩＮ／ＯＵＴ情報のペアが投票されている。
すなわち、正対応集合中の各投票結果は、カメラ視野間を移動した対象の追跡結果に相当する。従って、本発明は、経路検出の過程でオフラインの対象追跡を行うことができることが理解できよう。

（各視野と経路の特徴の推定ステップ：Ｓ４）
次に、各視野と経路の特徴の推定ステップ（Ｓ４）について説明する。各視野と経路の特徴の推定ステップは、検出経路集合からのカメラ視野間連結関係情報の推定処理と、経路の始点情報と始点終点間の経過時間情報を取得処理から構成される。
（１）検出経路集合からのカメラ視野間連結関係情報の推定処理
検出された各経路は、上述した５種類の経路タイプと比較してそれぞれに分類できる。例えば、始点と終点がIN・IN，またはOUT・OUTである全経路はタイプ１の経路に分類される。但し、重なりのあるカメラ視野関係をもれなく検出するためには、上述したように経路以外の入出点ペアも分類対象とする必要がある。このため、本発明で分類対象とするのは、全ての正対応経路集合である。

また、得られた５種類の経路タイプ分類に基づいて、カメラ視野間の連結情報である経路のクラスＶ１情報とクラスＶ３情報を取得できるのである。
ここで、クラスＶ１とは、経路タイプ１，３を間に持つカメラ視野ペアには重なりがあり、その他の視野の組み合わせ間には重なりがないというものである。
また、クラスＶ３とは、経路タイプ５を間に持つ視野ペアの間には不可視経路が存在し、その他の重なりのない視野ペア間には経路がないというものである。

（２）経路の始点情報と始点終点間の経過時間情報を取得処理
次に、全経路の始点終点の平均座標データおよび分散データから経路の始点情報と始点終点間の経過時間情報を取得処理について説明する。
各経路rに分類された正対応経路の集合から、rの始点と終点それぞれの平均(x, y) 座標μ^Ｂ _ｒ，μ^Ｅ _ｒ，および共分散行列Σ^Ｂ _ｒ，Σ^Ｅ _ｒを求める。この平均座標と共分散行列および集合中の正対応付けの数Ｎｃ_ｒを重みとして、クラスＲ１情報（すなわち、カメラ視野Ｃ^Ｅの画像座標Ｐ^Ｅにおいて新たに対象が検出された際、カメラ視野Ｃ^Ｂの座標Ｐ^Ｂで、その対象が最後に観測されていた確率Ｐ_Ｒ１(Ｃ^Ｂ，Ｐ^Ｂ，Ｃ^Ｅ，Ｐ^Ｅ)）は、以下に示す手順（ａ）〜（ｃ）により求める。

（ａ）カメラ視野Ｃ^Ｅに終点を持つ全経路Ｒ^・，Ｅ＝Ｒ^・，Ｅ _１，・・・，Ｒ^・，Ｅ _Ｎ（Ｒ^・，Ｅ _ｉは終点のみが決まっている経路を表す）について、経路Ｒ^・，Ｅ _ｉの終点Ｅ_ｐｉ（平均座標がμ^Ｅ _ｉ，共分散行列がΣ^Ｅ _ｉ）の座標が、新検出座標Ｐ^Ｅとなる確率Ｑ(Ｐ^Ｅ，μ^Ｅ _ｉ，Σ^Ｅ _ｉ) を正規分布と仮定し、下記数１により求めるものである。また、このＱ(Ｐ^Ｅ，μ^Ｅ _ｉ，Σ^Ｅ _ｉ)に重みＮ_ｃｉをかけたちの総和を用いて、新検出座標Ｐ^Ｅが経路Ｒ^・，Ｅ _ｉの終点Ｅ_Ｐｉに対応する確率Ｐ(Ｐ^Ｅ，Ｅ_Ｐｉ)を下記数２により求める。

（ｂ）経路Ｒ^・，Ｅ _ｉの中で、カメラ視野Ｃ^Ｂに始点を持つ経路の集合をＲ^Ｂ，Ｅ＝Ｒ^Ｂ，Ｅ _１，・・・，Ｒ^Ｂ，Ｅ _Ｎとすると、上記処理（１）と同様に、Ｒ^Ｂ，Ｅ中の全経路について、経路Ｒ^Ｂ，Ｅ _ｊの始点Ｂ_ｐｊの座標がＰ^Ｂとなる確率Ｑ(Ｐ^Ｂ，μ^Ｂ _ｊ，Σ^Ｂ _ｊ)を上記数１により求めることができる。

（ｃ）この確率Ｑに同一経路の確率Ｐをかけた値の総和が、本発明に係る推定法の目的であるクラスＲ１情報となるのである。クラスＲ１情報は下記数３により得ることができる。

以上説明したように、全経路の始点終点の平均座標・共分散と観測された対応付け総数から、あらゆる視野・座標同士を始点終点と見なした際のクラスＲ１情報を推定可能である。
一方、クラスＲ２情報は、各経路ｒに投票された正対応経路の集合中の始点終点間の移動に要した経過時間の平均μ^Ｂ，Ｅ _ｒおよび分散σ^Ｂ，Ｅ _ｒから算出することが可能である。
上記数１に基づいて算出されるＱ(Ｔ，μ^Ｂ，Ｅ _ｒ，σ^Ｂ，Ｅ _ｒ) が、この経路ｒの移動に要する時間がＴである確率を表している。
対象追跡時にクラスＲ情報を利用する際には、クラスＲ１情報から得られた確率とクラスＲ２情報から得られた確率をかけあわせたＰ_Ｒ１(Ｃ^Ｂ，Ｐ^Ｂ，Ｃ^Ｅ，Ｐ^Ｅ)・Ｑ(Ｔ，μ^Ｂ，Ｅ _ｒ，σ^Ｂ，Ｅ _ｒ)を、対象がカメラ視野Ｃ^Ｂの座標Ｐ^Ｂからカメラ視野Ｃ^Ｅの座標Ｐ^Ｅに移動し、かつその経過時刻がＴであった確率として得ることができるのである。

ＩＮ／ＯＵＴ情報の仮対応付けの獲得について、図６を参照して説明する。図６は、カメラ３台が２種類の対象軌跡を観測している場合を表しており、検出目標である経路は、IN1・IN2，IN2・OUT1，OUT1・OUT2，IN4・OUT4，OUT4・IN3，IN3・OUT3の６種類となる。
上述したように、本発明に係る推定法では、まず視野への対象の入出を大量に観測して得られるＩＮ／ＯＵＴ情報間の中で、各ＩＮ／ＯＵＴ情報をその観測時間よりも以前に検出された全カメラの全ＩＮ／ＯＵＴ情報とペアとして対応づけ、それぞれを仮に経路の終点・始点と見なすことにしている。
十分に長時間離れて観測されたＩＮ／ＯＵＴ情報同士の対応付けを考慮する必要はなく、観測時刻の間隔がある閾値以内のＩＮ／ＯＵＴ情報の対応付けのみを考慮すれば十分であることから、図６の場合では、最長経路に相当するOUT4・IN3の経路の通過に要する時間に若干の余裕を加えた時間を閾値として与えることとするのである。
また、上述したように、ＩＮ／ＯＵＴ情報の仮対応付け集合は、その始点および終点のＩＮ／ＯＵＴ情報が観測されたカメラに応じてそれぞれ独立の仮対応付け集合として取り扱うため、図６の場合のように３台のカメラ（カメラ１〜３）があるとすると、カメラ１・カメラ２（Ｓ^１，２），カメラ１・カメラ３（Ｓ^１，３），カメラ２・カメラ３（Ｓ^２，３），カメラ２・カメラ１（Ｓ^２，１），カメラ３・カメラ１（Ｓ^３，１），カメラ３・カメラ２（Ｓ^３，２），カメラ１・カメラ１（Ｓ^１，１），カメラ２・カメラ２（Ｓ^２，２），カメラ３・カメラ３（Ｓ^３，３）の９通りの組み合わせ（カメラ数Ｎに対しては_ＮＰ_２＋Ｎ個の始点終点のカメラペア）の仮対応付け集合が存在することになるのである。

次に、図６の場合を例にして、全入出点を仮対応付けた視野間の通過時間の投票の具体例について、図７−１，図７−２を参照して説明する。
図７−１，図７−２は，図６に示したケースを観測した際に得られる仮対応付け集合を、各始点終点のカメラペアごとにヒストグラム（横軸が経路間の経過時間，縦軸が観測回数）表示した結果である。
図７−１，図７−２に示すように、通過時間の均一性から、正対応経路の通過時間に相当する投票数は顕著に大きな値を示すことが理解されよう。
図７−１，図７−２の例中、楕円で囲まれたピークが、推定目標である経路に対応し、その他のピークは複合経路である。

次に図８は、図６の場合を観測した際に得られる仮対応付け集合の例を示している。図８の中の矢印は、仮対応付け集合の例を図示している。ここで、図８（ａ）は集合Ｓ^１，２中の対応付けを、図８（ｂ）は集合Ｓ^２，２中の対応付けを示している。図８中の“False correspondence”が誤対応経路の投票結果例であり、こうした誤対応経路が各集合Ｓ^ｉ，ｊ（i, j は任意のカメラ識別子）中に含まれているのである。

（シミュレーション実験結果）
実施例２は、シミュレーションにより、対象検出座標とカメラ視野間移動時間の誤差やばらつき、および同時に移動する対象数に応じて、本発明による経路検出結果が、理想値からどのように変化するのかを確認し、本発明の頑健性を検証するものである。図９は、実施例２のシミュレーション実験で用いた観測シーン全体の鳥瞰図を示している。これは、平面シーン上の対象の移動を上方から鉛直下向のカメラで観測している状況を模している。矩形Ｖi （ｉ ∈ {１，２・・・,１２}）がカメラＣｉの視野（６４０×４８０pixel の撮像範囲に対応）を表し、点線が対象の移動軌跡を表している。観測ノイズおよび対象の移動軌跡のばらつきがない場合、すなわち理想的な条件下での検出目標となる経路数は７８（３７の双方向経路と４の一方向経路）である。

上記実験設定の下で、以下の３種類の実験を行っている。
（１）実験１：対象検出座標のばらつきによる経路数の増減を確認
対象検出座標のばらつきは，環境中における実際の対象移動のばらつきと画像からの検出の誤差によって生じるのであるが、本実験１では両方の要因をまとめて観測画像上における真の軌跡からのばらつきによって表現するものとしている。このばらつきはx，y 座標独立に正規分布を仮定して与えることとした。
（２）実験２：対象速度のばらつきによる経路数の増減を確認
対象速度のばらつき表現のため、環境中における各対象の移動速度にはある基準速度値を正規分布に基づいて変化させた値を与えることとした。
（３）実験３：同時観測する対象数による経路数の増減を確認

実験１の結果を表１に、実験２の結果を表２に、実験３の結果を表３に示す。ここで、表中の経路数の欄には、理想値の78 本の経路からの増減（+，-）と誤対応経路の本数（下線付の値）が示されており、下表３中の成功率の欄には、経路検出の結果得られる対象追跡結果においてtrue-positiveの対応付けのみが１つ得られた確率（単位は％）が示されている。但し、同時観測対象数が１体のみである実験１と２での成功率は当然１００％になるので省略することにしている。

上記表中の「座標分散」，「速度分散」，および「同時観測数」は、それぞれ検出された入出(x, y)座標[pixel]の分散，シーン中の対象移動速度の分散，および単位時間内に各画像で観測される対象入出数の平均値である。
また、上記表１〜３中の対象検出座標のばらつきは、ｘ，ｙ座標独立に正規分布を仮定して与えた。また、対象速度のばらつき表現のため、環境中における各対象の移動速度には、ある基準速度を正規分布に基づいて変化させて値を採用した。
また、各実験では変化させるパラメータによる影響のみを確認するため、変化パラメータ以外は「検出座標の分散は０pixel」「全対象の移動速度は一定」「同時観測する対象検出数は１」として、閾値は適切な一定値を、全実験を通して採用するという条件で行った。

図１０に、実施例２のシミュレーションにおける検出経路の増減の例を示す。（ａ）は実験１，（ｂ）は実験２，（ｃ）は実験３における検出経路の増減を示す。
実験１での経路減少については、図１０（ａ）における視野Ｖ_９からＶ_１０に入る理想経路（図１０（ａ）左図中のＰ_１・Ｐ_２とＰ_１・Ｐ_５）の終点座標がばらつきにより混在して観測されており、その結果、視野Ｖ_９からＶ_１０に入る経路が一つに統合されたものである（右図中のＰ_１・Ｐ_２）。一方、このＰ_２付近を始点にして視野Ｖ_１０からＶ_１１に入る経路の終点Ｐ_３とＰ_６の距離は十分に離れているため、この二つの経路は多少の観測点のばらつきが生じても独立に検出される。このときＰ_２付近で観測されるＩＮ情報は、終点がＰ_３となる始点とＰ_６になる始点の二種類（図１０（ａ）右図中のＰ“_２とＰ‘_２）に分類され、経路Ｐ’_２・Ｐ_６とＰ”_２・Ｐ_３が構成される。

実験1 での経路増加については、図１０（ａ）におけるばらつきにより左図の点Ｐ_５からＰ_８に移動する際に視野Ｖ_１１を通らない軌跡が観測されたため、経路Ｐ’_２・Ｐ‘_６（図１０（ａ）右図中）が新たに検出されたものである。

実験２での経路増加については、図１０（ｂ）における対象の移動速度のばらつきにより点Ｐ_１からＰ_２（図１０（ｂ）左図中）への経過時間がばらついた結果、経路が経過時間の異なるＰ_１・Ｐ_２とＰ’_１・Ｐ‘_２（図１０（ｂ）右図中）に分割されたものである。

実験３での経路増加については、図１０図（ｃ）における同時に観測されるＩＮ／ＯＵＴ情報が増加したため、Ｐ_２におけるＩＮ情報、Ｐ_１におけるＯＵＴ情報の誤対応が除去しきれず、誤対応経路Ｐ_２・Ｐ_１が検出されてしまったものである。この結果，視野Ｖ_６とＶ_８が重なりありと判断されたものと考える。

上記結果から経路検出に関する以下の特徴が確認できることが理解できる。
実験１の結果からは、検出座標のばらつきは検出経路の増加・減少を起こすものの、誤対応は生じないことが確認できる。
実験２の結果からは、対象速度のばらつきにより経路減少は起らないし、また、誤対応も生じないことが確認できる。
実験３の結果からは、画像内への対象入出頻度の増加は誤対応経路の増加を起こし、誤対応が検出されると、カメラ視野間の関係推定にも誤りが生じてしまうものの、入出頻度が極端に大きくならない限り、本発明は安定に経路検出が可能であることが確認できる。

検出経路数の増減値は、ＬＢＧアルゴリズムによる仮対応付け集合分類の停止のための閾値によって変化するが、経路増減に関する特徴は不変である。この増減の中で、誤対応経路以外の増減経路は、観測ノイズの影響で入出点の分類が増減した結果に対応している。この増減は、ＬＢＧアルゴリズムの閾値設定による経路の増減と同じく、推定結果を対象検出に適用する際には問題とならない。問題となるのは誤対応経路の本数であり、これが増えるほど実際にはあり得ない対象経路を考慮して対象追跡の絞り込が行われるため、追跡失敗の原因となってしまう。
よって、検出座標，および対象の移動速度がばらついたとしても、推定結果は後の対象追跡に対して有用な情報を提供できることが確認できた。

また、上記表３の結果から、経路検出の結果として得られた対象追跡結果の成功率は、誤対応経路が検出されている場合を除いて極めて高いことが確認できる。

実施例３では、図１１のように、１２台のカメラＣ_１〜Ｃ_１２を分散配置した屋内環境下で、本発明の動作を確認した。全てのカメラは非同期撮影を行っているが、各カメラの撮影を制御するコンピュータの内部時計を同期させることにより、全画像の観測時刻を既知としている。
撮影は平日３日間の日中（ＡＭ９：００〜ＰＭ７：００）に実施した。日中の間は、約３００人程度の人数が日常の活動を行っていた。
各カメラにおいて１秒間隔で撮影した３２０×２４０pixelの画像系列を入力として本発明の動作を確認している。先ず公知の手法により前景抽出した後、抽出画素の近接性に基づいて検出した各対象領域の重心を対象座標と擬制した。また、観察画像内の対象追跡は、単純な座標の近接性と領域サイズの類似性に基づいて実施した。観察対象はすべて歩行者であり（但し、歩行速度にはばらつきがある。）、各カメラの各観測画像系列において検出された対象の入出数は、カメラＣ_１〜Ｃ_１２の順に7238，7910，11789，13782，12376，6792，7067，7856，8178，12574，12456，12786であった。

図１２に、カメラの観測画像における歩行者のカメラ視野への入出の検出例を示す。ここで、図１２（ａ）はカメラＣ_２の視野内の追跡成功例を示しており、図１２（ｂ）はカメラＣ_１の視野内の追跡失敗例を示している。図１２（ａ）（ｂ）共に、カメラを床から2.2ｍ程度の高さで、水平より若干下向きに設置したカメラの観察画像である。
水平より若干下向きに設置したカメラ画像の場合、対象を真上から観測した画像（例えば、図１１におけるカメラＣ_１０，Ｃ_１１，Ｃ_１２の観察画像）と比較して安定な対象が難しい。例えば、図１２（ｂ）で、（画像１）でＩＮ検出された対象Ａと、（画像２）でＩＮ検出された対象Ｂが、（画像３）において重なったため対象Ａと対象Ｂとを識別することが不可能になってしまった。この結果、（画像４）で対象ＡのＯＵＴ情報を誤って対象ＢのＯＵＴ情報とみなしている。

しかし、本発明の連結関係推定法の入力情報であるＩＮ／ＯＵＴ情報には対象ＩＤが含まれないため、このような対象追跡の失敗は全く影響がないのである。上述したように、本発明の連結関係推定法で重要な入力情報は、対象の入出座標と時刻のみである。図１２（ａ）（ｂ）で示されるように、対象ＡおよびＢの短時間の追跡には成功しており、対象のＩＮ／ＯＵＴ情報が得られている。但し、入出時に複数の対象が画像中で重なっている場合、検出座標は真の座標から多少ずれてしまう。

このＩＮ／ＯＵＴ情報から、１３０の経路（５９の双方向経路と１２の一方向経路）が検出された。各経路に分類された正対応投票数の平均は２１３９であった。
図１３に実施例３の検出経路の例を示す。楕円と矢印がそれぞれ始点や終点の位置・分散と始点終点の対応付けを表し、矢印上の数字が経路間の平均経過時間を示している。また、矢印の太さはその経路に投票された対応付けの数に比例している。図１３中、過分割とみなせる経路は１本にまとめ、異なる経路の近接した始点終点も１つの楕円にまとめている。
なお、検出された経路を人手により観察画像と照合したところ、経路の過分割とみなせる結果は数多く（４０程度）存在したが、すべて実際の経路に対応しており誤検出は見当たらなかった。また検出漏れも見当たらなかった。

経路の検出結果からクラスＶ情報が得られた。得られたクラスＶ情報を以下に示す。
・経路をもつ視野のカメラペア（Ｖ１）
Ｃ_１−Ｃ_２，Ｃ_１−Ｃ_４，Ｃ_２−Ｃ_４，「Ｃ_３，Ｃ_４，Ｃ_５，Ｃ_１０，Ｃ_１１，Ｃ_１２中のすべての可能なペアの組合せ」，Ｃ_６−Ｃ_７，Ｃ_７−Ｃ_８，Ｃ_７−Ｃ_９，Ｃ_８−Ｃ_９
・重畳領域をもつ視野のカメラペア（Ｖ２）
Ｃ_１−Ｃ_２，「Ｃ_３，Ｃ_４，Ｃ_５，Ｃ_１０，Ｃ_１１，Ｃ_１２中のすべての可能なペアの組合せ」，Ｃ_６−Ｃ_７，Ｃ_８−Ｃ_９

次に、クラスＶ情報と同様に得られたクラスＲ情報の一例（図１３のＣ_５，Ｃ_２，Ｃ_１の観察画像に関するもの）を以下に示す。
・Ｒ１
カメラＣ_５の観察画像中の点Ａの平均と分散は、それぞれ（56.1，71.8）と（4.1，2.2）であった。
・Ｒ２
各経路の平均通過時間（秒）は図１３の観察画像中の矢印の数字で示した。

また、全観測シーケンスの中から対象のカメラ視野間移動をランダムに３００だけ抽出し、経路検出時に得られた対象追跡結果と比較したところ、追跡失敗は２つだけ存在した。但し、本実験での対象検出では厳密な対象のセグメンテーションを行っていないため、対象検出時に複数人が近接している際にそれらが１対象として検出されることがある。本発明では、その群れ（１対象）を視野間で正しく対応付けることができていれば追跡成功と見なしている。

次に、入力するＩＮ／ＯＵＴ情報数と閾値設定の与える影響について検証を実施した。本発明における閾値は、以下の（１）〜（３）の３種類である。
（１）仮対応付けするＩＮ／ＯＵＴ情報ペアの検出時刻の差の最大値
（２）ＬＢＧアルゴリズムによる仮対応付け分割終了判定の閾値
（３）複合経路検出の閾値

しかし、上記（１）仮対応付けするＩＮ／ＯＵＴ情報ペアの検出時刻の差の最大値は、人手で容易に決定可能であり、また、上記（３）複合経路検出の閾値は、閾値の変化に対して結果は極めて安定であることは既に示していることから、ここでは、上記（２）ＬＢＧアルゴリズムによる仮対応付け分割終了判定の閾値の影響を実験的に評価してみる。

図１４のグラフは、ＬＢＧアルゴリズムによる仮対応付け分割終了判定の閾値の影響の実験結果を示している。ここで、図１４の（ａ）は、投票ペア数に対する正対応・誤対応の検出径路率の増減を示しており、（ｂ）は閾値に対する正対応・誤対応の検出径路率の増減を示している。
図１４（ａ）（ｂ）で示したグラフの縦軸は、共に、上述の実験結果における１３０本の検出経路を正解とみなしたTrue-positive（正解経路を検出した割合＝検出した正解経路数／正解経路数）とFalse-positive（正解経路以外を検出した割合＝誤検出した経路数／正解経路数）を示している。
また、図１４（ａ）で示したグラフの横軸は、各経路に分類されたＩＮ／ＯＵＴ情報の対応付け数の平均値（投票ペア数）である。投票ペア数が７００を超えると、検出漏れ・誤検出ともになくなっていることが示されている。
また、図１４（ｂ）で示したグラフの横軸は、ＬＢＧアルゴリズムによる分類の終了判定の閾値である。但し、分類する５次元ベクトルの各要素は１に正規化している。0.01〜0.05付近で検出漏れ・誤検出ともになくなっていることが示されている。

しかし、閾値が0.01未満になると誤検出が急増している。この要因としては、ほとんどの分割集合の要素数が極めて少なくなり、正対応と誤対応の集合の要素数に有意差がなくなって、両者の識別が困難となったためであると考えられる。このことから、閾値は小さいほどよいといった極端な基準を用いた場合、適切な結果を取得することは困難である。

本発明において、複数対象がカメラ画像中で重なっている場合でも、各対象の重心座標を正確に検出することにより、より安定した結果を得ることが可能である。
以上の実施例３の結果から、本発明が実際の分散カメラ群の連結関係推定を実現可能であることが確認できた。

本発明に係る推定法によれば、多数カメラのキャリブレーションが自動化できるため、例えば、広域分散配置された複数カメラによる継続的対象観測を必要とする全ての実世界視覚システムに活用が期待される。具体的には、道路交通監視システムやビル等のセキュリティシステムなどに有用である。

分散カメラシステムの観測視野の説明図分散カメラシステムの観測視野における対象の入出力点と経路の説明図本発明に係る広域分散カメラ視野間の連結関係推定法の全体処理フロー図カメラ視野の入出の組み合わせを示す図（ここで、楕円はカメラ視野を、矢印は対象の軌跡を表す。）複数の包含関係視野を通過する経路の一例を示す図正対応経路と誤対応経路の分類処理フロー図カメラ視野および観測対象経路の一例を示す図各カメラペアにおける視野間の時間の投票のヒストグラム（１）各カメラペアにおける視野間の時間の投票のヒストグラム（２）カメラ画像上に重畳表示された対応付け投票結果の集合図例実施例２のシミュレーション実験で用いた観測シーン全体の鳥瞰図実施例２のシミュレーションにおける検出経路の増減の例を示す図（図中、矢印の元が理想的な検出結果を表し，矢印の先が観測結果に応じた検出経路の増減を表している。）。（ａ）は実験１，（ｂ）は実験２，（ｃ）は実験３における検出経路の増減を示す。実施例３における観測シーン全体の鳥瞰図と観測画像（上：1 階，下：2 階）実施例３におけるカメラの観測画像における歩行者のカメラ視野への入出の検出例を示す図で、（ａ）はカメラＣ_２の視野内の追跡成功例を示しており、（ｂ）はカメラＣ_１の視野内の追跡失敗例を示している。実施例３における検出経路の一例を示す図ＬＢＧアルゴリズムによる仮対応付け分割終了判定の閾値の影響の実験結果を示す図で、（ａ）は投票ペア数に対する正対応・誤対応の検出径路率の増減を示しており、（ｂ）は閾値に対する正対応・誤対応の検出径路率の増減を示している。

Claims

マルチカメラによる対象追跡における分散カメラ群の連結関係の推定プロセスにおいて、各カメラ視野内の対象入出点の検出ステップと；全入出点を対応づける投票ステップと；投票の始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップと；各視野と経路の特徴を推定するステップとを備え、カメラの画像のみを用いて経路検出できることを特徴とする広域分散カメラ間の連結関係推定法。
請求項１に記載の広域分散カメラ間の連結関係推定法において、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップにおける分類は、始点座標，終点座標，および通過時間を少なくともベクトル要素に含む多次元ベクトルの類似分類を用いることを特徴とする広域分散カメラ間の連結関係推定法。
請求項１に記載の広域分散カメラ間の連結関係推定法において、始点終点座標および通過時間の類似性に基づいて正対応経路と誤対応経路を分類するステップは、同一の対象入出点を持つ投票を含んだ経路間で通過時間の大小に応じて経路とその複合経路とを分類することを特徴とする広域分散カメラ間の連結関係推定法。
請求項１に記載の広域分散カメラ間の連結関係推定法における、各視野と経路の特徴を推定するステップは、一方視野通過経路，単一視野横断経路，重畳領域通過経路，ループ経路，不可視視野間経路の５つの経路タイプと検出された正対応経路との比較から視野間の幾何学的関係を得ることを特徴とする広域分散カメラ間の連結関係推定法。
請求項１に記載の広域分散カメラ間の連結関係推定法における、各視野と経路の特徴を推定するステップは、各経路に投票された始点終点座標集合から経路座標の確率的情報を推定するステップと、各経路に対応する投票の通過時間集合から経路通過時間の確率的情報を推定するステップとを少なくとも備えたことを特徴とする広域分散カメラ間の連結関係推定法。
請求項１乃至請求項５のいずれかに記載の広域分散カメラ間の連結関係推定法を少なくとも含む対象検出および追跡法。
請求項１乃至請求項５のいずれかに記載の広域分散カメラ間の連結関係推定法をコンピュータに実行させることを特徴とする広域分散カメラ間の連結関係推定プログラム。
請求項７に記載の広域分散カメラ間の連結関係推定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。