JP5230793B2 - 人物追跡装置及び人物追跡プログラム - Google Patents

Description

この発明は、監視対象領域内に存在している個々の人物を検出して、各人物を追跡する人物追跡装置及び人物追跡プログラムに関するものである。

高層ビルには非常に多数のエレベータが設置されているが、例えば、朝の通勤ラッシュ時や昼休みの混雑時などには、乗客を効率的に輸送するために、多数のエレベータを連携させて運転する群管理が必要となる。
多数のエレベータの群管理を効率的に行うためには、「何人がどの階で乗って、どの階で降りたか」という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供することが必要となる。

従来より、カメラを用いて、乗客の人数のカウントや乗客の移動の計測を行う人物追跡技術については、色々な提案がなされてきている。
その一つとして、予め記憶している背景画像と、カメラにより撮影されたエレベータ内の画像との差分の画像（背景差分画像）を求めることで、エレベータ内の乗客を検出して、エレベータ内の乗客数を計数する人物追跡装置がある（例えば、特許文献１を参照）。
しかし、非常に混み合っているエレベータでは、約２５ｃｍ四方に一人の乗客が存在し、乗客が重なり合う状況が発生するので、背景差分画像が一塊のシルエットになる。このため、背景差分画像から個々の人物を分離することが極めて困難であり、上記の人物追跡装置では、エレベータ内の乗客数を正確に計数することができない。

また、別の技術として、エレベータ内の上部にカメラを設置し、予め記憶している頭部画像の参照パターンと、そのカメラの撮影画像とのパターンマッチングを実施することで、エレベータ内の乗客の頭部を検出することで、エレベータ内の乗客数を計数する人物追跡装置がある（例えば、特許文献２を参照）。
しかし、このような単純なパターンマッチングで乗客を検出する場合、例えば、カメラから見たときに、ある乗客が他の乗客に隠れてしまっているなどの遮蔽が生じていると、誤って人数をカウントしてしまうことがある。また、エレベータ内に鏡が設置されている場合、鏡に映っている乗客を誤検出してしまうことがある。

また、別の技術として、エレベータ内の上部にステレオカメラを設置し、ステレオカメラの撮影画像から検出した人物をステレオ視して、人物の３次元位置を求める人物追跡装置がある（例えば、特許文献３を参照）。
しかし、この人物追跡装置の場合、実際の人数よりも多くの人物が検出されてしまうことがある。
即ち、この人物追跡装置の場合、例えば、図４５に示すように、人物Ｘの３次元位置を求める場合、カメラから検出人物までのベクトルＶＡ１とベクトルＶＢ１が交差する点を人物の位置として算出する。
しかし、ベクトルＶＡ１とベクトルＶＢ２が交わる点にも、人物が存在すると推定されてしまうことがあり、実際の人物が２人しか存在しない場合でも、誤って３人存在すると算出されてしまうことがある。

さらに、多視点カメラを利用する複数人物の検出手法として、背景差分で得た人物のシルエットを基に、動的計画法を用いて人物の移動軌跡を求める手法（例えば、非特許文献１を参照）や、「Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ」を用いて人物の移動軌跡を求める手法（例えば、非特許文献２を参照）がある。
これらの手法は、ある視点において、人物が遮蔽されている状況でも、他の視点のシルエット情報や時系列情報を用いて、人数と人物の移動軌跡を求めることが可能である。
しかし、混雑しているエレベータや電車内では、どの視点から撮影しても、常にシルエットが重なり合うため、これらの手法を適用することができない。

特開平８−２６６１１号公報（段落［００２４］、図１） 特開２００６−１６８９３０号公報（段落［００２７］、図１） 特開平１１−６６３１９号公報（段落［０００５］、図２）

Berclaz, J. , Fleuret, F. , Fua, P. , "Robust People Tracking with Global Trajectory Optimization," Proc. CVPR, Vol1, pp 744-750, Jun. 2006. Otsuka, K. ,Mukawa, N. , "A particle filter for tracking densely populated objects based on explicit multiview occlusion analysis," Proc. of the 17th International Conf. on Pattern Recognition, Vol.4, pp. 745 -750, Aug. 2004.

従来の人物追跡装置は以上のように構成されているので、監視対象領域であるエレベータが非常に混雑している状況などでは、エレベータ内の乗客を正確に検出することができず、乗客を正確に追跡することができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、監視対象領域が非常に混雑している状況でも、その監視対象領域内に存在している人物を正確に追跡することができる人物追跡装置及び人物追跡プログラムを得ることを目的とする。

この発明に係る人物追跡装置は、複数の撮影手段により撮影された監視対象領域の映像を解析して、その監視対象領域内に存在している個々の人物の各映像上の位置を算出する人物位置算出手段と、人物位置算出手段により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する２次元移動軌跡算出手段とを設け、３次元移動軌跡算出手段が２次元移動軌跡算出手段により算出された各映像における２次元移動軌跡間のステレオマッチングを実施して、２次元移動軌跡のマッチング率を算出し、そのマッチング率が規定値以上の２次元移動軌跡から、個々の人物の３次元移動軌跡を算出するようにしたものである。

この発明によれば、複数の撮影手段により撮影された監視対象領域の映像を解析して、その監視対象領域内に存在している個々の人物の各映像上の位置を算出する人物位置算出手段と、人物位置算出手段により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する２次元移動軌跡算出手段とを設け、３次元移動軌跡算出手段が２次元移動軌跡算出手段により算出された各映像における２次元移動軌跡間のステレオマッチングを実施して、２次元移動軌跡のマッチング率を算出し、そのマッチング率が規定値以上の２次元移動軌跡から、個々の人物の３次元移動軌跡を算出するように構成したので、監視対象領域が非常に混雑している状況でも、その監視対象領域内に存在している人物を正確に追跡することができる効果がある。

この発明の実施の形態１による人物追跡装置を示す構成図である。 映像解析部３を構成しているドア開閉認識部１１の内部を示す構成図である。 映像解析部３を構成している階床認識部１２の内部を示す構成図である。 映像解析部３を構成している人物追跡部１３の内部を示す構成図である。 映像解析部３を構成している映像解析結果表示部４の内部を示す構成図である。 この発明の実施の形態１による人物追跡装置の処理内容を示すフローチャートである。 ドア開閉認識部１１の処理内容を示すフローチャートである。 ドア開閉認識部１１の処理内容を示す説明図である。 ドア開閉認識部１１のドアインデックスを示す説明図である。 階床認識部１２の処理内容を示すフローチャートである。 階床認識部１２の処理内容を示す説明図である。 人物追跡部１３の前処理の内容を示すフローチャートである。 人物追跡部１３の後処理の内容を示すフローチャートである。 キャリブレーションパターンとしてチェッカーフラグパターンを用いている例を示す説明図である。 キャリブレーションパターンとして、エレベータの天井や四隅を選択する例を示す説明図である。 人体の頭部の検出処理を示す説明図である。 カメラパースペクティブフィルタを示す説明図である。 ２次元移動軌跡算出部４５の算出処理を示すフローチャートである。 ２次元移動軌跡算出部４５の処理内容を示す説明図である。 ２次元移動軌跡グラフ生成部４７の処理内容を示す説明図である。 ２次元移動軌跡グラフ生成部４７の処理内容を示す説明図である。 軌跡ステレオ部４８の処理内容を示すフローチャートである。 軌跡ステレオ部４８における２次元移動軌跡グラフの探索処理を示す説明図である。 ２次元移動軌跡のマッチング率の算出処理を示す説明図である。 ２次元移動軌跡のオーバーラップを示す説明図である。 ３次元移動軌跡グラフ生成部４９の処理内容を示す説明図である。 ３次元移動軌跡グラフ生成部４９の処理内容を示す説明図である。 軌跡組み合わせ推定部５０の処理内容を示すフローチャートである。 軌跡組み合わせ推定部５０の処理内容を示す説明図である。 映像解析結果表示部４の画面構成例を示す説明図である。 時系列情報表示部５２の画面の詳細例を示す説明図である。 サマリー表示部５３の画面例を示す説明図である。 運行関連情報表示部５４の画面例を示す説明図である。 ソートデータ表示部５５の画面例を示す説明図である。 この発明の実施の形態２による人物追跡装置の人物追跡部１３の内部を示す構成図である。 軌跡組み合わせ推定部６１の処理内容を示すフローチャートである。 軌跡組み合わせ推定部６１の処理内容を示す説明図である。 この発明の実施の形態３による人物追跡装置の人物追跡部１３の内部を示す構成図である。 ２次元移動軌跡ラベリング部７１と３次元移動軌跡コスト計算部７２の処理内容を示すフローチャートである。 ２次元移動軌跡ラベリング部７１と３次元移動軌跡コスト計算部７２の処理内容を示す説明図である。 この発明の実施の形態４による人物追跡装置を示す構成図である。 この発明の実施の形態４による人物追跡装置の処理内容を示すフローチャートである。 この発明の実施の形態５による人物追跡装置を示す構成図である。 この発明の実施の形態５による人物追跡装置の処理内容を示すフローチャートである。 従来の人物追跡装置による人物検出手法を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
図１はこの発明の実施の形態１による人物追跡装置を示す構成図である。
図１において、撮影手段を構成している複数のカメラ１は、監視対象領域であるエレベータのカゴ内の上部の異なる位置にそれぞれ設置されており、カゴ内を同時に異なる角度から撮影している。
ただし、カメラ１の種類については特に問わず、一般的な監視カメラのほか、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。

映像取得部２は複数のカメラ１により撮影されたエレベータのカゴ内の映像を取得する映像入力インタフェースであり、エレベータのカゴ内の映像を映像解析部３に出力する処理を実施する。
ここでは、映像取得部２がカゴ内の映像をリアルタイムで映像解析部３に出力するものとするが、予め用意されたハードディスクなどの記録装置に映像を記録して、その映像をオフラインで映像解析部３に出力するようにしてもよい。

映像解析部３は映像取得部２から出力されたエレベータのカゴ内の映像を解析して、カゴ内に存在している個々の人物の３次元移動軌跡を算出し、その３次元移動軌跡に基づいて個々の人物の乗車階と降車階を示す人物移動履歴等を算出する処理を実施する。
映像解析結果表示部４は映像解析部３により算出された人物移動履歴等をディスプレイ（図示せぬ）に表示する処理を実施する。なお、映像解析結果表示部４は映像解析結果表示手段を構成している。

ドア開閉認識部１１は映像取得部２から出力されたエレベータのカゴ内の映像を解析して、そのエレベータのドアの開閉時刻を特定する処理を実施する。なお、ドア開閉認識部１１はドア開閉時刻特定手段を構成している。
階床認識部１２は映像取得部２から出力されたエレベータのカゴ内の映像を解析して、各時刻におけるエレベータの階床を特定する処理を実施する。なお、階床認識部１２は階床特定手段を構成している。
人物追跡部１３は映像取得部２から出力されたエレベータのカゴ内の映像を解析して、カゴ内に存在している個々の人物を追跡することで、個々の人物の３次元移動軌跡を算出し、その３次元移動軌跡に基づいて個々の人物の乗車階と降車階を示す人物移動履歴等を算出する処理を実施する。

図２は映像解析部３を構成しているドア開閉認識部１１の内部を示す構成図である。
図２において、背景画像登録部２１はドアが閉じている状態のエレベータ内のドア領域の画像を背景画像として登録する処理を実施する。
背景差分部２２は背景画像登録部２１により登録されている背景画像とカメラ１により撮影されたドア領域の映像との差分を算出する処理を実施する。
オプティカルフロー計算部２３はカメラ１により撮影されたドア領域の映像の変化からドアの移動方向を示す動きベクトルを計算する処理を実施する。
ドア開閉時刻特定部２４は背景差分部２２により算出された差分とオプティカルフロー計算部２３により計算された動きベクトルからドアの開閉状態を判別して、ドアの開閉時刻を特定する処理を実施する。
背景画像更新部２５はカメラ１により撮影されたドア領域の映像を用いて、その背景画像を更新する処理を実施する。

図３は映像解析部３を構成している階床認識部１２の内部を示す構成図である。
図３において、テンプレート画像登録部３１はエレベータの階床を示すインジケータの画像をテンプレート画像として登録する処理を実施する。
テンプレートマッチング部３２はテンプレート画像登録部３１により登録されているテンプレート画像とカメラ１により撮影されたエレベータ内のインジケータ領域の映像とのテンプレートマッチングを実施して、各時刻におけるエレベータの階床を特定する処理を実施する。あるいは、エレベータの制御基盤情報を解析して、各時刻におけるエレベータの階床を特定する処理を実施する。
テンプレート画像更新部３３はカメラ１により撮影されたインジケータ領域の映像を用いて、そのテンプレート画像を更新する処理を実施する。

図４は映像解析部３を構成している人物追跡部１３の内部を示す構成図である。
図４において、人物位置算出部４１は複数のカメラ１により撮影されたエレベータのカゴ内の映像を解析して、カゴ内に存在している個々の人物の各映像上の位置を算出する処理を実施する。なお、人物位置算出部４１は人物位置算出手段を構成している。
人物位置算出部４１のカメラキャリブレーション部４２は人物追跡処理が開始される前に、予め複数のカメラ１により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ１のカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）に関するパラメータ）を算出する処理を実施する。
また、カメラキャリブレーション部４２は複数のカメラ１により撮影されたキャリブレーションパターンの映像と、複数のカメラ１のカメラパラメータとを用いて、エレベータのカゴ内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する処理を実施する。

人物位置算出部４１の映像補正部４３はカメラキャリブレーション部４２により算出されたカメラパラメータを用いて、複数のカメラ１により撮影されたエレベータのカゴ内の映像の歪みを補正する処理を実施する。
人物位置算出部４１の人物検出部４４は映像補正部４３により歪みが補正された各映像に写っている個々の人物を検出し、個々の人物の各映像上の位置を算出する処理を実施する。

２次元移動軌跡算出部４５は人物検出部４４により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する処理を実施する。なお、２次元移動軌跡算出部４５は２次元移動軌跡算出手段を構成している。
３次元移動軌跡算出部４６は２次元移動軌跡算出部４５により算出された各映像における２次元移動軌跡間のステレオマッチングを実施して、その２次元移動軌跡のマッチング率を算出し、そのマッチング率が規定値以上の２次元移動軌跡から、個々の人物の３次元移動軌跡を算出するとともに、個々の人物の３次元移動軌跡と階床認識部１２により特定された階床とを対応付けて、個々の人物の乗車階と降車階を示す人物移動履歴を算出する処理を実施する。なお、３次元移動軌跡算出部４６は３次元移動軌跡算出手段を構成している。

３次元移動軌跡算出部４６の２次元移動軌跡グラフ生成部４７は２次元移動軌跡算出部４５により算出された２次元移動軌跡に対する分割処理及び連結処理を実施して２次元移動軌跡グラフを生成する処理を実施する。
３次元移動軌跡算出部４６の軌跡ステレオ部４８は２次元移動軌跡グラフ生成部４７により生成された２次元移動軌跡グラフを探索して複数の２次元移動軌跡の候補を算出し、カメラキャリブレーション部４２により算出されたカゴ内の基準点に対する複数のカメラ１の設置位置及び設置角度を考慮して、各映像における２次元移動軌跡の候補間のステレオマッチングを実施して、その２次元移動軌跡の候補のマッチング率を算出し、そのマッチング率が規定値以上の２次元移動軌跡の候補から、個々の人物の３次元移動軌跡を算出する処理を実施する。

３次元移動軌跡算出部４６の３次元移動軌跡グラフ生成部４９は軌跡ステレオ部４８により算出された３次元移動軌跡に対する分割処理及び連結処理を実施して３次元移動軌跡グラフを生成する処理を実施する。
３次元移動軌跡算出部４６の軌跡組み合わせ推定部５０は３次元移動軌跡グラフ生成部４９により生成された３次元移動軌跡グラフを探索して複数の３次元移動軌跡の候補を算出し、複数の３次元移動軌跡の候補の中から最適な３次元移動軌跡を選択して、カゴ内に存在している人物の人数を推定するとともに、最適な３次元移動軌跡と階床認識部１２により特定された階床とを対応付けて、個々の人物の乗車階と降車階を示す人物移動履歴を算出する処理を実施する。

図５は映像解析部３を構成している映像解析結果表示部４の内部を示す構成図である。
図５において、映像表示部５１は複数のカメラ１により撮影されたエレベータのカゴ内の映像を表示する処理を実施する。
時系列情報表示部５２は人物追跡部１３の３次元移動軌跡算出部４６により算出された人物移動履歴を時系列的にグラフ表示する処理を実施する。
サマリー表示部５３は３次元移動軌跡算出部４６により算出された人物移動履歴の統計を求め、その人物移動履歴の統計結果を表示する処理を実施する。
運行関連情報表示部５４は３次元移動軌跡算出部４６により算出された人物移動履歴を参照して、エレベータの運行に関連する情報を表示する処理を実施する。
ソートデータ表示部５５は３次元移動軌跡算出部４６により算出された人物移動履歴をソートして表示する処理を実施する。

なお、図１では、人物追跡装置の構成要素である映像取得部２、映像解析部３及び映像解析結果表示部４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路基板）で構成されているものを想定しているが、人物追跡装置をコンピュータで構成する場合には、映像取得部２、映像解析部３及び映像解析結果表示部４の処理内容を記述している人物追跡プログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されている人物追跡プログラムを実行するようにしてもよい。

次に動作について説明する。
最初に、図１の人物追跡装置の概略動作を説明する。
図６はこの発明の実施の形態１による人物追跡装置の処理内容を示すフローチャートである。
映像取得部２は、複数のカメラ１がエレベータのカゴ内の映像の撮影を開始すると、複数のカメラ１からエレベータのカゴ内の映像を取得して、各映像を映像解析部３に出力する（ステップＳＴ１）。

映像解析部３のドア開閉認識部１１は、映像取得部２から複数のカメラ１により撮影された映像を受けると、各映像を解析して、エレベータのドアの開閉時刻を特定する（ステップＳＴ２）。
即ち、ドア開閉認識部１１は、各映像を解析して、エレベータのドアが開いている時刻と、ドアが閉じている時刻を特定する。
映像解析部３の階床認識部１２は、映像取得部２から複数のカメラ１により撮影された映像を受けると、各映像を解析して、各時刻におけるエレベータの階床（エレベータの停止階）を特定する（ステップＳＴ３）。

映像解析部３の人物追跡部１３は、映像取得部２から複数のカメラ１により撮影された映像を受けると、各映像を解析して、カゴ内に存在している個々の人物を検出する。
そして、人物追跡部１３は、個々の人物の検出結果とドア開閉認識部１１により特定されたドアの開閉時刻を参照して、カゴ内に存在している個々の人物を追跡することで、個々の人物の３次元移動軌跡を算出する。
そして、人物追跡部１３は、個々の人物の３次元移動軌跡と階床認識部１２により特定された階床とを対応付けて、個々の人物の乗車階と降車階を示す人物移動履歴を算出する（ステップＳＴ４）。
映像解析結果表示部４は、映像解析部３が人物移動履歴等を算出すると、その人物移動履歴等をディスプレイに表示する（ステップＳＴ５）。

次に、図１の人物追跡装置における映像解析部３の処理内容を詳細に説明する。
図７はドア開閉認識部１１の処理内容を示すフローチャートである。また、図８はドア開閉認識部１１の処理内容を示す説明図であり、図９はドア開閉認識部１１のドアインデックスを示す説明図である。
まず、ドア開閉認識部１１は、複数のカメラ１により撮影されたエレベータのカゴ内の映像の中から、ドアが写るドア領域を選択する（ステップＳＴ１１）。
図８（Ａ）の例では、ドアの上部の領域をドア領域として選択している。

ドア開閉認識部１１の背景画像登録部２１は、ドアが閉じている状態のエレベータ内のドア領域の画像（例えば、ドアが閉じているときにカメラ１により撮影された映像：図８（Ｂ）を参照）を取得し、その画像を背景画像として登録する（ステップＳＴ１２）。
ドア開閉認識部１１の背景差分部２２は、背景画像登録部２１が背景画像を登録すると、映像取得部２から時々刻々と変化するカメラ１の映像を受け取り、図８（Ｃ）に示すようにして、カメラ１の映像中のドア領域の映像と上記背景画像との差分を算出する（ステップＳＴ１３）。
背景差分部２２は、ドア領域の映像と背景画像の差分を算出すると、その差分が大きい場合（例えば、差分が所定の閾値より大きく、ドア領域の映像と背景画像が大きく異なっている場合）、ドアが開いている可能性が高いので、ドア開閉判断用のフラグＦｂを“１”に設定する。
一方、その差分が小さく（例えば、差分が所定の閾値より小さく、ドア領域の映像と背景画像があまり異なっていない場合）、ドアが閉じている可能性が高いので、ドア開閉判断用のフラグＦｂを“０”に設定する。

ドア開閉認識部１１のオプティカルフロー計算部２３は、映像取得部２から時々刻々と変化するカメラ１の映像を受け取り、カメラ１の映像中のドア領域の映像の変化（連続する二つの映像フレーム）からドアの移動方向を示す動きベクトルを計算する（ステップＳＴ１４）。
オプティカルフロー計算部２３は、例えば、図８（Ｄ）に示すように、エレベータのドアが中央扉の場合、動きベクトルが示すドアの移動方向が外向きであれば、現在ドアが開いている途中の可能性が高いので、ドア開閉判断用のフラグＦｏを“１”に設定する。
一方、動きベクトルが示すドアの移動方向が内向きであれば、現在ドアが閉じている途中の可能性が高いので、ドア開閉判断用のフラグＦｏを“０”に設定する。
なお、エレベータのドアが動いていない場合（開いている状態を維持、または、閉じている状態を維持している場合）、動きベクトルがドアの移動方向を示されないので、ドア開閉判断用のフラグＦｏを“２”に設定する。

ドア開閉認識部１１のドア開閉時刻特定部２４は、背景差分部２２がドア開閉判断用のフラグＦｂを設定し、オプティカルフロー計算部２３がドア開閉判断用のフラグＦｏを設定すると、それらのフラグＦｂ，Ｆｏを参照して、ドアの開閉状態を判別して、ドアの開閉時刻を特定する（ステップＳＴ１５）。
即ち、ドア開閉時刻特定部２４は、フラグＦｂとフラグＦｏの双方が“０”である時間帯、あるいは、フラグＦｂが“０”でフラグＦｏが“２”である時間帯はドアが閉じていると判断し、フラグＦｂ又はフラグＦｏの少なくとも一方が“１”である時間帯はドアが開いていると判断する。
なお、ドア開閉時刻特定部２４は、図９に示すように、ドアが閉じている時間帯のドアインデックスｄｉを“０”に設定し、ドアが開いている時間帯のドアインデックスｄｉについては、映像開始からドアが開いた順番にドアインデックスｄｉを１，２，３，・・・に設定する。

ドア開閉認識部１１の背景画像更新部２５は、映像取得部２から時々刻々と変化するカメラ１の映像を受け取り、カメラ１の映像中のドア領域の映像を用いて、背景画像登録部２１に登録されている背景画像（次の時刻で、背景差分部２２が利用する背景画像）を更新する（ステップＳＴ１６）。
これにより、例えば、照明変化が原因で、ドア付近の映像が変化する場合でも、その変化に合わせて、背景差分処理を適応的に実施することができるようになる。

図１０は階床認識部１２の処理内容を示すフローチャートであり、図１１は階床認識部１２の処理内容を示す説明図である。
まず、階床認識部１２は、複数のカメラ１により撮影されたエレベータのカゴ内の映像の中から、エレベータの階床を示すインジケータが写るインジケータ領域を選択する（ステップＳＴ２１）。
図１１（Ａ）の例では、インジケータの数字が表示されている領域をインジケータ領域として選択している。

階床認識部１２のテンプレート画像登録部３１は、選択したインジケータ領域において、各階床の数字画像をテンプレート画像として登録する（ステップＳＴ２２）。
例えば、１階から９階まで移動するエレベータの場合、図１１（Ｂ）に示すように、各階床の数字画像（“１”、“２”、“３”、“４”、“５”、“６”、“７”、“８”、“９”）をテンプレート画像として逐次登録する。

階床認識部１２のテンプレートマッチング部３２は、テンプレート画像登録部３１がテンプレート画像を登録すると、映像取得部２から時々刻々と変化するカメラ１の映像を受け取り、カメラ１の映像中のインジケータ領域の映像と上記テンプレート画像とのテンプレートマッチングを実施することで、各時刻におけるエレベータの階床を特定する（ステップＳＴ２３）。
テンプレートマッチングの手法については、既存の正規化相互相関などの手法を用いればよいので、ここでは詳細な説明を省略する。

階床認識部１２のテンプレート画像更新部３３は、映像取得部２から時々刻々と変化するカメラ１の映像を受け取り、カメラ１の映像中のインジケータ領域の映像を用いて、テンプレート画像登録部３１に登録されているテンプレート画像（次の時刻で、テンプレートマッチング部３２が利用するテンプレート画像）を更新する（ステップＳＴ２４）。
これにより、例えば、照明変化が原因で、インジケータ付近の映像が変化する場合でも、その変化に合わせて、テンプレートマッチング処理を適応的に実施することができるようになる。

図１２は人物追跡部１３の前処理の内容を示すフローチャートであり、図１３は人物追跡部１３の後処理の内容を示すフローチャートである。
まず、人物追跡部１３のカメラキャリブレーション部４２が、個々のカメラ１のカメラパラメータを算出するに先立ち、個々のカメラ１がキャリブレーションパターンを撮影する（ステップＳＴ３１）。
映像取得部２は、個々のカメラ１により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部４２に出力する。
ここで使用するキャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターン（図１４を参照）などが該当する。
なお、キャリブレーションパターンは、約１〜２０通り程度の異なる位置や角度からカメラ１により撮影される。

カメラキャリブレーション部４２は、映像取得部２から個々のカメラ１により撮影されたキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、個々のカメラ１のカメラパラメータ（例えば、レンズの歪み、焦点距離、光軸、画像中心に関するパラメータ）を算出する（ステップＳＴ３２）。
カメラパラメータの算出方法は、周知の技術であるため詳細説明を省略する。

次に、カメラキャリブレーション部４２が複数のカメラ１の設置位置及び設置角度を算出するに際して、複数のカメラ１がエレベータのカゴ内の上部に設置されたのち、複数のカメラ１が既知の大きさの同一のキャリブレーションパターンを同時に撮影する（ステップＳＴ３３）。
例えば、図１４に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをカゴ内の床に敷き、複数のカメラ１が、そのチェッカーフラグパターンを同時に撮影する。
このとき、カゴ内の床に敷かれたキャリブレーションパターンに対して、カゴ内の基準点（例えば、カゴの入口）からの位置と角度をオフセットとして計測し、また、カゴの内寸を計測する。

図１４の例では、キャリブレーションパターンとして、カゴ内の床に敷かれたチェッカーフラグパターンとしているが、これに限るものではなく、例えば、カゴ内の床に直接描かれた模様であってもよい。その場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図１５に示すように、キャリブレーションパターンとして、無人のカゴ内を撮影し、カゴ内の床の四隅と天井の三隅とを選択したものでもよい。この場合、カゴの内寸を計測しておくようにする。

カメラキャリブレーション部４２は、映像取得部２から複数のカメラ１により撮影されたキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像と複数のカメラ１のカメラパラメータとを用いて、エレベータのカゴ内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する（ステップＳＴ３４）。
具体的には、カメラキャリブレーション部４２は、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられる場合、複数のカメラ１により撮影されたチェッカーパターンに対するカメラ１の相対位置と相対角度を算出する。
そして、予め計測しているチェッカーパターンのオフセット（カゴ内の基準点であるカゴの入口からの位置と角度）を複数のカメラ１の相対位置と相対角度に足し合わせることで、カゴ内の基準点に対する複数のカメラ１の設置位置と設置角度を算出する。
一方、キャリブレーションパターンとして、図１５に示すように、カゴ内の床の四隅と天井の三隅が用いられる場合、予め計測しているカゴの内寸から、カゴ内の基準点に対する複数のカメラ１の設置位置と設置角度を算出する。
この場合、カゴ内にカメラ１を設置するだけで、カメラ１の設置位置と設置角度を自動的に求めることが可能である。

人物追跡部１３が人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ１が、実際に運行中のエレベータのカゴ内の領域を繰り返し撮影する。
映像取得部２は、複数のカメラ１により撮影されたエレベータのカゴ内の映像を時々刻々と取得する（ステップＳＴ４１）。
人物追跡部１３の映像補正部４３は、映像取得部２から複数のカメラ１により撮影された映像を取得する毎に、カメラキャリブレーション部４２により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する（ステップＳＴ４２）。
なお、映像の歪みを補正する方法は、周知の技術であるため詳細な説明を省略する。

人物追跡部１３の人物検出部４４は、映像補正部４３が複数のカメラ１により撮影された映像の正規化画像を生成すると、各正規化画像に存在している人体の特徴箇所を人物として検出し、その人物の正規化画像上の位置（画像座標）を算出するとともに、その人物の確信度を算出する（ステップＳＴ４３）。
そして、人物検出部４４は、その人物の画像座標に対してカメラパースペクティブフィルタを施すことで、不適当な大きさの人物検出結果を削除する。

ここで、人物の画像座標は、例えば、人物検出部４４が人体の頭部（特徴箇所）を検出する場合、その頭部の領域を囲む矩形の中心座標を示すものである。
また、確信度は、人物検出部４４の検出物が、どの程度、人間（人体の頭部）に近いかを表現する指標であり、確信度が高いほど人間である確率が高く、確信度が低いほど人間である確率が低いことを表している。

以下、人物検出部４４による人物の検出処理を具体的に説明する。
図１６は人体の頭部の検出処理を示す説明図である。
図１６（Ａ）は、カゴ内の天井の対角位置に設置されている２台のカメラ１₁，１₂によって、カゴ内の３人の乗客（人物）を撮影している状況を表している。
図１６（Ｂ）は、カメラ１₁により顔方向を撮影された映像から頭部が検出され、検出結果である頭部の領域に確信度が添付された状態を表わしている。
図１６（Ｃ）は、カメラ１₂により後頭部方向を撮影された映像から頭部が検出され、検出結果である頭部の領域に確信度が添付された状態を表わしている。
ただし、図１６（Ｃ）の場合、図中、右端の乗客（人物）の脚部が誤検出されており、その誤検出部分の確信度が低く算出されている。

ここで、頭部の検出方法としては、例えば、下記の参考文献１に開示されている顔検出手法を使用すればよい。
即ち、“Ｒｅｃｔａｎｇｌｅ Ｆｅａｔｕｒｅ”と呼ばれるハール基底状のパターンをＡｄａｂｏｏｓｔによって選択して多数の弱判別機を取得し、これらの弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。
また、頭部の検出方法として、下記の参考文献２に開示されている道路標識検出方法を応用して、その画像座標と確信度を算出するようにしてもよい。
なお、図１６では、人物検出部４４が人物を検出するに際して、人体の特徴箇所である頭部を検出しているものを示しているが、これは一例に過ぎず、例えば、肩や胴体などを検出するようにしてもよい。

参考文献１

Viola, P. , Jones, M. , “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001

参考文献２

田口進也、神田準史郎、島嘉宏、瀧口純一、“特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 道路標識認識への適用”電子情報通信学会技術研究報告 ＩＥ、 画像工学、Ｖｏｌ．１０６，Ｎｏ．５３７（２００７０２１６），ｐｐ．５５−６０，ＩＥ２００６−２７０

図１７はカメラパースペクティブフィルタを示す説明図である。
カメラパースペクティブフィルタは、図１７（Ａ）に示すように、映像上の点Ａにおける人物の検出結果のうち、点Ａにおける人物頭部の最大矩形サイズより大きい検出結果と、点Ａにおける人物頭部の最小矩形サイズより小さい検出結果を誤検出とみなして削除するフィルタである。
図１７（Ｂ）は、点Ａにおける人物頭部の最大検出矩形サイズと最小矩形サイズの求め方を示している。

まず、人物検出部４４は、映像上の点Ａとカメラ１の中心を通る方向ベクトルＶを求める。
次に、人物検出部４４は、エレベータ内で想定される人物の最大身長（例えば、２００ｃｍ）、最小身長（例えば、１００ｃｍ）及び頭部サイズ（例えば、３０ｃｍ）を設定する。
次に、人物検出部４４は、最大身長人物の頭部をカメラ１に射影し、その射影した頭部を囲む画像上での矩形サイズを点Ａにおける人物頭部の最大検出矩形サイズと定義する。
同様に、最小身長人物の頭部をカメラ１に射影し、その射影した頭部を囲む画像上での矩形サイズを点Ａにおける人物頭部の最小検出矩形サイズと定義する。

人物検出部４４は、点Ａにおける人物頭部の最大検出矩形サイズと最小検出矩形サイズを定義すると、点Ａにおける人物の検出結果を最大検出矩形サイズ及び最小検出矩形サイズと比較し、点Ａにおける人物の検出結果が最大矩形サイズより大きい場合、あるいは、点Ａにおける人物の検出結果が最小矩形サイズより小さい場合、その検出結果を誤検出として削除する。

２次元移動軌跡算出部４５は、人物検出部４４が映像補正部４３により時々刻々と生成される正規化画像（画像フレーム）から個々の人物を検出して、個々の人物の画像座標を算出する毎に、その画像座標の点列を求め、その点列を移動する個々の人物の２次元移動軌跡を算出する（ステップＳＴ４４）。
以下、２次元移動軌跡算出部４５における２次元移動軌跡の算出処理を具体的に説明する。
図１８は２次元移動軌跡算出部４５の算出処理を示すフローチャートであり、図１９は２次元移動軌跡算出部４５の処理内容を示す説明図である。

まず、２次元移動軌跡算出部４５は、人物検出部４４により算出された時刻ｔの画像フレームにおける人物検出結果（人物の画像座標）を取得し、それぞれの人物検出結果にカウンタを割り当てる（ステップＳＴ５１）。
例えば、図１９（Ａ）に示すように、人物の追跡を時刻ｔから始める場合、時刻ｔの画像フレームにおける人物検出結果を取得する。
ここで、人物検出結果には、それぞれカウンタが割り当てられており、カウンタの値は追跡を開始するときに“０”に初期化される。

次に、２次元移動軌跡算出部４５は、時刻ｔの画像フレームにおける人物検出結果をテンプレート画像として、図１９（Ｂ）に示す次の時刻ｔ＋１の画像フレームにおける人物画像座標を探索する（ステップＳＴ５２）
ここで、人物の画像座標を探索する方法としては、例えば、既知の技術である正規化相互相関法などを用いればよい。
その場合、時刻ｔにおける人物領域の画像をテンプレート画像とし、時刻（ｔ＋１）において、最も相関値が高い矩形領域の画像座標を正規化相互相関法で求めて出力する。

また、人物の画像座標を探索する他の方法として、例えば、上記の参考文献２に記載されている特徴量の相関係数を用いてもよい。
その場合、時刻ｔの人物領域の内側に含まれる複数の部分領域において特徴量の相関係数を計算し、それらを成分とするベクトルを該当人物のテンプレートベクトルとする。そして、次に時刻（ｔ＋１）において、テンプレートベクトルとの距離が最小となるような領域を探索して、その領域の画像座標を人物の探索結果として出力する。
さらに、人物の画像座標を探索する他の方法として、下記の参考文献３に記載されている特徴量の分散共分散行列を利用した方法で、人物追跡を実施して、時々刻々と人物の画像座標を求めてもよい。

参考文献３

Porikli, F. Tuzel, O. Meer, P. ,“Covariance Tracking using Model Update Based on Lie Algebra”,Computer Vision and Pattern Recognition 2006, Volume 1, 17-22, June 2006, pp. 728-735

次に、２次元移動軌跡算出部４５は、人物検出部４４により算出された時刻ｔ＋１の画像フレームにおける人物検出結果（人物の画像座標）を取得する（ステップＳＴ５３）。
例えば、図１９（Ｃ）に示すような人物検出結果を取得し、この人物検出結果では、人物Ａは検出されているが、人物Ｂは検出されていない状態を表しているものとする。
次に、２次元移動軌跡算出部４５は、ステップＳＴ５２で算出した人物画像座標と、ステップＳＴ５３で取得した人物画像座標とを用いて、追跡している人物の情報をアップデートする（ステップＳＴ５４）。

例えば、図１９（Ｂ）に示すように、時刻（ｔ＋１）における人物Ａの探索結果の周辺には、図１９（Ｃ）に示すような人物Ａの人物検出結果が存在する。このため、図１９（Ｄ）に示すように、人物Ａのカウンタの値を“１”から“２”に上げる。
一方、図１９（Ｃ）に示すように、時刻（ｔ＋１）における人物Ｂの人物検出が失敗している場合、図１９（Ｂ）における人物Ｂの探索結果の周辺には人物Ｂの人物検出結果が存在しない。そこで、図１９（Ｄ）に示すように、人物Ｂのカウンタの値を“０”から“−１”に下げる。
このように、２次元移動軌跡算出部４５は、探索結果の周辺に検出結果が存在する場合、カウンタの値を一つ上げ、探索結果の周辺に検出結果が存在しない場合、カウンタの値を一つ下げるようにする。
この結果、人物が検出される回数が多い場合には、そのカウンタの値が大きくなり、一方で、人物が検出される回数が低い場合には、カウンタの値が小さくなる。

また、ステップＳＴ５４において、２次元移動軌跡算出部４５が人物検出の確信度を累積するようにしてもよい。
例えば、２次元移動軌跡算出部４５は、探索結果の周辺に検出結果が存在する場合、該当の検出結果の確信度を累積加算し、探索結果の周辺に検出結果が存在しない場合、確信度を加算しない。この結果、人物検出される回数が多い２次元移動軌跡の場合には、その累積確信度が大きくなる。

次に、２次元移動軌跡算出部４５は、追跡処理の終了判定を実施する（ステップＳＴ５５）。
終了判定の基準としては、ステップＳＴ５４で述べたカウンタを利用すればよい。
例えば、ステップＳＴ５４で求めたカウンタの値が一定の閾値よりも低い場合、人物ではないとして追跡を終了する。
また、終了判定の基準として、ステップＳＴ５４で述べた確信度の累積値を所定の閾値処理することで、追跡終了判定を実施してもよい。
例えば、確信度の累積値が所定の閾値よりも小さい場合、人物ではないとして追跡を終了する。
このように追跡処理の終了判定を行うことで、人物でないものを誤って追跡してしまう現象を避けることが可能となる。

２次元移動軌跡算出部４５は、ステップＳＴ５２からＳＴ５５の画像テンプレートマッチング処理を時々刻々到来する人物を検出したフレーム画像に対して繰り返すことで、移動する個々の人物の画像座標の連なり、即ち、点列として表わされる。この点列を移動する個々の人物の２次元移動軌跡として算出する。
ここで、遮蔽などにより追跡が途中で終了してしまう場合には、遮蔽が無くなった時刻から人物の追跡を再開すればよい。

この実施の形態１では、２次元移動軌跡算出部４５が人物検出部４４により算出された人物の画像座標に対して時間的に前方（現在から未来）に向って追跡を行うものについて示しているが、さらに、時間的に後方（現在から過去）に向って追跡を行うようにして、時間的に前後にわたる人物の２次元移動軌跡を算出するようにしてもよい。
このように時間的に前後に追跡を行うことで、可能な限り漏れなく、人物の２次元移動軌跡を算出することができる。例えば、ある人物の追跡において、時間的に前方の追跡に失敗しても、時間的に後方の追跡に成功すれば、追跡の漏れを無くすことができる。

２次元移動軌跡グラフ生成部４７は、２次元移動軌跡算出部４５が個々の人物の２次元移動軌跡を算出すると、個々の人物の２次元移動軌跡に対する分割処理及び連結処理を実施して２次元移動軌跡グラフを生成する（図１３のステップＳＴ４５）。
即ち、２次元移動軌跡グラフ生成部４７は、２次元移動軌跡算出部４５により算出された個々の人物の２次元移動軌跡の集合に対して、空間的又は時間的近傍の２次元移動軌跡を探して分割や連結などの処理を施して、２次元移動軌跡をグラフの頂点とし、連結した２次元移動軌跡をグラフの有向辺とする２次元移動軌跡のグラフを生成する。

以下、２次元移動軌跡グラフ生成部４７の処理内容を具体的に説明する。
図２０及び図２１は２次元移動軌跡グラフ生成部４７の処理内容を示す説明図である。
最初に、２次元移動軌跡グラフ生成部４７の空間的近傍の例について述べる。
図２１（Ａ）に示すように、例えば、２次元移動軌跡Ｔ１の終点Ｔ１Ｅの空間的近傍に存在する２次元移動軌跡は、終点Ｔ１Ｅを中心とする一定の距離範囲内（例えば、２０ピクセル以内）に始点を有する２次元移動軌跡、または、２次元移動軌跡Ｔ１の終点Ｔ１Ｅとの最短距離が一定の距離範囲内にある２次元移動軌跡と定義する。
図２１（Ａ）の例では、２次元移動軌跡Ｔ１の終点Ｔ１Ｅからある一定の距離範囲に２次元移動軌跡Ｔ２の始点Ｔ２Ｓが存在しており、２次元移動軌跡Ｔ１の終点Ｔ１Ｅの空間的近傍に２次元移動軌跡Ｔ２の始点Ｔ２Ｓが存在すると言える。
また、２次元移動軌跡Ｔ１の終点Ｔ１Ｅと２次元移動軌跡Ｔ３の最短距離ｄは、一定の距離範囲内にあるため、２次元移動軌跡Ｔ１の終点Ｔ１Ｅの空間的近傍に２次元移動軌跡Ｔ３が存在すると言える。
一方で、２次元移動軌跡Ｔ４の始点は、２次元移動軌跡Ｔ１の終点Ｔ１Ｅから離れているため、２次元移動軌跡Ｔ４は２次元移動軌跡Ｔ１の空間的近傍には存在しない。

次に、２次元移動軌跡グラフ生成部４７の時間的近傍の例について述べる。
例えば、図２１（Ｂ）に示す２次元移動軌跡Ｔ１の記録時間が［ｔ１ ｔ２］、２次元移動軌跡Ｔ２の記録時間が［ｔ３ ｔ４］であるとするとき、２次元移動軌跡Ｔ１の終点の記録時間ｔ２と、２次元移動軌跡Ｔ２の始点の記録時間ｔ３との時間間隔｜ｔ３−ｔ２｜が一定値以内（例えば、３秒以内）であれば、２次元移動軌跡Ｔ１の時間的近傍に２次元移動軌跡Ｔ２が存在すると定義する。
逆に時間間隔｜ｔ３−ｔ２｜が一定値を超えた場合、２次元移動軌跡Ｔ１の時間的近傍に２次元移動軌跡Ｔ２が存在しないと定義する。
ここでは、２次元移動軌跡Ｔ１の終点Ｔ１Ｅの空間的近傍及び時間的近傍の例について述べたが、２次元移動軌跡の始点の空間的近傍や時間的近傍についても同様に定義することができる。

次に、２次元移動軌跡グラフ生成部４７の軌跡分割処理と軌跡連結処理について説明する。
［軌跡分割処理］
２次元移動軌跡グラフ生成部４７は、２次元移動軌跡算出部４５により算出されたある２次元移動軌跡の始点Ｓの空間的近傍かつ時間的近傍に、他の２次元移動軌跡Ａが存在する場合、２次元移動軌跡Ａを始点Ｓ付近で分割する。
例えば、図２０（Ａ）に示すように、２次元移動軌跡算出部４５により２次元移動軌跡｛Ｔ１，Ｔ２，Ｔ４，Ｔ６，Ｔ７｝が算出された場合、２次元移動軌跡Ｔ１の始点が２次元移動軌跡Ｔ２付近に存在している。
そこで、２次元移動軌跡グラフ生成部４７は、２次元移動軌跡Ｔ２を２次元移動軌跡Ｔ１の始点付近で分割して、新規に２次元移動軌跡Ｔ２と２次元移動軌跡Ｔ３を生成し、図２０（Ｂ）に示す２次元移動軌跡の集合｛Ｔ１，Ｔ２，Ｔ４，Ｔ６，Ｔ７，Ｔ３｝を取得する。

また、２次元移動軌跡グラフ生成部４７は、２次元移動軌跡算出部４５により算出されたある２次元移動軌跡の終点Ｓの空間的近傍かつ時間的近傍に、他の２次元移動軌跡Ａが存在する場合、２次元移動軌跡Ａを終点Ｓ付近で分割する。
図２０（Ｂ）の例では、２次元移動軌跡算Ｔ１の終点は２次元移動軌跡算Ｔ４付近に存在している。
そこで、２次元移動軌跡グラフ生成部４７は、２次元移動軌跡Ｔ４を２次元移動軌跡Ｔ１の終点付近で分割し、新規に２次元移動軌跡Ｔ４と２次元移動軌跡Ｔ５を生成し、図２０（Ｃ）に示す２次元移動軌跡の集合｛Ｔ１，Ｔ２，Ｔ４，Ｔ６，Ｔ７，Ｔ３，Ｔ５｝を取得する。

［軌跡連結処理］
２次元移動軌跡グラフ生成部４７は、軌跡分割処理により取得した２次元移動軌跡の集合に対して、ある２次元移動軌跡Ａの終了点の空間的近傍かつ時間的近傍に他の２次元移動軌跡Ｂの開始点が存在する場合、該当する二つの２次元移動軌跡Ａと２次元移動軌跡Ｂを連結する。

即ち、２次元移動軌跡グラフ生成部４７は、各２次元移動軌跡をグラフの頂点とし、また、連結した２次元移動軌跡のペアをグラフの有向辺とすることで、２次元移動軌跡グラフを取得する。
図２０（Ｃ）の例では、軌跡分割処理と軌跡連結処理によって、下記の情報が得られるものとする。
・Ｔ１に連結された２次元移動軌跡の集合＝｛Ｔ５｝
・Ｔ２に連結された２次元移動軌跡の集合＝｛Ｔ１，Ｔ３｝
・Ｔ３に連結された２次元移動軌跡の集合＝｛Ｔ４，Ｔ６｝
・Ｔ４に連結された２次元移動軌跡の集合＝｛Ｔ５｝
・Ｔ５に連結された２次元移動軌跡の集合＝｛φ（空集合）｝
・Ｔ６に連結された２次元移動軌跡の集合＝｛Ｔ７｝
・Ｔ７に連結された２次元移動軌跡の集合＝｛φ（空集合）｝
この場合、２次元移動軌跡グラフ生成部４７は、２次元移動軌跡Ｔ１〜Ｔ７をグラフの頂点とし、また、２次元移動軌跡のペア（Ｔ１，Ｔ５），（Ｔ２，Ｔ１），（Ｔ２，Ｔ３），（Ｔ３，Ｔ４），（Ｔ３，Ｔ６），（Ｔ４，Ｔ５），（Ｔ６，Ｔ７）という有向辺の情報を有する２次元移動軌跡グラフを生成する。

また、２次元移動軌跡グラフ生成部４７は、時間が増える方向（未来に向かって）に２次元移動軌跡を連結するだけではなく、時間が減る方向（過去に向かって）にグラフを生成してもよい。この場合、各２次元移動軌跡の終点から始点に向かって連結する。
図２０（Ｃ）の例では、軌跡分割処理と軌跡連結処理によって、下記の情報を有する２次元移動軌跡グラフを生成する。
・Ｔ７に連結された２次元移動軌跡の集合＝｛Ｔ６｝
・Ｔ６に連結された２次元移動軌跡の集合＝｛Ｔ３｝
・Ｔ５に連結された２次元移動軌跡の集合＝｛Ｔ４，Ｔ１｝
・Ｔ４に連結された２次元移動軌跡の集合＝｛Ｔ３｝
・Ｔ３に連結された２次元移動軌跡の集合＝｛Ｔ２｝
・Ｔ２に連結された２次元移動軌跡の集合＝｛φ（空集合）｝
・Ｔ１に連結された2次元移動軌跡の集合＝｛Ｔ２｝

人物の追跡中に同じ色の服を着ている人などが映像中に存在したり、人物が重なって遮蔽されたりしている場合、２次元移動軌跡が二つに枝分かれしたり、２次元移動軌跡が時間的に飛んでしまうことがある。このため、図２０（Ａ）に示すように、ある同一人物の２次元移動軌跡の候補が複数算出されることがある。
そこで、２次元移動軌跡グラフ生成部４７は、２次元移動軌跡グラフを生成することで、人物の複数の移動経路の情報を保持することができる。

軌跡ステレオ部４８は、２次元移動軌跡グラフ生成部４７が２次元移動軌跡グラフを生成すると、その２次元移動軌跡グラフを探索して複数の２次元移動軌跡の候補を算出し、カメラキャリブレーション部４２により算出されたカゴ内の基準点に対する複数のカメラ１の設置位置及び設置角度を考慮して、各映像における２次元移動軌跡の候補間のステレオマッチングを実施して、その２次元移動軌跡の候補のマッチング率を算出し、そのマッチング率が規定値以上の２次元移動軌跡の候補から、個々の人物の３次元移動軌跡を算出する（図１３のステップＳＴ４６）。

以下、軌跡ステレオ部４８の処理内容を具体的に説明する。
図２２は軌跡ステレオ部４８の処理内容を示すフローチャートである。また、図２３は軌跡ステレオ部４８における２次元移動軌跡グラフの探索処理を示す説明図、図２４は２次元移動軌跡のマッチング率の算出処理を示す説明図、図２５は２次元移動軌跡のオーバーラップを示す説明図である。

最初に、２次元移動軌跡グラフを探索して、２次元移動軌跡の候補を列挙する方法について述べる。
図２３（Ａ）に示すように、２次元移動軌跡Ｔ１〜Ｔ７から構成される２次元移動軌跡グラフＧが得られており、２次元移動軌跡グラフＧが下記のグラフ情報を有しているものと仮定する。
・Ｔ１に連結された２次元移動軌跡の集合＝｛Ｔ５｝
・Ｔ２に連結された２次元移動軌跡の集合＝｛Ｔ１，Ｔ３｝
・Ｔ３に連結された２次元移動軌跡の集合＝｛Ｔ４，Ｔ６｝
・Ｔ４に連結された２次元移動軌跡の集合＝｛Ｔ５｝
・Ｔ５に連結された２次元移動軌跡の集合＝｛φ（空集合）｝
・Ｔ６に連結された２次元移動軌跡の集合＝｛Ｔ７｝
・Ｔ７に連結された２次元移動軌跡の集合＝｛φ（空集合）｝

このとき、軌跡ステレオ部４８は、二次元移動軌跡グラフＧを探索して、すべての連結された２次元移動軌跡の候補を列挙する。
図２３の例では、下記の２次元移動軌跡の候補が算出される。
・２次元移動軌跡候補Ａ ＝｛Ｔ２,Ｔ３,Ｔ６,Ｔ７｝
・２次元移動軌跡候補Ｂ ＝｛Ｔ２,Ｔ３,Ｔ４,Ｔ５｝
・２次元移動軌跡候補Ｃ ＝｛Ｔ２,Ｔ１,Ｔ５｝

まず、軌跡ステレオ部４８は、複数のカメラ１のカメラ映像に対応する各々一つの２次元移動軌跡を取得し（ステップＳＴ６１）、各々一つの２次元移動軌跡同士がオーバーラップする時間を算出する（ステップＳＴ６２）。
以下、オーバーラップする時間の算出処理を具体的に説明する。

図２４（ｂ）に示すように、エレベータの内部の異なる位置に設置された２台のカメラ１_α，１_β によって、カゴの内部が撮影されているものとする。
図２４（ａ）は、人物Ａと人物Ｂに対する２次元移動軌跡が計算された状況を仮想的に表しており、α１はカメラ１_α の映像における人物Ａの２次元移動軌跡であり、α２はカメラ１_α の映像における人物Ｂの２次元移動軌跡である。
また、β１はカメラ１_β の映像における人物Ａの２次元移動軌跡であり、β２はカメラ１_β の映像における人物Ｂの２次元移動軌跡である。

軌跡ステレオ部４８は、例えば、ステップＳＴ６１で、図２４（Ａ）に示す２次元移動軌跡α１と２次元移動軌跡β１を取得した場合、２次元移動軌跡α１と２次元移動軌跡β１を次式のように表されるものと仮定する。
２次元移動軌跡α１
≡｛Ｘａ１（ｔ）｝_t=T1,...,T2
＝｛Ｘａ１（Ｔ１），Ｘａ１（Ｔ１＋１），・・・，Ｘａ１（Ｔ２）｝
２次元移動軌跡β１
≡
｛Ｘｂ１（ｔ）｝_t=T3,...,T4
＝｛Ｘｂ１（Ｔ３），Ｘｂ１（Ｔ３＋１），・・・，Ｘｂ１（Ｔ４）｝
ここで、Ｘａ１（ｔ）、Ｘｂ１（ｔ）は、時刻ｔにおける人物Ａの２次元画像座標である。２次元移動軌跡α１は画像座標が時刻Ｔ１からＴ２まで記録されており、２次元移動軌跡β１は画像座標が時刻Ｔ３からＴ４まで記録されていることを表している。

図２５はこの二つの２次元移動軌跡α１，β１の記録時間を示すものであるが、２次元移動軌跡α１は画像座標が時刻Ｔ１からＴ２まで記録されており、一方、２次元移動軌跡β１は画像座標が時刻Ｔ３からＴ４まで記録されている。
この場合、２次元移動軌跡α１と２次元移動軌跡β１がオーバーラップする時間は、時刻Ｔ３から時刻Ｔ２までの間であるので、この時間を軌跡ステレオ部４８で算出する。

軌跡ステレオ部４８は、各々一つの２次元移動軌跡同士がオーバーラップする時間を算出すると、カメラキャリブレーション部４２により算出された個々のカメラ１の設置位置及び設置角度を用いて、オーバーラップする各時刻において、対応する２次元移動軌跡を形成している点列同士のステレオマッチングを実施して、点列同士の距離を算出する（ステップＳＴ６３）。

以下、点列同士のステレオマッチング処理を具体的に説明する。
軌跡ステレオ部４８は、図２４（Ｂ）に示すように、オーバーラップする全ての時間ｔにおいて、カメラキャリブレーション部４２により算出された２台のカメラ１_α，１_β の設置位置及び設置角度を用いて、カメラ１_α の中心と画像座標Ｘａ１（ｔ）を通る直線Ｖａ１（ｔ）を求めるとともに、カメラ１_β の中心と画像座標Ｘｂ１（ｔ）を通る直線Ｖｂ１（ｔ）を求める。
また、軌跡ステレオ部４８は、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）の交点を人物の３次元位置Ｚ（ｔ）として算出すると同時に、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）同士の距離ｄ（ｔ）を算出する。
例えば、｛Ｘａ１（ｔ）｝ｔ＝Ｔ１，・・・，Ｔ２と｛Ｘｂ１（ｔ）｝ｔ＝Ｔ３，・・・，Ｔ４とから、オーバーラップする時間ｔ＝Ｔ３，・・・，Ｔ２における３次元位置ベクトルＺ（ｔ）と直線の距離ｄ（ｔ）の集合｛Ｚ（ｔ），ｄ（ｔ）｝ｔ＝Ｔ３，・・・，Ｔ２を得る。

図２４（ｂ）では、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）が交わる場合を示しているが、実際には、頭部の検出誤差やキャリブレーション誤差が原因で、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）が近づいているだけで、交わらないことが多い。そのような場合には、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）を最短距離で結ぶ線分の距離ｄ（ｔ）を求め、その中点を交点Ｚ（ｔ）として求めるようにしてもよい。
あるいは、下記の参考文献４に開示されている「最適補正」の方法によって、二つの直線の距離ｄ（ｔ）と交点Ｚ（ｔ）を算出するようにしてもよい。

参考文献４

K. Kanatani, “Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science”, Amsterdam, The Netherlands, April 1996.

次に、軌跡ステレオ部４８は、点列同士のステレオマッチングの際に求めた点列同士の距離を用いて、２次元移動軌跡のマッチング率を算出する（ステップＳＴ６４）。
なお、オーバーラップ時間が“０”である場合には、マッチング率を“０”として算出する。ここでは、例えば、オーバーラップ時間内に直線が交わる回数をマッチング率として算出する。
即ち、図２４及び図２５の例では、時刻ｔ＝Ｔ３，・・・，Ｔ２において、距離ｄ（ｔ）が一定の閾値（例えば、１５ｃｍ）以下になる回数をマッチング率として算出する。

ここでは、オーバーラップ時間内に直線が交わる回数をマッチング率として算出するものについて示したが、これに限るものではなく、例えば、オーバーラップ時間内に二つの直線が交わる割合をマッチング率として算出するようにしてもよい。
即ち、図２４及び図２５の例では、時刻ｔ＝Ｔ３，・・・，Ｔ２において、距離ｄ（ｔ）が一定の閾値（例えば、１５ｃｍ）以下になる回数を算出し、その回数をオーバーラップ時間｜Ｔ３−Ｔ２｜で除算した値をマッチング率として算出する。

また、オーバーラップ時間内における二つの直線の距離の平均をマッチング率として算出するようにしてもよい。
即ち、図２４（ｂ）の例では、時刻ｔ＝Ｔ３，・・・，Ｔ２において、距離ｄ（ｔ）の逆数の平均をマッチング率として算出する。
また、オーバーラップ時間内における二つの直線の距離の合計をマッチング率として算出するようにしてもよい。
即ち、図２４（ｂ）の例では、時刻ｔ＝Ｔ３，・・・，Ｔ２において、距離ｄ（ｔ）の逆数の合計をマッチング率として算出する。
さらに、上記の算出方法を組み合わせることで、マッチング率を算出するようにしてもよい。

ここで、２次元移動軌跡のステレオマッチングを実施することにより得られる効果について述べる。
例えば、図２４における２次元移動軌跡α２と２次元移動軌跡β２は、同一人物Ｂの２次元移動軌跡であるため、２次元移動軌跡α２と２次元移動軌跡β２のステレオマッチングを実施すると、各時刻における距離ｄ（ｔ）は小さい値をとる。このため、距離ｄ（ｔ）の逆数の平均が大きな値になり、２次元移動軌跡α２と２次元移動軌跡β２のマッチング率が高い値になる。
一方、２次元移動軌跡α１と２次元移動軌跡β２は、異なる人物Ａと人物Ｂの２次元移動軌跡であるため、２次元移動軌跡α１と２次元移動軌跡β２のステレオマッチングを実施すると、ある時刻では偶然に直線が交わることもあるが、ほとんどの時刻において直線が交わらず、距離ｄ（ｔ）の逆数の平均が小さな値になる。このため、２次元移動軌跡α１と２次元移動軌跡β２のマッチング率が低い値になる。
従来は、図４５に示すように、ある瞬間の人物検出結果をステレオマッチングして人物の３次元位置を推定していたため、ステレオ視の曖昧さを回避できずに人物の位置を誤って推定してしまうことがあった。
しかし、この実施の形態１では、一定の時間にわたる２次元移動軌跡同士をステレオマッチングすることで、ステレオ視の曖昧さを解消し、正確に人物の３次元移動軌跡を求めることが可能となる。

軌跡ステレオ部４８は、上記のようにして、各映像における２次元移動軌跡のマッチング率を算出すると、そのマッチング率と所定の閾値を比較する（ステップＳＴ６５）。
軌跡ステレオ部４８は、各映像における２次元移動軌跡のマッチング率が閾値を超えている場合、各映像における２次元移動軌跡から、各映像における２次元移動軌跡がオーバーラップしている時間の３次元移動軌跡を算出し（各映像における２次元移動軌跡がオーバーラップしている時間の３次元位置は、通常のステレオマッチングを実施することで推定することができる。ただし、公知の技術であるため詳細な説明は省略する）、その３次元移動軌跡に対してフィルタリングをかけて、誤って推定した３次元移動軌跡を取り除く処理を行う（ステップＳＴ６６）。

即ち、軌跡ステレオ部４８は、人物検出部４４が人物を誤検出することが原因で、人物の３次元移動軌跡を誤って算出することがあるため、例えば、人物の３次元位置Ｚ（ｔ）が以下の条件（ア）〜（ウ）に合致しない場合、当該３次元移動軌跡を本来の人物の軌跡でないものとして破棄する。
条件（ア）： 人物の身長が一定長（例えば、５０ｃｍ）以上である
条件（イ）： 人物が特定の領域内（例えば、エレベータカゴ内）に存在する
条件（ウ）： 人物の３次元移動履歴が滑らかである

条件（ア）により、極端に低い位置にある３次元移動軌跡は誤検出されたものとして破棄される。
また、条件（イ）により、例えば、カゴ内に設置された鏡に映っている人物像の３次元移動軌跡は人物の軌跡でないとして破棄される。
また、条件（ウ）により、例えば、上下左右に急激に変化するような不自然な３次元移動軌跡は人物の軌跡でないとして破棄される。

次に、軌跡ステレオ部４８は、各映像における２次元移動軌跡がオーバーラップしている時間の３次元位置を用いて、オーバーラップしていない時刻における二つの２次元移動軌跡を形成している点列の３次元位置を算出することで、個々の人物の３次元移動軌跡を推定する（ステップＳＴ６７）。
図２５の場合、２次元移動軌跡α１と２次元移動軌跡β１は、時刻ｔ＝Ｔ３，・・・，Ｔ２では、オーバーラップしているが、その他の時刻では、オーバーラップしていない。
通常のステレオマッチングでは、オーバーラップしていない時間帯の人物の３次元移動軌跡を算出することができないが、このような場合には、オーバーラップしている時間における人物の高さの平均を算出し、この高さの平均を用いて、オーバーラップしていない時間における人物の３次元移動軌跡を推定する。

図２５の例では、まず、｛Ｚ（ｔ），ｄ（ｔ）｝ｔ＝Ｔ３，・・・，Ｔ２における３次元位置ベクトルＺ（ｔ）の高さ成分に関する平均値ａｖｅＨを求める。
次に、各時刻ｔにおいて、カメラ１_α の中心と画像座標Ｘａ１（ｔ）を通る直線Ｖａ１（ｔ）上の点のうち、床からの高さがａｖｅＨである点を求め、この点を人物の３次元位置Ｚ（ｔ）として推定するようにする。同様に、各時刻ｔにおける画像座標Ｘｂ１（ｔ）から人物の３次元位置Ｚ（ｔ）を推定する。
これにより、２次元移動軌跡α１と２次元移動軌跡β1が記録されている全ての時刻Ｔ１からＴ４にわたる３次元移動軌跡｛Ｚ（ｔ）｝ｔ＝Ｔ１，・・・，Ｔ４を得ることができる。
これにより、遮蔽などが理由で、片方のカメラに一定期間人物が写らない場合があっても、もう一つのカメラで人物の２次元移動軌跡を算出し、かつ、遮蔽の前後で２次元移動軌跡がオーバーラップしていれば、軌跡ステレオ部４８が人物の３次元移動軌跡を算出することができる。
全ての２次元移動軌跡のペアについてマッチング率の算出が完了すれば、軌跡ステレオ部４８の処理が終了し、３次元移動軌跡算出部４９の処理に移行する（ステップＳＴ６８）。

３次元移動軌跡グラフ生成部４９は、軌跡ステレオ部４８が個々の人物の３次元移動軌跡を算出すると、その３次元移動軌跡に対する分割処理及び連結処理を実施して３次元移動軌跡グラフを生成する（ステップＳＴ４７）。
即ち、３次元移動軌跡グラフ生成部４９は、軌跡ステレオ部４８により算出された個々の人物の３次元移動軌跡の集合に対して、空間的又は時間的近傍の３次元移動軌跡を探して分割や連結などの処理を施して、３次元移動軌跡をグラフの頂点とし、連結した３次元移動軌跡をグラフの有向辺とする３次元移動軌跡のグラフを生成する。

以下、３次元移動軌跡グラフ生成部４９の処理内容を具体的に説明する。
図２６及び図２７は３次元移動軌跡グラフ生成部４９の処理内容を示す説明図である。
まず、３次元移動軌跡グラフ生成部４９における空間的近傍の例について述べる。
図２７（Ａ）に示すように、例えば、３次元移動軌跡Ｌ１の終点Ｌ１Ｅの空間的近傍に存在する３次元移動軌跡は、終点Ｌ１Ｅを中心とする一定の距離範囲内（例えば、２５ｃｍ以内）に始点を有する３次元移動軌跡、または、３次元移動軌跡Ｌ１の終点Ｌ１Ｅとの最短距離が一定の距離範囲内にある３次元移動軌跡と定義する。
図２７（Ａ）の例では、３次元移動軌跡Ｌ１の終点Ｌ１Ｅからある一定の距離範囲に３次元移動軌跡Ｌ２の始点Ｌ２Ｓが存在しており、３次元移動軌跡Ｌ１の終点Ｌ１Ｅの空間的近傍に３次元移動軌跡Ｌ２が存在すると言える。
また、３次元移動軌跡Ｌ１の終点Ｌ１Ｅと３次元移動軌跡Ｌ３の最短距離ｄは、一定の距離範囲内にあるため、３次元移動軌跡Ｌ１の終点Ｌ１Ｅの空間的近傍に３次元移動軌跡Ｌ３が存在すると言える。
一方で、３次元移動軌跡Ｌ４の始点は、３次元移動軌跡Ｌ１の終点Ｌ１Ｅから離れているため、３次元移動軌跡Ｌ４は３次元移動軌跡Ｔ１の空間的近傍には存在しない。

次に、３次元移動軌跡グラフ生成部４９における時間的近傍の例について述べる。
例えば、図２７（Ｂ）に示す３次元移動軌跡Ｌ１の記録時間が［ｔ１ ｔ２］、３次元移動軌跡Ｌ２の記録時間が［ｔ３ ｔ４］であるとき、３次元移動軌跡Ｌ１の終点の記録時間ｔ２と、３次元移動軌跡Ｌ２の始点の記録時間ｔ３との時間間隔｜ｔ３−ｔ２｜が一定値以内（例えば、３秒以内）であれば、３次元移動軌跡Ｌ１の時間的近傍に３次元移動軌跡Ｌ２が存在すると定義する。
逆に時間間隔｜ｔ３−ｔ２｜が一定値を超えた場合、３次元移動軌跡Ｌ１の時間的近傍に３次元移動軌跡Ｌ２が存在しないと定義する。
ここでは、３次元移動軌跡Ｌ１の終点Ｌ１Ｅの空間的近傍及び時間的近傍の例について述べたが、３次元移動軌跡の始点の空間的近傍や時間的近傍についても同様に定義することができる。

次に、３次元移動軌跡グラフ生成部４９の軌跡分割処理と軌跡連結処理について説明する。
［軌跡分割処理］
３次元移動軌跡グラフ生成部４９は、軌跡ステレオ部４８により算出されたある３次元移動軌跡の始点Ｓの空間的近傍かつ時間的近傍に、他の３次元移動軌跡Ａが存在する場合、３次元移動軌跡Ａを始点Ｓ付近で分割する。
図２６（Ａ）は、エレベータ内部を上から見た模式図であり、エレベータの入口と、入退場エリアと、３次元移動軌跡Ｌ１〜Ｌ４とが示されている。
図２６（Ａ）の場合、３次元移動軌跡Ｌ２の始点は、３次元移動軌跡Ｌ３付近に存在している。
そこで、３次元移動軌跡グラフ生成部４９は、３次元移動軌跡Ｌ３を３次元移動軌跡Ｌ２の始点付近で分割して、新規に３次元移動軌跡Ｌ３と３次元移動軌跡Ｌ５を生成し、図２０（Ｂ）に示す３次元移動軌跡の集合を取得する。

また、３次元移動軌跡グラフ生成部４９は、軌跡ステレオ部４８により算出されたある３次元移動軌跡の終点Ｓの空間的近傍かつ時間的近傍に、他の３次元移動軌跡Ａが存在する場合、３次元移動軌跡Ａを終点Ｓ付近で分割する。
図２６（Ｂ）の例では、３次元移動軌跡Ｌ５の終点は３次元移動軌跡Ｌ４付近に存在している。
そこで、３次元移動軌跡グラフ生成部４９は、３次元移動軌跡Ｌ４を３次元移動軌跡Ｌ５の終点付近で分割して、新規に３次元移動軌跡Ｌ４と３次元移動軌跡Ｌ６を生成し、図２０（Ｃ）に示す３次元移動軌跡の集合Ｌ１〜Ｌ６を取得する。

［軌跡連結処理］
３次元移動軌跡グラフ生成部４９は、軌跡分割処理により取得した３次元移動軌跡の集合に対して、ある３次元移動軌跡Ａの終了点の空間的近傍かつ時間的近傍に、他の３次元移動軌跡Ｂの開始点が存在する場合、該当する二つの３次元移動軌跡Ａと３次元移動軌跡Ｂを連結する。

即ち、３次元移動軌跡グラフ生成部４９は、各３次元移動軌跡をグラフの頂点とし、また、連結した３次元移動軌跡のペアをグラフの有向辺とすることで、３次元移動軌跡グラフを取得する。
図２６（Ｃ）の例では、軌跡分割処理と軌跡連結処理によって、下記の情報を有する３次元移動軌跡グラフを生成する。
・Ｌ１に連結された３次元移動軌跡集合＝｛Ｌ３｝
・Ｌ２に連結された３次元移動軌跡集合＝｛φ（空集合）｝
・Ｌ３に連結された３次元移動軌跡集合＝｛Ｌ２，Ｌ５｝
・Ｌ４に連結された３次元移動軌跡集合＝｛Ｌ６｝
・Ｌ５に連結された３次元移動軌跡集合＝｛Ｌ６｝
・Ｌ６に連結された３次元移動軌跡集合＝｛φ（空集合）｝

軌跡ステレオ部４８により算出された個々の人物の３次元移動軌跡は、２次元画像における人物頭部の追跡ミスなどが理由で、空間的又は時間的に途切れた複数の３次元移動軌跡の断片の集合から構成される場合が多い。
そのため、３次元移動軌跡グラフ生成部４９は、これらの３次元移動軌跡に対する分割処理や連結処理を実施して３次元移動軌跡グラフを求めることで、人物の複数の移動経路の情報を保持することができる。

軌跡組み合わせ推定部５０は、３次元移動軌跡グラフ生成部４９が３次元移動軌跡グラフを生成すると、その３次元移動軌跡グラフを探索して、個々の人物の入場から退場までの３次元移動軌跡の候補を算出し、それらの３次元移動軌跡の候補の中から、最適な３次元移動軌跡の組み合わせを推定することで、個々の人物の最適な３次元移動軌跡と、カゴ内に存在している各時刻における人物の人数とを算出する（ステップＳＴ４８）。

以下、軌跡組み合わせ推定部５０の処理内容を具体的に説明する。
図２８は軌跡組み合わせ推定部５０の処理内容を示すフローチャートであり、図２９は軌跡組み合わせ推定部５０の処理内容を示す説明図である。なお、図２９（Ａ）はエレベータを上から見ている図である。
まず、軌跡組み合わせ推定部５０は、監視対象領域となる場所において、人物の入退場エリアを設定する（ステップＳＴ７１）。
入退場エリアは人物の入退場を判定する基準に利用するものであり、図２９（Ａ）の例では、エレベータのカゴ内の入口付近に仮想的に入退場エリアを設定している。
例えば、頭部の移動軌跡がエレベータの入口付近に設定している入退場エリアから開始していれば、該当階から乗っていると判断することができる。また、移動軌跡が入退場エリアで終了していれば、該当階で降りていると判断することができる。

次に、軌跡組み合わせ推定部５０は、３次元移動軌跡グラフ生成部４９により生成された３次元移動軌跡グラフを探索して、解析対象時間内において、下記の入場条件と退場条件を満足する個々の人物の３次元移動軌跡（監視対象領域への入場から退場までの３次元移動軌跡）の候補を算出する（ステップＳＴ７２）。
［入場条件］
（１）入場条件：３次元移動軌跡の方向がドアからエレベータの内部に向かっている
（２）入場条件：３次元移動軌跡の始点位置が入退場エリア内にある
（３）入場条件：ドア開閉認識部１１により設定された３次元移動軌跡の始点時刻におけるドアインデックスｄｉが“０”でない
［退場条件］
（１）退場条件：３次元移動軌跡の方向がエレベータの内部からドアに向かっている
（２）退場条件：３次元移動軌跡の終点位置が入退場エリア内にある
（３）退場条件：ドア開閉認識部１１により設定された３次元移動軌跡の終点時刻におけるドアインデックスｄｉが“０”でなく、かつ、ドアインデックスｄｉが入場時と異なる

図２９（Ａ）の例では、個々の人物の３次元移動軌跡は下記のようになる。
３次元移動軌跡グラフＧは３次元移動軌跡Ｌ１〜Ｌ６から構成されており、３次元移動軌跡グラフＧは下記の情報を有しているものとする。
・Ｌ１に連結された３次元移動軌跡集合＝｛Ｌ２，Ｌ３｝
・Ｌ２に連結された３次元移動軌跡集合＝｛Ｌ６｝
・Ｌ３に連結された３次元移動軌跡集合＝｛Ｌ５｝
・Ｌ４に連結された３次元移動軌跡集合＝｛Ｌ５｝
・Ｌ５に連結された３次元移動軌跡集合＝｛φ（空集合）｝
・Ｌ６に連結された３次元移動軌跡集合＝｛φ（空集合）｝
また、３次元移動軌跡Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６のドアインデックスｄｉは、それぞれ１，２，２，４，３，３であるとする。ただし、３次元移動軌跡Ｌ３は、人物頭部の追跡ミスや人物の遮蔽が原因で、誤って求めてしまった３次元移動軌跡と仮定する。
このため、３次元移動軌跡Ｌ１に連結された３次元移動軌跡が二つあり（３次元移動軌跡Ｌ２，Ｌ３）、人物の移動経路に曖昧さが生じている。

図２９（Ａ）の例では、入場条件を満足する３次元移動軌跡は、３次元移動軌跡Ｌ１と３次元移動軌跡Ｌ４であり、退場条件を満足する３次元移動軌跡は、３次元移動軌跡Ｌ５と３次元移動軌跡Ｌ６である。
この場合、軌跡組み合わせ推定部５０は、例えば、３次元移動軌跡Ｌ１からスタートして、Ｌ１→Ｌ２→Ｌ６の順番で３次元移動軌跡グラフＧを探索することで、監視対象領域への入場から退場までの３次元移動軌跡の候補｛Ｌ１，Ｌ２，Ｌ６｝が得られる。
同様に、軌跡組み合わせ推定部５０が、３次元移動軌跡グラフＧを探索することで、下記の三つの監視対象領域への入場から退場までの３次元移動軌跡の候補が得られる。
軌跡候補Ａ＝｛Ｌ１，Ｌ２，Ｌ６｝
軌跡候補Ｂ＝｛Ｌ４，Ｌ５｝
軌跡候補Ｃ＝｛Ｌ１，Ｌ３，Ｌ５｝

次に、軌跡組み合わせ推定部５０は、監視対象領域への入場から退場までの３次元移動軌跡の候補の中から、人物同士の位置関係、人物の数、ステレオ視の精度などを考慮したコスト関数を定義し、そのコスト関数を最大化する３次元移動軌跡の組み合わせを求めることで、正しい人物の３次元移動軌跡と人数を求める（ステップＳＴ７３）。
例えば、コスト関数は、「３次元移動軌跡が重ならない」、かつ、「なるべく多くの３次元移動軌跡が推定される」という条件を反映したものであり、下記のように定義する。
コスト＝「３次元移動軌跡数」−「３次元移動軌跡の重なり回数」
ただし、３次元移動軌跡数は、監視対象領域における人物数を意味している。

図２９（Ｂ）の例で、上記のコストを計算すると、軌跡候補Ａ＝｛Ｌ１，Ｌ２，Ｌ６｝と軌跡候補Ｃ＝｛Ｌ１，Ｌ３，Ｌ５｝は、Ｌ１の部分で重なっており、「３次元移動軌跡の重なり回数」は“１”と計算される。
同様に、軌跡候補Ｂ＝｛Ｌ４，Ｌ５｝と軌跡候補Ｃ＝｛Ｌ１，Ｌ３，Ｌ５｝は、Ｌ５の部分で重なっており、「３次元移動軌跡の重なり回数」は“１”と計算される。
このため、各軌跡候補の組み合わせによるコストは下記のようになる。
・ＡとＢとＣの組み合わせによるコスト＝３−２＝１
・ＡとＢの組み合わせによるコスト ＝２−０＝２
・ＡとＣの組み合わせによるコスト ＝２−１＝１
・ＢとＣの組み合わせによるコスト ＝２−１＝１
・Ａのみによるコスト ＝１−０＝１
・Ｂのみによるコスト ＝１−０＝１
・Ｃのみによるコスト ＝１−０＝１
したがって、軌跡候補Ａと軌跡候補Ｂの組み合わせが、コスト関数が最大となる組み合わせであって、最適な３次元移動軌跡の組み合わせであると判断される。
最適な３次元移動軌跡の組み合わせが、軌跡候補Ａと軌跡候補Ｂの組み合わせであるため、監視対象領域内の人数が２人であることも同時に推定される。

軌跡組み合わせ推定部５０は、監視対象領域における入退場エリアから始まり、入退場エリアで終わる人物の３次元移動軌跡の最適な組み合わせを求めると、その３次元移動軌跡と階床認識部１２により特定された階床（エレベータの停止階を示す停止階情報）とを対応付けて、個々の人物の乗車階と降車階を示す人物移動履歴（“何人がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴）を算出する（ステップＳＴ７４）。
ここでは、階床認識部１２により特定された停止階情報を対応付けるものについて示したが、別途、エレベータの制御機器から停止階情報を取得して対応付けるようにしてもよい。

このように、軌跡組み合わせ推定部５０は、人物同士の位置関係、人物の数やステレオ視の精度などを考慮したコスト関数を定義し、そのコスト関数を最大化する３次元移動軌跡の組み合わせを求めることで、遮蔽などが原因で、人物頭部の追跡結果に誤りがある場合でも、監視対象領域における人物の３次元移動軌跡と人物数を求めることができる。
ただし、乗降者の人数が多くて、３次元移動軌跡グラフの構造が複雑な場合、３次元移動軌跡の候補の数や、その組み合わせ方が非常に多く、現実的な時間内に処理できなくなることがある。
このような場合、軌跡組み合わせ推定部５０は、人物同士の位置関係、人物数及びステレオ視の精度を考慮した尤度関数を定義し、ＭＣＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ：マルコフチェインモンテカルロ）やＧＡ（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：遺伝アルゴリズム）などの確率的な最適化手法を用いて、３次元移動軌跡の最適な組み合わせを求めるようにしてもよい。

以下、軌跡組み合わせ推定部５０が、ＭＣＭＣを用いて、コスト関数が最大になる人物の最適な３次元移動軌跡の組み合わせを求める処理を具体的に説明する。
まず、以下のように記号を定義する．
［記号］
ｙ_i（ｔ）：３次元移動軌跡ｙ_iの時刻ｔにおける３次元位置。ｙ_i（ｔ）∈Ｒ³
ｙ_i ：ｉ番目の人物の監視対象領域における入場から退場までの３次元移動軌跡
ｙ_i＝｛ｙ_i（ｔ）｝
｜ｙ_i｜ ：３次元移動軌跡ｙ_iの記録時間
Ｎ ：監視対象領域における入場から退場までの３次元移動軌跡数（人物の数）
Ｙ＝｛ｙ_i｝_{i=1,・・・,N} ：３次元移動軌跡の集合
Ｓ（ｙ_i）：３次元移動軌跡ｙ_iのステレオコスト
Ｏ（ｙ_i，ｙ_j）：３次元移動軌跡ｙ_iと３次元移動軌跡ｙ_jのオーバーラップコスト
ｗ₊ ：正しい３次元移動軌跡として選択された３次元移動軌跡ｙ_iの集合
ｗ_- ：選択されなかった３次元移動軌跡ｙ_iの集合。ｗ_-＝ｗ−ｗ₊
ｗ ：ｗ＝｛ｗ₊，ｗ_-｝
ｗ_opt ：尤度関数を最大化するｗ
｜ｗ₊｜ ：ｗ₊の元の数（正しい３次元移動軌跡として選択された軌跡の数）
Ω : ｗの集合。ｗ∈Ω（３次元移動軌跡の集合Ｙの分割方式の集合）
Ｌ（ｗ｜Ｙ）：尤度関数
Ｌ_num（ｗ｜Ｙ）：選択軌跡数の尤度関数
Ｌ_str（ｗ｜Ｙ）：選択軌跡のステレオ視に関する尤度関数
Ｌ_ovr（ｗ｜Ｙ）：選択軌跡のオーバーラップに関する尤度関数
ｑ（ｗ’｜ｗ） ：提案分布
Ａ（ｗ’｜ｗ） ：受理確率

［モデル］
軌跡組み合わせ推定部５０は、３次元移動軌跡グラフ生成部４９が３次元移動軌跡グラフを生成すると、その３次元移動軌跡グラフを探索して、上述した入場条件と退場条件を満足する個々の人物の３次元移動軌跡の候補の集合Ｙ＝｛ｙ_i｝_{i=1,・・・,N}を求める。
また、ｗ₊を正しい３次元移動軌跡として選択された３次元移動軌跡候補の集合として、ｗ_-＝ｗ−ｗ₊とｗ＝｛ｗ₊，ｗ_-｝を定義する。
軌跡組み合わせ推定部５０の目的は、３次元移動軌跡の候補の集合Ｙの中から正しい３次元移動軌跡を選択することであり、この目的は、尤度関数Ｌ（ｗ／Ｙ）をコスト関数として定義し、このコスト関数を最大化する問題として定式化することができる。
即ち、最適な軌跡選択をｗ_optとすると、ｗ_optは下式で与えられる。
ｗ_opt＝ａｒｇｍａｘ Ｌ（ｗ｜Ｙ）

例えば、尤度関数Ｌ（ｗ｜Ｙ）は、下記のように定義してもよい。
Ｌ（ｗ｜Ｙ）＝Ｌ_ovr（ｗ｜Ｙ）Ｌ_num（ｗ｜Ｙ）Ｌ_str（ｗ｜Ｙ）
ここで、Ｌ_ovrは「３次元空間内で３次元移動軌跡が重ならない」ことを定式化した尤度関数、Ｌ_numは「可能な限り多く３次元移動軌跡が存在する」ことを定式化した尤度関数、Ｌ_strは「３次元移動軌跡のステレオ視の精度が高い」ことを定式化した尤度関数である。

以下、各尤度関数の詳細について述べる。
［選択軌跡のオーバーラップに関する尤度関数］
「３次元空間内で３次元移動軌跡が重ならない」という条件を下記のように定式化する。
Ｌ_ovr（ｗ｜Ｙ） ∝ ｅｘｐ（ −ｃ１ Σ_i,j∈w+ Ｏ（ｙ_i，ｙ_j））
ここで、Ｏ（ｙ_i，ｙ_j）は、３次元移動軌跡ｙ_iと３次元移動軌跡ｙ_jのオーバーラップコストであり、３次元移動軌跡ｙ_iと３次元移動軌跡ｙ_jが完全に重なっている場合には“１”となり、まったく重なっていない場合には“０”をとるものとする。ここでｃ１は正の定数である。

ここでは、Ｏ（ｙ_i，ｙ_j）を次のようにして求める。
ｙ_i＝｛ｙ_i（ｔ）｝_{t=t1,・・・,t2}、ｙ_j＝｛ｙ_j（ｔ）｝_{t=t3,・・・,t4}とし、３次元移動軌跡ｙ_iと３次元移動軌跡ｙ_jが時間Ｆ＝［ｔ３ ｔ２］で同時に存在しているとする。
また、関数ｇを下記のように定義する。
ｇ（ｙ_i（ｔ），ｙ_j（ｔ））
＝１（ｉｆ || ｙ_i（ｔ）−ｙ_j（ｔ） || ＜Ｔｈ１）， ＝０（otherwise）
ここで、Ｔｈ１は適当な距離の閾値であり、例えば、Ｔｈ１＝２５ｃｍに設定する。
つまり、関数ｇは、閾値Ｔｈ１以内に３次元移動軌跡が近づいたらペナルティを与える関数である。
このとき、下記のようにして、オーバーラップコストＯ（ｙ_i，ｙ_j）を求める。
・｜Ｆ｜≠０の場合
Ｏ（ｙ_i，ｙ_j）＝Σ_t∈F ｇ（ｙ_i（ｔ），ｙ_j（ｔ））／｜Ｆ｜
・｜Ｆ｜＝０の場合
Ｏ（ｙ_i，ｙ_j）＝０

［選択軌跡の数に関する尤度関数］
「可能な限り多く３次元移動軌跡が存在する」という条件を下記のように定式化する。
Ｌ_num（ｗ｜Ｙ） ∝ ｅｘｐ（ ｃ２ ｜ｗ₊｜）
ここで、｜ｗ₊｜はｗ₊の元の数である。またｃ２は正の定数である。

［選択軌跡のステレオ視精度に関する尤度関数］
「３次元移動軌跡のステレオ視の精度が高い」という条件を下記のように定式化する。
Ｌ_str（ｗ｜Ｙ） ∝ ｅｘｐ（ −ｃ３ Σ_i∈w+ Ｓ（ｙ_i））
ここで、Ｓ（ｙ_i）は、ステレオコストであり、３次元移動軌跡がステレオ視によって推定された場合は小さな値をとり、３次元移動軌跡が単眼視や、どのカメラ１からも観測されない期間がある場合は大きな値をとるものとする。またｃ３は正の定数である。
以下、ステレオコストＳ（ｙ_i）の計算方法について述べる。
ここで、ｙ_i＝｛ｙ_i（ｔ）｝_{t=t1,・・・,t2}とするとき、３次元移動軌跡ｙ_iの期間Ｆ_i＝［ｔ１ ｔ２］には、下記の三つの期間Ｆ１_i，Ｆ２_i，Ｆ３_iが混在している。
・Ｆ１_i：ステレオ視により３次元移動軌跡が推定された期間
・Ｆ２_i：単眼視により３次元移動軌跡が推定された期間
・Ｆ３_i：どのカメラ１からも３次元移動軌跡が観測されない期間
この場合、ステレオコストＳ（ｙ_i）は下記のようになる。
Ｓ（ｙ_i）＝（ｃ８×｜Ｆ１_i｜＋ｃ９×｜Ｆ２_i｜＋ｃ１０×｜Ｆ３_i｜）／｜Ｆ_i｜
ここで、ｃ８，ｃ９，ｃ１０は正の定数である。

［ＭＣＭＣによる軌跡候補の組み合わせ最適化］
次に、軌跡組み合わせ推定部５０が、ＭＣＭＣによって尤度関数Ｌ（ｗ｜Ｙ）を最大化する手法について述べる。
まず、アルゴリズムの概要は、下記の通りである。
［ＭＣＭＣアルゴリズム］
入力： Ｙ，ｗ_init，Ｎ_mc 出力： ｗ_opt
（１）初期化 ｗ＝ｗ_init，ｗ_opt＝ｗ_init
（２）メインルーチン
ｆｏｒ ｎ＝１ ｔｏ Ｎ_mc
ｓｔｅｐ１． ζ（ｍ）に従ってｍをサンプリングする
ｓｔｅｐ２． ｍに従って提案分布ｑを選択し、ｗ’をサンプリングする
ｓｔｅｐ３． 一様分布Ｕｎｉｆ［０ １］からｕをサンプリングする
ｓｔｅｐ４． ｉｆ ｕ＜Ａ（ｗ，ｗ’），ｗ＝ｗ’；
ｓｔｅｐ５． ｉｆ Ｌ（ｗ｜Ｙ）／Ｌ（ｗ_opt｜Ｙ）＞１，
ｗ_opt＝ｗ’；（最大値の保存）
ｅｎｄ

ここで、アルゴリズムへの入力は３次元移動軌跡の集合Ｙ、初期分割ｗ_init、サンプリング回数Ｎ_mcであり、また、アルゴリズムの出力として最適な分割ｗ_optを得る。
初期化では、初期分割ｗ_init＝｛ｗ₊＝φ，ｗ_-＝Ｙ｝とする。
メインルーチンにおいて、ｓｔｅｐ１では、確率分布ζ（ｍ）に従ってｍをサンプリングする。例えば、確率分布ζ（ｍ）は一様分布と設定してもよい。
次に、ｓｔｅｐ２では、インデックスｍに対応する提案分布ｑ（ｗ’｜ｗ）に従って候補ｗ’をサンプリングする。
提案アルゴリズムの提案分布は、「生成」，「消滅」，「スワップ」の３つのタイプを定義する。
インデックスｍ＝１は「生成」、ｍ＝２は「消滅」、ｍ＝３は「スワップ」に対応するものとする。

次に、ｓｔｅｐ３では、一様分布Ｕｎｉｆ［０ １］からｕをサンプリングする。
続くｓｔｅｐ４では、ｕと受理確率Ａ（ｗ，ｗ’）に基づいて候補ｗ’を受理又は棄却する。
受理確率Ａ（ｗ，ｗ’）は下式で与えられる。
Ａ（ｗ，ｗ’）
＝ｍｉｎ（１，ｑ（ｗ｜ｗ’）Ｌ（ｗ’｜Ｙ）／ｑ（ｗ’｜ｗ）Ｌ（ｗ｜Ｙ））
最後に、ｓｔｅｐ５で、尤度関数を最大化する最適なｗ_optを保存する。

以下、提案分布ｑ（ｗ’｜ｗ）の詳細について述べる。
（Ａ）生成
集合ｗ_-から一つの３次元移動軌跡ｙを選択してｗ₊に加える。
ここで、ｙとして、ｗ₊にある軌跡と空間的にオーバーラップしていないものが優先して選択される。
即ち、ｙ∈ｗ_-，ｗ＝｛ｗ₊，ｗ_-｝，ｗ’＝｛｛ｗ₊＋ｙ｝，｛ｗ_-−ｙ｝｝とすると、提案分布は下式で与えられる。
ｑ（ｗ’｜ｗ） ∝ ζ（１） ｅｘｐ（ −ｃ４ Σ_j∈w+ Ｏ（ｙ，ｙ_j））
ここで、Ｏ（ｙ，ｙ_j）は、上述したオーバーラップコストであり、軌跡ｙとｙ_jが完全に重なっている場合に“１”となり、まったく重なっていない場合は“０”をとるものとする。ｃ４は正の定数である。

（Ｂ）消滅
集合ｗ₊から一つの３次元移動軌跡ｙを選択してｗ_-に加える。
ここで、ｙとして、ｗ₊の内部で空間的にオーバーラップしている軌跡が優先して選択される
即ち、ｙ∈ｗ₊，ｗ＝｛ｗ₊，ｗ_-｝，ｗ’＝｛｛ｗ₊−ｙ｝，｛ｗ_-＋ｙ｝｝とすると、提案分布は下式で与えられる。
ｑ（ｗ’｜ｗ） ∝ ζ（２） ｅｘｐ（ ｃ５ Σ_j∈w+ Ｏ（ｙ，ｙ_j））
なお、ｗ₊が空集合の場合は、下記の通りとする。
ｑ（ｗ’｜ｗ）＝１ （ｉｆ ｗ’＝ｗ），ｑ（ｗ’｜ｗ）＝０ （otherwise）
ｃ５は正の定数である。

（Ｃ）スワップ
ステレオコストが高い３次元移動軌跡と、ステレオコストが低い３次元移動軌跡を交換する。つまり集合ｗ₊から一つの３次元移動軌跡ｙを選択し、また、集合ｗ_-から一つの３次元移動軌跡ｚを選択して、その３次元移動軌跡ｙと３次元移動軌跡ｚを交換する。
具体的には、まず、３次元移動軌跡ｙとして、ステレオコストが高いものを優先して選択する。
次に、３次元移動軌跡ｚとして、３次元移動軌跡ｙとオーバーラップし、かつ、ステレオコストが低いものを優先して選択する。
即ち、ｙ∈ｗ₊，ｚ∈ｗ_-，ｗ’＝｛｛ｗ₊−ｙ＋ｚ｝，｛ｗ_-＋ｙ−ｚ｝｝，
ｐ（ｙ｜ｗ） ∝ ｅｘｐ（ ｃ６ Ｓ（ｙ）），
ｐ（ｚ｜ｗ，ｙ） ∝ ｅｘｐ（ −ｃ６ Ｓ（ｚ） ｅｘｐ（ ｃ７ Ｏ（ｚ，ｙ））
とすると、提案分布は下式で与えられる。
ｑ（ｗ’｜ｗ） ∝ ζ（３）×ｐ（ｚ｜ｗ，ｙ）ｐ（ｙ｜ｗ）
ただし、ｃ６，ｃ７は正の定数である。

映像解析部３は、上記のようにして、個々の人物の移動履歴を算出すると、その移動履歴を複数台のエレベータの運行を管理する群管理システム（図示せず）に与える。
これにより、群管理システムでは、各エレベータから得られる移動履歴に基づいて常に最適なエレベータの群管理を実施することが可能になる。
また、映像解析部３は、個々の人物の移動履歴などを必要に応じて映像解析結果表示部４に出力する。
映像解析結果表示部４は、映像解析部３から個々の人物の移動履歴等を受けると、個々の人物の移動履歴等をディスプレイ（図示せぬ）に表示する。

以下、映像解析結果表示部４の処理内容を具体的に説明する。
図３０は映像解析結果表示部４の画面構成例を示す説明図である。
図３０に示すように、映像解析結果表示部４のメイン画面は、複数のカメラ１により撮影された映像を表示する映像表示部５１による画面と、人物移動履歴を時系列的にグラフ表示する時系列情報表示部５２による画面とから構成されている。

映像解析結果表示部４の映像表示部５１は、複数のカメラ１により撮影されたエレベータのカゴ内の映像（カメラ（１）の映像、カメラ（２）の映像、階床認識用のインジケータ映像）及び映像解析部３の解析結果を同期して表示し、映像解析部３の解析結果である頭部検出結果や２次元移動軌跡などを映像に重畳して表示する。
映像表示部５１が複数の映像を同期して表示することで、ビル保守作業者などのユーザは、複数のエレベータの状況を同時に知ることができ、また、頭部検出結果や２次元移動軌跡などの映像解析結果を視覚的に把握することができる。

映像解析結果表示部４の時系列情報表示部５２は、人物追跡部１３の３次元移動軌跡算出部４６により算出された人物移動履歴とカゴ移動履歴を時系列グラフにして、映像と同期させて表示する。
図３１は時系列情報表示部５２の画面の詳細例を示す説明図である。図３１では、横軸に時間、縦軸に階床をとり、各エレベータ(カゴ)の移動履歴を時系列的にグラフ表示している。
図３１の画面例では、時系列情報表示部５２が、映像を再生・停止する映像再生・停止ボタン、映像をランダムにシークすることができる映像プログレスバー、表示するカゴ番号を選択するチェックボックス、表示時間単位を選択するプルダウンなどのユーザインターフェイスを表示している。

また、グラフには映像との時間同期を示すバーを表示し、ドアが開いている時間帯を太線で表示している。
また、グラフにおいて、各ドア開時間を表示する太線付近に、階床、扉開時間、乗車人数、降車人数をテキスト「Ｆ１５−Ｄ１０−Ｊ０−Ｋ３」表示している。
このテキスト「Ｆ１５−Ｄ１０−Ｊ０−Ｋ３」は、カゴの階床が１５階、ドア開時間が１０秒、乗者人数が０人、降車人数が３人であることを略記したものである。
このように、時系列情報表示部５２が映像解析結果を時系列的に表示することで、ビル保守作業者などのユーザは、複数のエレベータの乗降者やドア開閉時間などの情報の時間変化を視覚的に知ることができる。

映像解析結果表示部４のサマリー表示部５３は、３次元移動軌跡算出部４６により算出された人物移動履歴の統計を求め、その人物移動履歴の統計結果として、一定時間帯の各カゴ及び各階の乗降者を一覧表示する。
図３２はサマリー表示部５３の画面例を示す説明図である。図３２では、縦軸に階床、横軸に各カゴ番号をとり、ある一定時間帯（図３２の例では、ＡＭ７時からＡＭ１０時までの時間帯）の各カゴ及び各階の乗降者人数の合計を並べて表示している。
サマリー表示部５３が一定時間帯の各カゴ及び各階の乗降者を一覧表示することで、ユーザは、ビル全体のエレベータの運行状況を一目で把握することができる。
図３２の画面例では、各乗降者人数の合計を表示する部分がボタンになっており、ユーザが各ボタンを押すと、それに対応する運行関連情報表示部５４の詳細表示画面をポップアップ表示することができる。

映像解析結果表示部４の運行関連情報表示部５４は、３次元移動軌跡算出部４６により算出された人物移動履歴を参照して、人物移動履歴の詳細情報を表示する。即ち、ある指定された時間帯と階床とエレベータカゴ番号に対して、他の階床に移動した人数、他の階床から移動してきた人数、乗客の待ち時間などのエレベータ運行に関連する詳細情報を表示する。
図３３は運行関連情報表示部５４の画面例を示す説明図である。
図３３の画面における各領域（Ａ）〜（Ｆ）には、下記の情報を表示している。

（Ａ）：対象となる時間帯、カゴ番号、階床を表示
（Ｂ）：対象となる時間帯、カゴ番号、階床を表示
（Ｃ）：ＡＭ７:００〜ＡＭ１０:００に、カゴ＃１に２階から乗って上方向に移動した人数が１０人であることを表示
（Ｄ）：ＡＭ７:００〜ＡＭ１０:００に、カゴ＃１に３階から乗って、２階で降りた人数が１人であり、その平均待ち時間が３０秒であることを表示
（Ｅ）：ＡＭ７:００〜ＡＭ１０:００に、カゴ＃１に３階から乗って下方向に移動した人数が３人であることを表示
（Ｆ）：ＡＭ７:００〜ＡＭ１０:００に、カゴ＃１に地下１階から乗って、２階で降りた人数が２人であり、その平均待ち時間が１０秒であることを表示
運行関連情報表示部５４が、解析した人物移動履歴の詳細情報を表示することで、ユーザが各階や各カゴの個別の情報を閲覧することができ、エレベータ運行の不具合などの原因の詳細を分析することができる。

ソートデータ表示部５５は、３次元移動軌跡算出部４６により算出された人物移動履歴をソートして表示する。即ち、映像解析部３の解析結果を利用して、ドア開時間、乗降者人数、待ち時間などに関するデータをソートして、上位あるいは下位のデータから順番に表示する。
図３４はソートデータ表示部５５の画面例を示す説明図である。
図３４（Ａ）の例では、ソートデータ表示部５５が「ドア開時間」をソートキーとして映像解析部３の解析結果をソートし、ドア開時間が大きなデータを上位にして順番に表示している。
また、図３４（Ａ）には、「カゴ番号（＃）」、システム時間（映像記録時間）、「ドア開時間」のデータを同時に表示している。

図３４（Ｂ）の例では、ソートデータ表示部５５が「乗降者人数」をソートキーとして映像解析部３の解析結果をソートし、「乗降者人数」が大きなデータを上位にして順番に表示している。
また、図３４（Ｂ）には、「カゴ（＃）」、「時間帯（例えば、３０分単位）」、「乗降（乗車又は降車を示すフラグ）」、「乗降者人数」のデータを同時に表示している。
図３４（Ｃ）の例では、ソートデータ表示部５５が「乗降者移動人数」をソートキーとして映像解析部３の解析結果をソートし、「乗降者移動人数」が大きなデータを上位にして順番に表示している。
また、図３４（Ｃ）には、「時間帯（例えば、３０分単位）」、「乗階」、「降階」、「乗降者人数」のデータを同時に表示している。
ソートデータ表示部５５がソートしたデータを表示することで、例えば、ドアが異常に開いている時間帯を発見し、同じ時間帯の映像や解析結果を参照することで、その不具合の原因を突き止めることができる。

以上で明らかなように、この実施の形態１によれば、複数のカメラ１により撮影された監視対象領域の映像を解析して、その監視対象領域内に存在している個々の人物の各映像上の位置を算出する人物検出部４４と、人物検出部４４により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する２次元移動軌跡算出部４５とを設け、３次元移動軌跡算出部４６が２次元移動軌跡算出部４５により算出された各映像における２次元移動軌跡間のステレオマッチングを実施して、２次元移動軌跡のマッチング率を算出し、そのマッチング率が規定値以上の２次元移動軌跡から、個々の人物の３次元移動軌跡を算出するように構成したので、監視対象領域が非常に混雑している状況でも、その監視対象領域内に存在している人物を正確に追跡することができる効果を奏する。

即ち、従来例では、エレベータのように狭く混雑した場所では、ある人物が他の人物に遮蔽されてしまうため、人物の検出や追跡が困難であったが、この実施の形態１によれば、人物が遮蔽されたことが原因で誤って求めてしまった３次元移動軌跡が存在するような場合でも、複数の３次元移動軌跡の候補を列挙し、人物同士の位置関係、人物数やステレオ立体視の精度などを考慮したコスト関数を最大化するような３次元移動軌跡候補の組み合わせを求めることで、個々の人物の正確な３次元移動軌跡を求めることができるとともに、監視対象領域における人数を推定することができる。

また、３次元移動軌跡グラフの構造が非常に複雑であり、入場から退場までの３次元移動軌跡の候補の組み合わせ数が非常に多い場合でも、軌跡組み合わせ推定部５０が、ＭＣＭＣやＧＡなどの確率的な最適化手法を用いて、３次元移動軌跡の最適な組み合わせを求めるようにしているので、現実的な処理時間で３次元移動軌跡候補の組み合わせを求めることができる。その結果、監視対象領域が非常に混雑している状況でも、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を正確に追跡することができる。

また、映像解析結果表示部４が複数のカメラ１の映像や映像解析部３の映像解析結果を見易く表示しているので、ビル保守作業員やビルオーナーなどのユーザが、エレベータの運行状況や不具合箇所を容易に把握することができ、エレベータの運行効率化や保守作業を円滑に実施することができる。

なお、この実施の形態１では、映像解析結果表示部４が複数のカメラ１の映像や映像解析部３の映像解析結果をディスプレイ（図示せず）に表示するものについて示したが、映像解析結果表示部４が複数のカメラ１の映像や映像解析部３の映像解析結果をエレベータのカゴ外の各フロアに設置された表示パネルや、エレベータのカゴ内部の表示パネルに表示して、エレベータの混雑具合を乗客に提示するようにしてもよい。
これにより、乗客はエレベータの混雑具合から、いつどのエレベータに乗るのがよいのかを把握することができる。

また、この実施の形態１では、監視対象領域がエレベータのカゴ内であるもについて説明したが、これは一例に過ぎず、例えば、電車の中を監視対象領域として適用し、電車の混雑度などを計測する場合にも利用することができる。
また、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることに適用し、不審な人物の行動を監視することも可能である。
また、駅や店舗などに適用して人物の移動軌跡を解析することで、マーケティングなどに利用することも可能である。
さらに、エスカレータの踊り場を監視対象領域として適用し、踊り場に存在する人物の数をカウントして、踊り場が混雑してきた場合に、例えば、エスカレータの徐行や停止など適切な制御を行うことで、エスカレータ上で人物が将棋倒しになるなどの事故を未然に回避することに利用することもできる。

実施の形態２．
上記実施の形態１では、複数の３次元移動軌跡グラフを探索して、入退場条件を満足する３次元移動軌跡の候補を算出して、入場から退場までの３次元移動軌跡の候補を列挙し、コスト関数をＭＣＭＣなどで確率的に最大化することで３次元移動軌跡の候補の最適な組み合わせを求めているが、３次元移動軌跡グラフの構造が複雑な場合には、入退場条件を満足する３次元移動軌跡の候補数が天文学的に大きくなり、現実的な時間内に処理することができないことがある。
そこで、この実施の形態２では、３次元移動軌跡グラフの頂点（グラフを構成する各３次元移動軌跡）に対してラベル付けを実施し、入退場条件を鑑みたコスト関数を確率的に最大化することで、３次元移動軌跡の最適な組み合わせを現実的な時間内で推定するようにしている。

図３５はこの発明の実施の形態２による人物追跡装置の人物追跡部１３の内部を示す構成図であり、図において、図４と同一符号は同一又は相当部分を示すので説明を省略する。
軌跡組み合わせ推定部６１は３次元移動軌跡グラフ生成部４９により生成された３次元移動軌跡グラフの頂点にラベリングを施して複数のラベリング候補を算出し、複数のラベリング候補の中から最適なラベリング候補を選択して、監視対象領域内に存在している人物の人数を推定する処理を実施する。

次に動作について説明する。
上記実施の形態１と比べて、軌跡組み合わせ推定部５０が軌跡組み合わせ推定部６１に代わっている以外は同じであるため、軌跡組み合わせ推定部６１の動作のみを説明する。
図３６は軌跡組み合わせ推定部６１の処理内容を示すフローチャートであり、図３７は軌跡組み合わせ推定部６１の処理内容を示す説明図である。

まず、軌跡組み合わせ推定部６１は、図４の軌跡組み合わせ推定部５０と同様に、監視対象領域となる場所において、人物の入退場エリアを設定する（ステップＳＴ８１）。
図３７（Ａ）の例では、エレベータのカゴ内の入口付近に仮想的に入退場エリアを設定している。

次に、軌跡組み合わせ推定部６１は、３次元移動軌跡グラフ生成部４９により生成された３次元移動軌跡グラフに対して、３次元移動軌跡グラフの頂点（グラフを構成する３次元移動軌跡）をラベリングして、複数のラベリング候補を算出する（ステップＳＴ８２）。
ここで、軌跡組み合わせ推定部６１は、３次元移動軌跡グラフをくまなく探索して、可能なラベリング候補をすべて列挙するようにしてもよいが、ラベリングの候補数が多い場合には、予め決められた数だけランダムにラベリング候補を選出するようにしてもよい。

具体的には、以下のようにして、複数のラベリング候補を算出する。
図３７（Ａ）に示すように、下記の情報を有する３次元移動軌跡グラフが得られたものとする。
・Ｌ１に連結された３次元移動軌跡集合＝｛Ｌ２，Ｌ３｝
・Ｌ２に連結された３次元移動軌跡集合＝｛Ｌ６｝
・Ｌ３に連結された３次元移動軌跡集合＝｛Ｌ５｝
・Ｌ４に連結された３次元移動軌跡集合＝｛Ｌ５｝
・Ｌ５に連結された３次元移動軌跡集合＝｛φ（空集合）｝
・Ｌ６に連結された３次元移動軌跡集合＝｛φ（空集合）｝
ただし、Ｌ２は人物頭部の追跡ミスなどにより、誤って求めてしまった３次元移動軌跡であるとする。

この場合、軌跡組み合わせ推定部６１は、図３７（Ａ）の３次元移動軌跡グラフに対してラベリングを行うことで、図３７（Ｂ）示すようなラベリング候補Ａ，Ｂを算出する。
例えば、ラベリング候補Ａには、下記に示すように、０から２までのラベル番号のラベルが各３次元移動軌跡の断片に付与される。
・ラベル０＝｛Ｌ３｝
・ラベル１＝｛Ｌ４，Ｌ５｝
・ラベル２＝｛Ｌ１，Ｌ２，Ｌ６｝
ここで、ラベル０は、人物でない３次元移動軌跡（誤りの３次元移動軌跡）の集合とし、ラベル１以上は、各個別の人物の３次元移動軌跡の集合を意味するものと定義する。
この場合、ラベリング候補Ａは、監視対象領域に人物が二人（ラベル１とラベル２）存在していることを示しており、ある人物（１）の３次元移動軌跡は、ラベル１が付与されている３次元移動軌跡Ｌ４と３次元移動軌跡Ｌ５から構成され、また、ある人物（２）の３次元移動軌跡は、ラベル２が付与されている３次元移動軌跡Ｌ１と３次元移動軌跡Ｌ２と３次元移動軌跡Ｌ６から構成されていることを示している。

また、ラベリング候補Ｂには、下記に示すように、０から２までのラベル番号のラベルが各３次元移動軌跡の断片に付与される。
・ラベル０＝｛Ｌ２，Ｌ６｝
・ラベル１＝｛Ｌ１，Ｌ３，Ｌ５｝
・ラベル２＝｛Ｌ４｝
この場合、ラベリング候補Ｂは、監視対象領域に人物が二人（ラベル１とラベル２）存在していることを示しており、ある人物（１）の３次元移動軌跡は、ラベル１が付与されている３次元移動軌跡Ｌ１と３次元移動軌跡Ｌ３と３次元移動軌跡Ｌ５から構成され、また、ある人物（２）の３次元移動軌跡は、ラベル２が付与されている３次元移動軌跡Ｌ４から構成されていることを示している。

次に、軌跡組み合わせ推定部６１は、複数のラベリング候補に対して、人物数、人物同士の位置関係、ステレオ立体視精度及び監視対象領域への入退場条件などを考慮したコスト関数を計算し、そのコスト関数が最大となるラベリング候補を求め、個々の人物の最適な３次元移動軌跡と人物数を算出する（ステップＳＴ８３）。
コスト関数としては、下記に示すようなコストを定義する。
コスト ＝ 「入退場条件を満たした３次元移動軌跡の数」
ここで、入退場条件として、例えば、上記実施の形態１で述べた入場条件及び退場条件を利用する。

図３７（Ｂ）の場合、ラベリング候補Ａでは、ラベル１とラベル２が入退場条件を満足する３次元移動軌跡である。
また、ラベリング候補Ｂでは、ラベル１のみが入退場条件を満足する３次元移動軌跡である。
したがって、ラベリング候補Ａ，Ｂのコストが下記のようになるため、コスト関数が最大となるラベリング候補がラベリング候補Ａであって、ラベリング候補Ａが最適な３次元移動軌跡グラフのラベリングとして判断される。
このため、エレベータのカゴ内を移動していた人物が２人であることも同時に推定される。
・ラベリング候補Ａのコスト=２
・ラベリング候補Ｂのコスト=１

次に、軌跡組み合わせ推定部６１は、コスト関数が最大となるラベリング候補を選択して、個々の人物の最適な３次元移動軌跡を算出すると、個々の人物の最適な３次元移動軌跡と階床認識部１２により特定された階床（エレベータの停止階を示す停止階情報）とを対応付けて、個々の人物の乗車階と降車階を示す人物移動履歴（“何人がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴）を算出する（ステップＳＴ８４）。
ここでは、階床認識部１２により特定された停止階情報を対応付けるものについて示したが、別途、エレベータの制御機器から停止階情報を取得して対応付けるようにしてもよい。

ただし、乗降者の人数が多くて、３次元移動軌跡グラフの構造が複雑な場合、３次元移動軌跡グラフに対するラベリングが何通りにもなり、すべてのラベリングに対してコスト関数を計算することが現実的に不可能になることがある。
このような場合、軌跡組み合わせ推定部６１は、ＭＣＭＣやＧＡなどの確率的な最適化手法を用いて、３次元移動軌跡グラフのラベリング処理を実施するようにしてもよい。
以下、３次元移動軌跡グラフのラベリング処理を具体的に説明する。

［モデル］
軌跡組み合わせ推定部６１は、３次元移動軌跡グラフ生成部４９が３次元移動軌跡グラフを生成すると、その３次元移動軌跡グラフの頂点の集合、即ち、人物の３次元移動軌跡の集合をＹ＝｛ｙ_i｝_{i=1,・・・,N}とする。ここで、Ｎは３次元移動軌跡の数である。
また、状態空間ｗを以下のように定義する．
ｗ＝｛τ₀，τ₁，τ₂，・・・，τ_K｝
ここで、τ₀はどの人物にも属さない３次元移動軌跡ｙ_iの集合であり、τ_iはｉ番目の人物の３次元移動軌跡に属する３次元移動軌跡ｙ_iの集合であり、Ｋは３次元移動軌跡の数（人物数）である。
τ_iは複数の連結された３次元移動軌跡から構成されており、一つの３次元移動軌跡とみなすことができる。
また、下記を満足するものとする。
・Ｕ_{k=0,・・・,K} τ_k＝Ｙ
・τ_i ∩ τ_j＝φ （ｆｏｒ ａｌｌ ｉ≠ｊ）
・｜τ_k｜＞１ （ｆｏｒ ａｌｌ ｋ）

このとき、軌跡組み合わせ推定部６１の目的は、３次元移動軌跡の集合Ｙが３次元移動軌跡τ₀からτ_Kまでのどの集合に属するのか求めることである。即ち、この目的は、集合Ｙの要素に対して、０からＫまでのラベリングを行う問題と等価である。
これは尤度関数Ｌ（ｗ／Ｙ）をコスト関数として定義し、このコスト関数を最大化する問題として定式化することができる。
即ち、最適な軌跡ラベリングをｗ_optとすると、ｗ_optは下式で与えられる。
ｗ_opt＝ａｒｇｍａｘ Ｌ（ｗ｜Ｙ）

ここでは、尤度関数Ｌ（ｗ｜Ｙ）を下記のように定義する。
Ｌ（ｗ｜Ｙ）＝Ｌ_ovr（ｗ｜Ｙ）Ｌ_num（ｗ｜Ｙ）Ｌ_str（ｗ｜Ｙ）
ここで、Ｌ_ovrは「３次元空間内で３次元移動軌跡が重ならない」ことを定式化した尤度関数、Ｌ_numは「可能な限り多く入退場条件を満たす３次元移動軌跡が存在する」ことを定式化した尤度関数、Ｌ_strは「３次元移動軌跡のステレオ視の精度が高い」ことを定式化した尤度関数である。

以下、各尤度関数の詳細について述べる。
［軌跡のオーバーラップに関する尤度関数］
「３次元空間内で３次元移動軌跡が重ならない」という条件を下記のように定式化する。
Ｌ_ovr（ｗ｜Ｙ） ∝ ｅｘｐ（ −ｃ１ Σ_τi∈w-τ0 Σ_τj∈w-τ0 Ｏ（τ_i，τ_j））
ここで、Ｏ（τ_i，τ_j）は、３次元移動軌跡τ_iと３次元移動軌跡τ_jのオーバーラップコストであり、３次元移動軌跡τ_iと３次元移動軌跡τ_jが完全に重なっている場合には“１”となり、まったく重なっていない場合には“０”をとるものとする。
Ｏ（τ_i，τ_j）は、例えば、上記実施の形態１で説明したものを利用する。ｃ１は正の定数である。

［軌跡の数に関する尤度関数］
「可能な限り多く入退場条件を満たす３次元移動軌跡が存在する」という条件を下記のように定式化する。
Ｌ_num（ｗ｜Ｙ） ∝ ｅｘｐ（ ｃ２×Ｋ ＋ ｃ３×Ｊ）
ここで、Ｋは３次元移動軌跡の数であり、Ｋ＝｜ｗ−τ₀｜で与えられる。また、ＪはＫ個の３次元移動軌跡τ₁からτ_Kまでの中で、入退場条件を満足する３次元移動軌跡の数である。
入退場条件は、例えば、上記実施の形態１で説明したものを利用する。
尤度関数Ｌ_num（ｗ｜Ｙ）は、集合Ｙから可能な限り多くの３次元移動軌跡が選択され、かつ、その中でも入退場条件を満足するものが多く存在するように働く。ｃ２，ｃ３は正の定数である。

［軌跡のステレオ視精度に関する尤度関数］
「３次元移動軌跡のステレオ視の精度が高い」という条件を下記のように定式化する。
Ｌ_str（ｗ｜Ｙ） ∝ ｅｘｐ（ −ｃ４ × Σ_τi∈w-τ0 Ｓ（τ_i））
ここで、Ｓ（τ_i）は、ステレオコストであり、３次元移動軌跡がステレオ視によって推定された場合は小さな値をとり、３次元移動軌跡が単眼視や、どのカメラからも観測されない期間がある場合は大きな値をとるものとする。
例えば、ステレオコストＳ（τ_i）の計算方法は、上記実施の形態１で説明したものを利用する。ｃ４は正の定数である。

以上のように定義した尤度関数を、ＭＣＭＣやＧＡなどの確率的な最適化手法を用いて最適化することができる。

以上で明らかなように、この実施の形態２によれば、軌跡組み合わせ推定部６１が３次元移動軌跡グラフ生成部４９により生成された３次元移動軌跡グラフの有向辺にラベリングを施して複数のラベリング候補を算出し、複数のラベリング候補の中から最適なラベリング候補を選択して、監視対象領域内に存在している人物の人数を推定するように構成したので、入退場条件を満足する３次元移動軌跡の候補数が天文学的に多い場合でも、現実的な時間内で、人物の最適（あるいは準最適）な３次元移動軌跡と人物数を推定することができる効果を奏する。

実施の形態３．
上記実施の形態２では、３次元移動軌跡グラフの頂点（グラフを構成する各３次元移動軌跡）に対してラベル付けを実施し、入退場条件を鑑みたコスト関数を確率的に最大化することで、３次元移動軌跡の最適な組み合わせを現実的な時間内で推定するようにしている。しかし、映像に写る人物数が増えて、さらに２次元移動軌跡グラフの構造が複雑な場合には、立体視の結果得られる３次元移動軌跡の断片の候補数が天文学的に大きくなり、実施の形態２の方法を利用しても、現実的な時間内に処理を終了できないことがある。
そこで、この実施の形態３では、２次元移動軌跡グラフの頂点（グラフを構成する各２次元移動軌跡）に対して確率的にラベル付けを実施し、２次元移動軌跡のラベルに応じて３次元移動軌跡の立体視を行い、入退場条件を鑑みた３次元移動軌跡のコスト関数を評価することで、最適な３次元移動軌跡を現実的な時間内で推定するようにしている。

図３８はこの発明の実施の形態３による人物追跡装置の人物追跡部１３の内部を示す構成図であり、図において、図４と同一符号は同一又は相当部分を示すので説明を省略する。図３８には、２次元移動軌跡ラベリング部７１と、３次元移動軌跡コスト計算部７２が追加されている。
２次元移動軌跡ラベリング部７１は、２次元移動軌跡グラフ生成部４７により生成された２次元移動軌跡グラフの有向辺にラベリングを施して複数のラベリング候補を算出する処理を実施する。３次元移動軌跡コスト計算部７２は、３次元移動軌跡の組み合わせに関するコスト関数を計算し、複数のラベリング候補の中から最適なラベリング候補を選択して、監視対象領域内に存在している人物の人数を推定する処理を実施する。

次に動作について説明する。
上記実施の形態１と比べて、３次元移動軌跡グラフ生成部４９及び軌跡組み合わせ推定部５０に代わって、２次元移動軌跡ラベリング部７１と、３次元移動軌跡コスト計算部７２が追加されている。それ以外の構成は同一であるため、以下では２次元移動軌跡ラベリング部７１と３次元移動軌跡コスト計算部７２の動作を中心に説明する。
図３９は２次元移動軌跡ラベリング部７１と３次元移動軌跡コスト計算部７２の処理内容を示すフローチャートであり、図４０は２次元移動軌跡ラベリング部７１と３次元移動軌跡コスト計算部７２の処理内容を示す説明図である。

まず、２次元移動軌跡ラベリング部７１は、２次元移動軌跡グラフ生成部４７により生成された２次元移動軌跡グラフに対して、２次元移動軌跡グラフの頂点（グラフを構成する２次元移動軌跡）をラベリングして、複数のラベリング候補を算出する（ステップＳＴ９１）。ここで、２次元移動軌跡ラベリング部７１は、２次元移動軌跡グラフをくまなく探索して、可能なラベリング候補をすべて列挙するようにしてもよいが、ラベリングの候補数が多い場合には、予め決められた数だけランダムにラベリング候補を選出するようにしてもよい。

具体的には、以下のようにして、複数のラベリング候補を算出する。
図４０（Ａ）に示すように、対象領域に人物Ｘと人物Ｙが存在し、下記の情報を有する２次元移動軌跡グラフが得られたものとする。
カメラ１の映像
・２次元移動軌跡T１に連結された２次元移動軌跡集合＝｛T２，T３｝
・２次元移動軌跡T４に連結された２次元移動軌跡集合＝｛T５、T６｝
カメラ２の映像
・２次元移動軌跡P１に連結された２次元移動軌跡集合＝｛P２，P３｝
・２次元移動軌跡P４に連結された２次元移動軌跡集合＝｛P５，P６｝

この場合、２次元移動軌跡ラベリング部７１は、図４０（Ａ）の２次元移動軌跡グラフに対して、人物の移動軌跡と人数を推定するためのラベリングを行う（図４０（Ｂ）参照）。例えば、ラベリング候補１には、下記に示すように、ＡからＣまでのラベルが各カメラ映像の２次元移動軌跡に付与される。
［ラベリング候補１］
・ラベルＡ＝｛｛Ｔ１，Ｔ３｝，｛Ｐ１，Ｐ２｝｝
・ラベルＢ＝｛｛Ｔ４，Ｔ６｝，｛Ｐ４，Ｐ５｝｝
・ラベルＺ＝｛｛Ｔ２，Ｔ５｝，｛Ｐ３，Ｐ６｝｝
ここで、ラベリング候補１を次のように解釈する。監視対象領域に人物が二人（ラベルＡとラベルＢ）存在していることを示しており、ある人物Ｙの２次元移動軌跡は、ラベルＡが付与されている２次元移動軌跡Ｔ１，Ｔ３，Ｐ１，Ｐ２とから構成される。また、ある人物Ｘの２次元移動軌跡は、ラベルＢが付与されている２次元移動軌跡Ｔ４，Ｔ６，Ｐ４，Ｐ５から構成されていることを示している。ここで、ラベルＺは特別なラベルと定義し、ラベルＺが付与されているＴ２，Ｔ５，Ｐ３，Ｐ６は、誤って求めてしまった人物でない２次元移動軌跡の集合であることを示すものとする。
ここで用いたラベルはＡ，Ｂ，Ｚの３つであるが、これに限らず必要に応じて任意にラベルの数を増やしてもよい。

次に、軌跡ステレオ部４８は、２次元移動軌跡ラベリング部７１が２次元の軌跡グラフに対して複数のラベリング候補を生成すると、カメラキャリブレーション部４２により算出されたカゴ内の基準点に対する複数のカメラ１の設置位置及び設置角度を考慮して、各映像における同一ラベルが付与された２次元移動軌跡のステレオマッチングを実施して、その２次元移動軌跡の候補のマッチング率を算出し、個々の人物の３次元移動軌跡を算出する（ステップＳＴ９２）。

図４０（Ｃ）の例では、カメラ１の映像におけるラベルＡが付与された２次元移動軌跡の集合｛Ｔ１，Ｔ３｝と、カメラ２の映像におけるラベルＡが付与された２次元移動軌跡の集合｛Ｐ１，Ｐ２｝とをステレオマッチングすることで、ラベルＡの３次元移動軌跡Ｌ１を生成する。同様に、カメラ１の映像におけるラベルＢが付与された２次元移動軌跡の集合｛Ｔ４，Ｔ６｝と、カメラ２の映像におけるラベルＡが付与された２次元移動軌跡の集合｛Ｐ４，Ｐ５｝とをステレオマッチングすることで、ラベルＢの３次元移動軌跡Ｌ２を生成する。
また、ラベルＺが付与されているＴ２，Ｔ５，Ｐ３，Ｐ６は、人物の軌跡で無いと解釈されているので、ステレオマッチングは実施しない。
その他、軌跡ステレオ部４８の２次元移動軌跡の立体視に関する動作は、実施の形態１と同一であるため説明を省略する。

次に、３次元移動軌跡コスト計算部７２は、前述の軌跡ステレオ部４８が算出した、
複数のラベリング候補に対する３次元移動軌跡の集合に対して、人物数、人物同士の位置関係、２次元移動軌跡のステレオマッチング率、ステレオ立体視精度及び監視対象領域への入退場条件などを考慮したコスト関数を計算し、そのコスト関数が最大となるラベリング候補を求め、個々の人物の最適な３次元移動軌跡と人物数を算出する（ステップＳＴ９３）。

例えば、最も単純なコスト関数としては、下記に示すようなコストを定義する。
コスト＝「入退場条件を満たした３次元移動軌跡の数」
ここで、入退場条件として、例えば、上記実施の形態１で述べた入場条件及び退場条件を利用する。例えば図４０（Ｃ）の場合、ラベリング候補１では、ラベルＡとラベルＢが入退場条件を満足する３次元移動軌跡であるため、
ラベリング候補１のコスト＝２
と計算される。

また、コスト関数として、下記に定義するものを利用してもよい。
コスト＝「入退場条件を満たした３次元移動軌跡の数」
−ａ×「３次元移動軌跡のオーバーラップコストの合計」
＋ｂ×「２次元移動軌跡のマッチング率の合計」
ここで、ａ，ｂは、各評価値のバランスを取るための正の定数である。また、２次元移動軌跡のマッチング率と３次元移動軌跡のオーバーラップコストは、例えば実施の形態１で説明したものを利用する。

また、乗降者の人数が多くて、２次元移動軌跡グラフの構造が複雑な場合、２次元移動軌跡ラベリング部７１の２次元移動軌跡グラフに対するラベリング候補が何通りにもなり、すべてのラベリングに対してコスト関数を計算することが現実的に不可能になることがある。
このような場合、ＭＣＭＣやＧＡなどの確率的な最適化手法を用いて、２次元移動軌跡ラベリング部７１におけるラベルリング候補の生成を確率的に生成して、最適あるいは準最適な３次元移動軌跡を求めることで、現実的な時間内に処理を終了するようにしてもよい。

最後に、３次元移動軌跡コスト計算部７２は、コスト関数が最大となるラベリング候補を選択して、個々の人物の最適な３次元移動軌跡を算出すると、個々の人物の最適な３次元移動軌跡と階床認識部１２により特定された階床（エレベータの停止階を示す停止階情報）とを対応付けて、個々の人物の乗車階と降車階を示す人物移動履歴（“何人がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴）を算出する（ステップＳＴ９４）。
ここでは、階床認識部１２により特定された停止階情報を対応付けるものについて示したが、別途、エレベータの制御機器から停止階情報を取得して対応付けるようにしてもよい。

以上で明らかなように、この実施の形態３によれば、２次元移動軌跡ラベリング部７１が２次元移動軌跡グラフ生成部４７により生成された２次元移動軌跡グラフにラベリングを施して複数のラベリング候補を算出し、複数のラベリング候補の中から最適なラベリング候補を選択して、監視対象領域内に存在している人物の人数を推定するように構成したので、２次元移動軌跡グラフの構造が複雑で、ラベリングの候補数が天文学的に多い場合でも、現実的な時間内で、人物の最適（あるいは準最適）な３次元移動軌跡と人物数を推定することができる効果を奏する。

実施の形態４．
上記実施の形態１から実施の形態３では、エレベータ乗降者の人物移動履歴の計測方法について述べたが、この実施の形態４では人物移動履歴の利用方法について述べる。

図４１は、この発明の実施の形態４による人物追跡装置を示す構成図である。図４１において、撮影手段を構成している複数のカメラ１、映像取得部２、映像解析部３は実施の形態１、実施の形態２、または実施の形態３と同一であるため説明を省略する。
センサ８１は、監視対象領域であるエレベータ外部に設置されており、例えば、可視カメラや赤外線カメラ、あるいはレーザー距離計などで構成される。
フロア人物検出部８２は、センサ８１が取得する情報を利用して、エレベータ外部の人物の移動履歴を計測する処理を実施する。
カゴ呼び計測部８３は、エレベータ呼び出し履歴を計測する処理を実施する。

群管理最適化部８４は、エレベータ待ち時間が最小となるように複数のエレベータ群を効率よく配車するための最適化処理を実施し、さらに最適なエレベータ群管理を実施した際のシミュレーション交通流算出を実施する。
交通流可視化部８５は、映像解析部３とフロア人物検出部８２とカゴ呼び計測部８３が計測した実際の交通流と、群管理最適化部８４が生成したシミュレーション交通流とを比較し、アニメーションやグラフで表示する処理を実施する。

図４２は、この発明の実施の形態４による人物追跡装置の処理内容を示すフローチャートである。また、以下では、実施の形態１に係る人物追跡装置と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。
まず、カメラ１、映像取得部２、映像解析部３はエレベータ内部の人物移動履歴を算出する（ステップＳＴ１〜ＳＴ４）。

フロア人物検出部８２は、エレベータ外部に設置されたセンサ８１を用いて、エレベータ外部の人物の移動履歴を計測する（ステップＳＴ１０１）。
例えば、センサ８１には可視カメラを用いて、実施の形態１と同様に映像から人物の頭部を検出・追跡し、フロア人物検出部８２は、エレベータの到着を待つ人物やこれからエレベータに向かう人物の３次元移動軌跡と、それらの人数を計測する処理を実施する。
センサ８１は、可視カメラに限らず、熱を感知する赤外線カメラ、レーザー距離計、またはフロアに敷き詰めた感圧センサなど人物の移動情報が計測できるものであれば何でもよい。
カゴ呼び計測部８３は、エレベータのカゴ呼び出し履歴を計測する（ステップＳＴ１０２）。例えば、カゴ呼び計測部８３は各フロアに配置されているエレベータ呼び出しボタンが押された履歴を計測する処理を実施する。

群管理最適化部８４は、映像解析部３が求めたエレベータ内部の人物移動履歴と、フロア人物検出部８２が計測したエレベータ外部の人物移動履歴と、カゴ呼び計測部８３が計測したエレベータ呼び出し履歴とを統合し、平均あるいは最大のエレベータ待ち時間が最小となるよう、複数のエレベータ群を効率よく配車するための最適化処理を実施する。さらに、最適なエレベータ群管理を実施した際の、コンピュータによりシミュレーションした人物移動履歴の結果を算出する（ステップＳＴ１０３）。
ここで、エレベータ待ち時間とは、ある人物がフロアに到着してから所望のエレベータが到着するまでの時間である。

群管理の最適化アルゴリズムとして、例えば、下記の参考文献５に開示されているアルゴリズムを利用してもよい。

参考文献５

Nikovski, D.; Brand, M., "Exact Calculation of Expected Waiting Times for Group Elevator Control", IEEE Transactions on Automatic Control, ISSN: 0018-9286, Vol. 49, Issue 10, pp. 1820-1823, October 2004
従来は正確なエレベータの人物移動履歴を計測する手段が無かったため、群管理最適化アルゴリズムではエレベータ内外の人物移動履歴の適当な確率分布を仮定してエレベータ群管理の最適化処理がなされていた。しかし、この実施の形態４では、実測した人物移動履歴を従来のアルゴリズムへ入力することで、より最適な群管理を実現することが可能である。

最後に、交通流可視化部８５は、映像解析部３とフロア人物検出部８２とカゴ呼び計測部８３が計測した実際の人物移動履歴と、群管理最適化部８４が生成したシミュレーションによる人物移動履歴とを比較し、アニメーションやグラフで表示する処理を実施する（ステップＳＴ１０４）。
例えば、交通流可視化部８５は、エレベータやテナントを表示したビルの２次元断面図上に、エレベータ待ち時間、人物の移動量合計、または人物の単位時間あたりの移動確率をアニメーションで表示したり、エレベータのカゴ移動のダイアグラムをグラフで表示する。交通流可視化部８５は、コンピュータによるシミュレーションにより、エレベータ台数を増減したり、エレベータ新規機種を導入した際の人物の移動履歴を仮想的に計算し、このシミュレーション結果と、映像解析部３、フロア人物検出部８２及びカゴ呼び計測部８３が計測した実際の人物移動履歴とを同時に表示することができるので、シュミレーション結果と実際の人物移動履歴を比較することで、現状のビル内の交通流と、改築による交通流との変化を検証することができる効果がある。

以上で明らかなように、この実施の形態４では、エレベータの乗り場などエレベータ外部にセンサ８１を設置して人物移動履歴を計測するように構成したので、エレベータに係る人物移動を完全に求めることができる効果を奏する。また、実測した人物移動履歴を元に、最適なエレベータ群管理を実現する効果を奏する。また、実測した人物移動履歴と、コンピュータによるシミュレーションとを比較することで、改築による交通流の変化を正確に検証することが可能となる。

実施の形態５．
従来、エレベータの車椅子専用ボタンを押した場合、エレベータが優先的に配車される。しかし、健常者が意図せず誤って車椅子専用ボタンを押した場合もエレベータが優先的に配車されるため、エレベータ群の運行効率を下げる原因となっていた。
そこで、この実施の形態５では、画像処理により車椅子を認識し、フロア及びエレベータのカゴ内に車椅子の人物が存在する場合にのみ優先的にカゴを運行することにより効率的なエレベータの運行を行う構成を示す。

図４３はこの発明の実施の形態５による人物追跡装置を示す構成図である。図４３において、撮影手段を構成している複数のカメラ１、映像取得部２、映像解析部３、センサ８１、フロア人物検出部８２、カゴ呼び計測部８３は実施の形態４と同一であるため説明を省略する。
車椅子検出部９１は、映像解析部３及びフロア人物検出部８２が算出した人物の中から車椅子と、その車椅子に座る人物を特定する処理を実施する。

図４４は、この発明の実施の形態５による人物追跡装置の処理内容を示すフローチャートである。また、以下では、実施の形態１及び実施の形態４に係る人物追跡装置と同一のステップには図６及び図４２で使用した符号と同一の符号を付し、説明を省略または簡略化する。
まず、カメラ１、映像取得部２、映像解析部３はエレベータ内部の人物移動履歴を算出する（ステップＳＴ１〜ＳＴ４）。フロア人物検出部８２は、エレベータ外部に設置されたセンサ８１を用いて、エレベータ外部の人物の移動履歴を計測する（ステップＳＴ１０１）。カゴ呼び計測部８３は、エレベータのカゴ呼び出し履歴を計測する（ステップＳＴ１０２）。

車椅子検出部９１は、映像解析部３とフロア人物検出部８２が算出した人物の中から車椅子と、その車椅子に座る人物を特定する処理を実施する（ステップＳＴ２０１）。例えば、画像処理により車椅子画像のパターンをＡｄａｂｏｏｓｔアルゴリズムやサポートベクトルマシン等で機械学習させておき、学習したパターンを元にカメラ映像からカゴ内やフロアに存在する車椅子の特定を実施する。また、予め車椅子にＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）などの電子タグを付与しておき、車椅子がエレベータ乗り場に近づいたことを検知してもよい。

次に、群管理最適化部８４は、車椅子検出部９１により車椅子が検知された場合に、車椅子の人物に対して優先的にエレベータを配車する（ステップＳＴ２０２）。例えば、車椅子に座る人物がエレベータ呼びのボタンを押した場合に、群管理最適化部８４は、そのフロアに優先的にエレベータを配車し、かつ行き先階以外には停止しないなどの優先的なエレベータ運行を実施する。また、車椅子の人物がカゴ内に入室しようとしている場合は、エレベータの扉が空いている時間を長めに設定したり、扉が閉まる時間を長めに設定してもよい。

従来は、健常者がエレベータを呼ぶために意図せず車椅子専用ボタンを押した場合にもエレベータが優先的に配車されてしまっていたため、複数のエレベータの運行効率を下げていた。しかし、この実施の形態５によれば、車椅子検出部９１が車椅子を検出して、該当フロアに優先的にエレベータを配車するなど、車椅子の検知状態に応じて動的にエレベータ群管理を実施するように構成したので、従来よりも効率的なエレベータ運行が可能である。また、車椅子専用ボタンを用意する必要がなくなるという効果を奏する。

また、この実施の形態５では車椅子の検知について説明したが、車椅子に限らずビルの重要人物や老人、子供なども自動的に検出し、エレベータの配車や扉開閉時間などを適応的に制御するように構成してもよい。

この発明に係る人物追跡装置は、監視領域内に存在している人物を確実に特定することができるので、エレベータ群の配車制御などに利用することができる。

Claims (29)

1. 相互に異なる位置に設置され、同一の監視対象領域を撮影する複数の撮影手段と、上記複数の撮影手段により撮影された監視対象領域の映像を解析して、上記監視対象領域内に存在している個々の人物の各映像上の位置を算出する人物位置算出手段と、上記人物位置算出手段により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する２次元移動軌跡算出手段と、上記２次元移動軌跡算出手段により算出された各映像における２次元移動軌跡間のステレオマッチングを実施して、上記２次元移動軌跡のマッチング率を算出し、上記マッチング率が規定値以上の２次元移動軌跡から、個々の人物の３次元移動軌跡を算出する３次元移動軌跡算出手段とを備えた人物追跡装置。
2. ３次元移動軌跡算出手段は、個々の人物の３次元移動軌跡から３次元移動軌跡グラフを生成し、上記３次元移動軌跡グラフを探索して複数の３次元移動軌跡の候補を算出し、複数の３次元移動軌跡の候補の中から最適な３次元移動軌跡を選択することを特徴とする請求項１記載の人物追跡装置。
3. 人物位置算出手段は、複数の撮影手段により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、上記複数の撮影手段のカメラパラメータを算出するカメラキャリブレーション部と、上記カメラキャリブレーション部により算出されたカメラパラメータを用いて、上記複数の撮影手段により撮影された監視対象領域の映像の歪みを補正する映像補正部と、上記映像補正部により歪みが補正された各映像に写っている個々の人物を検出し、個々の人物の各映像上の位置を算出する人物検出部とから構成され、
   ２次元移動軌跡算出手段は、上記人物検出部により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する２次元移動軌跡算出部から構成され、
   ３次元移動軌跡算出手段は、上記２次元移動軌跡算出部により算出された２次元移動軌跡に対する分割処理及び連結処理を実施して２次元移動軌跡グラフを生成する２次元移動軌跡グラフ生成部と、上記２次元移動軌跡グラフ生成部により生成された２次元移動軌跡グラフを探索して複数の２次元移動軌跡の候補を算出し、上記監視対象領域内の基準点に対する上記複数の撮影手段の設置位置及び設置角度を考慮して、各映像における２次元移動軌跡の候補間のステレオマッチングを実施して、上記２次元移動軌跡の候補のマッチング率を算出し、上記マッチング率が規定値以上の２次元移動軌跡の候補から、個々の人物の３次元移動軌跡を算出する軌跡ステレオ部と、上記軌跡ステレオ部により算出された３次元移動軌跡に対する分割処理及び連結処理を実施して３次元移動軌跡グラフを生成する３次元移動軌跡グラフ生成部と、上記３次元移動軌跡グラフ生成部により生成された３次元移動軌跡グラフを探索して複数の３次元移動軌跡の候補を算出し、複数の３次元移動軌跡の候補の中から最適な３次元移動軌跡を選択して、上記監視対象領域内に存在している人物の人数を推定する軌跡組み合わせ推定部とから構成されていることを特徴とする請求項２記載の人物追跡装置。
4. 監視対象領域がエレベータの内部である場合、複数の撮影手段により撮影されたエレベータの内部の映像を解析して、上記エレベータのドアの開閉時刻を特定するドア開閉時刻特定手段を設け、３次元移動軌跡算出手段が複数の３次元移動軌跡の候補の中から最適な３次元移動軌跡を選択する際、上記ドア開閉時刻特定手段により特定されたドアの開閉時刻を参照して、軌跡始点の時刻及び軌跡終点の時刻がドアが閉じている時刻と一致する３次元移動軌跡の候補を除外することを特徴とする請求項２記載の人物追跡装置。
5. 監視対象領域がエレベータの内部である場合、複数の撮影手段により撮影されたエレベータの内部の映像を解析して、上記エレベータのドアの開閉時刻を特定するドア開閉時刻特定手段を設け、３次元移動軌跡算出手段が複数の３次元移動軌跡の候補の中から最適な３次元移動軌跡を選択する際、上記ドア開閉時刻特定手段により特定されたドアの開閉時刻を参照して、軌跡始点の時刻及び軌跡終点の時刻がドアが閉じている時刻と一致する３次元移動軌跡の候補を除外することを特徴とする請求項３記載の人物追跡装置。
6. ドア開閉時刻特定手段は、ドアが閉じている状態のエレベータ内のドア領域の画像を背景画像として登録する背景画像登録部と、上記背景画像登録部により登録されている背景画像と撮影手段により撮影されたドア領域の映像との差分を算出する背景差分部と、上記撮影手段により撮影されたドア領域の映像の変化からドアの移動方向を示す動きベクトルを計算するオプティカルフロー計算部と、上記背景差分部により算出された差分と上記オプティカルフロー計算部により計算された動きベクトルからドアの開閉状態を判別して、上記ドアの開閉時刻を特定するドア開閉時刻特定部と、上記撮影手段により撮影されたドア領域の映像を用いて、上記背景画像を更新する背景画像更新部とから構成されていることを特徴とする請求項４記載の人物追跡装置。
7. ドア開閉時刻特定手段は、ドアが閉じている状態のエレベータ内のドア領域の画像を背景画像として登録する背景画像登録部と、上記背景画像登録部により登録されている背景画像と撮影手段により撮影されたドア領域の映像との差分を算出する背景差分部と、上記撮影手段により撮影されたドア領域の映像の変化からドアの移動方向を示す動きベクトルを計算するオプティカルフロー計算部と、上記背景差分部により算出された差分と上記オプティカルフロー計算部により計算された動きベクトルからドアの開閉状態を判別して、上記ドアの開閉時刻を特定するドア開閉時刻特定部と、上記撮影手段により撮影されたドア領域の映像を用いて、上記背景画像を更新する背景画像更新部とから構成されていることを特徴とする請求項５記載の人物追跡装置。
8. エレベータの内部の映像を解析して、各時刻における上記エレベータの階床を特定する階床特定手段を設け、３次元移動軌跡算出手段が個々の人物の３次元移動軌跡と上記階床特定手段により特定された階床とを対応付けて、個々の人物の乗車階と降車階を示す人物移動履歴を算出することを特徴とする請求項１記載の人物追跡装置。
9. 階床特定手段は、エレベータの階床を示すインジケータの画像をテンプレート画像として登録するテンプレート画像登録部と、上記テンプレート画像登録部により登録されているテンプレート画像と撮影手段により撮影されたエレベータ内のインジケータ領域の映像とのテンプレートマッチングを実施して、各時刻における上記エレベータの階床を特定するテンプレートマッチング部と、上記撮影手段により撮影されたインジケータ領域の映像を用いて、上記テンプレート画像を更新するテンプレート画像更新部とから構成されていることを特徴とする請求項８記載の人物追跡装置。
10. ３次元移動軌跡算出手段により算出された人物移動履歴を表示する映像解析結果表示手段を設けたことを特徴とする請求項８記載の人物追跡装置。
11. ３次元移動軌跡算出手段により算出された人物移動履歴を表示する映像解析結果表示手段を設けたことを特徴とする請求項９記載の人物追跡装置。
12. 映像解析結果表示手段は、複数の撮影手段により撮影されたエレベータの内部の映像を表示する映像表示部と、３次元移動軌跡算出手段により算出された人物移動履歴を時系列的にグラフ表示する時系列情報表示部と、上記３次元移動軌跡算出手段により算出された人物移動履歴の統計を求め、上記人物移動履歴の統計結果を表示するサマリー表示部と、上記３次元移動軌跡算出手段により算出された人物移動履歴を参照して、エレベータの運行に関連する情報を表示する運行関連情報表示部と、上記３次元移動軌跡算出手段により算出された人物移動履歴をソートして表示するソートデータ表示部とから構成されていることを特徴とする請求項１０記載の人物追跡装置。
13. 映像解析結果表示手段は、複数の撮影手段により撮影されたエレベータの内部の映像を表示する映像表示部と、３次元移動軌跡算出手段により算出された人物移動履歴を時系列的にグラフ表示する時系列情報表示部と、上記３次元移動軌跡算出手段により算出された人物移動履歴の統計を求め、上記人物移動履歴の統計結果を表示するサマリー表示部と、上記３次元移動軌跡算出手段により算出された人物移動履歴を参照して、エレベータの運行に関連する情報を表示する運行関連情報表示部と、上記３次元移動軌跡算出手段により算出された人物移動履歴をソートして表示するソートデータ表示部とから構成されていることを特徴とする請求項１１記載の人物追跡装置。
14. カメラキャリブレーション部は、複数の撮影手段により撮影されたキャリブレーションパターンの映像と、上記複数の撮影手段のカメラパラメータとを用いて、監視対象領域内の基準点に対する上記複数の撮影手段の設置位置及び設置角度を算出し、上記複数の撮影手段の設置位置及び設置角度を軌跡ステレオ部に出力することを特徴とする請求項３記載の人物追跡装置。
15. 人物検出部が個々の人物の各映像上の位置を算出する際、上記人物の確信度を算出し、２次元移動軌跡算出部が上記人物検出部により算出された確信度の累積値が所定の閾値以下であれば、当該人物の位置の追跡を終了することを特徴とする請求項３記載の人物追跡装置。
16. ２次元移動軌跡算出部は、人物検出部が個々の人物の検出処理を実施して、当該人物を検出すれば、当該人物の検出結果に係るカウンタの値を上げる一方、当該人物を検出できなければ、当該人物の検出結果に係るカウンタの値を下げる処理を実施し、上記カウンタの値が所定の閾値以下であれば、当該人物の位置の追跡を終了することを特徴とする請求項３記載の人物追跡装置。
17. 人物検出部は、映像補正部により歪みが補正された各映像に写っている個々の人物を検出する際、人物の検出結果の中で、人物の頭部サイズが最小矩形サイズより小さい検出結果と、人物の頭部サイズが最大矩形サイズより大きい検出結果を誤検出とみなして、人物の検出結果から除外することを特徴とする請求項３記載の人物追跡装置。
18. ２次元移動軌跡算出部は、各映像における個々の人物の２次元移動軌跡を算出する際、人物検出部により算出された各映像上の位置を時間的に前方に追跡して２次元移動軌跡を算出するとともに、各映像上の位置を時間的に後方に追跡して２次元移動軌跡を算出することを特徴とする請求項３記載の人物追跡装置。
19. 軌跡ステレオ部は、マッチング率が規定値以上の２次元移動軌跡の候補から、個々の人物の３次元移動軌跡を算出しても、上記３次元移動軌跡が監視対象領域に対する入退場条件を満足しない場合、上記３次元移動軌跡を破棄することを特徴とする請求項３記載の人物追跡装置。
20. 軌跡ステレオ部は、２次元移動軌跡の候補がオーバーラップしている時間帯の人物の３次元位置を算出し、上記３次元位置から２次元移動軌跡の候補がオーバーラップしていない時間帯の人物の３次元位置を推定することで、個々の人物の３次元移動軌跡を算出することを特徴とする請求項３記載の人物追跡装置。
21. 軌跡組み合わせ推定部は、複数の３次元移動軌跡の候補の中から最適な３次元移動軌跡を選択する際、軌跡始点及び軌跡終点が監視対象領域の入退場領域内に存在しない３次元移動軌跡の候補を除外して、上記監視対象領域への入場から退場に至るまでの３次元移動軌跡の候補を残すことを特徴とする請求項３記載の人物追跡装置。
22. 軌跡組み合わせ推定部は、入場から退場に至るまでの３次元移動軌跡の候補の中から、監視対象領域内に存在している人物の人数、人物同士の位置関係及び軌跡ステレオ部におけるステレオマッチングの精度が反映されるコスト関数が最大になる３次元移動軌跡の候補の組み合わせを選択することを特徴とする請求項２１記載の人物追跡装置。
23. 人物位置算出手段は、複数の撮影手段により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、上記複数の撮影手段のカメラパラメータを算出するカメラキャリブレーション部と、上記カメラキャリブレーション部により算出されたカメラパラメータを用いて、上記複数の撮影手段により撮影された監視対象領域の映像の歪みを補正する映像補正部と、上記映像補正部により歪みが補正された各映像に写っている個々の人物を検出し、個々の人物の各映像上の位置を算出する人物検出部とから構成され、
    ２次元移動軌跡算出手段は、上記人物検出部により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する２次元移動軌跡算出部から構成され、
    ３次元移動軌跡算出手段は、上記２次元移動軌跡算出部により算出された２次元移動軌跡に対する分割処理及び連結処理を実施して２次元移動軌跡グラフを生成する２次元移動軌跡グラフ生成部と、上記２次元移動軌跡グラフ生成部により生成された２次元移動軌跡グラフを探索して複数の２次元移動軌跡の候補を算出し、上記監視対象領域内の基準点に対する上記複数の撮影手段の設置位置及び設置角度を考慮して、各映像における２次元移動軌跡の候補間のステレオマッチングを実施して、上記２次元移動軌跡の候補のマッチング率を算出し、上記マッチング率が規定値以上の２次元移動軌跡の候補から、個々の人物の３次元移動軌跡を算出する軌跡ステレオ部と、上記軌跡ステレオ部により算出された３次元移動軌跡に対する分割処理及び連結処理を実施して３次元移動軌跡グラフを生成する３次元移動軌跡グラフ生成部と、上記３次元移動軌跡グラフ生成部により生成された３次元移動軌跡グラフの頂点にラベリングを施して複数のラベリング候補を算出し、複数のラベリング候補の中から最適なラベリング候補を選択して、上記監視対象領域内に存在している人物の人数を推定する軌跡組み合わせ推定部とから構成されていることを特徴とする請求項２記載の人物追跡装置。
24. 軌跡組み合わせ推定部は、複数のラベリング候補の中から、監視対象領域内に存在している人物の人数、人物同士の位置関係、軌跡ステレオ部におけるステレオマッチングの精度及び監視対象領域に対する入退場条件が反映されるコスト関数が最大になるラベリング候補を選択することを特徴とする請求項２３記載の人物追跡装置。
25. ３次元移動軌跡算出手段は、２次元移動軌跡算出部により算出された２次元移動軌跡に対する分割処理及び連結処理を実施して２次元移動軌跡グラフを生成する２次元移動軌跡グラフ生成部と、上記２次元移動軌跡グラフ生成部により生成された２次元移動軌跡グラフの頂点に対して確率的にラベル付けを実施する２次元移動軌跡ラベリング部と、上記２次元移動軌跡ラベリング部により生成された２次元移動軌跡の複数のラベリング候補に対して、監視対象領域内の基準点に対する複数の撮影手段の設置位置及び設置角度を考慮して、各映像における同一ラベルが付与された２次元移動軌跡の候補間のステレオマッチングを実施して、上記２次元移動軌跡の候補のマッチング率を算出し、上記マッチング率が規定値以上の２次元移動軌跡の候補から、個々の人物の３次元移動軌跡を算出する軌跡ステレオ部と、上記軌跡ステレオ部により生成された３次元移動軌跡の集合に対して人物数、人物同士の位置関係、２次元移動軌跡のステレオマッチング率、ステレオ立体視精度及び監視対称領域への入退場条件などを鑑みた３次元移動軌跡のコスト関数を評価し、最適な３次元移動軌跡を推定する３次元移動軌跡コスト計算部とから構成されていることを特徴とする請求項２記載の人物追跡装置。
26. エレベータ外部に設置されたセンサが取得する情報からエレベータ外部の人物移動履歴を計測するフロア人物検出部と、エレベータの呼び出し履歴を計測するカゴ呼び計測部と、３次元移動軌跡算出手段により算出された個々の人物の３次元移動軌跡、上記フロア人物検出部により計測されたエレベータ外部の人物移動履歴及び上記カゴ呼び計測部により計測された呼び出し履歴からエレベータ群配車の最適化処理を実施すると共に、上記最適化処理に基づいたエレベータ群のシミュレーション交通流を算出する群管理最適化部とを備えたことを特徴とする請求項１記載の人物追跡装置。
27. 個々の人物の３次元移動軌跡、エレベータ外部の人物移動履歴及び呼び出し履歴から成る実測人物移動履歴と、群管理最適化部が算出したシミュレーション交通流とを比較し、比較結果を表示する交通流可視化部を備えたことを特徴とする請求項２６記載の人物追跡装置。
28. 車椅子を検出する車椅子検出部を備え、群管理最適化部は、上記車椅子検出部の検出状態に応じてエレベータ群管理を実施することを特徴とする請求項２６記載の人物追跡装置。
29. 相互に異なる位置に設置されている複数の撮影手段により撮影された同一の監視対象領域の映像が与えられると、上記監視対象領域内に存在している個々の人物の各映像上の位置を算出する人物位置算出処理手順と、上記人物位置算出処理手順により算出された各映像上の位置を追跡して、各映像における個々の人物の２次元移動軌跡を算出する２次元移動軌跡算出処理手順と、上記２次元移動軌跡算出処理手順により算出された各映像における２次元移動軌跡間のステレオマッチングを実施して、上記２次元移動軌跡のマッチング率を算出し、上記マッチング率が規定値以上の２次元移動軌跡から、個々の人物の３次元移動軌跡を算出する３次元移動軌跡算出処理手順とをコンピュータに実行させるための人物追跡プログラム。

Images