JP6406241B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。

近年、複数のカメラで撮影される映像を利用して広範囲にわたる監視を可能とするシステムが考えられている。例えば特許文献１には、ビデオカメラで撮影された人物の特徴量と、追跡人物との特徴量の類似度に基づいて、それぞれのビデオカメラで撮影された人物が同一人物であるか否かを判別することにより、人物を追跡している。

特開２００７−２７２９４６号公報

特許文献１記載の手法では、指定した所定時間以上経過した場合には処理を打ち切るようにしている。これにより、当該所定時間までにビデオカメラ撮影範囲に追跡人物が登場しなかった場合には、当該人物の追跡を継続することはできない。つまり、追跡人物がビデオカメラの撮影範囲外（死角）で何らかの犯罪行為を長時間にわたって行なっていた場合等に追跡を継続できないこととなるため、人物追跡の役割を十分に果たすことができなくなってしまう。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、複数のビデオカメラの映像を用いて、好適に人物追跡を行うことのできる情報処理システム、情報処理方法及びプログラムを提供することを目的の１つとする。

本発明に係る情報処理システムは、第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出する手段と、前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別する判別手段とを備える。

本発明に係る情報処理方法は、第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出するステップと、前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別するステップとを情報処理システムが行う。

本発明に係るプログラムは、第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出する処理と、前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別する処理とをコンピュータに実行させる。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、複数のビデオカメラの映像を用いて、好適に人物追跡を行うことのできる情報処理システム、情報処理方法及びプログラムを提供するこができる。

第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。 図１に示す監視システムにおける人物追跡方法を説明するための図である。 対応付け対象の人物を抽出する時間帯の具体例を説明するための図である。 図１に示す情報処理サーバの概略構成を示す機能ブロック図である。 出現時間スコアを算出する関数の具体例を説明するための図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１ 第１実施形態）
図１乃至図７は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに従って本実施形態を説明する。まず、「１．１」でシステム構成の概要を示すとともに、「１．２」で動作の概要を説明する。その後、「１．３」でシステムの機能構成を説明し、「１．４」で処理の流れを、「１．５」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「１．６」以降で、本実施形態に係る効果等を説明する。

（１．１ システム構成）
図１を参照しながら、本実施形態に係る情報処理システムである監視システム１のシステム構成を説明する。図１は、監視システム１のシステム構成を示すブロック図である。

監視システム１は、大きく分けて、情報処理サーバ１００と、映像（動画像）を撮影（撮像）する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎを総称してビデオカメラ２００と呼ぶ。）とから構成される。

以下、監視システム１は、撮影装置であるビデオカメラ２００で撮影された人物を監視（追跡）するためのシステムであるものとして説明するが、監視対象はこれに限られるものではない。例えば、監視対象を車や自転車、バイク等の各種移動体に応用することも考えられる。

ビデオカメラ２００は、映像（動画像）を撮影すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る映像内の位置（映像内の移動軌跡も含む）や特徴量などの情報を含む人物検出結果を、撮影映像と共に情報処理サーバ１００へと送信する。また、ビデオカメラ２００は、撮影した映像をフレーム間で比較することにより、映像内（画角内）の人物追跡も行うことができる。

なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、ビデオカメラ２００上でなくとも、例えば、情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。

情報処理サーバ１００は、ビデオカメラ２００で撮影された映像を解析することにより、それぞれのビデオカメラ２００で撮影された人物が同一人物であるか否かを判別する。この作業を繰返すことにより、それぞれの人物の追跡を行う。

この同一人物であるか否かの判別の際、情報処理サーバ１００は、撮影した人物の属性を特定した上で、当該属性と、ビデオカメラ２００の映像からのフレームアウトから次のビデオカメラ２００の映像へのフレームインに至る時間と、類似度とに基づいて、人物の同一性を判定する。ここで、人物の属性は移動速度にばらつきを与える（すなわち移動時間にばらつきを与える）属性をいい、例えば、歩容特徴（うろつき、千鳥足等）、所持品がある（杖や荷物等を所持）、ビジター（場所に不慣れ等）、視線特徴（キョロキョロしている、監視カメラをちらちらみている等）、不審者（ブラックリストに登録されている、過去の移動時間の履歴が平均から大きく外れている、他人を避けて行動している等）などを挙げることができる。同一性の判定方法の詳細は後述する。

情報処理サーバ１００で処理する映像は、ビデオカメラ２００により撮影されるリアルタイムの映像のみならず、ビデオカメラ２００により撮影された後、記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）など）に記憶された映像を対象に追跡（分析）することも考えられる。

更に、当該記憶装置に記憶された映像を逆順に再生（逆再生）して追跡することも考えられる。通常、ある人物が不審な行動を取った場合には、その人物がその行為までにどのような経路で移動し、どのような行動をとったのかを調べる必要があるため、このような逆再生による追跡を可能とすることは極めて有用である。

情報処理サーバ１００における人物監視（人物追跡）において、情報処理サーバ１００は、監視用の画面などの各種表示画面を表示装置３００に出力すると共に、入力装置４００から、人物監視に係る各種操作入力に係る操作信号を受け付ける。より具体的には、例えば、表示装置３００に表示する監視用画面では、ビデオカメラ２００から入力された映像を複数表示することで、監視対象の人物が今どこにいるのかを、監視者であるユーザが把握できるようにしている。

表示装置３００は、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。情報処理サーバ１００から出力される監視用画面は、表示装置３００が表示する。

入力装置４００は、ユーザ（監視者）が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネルなどの各種ポインティングデバイスやキーボード等が入力装置４００に該当する。監視対象人物の登録等の処理は、ユーザの入力装置４００に対する操作に基づいてなされる。

なお、情報処理サーバ１００と表示装置３００、入力装置４００の構成は種々変えることができる。例えば、表示装置３００及び入力装置４００を１台のクライアントとして実現することも考えられるし、或いは、情報処理サーバ１００、表示装置３００、及び入力装置４００の機能を３台以上の情報処理装置により実現しても良い。また、表示装置３００及び入力装置４００を１台のクライアントとして実現する場合には、本実施形態に係る情報処理サーバ１００の一部の機能を、当該クライアントに持たせても良い。

（１．２ 動作説明）
（１．２．１ 出現時間スコアと特徴量の統合比率を制御する方法）
まず、図２を参照しながら、本実施形態に係る人物の追跡方法を説明する。図２において、ビデオカメラＣ１で撮影範囲ａ１を、ビデオカメラＣ２で撮影範囲ａ２を撮影しており、撮影範囲ａ１にいる追跡対象の人物Ｐ１が移動速度Ｖ１で、撮影範囲ａ２の方向に移動しているものとする。

なお、図２の例では、撮影範囲ａ１から撮影範囲ａ２に至るルートに分岐等は無いが、分岐していても良く、撮影範囲ａ１から人物Ｐ１が移動可能な地点が、撮影範囲ａ２以外にあっても良い。

このような場合において、人物Ｐ１の速度と、撮影範囲ａ１と撮影範囲ａ２との距離Ｄがわかれば、人物Ｐ１がカメラＣ１の映像からフレームアウトした後、撮影範囲ａ２に到達するまでの時間は、Ｄ／Ｖ１近傍であるものと予測することができる。ここで、撮影範囲ａ１と撮影範囲ａ２との距離は、ビデオカメラＣ１及びＣ２の設置時に予めわかるため、当該距離をデータベース（後述するカメラ間情報４５１に相当）に読み込み可能に登録しておけば良い。人物Ｐ１の移動速度Ｖ１は、ビデオカメラＣ１の映像を解析することにより特定することが可能である。

換言すると、ビデオカメラＣ１の映像からフレームアウトした人物Ｐ１がビデオカメラＣ２の映像にフレームインする時間スコア（ここでは、出現時間スコアという。）は、ビデオカメラＣ１の映像からフレームアウトした時刻のＤ／Ｖ１後近傍に最も高くなり、その時間から離れると低くなる。この出現時間スコアは、ビデオカメラＣ２の映像に新たにフレームインした人物が、ビデオカメラＣ１の映像からフレームアウトした人物Ｐ１と同一人物であるか否かを判断するためのスコアであると言い換えることができる。

ここで、移動速度Ｖ１に基づく出現時間スコアを元に、ビデオカメラＣ２の映像に新たにフレームインした人物と、ビデオカメラＣ１の映像からフレームアウトした人物Ｐ１とが同一人物か否かを判別する手法は、人物Ｐ１が撮影範囲ａ１から撮影範囲ａ２に至る移動速度が、ビデオカメラＣ１の映像での移動速度Ｖ１と略一定であることを前提としている。しかしながら、人物の移動速度は必ずしも一定ではなく、それぞれの人物の属性に応じて、移動速度が略一定と推定される場合と、移動速度のばらつきが大きい場合とがある。移動速度のばらつきが大きくなる属性としては、例えばうろつきや千鳥足等の歩容特徴を持っている場合や、杖や荷物等の所持品を持っている場合、その場所を初めて訪問したビジター、キョロキョロしていたりカメラをちらちら見たりといった視線特徴を持っている場合、不審者と推定できる場合（例えば、ブラックリストに登録された人物、過去の移動時間が平均から大きく外れている、他人を避けている、等）等が考えられる。

このようにばらつきが多い場合には、移動速度のみを元に、ビデオカメラＣ１の映像からフレームアウトした人物と、ビデオカメラＣ２の映像にフレームインした人物とが同一人物であるかを判定するのは困難である。そこで本実施形態にかかる情報処理サーバ１００では、ビデオカメラＣ１に映る人物の特徴量と、ビデオカメラＣ２に映る人物の特徴量とを比較した上で、両者の類似度を判定している。この類似度が高いほど、両人物が同一人物である可能性が高い。この類似度と、出現時間スコアとに基づいて、ビデオカメラＣ１の映像からフレームアウトした人物と、ビデオカメラＣ２の映像にフレームインした人物とが同一人物であるかを判定するようにしている。なお、特徴量の類似度のみを元に同一人物であるか否かを判断することも考えられるが、そのように判定すると、例えば制服を来ている人物が多数いる、すなわち類似する特徴量を持つ人物が多数出現する場合に、同一人物の判定を行うことが困難となるという問題が生じるため、本実施形態では、出現時間スコアも用いて、同一人物の判定を行なっている。
具体的には、以下の数式により同一人物であるか否かを判定するスコアを算出することができる。

ここで、αは、出現時間スコアと特徴量の類似度とのどちらを重視して同一人物であるか否かを決めるパラメータである。本実施形態において、このパラメータαは、人物Ｐ１の属性に応じて決定される。より具体的には、人物Ｐ１が移動速度にばらつきが生じやすい属性の人物である場合には特徴量類似度の比重を高めるべく、例えばα＝０．２と設定し、移動速度にばらつきが生じやすい属性ではない場合には、出現時間スコアと特徴量類似度の比重を同等とすべくα＝０．５として設定することが考えられる。

（１．２．２ 人物候補抽出の対象とする時間帯幅を変化させる方法）
この他、人物の同一性の判定を行う時間帯を設定することも考えられる。例えば、人物Ｐ１の移動速度Ｖ１に基づいてビデオカメラＣ２の映像に人物Ｐ１が到達すると予測される時刻をＴ０とすると（なお、Ｔ０は、人物Ｐ１がビデオカメラＣ１の映像からフレームアウトした後、Ｄ／Ｖ１経過後に相当する）、人物Ｐ１と同一人物であるか否かを判定する時間Ｔは、下記のように設定することができる。例えば、γ＝２βとして以下説明する（図３参照）。

つまり、この時間幅にビデオカメラＣ２の映像に出現した人物のみを、ビデオカメラＣ１の映像からフレームアウトした人物との同一性の判定対象（抽出対象）とする。ここで、出現予測時刻Ｔ０から抽出対象とする時間帯の上限である（１＋２β）Ｔ０までの時間（２βＴ０）の方が、出現予測時刻Ｔ０から当該時間帯の下限である（１−β）Ｔ０までの時間（βＴ０）よりも長くなっているのは、人間の移動速度は、早まるよりも遅れる方が幅が広いと考えられるためである。

上記の式において、βは、同一人物の判定対象とする時間帯の幅を設定するためのパラメータである。この時間帯の幅は、人物の出現時間のばらつきの大きさによって決まる。よって、移動時間のばらつきが大きいと考えられる属性を持つ人物に対してはβを大きく設定し、移動時間のばらつきが小さいと考えられる属性を持つ人物に対しては、それよりもβを小さく設定すればよい。

なお、この時間帯幅にビデオカメラＣ２に出現した人物と、ビデオカメラＣ１からフレームアウトした人物との同一性の判定に関しては、主に特徴量類似度に基づいて算出しても良いし、「１．２．１」で説明したように、出現時間スコアと特徴量類似度とを合わせて算出しても良い。以下では、出現時間スコアと特徴量類似度とを合わせて算出する手法を中心に説明する。

（１．３ システムの機能構成）
次に、図４を参照しながら、本実施形態に係る情報処理サーバ１００の機能構成を説明する。図４は、本実施形態に係る情報処理サーバ１００の機能構成を示す機能ブロック図である。

図４に示すように、情報処理サーバ１００は、画像情報取得部４１０と、人物抽出部４２０と、人物特徴量類似度算出部４３０と、出現時間スコア算出部４４０と、データベース４５０と、人物属性取得部４６０と、統合スコア算出部４７０と、人物対応付け部４８０とを含む。

画像情報取得部４１０は、ビデオカメラ２００から直接、若しくはビデオカメラ２００が撮影した映像を記憶媒体から、映像を取得する。人物抽出部４２０は、ビデオカメラ２００が撮影した映像の各フレームから、人物画像領域を特定すると共に、それぞれの人物画像の特徴量を算出する。

人物特徴量類似度算出部４３０は、人物抽出部４２０で抽出された人物の特徴量の類似度を算出する。一般的に、特徴量の類似度が高い人物は同一人物である可能性が高いものと考えることができる。このとき、人物属性取得部４６０が特定する人物の属性に基づいて定められる時間幅（図３に例示）内の人物のみに対して、類似度を算出するようにしても良い。

出現時間スコア算出部４４０は、あるビデオカメラ２００に撮影された映像に映る人物と、その後、他のビデオカメラ２００に撮影された映像に映る人物とが同一人物であるスコア（出現時間スコア）を算出する。ビデオカメラＣ２の映像に新たにフレームインした人物が、ビデオカメラＣ１の映像からフレームアウトした人物Ｐ１と同一人物であるか否かを判断するためのスコアは、ビデオカメラＣ１の映像からフレームアウトした人物Ｐ１がビデオカメラＣ２の映像にフレームインする出現時間スコアと言い換えることができ、当該出現時間スコアは時間を変数として求めることができる。

出現時間スコアを求める関数は、上記「１．２．２」で説明した、人物候補抽出の対象とする時間幅の範囲内において、図５（ａ）に示すステップ状の関数や、図５（ｂ）に示す山状の関数を用いて表現することができる。図５（ｂ）のように山状の関数を用いる場合には、先述の通り、ビデオカメラＣ１の映像からフレームアウトした人物Ｐ１がビデオカメラＣ２の映像にフレームインする出現時間スコアは、ビデオカメラＣ１の映像からフレームアウトした時刻のＤ／Ｖ１後近傍に最も高くなり、その時間から離れると低くなる。

出現時間スコア算出部４４０は、上記出現時間スコアを算出するに辺り、ＤＢ４５０に格納されたカメラ間情報４５１を参照する。カメラ間情報４５１は、ビデオカメラ２００間の距離や位置関係（どのビデオカメラ２００の撮影範囲からどのビデオカメラ２００の撮影範囲に移動が可能か）等の情報を含む。

人物属性取得部４６０は、人物抽出部４２０で抽出された人物の属性を特定する。ここで特定する属性は、前述の通り、人物の移動速度に影響を与える属性であり、例えば、うろつきや千鳥足等の歩容特徴を持っている場合や、杖や荷物等の所持品を持っている場合、その場所を初めて訪問したビジター、キョロキョロしていたりカメラをちらちら見たりといった視線特徴を持っている場合、不審者と推定できる場合（例えば、ブラックリストに登録された人物、過去の移動時間が平均から大きく外れている、他人を避けている、等）等が考えられる。

ここで、うろつき、千鳥足といった歩容特徴については、映像内の人物の足元位置の軌跡から判定が可能である。杖や荷物等の所持品を持っているか否かについては、画像内の動体領域に対して予め登録している人体モデルをフィッティングさせた上で、人体モデルに合わない領域を抽出し、抽出領域の形状・色・サイズ・人物のパーツ（例えば手など）からの位置関係等を元に、杖や荷物等の所持品を持っているか否か、及び所持品が何であるかを推定することが可能である。

キョロキョロしていたりカメラをちらちら見たりといった視線特徴については、予め登録している様々な顔の向きの人物の顔の特徴と比較することにより、画像から顔領域及び顔の向きを抽出し、顔モデルに基づいて顔領域内の目の位置を推定すると共に、目の中の黒目位置を目領域の濃淡分布から判定した結果得られる視線方向に基づいて判断することが可能である。

ビジターか否かについては、例えば、対象とする撮影領域に侵入するために社員証またはビジターカードが必要な場合には、ビジターカードを用いて入場した人物であるか否か、若しくはビジターカードを胸につけている場合には、当該ビジターカードが胸に付けられているかという画像特徴に基づいて判断することが可能である。

統合スコア算出部４７０は、人物特徴量類似度算出部４３０及び出現時間スコア算出部４４０が算出した人物特徴の類似度及び出現時間スコアに基づいて、あるビデオカメラ２００の映像に映った人物と、他のビデオカメラ２００の映像に映った人物とが同一人物であるか否かを判定するためのスコアを算出する。このスコアの算出方法としては、例えば、上記「１．２．１」で具体例を示した手法などが考えられる。

人物対応付け部４８０は、統合スコア算出部４７０で算出したスコアに基づいて、それぞれのビデオカメラ２００で撮影された人物のうち、同一人物と判定される人物の対応付けを行う。このとき、同一人物であるか否かは、例えばスコアが一定の閾値を超えているか否かにより判定することが可能である。それぞれのビデオカメラ２００に映るどの人物が同一人物であるかがわかれば、それぞれの人物の移動履歴を特定することができる、すなわち人物の追跡が可能となる。

（１．４ 処理の流れ）
以下、情報処理サーバ１００の処理の流れを、図６を参照しながら説明する。図６は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

まず、人物抽出部４２０は、画像情報取得部４１０から入力された画像から、人物領域を抽出すると共に（Ｓ５０１）、抽出された人物領域（人物画像）から特徴量を抽出する（Ｓ５０３）。その上で、人物特徴量類似度算出部４３０は、あるビデオカメラ２００の映像に映る人物と、当該ビデオカメラ２００の撮影範囲から移動可能な位置にあるビデオカメラ２００の映像に映る人物との間で類似度を算出する（Ｓ５０５）。この時、図３を参照しながら説明したように、人物抽出に対して時間幅を設けても良い。

更に、出現時間スコア算出部４４０は、あるビデオカメラ２００の映像から人物がフレームアウトした時刻と、他のビデオカメラ２００の映像に人物がフレームインした時刻との差分時間に基づいて、出現時間スコアを算出する（Ｓ５０７）。

人物属性取得部４６０は、ビデオカメラ２００に映る各人物の属性を特定する（Ｓ５０９）。この特定方法の具体例については「１．３」で説明したため、ここでは説明を省略する。

統合スコア算出部４７０は、人物属性取得部４６０が特定した人物の属性と、人物特徴量類似度算出部４３０が算出した特徴量の類似度と、出現時間スコア算出部４４０が算出した出現時間スコアとに基づいて、各ビデオカメラ２００に映る人物が同一人物であるか否かを判別するためのスコアを算出し（Ｓ５１１）、人物対応付け部４８０は、当該スコアに基づいて人物の対応関係を決定する（Ｓ５１３）。

(１．５ ハードウェア構成)
以下、図７を参照しながら、上述してきた情報処理サーバ１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、情報処理サーバ１００の機能は、複数の情報処理装置により実現することも可能である。

図７に示すように、情報処理サーバ１００は、プロセッサ６０１、メモリ６０３、記憶装置６０５、入力インタフェース（Ｉ／Ｆ）６０７、データＩ／Ｆ６０９、通信Ｉ／Ｆ６１１、及び表示装置６１３を含む。

プロセッサ６０１は、メモリ６０３に記憶されているプログラムを実行することにより、情報処理サーバ１００における様々な処理を制御する。例えば、図４で説明した画像情報取得部４１０、人物抽出部４２０、人物特徴量類似度算出部４３０、出現時間スコア算出部４４０、人物属性取得部４６０、統合スコア算出部４７０、及び人物対応付け部４８０に係る処理は、メモリ６０３に一時記憶された上で、主にプロセッサ６０１上で動作するプログラムとして実現可能である。

メモリ６０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ６０３は、プロセッサ６０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ６０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置６０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置６０５は、オペレーティングシステムや、画像情報取得部４１０、人物抽出部４２０、人物特徴量類似度算出部４３０、出現時間スコア算出部４４０、人物属性取得部４６０、統合スコア算出部４７０、及び人物対応付け部４８０を実現するための各種プログラムや、ＤＢ４５０に含まれるカメラ間情報４５１等の各種データなどを記憶する。記憶装置６０５に記憶されているプログラムやデータは、必要に応じてメモリ６０３にロードされることにより、プロセッサ６０１から参照される。

入力Ｉ／Ｆ６０７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置４００は、入力Ｉ／Ｆ６０７により実現することも可能である。入力Ｉ／Ｆ６０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力Ｉ／Ｆ６０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

データＩ／Ｆ６０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ６０９の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置などがある。データＩ／Ｆ６０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ６０９は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

通信Ｉ／Ｆ６１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ６１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ６１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

表示装置６１３は、各種情報を表示するためのデバイスである。図１で説明した表示装置３００は、表示装置６１３により実現することも可能である。表示装置６１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置６１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置６１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。

（１．６ 本実施形態に係る効果）
以上説明したように、本実施形態に係る監視システム１では、移動速度に影響を与えるような属性を持つ人物か否かに応じて、同一性の判定方法を変えるようにしている。具体的には、例えば、移動速度に影響を与える可能性の高い属性を有する人物に関しては、出現時間スコアに基づく同一性判定の比率を下げたり、若しくは、同一性判定の時間帯を広げたりする。これにより、好適に人物追跡を行うことができるようになる。

（２ 第２実施形態）
以下、第２実施形態を、図８を参照しながら説明する。図８は、情報処理システムである監視装置７００の機能構成を示すブロック図である。図８に示すように、監視装置７００は、類似度算出部７１０と時間算出部７２０と属性特定部７３０と判別部７４０とを含む。

類似度算出部７１０は、図示しない複数のビデオカメラのうち、あるビデオカメラ（ここでは、第１のビデオカメラと呼ぶ。）の映像に映る移動体（ここでは、第１の移動体と呼ぶ。）と、他のビデオカメラ（ここでは、第２のビデオカメラと呼ぶ。）の映像に映る移動体（ここでは、第２の移動体と呼ぶ。）との類似度とを算出する。なお、移動体の具体例としては、例えば人物や車、自転車、バイク等を挙げることができる。

時間算出部７２０は、第１の移動体が、第１のビデオカメラの映像からフレームアウトしてから、第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出する。

属性特定部７３０は、第１のビデオカメラに映った第１の移動体の属性を特定する。ここで、移動体の属性とは、例えば移動速度に影響を与える属性をいう。例えば、移動体が人物の場合には、うろつきや千鳥足等の歩容特徴を持っている場合や、杖や荷物等の所持品を持っている場合、その場所を初めて訪問したビジター、キョロキョロしていたりカメラをちらちら見たりといった視線特徴を持っている場合、不審者と推定できる場合（例えば、ブラックリストに登録された人物、過去の移動時間が平均から大きく外れている、他人を避けている、等）等が考えられる。

判別部７４０は、属性特定部７３０が特定した第１の移動体の属性と、類似度算出部７１０が算出した類似度と、時間算出部７２０が算出した時間とに基づいて、第１の移動体及び第２の移動体が同一の移動体であるか否かを判別する。
このように実装することで、本実施形態に係る監視装置７００によれば、複数のビデオカメラの映像を用いて、好適に人物追跡を行うことができる。

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出する手段と、前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別する判別手段とを備える情報処理システム。

（付記２）
前記第１の移動体の属性を特定する手段を更に備える付記１記載の情報処理システム。

（付記３）
前記第１のビデオカメラの映像に映る第１の移動体と、前記第２のビデオカメラの映像に映る第２の移動体との類似度を算出する手段を更に備える、付記１又は付記２のいずれか１項記載の情報処理システム。

（付記４）
前記第１の移動体の属性に応じて、前記時間が判別結果に与える影響が異なる、付記１乃至付記３のいずれか１項記載の情報処理システム。

（付記５）
前記第１の移動体の属性に応じて、前記類似度と、前記時間とが判別結果に与える影響の大きさが異なる、付記４記載の情報処理システム。

（付記６）
前記判別手段は、前記第１の移動体の属性に応じて設定される時間幅内に前記時間が収まる前記第２の移動体に対して、前記類似度が同一の移動体であるか否かを判別する、付記１乃至付記３のいずれか１項記載の情報処理システム。

（付記７）
前記時間幅は、前記第１のビデオカメラの撮影範囲から前記第２のビデオカメラの撮影範囲までの平均移動時間を跨いで設定され、前記時間幅の上限から前記平均移動時間までの時間は、前記時間幅の下限から前記平均移動時間までの時間よりも長い、付記６記載の情報処理システム。

（付記８）
前記属性は、移動体の移動速度に相関がある、付記１乃至付記７のいずれか１項記載の情報処理システム。

（付記９）
第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出するステップと、前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別するステップとを情報処理システムが行う情報処理方法。

（付記１０）
前記第１の移動体の属性を特定するステップを更に備える付記９記載の情報処理方法。

（付記１１）
前記第１のビデオカメラの映像に映る第１の移動体と、前記第２のビデオカメラの映像に映る第２の移動体との類似度を算出するステップを更に備える、付記９又は付記１０のいずれか１項記載の情報処理方法。

（付記１２）
前記第１の移動体の属性に応じて、前記時間が判別結果に与える影響が異なる、付記９乃至付記１１のいずれか１項記載の情報処理方法。

（付記１３）
前記第１の移動体の属性に応じて、前記類似度と、前記時間とが判別結果に与える影響の大きさが異なる、付記１２記載の情報処理方法。

（付記１４）
前記第１の移動体の属性に応じて設定される時間幅内に前記時間が収まる前記第２の移動体に対して、前記類似度が同一の移動体であるか否かを判別する、付記９乃至付記１１のいずれか１項記載の情報処理方法。

（付記１５）
前記時間幅は、前記第１のビデオカメラの撮影範囲から前記第２のビデオカメラの撮影範囲までの平均移動時間を跨いで設定され、前記時間幅の上限から前記平均移動時間までの時間は、前記時間幅の下限から前記平均移動時間までの時間よりも長い、付記１４記載の情報処理方法。

（付記１６）
前記属性は、移動体の移動速度に相関がある、付記９乃至付記１５のいずれか１項記載の情報処理方法。

（付記１７）
第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出する処理と、前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別する処理とをコンピュータに実行させるプログラム。

（付記１８）
前記第１の移動体の属性を特定する処理を更に備える付記１７記載のプログラム情報処理方法。

（付記１９）
前記第１のビデオカメラの映像に映る第１の移動体と、前記第２のビデオカメラの映像に映る第２の移動体との類似度を算出する処理を更に備える、付記１７又は付記１８のいずれか１項記載のプログラム。

（付記２０）
前記第１の移動体の属性に応じて、前記時間が判別結果に与える影響が異なる、付記１７乃至付記１９のいずれか１項記載のプログラム。

（付記２１）
前記第１の移動体の属性に応じて、前記類似度と、前記時間とが判別結果に与える影響の大きさが異なる、付記２０記載のプログラム。

（付記２２）
前記第１の移動体の属性に応じて設定される時間幅内に前記時間が収まる前記第２の移動体に対して、前記類似度が同一の移動体であるか否かを判別する、付記１７乃至付記１９のいずれか１項記載のプログラム。

（付記２３）
前記時間幅は、前記第１のビデオカメラの撮影範囲から前記第２のビデオカメラの撮影範囲までの平均移動時間を跨いで設定され、前記時間幅の上限から前記平均移動時間までの時間は、前記時間幅の下限から前記平均移動時間までの時間よりも長い、付記２２記載のプログラム。

（付記２４）
前記属性は、移動体の移動速度に相関がある、付記１７乃至付記２３のいずれか１項記載のプログラム。

この出願は、２０１３年２月１５日に出願された日本出願特願２０１３−２７７９６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・監視システム、２０・・・１００・・・情報処理サーバ、２００・・・ビデオカメラ、３００・・・表示装置、４００・・・入力装置、４１０・・・画像情報取得部、４２０・・・人物抽出部、４３０・・・人物特徴量類似度算出部、４４０・・・出現時間スコア算出部、４５０・・・データベース、４５１・・・カメラ間情報、４６０・・・人物属性取得部、４７０・・・統合スコア算出部、４８０・・・人物対応付け部、６０１・・・プロセッサ、６０３・・・メモリ、６０５・・・記憶装置、６０７・・・入力インタフェース、６０９・・・データインタフェース、６１１・・・通信インタフェース、６１３・・・表示装置、７００・・・監視装置、７１０・・・類似度算出部、７２０・・・時間算出部、７４０・・・属性特定部、７４０・・・判別部

Claims (9)

1. 第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出する手段と、
   前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別する判別手段と
   を備え、
   前記判別手段は、前記第１の移動体の属性に応じて、判別結果に与える前記時間の影響度合いを変化させる情報処理システム。
2. 前記第１の移動体の属性を特定する手段
   を更に備える請求項１記載の情報処理システム。
3. 前記第１のビデオカメラの映像に映る第１の移動体と、前記第２のビデオカメラの映像に映る第２の移動体との類似度を算出する手段
   を更に備える、請求項１又は請求項２記載の情報処理システム。
4. 前記判別手段は、前記第１の移動体の属性に応じて、判別結果に与える前記類似度と、前記時間との影響の比重を変化させる、
   請求項１乃至請求項３のいずれか１項記載の情報処理システム。
5. 前記判別手段は、前記第１の移動体の属性に応じて設定される時間幅内に前記時間が収まる前記第２の移動体に対して、前記第１の移動体と同一の移動体であるか否かを判別する、
   請求項１乃至請求項４のいずれか１項記載の情報処理システム。
6. 前記時間幅は、前記第１のビデオカメラの撮影範囲から前記第２のビデオカメラの撮影範囲までの平均移動時間に基づいて設定され、前記時間幅の上限から前記平均移動時間までの時間は、前記時間幅の下限から前記平均移動時間までの時間よりも長い、請求項５記載の情報処理システム。
7. 前記属性は、移動体の移動速度に相関がある、
   請求項１乃至請求項６のいずれか１項記載の情報処理システム。
8. 第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出するステップと、
   前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別するステップと
   をコンピュータが行い、
   前記コンピュータは、前記第１の移動体と前記第２の移動体が同一の移動体であるか否かを判別する際に、前記第１の移動体の属性に応じて、判別結果に与える前記時間の影響度合いを変化させる情報処理方法。
9. 第１の移動体が第１のビデオカメラの映像からフレームアウトしてから第２のビデオカメラの映像に第２の移動体がフレームインするまでの時間を算出する処理と、
   前記第１の移動体の属性と、前記第１の移動体及び前記第２の移動体の類似度と、前記時間とに基づいて、前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを判別する処理と
   をコンピュータに実行させ、
   さらにまた、前記第１の移動体と前記第２の移動体が同一の移動体であるか否かを判別する際に、前記第１の移動体の属性に応じて、判別結果に与える前記時間の影響度合いを変化させる処理
   をコンピュータに実行させるプログラム。

Images