JP6532234B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

近年、監視カメラの普及が進んでいるが、映像を蓄積するのみで、リアルタイムな映像の活用が行われていない環境も多い。また、監視カメラシステムにおける解析技術として、動線（個人の移動軌跡、又は人の流れや行列としての全体の移動軌跡）を活用した解析技術が発展している。動線解析の結果は、店舗における顧客行動分析や異常検知など広範囲に応用可能であるが、動線の分析を専門で行う要員を確保できない環境も多い。そのような環境でも、提示映像や動線解析結果をリアルタイムに活用してサービスを向上させるために、監視カメラから独立したデバイス上に、動線解析結果に基づいて提示映像を表示する仕組みが必要となる。

特許文献１には、道路に沿ってパノラマ画像を表示可能なビューシステムが開示されている。このシステムは、パノラマ画像に監視カメラからのリアルタイムな映像を統合することで、ユーザの周辺状況理解を手助けするものである。特許文献２には、渋滞の発生エリアとその渋滞の原因映像を、渋滞中の車両に提供する技術が開示されている。この技術は、複数の車両から提供される車両位置情報に基づき、渋滞の発生エリアを検出し、車両が送信した、発生エリアの映像を取得し、発生エリアの映像データを、渋滞提示情報として提供するものである。

特表２０１４−５０２４３０号公報 特開２０１３−２０５２３号公報

しかしながら、上述のように、映像を活用するには、専門の要員を確保する必要があるなど、その活用機会は制限されている。特許文献１の技術では、予め定められた道路の形状に従って、監視カメラ映像を閲覧することが可能であり、人物の行動をリアルタイム映像で確認することができる。しかし、毎回異なる動きをする人の行動を把握するためには、人がどの道路を移動したかをユーザが予測した上で、映像を閲覧する道路を指定する必要がある。また、特許文献２の技術では、渋滞の先頭映像を離れた位置から閲覧することがでる。しかし、先頭位置以外に映像を切り替えることはできず、人物の行動の状況把握に用いるには不十分である。

本発明はこのような問題点に鑑みなされたもので、撮影映像を活用した動線解析を自動的に行い、解析結果に応じた映像を提供することにより、観察者による映像の確認作業の効率化を図ることを目的とする。

そこで、本発明は、１以上の移動オブジェクトを撮影する１以上の撮影装置と、情報処理装置と、ユーザが所持する携帯端末とを有する情報処理システムであって、前記情報処理装置は、前記撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出手段と、前記抽出された動線のうち、前記携帯端末の位置の周辺領域に含まれる動線を前記ユーザに提示する対象となる動線として選択する選択手段と、前記選択された動線を、１以上の撮影装置が撮影した時空間において、提示範囲となる提示領域を特定する範囲特定手段と、前記提示範囲に基づいて、前記ユーザに提示する提示映像を特定する映像特定手段と、前記提示映像を出力する出力手段とを有し、前記携帯端末は、前記提示映像を前記情報処理装置から受信する受信手段と、前記提示映像を表示する表示手段とを有することを特徴とする。

本発明によれば、撮影映像を活用した動線解析を自動的に行い、解析結果に応じた映像を提供することにより、観察者による映像の確認作業の効率化を図ることができる。

監視システムの全体図である。 監視システムの各装置のハードウェア構成図である。 監視システムの各装置のソフトウェア構成図である。 本実施形態に係る監視システムの利用形態の説明図である。 人の流れと提示映像の関係を示す図である。 動線ＤＢに格納されるデータを示す図である。 提示範囲のデータを示す図である。 再生リストの一例を示す図である。 設定情報の一例を示す図である。 動線抽出処理を示すフローチャートである。 提示映像送信処理を示すフローチャートである。 提示範囲特定処理を示すフローチャートである。 再生リスト生成処理を示すフローチャートである。 再生表示処理を示すフローチャートである。 第２の実施形態に係る設定情報の一例を示す図である。 第２の実施形態に係る監視システムの利用形態の説明図である。 滞留時刻と提示映像の関係を示す図である。 第２の実施形態に係る提示範囲特定処理を示すフローチャートである。 第２の実施形態に係る再生リスト生成処理を示すフローチャートである。 第３の実施形態に係る設定情報の一例を示す図である。 第３の実施形態に係る監視システムの利用形態の説明図である。 個別動線と提示映像の関係を示す図である。 第３の実施形態に係る提示映像送信処理を示すフローチャートである。 第３の実施形態に係る再生リスト生成処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る情報処理システムの一例としての監視システムの全体図である。監視システムは、監視カメラ１００と、監視サーバ装置１１０と、モバイル端末（携帯端末）１２０とを有している。監視カメラ１００と、監視サーバ装置１１０と、モバイル端末１２０とは、互いにインターネットやイントラネット等のネットワークを介して通信を行うことができる。なお、監視カメラ１００及びモバイル端末１２０の数は、１以上であればよく、特に限定されるものではない。

監視カメラ１００は、監視対象となる監視空間内の所定の位置にそれぞれ設置されている。監視カメラ１００は、設置された空間の映像を記録することができる。複数の監視カメラ１００で撮影された映像は、監視サーバ装置１１０に蓄積される。監視サーバ装置１１０は、監視カメラ１００から受信した映像の解析、編集を行い、適宜モバイル端末１２０に提供する。モバイル端末１２０は、ユーザが所持するものであり、装着型ディスプレイである。なお、他の例としては、モバイル端末１２０は、スマートフォンや、タブレット端末等であってもよい。

図２は、監視カメラ１００、監視サーバ装置１１０及びモバイル端末１２０のハードウェア構成図である。ＣＰＵ２０１は、ＲＯＭ２０２に格納されている制御プログラムを実行することにより、各装置（監視サーバ装置１１０、監視カメラ１００、モバイル端末１２０）の制御を行う。ＲＡＭ２０３は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、各装置を実行可能な状態にする。表示装置２０４は、各種情報を表示する。撮影装置２０５は、光学装置及び撮像素子等によって構成され、ＣＰＵ２０１からの指示に応じて、被写体の撮影を行う。記憶装置２０６は、各種データを記憶する。通信装置２０７は、他の装置との通信を行う。入力装置２０８は、ユーザによる各種操作を受け付ける。なお、監視サーバ装置１１０は、撮影装置２０５は有さないものとする。

図３は、監視カメラ１００、監視サーバ装置１１０及びモバイル端末１２０のソフトウェア構成図である。監視カメラ１００は、撮影処理部３００と、通信処理部３０１とを有している。撮影処理部３００は、設置位置近辺の映像を撮影する。通信処理部３０１は、撮影により得られた映像を、監視サーバ装置１１０に送信する。

監視サーバ装置１１０は、映像管理部３１０と、映像解析部３１１と、映像再生制御部３１２と、通信処理部３１３と、映像ＤＢ３１４と、動線ＤＢ３１５と、再生リストＤＢ３１６とを有している。映像管理部３１０は、通信処理部３１３を介して受信した映像を映像ＤＢ３１４に記録する。

映像解析部３１１は、映像ＤＢ３１４に格納されている映像を解析して、移動オブジェクトの検出や動線の抽出を行い、動線に関する情報を動線ＤＢ３１５に格納する。なお、本実施形態においては、移動オブジェクトとして、人物を例に説明する。映像再生制御部３１２は、動線ＤＢ３１５に格納されている情報を参照して、モバイル端末１２０のユーザに提示する映像を特定し、さらに特定した映像の再生順を決定する。そして、映像再生制御部３１２は、提示映像と、再生順を定めた再生リストを生成し、これを再生リストＤＢ３１６に記録する。再生リストは、通信処理部３１３によりモバイル端末１２０に送信される。映像ＤＢ３１４、動線ＤＢ３１５及び再生リストＤＢ３１６を格納する記憶装置としては、フラッシュメモリ、ＨＤＤ等を用いることができる。

モバイル端末１２０は、表示処理部３２０と、受付部３２１と、撮影処理部３２２と、位置情報取得部３２３と、通信処理部３２４とを有している。受付部３２１は、入力装置２０８へのユーザによる入力内容を受け付ける。例えば、受付部３２１は、映像取得要求を受け付ける。この場合、通信処理部３２４は、監視サーバ装置１１０に対し、映像取得要求を送信する。表示処理部３２０は、撮影処理部３２２により撮影された映像や、監視サーバ装置１１０から受信した映像を、自装置の表示装置２０４に表示する。位置情報取得部３２３は、自装置の位置を示す位置情報を取得する。なお、位置情報は、通信処理部３２４により、監視サーバ装置１１０に送信される。モバイル端末１２０は、ＧＰＳ受信機を備え、位置情報取得部３２３は、ＧＰＳ受信機から位置情報を取得するものとする。

図３において説明した各装置の機能や、後述する各機能の処理は、各装置のＣＰＵ２０１がＲＯＭ２０２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、各装置の各機能や各処理は、それぞれ電子回路等のハードウェアで実現されるものであってもよい。

図４は、本実施形態に係る監視システムの利用形態の説明図である。図４（Ａ）は、地点Ａに位置し、モバイル端末１２０を所持するユーザ４００が、監視空間内の人の流れ４１０を見ている様子を示している。人の流れ４１０の様子は、複数の監視カメラ１００により撮影されている。監視サーバ装置１１０は、監視空間内の異なる複数の位置に設置された複数の監視カメラ１００により撮影された映像をまとめて管理することにより、広範囲の監視を可能にしている。ここで、モバイル端末１２０を所持するユーザ４００は、監視空間を含む施設のスタッフ等であり、人の流れ４１０は、施設内に発生した人流であるものとする。

図４（Ｂ）は、ユーザ４００が、地点Ａにおいて、モバイル端末１２０を介して人の流れ４１０を見たときの、モバイル端末１２０の表示装置２０４に表示される表示画面４２０の一例を示す図である。このとき、モバイル端末１２０の撮影処理部３２２は、人の流れ４１０を撮影する。そして、表示画面４２０には、モバイル端末１２０の撮影装置２０５により撮影された、人の流れ４１０の撮影映像４２１が表示される。さらに、撮影映像４２１上には、監視サーバ装置１１０から受信した提示映像４２２が重畳表示されている。提示映像４２２は、監視サーバ装置１１０が監視カメラ１００により得られた撮影映像に基づいて、モバイル端末１２０のユーザに提示する映像として生成したものである。なお、本実施形態においては、提示映像４２２は、監視のために利用される監視映像である。提示映像４２２には、監視カメラ１００により撮影された映像であり、提示映像４２２には、地点Ａに位置するユーザからは見えない、人の流れ２１０の先頭の様子が映されている。さらに、表示画面４２０には、ユーザ４００の現在位置から撮影位置までの距離や方向を示す情報が、提示映像４２２と共に表示されてもよい。ユーザ４００は、自身が位置する地点Ａからは人の流れ４１０の先頭を直接見ることはできないが、提示映像４２２によって、人の流れ４１０が何に起因して発生しているのかを知ることができる。

撮影映像４２１上には、さらに仮想オブジェクトとしての、補助表示４２３と、切替表示４２４とが重畳表示されている。補助表示４２３は、人の流れ４１０の方向や流量を示すオブジェクトである。補助表示４２３と提示映像４２２とを合わせて表示することで、ユーザ４００は、提示映像４２２の撮影位置をより直感的に把握することができる。切替表示４２４は、提示映像４２２を他の映像に切り替え可能であることを示すオブジェクトである。ユーザ４００は、入力装置２０８に対し切替指示を入力することにより、提示映像４２２を他の提示映像に切り替えることができる。なお、切替指示の入力には、フリック操作やタッチ操作、ボタン操作、ジェスチャ操作等を利用することができる。

図４（Ｃ）は、切替指示に従い切り替えられた後の表示画面４３０の一例を示す図である。表示画面４３０においては、提示映像４２２に替えて、提示映像４３２が重畳表示されている。提示映像４３２は、提示映像４２２の撮影位置から人の流れ４１０に沿って、後方に移動した位置の映像である。提示映像４３２と提示映像４２２は別の監視カメラ１００で撮影されたものであり、すべての監視カメラ１００が撮影した、すべての映像を含む映像群の中から選ばれている。人の流れ４１０の通過経路を網羅するように、経路の通過順に沿って、映像群の中から、提示映像４２２や提示映像４３２が選ばれる。このように、ユーザ４００は、モバイル端末１２０において、自装置において撮影された、実際に眼の前に存在する空間の映像と、人の流れ４１０に沿って再生された映像とを確認することができる。したがって、人の流れ４１０の原因や全体の様子を効率的に把握することができる。すなわち、本実施形態に係る監視システムは、人物を移動オブジェクトとして検出し、人物の移動により生じる動線に基づいて、提示映像を生成し、これをユーザに提示することができる。

図５は、人の流れ４１０と提示映像の関係を示す図である。監視空間５００は、撮影位置（ｘ、ｙ）に、撮影時刻を加えた３次元の時空間で表現される。監視カメラ１００は、この時空間を撮影する。なお、撮影位置と撮影時刻を特定することで、映像を一意に定めることができる。図５に示す監視空間５００には、複数の個別動線５１０ａ，５１０ｂ，５１０ｃ，５１０ｄ，５１０ｅ・・・が存在し、人の流れ４１０を形成している。ここで、個別動線とは、各人物の移動軌跡を示す曲線である。モバイル端末１２０は、複数の個別動線を解析して、人の流れ４１０の特徴を抽出することにより、集合動線５２０を得る。そして、モバイル端末１２０は、集合動線５２０に基づいて提示範囲５３０ａ，５３０ｂ，５３０ｃ・・・を特定し、提示範囲の映像を提示映像として、モバイル端末１２０に送信する。

ここで、提示範囲は、提示映像として利用する映像を特定するための情報であり、提示領域及び提示期間を特定する情報である。ここで、提示領域とは、提示対象となる提示映像に映される撮影範囲であり、提示期間とは、提示対象となる提示映像の撮影時刻の時間軸上の期間である。なお、本実施形態においては、提示期間は、最新時刻から一定期間と定められている場合について説明する。すなわち、本実施形態に係る監視サーバ装置１１０は、集合動線に基づいて、提示領域を特定し、特定した提示領域と、予め定められた提示期間と、に基づいて、提示範囲を特定する。

図６は、動線ＤＢ３１５に格納されるデータを示す図である。図６（Ａ）は、映像ＤＢ３１４に蓄積された映像から得られた移動オブジェクト（人物）の移動軌跡である個別動線のデータを示す図である。個別動線の各レコードは、個別動線ＩＤ６０１と、時刻６０２と、位置６０３と、方向６０４と、速度６０５と、取得元６０６とを含んでいる。個別動線ＩＤ６０１は、同一人物による個別動線を特定するための情報である。同一の個別動線ＩＤ６０１を持つ観測点（レコード）の集合が１本の個別動線として扱われる。時刻６０２は、観測された時刻を示す情報である。位置６０３、方向６０４及び速度６０５は、それぞれ時刻６０２における監視空間内における動線の位置、移動方向及び移動速度を示す情報である。取得元６０６は、各観測点を撮影した監視カメラ１００を特定するための情報である。

図６（Ｂ）は、個別動線のデータから生成された集合動線のデータを示す図である。ここで、集合動線とは、複数の個別動線から観測時刻の差を除き、移動パターンの特徴を抽出したものである。集合動線は、映像解析部３１１により、映像データに基づいて、生成される。共通の移動パターンを示す個別動線が１つの集合動線に集約される。集合動線の各レコードは、集合動線ＩＤ６１１と、系列順６１２と、位置６１３と、方向６１４と、速度６１５と、取得元６１６とを含んでいる。集合動線ＩＤ６１１は、集合動線を特定するための情報である。同一の集合動線ＩＤ３０７を持つ観測点（レコード）の集合が１本の集合動線として扱われる。系列順６１２は、集合動線上の観測点の観測順を示すものである。位置６１３、方向６１４及び速度６１５は、それぞれ監視空間内における集合動線の位置、移動方向及び移動速度を示す情報である。取得元６１６は、各観測点を撮影した監視カメラ１００を特定するものである。

図６（Ｃ）は、個別動線と集合動線の対応関係のデータを示す図である。対応関係データは、いずれの個別動線からいずれの集合動線が抽出されたかの対応関係を示すものである。各レコードは、集合動線ＩＤ６２１が示す集合動線が、個別動線ＩＤ６２２が示す個別動線群から抽出されたことを示している。１つの集合動線は１つ以上の個別動線から抽出されるが、その集約度合は制御可能であり、１つの集合動線が１つの個別動線から抽出されていてもよい。また、１つの個別動線が複数の集合動線の抽出に用いられていてもよい。

図７は、提示範囲のデータを示す図である。提示範囲のデータは、映像再生制御部３１２により作成される。提示範囲のデータは、提示範囲を示す複数のレコードを含み、各レコードは、時刻７０１と、位置７０２と、取得元７０３とを含んでいる。時刻７０１及び位置７０２は、提示範囲となる時空間（提示期間及び提示領域）を定めるための情報である。また取得元７０３は、提示映像の取得元（監視カメラ）を示すものであり、集合動線の取得元６１６が引き継がれている。なお、本実施形態のように、最新時刻を提示範囲とする場合には、提示期間は予め定められているため、時刻７０１への時刻の記録は行わなくともよい。

図８は、再生リストＤＢ３１６に格納される再生リストの一例を示す図である。提示範囲のデータに含まれる複数のレコードに基づいて、再生リストが作成される。再生リストは複数のレコードを含み、各レコードは、提示映像の再生順８０１と、監視カメラＩＤ８０２と、映像種別８０３と、開始時刻８０４と、終了時刻８０５と、位置８０６と、再生中フラグ８０７とを含んでいる。再生順８０１は、再生リストに含まれる複数の提示映像を連続して再生する際の、各提示映像の再生順序を定めるものであり、この順に沿って映像を連続して再生可能である。監視カメラＩＤ８０２は、監視カメラ１００を特定するものであり、ここに示された監視カメラ１００で撮影された映像が提示映像として選択される。

映像種別８０３は、提示映像が撮影中のものであるか録画されたものであるかを示している。映像種別８０３が撮影中の場合は、モバイル端末１２０において、監視カメラ１００により撮影中の映像のストリーム再生が行われ、録画の場合は、録画映像が再生される。開始時刻８０４及び終了時刻８０５は、映像の開始及び終了時刻である。位置８０６は、映像内の移動オブジェクトの存在位置を示す。再生中フラグ８０７は、再生対象となっている映像を特定するために用いられる。

図９は、本実施形態に係る監視システムが利用する設定情報の一例を示す図である。図９に示す設定情報は、監視サーバ装置１１０の記憶装置２０６等に記録されているものとする。利用形態に応じて、設定情報に含まれる各項目（要素）を個別に設定することが可能である。後述するフローチャートにおける各処理は本設定値に応じて実行される。「提示領域設定」には、「集合動線の通過範囲」が設定されており、図６に示す提示範囲のデータには、集合動線内のすべての観測点（位置及び時刻）が提示範囲の時空間として記録される。また、本実施形態においては、「提示期間設定」には、「最新時刻」と設定されている。これは、提示期間が、最新時刻を含む一定期間であることを示している。これに対応し、提示範囲のデータの時刻７０１、再生リストの開始時刻８０４、終了時刻８０５には値が記録されない。そして、警備映像として、集合動線から特定された提示領域の、最新時刻の映像が提示映像として再生される。

図１０は、監視サーバ装置１１０よる、動線抽出処理を示すフローチャートである。動線抽出処理において、監視サーバ装置１１０は、監視カメラ１００が撮影した映像を解析して個別動線を抽出し、所定量の個別動線が抽出された後に、集合動線の抽出を行う。まず、ステップＳ１００１において、映像解析部３１１は、映像ＤＢ３１４内の映像フレームを１つ以上取得する。次に、ステップＳ１００２において、映像解析部３１１は、取得した映像内から移動オブジェクトを検出する。次に、ステップＳ１００３において、映像解析部３１１は、移動オブジェクトの位置をはじめとする、個別動線のデータを記録する。なお、映像解析部３１１は、異なる映像から得られた移動オブジェクトについては、検出位置と検出時刻の対応関係から、同一の移動オブジェクトであるのか、異なる移動オブジェクトであるのかを判別する。そして、映像解析部３１１は、各移動オブジェクトに対応した個別動線ＩＤを付与することとする。すなわち、この処理により、個別動線のデータが更新される。なお、移動オブジェクトの検出には、背景差分法等公知の技術を用いることができる。

次に、ステップＳ１００４において、映像解析部３１１は、ステップＳ１００２において検出した移動オブジェクトの数、すなわち個別動線の数が所定数に達したか否かを判定する。映像解析部３１１は、所定数に達している場合には（ステップＳ１００４でＹｅｓ）、処理をステップＳ１００５へ進める。映像解析部３１１は、所定数に達していない場合には（ステップＳ１００４でＮｏ）、処理をステップＳ１００１へ進め、再びステップＳ１００１から処理を繰り返す。

ステップＳ１００５において、映像解析部３１１は、ステップＳ１００１〜ステップＳ１００４の処理により得られた複数の個別動線を含む個別動線群から集合動線を抽出する（動線抽出処理）。そして、映像解析部３１１は、図６（Ｂ）に示す集合動線のデータ及び図６（Ｃ）に示す対応関係のデータを更新する。集合動線の抽出には、軌跡が類似した個別動線を集約するクラスタリング技術等の公知の技術を用いることができる。次に、ステップＳ１００６において、映像解析部３１１は、集合動線の形状や流量を示す補助画像を生成する。さらに、映像解析部３１１は、個別動線数のカウントを初期化して、動線抽出処理を終了する。

なお、動線抽出処理は、監視カメラ１００による撮影が行われている間、繰り返し実行されるものとする。また、本実施形態では、個別動線が所定数に達した後に全個別動線を参照して集合動線抽出を行うものとしたが、集合動線を抽出するタイミングは、実施形態に限定されるものではない。他の例としては、映像解析部３１１は、新規観測点が得られる度に、逐次集合動線を更新することとしてもよい。この場合は、常に最新の個別動線を集合動線に反映することができる。

図１１は、監視サーバ装置１１０による、提示映像送信処理を示すフローチャートである。提示映像送信処理において、監視サーバ装置１１０は、提示映像として利用する映像を特定し、これをモバイル端末１２０に送信する。まず、ステップＳ１１０１において、通信処理部３１３は、モバイル端末１２０から、動線取得要求を受信する。ここで、動線取得要求は、モバイル端末１２０の表示装置２０４への提示対象として、監視サーバ装置１１０により特定された動線の取得を要求する情報である。動線取得要求には、位置情報取得部３２３が取得した、モバイル端末１２０の位置情報が含まれているものとする。なお、動線取得要求は、モバイル端末１２０のユーザが入力装置２０８を利用して、動線取得要求を入力したタイミングで、モバイル端末１２０から送信されることとする。また、他の例としては、モバイル端末１２０は、自装置の撮影装置２０５が、一定量以上の人の流れを検知したタイミングで、動線取得要求を送信することとしてもよい。

次に、ステップＳ１１０２において、映像解析部３１１は、動線抽出処理において抽出された集合動線群から、提示対象の集合動線を選択する。具体的には、映像解析部３１１は、抽出された集合動線の位置と、動線取得要求に含まれるモバイル端末１２０の位置情報とを比較し、モバイル端末１２０の近くにある集合動線を提示対象の集合動線として選択する。具体的には、映像解析部３１１は、モバイル端末１２０の位置から集合動線の位置までの距離が最小となる集合映像を選択する。映像解析部３１１はさらに、モバイル端末１２０の撮影装置２０５による撮影領域に基づいて、提示対象の集合動線をモバイル端末１２０の撮影領域内に含まれる範囲に、少なくともその一部が存在する集合動線に限定してもよい。このとき、モバイル端末１２０の撮影領域は、動線取得要求に含まれて送信されるものとする。

次に、ステップＳ１１０３において、映像解析部３１１は、ステップＳ１１０３において特定した、提示対象の集合動線に基づいて、提示範囲を設定する。前述の通り、提示範囲のうち提示期間は予め定められているため、ステップＳ１１０３において、映像解析部３１１は、まず、ステップＳ１１０２において選択された提示対象の集合動線に基づいて、提示範囲を特定する（提示範囲特定処理）。ここで、提示範囲とは、提示対象となる時空間、すなわち提示対象となる提示領域と提示期間である。具体的には、映像解析部３１１は、集合動線の通過経路を包含する範囲の空間を提示領域として特定する。そして、映像解析部３１１は、予め定められた提示期間と、提示領域とに基づいて定まる時空間を提示対象として設定する。

次に、ステップＳ１１０４において、映像解析部３１１は、ステップＳ１１０３において設定した提示範囲に基づいて、ユーザへの提示映像として利用する映像を特定する（提示映像特定処理）。そして、映像解析部３１１は、特定した映像を連続して再生するための再生リストを生成する。なお、ステップＳ１１０３及びステップＳ１１０４の処理については、後に詳述する。次に、ステップＳ１１０５において、映像解析部３１１は、ステップＳ１１０４において生成した再生リストの中から初期映像を設定する。本実施形態に係る映像解析部３１１は、図８に示す設定情報に従い、集合動線の先頭位置である再生リストの先頭が初期に表示される初期映像として設定される。すなわち、再生リストの先頭映像が再生対象映像に設定される。

ステップＳ１１０６において、通信処理部３１３は、提示対象の集合動線のデータと、補助表示４２３等の仮想オブジェクトと、再生リストとをモバイル端末１２０に送信する。次に、ステップＳ１１０７において、通信処理部３１３は、モバイル端末１２０から映像取得要求を受信するまで待機する。映像解析部３１１は、映像取得要求を受信した場合には（ステップＳ１１０７でＹｅｓ）、処理をステップＳ１１０８へ進める。ステップＳ１１０８において、映像解析部３１１は、通信処理部３１３を介して、映像取得要求に係る映像、すなわち、提示映像として再生リストに示された映像を、再生順８０１に従い、順にモバイル端末１２０に送信する。ステップＳ１１０９において、映像解析部３１１は、モバイル端末１２０から終了要求を受信したか否かを判定する。映像解析部３１１は、終了要求を受信した場合には（ステップＳ１１０９でＹｅｓ）、映像送信処理を終了する。映像解析部３１１は、終了要求を受信しなかった場合には（ステップＳ１１０９でＮｏ）、処理をステップＳ１１０７へ進める。

図１２は、提示範囲特定処理（ステップＳ１１０３）における、詳細な処理を示すフローチャートである。ステップＳ１２０１において、映像解析部３１１は、提示対象の集合動線の先頭位置を検出する。次に、ステップＳ１２０２において、映像解析部３１１は、ステップＳ１２０２において検出した集合動線の先頭位置から順に、集合動線の系列順に沿って、集合動線内の観測点の位置を１つ特定する。次に、ステップＳ１２０３において、映像解析部３１１は、ステップＳ１２０２において特定した観測点の位置に基づいて、提示領域を特定する。ここで、提示領域は、監視カメラ１００により撮影された時空間内の領域であり、位置により定まる。そして、映像解析部３１１は、特定した提示領域と、提示期間により定まる提示範囲を特定する。そして、映像解析部３１１は、提示範囲のレコードを、図６に示す提示範囲のデータに追加する。

ここで、提示期間は、時空間内の期間であり、撮影時刻により定まる予め定められた期間である。本実施形態においては、図８に示すように、提示範囲時刻設定に「最新時刻」と設定されている。これは、提示期間が、最新時刻から一定時間であることを意味する。ここで、最新時刻とは、提示対象の映像がモバイル端末１２０に表示される表示処理時点の時刻である。このように、本実施形態においては、提示期間は予め定められている。したがって、映像解析部３１１は、動線から提示期間を特定する処理を行う必要はない。なお、ステップＳ１２０３の処理は、動線に基づいて、監視カメラ１００により撮影された時空間において、提示範囲となる提示領域を特定し、さらに、提示領域と、予め定められた提示期間とに基づいて、提示範囲を特定する範囲特定処理の一例である。

次に、ステップＳ１２０４において、映像解析部３１１は、提示対象の集合動線に含まれるすべての観測点に対応する提示範囲のレコードを作成する処理が終了したか否かを判定する。映像解析部３１１は、処理が終了している場合には（ステップＳ１２０４でＹｅｓ）、提示範囲特定処理を終了する。映像解析部３１１は、処理が終了していない場合には（ステップＳ１２０４でＮｏ）、処理をＳ１１０２へ進める。この場合、ステップＳ１２０２において、映像解析部３１１は、未処理の観測点の位置を１つ特定し、処理を繰り返す。

図１３は、再生リスト生成処理（ステップＳ１１０４）における詳細な処理を示すフローチャートである。まず、ステップ１３０１において、映像解析部３１１は、提示範囲のデータの１つのレコード、すなわち１つの提示範囲を読み込む。次に、ステップＳ１３０２において、映像解析部３１１は、提示範囲に対応する監視カメラ１００を特定する。監視カメラ１００の特定には、取得元７０３（図７）の情報を利用することができる。監視カメラ１００が撮影している空間には重複があるため、取得元７０３として、２つ以上の監視カメラ１００が指定されている場合もある。この場合には、映像解析部３１１は、提示範囲を定める提示領域に最も近い位置に配置された監視カメラ１００を選ぶこととする。これにより、より視認性の高い映像を得ることができる。

次に、ステップＳ１３０３において、映像解析部３１１は、特定した監視カメラ１００が１つ前の提示範囲のデータのレコードから特定された監視カメラ１００と同一か否かを判定する。映像解析部３１１は、同一の場合には（ステップＳ１３０３でＹｅｓ）、処理をステップＳ１３０６へ進める。映像解析部３１１は、同一でない場合には（ステップＳ１３０３でＮｏ）、処理をステップＳ１３０４へ進める。ステップＳ１３０４において、映像解析部３１１は、再生リストの新規レコードを作成し、再生順８０１、監視カメラＩＤ８０２、映像種別８０３等を設定する。上述のように、提示期間として「最新時刻」が設定されている場合には、映像種別８０３には「撮影中」が設定される。この場合、開始時刻８０４及び終了時刻８０５の記録は不要である。次に、ステップＳ１３０５において、映像解析部３１１は、作成したレコードを、再生リストに追加し、処理をステップＳ１３０７へ進める。一方、監視カメラ１００が同一の場合には、ステップＳ１３０２において特定した監視カメラ１００は、再生リストに追加されている。そこで、ステップＳ１３０６において、映像解析部３１１は、直前に作成、追加されたレコードの位置８０６に対し、位置情報を追加し、その後処理をステップＳ１３０７へ進める。

ステップＳ１３０７において、映像解析部３１１は、提示範囲のデータに示されるすべてのレコード（提示範囲）について、ステップＳ１３０１〜ステップＳ１３０６の処理を終了したか否かを判定する。映像解析部３１１は、処理が終了した場合には（ステップＳ１３０７でＹｅｓ）、再生リスト生成処理を終了する。映像解析部３１１は、処理が終了していない場合には（ステップＳ１３０７でＮｏ）、処理をＳ１３０１へ進める。この場合、映像解析部３１１は、Ｓ１３０１において、未処理の撮影範囲を読み込み、Ｓ１３０２以降の処理を繰り返す。

なお、本実施形態においては、映像解析部３１１は、提示映像として特定された映像の再生順は、集合動線の先頭から最後尾までの位置の移動に応じて定めるものとする。但し、再生順は、実施形態に限定されるものではない。他の例としては、映像解析部３１１は、最後尾から先頭までの位置の移動に応じて再生順を定めてもよい。これにより、人の流れ４１０が長い行列である場合に、どこに並べばよいかを迅速に把握することができる。

図１４は、モバイル端末１２０による、再生表示処理を示すフローチャートである。ステップＳ１４０１において、モバイル端末１２０の通信処理部３２４は、監視サーバ装置１１０に対し、動線取得要求を送信する。次に、ステップＳ１４０２において、通信処理部３２４は、監視サーバ装置１１０から提示対象の集合動線のデータと、仮想オブジェクトと、再生リストと、を受信する。次に、ステップＳ１４０３において、表示処理部３２０は、監視サーバ装置１１０から受信した集合動線の位置が、モバイル端末１２０の撮影装置２０５の撮影領域内に含まれるか否かを判定する。表示処理部３２０は、集合動線の位置が撮影領域内である場合には（ステップＳ１４０３でＹｅｓ）、処理をステップＳ１４０４へ進める。表示処理部３２０は、集合動線の位置が撮影領域内でない場合には（ステップＳ１４０３でＮｏ）、処理をステップＳ１４１２へ進める。ステップＳ１４１２において、通信処理部３２４は、監視サーバ装置１１０に対し、再生終了要求を送信する。以上で、モバイル端末１２０は、再生表示処理を終了する。動線の位置が撮影領域内でない場合には、ユーザの視認領域内に動線が存在しないためである。なお、ステップＳ１４０３の処理は、モバイル端末１２０の撮影領域に基づいて、提示映像を再生表示するか否かを判断する判断処理の一例である。

ステップＳ１４０４において、表示処理部３２０は、受信した仮想オブジェクトを、自装置の撮影装置２０５により撮影された撮影映像上に、重畳して表示する。ここで、仮想オブジェクトは、位置情報の羅列で構成される空間オブジェクトである。表示処理部３２０は、モバイル端末１２０が撮影装置２０５の撮影領域との突き合せを行うことにより、仮想オブジェクトの位置座標の、表示装置２０４の表示座標への変換を行う。次に、ステップＳ１４０５において、表示処理部３２０は、監視サーバ装置１１０に対して、再生リストにおいて、提示映像として特定されている映像を指定した、映像取得要求を送信する。次に、ステップＳ１４０６において、通信処理部３２４は、監視サーバ装置１１０から映像取得要求に係る映像を受信する（受信処理）。そして、表示処理部３２０は、受信した映像の再生表示を開始する（表示処理）。表示処理部３２０は、このとき再生リストの位置８０６を参照して、監視映像内の特定位置を拡大表示してもよい。また、映像取得要求に係る映像の映像種別が「撮影中」である場合には、通信処理部３２４は、表示処理時点において撮影されたリアルタイム映像を受信し、表示処理部３２０は、これをリアルタイムに表示する。

ステップＳ１４０７において、表示処理部３２０は、ユーザから映像変更指示を受け付けたか否かを判定する。表示処理部３２０は、映像変更指示を受け付けた場合には（ステップＳ１４０７でＹｅｓ）、処理をステップＳ１４０８へ進める。表示処理部３２０は、映像変更指示を受け付けなかった場合には（ステップＳ１４０７でＮｏ）、処理をステップＳ１７０９へ進める。ステップＳ１４０８において、表示処理部３２０は、映像変更指示に示された分、再生リスト内を移動し、再生対象の映像を変更し、処理をステップＳ１４０５へ進める。

ステップＳ１４０９において、表示処理部３２０は、ステップＳ１４０９の処理時点において、再生対象となっている映像の再生が終了したか否かを判定する。表示処理部３２０は、再生が終了した場合には（ステップＳ１４０９でＹｅｓ）、処理をステップＳ１４１０へ進める。表示処理部３２０は、再生が終了していない場合には（ステップＳ１４０９でＮｏ）、処理をステップＳ１４１１へ進める。ステップＳ１４１０において、表示処理部３２０は、再生リストを１つ進め、次の映像を再生対象に設定した上で、処理をステップＳ１４０５へ進める。ステップＳ１４１１において、表示処理部３２０は、受付部３２１が終了指示を受け付けたか否か、及び再生リスト内のすべての映像の再生を終了したか否かを判定する。表示処理部３２０は、終了指示を受け付けておらず、かつ再生が終了していない場合には（ステップＳ１４１１でＮｏ）、処理をステップＳ１４０７へ進める。表示処理部３２０は、終了指示を受け付けた場合及び再生リストのすべての映像の再生を終了した場合の何れかの場合に該当する場合には（ステップＳ１４１１でＹｅｓ）、処理をステップＳ１４１２へ進める。

以上のように、本実施形態に係る監視システムは、集合動線に対応する映像を連続再生することができる。したがって、ユーザ端末を所持するユーザは、ユーザの位置からでは直接視認することのできない場所についても、提示映像を確認することにより、効率的に把握することができる。さらに、本実施形態に係る監視システムにおいては、ユーザ端末における撮影装置の撮影範囲が、集合動線を含む場合に、この集合動線に対応する提示映像がユーザ端末の表示装置において、ユーザ端末における撮影映像上に重畳表示される。したがって、ユーザは、自身の位置から実際に視認可能な移動オブジェクトの動きと、提示映像との対応関係を容易に把握することができる。

第１の実施形態に係る監視システムの第１の変更例としては、監視サーバ装置１１０による提示対象の動線データ、仮想オブジェクト及び再生リストの送信タイミングは、実施形態に限定されるものではない。他の例としては、監視サーバ装置１１０は、最初に提示対象の集合動線データのみを送信することとしてもよい。そして、モバイル端末１２０において、集合動線が撮影領域内に位置すると判定された場合に、モバイル端末１２０からの要求に従い、撮影範囲内に位置する集合動線の仮想オブジェクト及び再生リストとを送信してもよい。これにより、モバイル端末１２０と監視サーバ装置１１０の通信量を削減することができる。

また、第２の変更例としては、監視サーバ装置１１０の設定情報は、実施形態に限定されるものではない。また、監視サーバ装置１１０は、ステップＳ１１０１において、動線取得要求と共にモバイル端末１２０から設定情報を受信することとしてもよい。そして、監視サーバ装置１１０は、ステップＳ１１０２〜ステップＳ１１０５においては、受信した設定情報の設定内容に従った処理を行うこととしてもよい。

また、第３の変更例としては、監視サーバ装置１１０による、提示範囲を特定する処理は、実施形態に限定されるものではない。他の例としては、監視サーバ装置１１０は、集合動線上での滞留発生箇所や人物密度、移動方向に基づいて、提示範囲を特定してもよい。人流が発生している箇所での滞留発生や人物密度超過、移動方向変化は、転倒等の原因になり得る。したがって、これらの箇所の映像のみを連続して再生可能にすることで、転倒が起きる前に人流整理等の対応を行うことができる。

また、第４の変更例としては、監視サーバ装置１１０において、予め設定された提示期間は、「最新時刻」に限定されるものではない。

また、第５の変更例としては、監視サーバ装置１１０は、提示領域及び提示期間のうち少なくとも一方を、動線に基づいて特定すればよい。すなわち、他の例としては、監視サーバ装置１１０は、動線に基づいて、提示期間のみを特定してもよい。この場合、提示領域は、予め定められているものとする。また、他の例としては、監視サーバ装置１１０は、動線に基づいて、提示領域及び提示期間の両方を特定してもよい。

（第２の実施形態）
次に、第２の実施形態に係る監視システムについて説明する。なお、ここでは、第２の実施形態に係る監視システムについて、第１の実施形態に係る監視システムと異なる部分について説明する。第１の実施形態に係る監視システムは、集合動線に基づいて、提示対象の空間的位置を設定し、動線上の異なる複数の位置の映像を、モバイル端末１２０の表示装置２０４に連続再生するものである。これに対し、第２の実施形態に係る監視システムは、動線上の同一位置における異なる時刻の映像を、モバイル端末１２０の表示装置２０４に連続再生するものである。

図１５は、第２の実施形態に係る監視サーバ装置１１０に設定されている設定情報の一例を示す図である。提示領域及び提示期間には、それぞれ「滞留発生個所」及び「滞留発生時刻」と設定されている。これは、滞留発生個所を提示領域として特定し、滞留発生中の期間を提示期間として特定することを示している。すなわち、本実施形態に係る監視サーバ装置１１０は、集合動線上の滞留発生個所を、提示領域として特定し、滞留発生中の期間を提示期間として特定する。そして、監視サーバ装置１１０は、図７に示す提示範囲に、滞留発生箇所のうち、処理時点において、モバイル端末１２０が存在する位置付近の滞留発生位置に対応する提示範囲のレコードを記録する。なお、開始時刻８０４及び終了時刻８０５には、滞留発生の開始時刻及び終了時刻が記録される。すなわち、開始時刻８０４及び終了時刻８０５には、滞留発生がどれだけ継続したかを示す時間情報が格納される。

本実施形態に係る監視サーバ装置１１０の映像解析部３１１は、軌跡だけでなく、加速度変化が類似した個別動線を集約することにより、集合動線を抽出する。映像解析部３１１はさらに、集合動線に基づいて、滞留を検出し（滞留検出処理）、滞留発生箇所を特定する。具体的には、映像解析部３１１は、集合動線の移動速度が閾値以下となる箇所を滞留発生箇所として特定する。また、他の例としては、映像解析部３１１は、集合動線の速度が閾値以下となる時間が一定時間以上となる箇所を滞留発生箇所として特定してもよい。また、他の例としては、映像解析部３１１は、集合動線を構成する複数の個別動線それぞれの速度変化に基づいて、滞留発生箇所を特定してもよい。

図１６は、第２の実施形態に係る監視システムの利用形態の説明図である。図１６（Ａ）は、モバイル端末１２０を所持するユーザ１６００が、監視空間としての施設内の空間１６１０を見ている様子を示している。ここで、ユーザ１６００は、施設のスタッフ等である。図１６（Ｂ）は、ユーザ１６００がモバイル端末１２０を介して施設内の空間１６１０を見たときの、モバイル端末１２０の表示装置２０４に表示される表示画面１６２０の一例を示す図である。表示画面１６２０には、モバイル端末１２０の撮影処理部３２２による撮影中の撮影映像１６２１が表示されている。さらに、撮影映像１６２１上に、監視サーバ装置１１０から受信した提示映像１６２２が重畳表示されている。撮影映像１６２１上には、さらに仮想オブジェクトとしての、補助表示１６２３と、滞留位置表示１６２４と、切替表示１６２５とが重畳表示されている。補助表示１６２３及び切替表示１６２５は、それぞれ図４（Ｂ）を参照しつつ説明した、補助表示４２３と及び切替表示５２４と同様である。滞留位置表示１６２４は、監視空間に存在する、個別動線の滞留発生箇所（滞留発生位置）を示すオブジェクトである。

滞留位置表示１６２４は、この監視空間において、過去に人の滞留が発生していたことを示しており、施設のレイアウトに何らかの問題があることが想定される。しかし、滞留が発生していたという情報だけでは、その場で何が起きていたのかを正確に把握できず、どう改善すればよいのかを判断できない。これに対し、本実施形態においては、モバイル端末１２０は、提示映像１６２２を、滞留位置表示１６２４の位置に合わせて表示することができる。ここで、提示映像１６２２は、監視カメラ１００によって撮影されたものであり、監視空間において滞留が発生していた時刻（滞留発生時刻）において撮影された映像である。提示映像１６２２には、撮影された時刻情報を付加することもできる。

図１６（Ｃ）は、ユーザからの切替指示に従い切り替えられた後の表示画面１６３０の一例を示す図である。表示画面１６３０の提示映像１６３２は、提示映像１６２２の撮影時刻よりも過去の撮影時刻に撮影された映像である。このように、モバイル端末１２０は、滞留発生時刻の映像を、時刻を遡りながら連続して再生することができる。したがって、ユーザ１６００は、モバイル端末１２０の表示内容から、滞留が発生している原因を効率的に把握することができる。

図１７は、滞留時刻と提示映像の関係を示す図である。図５と同様に、監視空間１７００は、撮影位置（ｘ、ｙ）に、撮影時刻を加えた３次元空間で表現される。撮影位置と撮影時刻を特定することで、映像を一意に定めることができる。本実施形態では、提示領域は、個別動線１７１０ａ，１７１０ｂ，１７１０ｃにより形成された集合動線１７２０上の領域のうち、滞留発生位置を含む領域に固定される。そして、監視サーバ装置１１０は、集合動線内の個別動線の滞留発生時刻に合わせて提示期間１７３０を特定する。

第２の実施形態に係る提示映像送信処理は、図１１を参照しつつ説明した第１の実施形態に係る監視サーバ装置１１０による提示映像送信処理とほぼ同様であるが、ステップＳ１１０３及びステップＳ１１０４における処理が異なっている。図１８は、第２の実施形態に係る監視サーバ装置１１０による、提示範囲特定処理における詳細な処理を示すフローチャートである。ステップＳ１８０１において、映像解析部３１１は、提示対象の集合動線の滞留発生位置のうち、モバイル端末１２０の現在位置付近の滞留発生位置を含む領域を提示領域として特定する。

次に、ステップＳ１８０２において、映像解析部３１１は、ステップＳ１１０２において選択した、提示対象の集合動線に含まれる個別動線を１つ取得する。次に、ステップＳ１８０３において、映像解析部３１１は、取得した個別動線がステップＳ１８０１において特定した提示領域に滞留した期間を、提示期間として特定する。本実施形態においては、映像解析部３１１は、所定値以下の移動速度が一定時間継続した場合に、滞留が発生したと判断することとする。なお、滞留が検知された位置に対応付けて、映像解析部３１１は、図６に示す個別動線の速度３０５に対し、インデックスを付与しておくこととしてもよい。これにより、映像解析部３１１は、滞留発生箇所の候補を高速に抽出することができる。そして、映像解析部３１１は、集合動線から特定した提示領域及び提示範囲により定まる提示範囲を特定し、特定した提示範囲のレコードを、図６に示す提示範囲のデータに追加する。

ステップＳ１８０４において、映像解析部３１１は、集合動線に含まれるすべての個別動線について、ステップＳ１８０２及びステップＳ１８０３の処理を終了したか否かを判定する。映像解析部３１１は、処理が終了した場合には（ステップＳ１８０４でＹｅｓ）、処理をステップＳ１８０５へ進める。映像解析部３１１は、処理が終了していない場合には（ステップＳ１８０４でＮｏ）、処理をＳ１８０２へ進める。この場合、映像解析部３１１は、Ｓ１８０２において、未処理の個別動線を１つ取得し、Ｓ１８０３以降の処理を繰り返す。

ステップＳ１８０５において、映像解析部３１１は、提示時刻に基づいて、提示範囲をソートする。具体的には、映像解析部３１１は、提示時刻が最新時刻に近い順に、提示範囲をソートする。この処理は、次に続く、再生リスト生成処理（ステップＳ１１０４）において、時刻順となるような再生リストを作成するために行うものである。すなわち、再生リスト生成処理においては、映像解析部３１１は、ステップＳ１８０５においてソートされた順に従い、再生順８０１を決定する。

図１９は、第２の実施形態に係る再生リスト生成処理（ステップＳ１１０４）における詳細な処理を示すフローチャートである。ステップＳ１９０１において、映像解析部３１１は、提示範囲のデータから、監視カメラ１００を特定する。本実施形態においては、対象領域は固定である。したがって、提示範囲のデータに示されるすべての提示範囲について、１つの監視カメラ１００を定めることができる。ステップＳ１９０１の処理は、提示領域に基づいて、撮影手段としての監視カメラ１００を選択する選択処理の一例である。

次に、ステップＳ１９０２において、映像解析部３１１は、提示範囲のデータの先頭から順に１つのレコード、すなわち１つの提示範囲を読み込む。次に、ステップＳ１９０３において、映像解析部３１１は、ステップＳ１９０２において読み込んだ提示範囲の提示期間が、その直前に読み込んだ提示範囲の提示期間と連続であるか否かを判定する。なお、映像解析部３１１は、撮影期間の境界位置の差分が所定値以下の場合に、連続すると判断するものとする。映像解析部３１１は、連続しない場合には（ステップＳ１９０３でＮｏ）、処理をステップＳ１９０４へ進める。映像解析部３１１は、連続する場合には（ステップＳ１９０３でＹｅｓ）、処理をステップＳ１９０７へ進める。

ステップ１９０４において、映像解析部３１１は、作成済みのレコードを再生リストに追加する。次に、ステップＳ１９０５において、映像解析部３１１は、新規レコードを作成する。次に、ステップＳ１９０６において、映像解析部３１１は、新規レコードの開始時刻に、ステップＳ１９０２で読み込んだ提示期間の開始時刻を設定する。一方、ステップ１９０７において、映像解析部３１１は、新規レコードは作成せず、保持している再生リストのレコードの終了時刻に、ステップＳ１９０２で読み込んだ提示期間の終了時刻を設定する。なお、終了時刻が既に設定されている場合には、映像解析部３１１は、終了時刻を上書き（更新）する。

ステップＳ１９０８において、映像解析部３１１は、提示範囲のデータに示されるすべてのレコード（提示範囲）について、ステップＳ１９０２〜ステップＳ１９０７の処理を終了したか否かを判定する。映像解析部３１１は、処理が終了した場合には（ステップＳ１９０８でＹｅｓ）、再生リスト生成処理を終了する。映像解析部３１１は、処理が終了していない場合には（ステップＳ１９０８でＮｏ）、処理をＳ１９０２へ進める。この場合、映像解析部３１１は、Ｓ１９０２において、未処理の撮影範囲を読み込み、Ｓ１９０３以降の処理を繰り返す。ステップＳ１９０９において、映像解析部３１１は、作成済みレコードを再生リストに追加し、再生リスト生成処理を終了する。なお、第２の実施形態に係る監視システムのこれ以外の構成及び処理は、第１の実施形態に係る監視システムの構成及び処理と同様である。

以上のように、第２の実施形態に係る監視システムは、集合動線上において、滞留の発生した時刻のみを連続して再生することができる。したがって、ユーザは、施設のレイアウト上の課題や顧客の興味対象等を効率的に把握することが可能となる。

なお、第２の実施形態に係る監視システムの第１の変更例としては、監視サーバ装置１１０は、動線取得要求を受信した場合に、再生リストを生成するが、再生リストの生成タイミングは、実施形態に限定されるものではない。すなわち、監視サーバ装置１１０は、集合動線が得られた後、動線取得要求を受信する前に、事前に再生リストを生成してもよい。この場合、最新の滞留映像を提示範囲に含めることはできないが、映像再生開始までの時間を短縮することができる。

また、第２の変更例としては、監視サーバ装置１１０は、滞留に替えて、集合動線上の異なる時刻毎の複数点における人物の密度を特定してもよい（密度特定処理）。そして、監視サーバ装置１１０は、人物の密度が所定の値を超えた領域及び期間に基づいて、提示範囲を特定し、この提示範囲に基づいて、再生リストを生成してもよい。この場合には、モバイル端末１２０の表示装置２０４には、人物の密度の高い領域の映像が連続再生される。したがって、ユーザは、混雑発生の原因等を効率的に把握することが可能である。

また、第３の変更例としては、監視サーバ装置１１０は、提示範囲特定処理において、提示対象の集合動線に含まれるすべての個別動線に対応する提示範囲を特定するのに替えて、一部の個別動線に対応する提示範囲のみを特定してもよい。例えば、映像解析部３１１は、所定数の個別動線に対応する提示範囲が得られた時点で、提示範囲の特定を終了してもよい。これにより、蓄積された個別動線数が多い場合に、映像再生の開始を早めることができる。

（第３の実施形態）
次に、第３の実施形態に係る監視システムについて説明する。なお、ここでは、第３の実施形態に係る監視システムについて、他の実施形態に係る監視システムと異なる部分について説明する。第３の実施形態に係る監視システムは、ユーザにより特定された個別動線に基づいて、提示範囲を特定する。すなわち、本実施形態に係る監視サーバ装置１１０は、集合動線を抽出する処理は行わなくともよい。

図２０は、第３の実施形態に係る監視サーバ装置１１０に設定されている設定情報の一例を示す図である。提示範囲及び提示期間には、それぞれ「個別動線の通過範囲」及び「個別動線の存在時刻」と設定されている。これは、個別動線の通過範囲を提示領域として特定し、個別動線が存在する期間を提示時刻として特定することを示している。したがって、図７に示す提示範囲のデータには、個別動線の観測点の時刻及び位置が記録される。そして、映像解析部３１１は、提示範囲のデータから、個別動線が同一の監視カメラ１００によって連続して撮影されていた区間を統合し、図８に示す再生リストを生成する。

図２１は、第３の実施形態に係る監視システムの利用形態の説明図である。図２１（Ａ）は、モバイル端末１２０を所持しているユーザ２１００が、施設内の不審者２１０１を見ている場面である。ここでユーザ２１００は、施設のスタッフ等であり、不審者２１０１は施設に訪れている顧客等である。図２１（Ｂ）は、ユーザ２１００がモバイル端末１２０を介して不審者２１０１を含む監視空間２１１０を見たときの、モバイル端末１２０の表示装置２０４に表示される表示画面２１２０の一例を示す図である。表示画面２１２０には、モバイル端末１２０の撮影処理部３２２による撮影中の撮影映像２１２１が表示されている。さらに、撮影映像２１２１上に、監視サーバ装置１１０から受信した提示映像２１２２が重畳表示されている。提示映像２１２２は、不審者２１０１の過去の行動を捉えた映像である。提示映像２１２２には、撮影された時刻や、不審者２１０１の個別動線を表示するオブジェクトを付加することもできる。撮影映像２１２１上には、さらに仮想オブジェクトとしての切替表示２１２３が重畳表示されている。切替表示２１２３は、図４（Ｂ）を参照しつつ説明した、切替表示４２４と同様である。

図２１（Ｃ）は、ユーザからの切替指示に従い切り替えられた後の表示画面２１３０の一例を示す図である。表示画面２１３０の提示映像２１３２は、提示映像２１２２よりも過去の撮影時刻に撮影された映像である。すなわち、提示映像２１３２は、提示映像２１２２とは、撮影場所及び撮影時刻の異なる映像である。本実施形態に係る監視システムは、このように、不審者２１０１の移動に沿って、位置及び時刻の異なる映像を連続して再生表示することができる。したがって、ユーザは、万引き等の行動がなかったかを効率的に確認することができる。

図２２は、個別動線と提示映像の関係を示す図である。図５と同様に、監視空間２２００は、撮影位置（ｘ、ｙ）に、撮影時刻を加えた３次元空間で表現される。撮影位置と撮影時刻を特定することで、映像を一意に定めることができる。本実施形態では、提示対象の空間的位置及び時刻を、個別動線に合わせて移動することで、提示範囲２２１０が切り替わっている。

次に、第３の実施形態に係る監視サーバ装置１１０による処理について説明する。第３の実施形態においては、監視サーバ装置１１０は、動線抽出処理において、個別動線の抽出を行うが、集合動線の抽出は行わない。すなわち、監視サーバ装置１１０は、図１０に示す動線抽出処理のうち、ステップＳ１００１〜ステップＳ１００３の処理を行う。一方、監視サーバ装置１１０は、ステップＳ１００４〜ステップＳ１００６の処理は行わなくともよい。

図２３は、第３の実施形態に係る監視サーバ装置１１０による、提示範囲特定処理を示すフローチャートである。ステップＳ２３０１において、通信処理部３１３は、モバイル端末１２０から、移動オブジェクトの選択情報を受信する。なお、モバイル端末１２０においては、ユーザがモバイル端末１２０の入力装置２０８を操作し、不審人物等の移動オブジェクトが選択される。モバイル端末１２０の通信処理部３２４は、移動オブジェクトが選択されると、移動オブジェクトが選択された時刻と、選択された位置とを含む選択情報を監視サーバ装置１１０に送信する。

次に、ステップＳ２３０２において、映像解析部３１１は、選択情報に示される位置（以下、移動オブジェクト位置と称する）に近い位置に存在する個別動線を抽出する（動線抽出処理）。具体的には、映像解析部３１１は、移動オブジェクト位置との距離が閾値以下の個別動線を抽出する。なお、映像解析部３１１は、動線抽出処理時に、動線抽出時期が古い個別動線を破棄し、最近の個別動線だけをリスト化する処理を行ってもよい。これにより、選択された移動オブジェクトのものである可能性の高い個別動線を効率的に抽出することができる。次に、ステップＳ２３０３において、映像解析部３１１は、移動オブジェクトが選択された時刻における、移動オブジェクトの位置と、個別動線の観測点とを比較する。そして、映像解析部３１１は、個別動線の観測点の位置が、移動オブジェクト位置と一致する個別動線を提示対象の個別動線として選択する。

次に、ステップＳ２３０４において、映像解析部３１１は、ステップＳ２３０３において選択した、提示対象の個別動線に基づいて、提示範囲を設定する。なお、ステップＳ２３０４〜ステップＳ２３１０の処理は、第１の実施形態において、図１１を参照しつつ説明した提示映像送信処理における、ステップＳ１１０３〜ステップＳ１１０９の処理と同様である。但し、本実施形態においては、映像解析部３１１は、提示対象の集合動線を参照する処理については、提示対象の集合動線に替えて、提示対象の個別動線を参照することとする。

提示範囲特定処理（ステップＳ２３０４）は、図１２に示す、第１の実施形態に係る提示範囲特定処理とほぼ同様の処理を行う。但し、集合動線に替えて、提示対象の個別動線を処理対象とする。具体的には、ステップＳ１２０１において、映像解析部３１１は、提示対象の個別動線の先頭を検出する。次に、ステップＳ１２０２において、映像解析部３１１は、ステップＳ１２０１において検出した先頭位置から順に、個別動線の時刻に沿って、個別動線内の観測点を１つ特定する。次に、ステップＳ１２０３において、映像解析部３１１は、ステップＳ１２０２において特定した観測点の位置と時刻に基づいて、提示範囲を特定する。映像解析部３１１は、以上の処理を個別動線に含まれるすべての観測点に対して実行する（ステップＳ１２０４）。

図２４は、第３の実施形態に係る監視サーバ装置１１０による、再生リスト生成処理（ステップＳ２３０５）における詳細な処理を示すフローチャートである。ステップＳ２４０１において、映像解析部３１１は、提示範囲のデータの先頭から順に、１つのレコード、すなわち１つの提示範囲を読み込む。次に、ステップＳ２４０２において、映像解析部３１１は、提示範囲に対応する監視カメラ１００を特定する。次に、ステップＳ２４０３において、映像解析部３１１は、特定した監視カメラ１００が１つ前の提示範囲のデータのレコードから特定された監視カメラ１００と同一か否かを判定する。映像解析部３１１は、同一の場合には（ステップＳ２４０３でＹｅｓ）、処理をステップＳ２４０７へ進める。映像解析部３１１は、同一でない場合には（ステップＳ２４０３でＮｏ）、処理をステップＳ２４０４へ進める。

ステップＳ２４０４において、映像解析部３１１は、作成済みレコードを再生リストに追加する。次に、ステップＳ２４０５において、映像解析部３１１は、新規レコードを作成する。次に、ステップＳ２４０６において、映像解析部３１１は、新規レコードの開始時刻に、ステップＳ２４０１で読み込んだ提示範囲の提示期間の開始時刻を設定する。一方、ステップＳ２４０７において、映像解析部３１１は、新規レコードは作成せず、保持している再生リストのレコードの終了時刻に、ステップＳ２４０１で読み込んだ提示期間の終了時刻を設定する。

ステップＳ２４０８において、映像解析部３１１は、提示範囲のデータに示されるすべてのレコード（提示範囲）について、ステップＳ２４０１〜ステップＳ２４０７の処理を終了したか否かを判定する。映像解析部３１１は、処理が終了した場合には（ステップＳ２４０８でＹｅｓ）、再生リスト生成処理を終了する。映像解析部３１１は、処理が終了していない場合には（ステップＳ２４０８でＮｏ）、処理をＳ２４０１へ進める。この場合、映像解析部３１１は、Ｓ２４０１において、未処理の撮影範囲を読み込み、ステップＳ２４０２以降の処理を繰り返す。ステップＳ２４０９において、映像解析部３１１は、作成済みレコードを再生リストに追加し、再生リスト生成処理を終了する。なお、第３の実施形態に係る監視システムのこれ以外の構成及び処理は、他の実施形態に係る監視システムの構成及び処理と同様である。

以上のように、本実施形態に係る監視システムは、特定の人物に係る個別動線に沿って、その人物が映された映像を連続して再生表示することができる。したがって、ユーザは、人物の行動把握を効率的に行うことができる。ユーザは、例えば、施設内の不審人物の過去行動を映像で確認することで、万引き等の不審行動がなかったかを迅速に把握することができる。

第３の実施形態に係る監視システムの変更例としては、提示対象の個別動線を選択するための処理は、実施形態に限定されるものではない。他の例としては、監視サーバ装置１１０は、ユーザと同伴行動をとった後にはぐれた人物の動線を提示対象動線としてもよい。この場合には、ツアー等で引率者とはぐれたツアー客をすばやく発見することができるとともに、はぐれ時の映像を確認できるため、はぐれの原因の分析等に役立てることができる。

以上のように、本実施形態に係る監視システムによれば、ユーザは監視カメラから独立したデバイスを用いて、動線に沿って映像を移動させながら閲覧することができる。また、ユーザは、滞留発生等の動線上の特徴に基づいて、動線上の位置や時刻を切り替えた映像を閲覧することができる。このように、ユーザは、監視カメラが撮影した映像を効率的に見ることができるので、状況把握の効率化を図ることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、上述した各実施形態によれば、撮影映像を活用した動線解析を自動的に行い、解析結果に応じた映像を提供することにより、観察者による映像の確認作業の効率化を図ることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 監視カメラ
１１０ 監視サーバ装置
１２０ モバイル端末
３１０ 映像管理部
３１１ 映像解析部
３１２ 映像再生制御部
３１４ 映像ＤＢ
３１５ 動線ＤＢ
３１６ 再生リスト
３２０ 表示処理部

Claims (15)

1. １以上の移動オブジェクトを撮影する１以上の撮影装置と、情報処理装置と、ユーザが所持する携帯端末とを有する情報処理システムであって、
   前記情報処理装置は、
   前記撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出手段と、
   前記抽出された動線のうち、前記携帯端末の位置の周辺領域に含まれる動線、または前記携帯端末が備える撮影部による撮影領域に含まれる動線を前記ユーザに提示する対象となる動線として選択する選択手段と、
   前記選択された動線を、１以上の撮影装置が撮影した時空間において、提示範囲となる提示領域を特定する範囲特定手段と、
   前記提示範囲に基づいて、前記ユーザに提示する提示映像を特定する映像特定手段と、
   前記提示映像を出力する出力手段と
   を有し、
   前記携帯端末は、
   前記提示映像を前記情報処理装置から受信する受信手段と、
   前記提示映像を表示する表示手段と
   を有することを特徴とする情報処理システム。
2. 前記範囲特定手段は、前記提示領域を特定し、さらに、前記提示領域と、予め定められた提示期間と、に基づいて、前記提示範囲を特定することを特徴とする請求項１に記載の情報処理システム。
3. 複数の前記撮影装置を有し、
   前記範囲特定手段は、一定の前記提示領域を特定し、
   前記提示領域に基づいて、前記撮影装置を選択する選択手段をさらに有し、
   前記映像特定手段は、前記選択手段により選択された前記撮影装置により得られた映像の中から、提示映像を特定することを特徴とする請求項１に記載の情報処理システム。
4. 前記出力手段は、前記提示映像が出力される出力処理時点が前記提示期間として設定されている場合には、出力処理時点において撮影されたリアルタイム映像を前記提示映像としてリアルタイムに出力し、前記提示映像が出力される出力処理時点よりも過去の前記提示期間が設定されている場合には、前記提示期間に撮影された前記提示映像を出力することを特徴とする請求項２に記載の情報処理システム。
5. 前記範囲特定手段は、前記提示期間を特定し、さらに、前記提示期間と、予め定められた提示領域と、に基づいて、前記提示範囲を特定することを特徴とする請求項２に記載の情報処理システム。
6. 前記範囲特定手段は、前記動線に対応する映像が撮影された期間に基づいて、前記提示期間を特定することを特徴とする請求項５に記載の情報処理システム。
7. 前記範囲特定手段は、前記動線に基づいて、前記提示領域と、前記提示期間と、を特定し、さらに前記提示領域と、前記提示期間と、に基づいて、前記提示範囲を特定することを特徴とする請求項２に記載の情報処理システム。
8. 撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出手段と、
   前記抽出された動線のうち、ユーザが所持する携帯端末の位置の周辺領域に含まれる動線、または前記携帯端末が備える撮影部による撮影領域に含まれる動線を前記ユーザに提示する対象となる動線として選択する選択手段と、
   前記選択された動線を、１以上の撮影装置が撮影した時空間において、提示範囲となる提示領域を特定する範囲特定手段と、
   前記提示範囲に基づいて、前記ユーザに提示する提示映像を特定する映像特定手段と
   を有することを特徴とする情報処理装置。
9. １以上の移動オブジェクトを撮影する１以上の撮影装置と、情報処理装置と、携帯端末とを有する情報処理システムであって、
   前記情報処理装置は、
   前記撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出手段と、
   前記動線に基づいて、前記撮影装置により撮影された時空間において、提示範囲となる提示領域又は提示期間のうち少なくとも一方を特定する範囲特定手段と、
   前記提示範囲に基づいて、ユーザに提示する提示映像を特定する映像特定手段と
   を有し、
   前記携帯端末は、
   前記携帯端末の位置に基づいて、前記提示映像を再生表示するか否かを判断する判断手段と、
   再生表示すると判断された場合に、前記提示映像を前記情報処理装置から受信する受信手段と、
   前記提示映像を表示する表示手段と
   を有することを特徴とする情報処理システム。
10. 前記携帯端末は、
    撮影手段をさらに有し、
    前記判断手段は、前記携帯端末の位置及び前記撮影手段による撮影領域に基づいて、前記提示映像を再生表示するか否かを判断することを特徴とする請求項９に記載の情報処理システム。
11. 前記表示手段は、前記撮影手段により撮影された映像上に、前記提示映像を重畳して表示することを特徴とする請求項１０に記載の情報処理システム。
12. １以上の移動オブジェクトを撮影する１以上の撮影装置と、情報処理装置と、ユーザが所持する携帯端末とを有する情報処理システムが実行する情報処理方法であって、
    前記情報処理装置が、前記撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出ステップと、
    前記情報処理装置が、前記抽出された動線のうち、前記携帯端末の位置の周辺領域に含まれる動線、または前記携帯端末が備える撮影部による撮影領域に含まれる動線を前記ユーザに提示する対象となる動線として選択する選択ステップと、
    前記選択された動線を、１以上の撮影装置が撮影した時空間において、提示範囲となる提示領域を特定する範囲特定ステップと、
    前記情報処理装置が、前記提示範囲に基づいて、前記ユーザに提示する提示映像を特定する映像特定ステップと、
    前記情報処理装置が、前記提示映像を出力する出力ステップと、
    前記携帯端末が、前記提示映像を前記情報処理装置から受信する受信ステップと、
    前記携帯端末が、前記提示映像を表示する表示ステップと
    を含むことを特徴とする情報処理方法。
13. 情報処理装置が実行する情報処理方法であって、
    撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出ステップと、
    前記抽出された動線のうち、ユーザが所持する携帯端末の位置の周辺領域に含まれる動線、または前記携帯端末が備える撮影部による撮影領域に含まれる動線を前記ユーザに提示する対象となる動線として選択する選択ステップと、
    前記選択された動線を、１以上の撮影装置が撮影した時空間において、提示範囲となる提示領域を特定する範囲特定ステップと、
    前記提示範囲に基づいて、前記ユーザに提示する提示映像を特定する映像特定ステップと
    を含むことを特徴とする情報処理方法。
14. １以上の移動オブジェクトを撮影する１以上の撮影装置と、情報処理装置と、携帯端末とを有する情報処理システムが実行する情報処理方法であって、
    前記情報処理装置が、前記撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出ステップと、
    前記情報処理装置が、前記動線に基づいて、前記撮影装置により撮影された時空間において、提示範囲となる提示領域又は提示期間のうち少なくとも一方を特定する範囲特定ステップと、
    前記提示範囲に基づいて、ユーザに提示する提示映像を特定する映像特定ステップと、
    前記携帯端末が、前記携帯端末の位置に基づいて、前記提示映像を再生表示するか否かを判断する判断ステップと、
    前記携帯端末が、再生表示すると判断した場合に、前記提示映像を前記情報処理装置から受信する受信ステップと、
    前記携帯端末が、前記提示映像を表示する表示ステップと
    を含むことを特徴とする情報処理方法。
15. コンピュータを、
    撮影装置により得られた映像から、１以上の移動オブジェクトの動線を抽出する動線抽出手段と、
    前記抽出された動線のうち、ユーザが所持する携帯端末の位置の周辺領域に含まれる動線、または前記携帯端末が備える撮影部による撮影領域に含まれる動線を前記ユーザに提示する対象となる動線として選択する選択手段と、
    前記選択された動線を、１以上の撮影装置が撮影した時空間において、提示範囲となる提示領域を特定する範囲特定手段と、
    前記提示範囲に基づいて、前記ユーザに提示する提示映像を特定する映像特定手段と
    して機能させるためのプログラム。

Images