JPWO2014097699A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数カメラで人物監視を行う場合に、効率的に人物を監視することのできる情報処理システム、情報処理方法、及びプログラムを提供する。【解決手段】複数の撮影装置２００で撮影された映像の入力を受ける通信部１１０と、撮影装置２００で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測する条件照合部１５３と、 前記予測された撮影装置をユーザに報知する結果出力部１６０とを備える。

Description

本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。

近年、複数のカメラの映像を利用して人物監視を行うシステムが考えられている。例えば特許文献１は、複数のカメラを用いてオープンスペース等の所定領域を撮影することで、人物の移動方向に基づいて、人物の特徴をズーム撮影することや、人物の座標に応じて優先順位をつけて、撮影する人物を選択すること等のできるシステムを開示している。

特開２０１１−０８７２１４号公報

特許文献１記載の手法では、あくまで１つの撮影範囲内のみを監視対象としているため、異なる範囲を撮影するカメラ間で追跡を行う場合や撮影範囲外で何らかの異常事態が発生した場合等に関しては、何ら考慮していない。複数のカメラを用いてそれぞれ異なる撮影範囲を撮影する場合には、効率的な監視体制を構築することが求められている。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、複数カメラで人物監視を行う場合に、効率的に人物を監視することのできる情報処理システム、情報処理方法、及びプログラムを提供することを目的の１つとする。

本発明に係る情報処理システムは、複数の撮影装置で撮影された映像の入力を受ける入力手段と、撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測する予測手段と、前記予測された撮影装置をユーザに報知する報知手段とを備える。

本発明に係る情報処理方法は、複数の撮影装置で撮影された映像の入力を受けるステップと、撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測するステップと、前記予測された撮影装置をユーザに報知するステップとを情報処理システムが行う。

本発明に係るプログラムは、複数の撮影装置で撮影された映像の入力を受ける処理と、撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測する処理と、前記予測された撮影装置をユーザに報知する処理とをコンピュータに実行させる。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、複数カメラで人物監視を行う場合に、効率的に人物を監視することのできる情報処理システム、情報処理方法、及びプログラムを提供することができる。

実施形態に係る映像監視システムの概要の具体例を説明するための図である。 実施形態に係る映像監視システムの概要の具体例を説明するための図である。 実施形態に係る映像監視システムの概略構成を示す機能ブロック図である。 図３に示す映像監視システムに設定される条件の具体例を示す図である。 図３に示す映像監視システムの動作フローを示す図である。 図３に示す映像監視システムの処理の流れを示すフローチャートである。 図３に示す映像監視システムの処理の流れを示すフローチャートである。 図３に示す映像監視システムの処理の流れを示すフローチャートである。 図３に示す映像監視システムの処理の流れを示すフローチャートである。 図３に示す映像監視システムの処理の流れを示すフローチャートである。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（実施形態）
図１乃至図１０は、実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに沿って本実施形態を説明する。まず「１」で実施形態の概要を説明すると共に、「２」でシステムの機能構成の概要を示す。更に、「３」で処理の流れを説明し、最後に、「４」以降で、本実施形態に係る効果等を説明する。

（１ 実施形態の概要）
（１．１ 全体の概要）
近年、空港などの重要施設には監視カメラの導入が進んでおり、その結果、数千台のビデオカメラが１つの施設に導入されることも珍しくなくなっている。しかしながら、数千台に及ぶビデオカメラであっても、重要施設全体を網羅することはできず、その一部を映し出せるに過ぎないことが大半である。

この課題を解決しようとすると、まずビデオカメラ台数を増やして死角をなくすことが考えられるが、コスト面だけでなく、警備運用上も課題があるため、実現は困難である。また、撮影領域外を対象として警備員が巡回することも考えられるが、このような場合にも、巡回している時間及び場所しか警備していないため、巡回するまで異常に気づかないという課題がある。常時警備員による立哨も考えられるが、これはコストが膨大となってしまうため現実的ではない。そこで、撮影領域ではない場所があったとしても、監視カメラの撮影領域外で発生した警備機能を映像監視システムに取り込むことが求められている。検出できるようにすることが求められている。

そこで、本実施形態に係る映像監視システムでは、対象人物の位置及び同一人物判定により、監視カメラの撮影範囲から撮影領域外に移動した人物の動作を予測することにより、次に当該人物が撮影されるビデオカメラ（監視カメラ）を予測したり早期警戒を促したりすることを可能とする機能を有する。以下、映像監視システム内の情報処理装置が、人物同定等の各種処理を行うものとして説明する。

（１．２ 処理の具体例）
（１．２．１ 具体例１）
本実施形態に係る情報処理装置の処理の具体例１を、図１を参照しながら説明する。図１の例では、Ｙ字状の通路に３台のカメラ（ビデオカメラ）Ｃ１乃至Ｃ３が設置されており、それぞれ独立した撮影領域Ｒ１乃至Ｒ３を撮影している。

監視対象の人物は、時刻ｔにはカメラＣ１の撮影領域Ｒ１内である座標（ｘ_ｔ，ｙ_ｔ）に、時刻ｔ＋１には同じくカメラＣ１の撮影領域Ｒ１内である座標（ｘ_ｔ+1，ｙ_ｔ+1）に、時刻ｔ＋２には、カメラＣ１乃至Ｃ３の撮影領域外である領域（イ）内の座標（ｘ_ｔ+2，ｙ_ｔ+2）にいる。なお、ここでｘ_ｔ+2＞ｘ_ｔ+1＞ｘ_ｔ+0、ｙ_ｔ+2＞ｙ_ｔ+1＞ｙ_ｔである
ものとする。

このとき、通常であれば、カメラＣ１乃至Ｃ３の撮影領域外である領域（イ）に監視対象の人物がいる時刻ｔ＋２には、当該人物の居場所は不明であり、次に人物が出現する位置も不明である。

しかしながら、本実施形態に係る情報処理装置は、監視対象の人物がｙ軸の正方向に移動している情報に基づき、時刻ｔ＋２には、撮影領域Ｒ１よりもｙ軸の正方向の位置にある領域（イ）に移動しているものと予測する。また、次に人物が出現する位置は、人物がｘ軸正方向に動いていたという情報に基づき、撮影領域Ｒ２であるものと予測する。
より一般化すると、情報処理装置は、以下のようなルールに基づき、時刻ｔ＋２の人物の位置や次に現れる撮影領域を予測する。

・撮影領域Ｒ１に現れた人物のうち、ｙの正方向に移動する人物は、領域（イ）に移動する。
・撮影領域Ｒ１に現れた人物のうち、ｙの正方向に移動する人物は、次に撮影領域Ｒ２又はＲ３に現れる可能性が高い。
・撮影領域Ｒ１からｙの正方向に移動する人物のうち、ｘの正方向に移動する人物は撮影領域Ｒ２に移動する可能性が高く、ｘの負方向に移動する人物は撮影領域Ｒ３に移動する可能性が高い。

（１．２．２ 具体例２）
次に、本実施形態に係る情報処理装置の処理の具体例２を、図２を参照しながら説明する。図２の例では、Ｈ字状の通路に２台のカメラ（ビデオカメラ）Ｃ４及びＣ５が設置されており、それぞれ独立した撮影領域Ｒ４及びＲ５を撮影している。

監視対象の人物は、時刻ｔにはカメラＣ４の撮影領域Ｒ４内である座標（ｘ_ｔ，ｙ_ｔ）に、時刻ｔ＋１には同じくカメラＣ４の撮影領域Ｒ４内である座標（ｘ_ｔ+1，ｙ_ｔ+1）に、時刻ｔ＋２には、カメラＣ４及びＣ５の撮影領域外である領域（ウ）内の座標（ｘ_ｔ+2，ｙ_ｔ+2）にいる。なお、ここでｘ_ｔ+2＞ｘ_ｔ+1＞ｘ_ｔ+0、ｙ_ｔ+2＞ｙ_ｔ+1＞ｙ_ｔであるものとする。

このとき、通常であれば、人物がカメラＣ４及びＣ５の撮影領域外である領域（ウ）にいる時刻ｔ＋２における人物の居場所は不明であり、次に人物が出現する位置も不明である。また、人物が不審な行動を取っているか否かもわからない。

しかしながら、本実施形態に係る情報処理装置は、監視対象の人物がｘ軸の正方向に移動している情報に基づき、時刻ｔ＋２には、撮影領域Ｒ４よりもｘ軸の正方向の位置にある撮影領域（ウ）に移動しているものと予測する。また、次に人物が出現する位置は、人物がｘ軸正方向に動いていたという情報に基づき、撮影領域Ｒ５であるものと予測する。

更に、以下の式により求まる監視対象人物の速度に基づき、予測される出現時刻になっても監視対象人物が撮影領域Ｒ５に出現しない場合には、情報処理装置は、当該人物は不審行動を取っている可能性が高いものと予測できる。

より一般化すると、情報処理装置は、以下のようなルールに基づき、時刻ｔ＋２の人物の位置や次に現れる撮影領域、及び不審行動を取っているか否かを予測する。

・撮影領域Ｒ４に現れた人物のうち、ｙの正方向に移動する人物は、領域（ウ）又は領域（エ）に移動する。
・撮影領域Ｒ４に現れた人物のうち、ｘの正方向に移動する人物は、領域（ウ）に移動する可能性が高い。
・撮影領域Ｒ４に現れた人物のうち、ｘの正方向、ｙの正方向に移動してＲ４の撮影対象外となった人物は、次に撮影領域Ｒ５に出現する可能性が高い。
・領域（ウ）を通過する速度ｚに撮影領域Ｒ４外となった経過時間（現在時刻ｔ＋２と時刻ｔ＋１の差分）の積が、領域（ウ）の幅ｒを大幅に上回る場合には、当該人物は撮影領域（ウ）内で不審な行動を取っている可能性がある。

情報処理装置は、このように、各ビデオカメラでの撮影映像から人物の動きを特定すると共に、当該情報やルールに基づき、当該人物が撮影領域外にいる場合であっても、位置や次に現れる撮影領域、不審行動を取っているか否か等を予測する。

（２ システムの機能構成）
（２．１ システム構成）
以下、図３を参照しながら、本実施形態に係るシステムの機能構成を説明する。図３は、映像監視システム１のシステム構成を示すブロック図である。

映像監視システム１は、大きく分けて、情報処理装置１００と、撮影機器２００（撮影機器２００Ａ乃至２００Ｎを総称して撮影機器２００と呼ぶ。）と、結果保存ＤＢ３００と、結果表示装置４００とから構成される。

撮影機器２００は、映像（動画像）や静止画像を撮影する装置である。撮影機器２００の具体例としては、例えばカラーカメラやモノクロカメラ、サーモカメラ等が考えられる。撮影される画像のデータ形式は種々考えられるが、例えば、静止画像であれば、画像解析処理時に一般的な画像形式であるＢＭＰやＪＰＧ等とすることが考えられる。
撮影機器２００は、画像を撮影する撮影部２１０及び撮影した映像や静止画像を送信する通信部２２０を有する。

撮影部２１０は、例えばレンズやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子等の、画像を撮影するための各種機能を備える。通信部２２０は、例えばＢＮＣ（Ｂａｙｏｎｅｔ Ｎｅｉｌｌ Ｃｏｎｃｅｌｍａｎ）端子やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子と共に、撮影部２１０で撮影した画像を所定の形式の画像データとして保存するとともに、所定の通信規格に基づいて当該画像データを外部に送信するための機能を備える。なお、通信部２２０による画像伝送の形式は、例えば同軸ケーブルによるアナログ方式や、イーサネット（登録商標）ケーブルによるデジタル方式等、種々考えることができる。

情報処理装置１００は、撮影機器２００で撮影された画像に対して人物検出等の各種処理を行うことにより、人物監視を行うための装置である。情報処理装置１００は、例えばサーバ機器等を具体例として挙げることができるコンピュータハードウェアであり、一般的なサーバ機器等と同じく、図示しない演算装置や主記憶装置１７０、図示しない補助記憶装置、通信部１１０等を備える。

図３の例において、情報処理装置１００は、通信部１１０、画像解析部１２０、同一人物判定部１３０、警戒線／領域設定部１４０、条件判定部１５０、結果出力部１６０、及び主記憶装置１７０を有する。なお、情報処理装置１００を構成する各部は、お互いに計算や照合の結果生成したデータを互いに送受信（入出力）する機能を有する。

通信部１１０は、情報処理装置１００外部の各種装置と通信するための通信インタフェースであり、例えば、撮影機器２００の通信部２２０と通信することにより、画像データを受信する機能を有する。
画像解析部１２０は、例えばコンピュータプログラムとして実現することができ、人物検出部１２１、位置検出部１２３、及び人物特徴抽出部１２５を有する。

人物検出部１２１は、撮影機器２００から受信した画像データに対し、例えば、既知の技術である背景差分法及び人物モデルマッチングによる人物認識法を用いて解析処理することにより、撮影された画像に映っている人物部分を検出する機能を有する。人物検出部１２１は、検出した人物部分（画像の一部である人物画像）に対しては、検出したカメラ（撮影機器２００）、検出された人物に対して一意に割り当てられる識別情報、および検出時刻に係る情報を付与する。ここで、識別情報は、ＩＤ番号などの文字列である。検出時刻も、数値による文字列である。
位置検出部１２３は、人物検出部１２１によって検出された人物部分の位置を、仮想空間上の座標値として検出する機能を有する。

人物特徴抽出部１２５は、人物検出部１２１によって検出された人物部分に該当する画像データ（人物画像）から、人物の服装などの色特徴を抽出する機能を有する。ここで、抽出される人物の色特徴は、ＲＧＢの数値データや、１６進数のカラーコード等、コンピュータプログラム上で利用可能な形式で記述される。

同一人物判定部１３０は、例えばコンピュータプログラムとして実現することができる。同一人物判定部１３０は、位置検出部１２３により検出された座標値及び識別情報、並びに人物特徴抽出部１２５によって検出された人物の色特徴情報を元に、同一人物か否かを判定する機能と、同一と判断した人物の識別情報同士に対して、どの移動方向の関係を近似とするかを設定する機能とを有する。同一人物の判定については、同一人物であるか否かを判定する閾値を設定する機能を持ち、識別情報が同一の座標値及び色特徴情報については、座標値の近似及び色特徴情報の近似を判定基準として、これらの値が近似しているほど同一人物である可能性が高いと判定する。また、近似度を計算した結果、当該近似度が閾値を超えた場合には、同一人物判定部１３０は、両人物を同一人物であるものと判定する。更に、識別情報が異なる座標値及び色特徴情報に関しては、色特徴情報の近似を判定した上で、近似度が高いものから順に、時刻情報の近似と、位置情報の座標値の変化から移動方向を計算した結果とを合わせて、同一人物判定部１３０は同一人物であるか否かを判定する。もし、移動方向の関係が、識別情報同士に対して設定された近似の移動方向と合致する場合は、同一人物判定部１３０は移動方向が近似しているものと判定する。同一人物判定部１３０は、この移動方向の近似と時刻情報の近似とを合わせて、近似度が閾値を超えた場合には、両人物を同一人物であるものと判定する。

同一人物判定部１３０は、同一人物と判定した人物の識別情報同士に対して、同一人物識別情報を付与して紐付ける。ここで、同一人物識別データは、ＩＤ番号などの文字列である。

警戒線／領域設定部１４０は、例えばコンピュータプログラムとして実装可能である。警戒線／領域設定部１４０は、警戒線として、ある一つの座標から他の座標の二点間を結ぶ線分を任意の個数設定する機能と、警戒領域として任意の点を設定し、それぞれの点を線分で結んだ場合に１つの矩形となる領域を任意の個数設定する機能とを有する。

ここで、警戒線に関しては、線分の２点の座標値から線分の傾きを計算した上で、線分が垂直又は右上がりに傾いている場合には、線分の上及び左側、又は線分の下及び右側のどちらがわから線分を通過する人物を対象とするかを設定する機能と、線分が水平または右下がりに傾いている場合には、線分の上及び右側、又は線分の下及び左側、のどちらがわから線分を通過する人物を対象とするかを設定する機能とを警戒線／領域設定部１４０は有する。

また、警戒領域に関しては、警戒線／領域設定部１４０は矩形の領域の内部を人物の判定範囲とする。以下、通過方向が設定された警戒線を対象線、矩形の内部が判定範囲となった警戒領域を対象領域という。
条件判定部１５０は、例えばコンピュータプログラムとして実装可能である。条件判定部１５０は、条件設定部１５１と条件照合部１５３とを含む。
条件設定部１５１は、図４に具体例を示す条件を設定する。詳細は「２．２」で後述する。

条件照合部１５３は、位置検出部１２３及び同一人物判定部１３０から出力される各データ及び条件設定部１５１によって設定された条件を特定の照合基準を元に照合させることにより、条件に合致するか否か判定を行う機能と、同一人物の移動方向と移動速度を計算する機能とを有する。条件に合致した場合、条件照合部１５３は、図４に例示する条件内のアクション４１７で設定されるデータを結果出力部１６０へと出力する。

結果出力部１６０は、例えばコンピュータプログラムとして実装可能である。条件照合部１５３から出力された対象領域およびアクション４１７で設定されたデータ（値）に基づいて、所定の動作を行う機能と、結果表示装置４００に動作結果を表示する機能とを有する。一般的には、結果出力部１６０は監視カメラの画像を表示させることのできる監視プログラム等が該当する。本実施形態の結果出力部１６０は、例えば、「ｎｏｔｉｃｅ」のデータを受信した場合には、警戒を促すために、特定の監視カメラ画像の注視をユーザに促すための動作（報知）を行ない、「ａｌｅｒｔ」のデータを受信した場合には、特定の監視カメラ画像で異常または不審行動が検出されたものとして、警報を出す動作（報知）を行う。

主記憶装置１７０は情報処理装置１００を構成する一部品としてのハードウェアであり、例えば、ランダムアクセスメモリ（ＲＡＭ）が該当する。本実施形態においては、例えば、主記憶装置１７０は、情報処理装置１００を構成する各部から出力されるデータの一時保存、参照及び計算処理のための領域として使用される。

結果保存データベース（ＤＢ）３００は、例えばデータベースプログラムとして実装可能である。結果保存ＤＢ３００は、情報処理装置１００内に実装されても良いし、外部のコンピュータ上に実装されても良い。結果保存ＤＢ３００は、情報処理装置１００内の各部から出力された各種データを必要に応じて格納する機能を有する。例えば、条件照合部１５３から出力された照合結果を結果保存ＤＢ３００は記憶することができる。
結果表示装置４００は、結果出力部１６０が出力する動作結果を表示するハードウェアであり、具体的には、ディスプレイや警報装置等が該当する。

（２．２ 設定条件の具体例）
図４を参照しながら、条件設定部１５１が設定する条件の具体例を説明する。条件設定部１５１は、図４に例示する各種項目を設定する機能を有する。

条件設定部１５１が設定する条件は、条件ＩＤ４０１、有効フラグ４０３、対象線４０５Ａ（対象線１）ないし対象線４０５Ｃ（対象線３）、対象領域４０７Ａ（対象領域１）ないし対象領域４０７Ｃ（対象領域３）、同一人物４０９、時間４１１、増減４１３、グループ４１５およびアクション４１７を含む。

条件ＩＤ４０１は、条件に含まれる各設定項目を一意に識別するための識別情報である。有効フラグ４０３は、対象となる条件を有効とするか否かを設定するための情報であり、図４の例では、有効の場合には「ＯＮ」が設定され、無効の場合には空欄となっている。

対象線４０５Ａ乃至４０５Ｃは、警戒線／領域設定部１４０によって対象線として設定されるデータである。なお、図４の例では、対象線は３つしか記載されていないが、対象線は、警戒線／領域設定部１４０により設定された個数分だけ設定される。

対象領域４０７Ａ乃至４０７Ｃは、警戒線／領域設定部１４０によって対象領域として設定されるデータである。図４の例では、対象領域は３つしか記載されていないが、対象領域は、警戒線／領域設定部１４０により設定された個数分だけ設定される。

対象線４０５Ａ乃至４０５Ｃ、及び対象領域４０７Ａ乃至４０７Ｃには、それぞれの対象線または対象領域を条件照合の対象と規定する情報、条件照合の際に基点である対象線又は対象領域と規定する情報、及び基点と規定された対象線及び対象領域に対して、終点であると規定する情報を設定する。図４の例では、対象線または対象領域を条件照合の対象と規定する値として「ｕｓｅ」が設定され、基点である対象線又は対象領域と規定する値として「ｍ＿ｕｓｅ」が設定され、終点であると規定する値として「ｓ＿ｕｓｅ」が設定されている。

同一人物４０９は、同一人物判定部１３０が判定した同一人物を対象とするか否か、またはどちらも対象とするかを設定する情報である。図４の例では、同一人物を対象とする場合にＹ（Ｙｅｓ）、対象としない場合に（Ｎｏ）、どちらも対象とする場合にＢ（Ｂｏｔｈ）を値として設定している。

時間４１１は、対象線または対象領域間で人物が検出される期限を設定するための情報である。例えば、時間４１１には、一定時間（例えば６０秒や１秒）、時間を指定しない、人物の予測される到達時刻、の３種類の情報を設定可能である。

図４の例では、一定時間については秒数（６０秒や１秒）、時間を指定しない場合には文字列「ａｎｙ」、人物の予測される到達時間の場合には文字列「ｒｅａｌ」が時間４１１に設定される。

増減４１３は、検出された人物の数の増減を条件として設定するためのデータであり、人数の数が変わらない、増える、減るの３種類を設定可能としている。図４の例では、変わらない場合には文字列「ｅｑｕａｌ」が、増加の場合には文字列「ｉｎｃｒｅａｓｅ」が、減少の場合には「ｄｅｃｒｅａｓｅ」が、それぞれ増減４１３に設定される。

グループ４１５は、任意の１以上の条件ＩＤ４０１を選択して、グループを設定する。グループ４１５を設定することにより、複数の条件を合わせた１つの条件グループを設定することが可能となる。同一の条件グループを設定する条件は、グループ４１５に同一の文字列が設定される。図４の例では、条件グループ「Ａ」には、条件ＩＤ「２」及び「３」が含まれ、条件グループ「Ｂ」には、条件ＩＤ「４」及び「５」が含まれる。

アクション４１７は、条件に合致した場合に、結果出力部１６０にどのような動作を行わせるかを規定するためのデータを設定するための情報である。図４の例では、結果出力部１６０が解釈可能な命令文の文字列として、警戒「ｎｏｔｉｃｅ」と、警報「ａｌｅｒｔ」とがアクション４１７で設定される。

（３ 処理の流れ）
以下、映像監視システム１の処理の流れを、図５を参照しながら説明する。図５は、本実施形態に係る映像監視システム１の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。この点、図６以降のフローチャートについても同様である。

（３．１ 具体例１）
（３．１．１ 全体の処理の流れ）
まず、図１に例示した状況での映像監視システム１の動作を説明する。以下、撮影機器２００Ａ乃至２００Ｃが、それぞれカメラＣ１乃至Ｃ３に対応するものとして説明する。また、それぞれの撮影機器２００は撮影性能や送信機能に差異はないものとする。また、同一人物判定部１３０が付与する同一人物識別情報は「００Ａ」とする。更に、条件照合部１５３が持つ特定の照合基準については、図６以降のフローチャートに係る処理の他に、同一グループに指定された条件ＩＤ４０１の間で、「ｍ＿ｕｓｅ」と「ｓ＿ｕｓｅ」は異なる条件ＩＤ４０１にそれぞれ存在していても、基点−終点の関係として扱うこととすると共に、アクション４１７が「ｎｏｔｉｃｅ」の場合には、終点の対象領域に合致する条件があった場合にアクションを送信するのではなく、合致するであろう終点を選択して結果出力部１６０に送信する機能を有する。

まず、警戒線／領域設定部１４０は、警戒領域を１以上設定する（Ｓ５０１）。図１の例であれば、警戒領域は３つであり、それぞれの警戒領域は、カメラＣ１ないしＣ３の仮想空間上の撮影領域Ｒ１乃至Ｒ３に対応する。

次に、条件設定部１５１は、照合条件を設定する（Ｓ５０３）。図１を参照しながら具体例を説明すると、まず条件設定部１５１は、警戒線／領域設定部１４０が設定した３つの警戒領域（撮影領域Ｒ１乃至Ｒ３）を読み込んだ上で、それぞれを対象領域４０７Ａ乃至４０７Ｃとして設定する。次に条件設定部１５１は、それぞれの対象領域４０７Ａ乃至４０７Ｃ、同一人物４０９、時間４１１、増減４１３、グループ４１５、及びアクション４１７を、例えば、図４の具体例における条件ＩＤ４０１の値が「４」及び「５」の条件の通りに設定する。
撮影機器２００（カメラＣ１乃至Ｃ３）の撮影部２１０は、それぞれ人物の画像を撮影した上で、当該画像を通信部２２０に出力する（Ｓ５０５）。
通信部２２０は、画像データを情報処理装置１００の通信部１１０へと送信する（Ｓ５０７）。

通信部１１０は、当該画像データを受信した上で（Ｓ５０９）、当該受信した画像データを画像解析部１２０の人物検出部１２１及び人物特徴抽出部１２５へと出力する（Ｓ５１１）。

人物検出部１２１は、受け取った画像データから人物を抽出する（Ｓ５１３）。図１の例では、カメラＣ１に対応する撮影機器２００Ａの画像データにのみ人物が映っていることから、人物検出部１２１は人物１名を検出する。検出された人物部分、検出したカメラ、検出された人物に対して一意に割り当てた識別情報、及び検出時刻を付与したデータを、人物検出部１２１は位置検出部１２３及び人物特徴抽出部１２５へと出力する。

人物特徴抽出部１２５は、人物の色特徴を抽出した上で、当該色特徴情報（特徴量）を、検出された人物に対して一意に割り当てられる識別情報及び検出時刻と共に、同一人物判定部１３０及び主記憶装置１７０へと出力する（Ｓ５１５）。

位置検出部１２３は、検出された人物部分の位置を仮想空間上の座標値として検出すると共に、当該座標値を、検出された人物に対して一意の識別情報及び検出時刻と共に同一人物判定部１３０及び主記憶装置１７０へと出力する（Ｓ５１７）。

なお、映像監視システム１は、Ｓ５０１乃至Ｓ５１７の処理を連続的に繰り返す。主記憶装置１７０上には、一定期間の、検出された人物に対して一意の識別情報、検出時刻、色特徴、及び座標値が一時保存（一時記憶）される。

同一人物判定部１３０は、受け取った、検出された人物に対して一意の識別情報、検出時刻、色特徴及び座標値と、主記憶装置１７０上に一時保存されている同様のデータとを参照することにより同一人物判定を行ない、当該判定の結果を主記憶装置１７０へと出力する（Ｓ５１９）。なお、本実施形態では、図１の人物はカメラＣ１に一定時間撮影されていることから複数の色特徴や座標値が取得できるので、それらの近似の度合いから、同一人物判定部１３０によって、カメラＣ１に連続的に映り続けている人物が、同一の人物「００Ａ」として判定される。

条件照合部１５３は、条件設定部１５１により設定された条件を読み込んだ上で、主記憶装置１７０に一時保存された同一人物判定結果の「００Ａ」が条件に合致するか否かを照合する（Ｓ５２１）。この照合手順は、図６以降を参照しながら後述する。

条件照合処理の後、当該処理により得られる対象領域及び対象アクションを、条件照合部１５３は結果出力部１６０へと出力する（Ｓ５２３）。結果出力部１６０は、受信した対象領域及び対象アクションを解釈した上で、当該解釈の結果を、結果表示装置４００へと表示する（Ｓ５２７、Ｓ５２９）。例えば図１の例では、結果出力部１６０は、カメラＣ２の画像を注視するよう促すメッセージを、結果表示装置４００であるディスプレイに表示する。

（３．１．２ 条件照合処理の流れ）
以下、図６乃至図９を参照しながら、図１の具体例における、図５のＳ５２１に係る条件照合処理の詳細を説明する。

条件照合部１５３は、条件設定部１５１の有効フラグ４０３を参照した上で、有効となっているフラグがあるか否かを確認し、もし有効なフラグがあれば、条件照合処理を開始する（Ｓ６０１）。本実施形態では、図４に示した通りフラグの有効な条件があるので（条件ＩＤ「１」「４」「５」）、条件照合部１５３は条件照合処理を開始する（Ｓ６０１のＹｅｓ）。

次に、条件照合部１５３は主記憶装置１７０に一時保存（一時記憶）されている、検出された人物に対して一意の識別情報、検出時刻、色特徴、座標値、及び同一人物判定結果「００Ａ」を参照する（Ｓ６０３）。その上で条件照合部１５３は、条件設定部１５１が有効フラグ４０３を有効として設定されている条件に対して、グループ４１５でグループが設定されているか否かを確認する（Ｓ６０５）。図４の例では、条件ＩＤ７０１の値が「４」及び「５」を対象としており、これらの条件にはグループ４１５に「Ｂ」が設定されているので、グループ設定がなされているものと判断することができる。

グループ設定がある場合（Ｓ６０５のＹｅｓ）、条件照合部１５３は、グループ化されている条件を１つの条件群として読み込む。つまり、図４の例であれば、グループ４１５に「Ｂ」が設定されている条件ＩＤ７０１の値が「４」及び「５」の条件を、１つの条件群として条件照合部１５３は読み込む。その結果、対象領域は、対象領域４０７Ａ、４０７Ｂ、４０７Ｃとなる（Ｓ６０７）。

続いて、条件照合部１５３は、読み込んだ条件の対象領域に、基点−終点関係（親子関係）があるか否かを確認する（Ｓ６０９）。図４の例の場合、対象領域４０７Ａの値が基点を示す「ｍ＿ｕｓｅ」、対象領域４０７Ｂ及び４０７Ｃの値が終点を示す「ｓ＿ｕｓｅ」となっているため、対象領域４０７Ａが基点、対象領域４０７Ｂ及び４０７Ｃが終点となる。

基点−終点関係（親子関係）がある場合（Ｓ６０９のＹｅｓ）、条件照合部１５３は、基点（親）に設定されている対象領域に合致する位置情報が存在するか否かを、主記憶装置１７０を参照して得られたデータを元に判定する（Ｓ９０１）。図１の例では、監視対象の人物が対象領域にいるため、対象領域内の位置情報が存在する（Ｓ９０１のＹｅｓ）。

続いて、条件照合部１５３は、対象領域内に存在する位置情報に係る人物が、同一人物判定を持っているか否かを判定する（Ｓ９０３）。ここで説明している例では、監視対象の人物は、「００Ａ」という同一人物判定結果がある。

更に条件照合部１５３は、「００Ａ」の位置座標から、移動方向を計算する（Ｓ９０５）。ここでは、図１に示した通り、監視対象の人物はｘ座標の正方向かつｙ座標の正方向に移動している。

更に、条件照合部１５３は、移動方向から、「００Ａ」に対して最も近い終点（子）の対象領域を判定する（Ｓ９０７）。図１の例では、撮影範囲Ｒ２である対象領域４０７Ｂの範囲の座標の方が、撮影範囲Ｒ３である対象領域４０７Ｃの範囲の座標よりも、ｘ座標が正方向かつｙ座標が正方向に存在しているため、対象領域４０７Ｂを、最も近い対象領域として判定することができる。

これまでの判定の結果、条件照合部１５３は対象領域４０７（この例では対象領域４０７Ｂ）及び対象のアクション４１７（ここでは「ｎｏｔｉｃｅ」）を、結果出力部１６０及び結果保存ＤＢ３００に出力する（Ｓ９０９）。

（３．２ 具体例２）
（３．２．１ 全体の処理の流れ）
次に、図２に例示した状況での映像監視システム１の動作を説明する。以下、撮影機器２００Ａ及び２００Ｂが、それぞれカメラＣ４及びＣ５に対応するものとして説明する。また、それぞれの撮影機器２００は撮影性能や送信機能に差異がないものとする。また、同一人物判定部１３０が付与する同一人物識別情報は「００Ｂ」とする。更に、条件照合部１５３が持つ特定の照合基準については、図６以降のフローチャートに係る処理の他に、時間４１１の設定が「ａｎｙ」以外であった場合は、対象線／領域の一方からもう一方へ、設定された時間内に同一人物が移動していなかった場合にアクション４１７を送信する機能を有する。

まず、警戒線／領域設定部１４０は、警戒領域を１以上設定する（Ｓ５０１）。図２の例であれば、警戒領域は２つであり、それぞれの警戒領域は、カメラＣ４及びＣ５の仮想空間上の撮影範囲（撮影領域Ｒ４及びＲ５）に対応する。

次に、条件設定部１５１は、照合条件を設定する（Ｓ５０３）。図１を参照しながら具体例を説明すると、まず条件設定部１５１は、警戒線／領域設定部１４０が設定した２つの警戒領域（撮影領域Ｒ４及びＲ５）を読み込んだ上で、それぞれを対象領域４０７Ａ及び４０７Ｂとして設定する。次に条件設定部１５１は、それぞれの対象領域４０７Ａ及び４０７Ｂ、同一人物４０９、時間４１１、増減４１３、グループ４１５、及びアクション４１７を、例えば、図４の具体例における条件ＩＤ４０１の値が「１」の条件の通りに設定する。その後の処理であるＳ５０５乃至Ｓ５１７については、上記で説明した具体例１と同様であるので、ここでは説明を省略する。

Ｓ５１７の位置検出部１２３による位置検出後、同一人物判定部１３０は、受け取った、検出された人物に対して一意に割り当てられた識別情報、検出時刻、色特徴および座標値と、主記憶装置１７０に一時保存されている同様のデータとを参照することにより同一人物判定を行ない、当該判定の結果を主記憶装置１７０へと出力する（Ｓ５１９）。なお、ここでは図２の人物はカメラＣ４にて一定時間撮影されていることから異なる時刻に係る複数の色特徴や座標値が取得できるので、それらの近似から、同一人物判定部１３０によって、カメラＣ４に映り続けている人物が、同一の人物「００Ｂ」として判定される。

条件照合部１５３は、条件設定部１５１により設定された条件を読込んだ上で、主記憶装置１７０に一時記憶された同一判定結果の「００Ｂ」が条件に合致するか否かを照合する（Ｓ５２１）。この照合手順は、図６以降のフローチャートを参照しながら後述する。

条件照合処理の後、当該処理により得られる対象領域および対象アクションを、条件照合部１５３は結果出力部１６０へと出力する（Ｓ５２３）。結果出力部１６０は、受信した対象領域及び対象アクションを解釈した上で、当該解釈の結果を、結果表示装置４００へと表示する（Ｓ５２７、Ｓ５２９）。例えば、図２の例では、監視対象の人物が不審行動をとっている可能性があるものとして結果出力部１６０は警報を出し、カメラＣ４及びＣ５の画像を注視するよう促す動作を行う。
（３．１．２ 条件照合処理の流れ）
以下、図６乃至図９を参照しながら、図２の具体例における、図５のＳ５２１に係る条件照合処理の詳細を説明する。

まず、条件照合部１５３は、条件設定部１５１で設定した条件の有効フラグ４０３を参照した上で、有効となっている条件があるか否かを確認し、もし有効な条件があれば、条件照合処理を開始する（Ｓ６０１）。ここでは、図４に示す通り有効な条件があるので（条件ＩＤ４０１が「１」「４」「５」）、条件照合部１５３は条件照合処理を開始する（Ｓ６０１のＹｅｓ）。

次に、条件照合部１５３は主記憶装置１７０に一時保存（一時記憶）されている、検出された人物に対して一意の識別情報、検出時刻、色特徴、座標値、及び同一人物判定結果「００Ｂ」を参照する（Ｓ６０３）。その上で条件照合部１５３は、条件設定部１５１が有効フラグ４０３を有効として設定している条件に対して、グループ４１５でグループが設定されているか否かを確認する（Ｓ６０５）。ここでは、条件ＩＤ７０１の値が「１」の条件を対象としているので、グループの設定はないものと判定することができる（Ｓ６０５のＮｏ）。

グループの設定がない場合には、１つの条件ＩＤ４０１に係る１行の条件を、１つの条件セットとして条件照合部１５３は読み込む。その結果、対象領域は、対象領域４０７Ａ及び４０７Ｂの２つとなる（Ｓ６１１）。

続いて、条件照合部１５３は、読み込んだ条件の対象領域に、基点−終点関係（親子関係）があるか否かを確認する（Ｓ６１３）。ここでは、図４の条件ＩＤ４０１が「１」の条件を参照すると、対象領域４０７Ａ及び対象領域４０７Ｂの値がそれぞれ「ｕｓｅ」となっているため、両者の間に親子関係はないものと判定することができる（Ｓ６１３のＮｏ）。

対象領域間に基点−終点関係（親子関係）がない場合（Ｓ６１３のＮｏ）、どちらか一方の対象領域に合致する位置情報が存在するか否かを、条件照合部１５３は主記憶装置１７０から参照したデータを元に判定する（Ｓ８０１）。ここでは、図２に示した通り、監視対象の人物が撮影領域Ｒ４（対象領域４０７Ａ）にいるため、対象領域内の位置情報が存在する（Ｓ８０１のＹｅｓ）。

続いて、条件照合部１５３は、対象領域内に存在する位置情報に係る人物が、同一人物判定を持っているか否かを判定する（Ｓ８０３）。ここでは、監視対象の人物について、「００Ｂ」という同一人物判定結果がある（Ｓ８０３のＹｅｓ）。

更に条件照合部１５３は、時間４１１の条件が「ａｎｙ」であるか否かを確認する。ここでの例では、図４の条件ＩＤ４０１が「１」の条件を参照すると、時間の設定が６０秒となっているので、時間の設定は「ａｎｙ」ではない（Ｓ８０５のＮｏ）。

次に条件照合部１５３は、Ｓ８０１で判定した対象領域とは異なるもう１つの対象領域に合致する同一人物の位置情報がないかを、主記憶装置１７０から参照したデータを元に判定する。ここでは、図２を見れば明らかなように、監視対象の人物は撮影領域Ｒ４（対象領域４０７Ａ）に存在した時間はあるが、対象領域Ｒ５（対象領域４０７Ｂ）に存在したことはないため、Ｓ８１３の判定はＹｅｓとなる。

監視対象の人物について、片方の対象領域にしか合致する位置情報がない場合には（Ｓ８１３のＹｅｓ）、時間４１１に設定されている時間（ここでは６０秒）以上、もう１つの対象領域に合致する同一人物の位置情報が存在していなかったか否かを判定する（Ｓ８１５）。ここでは、監視対象人物は対象領域Ｒ４には存在したが、その後６０秒以上対象領域Ｒ５には移動しなかったものとする。よって、Ｓ８１５の判定はＹｅｓとなる。

同一人物に係る位置情報が、一方の対象領域４０７Ａ（対象領域Ｒ４）には存在し、設定時間以上、他方の対象領域４０７Ｂ（対象領域Ｒ５）には存在しないため、条件照合部１５３は、アクション４１７に設定されたアクション（ここでは「ａｌｅｒｔ」）を結果出力部１６０及び結果保存ＤＢ３００へと出力する（Ｓ８１１）。

（４ 本実施形態に係る効果）
以上説明したように、本実施形態に係る映像監視システム１では、撮影機器２００（監視カメラ）に映った人物の位置情報、移動方向、速度、及び特徴量による同一人物判定データと、警戒線／警戒領域の設定と組み合わせて、次の監視すべき領域の予測や監視対象人物の異常行動の可能性を判定する。より具体的には、同一人物が監視領域外へと移動するときには、移動方向から、あらかじめ指定した監視領域の中から該当すると推定される次の監視領域候補を判定する。その上で、対象となる対象領域のピックアップを行うと共に、移動速度から、次の監視領域に監視対象の人物が現れるべき時刻を予測し、当該人物が予測した次の監視領域に現れない場合には、当該人物の異常行動の可能性を報知する。

このような機能により、映像監視システム１は、次に注視すべき映像を早期に判断できると共に、監視者である警備員に早期警戒を促すことが可能となる。更に、撮影領域外であっても、人物の異常行動を予測することにより、一定の警戒が可能となる。

（５ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
複数の撮影装置で撮影された映像の入力を受ける入力手段と、撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測する予測手段と、予測された撮影装置をユーザに報知する報知手段とを備える情報処理システム。

（付記２）
前記予測手段は、予測した撮影装置に人物が現れる時刻を予測し、前記報知手段は、予測した時刻までに当該人物が現れない場合に、その旨をユーザに報知する、付記１記載の情報処理システム。

（付記３）
前記予測手段は、撮影装置で撮影された人物に係る移動方向及び移動速度を含む情報に基づいて、予測した撮影装置に当該人物が現れる時刻を予測する、付記２記載の情報処理システム。

（付記４）
撮影装置で撮影された人物と、予測した撮影装置に現れた人物とが同一人物であるか否かを判定する判定手段を更に備える、付記１乃至付記３のいずれか１項記載の情報処理システム。

（付記５）
前記判定手段は、人物の位置情報、移動方向、速度及び特徴量の少なくとも一部に基づいて、同一人物であるか否かを判定する、付記４記載の情報処理システム。

（付記６）
複数の撮影装置で撮影された映像の入力を受けるステップと、撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測するステップと、予測された撮影装置をユーザに報知するステップとを情報処理システムが行う、情報処理方法。

（付記７）
予測した撮影装置に人物が現れる時刻を予測するステップと、予測した時刻までに当該人物が現れない場合に、その旨をユーザに報知するステップとを更に備える、付記６記載の情報処理方法。

（付記８）
撮影装置で撮影された人物に係る移動方向及び移動速度を含む情報に基づいて、予測した撮影装置に当該人物が現れる時刻を予測する、付記７記載の情報処理方法。

（付記９）
撮影装置で撮影された人物と、予測した撮影装置に現れた人物とが同一人物であるか否かを判定するステップを更に備える、付記６乃至付記８のいずれか１項記載の情報処理方法。

（付記１０）
人物の位置情報、移動方向、速度及び特徴量の少なくとも一部に基づいて、同一人物であるか否かを判定する、付記９記載の情報処理方法。

（付記１１）
複数の撮影装置で撮影された映像の入力を受ける処理と、撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測する処理と、予測された撮影装置をユーザに報知する処理とをコンピュータに実行させるプログラム。

（付記１２）
予測した撮影装置に人物が現れる時刻を予測する処理と、予測した時刻までに当該人物が現れない場合に、その旨をユーザに報知する処理とを更に実行させる、付記１１記載のプログラム。

（付記１３）
撮影装置で撮影された人物に係る移動方向及び移動速度を含む情報に基づいて、予測した撮影装置に当該人物が現れる時刻を予測する、付記１２記載のプログラム。

（付記１４）
撮影装置で撮影された人物と、予測した撮影装置に現れた人物とが同一人物であるか否かを判定する処理を更に実行させる、付記１１乃至付記１３のいずれか１項記載のプログラム。

（付記１５）
人物の位置情報、移動方向、速度及び特徴量の少なくとも一部に基づいて、同一人物であるか否かを判定する、付記１４記載のプログラム。

この出願は、２０１２年１２月２０日に出願された日本出願特願２０１２−２７８５０９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・映像監視システム、１００・・・情報処理装置、１１０・・・通信部、１２０・・・画像解析部、１２１・・・人物検出部、１２３・・・位置検出部、１２５・・・人物特徴抽出部、１３０・・・同一人物判定部、１４０・・・領域設定部、１５０・・・条件判定部、１５１・・・条件設定部、１５３・・・条件照合部、１６０・・・結果出力部、１７０・・・主記憶装置、２００・・・撮影機器、２００Ａ・・・撮影機器、２１０・・・撮影部、２２０・・・通信部、３００・・・結果保存ＤＢ、４００・・・結果表示装置、４０３・・・有効フラグ、４０５・・・対象線、４０７・・・対象領域、４０９・・・同一人物、４１３・・・増減、４１５・・・グループ、４１７・・・アクション

Claims (7)

1. 複数の撮影装置で撮影された映像の入力を受ける入力手段と、
   撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測する予測手段と、
   予測された撮影装置をユーザに報知する報知手段と
   を備える情報処理システム。
2. 前記予測手段は、予測した撮影装置に人物が現れる時刻を予測し、
   前記報知手段は、予測した時刻までに当該人物が現れない場合に、その旨をユーザに報知する、
   請求項１記載の情報処理システム。
3. 前記予測手段は、撮影装置で撮影された人物に係る移動方向及び移動速度を含む情報に基づいて、予測した撮影装置に当該人物が現れる時刻を予測する、
   請求項２記載の情報処理システム。
4. 撮影装置で撮影された人物と、予測した撮影装置に現れた人物とが同一人物であるか否かを判定する判定手段
   を更に備える、請求項１乃至請求項３のいずれか１項記載の情報処理システム。
5. 前記判定手段は、人物の位置情報、移動方向、速度及び特徴量の少なくとも一部に基づいて、同一人物であるか否かを判定する、
   請求項４記載の情報処理システム。
6. 複数の撮影装置で撮影された映像の入力を受けるステップと、
   撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測するステップと、
   予測された撮影装置をユーザに報知するステップと
   を情報処理システムが行う、情報処理方法。
7. 複数の撮影装置で撮影された映像の入力を受ける処理と、
   撮影装置で撮影された人物に係る移動方向を含む情報に基づいて、当該人物が次に撮影される撮影装置を予測する処理と、
   予測された撮影装置をユーザに報知する処理と
   をコンピュータに実行させるプログラム。

Images