JP6817792B2 - 情報処理装置、制御方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、制御方法およびプログラムに関する。

近年、映像監視システムはアナログカメラからネットワークカメラへの移行に併せ、カメラの高解像度化・高フレームレート化及び数百台を超える監視カメラを用いた大規模なシステムの構築が行われている。

このような映像監視システムは、従来の百貨店、スーパー、コンビニエンスストア、レンタルビデオ店といった一つの店舗にとどまらず、ショッピングモールや地域全体を監視することを要求されている。

一方、監視カメラの映像情報から人物や車などを認識する映像解析技術が実用段階に入っており、数百台の監視カメラの映像を人に代わってシステムが自動で監視するなど、監視支援技術を用いた映像監視システムのニーズも高まっている。

特許文献１は、映像中の人間の正常行動を学習し、学習した正常行動から逸脱した行動を異常行動として検出する技術に関するものであり、検知率向上のため、監視対象となる人物の人数に応じて学習データを選択することを開示している。

上記の目的を達成する本発明に係る情報処理装置は、
映像データからオブジェクトを検出する
検出手段により検出されたオブジェクトが異常行動をしているかを判定する判定手段と、
前記異常行動をしていると判定されたオブジェクトを含む所定領域におけるオブジェクトの数を計測する計測手段と、
前記異常行動の種別と、前記所定領域におけるオブジェクトの数とに基づいてアラートの優先度を設定する設定手段と、
を備え、
前記異常行動の種別が要看護者である場合、
前記設定手段は、前記要看護者を除いた前記所定領域におけるオブジェクトの数がゼロである場合にアラートの優先度を高く設定することを特徴とする。

特開２００９−２６６０５２号公報 特開２０１３−１３１１５３号公報 特開２００６−７９２７２号公報 特開平７−７８２３９号公報

しかしながら、数百台の監視カメラの映像を監視するシステムでは、一度に複数の警告が発生する場合がある。特許文献１に記載の技術では、監視者はどの警告を優先して対応するべきかを映像を確認して選択する必要がある。また、特許文献２に記載の技術では、危険度の判断のために、映像取得以外に音声取得の機能も必要であり、マイクロホンの設置や音声伝送の設備などのコスト負担が発生してしまう上、適切な音声情報が取得できるとは限らない。

本発明は、上記の課題に鑑みてなされたものであり、複数の警告が発生した場合に、監視者がどの警告を優先して対応するべきかを適切に判断するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
映像データからオブジェクトを検出するオブジェクト検出手段と、
前記オブジェクトについて異常行動の有無を検出する異常行動検出手段と、
前記異常行動の種別を判定する判定手段と、
前記異常行動をしていると判定されたオブジェクトの周辺のオブジェクトの数を計測する計測手段と、
前記異常行動の種別と、前記周辺のオブジェクトの数とに基づいてアラートの優先度を設定する設定手段と、
前記優先度を含むアラート情報を通知する通知手段と、
を備えることを特徴とする。

本発明によれば、複数の警告が発生した場合に、監視者がどの警告を優先して対応するべきかを適切に判断することが可能となる。

本発明の一実施形態に係る映像監視システムの構成例を示す図である。 本発明の一実施形態に係る装置のハードウェア構成例を示すブロック図である。 第１の実施形態に係る映像解析サーバのソフトウェア構成例を示すブロック図である。 第１の実施形態に係る映像解析サーバが解析する映像の一例（要看護）である。 第１の実施形態に係る映像解析サーバが解析する映像の一例（暴漢）である。 第１の実施形態に係る映像解析サーバが実施する処理の手順を示すフローチャートである。 第１の実施形態に係るクライアントＰＣのソフトウェア構成例を示す図である。 第１の実施形態に係るクライアントＰＣが保持するカメラ情報の管理テーブルの一例を示す図である。 第１の実施形態に係るネットワークカメラの実際の設置場所を地図上にマッピングした例を示す図である。 第１の実施形態に係るクライアントＰＣで動作するディスプレイに表示されるＵＩの一例を示す図である。 第１の実施形態に係るクライアントＰＣで動作するディスプレイに表示されるアラート発生時のＵＩの一例を示す図である。 第１の実施形態に係るクライアントＰＣのディスプレイに表示されるアラート発生時の映像への表示情報のオーバーレイ表示の一例を示す図である。 第１の実施形態に係る映像解析サーバからアラート情報を受信した際にクライアントＰＣが実施する処理の手順を示すフローチャートである。 第２の実施形態に係る映像解析サーバのソフトウェア構成例を示す図である。 第２の実施形態に係る映像解析サーバが解析する映像の一例（要看護）である。 第２の実施形態に係る映像解析サーバが解析する映像の一例（暴漢）である。 第２の実施形態に係る映像解析サーバが実施する処理の手順を示すフローチャートである。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。本実施形態ではネットワークカメラを例に説明するが、その他映像を送信することが可能なデバイス、例えばＰＣやタブレット等に適用してもかまわない。

また、本実施形態では異常行動を生じる対象物（オブジェクト）及び異常行動を生じた対象物の周辺の対象物として人物を想定して説明しているが、その他の対象物、例えば、自動車や動物にも適用可能である。

（第１の実施形態）
＜システム構成＞
図１は、本実施形態に係る情報処理システムの構成例を示す図である。情報処理システムは、複数のネットワークカメラ１０２と、録画サーバ１０３と、映像解析サーバ１０４と、クライアントＰＣ１０５とを有している。各構成要素はネットワーク１０１を介して接続されている。

ネットワークカメラ１０２は、ネットワーク１０１経由で監視対象の映像データを送信可能な監視カメラである。ネットワークカメラ１０２は、ネットワーク１０１を介して録画サーバ１０３に映像データを送信する。録画サーバ１０３は、ネットワークカメラ１０２から映像データを受信し、受信した映像データの保存や、映像解析サーバ１０４やクライアントＰＣ１０５への映像データの送信を行う。

映像解析サーバ１０４は、録画サーバ１０３から受信した映像データを解析し、解析結果をクライアントＰＣ１０５へ送信する。本実施形態では、映像解析サーバ１０４は、ネットワークカメラ１０２の映像データを、録画サーバ１０３を経由して受信することを想定しているが、ネットワークカメラ１０２から直接受信してもよい。

クライアントＰＣ１０５は、本実施形態では利用者が映像解析サーバ１０４の解析結果を参照するための端末である。クライアントＰＣ１０５は、例えばタブレット等の端末でも代用可能である。クライアントＰＣ１０５は、ユーザからの指示を受け付けて、その指示に基づき映像解析サーバ１０４から映像解析結果情報を取得する。また、クライアントＰＣ１０５は、ユーザからの要求を受け付けて、その要求に基づき録画サーバ１０３へ映像録画の指示も行う。

＜ハードウェア構成＞
次に、本実施形態に係る情報処理システムを構成する各装置のハードウェア構成を説明する。図２は、本実施形態に係る録画サーバ１０３、映像解析サーバ１０４及びクライアントＰＣ１０５の各装置構成の一例を示すブロック図である。なお、録画サーバ１０３、映像解析サーバ１０４及びクライアントＰＣ１０５は必ずしも同一の構成である必要はない。

装置は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部記憶装置２０４、ネットワークＩ／Ｆ２０５、入力機器Ｉ／Ｆ２０６、ディスプレイＩ／Ｆ２０７、キーボード２０８、マウス２０９、ディスプレイ２１０、及びシステムバス２１１を具備する。

ＣＰＵ２０１は装置全体の制御処理を行う。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２は、読出し専用メモリである。ＲＯＭには、使用者が電気的にプログラムを書き込むことができるＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）と製造するときに内容を書き込むマスクＲＯＭとがあるが、本実施の形態においては何れのＲＯＭであってもよい。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３は、自由書き込み・自由読出しができるメモリである。ＲＡＭ２０３は、本実施形態の処理を行う際に一時的にデータを記憶する等の機能を有する。外部記憶装置２０４は、不揮発性の記憶装置である。外部記憶装置２０４には、例えば、ＳＳＤ、ＨＤＤ、ＦＤＤ、ＭＯドライブ、ＣＤドライブ、ＤＶＤドライブ、Ｂｌｕ−ｒａｙドライブ等がある。外部記憶装置２０４は、装置を動作させるためのプログラムデータを格納するとともに、プログラムデータの動作に必要なデータを格納する。

ネットワークＩ／Ｆ２０５は、イントラネットなどのネットワークに接続するための通信制御を処理する。ネットワークＩ／Ｆ２０５には、ユーザの環境に応じてさまざまな通信インタフェースが適用され、有線ＬＡＮ及び／又は無線ＬＡＮのインタフェースで構成される。入力機器Ｉ／Ｆ２０６は、キーボード２０８及びマウス２０９からの入力を処理するものであり、装置の操作及びデータ入力のために用いられる。

ディスプレイ２１０は、ディスプレイＩ／Ｆ２０７を介してシステムバス２１１と接続された表示部である。ディスプレイ２１０は、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイまたはプロジェクタおよびその制御回路を用いて実現される。システムバス２１１は、装置内の各ブロック間の各種データのやりとり及び電力の供給を行うものである。システムバス２１１は、アドレス線、データ線、制御線、電源・グラウンド線等で構成される。

＜映像解析サーバのソフトウェア構成＞
図３は、本実施形態に係る映像解析サーバ１０４上で動作するソフトウェアの構成例を示す。当該ソフトウェアを構成する各コンポーネントは、映像解析サーバ１０４のＣＰＵ２０１がＲＡＭ２０３に記憶されたプログラムコードを読み出して実行することによって実現される。

映像解析サーバ１０４は、映像取得部３０１、人物検出部３０２、異常行動検出部３０３、種別判定部３０４、計測部３０５、優先度設定部３０６、及び警告通知部３０７を備えている。

映像取得部３０１は、ネットワークカメラ１０２により撮像された映像データを、録画サーバ１０３経由で取得する。人物検出部３０２は、映像取得部３０１により取得された映像データから人物（オブジェクト）を検出する（オブジェクト検出処理）。人物検出部３０２は、一つの映像データから複数人物を検出可能である。異常行動検出部３０３は、人物検出部３０２により検出された人物に対して異常行動の有無の検出を行う。

種別判定部３０４は、異常行動検出部３０３による検出結果に基づいて異常行動の種別を判定する。異常行動の種別の例は、看護を必要とする行動（例えば倒れる）や周囲に危害を加えそうな行動（腕を振り回して暴れる）などである。計測部３０５は、人物検出部３０２により検出された人物の人数のカウントを行う。

優先度設定部３０６は、異常行動検出部３０３により検出された異常行動に対して、種別判定部３０４による判定結果や、計測部３０５により計測された人数の情報に基づいて、対応すべき優先度（優先順位）を設定する。警告通知部３０７は、異常行動検出部３０３により異常行動が検出された場合に、優先度設定部３０６により設定された優先度の情報を、異常行動発生を示すアラート情報に含めてクライアントＰＣ１０５へ通知する。

＜解析映像：要看護＞
図４（ａ）及び図４（ｂ）は、本実施形態に係る映像解析サーバ１０４が解析する映像の一例である。図４（ａ）は要看護者と思われる人物が一人で映っている例であり、図４（ｂ）は要看護者と思われる人物のまわりに複数人の人物がいる例である。

４０１は、ネットワークカメラ１０２から録画サーバ１０３経由で取得した映像を表している。４０２は、映像４０１内に映っている人物であり、体調不良や転倒などで何らかの看護を必要としている要看護者を想定している。４０３は、要看護者４０２の周囲の所定範囲を表す境界であり、実際の映像に映っている線ではない。４０４、４０５、４０６は、映像４０１内に映っている人物であり、要看護者４０２の周囲にいる人物である。

＜解析映像：暴漢＞
図５（ａ）及び図５（ｂ）は、本実施形態に係る映像解析サーバ１０４が解析する映像の別の一例である。図５（ａ）は暴漢と思われる人物が一人で映っている例であり、図５（ｂ）は暴漢と思われる人物のまわりに複数の人物がいる例である。

５０１は、ネットワークカメラ１０２から録画サーバ１０３経由で取得した映像を表している。５０２は、映像５０１内に映っている人物であり、素手または何らかの道具を持って暴れている暴漢を想定している。５０３は、暴漢５０２の周囲の所定範囲を表す境界であり、実際の映像に映っている線ではない。５０４、５０５、５０６は、映像５０１内に映っている人物であり、暴漢５０２の周囲にいる人物である。

＜映像解析サーバが実施するアラート情報の通知処理＞
次に、図６のフローチャートを参照しながら、映像解析サーバ１０４が実施するアラート情報の通知処理の手順を説明する。なお、図６に示す処理は常時動作していることを想定しているが、人がいない時間帯、例えば夜間などは動作を停止させてもかまわない。

ステップＳ６０１において、映像取得部３０１は、ネットワークカメラ１０２により撮像された映像データを録画サーバ１０３経由で取得する。ここで取得する映像データは映像解析に必要な時間、例えば１０秒ほどの映像を取得することを想定している。ステップＳ６０２において、人物検出部３０２は、Ｓ６０１で取得した映像データを解析して人物の検出処理を行う。人物が検出されている場合、ステップＳ６０３へ進む。一方、人物が検出されていない場合、ステップＳ６０１に戻る。

ステップＳ６０３において、異常行動検出部３０３は、Ｓ６０２の検出処理で検出された各人物に対して異常行動の有無を検出する処理を実行する。異常行動が検出されている場合、ステップＳ６０４へ進む。一方、異常行動が検出されていない場合、ステップＳ６０１に戻る。ステップＳ６０４において、種別判定部３０４は、Ｓ６０３で検出した異常行動の種別を取得する。本実施形態で使用する異常行動検出は学習型の異常行動検出方法を用いるものとする。

学習型の異常行動を検出する方法には大きく分けて二つの手法がある。一つは正常行動の特徴をあらかじめ学習し、学習した正常行動データの特徴と撮像した映像データの特徴とを比較し、差が一定値を超えたものを異常行動と判断する方法である（特許文献３）。もう一つは異常行動の特徴を学習し、学習した異常行動データの特徴と撮像した映像データの特徴とを比較し一致の度合いにより検出する方法である（特許文献４）。本実施形態では、異常行動の種別を識別するため後者の方法を利用する。異常行動としていくつかのパターンを学習したデータ（要看護者・暴漢等）と比較し、異常行動の種別を判定する。

ステップＳ６０５において、種別判定部３０４は、Ｓ６０４で取得した異常行動の種別を判定し、異常行動の種別が要看護者であるか否かを判定する。要看護者であると判定された場合、ステップＳ６０６へ進む。一方、要看護者ではないと判定された場合、ステップＳ６０１０へ進む。

ステップＳ６０６において、計測部３０５は、Ｓ６０２で検出した人物の中から異常行動者周辺の人数をカウントし、カウントした人数が０（ゼロ）より大きいか否かを判定する。人数が０より大きい場合には、Ｓ６０８へ進む。一方、人数が０である場合には、ステップＳ６１０へ進む。

ここでいう周辺の人物とは、図４では境界４０３内にいる人物であり、図５では境界５０３内にいる人物である。境界４０３及び境界５０３は同じ範囲を想定しているが、Ｓ６０４で取得した異常行動の種別によって周辺の範囲を変更しても良い。また、ここでは周りに人がいるかいないかで判定しているが人が多いか少ないかで判定しても良い。

ステップＳ６０７において、優先度設定部３０６は、クライアントＰＣ１０５に通知する異常行動のアラートのパラメータである優先度を通常より高く設定する。ステップＳ６０８において、警告通知部３０７は、計測部３０５によりカウントされた異常行動者周辺の人数の情報に基づいて、異常行動のアラートのパラメータである人数を設定する。ステップＳ６０９において、警告通知部３０７は、クライアントＰＣ１０５に対して、異常行動している人物を検出したことを、優先度及び周辺人数の情報を含めて異常行動発生を示すアラート情報として通知する。

ステップＳ６１０において、種別判定部３０４は、Ｓ６０４で取得した異常行動の種別を判定し、異常行動の種別が周囲に危害を加えそうな人物であるか否かを判定する。周囲に危害を加えそうな人物である場合、ステップＳ６１１へ進む。一方、周囲に危害を加えそうな人物でない場合、ステップＳ６０８へ進む。

ステップＳ６１１において、計測部３０５は、Ｓ６０２で検出した人物の中から異常行動者周辺の人数をカウントし、カウントした人数が０より大きいか否かを判定する。人数が０より大きい場合、ステップＳ６０７へ進む。一方、人数が０である場合、ステップＳ６０８へ進む。以上で図６の一連の処理が終了する。

これにより、異常行動者として要看護者がいた場合、図４（ａ）のように周りに人がいない時はアラートの優先度を高くすることができる。また、異常行動者として暴漢がいた場合、図５（ｂ）のように周りに人がいる時はアラートの優先度を高くすることができる。このようにしてアラートの優先度を上げることで、監視者である警備員は発生したアラートに対して迅速な対応が可能になる。

なお、本実施形態では、要看護者や暴漢などの異常行動について説明したが、その他の異常行動にも本発明を適用可能である。例えば店舗内での万引きでは、周囲に人が少ない場合にアラートの優先度を高くすることが考えられる。エスカレータでの逆走などでは、周囲に人が多いほど危険度が増すので優先度を高くすることが考えられる。病院でのベッドからの転落では、病室内に人がいない場合は至急対応する必要があるため、アラートの優先度を高くすることが考えられる。

＜クライアントＰＣのソフトウェア構成＞
図７は、本実施形態に係るクライアントＰＣ１０５上で動作するソフトウェアの構成例を示す。当該ソフトウェアを構成する各コンポーネントは、クライアントＰＣ１０５のＣＰＵ２０１がＲＡＭ２０３に記憶されたプログラムコードを読み出して実行することによって実現される。

クライアントＰＣ１０５は、映像受信部７０１、アラート受信部７０２、場所情報取得部７０３、映像表示部７０４、優先度・人数取得部７０５、及びアラート表示部７０６を備えている。

映像受信部７０１は、ネットワークカメラ１０２により撮像された映像データを、録画サーバ１０３経由で受信する。なお、映像解析サーバ１０４を経由して映像データを受信してもかまわない。アラート受信部７０２は、映像解析サーバ１０４から通知されたアラート情報を受信する。

場所情報取得部７０３は、ネットワークカメラ１０２の設置場所情報を取得する。本実施形態ではネットワークカメラ１０２の設置場所情報はクライアントＰＣ１０５で保存していることを想定しているが、録画サーバ１０３、映像解析サーバ１０４、又はネットワークカメラ１０２で保持しておき、そこから取得するように構成してもよい。

映像表示部７０４は、録画サーバ１０３から受信した映像データをクライアントＰＣ１０５のディスプレイ２１０に表示する。優先度・人数取得部７０５は、アラート受信部７０２で受信したアラート情報からアラートの優先度及び周辺人数を取得する。

アラート表示部７０６は、場所情報取得部７０３により取得されたネットワークカメラ１０２の設置場所情報と、優先度・人数取得部７０５により取得された優先度及び周辺人数の情報とに基づいて、アラート表示情報を生成する。そして、生成したアラート表示情報を、クライアントＰＣ１０５のディスプレイ２１０にオーバーレイ表示する。

＜ネットワークカメラ管理テーブル＞
図８は、本実施形態に係るクライアントＰＣ１０５で保持するネットワークカメラ情報の管理テーブルの一例を示した図である。フィールド８０１は、通番をあらわしており、１から始まるシーケンシャルな値が設定される。フィールド８０２は、ネットワークカメラ１０２のカメラ名であり、ネットワークカメラ毎にユニークな値が設定されるものとする。

フィールド８０３は、ネットワークカメラ１０２の設置場所の住所情報であり、カメラが設置されている場所またはカメラが撮影している場所の住所情報が格納されている。フィールド８０４は、ネットワークカメラ１０２のＩＰアドレス情報である。

本実施形態では、カメラ情報の管理テーブルをクライアントＰＣ１０５で保持しているが、録画サーバ１０３や映像解析サーバ１０４で保持して、必要に応じて情報を取得するようにしてもかまわない。

＜ネットワークカメラの設置図＞
図９は、本実施形態におけるネットワークカメラ１０２を、図８のネットワークカメラ情報の管理テーブルに基づいて実際の設置場所を地図上にマッピングした例である。図中９０１は地図を表し、その上にネットワークカメラ１０２を配置している。本実施形態では一つの地域に数十台のネットワークカメラを設置して映像解析を行っていることを想定している。

＜クライアントＰＣ１０５の映像表示＞
図１０は、本実施形態に係るクライアントＰＣ１０５で動作する映像表示部７０４によってディスプレイ２１０に表示されるＵＩの一例である。１００１は映像表示部７０４によってディスプレイ２１０に表示されるＵＩの画面全体を表している。本実施形態では、ディスプレイ２１０の表示領域を１６分割して表示しているが、その他の表示形式でもかまわない。１００２は、ネットワークカメラ１０２から取得した映像データをカメラ毎に表示するための領域である。また、実際のカメラ設置台数が一画面に表示できるカメラの数を超えている場合は、映像の切り替えを一定の時間間隔で、自動で行う。また、手動での切り替えであってもよい。

＜クライアントＰＣ１０５のアラート表示＞
図１１（ａ）及び図１１（ｂ）は、本実施形態に係るクライアントＰＣ１０５で動作する映像表示部７０４及びアラート表示部７０６によってディスプレイ２１０に表示されるアラート発生時のＵＩの一例である。

図１１（ａ）は、１００１の１６分割の画面全体表示において、通常のアラートが発生した場合の表示例であり、１１０１はアラートが発生した対象の映像を示している。図１１（ｂ）は、１１０２の画面全体表示において、優先度の高いアラートが発生した場合の表示例であり、１１０３はアラートが発生した対象の映像を示している。１１０３に示されるように、優先度の高いアラートが発生した場合、アラート発生映像を拡大するために表示方法の切り替えも行っている。

本実施形態では、優先度の高いアラート発生時に表示を切り替え、アラート発生映像を拡大表示しているが、その他の方法を用いて優先度の高いアラートを強調してもよい。

＜映像へのアラートのオーバーレイ表示＞
図１２は、本実施形態に係るクライアントＰＣ１０５で動作する映像表示部７０４及びアラート表示部７０６によってディスプレイ２１０に表示されるアラート発生時の表示の一部である映像に対するアラートのオーバーレイ表示の一例である。

１１０３はオーバーレイ表示の画面であり、本実施形態では図１１（ａ）の１１０１の表示と大きさが異なるのみで同じ情報を表示しているが、異なる表示方法でもかまわない。１２０１は、アラート情報の表示領域であり、優先度が高い場合はこの部分の背景色を通常とは別の色にしても良い。１２０２は、アラート発生場所の住所を示している。１２０３は、アラート発生時の異常行動人物の周りにいる人数を示している。１２０４は、アラート発生時の異常行動の種別を示している。

要看護者がいた場合、周辺の人数に応じて対応の優先度が変わってくる場合もある。一人しか周りにいないと要看護者に気付かない場合もあるが、複数人いた場合は気づく可能性も上がる。周囲の人々で対応可能であれば、監視者の対応優先度は低くなる。このように、警報時の情報としての周辺の人数は重要情報となる場合がある。

＜クライアントＰＣが実施するアラート情報の表示処理＞
次に、図１３のフローチャートを参照しながら、映像解析サーバ１０４からアラート情報を受信した際にクライアントＰＣ１０５が実施する処理の手順を説明する。

ステップＳ１３０１において、映像受信部７０１は、ネットワークカメラ１０２により撮像された映像データを、録画サーバ１０３を経由して受信する。映像データは、ネットワークカメラ１０２毎に録画サーバ１０３から受信しているものとする。ステップＳ１３０２において、映像表示部７０４は、Ｓ１３０１で受信した映像データを、図１０の領域１００２のうち映像データ取得元のネットワークカメラ１０２に対応する領域に表示する。受信した映像データのデフォルト表示領域は、ネットワークカメラ毎に予め設定されているものとする。

ステップＳ１３０３において、アラート受信部７０２は、映像解析サーバ１０４からの通知に基づいてアラート発生の有無を判定する。アラートがあれば、ステップＳ１３０４へ進む。一方、アラートがなければ、ステップＳ１３０１に戻る。ステップＳ１３０４において、場所情報取得部７０３は、図８に示されるカメラ管理テーブルからフィールド８０３に格納されているカメラの設置場所情報を取得する。ステップＳ１３０５において、優先度・人数取得部７０５は、映像解析サーバ１０４から受信したアラート情報から周辺人数の情報を取得する。

ステップＳ１３０６において、優先度・人数取得部７０５は、映像解析サーバ１０４から受信したアラート情報から優先度の情報を取得する。ステップＳ１３０７において、アラート表示部７０６は、Ｓ１３０４で取得した設置場所情報及びＳ１３０５で取得した周辺人数情報に基づいて、図１２の表示領域１２０１に表示するためのアラート表示情報を生成する。ステップＳ１３０８において、映像表示部７０４は、Ｓ１３０６で取得した優先度の情報から優先度が高であるか否かを判定する。優先度が高である場合、ステップＳ１３０９へ進む。優先度が高ではない場合、ステップＳ１３０１０へ進む。

ステップＳ１３０９において、映像表示部７０４は、ディスプレイ２１０に表示している映像表示形式を、図１１（ｂ）に示すような形式に変更する。ステップＳ１３１０において、アラート表示部７０６は、Ｓ１３０７で生成したアラート表示情報を、図１２の画面１１０３のような映像情報に重畳して表示する。なお、本実施形態では、生成したアラート表示情報を、映像データに重ね合わせるオーバーレイ表示を行っているが、映像とは別領域、例えば映像の下部等に表示してもよい。

以上説明したように、本実施形態によれば、優先度の高いアラートが発生した場合に表示形式を切り替えて強調することで、通常のアラートよりも目立たせることができる。このような処理をすることで、監視者である警備員は発生したアラートに対して迅速な対応が可能になる。

（第２の実施形態）
第１の実施形態では、異常行動検出時に周辺の人数の情報に応じてアラートの優先度を設定する例を説明したが、異常行動検出時に周辺の人々がどのように動いたかに応じて優先度を設定してもよい。本実施形態では、異常行動者から周辺の人物までの相対的な距離、周囲の人が離れたか近寄ったかに応じて優先度を設定する例を説明する。

＜映像解析サーバのソフトウェア構成＞
図１４は、本実施形態に係る映像解析サーバ１０４上で動作するソフトウェアの構成例を示す。図３に示される第１の実施形態に係る映像解析サーバ１０４との構成の違いは動き検出部１４０１を更に備える点である。動き検出部１４０１は、異常行動を検出した人物の周辺の人々がどのように動いたかを検出する。

＜解析映像：要看護＞
図１５（ａ）及び図１５（ｂ）は、本実施形態に係る映像解析サーバ１０４が解析する映像の一例である。図１５（ａ）及び図１５（ｂ）は、両方とも要看護者と思われる人物が映っている例である。図１５（ａ）は要看護者と思われる人物の一定の距離内に誰もいない例である。図１５（ｂ）は、図１５（ａ）から少し時間が経過した映像を想定しており、要看護者と思われる人物の一定の距離内に人が集まってきた例である。

１５０１は、ネットワークカメラ１０２から録画サーバ１０３経由で取得した映像を表している。１５０２は、映像１５０１内に映っている人物であり、転倒またはしゃがみこんだ要看護者を想定している。１５０３は、要看護者１５０２の周囲の所定範囲を表す境界であり、実際の映像に映っている線ではない。１５０４、１５０５、１５０６は、映像１５０１内に映っている人物であり、要看護者１５０２の周囲に当初存在せず、後に近づいた人々である。

＜解析映像：暴漢＞
図１６（ａ）及び図１６（ｂ）は、本実施形態に係る映像解析サーバ１０４が解析する映像の別の一例である。図１６（ａ）及び図１６（ｂ）は、両方とも暴漢と思われる人物が映っている例である。図１６（ａ）は、暴漢と思われる人物の一定の距離内に複数人の人物がいる例である。図１６（ｂ）は、図１６（ａ）から少し時間が経過した映像を想定しており、暴漢と思われる人物の一定の距離内から人がいなくなった例である。

１６０１は、ネットワークカメラ１０２から録画サーバ１０３経由で取得した映像を表している。１６０２は、映像１６０１内に映っている人物であり、素手または何らかの道具を持って暴れている暴漢を想定している。１６０３は、暴漢１６０２の周囲の所定範囲を表す境界であり、実際の映像に映っている線ではない。１６０４、１６０５、１６０６は、映像１６０１内に映っている人物であり、暴漢１６０２の周囲にいて、後に離れた人々である。

＜映像解析サーバが実施するアラート情報の通知処理＞
次に、図１７のフローチャートを参照しながら、本実施形態に係る映像解析サーバ１０４が実施するアラート情報の通知処理の手順を説明する。なお、図１７に示す処理は常時動作していることを想定しているが、人がいない時間帯、例えば夜間などは動作を停止させてもかまわない。

また、図６と共通の処理に関しては同じステップ番号を付している。以下、第２の実施形態で追加された部分及び関連する部分について説明する。追加されたステップはＳ１７０１とＳ１７０２である。

ステップＳ６０６において、計測部３０５は、Ｓ６０２で検出した人物の中から異常行動者（要看護者）周辺の人数をカウントし、カウントした人数が０より大きいか否かを判定する。ここでいう周辺の人物は図１５における境界１５０３内にいる人々である。人数が０より大きい場合には、Ｓ１７０１へ進む。一方、人数が０である場合には、ステップＳ６０７へ進む。

ステップＳ１７０１において、動き検出部１４０１は、Ｓ６０２で検出した人物のうち、図１５の境界１５０３内の異常行動者（要看護者）以外の周囲の人々の動きを検出し、周囲の人々が異常行動者に近づく動作を行ったか否かを判定する。周囲の人々が異常行動者に近づく動作を行った場合、ステップＳ６０８へ進む。一方、周囲の人々が異常行動者に近づく動作を行っていない場合、ステップＳ６０７へ進む。

ステップＳ６１１において、計測部３０５は、Ｓ６０２で検出した人物の異常行動者（暴漢）周辺の人数をカウントし、カウントした人数が０より大きいか否かを判定する。ここでいう周辺の人物は図１６における境界１６０３内にいる人々である。人数が０より大きい場合、ステップＳ１７０２へ進む。一方、人数が０である場合、ステップＳ６０８へ進む。

ステップＳ１７０２において、動き検出部１４０１は、Ｓ６０２で検出した人物のうち、図１６の境界１６０３内の異常行動者（暴漢）以外の周囲の人々の動きを検出し、周囲の人々が異常行動者から離れる動作を行ったか否かを判定する。周囲の人々が異常行動者から離れる動作を行った場合、ステップＳ６０７へ進む。一方、周囲の人々が異常行動者から離れる動作を行っていない場合、ステップＳ６０８へ進む。

これにより、異常行動者が要看護の人物であった場合は、図１５（ａ）及び図１５（ｂ）のように人々が近づくことが多く、そのような場合に優先度を高くすることができる。また、異常時行動者として暴漢がいた場合、図１６（ａ）及び図１６（ｂ）のように周囲の人々が異常行動人物から離れることが多く、そのような場合に優先度を高くすることができる。

このように、異常行動者に対する周辺の人々の動作が緊急度に影響を与えることが多く、監視者である警備員は発生したアラートに対して優先度に応じた迅速な対応が可能になる。

なお、本実施形態では、異常行動者の周りの人々の動きの情報に基づいてアラートの優先度の設定を行っているが、周りの人々の動きの情報に基づいて異常行動者の検知精度を上げることにも適用可能である。異常行動検知を行った場合、周囲に危害を加えそうな行動と、体操・ダンス・ゴルフスイングなどの動作とは判別が難しい。周囲の人々の動き、例えば異常行動者から離れることにより、「体操」や「ダンス」や「ゴルフスイング」ではなく「暴れている」と判断することが可能であり、異常行動者の検知精度を向上させることが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：ネットワーク、１０２：ネットワークカメラ、１０３：録画サーバ、１０４：映像解析サーバ、１０５：クライアントＰＣ、３０１：映像取得部、３０２：人物検出部、３０３：異常行動検出部、３０４：種別判定部、３０５：計測部、３０６：優先度設定部、３０７：警告通知部、７０１：映像受信部、７０２：アラート受信部、７０３：場所情報取得部、７０４：映像表示部、７０５：人数取得部、７０６：アラート表示部

Claims (13)

1. 映像データからオブジェクトを検出する
   検出手段により検出されたオブジェクトが異常行動をしているかを判定する判定手段と、
   前記異常行動をしていると判定されたオブジェクトを含む所定領域におけるオブジェクトの数を計測する計測手段と、
   前記異常行動の種別と、前記所定領域におけるオブジェクトの数とに基づいてアラートの優先度を設定する設定手段と、
   を備え、
   前記異常行動の種別が要看護者である場合、
   前記設定手段は、前記要看護者を除いた前記所定領域におけるオブジェクトの数がゼロである場合にアラートの優先度を高く設定することを特徴とする情報処理装置。
2. 前記優先度を含むアラート情報を通知する通知手段を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記異常行動をしているオブジェクトを含む前記所定領域におけるオブジェクトの動きを検出する動き検出手段を更に備え、
   前記設定手段は、更に前記所定領域におけるオブジェクトの動きに基づいてアラートの優先度を設定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記設定手段は、前記所定領域におけるオブジェクトの数がゼロである場合、又は、前記所定領域におけるオブジェクトの数がゼロより大きく且つ前記所定領域におけるオブジェクトが前記異常行動をしているオブジェクトに近づいていない場合に、アラートの優先度を高く設定することを特徴とする請求項３に記載の情報処理装置。
5. 前記優先度と、前記所定領域におけるオブジェクトの数とに基づいて、表示情報を生成する生成手段と、
   前記異常行動が発生した映像データに前記表示情報を重畳して表示部に表示させる制御手段と、
   を備えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 映像データからオブジェクトを検出する検出手段により検出されたオブジェクトが異常行動をしているかを判定する判定手段と、
   前記異常行動をしていると判定されたオブジェクトを含む所定領域におけるオブジェクトの数を計測する計測手段と、
   前記異常行動の種別と、前記所定領域におけるオブジェクトの数とに基づいてアラートの優先度を設定する設定手段と、
   を備え、
   前記異常行動の種別が万引き犯である場合、
   前記設定手段は、前記万引き犯を除いた前記所定領域におけるオブジェクトの数がゼロである場合にアラートの優先度を高く設定することを特徴とする情報処理装置。
7. 映像データから検出されたオブジェクトが異常行動をしているかを判定する判定工程と、
   前記異常行動をしていると判定されたオブジェクトを含む所定領域におけるオブジェクトの数を計測する計測工程と、
   前記異常行動の種別と、前記所定領域におけるオブジェクトの数とに基づいてアラートの優先度を設定する設定工程と、を有し、
   前記異常行動の種別が要看護者である場合、
   前記設定工程では、前記要看護者を除いた前記所定領域におけるオブジェクトの数がゼロである場合にアラートの優先度を高く設定することを特徴とする制御方法。
8. 前記優先度を含むアラート情報を通知する通知工程を更に有することを特徴とする請求項７に記載の制御方法。
9. 前記異常行動をしているオブジェクトを含む前記所定領域におけるオブジェクトの動きを検出する動き検出工程を更に備え、
   前記設定工程において、更に前記所定領域におけるオブジェクトの動きに基づいてアラートの優先度を設定することを特徴とする請求項７または８に記載の制御方法。
10. 前記設定工程において、前記所定領域におけるオブジェクトの数がゼロである場合、又は、前記所定領域におけるオブジェクトの数がゼロより大きく且つ前記所定領域におけるオブジェクトが前記異常行動をしているオブジェクトに近づいていない場合に、アラートの優先度を高く設定することを特徴とする請求項８に記載の制御方法。
11. 前記優先度と、前記所定領域におけるオブジェクトの数とに基づいて、表示情報を生成する生成工程と、
    前記異常行動が発生した映像データに前記表示情報を重畳して表示部に表示させる制御工程と、
    を備えることを特徴とする請求項７乃至１０の何れか１項に記載の制御方法。
12. 映像データから検出されたオブジェクトが異常行動をしているかを判定する判定工程と、
    前記異常行動をしていると判定されたオブジェクトを含む所定領域におけるオブジェクトの数を計測する計測工程と、
    前記異常行動の種別と、前記所定領域におけるオブジェクトの数とに基づいてアラートの優先度を設定する設定工程と、を有し、
    前記異常行動の種別が万引き犯である場合、
    前記設定工程では、前記万引き犯を除いた前記所定領域におけるオブジェクトの数がゼロである場合にアラートの優先度を高く設定することを特徴とする制御方法。
13. コンピュータを、請求項１乃至６の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images