JPWO2014050518A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】情報処理装置であって、検知したイベントに関連するオブジェクトの検索を効率よく行なうため、撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知手段と、前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定手段と、決定した種類のオブジェクトを映像から検出し、検出したオブジェクトに基づいてクエリ情報を生成する生成手段と、を備えた。

Description

本発明は、映像中においてオブジェクトを検索する技術に関する。

上記技術分野において、特許文献１には、犯罪者と思われる人物の写っている画像および人物領域を監視員に指定させ、指定された画像の取得時刻前後の画像データ内で指定人物を追跡し、得られた追跡結果から人物の特徴量を算出する技術が開示されている。

特開２００９−０２７３９３号公報

しかしながら、上記文献に記載の技術では、監視員が画像を指定した上で、指示を出して初めて他の画像からの人物検索を行なっていた。したがって、監視員の能力次第で、検索のスピードや精度に大きな違いがあった。特に、検出すべきイベントによっては、監視員が最適な行動をとるとは限らないため、必要なオブジェクトの検索精度が低下するという問題があった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明の係る情報処理装置は、
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知手段と、
前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定手段と、
前記決定手段で決定した種類のオブジェクトを、前記イベント発生時以外の映像から検出し、前記オブジェクトに基づいてクエリ情報を生成する生成手段と、
を備えたことを特徴とする。

上記目的を達成するため、本発明の係る情報処理方法は、
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
前記イベントの発生を検知したことに応答して、前記イベントの種類に応じて検索すべきクエリ情報の種類を決定する決定ステップと、
前記決定ステップで決定した種類のクエリ情報を、前記イベント発生時以外の映像から生成する生成ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明の係る情報処理プログラムは、
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
前記イベントの発生を検知したことに応答して、前記イベントの種類に応じて検索すべきクエリ情報の種類を決定する決定ステップと、
前記決定ステップで決定した種類のクエリ情報を、前記イベント発生時以外の映像から生成する生成ステップと、
をコンピュータに実行させることを特徴とする。

本発明によれば、検知したイベントに関連するオブジェクトの検索を非常に効率よく行なうことができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る検索クエリ生成部の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。 本発明の第３実施形態に係る検索クエリ生成部の構成を示すブロック図である。 本発明の第４実施形態に係る検索クエリ生成部の構成を示すブロック図である。 本発明の第４実施形態に係る検索クエリ生成部で用いられるテーブルの構成を示す図である。 本発明の第４実施形態に係る検索クエリ生成部の動作について説明するための図である。 本発明の第４実施形態に係る検索クエリ生成部の動作について説明するための図である。 本発明の第４実施形態に係る検索クエリ生成部の動作について説明するための図である。 本発明の第４実施形態に係る検索クエリ生成部の動作について説明するための図である。 本発明の第４実施形態に係る検索クエリ生成部の動作について説明するための図である。 本発明の第５実施形態に係る検索クエリ生成部の構成を示すブロック図である。 本発明の第６実施形態に係る検索クエリ生成部の構成を示すブロック図である。 本発明の第７実施形態に係る検索クエリ生成部の構成を示すブロック図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素や数値はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。図１に示すように、情報処理装置１００は、検知部１０１と、決定部１０２と、生成部１０３とを含む。検知部１０１は、撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する。また、決定部１０２は、検知部１０１がイベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類をイベントの種類に基づいて決定する。さらに、生成部１０３は、決定された種類のオブジェクトを、映像から検出し、前記オブジェクトに基づいてクエリ情報を生成する。

以上の構成によってクエリ情報を生成すれば、そのクエリ情報を用いた検索を行なうことにより、検知したイベントに関連するオブジェクトの検索を非常に効率よく行なうことができる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置について、図２を用いて説明する。図２は、本実施形態に係る情報処理装置２００の構成および利用方法を説明するための図である。

情報処理装置２００は、空港ロビーにおいて、行き交う人々およびベンチなどを監視カメラ２５０で撮影して得られた映像を処理することにより、空港ロビーに起こったイベントを自動検出し、警備員などにアラートを行なうものである。もちろん本発明は、空港ロビーでの利用に限定されるものではなく、例えばカジノやショッピングセンターなどで利用することもできる。

監視カメラ２５０で撮影された映像は、映像蓄積部２１０に蓄積されると共にイベント検知部２０１に送られる。あるいは、一旦映像蓄積部２１０に蓄積された映像を少し遅れてイベント検知部２０１に送るようになっていてもよい。イベント検知部２０１は、取得した映像を解析し、イベントデータベース２２０を参照してアラートの対象となるようなイベントが起きていないか確認する。アラートの対象となるイベントが発生している場合には、アラート情報を生成してオブジェクト種類決定部２０２に送る。このようにして生成されたアラート情報は、検索クエリ生成部２０４へ出力される。ここで、アラート情報とは、アラートが生成された時刻、アラートの種類、および、アラート対象となったオブジェクトの位置を表す情報を含む。オブジェクトの位置情報は、画面上の位置を表す座標値で表現してもよいし、カメラパラメータを用いて実空間上に投影して算出した座標系における座標値（例えばフロア上のある点を基準とした座標系の座標値）であってもよい。また、オブジェクトの外接矩形の位置情報であってもよいし、オブジェクトの重心などの特定の位置を表す座標情報であってもよい。それ以外にも、オブジェクトの位置を特定するさまざまな位置情報を用いることができる。

アラート対象となるイベントとしては、例えば、マークすべきリスト（いわゆるブラックリスト）に含まれる人物の出現、不審な行動、危険な行動等、監視員が着目すべき事象が挙げられる。一例を挙げると、ブラックリストに登録されている人物を検出した際にアラートを生成する。イベント検知部２０１は、入力される映像から顔を検出し、検出された顔から特徴量を抽出し、抽出された特徴量を、イベントデータベース２２０内にブラックリストとして登録されている人物の顔の特徴量と照合することにより検出できる。

また、イベント検知部２０１は、倒れたり、かがみこんだりするといった特定の行動を検知した場合にアラートを生成する。具体的には、例えば、入力された映像から人物を抽出し、フレーム間で追跡して、この人物の身長が急激に低くなり、しばらくその状態が続いたことを検知することによって検出できる。あるいは、かがみこむ、倒れるといった人物の状態そのものを事前に学習して識別器を構築し、学習で生成した識別器のパラメータをイベントデータベース２２０内に記憶させておき、この識別器を用いてこれらの状態を検知してもよい。

さらに、イベント検知部２０１は、侵入禁止エリアに人物が立ち入った場合にアラートを生成する。これは、例えば、画像中の侵入禁止エリアの床の領域をマークしておき、その中に検出・追跡された人物の足の位置が入ったかどうかを判定することによって、検知できる。イベントデータベース２２０内は、どのエリアがどの時点で侵入禁止エリアで、どのカメラにどのように映るかがあらかじめ記憶してもよい。

さらに、イベント検知部２０１は、置き去りにされた物体を検知した場合、あるいは物体が置き引きされたことを検知した場合にアラートを生成する。これは、例えば、ある物体が置かれたことを背景差分等によって検知し、一定時間以上そのままの状態が継続した場合に置き去り物体を検知できる。

イベントデータベース２２０には、映像中にどのようなオブジェクトやその変化が発生した場合に、どのようにアラートを生成するのか、あらかじめ記録されている。

さらに、イベントデータベース２２０内は、各イベントに対して、どのようなオブジェクトを見つけ出してクエリを生成すべきかについて対応関係を示すテーブルが記憶している。

オブジェクト種類決定部２０２は、上述のように検知された様々なイベントに対して、検索クエリとなるオブジェクトの種類を決定する。例えば、ブラックリストに含まれる人物の出現イベントに関しては、その人物の服装が検索クエリとなるため、そのような服装（携帯物や帽子なども含む）を特定できる全身画像を対象オブジェクトとして決定する。

一方、倒れた人がいた場合のイベントに関しては、倒れた人を特定できる顔や服装が検索クエリとなるため、それらを特定できる顔画像および全身画像をオブジェクトとして決定する。

さらに、侵入禁止エリアに立ち入った人物を発見した場合のイベントに関しては、その人物を特定できる顔や服装が検索クエリとなるため、それらを特定できる顔画像および全身画像をオブジェクトとして決定する。

置き去りにされた物体、あるいは置き引きされた物体を発見した場合のイベントに関しては、置き去りにした人物や置き引きした人物や置き引きされた物体の所有者としての人物などを特定できる顔や服装が検索クエリとなる。そのため、それらを特定できる顔画像および全身画像をオブジェクトとして決定する。

検索クエリ生成部２０４は、オブジェクトの特徴量を抽出し、検索時にクエリとして用いる特徴量であるクエリ特徴量を生成する。クエリ特徴量は、事前に抽出した特徴量から選択する場合には、映像解析部２３５によってカメラ映像２５０から抽出されて特徴量データベース２３０に格納されている特徴量から選択して取得する。そして、生成されたクエリ特徴量は検索部２０５へ出力される。検索部２０５は、映像蓄積部２１０や他の映像蓄積部２４０に蓄積された映像に対して、クエリ特徴量を用いた検索を実行し、検索結果を出力する。

検索部２０５は、他の映像蓄積部２４０に蓄積された映像中に、クエリ特徴量と同一、あるいは類似した特徴量を有するオブジェクトが存在するかどうかを検索する。すなわち、検索部２０５は、特徴量データベース２３０に格納された、検索対象となる過去に蓄積した映像から抽出されたオブジェクトの特徴量とクエリ特徴量との間で照合を行うことによって、検索を行う。特徴量間の類似度が一定の閾値を超えるなど十分高い（あるいは、特徴量間の距離が一定の閾値以下であるなど十分低い）場合に、そのカメラのＩＤ、時刻と付随する情報をまとめて検索結果に含める。付随する情報としては、例えばサムネイル画像や、映像の頭出し再生に必要な映像の時刻情報、ファイル先頭からのバイトオフセットなどが挙げられる。そして、得られた結果を一定の基準（例えば特徴量間の類似度順）によって並べて検索結果を生成し、出力する。

ここで、他の映像蓄積部２４０には、クエリ特徴量を抽出した映像と同じカメラで撮影したものに限らず、他のカメラで撮影した映像も蓄積される。また、映像は、アラートが生成される直前の時刻までのものを含んでいてもよい。その場合、検索対象となる画像に対してオブジェクト抽出、特徴量抽出がリアルタイムで行われ、この結果が検索部２０５で即座に利用できる。

この結果、モニタ室２６０の中でモニタ２６１を眺めて監視している監視員２６２に対して、アラートを行ない、さらに、そのアラートに関連する詳しい情報を提供できる。ここでは、置き引きがあった場合にディスプレイの画面２７０を介して監視員２６２にその発生を告げる。そして同時に、持ち主と犯人の顔画像、全身画像、およびプロファイル情報を取得可能な場合にはそのプロファイル、さらには、検索部２０５が他の映像を検索したことによって導き出された犯人の現在地などを提供できる。警備員のハンディ端末の画像に問題となる人物の画像を表示して、追跡に利用してもよい。

他のカメラのアラート生成時刻直前までの映像から同一のオブジェクトを検索することで、そのオブジェクトが過去にどこに存在したかを監視員２６２に提示することができる。さらに、映像を検索された時刻から頭出し再生できるようになっている場合には、検索された映像シーンを頭出し再生することにより、監視員２６２は、オブジェクトがどのような状態だったか、何をしていたかを確認できるようになる。

なお、図２に示す情報処理装置２００は、ハードウェア構成として、不図示のＣＰＵ（Central Processing Unit）、ストレージ、ＲＡＭ(Random Access Memory)、通信制御部などを含んでいる。ストレージには、イベント検知部２０１、オブジェクト種類決定部２０２、検索クエリ生成部２０４、検索部２０５に対応するプログラムモジュールが格納されている。ＣＰＵがそれらのプログラムモジュールを実行することによりそれぞれの機能が発揮される。プログラムモジュールによって生成されたデータ、例えばアラート情報やオブジェクト種類やクエリ特徴量などは一旦ＲＡＭに格納された上で他のプログラムモジュールで利用されたり、各種データベースに格納されたりする。

図３は、本実施形態に係る検索クエリ生成部２０４の内部構成を示す図である。検索クエリ生成部２０４は、オブジェクト検出部３４１とオブジェクト特徴量抽出部３４２とから構成される。オブジェクト検出部３４１は、アラート情報と映像とからオブジェクトを検出し、オブジェクト情報をオブジェクト特徴量抽出部３４２へ出力する。オブジェクト特徴量抽出部３４２は、オブジェクト情報と映像とからオブジェクトの特徴量を抽出し、クエリ特徴量として出力する。

次に、図３の動作について説明する。
（アラート情報によって初めてオブジェクト検出を行う場合）
アラート情報と映像は、オブジェクト検出部３４１へ入力される。オブジェクト検出部３４１では、入力されたアラート情報に含まれるオブジェクトの位置情報と時刻情報とから、映像中の該当するフレームの該当位置にあるオブジェクトを検出し、オブジェクト領域情報を出力する。例えば、オブジェクトが人であり、アラートがブラックリスト照合のアラートの場合に、アラート情報には顔の位置情報が含まれる。オブジェクト検出部３４１は、映像から人物全体の領域を抽出し、顔の位置情報と併せて人物全体の領域の情報をオブジェクト領域情報として生成する。行動アラートのような場合には、アラート情報に含まれるオブジェクトの位置情報の精度を上げて、オブジェクトの特徴量を抽出すべき領域（例えば、抽出する特徴量が服装特徴量の場合には人物の服装領域）を求め、オブジェクト領域情報として生成する。なお、アラート情報に含まれるオブジェクトの位置情報がそのままオブジェクト領域情報として利用できる場合には、オブジェクト検出部３４１では何もせず、スキップするようになっていてもよい。生成されたオブジェクト領域情報は、オブジェクト情報としてオブジェクト特徴量抽出部３４２へ出力される。

オブジェクト特徴量抽出部３４２では、オブジェクト情報に基づいて、映像からオブジェクトの特徴量を抽出する。例えば、オブジェクトが人物である場合には、顔の特徴量や服の特徴量を抽出する。顔が小さかったり、正面を向いていなかったりなど、顔特徴抽出に適していない場合には、服の特徴量のみを抽出してもよい。また、服の特徴量を抽出する際には、服をいくつかの部位に分離し、それぞれの部位ごとに特徴量を抽出してもよい。例えば、上半身の部分と下半身の部分の服装に分離して特徴量を抽出してもよい。あるいは、服以外の持ち物や、帽子、メガネなどの携帯品を分離して特徴量を抽出してもよい。オブジェクトが車の場合には、ナンバープレート情報や、車体の特徴量を抽出する。ナンバープレートが小さかったり、見えなかったりなど、認識ができない場合には、車体の特徴量（色や形状、車種など）のみを抽出してもよい。このようにして抽出された特徴量はクエリ特徴量として出力される。

（オブジェクト検出・特徴量抽出は事前に行っており、そこから選択する場合）
検索クエリ生成部２０４において、アラートが生成されてからオブジェクトの特徴量を抽出する場合について上述したが、リアルタイムにオブジェクトの特徴量抽出が既に行われている場合には、再度オブジェクト特徴量を抽出し直す必要はない。この場合には、単に、既に抽出されたオブジェクトの特徴量から、クエリ特徴量として用いるものを選択すればよい。具体的には、オブジェクト検出部３４１では、アラート情報で指定された時刻情報から映像のフレームを限定し、その中でオブジェクト位置情報が近いオブジェクトを選択し、その領域情報をオブジェクト情報として出力する。オブジェクト特徴量抽出部３４２では、既に抽出されているオブジェクトの特徴量の中から、オブジェクト情報で指定されたオブジェクトの特徴量を選択し、クエリ特徴量として出力する。

図４に示すフローチャートを用いて、本実施形態での処理の流れを説明する。まずステップＳ４０１において、映像蓄積部２１０またはイベント検知部２０１は、監視カメラ２５０からの映像を取得する。

次にステップＳ４０３では、イベント検知部２０１が、映像中にあらかじめ定められたイベント（アラート対象）が発生したことを検知する。

さらにステップＳ４０５では、オブジェクト種類決定部２０２が、検知したイベントに基づいて、さらに検索すべきオブジェクトの種類を決定する。オブジェクトの種類を決定するとステップＳ４０７に進み、検索クエリ生成部２０４がイベント発生時の前後の映像からその種類のオブジェクトを検出する。そして、ステップＳ４０９では、検出したオブジェクトの特徴量を求め、その特徴量によって検索クエリを決定する。ステップＳ４１１では、検索部２０５が、蓄積された映像から検索クエリを検索する。

以上の構成および動作により、本実施形態によれば、アラートが挙がった際にすぐに検索を実行し、対象となる人物や物体の足取りを追うことができる。

［第３実施形態］
次に本発明の第３実施形態に係る情報処理装置について、図５を用いて説明する。図５は、本実施形態に係る検索クエリ生成部の構成および利用方法を説明するための図である。本実施形態では、上述の第２実施形態と比べて、検索クエリ生成部５０１が、オブジェクト検出・追跡部５１１およびオブジェクト特徴量抽出部５１２を含む点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

オブジェクト検出・追跡部５１１は、アラート情報と映像とからオブジェクトを検出し、かつ、フレーム間でオブジェクトを追跡し、オブジェクト情報をオブジェクト特徴量抽出部５１２へ出力する。オブジェクト特徴量抽出部５１２は、オブジェクト情報と映像とからオブジェクトの特徴量を抽出し、クエリ特徴量として出力する。

（アラート情報によって初めてオブジェクト検出を行う場合）
オブジェクト検出・追跡部５１１がフレーム間でオブジェクトを追跡している場合、アラート生成前から追跡が継続している。アラート情報と映像は、オブジェクト検出・追跡部５１１へ入力される。オブジェクト検出・追跡部５１１では、入力された映像からオブジェクトの検出と検出処理を行っており、その結果とアラート情報に含まれるオブジェクトの位置情報を時刻情報に基づいて比較し、対象となるオブジェクトを判定する。次に、そのオブジェクトの追跡結果を調べ、追跡結果に含まれるオブジェクトの検出結果の中で、特徴量抽出に適したものを選択する。カメラのキャリブレーション情報（カメラパラメータの情報）を用いれば、画像の各位置において、オブジェクトがどのぐらいの大きさで検出されるかは事前に計算できる。このため、この想定値と検出されたオブジェクトの大きさが近く、かつ、オブジェクトの姿勢や状態が特徴量抽出に適しているものを選択する。例えば、人物の場合には、直立している姿勢のもので、足元や上半身などが切れていない状態のものを選択する。これは、例えば、検出されたオブジェクトの外接矩形の形状の縦横比や、画面上の位置等の情報で判定できる。あるいは、オブジェクトの形状情報が同時に取得可能（例えば、背景差分によってシルエットが得られる場合など）な場合には、この形状情報から、姿勢、状態の適切さを判定するようになっていてもよい。なお、選択されるオブジェクトの検出結果は複数（すなわち、複数の異なる時刻の検出結果）あってもかまわない。選択されたオブジェクトの時刻とオブジェクト領域情報は、オブジェクト情報としてオブジェクト特徴量抽出部５１２へ出力される。

オブジェクト特徴量抽出部５１２では、図３のオブジェクト特徴量抽出部３４２と同様に、オブジェクト情報に基づいて、映像からオブジェクトの特徴量を抽出する。ただし、この場合、オブジェクト情報は、特徴量を抽出する時刻が以前の時刻である場合があり、この場合には、該当する時刻の映像のフレームからオブジェクトの特徴量を抽出する。また、オブジェクト情報に含まれうる特徴抽出の時刻が複数存在する場合がある。この場合は、指定された時刻のフレームそれぞれに対してオブジェクトの特徴量を抽出し、抽出された特徴量の集合をクエリ特徴量として出力する。

なお、オブジェクト検出・追跡処理はアラート生成時に同時に行っているのであれば、オブジェクト検出・追跡部５１１では、そこで得られたオブジェクトの検出・追跡情報を用いてもよい。また、既にオブジェクト検出・追跡時に特徴量も抽出済みの場合には、オブジェクト特徴量抽出部５１２では、既に抽出された特徴量の中から、指定される時刻の特徴量を選択して、クエリ特徴量を生成してもよい。

以上のように本実施形態によれば、オブジェクトを検出して追跡するので、より的確に検索クエリを生成でき、検索精度を向上することができる。

［第４実施形態］
本発明の第４実施形態に係る情報処理装置について、図６を用いて説明する。図６は、本実施形態に係る検索クエリ生成部の構成および利用方法を説明するための図である。本実施形態では、上述の第３実施形態と比べて、検索クエリ生成部５０１が、時間差決定部６１３とオブジェクト検出・追跡部６１１を含む点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

時間差決定部６１３は、アラート情報からクエリ特徴量の抽出の基準となる特徴抽出時刻情報を決定し、オブジェクト検出・追跡部６１１へ出力する。オブジェクト検出・追跡部６１１は、アラート情報と映像と特徴抽出時刻情報とからオブジェクト情報を求め、オブジェクト特徴量抽出部５１２へ出力する。オブジェクト特徴量抽出部５１２は、オブジェクト情報と映像とからオブジェクトの特徴量を抽出し、クエリ特徴量として出力する。

アラート情報は、時間差決定部６１３へ入力される。時間差決定部６１３では、アラート情報に含まれるイベント種類情報に基づいて、アラート生成時刻からどの程度前の時刻の映像データをクエリとして利用するかを指定する時間差情報を決定する。この時間差はイベント種類によって異なるため、図７のように設定されたイベントテーブル７００に基づいて決定する。イベントテーブル７００は、イベント種類ごとに、時間差情報を保持しており、入力されるアラート情報に従って時間差情報を選択する。

このようにして決定された時間差情報は、オブジェクト検出・追跡部６１１へ出力される。オブジェクト検出・追跡部６１１へは、時間差情報に加え、アラート情報と映像も入力される。オブジェクト検出・追跡部６１１は、図５のオブジェクト検出・追跡部５１１と同様に、対象となるオブジェクトを判定する。そして、アラート生成時刻から、時間差情報で指定される時間分だけ遡った時刻（クエリ生成基準時刻）を求め、該当オブジェクトの追跡結果から、その時刻のオブジェクトの検出結果を求める。その時刻とオブジェクトの検出結果をオブジェクト情報として生成し、出力する。あるいは、クエリ生成基準時刻の前後の追跡結果から、図５のオブジェクト検出・追跡部５１１と同様に、特徴量抽出に適したオブジェクトの検出結果を選び、これをオブジェクト情報として生成、出力するようにしてもよい。生成されたオブジェクト情報は、オブジェクト特徴量抽出部５１２へ出力される。

オブジェクト特徴量抽出部５１２は、図５で示した通り、オブジェクトの特徴量を生成、出力する。

なお、オブジェクト検出・追跡処理はアラート生成時に同時に行っているのであれば、オブジェクト検出・追跡部６１１では、そこで得られたオブジェクトの検出・追跡情報を用いてもよい。また、既にオブジェクト検出・追跡時に特徴量も抽出済みの場合には、オブジェクト特徴量抽出部５１２では、既に抽出された特徴量の中から、指定される時刻の特徴量を選択して、クエリ特徴量を生成してもよい。

本実施形態では、アラートが生じた際に、そのときの追跡情報と、アラートの種類情報から検索に適した画像を選択し、自動的に検索を実行させる。これにより、アラートが生じた際に、リアルタイムに迅速な検索が実現できる。例えば、不審人物のアラートが生じた際に、アラートが生じたカメラの近傍にあるカメラの映像を検索し、その人物の足取りを追うといった使い方が可能となる。

上述のように得られた特徴量をクエリ特徴量として検索を行うが、追跡した範囲内で抽出された特徴量間の類似性が低い場合には、監視員に提示し、同一人物かどうかを判定させた上で検索を行ってもよい。このように、監視員が指定した映像の前後で人物を追跡し、その中から最も信頼性の高いと考えられる特徴量を指定して検索することにより、監視員が指定した画像のみを用いて検索を行う場合よりも検索精度の向上が期待できる。

図７は、イベントの種類に応じたオブジェクト種類、所定時間差、所定時間幅およびオブジェクト検索画像数を設定するためのイベントテーブル７００を示す図である。以下に、イベント種類ごとに詳しく解説する。

（１）ブラックリスト照合の場合
・検索するオブジェクト、生成するクエリ
顔および服装をオブジェクトとして検索し、顔の特徴量に加え、服の特徴量を抽出する。このため、服の特徴量抽出（上半身、下半身を含む）に適した人物位置で特徴を抽出する。

・時間差
顔が大きく映る画像は、服特徴が十分とれないため、アラート時点の画像とは異なる画像で特徴量の抽出が必要である。抽出に適した人物の位置は、カメラ配置（画角）によって決まる。基本的には、なるべく大きく人物が映る状態で足元まで入ることが望ましい。図８のように、人物が遠方から近付いてくるカメラ配置の場合には、足元が画面の下端にかかる画像８０１のタイミングから、実際に顔照合が可能な画像８０２まで移動するのにかかる時間をクエリ生成時の時間差として指定する。つまり、全身が映っており服の特徴が抽出しやすい画像８０１から、ブラックリスト照合が行えるほど顔が大きく映る位置にきた画像８０２までの平均の移動時間（あるいは移動時間のメディアン値、最頻値などの代表値）をあらかじめ求めておく。この移動時間とほぼ同等かそれ以上の値を時間差情報として決定する。また、服の模様特徴はなるべく近づいた方がより細かい情報がとれることから、さらに近付いた状況の画像８０３において、服の上方部の特徴をより詳細に抽出し、検索のクエリを作成してもよい。

・クエリ生成に用いる画像の枚数（時間差の数）
基本的には、上述のように、アラート生成前で全身が映る位置にいる場合の１枚でよいが、その付近で複数枚取得して、その中で信頼度の高い特徴を複数用いるようにしてもよい。服特徴抽出の信頼度は、人物の外接矩形の縦横比や、人物シルエット形状の人物らしさの度合いで判定できる。ここで人物らしさの度合いは、人物のシルエットを学習した識別器を用いることで算出可能である。あるいは、色特徴の場合には、色の彩度の大きさや明度の大きさ（彩度や明度が低い場合は、影などの影響がある場合と考えられる）や、画素値が飽和している部分がないかどうかといった点を分析することで信頼度を評価することも可能である。

（２）倒れ検知の場合
・検索するオブジェクト、生成するクエリ
顔および服装をオブジェクトとして検索する。倒れた状態で、上下半身の服の情報を正しく分離して抽出することは困難なため、直立した状態の画像から特徴を抽出する。倒れた人物の服装情報からその人物を特定したり来歴を検索したりしたい場合は、適切な特徴量抽出のため通常の直立した姿勢の画像が必要である。特に、上半身と下半身の着衣を区別して検索を行いたい場合には、上半身と下半身を分離して特徴量を抽出する必要があるため、やはり直立した姿勢の画像が重要である。

追跡結果を用いてより確実に検索に適した特徴量を得るには、倒れる前の人物が映った映像を含むように追跡時間を長くする必要があるが、その場合、追跡処理に時間かかるため、迅速な検索ができなくなる。したがって、追跡結果ではなく、指定した範囲の画像を検索する方が効率がいい。

・時間差
基本的には、倒れ検知は倒れて一定時間経過後にアラートを出すように設定されているため、設定された判定時間より少し長い時間を時間差として設定する（例えば、倒れて３０秒動かない場合にアラートが設定されている場合は、３５秒前など）。

・クエリ生成に用いる画像の枚数（時間差の数）
図９のように、画像９０３から倒れ検知を行なった場合、基本的には十分長い時間さかのぼった全身画像９０１の１枚からオブジェクトを抽出すればよい。しかし、倒れる前に画像９０２のようにうつむき加減に少し屈む状態になって長い時間経過することもある。このような状況ではあまりうまく服の特徴量が抽出できない場合もあるため、それよりも少し前の特徴も選択できるように、少し長めの時間差を複数枚利用（例えば、上述の例の場合には、４５秒前と５５秒前の２枚も一緒に用いるなど）するようにしてもよい。また、これらで選択された複数枚の画像全部を用いてクエリを生成してもよいし、ブラックリスト照合の場合と同様に、信頼度を求めて信頼度の高い（例えば一定の閾値を超えた場合）もののみを用いるようにしてもよい。

（３）置き去り/持ち去りの場合
・検索するオブジェクト、生成するクエリ
アラート自体は置き去りされた荷物（あるいは荷物が持ち去られて新たに現れた領域）
を検知することによって挙がるが、抽出するのは、その物体を置き去り/持ち去りした人物の特徴量になる。この場合も、顔の特徴量を抽出するのは難しい場合が多いため、服の特徴量を抽出する。

・時間差
基本的には、図１０の画像１００２から画像１００３のように、物体が動かない時間が一定の閾値を超えた場合、置き去りを検知する。このため、時間差はこの判定時間よりも少し長い時間とすればよい。つまり、置き去りを検知してアラートを挙げる場合には、置き去り物体と判定されるまでの時間以上の値を時間差情報として決定し、画像１００１のように物体のそばにいた人物を検索する。なお、この場合は、特徴量を抽出するのは、物体の方ではなく、物体を放置した人物の方である。

持ち去りの場合には、図１１の画像１１０２から画像１１０３のように一定時間動かない物体を持ち去った人物を発見した場合に、持ち去りを検知する。持ち去りを行なった人物に関しては時間差なしでオブジェクト抽出を行ない、その人物の顔および服装の特徴量を生成する。一方、持ち去られた人物に関しては、持ち去り判定時間以上の値を時間差情報として決定して、画像１１０１のように元々物体のそばにいた人物をオブジェクトとして検索する。そして、その人物の顔および服装の特徴量を抽出する。画像１１０１の人物と画像１１０３の人物との照合を行なうことにより、持ち去り判定の信頼性を高めてもよい。

・クエリ生成に用いる画像の枚数（時間差の数）
物を床に置く行為には、一定の時間がかかると予想され、置く動作の間は、屈んだり、体を曲げたりするため、服特徴量の抽出に適した姿勢ではない可能性がある。物を落とす場合のように、姿勢はほとんど変えずに物を置き去る場合もある。このため、時間差としては、設定された判定時間より少し長い時間を複数設定（例えば６０秒間不動の状態が続いたときにアラートが挙がるように設定されている場合には、６５秒、７５秒、８５秒といった具合に３つ設定）すればよい。

（４）侵入検知の場合
・検索するオブジェクト、生成するクエリ
基本的には侵入検知を行う状況では顔が見えているとは限らず特徴量抽出に向いていないため、服装の特徴量を抽出する。

・時間差
図１２のように、アラートが生じた時点の画像１２０２における服装の特徴量をとってもよいが、ブラックリスト照合の場合と同様、服特徴に適した人物の位置はカメラの画角によって決まる。図１２のように侵入禁止エリアがカメラの遠方に設定されている場合には、侵入禁止エリアに入る前の方がカメラに近く、より詳細な服特徴の抽出が可能になる。そのため、全身がなるべく大きく映る画像１２０１のようなタイミングを決め、そこから侵入禁止エリアに移動するまでの時刻を時間差に設定すればよい。逆に侵入禁止エリアがカメラの手前側にあり、遠方から近くに移動してきたときに侵入を検知する場合には、エリアに侵入した直後よりも少し移動したときに服特徴を抽出するように、時間差を設定すればよい。

・クエリ生成に用いる画像の枚数（時間差の数）
基本的には、ブラックリストの場合と同様に１枚でよい。

（５）たむろ/迂回行動検知の場合
・検索するオブジェクト、生成するクエリ
アラート自体は、たむろの発生、または迂回行動の発生を検知することにより挙がるが、抽出するのは、たむろまたは迂回行動の原因となった人物の特徴量になる。この場合も、顔の特徴量を抽出するのは難しい場合が多いため、服の特徴量を抽出する。
ここで、たむろとは、複数人物の長時間の停留のことである。また、迂回行動とは、こぼれた液体、不審物、汚物などが床にある場合、または不審な（危険そうな）人物がいる場合に、群衆がそれを避けて通る行動のことである。
検索対象は、例えばたむろの原因となった人物（例えば、大道芸人等）や迂回行動の原因となった不審な（危険そうな）人物等である。
・時間差
基本的には、たむろまたは迂回行動を検知するのに必要な判定時間より少し長い時間を時間差として設定する（例えば、複数人物が３０秒停留した場合にアラートが設定されている場合は、３５秒前など）。
・クエリ生成に用いる画像の枚数（時間差の数）
基本的には、上述のように、アラート生成前の１枚でよいが、その付近で複数枚取得して、その中で信頼度の高い特徴を複数用いるようにしてもよい。上述のように服特徴抽出の信頼度は、人物の外接矩形の縦横比や、人物シルエット形状の人物らしさの度合いで判定できる。
以上のように、発生したイベントに応じた時間差でオブジェクトの検出、検索クエリの生成を行なうため、非常に精度のよい検索が可能となる。

［第５実施形態］
本発明の第５実施形態に係る情報処理装置について、図１３を用いて説明する。図１３は、本実施形態に係る検索クエリ生成部１３０１の構成および利用方法を説明するための図である。本実施形態では、上述の第４実施形態と比べて、検索クエリ生成部１３０１が、オブジェクト同一性判定部１３１２を含み、オブジェクト検出・追跡部６１１の代わりにオブジェクト検出部１３１１を含む点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

オブジェクト検出部１３１１が追跡を行わない場合には、オブジェクト特徴量生成後にオブジェクト同一性判定部１３１２でアラート生成時のオブジェクトと同じであるかどうかを判定する。この場合は、オブジェクト検出部１３１１から、アラート生成時のオブジェクト検出結果と、時間差決定部６１３で与えられる時間差を与えた時点でのオブジェクト検出結果の２つが出力される。そして、オブジェクト特徴量抽出部５１２では、それぞれに対してオブジェクトの特徴量を抽出し、オブジェクト同一性判定部１３１２へ出力する。オブジェクト同一性判定部１３１２では、これらの特徴量間の類似性を判定し、同一のオブジェクトとして判定された場合に、時間差を与えた特徴量をクエリ特徴量として出力する。一方、同一でないとみなされた場合には、アラート生成時の特徴量をクエリ特徴量として出力する。

なお、オブジェクト同一性判定部１３１２にアラート情報も入力するようにし、アラートの種類に応じて同一の判定基準を変えるようになっていてもよい。例えば、倒れた検知の場合には、姿勢の違いによって特徴量の類似度が下がるため、類似判定の基準を甘くするようにしてもよい。あるいは、オブジェクトの位置情報を重視して、オブジェクトの位置がほとんど同一であれば、類似度は低くても同一オブジェクトと見なして特徴量を出力するようにしてもよい。置き去り検知の場合も同様に、位置情報を重視して判定してもよい。

［第６実施形態］
本発明の第６実施形態に係る情報処理装置について、図１４を用いて説明する。図１４は、本実施形態に係る検索クエリ生成部１４０１の構成および利用方法を説明するための図である。本実施形態では、上述の第４実施形態と比べると、検索クエリ生成部１４０１が、時間差学習部１４１４を含む点で異なる。その他の構成および動作は、第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図１４に示す検索クエリ生成部１４０１は、カメラ配置に依存して時間差が決まる場合に、オブジェクト検出・追跡結果から時間差を学習する。時間差決定部１４１１は、時間差決定部６１３と同様に、アラート情報に含まれるイベント種類情報に基づいて、アラート生成時刻からどの程度前の時刻の映像データをクエリとして利用するかを指定する時間差情報を決定する。この時間差は図７のように設定されたイベントテーブル７００に基づいて決定するが、ここでのイベントテーブル７００の時間差情報は、時間差学習部１４１４からの指示に応じて更新可能である。時間差学習部１４１４は、オブジェクト検出・追跡の結果から、アラート生成時の位置から服特徴が抽出しやすい位置との間を人物が移動するのにかかる時間を計測し、計測した結果を統計処理して時間差の代表値を算出する。そして、時間差学習部１４１４は、その代表値によって、時間差決定部１４１１に記憶されている時間差を更新する。時間差の代表値の算出方法としては、平均をとる以外に、メディアンやモードの算出、あるいは、分布の両側の一定のパーセント以上の部分ははずれ値として除いて算出した平均などを用いることができる。

この際、単にオブジェクトの大きさだけでなく、照明条件や背景が特徴量抽出に適しているかどうかという情報も時間差学習部１４１４に入力し、時間差を算出するようにしてもよい。例えば、大きさは少し小さいが、照明の下で安定して特徴量が抽出可能な場所があれば、その位置からアラート生成時の位置までに移動する時刻を算出してもよい。このような場所が複数存在する場合には、それぞれに対して時間差を求めて、それぞれの時間差代表値を算出するようにしてもよい。あるいは、背景の色が服の色と異なり、抽出しやすい位置（例えば白い服の人の場合には、背景が暗い色の場所がよい）があれば、それを用いてもよい。ただし、服の色によって抽出しやすい背景の色は異なってくるため、複数の位置を求めておき、それぞれの位置に対して時間差の代表値を求めるようにしてもよい。この場合は、オブジェクト特徴量抽出部５１２でクエリ特徴量生成時に実際に抽出された色に応じて適した時間差を選択するようにすればよい。

以上本実施形態によれば、時間差を学習してオブジェクトの検出を行なうので、使用に伴ってオブジェクト抽出の画像の選択精度が向上し、結果としてクエリ特徴量の精度が向上する。

［第７実施形態］
本発明の第７実施形態に係る情報処理装置について、図１５を用いて説明する。図１５は、本実施形態に係る検索クエリ生成部１５０１の構成および利用方法を説明するための図である。本実施形態では、上述の第６実施形態と比べると、時間差学習部１５１４がオブジェクト特徴量の抽出結果まで考慮して時間差を学習する点で異なる。その他の構成および動作は、第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

時間差学習部１５１４は、抽出されたオブジェクトの特徴量の信頼度も考慮して時間差を決定する。信頼度の算出方法は、上述したとおりであり、服特徴抽出の信頼度は、人物の外接矩形の縦横比や、人物シルエット形状の人物らしさの度合いで判定できる。あるいは、色特徴の場合には、色の彩度の大きさや明度の大きさ（彩度や明度が低い場合は、影などの影響がある場合と考えられる）や飽和している部分がないかどうかといった点を分析することで信頼度を評価することも可能である。特徴量の信頼度の高い時間差を選択することにより、学習を行なう。

以上、本実施形態によれば、特徴量の信頼度を考慮して時間差を学習するため、使用に伴ってオブジェクト抽出画像の選択精度が向上し、結果としてクエリ特徴量の精度が向上する。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(WorldWideWeb)サーバも、本発明の範疇に含まれる。

［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知手段と、
前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定手段と、
前記決定手段で決定した種類のオブジェクトを、前記映像から検出し、前記オブジェクトに基づいてクエリ情報を生成する生成手段と、
を備えた情報処理装置。
（付記２）
前記生成手段は、前記決定手段で決定した種類のオブジェクトの特徴量を前記クエリ情報として生成する付記１に記載の情報処理装置。
（付記３）
前記生成手段は、
前記イベント発生時から所定時間差だけ異なるタイミングでの映像を用いて、前記決定手段で決定した種類のクエリ情報を生成し、
前記決定手段は、さらに、前記イベントの種類に応じて前記所定時間差を決定する付記１または２に記載の情報処理装置。
（付記４）
前記生成手段は、前記イベント発生時と異なるタイミングでの所定時間幅の映像を用いて、前記クエリ情報を生成し、
前記決定手段は、さらに、前記イベントの種類に応じて前記所定時間幅を決定する付記１、２または３に記載の情報処理装置。
（付記５）
前記生成手段は、前記映像中の所定領域を用いて、前記クエリ情報を生成し、
前記決定手段は、さらに、前記イベントの種類に応じて前記所定領域を決定する付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記生成手段は、前記映像中の１枚以上の所定数の画像を用いて、前記クエリ情報を生成し、
前記決定手段は、さらに、前記イベントの種類に応じて前記所定数を決定する付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記イベントに関連するオブジェクトの追跡を行なう追跡手段と、
前記追跡手段による前記オブジェクトの追跡の結果から、前記イベント発生時と、前記クエリ情報を生成すべき画像のタイミングまでの時間差を算出することにより、前記決定手段が決定した時間差を更新する更新手段と、
を備えた付記１乃至６のいずれか１項に記載の情報処理装置。
（付記８）
前記イベントは、あらかじめ定められたリストに含まれる人物の発見であり、
前記検知手段は、前記人物の顔画像に基づいて前記リストに含まれる人物か否かを判定し、
前記決定手段は、前記リストに含まれる人物の服装を前記クエリ情報として決定する付記１乃至７のいずれか１項に記載の情報処理装置。
（付記９）
前記イベントは、前記映像中の人物が倒れたことの発見であり、
前記決定手段は、倒れた前記人物の倒れる前の服装を前記クエリ情報として決定する付記１乃至８のいずれか１項に記載の情報処理装置。
（付記１０）
前記イベントは、荷物の置き去りまたは持ち去りの発見であり、
前記決定手段は、前記荷物を置き去りにした人物または持ち去った人物の服装を前記クエリ情報として決定する付記１乃至９のいずれか１項に記載の情報処理装置。
（付記１１）
前記イベントは、前記映像中の侵入禁止区域に侵入した人物の発見であり、
前記決定手段は、前記侵入禁止区域に侵入した人物の服装を前記クエリ情報として決定する付記１乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
前記イベントの発生を検知したことに応答して、前記イベントの種類に応じて検索すべきクエリ情報の種類を決定する決定ステップと、
前記決定ステップで決定した種類のクエリ情報を、前記映像から生成する生成ステップと、
を含む情報処理方法。
（付記１３）
前記生成ステップは、前記決定ステップで決定した種類のオブジェクトの特徴量を前記クエリ情報として生成する付記１２に記載の情報処理方法。
（付記１４）
前記生成ステップは、
前記イベント発生時から所定時間差だけ異なるタイミングでの映像を用いて、前記決定ステップで決定した種類のクエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定時間差を決定する付記１２または１３に記載の情報処理方法。
（付記１５）
前記生成ステップは、前記イベント発生時と異なるタイミングでの所定時間幅の映像を用いて、前記クエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定時間幅を決定する付記１２、１３または１４に記載の情報処理方法。
（付記１６）
前記生成ステップは、前記映像中の所定領域を用いて、前記クエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定領域を決定する付記１２乃至１５のいずれか１項に記載の情報処理方法。
（付記１７）
前記生成ステップは、前記映像中の１枚以上の所定数の画像を用いて、前記クエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定数を決定する付記１２乃至１６のいずれか１項に記載の情報処理方法。
（付記１８）
前記イベントに関連するオブジェクトの追跡を行なう追跡ステップと、
前記追跡ステップによる前記オブジェクトの追跡の結果から、前記イベント発生時と、前記クエリ情報を生成すべき画像のタイミングまでの時間差を算出することにより、前記決定ステップが決定した時間差を更新する更新ステップと、
を備えた付記１２乃至１７のいずれか１項に記載の情報処理方法。
（付記１９）
前記イベントは、あらかじめ定められたリストに含まれる人物の発見であり、
前記検知ステップは、前記人物の顔画像に基づいて前記リストに含まれる人物か否かを判定し、
前記決定ステップは、前記リストに含まれる人物の服装を前記クエリ情報として決定する付記１２乃至１８のいずれか１項に記載の情報処理方法。
（付記２０）
前記イベントは、前記映像中の人物が倒れたことの発見であり、
前記決定ステップは、倒れた前記人物の倒れる前の服装を前記クエリ情報として決定する付記１２乃至１９のいずれか１項に記載の情報処理方法。
（付記２１）
前記イベントは、荷物の置き去りまたは持ち去りの発見であり、
前記決定ステップは、前記荷物を置き去りにした人物または持ち去った人物の服装を前記クエリ情報として決定する付記１２乃至２０のいずれか１項に記載の情報処理方法。
（付記２２）
前記イベントは、前記映像中の侵入禁止区域に侵入した人物の発見であり、
前記決定ステップは、前記侵入禁止区域に侵入した人物の服装を前記クエリ情報として決定する付記１２乃至２１のいずれか１項に記載の情報処理方法。
（付記２３）
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
前記イベントの発生を検知したことに応答して、前記イベントの種類に応じて検索すべきクエリ情報の種類を決定する決定ステップと、
前記決定ステップで決定した種類のクエリ情報を、前記映像から生成する生成ステップと、
をコンピュータに実行させる情報処理プログラム。
（付記２４）
前記生成ステップは、前記決定ステップで決定した種類のオブジェクトの特徴量を前記クエリ情報として生成する付記２３に記載の情報処理プログラム。
（付記２５）
前記生成ステップは、
前記イベント発生時から所定時間差だけ異なるタイミングでの映像を用いて、前記決定ステップで決定した種類のクエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定時間差を決定する付記２３または２４に記載の情報処理プログラム。
（付記２６）
前記生成ステップは、前記イベント発生時と異なるタイミングでの所定時間幅の映像を用いて、前記クエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定時間幅を決定する付記２３、２４または２５に記載の情報処理プログラム。
（付記２７）
前記生成ステップは、前記映像中の所定領域を用いて、前記クエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定領域を決定する付記２３乃至２６のいずれか１項に記載の情報処理プログラム。
（付記２８）
前記生成ステップは、前記映像中の１枚以上の所定数の画像を用いて、前記クエリ情報を生成し、
前記決定ステップは、さらに、前記イベントの種類に応じて前記所定数を決定する付記２３乃至２７のいずれか１項に記載の情報処理プログラム。
（付記２９）
前記イベントに関連するオブジェクトの追跡を行なう追跡ステップと、
前記追跡ステップによる前記オブジェクトの追跡の結果から、前記イベント発生時と、前記クエリ情報を生成すべき画像のタイミングまでの時間差を算出することにより、前記決定ステップが決定した時間差を更新する更新ステップと、
を備えた付記２３乃至２８のいずれか１項に記載の情報処理プログラム。
（付記３０）
前記イベントは、あらかじめ定められたリストに含まれる人物の発見であり、
前記検知ステップは、前記人物の顔画像に基づいて前記リストに含まれる人物か否かを判定し、
前記決定ステップは、前記リストに含まれる人物の服装を前記クエリ情報として決定する付記２３乃至２９のいずれか１項に記載の情報処理プログラム。
（付記３１）
前記イベントは、前記映像中の人物が倒れたことの発見であり、
前記決定ステップは、倒れた前記人物の倒れる前の服装を前記クエリ情報として決定する付記２３乃至３０のいずれか１項に記載の情報処理プログラム。
（付記３２）
前記イベントは、荷物の置き去りまたは持ち去りの発見であり、
前記決定ステップは、前記荷物を置き去りにした人物または持ち去った人物の服装を前記クエリ情報として決定する付記２３乃至３１のいずれか１項に記載の情報処理プログラム。
（付記３３）
前記イベントは、前記映像中の侵入禁止区域に侵入した人物の発見であり、
前記決定ステップは、前記侵入禁止区域に侵入した人物の服装を前記クエリ情報として決定する付記２３乃至３２のいずれか１項に記載の情報処理プログラム。
この出願は、２０１２年９月２８日に出願された日本出願特願２０１２−２１７５９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

上記目的を達成するため、本発明の係る情報処理装置は、
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知手段と、
前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定手段と、
前記決定手段で決定した種類のオブジェクトを前記映像から検出し、検出した前記オブジェクトの特徴量をクエリ情報として生成する生成手段と、
を備えたことを特徴とする。

上記目的を達成するため、本発明の係る情報処理方法は、
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定ステップと、
前記決定ステップで決定した種類のオブジェクトを前記映像から検出し、検出した前記オブジェクトの特徴量をクエリ情報として生成する生成ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明の係る情報処理プログラムは、
撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定ステップと、
前記決定ステップで決定した種類のオブジェクトを前記映像から検出し、検出した前記オブジェクトの特徴量をクエリ情報として生成する生成ステップと、
をコンピュータに実行させることを特徴とする。

Claims (13)

1. 撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知手段と、
   前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定手段と、
   前記決定手段で決定した種類のオブジェクトを前記映像から検出し、検出した前記オブジェクトに基づいてクエリ情報を生成する生成手段と、
   を備えた情報処理装置。
2. 前記生成手段は、検出した前記オブジェクトの特徴量を前記クエリ情報として生成する請求項１に記載の情報処理装置。
3. 前記生成手段は、前記イベント発生時から所定時間差だけ異なるタイミングでの映像を用いて、前記クエリ情報を生成し、
   前記決定手段は、さらに、前記イベントの種類に応じて前記所定時間差を決定する請求項１または２に記載の情報処理装置。
4. 前記生成手段は、前記イベント発生時と異なるタイミングでの所定時間幅の映像を用いて、前記クエリ情報を生成し、
   前記決定手段は、さらに、前記イベントの種類に応じて前記所定時間幅を決定する請求項１、２または３に記載の情報処理装置。
5. 前記生成手段は、前記映像中の所定領域を用いて、前記クエリ情報を生成し、
   前記決定手段は、さらに、前記イベントの種類に応じて前記所定領域を決定する請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記生成手段は、前記映像中の１枚以上の所定数の画像を用いて、前記クエリ情報を生成し、
   前記決定手段は、さらに、前記イベントの種類に応じて前記所定数を決定する請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記イベントに関連するオブジェクトの追跡を行なう追跡手段と、
   前記追跡手段による前記オブジェクトの追跡の結果から、前記イベント発生時と、前記クエリ情報を生成すべき画像のタイミングまでの時間差を算出することにより、前記決定手段が決定した時間差を更新する更新手段と、
   を備えた請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記イベントは、あらかじめ定められたリストに含まれる人物の発見であり、
   前記検知手段は、前記人物の顔画像に基づいて前記リストに含まれる人物か否かを判定し、
   前記決定手段は、前記リストに含まれる人物の服装を前記クエリ情報として決定する請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記イベントは、前記映像中の人物が倒れたことの発見であり、
   前記決定手段は、倒れた前記人物の倒れる前の服装を前記クエリ情報として決定する請求項１乃至７のいずれか１項に記載の情報処理装置。
10. 前記イベントは、荷物の置き去りまたは持ち去りの発見であり、
    前記決定手段は、前記荷物を置き去りにした人物または持ち去った人物の服装を前記クエリ情報として決定する請求項１乃至７のいずれか１項に記載の情報処理装置。
11. 前記イベントは、前記映像中の侵入禁止区域に侵入した人物の発見であり、
    前記決定手段は、前記侵入禁止区域に侵入した人物の服装を前記クエリ情報として決定する請求項１乃至７のいずれか１項に記載の情報処理装置。
12. 撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
    前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定ステップと、
    前記決定ステップで決定した種類のオブジェクトを前記映像から検出し、検出した前記オブジェクトに基づいてクエリ情報を生成する生成ステップと、
    を含む情報処理方法。
13. 撮影した映像を解析して、あらかじめ定められたイベントが発生したか否かを検知する検知ステップと、
    前記イベントの発生を検知したことに応答して、クエリ情報として用いるべきオブジェクトの種類を前記イベントの種類に基づいて決定する決定ステップと、
    前記決定ステップで決定した種類のオブジェクトを前記映像から検出し、検出した前記オブジェクトに基づいてクエリ情報を生成する生成ステップと、
    をコンピュータに実行させる情報処理プログラム。

Images