JP5416421B2 - 監視映像検索装置、監視映像検索プログラム及び監視映像検索方法 - Google Patents

Description

本発明は、監視映像中から特定の画像を検索する監視映像検索装置、監視映像検索プログラム及び監視映像検索方法に関する。

監視映像を監視している監視者が当該監視映像中に非定常状態（不審者、不審物等が存在する状態）を発見したときには、監視者は、当該監視映像を巻き戻すことによって、非定常状態が出現したときの画像を目視にて検索する。
ここで、特許文献１には、映像カットから非定常な映像カットを検出する非定常映像検出装置が開示されている。
かかる非定常映像検出装置は、各画像（フレーム）に背景差分を施すことによって変化画像を生成し、変化画像に基づいて時空間特徴ベクトルを生成し、統計的処理によってはずれ値として検出された時空間特徴ベクトルに対応する映像カットを非定常な映像カットとみなして出力する。

特開２００７−２９３５５９号公報

しかしながら、特許文献１に記載された非定常映像検出装置は、移動体がほとんど撮影されない監視環境において非定常状態を検出するのには有効かもしれないが、店舗、空港等といった移動体が多く存在する監視環境においては、非定常状態が頻繁に自動検出されるため、有効性は低い。
また、実際には、非定常状態が出現した画像又は時刻が監視者にとっては重要な情報であり、かかる情報を監視者に通知する技術が望まれている。

本発明は、前記した問題を解決すべく創案されたものであり、非定常状態が出現した画像又は時刻を監視者に通知することが可能な監視映像検索装置、監視映像検索プログラム及び監視映像検索方法を提供することを課題とする。

前記課題を解決するため、本発明の監視映像検索装置は、撮影装置によって撮影された一連の画像データからなる監視映像を取得する監視映像取得部と、取得された前記一連の画像データが当該画像データの撮影時刻とともに記憶される監視映像記憶部と、ユーザの入力に基づいて、取得された前記画像データにおける非定常領域を選択的に指定する非定常領域指定部と、記憶された前記一連の画像データから、指定された前記非定常領域に対応する領域が出現したフレームである出現画像を検索する検索部と、前記検索部による検索結果として、前記出現画像及び当該出現画像の撮影時刻の少なくとも一方を出力する検索結果出力部と、を備え、前記画像データには、前記非定常領域として指定可能な顔認識データ又は移動体抽出データがメタデータとして含まれており、前記非定常領域指定部は、前記非定常領域として、前記メタデータに対応する領域を指定することを特徴とする。

本発明によれば、非定常状態が出現した画像又は時刻を監視者に通知することができるので、好適な監視支援が可能となる。

本発明の実施形態に係る監視映像検索装置を備える監視システムを模式的に示す図である。 本発明の実施形態に係る監視映像検索装置の第一の動作例を説明するためのフローチャートである。 非定常領域指定用画面データによる画面例を示す図である。 （ａ）〜（ｅ）は、監視映像記憶部に記憶された一連の監視画像の例を示す図である。 出現／消失直前表示用画面データによる画面例を示す図である。 本発明の実施形態に係る監視映像検索装置の第二の動作例を説明するためのフローチャートである。 非定常領域指定用画面データによる画面例を示す図である。 （ａ）〜（ｈ）は、監視映像記憶部に記憶された一連の監視画像の例を示す図である。 出現／消失直前表示用画面データによる画面例を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。図１は、本発明の実施形態に係る監視映像検索装置を備える監視システムを模式的に示す図である。

図１に示すように、本発明の実施形態に係る監視システム１は、所定の監視領域を撮影した監視映像をユーザ（監視者）に表示するシステムであり、複数の撮影装置１０，１０，・・・と、監視者用装置２０と、監視映像検索装置３０と、を備えている。複数の撮影装置１０，１０，・・・、監視者用装置２０及び監視映像検索装置３０は、ネットワークＮＷによって互いに通信可能に接続されている。

＜撮影装置１０＞
撮影装置１０は、所定の監視領域を撮影するための装置であり、カメラ１１と、画像処理部１２と、を備えている。

カメラ１１は、一連の監視画像からなる監視映像をデジタルデータとして取り込むことができるものであり、例えば、カラーＣＣＤ（Charge-Coupled device）カメラである。取り込まれたデジタルデータとしての一連の監視画像データは、画像処理部１２に出力される。

画像処理部１２は、カメラ１１から出力された監視画像データを処理し、監視画像内の移動体（人物等）の認識を行うものであり、機能部として、移動体抽出部１２ａと、顔認識部１２ｂと、を備えている。

移動体抽出部１２ａは、カメラ１１から出力された監視画像データに基づいて、撮影された監視画像中の移動体を抽出する。そして、移動体抽出部１２ａは、過去の数画像（フレーム）の画像データを記憶しており、最新の画像の監視画像データと過去の画像の監視画像データとを比較してパターンマッチングを行い、各画素の移動量を算出し、移動量画像を生成する。そして、移動量の多い画素がある場合に、その位置に移動体が存在すると推定して当該移動体を抽出した移動体抽出データを生成する。移動体抽出データは、移動体ＩＤを含んでおり、複数の移動体抽出データが識別可能に構成されている。生成された移動体抽出データは、メタデータとして監視画像データに関連付けられ（付加され）、顔認識部１２ｂに出力される。

顔認識部１２ｂは、移動体抽出部１２ａから出力された監視画像データに基づいて、抽出された移動体から肌色の部分を抽出し、当該肌色の部分の大きさ、形状等から顔の位置を認識し、認識された顔の位置に関する顔認識データを生成する。顔認識データは、顔ＩＤを含んでおり、複数の顔認識データが識別可能に構成されている。生成された顔認識データは、メタデータとして監視画像データに関連付けられ（付加され）、ネットワークＮＷを介して監視映像検索装置３０に出力される。

また、画像処理部１２は、対応するカメラ１１のＩＤ（カメラＩＤ）、及び、一連の画像データの撮影時刻をメタデータとして対応する監視画像データに関連付けることもできる。すなわち、画像処理部１２から出力される監視画像データは、カメラＩＤ、移動体抽出データ、顔認識データ及び撮影時刻をメタデータとして含んでいる。

＜監視者用装置２０＞
監視者用装置２０は、例えばパーソナルコンピュータであり、入力部２１と、制御部２２と、出力部２３と、を備えている。

入力部２１は、マウス、キーボード等であり、監視者の操作に基づく入力データを制御部２２に出力する。

制御部２２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、入出力回路等を備えて構成されており、入力部２１及び出力部２３の動作を制御したり、ネットワークＮＷを介してデータを送受信したりする。本実施形態において、制御部２２は、監視者による入力部２１の入力操作に基づいて、非定常領域通知データを生成してネットワークＮＷを介して監視映像検索装置３０に出力する。

出力部２３は、ディスプレイであり、監視映像検索装置３０から出力された検索結果等を表示する。

＜監視映像検索装置３０＞
監視映像検索装置３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、入出力回路等を備えて構成されており、機能部として、監視映像取得部３１と、監視映像記憶部３２と、非定常領域指定部３３と、検索部３４と、画面データ生成出力部３５と、を備えている。

監視映像取得部３１は、監視映像データ、すなわち、撮影装置１０によって撮影された一連の監視画像に関する監視画像データをネットワークＮＷを介して取得し、取得された監視画像データを監視映像記憶部３２に記憶させる。

監視映像記憶部３２には、監視画像データがメタデータとともに記憶される。

非定常領域指定部３３は、監視者による入力部２２の入力操作に基づいて、取得された監視画像における非定常領域を指定する。指定結果は、検索部３４に出力される。

検索部３４は、監視映像記憶部３２に記憶された一連の監視画像データから、指定された非定常領域が出現した監視画像データである出現画像データを検索するものであり、さらに詳細な機能部として、類似度算出部３４ａと、判定部３４ｂと、決定部３４ｃと、を備えている。

類似度算出部３４ａは、非定常領域が指定された監視画像データにおける当該非定常領域の画像データと、当該監視画像データよりも前の監視画像データにおける非定常領域に対応する領域の画像データと、の類似度を算出する。本発明において、類似度は、二つの画像データが類似しているほど大きくなるパラメータである。ここで、非定常領域に対応する領域としては、監視画像における非定常領域と同じ位置である領域であってもよく、非定常領域が移動体において認識された顔領域である場合には、当該顔領域と同じ移動体の顔領域であってもよい。類似度を算出する手法としては、非定常領域の画像データの特徴量と、非定常領域に対応する領域の画像データの特徴量と、をそれぞれ算出し、これらの特徴量を用いて類似度を算出する公知の手法が挙げられる。例えば、非定常領域及び対応する領域内の８点の近傍における輝度勾配ベクトルを算出し、当該輝度勾配ベクトルの強度分布を特徴量として使用することができる。

また、類似度算出部３４ａは、非定常領域が指定された監視画像データにおける当該非定常領域の画像データと、当該監視画像データよりも後の監視画像データにおける非定常領域に対応する領域の画像データと、の類似度を算出する。算出された類似度は、判定部３４ｂに出力される。

判定部３４ｂは、算出された類似度が、予め設定された閾値以上であるか否かを判定する。より具体的には、判定部３４ｂは、算出された類似度が閾値以上である場合に、対応する監視画像には非定常状態が含まれていると判定し、算出された類似度が閾値未満である場合に、対応する監視画像には非定常状態が含まれていないと判定する。判定部３４ｂによる判定結果は、決定部３４ｃに出力される。

決定部３４ｃは、判定部３４ｂによる判定結果に基づいて、類似度が閾値以上である最前の監視画像データを出現画像データとして決定する。ここで、出現画像データとは、非定常領域が出現したときの監視画像データのことであり、後記する第一の動作例のように、監視画像における非定常領域と同じ位置である領域である場合には、当該非定常領域に非定常物体等が出現したときの監視画像データであり、後記する第二の動作例のように、非定常領域が移動体において認識された顔領域である場合には、撮影装置１０の撮影範囲内に移動体の顔が出現したときの監視画像データである。本実施形態では、決定部３４ｃは、類似度が閾値以上である前の監視画像データよりも前の所定数（例えば、１〜１００）の監視画像データの類似度がすべて閾値未満である場合に、当該前の監視画像データを出現画像データとして決定する。

また、決定部３４ｃは、判定部３４ｂによる判定結果に基づいて、類似度が閾値以上である最後の監視画像データを消失直前画像データとして決定する。ここで、消失直前画像データとは、非定常領域が消失する直前の監視画像データのことであり、後記する第一の動作例のように、監視画像における非定常領域と同じ位置である領域である場合には、当該非定常領域から非定常物体等が消失する直前の監視画像データであり、後記する第二の動作例のように、非定常領域が移動体において認識された顔領域である場合には、撮影装置１０の撮影範囲内から移動体の顔が消失する直前の監視画像データである。本実施形態では、決定部３４ｃは、類似度が閾値以上である後の監視画像よりも後の所定数（例えば、１〜１００）の監視画像の類似度がすべて閾値未満である場合に、当該後の監視画像を消失直前画像として決定する。決定部３４ｃによる決定結果は、画面データ生成出力部３５に出力される。

画面データ生成出力部３５は、検索部３４による検索結果を出力する検索結果出力部の一例であり、決定部３４ｃによる決定結果、及び、監視映像記憶部３２に記憶された監視画像データに基づいて、出現画像及び当該出現画像の撮影時刻の少なくとも一方を表示するための出現表示用画面データを生成する。また、画面データ生成出力部３５は、決定部３４ｃによる決定結果、及び、監視映像記憶部３２に記憶された監視画像データに基づいて、消失直前画像及び当該消失直前画像の撮影時刻の少なくとも一方を表示するための消失直前表示用画面データを生成することもできる。本実施形態では、画面データ生成出力部３５は、出現画像、当該出現画像の撮影時刻、消失直前画像及び当該消失直前画像の撮影時刻を表示するための出現／消失直前表示用画面データを生成する。

また、画面データ生成出力部３５は、監視映像記憶部３２に記憶された監視画像データに基づいて、監視者に非定常領域を指定させることが可能な画像を監視者用装置２０の出力部２３に表示させるための非定常領域指定用画面データを生成することもできる。生成された出現／消失直前表示用画面データ及び非定常領域指定用画面データは、ネットワークＮＷを介して監視者用装置２０に出力される。

＜第一の動作例＞
続いて、本発明の実施形態に係る監視映像検索装置３０の第一の動作例について、図２〜図５を参照して説明する（適宜図１参照）。図２は、本発明の実施形態に係る監視映像検索装置の第一の動作例を説明するためのフローチャートである。図３は、非定常領域指定用画面データによる画面例を示す図である。図４（ａ）〜（ｅ）は、監視映像記憶部に記憶された一連の監視画像の例を示す図である。図５は、出現／消失直前表示用画面データによる画面例を示す図である。

まず、監視映像検索装置３０の画面データ生成出力部３５が、監視映像記憶部３２に記憶された監視画像データに基づいて、監視者に非定常領域を指定させることが可能な画像を監視者用装置２０の出力部２３に表示させるための非定常領域指定用画面データを生成し、ネットワークＮＷを介して監視者用装置２０に出力する（ステップＳ１）。監視者用装置２０の制御部２２は、非定常領域指定用画面データを出力部２３に出力し、出力部２３は、非定常領域指定用画面データを用いて、図３に示す非定常領域指定用画面４０Ａを表示する。

非定常領域指定用画面４０Ａは、ＧＵＩ（Graphic User Interface）操作可能に構成されており、図３に示すように、監視映像表示領域４１と、非定常領域指定用監視映像表示領域４２と、チェックボックス４３ａ，４３ｂと、非定常状態検索ボタン４４と、を備えている。

監視映像表示領域４１は、複数の撮影装置１０，１０，・・・によって撮影された監視映像４１ａ〜４１ｅを表示する領域である。監視映像４１ａ〜４１ｅは同期されており、同一時刻に撮影された監視画像が一緒に表示されるようになっている。

非定常領域指定用監視映像表示領域４２は、監視映像４１ａ〜４１ｅのうち、監視者が非定常領域を指定するための監視映像を表示する領域である。本動作例では、非定常領域指定用監視映像表示領域４２には、監視映像４１ｃが表示されている。ここで、監視者が入力部（マウス）２１を操作してポインタＰを移動させ、ポインタＰが監視映像４１ａ〜４１ｅのいずれか上に位置した状態で入力部（マウス）２１をクリックすると、制御部２２は、該当する監視映像を非定常領域指定用監視映像表示領域４２に表示させることができる。

チェックボックス４３ａは、非定常状態の検索対象として出現画像を選択するか否かをチェックするためのボックスである。また、チェックボックス４３ｂは、非定常状態の検索対象として消失直前画像を選択するか否かをチェックするためのボックスである。

非定常状態検索ボタン４４は、非定常状態の検索を開始するためのボタンであり、監視者が入力部（マウス）２１を操作してポインタＰを移動させ、ポインタＰが非定常状態検索ボタン４４上に位置した状態で入力部（マウス）２１をクリックすると、制御部２２は、チェックボックス４３ａ，４３ｂのうちチェックされた画像（出現画像及び消失直前画像の少なくとも一方）を検索する旨と、検索対象である非定常領域を通知する信号（非定常領域通知データ）を生成してネットワークＮＷを介して監視映像検索装置３０に出力する。

ここで、動作例の説明に戻る。監視者が入力部（マウス）２１を操作することによって、非定常領域指定用監視映像表示領域４２内に表示された監視映像４１ｃ内の非定常領域４２ａを選択し、チェックボックス４３ａ，４３ｂにチェックを入れた状態で非定常状態検索ボタン４４を押下すると、制御部２２が非定常領域通知データを生成してネットワークＮＷを介して監視映像検索装置３０に出力し、監視映像検索装置３０の非定常領域指定部３３が、当該非定常領域通知データを取得し（ステップＳ２）、検索対象となる非定常領域を指定する。

続いて、検索部３４の類似度算出部３４ａが、指定された非定常領域の特徴量を算出する（ステップＳ３）。続いて、類似度算出部３４ａが、指定された非定常領域５３ａ（図４参照）を含む監視画像５３の一つ前の監視画像５２（一つ後の監視画像５４）における非定常領域５３ａに対応する領域５２ａ（領域５４ａ）の特徴量を算出する（ステップＳ４）。

続いて、類似度算出部３４ａが、算出された各特徴量を用いて、非定常領域５３ａと領域５２ａ（領域５４ａ）との類似度を算出する（ステップＳ５）。

続いて、判定部３４ｂが、算出された類似度が閾値以上であるか否かを判定する（ステップＳ６）。算出された類似度が閾値以上である場合には、ステップＳ４に移行し、さらに一つ前の監視画像５１（さらに一つ後の監視画像５５）の領域５１ａ（領域５５ａ）に対して同様の処理が行われる。そして、算出された類似度が閾値未満である場合には、ステップＳ７に移行する。

続いて、決定部３４ｃが、判定部３４ｂによる判定結果に基づいて、類似度が閾値以上である最前の監視画像５２（最後の監視画像５４）を出現画像（消失直前画像）として決定する（ステップＳ７）。

続いて、画面データ生成出力部３５が、決定部３４ｃによる決定結果に基づいて、出現画像、当該出現画像の撮影時刻、消失直前画像及び当該消失直前画像の撮影時刻を表示するための出現／消失直前表示用画面データを生成してネットワークＮＷを介して監視者用装置２０に出力する（ステップＳ８）。

監視者用装置２０の制御部２２は、出現／消失直前表示用画面データを出力部２３に出力し、出力部２３は、出現／消失直前表示用画面データを用いて、図５に示す出現／消失直前表示画面４０Ｂを表示する。出現／消失直前表示画面４０Ｂは、図５に示すように、出現画像表示領域４５ａと、出現時刻表示領域４５ｂと、消失直前画像表示領域４６ａと、消失直前時刻表示領域４６ｂと、を備えている。

出現画像表示領域４５ａには、非定常状態が出現する監視画像５２（図４参照）が表示されており、出現時刻表示領域４５ｂには、当該監視画像５２の撮影時刻が表示されている。消失直前画像表示領域４６ａには、非定常状態が消失する直前の監視画像５４（図４参照）が表示されており、消失直前時刻表示領域４６ｂには、当該監視画像５４の撮影時刻が表示されている。

＜第二の動作例＞
続いて、本発明の実施形態に係る監視映像検索装置３０の第二の動作例について、図６〜図９を参照し、第一の動作例との相違点を中心に説明する（適宜図１参照）。図６は、本発明の実施形態に係る監視映像検索装置の第二の動作例を説明するためのフローチャートである。図７は、非定常領域指定用画面データによる画面例を示す図である。図８（ａ）〜（ｈ）は、監視映像記憶部に記憶された一連の監視画像の例を示す図である。図９は、出現／消失直前表示用画面データによる画面例を示す図である。

まず、監視映像検索装置３０の画面データ生成出力部３５が、監視映像記憶部３２に記憶された監視画像データに基づいて、監視者に非定常領域を指定させることが可能な画像を監視者用装置２０の出力部２３に表示させるための非定常領域指定用画面データを生成し、ネットワークＮＷを介して監視者用装置２０に出力する（ステップＳ１１）。監視者用装置２０の制御部２２は、非定常領域指定用画面データを出力部２３に出力し、出力部２３は、非定常領域指定用画面データを用いて、図７に示す非定常領域指定用画面４０Ｃを表示する。

本動作例では、非定常領域指定用監視映像表示領域４２には、監視映像４１ｂが表示されている。監視映像４１ｂを表示するための監視画像データには、非定常領域４２ｂに相当する顔認識データがメタデータとして関連付けられている。

監視者が入力部（マウス）２１を操作することによって、非定常領域指定用監視映像表示領域４２内に表示された監視映像４１ｂ内の非定常領域４２ｂを選択し、チェックボックス４３ａ，４３ｂにチェックを入れた状態で非定常状態検索ボタン４４を押下すると、制御部２２が非定常領域通知データを生成してネットワークＮＷを介して監視映像検索装置３０に出力し、監視映像検索装置３０の非定常領域指定部３３が、当該非定常領域通知データを取得し（ステップＳ１２）、検索対象となる非定常領域を指定する。

続いて、検索部３４の類似度算出部３４ａが、指定された非定常領域の特徴量を算出する（ステップＳ１３）。

続いて、類似度算出部３４ａが、指定された非定常領域６５ａ（図８参照）を含む監視画像６５の一つ前の監視画像６４（一つ後の監視画像６６）における非定常領域６５ａに対応する領域（領域６６ａ）の特徴量を算出する（ステップＳ１４）。

続いて、類似度算出部３４ａが、算出された各特徴量を用いて、非定常領域６５ａとそれに対応する領域（領域６６ａ）との類似度を算出する（ステップＳ１５）。ここで、一つ前の監視画像６４においては、移動体であるヒトが横を向いているために顔を認識することができていないため、非定常領域６５ａに対応する領域は存在せず、類似度はゼロとなる。

続いて、判定部３４ｂが、算出された類似度が閾値以上であるか否かを判定する（ステップＳ１６）。算出された類似度が閾値以上である場合には、ステップＳ１４に移行し、さらに一つ前の監視画像６３（さらに一つ後の監視画像６７）の領域６３ａ（非定常領域に対応する領域は存在しない）に対して同様の処理が行われる。そして、算出された類似度が閾値未満である場合には、ステップＳ１７に移行する。

続いて、決定部３４ｃが、判定部３４ｂによる判定結果に基づいて、類似度が閾値以上である前の監視画像よりも前の所定数（ここでは、２）の監視画像の類似度がすべて閾値未満である場合に（ステップＳ１７でＹｅｓ）、当該前の監視画像を前記出現画像として決定する（ステップＳ１８）。本動作例においては、監視画像６３（監視画像６６）が出現画像（消失直前画像）として決定される。

続いて、画面データ生成出力部３５が、決定部３４ｃによる決定結果に基づいて、出現画像、当該出現画像の撮影時刻、消失直前画像及び当該消失直前画像の撮影時刻を表示するための出現／消失直前表示用画面データを生成してネットワークＮＷを介して監視者用装置２０に出力する（ステップＳ１９）。

監視者用装置２０の制御部２２は、出現／消失直前表示用画面データを出力部２３に出力し、出力部２３は、出現／消失直前表示用画面データを用いて、図９に示す出現／消失直前表示画面４０Ｄを表示する。出現／消失直前表示画面４０Ｄは、図９に示すように、出現画像表示領域４５ａと、出現時刻表示領域４５ｂと、消失直前画像表示領域４６ａと、消失直前時刻表示領域４６ｂと、を備えている。

出現画像表示領域４５ａには、非定常状態が出現する監視画像６３（図８参照）が表示されており、出現時刻表示領域４５ｂには、当該監視画像６３の撮影時刻が表示されている。消失直前画像表示領域４６ａには、非定常状態が消失する直前の監視画像６６（図８参照）が表示されており、消失直前時刻表示領域４６ｂには、当該監視画像６６の撮影時刻が表示されている。

本発明の実施形態に係る監視映像検索装置３０は、監視者が所望する非定常状態がいつ出現し、いつ消失したかを監視者に通知することができる。したがって、監視者による監視を好適に支援することができる。また、監視者映像検索装置３０は、移動体であるヒトが横を向いたりしてその顔が検出されないことがあったとしても、その影響を回避して非定常状態の出現及び消失を特定することができる。

以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、第二の動作例において、顔認識データに代えて移動体抽出データを非定常領域として用いる構成であってもよい。この場合、移動体抽出データは、抽出された移動体を囲む矩形枠として表示される。また、監視映像検索装置３０が画像処理部１２を備える構成であってもよい。この場合、画像処理部１２における撮影時刻をメタデータとして監視画像データに付加する機能は、撮影装置１０側に残される。また、画面データ生成出力部３５に代えて、非定常状態の出現時刻（及び消失直前時刻）を音声として通知可能なデータを生成して出力する検索結果出力部を備える構成であってもよい。また、本発明は、コンピュータを前記監視映像検索装置として機能させる監視映像検索プログラムとしても具現化可能である。

また、第二の動作例においては、画像処理部１２又は監視映像検索装置３０が顔認識データに対応する非定常領域の特徴量を算出する特徴量算出部を備えており、算出された特徴量が対応する監視画像データとともに監視映像記憶部３２に記憶されており、類似度算出部３４ａが、監視映像記憶部３２に記憶された特徴量に基づいて類似度を算出する構成であってもよい。特徴量算出部は、画像処理部１２においては顔認識部１２ｂとネットワークＮＷとの間に設けられ、監視映像検索装置３０においては監視映像取得部３１と監視映像記憶部３２との間に設けられる。この場合には、ステップＳ１３及びステップＳ１４は、かかる特徴量算出部によってステップＳ１１以前に行われることとなる。

１ 監視システム
１０ 撮影装置
２０ 監視者用装置
３０ 監視映像検索装置
３１ 監視映像取得部
３２ 監視映像記憶部
３３ 非定常領域指定部
３４ 検索部
３５ 画面データ生成出力部

Claims (8)

1. 撮影装置によって撮影された一連の画像データからなる監視映像を取得する監視映像取得部と、
   取得された前記一連の画像データが当該画像データの撮影時刻とともに記憶される監視映像記憶部と、
   ユーザの入力に基づいて、取得された前記画像データにおける非定常領域を選択的に指定する非定常領域指定部と、
   記憶された前記一連の画像データから、指定された前記非定常領域に対応する領域が出現したフレームである出現画像を検索する検索部と、
   前記検索部による検索結果として、前記出現画像及び当該出現画像の撮影時刻の少なくとも一方を出力する検索結果出力部と、
   を備え、
   前記画像データには、前記非定常領域として指定可能な顔認識データ又は移動体抽出データがメタデータとして含まれており、
   前記非定常領域指定部は、前記非定常領域として、前記メタデータに対応する領域を指定する
   ことを特徴とする監視映像検索装置。
2. 前記メタデータは、前記撮影装置において前記画像データに付加されており、
   前記監視映像取得部は、前記メタデータが付加された前記画像データをネットワークを介して取得する
   ことを特徴とする請求項１に記載の監視映像検索装置。
3. 前記検索部は、
   前記非定常領域が指定された前記画像データにおける当該非定常領域と、当該画像データよりも前の画像データにおける前記非定常領域に対応する領域と、の類似度を算出する類似度算出部と、
   算出された前記類似度が閾値以上である場合に、前記前の画像データには非定常状態が含まれていると判定する判定部と、
   前記判定部による判定結果に基づいて、前記類似度が前記閾値以上である最前の画像データのフレームを前記出現画像として決定する決定部と、
   を備えることを特徴とする請求項１又は請求項２に記載の監視映像検索装置。
4. 前記決定部は、前記類似度が前記閾値以上である前の画像データよりも前の所定数の画像データの前記類似度がすべて前記閾値未満である場合に、当該前の画像データのフレームを前記出現画像として決定する
   ことを特徴とする請求項３に記載の監視映像検索装置。
5. 前記検索部は、記憶された前記一連の画像データから、指定された前記非定常領域に対応する領域が消失する直前のフレームである消失直前画像をさらに検索するものであって、
   前記類似度算出部は、前記非定常領域が指定された前記画像データにおける当該非定常領域と、当該画像データよりも後の画像データにおける前記非定常領域に対応する領域と、の類似度を算出し、
   前記判定部は、算出された前記類似度が前記閾値以上である場合に、当該後の画像データには非定常状態が含まれていると判定し、
   前記決定部は、前記判定部による判定結果に基づいて、前記類似度が前記閾値以上である最後の画像データのフレームを消失直前画像として決定し、
   前記検索結果出力部は、前記検索結果として、前記消失直前画像及び当該消失直前画像の撮影時刻の少なくとも一方をさらに出力する
   ことを特徴とする請求項３又は請求項４に記載の監視映像検索装置。
6. 前記撮影装置又は前記監視映像検索装置は、前記メタデータに対応する領域の特徴量を算出する特徴量算出部をさらに備え、
   前記監視映像記億部は、算出された前記特徴量を対応する前記画像データとともに記憶しており、
   前記類似度算出部は、前記非定常領域が指定された前記画像データにおける当該非定常領域の特徴量と、当該画像データよりも前又は後における画像データにおける前記非定常領域に対応する領域の特徴量と、を用いて前記類似度を算出するものであり、
   前記特徴量は、指定された前記非定常領域又は当該非定常領域に対応する領域の内部の所定箇所における輝度勾配ベクトルの分布である
   ことを特徴とする請求項３から請求項５のいずれか一項に記載の監視映像検索装置。
7. コンピュータを、
   撮影装置によって撮影された一連の画像データからなる監視映像を取得し、取得された前記一連の画像データを当該画像データの撮影時刻とともに記憶装置に記憶させる監視映像取得部、
   ユーザの入力に基づいて、取得された前記画像データにおける非定常領域を選択的に指定する非定常領域指定部、
   記憶された前記一連の画像データから、指定された前記非定常領域に対応する領域が出現したフレームである出現画像を検索する検索部、及び、
   前記検索部による検索結果として、前記出現画像及び当該出現画像の撮影時刻の少なくとも一方を出力する検索結果出力部、
   として機能させ、
   前記画像データには、前記非定常領域として指定可能な顔認識データ又は移動体抽出データがメタデータとして含まれており、
   前記非定常領域指定部は、前記非定常領域として、前記メタデータに対応する領域を指定する
   ことを特徴とする監視映像検索プログラム。
8. 監視映像検索装置が、撮影装置によって撮影された一連の画像データからなる監視映像を取得し、取得された前記一連の画像データを当該画像データの撮影時刻とともに記憶部に記憶させるステップと、
   前記監視映像検索装置が、ユーザの入力に基づいて、取得された前記画像データにおける非定常領域を選択的に指定するステップと、
   前記監視映像検索装置が、記憶された前記一連の画像データから、指定された前記非定常領域に対応する領域が出現したフレームである出現画像を検索するステップと、
   前記監視映像検索装置が、前記出現画像を検索するステップによる検索結果として、前記出現画像及び当該出現画像の撮影時刻の少なくとも一方を出力するステップと、
   を含み、
   前記画像データには、前記非定常領域として指定可能な顔認識データ又は移動体抽出データがメタデータとして含まれており、
   前記非定常領域を指定するステップにおいて、前記監視映像検索装置が、前記非定常領域として、前記メタデータに対応する領域を指定する
   ことを特徴とする監視映像検索方法。

Images