JP5227911B2 - 監視映像検索装置及び監視システム - Google Patents

Description

本発明は、監視映像中から人物の顔画像を検索する監視映像検索装置及び監視システムに関する。

監視映像中から顔画像を用いて人物検索を行うと、検索結果である顔画像あるいはフレーム画像が画面上に一覧表示される。監視映像を監視している監視者は、当該検索結果が間違いなく検索対象人物であるか否かについて、当該検索結果の一覧表示を目視し確認する。ここで、監視者に提示される検索結果画像は必ずしも目視確認に適した画像であるとは限らず、顔画像のサイズが小さかったり、顔の向きが斜めであったり、人物特定が難しい場合が存在する。
特許文献１には、顔画像をデータベースに保存する際、監視映像中の一連の連続する顔画像から客観的に最もバランスの取れた正面画像を選択し保存する最適顔画像記録装置が開示されている。かかる最適顔画像記録装置は、監視映像にて一定時間内に一定範囲に顔画像が存在する場合には同じ顔と判断し、それら同一顔画像から所定の評価手法によってベストショット画像を選択するし記録する。かかる最適顔画像記録装置のデータベースを用いて人物検索を行うと、当該検索結果画像にはベストショットのみが選択されることとなり、必然と監視者が目視確認しやすい画像一覧が得られる。

特開２００５−２２７９５７

しかしながら、特許文献１に記載された最適顔画像記録装置は、検索に用いる顔画像がベストショット画像である場合には有効かもしれないが、検索に用いる顔画像が目視による人物特定の難しい画像の場合には、当該顔画像と類似した画像をデータベースから検索することが難しく、有効性は低い。本発明は、前記した問題を解決すべく創案されたものであり、人物検索に用いる顔画像が目視による人物特定の難しい画像であっても、監視者が目視確認しやすい検索結果画像を出力することが可能な監視映像検索装置を提供することを課題とする。

前記課題を解決するため、本発明の監視映像検索装置は、撮影装置によって撮影された一連の監視画像からなる監視映像を取得する監視映像取得部と、監視映像中の顔画像を抽出し、当該顔画像の特徴量を生成する特徴量生成部と、取得された特徴量と関連付けられた顔画像、監視画像などのメタデータを記憶する画像特徴量記憶部と、ユーザの入力（外部からの入力）に基づいて、画像特徴量記憶部あるいは監視者用装置に記憶されている顔画像から、人物検索のクエリ画像となる顔画像を指定する顔画像指定部と、画像特徴量記憶部に記憶された前記一連の監視画像から、指定された前記顔画像と類似した顔画像を検索する類似画像検索部と、前記検索結果と撮影時刻の近い監視画像から、監視者が目視確認しやすい、同一人物の顔画像を含む提示用監視画像を選択する提示画像選択部と、前記提示画像選択部による結果として、前記提示画像を出力する画面データ生成出力部と、を備えることを特徴とする。即ち、類似画像検索を用いて提示用画像を選択することに最大の特徴がある。

本発明によれば、監視映像中の人物検索結果に対して、その前後フレームから監視者が目視確認しやすい顔画像を提示することが可能となる。

本発明の実施形態に係る監視映像検索装置を備える監視システムを模式的に示す図である。 本発明の実施形態に係る監視映像検索装置の動作例を説明するためのフローチャートである。 クエリ顔画像指定用画面データによる画面例を示す図である。 （ａ）〜（ｅ）は、監視映像記憶部に記憶された一連の監視画像の例を示す図である。 人物検索結果表示用画面データによる画面例を示す図である。 本発明の実施形態に係る監視映像検索の動作の説明をする図である。 本発明の実施形態に係る監視映像検索の動作の説明をする図である。 監視画像のデータ構造を示す図である。 類似画像検索部の処理に用いるデータの種類を説明する図である。 顔画像選択部の処理に用いるデータの種類を説明する図である。 実施例で用いられる式を示す図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。図１は、本発明の実施形態に係る監視映像検索装置を備える監視システムを模式的に示す図である。

図１に示すように、本発明の実施形態に係る監視システム１は、所定の監視領域を撮影した監視映像をユーザ（監視者）に表示するシステムであり、複数の撮影装置１０，１０，・・・と、監視者用装置２０と、監視映像検索装置３０と、を備えている。複数の撮影装置１０，１０，・・・、監視者用装置２０及び監視映像検索装置３０は、ネットワークＮＷによって互いに通信可能に接続されている。
＜撮影装置１０＞
撮影装置１０は、所定の監視領域を撮影するための装置であり、カメラ１１と、メタデータ生成部１２と、を備えている。

カメラ１１は、一連の監視画像からなる監視映像をデジタルデータとして取り込むことができるものであり、例えば、カラーＣＣＤ（Charge-Coupled device）カメラである。取り込まれたデジタルデータとしての一連の監視画像データは、メタデータ生成部１２に出力される。

メタデータ生成部１２は、カメラ１１から出力された監視画像データのメタデータとして、対応するカメラ１１のＩＤ（カメラＩＤ）、及び、一連の画像データの撮影時刻を関連付け、ネットワークＮＷを介して監視映像検索装置３０に出力される。
＜監視者用装置２０＞
監視者用装置２０は、例えばパーソナルコンピュータであり、入力部２１と、出力部２２と、制御部２３と、を備えている。

入力部２１は、マウス、キーボード等であり、監視者の操作に基づく入力データを制御部２２に出力する。

制御部２２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、入出力回路等を備えて構成されており、入力部２１及び出力部２３の動作を制御したり、ネットワークＮＷを介してデータを送受信したりする。本実施形態において、制御部２２は、監視者による入力部２２の入力操作に基づいて、顔画像データや、顔画像選択データを生成してネットワークＮＷを介して監視映像検索装置３０に出力する。

出力部２３は、ディスプレイであり、監視映像検索装置３０から出力された検索結果等を表示する。
＜監視映像検索装置３０＞
監視映像検索装置３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、入出力回路等を備えて構成されており、機能部として、監視映像取得部３１と、特徴量生成部３２と、画像特徴量記憶部３３と、顔画像指定部３４と、類似画像検索部３５と、提示画像選択部３６と、画面データ生成出力部３７と、を備えている。

監視映像取得部３１は、監視映像データ、すなわち、撮影装置１０によって撮影された一連の監視画像に関する監視画像データおよびメタデータをネットワークＮＷを介して取得し、特徴量生成部３２に出力する。

特徴量生成部３２は、監視映像取得部３１から出力された監視画像データを処理し、監視画像内における顔画像の特徴量を生成するものであり、機能部として、顔画像生成部３２ａと、生成部３２ｂと、を備えている。

顔画像生成部３２ａは、監視映像取得部３１から出力された監視画像データに基づいて、監視画像中の顔画像を生成する。そして、顔画像生成部３２ａは、監視画像内の肌色の部分を抽出し、当該肌色の部分の大きさ、形状等から顔の位置を認識し、認識された顔の位置から顔画像データを生成する。顔画像データは、当該監視画像と関連付けられる。また、前記顔画像データは、メタデータとして監視画像における顔画像の領域情報と、顔ＩＤと、を含んでおり、複数の顔画像データが識別可能に構成され、生成部３２ｂに出力される。

生成部３２ｂは、顔画像生成部３２ａから出力された顔画像データに基づいて、顔画像データの特徴量データを生成する。前記特徴量データの算出には公知の手法が挙げられる。例えば、特許文献２では、画像データの対象画素とその周辺領域内各画素との輝度勾配と勾配方向を求め、既定の方向毎にヒストグラム化し、そのピーク値 をとる方向を対象画素の特徴量データとしている。前記周辺領域は、単純に対象画素の８近傍としても構わない。

特開２００８−２５７６４９生成した特徴量データは、当該顔画像データと、当該顔画像データと関連づけられた監視画像をメタデータとして関連付けられ、監視映像記憶部３３に記憶させる。

監視映像記憶部３３には、特徴量データがメタデータとともに記憶される。

顔画像指定部３４は、監視者による入力部２１の入力操作に基づいて、人物検索に用いる顔画像を指定する。顔画像は、前記画像特徴量記憶部３３あるいは制御部２２が備えるＲＡＭ、ＲＯＭ、ＨＤＤに記憶されたものから指定される。指定結果は、類似画像検索部３５に出力される。ここで、制御部２２にある顔画像を指定した場合は、前記生成部３２ｂにより当該顔画像から特徴量データを生成し、類似画像検索部３５へ出力される。

類似画像検索部３５は、画像特徴量記憶部３３に記憶された顔画像データから、指定された顔画像データと類似した画像を検索するものであり、さらに詳細な機能部として、類似度算出部３５ａと、ソート部３５ｂと、を備えている。

類似度算出部３５ａは、指定された顔画像の特徴量データと、画像特徴量記憶部３３にある各顔画像の特徴量データの類似度を算出する。本発明において、類似度は、二つの特徴量データが類似しているほど小さくなるパラメータである。類似度の算出には公知の手法が挙げられる。例えば、特徴量データに前記輝度勾配を用いた場合、２つの顔画像にて求められる特徴量間の平均２乗距離を用いることができる。ここで、２つの特徴量をｆ（ｘ_１，ｙ_１）、 ｆ（ｘ_２，ｙ_２）とする時、その平均２乗距離dは図１１の上の式に示す通り、√（ｘ_２−ｘ_１）^２＋（ｙ_２−ｙ_１）^２となる。算出された類似度は、ソート部３５ｂに出力される。

ソート部３５ｂは、指定された顔画像の特徴量データと、画像特徴量記憶部３３にある特徴量データとの全類似度を、小さい順に並べる。すなわち、指定された顔画像に似ている順に、画像特徴量記憶部３３にある顔画像を並べる。そして、類似度の小さい順に並べた特徴量データのうち、予め設定された上位件数分を提示画像選択部３６に出力する。

提示画像選択部３６は、類似画像検索部３５から出力された検索結果である顔画像に基づいて、検索結果の前後の監視画像データにおける顔画像から、監視者が目視確認しやすい顔画像を選択するものであり、さらに詳細な機能部として、顔画像選択部３６ａと、進行方向算出部３６ｂと、決定部３６ｃと、を備えている。

顔画像選択部３６ａは、検索結果の顔画像に基づいて、当該顔画像を含む監視画像と撮影時刻の近い監視画像の中から、同一人物の顔画像を選択する。より具体的には、顔画像選択部３６ａは、検索結果の顔画像の特徴量データと、当該顔画像を含む監視画像と撮影時刻の近い監視画像中の顔画像の特徴量データとの類似度を算出し、当該類似度が予め設定した閾値よりも小さい場合、それら２つの顔画像は同一人物の画像と判定する。撮影時刻の近い監視画像の範囲は、検索結果の顔画像を含む監視画像を起点にした前後時刻の監視画像において、同一人物の顔画像が存在する一連の監視画像である。顔画像選択部３６ａで選択された一連の顔画像は、進行方向算出部３６ｂに出力される。ここで、撮影時刻の近い監視画像とは、該当撮像装置において、同一人物が移っている平均時間が近いことを意味する。但し、この平均時間は、撮影環境に依存する。また、ここで、閾値は、該当撮像装置において、同一人物と判定されるべき顔画像における平均類似度によって、定められる。この閾値は、本装置を用いる目的によって、設定を変更することが可能である。

進行方向算出部３６ｂは、顔画像選択部３６ａから出力された一連の顔画像に基づいて、当該顔画像の人物の監視映像中における進行方向を算出する。より具体的には、一連の監視画像中の顔画像の位置について、撮影時刻の古い顔画像と新しい顔画像との比較を行いその移動方向を求める。移動方向の算出には公知の手法が挙げられる。例えば、監視画像中の顔画像領域の重心から求まるベクトルを用いることができる。
ここで、顔画像領域の重心となる座標は((1/n)(Σxi),(1/n)(Σyi))であり(nは顔画像領域の全画素数、(xi,yi)(i=0...n)は顔画像領域内の座標値、図１１の下の式)、重心から求まるベクトルは、撮影時間の古い顔画像領域の重心を始点とし撮影時間の新しい顔画像領域の重心を終点とするベクトルとなる。一連の顔画像から算出したの各移動方向は、比較した撮影時刻の新しい顔画像に進行方向として関連付けられ、決定部３６ｃ に出力される。

決定部３６ｃは、進行方向選択部３６ｂから出力された一連の顔画像と、関連付けられた進行方向、および顔画像の大きさに基づいて、監視者に提示する画像を選択する。より具体的には、一連の顔画像において、顔画像の進行方向が監視画像に対して下方向あるいは下方向との誤差が小さい方向である顔画像を選び、当該顔画像のうち、最も顔画像のサイズが大きいものを選択し、画面データ生成出力部３７に出力する。なお、ここでは、サイズが大きいものを選択したが、ボケが少ないものや正面を向いているものを選択してもよい。

画面データ生成出力部３７は、類似画像検索部３５および提示画像選択部３６の結果を出力する検索結果出力部の一例であり、決定部３６ｃによる決定結果、および監視映像記憶部３２に記憶された監視画像データに基づいて、類似画像検索部３５の検索結果である監視画像、および決定部３５ｃによる決定結果の監視画像を表示するための出現表示用画面データを生成する。

また、画面データ生成出力部３７は、監視映像記憶部３２に記憶された監視画像データ、あるいは監視者用装置２２にある顔画像データに基づいて、監視者に指定させる人物検索のクエリ画像として用いる顔画像を監視者用装置２０の出力装置２３に表示させるためのクエリ顔画像指定用画面データを生成することもできる。生成された表示用画面データ及びクエリ顔画像指定用画面データは、ネットワークＮＷを介して監視者用装置２０に出力される。

続いて、本発明の実施形態に係る監視映像検索装置３０の第一の動作例について、図２〜図１０を参照して説明する（適宜図１参照）。図２は、本発明の実施形態に係る監視映像検索装置の動作例を説明するためのフローチャートであり、図６〜図８にて前記動作時におけるデータの流れを示している。図３は、クエリ顔画像指定用画面データによる画面例を示す図である。図４（ａ）〜（ｅ）は、画像特徴量記憶部に記憶された一連の監視画像の例を示す図である。図５は、人物検索結果表示用画面データによる画面例を示す図である。図８は、画像特徴量記憶部に記憶された監視画像のデータ構造を示す図である。図９は、類似画像検索部３５の処理に用いられるデータの種類を示す図である。図１０は、顔画像選択部３６ａの処理に用いられるデータの種類を示す図である。

図６に示すように、まず、監視映像検索装置３０の画面データ生成出力部３７が、画像特徴量記憶部３３に記憶された監視画像データ、顔領域情報、顔画像の登録ＩＤ、及び、監視者用装置２０の制御部２２が備える記憶装置上の顔画像データに基づいて、監視者に人物検索に用いる顔画像を指定させることが可能な画面データを監視者用装置２０の出力部２３に表示させるためのクエリ顔画像指定用画面データを生成し、ネットワークＮＷを介して監視者用装置２０に出力する（ステップＳ１）。監視者用装置２０の制御部２２は、クエリ顔画像指定用画面データを出力部２３に出力し、出力部２３は、クエリ顔画像指定用画面データを用いて、図３に示すクエリ顔画像指定用画面４０を表示する。ここで、画像特徴量記憶部３３に記憶された監視画像は、図８に示すようにデータ構造であり、記憶する際のユニークな管理番号である登録ＩＤ、撮影装置１０が監視画像を撮影した時刻である撮影時刻、撮影装置１０の管理用番号であるカメラ番号、監視画像データ、監視画像中に検出した人物顔の領域を示す顔領域情報、顔領域に該当する人物の監視画像内における進行方向を示す進行方向、そして顔領域に基づいて切り出した顔画像の特徴量である画像特徴量とから成る。また、前記監視画像は、顔領域ごとに記憶される。従って、監視画像中に複数の顔領域を検知した場合は、その領域数分だけデータ登録される。

クエリ顔画像指定用画面４０は、ＧＵＩ（Graphic User Interface）操作可能に構成されており、図３に示すように、監視映像表示領域４１と、顔画像入力ボタン４２と、クエリ顔画像指定用表示領域４３と、人物検索ボタン４４と、を備えている。

監視映像表示領域４１は、複数の撮影装置１０，１０，・・・によって撮影された監視映像４１ａ〜４１ｅを表示する領域である。監視映像４１ａ〜４１ｅは同期されており、同一時刻に撮影された監視画像が一緒に表示されるようになっている。

また、監視映像表示領域４１は、監視映像検索装置３０の画像特徴量記憶部３３に記憶されている過去の監視映像データを表示することも可能である。

顔画像入力ボタン４２は、監視者用装置２０の制御部２２が備えている記憶装置に記憶された顔画像を指定し、クエリ顔画像指定用表示領域４３に表示することができる。

クエリ顔画像指定用表示領域４３は、監視者がクエリ顔画像を指定するための顔画像を表示する領域であり、監視映像４１ａ〜４１ｅに表示された顔画像、あるいは、顔画像入力ボタン４２から取得した顔画像を表示することができる。本動作例では、クエリ顔画像指定用表示領域４３には、監視映像４１ｅにおける顔領域が表示されている。監視映像４１ｅには、複数の顔が映っており、顔検出された顔については検出領域４１ｆが矩形で強調表示されている。監視者は、入力部（マウス）２１を操作してポインタＰを移動させ、ポインタＰが監視映像４１ａ〜４１ｅの顔検出領域４１ｆのいずれかの上に位置した状態で入力部（マウス）２１をクリックすると、制御部２２は、該当する監視画像中の顔領域をクエリ顔画像指定用表示領域４３に表示させることができる。

人物検索ボタン４４は、クエリ顔画像指定用表示領域４３に表示された顔画像に基づいて人物検索を開始するためのボタンであり、監視者が入力部（マウス）２１を操作してポインタＰを移動させ、ポインタＰが人物検索ボタン４４上に位置した状態で入力部（マウス）２１をクリックすると、制御部２２は、検索対象である顔領域を通知する信号（顔領域通知データ）を生成してネットワークＮＷを介して監視映像検索装置３０に出力する。

ここで、動作例の説明に戻る。監視者が入力部（マウス）２１を操作することによって、クエリ顔画像指定用表示領域４３内に表示された監視映像４１ｅ内の顔領域を選択すると、該当する顔領域情報に基づいて、顔画像を切り出し監視者に提示する。そして、人物検索ボタンが押下されると、制御部２２が顔領域通知データを生成してネットワークＮＷを介して監視映像検索装置３０に出力し、監視映像検索装置３０の顔画像指定部３４が、当該顔領域通知データを取得し（ステップＳ２）、検索対象となる顔画像の特徴量を取得する。ここで、クエリ顔画像指定用表示領域４３内に表示される顔領域が顔画像入力ボタン４２による顔画像であった場合は、顔領域通知データとして当該顔画像が監視映像検索装置３０に出力され、顔画像指定部３４において特徴量生成部３２を介して、検索対象となる顔画像の特徴量を取得する。

続いて、図７に示すように、類似画像検索部３５の類似度算出部３５ａが、指定された顔画像の特徴量と画像特徴量記憶部３３に記憶している顔画像の特徴量との類似度を算出する（ステップＳ３）。

続いて、ソート部３５ｂが、算出した全類似度を値の小さい順に並べる（ステップＳ４）。そして、類似度の小さい順に、監視者が指定した件数分の特徴量を、監視画像や顔画像といったメタデータとともに提示画像選択部３６に出力する。ここで、図９に示すように、類似画像検索部３５では、指定された顔画像１０１に対して、画像特徴量記憶部３３の全データ１０２との類似度を算出する。

続いて、提示画像選択部３６の顔画像選択部３６ａが、ソート部３５ｂから出力された顔画像４３ａ（図４参照）を含む監視画像４３の一つ前の監視画像４２（一つ後の監視画像４４）に顔画像が検出されているか否かの確認を行い（ステップＳ５）、顔画像４２ａ（４４ａ）が検出されている場合は、監視画像４２（監視画像４４）における顔画像の特徴量を画像特徴量記憶部３３から取得し、顔画像４３ａと顔画像４２ａ（顔画像４４ａ）との類似度を算出する（ステップＳ６）。そして、算出された類似度が閾値以下であるか否かを判定する（ステップＳ７）。算出された類似度が閾値以下である場合には、ステップＳ５に移行し、さらに一つ前の監視画像４１（さらに一つ後の監視画像４５）に対して同様の処理が行われる。そして、算出された類似度が閾値より大きい場合には、ステップＳ８に移行する。この閾値も、該当撮像装置において、同一人物と判定されるべき顔画像における平均類似度を意味している。ここで、図１０に示すように、顔画像選択部３６ａでは、指定された顔画像１０１に対して、画像特徴量記憶部３３の中の同一カメラのデータ１１２から類似度による同一人物判定を行う。

続いて、進行方向算出部３６ｂが、顔画像選択部３６ａによる選択結果に基づいて、類似度が閾値以下で最も撮影時刻が古い顔画像４２ａと、類似度が閾値以下で２番目に撮影時刻が古い顔画像４３ａの監視画像中における移動方向を算出する（ステップＳ８）。算出された移動方向は、対象となる２つの顔画像のうち撮影時刻の新しい顔画像４３ａと関連づけられる。移動方向の算出は、選択された顔画像がなくなるまで時系列順に行われる。

続いて、決定部３６ｃが、進行方向算出部３６ｂの結果に基づいて、選択された顔画像の中から、移動方向が監視画像の下向き、あるいは下向きとの誤差が閾値以下である顔画像を選択する（ステップＳ９）。さらに、当該選択顔画像の中から最も画像サイズの大きいものを監視者への提示画像として決定する（ステップＳ１０）。なお、ここで、下向きとは、人が前に移動しているという意味、即ち該当撮像装置に近づく方向である。方向誤差の閾値とは、撮影できる顔画像の大きさなどの撮像環境に依存するものの、撮像装置毎に「下向き」と判断する方向の平均誤差を意味する。

続いて、画面データ生成出力部３７が、決定部３６ｃによる決定結果に基づいて、提示用監視画像、検索結果監視画像を表示するための画面データを生成してネットワークＮＷを介して監視者用装置２０に出力する（ステップＳ１１）。

監視者用装置２０の制御部２２は、画面データを出力部２３に出力し、出力部２３は、画面データを用いて、図５に示す検索結果表示画面５０を表示する。検索結果表示画面５０は、図５に示すように、クエリ顔画像表示領域５１と、人物検索結果表示領域５２を備えている。

人物検索結果表示領域５２は、類似度が小さい順に検索結果の監視画像５２ｂ、５２ｄが左上から表示されており、当該検索結果監視画像とともに提示画像選択部３６で決定した目視確認しやすい最適画像５２ａ、５２ｃが表示されている。

以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、監視映像検索装置３０が備える特徴量生成部３２は、撮影装置１０および監視用装置２が備える構成であってもよい。また、本発明は、コンピュータを前記監視映像検索装置として機能させる監視映像検索プログラムとしても具現化可能である。

１ 監視システム
１０ 撮影装置
２０ 監視者用装置
３０ 監視映像検索装置
３１ 監視映像取得部
３２ 特徴量生成部
３３ 画像特徴量記憶部
３４ 顔画像指定部
３５ 類似画像検索部
３６ 提示画像選択部
３７ 画面データ生成出力部

Claims (7)

1. 撮影装置によって撮影された一連の監視画像からなる監視映像を取得する監視映像取得部と、
   監視映像中の顔画像を抽出し、当該顔画像の特徴量を生成する特徴量生成部と、
   取得された特徴量と関連付けられた顔画像を含むメタデータを記憶する画像特徴量記憶部と、
   外部からの入力に基づいて、画像特徴量記憶部あるいは監視者用装置に記憶されている顔画像から、人物検索のクエリ画像となるクエリ顔画像を指定する顔画像指定部と、
   画像特徴量記憶部に記憶された前記一連の監視画像から、前記クエリ顔画像の特徴量と類似する特徴量を画像特徴量記憶部から検索し、前記検索によって得られた特徴量に関連付けられた類似顔画像を取得する類似画像検索部と、
   監視画像のうち前記類似顔画像を含んだ画像である類似画像と撮影時刻が近い監視画像から、前記類似画像に映っている人物の顔画像の特徴量と類似する特徴量を持つ顔画像を含む提示画像を選択する提示画像選択部と、
   前記提示画像選択部にて決定された前記提示画像を出力する画面データ生成出力部と、
   を備えることを特徴とする監視映像検索装置。
2. 前記提示画像選択部は、
   前記類似顔画像と、前記類似画像よりも前の監視画像における顔画像と、の類似度を算出し、算出された類似度が閾値以下である場合に、
   前記類似顔画像と、前記類似画像よりも前の監視画像における顔画像とが同一人物であると判定し選択する顔画像選択部と、
   前記顔画像選択部により選択された顔画像領域の監視画像中における移動方向を算出する進行方向算出部と、
   前記進行方向算出部で算出された移動方向と、監視画像の下方向との誤差が閾値以下であり、かつ画像サイズが最も大きい顔画像を含む監視画像を最適画像とする決定部と、
   を備えることを特徴とする請求項１に記載の監視映像検索装置。
3. 前記提示画像選択部は、
   前記類似顔画像と、前記類似画像よりも後の監視画像における顔画像と、の類似度を算出し、算出された類似度が閾値以下である場合に、
   前記類似顔画像と、前記類似画像よりも後の監視画像における顔画像とが同一人物であると判定し選択する顔画像選択部と、
   前記顔画像選択部により選択された顔画像領域の監視画像中における移動方向を算出する進行方向算出部と、
   前記進行方向算出部で算出された移動方向と、監視画像の下方向との誤差が閾値以下であり、かつ画像サイズが最も大きい顔画像を含む監視画像を最適画像とする決定部と、
   を備えることを特徴とする請求項１に記載の監視映像検索装置。
4. 前記画面生成出力部は、前記類似画像検索部の検索結果である前記類似画像と、前記提示画像選択部で決定された前記提示画像とを同時に提示する画面を生成する
   ことを特徴とする請求項１に記載の監視映像検索装置。
5. 前記類似画像を撮影した撮影時刻が近い監視画像は、前記類似画像の撮影で用いられているカメラと同一のカメラの画像から取得されることを特徴とする請求項１記載の監視映像検索装置。
6. 監視画像を撮影する複数のカメラと、
   クエリ画像を指定し、提示画像が出力される監視用装置と、
   監視映像検索装置とを有し、
   前記監視映像検索装置は、
   撮影装置によって撮影された一連の監視画像からなる監視映像を取得する監視映像取得部と、
   監視映像中の顔画像を抽出し、当該顔画像の特徴量を生成する特徴量生成部と、
   取得された特徴量と関連付けられた顔画像を含むメタデータを記憶する画像特徴量記憶部と、
   外部からの入力に基づいて、画像特徴量記憶部あるいは監視者用装置に記憶されている顔画像から、人物検索のクエリ画像となるクエリ顔画像を指定する顔画像指定部と、
   画像特徴量記憶部に記憶された前記一連の監視画像から、前記クエリ顔画像の特徴量と類似した特徴量を持つ類似顔画像を含む監視画像である類似画像を検索する類似画像検索部と、
   前記類似画像と撮影時刻が近い監視画像から、前記類似画像に映っている人物の顔画像の特徴量と類似する特徴量を持つ顔画像を含む提示画像を選択する提示画像選択部と
   前記提示画像選択部にて選択された前記提示画像を出力する画面データ生成出力部と、
   を備えることを特徴とする監視システム。
7. 前記類似画像を撮影した撮影時刻が近い監視画像は、前記類似画像の撮影で用いられているカメラと同一のカメラの画像から取得されることを特徴とする請求項６記載の監視システム。

Images