JP5438436B2 - 画像検索装置 - Google Patents

Description

本発明は、画像の特徴量を使用して画像を検索する画像検索装置に係り、特に監視カメラ等の撮像装置の記録画像から検索条件に合致した画像を検索して表示する画像検索装置に関する。

近年、セキュリティ（安全）意識の高まりや警備の省力化の要求から、監視用の動画や静止画像のカメラ（監視カメラ）を用いた監視システムが注目されている。
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、近年、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのには、膨大な時間がかかるようになってきている。

このため、センサーアラーム等の事象発生等の検出事象と連動して、必要な場合のみ撮像する画像録画技術が開発されている。
また、検出事象そのものを検索条件として記録画像を検索する検索技術が開発されている。
このような画像録画技術や検索技術を備えたシステムでは、検出事象を予め設定しておく必要があるという問題があった。
このため、予め設定されていない検出事象が発生した場合、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。

これに対して、予め検出事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似の画像を検索する検索方法が提案されている。
この種の検索方法は、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として出力するものである。

このような従来のキー画像から類似画像を検索する画像記録装置として、特許文献１を参照すると、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する画像記録装置及びその制御方法が記載されている（以下、従来技術１とする。）。

特開２００５−３５２７８０号公報

しかしながら、従来技術１においては、キー画像の顔の向きにより、検索結果が異なるという問題があった。
すなわち、キー画像が正面顔の場合、正面顔が検索結果の上位に出力され、同一人物であっても斜め顔は検索結果の下位に出力される傾向があった。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向があった。
つまり、キー画像の選択によって検索結果の上位に含まれる画像は変化するため、キー画像の類似画像を検索できないことがあった。よって、撮影角度等が異なったキー画像を使用して複数回検索する必要があるため、検索の効率が悪かった。

本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。

本発明の画像検索装置は、検索条件に合致した画像を検索する画像検索装置において、画像の特徴量を抽出する特徴量抽出手段と、前記画像の特徴量を記憶する特徴量記憶手段と、画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース手段と、入力された前記検索条件をもとに前記画像の特徴量を使用して、画像を記録する画像記録装置の検索を行う画像検索手段とを備え、前記ユーザインタフェース手段は、一回の検索において、特定対象の複数の画像を前記検索条件として入力し、前記画像検索手段は、前記検索条件である複数の画像に含まれる画像を使用して検索を行い、前記ユーザインタフェース手段は、使用した画像毎の検索結果を類似度順に表示し、前記画像検索手段は、前記検索条件となる画像に新規画像が追加される場合、前記検索条件である複数の画像の特徴量と、前記新規画像の特徴量とを重み付けして類似度を計算し、計算された前記新規画像との類似度が所定の閾値よりも大きい前記検索条件である複数の画像を削除候補画像として前記ユーザインタフェース手段に表示させ、ユーザから取得した指示により、前記新規画像又は前記削除候補画像を選択して前記検索条件から削除することを特徴とする。
本発明の画像検索装置は、前記ユーザインタフェース手段は、お互いに類似する前記検索条件である複数の画像を１つ以上の画像グループにまとめ、前記新規画像との類似度により、前記新規画像を前記画像グループのいずれかに含めさせて前記ユーザインタフェース手段に表示させ、前記検索条件の複数の画像を表示し、前記検索条件となる画像に前記新規画像が追加される毎に、前記検索条件から前記削除候補画像を表示することを特徴とする。

本発明によれば、複数の画像を検索条件として登録することで、対象の向きや撮影角度の違いによる検索見逃しを少なくすることができ、検索対象人物の映った画像をより多く得ることができる検索の効率の高い画像検索装置を提供することができる。

本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムＸのシステム構成図である。 本発明の実施の形態に係る特定対象検索処理の流れを示すフローチャートである。 本発明の実施の形態に係る画像検索データ記憶部２２０のデータを示す概念図である。 本発明の実施の形態に係るユーザインタフェース部２４０の画面例である。 本発明の実施の形態に係る閾値以上削除処理のフローチャートである。 本発明の実施の形態に係る類似値最大削除処理のフローチャートである。 本発明の実施の形態に係る閾値以上削除処理のキー画像表示画面の画面例である。 本発明の実施の形態に係る類似値最大削除処理のキー画像表示画面の画面例である。 本発明の実施の形態に係る検索結果表示画面の画面例である。 本発明の実施の形態に係る自動検索処理のシーケンス図である。

＜実施の形態＞
〔監視システムＸの制御構成〕
以下で、本発明の実施の形態について、図面を参照して説明する。
図１を参照すると、監視システムＸは、撮像装置２０１−１〜２０１−ｎと、画像記録装置２０２と、画像検索装置２０３とが、ネットワーク２００にて接続されて構成されている。

ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。

撮像装置２０１−１〜２０１−ｎは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を用いて、ネットワーク２００に接続して画像データを送信可能な、いわゆるＩＰカメラやネットワークカメラ等の撮像装置である。撮像装置２０１−１〜２０１−ｎは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置２０１−１〜２０１−ｎは、通常のテレビジョンカメラを用いて、画像記録装置２０２に直接接続し、画像記録装置２０２の画像・音声エンコーダ（図示せず）を用いて映像デジタルデータに変換するように構成してもよい。

画像記録装置２０２は、撮像装置２０１−１〜２０１−ｎの映像等をネットワーク２００経由で記録するネットワークデジタルレコーダ等の装置である。画像記録装置２０２は、ＣＰＵ等の制御部や演算部と、内蔵のＤＲＡＭやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置２０２は、ネットワーク２００を介して撮像装置２０１−１〜２０１−ｎより入力された画像データを、ＨＤＤ等の記録媒体に記録する。
監視システムＸにおいて、他の部位が画像記録装置２０２から画像を読み出す場合、画像記録装置２０２に対してカメラＩＤと時刻情報を指定することで、該当する画像を読み出すことができる。

画像検索装置２０３は、ネットワーク２００を介して画像記録装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示し、画像検索を行うＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。
画像検索装置２０３は、下記で説明する処理の制御を行うＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置２０３は、キーボードやマウス等のユーザ入力部を備え、画像記録装置２０２に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。

また、画像検索装置２０３は、画像特徴量抽出部２１０（特徴量抽出手段）、画像検索データ記憶部２２０（特徴量記憶手段）、画像検索実行部２３０（画像検索手段）、ユーザインタフェース部２４０（ユーザインタフェース手段）とを備えて構成される。

画像特徴量抽出部２１０は、画像特徴量を抽出するＤＳＰやこのＤＳＰ用のプログラムや制御部で実行されるプログラム等である。画像特徴量抽出部２１０は、例えば、画像記録装置２０２に記憶された画像データに対し画像認識技術を用いた人物検出、オブジェクト検出、画像特徴量の抽出を行う。また、画像特徴量抽出部２１０は、これらの抽出された画像特徴量を画像特徴量データとして出力する。
まず、画像特徴量抽出部２１０は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。画像特徴量抽出部２１０は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を用いることができる。
画像特徴量抽出部２１０は、画像特徴量の算出としては、顔特徴量、オブジェクトの特徴量等を計算する。画像特徴量抽出部２１０は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。さらに、画像特徴量抽出部２１０は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量抽出部２１０は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。

画像検索データ記憶部２２０は、画像検索に係る画像特徴量や画像データ（フレーム）や検索結果画像そのもの等を記憶する部位である。具体的には、画像検索データ記憶部２２０は、画像特徴量抽出部２１０が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のＲＡＭ等の主記憶装置、ＨＤＤやフラッシュメモリ等補助記憶装置から構成される。
また、画像検索データ記憶部２２０は、この画像抽出量データを、ＬＡＮカード等のネットワーク送受信部（図示せず）を介して、画像記録装置２０２に記憶することもできる。
なお、画像検索データ記憶部２２０は、ＤＭＡ（ダイレクト・メモリ・アクセス）等により、画像特徴量抽出部２１０が直接、各種データ等を記憶部に記憶するような構成としてもよい。

画像検索実行部２３０は、入力された検索条件をもとに画像検索データ記憶部２２０を使用して、監視カメラ等の撮像装置で撮影した画像を記録する画像記録装置２０２の検索処理を行う部位である。
具体的には、画像検索実行部２３０は制御部で実行されるプログラム等により、ユーザインタフェース部２４０より検索条件を受取ると画像特徴量を画像検索データ記憶部２２０より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索実行部２３０は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索実行部２３０は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部２４０に応答する。
なお、キー画像の画像特徴量は、画像検索実行部２３０で計算してもよいし、キー画像の画像特徴量が画像検索データ記憶部２２０にある場合はそれを使用してもよい。

ユーザインタフェース部２４０は、検索条件を入力し、検索結果を表示する部位である。具体的には、ユーザインタフェース部２４０は、ユーザ制御部で実行されるプログラム等により、検索条件を実行し、検索結果を液晶ディスプレイ等である表示部（図示せず）に表示する。また、ユーザインタフェース部２４０は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部（図示せず）からの入力を、ＯＳ（オペレーティングシステム）のＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて入力指示として検知する。また、ユーザインタフェース部２４０は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部（図示せず）に表示する。
さらに、ユーザインタフェース部２４０は、画像の再生要求があった場合、対応する画像を画像記録装置２０２に要求する。ユーザインタフェース部２４０は、画像記録装置２０２から応答画像を受信すると、画像再生画面４５０（図４参照）にその画像を表示する。このようにして、ユーザインタフェース部２４０は、画像記録装置２０２から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部２４０は、画像再生中に再生を停止させるなどして、画像記録装置２０２に記録された任意の画像を表示部に表示することができる。これら画像には、特定対象を様々な角度から撮影した画像などが含まれる。
ユーザインタフェース部２４０は、これらの画像や、これらの画像からオブジェクト検出や顔検出を行うことで得られるオブジェクトや顔などの座標領域の部分画像をキー画像として登録することができる。

なお、画像検索装置２０３は、通常のＯＳがインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、画像特徴量抽出部２１０と、画像検索データ記憶部２２０と、画像検索実行部２３０とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置２０３の記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。

〔監視システムＸの画像検索処理〕
ここで、本発明の実施の形態に係る監視システムＸを用いた画像検索処理についてより詳しく説明する。
本実施形態の画像検索処理においては、（１）ユーザの操作を開始の指示として複数回の検索を実行する特定対象検索処理と、（２）ユーザの設定に従って、設定された検索条件、検索時間により自動検索を行う自動検索処理を実行することができる。

〈特定対象検索処理〉
まずは、（１）の特定対象検索処理について詳しく説明する。
上述のように、人物検索等を目的としている画像特徴量を利用した画像検索では、キー画像が正面顔の場合、正面顔が検索結果の上位を占めることが多い。さらに、同一人物であっても斜め顔は、検索結果の下位になる傾向がある。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向がある。
すなわち、キー画像の選択によって検索結果の上位に含まれる画像は変化するため、撮影角度等が異なったキー画像を使用して複数回検索することにより、検索対象人物の映った画像をより多く得ることができる。この場合、目視によりキー画像との類似性が低いと考えられる画像を新たなキー画像として用いて再度検索することにより、特徴量の検索範囲となる広い画像特徴量空間を効率的に検索できる。
このようにユーザがキー画像を変更しながら複数回の検索を実行する検索方法は、事件の起こった後などに、ある特定対象について画像検索をする場合に好適である。本実施形態においては、このような複数回の検索を簡単に実行できるユーザインタフェースを提供する。
以下で、この監視システムＸを用いて、複数回の検索を実行する検索方法に係る特定対象検索処理について、図２のフローチャートを用いて、更に詳しく説明する。図２は、複数の画像を検索条件とした場合の画像検索実行部２３０の特定対象検索処理の流れを示す。

まず、ステップＳ１０１において、画像特徴量抽出部２１０は、画像特徴量検出処理を行う。
具体的には、画像特徴量抽出部２１０は、監視カメラ等の撮像装置２０１−１〜２０１−ｎで撮影した時系列的に連続した画像フレームから一つの画像フレームを選択し、選択画像フレームの画像特徴量を抽出する。この際に、画像特徴量抽出部２１０が画像特徴量を検出する画像フレームは、画像記録装置２０２から供給されても、撮像装置２０１−１〜２０１−ｎから直接供給されてもよい。
画像特徴量抽出部２１０が選択する画像フレームは、所定時間毎に選択したり、画像に変化があった場合の画像フレームを選択したり、センサーアラーム等外部からの通知に同期して選択する等の各種の手法により選択することができる。
たとえば、画像に変化があった場合の画像フレームを選択する方法は、連続する画像フレームについて、その画像フレーム毎に色合い、形状等の変化を検知する。そして、画像特徴量抽出部２１０は、連続する画像フレームをその変化により単位に分割し、その単位での代表的なフレームを選択する。これらの画像フレームにおいて検知される画像特徴量としては、上述の人物やオブジェクトの検知に加えて、色合い、形状等の画像の特徴を示す多次元ベクトル等を用いることができる。すなわち、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の特徴量を使用できる。
画像特徴量抽出部２１０は、抽出した特徴量を画像検索データ記憶部２２０に保存する。

〈画像検索処理に用いるデータ構造〉
ここで図３を参照して、特定対象検索処理、自動検索処理の両方で用いるデータ構造の例について説明する。
図３（ａ）は、画像検索データ記憶部２２０が用いる画像特徴量のデータ構造の例を示している。この画像検索データ記憶部２２０が用いる画像特徴量のデータは、登録ＩＤＤ１０１、カメラＩＤＤ１０２、時刻Ｄ１０３、画像特徴量Ｄ１０４、縮小画像データＤ１０５、画像記録場所Ｄ１０６等により構成される。
登録ＩＤＤ１０１は画像特徴量のデータを識別するＩＤである。
カメラＩＤＤ１０２は画像を撮影した撮像装置２０１−１〜２０１−ｎを同定するＩＤである。
時刻Ｄ１０３は画像フレームが撮像または記録された時刻をグリニッジ標準時（ＧＭＴ）やフレーム数等により現したデータである。
画像特徴量Ｄ１０４は、画像フレームから画像特徴量抽出部２１０が抽出した画像特徴量データを記憶する。
縮小画像データＤ１０５は画像フレームの縮小画像データを記憶するデータである。この縮小画像データは、画像特徴量抽出部２１０等により、元の画像フレームから生成することができる。
画像記録場所Ｄ１０６は、画像記録装置２０２の場所（アドレス）等を同定するもので、画像記録装置２０２のＩＰアドレスや画像検索装置２０３の記憶部のアドレス等を記憶している。

図３（ｂ）、（ｃ）は、画像検索実行部２３０が用いて画像検索データ記憶部２２０に記憶する検索結果のデータ構造の例を示している。図３（ｂ）のデータを使用して画像検索データ記憶部２２０の画像特徴量のデータを読み出すことで、図３（ｃ）のデータを得ることができる。
図３（ｂ）の検索結果のデータは、登録ＩＤＤ２０１、カメラＩＤＤ２０２、時刻Ｄ２０３、類似度Ｄ２０４等から構成される。このうち、登録ＩＤＤ２０１は登録ＩＤＤ１０１と、カメラＩＤＤ２０２はカメラＩＤＤ１０２と、時刻Ｄ２０３は時刻Ｄ１０３と、それぞれ同様のデータを用いることができる。類似度Ｄ２０４は、画像特徴量Ｄ１０４の類似度と同様の類似度の値を用いることができる。
図３（ｃ）の検索結果のデータは、登録ＩＤＤ３０１、カメラＩＤＤ３０２、時刻Ｄ３０３、類似度Ｄ３０４、縮小画像データＤ３０５、画像記録場所Ｄ３０６から構成される。登録ＩＤＤ３０１は登録ＩＤＤ１０１と、カメラＩＤＤ３０２はカメラＩＤＤ１０２と、時刻Ｄ３０３は時刻Ｄ１０３と、類似度Ｄ３０４は類似度Ｄ２０４と、縮小画像データＤ３０５は縮小画像データＤ１０５と、画像記録場所Ｄ３０６は画像記録場所Ｄ１０６と、それぞれ同様のデータを用いることができる。

〈ユーザインタフェース部２４０の画面表示例〉
次に、図４を参照して、ユーザインタフェース部２４０によりユーザの操作を検知する際の画面表示の例ついて説明する。
図４の画面例４００は、ユーザインタフェース部２４０が表示部に表示する表示画面の例である。画面例４００は、検索範囲入力画面４１０、選択画像表示画面４２０、検索結果表示画面４３０、キー画像表示画面４４０、画像再生画面４５０等の表示欄から構成される。
検索範囲入力画面４１０は、画像検索を行う撮像装置２０１−１〜２０１−ｎを同定するカメラＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と検索時刻範囲を入力する表示欄である。カメラＩＤについては複数のカメラＩＤを指定してもよい。ユーザインタフェース部２４０は、検索範囲入力画面４１０の「実行」のボタン５００の押下を検知すると、検索指示がなされたと判断する。なお、このカメラＩＤと検索時刻範囲のようなデータの構造については後述する。
選択画像表示画面４２０は、ユーザの入力部の指示を検知して選択した画像を表示する表示欄である。ユーザインタフェース部２４０は、この選択画像表示画面４２０の「キー画像登録」のボタン５１０の押下を検知して、表示された画像を画像検索のキー画像として新規追加する。キー画像には、画像記録装置２０２の記録画像の他に、画像ファイルやｗｅｂページの画像等のファイルを参照して使用することもできる。
検索結果表示画面４３０は、検索結果の画像や付加情報を表示する表示欄である。
キー画像表示画面４４０は、検索条件となるキー画像を表示する表示欄である。このキー画像表示画面４４０には、通常、登録済キー画像が表示されている。この上で、この表示欄に、上述のボタン５１０により新規追加されたキー画像と類似する登録済キー画像の削除候補画像を提示し、ユーザにより削除して最適なキー画像を選択させる。これにより、キー画像が多くなって検索の効率が悪くなることを防ぐことができる。
画像再生画面４５０は、画像記録装置２０２から読み出された画像を連続的に再生表示する表示欄である。

ここで、再び図２を参照して、特定対象検索処理の説明を続ける。
ステップＳ１０２において、画像検索実行部２３０は、キー画像登録を行う際に、キー画像を複数削除候補とするか否か判定する。
このキー画像登録の処理においては、画像検索実行部２３０は、ユーザの設定により、（ａ）新規追加されたキー画像と類似度が所定の閾値よりも大きい既登録キー画像を削除候補画像として複数識別表示する場合に、Ｙｅｓと判定する。
また、（ｂ）新規追加されたキー画像と類似度がもっとも大きい登録済キー画像を削除候補画像として識別表示する場合に、Ｎｏと判定する。（ｂ）の場合は、表示される候補画像は一枚となる。
Ｙｅｓの場合、画像検索実行部２３０は、処理をステップＳ１１０に進める。
Ｎｏの場合、画像検索実行部２３０は、処理をステップＳ１１１に進める。

ステップＳ１１０において、画像検索実行部２３０は、閾値以上削除処理を行う。
図５のフローチャートを参照して、この閾値以上削除処理について、詳しく説明する。
閾値以上削除処理は、上述の（ａ）の場合の処理であり、上述のように、新規追加されたキー画像と類似度が閾値よりも大きい既登録キー画像を削除候補画像としてキー画像表示画面４４０等に表示する。
この閾値以上登録処理においては、閾値を基に削除候補画像を表示するため、複数の候補画像が表示される場合や、候補画像が表示されない場合がある。

まず、ステップＳ３０１において、画像検索実行部２３０は、検索キー画像追加検知処理を行う。
具体的には、画像検索実行部２３０は、ユーザインタフェース部２４０が図４の「キー画像登録」のボタン５１０の押下を検知した場合は、ユーザが検索キー画像追加の指示をしたと検知する。この場合、画像検索実行部２３０は、選択画像表示画面４２０で参照して表示されている画像を追加検索キー画像として画像検索データ記憶部２２０に記憶する。
それ以外の場合には、検索キー画像追加の指示をしていないと検知する。

ステップＳ３０２において、画像検索実行部２３０は、ユーザが画像追加の指示をしたか否かを判定する。
Ｙｅｓの場合、画像検索実行部２３０は、処理をステップＳ３０３に進める。
Ｎｏの場合、画像検索実行部２３０は、処理をステップＳ３０１に戻して、ユーザの検索キー画像追加の指示を待つ。

ステップＳ３０３において、画像検索実行部２３０は、類似度計算処理を行う。
この処理において、画像検索実行部２３０は、追加検索キー画像と、登録済キー画像の類似度を計算する。具体的には、画像検索実行部２３０において既にユーザにより設定されているキー画像（登録済キー画像）と、追加検索キー画像との画像特徴量の距離を計算して、画像の類似度を得る計算を行う。
ここでは、上述のステップＳ１０１で計算した画像特徴量を用いて、
既に設定された登録済キー画像について、登録ＩＤがｉのキー画像の画像特徴量をＸｉ＝（ｘｉ１， ｘｉ２， ……， ｘｉｎ）、
ユーザが追加したい追加検索キー画像の画像特徴量をＹ＝（ｙ１， ｙ２， ……， ｙｎ）、
画像特徴量の要素ごとの重要度を表す重み付け係数をＷ＝（ｗ１， ｗ２， ……， ｗｎ）とし、
登録ＩＤがｉのフレームの登録済キー画像の画像特徴量と、追加検索キー画像との画像特徴量の距離Ｚｉは、以下の式（１）にて定義可能である。

Ｚ_i＝Σ_jｗ_j｜ｘ_ij − ｙ_j｜ …… 式（１）

なお、ｊは、０≦ｊ≦ｎを示す変数である。
特徴量の距離の値が小さいほど二つの画像は似ていることを示している。このため、Ｚｉが小さいほど、登録ＩＤがｉのフレームの登録済キー画像と、追加検索キー画像との類似度は大きい。

ステップＳ３０４において、画像検索実行部２３０は、類似度が大きい登録済キー画像があるかどうか判定する。すなわち、特徴量の距離がユーザにより設定された閾値よりも小さな特徴量の距離Ｚｉのキー画像があるか場合はＹｅｓと判定し、ない場合にはＮｏと判定する。
Ｙｅｓの場合、画像検索実行部２３０は、処理をステップＳ３０５に進める。
Ｎｏの場合は、画像検索実行部２３０は、処理をステップＳ３０９に進める。

ステップＳ３０５において、画像検索実行部２３０は、類似度大のキー画像表示処理を行う。この処理において、画像検索実行部２３０は、類似度が大きい登録済キー画像をユーザインタフェース部２４０を用いて表示させる。
図７を参照して具体的に説明すると、ユーザインタフェース部２４０は、画像検索実行部２３０の指示により、追加検索キー画像と、新規追加されたキー画像と類似度の大きい登録済キー画像とを識別表示する。

より具体的には、図７（ａ）のキー画像表示画面４４１は、図５のフローチャートの閾値以上削除処理に対応し、複数の候補画像が表示される例を示している。
図７（ａ）のキー画像表示画面４４１の例では、ユーザインタフェース部２４０は、新規追加キー画像と類似度の高いキー画像を色枠で囲み、識別表示している。このように表示することで、ユーザに新規追加キー画像と類似度の高いキー画像を分かりやすく示すことができ、冗長なキー画像を削除選択する場合の利便性を向上させることができる。
また、ユーザは、このキー画像表示画面４４１において、キーボードやポインティングデバイス等で各キー画像を選択し、「削除」のボタン５２０を押下して選択された追加検索キー画像又は登録済キー画像の削除を指示することができる。
加えて、ユーザは、「保存」のボタン５３０を押下して現在のキー画像表示画面４４１の新規検索キー画像と登録済キー画像を画像検索データ記憶部２２０に保存する指示が可能である。この場合、画像検索実行部２３０は、新規検索キー画像を、登録済キー画像に変更して画像検索データ記憶部２２０に記憶する。
これらの指示は、ユーザインタフェース部２４０が検知する。

また、図７（ｂ）のキー画像表示画面４４２は、互いに類似するキー画像を分類して表示する例を示している。
ユーザインタフェース部２４０は、図示しないボタン等を押下したことを検知して、キー画像表示画面４４１とキー画像表示画面４４２のように表示画像を変更可能である。
この例では、ユーザインタフェース部２４０は、キー画像表示画面４４２には類似する新規追加キー画像と登録済キー画像とを、画像グループとして表示している。そして、ユーザインタフェース部２４０は、画像グループの代表画像となる登録済キー画像を前面に表示し、グループに含まれる画像を代表画像からの類似度の大きさに従って背面に表示している。
ユーザが、表示したい画像グループをポインティングデバイス等で選択すると、ユーザインタフェース部２４０は、図７（ｃ）のキー画像表示画面４４３に画面を遷移させて表示する。
なお、キー画像表示画面４４２においても、ボタン５２０又はボタン５３０により、新規追加キー画像の削除又は保存の指示が可能である。
また、キー画像表示画面４４２において、グループの代表の登録済キー画像を前面に表示し、新規追加キー画像をその登録済キー画像との類似度に従って、順番に表示可能である。そして、ユーザインタフェース部２４０は、ポインティングデバイスやキーボードの操作を検知して、この画像の表示の前面背面の順番を変更することもできる。
さらに、類似するキー画像のグループ分け方法としては、キー画像間の類似度を計算し、ＵＰＧＭＡ（Ｕｎｗｅｉｇｈｔｅｄ Ｐａｉｒ Ｇｒｏｕｐ Ｍｅｔｈｏｄ ｗｉｔｈ Ａｒｉｔｈｍｅｔｉｃ ｍｅａｎ）法やｋ−ｍｅａｎｓ法のようなクラスタリング等を行う方法を用いることができる。

図７（ｃ）のキー画像表示画面４４３は、グループに含まれる画像を表示する例を示している。上述したように、キー画像表示画面４４２において表示したいグループをポインティングデバイス等で選択することで、ユーザインタフェース部２４０は、グループに含まれる画像を表示する。
キー画像表示画面４４３においては、ボタン５２０又はボタン５３０により、新規追加キー画像の削除又は保存の指示が可能である。これにより、グループ内のどのキー画像を選択して登録するかを指示できる。

再び図５を参照して説明を続ける。
ステップＳ３０６において、画像検索実行部２３０は、ユーザが追加検索キー画像の削除指示をしたか判定する。具体的には、ユーザインタフェース部２４０により、キー画像表示画面４４１又はキー画像表示画面４４２において、追加検索キー画像を選択して、「削除」のボタン５２０が押下されたかを判定する。
Ｙｅｓの場合、画像検索実行部２３０は、キー画像表示画面４４１又はキー画像表示画面４４２の追加検索キー画像を削除し、キー画像登録処理を終了する。
Ｎｏの場合、画像検索実行部２３０は、処理をステップＳ３０７に進める。

ステップＳ３０７において、画像検索実行部２３０は、ユーザが登録済キー画像の削除を指示したかを判定する。具体的には、ユーザインタフェース部２４０により、ユーザが類似度大の登録済キー画像を選択して、「削除」のボタン５２０が押下されたかを判定する。
Ｙｅｓの場合、画像検索実行部２３０は、処理をステップＳ３０８に進める。
Ｎｏの場合、画像検索実行部２３０は、処理をステップＳ３０９に進める。

ステップＳ３０８において、画像検索実行部２３０は、選択画像登録削除処理を行う。
具体的には、画像検索実行部２３０は、キー画像表示画面４４１又はキー画像表示画面４４２においてユーザにより選択された登録済キー画像を、画像検索データ記憶部２２０から削除する。

ステップＳ３０９において、画像検索実行部２３０は、ユーザが現在の追加検索キー画像と登録済キー画像を保存するかを検知する。具体的には、ユーザインタフェース部２４０により、キー画像表示画面４４１、キー画像表示画面４４２、又はキー画像表示画面４４３において「保存」のボタン５３０が押下されたかを判定する。
Ｙｅｓの場合、画像検索実行部２３０は、処理をステップＳ３１０に進める。
Ｎｏの場合、画像検索実行部２３０は、処理をステップＳ３０６に戻し、ユーザにより追加検索キー画像又は登録済キー画像の削除を選択させ、登録するキー画像を確定させる。

ステップＳ３１０において、画像検索実行部２３０は、指定検索キー画像登録処理を行う。
具体的には、画像検索実行部２３０は、キー画像表示画面４４１、キー画像表示画面４４２、又はキー画像表示画面４４３において表示されている追加検索キー画像を含む登録済キー画像を、画像検索データ記憶部２２０に記憶する。
以上により、（ａ）新規追加されたキー画像と類似度がある閾値よりも大きい既登録キー画像を削除候補画像として識別表示する閾値以上削除処理のキー画像登録処理を終了する。その後、画像検索実行部２３０は、図２のステップＳ１０３に処理を進める。

図２を再び参照すると、ステップＳ１１１において、画像検索実行部２３０は、類似値最大削除処理を行う。
以下で、図６のフローチャートを参照して、この類似値最大削除処理の説明をする。
類似値最大削除処理は、（ｂ）新規追加されたキー画像と類似度がもっとも大きい既登録キー画像を削除候補画像として識別表示するキー画像登録処理の例である。
この処理においては、上述のように、類似度が最大の単一の画像を、削除候補の登録済キー画像として選択することができる。

まず、画像検索実行部２３０は、ステップＳ３２１は図５のステップＳ３０１と、ステップＳ３２２はステップＳ３０２と、ステップＳ３２３はステップＳ３０３と、それぞれ同様の処理を行う。

ステップＳ３２４において、画像検索実行部２３０は、類似度最大のキー画像識別処理を行う。
具体的には、ステップＳ３２３にて計算した類似度が最大、すなわち画像特徴量の距離Ｚｉが最も小さい登録ＩＤがｉのフレームの登録済キー画像を選択して表示部に表示する。

ここで図８を参照して、この類似度最大のキー画像識別処理をより具体的に説明する。
図８のキー画像表示画面４４４は類似値最大削除処理により、登録するキー画像の候補が表示される例を示している。
すなわち、画像検索実行部２３０は、ユーザインタフェース部２４０を用いて、キー画像表示画面４４４に、追加検索キー画像と、類似度が最大の登録済キー画像を１つ表示する。この際に、類似度が近い他のキー画像についても表示可能である。
この追加検索キー画像又は類似度が最大の登録済キー画像についても、ボタン５２０又はボタン５３０により、新規追加キー画像の削除又は保存の指示が可能である。

その後、画像検索実行部２３０は、ステップＳ３２５は図５のステップＳ３０６と、ステップＳ３２６はステップＳ３０７と、ステップＳ３２７はステップＳ３０８と、ステップＳ３２８はステップＳ３０９と、ステップＳ３２９はステップＳ３１０と、それぞれ同様の処理を行う。
なお、ステップＳ３２８において、画像検索実行部２３０は、Ｎｏと判定した場合には、ステップＳ３２４に処理を戻して、類似度最大のキー画像をまた検索する。
以上により、（ｂ）新規追加されたキー画像と類似度がもっとも大きい既登録キー画像を削除候補画像として識別表示する類似値最大削除処理を終了する。
その後、画像検索実行部２３０は、処理を図２のステップＳ１０３に進める。

ここで、再び図２を参照して、特定対象検索処理の処理の流れを説明する。
ステップＳ１０３において、ユーザインタフェース部２４０は、検索処理が起動されたか否かを検知する。
すなわち、ユーザインタフェース部２４０は、ＯＳのＡＰＩを用いて、キーボードやポインティングデバイスにより、ユーザにより検索指示がされたかについて検知する。具体的には、ユーザインタフェース部２４０は、図４の検索範囲入力画面４１０の「実行」のボタン５００が押下された場合は、検索指示がされたと検知する。
それ以外の場合には、ユーザインタフェース部２４０は、ユーザの指示に従って、キー画像の登録や検索条件の入力といった処理を行う。

ステップＳ１０４において、画像検索実行部２３０は、ユーザインタフェース部２４０が検索指示がされたと検知した場合に、Ｙｅｓと判定する。それ以外の場合には、Ｎｏと判定する。
Ｙｅｓの場合は、画像検索実行部２３０は、ステップＳ１０５に処理を進めて、具体的な登録済キー画像と類似する画像の検索処理を実行する。
Ｎｏの場合は、画像検索実行部２３０は、ステップＳ１０３に処理を戻し、ユーザが検索指示をするまで待つ。

ステップＳ１０５において、画像検索実行部２３０は、単一キー画像検索処理を行う。
この処理において、画像検索実行部２３０は、まず、キー画像表示画面４４０のキー画像を１枚使用して、類似画像を検索する。
具体的には、ステップＳ３０３の類似度計算処理と同様に、登録ＩＤがｉのフレームの登録済キー画像の画像特徴量と、検索範囲内のフレームの画像との間で、画像特徴量の距離Ｚｉを検索する。
これにより、画像検索実行部２３０は、所定の閾値以上、類似度が高いフレームの画像を取得する。

次に、ステップＳ１０６において、画像検索実行部２３０は、検索結果保存処理を行う。
具体的には、画像検索実行部２３０は、類似度が高いフレームの画像の登録ＩＤと検索時の類似度等を検索結果として、画像検索データ記憶部２２０に記憶する。

次に、ステップＳ１０７において、画像検索実行部２３０は、すべてのキー画像を検索終了したか判定する。
Ｙｅｓの場合、画像検索実行部２３０は、処理をステップＳ１０８に進める。
Ｎｏの場合、画像検索実行部２３０は、処理をステップＳ１０５に戻し、登録された別のキー画像を１枚使用して同様の処理を行う。以下、同様に画像検索実行部２３０は、キー画像表示画面４４０の登録された全てのキー画像について類似画像を検索し、検索結果を保存する。

ステップＳ１０８において、画像検索実行部２３０は、検索結果応答処理を行う。
具体的に、画像検索実行部２３０は、全てのキー画像について類似画像の検索終了後、画像検索データ記憶部２２０に記憶されている検索結果をユーザインタフェース部２４０に応答する。
ユーザインタフェース部２４０は、検索結果となる画像データ等を、類似度順に並べ替えて表示する。ユーザインタフェース部２４０が類似度順に並べ替えることにより、各キー画像に最も類似した画像が上位に表示される。すなわち、正面顔一枚で検索した場合には、検索結果の下位になる横顔画像も、キー画像に横顔画像が含まれており、その横顔のキー画像と類似度が大きければ、上位に表示される。キー画像に正面顔画像が含まれていて、その正面顔キー画像と類似度が大きい正面顔画像も、当然、上位に表示される。
また、ユーザインタフェース部２４０による、類似度順の並べ替えは、キー画像毎に類似度順に並べ替える方法を用いることができる。

ここで図９を参照して、検索結果の並べ替えの表示について説明する。
図９（ａ）の検索結果表示画面４３１は、検索結果全体で類似度順に並べ替えて表示する例を示している。
図９（ｂ）の検索結果表示画面４３２は、使用したキー画像毎に類似度順に並べ替えて表示する例を示している。最前面が最も類似度の高い画像で背面に進むに従って類似度の低い画像となる。また、検索により取得した類似度の高い画像が多いほど、左に表示するように構成してもよい。
なお、ユーザの要求に応じて、ユーザインタフェース部２４０が、これら二つの表示を切り替えて表示するように構成してもよい。
以上により、特定対象検索処理を終了する。

〈自動検索処理〉
上述の特定対象検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、事件の事前抑止を目的とする場合、日や週単位に複数回の検索を行うことで、特定対象の動向把握をすることができると考えられる。しかしながら、人手をかけて毎日、毎時に検索を行うのは非効率的である。このため、画像検索装置２０３において、検索条件、検索時間を予め設定しておいて自動検索行い、検索結果を後で確認することが好適である。
以下で、図１０のシーケンス図を参照して、このような設定された検索条件、検索時刻により自動検索を行う自動検索処理について説明する。

ユーザインタフェース部２４０は、まず上述の図２の特定対象検索処理の画像特徴量検索処理、キー画像の登録処理と、検索条件の設定を行う。
これに加えて、ユーザインタフェース部２４０は、検索を実行する検索時刻のような時刻情報を設定する。設定された時刻情報は、画像検索実行部２３０が記憶部に記憶する。

そして、設定された検索時刻になると、タスクマネージャのようなサービスやＣＲＯＮ等のデーモン等により画像検索実行部２３０が起動される。
起動された画像検索実行部２３０は、ステップＳ４００の画像検索処理を実行する。この画像検索処理は、上述の図２のステップＳ１０５〜Ｓ１０７と同様に、複数のキー画像を用いて検索を行う。

その後、ステップＳ４０１において、画像検索実行部２３０は、検索結果保存処理を行う。
具体的には、画像検索実行部２３０は、検索結果の画像データや類似度等を画像検索データ記憶部２２０に記憶する。
設定された検索時刻が複数ある場合は、画像検索実行部２３０は、指定時刻に起動されて画像検索処理と、検索結果保存処理とを繰り返す。

また、ユーザインタフェース部２４０は、ユーザからの入力を検知すると画像検索実行部２３０に検索結果の要求を行う。
画像検索実行部２３０は、保存している検索結果をユーザインタフェース部２４０に応答する。
この検索結果の応答は、図２のステップＳ１０８の検索結果応答処理と同様に行う。
なお、この自動検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。
以上により、自動検索処理を終了する。

以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術１のように、従来の人物検索等を目的としている画像特徴量を利用した画像検索では、キー画像が正面顔の場合、検索結果は正面顔が上位を占め、同一人物であっても斜め顔は、検索結果の下位になる傾向があった。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向があった。すなわち、キー画像の選択によって検索結果の上位に含まれる画像は変化するという問題があった。
これに対して、本発明の実施の形態に係る監視システムＸの画像検索装置２０３は、撮影角度等が異なったキー画像を使用して容易に複数回検索することができるインタフェースを提供する。このように、撮影角度等が異なったキー画像を使用して複数検索することにより、検索対象人物の映った画像をより多く得ることができる。この場合、キー画像との類似性がある程度低い画像をキー画像として再度検索することにより、広い特徴量空間を効率的に検索できる。このようにユーザがキー画像を変更しながら複数回の検索を実施する方法は、事件の起こった後などにある特定対象について検索をする場合に好適である。
また、事件の事前抑止を目的とする場合、日や週単位に自動検索処理にて、複数回の検索を行うことで、特定対象の動向把握をすることができる。すなわち、検索条件、検索時間を予め設定しておき、自動検索行い、検索結果を後で確認できる。これにより、人手をかけて毎日、毎時に画像検索を行うよりも効率性を向上させることができる。

このように、本発明の実施の形態に係る画像検索装置２０３は、映像監視システムにおける人物や物体等の画像特徴量を利用した画像検索において、効率的で利便性の高いユーザインタフェース部２４０を提供することができる。
具体的には、画像検索対象の複数のキー画像を検索条件として登録可能とすることで、検索対象の向きや撮影角度の違いによる検索の見逃しが少なくすることができる。これにより、効率的に、画像検索を行うことができる。
また、検索条件にキー画像を追加する毎に、検索条件から削除する候補画像を表示し、ユーザによる削除を可能とすることができる。これにより、冗長画像による検索処理を抑止することができ、高速な画像検索を実現することができる。
また、入力された検索条件を記憶し、記憶された検索条件を使用して自動検索を行うことも可能である。これにより、事件等の事前抑止に効果的なシステムを提供することができる。

また、本発明の実施の形態に係る画像検索装置２０３のユーザインタフェース部２４０は、検索条件の複数の画像を表示し、検索条件となる画像が追加される毎に、検索条件から削除する候補画像を表示することを特徴とする。

また、本発明の実施の形態に係る画像検索装置２０３のユーザインタフェース部２４０は、検索条件の複数の画像を類似するグループに分類して表示することを特徴とする。

また、本発明の実施の形態に係る画像検索装置２０３は、入力された検索条件を記憶する画像検索データ記憶部２２０（記憶手段）を備え、記憶された検索条件を使用して予め定められた時間に検索を行い、ユーザ要求時にユーザインタフェース部２４０は検索結果を表示することを特徴とする。

なお、本実施の形態においては、キー画像を複数の画像として使用して検索することに限定するものでなく、たとえば類似する画像グループの代表画像を使用して検索してもよい。
また、本実施の形態における画像検索装置２０３における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量抽出部２１０、画像検索データ記憶部２２０、画像検索実行部２３０をＰＣ等のコンピュータで実現し、ユーザインタフェース部２４０を別のＰＣ等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置２０３を実現することができる。

また本発明の実施の形態に係る監視システムＸにおいては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できることはいうまでもない。

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

２００ ネットワーク
２０１−１〜２０１−ｎ 撮像装置
２０２ 画像記録装置
２０３ 画像検索装置
２１０ 画像特徴量抽出部
２２０ 画像検索データ記憶部
２３０ 画像検索実行部
２４０ ユーザインタフェース部
４００ 画面例
４１０ 検索範囲入力画面
４２０ 選択画像表示画面
４３０、４３１、４３２ 検索結果表示画面
４４０、４４１、４４２、４４３、４４４ キー画像表示画面
４５０ 画像再生画面
５００、５１０、５２０、５３０ ボタン
Ｘ 監視システム

Claims (2)

1. 検索条件に合致した画像を検索する画像検索装置において、
   画像の特徴量を抽出する特徴量抽出手段と、
   前記画像の特徴量を記憶する特徴量記憶手段と、
   画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース手段と、
   入力された前記検索条件をもとに前記画像の特徴量を使用して、画像を記録する画像記録装置の検索を行う画像検索手段
   とを備え、
   前記ユーザインタフェース手段は、一回の検索において、特定対象の複数の画像を前記検索条件として入力し、前記画像検索手段は、前記検索条件である複数の画像に含まれる画像を使用して検索を行い、前記ユーザインタフェース手段は、使用した画像毎の検索結果を類似度順に表示し、
   前記画像検索手段は、
   前記検索条件となる画像に新規画像が追加される場合、前記検索条件である複数の画像の特徴量と、前記新規画像の特徴量とを重み付けして類似度を計算し、
   計算された前記新規画像との類似度が所定の閾値よりも大きい前記検索条件である複数の画像を削除候補画像として前記ユーザインタフェース手段に表示させ、
   ユーザから取得した指示により、前記新規画像又は前記削除候補画像を選択して前記検索条件から削除する
   ことを特徴とする画像検索装置。
2. 前記ユーザインタフェース手段は、お互いに類似する前記検索条件である複数の画像を１つ以上の画像グループにまとめ、前記新規画像との類似度により、前記新規画像を前記画像グループのいずれかに含めさせて前記ユーザインタフェース手段に表示させ、
   前記検索条件の複数の画像を表示し、前記検索条件となる画像に前記新規画像が追加される毎に、前記検索条件から前記削除候補画像を表示する
   ことを特徴とする請求項１の画像検索装置。

Images