JP6516832B2 - 画像検索装置、システム及び方法 - Google Patents

Description

本発明は、画像検索システム及び方法に関し、特に計算機上での情報検索に関する。

近年、凶悪犯罪の増加やセキュリティ意識の向上に伴い、店舗や空港、道路などの人が集まる場所に、多くの監視カメラが設置されつつある。これらの監視カメラで撮影された映像は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。また、ＩＰカメラの普及によってネットワーク経由で多数のカメラが接続可能になり、また蓄積装置の大容量化が進んだことも相まって、膨大な量の映像が蓄積されつつある。したがって、従来のように目視で全映像データを確認することは非常に困難になっている。

そこで、大量の映像データの中から、特定の人物や物体が映っている場面を検索して提示するために、様々な類似検索技術が提案されている。ここで、類似検索技術とは、ユーザが指定した検索クエリと類似したデータを対象データ内から探して、その結果を提示する技術を指す。特に、類似画像検索技術とは、画像自体から抽出される色合いや形状、構図等の特徴量を用いて、特徴量間の類似度が大きいデータを検索する技術である。

例えば、人物検索を行う際には、人物の服装の色情報を特徴量として用いて検索することが考えられる。特徴量を抽出する単位として、全身から抽出する、上半身・下半身に分けて抽出する、詳細に靴や鞄を切り出してから抽出する、人物をグリッド状に分割して各領域から抽出するといった方法が挙げられる。いずれにせよ、人物を検索するのに有効な領域から特徴量を抽出することが、検索精度の向上にとって重要である。

特許文献１では、対象画像から色、輝度、方向などを考慮し、画像中の物体領域について視覚的注意が導かれる領域を可視化した顕著性マップに基づいて被写体を含む矩形領域を決定し、その矩形領域から特徴量を抽出する技術が開示されている。

特開２０１３−２２５１８０号

人物などに代表される移動物体を検索したい場合、検索に有効な領域から特徴量を抽出することが重要である。例えば、赤い服を着た集団が多く存在している場所に設置された監視カメラ映像から人物検索をしたい場合について考える。このとき、赤い服から特徴量を抽出して検索を行っても同じ色の服の人物が検索されてしまい、目的の人物を探し出すことができない。したがって、赤い服以外の鞄や靴などの出現頻度の低い特徴量を持つ領域から特徴量を抽出して検索を行う必要がある。

特許文献１では、特徴量の有効性の評価を特徴量抽出の対象とする画像のみを用いて行っている。この場合、前述したような他人との関係性を考慮した特徴量の有効性が評価されないため、適切な検索ができないことが課題として挙げられる。すなわち、特徴量抽出の対象となる画像内で赤色が顕著な場合は、赤色の特徴量が抽出されてしまうため、データベース中に赤い服を着た人物が大量に存在する場合は、赤い服の人物ばかりを検索してしまうことになり、その他の特徴を有効に活用することができない。

上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像検索装置であって、検索対象画像を蓄積する蓄積部と、複数の検索対象画像に含まれる複数の第１領域から抽出した第１情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第２領域から抽出した第２情報を解析し、第２情報を用いて検索優先度の高い前記第２領域を顕著領域として検出する領域検出部と、顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する画像検索部と、を有することを特徴とする。

あるいは、画像検索方法であって、検索対象画像を蓄積部に蓄積する第１ステップと、複数の検索対象画像に含まれる複数の第１領域から抽出した第１情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第２領域から抽出した第２情報を解析し、第２情報を用いて検索優先度の高い前記第２領域を顕著領域として検出する第２ステップと、顕著領域から抽出した画像特徴量を用いて検索対象画像を検索する第３ステップと、を有することを特徴とする。

本発明の一実施形態によれば、クエリ画像のうち、検索対象画像と比較して検索に適した顕著領域を検出することで、検索精度を向上することができる。

第１の実施形態の画像検索システムの構成を示すブロック図である。 第１の実施形態のハードウェア構成を示す構成図である。 第１の実施形態の特徴量管理情報を示す説明図である。 第１の実施形態の優先度情報を示す説明図である。 第１の実施形態の優先度情報を用いた移動物体検索方法を示す説明図である。 第１の実施形態の映像登録処理を示すフローチャートである。 第１の実施形態の優先度情報計算処理を示すフローチャートである。 第１の実施形態の移動物体検索処理を示すフローチャートである。 第１の実施形態の検索画面を示す説明図である。 第２の実施形態のハードウェア構成を示す構成図である。 第２の実施形態の認証情報データベースに蓄積される情報を示す説明図である。 第２の実施形態の認証処理を示すフローチャートである。 第２の実施形態の検索処理を示すフローチャートである。 第３の実施形態のシステム構成を示すブロック図である。 第３の実施形態の表示処理を示すフローチャートである。

以下、本発明の実施形態を、図面を参照して説明する。

（実施例１）
以下、本発明の第１の実施形態の画像検索システムについて、図面に従って説明する。
図１は、本発明の実施例１の画像検索システム１００の全体構成図である。

本実施例の画像検索システム１００は、映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、表示装置１０４、およびサーバ計算機１０５を備える。映像記憶装置１０１は、映像データを保存し、要求に応じて出力する記憶媒体であり、コンピュータ内蔵のハードディスクドライブ、または、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）もしくはＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成することができる。

映像撮影装置１０２は、映像を撮影して映像データを作成し、それを出力する装置である。

映像記憶装置１０１又は映像撮影装置１０２から出力された画像は、いずれもサーバ計算機１０５の映像入力部１０６（後述）に入力される。画像検索システム１００は、図１に示すように映像記憶装置１０１及び映像撮影装置１０２の両方を備えてもよいが、いずれか一方のみを備えてもよい。画像検索システム１００が映像記憶装置１０１及び映像撮影装置１０２の両方を備える場合、映像入力部１０６への映像データの入力元が必要に応じて映像記憶装置１０１又は映像撮影装置１０２に切り替えられてもよいし、映像撮影装置１０２から出力された映像データが一旦映像記憶装置１０１に記憶され、そこから映像入力部１０６に入力されてもよい。その場合、映像記憶装置１０１は、例えば、映像撮影装置１０２から継続的に入力される映像データを一時的に保持するキャッシュメモリであってもよい。

なお、映像記憶装置１０１に保存される映像データ及び映像撮影装置１０２によって作成される映像データは、撮影された移動物体の追跡に利用できるものである限り、どのような形式のデータであってもよい。例えば、映像撮影装置１０２がビデオカメラであり、それによって撮影された動画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０１に記憶されてもよい。あるいは、映像撮影装置１０２がスチルカメラであり、それによって所定の間隔（少なくとも撮影された物体を追跡できる程度の間隔）で撮影された一連の静止画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０１に記憶されてもよい。

入力装置１０３は、マウス、キーボード、タッチデバイスなど、ユーザの操作をサーバ計算機１０５に伝えるための入力インタフェースである。表示装置１０４は、液晶ディスプレイなどの出力インタフェースであり、サーバ計算機１０５の検索結果の表示、ユーザとの対話的操作などのために用いられる。例えばいわゆるタッチパネル等を用いることによって入力装置１０３と表示装置１０４とが一体化されてもよい。

サーバ計算機１０５は、入力された映像データから、ユーザに指定された検索条件に基づいて所望の画像を検索する画像検索装置として機能する。具体的には、サーバ計算機１０５は、与えられた映像データの各フレームに含まれる移動物体を追跡し、その移動物体に関する情報を蓄積する。ユーザが蓄積されたフレームから探したい移動物体の検索条件を指定すると、サーバ計算機１０５は、蓄積された情報を用いて画像を検索する。サーバ計算機１０５が扱う映像は、一箇所以上の場所で撮影された定点観測の映像であることを想定している。また、検索対象の物体は、人物または車両などの任意の移動物体である。サーバ計算機１０５は、映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、追跡情報登録部１０９、優先度情報登録部１１０、映像データベース１１１、優先度情報データベース１１２、移動物体指定部１１３、顕著性判定部１１４、類似ベクトル検索部１１５を備える。

映像入力部１０６は、映像記憶装置１０１から映像データを読み出すか、又は映像撮影装置１０２によって撮影された映像データを受け取り、それをサーバ計算機１０５内部で使用するデータ形式に変換する。具体的には、映像入力部１０６は、映像（動画データ形式）をフレーム（静止画データ形式）に分解する動画デコード処理を行う。得られたフレームは、フレーム登録部１０７及び移動物体追跡部１０８に送られる。なお、映像記憶装置１０１、又は映像撮影装置１０２から映像ではなくフレームを取得できる場合は、得られたフレームを使用しても良い。

フレーム登録部１０７は、抽出されたフレームと抽出元の映像の情報を映像データベース１１１に書き込む。映像データベース１１１に記録するデータの詳細については図３の説明として後述する。

移動物体追跡部１０８は、映像中の移動物体を検出し、前フレームの移動物体との対応付けを行うことによって、移動物体の追跡を行う。移動物体の検出及び追跡は、任意の方法を用いて実現することができる。軌跡情報は、各フレームの移動物体の座標情報と各軌跡にユニークに付与されるＩＤ（追跡ＩＤ）で構成される。

追跡情報登録部１０９は、付与された追跡ＩＤを映像データベース１１１に登録する。
優先度情報登録部１１０は、移動物体追跡部１０８から得られた移動物体から優先度情報を計算し、優先度情報データベース１１２に登録する。優先度情報について、詳しくは図４、図５、図６の説明として後述する。

映像データベース１１１は、映像、フレーム、及び移動物体の軌跡情報等を保存するためのデータベースである。映像データベース１１１へのアクセスは、フレーム登録部１０７及び追跡情報登録部１０９からの登録処理、並びに、類似ベクトル検索部１１５からの検索処理の際に発生する。映像データベース１１１の構造について、詳しくは図３の説明として後述する。
優先度情報データベース１１２は、顕著性判定を行うための優先度情報を保存するためのデータベースである。優先度情報データベース１１２へのアクセスは、優先度情報登録部１１０からの登録処理、並びに、顕著性判定部１１４からの判定処理の際に発生する。優先度データベース１１２の構造について、詳しくは図４の説明として後述する。

移動物体指定部１１３は、ユーザが指定した移動物体（例えば人物の外接矩形）を入力装置１０３から受け取る。

顕著性判定部１１４は、入力された移動物体から顕著性判定用の特徴量を抽出し、優先度情報データベース１１２に保存されている優先度情報を用いて、移動物体中の顕著領域を判定する。詳しくは図９の説明として後述する。
類似ベクトル検索部１１５は、顕著領域と判定された移動物体の部分領域から抽出された検索用特徴量と類似する特徴量を映像データベース１１１から検索して、その結果を表示装置１０４に出力する。

図２は、本発明の実施例１の画像検索システム１００のハードウェア構成図である。サーバ計算機１０５は、例えば、相互に接続されたプロセッサ２０１および記憶装置２０２を有する一般的な計算機である。記憶装置２０２は任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリ及びハードディスクドライブを含んでもよい。

この例において、図１に示した映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、追跡情報登録部１０９、優先度情報登録部１１０、映像データベース１１１、優先度情報データベース１１２、移動物体指定部１１３、顕著性判定部１１４、類似ベクトル検索部１１５といった機能部は、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。言い換えると、この例において、上記の各機能部が実行する処理は、実際には、処理プログラム２０３に記述された命令に従うプロセッサ２０１によって実行される。また、映像データベース１１１、及び、優先度情報データベース１１２は、記憶装置２０２に含まれる。

サーバ計算機１０５は、さらに、プロセッサに接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。映像撮影装置１０２は、例えば、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続される。映像記憶装置１０１は、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続されたＮＡＳまたはＳＡＮであってもよいし、記憶装置２０２に含まれてもよい。

なお、本実施形態の画像検索システムは、一般的なパーソナルコンピュータが画像検索のアプリケーションによってサービスを提供する構成であるが、ネットワークを介して接続されたサーバ計算機１１０とクライアント計算機１３０とがサービスを提供する構成であるが、一般的なパーソナルコンピュータが画像検索のアプリケーションによってサービスを提供する構成であってもよい。

図３は、本発明の実施例１の映像データベース１１１の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。

映像データベース１１１は、図３に示す画像データ管理情報３００、移動物体管理情報３１０、追跡情報管理情報３２０及びパッチ特徴量管理情報３３０を含む。図３のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。

画像データ管理情報３００は、フレームＩＤフィールド３０１、カメラＩＤフィールド３０２、撮影時刻フィールド３０３、及び画像データフィールド３０４を有する。
フレームＩＤフィールド３０１は、映像データから抽出されたフレーム画像データの識別情報（以下、フレームＩＤ）を保持する。

カメラＩＤフィールド３０２は、撮影装置１０２の識別情報（以下、カメラＩＤ）を保持する。映像データが映像記憶装置１０１から読み込まれる場合は、カメラＩＤを省略しても良いし、映像ファイルの識別情報（以下、映像ＩＤ）を保持しても良い。

撮影時刻フィールド３０３は、画像が撮影された時刻の情報を保持する。
画像データフィールド３０４は、フレームの静止画像のバイナリデータであり、検索結果などを表示装置１０４に表示する際に用いられるデータを保持する
移動物体管理情報３１０は、移動物体ＩＤフィールド３１１、追跡ＩＤフィールド３１２、フレームＩＤフィールド３１３、及び矩形座標フィールド３１４を含む。

移動物体ＩＤフィールド３１１は、各フレームから検出された移動物体の識別情報（以下、移動物体ＩＤ）のリストを保持する。ここで、移動物体ＩＤは、移動物体そのものを識別するものではなく、各フレームから検出された移動物体の画像を識別するものである。同一の移動物体の画像が複数のフレームから検出された場合には、それらの移動物体の画像の各々に別の（一意の）移動物体ＩＤが与えられ、それらの移動物体ＩＤが一つの追跡ＩＤに対応付けられる。

追跡ＩＤフィールド３１２は、前述した移動物体ＩＤに紐付けられる追跡ＩＤを保持する。

フレームＩＤフィールド３１３は、各移動物体が検出された元となるフレーム画像のフレームＩＤを保持する。このフレームＩＤは、画像データ管理情報３００のフレームＩＤフィールド３０１に保持されるものと対応する。

矩形座標フィールド３１４は、各フレームから検出された移動物体の画像の当該フレーム画像中に占める範囲を示す矩形座標を保持する。この座標は、例えば、移動物体の外接矩形の「左上隅の水平座標、左上隅の垂直座標、右下隅の水平座標、右下隅の垂直座標」という形式で表現されてもよいし、矩形の中心の座標、幅及び高さによって表現されてもよい。後述する矩形座標フィールド３３３に保持される矩形座標の表現も同様であってよい。

追跡情報管理情報３２０は、追跡ＩＤフィールド３２１、及び移動物体ＩＤリスト３２２を有する。

追跡ＩＤフィールド３２１は、移動物体管理情報３１０の追跡ＩＤフィールド３１２に保持されるものと対応する。

移動物体ＩＤフィールド３２２は、同一の追跡ＩＤが付与された移動物体ＩＤのリストを保持する。移動物体ＩＤフィールド３２２は、移動物体管理情報３１０の移動物体ＩＤフィールド３１１に保持されるものと対応する。

例えば、図３に示すように、追跡ＩＤ「１」に対応する移動物体ＩＤフィールド８３２２に「１、２、３、４、５、６、・・・」が登録されていることは、あるフレームから検出された移動物体ＩＤ「１」によって識別される移動物体の画像と、別のフレームから検出された移動物体ＩＤ「２」によって識別される移動物体の画像と、同様にそれぞれ別のフレームから検出された移動物体ＩＤ「４」、「５」、「６」によって識別される移動物体の画像とが、移動物体追跡部１０８によって相互に対応付けられた（すなわちそれらが同一の移動物体の画像と判定された）ことを意味する。移動物体を追跡する方法の一例としては、あるフレームから検出された移動物体ＩＤ「１」の画像と、別フレームから検出された移動物体ＩＤ「２」の画像とのそれぞれから画像特徴量を抽出し、画像特徴量の類似度（距離）を算出し、類似度が閾値以上であれば、両画像の移動物体は同一の移動物体と判定し、対応付けを行う。

パッチ特徴量管理情報３３０は、パッチＩＤフィールド３３１、フレームＩＤフィールド３３２、矩形座標フィールド３３３及びパッチ特徴量フィールド３３４を含む。
パッチＩＤフィールド３３１は、フレーム画像から移動物体追跡部１０８によって追跡された移動物体の部分領域の識別情報（以下、パッチＩＤ）を保持する。部分領域として、移動物体の外接矩形をグリッド状に分割したブロック領域を用いても良いし、鞄や上半身といった一部を用いても良い。
フレームＩＤフィールド３３２は、パッチの部分領域を含む移動物体が検知されたフレームのフレームＩＤを保持する。このフレームＩＤは、画像データ画像管理情報３００のフレームＩＤフィールド３０１に保持されるものと対応する。

矩形座標フィールド３３３は、検知されたパッチ領域のフレーム画像に占める範囲を示す座標を保持する。

パッチ特徴量フィールド３３４は、検知された服飾領域から抽出された画像特徴量を保持する。
図４は、本発明の実施例１の優先度情報データベース１１２の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。

優先度情報データベース１１２は、優先度情報４００を含む。優先度情報４００は、優先度情報ＩＤ４０１、及び優先度情報４０２を保存する。優先度情報ＩＤ４０１は、各優先度情報を識別するＩＤである。優先度情報４０２は、映像データベース１１１内のパッチ特徴量管理情報３３０が保持するパッチ特徴量フィールド３３４において、出現頻度の低い特徴量を算出するための情報である。出現頻度の低い特徴量の特徴量ベクトルをそのまま保存しても良いし、パッチ特徴量フィールド３３４に保存されている特徴量から基底ベクトルの集合を算出し、パッチ特徴量フィールド３３４に保存されている特徴量を基底ベクトルの成分で表したベクトルデータを保存しても良い。また、前景と背景で別に保存しても良いし、撮影装置ごとに保存しても良い。前景と背景を別に保存した場合は，並列に検索を行うことができ、検索速度を向上させることができる。撮影装置ごとに保存した場合も同様である。一方、前景と背景とを分けずに保存した場合には、保存に必要なディスク容量の削減やアクセス性の向上を行うことができる．
図４のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。

図５は、本発明の実施例１の優先度情報を用いた移動物体検索の説明図である。

映像入力部１０６から入力された映像データからフレーム画像５０１を取得して表示装置１０４に表示する。このときユーザは入力装置１０３を用いて、フレーム画像５０１上の移動物体５０２を検索キーとして指定する。

次に、移動物体５０２をグリッド状に分割し、グリッド画像５０３を得る。本実施例では処理の容易さ、負荷軽減のために図５のようにグリッドに分割しているが、他に移動物体５０２を分割する方法として、鞄や上半身といった部位を単位として分割したり、エッジ情報が多い部分を切り出すといった方法を用いても良い。

顕著領域の決定処理（５０４）では、優先度情報データベース１１２に保存されている優先度情報を用いて、グリッド画像５０３の各部分領域について顕著領域５０６かどうかを決定する。優先度情報の計算方法は図６で、顕著領域の判定方法は図７を用いて後述する。

顕著領域を用いた検索処理（５０７）では、顕著領域５０６から抽出した特徴量と、映像データベース１１１に保存されているパッチ特徴量３３４との類似度を計算する。類似度の計算方法として、ユークリッド距離を用いても良いし、コサイン距離などを用いてもよい。

以上を踏まえ、本実施例に記載の画像検索装置１０５は、検索対象画像を蓄積する蓄積部１１１と、複数の検索対象画像に含まれる複数の第１領域から抽出した第１情報を解析することで検索優先度４００を学習し（１１０）、クエリ画像５０２に含まれる複数の第２領域から抽出した第２情報を解析し、第２情報を用いて検索優先度の高い第２領域を顕著領域５０６として検出する領域検出部１１４と、顕著領域５０６から抽出した画像特徴量を用いて検索対象画像を検索する画像検索部１１５と、を有することを特徴とする。

このように、クエリ画像中の第２領域のうち、検索対象画像において出現頻度の低い領域を検索クエリとして特定することで、クエリ画像中の汎用的な図柄のせいで、目的とする画像以外の検索ノイズが大量に検索結果に表れる現象を抑えることができ、検索精度が向上する。 なお、本実施例では、動画像が入力され、検索クエリとしては動画像中に写っている移動物体を想定しているが、時系列的な関係のない複数の画像が入力されてももちろん本発明の効果を奏することは可能である。本実施例の効果は移動物体を検索するときに限定されることはなく、たんに画像中に写っている何らかの物体をクエリとしても、検索優先度を学習し、検索することが可能である。

図６は、本発明の実施例１のサーバ計算機１０５が入力された映像を登録する処理を説明するフローチャートである。以下、図６の各ステップについて説明する。

最初に、映像入力部１０６が、映像記憶装置１０１又は映像撮影装置１０２から入力された映像データをデコードし、フレームを静止画として抽出する（ステップＳ６０１）。映像記憶装置１０１又は映像撮影装置１０２から入力されたデータが静止画の場合は、静止画をそのまま用いる。

次に、サーバ計算機１０５内の各部が、ステップＳ６０１で抽出された各フレームに対して、ステップＳ６０２〜Ｓ６１０を実行する。

フレーム登録部１０７は、フレームＩＤ３０１、カメラＩＤ３０２、撮影時刻３０３、及び、画像データ３０４を映像データベース１１１に登録する（ステップＳ６０３）。

追跡情報登録処理について、ステップＳ６０４からステップＳ６０７を用いて説明する。

移動物体追跡部１０８は、処理対象のフレームから移動物体を検出し、検出した移動物体を前の時刻のフレームから検出された移動物体と対応付ける（ステップＳ６０４）。

次に、移動物体追跡部１０８は、新しい移動物体が出現したか否かを判定する（ステップＳ６０５）。具体的には、移動物体追跡部１０８は、処理対象のフレームから検出した移動物体が前の時刻のフレームから検出されたいずれの移動物体とも対応付けられなかった（言い換えると、処理対象のフレームから検出された移動物体と同一の移動物体の画像が前の時刻のフレームに含まれていないと判定された）場合、新しい移動物体が出現したと判定する。

新しい移動物体が出現した場合、移動物体追跡部１０８は、当該新しい移動物体に新しい追跡ＩＤを付与し、追跡情報登録部１０９は、当該新しい追跡ＩＤと、移動物体ＩＤをそれぞれ映像データベース１１１の追跡情報管理情報３２０内の追跡ＩＤフィールド３２１及び移動物体ＩＤフィールド３２２に登録する（ステップＳ６０６）。一方、新しい移動物体が出現しなかった場合、ステップＳ６０６は実行されない。

次に、追跡情報登録部１０９は、フレーム画像内で検出された移動物体について、移動物体ＩＤ、追跡ＩＤ、フレームＩＤ、及び矩形座標をそれぞれ映像データベース１１１の移動物体管理情報３１０内の移動物体ＩＤフィールド３１１、追跡ＩＤフィールド３１２、フレームＩＤフィールド３１３、及び矩形座標３１４に登録する（ステップ６０７）。また、追跡情報管理情報３２０内の移動物体ＩＤフィールド３２２に、移動物体のＩＤを追加する（ステップＳ６０７）。

なお、追跡情報や移動物体情報の登録処理については、毎フレーム登録処理を行わずに、移動物体が消失した際に行っても良い。具体的には、移動物体追跡部１０８が、前の時刻のフレームから検出された移動物体とステップＳ６０７で検出されたいずれの移動物体とも対応付けられなかった（言い換えると、前の時刻のフレームから検出された移動物体と同一の移動物体の画像が処理対象のフレームに含まれていないと判定された）場合、当該前の時刻のフレームから検出された移動物体が消失したと判定し、当該移動物体の追跡情報と移動物体情報をまとめて登録しても良い。

優先度情報登録処理について、ステップＳ６０８とステップＳ６０９を用いて説明する。

移動物体の部分領域から抽出された優先度計算用特徴量を用いて、優先度情報を計算する（ステップＳ６０８）。優先度計算用特徴量として、エッジ情報や色ヒストグラムを用いても良い。部分領域として、移動物体をグリッド状に分割した各ブロック領域を用いても良いし、人体の場合は鞄や上半身といった領域に限定しても良い。

優先度情報は、優先度情報データベース１１２内の優先度情報４００として、保存される（ステップＳ６０９）。なお、優先度情報の登録は、フレームごとに行っても良いし、ある一定期間ごとに行っても良いし、事前に行っておいても良い。また、撮影装置ごとや撮影場所ごとに優先度情報を保存しておいても良い。撮影装置ごとに優先度情報を保存しておくと、撮影装置の画質などに応じて、優先度情報を切り替えることができる。

映像データから抽出された全てのフレームについてステップＳ６０２〜Ｓ６１０が終了すると、入力された映像を登録する処理が終了する。

図７は、本発明の実施例１のサーバ計算機１０５が移動物体検索を行う処理を説明するフローチャートである。以下、図８の各ステップについて説明する。
まず初めに、入力装置１０３を用いて表示装置１０４に表示された移動物体をユーザが指定する（ステップＳ７０１）。

次に、指定された移動物体の部分領域からステップＳ６０８で抽出した特徴量と同様の方法で優先度計算用特徴量を抽出する（ステップＳ７０２）。このとき、移動物体全体をグリッド状に分割した領域ごとに特徴量を抽出しても良いし、人物の場合は鞄や上半身といった領域ごとに特徴量を抽出しても良い。また、指定された移動物体を含むフレーム画像のみからではなく、同一の移動物体ＩＤが付与された移動物体から抽出しても良い。

次に、優先度情報データベース１１２の優先度情報４００、及びステップＳ８０２で抽出した特徴量を用いて、部分領域ごとに顕著性を判定する（ステップＳ７０３）。優先度情報データベース１１２の優先度情報４００に出現頻度が低い特徴量が保存されている場合は、該特徴量と類似していれば顕著性が高いと判定しても良いし、他の方法を用いても良い。また、撮影装置ごとに優先度情報４００が保存されている場合は、対象となる画像を撮影した撮影装置用の優先度情報を用いて優先度を計算する。

次に、顕著性の大きい部分領域から検索用特徴量を抽出する（ステップＳ７０４）。顕著性の大きい部分領域の決定方法として、顕著性が予め指定した閾値を超えた部分領域を全て使用しても良いし、移動物体の中で最も顕著性が高い部分領域を使用しても良いし、予め指定した領域ごとに最も顕著性が高い部分領域を使用しても良い。検索用特徴量として、エッジ情報や色ヒストグラムを用いても良いし、優先度判定用の特徴量と同じ特徴量を用いても良い。

次に、抽出した特徴量と映像データベース１１１に保存されているパッチ特徴量管理情報３３０内のパッチ特徴量フィールド３３４のパッチ特徴量との類似度を計算する（ステップＳ７０５）。類似度の計算方法として、ユークリッド距離を用いても良いし、コサイン距離などの他の手法を用いても良い。

最後に、ステップＳ７０５において、類似度が高いと判定されたパッチ特徴量を用いて検索結果を表示する（ステップＳ７０６）。このとき、検索結果として、パッチＩＤ３３１を表示しても良いし、該パッチを含む移動物体ＩＤを表示しても良いし、該移動物体ＩＤを含むフレーム画像を表示しても良い。

図８は、本発明の実施例１のサーバ計算機１０５によって出力される検索画面の説明図である。図８を参照して、図７の処理におけるユーザからの情報の入力方法及び検索結果の表示方法の一例を説明する。

表示装置１０４によって表示される検索画面は、移動物体選択エリア８０１、顕著性表示エリア８０２、検索ボタン８０３及び検索結果表示エリア９０４を含む。
移動物体選択エリア８０１では、移動物体が表示されており、ユーザはこの中から検索キーとなる移動物体を指定する（ステップＳ７０１）。

ユーザが指定した移動物体から顕著性判定用の特徴量が抽出され（ステップＳ７０２）、優先度情報を用いて顕著性を判定した結果（ステップＳ７０３）が顕著性表示エリア８０２に表示される。例えば、移動物体をグリッド状に分割した各部分領域の顕著性を判定し、予め指定した閾値以上の顕著性を持つ部分領域を矩形で囲んで表示する。ユーザが指定した移動物体の同一の移動物体ＩＤを持つ移動物体の顕著性を判定する場合は、複数の移動物体が表示される。
ユーザがマウス等を用いて検索ボタン８０３を操作すると、顕著領域から検索用特徴量を抽出し（ステップＳ７０４）、類似検索が実行され（ステップＳ７０５）、類似度が大きいデータが検索結果画面８０４に表示される（ステップＳ７０６）。例えば、検索結果の表示方法として、類似度の大きいパッチを含む移動物体が映っているフレーム画像を類似度順に並べて表示し、移動物体を矩形で囲んで表示する。

以上を踏まえ、本実施例に記載の画像検索方法は、検索対象画像を蓄積部１１１に蓄積する第１ステップ（Ｓ６０３）と、複数の検索対象画像に含まれる複数の第１領域から抽出した第１情報を解析することで検索優先度を学習（Ｓ６０８、６０９）し、クエリ画像に含まれる複数の第２領域から抽出した第２情報を解析し（Ｓ７０２）、第２情報を用いて検索優先度の高い前記第２領域を顕著領域として検出する第２ステップ（Ｓ７０３）と、顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する第３ステップ（Ｓ７０４，７０５）と、を有することを特徴とする。

このように、クエリ画像中の第２領域のうち、検索対象画像において出現頻度の低い領域を検索クエリとして特定することで、クエリ画像中の汎用的な図柄のせいで、目的とする画像以外の検索ノイズが大量に検索結果に表れる現象を抑えることができ、検索精度が向上する。

（実施例２）
以下、本発明の第２の実施形態の画像検索システムについて、図面に従って説明する。

次に、本発明の実施例２の画像検索システム１００について説明する。以下に説明する相違点を除き、実施例２の画像検索システム１００の各部は、図１〜図８に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

図９は、本発明の実施例２の画像検索システム１００の全体構成図である。本実施例の画像検索システム１００は、映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、表示装置１０４、サーバ計算機１０５、及び認証装置９０１を備える。映像記憶装置１０１、映像撮影装置１０２、入力装置１０３及び表示装置１０４は、実施例１と同様であるため、説明を省略する。

認証装置９０１は、個人認証を行う装置である。例えば、指静脈認証装置や顔認証装置のような生体認証装置でも良いし、ＩＤカード認証装置でも良い。認証装置９０１は、映像撮影装置１０２とセットで設置されるが、認証装置９０１を備えない映像撮影装置１０２があっても良い。尚、認証装置９０１とサーバ計算機１０５の時刻の同期を取るために、時刻同期モジュールを備えても良い。時刻同期モジュールはサーバ計算機１０５が備えても良い。

実施例２のサーバ計算機１０５は、実施例１と同様の映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、追跡情報登録部１０９、優先度情報登録部１１０、映像データベース１１１、優先度情報データベース１１２、顕著性判定部１１４及び類似ベクトル検索部１１５に加えて、個人認証部９０１、認証情報登録部９０２、認証情報データベース９０４、人物指定部９０５及び移動物体決定部９０６を有する。

図１０は、本発明の実施例２の画像検索システム１００のハードウェア構成図である。
プロセッサ２０１、及びネットワークインタフェース２０４は実施例１と同一である。記憶装置１００１は、任意の種類の記憶媒体によって構成される。この例において、図９に示した映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、追跡情報登録部１０９、優先度情報登録部１１０、映像データベース１１１、優先度情報データベース１１２、顕著性判定部１１４、類似ベクトル検索部１１５、個人認証部９０２、認証情報登録部９０３、認証情報データベース９０４、人物指定部９０５、移動物体決定部９０６といった機能部は、プロセッサ２０１が記憶装置１００１に格納された処理プログラム１００２を実行することによって実現される。

認証装置９０１は、ネットワークインタフェース２０４を介してサーバ計算機１０５に接続される。
図１１は、本発明の実施例２の映像データベース１１１の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。

認証情報データベース９０４は、図１１に示す認証データ管理情報１１００を含む。図１１のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。

認証データ管理情報１１００は、人物ＩＤフィールド１１０１、人物名フィールド１１０２、認証時刻フィールド１１０３、及び追跡ＩＤフィールド１１０４を有する。

認証ＩＤフィールド１１０１は、認証装置９０１で認証された人物の識別情報（以下、認証ＩＤ）を保持する。
人物名フィールド１１０２は、認証装置９０１で認証された人物の人物名を保持する。人物名が事前に登録されていない場合は、人物名を意味する他の情報を保持しても良いし、このフィールドは存在しなくても良い。

認証時刻フィールド１１０３は、認証装置９０１で認証した時刻を保持する。

追跡ＩＤ１１０４は、映像データベース１１１が保持する移動物体管理情報３１０に含まれる追跡ＩＤ３１２と同じものである。該追跡ＩＤを介して、映像データベース１１１が保持するフレームＩＤ３１３、矩形座標３１４、画像データ３０４などへのアクセスが可能になる。

図１２は、本発明の実施例２のサーバ計算機１０５が認証を行う処理を説明するフローチャートである。以下、図１２の各ステップについて説明する。認証装置９０１を備える映像撮影装置１０２は、本説明による認証処理を行った後に図６で説明したフローチャートに従って映像登録処理を行う。尚、本認証処理と同時に映像登録処理を行っても良い。

まず初めに、認証装置９０１による認証を行う（ステップＳ１２０１）。指紋認証や指静脈認証、虹彩認証といった生体認証を用いても良いし、ＩＤカードなどによる認証を行っても良い。

次に、認証装置９０１から得られた人物識別ＩＤ１１００、人物名１１０２、認証時刻１１０３を認証情報データベース９０４に登録する（ステップＳ１２０２）。

次に、図６で説明したフローチャートに従って映像登録処理を行う（ステップ１２０３）。ウォークスルー型の認証装置を用いる場合は、ステップＳ１２０２とステップ１２０３を同時に行っても良い。また、ステップＳ１２０２で認証を行う前に、ステップ１２０３を実行して映像登録処理を行っても良い。
最後に、映像登録処理で得られた人物ＩＤ１１０４を認証データベース９０４に登録する。
図１３は、本発明の実施例２のサーバ計算機１０５が人物検索を行う処理を説明するフローチャートである。以下、図１３の各ステップについて説明する。

まず初めに、ユーザは入力装置１０３を用いて人物指定部９０５において検索キーとなる人物を指定する（ステップＳ１３０１）。このとき、ユーザは人物名を入力しても良いし、人物ＩＤを入力しても良いし、人物が認証装置を通過した時間を入力しても良い。

次に、移動物体決定部９０６は、ユーザからの入力情報を使用して指定された人物の映像データを取得する（ステップＳ１３０２）。入力情報を用いて認証情報データベース９０４に問い合わせを行い、該当する人物の追跡ＩＤ１１０４を取得する。そして、追跡ＩＤ１１０４を用いて映像データベース１１１に問い合わせを行い、該当人物の映像データを取得する。
取得した映像データを用いて、図７で説明した移動物体検索のフローチャートと同様に検索を行う（ステップＳ１３０３）。図７中のステップ７０１においてユーザが移動物体を指定する処理は、図１３のステップＳ１３０１〜ステップＳ１３０２に置き換えられる。

以上の本発明の実施例２によれば、認証装置と画像検索装置を連携させることで、ユーザは検索時に人物名や人物ＩＤを指定することができ、対象とする人物を容易に検索することができる。
（実施例３）
以下、本発明の第３の実施形態の画像検索システムについて、図面に従って説明する。
次に、本発明の実施例３の画像検索システム１００について説明する。以下に説明する相違点を除き、実施例２の画像検索システム１００の各部は、図１〜図１３に示された実施例１及び実施例２の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

図１４は、本発明の実施例３の画像検索システム１００の全体構成図である。本実施例の画像検索システム１００は、映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、表示装置１０４、サーバ計算機１０５、及び認証装置９０１を備える。映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、表示装置１０４及び認証装置９０１は、実施例１及び実施例２と同様であるため、説明を省略する。

実施例３のサーバ計算機１０５は、実施例２と同様の映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、追跡情報登録部１０９、優先度情報登録部１１０、映像データベース１１１、優先度情報データベース１１２、顕著性判定部１１４、認証装置９０１、個人認証部９０２、認証情報登録部９０３、認証情報データベース９０４に加えて、人物決定部１４０１、類似ベクトル検索部１４０２及び認証情報取得部１４０３を有する。

実施例３の認証情報登録処理、映像登録処理は実施例２と同様である。図１５は、本発明の実施例３のサーバ計算機１０５が認証情報の表示を行う処理を説明するフローチャートである。以下、図１５の各ステップについて説明する。

まず初めに、認証情報を表示する人物をシステムが決定する（ステップＳ１５０１）。表示装置１０４に映っている全人物を対象にしても良いし、予め設定した基準に従って対象人物を決定することもできる。例えば、指定した領域に存在する人物でも良いし、一定時間以上滞留している人物でも良い。

次に、図７のステップＳ７０２〜ステップＳ７０３と同様の処理を行い、顕著性を判定する（ステップＳ１５０２）。

次に、顕著領域から抽出した特徴量を用いて映像データベース１１１中のパッチ特徴量３３４との類似ベクトル検索を行う（ステップＳ１５０３）。このとき、類似ベクトル検索を行う対象は、認証装置９０１を備えた映像撮影装置１０２で撮影された映像のみである。

次に、類似ベクトル検索の結果を用いて映像データベース１１１から追跡ＩＤ３１２を取得する。最も類似度が高い検索結果に紐付いた追跡ＩＤを取得しても良いし、検索結果上位に最も多く含まれる人物の追跡ＩＤを取得しても良い。

最後に、追跡ＩＤ３１２を用いて認証情報データベース９０４に問い合わせを行い、人物ＩＤ１１０１もしくは人物名１１０２を取得し、映像と共に表示装置１０４に表示する。

以上の本発明の実施例３によれば、システムが映像中の人物に対して自動的に人物ＩＤもしくは人物名を付与して表示することができるようになる。

１００ 画像検索システム
１０１ 映像記憶装置
１０２ 映像撮影装置
１０３ 入力装置
１０４ 表示装置
１０５ サーバ計算機
１０６ 映像入力部
１０７ フレーム登録部
１０８ 移動物体追跡部
１０９ 追跡情報登録部
１１０ 優先度情報登録部
１１１ 映像データベース
１１２ 優先度情報データベース
１１３ 移動物体指定部
１１４ 顕著性判定部
１１５ 類似ベクトル検索部
２０１ プロセッサ
２０２ 記憶装置
２０３ 処理プログラム
２０４ ネットワークインターフェース装置
３００ 映像データ管理情報
３１０ 移動物体管理情報
３２０ 追跡情報管理情報
３３０ パッチ特徴量管理情報
４００ 優先度情報
８０１ 移動物体選択エリア
８０２ 顕著性表示エリア
８０３ 検索ボタン
８０４ 検索結果表示エリア
９０１ 認証装置
９０２ 個人認証部
９０３ 認証情報登録部
９０４ 認証情報データベース
９０５ 人物指定部
９０６ 移動物体決定部
１００１ 記憶装置
１００２ 処理プログラム
１１００ 認証データ管理情報
１４０１ 人物決定部
１４０２ 類似ベクトル検索部
１４０３ 認証情報取得部。

Claims (10)

1. 検索対象画像を蓄積する蓄積部と、
   複数の前記検索対象画像に含まれる複数の第１領域から抽出した第１情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第２領域から抽出した第２情報を解析し、前記第２情報を用いて検索優先度の高い前記第２領域を顕著領域として検出する領域検出部と、
   前記顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する画像検索部と、を有することを特徴とする画像検索装置。
2. 請求項１に記載の画像検索装置であって、
   前記領域検出部は、複数の前記第１情報を解析し、最も出現頻度の低い前記第１情報を前記検索優先度が最も高い顕著情報として学習し、前記第２情報と前記顕著情報との距離に基づいて、前記顕著領域を検出することを特徴とする画像検索装置。
3. 請求項２に記載の画像検索装置であって、
   前記第１領域のうち、前フレームあるいは後フレームの前記第１領域との類似度が閾値より高いものについては、複数フレームにわたる前記第１領域に移動体が写っていると判定する移動体判定部と、をさらに有し、
   前記蓄積部は、複数の前記第１領域について前記移動体であることを示す移動体識別情報をさらに蓄積することを特徴とする画像検索装置。
4. 請求項２に記載の画像検索装置であって、
   前記蓄積部は、前記検索対象画像を撮像するカメラごとに前記検索対象画像を蓄積し、
   前記領域検出部は、前記カメラごとに前記検索優先度を学習することを特徴とする画像検索装置。
5. 画像検索装置と認証装置とを有する画像検索システムであって、
   前記画像検索装置は、
   検索対象画像および移動物体であることを示す移動体識別情報を蓄積する蓄積部と、
   複数の前記検索対象画像に含まれる複数の第１領域から抽出した第１情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第２領域から抽出した第２情報を解析し、前記第２情報を用いて検索優先度の高い前記第２領域を顕著領域として検出する領域検出部と、
   前記顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する画像検索部と、
   前記第１領域のうち、前フレームあるいは後フレームの前記第１領域との類似度が閾値より高いものについては、複数フレームにわたる第１領域に移動体が写っていると判定する移動体判定部とを有し、
   前記認証装置は、
   複数の利用者の登録情報を記憶する登録情報記憶部と、
   新たに取得したユーザ情報と前記登録情報とを照合する照合部と、
   前記照合部が前記ユーザ情報と一致すると判定した前記登録情報である第１登録情報を前記画像検索装置へ出力する出力部と、を有し、
   前記蓄積部はさらに、前記第１登録情報と前記移動体識別情報とを対応付けて蓄積することを特徴とする画像検索システム。
6. 検索対象画像を蓄積部に蓄積する第１ステップと、
   複数の前記検索対象画像に含まれる複数の第１領域から抽出した第１情報を解析することで検索優先度を学習し、クエリ画像に含まれる複数の第２領域から抽出した第２情報を解析し、前記第２情報を用いて検索優先度の高い前記第２領域を顕著領域として検出する第２ステップと、
   前記顕著領域から抽出した画像特徴量を用いて前記検索対象画像を検索する第３ステップと、を有することを特徴とする画像検索方法。
7. 請求項６に記載の画像検索方法であって、
   前記第２ステップでは、複数の前記第１情報を解析し、最も出現頻度の低い前記第１情報を前記検索優先度が最も高い顕著情報として学習し、前記第２情報と前記顕著情報との距離に基づいて、前記顕著領域を検出することを特徴とする画像検索方法。
8. 請求項７に記載の画像検索方法であって、
   前記第１領域のうち、前フレームあるいは後フレームの前記第１領域との類似度が閾値より高いものについては、複数フレームにわたる前記第１領域に移動体が写っていると判定する第４ステップと、をさらに有し、
   前記第１ステップでは、複数の前記第１領域について前記移動体であることを示す移動体識別情報を、さらに前記蓄積部に蓄積することを特徴とする画像検索方法。
9. 請求項７に記載の画像検索方法であって、
   前記第１ステップでは、前記検索対象画像を撮像するカメラごとに前記検索対象画像を蓄積し、
   前記第２ステップでは、前記カメラごとに前記検索優先度を学習することを特徴とする画像検索方法。
10. 請求項８に記載の画像検索方法であって、
    複数の利用者の登録情報を記憶する第５ステップと、
    ユーザ情報を取得し、前記ユーザ情報と前記登録情報とを照合する第６ステップと、
    前記ユーザ情報と一致すると判定した第１登録情報を出力する第７ステップと、をさらに有し、
    前記第１ステップでは、前記第１登録情報と前記移動体識別情報とを対応付けて蓄積することを特徴とする画像検索方法。

Images