JP6341843B2 - 画像検索装置、及び画像検索システム - Google Patents

Description

本発明は、検索キーに対応する画像を検索する画像検索装置に関する。

近年、安全意識の高まり、カメラのデジタル化、及び記録装置の大規模化に伴って、映像監視システムの普及が進んでいる。様々な場所に設置されたカメラは、人物、車、バイク、標識、又は店舗内の商品など様々なオブジェクトを撮影する。

多数のカメラから取得した膨大な画像データを効率的に管理するために画像検索システムに対するニーズが高まっている。画像検索システムは、画像から顔等の特定オブジェクトを検出し、検出した特定オブジェクトから特徴量を算出し、データベース化する。画像検索システムにユーザが検索したいデータが入力された場合、画像検索システムは、入力されたデータに対応する特徴量とデータベース内の特徴量との間の類似度を算出することによって、入力されたデータに類似する画像を検索する。

画像検索システムにおいて、記録された膨大な画像の中から、特定のカテゴリに属するオブジェクトの画像だけを検索したいというニーズがある。例えば、画像中のオブジェクトが車両である場合には、セダン、ワゴン、又はコンパクトカー等のカテゴリから特定のカテゴリの車両だけを検索したいというニーズがある。他にも画像中のオブジェクトが人物である場合には、１０代又は２０代等の年齢を属性とした検索、及び大柄又は小柄等の体格を属性とした検索に関するニーズがある。

このニーズを実現する方式として、二つの方式が知られている。

一つ目の方式では、画像を登録する場合に、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ等の識別器を用いて、画像がどのカテゴリに属するかを判定し、判定結果をタグ情報として特徴量に紐付けて画像を登録する。入力されたデータと一致するタグ情報を検索することによって、所望のカテゴリに属する画像を取得できる。しかし、この方式では、データ登録時に判定処理を実行する必要があり、複数のカメラから膨大な画像が入力される場合等には、データ登録に時間がかかりすぎるという問題がある。

二つ目の方式では、データ登録時にカテゴリの判定処理を実行せず、画像の特徴量だけをデータベースに登録しておき、検索時にカテゴリの判定処理を実行する。この方式では、検索処理に時間を要するが、データ登録にカテゴリの判定処理を実行しないので、複数のカメラから膨大な画像がリアルタイムに入力されるシステムに適している。

このような画像検索を高精度に実現する技術として、特開２０１３−２４６７３９号公報（特許文献１）及び特開２０１１−１０７７９５号公報（特許文献２）が知られている。

特許文献１の公報には、「クエリコンテンツの各特徴ベクトルｑiに類似した、リファレンスコンテンツの特徴ベクトルの集合Ｄを探索する類似ベクトル探索手段と、混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルｑiが、各リファレンスコンテンツから生成される確率λ・ｐ(ｑi|Ｒj)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑi)との確率比に基づいて、リファレンスコンテンツ毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑiについて実行し、上位のスコアを得たリファレンスコンテンツを検索結果とする投票手段とを有する。」と記載されている（要約参照）。

特許文献２の公報には、「本発明を実現するシステムは、単一の画像から多数個の画像特徴量ベクトルを生成する手段と、生成された多数個の画像特徴量ベクトルをクラスタリング処理によって少数個の代表ベクトルに集約する手段と、集約された各代表ベクトルを検索クエリーとした類似ベクトル検索を行い、予め生成されている各画像特徴量ベクトルの最近接データを取得する手段を持つ。」と記載されている（要約参照）。

特開２０１３−２４６７３９号公報 特開２０１１−１０７７９５号公報

特許文献１は検索対象と無関係な背景部分の特徴をモデル化する技術であり、特許文献２はカテゴリ毎に少数個の特徴量ベクトルを代表ベクトルとして辞書データベースに登録しておき、少ない代表ベクトルで検索することで、検索処理の高速化を図る技術である。

例えば、車両の種類におけるカテゴリ「セダン」とカテゴリ「コンパクトカー」との間のようにカテゴリ間の類似性が高い場合、カテゴリ「セダン」の画像を検索したにもかかわらず、「コンパクトカー」の画像が検索結果の上位に出現するというように、検索精度が低下するという問題がある。

本発明は、カテゴリ間の類似性が高い場合であっても画像の検索精度の低下を抑制する画像検索装置を提供することを目的とする。

本発明の代表的な一例を示せば、検索対象の画像の特徴ベクトルが記憶される検索対象記憶部と、前記検索対象記憶部を検索するための各検索キーと前記各検索キーに対応する第一特徴ベクトルとが対応付けて記憶される辞書情報記憶部と、検索キーの入力を受け付ける検索キー入力受付部と、前記入力された検索キーに対応する第一特徴ベクトルを前記辞書情報記憶部から取得し、前記取得した第一特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの第一類似度を算出する第一検索部と、前記入力された検索キー以外の検索キーに対応する第一特徴ベクトルである第二特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの第二類似度を算出し、前記第一類似度及び前記第二類似度に基づいて、前記特徴ベクトルの画像と前記入力された検索キーとの類似度を示す総合類似度を算出する第二検索部と、前記検索対象記憶部に記憶される特徴ベクトルの画像を前記総合類似度順に並べて出力する出力部と、を備え、前記第二検索部は、前記第二類似度が高い特徴ベクトルほど、当該特徴ベクトルの総合類似度を低くするように前記総合類似度を算出することを特徴とする。

本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、カテゴリ間の類似性が高い場合であっても画像の検索精度の低下を抑制する画像検索装置を提供できる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

実施例１の検索システムの全体構成の説明図である。 実施例１の画像検索装置のハードウェア構成図である。 実施例１のカテゴリ検索部の機能ブロック図である。 実施例１の画像登録部の処理の説明図である。 実施例１の辞書データベース（ＤＢ）の説明図である。 実施例１の各カテゴリの画像から算出された特徴ベクトルの特徴空間上での分布の説明図である。 実施例１の第一方法を用いて決定された第二検索ベクトルの説明図である。 実施例１の第二方法を用いて決定された第二検索ベクトルの説明図である。 実施例１の検索結果テーブルの説明図である。 実施例１の第二検索部によって実行される第二検索処理のフローチャートである。 実施例１の画像検索装置による検索処理の説明図である。 実施例１の検索結果確認画面の説明図である。 実施例２の第二検索部による第二検索処理のフローチャートである。 実施例２の変形例の第二検索処理のフローチャートである。 実施例３の縮約画面の表示の説明図である。 実施例４の検索結果確認画面の説明図である。

本実施例では、検索キー以外の検索キーに対応する特徴ベクトルとの類似度を考慮して画像を検索する画像検索装置の例を説明する。

図１は、実施例１の検索システムの全体構成の説明図である。

検索システムは、端末装置１０１、カメラ１０２、及び画像検索装置２００を有する。端末装置１０１、カメラ１０２、及び画像検索装置２００は、それぞれネットワーク１０３を介して接続される。端末装置１０１は検索システム全体を管理する。具体的には、端末装置１０１は、カメラ１０２の設定を指示し、画像検索装置２００に検索指示を送信し、画像検索装置２００から検索結果を表示する。カメラ１０２が撮影した画像は、ネットワーク１０３を介して画像検索装置２００に送信され、画像検索装置２００は、受信した画像を記憶する。なお、カメラ１０２が撮影した画像はオフラインで端末装置１０１に入力され、端末装置１０１は、入力された画像をネットワーク１０３を介して画像検索装置２００に送信してもよい。

画像検索装置２００は、端末装置１０１からの検索指示に基づいて、記憶された画像から、検索指示に含まれる検索キーに対応する画像を検索し、検索結果を端末装置１０１に送信する。本実施例では、検索対象となるオブジェクトとして車両を例に説明するが、これに限定されない。検索対象となるオブジェクトは、人物、動物、植物、及び標章等であってもよい。検索対象となるオブジェクトが車両である場合、検索指示に含まれる検索キーは、例えば、セダン又はワゴンのように車両のカテゴリ等であるが、これに限定されない。

なお、カメラ１０２の個数は図１で示す個数に限定されず、検索システムは少なくとも一つのカメラ１０２を有すればよい。また、端末装置１０１及び画像検索装置２００は一つの筐体に実装されてもよい。

図２は、実施例１の画像検索装置２００のハードウェア構成図である。

画像検索装置２００は、インタフェース（Ｉ／Ｆ）２１０、ＣＰＵ（プロセッサ）２２０、補助記憶装置２３０、ネットワークインタフェース（Ｉ／Ｆ）２４０、及びメモリ２５０を有する。

Ｉ／Ｆ２１０は、図示しないキーボード及びマウス等の入力デバイス、及び図示しないディスプレイ等の出力デバイスに接続されるインタフェースである。ＣＰＵ２２０は、メモリ２５０に記憶された各種プログラムを実行し、メモリ２５０に記憶されたデータを読み書きする。補助記憶装置２３０は不揮発性の記憶領域であり、補助記憶装置２３０には、検索対象データベース（ＤＢ）３０２、及び辞書データベース（ＤＢ）３０４が記憶される。検索対象ＤＢ３０２には、画像検索装置２００が受信した画像と当該画像から算出された特徴ベクトルとが登録される。なお、検索対象ＤＢ３０２に登録された画像の特徴ベクトルが検索キーに対する検索対象となる。特徴ベクトルは、画像から算出される少なくとも一つの特徴量全体を示す。辞書ＤＢ３０４には、各検索キーとなるカテゴリに対応する代表ベクトル（第一特徴ベクトル）及び第二検索ベクトル（第二特徴ベクトル）が登録される辞書ＤＢ３０４は図５で詳細に説明する。検索対象ＤＢ３０２及び辞書ＤＢ３０４は、テーブル形式等で情報が登録されてもよく、データベース形式に限定されない。このため、特許請求の範囲では、検索対象ＤＢ３０２を検索対象記憶部と記載し、辞書ＤＢ３０４を辞書情報記憶部と記載する。

ネットワークＩ／Ｆ２４０は、画像検索装置２００をネットワーク１０３に接続するインタフェースである。メモリ２５０は揮発性の記憶領域であり、メモリ２５０には、カテゴリ検索部３００が記憶される。なお、カテゴリ検索部３００は補助記憶装置２３０に記憶され、ＣＰＵ２２０が、補助記憶装置２３０からメモリ２５０にカテゴリ検索部３００をロードし、カテゴリ検索部３００を実行する。カテゴリ検索部３００がＣＰＵ２２０に実行されることによって、検索指示に含まれる検索キーに対応する画像を検索する検索処理が実行される。

カテゴリ検索部３００は、画像登録部３０１、検索キー選択部３０３、第一検索部３０５、第二検索部３０６、及び出力部３０７を有する。これらの詳細は図３で説明する。

図３は、実施例１のカテゴリ検索部３００の機能ブロック図である。

画像登録部３０１は、カメラ１０２で撮影された画像を受信し、受信した画像の少なくとも一つの特徴量を算出し、算出した特徴量の特徴ベクトルとして検索対象ＤＢ３０２に登録する。なお、画像登録部３０１の処理は、図４で詳細に説明する。

検索キー選択部３０３は、端末装置１０１からの検索指示に含まれる検索キーとなるカテゴリの代表ベクトルを辞書ＤＢ３０４から取得する。辞書ＤＢ３０４には、各カテゴリの複数の画像から算出された特徴量ベクトルが代表ベクトルとして登録されている。例えば、検索キーが「セダン」である場合、検索キー選択部３０３は、カテゴリが「セダン」である代表ベクトルを取得する。

第一検索部３０５は、検索キー選択部３０３が選択した代表ベクトルと検索対象ＤＢ３０２に登録された各特徴ベクトルとの距離値（第一距離値）を第一類似度として算出する。第一距離値が小さいほど、検索キーのカテゴリに特徴ベクトルの画像が類似することを示す。第二検索部３０６は、検索キーのカテゴリの第二検索ベクトルを辞書ＤＢ３０４から取得し、取得した第二検索ベクトルと検索対象ＤＢ３０２に登録された各特徴ベクトルとの第二距離値を第二類似度として算出する。第二距離値が小さいほど、第二ベクトルのカテゴリに特徴ベクトルの画像が類似することを示す。そして、第二検索部３０６は、第一検索部３０５が算出した第一類似度及び第二検索部３０６が算出した第二類似度に基づいて、検索対象ＤＢ３０２に登録された各特徴ベクトルの総合距離値（総合類似度）検索結果として出力部３０７に出力する。例えば、カテゴリが「セダン」である第二検索ベクトルは、他のカテゴリ（「コンパクトカー」及び「ワゴン」等）の代表ベクトルである。第二検索部３０６の処理は図８及び図９で詳細に説明する。なお、総合距離値は、第一距離値及び第二距離値を考慮した特徴ベクトルの画像の検索キーのカテゴリに対する類似度を示す。なお、本実施例では、第一類似度、第二類似度、及び総合類似度は距離値を用いて表現するが、他のパラメータを用いて表現してもよい。また、本実施例では、第一類似度、第二類似度、及び総合類似度に距離値を用いたので、距離値が小さいほど特徴ベクトルの画像のカテゴリに対する類似度が高いことを示すが、第一類似度、第二類似度、及び総合類似度に用いるパラメータによっては、当該パラメータの値が大きいほど特徴ベクトルの画像のカテゴリに対する類似度が高いことを示す場合もある。

出力部３０７は、第二検索部３０６から入力された検索結果に基づいて、検索対象ＤＢ３０２に登録された各特徴ベクトルに対応する画像を総合距離値が小さい順に並び替えた検索結果確認画面データを生成し、生成した検索結果確認画面データを端末装置１０１に送信する。端末装置１０１は、検索結果確認画面データを受信した場合、検索結果確認画面１０００を表示する。検索結果確認画面１０００は、図１０で詳細に説明する。

第一検索部３０５は検索キーのカテゴリと類似するという観点で各特徴ベクトルの類似度を算出する。また、第二検索部３０６は、検索キーと異なるカテゴリと類似するという観点で各特徴ベクトルの類似度を算出する。このため、画像検索装置２００は、二つの観点で各特徴ベクトルを評価でき、検索キーのカテゴリに類似するが、本来は他のカテゴリに属する特徴ベクトルに対応する画像の検索順位を低くすることができる。また、辞書ＤＢ３０４に登録された代表ベクトルと検索対象ＤＢ３０２に登録された各特徴ベクトルとの類似度を算出するので、辞書ＤＢ３０４に代表ベクトルを登録するための画像が大量であるほど、高精度な検索を実現できる。また、大量の画像に基づいて代表ベクトルを辞書ＤＢ３０４に登録しても、登録される各カテゴリの代表ベクトルの数を不変とすれば、検索処理の負荷の増大を抑制できる。

図４は、実施例１の画像登録部３０１の処理の説明図である。

画像登録部３０１は、例えばＨａａｒ特徴量及びＡｄａＢｏｏｓｔ識別器を用いて、カメラ１０２が撮影した画像から車両の領域を検出し、検出した車両の領域を抽出する。次に、画像登録部３０１は、抽出した車両の領域から特徴量を算出する。検索対象の性質に応じて適切な特徴量を選択し、選択した特徴量が算出されればよい。例えば、車種を検索する場合、車両の形状が重要な要素となる。この場合、画像登録部３０１は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ Ｏｒｉｅｎｔｅｄ ｏｆ Ｇｒａｄｉｅｎｔｓ）又は輝度勾配方向の強度分布に基づく特徴量を算出すればよい。また、車体の色を検索する場合、画像登録部３０１は、色ヒストグラムに基づく特徴量を算出すればよい。なお、画像登録部３０１が両者の特徴量を算出することによって、「赤いセダン」等のより詳細なカテゴリを検索できる。画像登録部３０１がある画像から算出した特徴量の集合を特徴ベクトルという。また、画像登録部３０１は、算出した特徴量の特徴ベクトルを検索対象ＤＢ３０２に登録する。

図５は、実施例１の辞書ＤＢ３０４の説明図である。

辞書ＤＢ３０４は、カテゴリ５０１、代表ベクトル５０２、第二検索カテゴリ５０３、及び第二検索ベクトル５０４を含む。

カテゴリ５０１には、検索キーとなり得る各カテゴリの識別情報が登録される。代表ベクトル５０２には、各カテゴリの画像から算出された少なくとも一つの特徴ベクトルが代表ベクトルとして登録される。

代表ベクトルの抽出処理について説明する。図４で説明した画像登録部３０１の処理と同じく、あるカテゴリの少なくとも一つの画像から車両の領域が検出され、当該車両の領域が抽出される。そして、当該領域の画像の特徴量が算出される。算出された特徴量の集合を特徴ベクトルとする。Ｋ’個の画像から算出された特徴ベクトルが、ｋ−ｍｅａｎｓクラスタリング等の手法を用いてクラスタリングされることによって、Ｋ個（Ｋ≦Ｋ’）の特徴ベクトルが代表ベクトルとして抽出される。なお、代表ベクトルを抽出するための画像が多いほど、適切な代表ベクトルが抽出でき、また、代表ベクトルの数は予め決められたＫ個であるので、Ｋ回の検索処理を実行すればよいので処理負荷の増大を抑制できる。

第二検索カテゴリ５０３には、第二検索ベクトル５０４に代表ベクトルが登録されたカテゴリの識別情報が登録される。第二検索ベクトル５０４には、カテゴリ５０１に登録された識別情報によって識別されるカテゴリと異なるカテゴリの代表ベクトルが登録される。辞書ＤＢ３０４に第二検索ベクトル５０４となる代表ベクトルが登録されることによって、第二検索部３０６は、第二検索ベクトル５０４に登録された代表ベクトルと検索対象ＤＢ３０２に登録された特徴ベクトルとの類似度を算出するだけでよく、検索キーに対応するカテゴリと異なる全ての代表ベクトルと検索対象ＤＢ３０２に登録された特徴ベクトルとの類似度を算出しなくてもよい。このため、第二検索部３０６の検索回数を減少させることができ、検索時間を短縮できる。

次に第二検索ベクトル５０４に登録される代表ベクトルの抽出方法について説明する。

第一方法では、画像検索装置２００の管理者等によって第二検索部３０６が検索するカテゴリが選択され、選択されたカテゴリの代表ベクトルが第二検索ベクトル５０４に登録される。例えば、管理者等は、あるカテゴリ（例えばセダン）に類似すると考えるカテゴリ（例えばコンパクトカー）を選択し、画像検索装置２００は、選択されたカテゴリの代表ベクトルを第二検索ベクトル５０４に登録する。また、管理者等は、過去の検索結果において、ある検索キーのカテゴリに対して誤って検索された画像を見て当該画像のカテゴリを特定し、特定したカテゴリを、第二検索ベクトル５０４に登録される代表ベクトルのカテゴリとして選択してもよい。

第一方法では、事前設定に手間がかかるが、実際の検索結果及び管理者等の主観的な判断を反映した検索が可能となる。

第二方法では、画像検索装置２００が、各カテゴリの代表ベクトル間の距離値を算出し、算出した距離値と予め設定された閾値とに基づいて、あるカテゴリの第二検索ベクトル５０４に登録される代表ベクトルを自動的に決定する。あるカテゴリの代表ベクトルと他のカテゴリの代表ベクトルとの距離値が事前に算出され、他のカテゴリの代表ベクトルのうち、あるカテゴリの代表ベクトルから距離値が予め設定された閾値以下の代表ベクトルが第二検索ベクトル５０４に登録される。

第二方法では、代表ベクトルの算出に用いた画像に依存して第二検索ベクトルが決定されるが、自動的に第二検索ベクトルを登録できる。また、第二方法では、あるカテゴリの代表ベクトルと距離値が閾値以下の代表ベクトルが第二検索ベクトルとして登録されるので、選択されたカテゴリの全ての代表ベクトルが第二検索ベクトルとして登録される第一方法より、第二検索ベクトルとして登録される代表ベクトルの数が少なくなる。これによって、第二検索部３０６の検索回数を減少させることができ、検索時間を短縮できる。

図６Ａ〜図６Ｃを用いて代表ベクトル及び第二検索ベクトルについて説明する。図６Ａは、実施例１の各カテゴリの画像から算出された特徴ベクトルの特徴空間上での分布の説明図である。

図６Ａでは、丸、三角、及び四角が各カテゴリを示し、黒く塗りつぶされた点が代表ベクトルを示す。代表ベクトルが抽出されることによって、少ない特徴ベクトルで各カテゴリに属する範囲を決定できる。

図６Ｂは、実施例１の第一方法を用いて決定された第二検索ベクトルの説明図である。

第一方法では、例えば、管理者等は、カテゴリ「丸」とカテゴリ「四角」とが類似する可能性が高いと判断し、カテゴリ「丸」の第二検索ベクトルに登録される代表ベクトルのカテゴリとしてカテゴリ「四角」を選択する。

図６Ｃは、実施例１の第二方法を用いて決定された第二検索ベクトルの説明図である。

カテゴリ「丸」の代表ベクトル６０１とカテゴリ「四角」の代表ベクトル６１１との距離値が閾値以下であり、カテゴリ「丸」の代表ベクトル６０２とカテゴリ「四角」の代表ベクトル６１２との距離値が閾値以下であるとする。このため、カテゴリ「丸」の第二検索ベクトルとしてカテゴリ「四角」の代表ベクトル６１１及び６１２が登録される。

なお、図５に示すカテゴリ「セダン」は、第一方法を用いて複数のカテゴリ（「コンパクトカー」及び「軽自動車」）が、第二検索ベクトルに登録される代表ベクトルのカテゴリとして選択された例を示す。また、図５に示すカテゴリ「ワゴン」は、第一方法を用いて一つのカテゴリ（「バス」）が第二検索ベクトルに登録される代表ベクトルのカテゴリとして選択された例を示す。また、図５に示すカテゴリ「コンパクトカー」は、第二方法を用いて、カテゴリ「セダン」の代表ベクトル（Ｖ_００，Ｖ_０２）及びカテゴリ「軽自動車」の代表ベクトル（Ｖ_３１）が第二検索ベクトルに登録された例を示す。

図７は、実施例１の検索結果テーブル７００の説明図である。

検索結果テーブル７００は、第一検索部３０５の検索結果が登録されるテーブルである。第一検索部３０５は、辞書ＤＢ３０４のカテゴリ５０１に検索キーのカテゴリの識別情報が登録されたレコードの代表ベクトル５０２に登録された各代表ベクトル（Ｖ_ｃｋ）と、検索対象ＤＢ３０２に登録された各特徴ベクトル（Ｖ_ｎ）との第一距離値（ｄ）を（式１）を用いて算出する。そして、検索対象ＤＢ３０２に登録された特徴量ベクトルを第一距離値の小さい順に並べた検索結果テーブルを生成する。

検索結果テーブル７００は、順位７０１、管理ＩＤ７０２、特徴ベクトル７０３、及び距離値７０４を含む。

順位７０１には、第一距離値順に並べた各特徴ベクトルの順位が登録される。管理ＩＤ７０２には、各特徴ベクトルに対応する画像の識別情報が登録される。特徴ベクトル７０３には、各特徴ベクトルの識別情報が登録される。距離値７０４には、各特徴ベクトルと各代表ベクトルとの第一距離値のうち最小の第一距離値が登録される。第一距離値は小さいほど、特徴ベクトルに対応する画像が代表ベクトルのカテゴリに類似することを示す。

図８は、実施例１の第二検索部３０６によって実行される第二検索処理のフローチャートである。

第二検索部３０６は、辞書ＤＢ３０４のカテゴリ５０１に検索キーのカテゴリの識別情報が登録されたレコードの第二検索ベクトル５０４に登録されたＪ個の代表ベクトルを取得する（８０１）。なお、ステップ８０１の処理で取得された第二検索ベクトル５０４に登録された代表ベクトルは第二検索ベクトルと記載する。

第二検索部３０６は、ステップ８０１の処理で取得したＪ個の第二検索ベクトルに対して、ステップ８０３及び８０４の処理を実行する。すなわち、第二検索部３０６はステップ８０３及び８０４の処理をＪ回実行する。まず、第二検索部３０６は、処理対象の第二検索ベクトルｊを選択する（８０２）。

そして、第二検索部３０６は、検索対象ＤＢ３０２に登録された各特徴ベクトルをステップ８０２の処理で選択された処理対象の第二検索ベクトルｊで検索し、処理対象の第二検索ベクトルｊと各特徴ベクトルとの第二距離値を計算する（８０３）。ステップ８０３の処理における第二距離値の計算には、例えば式１を用いることができる。第二検索部３０６は、処理対象の第二検索ベクトルｊと各特徴ベクトルとの第二距離値を検索結果として取得する（８０４）。

次に、第二検索部３０６は、Ｊ個の第二検索ベクトルに対してステップ８０３及び８０４の処理が実行されていなければ、次の第二検索ベクトルを処理対象の第二検索ベクトルとして選択し、ステップ８０３及び８０４の処理を実行する（８０５）。

一方、Ｊ個の第二検索ベクトルに対してステップ８０４及び８０４の処理が実行された場合、第二検索部３０６は、第一検索部３０５が算出した検索対象ＤＢ３０２に登録された各特徴ベクトルと代表ベクトルとの第一距離値、及び第二検索部３０６が算出した各特徴ベクトルと第二検索ベクトルとの第二距離値に基づいて、各特徴ベクトルの総合距離値を算出する（８０６）。総合距離値は、第二距離値が小さいほど総合距離値が大きくなるように算出される。言い換えれば、第二距離値によってペナルティが課されるように総合距離値が算出される。例えば、第二検索部３０６は、式２を用いて各特徴ベクトルの総合距離値を算出する。

式２を用いて算出される総合距離値は、検索キーのカテゴリｃと検索対象ＤＢ３０２に登録された特徴ベクトルｎとの類似度を示す。式２では、総合距離値は、第一距離値の最小値に、第二距離値の逆数の最大値を重み付けして加算することによって算出される。

これによって、画像検索装置２００は、検索キーのカテゴリと類似し、かつ検索キーのカテゴリ以外のカテゴリと類似しない画像を優先して提示できる。

次に、第二検索部３０６は、検索対象ＤＢ３０２に登録された各特徴ベクトルをステップ８０６の処理で算出した総合距離値の小さい順に並び替え、総合距離値順に並び替えた各特徴ベクトルの画像を検索結果として出力部３０７に入力し（８０７）、第二検索処理を終了する。

出力部３０７は、入力された検索結果に基づいて、検索対象ＤＢ３０２に登録された各特徴ベクトルの画像を並び替えた検索結果確認画面データを端末装置１０１に送信し、端末装置１０１は、受信した検索結果確認画面データに基づいて検索結果確認画面１０００を表示する。

図９は、実施例１の画像検索装置２００による検索処理の説明図である。

図９では、検索対象ＤＢ３０２からカテゴリ「四角」に類似する特徴ベクトルに対応する画像を検索する例について説明する。実線で示された各図形は、各カテゴリの画像から算出された特徴ベクトルであり、図６Ａ〜図６Ｃと同じであるので説明を省略する。なお、黒く塗られた図形は、各カテゴリの代表ベクトルである。破線の図形９０１〜９０４は、検索対象ＤＢ３０２に登録された特徴ベクトルである。なお、図形９０１及び９０２に対応する画像は、カテゴリ「四角」を撮影した画像であり、図形９０３及び９０４に対応する画像は、カテゴリ「丸」を撮影した画像である。

図９に示す（Ａ）では、第一検索部３０５によって算出された第一距離値に基づいて図形９０１〜９０４に付けられた順位を示す。この場合、図形９０３の特徴ベクトルがカテゴリ「四角」の代表ベクトルとの第一距離値が最小となるので、図形９０３が１位となる。また、図９０２が２位となり、図形９０１が３位となり、図形９０４が４位となる。

この場合、図形９０３はカテゴリ「丸」を撮影した画像であり、カテゴリ「四角」を検索したのにもかかわらず、図形９０３が１位となる検索結果は適切ではない。

図９に示す（Ｂ）では、第二検索部３０６によって算出された総合距離値に基づいて図形９０１〜９０４に付けられた順位を示す。カテゴリ「四角」の第二検索ベクトルとして、カテゴリ「丸」の代表ベクトル及びカテゴリ「三角」の代表ベクトルが対応付けられるものとする。

カテゴリ「丸」が撮影された図形９０３の特徴ベクトルと、カテゴリ「四角」の第二検索ベクトルであるカテゴリ「丸」の代表ベクトルとの第二距離値が小さくなるので、図形９０３の総合距離値は、第一距離値より大きくなり、図形９０３は３位となる。また、第一距離値が図形９０１より小さい図形９０２の特徴ベクトルとカテゴリ「四角」の第二検索ベクトルであるカテゴリ「三角」の代表ベクトルとの距離値は、図形９０１の特徴ベクトルとカテゴリ「四角」の第二検索ベクトルであるカテゴリ「三角」の代表ベクトルとの距離値より小さいため、図形９０１が１位となり、図形９０２が２位となる。

これによって、検索対象のカテゴリ「四角」を撮影した画像である図形９０１及び９０２が検索結果の上位となり、検索対象でないカテゴリ「丸」を撮影した画像である図形９０３及び９０４が検索結果の下位となる。すなわち、検索キーのカテゴリと類似し、検索キーと異なるカテゴリに類似しない画像を検索結果の上位にすることができる。

図１０は、実施例１の検索結果確認画面１０００の説明図である。

検索結果確認画面１０００は、検索キー選択領域１０１０、条件選択領域１０２０、検索結果表示領域１０３０、他カテゴリ除去チェックボックス１０４０、ＰＲＥＶボタン１０５０、及びＮＥＸＴボタン１０６０を含む。

検索キー選択領域１０１０は、端末装置１０１のユーザからの検索キーの選択の入力を受け付ける領域であり、検索キー選択入力受付部である。検索キー選択領域１０１０は、車種１０１１及び色１０１２を含む。車種１０１１には車両の種類（セダン、及びワゴン等）が表示され、表示された種類の中から検索キーとなる車両の種類が選択される。なお、色１０１２は、検索キーとなる車両の色の選択の入力を受け付ける。

条件選択領域１０２０は、期間１０２１及び検索ボタン１０２２を含む。期間１０２１には、検索対象ＤＢ３０２に登録された特徴ベクトルに対応する画像のうち検索対象となる画像の期間の選択の入力を受け付ける。検索ボタン１０２２が操作された場合、端末装置１０１は、検索キー選択領域１０１０で選択された検索キー及び期間１０２１で選択された期間を含む検索指示を画像検索装置２００に送信する。

検索結果表示領域１０３０には、他カテゴリ除去チェックボックス１０４０がチェックされている場合、検索結果となる画像が総合距離値順に並べられて一覧表示される。また、検索結果表示領域１０３０には、他カテゴリ除去チェックボックス１０４０がチェックされていない場合、検索結果となる画像が第一距離値順に並べられて一覧表示される。なお、検索結果表示領域１０３０には、各画像の下方には、他カテゴリ除去チェックボックス１０４０がチェックされている場合には総合距離値が表示され、他カテゴリ除去チェックボックス１０４０がチェックされていない場合には第一距離値が表示される。

これによって、端末装置１０１のユーザは、検索キーとなるカテゴリに類似する画像から順に確認できる。また，他カテゴリ除去チェックボックス１０４０がチェックされたか否かによって検索結果表示領域１０３０に表示される画像が並べられる距離値を変更できるので、ユーザが検索を所望する検索結果を表示できる。

ＰＲＥＶボタン１０５０が操作された場合、検索結果表示領域１０３０には前の検索結果が表示される。ＮＥＸＴボタン１０６０が操作された場合、検索結果表示領域１０３０には次の検索結果が表示される。

以上によって、第二検索部３０６は、第二類似度が高い特徴ベクトルほど、当該特徴ベクトルの総合類似度を低くするように総合類似度を算出する。これによって、検索キーのカテゴリに類似し、かつ検索キー以外のカテゴリにも類似する画像が検索結果の上位となることを防止でき、カテゴリ間の類似性が高い場合であっても画像の検索精度の低下を抑制できる。

また、あるカテゴリの代表ベクトルと当該カテゴリの第二検索ベクトルとが辞書ＤＢ３０４で予め対応付けられている。これによって、検索キーのカテゴリと異なる全てのカテゴリの代表ベクトルを第二検索ベクトルとして用いて、第二検索ベクトルと特徴ベクトルとの第二類似度を算出しなくてもよいので、検索処理時間を短縮できる。

また、辞書ＤＢ３０４に登録されたあるカテゴリの代表ベクトルと他のカテゴリの代表ベクトルの距離値を類似度として算出し、当該類似度が閾値以下である当該他のカテゴリの代表ベクトルを当該あるカテゴリの第二検索ベクトルとする。これによって、第二検索ベクトルを自動で設定でき、管理者等の手間を省略できる。

また、ある検索キーの第二特徴ベクトルとして他の検索キーの選択の入力を受け付け、入力を受け付けた他の検索キーの代表ベクトルを当該ある検索キーの第二検索ベクトルとする。これによって、管理者等の判断結果をカテゴリの第二検索ベクトルに反映できる。

本実施例では、第二検索処理を実行する特徴ベクトルを選択して、選択された特徴ベクトルのみに第二検索処理を実行する例について説明する。これによって、検索処理時間を短縮できる。

図１１は、実施例２の第二検索部３０６による第二検索処理のフローチャートである。図１１では、図８に示す処理と同じ処理は同じ符号を付与し、説明を省略する。

第二検索部３０６は、第二検索処理を実行する特徴ベクトルを選択し（１１０１）、選択した特徴ベクトルに対して、ステップ８０１〜８０７の処理を実行する。

ステップ１１０１の処理での特徴ベクトルの選択方法には、第一方法及び第二方法がある。

まず、第一方法について説明する。

第一方法では、第二検索部３０６は、第一距離値が最小の特徴ベクトルから第一距離値が小さい順に予め設定された数（Ｎ個）の特徴ベクトルを、第二検索処理を実行する特徴ベクトルとして選択する。そして、第二検索部３０６は、選択したＮ個の特徴ベクトルに対して第二検索処理を実行する。

本実施例では、高速検索を実現するために検索対象ＤＢ３０２には複数のクラスタがあり、画像登録部３０１は、算出した画像の特徴ベクトルに基づいて、特徴ベクトルが算出された画像を対応するクラスタに登録する。このため、一つのクラスタには、類似する特徴ベクトルの画像が登録されることになる。

テキスト又は撮影された位置情報等に基づいて画像がクラスタに登録されず、特徴ベクトルに基づいてクラスタに登録される。このため、第二検索部３０６によって選択されたＮ個の特徴ベクトルの画像が登録されるクラスタの数は小さくなる。これによって、第二検索部３０６によって選択されたＮ個のクラスタ全てが異なるクラスタに登録されることを防止し、検索速度が低下することを防止できる。したがって、第一の方法では、画像のクラスタへの登録及び検索も特徴ベクトルに基づいて実施されるので、第二検索部３０６によって選択されたＮ個の特徴ベクトルの画像が登録されるクラスタの数を小さくでき、検索速度が低下することを防止できる。

次に、第二方法について説明する。

第二方法では、第二検索部３０６は、第一距離値が閾値以下である特徴ベクトルを、第二検索処理を実行する第二ベクトルとして選択する。例えば、検索キーが「セダン」で、検索対象ＤＢ３０２に登録された画像の８割が「セダン」の画像であり、２割が「セダン」以外の画像である場合、第一方法によれば、上位５割の画像の特徴ベクトルが第二検索処理を実行する特徴ベクトルとして選択される。したがって、検索対象ＤＢ３０２に登録された全ての「セダン」の画像の特徴ベクトルに対して第二検索処理が実行されない。また、第一方法によれば、検索キーのカテゴリ以外の他のカテゴリの画像の特徴ベクトルに対して第二検索処理が実行され、無駄な処理が実行される可能性もある。

これに対して、第二方法では、第二検索処理を実行する特徴ベクトルの数が変化するため、検索時間も変化するというデメリットがあるが、検索対象ＤＢ３０２に登録された画像のカテゴリの偏りによらず、高精度な検索を実現できる。

第二方法の閾値の設定方法の例について説明する。画像検索装置２００は、辞書ＤＢ３０４を構築する場合に、辞書ＤＢ３０４の各カテゴリの全ての代表ベクトル間の距離値の最大値を算出し、各カテゴリの最大値を各カテゴリの閾値に設定する。これによって、各カテゴリに適切な閾値を自動で設定することができ、高精度かつ高速に第二検索処理を実行できる。

次に、実施例２の変形例について説明する。図１２は、実施例２の変形例の第二検索処理のフローチャートである。図１２では、図８及び図１１に示す処理と同じ処理は同じ符号を付与し、説明を省略する。

実施例２では、Ｊ個の第二検索ベクトルから処理対象の第二検索ベクトルを選択し、選択した第二検索ベクトルをクエリにして、ステップ１１０１の処理で選択された第二検索処理を実行するＮ個の特徴ベクトルを検索するものである。本変形例では、ステップ１１０１の処理で選択された第二検索処理を実行するＮ個の特徴ベクトルから処理対象の特徴ベクトルを選択し、選択した特徴ベクトルをクエリにして、Ｊ個の第二検索ベクトルを検索する。

ステップ８０１の処理の実行後、第二検索部３０６は、ステップ１１０１の処理で選択されたＮ個の特徴ベクトルに対して、ステップ１２０２及び１２０３の処理を実行する。すなわち、第二検索部３０６はステップ１２０２及び１２０３の処理をＮ回実行する。まず、第二検索部３０６は、処理対象の特徴ベクトルＶ_ｎを選択する（１２０１）。

そして、第二検索部３０６は、ステップ８０１の処理で取得したＪ個の第二検索ベクトルをステップ１２０１の処理で選択された処理対象の特徴ベクトルＶ_ｎで検索し、処理対象の特徴ベクトルＶ_ｎと各第二検索ベクトルとの距離値を計算する（１２０２）。なお、ステップ１２０２の処理における距離値の計算には、例えば式１を用いることができる。第二検索部３０６は、処理対象の特徴ベクトルＶ_ｎと第二検索ベクトルとの距離値を検索結果として取得する（１２０３）。

次に、第二検索部３０６は、ステップ１１０１の処理で選択されたＮ個の特徴ベクトルに対して、ステップ１２０２及び１２０３の処理を実行されていなければ、次の特徴ベクトルを処理対象の特徴ベクトルとして選択し、ステップ１２０２及び１２０３の処理を実行する（１２０４）。

一方、ステップ１１０１の処理で選択されたＮ個の特徴ベクトルに対して、ステップ１２０２及び１２０３の処理を実行された場合、ステップ８０６の処理に進む。

検索される第二検索ベクトルの数は変化しないため、本変形例では、特徴ベクトルをクエリとして第二検索ベクトルを検索する。これによって、第二検索ベクトルを最適なデータアクセスが可能となるように、辞書ＤＢ３０４を事前に設定でき、検索処理を高速化できる。一方、図１１に示す実施例２の第二検索処理では、第二検索ベクトルをクエリとして特徴ベクトルを検索する。ステップ１１０１の処理で選択される特徴ベクトルの数は検索対象ＤＢ３０２次第で変化するので、本変形例のような事前の設定はできない。

したがって、ステップ１１０１の処理で選択されたＮ個の特徴ベクトルをクエリとしてＪ個の第二検索ベクトルを検索する処理をＮ×Ｊ回を実行したほうが、Ｊ個の第二検索ベクトルをクエリとしてステップ１１０１の処理で選択されたＮ個の特徴ベクトルを検索する処理をＪ×Ｎ回実行するよりも、検索処理を高速化できる。

以上によって、第一距離値に基づいて第二検索処理が実行される特徴ベクトルが選択され、選択された特徴ベクトルに対してのみ第二検索処理が実行される。これによって、検索処理時間を短縮できる。第二検索処理が実行される特徴ベクトルの選択方法の一例として、第一距離値が小さい順に所定数の第二検索処理が実行される特徴ベクトルが選択される例がある。この例によれば、第検索対象ＤＢ３０２の複数のクラスタに分散して登録された特徴ベクトルに、第二検索処理が実行されることを防止できる。

また、他の例として、第一距離値が閾値以下となる特徴ベクトルが、第二検索処理が実行される特徴ベクトルとして選択される例がある。この例によれば、検索対象ＤＢ３０２に登録された画像のカテゴリの偏りによらず、高精度な検索を実現できる。

また、各カテゴリの代表ベクトル間の距離値が算出され、算出された距離値に基づいて閾値が設定される。これによって、適切な閾値を自動で設定できる。

また、第二検索処理を実行する特徴ベクトルから処理対象の特徴ベクトルが選択され、選択された処理対象の特徴ベクトルと第二特徴ベクトルとの第二距離値が算出され、この処理が第二検索処理を実行する特徴ベクトルの数だけ繰り返される。これによって、第二特徴ベクトルの数は予め決まっているので、第二特徴ベクトルを最適なデータアクセスが可能となるように事前に設定でき、検索処理時間を短縮できる。

本実施例は、複数の特徴ベクトルにおいて第一距離値が最小となる代表ベクトルが同じである場合、当該代表ベクトルの総合距離値が最小となる一つ特徴ベクトルに対応する画像のみを縮約画面１３１０として表示する画像検索装置２００の例である。図１３は、実施例３の縮約画面１３１０の表示の説明図である。

（Ａ）は第二検索結果テーブル１３００を示す
第二検索結果テーブル１３００には、第二検索部３０６によって総合距離値順に並び替えた特徴ベクトルに対応する画像の識別情報、及び、検索キーに対応するカテゴリの代表ベクトルのうち各特徴ベクトルとの距離値が最小となる代表ベクトル（最近傍代表ベクトル）が登録される。

第二検索結果テーブル１３００は、順位１３０１、最近傍代表ベクトル１３０２，及び管理ＩＤ１３０３を含む。

順位１３０１には、総合距離値順に並べた各特徴ベクトルの順位が登録される。最近傍代表ベクトル１３０２には、各特徴ベクトルの最近傍代表ベクトルの識別情報が登録される。管理ＩＤ１３０３には、各特徴ベクトルに対応する画像の識別情報が登録される。

本実施例では、図１０に示す検索結果確認画面１０００の検索結果表示領域１０３０には、複数の特徴ベクトルの最近傍代表ベクトルが同じ代表ベクトルである場合には総合距離値が最小となる特徴ベクトルに対応する画像のみを縮約画面１３１０（図１３（Ｂ））が表示される。

（Ａ）に示す第二検索結果テーブル１３００では、代表ベクトル「０３」は、複数の特徴ベクトル（総合距離値が小さい順に管理ＩＤ「００９１１」、「００８３１」、「１２２１１」、及び「００４４３」）の最近傍代表ベクトルである。したがって、縮約画面１３１０では、代表ベクトル「０３」については、総合距離値が最小の管理ＩＤ「００９１１」の画像（図１３（Ｂ）１３１１参照）のみが表示される。また、代表ベクトル「０４」については、総合距離値が最小の管理ＩＤ「００９１３」の画像のみが表示される。つまり、縮約画面１３１０では、代表ベクトルの数だけ画像が表示されることになる。これによって、端末装置１０１のユーザは、縮約画面１３１０を閲覧することによって、複数のバリエーションの画像を確認できる。また、検索キーのカテゴリの一つの代表ベクトルに対して一つの特徴ベクトルの画像が表示されるが、当該特徴ベクトルは総合類似度が最小となる特徴ベクトルであるので、検索キーのカテゴリと異なるカテゴリの画像が縮約画面１３１０に表示されることを防止できる。

縮約画面１３１０に表示された各画像１３１１に対応してチェックボックス１３１２が表示される。ユーザは、検索を所望する対象に類似すると判断する画像に対応するチェックボックス１３１２がチェックすると、図１３の（Ｃ）に示す選択代表ベクトル画面１３２０が表示される。

（Ｃ）に示す選択代表ベクトル画面１３２０では、代表ベクトル「０３」、「０４」、及び「０１」を最近傍代表ベクトルとする特徴ベクトルに対応する画像のみが総合類似度順に表示される。

これによって、ユーザは検索結果を段階的に確認でき、ユーザの画像検索効率を向上させることができる。

本実施例は、検索キーにおいて複数のカテゴリが指定され、複数のカテゴリに類似する画像の検索（「あいまいカテゴリ検索」）を実現する画像検索装置２００の例である。車種及び車両の色の定義は曖昧であり、あきらかに「セダン」の形状をした車両がある一方で、「セダン」なのか「コンパクトカー」なのか曖昧な形状の車両も存在する。このようなカテゴリの曖昧性は車両というオブジェクトに限らず、例えば、２９歳の人物を検索する場合において、「２０代」のカテゴリで検索するより、「３０代」のカテゴリで検索した方が発見しやすいことがある。本実施例によれば、このような複数のカテゴリの境界付近に存在するオブジェクトも検索することができる。

図１４は、実施例４の検索結果確認画面１０００の説明図である。図１４では、図１０と同じ構成は同じ符号を付与し、説明を省略する。

図１４に示す検索結果確認画面１０００は、検索キー選択領域１４００が図１０に示す検索キー選択領域１０１０と異なる。検索キー選択領域１４００は、第一車種１４０１及び第二車種１４０２を含む。第一車種１４０１及び第二車種１４０２では、それぞれ検索キーとなる車両の種類が選択される。このため、本実施例では、検索キーは二つのカテゴリとなる。なお、検索キーとなるカテゴリは二つに限定されず、検索キーは三つ以上のカテゴリであってもよい。

ここで、第一車種１４０１及び第二車種１４０２で、「セダン」及び「コンパクトカー」が検索キーのカテゴリとして選択された場合の画像検索装置２００の処理について説明する。

まず、検索キー選択部３０３は、辞書ＤＢ３０４から「セダン」及び「コンパクトカー」に対応する代表ベクトルを取得する。次に、第一検索部３０５は、検索キー選択部３０３が選択した「セダン」及び「コンパクトカー」の代表ベクトルと検索対象ＤＢ３０２に登録された各特徴ベクトルとの距離値（第一距離値）を算出する。

次に、第二検索部３０６は、辞書ＤＢ３０４から「セダン」及び「コンパクトカー」に対応する第二検索ベクトルを取得する。この場合、第二検索ベクトルが「セダン」の代表ベクトル又は「コンパクトカー」の代表ベクトルであれば、当該第二検索ベクトルは第二検索処理に用いない。図５に示す辞書ＤＢ３０４では、「セダン」の第二検索カテゴリ５０３は「コンパクトカー」及び「軽自動車」であり、「コンパクトカー」の第二検索カテゴリ５０３は「セダン」及び「軽自動車」である。第二検索部３０６は、「セダン」及び「コンパクトカー」の代表ベクトルを第二検索処理に用いず、「軽自動車」の代表ベクトルのみを第二検索処理に用いる。

そして、第二検索部３０６は、「軽自動車」の代表ベクトルと各特徴ベクトルとの距離値を算出し、第一距離値及び第二距離値に基づいて総合距離値を算出する。出力部３０７は、総合距離値順に並び替えた特徴ベクトルの画像を含む検索確認画面データを端末装置１０１に送信する。

以上によって、「セダン」及び「コンパクトカー」以外のカテゴリに類似する画像の特徴ベクトルの総合距離値は大きくなる。また、「セダン」及び「コンパクトカー」のいずれにも類似する画像の特徴ベクトルの総合距離値は小さくなるので、適切に検索できる。

検索結果確認画面１０００において、第一距離値順に画像が並べられた場合、検索キーとなる「セダン」及び「コンパクトカー」以外の他のカテゴリの画像が大量に出現してしまう。また、この場合、「セダン」のみに類似する画像、及び「コンパクトカー」にのみに類似する画像が検索結果の上位となり、ユーザの意図に沿わない検索結果となる可能性もある。第二検索部３０６が第一距離値及び第二距離値に基づいて、総合距離値を算出するため、他のカテゴリの画像の出現を抑制できる。また、「セダン」及び「コンパクトカー」の両方に類似する画像の特徴ベクトルは第二検索ベクトルと距離が小さくなるので、「セダン」及び「コンパクトカー」の両方に類似する総合距離値が小さくなり、当該画像が検索結果の上位とすることも可能となる。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。

また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１０１ 端末装置
１０２ カメラ
１０３ ネットワーク
２００ 画像検索装置
２１０ Ｉ／Ｆ
２２０ ＣＰＵ
２３０ 補助記憶装置
２４０ ネットワークＩ／Ｆ
２５０ メモリ
３００ カテゴリ検索部
３０１ 画像登録部
３０２ 検索対象ＤＢ
３０３ 検索キー選択部
３０４ 辞書ＤＢ
３０５ 第一検索部
３０６ 第二検索部
３０７ 出力部
７００ 検索結果テーブル
１０００ 検索結果確認画面
１３００ 第二検索結果テーブル
１３１０ 縮約画面

Claims (12)

1. 検索対象の画像の特徴ベクトルが記憶される検索対象記憶部と、
   前記検索対象記憶部を検索するための各検索キーと前記各検索キーに対応する第一特徴ベクトルとが対応付けて記憶される辞書情報記憶部と、
   検索キーの入力を受け付ける検索キー入力受付部と、
   前記入力された検索キーに対応する第一特徴ベクトルを前記辞書情報記憶部から取得し、前記取得した第一特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの第一類似度を算出する第一検索部と、
   前記入力された検索キー以外の検索キーに対応する第一特徴ベクトルである第二特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの第二類似度を算出し、前記第一類似度及び前記第二類似度に基づいて、前記特徴ベクトルの画像と前記入力された検索キーとの類似度を示す総合類似度を算出する第二検索部と、
   前記検索対象記憶部に記憶される特徴ベクトルの画像を前記総合類似度順に並べて出力する出力部と、を備え、
   前記第二検索部は、前記第二類似度が高い特徴ベクトルほど、当該特徴ベクトルの総合類似度を低くし、前記第一類似度が高い特徴ベクトルほど、当該特徴ベクトルの総合類似度を高くするように、前記総合類似度を算出することを特徴とする画像検索装置。
2. 請求項１に記載の画像検索装置であって、
   前記第二検索部は、前記検索対象記憶部に記憶される画像の特徴ベクトルから前記第二類似度を算出する特徴ベクトルを前記第一類似度に基づいて選択し、前記選択した特徴ベクトルにのみ前記第二類似度を算出することを特徴とする画像検索装置。
3. 請求項２に記載の画像検索装置であって、
   前記第二検索部は、前記検索対象記憶部に記憶される画像の特徴ベクトルから、前記第一類似度が高い順に前記第二類似度を算出する所定数の特徴ベクトルを選択することを特徴とする画像検索装置。
4. 請求項２に記載の画像検索装置であって、
   前記第二検索部は、前記検索対象記憶部に記憶される画像の特徴ベクトルから、前記第一類似度が閾値より高い特徴ベクトルを、前記第二類似度を算出する特徴ベクトルとして選択することを特徴とする画像検索装置。
5. 請求項４に記載の画像検索装置であって、
   前記辞書情報記憶部には、一つの検索キーに対して複数の第一特徴ベクトルを記憶し、
   前記各検索キーに対して、前記各検索キーに対応する前記複数の第一特徴ベクトル間の類似度を算出し、
   前記算出した類似度が最も低い類似度を、前記各検索キーの前記閾値に設定することを特徴とする画像検索装置。
6. 請求項２に記載の画像検索装置であって、
   前記第二検索部は、
   前記第二類似度を算出する特徴ベクトルとして選択された特徴ベクトルから処理対象の特徴ベクトルを選択し、前記選択した処理対象の特徴ベクトルと前記第二特徴ベクトルとの第二類似度を算出し、
   前記第二類似度を算出する処理を、前記第二類似度を算出する特徴ベクトルの数だけ繰り返し実行することによって、前記第二類似度を算出する特徴ベクトルとして選択された全ての特徴ベクトルの第二類似度を算出することを特徴とする画像検索装置。
7. 請求項１に記載の画像検索装置であって、
   前記辞書情報記憶部では、前記各検索キーの前記第一特徴ベクトルに対して、前記各検索キー以外の検索キーの第一特徴ベクトルが前記第二特徴ベクトルとして予め対応付けられて記憶されることを特徴とする画像検索装置。
8. 請求項７に記載の画像検索装置であって、
   前記辞書情報記憶部に記憶されるある検索キーの第一特徴ベクトルと他の検索キーの第一特徴ベクトルとの類似度を算出し、
   前記類似度が所定の閾値より高い他の検索キーの第一特徴ベクトルを、当該ある検索キーの前記第二特徴ベクトルとして前記辞書情報記憶部に記憶することを特徴とする画像検索装置。
9. 請求項７に記載の画像検索装置であって、
   ある検索キーの第二特徴ベクトルとなる他の検索キーの選択の入力を受け付け、
   前記入力を受け付けた他の検索キーの第一特徴ベクトルを当該ある検索キーの前記第二特徴ベクトルとして前記辞書情報記憶部に記憶することを特徴とする画像検索装置。
10. 請求項１に記載の画像検索装置であって、
    前記辞書情報記憶部には、一つの検索キーに対して複数の第一特徴ベクトルが記憶され、
    前記出力部は、前記第一類似度が最も高い第一特徴ベクトルが同じ特徴ベクトルが複数存在する場合、当該特徴ベクトルのうち前記総合類似度が最も高い特徴ベクトルの画像のみを出力することを特徴とする画像検索装置。
11. 請求項１に記載の画像検索装置であって、
    前記第一検索部は、複数の検索キーが入力された場合、前記入力された複数の検索キーのそれぞれに対応する第一特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの前記第一類似度を算出し、
    前記第二検索部は、
    前記入力された複数の検索キー以外の検索キーに対応する第一特徴ベクトルである第二特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの前記第二類似度を算出し、
    前記第一類似度及び前記第二類似度に基づいて、前記総合類似度を算出することを特徴とする画像検索装置。
12. 入力された検索キーに類似する画像を検索する画像検索システムであって、
    画像を撮影するカメラと、
    前記検索キーの入力を受け付ける入力受付部と、
    前記カメラによって撮影された画像の特徴ベクトルが記憶される検索対象記憶部と、
    前記検索対象記憶部を検索するための各検索キーと前記各検索キーに対応する第一特徴ベクトルとが対応付けて記憶される辞書情報記憶部と、
    前記入力受付部が受け付けた検索キーに対応する第一特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの第一類似度を算出する第一検索部と、
    前記入力された検索キー以外の検索キーに対応する第一特徴ベクトルである第二特徴ベクトルと前記検索対象記憶部に記憶される画像の特徴ベクトルとの第二類似度を算出し、前記第一類似度及び前記第二類似度に基づいて、前記特徴ベクトルの画像と前記検索キーとの類似度を示す総合類似度を算出する第二検索部と、
    前記検索対象記憶部に記憶される特徴ベクトルの画像を前記総合類似度順に並べて出力する出力部と、を備え、
    前記第二検索部は、前記第二類似度が高い特徴ベクトルほど、当該特徴ベクトルの総合類似度を低くし、前記第一類似度が高い特徴ベクトルほど、当該特徴ベクトルの総合類似度を高くするように前記総合類似度を算出することを特徴とする画像検索システム。

Images