JPWO2016147260A1 - 画像検索装置、及び画像を検索する方法 - Google Patents

Abstract

登録済み画像と、前記登録済み画像の１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから画像を検索する画像検索装置は、第１画像及び第１画像の１種類以上の特徴量を取得し、画像データベースに登録し、第１画像の各種類の特徴量について、登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、第１画像の当該種類の特徴量と、第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、伝搬情報に含める。

Description

本発明は、画像検索装置、及び画像を検索する方法に関する。

テレビ画像のデジタルアーカイブ化やインターネット上の動画配信サービスの普及により、大規模な画像データを高速に検索・分類する必要性が増加している。また、セキュリティ向けに蓄積された監視画像の解析に対する期待が高まっている。これらの膨大な画像に対して人手でテキスト情報を付与することが困難なことから、画像中の特徴量を用いた画像検索技術が求められている。

これまでに大規模、高速な類似画像検索システムが実用化されつつあり、事前に画像特徴量を抽出してデータベース化することで、クエリ画像に見た目の類似する画像を高速に探し出す技術が提案されている。

本技術分野の背景技術として、特開２０１０−２５０５２９（特許文献１）がある。特許文献１には、「画像検索装置は、画像データベースと、クエリ画像を受け付ける検索要求受付手段と、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出する類似画像検索手段と、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する検索結果提示手段と、を備える。そして、検索結果提示手段は、前記検索要求受付手段によって新たなクエリ画像が受け付けられた場合には、表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に新たなクエリ画像による検索結果を追加して表示手段に提示する。」と記載されている（要約参照）。

特開２０１０−２５０５２９号公報

特許文献１に記載の検索システムは、ユーザとのインタラクションによって検索結果を更新していく。具体的には、特許文献１に記載の検索システムは、ユーザが指定したクエリ画像によって得られた検索結果に含まれる画像を、新たなクエリ画像とする検索を繰り返す。これにより、ユーザが適切にクエリ画像を指定すれば目的の検索対象に関するバリエーションに富んだ検索結果が得られる可能性がある。

しかし、特許文献１に記載の検索システムにおいて、ユーザが、特定の見た目の画像ばかりをクエリとして選択してしまう場合には、検索対象を網羅的に見つけ出すことがかえって困難になるおそれがある、つまり検索の網羅性がユーザ操作に影響される。

上記課題を解決するために、本発明は例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、登録済み画像と、前記登録済み画像の第１種類を含む１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから画像を検索する、画像検索装置であって、第１画像及び前記第１画像の前記１種類以上の特徴量を取得し、前記画像データベースに登録する画像取得部と、前記第１画像の各種類の特徴量について、前記登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、前記第１画像の当該種類の特徴量と、前記第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、前記伝搬情報に含める属性伝搬部と、前記画像データベースが保持する前記登録済み画像の特徴量から第１種類の第１特徴量を取得し、前記第１特徴量を含む入力クエリを生成するクエリ入力部と、前記伝搬情報が示す対応に基づいて、前記第１特徴量を出発点とした、前記登録済み画像の特徴量をたどる探索を行い、前記探索における経路上の特徴量を有する登録済み画像の第１種類の特徴量を含む追加クエリを生成する、クエリ補強部と、前記入力クエリ及び前記追加クエリを使用して、前記画像データベースから画像を検索する、画像検索部と、を含む画像検索装置。

本発明の一態様によれば、高精度かつ網羅的に画像を検索することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１において、画像検索システムの構成例を示すブロック図である。 実施例１において、画像検索システムのハードウェア構成例を示すブロック図である。 実施例１における画像データベースの構造例を示す図である。 実施例１において、属性伝搬情報の生成する過程の例を説明する図である。 実施例１において、属性伝搬情報の生成する過程の例を説明する図である。 実施例１において、属性伝搬情報の生成する過程の例を説明する図である。 実施例１において、属性伝搬情報の生成処理の一例を示すフローチャートである。 実施例１において、属性伝搬情報を用いた画像検索の例を説明する図である。 実施例１において、属性伝搬情報を用いた画像検索の処理の一例を示すフローチャートである。 実施例１における検索画面の一例を示す図である。 実施例１において、システム全体の処理の一例を示すシーケンス図である。 実施例２において、画像検索システムの構成例を示すブロック図である。 実施例２におけるアノテーション画面の構成例である。 実施例２において、アノテーション処理の一例を示すフローチャートである。 実施例１において、クラスタリングと属性伝搬について説明する図である。

以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。

＜本実施形態例の概要＞
本実施形態の画像検索装置は、新規に登録する画像から所定の１種類以上の属性の特徴量を抽出し、抽出した各種類の属性の特徴量と、登録済み画像それぞれの同種の属性の特徴量と、を比較する。画像検索装置は、当該比較によって、類似性が高い又は特徴量が同一であると判定した特徴量間のリンクを含む伝搬情報、を蓄積する。当該リンクは、同一種類の特徴量を介した、画像間のリンクと考えることもできる。本実施形態において、特に区別する必要が無い場合においては、特徴量間のリンク（伝搬）を、画像間のリンク（伝搬）として記載することもある。なお、本実施形態における画像とは、動画及び静止画を含む概念である。

なお、属性とは、画像を構成するパーツを示し、例えば、画像に人物が含まれる場合、当該人物の腕や頭などの部位それぞれは、属性の一例である。特徴量とは、各属性が有する画像の特徴を示す値である。特徴量の具体例については、後述する。本実施形態において、属性の特徴量を、単に特徴量と呼ぶこともある。

伝搬情報は、例えば、伝搬元の画像と伝搬先の画像を示す情報、特徴量の種類、及び伝搬強度を含む。伝搬強度については後述する。この結果、画像間のリンクを表すグラフ構造が形成される。本実施形態において、グラフはツリーを含む概念である。画像検索装置は、グラフ構造をたどることにより、クエリ画像に直接は類似していない画像を探索することができる。

画像検索装置は、検索時にこの伝搬情報を利用し、例えば、与えられたクエリのクエリ画像にリンクする複数の画像をデータベースから取得し、取得した画像をクエリ画像としたクエリを当該与えられたクエリに加えることにより、検索クエリを補強する。画像検索装置は、補強されたクエリを使用して類似画像検索を行い、その検索結果を統合することで、検索精度、及び網羅率を向上することができる。

＜システム構成＞
図１は、実施例１の画像検索システム１００の構成例を示すブロック図である。画像検索システム１００は、入力画像の１種類以上の特徴量に対して、類似性の高い当該種類の特徴量を有する登録済み画像とのリンクを伝搬情報として蓄積し、伝搬情報を用いてクエリを補強し、補強したクエリによる検索を行うことで検索精度及び網羅率を向上させる。

画像検索システム１００は、例えば、画像記憶装置１０１、入力装置１０２、表示装置１０３、及び画像検索装置１０４を含む。画像記憶装置１０１は、静止画データまたは動画データを保存する記憶媒体であり、例えば、コンピュータ内蔵のハードディスクドライブ、または、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）もしくはＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成される。また、画像記憶装置１０１は、例えば、カメラから継続的に入力される画像データを一時的に保持するキャッシュメモリであってもよい。

入力装置１０２は、例えば、マウス、キーボード、タッチデバイスなどの、ユーザの操作を画像検索装置１０４に伝えるための入力インタフェースである。表示装置１０３は、例えば、液晶ディスプレイなどの出力インタフェースであり、画像検索装置１０４の認識結果の表示、ユーザとの対話的操作などのために用いられる。

＜各部の動作＞
画像検索装置１０４は、画像記憶装置１０１に蓄積された画像から検索に必要な情報を抽出しデータベース化する、登録処理を行う。また、画像検索装置１０４は、ユーザが入力装置１０２から指定した検索クエリを用いて、画像データベース１０８から検索クエリに類似する画像を検索し、表示装置１０３に情報提示する、検索処理を行う。

画像検索装置１０４は、画像から１種類以上の属性の特徴量を抽出し、画像データベース１０８に登録する。また、画像検索装置１０４は、登録した画像の特徴量と登録済みの他の画像との同種の特徴量とを比較し、類似性の高い又は同一の特徴量間に伝搬情報を付与して画像データベースに蓄積する。

画像検索装置１０４は、画像入力部１０５、特徴量抽出部１０６、属性伝搬部１０７、画像データベース１０８、伝搬情報蓄積部１０９、クエリ入力部１１０、クエリ補強部１１１、及び画像検索部１１２を含む。

画像入力部１０５は、画像記憶装置１０１から、静止画データまたは動画データの入力を受け付け、入力されたデータのデータ形式に応じて、入力されたデータを画像検索装置１０４内部で使用するデータ形式に変換する。例えば、画像入力部１０５は、動画データの入力を受け付けた場合、画像入力部１０５は、例えば、フレーム（静止画データ形式）に分解する動画デコード処理を行う。

また、画像入力部１０５は、必要に応じて、例えばユーザからの指示等に従って、入力された画像から部分領域の抽出処理を行ってもよい。具体的には、例えば、画像入力部１０５は各フレームから人物の領域を抽出し、抽出した領域の画像を内部で使用するデータとしてもよい。画像入力部１０５によって処理された画像データは、特徴量抽出部１０６へ送られる。なお、画像入力部１０５は特徴量の入力を併せて受け付け、入力された特徴量を画像データベース１０８に登録してもよい。このとき、画像検索装置１０４は、特徴量抽出部１０６を含まなくてもよい。

特徴量抽出部１０６は、入力された各画像から、１種類以上の属性の特徴量を抽出する。特徴量は、画像の特徴を示す画像間で比較可能な値であり、例えば、固定長のベクトルで表現される。画像の色や形状などの見た目の情報を数値化したデータである画像特徴量は、属性の特徴量の一例である。また、画像間で比較可能な値であれば任意の画像情報を特徴量とすることができる。前述の人物画像の例であれば、人物画像の形状や色などの画像特徴量に加えて、フレーム間の動体追跡によって得られる動体ＩＤを属性の特徴量として用いてもよい。画像と特徴量を含む画像情報は、画像データベース１０８に登録される。

特徴量抽出部１０６は、例えば、画像データベース１０８に画像特徴量を登録する際に、高速検索を目的として、データのクラスタリング処理を行ってもよい。特徴量抽出部１０６は、例えば、ｋ−ｍｅａｎｓアルゴリズムなどのクラスタリング処理によって、類似度の高い特徴量を有する１以上の登録データからなるクラスタを生成する。類似度は、同種の２つの特徴量間の類似性を示す指標であり、例えば、値域が［０，１］の所定の減少関数に２つの特徴量間の距離を代入することにより得られる。

画像データベース１０８は、例えば、クラスタの代表値（例えばクラスタメンバの平均ベクトル）とクラスタメンバのＩＤを記録する。画像検索装置１０４は、検索時において、例えば、検索クエリの特徴量とクラスタの代表値とを比較し、類似度の高いクラスタに対してのみ、検索クエリと当該クラスタのメンバとの間で特徴量比較を行うことで、処理回数を削減し高速に探索することができる。

属性伝搬部１０７は、登録済みの各画像の特徴量と、新規に登録された画像の同種の特徴量と、を比較し、例えば、伝搬強度の高い特徴量間のリンクを伝搬情報として画像データベース１０８に記録する。伝搬強度は、同種の２つの特徴量間の類似性、又は同一性を示す指標である。例えば、２つの特徴量が一致する場合の値が１、２つの特徴量が一致しない場合の値が０、となる関数によって与えられる値は、伝搬強度の一例である。従って、特徴量間に類似性が定義できない場合であっても、伝搬強度を定義することができる。また、上述した類似度も伝搬強度の一例である。画像が複数の属性を持つ場合は、属性伝搬部１０７は、例えば、属性の数だけ伝搬情報を生成する。以下に、属性の特徴量の例を挙げる。

（１）上述したように、色や形状など画像そのものの見た目の情報を数値化した画像特徴量は特徴量の一例である。例えば、画像特徴量間の類似度が所定の閾値以上である場合に、属性伝搬部１０７は当該画像間に伝搬情報を生成し、当該類似度を伝搬強度とする。

（２）動体トラッキングなどの時系列画像認識結果における、物体ＩＤは特徴量の一例である。連続フレームにおける同一物体は、同一のＩＤを有する。例えば、属性伝搬部１０７は、同一物体ＩＤを含む２つのフレームが存在する場合、各フレームの同一物体ＩＤにおいて伝搬情報を生成し、伝搬強度を１．０とする。

（３）定点観測画像における、位置を示す情報は特徴量の一例である。例えば、定点観測画像が所定のグリッドで区切られている場合、属性伝搬部１０７は、別時刻間の同一位置のセルにおいて伝搬情報を生成し、伝搬強度を１．０とする。

（４）ユーザ指定のタグは、特徴量の一例である。属性伝搬部１０７は、例えば、ユーザ指定のタグが付与された画像と、当該画像のタグ付けの手がかりにした参照画像との間に伝搬情報を生成する。属性伝搬部１０７は、例えば、当該画像と参照画像との間における、他の特徴量の類似度を算出し、算出した類似度を当該伝搬強度とする。属性伝搬部１０７は、例えば、同一のタグを有する画像間に伝搬情報を生成し、伝搬強度を１．０としてもよい。タグによる伝搬情報の生成処理についての詳細は後述する。

（５）検索履歴は特徴量の一例である。属性伝搬部１０７は、例えば、繰り返し検索の操作ログを参照し、検索クエリ画像と検索結果画像との間に伝搬情報を生成し、例えば、画像の検索に用いられた特徴量間の類似度を伝搬強度とする。

図１３は、属性伝搬及びクラスタリングによる特徴量空間の構造化を比較するための図である。クラスタリングは代表ベクトルを中心とした特徴量グループを形成するのに対して、属性伝搬は特徴量間のリンクを表すグラフを形成する。画像検索装置１０４は、属性伝搬を用いることにより、特徴量空間上で離れた場所にある画像間のリンクを得ることができる。伝搬情報の生成方法については、図４Ａ〜図４Ｃを用いて後述する。

画像データベース１０８は、上記した登録処理で得られた画像情報を保持する。また、画像データベース１０８は、伝搬情報を蓄積する伝搬情報蓄積部１０９を含む。伝搬情報蓄積部１０９は、画像データベース１０８の外に配置されてもよい。例えば、クライアント装置の主記憶が伝搬情報を蓄積してもよく、このとき画像検索装置１０４は、ユーザ毎に一時的にことなる伝搬情報を利用することができる。

画像データベース１０８は、特徴量を保存し、画像検索部１１２は、その特徴量を用いた類似画像検索行う。類似画像検索は、クエリと特徴量が近い順にデータを並び替えて出力する機能である。画像検索部１１２は、例えば、ベクトル間のユークリッド距離を用いて特徴量を比較する。画像データベース１０８の構造について、詳しくは図３を用いて後述する。以上が、画像検索装置１０４の登録処理における各部の動作である。次に、画像検索装置１０４の検索処理における各部の動作を説明する。

クエリ入力部１１０は、ユーザが入力装置１０２を介して指定したクエリを受け付ける。クエリが登録済みデータのＩＤである場合は、画像データベース１０８から特徴量を取得し、クエリとして外部から画像が与えられた場合は、特徴量抽出部１０６と同様の処理により画像から特徴量を得る。クエリ補強部１１１は、画像データベース１０８に蓄積された伝搬情報を用いて、入力クエリに関連する登録データを取得し、追加クエリとする。

画像検索部１１２は、入力クエリ及びクエリ補強部１１１で得られた追加クエリを用いて、画像データベース１０８に対して類似画像検索処理を行う。画像検索部１１２は、各クエリから得られた検索結果を、類似度順に並び替え、同一のＩＤのデータに関しては順位の低い結果のみを残すなどの集約処理を行う。またこの際、クエリ補強部１１１で追加されたクエリの結果については、必要に応じて類似度に重み付けをしてもよい。クエリ補強と画像検索に関しては、図６を用いて後述する。表示装置１０３は、以上の検索処理によって得られた検索結果を表示することで、検索結果をユーザに提示する。

図２は、本実施例の画像検索システム１００のハードウェア構成例を示すブロック図である。画像検索装置１０４は、例えば、一般的な計算機によって実現される。例えば、画像検索装置１０４は、相互に接続されたプロセッサ２０１及び記憶装置２０２を有してもよい。記憶装置２０２は、任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリと、ハードディスクドライブとの組み合わせによって構成されてもよい。

なお、画像入力部１０５、特徴量抽出部１０６、属性伝搬部１０７、画像データベース１０８及び伝搬情報蓄積部１０９、クエリ入力部１１０、クエリ補強部１１１、並びに画像検索部１１２といった機能部は、例えば、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。言い換えると、上記の各機能部が実行する処理は、処理プログラム２０３に基づいて、プロセッサ２０１によって実行される。また、画像データベース１０８のデータは、例えば記憶装置２０２に含まれる。

画像検索装置１０４は、さらに、プロセッサ２０１に接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。画像記憶装置１０１は、例えば、ネットワークインターフェース装置２０４を介して画像検索装置１０４に接続された、ＮＡＳまたはＳＡＮであってもよい。画像記憶装置１０１は、記憶装置２０２に含まれてもよい。

図３は、本実施例の画像データベース１０８の構成及びデータ例を示す説明図である。なお、本実施形態において、システムが使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。図３はテーブル形式の例を示しているが、例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。

画像データベース１０８は、例えば、画像情報を保持する画像テーブル３００と、画像間のリンクを保持する伝搬情報テーブル３１０と、を含む。図３の各テーブル構成及び各テーブルのフィールド構成は、あくまで一例であり、例えばアプリケーションに応じてテーブル及びフィールドが追加されてもよい。また、同様の情報を保持していれば、テーブル構成を変えてもよい。例えば、画像テーブル３００と伝搬情報テーブル３１０とが結合されひとつのテーブルであってもよい。

画像テーブル３００は、例えば、画像ＩＤフィールド３０１、画像データフィールド３０２、及び属性１特徴量フィールド３０３を含む。また特徴量抽出部１０６が画像から複数種類の属性の特徴量を抽出する場合は、画像テーブル３００は複数の特徴量フィールドを含む。図３の画像テーブル３００は、２つの属性の特徴量が抽出された例であり、属性２特徴量フィールド３０４を含む。

画像ＩＤフィールド３０１は、各画像データの識別番号を保持する。画像データフィールド３０２は、例えば、検索結果を表示する際に用いられる画像データをバイナリで保持する。属性１特徴量フィールド３０３及び属性２特徴量フィールド３０４それぞれは、該当する種類の特徴量を保持する。特徴量は、例えば、固定長のベクトルデータで与えられる。また、特徴量は、例えば、属性２特徴量フィールド３０４が保持する特徴量のように、画像間を比較可能であればスカラーデータであってもよい。

伝搬情報テーブル３１０は、例えば、伝搬情報ＩＤフィールド３１１、属性ＩＤフィールド３１２、伝搬元フィールド３１３、伝搬先フィールド３１４、及び伝搬強度フィールド３１５を含む。伝搬情報ＩＤフィールド３１１は、画像間の属性伝搬の識別番号を保持する。属性ＩＤフィールド３１２は、伝搬対象となる属性の特徴量のＩＤを保持する。属性の特徴量のＩＤは、アプリケーションで管理されてもよいし、テーブルを含むデータベースで管理されてもよい。

伝搬元フィールド３１３は、属性の伝搬元となる画像ＩＤを保持する。伝搬先フィールド３１４は、属性の伝搬先となる画像ＩＤを保持する。伝搬強度フィールド３１５は、伝搬の強度もしくは信頼度の数値を保持する。伝搬強度は、例えば伝搬元と伝搬先の特徴量ベクトル間の距離が近いほど大きな値となる。なお、伝搬情報テーブル３１０は、例えば伝搬が生成された時刻を記録するフィールドをさらに含んでもよい。

本実施例の画像検索装置１０４は、登録時に構築された伝搬情報を用いて追加クエリを生成し、入力クエリに追加クエリを加えた検索クエリを用いて検索を行うことで、画像検索の網羅性を高めることができ、画像検索や画像データベース１０８の分析の効率を向上させることができる。

図４Ａ〜図４Ｃは、登録処理において伝搬情報が生成される過程を説明する図である。図４Ａ〜図４Ｃは、画像の追加による画像データベース１０８の状態が状態１〜状態３に変化する過程を示す。また、図４Ａ〜図４Ｃは、２つの特徴量間に類似度が定義でき、類似度を伝搬強度として採用する例を示す。以下、画像ＩＤがＮ（Ｎは自然数）の画像を、画像Ｎと表現する。

図４Ａは、画像データベース１０８の状態が状態１である例を示す。状態１は、画像１が登録済みの画像テーブル３００に対して、画像２が追加された状態を示す。属性伝搬部１０７は、同種の特徴量を比較し、類似度が所定の閾値以上であれば、伝搬情報を伝搬情報テーブル３１０に記録する。

図４Ａの例において、属性１特徴量に関しては類似度が閾値以下であるため、属性伝搬部１０７は伝搬を行わない。また、属性２特徴量に関しては特徴量が一致している、即ち類似度が閾値以上であるため、属性伝搬部１０７は、伝搬情報４１１を記録する。具体的には、属性伝搬部１０７は、属性ＩＤフィールド３１２に属性２特徴量の識別子を示す２を、伝搬元フィールド３１３に登録済み画像の画像ＩＤである２を、伝搬先フィールド３１４に追加された画像の画像ＩＤである１を、伝搬強度フィールド３１５に類似度１．０を、それぞれ格納する。

図４Ｂは、画像データベース１０８の状態が状態２である例を示す。状態２は、画像３が画像テーブル３００に新たに登録された状態を示す。属性伝搬部１０７は、画像３と画像１の間の特徴量比較、及び画像３と画像２の間の特徴量比較を行う。図４Ｂの例では、画像３と画像１との間における属性１特徴量についての伝搬のみが起きる。従って、属性伝搬部１０７は、属性１特徴量に関して伝搬情報４２１を記録する。この結果、画像１と画像２の間で属性２特徴量に関する伝搬情報４１１が記録されており、さらに画像１と画像３の間で属性１特徴量に関する伝搬情報４２１が記録されているため、２つの伝搬情報により画像３と画像２に関係があることが示される。

図４Ｃは、画像データベース１０８の状態が状態３である例を示す。状態３は、さらに画像４、画像５、及び画像６が登録された状態を示す。図４Ｃに示すように属性の特徴量による伝搬情報で連結された複数のグラフ構造が形成される。なお、以上の処理において画像検索装置１０４は、前述のクラスタリングを用いて特徴量比較回数を削減したり、画像の登録時刻などの書誌データを用いて特徴量比較の対象となる画像を絞り込んだりしてもよく、このとき登録処理速度を向上させることができる。

図５は、本実施例の画像検索装置１０４が、画像記憶装置１０１から入力された動画または静止画から画像特徴量と画像間の伝搬情報を抽出し、画像データベース１０８に登録する処理の一例を示すフローチャートである。

画像入力部１０５は、画像記憶装置１０１から画像データを取得し、取得した画像データを必要に応じてシステム内部で利用可能な形式に変換し、画像データを画像テーブル３００に記録する（Ｓ５０１）。画像入力部１０５は、例えば、動画データの入力を受け付けた場合、動画データをフレーム（静止画データ形式）に分解する動画デコード処理を行う。また、画像入力部１０５は、必要に応じて、部分領域の抽出処理を行ってもよい。

画像検索装置１０４は、例えばシステム設計事項として与えられた所定種類の各属性の特徴量について、ステップＳ５０３からステップＳ５０７の処理を繰り返す（Ｓ５０２）。特徴量抽出部１０６は、入力された画像から、当該種類の特徴量を計算する（Ｓ５０３）。特徴量抽出部１０６は、ステップＳ５０３で得られた特徴量を、画像テーブル３００に登録する（Ｓ５０４）。特徴量抽出部１０６は、必要に応じて、例えば、画像テーブル３００のレコード数が所定の閾値以上である場合、特徴量によるクラスタリング処理を行ってもよい。

属性伝搬部１０７は、ステップＳ５０３で得られた特徴量と、画像テーブル３００に登録済みの各画像の同種の特徴量と、の間の伝搬強度を算出し、伝搬強度が閾値以上であるか否かを判定する（Ｓ５０５）。属性伝搬部１０７は、伝搬強度が閾値以上である登録済みの画像が存在すれば（Ｓ５０５：ＹＥＳ）、ステップＳ５０７を実行し、そうでなければ（Ｓ５０５：ＮＯ）、ステップＳ５０８に移動する。

属性伝搬部１０７は、伝搬強度が閾値である登録済み画像の特徴量と入力画像の特徴量とのリンク、を示す伝搬情報を伝搬情報テーブル３１０に記録する（Ｓ５０７）。ステップＳ５０３〜ステップＳ５０７の処理が実行されていない属性の特徴量があればステップＳ５０２に移動し、他の属性の特徴量に関する処理が行われる（Ｓ５０８）。全ての属性の特徴量に対してのステップＳ５０３〜ステップＳ５０７の処理が実行済みであれば、図５の処理が終了する。

図６は、本実施例の画像検索装置１０４が、ユーザから指定されたクエリを用いて画像データベース１０８に登録された画像を検索する処理の一例を示す図である。ユーザは、画像データベース１０８から所望の画像を検索するための、入力クエリを生成するための情報を入力する。入力クエリは、画像テーブル３００が保持する画像の特徴量を含む。

クエリ入力部１１０は、例えば、画像テーブル３００に含まれる画像の画像ＩＤと特徴量の種類を示す情報との入力を受け付け、画像テーブル３００から取得した当該画像ＩＤと特徴量とからなる組み合わせを入力クエリとする。なお、入力クエリに含まれる画像ＩＤに対応する画像をクエリ画像と呼ぶ。

また、クエリ入力部１１０は、例えば、外部から新たに与えられた画像と特徴量の種類との入力を受け付けてもよい。このとき、クエリ入力部１１０は、例えば、特徴量抽出部１０６と同様の処理により、当該与えられた画像から当該種類の特徴量を抽出し、例えば、画像テーブル３００から、抽出した特徴量と最も類似度の高い特徴量を有する登録済み画像を１つ特定する。クエリ入力部１１０は、例えば、特定した登録済み画像の画像ＩＤと当該登録済み画像の当該種類の特徴量とからなる組み合わせを、入力クエリとする。

図６は、入力クエリ６０１の画像ＩＤが６、特徴量の種類が属性１特徴量である例を示す。なお、入力クエリ６０１は、複数種類の特徴量を含んでもよい。また、複数の画像がクエリ画像として指定されていてもよい。画像検索装置１０４は、伝搬情報テーブル３１０で定義された登録済み画像間のリンクを示す情報、即ち１以上のグラフからなるグラフ集合４３０の情報を保持している。クエリ補強部１１１は、入力クエリ６０１で指定されたクエリ画像の情報を含むグラフをグラフ集合４３０から選択し、クエリ画像の入力クエリ６０１で指定された特徴量を出発点として、リンクをたどることにより選択したグラフを探索する。

クエリ補強部１１１は、入力クエリ６０１で指定された画像６の属性１特徴量からリンク６０２をたどることにより、画像３を得る。クエリ補強部１１１は、得られた画像の特徴量から順にリンクをたどった経路上にある、画像６、画像３、画像１、及び画像２からなる一連の画像集合を得る。

なお、クエリ補強部１１１は、リンクをたどる際に、同一の画像内で、属性切り替え６０３を行って、切り替え先の特徴量のリンクをたどってもよい。クエリ補強部１１１が同一画像内で属性切り替え６０３を行うことにより、特徴量間の関連を維持しつつ検索の網羅率を向上させることができる。また、図６ではリンクを有向辺で表現しているが、リンクは無向辺であってもよい。つまり、画像検索装置１０４は、方向に従った探索を行ってもよいし、図６に示したように方向を無視した探索を行ってもよい。クエリ補強部１１１は、例えば、ダイクストラ法等の探索アルゴリズムを用いて、上述の探索を行う。

クエリ補強部１１１は、上述した探索によって得られた一連の画像の画像ＩＤそれぞれと、当該画像における入力クエリと同種の特徴量と、からなる組み合わせである追加クエリを、入力クエリ６０１に加えたクエリを、検索クエリ６０４とする。なお、入力クエリ６０１が複数種類の特徴量を含む場合、クエリ補強部１１１は各特徴量を出発点とした探索を行い、各特徴量について補強クエリを生成する。

次に、画像検索部１１２は、検索クエリ６０４に含まれる各特徴量について、類似する特徴量を有する画像を画像テーブル３００から検索する類似画像検索を行う。なお、検索クエリ６０４の各クエリが複数種類の特徴量を含む場合、画像検索部１１２は、例えば、複数種類の特徴量それぞれについて、当該種類の特徴量が類似する画像を検索してもよいし、当該複数種類の特徴量を総合して得られる特徴量が類似する画像を検索してもよい。画像検索部１１２は、画像ＩＤと、当該画像ＩＤの画像と検索元となったクエリ画像ＩＤとの類似度と、の組み合わせとして、検索結果を得る。

画像検索部１１２は、例えば、得られた全ての検索結果を、類似度順に並び替えて、表示装置１０３に出力する。このとき、画像検索部１１２は、例えば、同一の画像ＩＤの検索結果のうち、類似度が所定の閾値以上のもののみを出力してもよい。

また、画像検索部１１２は、検索結果を類似度順に並び替える際に、使用されたクエリ画像の入力クエリ画像からの伝搬強度に応じて、検索結果の類似度に重みを付けてもよい。画像３から画像６への伝搬強度は０．９であるため、画像検索部１１２は、例えば、画像３をクエリ画像とした検索結果の類似度に対して０．９を当該重みとして掛ける。

また、画像検索部１１２は、入力クエリ６０１のクエリ画像である画像６から複数の伝搬情報をたどって得られた検索結果の類似度に対して、例えば、当該複数の伝搬情報における伝搬強度の積を当該重みとして掛ける。また、画像検索部１１２は、属性切り替えが行われて得られた検索結果の類似度に対して、例えば、入力クエリである画像６の特徴量と当該検索結果の画像の特徴量との伝搬強度を算出し、算出した伝搬強度を当該重みとして掛けてもよい。画像検索部１１２が類似度に重みを付与することにより、ユーザが最初に指定した入力クエリ６０１のクエリ画像に近い画像の類似度が高くなる。

図７は、本実施の画像検索装置１０４が、ユーザから指定されたクエリを用いて画像データベース１０８に登録された画像を検索する処理の一例を説明するフローチャートである。以下、図７の各ステップについて説明する。

クエリ入力部１１０は、ユーザから入力クエリを生成するための情報を受け付け、入力クエリを生成する（Ｓ７０１）。クエリ入力部１１０は、登録済み画像ＩＤと特徴量の種類との入力を受け付けた場合、画像テーブル３００から当該画像ＩＤを有する画像の当該種類の特徴量を取得する。クエリ入力部１１０は、外部の画像データと特徴量の種類の入力とを受け付けた場合、当該画像から抽出した当該種類の特徴量に類似する特徴量を有する画像の画像ＩＤと、当該画像ＩＤを有する画像の当該種類の特徴量と、を画像テーブル３００から取得する。クエリ入力部１１０は、クエリ画像の画像ＩＤとクエリ画像の所定の特徴量との組み合わせを入力クエリとして得る。

クエリ補強部１１１は、ステップＳ７０１で得られた入力クエリを、空のクエリ集合に追加する（Ｓ７０２）。クエリ補強部１１１は、クエリ集合に含まれる各クエリに対してステップＳ７０４からステップＳ７０６の処理を実行する（Ｓ７０３）。クエリ補強部１１１は、クエリ画像を伝搬元及び伝搬先とし、当該種類の特徴量に対応する属性ＩＤを有する伝搬情報を伝搬情報テーブル３１０から取得する（Ｓ７０４）。

クエリ補強部１１１は、取得した伝搬情報に伝搬強度が閾値以上であるものが含まれるか否かを判定する（Ｓ７０５）。伝搬強度が閾値以上の伝搬情報があれば（Ｓ７０５：ＹＥＳ）、ステップＳ７０６を実行し、そうでなければ（Ｓ７０５：ＮＯ）ステップＳ７０７に移動する。クエリ補強部１１１は、例えば、システム所定の値か、ユーザが検索パラメータとして与えた値を、当該閾値として使用する。なお、当該閾値は、例えば、属性ＩＤごとに異なる値であってもよい。

クエリ補強部１１１は、伝搬強度が閾値以上である画像をクエリ画像とするクエリをクエリ集合に追加する（Ｓ７０６）。なお、伝搬情報テーブル３１０に、伝搬が生成された時刻が記録されている場合、クエリ補強部１１１は、伝搬が生成された時刻が、現在時刻から所定時間以内である画像をクエリ集合から除外してもよい。

クエリ集合の全てのクエリに対してステップＳ７０４〜ステップＳ７０６の処理が実行済みであれば、ステップＳ７０８に移動し、ステップＳ７０４〜ステップＳ７０６の処理が実行されていないクエリがあればステップＳ７０４に戻り当該クエリに対して処理が行われる（Ｓ７０７）。

画像検索部１１２は、クエリ集合に含まれるすべてのクエリに対してステップＳ７０９からステップＳ７１０の処理を実行する（Ｓ７０８）。なお、画像検索部１１２は、例えば、伝搬強度が所定の閾値以上（当該閾値はステップＳ７０５の閾値より大きい値）のクエリ（類似性の高いクエリ）に関しては、ランダムに選択した所定数のクエリのみを処理し、残りのクエリに関してはステップＳ７０８〜ステップＳ７０９の処理をスキップしてもよい。伝搬強度が極端に高い２つのクエリそれぞれによる類似画像検索結果は、互いに酷似している可能性が高い。従って、画像検索部１１２は、例えば、伝搬強度が閾値より高い２つのクエリについては、一方のクエリのみについて検索処理を行うことにより、検索網羅率の低下を抑えつつ、検索時間を短縮することができる。

画像検索部１１２は、当該クエリを用いて画像検索を行い画像データベース１０８から類似画像を取得する。画像検索部１１２は、例えば、検索結果として類似画像ＩＤと、当該クエリ画像の特徴量と類似画像の特徴量との類似度の組み合わせと、を得る（Ｓ７０９）。

画像検索部１１２は、ステップＳ７０９で得られた類似画像に入力クエリと該当クエリ間の伝搬強度に応じた重みを付与し、検索結果の集合に追加する（Ｓ７１０）。画像検索部１１２は、例えば、ユーザから指定された検索パラメータに従い、ステップＳ７１０の処理を実行するか否かを切り替えてもよい。

クエリ集合に含まれる全てのクエリに対して、ステップＳ７０９〜ステップＳ７１０の処理が実行済みであれば、ステップＳ７１２に移動し、ステップＳ７０９〜ステップＳ７１０の処理が実行されていないクエリがあれば、ステップＳ７０９に戻り当該クエリに対して処理が行われる（Ｓ７１１）。

画像検索部１１２は、検索結果を類似度（類似度に重みが付与された場合は、重み付与後の類似度）の高い順に並び替え、表示装置１０３に表示して処理を終了する（Ｓ７１２）。この際、画像検索部１１２は、同一画像ＩＤの画像を含む複数の検索結果を得た場合、例えば、類似度が高い順に所定個数の検索結果のみを残して集約してもよい。

図８は、本実施例の画像検索装置１０４を用いて、画像検索を行うための操作画面の構成例を示す図である。操作画面は、例えば、表示装置１０３上でユーザに提示される。ユーザは、例えば入力装置１０２を用いて、画面上に表示されたカーソル８００を操作することで、画像検索装置１０４に処理の指示を与える。

操作画面は、例えば、クエリ画像表示領域８０１、詳細オプション表示ボタン８０２、追加クエリ表示領域８０３、伝搬情報表示領域８０４、検索ボタン８０５、及び検索結果表示領域８０６を含む。クエリ画像表示領域８０１に表示される情報は、例えば、クエリ入力部１１０によって表示装置１０３に出力される。追加クエリ表示領域８０３及び伝搬情報表示領域８０４に表示される情報は、例えば、クエリ補強部１１１によって表示装置１０３に出力される。検索結果表示領域８０６に表示される情報は、例えば、画像検索部１１２によって表示装置１０３に出力される。

まず、ユーザは検索の手がかりとなる画像を指定する。操作画面は、例えば、登録画像選択のためのダイアログを表示してもよいし、外部の画像を入力するインタフェースを含んでもよい。ユーザが指定した画像は、クエリ画像表示領域８０１に表示される。

クエリ補強部１１１は、ユーザが指定したクエリ画像の伝搬情報を用いて、追加クエリ生成する。追加クエリ表示領域８０３は、例えば、生成した追加クエリの情報、例えば追加クエリのクエリ画像、特徴量等を表示する。追加クエリ表示領域８０３が追加クエリの情報を表示することにより、ユーザは追加クエリが適切であるかを判断することができる。なお、例えば、ユーザが詳細オプション表示ボタン８０２にチェックを入れた場合に、追加クエリ表示領域８０３は追加クエリの情報を表示してもよい。

伝搬情報表示領域８０４は、例えば、クエリ画像が伝搬元又は伝搬先である伝搬情報を表示する。伝搬情報表示領域８０４が伝搬情報を表示することにより、追加クエリがどのような経緯で得られたかを直感的にユーザに伝えることができる。追加クエリ表示領域８０３に表示された追加クエリが、追加クエリとして適切でないとユーザが判断した場合に、例えば、ユーザが追加クエリ表示領域８０３や伝搬情報表示領域８０４を操作してクエリを除外できるように、操作画面が構成されてもよい。

ユーザが検索ボタン８０５をクリックすると、画像検索部１１２は、画像データベース１０８に対して入力クエリ及び検索クエリを使用した類似画像検索を行う。検索結果は、例えば、類似度順に並び替えられ、同一画像ＩＤを有する検索結果は集約されて、検索結果表示領域８０６に表示される。

図９は、本実施例の画像検索システム１００の処理の一例を説明するシーケンス図である。図９は、具体的には上記した画像検索システム１００の画像登録及び画像検索処理における、ユーザ９００、画像記憶装置１０１、計算機９０１、及び画像データベース１０８間の処理シーケンスを示す。なお、計算機９０１は、画像検索装置１０４を実現する計算機である。ユーザ９００は、例えば、入力装置１０２を介して、計算機９０１に対する要求及び指示の送信、並びにデータの入力等を行い、表示装置１０３を介して計算機９０１からの処理結果等の提示を受ける。

図９において、Ｓ９１０は登録処理を、Ｓ９２０は検索処理を示す。登録処理Ｓ９１０は、ステップＳ９１１〜ステップＳ９１６に示す処理を含む。ユーザ９００が登録開始要求を出すと（Ｓ９１１）、計算機９０１は画像記憶装置１０１に画像データ取得要求を出し（Ｓ９１２）、画像記憶装置１０１から画像データを取得する（Ｓ９１３）。

以下に述べるステップＳ９１４〜ステップＳ９１６の処理は、図５において説明した一連の登録処理に相当する。計算機９０１は、取得した画像から特徴量を抽出し、特徴量と画像データとを画像データベース１０８に登録する（Ｓ９１４）。次に、計算機９０１は、取得した画像の特徴量と画像データベース１０８に登録済みの画像の同種の特徴量とを比較し、伝搬強度の高い特徴量同士のリンク及び当該リンクにおける伝搬強度を伝搬情報として画像データベース１０８に記録する（Ｓ９１５）。登録処理が終了すると、計算機９０１はユーザ９００に対して登録完了の通知を行う（Ｓ９１６）。

検索処理Ｓ９２０は、ステップＳ９２１〜ステップＳ９２８に示す処理を含み、図７において説明した一連の検索処理に相当する。ユーザ９００が、計算機９０１に対して検索要求を出すと（Ｓ９２１）、計算機９０１は、画像データベース１０８からクエリ画像のデータを読み出す（Ｓ９２２）。また、計算機９０１は、検索要求において外部から画像が与えられた場合、当該画像の特徴量を抽出し、例えば、当該特徴量における類似度が高い画像を画像データベース１０８から選択し、選択した画像をクエリ画像とする。

次に、計算機９０１は、伝搬情報を用いて画像データベース１０８を探索し、探索によって得られた画像をクエリ集合に追加する（Ｓ９２３）。追加されたクエリはユーザ９００に提示され（Ｓ９２４）、ユーザ９００は必要に応じてクエリを訂正し検索実行要求を計算機９０１に送る（Ｓ９２５）。計算機９０１は、クエリ集合の各画像特徴量を用いて類似画像検索を実行する（Ｓ９２６）。計算機９０１は、得られた検索結果を、類似度順に並び替え、同一画像ＩＤを有する検索結果に関しては集約して（Ｓ９２７）、検索結果をユーザ９００に提示する（Ｓ９２８）。

本実施例の画像検索装置１０４は、入力された画像の１種類以上の特徴量と登録済みの画像の特徴量とを比較し、類似性の高い画像間のリンクを表す伝搬情報を生成し、画像データベース１０８に記録する。画像検索装置１０４は、伝搬情報に基づいて入力クエリを補強することにより得られた検索クエリを用いて、類似画像検索を行うことで、検索精度を確保しつつ検索の網羅率を高めることができる。

実施例１の画像検索装置１０４は、画像の登録時に伝搬情報を生成するが、本実施例の画像検索装置１０４は、画像の登録後に伝搬情報を更新したり、新たな属性に対する伝搬情報を付与したりすることができる。

図１０は、本実施例の画像検索システムの構成例を示すブロック図である。画像検索システム１００は、画像検索を用いて属性の付与及び伝搬情報の更新を行う。本実施例の画像検索システム１００は、実施例１の画像検索システム１００の構成に加え、伝搬情報更新部１００１を含む。伝搬情報更新部１００１は、例えば、画像検索部１１２による検索処理において得られた検索結果に含まれる画像に対して属性及び伝搬情報を付与する。伝搬情報更新部１００１は、クエリ画像と画像検索部１１２で得られた検索結果の画像との間に、例えばユーザの指示に従い、伝搬情報を付与する。

図１１は、伝搬情報の追加機能を利用して画像に対するアノテーションを行うための画面構成例である。アノテーションは、画像を説明する単語や文章などのタグを画像に対して付与していく作業であり、タグによる画像の分類や検索、及びデータベースの解析等を目的として行われる。また、十分な数の画像とタグの組が得られれば、機械学習を用いることで未知の画像を認識する画像識別器を作ることができる。図１１のアノテーション支援画面は、画像の類似性の自動判定だけでは正しいタグの付与が期待できない場合に、人の判断によってタグを伝搬させるための画面である。

アノテーション画面は、タグ入力領域１１０１、検索ボタン１１０２、参照画像表示領域１１０３、伝搬情報表示領域１１０４、タグ付け候補表示領域１１０５、及びタグ付けボタン１１０６を含む。参照画像表示領域１１０３及び伝搬情報表示領域１１０４に表示される情報は、例えば、クエリ補強部１１１によって表示装置１０３に出力される。タグ付け候補表示領域１１０５に表示される情報は、例えば、画像検索部１１２によって表示装置１０３に出力される。

ユーザがタグ入力領域１１０１にタグを入力し、検索ボタン１１０２をクリックすると、クエリ補強部１１１は、入力タグを持つ画像を参照画像として取得する。参照画像表示領域１１０３は参照画像を表示する。続いて画像検索部１１２は、各参照画像をクエリとした、入力タグ以外の所定の特徴量による類似画像検索を行い、入力タグが付与されていない類似画像を画像データベース１０８から取得する。

画像検索部１１２は、類似画像と類似度の組み合わせを含む検索結果を、例えば、類似度順に並び替える。検索結果は、タグ付与済みの画像に類似するため、同一のタグを付与すべき候補画像と考えることができる。タグ付け候補表示領域１１０５は、当該検索結果を表示する。また、例えば、クエリ補強部１１１は、伝搬情報テーブル３１０を参照して、参照画像と候補画像との間に伝搬情報を取得してもよい。伝搬情報表示領域１１０４は、クエリ補強部１１１が取得した伝搬情報を表示する。

伝搬情報表示領域１１０４が伝搬情報を可視化することで、例えば、ユーザが誤った候補提示の要因となる参照画像を発見しやすくなる。図１１の例では、候補画像ｃ、ｇ、及びｈは参照画像４との間に伝搬関係があり、参照画像４自体に誤ったタグが付与されている可能性がある。アノテーション画面はこのような画像をハイライト表示してもよい。

ユーザは、タグ付け候補表示領域１１０５に表示された画像をチェックし、入力タグを付与すべき画像を選択する。選択操作はマウスのドラッグ操作によって行われてもよいし、チェックボックスのクリックによって行われてもよい。次に、ユーザはタグ付けボタン１１０６をクリックし、選択された画像に対してタグを付与する。画像検索装置１０４は、選択された画像に対して入力タグを属性の特徴量として書き込み、参照画像との間に伝搬情報を追加する。

図１２は、アノテーションの処理の一例を示すフローチャートである。以下、図１２の各ステップについて説明する。クエリ入力部１１０は、ユーザが入力したタグを取得する（Ｓ１２０１）。

クエリ補強部１１１は、画像データベース１０８から入力タグが付与された画像を所定数取得し、取得した画像の画像ＩＤと当該入力タグ以外の所定種類の特徴量との組み合わせからなる当該所定数のクエリをクエリ集合とする（Ｓ１２０２）。この際、クエリ補強部１１１は、伝搬情報を用いて、クエリ集合に含めるクエリ画像を選択してもよい。例えば、伝搬情報のある特徴量間における類似度は高いため、タグ付けの当該特徴量を有する画像は参照画像として冗長である可能性が高い。そこで、クエリ補強部１１１は、例えば、伝搬情報のグラフ構造上で隣接する画像については、例えば、当該画像の一方のみをクエリ画像として選択する。これにより、クエリ補強部１１１は、同一のタグを持つバリエーションに富んだ参照画像を得ることができる。

画像検索部１１２は、ステップＳ１２０２で得られた参照画像の所定種類の特徴量を用いて、類似画像検索を実行する（Ｓ１２０３）。画像検索部１１２は、例えば、類似度の高い順に検索結果を並び替え、同一の画像ＩＤを有する検索結果を集約する。また、画像検索部１１２は、互いに類似する検索結果を集約して出力してもよく、これにより画像検索部１１２は、検索結果のバリエーションを確保しつつ、表示する検索結果の数を減らすことができる。

画像検索部１１２は、検索結果に含まれる画像をタグ付けの候補画像として表示装置１０３に表示する（Ｓ１２０４）。ユーザは、候補画像からタグ付け対象の画像を選択し、システムに伝える。この時、表示装置１０３は、候補画像が選択された時に、伝搬元又は伝搬先となる参照画像をハイライトするなどしてもよく、このときユーザが伝搬情報を確認しやすくなる。また、実施例１の方法で自動構築された伝搬情報と、ユーザが指定した伝搬情報が食い違った場合に、画像検索装置１０４は、アラートを出すようにしてもよい。

伝搬情報更新部１００１は、ユーザが選択した画像に対してタグを付与する（Ｓ１２０５）。また、伝搬情報更新部１００１は、参照画像それぞれに付与されたタグと、新規に付与されたタグと、の間に伝搬情報を追加する。即ち、伝搬情報更新部１００１は、例えば、伝搬情報テーブル３１０の、属性ＩＤフィールド３１２に入力タグを示すＩＤを、伝搬元フィールド３１３にクエリ画像の画像ＩＤを、伝搬先フィールド３１４に当該選択した画像を、伝搬強度にユーザが指定した値（例えば１．０）を、格納する。

本実施例の画像検索装置１０４は、画像登録後に伝搬情報を更新することができる。特に、本実施例の画像検索装置１０４は、アノテーション作業におけるタグ付け候補画像を高精度かつ網羅的に検索することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (14)

1. 登録済み画像と、前記登録済み画像の第１種類を含む１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから画像を検索する、画像検索装置であって、
   第１画像及び前記第１画像の前記１種類以上の特徴量を取得し、前記画像データベースに登録する画像取得部と、
   前記第１画像の各種類の特徴量について、前記登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、前記第１画像の当該種類の特徴量と、前記第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、前記伝搬情報に含める属性伝搬部と、
   前記画像データベースが保持する前記登録済み画像の特徴量から、第１種類の第１特徴量を取得し、前記第１特徴量を含む入力クエリを生成するクエリ入力部と、
   前記伝搬情報が示す対応に基づいて、前記第１特徴量を出発点とした、前記登録済み画像の特徴量をたどる探索を行い、前記探索における経路上の特徴量を有する登録済み画像の第１種類の特徴量を含む追加クエリを生成する、クエリ補強部と、
   前記入力クエリ及び前記追加クエリを使用して、前記画像データベースから画像を検索する、画像検索部と、を含む画像検索装置。
2. 請求項１に記載の画像検索装置であって、
   前記クエリ補強部は、前記探索において、同じ登録済み画像の異なる種類の特徴量をたどる、画像検索装置。
3. 請求項１に記載の画像検索装置であって、
   前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
   前記属性伝搬部は、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
   前記画像検索部は、
   前記入力クエリ及び前記追加クエリの特徴量それぞれと、前記登録済み画像の前記第１種類の特徴量それぞれと、の間の類似性を示す類似度を算出し、
   前記算出した類似度それぞれに、前記探索における経路上において、当該類似度の算出に用いられた前記入力クエリ及び前記追加クエリの特徴量と、前記第１特徴量と、の間に存在する前記伝搬情報が示す伝搬強度、に基づく重みを付与し、
   前記重みが付与された類似度に基づいて、前記画像データベースから画像を検索する、画像検索装置。
4. 請求項１に記載の画像検索装置であって、
   前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
   前記属性伝搬部は、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
   前記画像検索部は、前記入力クエリ又は前記追加クエリに含まれる特徴量の組み合わせであって、前記探索における経路上において、前記伝搬情報が示す伝搬強度が閾値以上である特徴量の組み合わせ、が存在する場合、前記組み合わせに含まれる特徴量の一方を使用して、前記画像データベースから画像を検索する、画像検索装置。
5. 請求項１に記載の画像検索装置であって、
   前記クエリ補強部は、
   前記追加クエリの特徴量を有する登録済み画像それぞれを前記画像データベースから取得し、
   前記取得した登録済み画像それぞれと、前記探索における経路を示す情報と、を出力する、画像検索装置。
6. 請求項１に記載の画像検索装置であって、
   前記１種類以上の特徴量は、画像に第１タグが付与されているか否かを示す第２種類の特徴量と、前記第２種類と異なる第３種類の特徴量と、を含み、
   前記クエリ補強部は、前記画像データベースから前記第１タグが付与されている登録済み画像を特定し、前記特定した登録済み画像それぞれの前記第３種類の特徴量を取得し、
   前記画像検索部は、前記取得した第３種類の特徴量それぞれを含むクエリを用いて、前記画像データベースからタグ付け候補画像を検索し、
   前記画像検索装置は、
   前記タグ付け候補画像に含まれる第２画像に前記第１タグを付与し、前記第２画像に付与された第１タグと、前記特定した登録済み画像に付与されている第１タグそれぞれと、のリンクを前記伝搬情報に含める、伝搬情報更新部を含む、画像検索装置。
7. 請求項６に記載の画像検索装置であって、
   前記クエリ補強部は、
   前記特定した登録済み画像それぞれと、前記タグ付け候補画像の前記第３種類の特徴量と、を前記画像データベースから取得し、
   前記伝搬情報を参照して、前記取得した第３種類の特徴量それぞれと、前記タグ付け候補画像の前記第３種類の特徴量それぞれと、のリンクを取得し、
   前記特定した登録済み画像それぞれと、前記取得したリンクを示す情報と、を出力し、
   前記画像検索部は、前記タグ付け候補画像を出力する、画像検索装置。
8. 画像検索装置が、登録済み画像と、前記登録済み画像の第１種類を含む１種類以上の特徴量と、前記登録済み画像の同種の特徴量間のリンクを示す伝搬情報と、を保持する画像データベースから、画像を検索する方法、であって、
   前記方法は、
   前記画像装置が、
   第１画像及び前記第１画像の前記１種類以上の特徴量を取得し、前記画像データベースに登録する手順と、
   前記第１画像の各種類の特徴量について、前記登録済み画像の当該種類の特徴量それぞれと、の間の類似同一性を示す伝搬強度を算出し、前記第１画像の当該種類の特徴量と、前記第１画像の当該種類の特徴量との間の伝搬強度が最大である登録済み画像の当該種類の特徴量と、のリンクを、前記伝搬情報に含める手順と、
   前記画像データベースが保持する前記登録済み画像の特徴量から第１種類の第１特徴量を取得し、前記第１特徴量を含む入力クエリを生成する手順と、
   前記伝搬情報が示す対応に基づいて、前記第１特徴量を出発点とした、前記登録済み画像の特徴量をたどる探索を行い、前記探索における経路上の特徴量を有する登録済み画像の第１種類の特徴量を含む追加クエリを生成する手順と、
   前記入力クエリ及び前記追加クエリを使用して、前記画像データベースから画像を検索する手順と、を含む方法。
9. 請求項８に記載の方法であって、
   前記画像検索装置が、
   前記追加クエリを生成する手順において、前記探索において、同じ登録済み画像の異なる種類の特徴量をたどる、方法。
10. 請求項８に記載の方法であって、
    前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
    前記方法は、
    前記画像検索装置が、
    前記含める手順において、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
    前記検索する手順において、
    前記入力クエリ及び前記追加クエリの特徴量それぞれと、前記登録済み画像の前記第１種類の特徴量それぞれと、の間の類似性を示す類似度を算出し、
    前記算出した類似度それぞれに、前記探索における経路上において、当該類似度の算出に用いられた前記入力クエリ及び前記追加クエリの特徴量と、前記第１特徴量と、の間に存在する前記伝搬情報が示す伝搬強度、に基づく重みを付与し、
    前記重みが付与された類似度に基づいて、前記画像データベースから画像を検索する、方法。
11. 請求項８に記載の方法であって、
    前記画像データベースが保持する伝搬情報は、前記登録済み画像の同種の特徴量間のリンクそれぞれにおける伝搬強度を含み、
    前記方法は、
    前記画像検索装置が、
    前記含める手順において、前記伝搬情報に含めたリンクにおける伝搬強度を、前記伝搬情報に含め、
    前記検索する手順において、前記入力クエリ又は前記追加クエリに含まれる特徴量の組み合わせであって、前記探索における経路上において、前記伝搬情報が示す伝搬強度が閾値以上である特徴量の組み合わせ、が存在する場合、前記組み合わせに含まれる特徴量の一方を使用して、前記画像データベースから画像を検索する、方法。
12. 請求項８に記載の方法であって、
    前記画像検索装置が、
    前記追加クエリの特徴量を有する登録済み画像それぞれを前記画像データベースから取得する手順と、
    前記取得した登録済み画像それぞれと、前記探索における経路を示す情報と、を出力する手順と、をさらに含む方法。
13. 請求項８に記載の方法であって、
    前記１種類以上の特徴量は、画像に第１タグが付与されているか否かを示す第２種類の特徴量と、前記第２種類と異なる第３種類の特徴量と、を含み、
    前記方法は、
    前記画像検索装置が、
    前記画像データベースから前記第１タグが付与されている登録済み画像を特定し、前記特定した登録済み画像それぞれの前記第３種類の特徴量を取得する手順と、
    前記取得した第３種類の特徴量それぞれを含むクエリを用いて、前記画像データベースからタグ付け候補画像を検索する手順と、
    前記タグ付け候補画像に含まれる第２画像に前記第１タグを付与し、前記第２画像に付与された第１タグと、前記特定した登録済み画像に付与されている第１タグそれぞれと、のリンクを前記伝搬情報に含める、手順と、をさらに含む方法。
14. 請求項１３に記載の方法であって、
    前記画像検索装置が、
    前記特定した登録済み画像それぞれと、前記タグ付け候補画像の前記第３種類の特徴量と、を前記画像データベースから取得する手順と、
    前記伝搬情報を参照して、前記取得した第３種類の特徴量それぞれと、前記タグ付け候補画像の前記第３種類の特徴量それぞれと、のリンクを取得する手順と、
    前記特定した登録済み画像それぞれと、前記取得したリンクを示す情報と、を出力する手順と、
    前記画像検索部は、前記タグ付け候補画像を出力する手順と、をさらに含む方法。

Images