JP5408241B2

JP5408241B2 - 情報処理装置、情報処理方法、プログラム

Info

Publication number: JP5408241B2
Application number: JP2011280270A
Authority: JP
Inventors: 建志入江; 泰洋田中
Original assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Current assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Priority date: 2011-12-21
Filing date: 2011-12-21
Publication date: 2014-02-05
Anticipated expiration: 2031-12-21
Also published as: JP2013131051A

Description

本発明は、画像検索装置における検索方式および表示方式に関する。

インターネット上から文書情報を探し出すためにキーワード（文字情報）を元にした検索システム（全文検索システムと呼ばれる）は、既に広く一般的に使われており、その基本的な技術に関しては、確立、成熟しているといえる。それに対して文字列情報ではない画像情報に関しては、その検索手法は全文検索システムほど確立しておらず、様々な手法が研究されている段階にある。

現在普及している手法としては、画像に付帯させた文字列情報（キーワードやタグと呼ばれる）を元に全文検索システムと同じ手法で検索するものがある。また、近年では、探したい画像の元となる画像（クエリー画像と呼ばれる）を提示し、このクエリー画像に近い画像を検索する仕組みが提供されるようになってきた。

上記の画像をクエリーとする画像検索システムでは、全文検索システムがキーワード（文字情報）を探索指標として使うように、クエリー画像から抽出した数値化または数値ベクトル化された画像特徴量を探索指標として用いる。利用者からクエリー画像を受けつけると、当該クエリー画像から特徴量を抽出し、該特徴量を予め検索対象の画像から抽出しておいた特徴量群と比較し、特徴量同士の類似度が高い画像をクエリー画像と類似する画像であると判定し、それらを検索結果として応答するといった動作を行う。

ここでの画像の特徴量としては、例えば、色（色相、彩度、明度等から構成される）に関する統計量、模様（テクスチャー）、局所的な領域の濃度変化特徴、写っているオブジェクトの形状、撮影日時、撮影場所などの様々の種類のものを念頭においている。

このような課題を解決するために、例えば特許文献１の画像検索の例では、検索に利用する特徴量として複数の種類を組み合わせて利用することができるようになっている。また、複数の特徴量を用いて検索する場合は、それらの重みを利用者がスライダーバーで指定することができるようになっている。

特開２００４−６２８０４号公報

一般にキーワードによる検索システムでは、文書が単に検索文字列（クエリーキーワード）そのもの、または同義語、もしくは類義語を、含むか否かを検索結果の妥当性の指標として用いることができる。これに対して画像を元に類似画像を探す類似画像検索システムの場合は、どのような指標（画像の特徴）に基づいて元の画像と対象の画像が類似すると判定していいのか、を一意に決定することが困難である。

たとえば、ある利用者がＡという写真を元に検索する場合は、該利用者はＡの風景と同じような風景が写っている写真を結果として期待しているケースが考えられる。また、別の利用者は同じＡという写真を元にして写真に写っているオブジェクト（例えば椅子）と同じようなオブジェクトが写っている写真を結果として期待しているケースも考えられる。このようにあるクエリー画像から利用者が期待する結果を一意に決定すること、つまりクエリー画像のどの特徴に着目して類似性を判断すればよいのかを自動的に決定することが難しい。

上記特許文献１の類似画像検索システムでは、利用者が各特徴量の重みを指定する際に、全体色・色分布・輪郭などのキーワードのみで、特徴量の意味するところを判断しなくてはならない。また、スライダーバーの値から各特徴量の重みの割合を直感的に判断することは難しい。

そこで、本発明の目的は、各特徴量がクエリー画像に与える影響と各特徴量の重み付けの割合を、利用者が直感的・視覚的に確認できる画像検索の仕組みを提供することである。

本発明は、検索画像と類似する画像を、検索対象画像から検索して表示する情報処理装置であって、ユーザによる検索画像の入力を受け付ける受付手段と、前記受付手段により受け付けた検索画像と類似する画像を検索する際に用いられる特徴量について、特徴量の種類ごとに重みの調整を受け付ける重み調整受付手段と、前記重み調整受付手段により調整を受け付けた特徴量の重みと、前記検索画像から抽出される特徴量とを用いて検索対象画像を検索することで得られた画像を表示する第１の表示手段と、前記重み調整受付手段により重みの調整を受け付ける特徴量の種類ごとに、前記検索画像から抽出される特徴量を用いて検索対象画像を検索することで得られた画像を、当該特徴量の種類ごとに表示する第２の表示手段と、を備えることを特徴とする。

また、本発明は、検索画像と類似する画像を、検索対象画像から検索して表示する情報処理装置における情報処理方法であって、前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、前記情報処理装置の重み調整受付手段が、前記受付工程において受け付けた検索画像と類似する画像を検索する際に用いられる特徴量について、特徴量の種類ごとに重みの調整を受け付ける重み調整受付工程と、前記情報処理装置の第１の表示手段が、前記重み調整受付工程において調整を受け付けた特徴量の重みと、前記検索画像から抽出される特徴量とを用いて検索対象画像を検索することで得られた画像を表示する第１の表示工程と、前記情報処理装置の第２の表示手段が、前記重み調整受付工程により重みの調整を受け付ける特徴量の種類ごとに、前記検索画像から抽出される特徴量を用いて検索対象画像を検索することで得られた画像を、当該特徴量の種類ごとに表示する第２の表示工程と、を備えることを特徴とする。

また、本発明は、検索画像と類似する画像を、検索対象画像から検索して表示する情報処理装置において実行可能なプログラムであって、前記情報処理装置を、ユーザによる検索画像の入力を受け付ける受付手段と、前記受付手段により受け付けた検索画像と類似する画像を検索する際に用いられる特徴量について、特徴量の種類ごとに重みの調整を受け付ける重み調整受付手段と、前記重み調整受付手段により調整を受け付けた特徴量の重みと、前記検索画像から抽出される特徴量とを用いて検索対象画像を検索することで得られた画像を表示する第１の表示手段と、前記重み調整受付手段により重みの調整を受け付ける特徴量の種類ごとに、前記検索画像から抽出される特徴量を用いて検索対象画像を検索することで得られた画像を、当該特徴量の種類ごとに表示する第２の表示手段として機能させることを特徴とする。

本発明によれば、利用者が各特徴量の重みを指定する際に、各特徴量がクエリー画像に与える影響と各特徴量の重みの割合を、直感的・視覚的に確認することができ、画像検索における利用者の利便性が向上する。

本発明の画像検索システムの構成の一例を示すシステム構成図である。図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。図１に示した利用者端末１０１、画像検索装置１０２の機能ブロックの構成を表す図である。図３に示した特徴量抽出部５０３の内部の機能ブロックを表す図である。図３に示した特徴量データベース５０５における特徴量テーブルの一例を示す図である。本発明における画像検索システムにおける検索対象画像の登録手順の一例を示すフローチャートである。本発明における画像検索システムにおける検索処理の手順を示すフローチャートである。本発明における画像検索システムにおける検索結果の更新処理の手順を示すフローチャートである。本発明における画像検索システムにおける類似画像検索の重み指定オブジェクトの一例を示す図である。本発明における画像検索システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例を示す図である。本発明における画像検索システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例を示す図である。本発明における画像検索システムにおける類似画像の総合類似度を求める式の一例を示す図である。本発明における画像検索システムにおける重み変更後の各特徴量の重みを求めるための式の一例を示す図である。本発明における画像検索システムにおける類似画像検索の重み指定オブジェクトの一例を示す図である。本発明における画像検索システムにおける類似画像検索の重み指定オブジェクトの一例を示す図である。本発明における画像検索システムにおける重み変更後の各特徴量の重みを求めるための式の一例を示す図である。本発明における画像検索システムにおける類似画像検索の重み指定オブジェクトの一例を示す図である。本発明における画像検索システムにおける類似画像検索の重み指定オブジェクトの一例を示す図である。本発明における画像検索システムにおける重み変更後の各特徴量の重みを求めるための式の一例を示す図である。本発明における画像検索システムにおける重み指定オブジェクト生成の詳細処理を示すフローチャートである。

＜第１の実施形態＞

図１は、本発明の実施形態における中継処理システムの構成を示す図である。

図１は、ひとつ又は複数の利用者端末１０１と、画像検索装置１０２がローカルエリアネットワーク（ＬＡＮ）１０３を介して接続される構成となっている。

利用者端末１０１は、画像の検索を行う利用者が使用する情報処理装置であって、検索要求を発信する機能と検索結果を受信して表示する機能を有する。

画像検索装置１０２は、検索の対象となる複数の画像を記憶しており、利用者端末１０１からの検索要求を受け付け、画像の検索処理を行い検索結果を応答する機能を有する。また、外部から検索対象とする画像を入力する手段を備えている。

以下、図２を用いて、図１に示した利用者端末１０１，画像検索装置１０２のハードウェア構成について説明する。

図２は、図１に示した利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、入力装置２０９等からの入力を制御する。２０６はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置２１０への表示を制御する。なお、ディスプレイ装置は、液晶ディスプレイに限られず、ＣＲＴディスプレイなどであっても良い。これらは必要に応じてクライアントが使用するものである。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

ハードウエア上で動作する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。

なお、全ての装置がこれらの構成を備えているわけではなく、必要なものを夫々備えていればよい。

次に、図３を用いて、本発明の画像検索システムの機能ブロックの構成について説明する。

画像検索システムは、利用者端末１０１と画像検索装置１０２と画像ソース６００から構成される。利用者端末１０１と画像検索装置１０２と画像ソース６００とはそれぞれネットワークを介して相互に通信可能に接続されている。

利用者端末１０１は、画像検索装置１０２に対して、画像の検索要求を送り、また検索結果を受信し表示するための情報処理装置である。利用者端末１０１は、検索クリエー部３０１と、結果表示部３０２と、再検索指示部３０３と、から構成される。

検索クエリー部３０１は、利用者から検索要求としてのクエリー画像を受け付ける入力手段を有し、当該クエリー画像を、ネットワークを通じて、画像検索装置１０２の検索処理部５０３へ送信する手段をもつ機能処理部である。

結果表示部３０２は、画像検索装置１０２から応答される検索結果を受信する手段と、該検索結果を表示する手段を有する機能処理部である。図１０、図１１等に表示画面の例を示す。

再検索指示部３０３は、結果表示部３０２に表示された重み指定オブジェクト上で、利用者がマウス等のデバイスを使用して重みを変更した際の該変更情報を収集し、再検索に利用する特徴量重みベクトルを計算する手段と、該特徴量重みベクトルを画像検索装置１０２の総合類似度計算部５０６へ送信する手段を有する機能処理部である。

画像検索装置１０２は、利用者端末１０１から、画像の検索要求を受信し、蓄積された画像に対して要求された検索処理を実行し、検索結果情報を利用者端末１０１へ送信する情報処理装置である。画像検索装置１０２は、画像登録部５０１と、特徴量抽出部５０２と、検索処理部５０３と、特徴量近似度計算部５０４と、重み指定オブジェクト生成部５０５と、総合類似度計算部５０６と、類似画像検索結果生成部５０７と、画像データベース５０８と、特徴量データベース５０９と、から構成される。

画像登録部５０１は、検索対象となる画像を本システムへ登録する機能処理部である。画像ソース６００で指示されるシステムの外部のアクターから、検索対象とする画像データを受信または取得し、当該画像データの特徴量を特徴量データベース５０９へ保存し、当該画像データ自体を画像データベース５０８へ保存する機能を有する。

特徴量抽出部５０２は、画像データを入力として受け取り、該画像データの各種特徴量を抽出する機能処理部である。図４は、特徴量抽出部５０２の内部の機能ブロックの一例を示す図である。図４で示されるように、特徴量抽出部５０２は、複数の特徴量抽出部から構成される。図４の５０２１から５０２４で指示される特徴量抽出部は、各々異なる種類の画像特徴量を抽出する機能処理部である。例えば、スケーラブルカラー特徴量（画像全体における色の分布状態を表す特徴量）、カラーレイアウト特徴量（画像の領域毎の色の分布状態を表す特徴量）、エッジヒストグラム特徴量（画像中の境界線に関する特徴量）、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの特徴量を抽出する実装をそれぞれに当てはめることが考えられる。また、個別特徴量抽出部の個数は図４では４つであるが特に制限されるものではなく、利用する画像特徴量の数だけ実装されればよい。

検索処理部５０３は、検索要求としてクエリー画像の受け付け、当該画像データの特徴量抽出処理を特徴量抽出部５０２へ指示し、その結果として受け取る特徴量情報を、特徴量近似度計算部５０４へ渡し、蓄積された画像との近似度ベクトルの算出を指示し、初期特徴量重みベクトルを算出し、その近似度ベクトルデータと初期特徴量重みベクトルを重み指定オブジェクト生成部５０５へ渡して重み指定オブジェクトの生成を指示し、該初期特徴量重みベクトルを総合類似度計算部５０６へ渡して総合類似度の計算を指示する機能処理部である。

特徴量近似度計算部５０４は、検索処理部５０３からある画像に関する複数種類の画像特徴量を受け取り、当該画像特徴量と特徴量データベース５０９の中に保存されている特徴量を比較して各々との近似度を計算し近似度ベクトルを生成する機能処理部である。

重み指定オブジェクト生成部５０５は、検索処理部５０３から検索結果となる画像群の近似度ベクトルデータと初期特徴量重みベクトルを受け取り、利用者が再検索時に特徴量の重み付けを直感的・視覚的に調整するための、重み指定オブジェクトを生成し、利用者端末１０１の結果表示部３０２へ送信する機能処理部である。

総合類似度計算部５０６は、利用者端末１０１の再検索指示部３０３、または検索処理部５０３から特徴量重みベクトルを受け取り、クエリー画像と蓄積された画像との総合類似度（近似度ベクトルと特徴量重みベクトルから算出する、該特徴量重みベクトルでの画像類似度）を計算し、その総合類似度を類似画像検索結果生成部５０７へ渡し、該特徴量重みベクトルでの類似画像検索結果の生成を指示する機能処理部である。

類似画像検索結果生成部５０７は、総合類似度計算部５０６から、画像の総合類似度を受け取り、対応する画像のサムネイルを利用して類似度の高い順に類似画像検索結果を生成し、利用者端末１０１の結果表示部３０２へ送信する機能処理部である。

画像データベース５０８は、検索対象となる画像データ群を保存する記憶領域である。保存された画像データはＩＤ（識別子）によって直接アクセスできる手段を有する。

特徴量データベース５０９は、検索対象となる画像データの各種特徴量のデータ（図５）を保存する記憶領域である。その特徴量データは図５で例示されるテーブルで管理されている。

図５のテーブルは、１行が画像データベース５０８に蓄えられている１つの画像データを表し、画像データのＩＤ（識別子）（画像ＮＯとも言う）とともに特徴量１から特徴量４の列名で指示されるカラムに、当該画像のそれぞれの特徴量データが保存されていることを表している。

画像ソース６００は、本画像検索システムにおける検索対象画像の出所（入力ソース）を表す外部アクターである。例えば、インターネット上のＦｌｉｃｋｒやＦａｃｅｂｏｏｋ等の写真共有機能を有するサイトであったり、直接写真データを提供する利用者そのもの、各種カメラやスキャナー等の映像入力機器なども考えられる。

次に図６を用いて、検索対象となる画像データを本画像検索システムへ登録する処理を説明する。

以下で説明する画像ソース６００（外部装置）は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの管理者が操作する管理者端末とした場合の例で説明する。

ステップＳ６０１では、画像登録部５０１は、画像ソース６００で表わされるシステム管理者が操作する管理者端末から検索対象となる画像データを受信する。

ステップＳ６０２では、画像登録部５０１は、前記受信した画像データを、特徴量抽出部５０２へ入力する。特徴量抽出部５０２は、前記画像データを、図４の５０２１から５０２４で例示される各個別の特徴量抽出部にかけて当該画像データの１から４の特徴量を算出する。通常これらの特徴量は一次元数値ベクトルとして表現される。特徴量抽出部５０２は、抽出した前記特徴量データ（１から４の４つ）を、画像登録部５０１へ入力する。

ステップＳ６０３では、画像登録部５０１は、ステップＳ６０２で取得した特徴量データを、特徴量データベース５０９へ登録する。前記特徴量データは、図５で例示されるようなテーブル構造で保存される。

図５を用いて特徴量データを保存するテーブル構造を説明する。

既に説明したように、ある１つの画像に対して、複数種類の特徴量が抽出される。各種特徴量は数値（整数や浮動小数点）の多次元ベクトルで表現される。例えば、局所特徴量の１つであるＳＩＦＴ特徴量は、浮動小数点の１２８次元ベクトルとして表現されている。この実施例で説明する画像検索システムでは、図４で示しているように特徴量１から特徴量４までの４つの種類の画像特徴量を取得するものとする。図５のテーブルは、１つの行が１つの検索対象画像に関する特徴量データを格納している。列名が特徴量１から特徴量４までの各々のカラムに各特徴量データが格納されている。それぞれの特徴量は、次元数や数値の型が特徴量の種類によって異なっているが、基本的には数値の多次元ベクトルデータとして保存されている。

ステップＳ６０４では、画像登録部５０１は、前記受信した画像データを画像データベース５０８に保存する。
以上で、画像登録の処理は終了する。

次に、図７を用いて、画像検索における処理のフローを説明する。

ステップＳ７０１では、検索処理部５０３は、利用者端末１０１の検索クエリー部３０１から送信される検索クエリー画像を受信する。

ステップＳ７０２では、検索処理部５０３は、前記クエリー画像データを、特徴量抽出部５０２へ入力し、該画像の特徴量データ（この実施例では４つの特徴量ベクトル）を抽出する。

ステップＳ７０３では、検索処理部５０３は、ステップＳ７０２で取得した特徴量データを、特徴量近似度計算部５０４に入力する。特徴量近似度計算部５０４は受け取った特徴量データを、特徴量データベース５０９に保存されている特徴量データ群とそれぞれ比較して、それぞれとの近似度を算出する。１つの特徴量に関する近似度は、例えば数値ベクトル間のユーグリッド距離で表現される。検索対象画像１つに対するクエリー画像の近似度は、特徴量種類（この実施例ではＡからＤ）毎のユーグリッド距離の配列、つまり多次元数値ベクトルとして表現される。特徴量近似度計算部５０４は、検索対象画像全てに対してクエリー画像との近似度を表す多次元数値ベクトル（以降近似度ベクトルと呼ぶ）を生成し、該近似度ベクトル群を検索処理部５０３へ応答する。

ステップＳ７０４では、検索処理部５０３は、初期特徴量重みベクトルを算出する。初期特徴量重みベクトルは、各重みの値が、足し合わせると１となる、利用する特徴量数の次元を持つ多次元数値ベクトルとなり、各特徴量の重みの初期値を表している。この実施例では、特徴量１から特徴量４の重みが全て同じとなるよう、初期値を０．２５とした初期特徴量重みベクトル（４次元数値ベクトル）を算出する。

この実施例では、初期特徴量重みベクトルの各値を、特徴量１から特徴量４まで全て０．２５としたが、これは特に固定的なものではなく、利用形態や利用する特徴量に合わせて初期値を設定すれば良い。

ステップＳ７０５では、検索処理部５０３は、ステップＳ７０３で取得した近似度ベクトル群と、ステップＳ７０４で算出した初期特徴量重みベクトルを、重み指定オブジェクト生成部５０５へ入力する。重み指定オブジェクト生成部５０５は、前記近似度ベクトル群と初期特徴量重みベクトルから、利用者が各特徴量の重みを調整するためのオブジェクト（以降、重み指定オブジェクトと呼ぶ）を生成する。ステップＳ７０５の詳細処理は、図２０を用いて後述する。

図９に重み指定オブジェクトの例を示す。重み指定オブジェクトは、利用者が直感的に各特徴量の重みを調整するためのオブジェクトである。９００で指示しているオブジェクト（中心に配置される画像）はクエリー画像のサムネイルを表している。

９０２から９０６で指示されるオブジェクトは、前記近似度ベクトル群の、特徴量１のみに着目した場合の類似画像のサムネイルを表している。該サムネイル群は、９０１で指示される円内に、９０７で指示される線分と、９０８で指示される線分とで区切られた領域に配置される。この２本の線分間の角度は、特徴量１の重み付けの割合を表している。

９０９から９１３で指示されるオブジェクトは、前記近似度ベクトル群の、特徴量２のみに着目した場合の類似画像のサムネイルを表している。該サムネイル群は、９０１で指示される円内に、９０７で指示される線分と、９１４で指示される線分とで区切られた領域に配置される。この２本の線分間の角度は、特徴量２の重み付けの割合を表している。

９１５から９１９で指示されるオブジェクトは、前記近似度ベクトル群の、特徴量３のみに着目した場合の類似画像のサムネイルを表している。該サムネイル群は、９０１で指示される円内に、９１４で指示される線分と、９２０で指示される線分とで区切られた領域に配置される。この２本の線分間の角度は、特徴量３の重み付けの割合を表している。

９２１から９２５で指示されるオブジェクトは、前記近似度ベクトル群の、特徴量４のみに着目した場合の類似画像のサムネイルを表している。該サムネイル群は、９０１で指示される円内に、９０８で指示される線分と、９２０で指示される線分とで区切られた領域に配置される。この２本の線分間の角度は、特徴量４の重み付けの割合を表している。

重み指定オブジェクトの各線分間の角度は初期特徴量重みベクトルから計算される。この実施例では、初期特徴量重みベクトルの値は全て０．２５としたので、各線分間の角度は９０度として生成される。

このような重み指定オブジェクトを表示することで、利用者は、特徴量ごとの類似画像のサムネイルとクエリー画像を見比べることが可能となる。これにより、各特徴量がクエリー画像に与える影響を直感的に把握しながら、各線分をドラッグするなどして、特徴量１から特徴量４の重みを調整することができる。

各特徴量がクエリー画像に与える影響を直感的に把握できることにより、どの特徴量を調整すれば所望の画像が検索されるのかを容易に判断することが可能となり、ユーザはクエリー画像に類似する所望の画像を容易に探し出すことが可能となる。

特徴量ごとの類似画像のサムネイルは、図９中では５枚ずつ表示されているが、その枚数は特に制限されるものではなく、利用形態に合わせた枚数が表示されれば良い。

また、特徴量ごとの重みに応じて、表示される類似画像のサムネイルの枚数が変化するように設定することも可能である。

ステップＳ７０６では、重み指定オブジェクト生成部５０５は、ステップＳ７０５で生成した重み指定オブジェクトを、利用者端末１０１の結果表示部３０２へ送信する。

ステップＳ７０７では、検索処理部５０３は、ステップＳ７０４で算出した初期特徴量重みベクトルと、ステップＳ７０３で取得した近似度ベクトル群を、総合類似度計算部５０６へ入力する。総合類似度計算部５０６は、初期特徴量重みベクトルと近似度ベクトルデータを用いて、各画像ごとに総合類似度を算出する。

図１２に、この総合類似度を計算する式を示す。式中の利用する特徴量の数Ｎは、この実施例では４であり、総合類似度は、特徴量１から特徴量４のそれぞれの近似度と重みを掛けた値を足しあわせて計算される。

ステップＳ７０８では、総合類似度計算部５０６は、ステップＳ７０７で算出した総合類似度を、類似画像検索結果生成部５０７へ入力する。類似画像検索結果生成部５０７は、総合類似度に基づいて、対応する各画像のサムネイル群を、類似画像検索結果として生成する。

ステップＳ７０９では、類似画像検索結果生成部５０７は、生成された類似画像検索結果を、利用者端末１０１の結果表示部３０２へ送信する。

次に、図２０を用いて、ステップＳ７０５の詳細処理について説明する。

ステップＳ２００１では、重み指定オブジェクト生成部５０５は、ｎに１を代入し、Ｎに利用する特徴量の数（この実施例では４）を代入する。

ステップＳ２００２では、重み指定オブジェクト生成部５０５は、近似度ベクトルデータ群において、特徴量ｎのみに着目した場合の類似画像検索結果を生成する。

ステップＳ２００３では、ｎがＮより小さければステップＳ２００４へ進む。そうでない場合、ステップＳ２００５へ進む。

ステップＳ２００４では、重み指定オブジェクト生成部５０５は、ｎの値を１増加させた後、ステップＳ２００２へ進む。

ステップＳ２００５では、重み指定オブジェクト生成部５０５は、前ステップＳ２００１からステップＳ２００４によって生成された各特徴量ごとの類似画像検索結果の上位５件のサムネイルと、初期特徴量重みベクトルを用いて、重み指定オブジェクトを生成する。

以上で、利用者が検索要求を発信してから検索結果が応答されるまでの処理を説明した。

次に、図８を用いて利用者の操作によって検索に用いる各特徴量の重みを調整し、検索結果を変更する処理のフローを説明する。

ステップＳ８０１では、ステップＳ７０５において重み指定オブジェクト生成部５０５から送信された重み指定オブジェクトを、利用者端末１０１の結果表示部３０２において受信する。

ステップＳ８０２では、前記重み指定オブジェクトを結果表示部３０２において表示する。

ステップＳ８０３では、ステップＳ７０９において類似画像検索結果生成部５０７から送信された類似画像検索結果を、利用者端末１０１の結果表示部３０２において受信する。

ステップＳ８０４では、前記類似画像検索結果を結果表示部３０２において表示する。

図１０は、重み指定オブジェクトと類似画像検索結果を表示している結果表示部３０２の画面例である。１０００で指示されるオブジェクトは、ステップＳ７０５で生成された重み指定オブジェクトを表している。利用者により、１００１から１００４で指示される線分をドラッグするなどされることで、特徴量１から特徴量４の重みの調整を受け付ける。

各特徴量の重みの調整方法については、１００１〜１００４の線分をドラッグする以外であっても、いずれの方法であっても良い。

１００５で指示される領域に、ステップＳ７０８で生成された各類似画像のサムネイルが、類似度の高い順に表示されている。図１０中では、類似画像検索結果の表示枚数は２５枚としているが、その枚数は特に制限されるものではなく、利用形態に合わせた枚数を表示すれば良い。

ステップＳ８０５では、各特徴量の重みの変更を受け付けたか否かを判断する。具体的には、上述の通り、利用者による重み指定オブジェクトに対する指示があったか否かにより判断する。

各特徴量の重みの変更を受け付けた場合（ステップＳ８０５：ＹＥＳ）は、処理をステップＳ８０６に移行する。

各特徴量の重みの変更を受け付けていない場合（ステップＳ８０５：ＮＯ）は、本フローチャートに示す処理を終了する。

ここで、本実施例では不図示であるが、重み指定オブジェクトに再検索ボタンを表示しておき、利用者から各特徴量の重みの変更を受け付け、再検索ボタンが押下されることで、ステップＳ８０６に遷移する（ステップＳ８０５でＹＥＳと判断する）ようにしても良い。

すなわち、ステップＳ８０５では、各特徴量の重みの変更を受け付け、再検索ボタンが押下されたか否かを判断する処理であっても良い。

図１１は、利用者によって特徴量の重みを変更された後の重み指定オブジェクトを表示している結果表示部３０２の画面例である。

ステップＳ８０６では、再検索指示部３０３は、１１００で指示される変更された重み指定オブジェクトの、１１０１から１１０４で指示される各線分間の角度と、図１３中の式を用いて、変更後の各特徴量の重みを計算する。式中のＮは利用する特徴量の数を表し、この実施例では特徴量１から特徴量４の重み変更後の重みを計算する。再検索指示部３０１は、それらの重みを配列とした４次元数値ベクトルを、特徴量重みベクトルとして算出する。

ステップＳ８０７では、再検索指示部３０３は、ステップＳ８０６で算出した特徴量重みベクトルを、画像検索装置１０２の総合類似度計算部５０６へ送信する。

ステップＳ８０８では、画像検索装置１０２の総合類似度計算部５０６は、ステップＳ８０７で送信された特徴量重みベクトルを受信する。

ステップＳ８０９では、総合類似度計算部５０６は、ステップＳ８０８で受信した特徴量重みベクトルと、ステップＳ７０３において生成していた近似度ベクトル群と、図１２の式を用いて各画像ごとの総合類似度を算出する。

ステップＳ８１０では、総合類似度計算部５０６は、ステップＳ８０９で算出した総合類似度を、類似画像検索結果生成部５０７へ入力する。類似画像検索結果生成部５０７は、総合類似度に基づいて、対応する各画像のサムネイル群を、新たな類似画像検索結果として生成する。

ステップＳ８１１では、類似画像検索結果生成部５０７は、生成された類似画像検索結果を、利用者端末１０１の結果表示部３０２へ送信する。

ステップＳ８１１の後は、利用者端末１０１においてステップＳ８０３の処理へ続く。

以上図８を用いて説明したように、図９に示される重み指定オブジェクトを利用することによって、利用者がより直感的・視覚的に、各特徴量が与える影響を確認しながら、特徴量の重みを調整することが可能となる。これにより、特徴量の重みを変更して画像を検索する際の利用者の利便性が向上する。

＜第２の実施形態＞
図１４、図１５、図１６を用いて本発明における重み指定オブジェクトの別の例について説明する。

図１４に重み指定オブジェクトの例を示す。１４００で指示されるオブジェクトは、クエリー画像のサムネイルを表している。１４０１から１４０４で指示されるオブジェクトは、図９を使って説明した例と同様、各特徴量を単独で用いた場合の類似画像のサムネイル群を表している。この例では、各特徴量の重み（の割合）は、１４０１クエリー画像と、１４０１から１４０４で指示される各オブジェクトとの距離で調整する。また、その時の各特徴量の重みの割合は、１４０５で指示される円グラフで表されている。

このように、各特徴量の重みをクエリー画像からの距離で調整する場合には、他の特徴量にかかるオブジェクトとクエリー画像との距離を考慮しなければ、それぞれの特徴量の重みの割合を判断することが難しい。そこで、１４０５のような割合を示す円グラフを表示することで、当該課題を解決することが可能となる。

図１５に、重み調整後の重み指定オブジェクトを示す。１４０１で指示されるオブジェクトがクエリー画像に近づき、１４０５で指示される円グラフにおいて、特徴量１の重みの割合が増加している。各特徴量の重みの割合は、クエリー画像との距離と、図１６の式を用いて、クエリー画像との距離が小さいほど割合が大きくなるように計算される。ただし、クエリー画像との距離が０の特徴量については、図１６式中の値として、距離の逆数ではなくそのまま０を利用する（当該特徴量については無視をして計算される）。すなわち、無視をしたい特徴量については、クエリー画像との距離を０にすれば良い。

また、クエリー画像との距離を近づけるほど、類似画像のサムネイルを大きく表示するといった利用者の利便性を向上させる工夫があってもよい。

以上図１４、１５、１６を用いて、利用者がより直感的・視覚的に、各特徴量が与える影響を確認しながら、特徴量の重みを調整することが可能となる重み指定オブジェクトの例を説明した。

＜第３の実施形態＞
図１７、図１８、図１９を用いて本発明における重み指定オブジェクトの別の例について説明する。

図１７に重み指定オブジェクトの例を示す。１７００で指示されるオブジェクトは、クエリー画像のサムネイルを表している。１７０１から１７０４で指示されるオブジェクトは、図９を使って説明した例と同様、各特徴量を単独で用いた場合の類似画像のサムネイル群を表している。この例では、各特徴量の重み（の割合）は、１７０１から１７０４で指示される各オブジェクトの円の半径（面積）で調整する。

各特徴量の重みを変更したい場合には、各オブジェクト（類似画像のサムネイル）が表示されている円に対して、ユーザが指示をすることで調整が可能である。例えば、円周部分をドラッグすることにより円を大きくしたり小さくしたりすることで調整が可能である。その他、円に対してマウス操作による指示や、キーボード操作による指示など、円の大小を調整（特徴量の重みを調整）する方法はいずれの方法であっても良い。

図１８に、重み変更後の重み指定オブジェクトを示す。１７０３で示されるオブジェクトの面積が大きくなり、特徴量３の重みの割合が増加していることを示している。各特徴量の重みの割合は、１７０１から１７０４で指示されるオブジェクトの半径と、図１９の式を用いて計算される。

また、図１７、図１８にも、図１４の１４０５のように各特徴量の重みの割合を示すグラフを表示するようにしても良い。

さらに、オブジェクトの面積に応じて、オブジェクト内に表示される類似画像の枚数を変化させても良い。

以上図１７、１８、１９を用いて、利用者がより直感的・視覚的に、各特徴量が与える影響を確認しながら、特徴量の重みを調整することが可能となる重み指定オブジェクトの例を説明した。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

また、本発明におけるプログラムは、図６〜図８、図２０の処理方法をコンピュータが実行可能なプログラムである。なお、本発明におけるプログラムは図６〜図８、図２０の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１利用者端末
１０２画像検索装置
１０３ＬＡＮ
３０１検索クエリー部
３０２結果表示部
３０３再検索指示部
５０１画像登録部
５０２特徴量抽出部
５０３検索処理部
５０４特徴量近似度計算部
５０５重み指定オブジェクト生成部
５０６総合類似度計算部
５０７類似画像検索結果生成部
５０８画像データベース
５０９特徴量データベース
６００画像ソース

Claims

検索画像と類似する画像を、検索対象画像から検索して表示する情報処理装置であって、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記受付手段により受け付けた検索画像と類似する画像を検索する際に用いられる特徴量について、特徴量の種類ごとに重みの調整を受け付ける重み調整受付手段と、
前記重み調整受付手段により調整を受け付けた特徴量の重みと、前記検索画像から抽出される特徴量とを用いて検索対象画像を検索することで得られた画像を表示する第１の表示手段と、
前記重み調整受付手段により重みの調整を受け付ける特徴量の種類ごとに、前記検索画像から抽出される特徴量を用いて検索対象画像を検索することで得られた画像を、当該特徴量の種類ごとに表示する第２の表示手段と、
を備えることを特徴とする情報処理装置。
前記重み調整受付手段は、前記第２の表示手段により特徴量の種類ごとに検索された画像が表示された領域に対するユーザの操作を受け付けることにより、前記検索画像と類似する画像を検索する際に用いられる特徴量の重みの調整を受け付けることを特徴とする請求項１に記載の情報処理装置。
前記第２の表示手段は、さらに、
前記重み調整受付手段により受け付けた、前記検索画像と類似する画像を検索する際に用いられる特徴量の重みを示す情報を表示することを特徴とする請求項１または２に記載の情報処理装置。
前記第２の表示手段は、さらに、
前記重み調整受付手段により受け付けた、前記検索画像と類似する画像を検索する際に用いられる特徴量の重みを示す情報を、特徴量の重みを調整するためのユーザの操作を受け付ける領域の面積により示すことを特徴とする請求項３に記載の情報処理装置。
前記第２の表示手段は、さらに、
前記重み調整受付手段により受け付けた、前記検索画像と類似する画像を検索する際に用いられる特徴量の重みを示す情報を、特徴量の重みを調整するためのユーザの操作を受け付ける領域と、前記第２の表示手段により表示される検索画像との距離により示すことを特徴とする請求項３に記載の情報処理装置。
検索画像と類似する画像を、検索対象画像から検索して表示する情報処理装置における情報処理方法であって、
前記情報処理装置の受付手段が、ユーザによる検索画像の入力を受け付ける受付工程と、
前記情報処理装置の重み調整受付手段が、前記受付工程において受け付けた検索画像と類似する画像を検索する際に用いられる特徴量について、特徴量の種類ごとに重みの調整を受け付ける重み調整受付工程と、
前記情報処理装置の第１の表示手段が、前記重み調整受付工程において調整を受け付けた特徴量の重みと、前記検索画像から抽出される特徴量とを用いて検索対象画像を検索することで得られた画像を表示する第１の表示工程と、
前記情報処理装置の第２の表示手段が、前記重み調整受付工程により重みの調整を受け付ける特徴量の種類ごとに、前記検索画像から抽出される特徴量を用いて検索対象画像を検索することで得られた画像を、当該特徴量の種類ごとに表示する第２の表示工程と、
を備えることを特徴とする情報処理方法。
検索画像と類似する画像を、検索対象画像から検索して表示する情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
ユーザによる検索画像の入力を受け付ける受付手段と、
前記受付手段により受け付けた検索画像と類似する画像を検索する際に用いられる特徴量について、特徴量の種類ごとに重みの調整を受け付ける重み調整受付手段と、
前記重み調整受付手段により調整を受け付けた特徴量の重みと、前記検索画像から抽出される特徴量とを用いて検索対象画像を検索することで得られた画像を表示する第１の表示手段と、
前記重み調整受付手段により重みの調整を受け付ける特徴量の種類ごとに、前記検索画像から抽出される特徴量を用いて検索対象画像を検索することで得られた画像を、当該特徴量の種類ごとに表示する第２の表示手段として機能させることを特徴とするプログラム。