JP5331783B2 - 画像検索装置、画像検索方法、および画像検索プログラム - Google Patents

Description

本発明は、選択された画像の類似画像を検索して表示させる画像検索装置、画像検索方法、および画像検索プログラムに関する。

従来、インターネット上で公開されている画像コンテンツを検索するには、キーワードを検索キーとし、画像に関連付けられたタグと比較することで検索キーに類似する画像を検索する技術や、画像を検索キーとし、画像の色、輪郭線、配色等を数値化した特徴量を比較することで検索キーに類似する画像を検索する技術が知られている。
また、画像検索におけるユーザインターフェースとして、画像検索を続けて行う際に過去の検索履歴も同時に表示する技術が知られている（例えば、非特許文献１参照）。
非特許文献１に記載のツールを用いれば、選択した画像の周囲に類似画像が紐付けられて表示され、さらに画像を選択すると、選択された画像の周囲に類似画像が紐付けられて放射状に広がっていき、過去の検索履歴も画面上に表示される。

"Ｇｏｏｇｌｅ ｉｍａｇｅ−ｓｗｉｒｌ"、［online］、［２０１０年１１月８日検索］、インターネット（ＵＲＬ：http://image-swirl.googlelabs.com/）

非特許文献１に記載のツールでは、ユーザが選択した画像の中から次々に画像を検索していく場合には利便性が高いものの、検索回数や表示される画像数が多くなってくると、ユーザが過去にクエリとして選択した画像と、その検索結果との関係性がわかりにくくなってしまい、これまでの検索の過程を把握することが困難となっていた。

本発明の目的は、画像検索におけるユーザインターフェースを向上することのできる画像検索装置、画像検索方法、および画像検索プログラムを提供することである。

本発明の画像検索装置は、画面に表示された複数の画像からユーザ操作により選択された画像に対する類似画像を表示させる画像検索装置であって、前記選択された画像に対する類似画像を検索する画像検索手段と、前記選択された画像に対して階層的に対応付けられた前記類似画像を該画像と隣接するように配列させた画像群を生成する配列手段と、前記選択された画像と、当該画像に対する前記画像群との全てを表示できるように各画像の大きさを調整して表示させる画像表示手段と、を備え、前記画像検索手段は、検索された前記類似画像を検索元の画像として順次類似画像の検索を実施し、前記配列手段は、検索元の画像を上位、検索された類似画像を下位とした階層構造を生成し、その階層構造に基づいて類似画像を検索元の画像と隣接するように配列させた前記画像群を生成することを特徴とする。

この発明では、画面に対するユーザ操作に応答して、ユーザ操作によって選択された画像に対する類似画像を、選択された画像とその類似画像との関係性を階層構造として把握しやすいように配列させて表示する。このように、画面が切り替わった場合でも、元の画像と隣接するように配列されて類似画像が表示されるため、元の画像と類似画像との階層関係を瞬時に把握することができる。したがって、検索回数や表示される画像数が多くなった場合でも、ユーザは、クエリとして選択した画像とその類似画像との関係性を容易に把握することができる。
また、次々と検索を進めていくと、選択した画像に対する類似画像が階層構造となって表示されるため、上層の画像に戻ることも容易であり、これまでの検索の過程も容易に把握することができる。
したがって、画像検索において検索結果を提示する際のユーザインターフェースの利便性が格段に向上される。

本発明の画像検索装置において、前記ユーザ操作が、任意の領域を選択するとともに、この選択領域を拡大する操作である場合、前記配列手段は、前記選択領域に含まれる個々の画像に対する類似画像を該画像に隣接するように配列させて生成することが好ましい。

この発明では、ユーザ操作により任意の領域を選択し、この選択領域を拡大する操作（拡大操作）により、類似画像の表示を行う。拡大操作としては、特に限定されないが、例えば、選択領域の端部を選択領域を広げる方向にドラッグする操作でもよいし、任意の領域を選択した後、マウスのホイールボタンを回転させる操作でもよい。
これによれば、拡大操作により選択領域内の個々の画像に対する類似画像が表示される。拡大操作は、さらに詳細を見たい場合に行う操作であるため、画像の階層を深める操作として適しており、ユーザは検索結果が選択した画像の下の階層にあることを瞬時に把握することができる。すなわち、ユーザインターフェースを向上させることができる。

本発明の画像検索装置において、前記ユーザ操作が、任意の領域を選択するとともに、この選択領域を縮小する操作である場合、前記画像表示手段は、前記選択領域に含まれる前記画像群を該画像群の上層に対応付けられた画像で置き換えて表示を更新することが好ましい。

この発明では、元の画像とその類似画像とを含む画像群が表示された画面においてユーザ操作が任意の領域を縮小する操作（縮小操作）の場合、該画面に表示された画像群の上層に対応付けられた画像を表示する。このように上層の画像を表示させることで、これまでの画像検索を遡ることができ、検索の過程を容易に把握することができ、ユーザインターフェースを向上させることができる。

本発明の画像検索装置において、前記配列手段は、ユーザ操作により選択された第一画像に対して類似度が高い順に所定個数の類似画像を当該第一画像と隣接するように配列させた第一画像群を生成し、前記画像表示手段により前記第一画像群が表示された後、ユーザ操作により再度前記第一画像が選択されると、前記第一画像群に含まれる前記類似画像の次に類似度が高い所定個数の類似画像を前記第一画像と隣接させるように配列させた第二画像群を生成することが好ましい。

本発明の画像検索装置において、前記選択された画像の類似画像を検索可能に階層的に記憶する記憶手段をさらに備え、前記配列手段は、前記選択された画像に対応付けられた類似画像を前記記憶手段から読み出して前記画像群を生成することが好ましい。
この発明では、記憶手段には画像とこの画像に対する類似画像とが階層的に記憶されている。記憶手段には、これらの階層構造が予め記憶されていてもよいし、類似画像の検索を行うたびに階層を作成して記憶させてもよい。
この発明によれば、画像と類似画像との階層構造が記憶手段に記憶されているので、再検索を行う必要がないため、処理の高速化を図ることができる。

本発明の画像検索方法は、コンピュータにより、画面に表示された複数の画像からユーザ操作により選択された画像に対する類似画像を表示させる画像検索方法であって、前記コンピュータが、複数の画像が記憶された画像データベースから、前記選択された画像に対する類似画像を検索する画像検索ステップと、前記コンピュータが、前記選択された画像に対して階層的に対応付けられた前記類似画像を該画像と隣接するように配列させた画像群を生成する配列ステップと、前記コンピュータが、前記選択された画像と、当該画像に対する前記画像群との全てを表示できるように各画像の大きさを調整して前記画面に表示させる画像表示ステップと、を備え、前記画像検索ステップにおいて、前記コンピュータは、検索された前記類似画像を検索元の画像として順次類似画像の検索を実施し、前記配列ステップにおいて、前記コンピュータは、検索元の画像を上位、検索された類似画像を下位とした階層構造を生成し、その階層構造に基づいて類似画像を検索元の画像と隣接するように配列させた前記画像群を生成することを特徴とする。

この発明では、画面に対するユーザ操作に応答して、ユーザ操作によって選択された画像に対する類似画像を、選択された画像とその類似画像との関係性を階層構造として把握しやすいように配列させて表示する。このように、画面が切り替わった場合でも、元の画像と隣接して類似画像が表示されるため、元の画像と類似画像との階層関係を瞬時に把握することができる。したがって、検索回数や表示される画像数が多くなった場合でも、ユーザは、クエリとして選択した画像とその類似画像との関係性を容易に把握することができる。
また、次々と検索を進めていくと、選択した画像に対する類似画像が階層構造となって表示されるため、上層の画像に戻ることも容易であり、前の画面に戻ることでこれまでの検索の過程も容易に把握することができる。
したがって、画像検索において検索結果を提示する際のユーザインターフェースの利便性が格段に向上される。

本発明の画像検索プログラムは、コンピュータを前述の画像検索装置として機能させることを特徴とする。
この発明では、コンピュータを前述の画像検索装置として機能させるため、このプログラムをインストールするだけの簡単な構成で、前述と同様の作用効果を得ることができ、有用性が高い。

本発明の第１実施形態にかかる画像検索システムのネットワーク構成と画像検索装置の機能構成を示すブロック図である。 前記第１実施形態における画像検索画面において入力操作の一例を示す説明図である。 前記第１実施形態における検索結果画面と次の入力操作の一例を示す説明図である。 前記第１実施形態に係る画像検索装置の処理手順の一例について示すフローチャートである。 前記第１実施形態における検索結果画面と次の入力操作の一例を示す説明図である。 前記第１実施形態における検索結果画面の一例を示す説明図である。 画像検索が階層構造を持って実行されることを示す説明図である。 本発明の第２実施形態にかかる画像検索装置において、画像検索画面において入力操作の一例を示す説明図である。 前記第２実施形態において画像検索装置の処理手順の一例について示すフローチャートである。 前記第２実施形態における検索結果画面と次の入力操作の一例を示す説明図である。 前記第２実施形態における検索結果画面と次の入力操作の一例を示す説明図である。 前記第２実施形態における検索結果画面と次の入力操作の一例を示す説明図である。 前記第２実施形態における検索結果画面と次の入力操作の一例を示す説明図である。 前記第２実施形態における検索結果画面の一例を示す説明図である。

＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。
図１に示すように、画像検索システム１は、ユーザ端末装置１０と、画像検索装置２０と、がインターネット２を介して接続された構成となっている。なお、本システム１では、複数のユーザ端末装置１０および複数の画像検索装置２０が接続されていてもよい。

インターネット２はＴＣＰ／ＩＰなどの汎用のプロトコルに基づくインターネットであるが、これに限られない。例えば、ＬＡＮ（Local Area Network）などのイントラネット、無線媒体により情報が送受信可能な複数の基地局がネットワークを構成する通信回線網や放送網などのネットワーク、さらには、データを直接受信するための媒体となる無線媒体自体など、データを送受信させるいずれの構成も利用できる。

ユーザ端末装置１０としては、例えば、携帯電話、モバイルコンピュータ、パーソナルコンピュータなどを使用することができ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の図示しない記憶手段と、ＣＰＵ（Central Processing Unit）等の制御手段と、を備えている。ＲＡＭはデータなどを一時的に記憶できる一時領域などを有しており、ＲＯＭはＯＳ（Operating System:基本ソフトウェア）や各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されている。ＣＰＵは、これらの記憶手段に格納されているプログラムを読み出し、このプログラムに従って各種処理を行う。制御手段の機能構成としては、インターネット２を介して各種装置とデータの送受信を行う送受信部１１と、ユーザが入力可能なマウスやキーボードなどの入力部１２と、ウェブページを画面表示させる出力部１３と、各種制御を行う制御部１４と、を備えている。

画像検索装置２０は、ユーザ端末装置１０の要求に応じて画像検索サイトを提供する装置である。画像検索装置２０としては、例えば、サーバなどを使用することができ、ユーザ端末装置１０と同様に、各種プログラムや各種データを記憶するＲＡＭやＲＯＭ等の記憶手段と、各種演算を実施するＣＰＵ等の制御手段と、を備えている。
画像検索装置２０は、記憶手段に画像データベース２０１が記憶されている。
画像データベース２０１は、例えば、以下の表１に示すように、画像を識別する画像ＩＤと画像データとこの画像データが有する特徴量とが関連付けられて１つのレコードとして記憶されたテーブル構造となっている。ここで、画像データは、機器上で出力された態様が画像となるものであり、表１ではデータ１、データ２…と表記する。特徴量は、画像中の色（Ａ）、輪郭線（Ｂ）、配色（Ｃ）を数値化したものである。なお、項目はここに列挙したものに限られず、画像に関するデータであればその他の項目を適宜追加してもよい。
画像検索装置２０では、例えば、インターネット上で公開されている画像を収集するプログラムが常時実行され、画像データベース２０１には、このようにして収集された画像が記憶される。

また、画像検索装置２０は、制御手段の機能構成として、インターネット２に接続する送受信部２１と、ユーザによる入力操作を受け付ける入力操作受付手段２２と、ユーザに指定された画像に類似する画像を検索する画像検索手段２３と、検索された類似画像を画面表示させる配列手段および画像表示手段としての画像表示手段２４と、を備えている。なお、画像検索装置２０は、キーボードやマウス等の入力手段、モニタ等の出力手段などを備えていてもよい。
送受信部２１は、インターネット２を介して各種装置と各種データを送受信する。以降の説明では記載を省略するが、画像検索装置２０の各制御部と各装置とのデータのやり取りは、この送受信部２１を介して行われている。

入力操作受付手段２２は、ユーザ端末装置１０において入力部１２を用いて操作された内容をユーザの入力操作として受け付ける。本実施形態での入力操作は、マウスを用いて所定領域を選択しこの選択範囲を拡大する方向へドラッグする操作（拡大操作）と、選択範囲を縮小する方向へドラッグする操作（縮小操作）である。なお、縮小操作は、拡大操作が１回以上行われた後にのみ操作可能となっている。
画像検索手段２３は、入力操作受付手段２２で受け付けた入力操作に基づいて、選択範囲内に含まれる画像に類似する画像を画像データベース２０１に記憶された画像の中から検索する。具体的には選択範囲内に含まれる画像の特徴量をそれぞれ算出し、算出された特徴量と画像データベース２０１に記憶された各画像の特徴量とを比較して類似度の高い順に８つの画像をそれぞれ抽出する。

画像表示手段２４は、入力操作受付手段２２で受け付けた入力操作に基づいて、類似画像の検索結果を表示させる。入力操作が拡大操作である場合には、選択範囲内に表示された各画像に対応する画像群をそれぞれ生成し、各画像群の全てを表示できるように各画像の大きさを調整して表示させる。一方、縮小操作である場合には階層が１つ上の画像を表示させる。すなわち、画像表示手段２４は、選択された画像に対する画像群を生成する本発明の配列手段としての機能と、選択された画像とその画像群の全てを画面に表示できるように各画像の大きさを調整する本発明の画像表示手段としての機能を有している。

具体的に、図２に示す画面３に表示された複数の画像Ａ，Ｂ…のうち選択領域３１を矢印３２の方向へドラッグする操作（拡大操作）が為された場合、選択領域３１に含まれる画像Ａ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋについてそれぞれ画像群を生成する。画像群は、選択された画像を中心とし、この画像の周囲に画像検索手段２３で抽出された当該画像の８つの類似画像を格子状に配列させたものである。そして、画面３において表示された各画像と、生成された各画像群とをそれぞれ対応付け、画面３で表示された複数の画像の位置関係と、これらの画像に対応付けられた画像群との位置関係とを維持した状態で、図３の画面４に示すように、各画像群の全てを表示できるように各画像の大きさを調整して表示させる。一方、図３の画面４において縮小操作が行われた場合は、図２に示す画面３を再度表示させる。なお、検索により作成された階層構造は、メモリ等の記憶領域に記憶され、縮小操作で上層の画像を表示させる場合や、拡大操作で再検索を行う場合は、この記憶領域に記憶された階層構造を読み出して表示させることができる。

さらに、図３の画面４において選択領域４１を矢印４２の方向にドラッグする操作（拡大操作）が為されると、上記と同様にして選択された画像に対応する画像群が生成され、新たな階層として表示される。このようにして、拡大操作が繰り返されることで画像検索を階層の深さ方向に向かって行うことができるとともに、縮小操作を行うことで階層の浅い方向に戻ることもできる。

［画像検索システム１の動作］
本システム１では、画像検索装置２０の画像データベース２０１には、複数の画像データが予め記憶されている。
まず、ユーザはユーザ端末装置１０の入力部１２を入力操作し、画像検索装置２０が提供する画像検索サイトにアクセスするために、例えば、ウェブブラウザを起動させて画像検索装置２０のアドレスを指定または入力し、画像検索サイトを要求する。
画像検索装置２０は、この要求を受信すると、複数の画像が表示されたウェブページをユーザ端末装置１０に送信する。ここで表示される画像は、ユーザが入力したキーワードをキーとして画像データベース２０１から検索された画像でもよいし、画像データベース２０１からランダムに抽出したものでもよいし、ユーザがログインしている場合にはユーザが興味を持ちそうな分野に関する画像をランダムに抽出したものでもよい。

ユーザ端末装置１０は、受信したウェブページを図２に示す画面３として出力部１３に画面表示させる。画面３には、画像Ａ，Ｂ…の１６個の画像が表示されている。ユーザは、入力部１２を用いて領域３１を選択し、矢印３２が示すように、この選択領域３１の端部を画面３の外側に向かってドラッグする操作（拡大操作）を行う。この入力操作が行われると、ユーザ端末装置１０は、入力操作の内容を含む信号を画像検索装置２０に送信する。

以下、画像検索装置２０の動作について図４のフローチャートを用いて説明する。
画像検索装置２０は、入力操作が行われた旨の信号を入力操作受付手段２２で受け付け（Ｓ１１）、入力操作の種類を判定する（Ｓ１２）。

入力操作が拡大操作である場合（Ｓ１２：Ｙｅｓ）は、画像検索手段２３は、選択領域３１に含まれる画像Ａ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋのそれぞれについて特徴量を算出し、この特徴量に基づいて画像データベース２０１に記憶された画像データの中から類似度の高い画像を８つ抽出する（Ｓ１３）。
次に、画像表示手段２４は、選択領域３１に含まれる画像Ａ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋに対する画像群をそれぞれ生成する（Ｓ１４）。画像Ａについて具体的に説明すると、ステップＳ１３で抽出した画像Ａの８つの類似画像ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８を、図３に示すように画像Ａの周囲に格子状に配列させた画像群を生成する。

そして、画像表示手段２４は、図２に示す画面３に表示された複数の画像と対応する画像群の位置関係を維持するとともに、各画像群の全てを表示できるように各画像の大きさを調整して表示させ（Ｓ１５）、この画面の表示データをユーザ端末装置１０へ送信する（Ｓ１６）。
なお、ユーザ端末装置１０へ送信された表示データは、階層と対応付けてＲＡＭなどの記憶領域に記憶させておく。最初の拡大操作により表示される画面の表示データは階層１であり、さらに拡大操作が為されるたびに階層は１ずつ増えていく。

一方、入力操作が拡大操作でない場合（Ｓ１２：Ｎｏ）は、入力操作が縮小であるか否かを判定する（Ｓ１７）。
入力操作が縮小操作である場合（Ｓ１７：Ｙｅｓ）は、画像表示手段２４は、縮小操作がなされた画面の１つ上の階層の表示データを記憶領域から取得してユーザ端末装置１０へ送信する（Ｓ１８）。
入力操作が縮小操作でない場合（Ｓ１７：Ｎｏ）は、処理を終了する。

ユーザ端末装置１０は、表示データを受信すると、出力部１３に当該表示データを画面表示させる。最初の表示画面から１階層深めた画面が図３の示す画面４である。
以降は、ユーザが表示された画面に対して任意の領域を選択して拡大操作を行うたびに上記のステップＳ１１からＳ１７の処理を繰り返し、さらに階層を深めて画像検索を行うことができる。また、検索の過程を確認したい場合は、ユーザは縮小操作を行うことにより、１つ上の階層の画面を表示させることができる。

具体的に図面を用いて検索結果画面の遷移状態について説明する。図３の画面４は上述したように１階層深めた画像検索の結果である。画面４において、ユーザは領域４１を選択し、矢印４２に示すように、この選択領域４１を拡大する操作を行う。この操作により、上述したステップＳ１１からＳ１６と同様の処理が実行され、図５に示す画面５のように、画像ａ１，ａ２，ａ８，Ａの周囲に８つの類似画像が格子状に配列された画像群の全てが表示されるように各画像の大きさが調整されて表示される（２階層深めた画像検索結果）。ここで、画像Ａが選択されたのは２回目であるので、類似画像は、１回目の検索で抽出された類似度の高さで上位８つの画像ａ１〜ａ８に続く８つの画像Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８を抽出する。なお、画面５において、画像ａ１の類似画像ａ１５と画像ａ２の類似画像ａ２３とが同じ画像であったとしても、そのまま表示させる。また、画像ａ１５に対する類似画像（図６の画面６参照）が、画面５における画像ａ２３と同じ画像であっても、そのまま表示させる。

そして、図５の画面５において、ユーザが領域５１を選択し、矢印５２に示すように、この選択領域５１を拡大する操作を行う。この操作により、上述と同様にステップＳ１１からＳ１６と同様の処理が実行され、図６に示す画面６のように、選択領域５１に含まれていた画像の周囲に８つの類似画像が格子状に配列された画像群の全てが表示されるように各画像の大きさが調整されて表示される（３階層深めた画像検索結果）。

また、ユーザがこれまで検索をした過程を確認したい場合、図６の画面６において縮小操作を行うと、１つ上の階層である図５の画面５が表示される。また、図５の画面５において縮小操作を行うと、１つ上の階層である図３の画面４が表示される。さらに、図３の画面４において縮小操作を行うと、１つ上の階層である図２の画面３が表示される。画面３は１番上の階層の画面であるので、このときの縮小操作は無効となる。

［第１実施形態の作用効果］
上述した第１実施形態では、以下に示す作用効果を奏することができる。
画像検索装置２０は、ユーザによる入力操作に応答し、選択された画像に対する類似画像を、選択された画像とその類似画像との関係性を階層構造として把握しやすいように配列させて表示する。このように、画面が切り替わった場合でも、元の画像と隣接するように配列されて類似画像が表示されるため、元の画像と類似画像との階層関係を瞬時に把握することができる。したがって、検索回数や表示される画像数が多くなった場合でも、ユーザは、クエリとして選択した画像とその類似画像との関係性を容易に把握することができる。
また、次々と検索を進めていくと、選択した画像に対する類似画像が階層構造となって表示されるため、上層の画像に戻ることも容易であり、これまでの検索の過程も容易に把握することができる。
したがって、画像検索において検索結果を提示する際のユーザインターフェースの利便性が格段に向上される。

また、画像検索装置２０は、選択された画像とそれに対する画像群との位置関係は、画面が切り替わっても維持され、さらに次の画面でも維持される。このように、画面が切り替わった場合でも、それぞれ対応する画像および画像群の位置関係が維持されていることにより、画像と類似画像との階層構造をより把握しやすい。

本実施形態では、選択された画像の類似画像を検索結果として表示する際、選択された画像を中央に配置し、その周囲に８つの類似画像を格子状に配列させた画像群を画面に表示させている。格子状に配列された表示形態はユーザにとって見やすいため、階層構造を容易に把握することができ、ユーザインターフェースをさらに向上させることができる。

また、本実施形態では、一度検索した結果を画像の階層構造として記憶領域に記憶させ、上層の画像に戻る場合や再検索を行う場合は、この記憶領域に記憶された階層構造を読み出して各画像を表示させている。これにより、再度検索を行う必要がないため、処理の高速化を図ることができる。

＜第２実施形態＞
第２実施形態のシステムは、第１実施形態と同様の構成であるが、画像表示手段２４の動作が異なる以外は第１実施形態と同様の構成および動作であるため、同様の構成および動作については説明を省略する。
第２実施形態におけるユーザの入力操作は、第１実施形態の拡大操作と縮小操作に加えて、クリック操作が含まれる。クリック操作は、複数の画像の中から任意の画像をクリックする操作と、画面上に表示されたボタンを押下する操作を含んでいる。

画像表示手段２５は、入力操作受付手段で受け付けた入力操作に基づいて、類似画像の検索結果を表示させる。入力操作によって画像が選択された場合は、選択された画像の周囲に検索された８つの類似画像を格子状に配列させた画像群を生成し、元の画像を当該画像に対応する画像群に置き換えて表示させる。また、入力操作によって階層を戻る操作が為された場合は、表示中の画面より１階層上の画像を表示させる。このとき、各画像の表示サイズは、元の画面の表示サイズと同じサイズで表示する。また、入力操作が拡大操作の場合、選択範囲内に表示された各画像および各画像群を拡大表示させる。第１実施形態とは異なり、この場合は検索処理を行わない。また、入力操作が縮小操作の場合は、表示中の画面に表示された画像および画像群を縮小表示させる。

具体的に、第２実施形態のシステムの動作について説明する。
ユーザは、ユーザ端末装置１０の出力部１３に表示された図８に示す画面８１中の複数の画像Ａ，Ｂ,…,Ｐのうち、入力部１２を操作してポインタ８１１により画像Ｆをクリックする。この入力操作が行われると、ユーザ端末装置１０は、入力操作の内容を含む信号を画像検索装置２０に送信する。

以下、画像検索装置２０の動作について図９のフローチャートを用いて説明する。
画像検索装置２０は、入力操作が行われた旨の信号を入力操作受付手段２２で受け付け（Ｓ２１）、入力操作によって画像選択をしたか否かを判定する（Ｓ２２）。画像選択の具体的な操作としては、対象となる画像をマウスでクリックする操作である。

画像選択をした場合（Ｓ２２：Ｙｅｓ）、画像検索手段２３は、クリックされた画像Ｆの特徴量を算出し、この特徴量に基づいて画像データベース２０１に記憶された画像データの中から類似度の高い画像を８つ抽出する（Ｓ２３）。
次に、画像表示手段２４は、画像Ｆに対する画像群を生成する（Ｓ２４）。すなわち、ステップＳ２４で抽出した画像Ｆの８つの類似画像ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆ７，ｆ８を、図１０に示すように画像Ｆの周囲に格子状に配列させた画像群Ｆを生成する。

そして、画像表示手段２５は、図８に示す画面８１に表示された画像Ｆを画像群Ｆに置き換えた画面８２（図１０参照）を生成し（Ｓ２５）、この画面８２の表示データをユーザ端末装置１０へ送信する（Ｓ２６）。
なお、ユーザ端末装置１０へ送信された画面の表示データは、階層と対応付けてＲＡＭなどの記憶領域に記憶させておく。最初のクリック操作により表示される画面の表示データは階層１であり、さらにクリック操作が為されるたびに階層は１ずつ増えていく。

一方、画像選択していない場合（Ｓ２２：Ｎｏ）は、入力操作が階層を戻る操作であるか否かを判定する（Ｓ２７）。
階層を戻る操作である場合（Ｓ２７：Ｙｅｓ）は、画像表示手段２５は、１つ上の階層の画面の表示データを記憶領域から取得してユーザ端末装置１０へ送信する（Ｓ２８）。

また、階層を戻る操作でない場合（Ｓ２７：Ｎｏ）は、入力操作が拡大操作であるか否かを判定する（Ｓ２９）。
入力操作が拡大操作である場合は（Ｓ２９：Ｙｅｓ）、画像表示手段２５は、選択領域に含まれる画像および画像群を、選択領域と画面のサイズに応じて拡大表示させた画面を生成し（Ｓ３０）、その表示データをユーザ端末装置１０へ送信する（Ｓ２６）。具体的には、図１０において選択領域８２１について矢印８２２の方向へ拡大操作がなされると、画像表示手段２５は、選択領域８２１に含まれる画像Ａ，Ｂ，Ｃ，Ｅ，Ｇ，Ｉ，Ｊ，Ｋおよび画像群Ｆを拡大表示させて、図１１の画面８３を生成する。

一方、入力操作が拡大操作でない場合は（Ｓ２９：Ｎｏ）、入力操作が縮小操作であるか否かを判定する（Ｓ３１）。
入力操作が縮小操作である場合（Ｓ３１：Ｙｅｓ）は、画像表示手段２５は、表示中の画面を縮小表示させた画面を生成し（Ｓ３２）、その表示データをユーザ端末装置１０へ送信する（Ｓ２６）。
一方、入力操作が縮小操作でない場合（Ｓ３１：Ｎｏ）は、処理を終了する。

ユーザ端末装置１０は、表示データを受信すると、出力部１３に当該表示データを画面表示させる。最初の表示画面となる図８の画面８１で画像Ｆをクリックし、１階層深めた検索画面が図１０に示す画面８２である。

以降は、ユーザが入力操作を繰り返すたびに上記のステップＳ２１からＳ３２の処理を繰り返し、画像をクリックする操作により階層を深めて画像検索を行うことができる。また、検索の過程を確認したい場合は、ユーザはボタン８０を押す操作により、１つ上の階層の画面を表示させることができる。

具体的に、図１０における選択領域８２１を拡大表示させた画面が図１１に示す画面８３である。図１１において画像ｆ２をクリックして選択領域８３１に対して拡大操作を行うと、図１２に示す画面８４が表示される。この画面８４は最初の表示画面となる図８の画面８１から２階層深めた検索画面である。さらに、図１２において画像ｆ２８をクリックして選択領域８４１に対して拡大操作を行うと、図１３に示す画面８５が表示される。この画面８５は最初の表示画面となる図８の画面８１から３階層深めた検索画面である。さらに、図１３において画像ｆ２８５をクリックして選択領域８５１に対して拡大操作を行うと、図１４に示す画面８６が表示される。この画面８６は最初の表示画面となる図８の画面８１から４階層深めた検索画面である。一方、図１０の画面８２においてボタン８０をクリックすると、１つ上の階層である図８の画面８１が表示される。

以上の第２実施形態においても、前述した第１実施形態と同様の作用効果を奏することができる。

［変形例］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上記実施形態では、ユーザの入力操作として、任意の領域を選択しこの選択領域を画面の外側へドラッグする操作を拡大操作とし、任意の選択領域を画面の内側へドラッグする操作を縮小操作としたが、拡大操作および縮小操作はこれに限られない。例えば、画面上のマウスポインタの位置を拡大および縮小の中心とし、特定のキー、例えば上下の矢印キーを押したときに拡大および縮小させてもよいし、入力手段としてホイールボタン付きのマウスを使用する場合は、ホイールボタンを操作することで拡大および縮小させてもよい。また、マルチタッチを備えた入力装置を用いる場合は、入力装置の２点に指で触れた状態から指を遠ざける方向に移動させる操作を拡大操作とし、指を近づける方向に移動させる操作を縮小操作としてもよい。

また、上記第２実施形態では、任意の画像をクリックする入力操作により当該画像の画像検索を行う構成としたが、入力操作はこれに限られない。例えば、画面上に検索ボタンを配置し、１つか複数の画像を選択した後検索ボタンを押す操作により画像検索を開始してもよい。
また、上記第２実施形態では、ボタン８０をクリックすることで１つ上の階層に戻る構成としたが、この入力操作に限られない。例えば、図１０において、画像Ｆおよび類似画像ｆ１〜ｆ８を含む画像群を領域指定して縮小操作を行った場合に、該画像群を画像Ｆに置き換えて図８の画面８１を表示させてもよい。また、画像Ｆおよび類似画像ｆ１〜ｆ８を含む画像群において画像Ｆをクリックした場合に、該画像群を画像Ｆに置き換えて図８の画面８１に示すように表示させてもよい。

また、上記第１実施形態では、図３の画面４において一度検索された画像Ａが再度検索される場合、１回目で類似度の高い順に抽出された類似画像ａ１〜ａ８に続く８つの類似画像Ａ１〜Ａ８を抽出して表示させているが、１回目と同じように、類似度の高い上位８つの類似画像ａ１〜ａ８を再度表示させるようにしてもよい。また、画像Ａをそのまま拡大表示させてもよく、具体的には、図５の画面５において、画像Ａと類似画像Ａ１〜Ａ８を含む画像群ではなく、画像Ａを拡大表示させる。

また、上記第１実施形態では、図６の画面６における画像ａ１５の類似画像が、図５の画面５における画像ａ２３と同じ画像であっても画像ａ１５の類似画像をそのまま表示させていたが、画像ａ１５の類似画像から画像ａ２３と同じ画像を除去して表示させてもよい。この場合、一度画面に表示した画像はメモリ等の記憶領域に記憶しておき、表示の際に各画像について記憶領域内をチェックし、記憶領域に記憶されている画像を除去してそれ以外の画像を表示するようにする。

また、上記第１実施形態において、拡大操作により画像群を表示させる際に、元の画像を縮小表示させるとともに、この元の画像から８つの類似画像が出てくるようにアニメーション表示してもよい。同様に、縮小操作により画像群から１つ上の階層の画像を表示させる際に、８つの類似画像が画像群の中心の元の画像に吸収されるようにアニメーション表示してもよい。

本発明は、画像検索サイトを提供する画像検索装置および画像検索方法として利用できる。

１…画像検索システム
２…インターネット
１０…ユーザ端末装置
２０…画像検索装置
２１…送受信部
２２…入力操作受付手段
２３…画像検索手段
２４，２５…画像表示手段
２０１…画像データベース

Claims (7)

1. 画面に表示された複数の画像からユーザ操作により選択された画像に対する類似画像を表示させる画像検索装置であって、
   前記選択された画像に対する類似画像を検索する画像検索手段と、
   前記選択された画像に対して階層的に対応付けられた前記類似画像を該画像と隣接するように配列させた画像群を生成する配列手段と、
   前記選択された画像と、当該画像に対する前記画像群との全てを表示できるように各画像の大きさを調整して表示させる画像表示手段と、を備え、
   前記画像検索手段は、検索された前記類似画像を検索元の画像として順次類似画像の検索を実施し、
   前記配列手段は、検索元の画像を上位、検索された類似画像を下位とした階層構造を生成し、その階層構造に基づいて類似画像を検索元の画像と隣接するように配列させた前記画像群を生成する
   ことを特徴とする画像検索装置。
2. 請求項１に記載の画像検索装置において、
   前記ユーザ操作が、任意の領域を選択するとともに、この選択領域を拡大する操作である場合、
   前記配列手段は、前記選択領域に含まれる個々の画像に対する類似画像を該画像に隣接するように配列させて生成する
   ことを特徴とする画像検索装置。
3. 請求項１または請求項２に記載の画像検索装置において、
   前記ユーザ操作が、任意の領域を選択するとともに、この選択領域を縮小する操作である場合、
   前記画像表示手段は、前記選択領域に含まれる前記画像群を該画像群の上層に対応付けられた画像で置き換えて表示を更新する
   ことを特徴とする画像検索装置。
4. 請求項１から請求項３のいずれかに記載の画像検索装置において、
   前記配列手段は、ユーザ操作により選択された第一画像に対して類似度が高い順に所定個数の類似画像を当該第一画像と隣接するように配列させた第一画像群を生成し、前記画像表示手段により前記第一画像群が表示された後、ユーザ操作により再度前記第一画像が選択されると、前記第一画像群に含まれる前記類似画像の次に類似度が高い所定個数の類似画像を前記第一画像と隣接させるように配列させた第二画像群を生成する
   ことを特徴とする画像検索装置。
5. 請求項１から請求項４のいずれかに記載の画像検索装置において、
   前記選択された画像の類似画像を検索可能に階層的に記憶する記憶手段をさらに備え、
   前記配列手段は、前記選択された画像に対応付けられた類似画像を前記記憶手段から読み出して前記画像群を生成する
   ことを特徴とする画像検索装置。
6. コンピュータにより、画面に表示された複数の画像からユーザ操作により選択された画像に対する類似画像を表示させる画像検索方法であって、
   前記コンピュータが、複数の画像が記憶された画像データベースから、前記選択された画像に対する類似画像を検索する画像検索ステップと、
   前記コンピュータが、前記選択された画像に対して階層的に対応付けられた前記類似画像を該画像と隣接するように配列させた画像群を生成する配列ステップと、
   前記コンピュータが、前記選択された画像と、当該画像に対する前記画像群との全てを表示できるように各画像の大きさを調整して前記画面に表示させる画像表示ステップと、を備え、
   前記画像検索ステップにおいて、前記コンピュータは、検索された前記類似画像を検索元の画像として順次類似画像の検索を実施し、
   前記配列ステップにおいて、前記コンピュータは、検索元の画像を上位、検索された類似画像を下位とした階層構造を生成し、その階層構造に基づいて類似画像を検索元の画像と隣接するように配列させた前記画像群を生成する
   ことを特徴とする画像検索方法。
7. コンピュータを請求項１から請求項５のいずれかに記載の画像検索装置として機能させることを特徴とする画像検索プログラム。

Images