JP4019093B2 - Similar image retrieval method and apparatus - Google Patents
Similar image retrieval method and apparatus Download PDFInfo
- Publication number
- JP4019093B2 JP4019093B2 JP2005309959A JP2005309959A JP4019093B2 JP 4019093 B2 JP4019093 B2 JP 4019093B2 JP 2005309959 A JP2005309959 A JP 2005309959A JP 2005309959 A JP2005309959 A JP 2005309959A JP 4019093 B2 JP4019093 B2 JP 4019093B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- visualization
- feature amount
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、類似画像検索システムに関する。 The present invention relates to a similar image search system.
従来の類似画像検索システムでは、多くの場合、検索のキーとなる画像との類似度に従って順番に並べたリストとして、検索結果が表示される。この場合、実際の類似度の定量的な値は表現されていないが、その定性的な関係はリスト中の順位として表現される。 In the conventional similar image search system, in many cases, the search results are displayed as a list arranged in order according to the degree of similarity with an image serving as a search key. In this case, although the quantitative value of the actual similarity is not expressed, the qualitative relationship is expressed as a rank in the list.
一方、リスト表示では、キー画像との関係は示されるが、検索結果相互の類似性は表現されていない。各画像の表示位置は、キー画像との関係のみで秩序を持っており、前後の画像とは無関連である。特に、大量の画像を表示した場合、あるいは、複数のキー画像を指定された場合、結果として得られる表示は、ユーザに対して無秩序な印象を与えるものとなる。 On the other hand, in the list display, the relationship with the key image is shown, but the similarity between the search results is not expressed. The display position of each image has order only in relation to the key image, and is unrelated to the preceding and subsequent images. In particular, when a large number of images are displayed, or when a plurality of key images are designated, the resulting display gives a random impression to the user.
これに対して、本願の発明者らによって特願平9−336750あるいは特願平9−336751「画像検索方法およびその装置およびこれを利用した検索サービス」として提案されたように、類似度の尺度となる特徴量を軸とした2次元ないしは3次元の座標系上の画像の散布図として検索結果を表現する方法をとると、データ間の類似性が空間的な配置として表現され、ユーザに対して秩序ある情報の提示が可能となる。これによって、大量画像の表示に耐えうるユーザインターフェイスが実現できる。 On the other hand, as proposed by the inventors of the present application as Japanese Patent Application No. 9-336750 or Japanese Patent Application No. 9-336751 “an image search method and apparatus and a search service using the same”, a measure of similarity If the search result is expressed as a scatter diagram of an image on a two-dimensional or three-dimensional coordinate system with the feature quantity as an axis, the similarity between data is expressed as a spatial arrangement, It is possible to present orderly information. As a result, a user interface that can withstand the display of a large number of images can be realized.
空間中の散布として検索結果を表現した場合、キー画像との類似性は表現されない。また、リスト表示の場合も、類似度自体の定量性は表現されていない。類似画像検索システムがシステム内部で行っている類似性に関する判断をユーザに分かりやすい形式で適切に伝えることは、ユーザ自身が、より希望に添った画像を得るための検索作業を進める上で重要といえる。従って、システムが判断した類似度を定量的にユーザに伝えるインターフェイスを実現する必要がある。 When the search result is expressed as scattering in the space, the similarity with the key image is not expressed. Also, in the case of a list display, the quantitativeness of the similarity itself is not expressed. It is important for the user himself / herself to appropriately carry out the search work for obtaining an image that meets his / her wishes to appropriately convey to the user the judgment regarding the similarity that the similar image search system makes in the system. I can say that. Therefore, it is necessary to realize an interface that quantitatively conveys the similarity determined by the system to the user.
一方、空間的な散布図として検索結果を表現することは、大量のデータをユーザに提示する方法として一定の有効性を持つが、現状の電子的データ規模の増大から考えて、より多くのデータをユーザに提示する方法を考える必要がある。 On the other hand, expressing search results as a spatial scatter diagram has certain effectiveness as a method of presenting a large amount of data to the user, but considering the increase in the current electronic data scale, more data Needs to be considered.
検索結果である各画像をその類似度に応じて、類似度が大のものは大きく、類似度が小のものは小さく表示する。これによって、システムの類似性に関する判断が、定量的にユーザに対して可視化される。この手法を、空間的な散布図として表現する方法と融合させることによって、キー画像との類似性および検索結果間の類似性を共に表現できるユーザインターフェイスが実現できる。 Each image that is a search result is displayed according to its similarity, the image having a high similarity is large, and the image having a low similarity is displayed small. Thereby, the judgment regarding the similarity of the system is quantitatively visualized to the user. By combining this method with a method of expressing as a spatial scatter diagram, a user interface capable of expressing both the similarity to the key image and the similarity between search results can be realized.
一方、本発明では、より大量のデータをユーザに表示するために、空間的な散布図に時間の概念を導入する。検索結果の散布図は、表示に用いる座標系の2軸ないしは3軸をどの特徴量に対応させるかによって変化する。異なる座標系上での各画像の座標値を補間することによって、座標系の変換をデータの運動として表現することができる。各座標系での表現はそれぞれが秩序を持っており、結果として、総体的な運動も秩序を持ったものとなる。特に仮想的に3次元空間を表現した場合、空間中の対象物の運動は、対象物の配置についての3次元的な印象を高めるという利点もある。 On the other hand, in the present invention, the concept of time is introduced into a spatial scatter diagram in order to display a larger amount of data to the user. The scatter diagram of the search result varies depending on which feature quantity corresponds to the two or three axes of the coordinate system used for display. By interpolating the coordinate values of each image on different coordinate systems, the transformation of the coordinate system can be expressed as data motion. Each expression in each coordinate system has order, and as a result, the overall movement also has order. In particular, when a three-dimensional space is virtually represented, the movement of the object in the space also has an advantage of enhancing the three-dimensional impression of the arrangement of the object.
本発明によって、類似画像検索システムにおいて、システムが判断する類似度を定量的な形式でユーザに対して可視化することが可能となった。また、大量の検索結果をユーザにとって秩序ある形式で提示することが可能となった。 According to the present invention, in the similar image search system, the similarity determined by the system can be visualized to the user in a quantitative format. In addition, a large amount of search results can be presented in an orderly format for the user.
図1を参照しながら、本発明のシステム構成の一実施例を説明する。本実施例のシステム構成は、画像特徴量に基づく検索を行う検索サーバ110、仮想3次元空間の表示を行う可視化サーバ120およびGUI(グラフィックユーザインターフェイス)クライアント130からなる。サーバおよびクライアント間の情報の伝達はソケット通信で行う。
An embodiment of the system configuration of the present invention will be described with reference to FIG. The system configuration of this embodiment includes a
検索サーバ110は、画像特徴量データベース140から得られてサーバ内のメモリーに展開された画像特徴量に基づき、GUIクライアント130から送られた検索キー画像との類似度を計算する。可視化サーバ120は、サーバ110による類似度の計算結果とGUIクライアント130から送られた表示要求に応じた仮想空間中の対象物の運動およびユーザの仮想空間中のウォークスルー動作に伴う仮想空間の状態更新を実時間で行う。また、可視化サーバ120は、仮想空間が表示される画面領域内で発生するマウスクリック等のユーザイベントを取得する。GUIクライアント130は、前述したように、検索条件の指定、および、可視化空間でのウォークスルー動作の制御の情報をユーザから取得する。
The
可視化サーバ120およびGUIクライアント130は、高性能のテクスチュアマッピング機能を持つグラフィックワークステーションで動作する。検索サーバは同一計算機上、あるいは、他の高速な数値計算可能な計算機上で動作する。
The
検索サーバ110は、システム起動時に、画像特徴量のデータベース140から全画像分の特徴量をメモリー内に取り込む。可視化サーバ120は、同じくシステム起動時に、全画像データ縮小イメージを画像データベース150から取り込み、テクスチュアマッピング用のデータに変換し、メモリー内に取り込む。GUIクライアント130は、必要な画像データを各時点で画像データベース150から取り込む。GUIクライアント130における操作パネル131、画像パネル133およびフワフワ運動設定パネル132については後述する。
The
図2を参照しながら、本実施例のユーザインターフェイスの具体例を説明する。本実施例のユーザインターフェイスは、可視化サーバ120によって表示およびイベント処理が管理される可視化空間210、および、GUIクライアント130によって表示およびイベント処理が管理される操作パネル131、および、同じく、GUIクライアント130によって表示およびイベント処理が管理される3種の画像パネル133からなる。この3種のパネルは、好きな画像パネル230、嫌いな画像パネル240および収集画像パネル250から構成される。
A specific example of the user interface of this embodiment will be described with reference to FIG. The user interface of this embodiment includes a visualization space 210 in which display and event processing are managed by the
可視化空間210では、検索結果の画像が3次元的な散布図として表示される。各画像の3次元中での大きさは、各画像の特徴量データと、ユーザが指定する好きな画像および嫌いな画像の特徴量データとから計算される類似度と対応付けられる。好きな画像および嫌いな画像に関するユーザの指定は、GUIクライアント130の管理する好きな画像パネルおよび嫌いな画像パネルにそれぞれ反映される。類似度は0から1の間の実数値で表現され、1ならば最大の大きさで画像は表示される。それ以下の場合は、類似度に比例して縮小して表示され、0.1以下の場合は表示されない。この類似度の値は、検索条件によって決まる。
In the visualization space 210, the search result image is displayed as a three-dimensional scatter diagram. The size of each image in three dimensions is associated with the similarity calculated from the feature amount data of each image and the feature amount data of a favorite image and a dislike image specified by the user. The user's designation regarding the favorite image and the dislike image is reflected on the favorite image panel and the dislike image panel managed by the
画像検索の手順としては任意の方法が採用できるが、たとえば、初期画面では、システム側に予め用意された複数のキー画像(典型画像の集合)からの類似度に基づいて表示が行われるものとするのが簡単である。これは、通常の類似画像検索システムにおけるサンプル画像の表示に対応する。 Any method can be used as the image search procedure. For example, on the initial screen, display is performed based on the similarity from a plurality of key images (a set of typical images) prepared in advance on the system side. Easy to do. This corresponds to display of a sample image in a normal similar image search system.
可視化空間210の座標軸は画像特徴量から選ばれる。本実施例では、この軸の選択が一定時間間隔で自動的に変更される。ある座標系から次の座標系へ移行する間は、各画像の2つの座標系上での値を線形補間したものを画像の軌道として用いる。ユーザに対しては、これは、各画像の自動的な3次元運動として観察される。以下、この運動をフワフワ運動と呼ぶ。 The coordinate axis of the visualization space 210 is selected from image feature amounts. In this embodiment, the selection of this axis is automatically changed at regular time intervals. While moving from one coordinate system to the next coordinate system, linearly interpolated values on the two coordinate systems of each image are used as the trajectory of the image. For the user, this is observed as an automatic three-dimensional movement of each image. Hereinafter, this movement is called fluffy movement.
可視化空間210内をユーザがウォークスルーしながら検索する機能は、操作パネル131を介して行われる。これについては後述する。また、ユーザは、可視化空間210中の画像をマウスでピックすることによって、この画像を後述する画像パネル133のいずれかの画像パネルへ登録することができる。
A function for a user to search through the visualization space 210 while walking through is performed via the
図3を参照しながら操作パネル131によるウォークスルー機能設定およびフワフワ運動設定について説明する。ウォークスルー機能に関連するものとして、首振り制御ボタン350、前後左右方法への移動制御ボタン360、高さ制御ボタン370、移動速度制御スライダー340および視点初期化ボタン310が存在する。また、フワフワ運動に関連するものとして、フワフワ運動の速度制御スライダー320、フワフワ運動設定パネルの表示の要否(オン、オフ)を制御するための表示ボタン330が存在する。
A walk-through function setting and a fluffy exercise setting by the
図4を参照しながらフワフワ運動設定パネルによる、フワフワ運動の軌道の設定を説明する。 With reference to FIG. 4, setting of the orbit of fluffy movement by the fluffy movement setting panel will be described.
パネル上では、ボタン430によって各時点(ステップ)でどの特徴量を可視化空間の座標軸x,y,zの特徴量として選ぶかを設定する。図の例では塗りつぶされている特徴量430がそれぞれの座標軸で可視化空間の特徴量として選択されていることを示している。この図の例では、各ステップ毎に8つの特徴量の一つが選択できるようになされているとともに、各座標軸では異なった特徴量の組み合わせができる。同じ座標軸では各ステップ毎の特徴量は同じである。また、ボタン420によってステップの選択を行うことによって、任意の座標系にジャンプさせて表示することができる。ボタン410によって選択ステップの複製(DUP)あるいは削除(DEL)を行うとステップ全体の長さが変更される。各ステップの時間長は一定である。複製の場合は、選択されたステップの次にそれと同じ内容のステップが挿入される。削除の場合は、選択されたステップが取り除かれる。
On the panel, a
デフォルトの状態では、軌道はステップを順方向に進みループするが、ユーザが、自らの好みに応じて、ボタン440により進行方向を、ボタン450によりループするかしないか(オン、オフ)の選択ができる。また、ボタン470により作成した軌道をファイル上に格納(SAVE)すること、予め作成した軌道をファイルから読み出す(LOAD)ことができる。リスタートボタン460により設定した運動をチェックすることが出来る。また、設定パネルの表示が不用な場合はクローズボタン400をクリックすることにより表示を止めることが出来る。
In the default state, the trajectory loops forward in steps, but the user has the choice of whether to loop with
フワフワ運動を、図4の特徴量の選択で説明する。ステップ1と2に着目してみると、y軸、z軸では特徴量に変更はないが、x軸では異なる。この結果、検索結果が変化し、可視化空間210に現れていた画像、あるいは画像の位置、大きさが変化する。本実施例で用いるフワフワ運動という名称は、この時、先に現れていた画像の動きがフワフワと動く感じを与えることから、与えられたものである。
図2に示したように、画像パネル133には、好きな画像パネル230、嫌いな画像パネル240、収集画像パネル250の3種が存在する。収集画像パネルは、ユーザがとっておきたい画像をおいておく場所で、検索条件には影響しない。各パネルへの画像の登録は、前述した可視化空間における画像のマウスによるクリックあるいは他の画像パネルからのコピー、ないしは、外部ファイルからの読み込みによって行われる。好きな画像パネル、および、嫌いな画像パネルに登録された画像は、検索サーバ110へキー画像として登録される。
The fluffy movement will be described with reference to the feature value selection in FIG. Focusing on
As shown in FIG. 2, there are three types of
図5に各画像パネルの構成例を示す。各画像パネル上には、画像リストとして機能する表示パネル510が存在する。表示パネルの右と下には上下・左右のスクロールバー、上に画像表示サイズの拡大縮小のためのスライダー560が付与されている。ボタン520により画像パネル登録された画像リストの外部ファイルへの格納(SAVE)、外部ファイルからの画像リストの登録(LOAD)が制御できる。ボタン530により登録画像の全消去(CLEAR)の操作が出来る。
FIG. 5 shows a configuration example of each image panel. On each image panel, there is a
好きな画像パネル230および嫌いな画像パネル240には、検索条件を決めるパラメータを指定するためのスライダー540および550が付いている。類似度計算制御スライダー540は、複数のキー画像からの類似度から各検索対象画像の最終的な類似度を構成する際のパラメータを指定する。色重み付け(Color)と形重み付け(Shape)スライダー550は、色関連の特徴量、形関連の特徴量、それぞれをどの位重視するかを指定する。登録キー画像およびこれらの各種パラメータによって与えれらる検索条件から類似度を計算する具体的な手続きは後述する。
The
可視化空間210と画像パネル133との間での画像の移動、および、画像パネル133からの画像の削除は、3つボタンマウス(図示しないが、計算機の入出力の操作手段として一般的に備えられるもので良い)による操作によって行う。
The movement of the image between the visualization space 210 and the
可視化空間210内で、左ボタンで画像をピックした場合は好きな画像パネル230へ画像を登録、中ボタンの場合は嫌いな画像パネル240へ登録、右ボタンの場合は収集画像パネル250へ登録される。好きな画像パネル230内では、左ボタンで画像をピックした場合、確認後、その画像の登録を削除する。中ボタンで画像をピックした場合は嫌いな画像パネル240へ画像を登録し、右ボタンで画像をピックした場合は収集画像パネル250へ画像を登録する。同様に、嫌いな画像パネル240内では、左ボタンで画像をピックした場合、好きな画像パネルへ画像を登録し、中ボタンで画像をピックした場合確認後削除し、右ボタンで画像をピックした場合収集画像パネル250へ画像を登録する。収集画像パネル250内では、左ボタンで画像をピックした場合は好きな画像パネル230へ画像を登録し、中ボタンで画像をピックした場合は嫌いな画像パネル240へ画像を登録し、右ボタンで画像をピックした場合は確認後登録を削除する。もちろん、二つボタンのマウスであれば、ボタン位置ではすべて決めることはできないから、シフトキーあるいはコントロールキーとの併用をすることになる。
In the visualization space 210, when an image is picked with the left button, the image is registered in the
次に、類似度の計算について説明する。類似度の計算は、検索サーバ110中で行われる。
Next, calculation of similarity will be described. The calculation of the similarity is performed in the
本実施例では、色関連の画像特徴量として、画像中の色分布をヒストグラム化した特徴量、形関連の画像特徴量として、画像の輝度勾配ベクトルの方向成分の分布をヒストグラム化した特徴量を用いている。両者とも実数ベクトルとして表現されており、画像間の類似度は、これらのベクトル間の2乗距離をもとに定義される。次式は、ある与えらた画像(検索キー画像)と好きな画像パネル230に登録されたある画像(添え字iで表わす)との類似度を定義したものである。 In the present embodiment, as a color-related image feature amount, a feature amount obtained by histogramizing the color distribution in the image, and as a shape-related image feature amount, a feature amount obtained by histogramating the distribution of the direction component of the luminance gradient vector of the image. Used. Both are expressed as real vectors, and the similarity between images is defined based on the square distance between these vectors. The following equation defines the degree of similarity between a given image (search key image) and a certain image registered in the favorite image panel 230 (represented by the subscript i).
2種類の特徴量についての2乗距離に重みを付けしたのち指数をとって類似度としている。式中の2つの重みパラメータは、好きな画像パネル上の特徴量重み付けスライダー550による設定で変更できる。
After weighting the square distance for the two types of feature quantities, an index is taken as the similarity. The two weight parameters in the equation can be changed by setting with a feature
同様に嫌いな画像パネル240に登録された画像との類似度は次式で定義される。
Similarly, the similarity with the image registered in the disliked
与えられた画像と複数登録されたキー画像との距離は、各キー画像との類似度をもとに、以下のように構成される。 The distance between a given image and a plurality of registered key images is configured as follows based on the similarity to each key image.
(数3)は、好きな画像との類似度、(数4)は嫌いな画像との類似度である。類似度計算パラメータに従って、計算方法は、最も類似したキー画像との類似度を用いる、全キー画像との平均的な類似度を用いる、最も類似していないキー画像との類似度を用いる、という3段階を連続的に変化する。この類似度パラメータは、特徴量への重み付けと同様、画像パネル上から制御される。これら2つの類似度をもとに、最終的には、次式のような類似度が定義される。 (Equation 3) is the similarity with the favorite image, and (Equation 4) is the similarity with the disliked image. According to the similarity calculation parameter, the calculation method uses the similarity with the most similar key image, uses the average similarity with all the key images, uses the similarity with the least similar key image The three stages are changed continuously. The similarity parameter is controlled from the image panel as in the case of weighting the feature amount. Based on these two similarities, the following similarity is finally defined.
嫌いな画像との類似度に付加されている係数は、特徴量の重み付けが全体として小さい場合に嫌いな画像との類似度の効果を小さくするためのである。仮に、嫌いな画像パネル上で特徴量重み付けをすべて0とした場合は、嫌いな画像を登録した効果な無くなる。 The coefficient added to the similarity with the disliked image is for reducing the effect of the similarity with the disliked image when the weighting of the feature amount is small as a whole. If all feature weights are set to 0 on a dislike image panel, the effect of registering the dislike image is lost.
可視化サーバ120は、定常的には、GUIクライアント130、検索サーバ110とは独立にフワフワ運動を生成し続ける。ユーザがウォークスルーすることに伴う可視化空間の変化は、GUIクライアントからの送られ制御情報によって引き起こされる。検索条件の変化に伴う可視化空間の変化は、図6に示すようなデータフローによって起こる。
The
可視化サーバ120は、可視化空間210上でユーザから画像パネルへの画像の登録要求を取得すると、その画像の登録をGUIクライアントに通知する610。GUIクライアント130は、可視化サーバ120から通知される画像パネルへの登録要求が、好きな画像パネル230あるいは嫌いな画像パネル240に対しての登録要求であった場合、検索サーバ110に対して検索条件の変更を通知する620。同様に、GUIクライアント130は、GUIクライアント自身が管理する画像パネル上でのユーザ操作に伴う、好きな画像・嫌いな画像の登録・削除、および、検索条件を指定するパラメータの変更が生じた場合も、検索サーバ110に対して検索条件の変更を通知する620。検索サーバ110は、GUIクライアントからの検索条件の変更通知を取得すると、類似度の再計算を実行する。GUIクライアント130は、検索条件の変更に伴う検索サーバ110内での類似度の再計算が終了したのを確認すると、可視化サーバ120に対して、検索サーバ110から再計算された類似度を取得するように通知する630。可視化サーバ120は、検索サーバ110から類似度データの取得し640、可視化空間210の表示の再構成を行う。可視化空間210の再構成が終了すると、可視化サーバ120は、GUIクライアント130に再構成の終了を通知する。可視化空間210の再構成を確認した後、GUIクライアント130は、通常のユーザからの入力待ち状態に戻る。検索サーバ110への検索条件の通知から、可視化空間210の再構成の確認までは、画像パネルのスクロール等の検索サーバ110および可視化サーバ120との通信を伴わない処理を除き、GUIクライアント130は、ユーザからの入力イベントを無視する。
When the
以上のデータのフローを高性能のテクスチュアマッピング機能を持つグラフィックワークステーションで実現することにより、検索条件の変更とそれに伴う可視化空間内の表示の変化を、ユーザが連続的な事象として認識できるインターフェイスが実現される。 By realizing the above flow of data on a graphic workstation with a high-performance texture mapping function, an interface that allows the user to recognize changes in the search conditions and the changes in the display in the visualization space as continuous events. Realized.
図7は、本発明をオンライン画像・映像コンテンツサービスに展開したときのシステム構成と運用を説明する図である。 FIG. 7 is a diagram for explaining the system configuration and operation when the present invention is expanded to an online image / video content service.
本システムでは、ライセンスを受けた多数のユーザ720とコンテンツサービス業者710が、インターネット上で情報の授受を行う。各ユーザに対して、予め、コンテンツサービス業者自身、ないしは、ソフトウェア提供業者から、ブラウジングソフト721が提供される。サービス業者側には、大規模な画像・映像のデータベース722、それらの特徴量データベース712、ブラウジングソフト用のサムネール画像のデータベース713が存在しており、これらは管理サーバ714によって管理されている。
In this system, a large number of
なお、映像に関しては、カット割りされた静止画に関する特徴量がデータベース化されている。 Note that, for video, feature quantities related to cut still images are stored in a database.
ブラウジングソフト721は、先の実施例での可視化サーバ120およびGUIクライアント130と同様、仮想的3次元空間中の状態更新を実時間で行う。ユーザインターフェイス全体の構成は、先の実施例と同様である。
Similar to the
ユーザは、ブラウジングソフト721を立ち上げると、まず、ブラウジングする画像ないしは映像のカテゴリーを選択する。サーバ側では、予め各カテゴリーに対して複数のキー画像が典型画像の集合として用意されており、各画像には、この典型画像との類似度が登録されている。ユーザはこれらの情報を利用して簡単にブラウジングする画像ないしは映像のカテゴリーを指定することができる。管理サーバ714は、ユーザの選択を受信すると、選択されたカテゴリーに対応する画像ないしは映像のサムネール画像(映像の場合はカット割りされた代表画像のサムネール画像)、それらの特徴量、および、典型画像からの類似度を、類似度が高い順にユーザに送付する。ブラウジングソフト721は、可視化空間中の状態更新レート(1回の画面再構成のため時間)内に収まる範囲でデータを取得し、溢れたデータは次の状態更新時に取得するよう保留される。
When the user starts up the browsing software 721, the user first selects an image or video category to be browsed. On the server side, a plurality of key images are prepared for each category in advance as a set of typical images, and the similarity to the typical image is registered in each image. Using this information, the user can easily specify the category of images or videos to be browsed. When the
ブラウジングソフト721は、ユーザから検索条件の指定(キー画像の登録、特徴量の重み付け指定等)を受け付けると、サーバ714に対して類似度の再計算を要求する。サーバは、再計算が終了すると、類似度の変化が大きい順序で、再計算された類似度データをユーザに送付する。この際に、ブラウジングソフトが以前取得したことがないデータについては、サムネール画像および特徴量も合わせて送付する。ブラウジングソフトは、再計算された類似度データを優先的に取得し、取得できず保留されていたデータは破棄する。この場合も、状態更新レートから溢れるデータは保留される。
When the browsing software 721 receives a search condition specification (key image registration, feature weighting specification, etc.) from the user, the browsing software 721 requests the
以上の処理フローによって、ユーザは、実時間性を失うことなくサーバ側の画像・映像データベースをブラウジングすることができる。ブラウジングする中で、自分が欲しいと思うデータに出会ったユーザは、あらためて、データベース711中にある本画像、あるいは、映像の取得をサーバに要求する。サーバは、課金処理等を行ったのち、ユーザにそれらのデータを送付する。
With the above processing flow, the user can browse the server-side image / video database without losing real-time characteristics. During browsing, a user who meets the data he / she wants again requests the server to acquire the main image or video in the
110:検索サーバ、120:可視化サーバ、130:GUIクライアント、131:操作パネル、132:フワフワ運動設定パネル、133:画像パネル、140:画像特徴量データベース、150:画像データベース、210:可視化空間、220:操作パネル、230:好きな画像パネル、240:嫌いな画像パネル、250:収集画像パネル、310:視点初期化、320:フワフワ運動速度制御スライダー、330:フワフワ運動設定パネル表示、340:ウォークスルー移動速度制御スライダー、350:ウォークスルー首振り制御ボタン、360:ウォークスルー前後左右制御ボタン、370:ウォークスルー高さ制御ボタン、400:フワフワ運動設定パネルクローズボタン、410:選択したステップの複製と削除ボタン、420:ステップの選択ボタン、430:各ステップの可視化座標系への特徴量軸の割り当てボタン、440:運動方向の選択ボタン、450:繰り返し運動(ループ)のオン・オフボタン、460:運動の再スタートボタン、470:軌道ファイルのファイルからの読み込みとファイルへの書き出しボタン、510:画像リストの表示パネル、520:画像リストの入出力ボタン、530:画像の全削除ボタン、540:類似度計算制御スライダー、550:色重み付け(Color)と形重み付け(Shape)スライダー、560:画像表示サイズの拡大縮小のためのスライダー、610:画像の登録、620:検索条件の更新、630:類似度データ取得要求、640:類似度データの取得、710:コンテンツサービス業者、711:画像・映像データベース、712:特徴量データベース、713:サムネール画像データベース、714:データベース管理サーバ、720:ユーザ、721:ブラウジングソフト、722:特徴量データ、723:サムネール画像。 110: Search server, 120: Visualization server, 130: GUI client, 131: Operation panel, 132: Fluffy motion setting panel, 133: Image panel, 140: Image feature database, 150: Image database, 210: Visualization space, 220 : Operation panel 230: Favorite image panel 240: Disliked image panel 250: Collected image panel 310: Viewpoint initialization 320: Fluffy motion speed control slider 330: Fluffy motion setting panel display 340: Walkthrough Moving speed control slider, 350: Walk-through swing control button, 360: Walk-through front / rear left / right control button, 370: Walk-through height control button, 400: Fluffy motion setting panel close button, 410: Duplicate and delete selected step button 420: Step selection button, 430: Feature axis assignment button to each step visualization coordinate system, 440: Motion direction selection button, 450: Repetitive motion (loop) on / off button, 460: Remotion of motion Start button, 470: Read or write file of orbit file, 510: Image list display panel, 520: Image list input / output button, 530: Delete all images button, 540: Similarity calculation control Slider, 550: Color weighting (Color) and Shape weighting (Shape) slider, 560: Slider for enlargement / reduction of image display size, 610: Registration of image, 620: Update of search condition, 630: Request for similarity data acquisition 640: acquisition of similarity data, 710: content service provider, 711: image / video data 712: feature amount database, 713: thumbnail image database, 714: database management server, 720: user, 721: browsing software, 722: feature amount data, 723: thumbnail image.
Claims (7)
画像検索結果を表示するために上記ユーザインタフェースに生成される可視化空間の複数の座標軸に対して、各座標軸と特徴量との対応関係が時間経過と共に変化するように、予め特徴量を対応付けるステップと、Associating feature amounts in advance so that the correspondence relationship between each coordinate axis and the feature amount changes over time with respect to a plurality of coordinate axes in the visualization space generated in the user interface to display the image search result; ,
上記検索サーバが、上記特徴量データベースから読み出された特徴量に基いて、上記検索キー画像と類似した画像を検索し、検索画像毎の類似度を算出するステップと、The search server searches for an image similar to the search key image based on the feature amount read from the feature amount database, and calculates a similarity for each search image;
上記可視化サーバが、上記検索サーバから上記検索キー画像との類似度を含む類似画像の検索結果を取得するステップと、The visualization server obtaining a search result of a similar image including a similarity to the search key image from the search server;
上記可視化サーバが、上記ユーザインタフェースに生成された可視化空間に、上記各座標軸と特徴量との対応関係と上記類似度に従って、上記検索結果が示す類似画像と対応する複数の縮小画像を表示するステップとからなり、The visualization server displays a plurality of reduced images corresponding to the similar image indicated by the search result in the visualization space generated in the user interface according to the correspondence between the coordinate axes and the feature amount and the similarity. And consist of
上記各縮小画像が、上記可視化空間に、各々の類似度に応じた大きさで、且つ、上記各座標軸と特徴量との対応関係の変化に応じて表示位置を自動的に変更して表示されることを特徴とする画像集合の表示方法。Each reduced image is displayed in the visualization space with a size corresponding to each similarity and automatically changing the display position in accordance with the change in the correspondence between each coordinate axis and the feature amount. A method for displaying a set of images.
前記可視化空間の各座標軸と特徴量との対応付けが、上記特徴量選択画面におけるユーザによる上記各区間での上記何れかの特徴量の選択によって設定され、The association between each coordinate axis of the visualization space and the feature amount is set by the selection of any one of the feature amounts in each of the sections by the user on the feature amount selection screen,
前記可視化サーバが、上記特徴量選択画面で設定された所定期間分の各座標軸と特徴量との対応関係を繰り返して利用することにより、前記可視化空間における各縮小画面の表示位置を自動的に変更することを特徴とする請求項1に記載の画像集合の表示方法。The visualization server automatically changes the display position of each reduced screen in the visualization space by repeatedly using the correspondence between each coordinate axis and the feature amount for a predetermined period set on the feature amount selection screen. The method for displaying an image set according to claim 1, wherein:
上記検索対象画像の縮小画像を記憶した画像データベースを備える可視化サーバと、
検索キー画像を指定するためのユーザインタフェースとを備えるクライアントとからなる類似画像検索システムであって、
上記検索サーバが、上記特徴量データベースから読み出された特徴量に基いて、上記検索キー画像と類似した画像を検索し、検索画像毎の類似度を算出する手段を有し、
上記可視化サーバが、
画像検索結果を表示するために上記ユーザインタフェースに生成される可視化空間を形成する複数の座標軸について、各座標軸と特徴量との対応関係を経時変化させるための手段と、
上記検索サーバから上記検索キー画像との類似度を含む類似画像の検索結果を取得する手段と、
上記ユーザインタフェースに生成された可視化空間に、上記各座標軸と特徴量との対応関係と上記類似度に従って、上記検索結果が示す類似画像と対応する複数の縮小画像を表示するための手段とを備え、
上記各縮小画像が、上記可視化空間に、各々の類似度に応じた大きさで、且つ、上記各座標軸と特徴量との対応関係の変化に応じて表示位置を自動的に変更して表示されるようにしたことを特徴とする類似画像検索システム。 A search server including a feature amount database storing a plurality of feature amounts for a plurality of images to be searched;
A visualization server comprising an image database storing a reduced image of the search target image;
A similar image search system comprising a client having a user interface for designating a search key image,
The search server has a means for searching for an image similar to the search key image based on the feature amount read from the feature amount database, and calculating a similarity for each search image;
The visualization server is
Means for changing the correspondence relationship between each coordinate axis and a feature amount with respect to a plurality of coordinate axes forming a visualization space generated in the user interface for displaying an image search result;
Means for acquiring a search result of a similar image including a similarity to the search key image from the search server;
Means for displaying a plurality of reduced images corresponding to the similar image indicated by the search result in the visualization space generated in the user interface according to the correspondence between the coordinate axes and the feature amount and the similarity. ,
Each reduced image is displayed in the visualization space with a size corresponding to each similarity and automatically changing the display position according to the change in the correspondence between each coordinate axis and the feature amount. A similar image retrieval system characterized by being configured to do so.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005309959A JP4019093B2 (en) | 2005-10-25 | 2005-10-25 | Similar image retrieval method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005309959A JP4019093B2 (en) | 2005-10-25 | 2005-10-25 | Similar image retrieval method and apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19383898A Division JP4213786B2 (en) | 1998-07-09 | 1998-07-09 | Image collection display method and image display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006114053A JP2006114053A (en) | 2006-04-27 |
JP4019093B2 true JP4019093B2 (en) | 2007-12-05 |
Family
ID=36382466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005309959A Expired - Lifetime JP4019093B2 (en) | 2005-10-25 | 2005-10-25 | Similar image retrieval method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4019093B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4755632B2 (en) * | 2007-08-15 | 2011-08-24 | ヤフー株式会社 | Item recognition apparatus and item recognition method |
JP6054513B2 (en) * | 2013-03-15 | 2016-12-27 | 株式会社日立製作所 | Remote control system |
-
2005
- 2005-10-25 JP JP2005309959A patent/JP4019093B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2006114053A (en) | 2006-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7228507B2 (en) | Methods and systems for navigating a workspace | |
JP5346941B2 (en) | Data display apparatus, integrated circuit, data display method, data display program, and recording medium | |
US9916070B1 (en) | Architectures and methods for creating and representing time-dependent imagery | |
US7263667B1 (en) | Methods, apparatus and data structures for providing a user interface which facilitates decision making | |
US8214345B2 (en) | Custom constraints for faceted exploration | |
US8510669B2 (en) | Method and system for presenting photos on a website | |
US20170147573A1 (en) | Adaptive image browsing | |
JP4413844B2 (en) | Image display control device | |
US20050116966A1 (en) | Web imaging serving technology | |
US20100131898A1 (en) | History display apparatus, history display system, history display method, and program | |
JPWO2017002505A1 (en) | Information processing apparatus, information processing method, and program | |
JP2010146089A (en) | Item retrieval system | |
JP4213786B2 (en) | Image collection display method and image display apparatus | |
JP3630754B2 (en) | Data search method and apparatus | |
JP4019093B2 (en) | Similar image retrieval method and apparatus | |
JP2006235760A (en) | Information browsing system, method, and program | |
WO2002027508A9 (en) | Method and software for graphical representation of qualitative search results | |
JP3599405B2 (en) | Data display method and system | |
JP2002041571A (en) | Information retrieving device | |
JPH06251062A (en) | Method and device for displaying information | |
KR101212329B1 (en) | System and method for providing video map | |
JP2005196298A (en) | Information processor, image data display control method, program and recording medium | |
Schaefer et al. | Immersive browsing in an image sphere | |
JP5807920B2 (en) | Autologous diagram creation device, autologous diagram creation server, and program | |
JPH05282380A (en) | Animation image retrieving method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070416 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070921 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |