JPH0696134A - Image retrieving system - Google Patents
Image retrieving systemInfo
- Publication number
- JPH0696134A JPH0696134A JP4265576A JP26557692A JPH0696134A JP H0696134 A JPH0696134 A JP H0696134A JP 4265576 A JP4265576 A JP 4265576A JP 26557692 A JP26557692 A JP 26557692A JP H0696134 A JPH0696134 A JP H0696134A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similar
- target
- search
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、画像データベースから
検索者の目的とする画像を検索する検索方式に関わるも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a retrieval system for retrieving an image targeted by a searcher from an image database.
【0002】[0002]
【従来の技術】図4は従来の画像検索方式の一例であ
る。図4に示すように、本従来方式は検索意図入力手段
1、画像蓄積手段2、画像表示手段3、画像検索手段
4、及び類似画像相違度計算手段5で構成される。一般
に、画像は、その画像を特徴づけるいくつかの部分画像
(以下、”対象”と呼ぶ。)で構成され、またその対象
はいくつかの属性値を有する。対象の属性値の例として
は、”山”というラベルや、(100、200)という
x−y座標で表された絶対位置等があげられる。画像蓄
積手段2において、画像は画像表示手段3に表示するた
めの画データをその実体とし、対象の属性値の集合の形
で表現・蓄積されている。2. Description of the Related Art FIG. 4 shows an example of a conventional image retrieval system. As shown in FIG. 4, this conventional method is composed of a search intention input means 1, an image storage means 2, an image display means 3, an image search means 4, and a similar image dissimilarity calculation means 5. In general, an image is composed of a number of sub-images (hereinafter referred to as "objects") that characterize the image, and the object has several attribute values. Examples of the target attribute value include a label "mountain", an absolute position represented by xy coordinates (100, 200), and the like. In the image storage unit 2, the image is expressed and stored in the form of a set of target attribute values, with the image data to be displayed on the image display unit 3 as its entity.
【0003】検索者に対して、画像表示手段3から最初
に画像が表示されるまでの課程を説明する。検索者は、
検索したい目的となる画像(以下、”目的画像”と呼
ぶ。)に対する検索条件を作成する。検索意図入力手段
1は、検索者から検索条件を取り込み、画像検索手段4
へ送出する。画像検索手段4では、入力された検索条件
から対象属性値を抽出し、類似画像相違度検索手段5へ
送出する。類似画像相違度計算手段5は、画像検索手段
4を介して画像蓄積手段2から各蓄積画像の有する対象
属性値を取り込み、検索条件から抽出された対象属性値
と比較し相違度を計算する。類似画像相違度計算手段5
は、画像蓄積手段2に蓄積されている全ての画像に対し
て相違度を計算し終わると、画像検索手段4へ検索条件
に対する各蓄積画像の相違度を送出する。画像蓄積手段
2に蓄積されている全ての画像を表示対象画像と設定す
る。画像検索手段4は、画像蓄積手段2に蓄積されてい
る表示対象画像から、相違度の小さい順に表示すべき画
像を検索し、画像表示手段3を介して検索者に表示す
る。The process from the image display means 3 to the first display of an image will be explained to the searcher. Searchers are
A search condition is created for a target image to be searched (hereinafter referred to as "target image"). The search intention input means 1 fetches search conditions from a searcher, and the image search means 4
Send to. The image search means 4 extracts the target attribute value from the input search condition and sends it to the similar image dissimilarity search means 5. The similar image dissimilarity calculating means 5 fetches the target attribute value of each accumulated image from the image accumulating means 2 via the image retrieving means 4 and compares it with the target attribute value extracted from the search condition to calculate the dissimilarity. Similar image dissimilarity calculation means 5
After calculating the dissimilarity for all the images accumulated in the image accumulating means 2, sends the dissimilarity of each accumulated image to the search condition to the image searching means 4. All the images stored in the image storage unit 2 are set as display target images. The image search means 4 searches the display target images stored in the image storage means 2 for the images to be displayed in the order of increasing difference, and displays them to the searcher via the image display means 3.
【0004】画像表示手段3を介して表示された画像
(以下、”表示画像”と呼ぶ。)中に目的画像を発見で
きない場合の検索過程について、以下に説明する。ま
ず、目的画像を含まない表示画像を表示対象画像から外
す。検索者は、表示画像から目的画像に類似した画像
(以下、”類似画像”と呼ぶ。)を選択する。画像検索
手段4は、検索意図入力手段1を介して検索者がどの表
示画像を類似画像として選択したかを認識する。画像検
索手段4は、類似画像の有する対象属性値を画像蓄積手
段2から取り込み、類似画像相違度計算手段5へ送出す
る。類似画像相違度計算手段5は、画像検索手段4を介
して画像蓄積手段2から各表示対象画像の有する対象属
性値を取り込み、類似画像の対象属性値と比較し相違度
を計算する。類似画像相違度計算手段5は、画像蓄積手
段2に蓄積されている全ての表示対象画像に対して相違
度を計算し終わると、画像検索手段4へその相違度を送
出する。画像検索手段4では、画像が画像表示手段3に
表示される際の基準である表示距離として、この相違度
を設定する。画像検索手段4は、画像蓄積手段2に蓄積
されている表示対象画像から、表示距離の小さい順に表
示すべき画像を検索し、画像表示手段3を介して検索者
に表示する。以上、目的画像が発見されるまで、検索者
による類似画像の選択、及び画像表示手段3を介した画
像の表示が繰り返される。The search process when the target image cannot be found in the image displayed on the image display means 3 (hereinafter referred to as "display image") will be described below. First, the display image that does not include the target image is removed from the display target images. The searcher selects an image similar to the target image (hereinafter, referred to as “similar image”) from the display image. The image search means 4 recognizes which display image the searcher has selected as a similar image via the search intention input means 1. The image search means 4 fetches the target attribute value of the similar image from the image storage means 2 and sends it to the similar image dissimilarity calculation means 5. The similar image dissimilarity calculation means 5 takes in the target attribute value of each display target image from the image storage means 2 via the image search means 4, compares it with the target attribute value of the similar image, and calculates the dissimilarity. When the similar image dissimilarity calculation means 5 finishes calculating the dissimilarity for all the display target images stored in the image storage means 2, the similar image dissimilarity calculation means 5 sends the dissimilarity to the image search means 4. The image search means 4 sets this degree of difference as a display distance which is a reference when an image is displayed on the image display means 3. The image search means 4 searches the display target images stored in the image storage means 2 for images to be displayed in ascending order of display distance, and displays them to the searcher via the image display means 3. As described above, the searcher selects a similar image and displays the image via the image display means 3 until the target image is found.
【0005】例えば、画像及び検索条件を検索キーのベ
クトルで表現されている場合を用いて、具体的にこの従
来方式について説明する。対象のある属性値がある検索
キーで代表されると仮定すると、複数の対象属性値で特
徴づけられる画像は、検索キーの有無を意味する検索キ
ーのベクトル形式で表現できる。また、検索条件が検索
キーで代表される対象属性値のみで構成されると仮定す
ると、検索条件も同様に検索キーのベクトル形式で表現
できる。この時、類似画像相違度検索手段5において計
算される相違度は、検索条件もしくは類似画像に対応す
る検索キーのベクトルと、画像蓄積手段2に蓄積されて
いる表示対象画像に対応する検索キーのベクトルとのハ
ミング距離で表現される。表示距離についても同様であ
る。以下に、類似画像との相違度及び表示距離を式で示
す。ある表示対象画像を検索キーのベクトルで表現した
ものP(i)を、This conventional method will be specifically described by using a case where an image and a search condition are expressed by a search key vector. Assuming that a certain attribute value of a target is represented by a search key, an image characterized by a plurality of target attribute values can be expressed in a vector format of the search key that means the presence or absence of the search key. Further, assuming that the search condition is composed of only the target attribute value represented by the search key, the search condition can be similarly expressed in the vector format of the search key. At this time, the dissimilarity calculated by the similar image dissimilarity searching unit 5 is the search condition vector or the search key vector corresponding to the similar image and the search key corresponding to the display target image stored in the image storing unit 2. It is expressed by the Hamming distance from the vector. The same applies to the display distance. Below, the degree of difference from the similar image and the display distance are shown by equations. P (i), which represents a certain display target image with a search key vector,
【0006】[0006]
【数1】 P(i) = [v(i,1), v(i,2), …, v(i,Nk)] ; i =1〜Ni (1) v(i,j)∈{0,1 } ; j =1〜Nk (2) とする。但し、Ni及びNkはそれぞれ表示対象画像数及び
検索キー数である。検索者が表示画像から類似画像P(k)
(k ∈Sr、Srは類似画像のインデックスの集合)を選択
した場合には、表示対象画像P(i)の類似画像P(k)に対す
る相違度Dr(i) は、[Formula 1] P (i) = [v (i, 1), v (i, 2),…, v (i, Nk)]; i = 1 to Ni (1) v (i, j) ∈ { 0,1}; j = 1 to Nk (2). However, Ni and Nk are the number of display target images and the number of search keys, respectively. Similar image P (k) from the image displayed by the searcher
When (k ∈ Sr, Sr is a set of indices of similar images) is selected, the dissimilarity Dr (i) of the display target image P (i) with respect to the similar image P (k) is
【0007】[0007]
【数2】 と表される。よって、表示対象画像P(i)の表示距離D'
(i) は、[Equation 2] Is expressed as Therefore, the display distance D'of the display target image P (i)
(i) is
【0008】[0008]
【数3】 D'(i) = Dr(i) (4) となる。[Equation 3] D '(i) = Dr (i) (4).
【0009】図5には、画像及び検索条件が検索キーの
ベクトルで表現されている一具体例が示されており、同
図を用いて本従来方式を説明する。画像及び検索条件
は、k1〜k9の9つの検索キーのベクトルで表現されて
いる。検索キーk1〜k5を有する目的画像Xt=(1,1,1,1,1,
0,0,0,0)を検索するために、検索キーk1を有する検索条
件Xq=(1,0,0,0,0,0,0,0,0)を入力した。その結果、X1=
(1,1,1,0,0,0,0,0,1)、X2=(1,0,1,1,0,0,0,0,1)、X3=
(1,0,0,1,1,0,0,0,0)、X4=(1,1,0,1,1,1,1,1,1)、X5=
(1,1,0,1,0,1,1,0,1)、X6=(1,1,0,1,1,0,1,1,1)、及びX
7=(1,0,0,0,0,1,1,1,1)の7つの画像が画像表示手段3
に表示されたことを示している。これに対して検索者が
X1〜X3を類似画像として選択した場合、各類似画像に対
する目的画像Xtの相違度(即ちハミング距離)の合計は
8となる。比較のために、k1、k3、及びk9を有する画像
(以下、”比較画像”と呼ぶ。)Xc=(1,0,1,0,0,0,0,0,
1)の相違度の合計を計算すると6となり、比較画像が目
的画像より類似画像に近い画像と表現される。但し、類
似画像を、目的画像が有する検索キー数の方が有しない
検索キー数より2つ以上多く持つ画像と定義した。よっ
て、目的画像及び比較画像の表示距離は、各々8及び6
となり、比較画像が目的画像より先に検索者に表示され
てしまう。FIG. 5 shows a specific example in which an image and a search condition are expressed by a search key vector. The conventional method will be described with reference to FIG. The image and the search condition are represented by a vector of nine search keys k1 to k9. Target image with search keys k1 to k5 Xt = (1,1,1,1,1,
To search for (0,0,0,0), we entered the search condition Xq = (1,0,0,0,0,0,0,0,0) with the search key k1. As a result, X1 =
(1,1,1,0,0,0,0,0,1), X2 = (1,0,1,1,0,0,0,0,1), X3 =
(1,0,0,1,1,0,0,0,0), X4 = (1,1,0,1,1,1,1,1,1), X5 =
(1,1,0,1,0,1,1,0,1), X6 = (1,1,0,1,1,0,1,1,1), and X
7 = (1,0,0,0,0,1,1,1,1) 7 images are image display means 3
It is displayed in. On the other hand, the searcher
When X1 to X3 are selected as similar images, the sum of the dissimilarities (ie, Hamming distance) of the target image Xt with respect to each similar image is 8. For comparison, an image having k1, k3, and k9 (hereinafter referred to as “comparative image”) Xc = (1,0,1,0,0,0,0,0,
When the sum of the dissimilarities in 1) is calculated, it becomes 6, and the comparison image is expressed as an image closer to the similar image than the target image. However, the similar image is defined as an image in which the number of search keys included in the target image is two or more larger than the number of search keys not included. Therefore, the display distances of the target image and the comparison image are 8 and 6 respectively.
Therefore, the comparison image is displayed to the searcher before the target image.
【0010】このように、比較画像が目的画像により先
に表示されてしまう理由は次の通りである。本従来方式
のように、類似画像に対する相違度を表示距離と設定し
て、表示距離の小さい順に画像を表示することは、類似
画像に類似している順に画像を表示することと等価であ
る。言い替えれば、類似画像の有する対象属性値を多く
有する順に、画像を表示することと言える。ところが、
類似画像は、目的画像の有する対象属性値だけでなく、
目的画像の有しない対象属性値も少数有している。よっ
て、類似画像の有する対象属性値を多く有する順に、画
像を表示することは、類似画像中の目的画像の有しない
対象属性値を多く有する順に、画像を表示することとも
言い替えられる。即ち、本従来方式には、画像検索手段
4において検索意図を明確に認識できない欠点がある。The reason why the comparison image is displayed earlier than the target image is as follows. Setting the dissimilarity to similar images as the display distance and displaying the images in the ascending order of the display distance as in the conventional method is equivalent to displaying the images in the order of similarity to the similar images. In other words, it can be said that the images are displayed in descending order of the target attribute values of the similar images. However,
The similar image is not only the target attribute value of the target image,
It also has a small number of target attribute values that the target image does not have. Therefore, displaying the images in the order of having a large number of target attribute values of the similar images can be rephrased as displaying the images in the order of having a large number of target attribute values of the target image in the similar images. That is, the conventional method has a drawback that the image search means 4 cannot clearly recognize the search intention.
【0011】一方、図6は、従来の画像検索方式の別の
一例である。図6に示すように、本従来方式は検索意図
入力手段1、画像蓄積手段2、画像表示手段3、画像検
索手段4、類似画像相違度計算手段5、及び非選択画像
類似度計算手段6で構成される。上記従来技術と同様
に、画像蓄積手段2において、画像は画像表示手段3に
表示するための画データをその実体とし、対象の属性値
の集合の形で表現・蓄積されている。尚、検索者により
類似画像として選択されなかった表示画像を非選択画像
と定義する。画像検索手段4が画像表示手段3を介して
検索者に対して画像を表示するまでの過程は上記従来技
術に等しいので、検索者に対して画像が表示された後の
検索過程について、以下に詳細に説明する。On the other hand, FIG. 6 shows another example of the conventional image retrieval system. As shown in FIG. 6, in the conventional method, the search intention input means 1, the image storage means 2, the image display means 3, the image search means 4, the similar image dissimilarity calculation means 5, and the non-selected image similarity calculation means 6 are used. Composed. Similar to the above-mentioned conventional technique, in the image storage means 2, the image is expressed and stored in the form of a set of target attribute values, with the image data to be displayed on the image display means 3 as its entity. A display image that is not selected as a similar image by the searcher is defined as a non-selected image. The process until the image search unit 4 displays the image to the searcher via the image display unit 3 is the same as the above-mentioned conventional technique. Therefore, the search process after the image is displayed to the searcher will be described below. The details will be described.
【0012】表示画像中に目的画像を発見できない場合
には、まず目的画像の含まない表示画像を表示対象画像
から外す。検索者は、表示画像から類似画像を選択す
る。画像検索手段4は、検索意図入力手段1を介して検
索者がどの表示画像を類似画像として選択したかを認識
する。画像検索手段4は、類似画像の有する対象属性値
を画像蓄積手段2から取り込み、類似画像相違度計算手
段5へ送出する。また、画像検索手段4は、非選択画像
の対象属性値を画像蓄積手段2から取り込み、非選択画
像類似度計算手段6へ送出する。類似画像相違度計算手
段5は、画像検索手段4を介して画像蓄積手段2から各
表示対象画像の有する対象属性値を取り込み、類似画像
の対象属性値と比較し相違度を計算する。類似画像相違
度計算手段5は、画像蓄積手段2に蓄積されている全て
の表示対象画像に対して相違度を計算し終わると、画像
検索手段4へその相違度を送出する。一方、非選択画像
類似度計算手段6は、画像検索手段4を介して画像蓄積
手段2から各表示対象画像の有する対象属性値を取り込
み、非選択画像の対象属性値と比較し類似度を計算す
る。非選択画像類似度計算手段6は、画像蓄積手段2に
蓄積されている全ての表示対象画像に対して類似度を計
算し終わると、画像検索手段4へその類似度を送出す
る。画像検索手段4では、相違度及び類似度の合計を表
示距離として設定する。画像検索手段4は、画像蓄積手
段2に蓄積されている表示対象画像から、表示距離の小
さい順に表示すべき画像を検索し、画像表示手段3を介
して検索者に表示する。以上、目的画像が発見されるま
で、検索者による類似画像の選択、及び画像表示手段3
を介した画像の表示が繰り返される。When the target image cannot be found in the display image, the display image that does not include the target image is first removed from the display target image. The searcher selects a similar image from the displayed images. The image search means 4 recognizes which display image the searcher has selected as a similar image via the search intention input means 1. The image search means 4 fetches the target attribute value of the similar image from the image storage means 2 and sends it to the similar image dissimilarity calculation means 5. Further, the image search means 4 fetches the target attribute value of the non-selected image from the image storage means 2 and sends it to the non-selected image similarity calculation means 6. The similar image dissimilarity calculation means 5 takes in the target attribute value of each display target image from the image storage means 2 via the image search means 4, compares it with the target attribute value of the similar image, and calculates the dissimilarity. When the similar image dissimilarity calculation means 5 finishes calculating the dissimilarity for all the display target images stored in the image storage means 2, the similar image dissimilarity calculation means 5 sends the dissimilarity to the image search means 4. On the other hand, the non-selected image similarity calculation unit 6 takes in the target attribute value of each display target image from the image storage unit 2 via the image search unit 4, compares it with the target attribute value of the non-selected image, and calculates the similarity. To do. When the non-selected image similarity calculation means 6 finishes calculating the similarity for all the display target images stored in the image storage means 2, it sends the similarity to the image search means 4. The image search means 4 sets the sum of the dissimilarity and the similarity as the display distance. The image search means 4 searches the display target images stored in the image storage means 2 for images to be displayed in ascending order of display distance, and displays them to the searcher via the image display means 3. As described above, the searcher selects similar images and the image display means 3 until the target image is found.
The display of the image via is repeated.
【0013】例えば、画像及び検索条件を検索キーのベ
クトルで表現されている場合を用いて、具体的に本従来
方式について説明する。この時、類似画像相違度検索手
段5において計算される相違度は、上記従来技術と同様
に、検索条件もしくは類似画像に対応する検索キーのベ
クトルと画像蓄積手段2に蓄積されている表示対象画像
に対応する検索キーのベクトルとのハミング距離で表現
される。また、非選択画像類似度計算手段6において計
算される類似度は、非選択画像に対応する検索キーのベ
クトルと画像蓄積手段2に蓄積されている表示対象画像
に対応する検索キーのベクトルとのハミング距離を、検
索キー数から差し引いたもので表現される。以下に、類
似画像に対する相違度、非選択画像に対する類似度、及
び表示距離を式で示す。ある表示対象画像を検索キーの
ベクトルで表現したものP(i)は式(1)で、また表示対
象画像P(i)の類似画像P(k)に対する相違度Dr(i) は式
(3)で各々表される。更に、表示対象画像P(i)の、非
選択画像P(u)(u ∈Sns 、Sns は非選択画像のインデッ
クスの集合)に対する類似度Dns(i)は、This conventional method will be specifically described by using a case where an image and a search condition are represented by a search key vector. At this time, the dissimilarity calculated by the similar image dissimilarity searching means 5 is the vector of the search key corresponding to the search condition or the similar image and the display target image accumulated in the image accumulating means 2 as in the above-mentioned conventional technique. Is represented by the Hamming distance from the vector of the search key corresponding to. Further, the similarity calculated by the non-selected image similarity calculation means 6 is obtained by comparing the search key vector corresponding to the non-selected image and the search key vector corresponding to the display target image stored in the image storage means 2. The Hamming distance is represented by the number of search keys subtracted. Below, the degree of difference with respect to similar images, the degree of similarity with non-selected images, and the display distance are shown by equations. A certain display target image is represented by the vector of the search key P (i) is given by the formula (1), and the dissimilarity Dr (i) of the display target image P (i) with respect to the similar image P (k) is given by the formula (3). ). Further, the similarity Dns (i) of the display target image P (i) to the non-selected image P (u) (u ∈ Sns, where Sns is a set of indexes of the non-selected images) is
【0014】[0014]
【数4】 と表される。よって、表示対象画像P(i)の表示距離D''
(i)は、[Equation 4] Is expressed as Therefore, the display distance D of the display target image P (i) ''
(i) is
【0015】[0015]
【数5】 D''(i) = Dr(i) + Dns(i) (6) となる。[Equation 5] D ″ (i) = Dr (i) + Dns (i) (6).
【0016】この従来方式について、図7に示す一具体
例を用いて説明する。なお、図7における検索条件,表
示画像,目的画像及び比較画像や、それらの検索ベクト
ルによる表現は、図5に等しい。この例において、類似
画像に対する相違度の計算は、図5に等しい。即ち、検
索者はX1〜X3を類似画像として選択しているので、各類
似画像に対する目的画像Xtの相違度(ハミング距離)の
合計は8となる。また、比較画像Xcの相違度の合計を計
算すると6となり、比較画像が目的画像より類似画像に
近い画像と表現されている。一方、各非選択画像に対す
る目的画像Xtの類似度(検索キー数9 からハミング距離
を差し引いたもの)の合計は14となる。また、比較画
像Xcの類似度の合計を計算すると14となり、比較画像
と目的画像は同程度に非選択画像に近いと表現されてい
る。但し、類似画像の定義は図5と同様とした。よっ
て、目的画像及び比較画像の表示距離は各々22及び2
0となり、比較画像が目的画像より先に検索者に表示さ
れてしまうことになる。This conventional method will be described using a specific example shown in FIG. The search conditions, the display image, the target image, and the comparison image in FIG. 7 and the expressions by those search vectors are the same as in FIG. In this example, the calculation of the dissimilarity for similar images is equivalent to FIG. That is, since the searcher selects X1 to X3 as similar images, the total degree of difference (Hamming distance) of the target image Xt with respect to each similar image is 8. Further, when the sum of the dissimilarities of the comparative image Xc is calculated, it becomes 6, which indicates that the comparative image is closer to the similar image than the target image. On the other hand, the total of the similarities of the target image Xt to each non-selected image (the number of search keys 9 minus the Hamming distance) is 14. Further, the total of the similarities of the comparative image Xc is calculated to be 14, and it is expressed that the comparative image and the target image are almost similar to the non-selected image. However, the definition of the similar image is the same as in FIG. Therefore, the display distances of the target image and the comparison image are 22 and 2 respectively.
It becomes 0, and the comparison image will be displayed to the searcher before the target image.
【0017】このように比較画像が目的画像より先に表
示されてしまう理由は次の通りである。本従来方式のよ
うに、類似画像に対する相違度及び非選択画像に対する
類似度の和を表示距離と設定して、表示距離の小さい順
に画像を表示することは、類似画像に類似し、かつ非選
択画像に類似していない順に表示することに等価であ
る。言い替えれば、選択画像の有する対象属性値をでき
るだけ多く有し、かつ非選択画像の有する対象属性値を
できるだけ少なく有する順に、画像を表示することと言
える。ところが、非選択画は、目的画像に類似していな
い画像である非類似画像と、類似しているか否か判断の
難しい画像(例えば、検索意図に合致している対象と反
している対象を半数ずつ有している画像等)である中庸
画像に大別され、この内、中庸画像は目的画像の有する
対象属性値と有しない対象属性値を同数程度ずつ有して
いる可能性が強い。よって、中庸画像に類似しない順に
画像を表示することは、中庸画像中の目的画像が有する
対象属性値を少なく有する順に、画像を表示することと
等価である。このことは、類似画像に類似した画像の表
示、即ち類似画像中の目的画像が有する対象属性値をで
きるだけ多く有する画像の表示とは矛盾する結果とな
る。即ち、本従来方式には、画像検索手段4における検
索意図の認識が曖昧になってしまう欠点がある。The reason why the comparative image is displayed before the target image is as follows. Like the conventional method, setting the sum of the dissimilarity for similar images and the similarity for non-selected images as the display distance and displaying the images in ascending order of the display distance is similar to the similar images and unselected. It is equivalent to displaying images in a dissimilar order. In other words, it can be said that the images are displayed in the order in which the selected image has as many target attribute values as possible and the non-selected images have as few target attribute values as possible. However, the non-selected image is a dissimilar image that is not similar to the target image and an image for which it is difficult to determine whether or not it is similar (for example, Images, etc.), which have a similar number of target attribute values that target images have and target attribute values that target images do not have. Therefore, displaying the images in an order not similar to the medium image is equivalent to displaying the images in the order in which the target image in the medium image has a smaller target attribute value. This is inconsistent with the display of an image similar to the similar image, that is, the display of an image having as many target attribute values as the target image in the similar image has. That is, the conventional method has a drawback that the recognition of the search intention by the image search means 4 becomes ambiguous.
【0018】[0018]
【発明が解決しようとする課題】表示された画像を用い
て検索者の目的とする画像を検索する画像検索方式にお
いて、従来技術では、検索者に対して表示された画像か
ら、目的とする画像に類似した表示画像だけを選択させ
ていたため、検索者の検索意図を明確に認識することが
できず、目的画像を検索者に対して表示するまでに時間
を要した。SUMMARY OF THE INVENTION In an image search method for searching for a target image of a searcher by using the displayed image, in the prior art, the target image is selected from the images displayed to the searcher. Since only the display image similar to that was selected, it was not possible to clearly recognize the searcher's search intention, and it took time to display the target image to the searcher.
【0019】本発明は、上記問題点に鑑み、検索者に対
して目的画像に類似している表示画像だけでなく類似し
ていない表示画像をも選択させることにより、目的画像
をより早く検索者に表示することのできる画像検索方式
を提供することを目的とする。In view of the above problems, the present invention allows a searcher to select not only a display image that is similar to a target image but also a display image that is not similar to the target image, so that the target image can be searched more quickly. It is an object of the present invention to provide an image retrieval method that can be displayed on the screen.
【0020】[0020]
【課題を解決するための手段】本発明は、検索者が目的
画像を特徴づける検索条件を入力するための、かつ該目
的画像に類似した画像である類似画像及び前記目的画像
に類似していない画像である非類似画像を選択するため
の検索意図入力手段と、複数の検索キーを対応づけて画
像を蓄積する画像蓄積手段と、該検索者に対して該画像
を表示する画像表示手段と、該画像蓄積手段に蓄積され
ている前記画像に対して該類似画像との相違している度
合である相違度を計算する類似画像相違度計算手段と、
前記画像蓄積手段に蓄積されている前記画像に対して該
非類似画像との類似している度合である類似度を計算す
る非類似画像類似度計算手段と、前記画像蓄積手段に蓄
積されている画像から前記目的画像を検索する画像検索
手段とを有し、前記検索者に対して表示された前記画像
から前記類似画像及び前記非類似画像を選択させ、前記
相違度及び前記類似度を基に蓄積されている前記画像を
表示することを繰り返すことにより前記目的画像を検索
することを特徴とする。According to the present invention, a searcher inputs a search condition that characterizes a target image, and a similar image which is similar to the target image and a similar image which is not similar to the target image. A search intention input means for selecting a dissimilar image which is an image, an image storage means for storing an image by associating a plurality of search keys, and an image display means for displaying the image to the searcher, Similar image dissimilarity calculation means for calculating a dissimilarity which is a degree of dissimilarity to the similar image with respect to the image stored in the image storage means,
A dissimilar image similarity calculating means for calculating a degree of similarity between the images accumulated in the image accumulating means and the dissimilar image, and an image accumulated in the image accumulating means Image retrieval means for retrieving the target image from, and allowing the searcher to select the similar image and the dissimilar image from the displayed images, and accumulates based on the dissimilarity and the similarity. It is characterized in that the target image is searched by repeating displaying the displayed image.
【0021】[0021]
【作用】本発明は、上記構成において、検索者に対して
表示された画像から類似画像及び非類似画像を選択さ
せ、類似画像に対する相違度及び非類似画像に対する類
似度を基に、蓄積されている画像を表示することによ
り、簡単な操作により効率的にかつ迅速に目的画像を検
索できる画像検索方式である。According to the present invention, in the above structure, a searcher is made to select a similar image and a dissimilar image from the displayed images, and the images are accumulated based on the dissimilarity degree to the similar image and the similarity degree to the dissimilar image. This is an image retrieval method that can display the target image efficiently and quickly by a simple operation.
【0022】[0022]
【実施例】以下、図面を参照して本発明の実施例を説明
する。図1は、本発明に関わる画像検索方式の一実施例
である。図1に示すように、本発明は、検索意図入力手
段1、画像蓄積手段2、画像表示手段3、画像検索手段
4、類似画像相違度計算手段5、及び非類似画像類似度
計算手段7で構成される。上記従来技術と同様に、画像
蓄積手段2において、画像は、画像表示手段3に表示す
るための画データをその実体とし、対象の属性値の集合
の形で表現・蓄積されている。画像検索手段4が画像表
示手段3を介して検索者に対して画像を表示するまでの
過程は上記従来技術に等しいので、本発明と従来技術と
の相違点についてのみ詳細に説明する。相違点である、
検索者に対して画像が表示された後の検索過程につい
て、以下に説明する。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows an embodiment of an image search system according to the present invention. As shown in FIG. 1, the present invention comprises a search intention input means 1, an image storage means 2, an image display means 3, an image search means 4, a similar image dissimilarity calculation means 5, and a dissimilar image similarity calculation means 7. Composed. Similar to the above-mentioned conventional technique, in the image storage means 2, the image is expressed and stored in the form of a set of target attribute values, with the image data to be displayed on the image display means 3 as its substance. The process until the image search means 4 displays an image to the searcher through the image display means 3 is the same as the above-mentioned conventional technique, and therefore only the difference between the present invention and the conventional technique will be described in detail. Is the difference,
The search process after the image is displayed to the searcher will be described below.
【0023】表示画像中に目的画像を発見できない場合
には、まず目的画像を含まない表示画像を表示対象画像
から外す。検索者は、表示画像から類似画像及び非類似
画像を選択する。画像検索手段4は、検索意図入力手段
1を介して検索者がどの表示画像を類似画像及び非類似
画像として選択したかを認識する。画像検索手段4は、
類似画像の有する対象属性値を画像蓄積手段2から取り
込み、類似画像相違度計算手段5へ送出する。また、画
像検索手段4は、非類似画像の有する対象属性値を画像
蓄積手段2から取り込み、非類似画像類似度計算手段7
へ送出する。類似画像相違度計算手段5は、画像検索手
段4を介して画像蓄積手段2から各表示対象画像の有す
る対象属性値を取り込み、類似画像の対象属性値と比較
し相違度を計算する。類似画像相違度計算手段5は、画
像蓄積手段2に蓄積されている全ての表示対象画像に対
して相違度を計算し終わると、画像検索手段4へその相
違度を送出する。一方、非類似画像類似度計算手段7
は、画像検索手段4を介して画像蓄積手段2から各表示
対象画像の有する対象属性値を取り込み、非類似画像の
対象属性値と比較し類似度を計算する。非類似画像類似
度計算手段7は、画像蓄積手段2に蓄積されている全て
の表示対象画像に対して類似度を計算し終わると、画像
検索手段4へその類似度を送出する。画像検索手段4で
は、相違度及び類似度の合計を表示距離として設定す
る。画像検索手段4は、表示距離の小さい順に表示すべ
き画像を画像蓄積手段2から検索し、画像表示手段3を
介して検索者に表示する。以上、目的画像が発見される
まで、検索者による類似画像の選択、及び画像表示手段
3を介した画像の表示が繰り返される。When the target image cannot be found in the display image, the display image not including the target image is first removed from the display target image. The searcher selects a similar image and a dissimilar image from the displayed images. The image search means 4 recognizes which display image the searcher has selected as the similar image and the dissimilar image via the search intention input means 1. The image search means 4
The target attribute value of the similar image is fetched from the image storage means 2 and sent to the similar image dissimilarity calculation means 5. Further, the image search means 4 fetches the target attribute value of the dissimilar image from the image storage means 2, and the dissimilar image similarity calculation means 7
Send to. The similar image dissimilarity calculation means 5 takes in the target attribute value of each display target image from the image storage means 2 via the image search means 4, compares it with the target attribute value of the similar image, and calculates the dissimilarity. When the similar image dissimilarity calculation means 5 finishes calculating the dissimilarity for all the display target images stored in the image storage means 2, the similar image dissimilarity calculation means 5 sends the dissimilarity to the image search means 4. On the other hand, the dissimilar image similarity calculation means 7
Acquires the target attribute value of each display target image from the image storage means 2 via the image search means 4, compares it with the target attribute value of the dissimilar image, and calculates the degree of similarity. The non-similar image similarity calculation means 7 sends the similarity to the image search means 4 when the similarity is calculated for all the display target images stored in the image storage means 2. The image search means 4 sets the sum of the dissimilarity and the similarity as the display distance. The image search means 4 searches the image storage means 2 for images to be displayed in ascending order of display distance, and displays them to the searcher via the image display means 3. As described above, the searcher selects a similar image and displays the image via the image display means 3 until the target image is found.
【0024】例えば、画像及び検索条件を検索キーのベ
クトルで表現されている場合を用いて、具体的に本従来
方式について説明する。この時、類似画像相違度計算手
段5において計算される相違度は、上記従来技術と同様
に、検索条件もしくは類似画像に対応した検索キーのベ
クトルと画像蓄積手段2に蓄積されている表示対象画像
に対応した検索キーのベクトルとのハミング距離で表現
される。また、非類似画像類似度計算手段7において計
算される類似度は、非類似画像に対応した検索キーのベ
クトルと画像蓄積手段2に蓄積されている表示対象画像
に対応した検索キーのベクトルとのハミング距離を、検
索キー数から差し引いたもので表現される。以下に、類
似画像に対する相違度、非類似画像に対する類似度、及
び表示距離を式で示す。ある表示対象画像を検索キーの
ベクトルで表現したものP(i)は式(1)で、また表示対
象画像P(i)に対する類似画像との相違度Dr(i) は式
(3)で各々表される。更に、検索者が表示画像から非
類似画像P(m)(m ∈Sir 、Sirは非類似画像のインデッ
クスの集合)を選択した場合には、表示対象画像P(i)と
非類似画像P(m)との類似度Dir(i)は、The conventional method will be specifically described by using a case where an image and a search condition are expressed by a search key vector. At this time, the dissimilarity calculated by the similar image dissimilarity calculating unit 5 is the vector of the search key corresponding to the search condition or the similar image and the display target image accumulated in the image accumulating unit 2 as in the above-mentioned conventional technique. Is represented by the Hamming distance from the search key vector corresponding to. Further, the similarity calculated by the dissimilar image similarity calculating unit 7 is the vector of the search key corresponding to the dissimilar image and the vector of the search key corresponding to the display target image accumulated in the image accumulating unit 2. The Hamming distance is represented by the number of search keys subtracted. Below, the degree of dissimilarity for similar images, the degree of similarity for dissimilar images, and the display distance are shown by equations. A certain display target image is represented by a search key vector, P (i) is expressed by equation (1), and the degree of difference Dr (i) between the display target image P (i) and the similar image is expressed by equation (3). expressed. Further, when the searcher selects a dissimilar image P (m) (m ∈ Sir, Sir is a set of dissimilar image indexes) from the display images, the display target image P (i) and the dissimilar image P (i The similarity Dir (i) with m) is
【0025】[0025]
【数6】 と表される。よって、表示対象画像P(i)の表示距離D(i)
は、[Equation 6] Is expressed as Therefore, the display distance D (i) of the display target image P (i)
Is
【0026】[0026]
【数7】 D(i) = Dr(i) + Dir(i) (8) となる。[Equation 7] D (i) = Dr (i) + Dir (i) (8).
【0027】尚、以上の検索過程のフローを図2に示
す。本発明について、図3に示す一具体例を用いて説明
する。なお、図3における検索条件,表示画像,目的画
像,及び比較画像や、それらの検索ベクトルによる表現
は、図5に等しい。この例において、類似画像に対する
相違度の計算は、図5に等しい。即ち、検索者はX1〜X3
を類似画像として選択しているので、各類似画像に対す
る目的画像Xtの相違度(ハミング距離)の合計は8とな
る。また、比較画像Xcの相違度の合計を計算すると6と
なり、比較画像が目的画像より類似画像に近い画像と表
現されている。一方、各非類似画像に対する目的画像Xt
の類似度(検索キー数9 からハミング距離を差し引いた
もの)の合計は1となる。また、比較画像Xcの類似度の
合計を計算すると5となり、目的画像が比較画像より非
類似画像に近い画像と表現されている。但し、類似画像
の定義は図5と同様とし、又、非類似画像を、目的画像
が有する検索キー数の方が有しない検索キー数より2つ
以上少ない画像と定義した。従って、表示距離は、目的
画像が9、比較画像が11となり、目的画像が比較画像
より早く検索者に表示されることになる。The flow of the above search process is shown in FIG. The present invention will be described using a specific example shown in FIG. The search conditions, the display image, the target image, and the comparison image in FIG. 3 and the expressions by those search vectors are the same as in FIG. In this example, the calculation of the dissimilarity for similar images is equivalent to FIG. That is, the searcher is X1 to X3
Is selected as the similar image, the total difference degree (Hamming distance) of the target image Xt with respect to each similar image is 8. Further, when the sum of the dissimilarities of the comparative image Xc is calculated, it becomes 6, which indicates that the comparative image is closer to the similar image than the target image. On the other hand, the target image Xt for each dissimilar image
The total degree of similarity (the number of search keys 9 minus the Hamming distance) is 1. Further, the total of the similarities of the comparison image Xc is calculated to be 5, and the target image is expressed as an image closer to the dissimilar image than the comparison image. However, the definition of the similar image is the same as that in FIG. 5, and the dissimilar image is defined as an image in which the number of search keys included in the target image is two or more smaller than the number of search keys not included. Therefore, the display distance is 9 for the target image and 11 for the comparative image, and the target image is displayed to the searcher earlier than the comparative image.
【0028】このように本発明が従来技術の欠点を解決
できた理由は、以下の通りである。類似画像に対する相
違度及び非類似画像に対する類似度の和を表示距離と設
定して、表示距離の小さい順に画像を表示することは、
類似画像に類似し、かつ非類似画像に類似していない順
に画像を表示することと等価である。言い替えれば、類
似画像の有する対象属性値を多く有し、かつ非類似画像
の有する対象属性値を少なく有する順に、画像を表示す
ることと言える。目的画像の有しない対象属性値は、類
似画像に少なく非類似画像に多く属する。よって、この
ような属性値の画像表示に対する影響は、非類似画像の
方が大きいので、この様な属性値を有しない順に画像を
表示することになる。同様に、目的画像の有する対象属
性値は、類似画像に多く非類似画像に少なく属する。よ
って、このような属性値の画像表示に対する影響は、類
似画像の方が大きいので、この様な属性値を有する順に
画像を表示することになる。The reason why the present invention can solve the drawbacks of the prior art is as follows. Setting the sum of the dissimilarity for similar images and the similarity for dissimilar images as the display distance and displaying images in ascending order of display distance is
It is equivalent to displaying images in order of being similar to similar images and not similar to dissimilar images. In other words, it can be said that images are displayed in the order of having many target attribute values of similar images and little target attribute values of dissimilar images. The target attribute values that the target image does not have belong to less similar images and more to dissimilar images. Therefore, since the dissimilar image has a greater effect on the image display of such an attribute value, the images are displayed in the order of not having such an attribute value. Similarly, the target attribute values of the target image belong to many similar images and few to dissimilar images. Therefore, since the similar image has a greater effect on the image display of such attribute values, the images are displayed in the order of having such attribute values.
【0029】[0029]
【発明の効果】従って、本発明では、目的画像の有する
対象属性値を有し、かつ目的画像の有さない対象属性値
を有さない順に、画像を表示することになるため、画像
検索手段4における検索意図の明確な認識が可能とな
り、検索者に対して目的画像を早期に表示できる。Therefore, according to the present invention, the images are displayed in the order of having the target attribute value of the target image and not having the target attribute value of the target image. The search intention in 4 can be clearly recognized, and the target image can be displayed to the searcher at an early stage.
【図1】本発明に関わる画像検索方式の一実施例を示す
ブロック図である。FIG. 1 is a block diagram showing an embodiment of an image search system according to the present invention.
【図2】図1の一実施例に関わる検索過程フローであ
る。FIG. 2 is a search process flow according to the embodiment of FIG.
【図3】図1の一実施例に関わる一具体的検索例であ
る。FIG. 3 is a specific search example according to the embodiment of FIG.
【図4】従来の画像検索方式の一実施例を示すブロック
図である。FIG. 4 is a block diagram showing an example of a conventional image search system.
【図5】図4に関わる一具体的検索例である。5 is a specific search example relating to FIG. 4. FIG.
【図6】従来の画像検索方式の図4とは別の一実施例を
示すブロック図である。FIG. 6 is a block diagram showing another embodiment of the conventional image retrieval system different from that of FIG.
【図7】図6に関わる一具体的検索例である。FIG. 7 is a specific search example relating to FIG.
1 検索意図入力手段 2 画像蓄積手段 3 画像表示手段 4 画像検索手段 5 類似画像相違度計算手段 6 非選択画像類似度計算手段 7 非類似画像類似度計算手段 1 Search Intention Input Means 2 Image Storage Means 3 Image Display Means 4 Image Retrieval Means 5 Similar Image Dissimilarity Calculators 6 Non-selected Image Similarity Calculators 7 Dissimilar Image Similarity Calculators
Claims (4)
を入力するための、かつ該目的画像に類似した画像であ
る類似画像及び前記目的画像に類似していない画像であ
る非類似画像を選択するための検索意図入力手段と、複
数の検索キーを対応づけて画像を蓄積する画像蓄積手段
と、該検索者に対して該画像を表示する画像表示手段
と、該画像蓄積手段に蓄積されている画像に対して該類
似画像との相違している度合である相違度を計算する類
似画像相違度計算手段と、前記画像蓄積手段に蓄積され
ている前記画像に対して該非類似画像との類似している
度合である類似度を計算する非類似画像類似度計算手段
と、前記画像蓄積手段に蓄積されている前記画像から前
記目的画像を検索する画像検索手段とを有し、前記検索
者に対して表示された前記画像から前記類似画像及び前
記非類似画像を選択させ、前記相違度及び前記類似度を
基に蓄積されている前記画像を表示することを繰り返す
ことにより前記目的画像を検索することを特徴とする画
像検索方式。1. A similar image which is an image similar to the target image and a dissimilar image which is not similar to the target image are selected by a searcher for inputting search conditions that characterize the target image. Search intention input means for storing, an image storage means for storing an image in association with a plurality of search keys, an image display means for displaying the image to the searcher, and an image storage means for storing the image. A similar image dissimilarity calculating means for calculating a dissimilarity which is a degree of dissimilarity to the similar image for the existing image, and similarity of the dissimilar image to the image accumulated in the image accumulating means. The non-similarity image similarity calculation means for calculating the degree of similarity, and the image retrieval means for retrieving the target image from the images stored in the image storage means. Displayed against The target image is searched by selecting the similar image and the dissimilar image from the images and repeating displaying the accumulated images based on the degree of difference and the degree of similarity. Image retrieval method.
い順に蓄積されている前記画像を表示することを特徴と
する請求項1に記載の画像検索方式。2. The image search method according to claim 1, wherein the images stored are displayed in the order of increasing sum of the dissimilarity and the similarity.
画像を表現した場合において、蓄積されている前記画像
と前記類似画像とのハミング距離の関数である前記相違
度及び蓄積されている前記画像と前記非類似画像とのハ
ミング距離の関数である前記類似度を用いることを特徴
とする請求項1に記載の画像検索方式。3. When the image is represented by a vector representing the presence or absence of the search key, the difference degree as a function of the Hamming distance between the accumulated image and the similar image and the accumulated image The image retrieval method according to claim 1, wherein the similarity, which is a function of a Hamming distance between the image and the dissimilar image, is used.
い順に蓄積されている前記画像を表示することを特徴と
する請求項3に記載の画像検索方式。4. The image search method according to claim 3, wherein the images stored are displayed in the order of increasing sum of the dissimilarity and the similarity.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4265576A JPH0696134A (en) | 1992-09-09 | 1992-09-09 | Image retrieving system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4265576A JPH0696134A (en) | 1992-09-09 | 1992-09-09 | Image retrieving system |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0696134A true JPH0696134A (en) | 1994-04-08 |
Family
ID=17419042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4265576A Pending JPH0696134A (en) | 1992-09-09 | 1992-09-09 | Image retrieving system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0696134A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235215A (en) * | 1995-03-01 | 1996-09-13 | Fujitsu Ltd | Browsing system for picture data |
JPH0934900A (en) * | 1995-07-25 | 1997-02-07 | Nippon Telegr & Teleph Corp <Ntt> | Information retrieval method and device |
JPH0991450A (en) * | 1995-07-17 | 1997-04-04 | Toshiba Corp | Document processing unit and document processing method |
JPH10253389A (en) * | 1997-03-12 | 1998-09-25 | Tsubasa Syst Kk | Vehicle repair cost estimation system |
-
1992
- 1992-09-09 JP JP4265576A patent/JPH0696134A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235215A (en) * | 1995-03-01 | 1996-09-13 | Fujitsu Ltd | Browsing system for picture data |
JPH0991450A (en) * | 1995-07-17 | 1997-04-04 | Toshiba Corp | Document processing unit and document processing method |
JPH0934900A (en) * | 1995-07-25 | 1997-02-07 | Nippon Telegr & Teleph Corp <Ntt> | Information retrieval method and device |
JPH10253389A (en) * | 1997-03-12 | 1998-09-25 | Tsubasa Syst Kk | Vehicle repair cost estimation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10394878B2 (en) | Associating still images and videos | |
US7860317B2 (en) | Generating search results based on duplicate image detection | |
US9201903B2 (en) | Query by image | |
US6691107B1 (en) | Method and system for improving a text search | |
JP5316158B2 (en) | Information processing apparatus, full-text search method, full-text search program, and recording medium | |
JP3225912B2 (en) | Information retrieval apparatus, method and recording medium | |
US7933452B2 (en) | System and methods of image retrieval | |
US20100017389A1 (en) | Content based image retrieval | |
JP5121917B2 (en) | Image search apparatus, image search method and program | |
US8243988B1 (en) | Clustering images using an image region graph | |
JP2003167914A (en) | Multimedia information retrieving method, program, recording medium and system therefor | |
JPH07160731A (en) | Method and device for picture retrieval | |
JPH06215029A (en) | Retrieval method of text | |
KR20190038243A (en) | System and method for retrieving documents using context | |
US10872114B2 (en) | Image processing device, image retrieval interface display device, and method for displaying image retrieval interface | |
CN105138672A (en) | Multi-feature fusion image retrieval method | |
CN105868261A (en) | Method and device for obtaining and ranking associated information | |
CN112148886A (en) | Method and system for constructing content knowledge graph | |
CN110737751A (en) | Similarity value-based search method and device, computer equipment and storage medium | |
CN106570196B (en) | Video program searching method and device | |
US8682065B2 (en) | Distance metric learning with feature decomposition | |
JP3903613B2 (en) | Search device and computer-readable recording medium storing search program | |
JPH0248772A (en) | Analogous picture retrieving system | |
JP3205220B2 (en) | Data retrieval device | |
JPH0696134A (en) | Image retrieving system |