JPH05242160A - Image feature extraction device, image collation device, and image retrieval device - Google Patents

Image feature extraction device, image collation device, and image retrieval device

Info

Publication number
JPH05242160A
JPH05242160A JP4040825A JP4082592A JPH05242160A JP H05242160 A JPH05242160 A JP H05242160A JP 4040825 A JP4040825 A JP 4040825A JP 4082592 A JP4082592 A JP 4082592A JP H05242160 A JPH05242160 A JP H05242160A
Authority
JP
Japan
Prior art keywords
image
similarity
collation
unit
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4040825A
Other languages
Japanese (ja)
Inventor
Hiroshi Akahori
裕志 赤堀
Hisayo Yamazaki
久代 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP4040825A priority Critical patent/JPH05242160A/en
Publication of JPH05242160A publication Critical patent/JPH05242160A/en
Pending legal-status Critical Current

Links

Abstract

PURPOSE:To provide the image retrieval device which performs retrieval by semiautomatically extracting feature quantities from objects in images and collating the images even when the extracted feature quantities and the objects in the images are different in number, and can adaptable for various retrieval requests. CONSTITUTION:When an image data base is generated, the areas and names of constituent elements in the images are inputted and the image feature quantities in the specified areas are automatically extracted. When the images are collated, a corresponding constituent element extraction part 9 extracts the corresponding constituent elements in the images and a constituent element similarity calculation part 10 finds the similarities between the elements, element by element, from the image feature quantities and couples them to find the degrees of matching between the elements. The similar image is retrieved according to the found degrees of matching between the images and then the retrieval can be performed even if the numbers of the constituent elements in the images are different; and diverse retrieval is provided by changing the form of the function for finding the similarities.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、画像から特徴量を抽出
して画像データベースを作成したり、作成した画像デー
タベースから例示画に類似した画像を検索する画像検索
装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image retrieving apparatus for retrieving a feature amount from an image to create an image database and retrieving an image similar to an exemplary image from the created image database.

【0002】[0002]

【従来の技術】従来の画像検索手法として、例えば電子
情報通信学会技術研究報告IE86-117に示されたものがあ
る。
2. Description of the Related Art As a conventional image retrieval method, for example, there is one shown in IE86-117, Technical Report of IEICE.

【0003】これは風景画像から対象物として山を認識
して自動抽出し、山の属性特徴として色、大きさ、位
置、形状を求める。蓄積画像は色、大きさ、位置、形状
の4次元空間上の点として表現され、検索要求画像との
照合はこの特徴空間上で行われる。すなわち、特徴空間
上で検索要求画像と蓄積画像との距離を求め、検索要求
画像に最も近い蓄積画像を検索結果として出力するか、
あるいは距離が近い順に複数の画像を出力する。
In this method, a mountain is recognized as an object from a landscape image and automatically extracted, and the color, size, position and shape are obtained as the attribute characteristics of the mountain. The accumulated image is represented as a point in a four-dimensional space of color, size, position, and shape, and matching with the search request image is performed in this feature space. That is, the distance between the search request image and the stored image is obtained in the feature space, and the stored image closest to the search request image is output as the search result.
Alternatively, a plurality of images are output in ascending order of distance.

【0004】[0004]

【発明が解決しようとする課題】従来例では対象物とし
て山を認識しているが、自然画では山以外に多種多様な
ものがあり、さらにそれらが重なり合っているような場
合は画像内の対象物を自動的に抽出して認識するのは非
常に困難である。
In the conventional example, a mountain is recognized as an object, but there are various kinds of natural images other than the mountain, and if they overlap each other, the object in the image It is very difficult to automatically extract and recognize objects.

【0005】一方、複数の対象物からなる画像の照合を
行って類似画像を検索する場合、蓄積画像によって画像
中に含まれる対象物が異なったり、対象物から得られる
特徴量が画像ごとに異なることがある。この場合、従来
例のように特徴空間上で距離を求めようとしても、画像
ごとに対象物や特徴量の数が異なるために距離を求める
ことができないという問題が生じる。
On the other hand, when a similar image is searched by collating an image composed of a plurality of objects, the objects included in the image are different depending on the accumulated image, or the feature amount obtained from the object is different for each image. Sometimes. In this case, even if an attempt is made to obtain the distance in the feature space as in the conventional example, there is a problem that the distance cannot be obtained because the number of objects and feature amounts differ for each image.

【0006】さらに検索要求として対象物ごとに検索の
要求度合が異なるときや、検索要求で示した対象物以外
のものが含まれる場合には検索順位を低くするといった
多様な検索を実現することは困難である。
Further, it is not possible to realize various searches such as lowering the search order when the degree of search request differs for each object as a search request or when objects other than the objects indicated by the search request are included. Have difficulty.

【0007】本発明はかかる点に鑑み、半自動的に画像
内の対象物から特徴量を抽出し、抽出した特徴量や画像
内に含まれる対象物の数が異なるときにも画像間の照合
を行って検索でき、さらに多様な検索要求に対応できる
画像検索装置を提供することを目的とする。
In view of the above point, the present invention semi-automatically extracts a feature amount from an object in an image and collates the images even when the extracted feature amount or the number of objects included in the image is different. It is an object of the present invention to provide an image search device capable of searching and further responding to various search requests.

【0008】[0008]

【課題を解決するための手段】上記課題を解決するため
に以下のような構成とする。
In order to solve the above-mentioned problems, the following constitution is adopted.

【0009】第1の発明は、画像特徴を抽出するための
画像を入力する画像入力部と、入力した画像を表示する
画像表示部と、画像中の構成要素の領域を指定する領域
指定部と、前記領域指定部で指定した構成要素の要素名
を入力する要素名入力部と、指定された構成要素の領域
から構成要素ごとに画像特徴を抽出する画像特徴抽出部
と、要素名と画像特徴量を対応させて蓄積する画像特徴
量蓄積部を備える。
According to a first aspect of the invention, an image input section for inputting an image for extracting image features, an image display section for displaying the input image, and an area designating section for designating areas of constituent elements in the image. An element name input unit for inputting an element name of a component designated by the region designation unit, an image feature extraction unit for extracting an image feature for each component from the region of the designated component, an element name and an image feature An image feature quantity storage unit that stores quantities in association with each other is provided.

【0010】第2の発明は、照合する画像を入力する照
合画像入力部と、照合される画像を入力する被照合画像
入力部と、照合画像と被照合画像とで構成要素名が一致
するものを抽出する対応構成要素抽出部と、対応する構
成要素ごとに画像特徴の類似度を算出する構成要素間類
似度算出部と、照合画像と被照合画像の対応する構成要
素ごとの類似度を統合して画像間の照合度合を求める画
像間照合度算出部を備える。
According to a second aspect of the present invention, a matching image input unit for inputting an image to be matched, a matched image input unit for inputting an image to be matched, and a matching image and a matched image have the same component name. A corresponding component extraction unit that extracts the image similarity, an inter-component similarity calculation unit that calculates the image feature similarity for each corresponding component, and a similarity for each corresponding component of the matching image and the matched image And an inter-image matching degree calculation unit that obtains the matching degree between the images.

【0011】第3の発明は、照合する画像を入力する照
合画像入力部と、照合される画像を入力する被照合画像
入力部と、照合画像と被照合画像とで構成要素名が一致
するものを抽出する対応構成要素抽出部と、対応する構
成要素ごとに画像特徴の類似度を算出する構成要素間類
似度算出部と、被照合画像に存在して照合画像には存在
しない構成要素を抽出する非対応構成要素抽出部と、前
記非対応構成要素抽出部で抽出した構成要素をもとに非
類似度を算出する非類似度算出部と、照合画像と被照合
画像の対応する構成要素ごとの類似度と対応しない構成
要素の非類似度を統合して画像間の照合度合を求める画
像間照合度算出部を備える。
According to a third aspect of the present invention, a collation image input section for inputting an image to be collated, a collation image input section for inputting an image to be collated, and a collation image and a collation image have the same element name. Corresponding component extraction unit that extracts the image feature, an inter-component similarity calculation unit that calculates the similarity of image features for each corresponding component, and a component that is present in the collation image but not in the collation image A non-corresponding component extraction unit, a dissimilarity calculation unit that calculates a dissimilarity based on the components extracted by the non-corresponding component extraction unit, and each corresponding component of the collation image and the collated image And an inter-image matching degree calculation unit that obtains a matching degree between images by integrating the dissimilarities of the constituent elements that do not correspond to the above-mentioned similarity degrees.

【0012】第4の発明は、照合する画像を入力する照
合画像入力部と、照合される画像を入力する被照合画像
入力部と、照合画像と被照合画像とで構成要素名が一致
するものを抽出する対応構成要素抽出部と、対応構成要
素中で注目する要素を指定する注目要素指定部と、注目
要素として指定された構成要素に関して対応する構成要
素ごとに画像特徴の類似度を算出する注目要素間類似度
算出部と、対応構成要素中で注目要素以外の構成要素ご
とに画像特徴の類似度を算出する非注目要素間類似度算
出部と、照合画像と被照合画像の注目構成要素ごとの類
似度と非注目構成要素ごとの類似度を統合して画像間の
照合度合を求める画像間照合度算出部を備える。
According to a fourth aspect of the present invention, a collation image input unit for inputting an image to be collated, a collation image input unit for inputting an image to be collated, and a collation image and a collation image have the same element name. A corresponding component extraction unit that extracts a component, a target element designating unit that designates a target component among the corresponding components, and a similarity of image features for each component corresponding to the component designated as the target component An element-of-interest similarity calculation section, a non-element-of-interest element similarity calculation section that calculates the image feature similarity for each constituent element other than the element of interest among the corresponding constituent elements, and an element of interest of the matching image and the collated image An inter-image matching degree calculation unit that obtains a matching degree between images by integrating the similarity degree for each of the elements and the similarity degree for each of the non-target components.

【0013】第5の発明は、以上の手段からなる画像特
徴抽出装置と画像照合装置と、画像を記憶する画像記憶
部と、検索要求画像を入力する画像入力部を備える。
A fifth aspect of the present invention comprises an image feature extracting device and an image collating device, each of which comprises the above means, an image storage unit for storing an image, and an image input unit for inputting a search request image.

【0014】[0014]

【作用】本発明は上記の構成により、画像データベース
作成時には画像中の構成要素の領域と構成要素名を入力
すると、指定された領域内から位置、面積、色などの画
像特徴量を自動的に抽出し、構成要素名とともにデータ
ベースとして登録する。
According to the present invention, by inputting the region and the component name of the component in the image at the time of creating the image database, the image feature amount such as the position, the area, the color, etc. is automatically generated from the designated region. It is extracted and registered as a database together with the component name.

【0015】また、画像照合を行う際、画像間で対応す
る構成要素ごとに類似度を求め、それらを結合すること
によって画像全体の類似度を求める。さらに検索要求画
像には存在しないが蓄積画像に存在する構成要素につい
ては非類似度を求め、対応する構成要素ごとの類似度と
ともに非類似度を結合することによって画像全体の類似
度を求める。
Further, when performing image matching, the similarity is calculated for each corresponding component between images, and the similarity of the entire image is calculated by combining them. Further, the dissimilarity is obtained for the constituent elements that are not present in the search request image but are present in the accumulated image, and the similarity degree of the entire image is obtained by combining the dissimilarity degree together with the similarity degree of each corresponding constituent element.

【0016】また、構成要素ごとに異なる検索要求度合
は類似度を求める関数で表現することができる。
Further, the degree of search request different for each component can be expressed by a function for obtaining the degree of similarity.

【0017】[0017]

【実施例】本発明の第1の実施例の画像特徴抽出装置に
ついて説明する。第1の実施例の画像特徴抽出装置の構
成を図1に示す。1は画像入力部、2は画像中の構成要
素の領域を指定する領域指定部、3は要素名入力部、4
は画像特徴抽出部、5は画像表示部、6は画像特徴量蓄
積部である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image feature extraction apparatus according to the first embodiment of the present invention will be described. The configuration of the image feature extraction apparatus of the first embodiment is shown in FIG. Reference numeral 1 is an image input unit, 2 is a region designation unit for designating regions of constituent elements in an image, 3 is an element name input unit, 4
Is an image feature extraction unit, 5 is an image display unit, and 6 is an image feature amount storage unit.

【0018】以上のように構成された第1の実施例の画
像特徴抽出装置の動作について、図2に示す画像から画
像データベースを作成する場合を例にして説明する。図
2では画像中の構成要素として山、人、家が存在する。
この画像が図1の画像入力部1に入力されると、画像表
示部5に表示される。ユーザは表示された画像を見なが
ら、領域指定部2で画像中の各構成要素の領域を指定す
るとともに、要素名入力部3で各構成要素の要素名
(山、人、家)を入力する。図3に指定した領域を波線
で示す。画像特徴抽出部4では、指定された領域内の画
像特徴量を抽出する。画像特徴量としては、領域の中心
位置、領域の面積、領域内の主要色などを抽出する。画
像特徴量蓄積部6では、要素名入力部3で入力された要
素名と画像特徴抽出部4で抽出した指定領域内の画像特
徴を登録する。
The operation of the image feature extracting apparatus of the first embodiment configured as described above will be described by taking the case of creating an image database from the images shown in FIG. 2 as an example. In FIG. 2, there are mountains, people, and houses as constituent elements in the image.
When this image is input to the image input unit 1 of FIG. 1, it is displayed on the image display unit 5. While viewing the displayed image, the user specifies the area of each constituent element in the image with the area specifying unit 2 and inputs the element name (mountain, person, house) of each constituent element with the element name input unit 3. .. The designated area is indicated by a wavy line in FIG. The image feature extraction unit 4 extracts the image feature amount in the designated area. As the image feature amount, the center position of the area, the area of the area, the main color in the area, and the like are extracted. The image feature amount storage unit 6 registers the element name input by the element name input unit 3 and the image feature in the designated area extracted by the image feature extraction unit 4.

【0019】以上のように本実施例では、画像中の対象
物の領域抽出と認識は人間が行うため、どんな複雑な画
像にも対応することができる。一方、対象物の領域を抽
出した後は領域内の画像に対して画像特徴量を自動抽出
するため、簡便な画像データベース作成を可能とする。
As described above, in the present embodiment, since the human beings perform the area extraction and recognition of the object in the image, it is possible to deal with any complicated image. On the other hand, after extracting the region of the target object, the image feature amount is automatically extracted from the image in the region, which enables a simple image database creation.

【0020】次に本発明の第2の実施例の画像照合装置
について説明する。第2の実施例の画像照合装置の構成
を図4に示す。図4において、7は照合画像データ入力
部、8は被照合画像データ入力部、9は対応構成要素抽
出部、10は構成要素間類似度算出部、11は画像間照
合度算出部である。
Next, an image collating apparatus according to the second embodiment of the present invention will be described. FIG. 4 shows the configuration of the image collating apparatus according to the second embodiment. In FIG. 4, 7 is a collation image data input unit, 8 is a collation image data input unit, 9 is a corresponding component extraction unit, 10 is an inter-component similarity degree calculation unit, and 11 is an inter-image collation degree calculation unit.

【0021】以上のように構成された第2の実施例の画
像照合装置の動作について説明する。照合画像データ入
力部7には照合する画像データを入力し、被照合画像デ
ータ入力部8には照合される画像データを入力する。対
応構成要素抽出部9では入力された画像データ間で構成
要素名が一致するものを抽出する。構成要素間類似度算
出部10では、画像間で対応する構成要素ごとに類似度
を以下のように算出する。構成要素から複数の画像特徴
量を抽出し、2つの構成要素間の画像特徴量の距離にも
とづいて定めた類似度のメンバシップ関数から、各特徴
量ごとの類似度を求める。類似度のメンバシップ関数の
一例を図5に示す。図5のメンバシップ関数から求めた
各特徴量の類似度は、Dempster-Shafer (テ゛ンフ゜スタ-シェーフ
ァー)の結合則を用いて結合する。これについてさらに詳
しく説明する。
The operation of the image collating apparatus of the second embodiment constructed as above will be described. Image data to be collated is input to the collation image data input unit 7, and image data to be collated is input to the collation target image data input unit 8. Corresponding component extraction unit 9 extracts components having the same component name from the input image data. The inter-element similarity calculation unit 10 calculates the similarity for each corresponding element between images as follows. A plurality of image feature quantities are extracted from the constituent elements, and the similarity degree for each feature quantity is obtained from the membership function of the similarity degree determined based on the distance of the image feature quantity between the two constituent elements. An example of the membership function of similarity is shown in FIG. The degrees of similarity of the respective feature amounts obtained from the membership function of FIG. 5 are combined using the Dempster-Shafer (Dempster-Shafer) connection rule. This will be described in more detail.

【0022】まず、Dempster-Shafer 理論を簡単に説明
する。p1,p2を独立な証拠に基づいて得られた基本確
率とし、B1q,B2r(q,r=0,1,2,…)をそれぞれの焦点
要素としたとき、Dempster-Shaferの結合規則より基本
確率は(数1)によって統合することができる。
First, the Dempster-Shafer theory will be briefly described. Let p 1 and p 2 be the basic probabilities obtained based on independent evidence, and let B 1q and B 2r (q, r = 0,1,2, ...) be the focal elements of Dempster-Shafer. The basic probabilities can be integrated by (Equation 1) from the combining rule.

【0023】[0023]

【数1】 [Equation 1]

【0024】焦点要素として2枚の画像が類似している
ことをA、類似していないことをA cとし、ある構成要
素の画像特徴量xiにおいて類似している確信度をp
i(A)、類似していない確信度をpi(AC)とする。
また、無知量をpi(A,AC)とする。このとき画像特
徴量としてxiが得られたときの、確信度pi(A),p
i(A,AC)の求め方を説明する。
Two images are similar as focal elements
A for things, A for things that are not similar cAnd a certain configuration is required
Raw image feature xiThe similarities in p
i(A), the dissimilarity factor is pi(AC).
In addition, the ignorance amount is pi(A, AC). At this time the image features
X as a traitiConfidence p wheni(A), p
i(A, AC) Is explained.

【0025】いま、画像特徴量として構成要素の位置と
面積を考える。2つの画像間で対応する構成要素間の位
置の差をx1、面積の差をx2とする。x1、x2からメン
バシップ関数を用いて類似度s1、s2をそれぞれ求め
る。メンバシップ関数から求めたs1、s2に対し、これ
らの値を特徴量数(この場合は2)で割り、これをp1
(A)、p2(A)とする。さらに無知量p1(A,
C)、p2(A,AC)を(数2)から求める。
Now, consider the positions and areas of the constituents as the image feature quantities. It is assumed that a difference in position between corresponding components between two images is x 1 and a difference in area is x 2 . Similarities s 1 and s 2 are obtained from x 1 and x 2 using a membership function. For s 1 and s 2 obtained from the membership function, these values are divided by the number of feature quantities (2 in this case), and this is p 1
(A) and p 2 (A). Furthermore, the ignorance amount p 1 (A,
A C ) and p 2 (A, A C ) are calculated from (Equation 2).

【0026】[0026]

【数2】 [Equation 2]

【0027】求めたpi(A)、pi(A,AC)から
(数1)によって構成要素の類似度p(A)を求める。
(数1)にあてはめると(数3)のようになる。
From the obtained p i (A) and p i (A, A C ), the similarity p (A) of the constituent elements is obtained by (Equation 1).
When applied to (Equation 1), it becomes like (Equation 3).

【0028】[0028]

【数3】 [Equation 3]

【0029】以上のようにして構成要素間類似度を求め
ることができる。なお、ここでは構成要素の複数の特徴
量に対して個々の特徴量ごとに類似度を求め、それらを
Dempster-Shafer の結合則を用いて構成要素間類似度を
求めたが、構成要素の複数の特徴量に対して多次元の特
徴量空間上での距離を求めた後に類似度のメンバシップ
関数で構成要素間類似度を求めても良い。
The degree of similarity between components can be obtained as described above. In addition, here, the degree of similarity is calculated for each feature amount for a plurality of feature amounts of the constituent elements, and the similarity is calculated.
We calculated the similarity between constituents using the Dempster-Shafer associative rule, and calculated the distances in the multidimensional feature space for multiple features of the constituents, and then calculated the similarity membership function. The similarity between components may be obtained.

【0030】画像間照合度算出部11では、構成要素間
類似度算出部10で求めた照合画像と被照合画像の対応
する各構成要素間の類似度の統合を行って、画像間の照
合度合を算出する。類似度の統合にはDempster-Shafer
の結合則を用いる。以下、さらに詳細に説明する。
The inter-image collation degree calculation unit 11 integrates the similarity degrees between the corresponding components of the collation image and the collated image obtained by the inter-element similarity calculation unit 10 to obtain the collation degree between the images. To calculate. Dempster-Shafer for similarity integration
The associative rule of is used. The details will be described below.

【0031】いま、照合画像の構成要素がL個あり、照
合画像と被照合画像の間で対応する構成要素の対がN個
あるとする。このとき構成要素間類似度算出部10で求
めた構成要素ごとの類似度p1(A)〜pN(A)から
(数4)でp1'(A)〜pN'(A)を求める。
Now, it is assumed that there are L constituent elements of the collation image, and there are N pairs of corresponding constituent elements between the collation image and the collation image. At this time, p 1 ′ (A) to p N ′ (A) are calculated from the similarities p 1 (A) to p N (A) for each component obtained by the inter-component similarity calculation unit 10 in (Equation 4). Ask.

【0032】[0032]

【数4】 [Equation 4]

【0033】さらに(数5)から無知量p1'(A,
C)〜pN'(A,AC)を求める。
Further, from (Equation 5), the ignorance amount p 1 '(A,
A C ) -p N '(A, A C ) is calculated.

【0034】[0034]

【数5】 [Equation 5]

【0035】求めたN個の構成要素のpi'(A)、pi'
(A,AC)を用い、(数1)から画像間照合度M
(A)を求める。
P i ′ (A) and p i ′ of the obtained N constituent elements
From (Equation 1) using (A, AC ), the inter-image matching degree M
Find (A).

【0036】以上のようにして画像間の照合度M(A)
を求めることができる。本実施例のように、画像中の構
成要素ごとに照合を行って類似度を求め、それらをDemp
ster-Shafer の結合則を用いて統合して画像間の照合度
を求めることにより、画像間で構成要素の数が異なって
も画像照合を行うことが可能である。
As described above, the matching degree M (A) between images
Can be asked. As in the present embodiment, matching is performed for each constituent element in the image to obtain the degree of similarity, and the similarity is calculated as Demp.
By using the ster-Shafer associative rule and integrating to obtain the matching degree between images, it is possible to perform image matching even if the number of components is different between images.

【0037】次に本発明の第3の実施例の画像照合装置
について説明する。第3の実施例の画像照合装置の構成
を図6に示す。図4と同一のものについては同一番号を
付け、説明は省略する。図6において、12は非対応構
成要素抽出部、13は非類似度算出部、14は画像間照
合度算出部である。
Next, an image collating apparatus according to the third embodiment of the present invention will be described. FIG. 6 shows the configuration of the image collating apparatus according to the third embodiment. The same parts as those in FIG. 4 are designated by the same reference numerals and the description thereof will be omitted. In FIG. 6, 12 is a non-corresponding component extraction section, 13 is a dissimilarity calculation section, and 14 is an inter-image matching degree calculation section.

【0038】以上のように構成された第3の実施例の画
像照合装置の動作について説明する。構成要素間類似度
算出部10において照合画像と被照合画像の対応する各
構成要素間の類似度を求める過程までは本発明の第2の
実施例と同様であり、説明は省略する。非対応構成要素
抽出部12では、被照合画像に存在して照合画像には存
在しない構成要素を抽出する。非類似度算出部13では
非対応構成要素抽出部12で抽出した構成要素をもとに
非類似度を算出する。
The operation of the image collating apparatus of the third embodiment constructed as above will be described. The process up to the step of obtaining the similarity between the corresponding components of the collation image and the collated image in the component similarity calculation unit 10 is the same as in the second embodiment of the present invention, and a description thereof will be omitted. The non-corresponding component extraction unit 12 extracts components that are present in the collation image but not in the collation image. The dissimilarity calculation unit 13 calculates the dissimilarity based on the components extracted by the non-corresponding component extraction unit 12.

【0039】非類似度pd(AC)の算出は、非対応構成
要素として抽出された要素領域の面積の総和Sd と、画
像全体の面積Sから(数6)によって求める。
The dissimilarity pd (A C ) is calculated from the sum Sd of the areas of the element regions extracted as the non-corresponding constituents and the area S of the entire image by (Equation 6).

【0040】[0040]

【数6】 [Equation 6]

【0041】構成要素間類似度算出部10では、本発明
の第2の実施例と同様に構成要素ごとの類似度p
1(A)〜pN(A)を求め、(数4)でp1'(A)〜p
N'(A)、さらに(数5)から無知量p1'(A,AC
〜pN'(A,AC)を求める。
Similar to the second embodiment of the present invention, the similarity calculation unit 10 between the constituent elements calculates the similarity p for each constituent element.
1 (A) to p N (A) are obtained, and p 1 '(A) to p in (Equation 4)
N '(A), and from (Equation 5), ignorance p 1 ' (A, A C ).
~p N '(A, A C ) Request.

【0042】画像間照合度算出部14ではDempster-Sha
fer の結合則に基づいて(数1)によってpi'(A)、
i'(A,AC)、pd(AC)から画像間照合度M
(A)を求める。
The inter-image matching degree calculation unit 14 uses the Dempster-Sha
Based on fer's associativity (Equation 1), p i '(A),
From p i '(A, A C ), pd (A C ) to the inter-image matching degree M
Find (A).

【0043】以上のようにして画像間の照合度M(A)
を求めることができる。本実施例のように、画像間で対
応する構成要素ごとに照合を行って類似度を求めるとと
もに、非対応要素については非類似度を求め、それらを
Dempster-Shafer の結合則を用いて統合して画像間の照
合度を求めることにより、画像間で構成要素の数が異な
っていたり、被照合画像に余分な構成要素が存在する場
合にも画像照合を行うことが可能である。
As described above, the matching degree M (A) between images
Can be asked. As in the present embodiment, the matching is performed for each corresponding component between images to obtain the similarity, and the dissimilarity is determined for the non-corresponding elements.
By using the Dempster-Shafer associative rule to integrate and obtain the degree of matching between images, image matching is performed even when the number of constituent elements differs between images or when there are extra constituent elements in the collated image. It is possible to

【0044】次に本発明の第4の実施例の画像照合装置
について説明する。第4の実施例の画像照合装置の構成
を図7に示す。図4と同一のものについては同一番号を
付け、説明は省略する。図7において、15は対応構成
要素抽出部、16は注目要素指定部、17は注目要素間
類似度算出部、18は非注目要素間類似度算出部、19
は画像間照合度算出部である。
Next, an image collating apparatus according to the fourth embodiment of the present invention will be described. FIG. 7 shows the configuration of the image collating apparatus according to the fourth embodiment. The same parts as those in FIG. 4 are designated by the same reference numerals and the description thereof will be omitted. In FIG. 7, reference numeral 15 is a corresponding component extraction unit, 16 is a target element designation unit, 17 is a target element similarity calculation unit, 18 is a non-target element similarity calculation unit, 19
Is an inter-image matching degree calculation unit.

【0045】以上のように構成された第4の実施例の画
像照合装置の動作について説明する。対応構成要素抽出
部15では入力された画像データ間で構成要素名が一致
するものを抽出する。注目要素指定部16では照合画像
入力部7に入力された画像の構成要素中で、注目する構
成要素を指定する。注目要素間類似度算出部17では、
対応構成要素抽出部15で抽出された構成要素中の注目
要素に対して画像間の類似度を算出する。非注目要素間
類似度算出部18では、対応構成要素抽出部15で抽出
された構成要素中の注目要素以外の構成要素に対して画
像間の類似度を算出する。画像間照合度算出部19で
は、注目要素間類似度算出部17と非注目要素間類似度
算出部18で求めた各構成要素の類似度を統合して画像
間の照合度を算出する。
The operation of the image collating apparatus of the fourth embodiment constructed as above will be described. Corresponding component extraction unit 15 extracts components having the same component name among the input image data. The attention element designating unit 16 designates the attention constituent element among the constituent elements of the image input to the collation image input unit 7. In the similarity calculation unit 17 between the elements of interest,
The similarity between images is calculated for the target element among the constituent elements extracted by the corresponding constituent element extraction unit 15. The non-interest element similarity calculation unit 18 calculates the inter-image similarity for components other than the target element among the components extracted by the corresponding component extraction unit 15. The inter-image matching degree calculation unit 19 integrates the similarities of the respective constituent elements obtained by the target element similarity calculation section 17 and the non-target element similarity calculation section 18 to calculate the image matching level.

【0046】以下では照合度の算出過程をさらに詳しく
説明する。なお、以下では説明を簡単にするために構成
要素における画像特徴量を位置のみとするが、複数であ
っても同様である。
The process of calculating the matching degree will be described in more detail below. It should be noted that, in the following, for the sake of simplicity of explanation, the image feature amount in each component is only the position, but the same applies to a plurality of image feature amounts.

【0047】注目要素と非注目要素の違いは、類似度を
求めるメンバシップ関数の形状である。ここでは画像特
徴量が位置であるので、注目要素とは構成要素の位置に
注目することである。注目した構成要素が存在する位置
領域を限定し、限定した領域内に存在するものは類似度
が高く、限定した領域外に存在するものは非類似度が高
くなるようにする。一方、非注目要素は存在位置の限定
はせず、位置の差が大きくなるほど類似度が低くなるよ
うにする。注目要素に対する類似度を求めるメンバシッ
プ関数を図8に示し、非注目要素に対する類似度を求め
るメンバシップ関数を図9に示す。図8において実線は
類似度、波線は非類似度を表しており、限定領域は類似
度が0になるところである。図8のメンバシップ関数よ
り、注目要素で限定領域内のものに対しては類似度pi
(A)が求まり、限定領域外のものに対しては非類似度
j(AC)が求まる。ここで注目要素が被照合画像に存
在しない場合は、非類似度は1となる。非注目要素に関
しては、図9のメンバシップ関数から類似度pk(A)
を求めるが、非注目要素が被照合画像に存在しない場合
は類似度は0である。これらを構成要素数Nで割ってp
i'(A)、pj'(A C)、pk'(A)を求め、さらに
(数5)と同様にして無知量pi'(A,AC)、pj'
(A,AC)、pk'(A,AC)を求める。
The difference between the attention element and the non-attention element is the similarity.
This is the shape of the desired membership function. Here is the image feature
Since the amount is the position, the element of interest is the position of the component.
It is to pay attention. The position where the focused component exists
The area is limited, and the one that exists in the limited area is the similarity.
Highly dissimilar to those outside the limited area
Try to be. On the other hand, non-attentional elements are limited in location
The similarity will decrease as the position difference increases.
I will Membership for finding the similarity to the element of interest
Figure 8 shows the B-function and finds the similarity to non-target elements.
The membership function that The solid line in FIG.
Similarity and wavy lines indicate dissimilarity, and limited areas are similar
This is where the degree becomes 0. The membership function in Figure 8
Therefore, the similarity p for the element of interest in the limited areai
(A) is obtained, and the degree of dissimilarity for those outside the limited area
pj(AC) Is required. Here, the element of interest exists in the collation image.
If not present, the dissimilarity is 1. For non-attention elements
Then, from the membership function of FIG.k(A)
, But when the non-attention element does not exist in the matching image
Has a similarity of 0. Divide these by the number of components N and p
i'(A), pj'(A C), Pk'(A) asked,
Ignorance p as in (Equation 5)i'(A, AC), Pj'
(A, AC), Pk'(A, AC).

【0048】画像間照合度算出部19ではDempster-Sha
fer の結合則に基づいて(数1)によってpi'(A)、
i'(A,AC)、pj'(AC)、pj'(A,AC)、
k'(A)、pk'(A,AC)から画像間照合度M
(A)を求める。
The inter-image matching degree calculation unit 19 uses the Dempster-Sha
Based on fer's associativity (Equation 1), p i '(A),
p i '(A, A C ), p j ' (A C ), p j '(A, A C ),
From p k '(A), p k ' (A, A C ) the inter-image matching degree M
Find (A).

【0049】以上のようにして画像間の照合度M(A)
を求めることができる。本実施例では、画像間で対応す
る構成要素ごとに照合を行って類似度を求める際に、注
目要素と非注目要素で類似度を求め、それらをDempster
-Shafer の結合則を用いて統合して画像間の照合度を求
める。これによって注目した要素では類似尺度を厳密に
した画像照合を行うことが可能となる。
As described above, the matching degree M (A) between the images
Can be asked. In the present embodiment, when matching is performed for each corresponding component between images and the similarity is obtained, the similarity is obtained between the focused element and the non-focused element, and the Dempster is calculated.
-The degree of matching between images is obtained by integrating using Shafer's connection rule. This makes it possible to perform image matching with a strict similarity measure for the element of interest.

【0050】次に本発明の第5の実施例の画像検索装置
について説明する。本実施例は、実施例1の画像特徴抽
出装置と、実施例2もしくは実施例3もしくは実施例4
の画像照合装置を用いて画像検索装置を構成するもので
ある。第5の実施例の画像検索装置の構成を図10に示
す。図10において、20は画像データベースとして蓄
積する画像を取り込む画像入力部、21は検索要求画像
入力部、22は画像特徴抽出装置、23は画像入力部2
0から入力された画像データを記憶する画像データ記憶
部、24は画像特徴抽出装置22が抽出した画像特徴を
記憶する特徴量記憶部、25は検索要求画像の特徴量と
特徴量記憶部24が記憶している蓄積画像の画像特徴を
比較して候補画像を求める画像照合装置、26は画像照
合装置が求めた候補画像を画像データ記憶部23より取
り出し出力する画像出力部である。以上のように構成さ
れた画像検索装置の動作を以下に説明する。
Next, an image search apparatus according to the fifth embodiment of the present invention will be described. In the present embodiment, the image feature extraction device of the first embodiment and the second, third, or fourth embodiment.
The image matching device is used to configure an image search device. FIG. 10 shows the configuration of the image search apparatus of the fifth embodiment. In FIG. 10, 20 is an image input unit that captures images to be stored as an image database, 21 is a search request image input unit, 22 is an image feature extraction device, and 23 is the image input unit 2.
An image data storage unit that stores image data input from 0, a feature amount storage unit 24 that stores the image features extracted by the image feature extraction device 22, and a feature amount storage unit 25 and a feature amount storage unit 24 of the search request image. An image collation device that obtains a candidate image by comparing the stored image features of the stored images, and an image output unit 26 that extracts the candidate image obtained by the image collation device from the image data storage unit 23 and outputs it. The operation of the image search device configured as described above will be described below.

【0051】画像蓄積時には、画像データベースとして
蓄積する画像を画像入力部20が取り込み、画像データ
記憶部23がその画像を記憶する。入力された画像に対
し、画像特徴抽出装置22が画像特徴を抽出する。画像
特徴の抽出に関しては、第1の実施例で説明したとおり
である。
At the time of image storage, the image input unit 20 takes in an image to be stored as an image database, and the image data storage unit 23 stores the image. The image feature extraction device 22 extracts image features from the input image. The extraction of image features is as described in the first embodiment.

【0052】画像検索時には、検索要求画像入力部21
がユーザの示した検索を要求する画像を取り込む。検索
要求画像は、検索したい画像のイメージをユーザが手書
きで表したものや類似した画像、もしくは構成要素の領
域を示した画像で与えられる。取り込まれた画像から、
画像特徴抽出装置22が画像特徴を抽出する。画像照合
装置25では、第2もしくは第3もしくは第4の実施例
と同様に、画像蓄積時に作成された特徴量記憶部24に
記憶されている蓄積画像の特徴量と検索要求画像の特徴
量の比較が行われ、蓄積画像と検索要求画像の類似度合
が求められる。求められた類似度合の中で、ある度合以
上の画像を類似度合が高いものから順番に画像データ記
憶部23から取り出し、画像出力部26に出力する。
At the time of image retrieval, the retrieval request image input section 21
Captures the image requested by the user for the search. The search request image is given as a handwritten image of the image to be searched by the user, a similar image, or an image showing the region of the constituent element. From the captured image,
The image feature extraction device 22 extracts image features. In the image matching device 25, as in the second, third, or fourth embodiment, the feature amount of the accumulated image and the feature amount of the search request image stored in the feature amount storage unit 24 created at the time of image accumulation are stored. The comparison is performed, and the degree of similarity between the accumulated image and the search request image is obtained. Among the calculated degrees of similarity, the images having a certain degree or more are taken out from the image data storage unit 23 in order from the one having the highest degree of similarity, and output to the image output unit 26.

【0053】以上説明した本実施例の画像検索装置で
は、画像特徴量を抽出する際、第1の実施例で述べたよ
うに画像中の対象物領域の抽出と認識は人間が行うた
め、どんな複雑な画像にも対応することができる。一
方、対象物の領域を抽出した後は領域内の画像に対して
画像特徴量を自動抽出するため、簡便な画像データベー
ス作成を可能する。また、画像照合装置においては第2
の実施例で述べたように、画像中の構成要素ごとに照合
を行うため検索要求画像と蓄積画像とで対応する構成要
素の数が異なっても照合可能である。また、第3の実施
例の画像照合装置を用いることによって、検索要求画像
で指定した構成要素以外のものが蓄積画像中に存在する
場合は、検索優先順位を下げるような検索を実現するこ
とができる。また、第4の実施例の画像照合装置を用い
ることによって、特定の構成要素に注目した検索を実現
することができる。このように本実施例の画像検索装置
は、検索者の意図するさまざまな検索要求に対応した画
像を、蓄積した画像の中から取り出すことが可能であ
る。
In the image retrieval apparatus of the present embodiment described above, when extracting the image feature amount, a human performs the extraction and recognition of the object area in the image as described in the first embodiment. It can also handle complex images. On the other hand, after extracting the region of the object, the image feature amount is automatically extracted from the image in the region, so that a simple image database can be created. In the image matching device, the second
As described in the embodiment, since the matching is performed for each constituent element in the image, it is possible to perform the matching even if the number of corresponding constituent elements in the search request image and the accumulated image are different. Further, by using the image collating apparatus according to the third embodiment, when a component other than the component designated in the search request image is present in the stored image, the search can be realized by lowering the search priority. it can. Further, by using the image collating apparatus of the fourth embodiment, it is possible to realize a search focusing on specific constituent elements. As described above, the image search apparatus according to the present embodiment can retrieve images corresponding to various search requests intended by the searcher from the stored images.

【0054】[0054]

【発明の効果】以上のように第1の発明の画像特徴抽出
装置では、画像中の対象物の領域抽出と認識は人間が行
うため、どんな複雑な画像にも対応することができ、対
象物の領域を抽出した後は領域内の画像に対して画像特
徴量を自動抽出するため、簡便な画像データベース作成
を可能とする。
As described above, in the image feature extraction apparatus of the first invention, since the human performs the area extraction and recognition of the object in the image, it can handle any complicated image. After the area is extracted, the image feature amount is automatically extracted from the image in the area, so that a simple image database can be created.

【0055】また第2の発明の画像照合装置では、画像
中の構成要素ごとに照合を行って類似度を求め、それら
をDempster-Shafer の結合則を用いて統合して画像間の
照合度を求めることにより、画像間で構成要素の数が異
なっても画像照合を行うことが可能である。
Further, in the image collating apparatus of the second invention, the constituent elements in the image are collated to obtain the degree of similarity, which are integrated by using the Dempster-Shafer associative rule to obtain the degree of collation between the images. By determining, it is possible to perform image matching even if the number of constituent elements differs between images.

【0056】また第3の発明の画像照合装置では、画像
間で対応する構成要素ごとに照合を行って類似度を求め
るとともに、非対応要素については非類似度を求め、そ
れらをDempster-Shafer の結合則を用いて統合して画像
間の照合度を求めることにより、画像間で構成要素の数
が異なっていたり、被照合画像に余分な構成要素が存在
する場合にも画像照合を行うことが可能である。
In the image collating apparatus according to the third aspect of the present invention, the components corresponding to each other between the images are collated to obtain the degree of similarity, the dissimilarities of the non-corresponding elements are obtained, and the dissimilarities are calculated by the Dempster-Shafer By combining using the associative rule and determining the matching degree between images, image matching can be performed even when the number of constituent elements differs between images or when there are extra constituent elements in the matching image. It is possible.

【0057】また第4の発明の画像照合装置では、画像
間で対応する構成要素ごとに照合を行って類似度を求め
る際に、注目要素と非注目要素で類似度を求め、それら
をDempster-Shafer の結合則を用いて統合して画像間の
照合度を求める。これによって注目した要素では類似尺
度を厳密にした画像照合を行うことが可能となる。
Further, in the image collating apparatus according to the fourth aspect of the invention, when collating each corresponding component between images to obtain the similarity, the similarity between the attention element and the non-attention element is obtained, and the similarity is determined by the Dempster- The degree of matching between images is obtained by integrating using Shafer's associative rule. This makes it possible to perform image matching with a strict similarity measure for the element of interest.

【0058】また第5の発明の画像検索装置では、半自
動的に画像内の対象物から特徴量を抽出して画像データ
ベースを構築することができ、また画像検索を行う際、
照合する画像間で特徴量や画像内に含まれる対象物の数
が異なるときにも検索できるほか、不要な構成要素を指
定したり特定の構成要素に注目して検索することが可能
である。
Further, in the image retrieval apparatus of the fifth invention, it is possible to semi-automatically extract the feature amount from the object in the image to construct the image database, and when performing the image retrieval,
It is possible to perform a search even when the feature amount and the number of objects included in the images differ between the images to be collated, and it is possible to specify unnecessary components or focus on a specific component to perform a search.

【図面の簡単な説明】[Brief description of drawings]

【図1】第1の実施例の画像特徴抽出装置の構成を示す
ブロック図
FIG. 1 is a block diagram showing a configuration of an image feature extraction device according to a first embodiment.

【図2】第1の実施例の入力画像を示す図FIG. 2 is a diagram showing an input image of the first embodiment.

【図3】第1の実施例の指定領域を示す図FIG. 3 is a diagram showing a designated area of the first embodiment.

【図4】第2の実施例の画像照合装置の構成を示すブロ
ック図
FIG. 4 is a block diagram showing a configuration of an image matching device according to a second embodiment.

【図5】第2の実施例の類似度のメンバーシップ関数を
示す図
FIG. 5 is a diagram showing a similarity membership function of the second embodiment.

【図6】第3の実施例の画像照合装置の構成を示すブロ
ック図
FIG. 6 is a block diagram showing a configuration of an image matching device according to a third embodiment.

【図7】第4の実施例の画像照合装置の構成を示すブロ
ック図
FIG. 7 is a block diagram showing a configuration of an image matching device according to a fourth embodiment.

【図8】第4の実施例の注目要素の類似度のメンバシッ
プ関数を示す図
FIG. 8 is a diagram showing a membership function of similarity of a target element according to the fourth embodiment.

【図9】第4の実施例の非注目要素の類似度のメンバシ
ップ関数を示す図
FIG. 9 is a diagram showing a membership function of similarity of non-attention elements according to the fourth embodiment.

【図10】第5の実施例の画像検索装置の構成を示すブ
ロック図
FIG. 10 is a block diagram showing the configuration of an image search device according to a fifth embodiment.

【符号の説明】[Explanation of symbols]

1、20、21 画像入力部 2 領域指定部 3 要素名入力部 4 画像特徴抽出部 5 画像表示部 6 画像特徴量蓄積部 7 照合画像データ入力部 8 被照合画像データ入力部 9、15 対応構成要素抽出部 10 構成要素間類似度算出部 11、14、19 画像間照合度算出部 12 非対応構成要素抽出部 13 非類似度算出部 16 注目要素指定部 17 注目要素間類似度算出部 18 非注目要素間類似度算出部 22 画像特徴抽出装置 23 画像データ記憶部 24 特徴量記憶部 25 画像照合装置 26 画像出力部 1, 20, 21 Image input unit 2 Area designation unit 3 Element name input unit 4 Image feature extraction unit 5 Image display unit 6 Image feature amount storage unit 7 Matching image data input unit 8 Matched image data input unit 9, 15 Corresponding configuration Element extraction unit 10 Inter-element similarity calculation unit 11, 14, 19 Inter-image matching degree calculation unit 12 Non-corresponding component extraction unit 13 Dissimilarity calculation unit 16 Target element designation unit 17 Target element similarity calculation unit 18 Non Element-to-element similarity calculation unit 22 Image feature extraction device 23 Image data storage unit 24 Feature amount storage unit 25 Image matching device 26 Image output unit

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】画像特徴を抽出するための画像を入力する
画像入力部と、入力した画像を表示する画像表示部と、
画像中の構成要素の領域を指定する領域指定部と、前記
領域指定部で指定した構成要素の要素名を入力する要素
名入力部と、指定された構成要素の領域から構成要素ご
とに画像特徴を抽出する画像特徴抽出部と、要素名と画
像特徴量を対応させて蓄積する画像特徴量蓄積部を備
え、入力した画像を見ながらユーザが画像中の構成要素
の領域と名称を入力し、各構成要素の領域から領域内の
画像特徴量を自動的に抽出して構成要素名とともに画像
特徴量蓄積部に記憶することを特徴とした画像特徴抽出
装置。
1. An image input unit for inputting an image for extracting image features, an image display unit for displaying the input image,
A region designating section that designates a region of a constituent element in an image, an element name input section that inputs the element name of the constituent element designated by the region designating section, and an image feature for each constituent element from the designated component area An image feature extraction unit that extracts the image feature amount and an image feature amount storage unit that associates and stores the element name and the image feature amount, the user inputs the regions and names of the constituent elements in the image while looking at the input image, An image feature extraction device characterized in that an image feature amount in an area is automatically extracted from an area of each component and stored in an image feature amount storage unit together with a component name.
【請求項2】照合する画像を入力する照合画像入力部
と、照合される画像を入力する被照合画像入力部と、照
合画像と被照合画像とで構成要素名が一致するものを抽
出する対応構成要素抽出部と、対応する構成要素ごとに
画像特徴の類似度を算出する構成要素間類似度算出部
と、照合画像と被照合画像の対応する構成要素ごとの類
似度を統合して画像間の照合度合を求める画像間照合度
算出部を備え、2枚の画像間で対応する構成要素ごとに
求めた類似度合を統合して画像照合度を求めることを特
徴とする画像照合装置。
2. A collation image input unit for inputting an image to be collated, a collation image input unit for inputting an image to be collated, and a unit for extracting a collation image and a collation image having the same component name. The component extraction unit, the inter-component similarity calculation unit that calculates the similarity of image features for each corresponding component, and the similarity between the corresponding components of the matching image and the collated image An image collation apparatus comprising an inter-image collation degree calculation unit that obtains the degree of collation, and obtains the image collation degree by integrating the degree of similarity obtained for each corresponding component between two images.
【請求項3】照合する画像を入力する照合画像入力部
と、照合される画像を入力する被照合画像入力部と、照
合画像と被照合画像とで構成要素名が一致するものを抽
出する対応構成要素抽出部と、対応する構成要素ごとに
画像特徴の類似度を算出する構成要素間類似度算出部
と、被照合画像に存在して照合画像には存在しない構成
要素を抽出する非対応構成要素抽出部と、前記非対応構
成要素抽出部で抽出した構成要素をもとに非類似度を算
出する非類似度算出部と、照合画像と被照合画像の対応
する構成要素ごとの類似度と対応しない構成要素の非類
似度を統合して画像間の照合度合を求める画像間照合度
算出部を備え、2枚の画像間で対応する構成要素ごとに
求めた類似度合と対応しない構成要素から求めた非類似
度を統合して画像照合度を求めることを特徴とする画像
照合装置。
3. A collation image input unit for inputting an image to be collated, a collation image input unit for inputting an image to be collated, and a unit for extracting a collation image and a collation image having the same component name. A component extraction unit, an inter-component similarity calculation unit that calculates the image feature similarity for each corresponding component, and a non-corresponding configuration that extracts components that are present in the collated image but not in the collation image An element extraction unit, a dissimilarity calculation unit that calculates a dissimilarity based on the components extracted by the non-corresponding component extraction unit, and a similarity for each corresponding component of the collation image and the collation image An inter-image matching degree calculation unit that integrates dissimilarities of non-corresponding constituent elements to obtain a matching degree between images is provided, and from the constituent elements that do not correspond to the similarity degree obtained for each corresponding constituent element between two images. Image matching by integrating the dissimilarities found Image matching system and obtains a.
【請求項4】照合する画像を入力する照合画像入力部
と、照合される画像を入力する被照合画像入力部と、照
合画像と被照合画像とで構成要素名が一致するものを抽
出する対応構成要素抽出部と、対応構成要素中で注目す
る要素を指定する注目要素指定部と、注目要素として指
定された構成要素に関して対応する構成要素ごとに画像
特徴の類似度を算出する注目要素間類似度算出部と、対
応構成要素中で注目要素以外の構成要素ごとに画像特徴
の類似度を算出する非注目要素間類似度算出部と、照合
画像と被照合画像の注目構成要素ごとの類似度と非注目
構成要素ごとの類似度を統合して画像間の照合度合を求
める画像間照合度算出部を備え、2枚の画像間で対応す
る構成要素ごとに求めた類似度合を統合して画像照合度
を求めることを特徴とする画像照合装置。
4. A collation image input section for inputting an image to be collated, a collation image input section for inputting an image to be collated, and extraction of a collation image and a collation image having the same component name. A component extracting unit, a target element designating unit that designates a target component among corresponding components, and a similarity between target components that calculates the similarity of image features for each corresponding component with respect to the component designated as the target component Degree calculation unit, a non-interest element similarity calculation unit that calculates the similarity of image features for each constituent element other than the target element among the corresponding constituent elements, and a similarity degree for each target constituent element of the matching image and the collated image And an inter-image matching degree calculation unit that calculates the matching degree between the images by integrating the similarity degrees of the respective non-focused constituent elements Characterized by finding the degree of matching Image matching apparatus.
【請求項5】請求項1記載の画像特徴抽出装置と、請求
項2もしくは請求項3もしくは請求項4記載の画像照合
装置と、画像を記憶する画像記憶部と、検索要求画像を
入力する画像入力部を備え、前記画像入力部に入力した
検索要求画像と前記画像記憶部に記憶した画像に対して
前記特徴量抽出装置で画像特徴を抽出し、前記画像照合
装置で検索要求画像と画像記憶部に記憶した画像との照
合を行い、検索要求画像に類似した画像を画像記憶部か
ら取り出すことを特徴とする画像検索装置。
5. An image feature extraction device according to claim 1, an image matching device according to claim 2, claim 3, or claim 4, an image storage unit for storing images, and an image for inputting a search request image. An image feature is extracted by the feature amount extraction device from the search request image input to the image input unit and the image stored in the image storage unit, and the search request image and image storage are performed by the image matching device. An image retrieving apparatus, characterized in that an image similar to a retrieval request image is retrieved from an image storage unit by collating with an image stored in a unit.
JP4040825A 1992-02-27 1992-02-27 Image feature extraction device, image collation device, and image retrieval device Pending JPH05242160A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4040825A JPH05242160A (en) 1992-02-27 1992-02-27 Image feature extraction device, image collation device, and image retrieval device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4040825A JPH05242160A (en) 1992-02-27 1992-02-27 Image feature extraction device, image collation device, and image retrieval device

Publications (1)

Publication Number Publication Date
JPH05242160A true JPH05242160A (en) 1993-09-21

Family

ID=12591444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4040825A Pending JPH05242160A (en) 1992-02-27 1992-02-27 Image feature extraction device, image collation device, and image retrieval device

Country Status (1)

Country Link
JP (1) JPH05242160A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1115834A (en) * 1997-06-19 1999-01-22 Canon Inc Picture processor and its controlling method
US6070161A (en) * 1997-03-19 2000-05-30 Minolta Co., Ltd. Method of attaching keyword or object-to-key relevance ratio and automatic attaching device therefor
JP2000207420A (en) * 1998-11-12 2000-07-28 Nippon Telegr & Teleph Corp <Ntt> Similar image retrieval system, similar image retrieving method and record medium recording similar image retrieval program
JP2001155026A (en) * 1999-11-26 2001-06-08 Olympus Optical Co Ltd Three-dimensional image database device and three- dimensional image database construction method
JP2001155019A (en) * 1999-11-25 2001-06-08 Olympus Optical Co Ltd Similar image retrieving device
US7392233B2 (en) 1998-02-24 2008-06-24 Minolta Co., Ltd. Image searching system, image searching method, and a recording medium storing an image searching program
JP2018018339A (en) * 2016-07-28 2018-02-01 ヤフー株式会社 Determination device, determination method, and determination program
JP2018018430A (en) * 2016-07-29 2018-02-01 ヤフー株式会社 Extraction device, extraction method, and extraction program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070161A (en) * 1997-03-19 2000-05-30 Minolta Co., Ltd. Method of attaching keyword or object-to-key relevance ratio and automatic attaching device therefor
JPH1115834A (en) * 1997-06-19 1999-01-22 Canon Inc Picture processor and its controlling method
US7392233B2 (en) 1998-02-24 2008-06-24 Minolta Co., Ltd. Image searching system, image searching method, and a recording medium storing an image searching program
JP2000207420A (en) * 1998-11-12 2000-07-28 Nippon Telegr & Teleph Corp <Ntt> Similar image retrieval system, similar image retrieving method and record medium recording similar image retrieval program
JP2001155019A (en) * 1999-11-25 2001-06-08 Olympus Optical Co Ltd Similar image retrieving device
JP2001155026A (en) * 1999-11-26 2001-06-08 Olympus Optical Co Ltd Three-dimensional image database device and three- dimensional image database construction method
JP2018018339A (en) * 2016-07-28 2018-02-01 ヤフー株式会社 Determination device, determination method, and determination program
JP2018018430A (en) * 2016-07-29 2018-02-01 ヤフー株式会社 Extraction device, extraction method, and extraction program

Similar Documents

Publication Publication Date Title
JP3635368B2 (en) Content-based image search system and search method thereof
US7877414B2 (en) Method and apparatus for representing and searching for an object using shape
US9489402B2 (en) Method and system for generating a pictorial reference database using geographical information
Deselaers et al. Fire–flexible image retrieval engine: Imageclef 2004 evaluation
US20020168117A1 (en) Image search method and apparatus
US20070237426A1 (en) Generating search results based on duplicate image detection
EP2618289A2 (en) Method and apparatus to incorporate automatic face recognition in digital image collections
JP2000285253A (en) Method for description of object area information, generator of object area information, method for video information processing, and information processor
US20070140595A1 (en) Database assisted OCR for street scenes and other images
CN101950351A (en) Method of identifying target image using image recognition algorithm
JPH08249349A (en) Image data base device
JPH05242160A (en) Image feature extraction device, image collation device, and image retrieval device
JPH1139332A (en) Method and device for retrieving image and retrieval service utilizing it
US6411291B2 (en) Image processing appratus and method of controlling same
JP5289211B2 (en) Image search system, image search program, and server device
Karthikeyan et al. A survey on text and content based image retrieval system for image mining
JPH0520366A (en) Animated image collating method
JP2002245089A (en) Web page retrieval system, secondary information collecting device and interface unit
JPH10254901A (en) Method and device for retrieving image
JP4148642B2 (en) Similar image search device and computer-readable recording medium
JP3330348B2 (en) Video search method and apparatus, and recording medium storing video search program
JP2002318812A (en) Similar image retrieval device, similar image retrieval method and similar image retrieval program
WO2010087451A1 (en) Image display device, image display method, and image display program
JPH0668171A (en) Picture database, picture database preparation method, picture retrieval method and device therefor
US7761438B1 (en) Method and apparatus for representing and searching for an object using shape