JPH11312171A - Image retrieving device, its method and computer-readable memory - Google Patents

Image retrieving device, its method and computer-readable memory

Info

Publication number
JPH11312171A
JPH11312171A JP10118741A JP11874198A JPH11312171A JP H11312171 A JPH11312171 A JP H11312171A JP 10118741 A JP10118741 A JP 10118741A JP 11874198 A JP11874198 A JP 11874198A JP H11312171 A JPH11312171 A JP H11312171A
Authority
JP
Japan
Prior art keywords
image
image data
feature amount
degree
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10118741A
Other languages
Japanese (ja)
Inventor
Hirotaka Shiiyama
弘隆 椎山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP10118741A priority Critical patent/JPH11312171A/en
Priority to US09/298,960 priority patent/US6567551B2/en
Publication of JPH11312171A publication Critical patent/JPH11312171A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To obtain an image retrieving device capable of easily specifying the degree of notice to a retrieving condition for retrieving image data, its retrieving method and a computer-readable memory. SOLUTION: Image data, its attribute information and an image featured value are correspondingly managed by using an image storing part 4 and an information managing data base DB7. The attribute information, the image featured value and the degree of notice to the attribute information and the image featured value are specified from an input part 1. The attribute information and the image featured value constituted of the specified retrieving condition are matched with the attribute information and the image featured value corresponding to the image data managed by the managing means. Image data which are to become the retrieved result based on the matching result are outputted to a display part 9.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、画像データを管理し、
その管理された画像データから所望の画像データを検索
する画像検索装置及びその方法、コンピュータ可読メモ
リに関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention manages image data,
The present invention relates to an image search apparatus and method for searching for desired image data from the managed image data, and a computer-readable memory.

【0002】[0002]

【従来の技術】従来、画像データにおける複数の属性情
報及び画像特徴量に対し、それら個々の重み付けに相当
する数値をユーザインタフェースを用いて指定した後、
その属性情報及び画像特徴量と検索対象の画像データの
属性情報及び画像特徴量をマッチングして所望の画像デ
ータを検索する画像検索が存在する。この種の画像検索
の殆どは、マッチング方法として統計処理の主として多
変量解析を用いたある距離空間上での距離を考慮したマ
ッチングを行なっており、その際に属性情報及び画像特
徴量に関わる座標成分の重み付けで実現していた。
2. Description of the Related Art Conventionally, for a plurality of attribute information and image feature amounts in image data, numerical values corresponding to respective weights are designated using a user interface.
There is an image search for searching for desired image data by matching the attribute information and the image feature amount with the attribute information and the image feature amount of the image data to be searched. Most of this type of image retrieval uses a multivariate analysis mainly for statistical processing as a matching method to perform matching in consideration of a distance in a certain metric space, and at that time, coordinates relating to attribute information and image feature amount This was realized by component weighting.

【0003】このように、複数の属性情報及び画像特徴
量に対し、それら個々の重み付けに相当する数値をユー
ザインタフェースを用いて指定する画像検索方法におい
ては、マッチング方法に関して、ある画像特徴空間上で
の重み付けの幾何距離を用いるという点では、ほとんど
同一の手法を取っていた。
As described above, in an image search method in which a plurality of pieces of attribute information and image feature values are designated with numerical values corresponding to their respective weights using a user interface, a matching method is performed in a certain image feature space. Almost the same approach was taken in that the geometric distance of the weighting was used.

【0004】また、それぞれの属性情報及び画像特徴量
を用いて、検索対象の画像データの属性情報及び画像特
徴量をマッチングする場合に、それぞれの属性情報及び
画像特徴量ごとにマッチングの曖昧さを導入可能なもの
が存在する。
Further, when matching attribute information and image feature amounts of image data to be searched using each attribute information and image feature amount, ambiguity of matching is determined for each attribute information and image feature amount. There are things that can be introduced.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、上記従
来の画像検索では、上記重み付けに相当する数値とは別
に各属性情報及び画像特徴量のマッチングにおける曖昧
度を指定することはユーザーにとってその正しい意味は
理解しがたく、不便なものであった。
However, in the above-described conventional image retrieval, specifying the ambiguity in the matching of each attribute information and image feature amount separately from the numerical value corresponding to the weighting has a correct meaning for the user. It was hard to understand and inconvenient.

【0006】本発明は上記の問題点に鑑みてなされたも
のであり、画像データを検索するための検索条件に対す
る着目の度合を容易に指定することができる画像検索装
置及びその方法、コンピュータ可読メモリを提供するこ
とを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has an image search apparatus and method capable of easily designating a degree of attention to search conditions for searching image data, and a computer-readable memory. The purpose is to provide.

【0007】[0007]

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像検索装置は以下の構成を備える。
即ち、画像データを管理し、その管理された画像データ
から所望の画像データを検索する画像検索装置であっ
て、画像データとその属性情報及び画像特徴量とを対応
づけて管理する管理手段と、画像データを検索するため
の検索条件として前記属性情報及び画像特徴量、該属性
情報及び画像特徴量に対する着目度を指定する指定手段
と、前記指定手段で指定された検索条件が構成する属性
情報及び画像特徴量と、前記管理手段で管理される画像
データの対応する属性情報及び画像特徴量とを、前記着
目度に基づいてマッチングするマッチング手段と、前記
マッチング手段によるマッチング結果に基づいて、検索
結果とする画像データを出力する出力手段とを備える。
The image retrieval apparatus according to the present invention for achieving the above object has the following arrangement.
That is, an image search device that manages image data and searches for desired image data from the managed image data, and a management unit that manages the image data in association with the attribute information and the image feature amount, Specifying means for specifying the attribute information and the image feature amount as search conditions for searching for image data, and a degree of attention to the attribute information and the image feature amount; and attribute information configured by the search condition specified by the specifying means; A matching unit that matches the image feature amount and the corresponding attribute information and image feature amount of the image data managed by the management unit based on the degree of interest; and a search result based on the matching result by the matching unit. And output means for outputting image data.

【0008】また、好ましくは、前記指定手段は、前記
着目度に相当する数値を指定するユーザーインタフェー
スを有し、前記マッチング手段は、前記ユーザインタフ
ェースによって指定された前記着目度をマッチングを行
う際の曖昧度に変換し、前記曖昧度に基づく評価式を用
いて、前記検索条件が構成する属性情報及び画像特徴量
と、前記画像データの対応する属性情報及び画像特徴量
をマッチングする。
Preferably, the designating means has a user interface for designating a numerical value corresponding to the degree of interest, and the matching means is used when matching the degree of interest specified by the user interface. The attribute information is converted into an ambiguity, and the attribute information and the image feature amount included in the search condition are matched with the corresponding attribute information and the image feature amount of the image data by using the evaluation expression based on the ambiguity.

【0009】また、好ましくは、前記着目度は、前記属
性情報及び画像特徴量に対する重要度に相当する重み付
けであると同時に、該着目度の値が低いほど前記マッチ
ング手段によるマッチングの曖昧さを増大させるもので
ある。
Preferably, the degree of attention is a weight corresponding to the importance for the attribute information and the image feature amount, and the lower the value of the degree of attention, the greater the ambiguity of matching by the matching means. It is to let.

【0010】また、好ましくは、前記出力手段は、前記
マッチング手段によるマッチング結果として得られる画
像特徴量の一致度に基づいて、検索結果とする画像デー
タをソートして出力する。
Preferably, the output means sorts and outputs image data as a search result based on the degree of coincidence of image feature amounts obtained as a result of matching by the matching means.

【0011】また、好ましくは、前記一致度は、前記属
性情報及び画像特徴量それぞれの着目度の総和で除算さ
れた正規化された一致度である。
Preferably, the degree of coincidence is a normalized degree of coincidence divided by a total sum of degrees of interest of the attribute information and image feature amounts.

【0012】また、好ましくは、前記マッチング手段
は、前記検索条件が構成する画像特徴量と、前記属性情
報を数値化して得られる画像特徴量毎に所定値以上の一
致度を有する画像データの画像特徴量を事前に抽出する
抽出手段を備え、前記抽出手段で抽出された画像データ
の画像特徴量と、前記検索条件が構成する画像特徴量を
マッチングする。
[0012] Preferably, the matching means includes an image feature amount of image data having a degree of coincidence equal to or more than a predetermined value for each image feature amount obtained by digitizing the attribute information and the image feature amount included in the search condition. An extraction unit for extracting a feature amount in advance is provided, and the image feature amount of the image data extracted by the extraction unit is matched with the image feature amount included in the search condition.

【0013】また、好ましくは、前記抽出手段で抽出さ
れなかった未抽出画像データに関しては、該抽出手段で
抽出された画像データの一致度の内、最も低い一致度を
前記未抽出画像データの一致度とする。
Preferably, for the unextracted image data not extracted by the extracting means, the lowest coincidence of the image data extracted by the extracting means is determined to be the coincidence of the unextracted image data. Degree.

【0014】上記の目的を達成するための本発明による
画像検索方法は以下の構成を備える。即ち、画像データ
を管理し、その管理された画像データから所望の画像デ
ータを検索する画像検索方法であって、画像データとそ
の属性情報及び画像特徴量とを対応づけて記憶媒体に管
理する管理工程と、画像データを検索するための検索条
件として前記属性情報及び画像特徴量、該属性情報及び
画像特徴量に対する着目度を指定する指定工程と、前記
指定工程で指定された検索条件が構成する属性情報及び
画像特徴量と、前記管理工程で前記記憶媒体に管理され
る画像データの対応する属性情報及び画像特徴量とを、
前記着目度に基づいてマッチングするマッチング工程
と、前記マッチング工程によるマッチング結果に基づい
て、検索結果とする画像データを出力する出力工程とを
備える。
An image search method according to the present invention for achieving the above object has the following arrangement. That is, an image search method for managing image data and searching for desired image data from the managed image data, wherein the image data is associated with its attribute information and image feature amount and managed in a storage medium A process for specifying the attribute information and the image feature amount as search conditions for searching for image data, and a degree of attention to the attribute information and the image feature amount, and a search condition specified in the specifying step Attribute information and image feature amount, the corresponding attribute information and image feature amount of the image data managed in the storage medium in the management step,
A matching step of matching based on the degree of interest; and an output step of outputting image data as a search result based on a matching result of the matching step.

【0015】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
画像データを管理し、その管理された画像データから所
望の画像データを検索する画像検索のプログラムコード
が格納されたコンピュータ可読メモリであって、画像デ
ータとその属性情報及び画像特徴量とを対応づけて記憶
媒体に管理する管理工程のプログラムコードと、画像デ
ータを検索するための検索条件として前記属性情報及び
画像特徴量、該属性情報及び画像特徴量に対する着目度
を指定する指定工程のプログラムコードと、前記指定工
程で指定された検索条件が構成する属性情報及び画像特
徴量と、前記管理工程で前記記憶媒体に管理される画像
データの対応する属性情報及び画像特徴量とを、前記着
目度に基づいてマッチングするマッチング工程のプログ
ラムコードと、前記マッチング工程によるマッチング結
果に基づいて、検索結果とする画像データを出力する出
力工程のプログラムコードとを備える。
A computer readable memory according to the present invention for achieving the above object has the following configuration. That is,
A computer-readable memory storing image search program codes for managing image data and searching for the desired image data from the managed image data, wherein the image data is associated with attribute information and image feature amounts. A program code of a management step of managing the storage medium and the program code of a designation step of designating the attribute information and the image feature amount as search conditions for searching for image data, and a degree of attention to the attribute information and the image feature amount. The attribute information and the image feature amount configured by the search condition specified in the specifying step, and the corresponding attribute information and image feature amount of the image data managed in the storage medium in the management step, Based on the program code of the matching step for performing matching based on the And a program code for an output step of outputting the image data to be the result.

【0016】[0016]

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the drawings.

【0017】図1は本発明の実施形態の画像検索装置の
構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an image retrieval apparatus according to an embodiment of the present invention.

【0018】図1において、1は入力部であり、キーボ
ード、マウスより構成される。4は画像蓄積部であり、
画像メモリ5に一旦記憶される画像データを蓄積する。
2は画像入力部であり、画像蓄積部4に登録する登録対
象の画像データを入力する。5は画像メモリであり、画
像入力部2より入力された画像データを一旦記憶する。
6は画像特徴量抽出部であり、入力された画像データの
属性(イメージ、テキスト等の属性)を示す属性情報を
取得し数値化する。また、その画像データの画像特徴量
を抽出し正規化する。尚、この正規化は、計算された画
像特徴量に関して、一般に、マッチング処理を行なう
際、全く性格の異なるデータを統合した距離を論じる際
に、各画像特徴量の平均と分散を同一の条件にするため
である。また、この正規化を行うためのデータ(平均、
分散)は、導入時にシステムの記憶領域に保存してあ
り、例えば、図10に示すような構成になっている。
In FIG. 1, reference numeral 1 denotes an input unit, which comprises a keyboard and a mouse. 4 is an image storage unit,
The image data temporarily stored in the image memory 5 is stored.
An image input unit 2 inputs image data to be registered in the image storage unit 4. An image memory 5 temporarily stores image data input from the image input unit 2.
Reference numeral 6 denotes an image feature amount extraction unit which acquires attribute information indicating attributes (image, text, etc.) of the input image data and digitizes the attribute information. Further, the image feature amount of the image data is extracted and normalized. In addition, this normalization is generally performed on the calculated image feature amounts under the same condition when performing a matching process and discussing a distance obtained by integrating data having completely different characteristics. To do that. The data (average,
(Distribution) is stored in the storage area of the system at the time of introduction, and has a configuration as shown in FIG. 10, for example.

【0019】7は情報管理データベース(DB)であ
り、画像特徴量抽出部6で抽出された画像データの属性
情報及び画像特徴量をその画像データと対応づけて登録
する。尚、属性情報は、管理データベース(DB)8に
別途記憶するような構成にしても良い。3はマッチング
部であり、検索条件が構成する属性情報及び画像特徴量
と、検索対象の画像データの対応する属性情報及び画像
特徴量をマッチングし、その一致度を得る。9は表示部
であり、マッチング部3より検索結果として得られる画
像データを表示する。また、ユーザに対し検索条件の着
目度を指定するためのユーザインタフェースを表示す
る。
Reference numeral 7 denotes an information management database (DB) for registering attribute information and image feature amounts of the image data extracted by the image feature amount extraction unit 6 in association with the image data. The attribute information may be stored separately in the management database (DB) 8. Reference numeral 3 denotes a matching unit that matches attribute information and image feature amounts included in the search condition with corresponding attribute information and image feature amounts of the search target image data, and obtains a matching degree. A display unit 9 displays image data obtained as a search result from the matching unit 3. In addition, a user interface for designating the degree of interest of the search condition to the user is displayed.

【0020】まず、画像データを登録する登録処理につ
いて、図2を用いて説明する。
First, a registration process for registering image data will be described with reference to FIG.

【0021】図2は本発明の実施形態で実行される画像
データの登録処理を示すフローチャートである。
FIG. 2 is a flowchart showing a registration process of image data executed in the embodiment of the present invention.

【0022】まず、ステップS101で、入力された画
像データの属性情報を取得する。ステップS102で、
取得した属性情報を数値化する。この数値化は、所定の
計算式あるいは所定の変換テーブルを用いて行う。ステ
ップS103で、入力された画像データの画像特徴量を
計算する。ステップS104で、システムの記憶領域か
ら画像データを正規化するためのデータ(平均、分散)
を取得し、その取得したデータに基づいて画像特徴量を
正規化する。ステップS105で、例えば、図3に示す
ような構成で、入力された画像データを示す情報ID
と、正規化された画像特徴量と、取得した属性情報と、
その画像データが実際に管理されている場所を示す情報
格納先アドレスとを対応づけて情報管理DB7へ記憶す
る。
First, in step S101, attribute information of input image data is obtained. In step S102,
Digitize the acquired attribute information. This digitization is performed using a predetermined calculation formula or a predetermined conversion table. In step S103, the image feature amount of the input image data is calculated. In step S104, data (average, variance) for normalizing image data from the storage area of the system
Is acquired, and the image feature amount is normalized based on the acquired data. In step S105, for example, in the configuration shown in FIG. 3, the information ID indicating the input image data
, The normalized image feature amount, the acquired attribute information,
The image data is stored in the information management DB 7 in association with an information storage destination address indicating a place where the image data is actually managed.

【0023】次に、画像データを検索する検索処理につ
いて、図4を用いて説明する。
Next, a search process for searching for image data will be described with reference to FIG.

【0024】図4は本発明の実施形態で実行される画像
データの検索処理を示すフローチャートである。
FIG. 4 is a flowchart showing image data search processing executed in the embodiment of the present invention.

【0025】まず、ステップS201で、検索条件とし
て属性情報及び画像特徴量を指定し、それらの着目度を
指定する。
First, in step S201, attribute information and an image feature amount are specified as search conditions, and their attention degrees are specified.

【0026】尚、ここでの指定は、「属性情報や画像特
徴量に対する重み付けに相当する数値(着目度)が低い
ものに対して、曖昧度を大きくしてマッチング処理を行
なうことは合理的でありかつユーザーの意に反しない」
という着想に基づくものである。これにより、着目度が
属性情報及び画像特徴量の重み付けを指定し、各属性情
報及び画像特徴量のマッチング処理の曖昧さを指定する
ことが可能となる。即ち、重み付けが大きい属性情報及
び画像特徴量ほど、マッチングの際の曖昧度を小さく
し、逆に重み付けが小さい属性情報及び画像特徴量ほど
マッチングの際の曖昧度を大きくする。
The designation here is "it is reasonable to perform a matching process by increasing the degree of ambiguity for those having a low numerical value (degree of attention) corresponding to the weighting of the attribute information or image feature amount. Yes and not against the user's will "
This is based on the idea. Thus, the degree of attention can specify the weighting of the attribute information and the image feature amount, and can specify the ambiguity of the matching process of each attribute information and the image feature amount. In other words, the attribute information and the image feature amount with a larger weighting reduce the ambiguity at the time of matching, and conversely, the attribute information and the image feature amount with a smaller weighting increase the ambiguity at the time of matching.

【0027】上記の関係を実現する場合、曖昧度が離散
的なものであれば、図5に示す「着目度と曖昧度の対応
関数」を用いる。また、曖昧度が連続的なものであれ
ば、図6に示す「着目度と曖昧度の対応を表す単調減少
関数」を用いる。但し、図5、図6の関数は共に単調減
少関数であればその内容は特に問わない。
In order to realize the above relationship, if the degree of ambiguity is discrete, the "correspondence function between the degree of interest and the degree of ambiguity" shown in FIG. 5 is used. If the degree of ambiguity is continuous, a “monotone decreasing function representing the correspondence between the degree of attention and the degree of ambiguity” shown in FIG. 6 is used. However, the contents of the functions in FIGS. 5 and 6 are not particularly limited as long as they are monotonically decreasing functions.

【0028】また、検索条件としては、登録時と登用の
正規化した多次元画像特徴空間上での座標を与える。例
えば、ある画像に類似する画像データを検索したい場合
には、その画像データの属性情報と正規化された画像特
徴量を与えることになる。
As the search condition, coordinates on the normalized multi-dimensional image feature space at the time of registration and at the time of registration are given. For example, when searching for image data similar to a certain image, attribute information of the image data and a normalized image feature amount are given.

【0029】ステップS202で、指定された着目度に
基づいて、指定された検索条件が構成する属性情報及び
正規化された画像特徴量(以下、これらをまとめて正規
化パラメータと呼ぶ場合がある)と、画像蓄積部4に蓄
積されている先頭の画像データの正規化パラメータとを
マッチング部3でマッチングする。具体的には、正規化
されたパラメータ同士のマッチングは、先の着目度に基
づいて得られる曖昧度に応じて行い、そのマッチング結
果をその着目する正規化パラメータの類似度とする。ま
た、曖昧度に応じて類似度の計算式を変更したり、ある
いは制約条件の緩急を付けることができる。そして、得
られた各正規化パラメータ毎の類似度を用い、処理対象
の画像データの正規化パラメータと検索条件が構成する
正規化パラメータとの一致度Lを計算する。一致度Lを
計算する計算式は以下のよう示すことが可能である。
In step S202, based on the specified degree of attention, the attribute information and the normalized image feature amount included in the specified search condition (hereinafter, these may be collectively referred to as normalization parameters). And the normalization parameter of the first image data stored in the image storage unit 4 by the matching unit 3. Specifically, the matching between the normalized parameters is performed in accordance with the degree of ambiguity obtained based on the degree of attention, and the matching result is set as the similarity of the normalized parameter of interest. In addition, the calculation formula of the similarity can be changed according to the degree of ambiguity, or the degree of restriction can be adjusted. Then, using the obtained similarity for each normalization parameter, the degree of coincidence L between the normalization parameter of the image data to be processed and the normalization parameter included in the search condition is calculated. The calculation formula for calculating the coincidence L can be expressed as follows.

【0030】[0030]

【数1】 (Equation 1)

【0031】但し、i :画像特徴量の識別子 k :正規化パラメータの種類数 Pi:正規化パラメータ Ri:比較基準パラメータ(マッチング対象の画像デー
タの正規化パラメータ) Wi:正規化パラメータiに対する着目度 Fi(Wi):画像特徴量iに対する着目度を曖昧度へ変
換する関数 Si(Fi,Ri,Pi):画像特徴量iに対する曖昧度F
iを考慮し た比較基準パラメータRiと正規化パラメータPi間の類
似度を得る関数 ここで、ステップS202における一致度Lを得る処理
の詳細について、図7を用いて説明する。
Where i: identifier of image feature amount k: number of types of normalization parameters P i : normalization parameter R i : comparison reference parameter (normalization parameter of image data to be matched) W i : normalization parameter i (F i (W i )): A function for converting the degree of attention to the image feature i into ambiguity S i (F i , R i , P i ): Ambiguity F to the image feature i
Function for Obtaining Similarity between Comparison Reference Parameter R i and Normalized Parameter P i Considering i Here, the details of the process of obtaining the degree of coincidence L in step S202 will be described with reference to FIG.

【0032】図7は本発明の実施形態の図4のステップ
S202で実行される処理の詳細を示すフローチャート
である。
FIG. 7 is a flowchart showing details of the processing executed in step S202 of FIG. 4 according to the embodiment of the present invention.

【0033】まず、ステップS301で、検索条件を構
成する正規化パラメータPi、その着目度Wi、正規化パ
ラメータの種類数kを取得する。ステップS302で、
マッチングが完了した正規化パラメータをカウントする
ためのカウンタiの値を1に、レジスタLの値(一致
度)を0に設定する。ステップS303で、カウンタi
の値が正規化パラメータの種類数k以下であるか否かを
判定する。カウンタiの値が正規化パラメータの種類数
k以下である場合(ステップS303でYES)、ステ
ップS304に進み、Fi=Fi(Wi)を用いて、正規
化パラメータPi iへの着目度Wiを曖昧度Fiへ変換す
る。ステップS305で、曖昧度Fiに応じて、正規化
パラメータPiと比較基準パラメータRiをマッチング
し、類似度S=Si(Fi,Ri,Pi)を得る。そして、
得られた類似度Sを現在のレジスタLの値に加算する。
First, in step S301, a normalization parameter P i , a degree of interest W i , and the number k of types of the normalization parameter, which constitute a search condition, are obtained. In step S302,
The value of the counter i for counting the normalized parameters for which matching has been completed is set to 1, and the value of the register L (degree of coincidence) is set to 0. In step S303, the counter i
Is determined to be less than or equal to the number k of types of normalization parameters. If the value of the counter i is equal to or smaller than the number k of types of the normalization parameters (YES in step S303), the process proceeds to step S304, and focuses on the normalization parameters P i i using F i = F i (W i ). to convert degrees Wi to the ambiguity of F i. In step S305, the normalization parameter P i and the comparison reference parameter R i are matched according to the ambiguity F i to obtain a similarity S = S i (F i , R i , P i ). And
The obtained similarity S is added to the current value of the register L.

【0034】一方、カウンタiの値が正規化パラメータ
の種類数kより大きい場合(ステップS303でN
O)、ステップS307に進み、レジスタLの値で類似
度Siの総和を除算し、正規化された一致度Lを得る。
ステップS308で、得られた一致度Lとマッチング対
象の画像データの情報IDを対にして検索結果として出
力する。
On the other hand, when the value of the counter i is larger than the number k of types of normalization parameters (N in step S303)
O), the process proceeds to step S307, and the sum of the similarities S i is divided by the value of the register L to obtain a normalized coincidence L.
In step S308, the obtained matching degree L and the information ID of the image data to be matched are paired and output as a search result.

【0035】再び、図4の説明に戻る。Returning to the description of FIG.

【0036】ステップS203で、マッチング対象の画
像データが存在しないか否かを判定する。マッチング対
象の画像データが存在しない場合(ステップS203で
YES)、ステップS207に進み、画像データの情報
IDと検索条件との一致度Lを対にして検索結果として
表示部9に出力する。一方、マッチング対象の画像デー
タが存在する場合(ステップS203でNO)、ステッ
プS204に進み、次のマッチング対象の画像データを
選択する。
In step S203, it is determined whether there is no matching image data. If there is no matching-target image data (YES in step S203), the process proceeds to step S207, and the information ID of the image data and the matching degree L between the search conditions are output as a search result to the display unit 9 as a pair. On the other hand, when image data to be matched exists (NO in step S203), the process proceeds to step S204, and the next image data to be matched is selected.

【0037】ステップS205で、検索条件が構成する
正規化パラメータと、その画像データの正規化パラメー
タとをマッチング部3でマッチングする。この処理の詳
細については、ステップS202と同様なので、ここで
は省略する。ステップS206で、得られた一致度Lに
基づいて、マッチング部3でのマッチングが終了した画
像データをソートし、ステップS203に戻る。そし
て、ステップS203で、マッチング対象の画像データ
が存在しなくなったら、ステップS207に進み、一致
度Lの大きい順に、画像データの情報IDと検索条件と
の一致度Lを対にして検索結果として表示部9に出力す
る。
In step S205, the matching unit 3 matches the normalization parameter included in the search condition with the normalization parameter of the image data. The details of this processing are the same as in step S202, and thus are omitted here. In step S206, the image data for which matching by the matching unit 3 has been completed is sorted based on the obtained matching degree L, and the process returns to step S203. Then, in step S203, when the image data to be matched no longer exists, the process proceeds to step S207, and the information ID of the image data and the degree of matching L with the search condition are displayed as a search result in descending order of the degree of matching L. Output to the unit 9.

【0038】以上説明した検索処理においては、処理時
間短縮のために、事前検索(プリサーチ)を行うことも
可能である。つまり、各画像特徴量毎に所定値以上の一
致度を有する画像データを事前に抽出し、その抽出され
た画像データに対し実際に指定された検索条件による検
索処理を行う。但し、この場合、全ての正規化パラメー
タでの一致度Si(Wi)が得られるわけではない。そこ
で、そのような場合は、プリサーチにより除外した正規
化パラメータiに対応する類似度Si(Fi,R i,Pi
に関しては、プリサーチで残った検索結果の最も類似度
の小さい値Min(Si)をSi(Fi,Ri,Pi)に代
用する。このプリサーチを含む検索処理について、図8
を用いて説明する。
In the search processing described above,
In order to shorten the time, pre-search may be performed
It is possible. That is, for each image feature amount,
Extract image data with criticality in advance and
Search based on the search conditions actually specified
Perform search processing. However, in this case, all the normalized parameters
Degree Si(Wi) Is not obtained. There
In such a case, the regular
Similarity S corresponding to the optimization parameter ii(Fi, R i, Pi)
For, the most similarity of the search results remaining in the pre-search
Min (Si) To Si(Fi, Ri, Pi)
To use. FIG. 8 shows a search process including this pre-search.
This will be described with reference to FIG.

【0039】図8は本発明の実施形態で実行されるプリ
サーチを含む検索処理を示すフローチャートである。
FIG. 8 is a flowchart showing a search process including a pre-search executed in the embodiment of the present invention.

【0040】まず、ステップS401で、検索条件とし
て属性情報及び画像特徴量を指定し、それらの着目度を
指定する。ステップS402で、プリサーチとして、選
択された検索条件が構成する正規化パラメータ毎に、画
像蓄積部4に蓄積されている画像データの正規化パラメ
ータとのマッチングをマッチング部3で行う。そして、
各画像データ毎に、プリサーチ結果の合格の有無、情報
ID、類似度を記憶すると共に、各正規化パラメータに
ついての類似度の最小値を記憶する。
First, in step S401, attribute information and an image feature amount are specified as search conditions, and their attention degrees are specified. In step S402, as a pre-search, the matching unit 3 performs matching with the normalization parameter of the image data stored in the image storage unit 4 for each normalization parameter included in the selected search condition. And
For each image data, the presence / absence of the pre-search result, the information ID, and the similarity are stored, and the minimum value of the similarity for each normalization parameter is stored.

【0041】次に、ステップS403で、画像蓄積部4
に蓄積されている先頭の画像データの各正規化パラメー
タに関して上述の(式1.0)による計算を行い、検索
条件との一致度Lを得る。但し、正規化パラメータjの
プリサーチが不合格の場合には、(式1.0)における
i=jの項に対し、ステップS402で記憶しておいた
正規化パラメータjの類似度の最小値を代用する。これ
により、各正規化パラメータに関するプリサーチによる
計算結果の欠落を補い、かつ、マッチングを行うことが
可能になる。
Next, in step S403, the image storage unit 4
Is calculated by the above (Equation 1.0) for each normalization parameter of the first image data stored in the first image data, and the degree of coincidence L with the search condition is obtained. However, if the pre-search of the normalization parameter j is unsuccessful, the minimum value of the similarity of the normalization parameter j stored in step S402 for the term of i = j in (Equation 1.0) Substitute This makes it possible to compensate for missing calculation results of the pre-search for each normalization parameter and perform matching.

【0042】ステップS404で、(式1.0)の計算
を行う処理対象の画像データが存在しないか否かを判定
する。処理対象の画像データが存在しない場合(ステッ
プS404でYES)、ステップS408に進み、画像
データの情報IDと検索条件との一致度Lを対にして検
索結果として表示部9に出力する。一方、処理対象の画
像データが存在する場合(ステップS404でNO)、
ステップS405に進み、次の処理対象の画像データを
選択する。
In step S404, it is determined whether there is no image data to be processed for which the calculation of (Expression 1.0) is performed. If there is no image data to be processed (YES in step S404), the process advances to step S408 to output the information ID of the image data and the degree of coincidence L between the search conditions to the display unit 9 as a search result. On the other hand, if there is image data to be processed (NO in step S404),
Proceeding to step S405, the next image data to be processed is selected.

【0043】ステップS406で、その画像データの各
正規化パラメータに関して上述の(式1.0)による計
算を行い、検索条件との一致度Lを得る。ステップS4
07で、得られた一致度Lに基づいて、処理が終了した
画像データをソートし、ステップS404に戻る。そし
て、ステップS404で、処理対象の画像データが存在
しなくなったら、ステップS408に進み、一致度Lの
大きい順に、画像データの情報IDと検索条件との一致
度Lを対にして検索結果として表示部9に出力する。
In step S406, the above-described (Equation 1.0) is calculated for each normalization parameter of the image data to obtain a degree of coincidence L with the search condition. Step S4
In step 07, the processed image data is sorted based on the obtained matching degree L, and the process returns to step S404. Then, in step S404, if there is no more image data to be processed, the process proceeds to step S408, and the information ID of the image data and the degree of matching L with the search condition are displayed as a search result in descending order of the degree of matching L. Output to the unit 9.

【0044】次に、上述した登録処理及び検索処理の具
体例について説明してゆく。
Next, specific examples of the above-described registration processing and search processing will be described.

【0045】ここでは、登録処理で登録する画像データ
として、32ビットのRGB値で表現され、特に、白地
に一色で塗りつぶした図形を有する画像データを例に挙
げる。
Here, as the image data to be registered in the registration processing, an image data represented by a 32-bit RGB value, particularly, a figure having a figure painted in one color on a white background will be described as an example.

【0046】登録処理は、上述したように、まず、登録
対象の画像データの属性情報の取得及び画像特徴量の計
算を行う。この場合、属性情報を数値化して画像特徴量
とするために、画像データのRGB値で示される色を図
9に示される変換テーブルを用いて数値化する。また、
画像データが有する塗りつぶした図形で示される構図の
面積を求め、画像特徴諒とする。
In the registration process, as described above, first, the attribute information of the image data to be registered is obtained and the image feature amount is calculated. In this case, in order to convert the attribute information into a numerical value and obtain an image feature amount, the color indicated by the RGB value of the image data is converted into a numerical value using the conversion table shown in FIG. Also,
The area of the composition indicated by the filled figure included in the image data is obtained, and the obtained area is regarded as the image feature.

【0047】次に、これらの画像特徴量を正規化するた
めのデータを、図10に示したテーブルから取得し、以
下の式に従って正規化された画像特徴量Xを得る。
Next, data for normalizing these image feature values is obtained from the table shown in FIG. 10, and a normalized image feature value X is obtained according to the following equation.

【0048】 正規化画像特徴量X=(画像特徴量−平均)/分散 (式 2.0) そして、実際のRGB値で示される色を数値化して得ら
れる画像特徴量と、構図で示される画像特徴量がそれぞ
れ正規化されると、それらが情報管理DB7へ記憶され
る。
Normalized image feature amount X = (image feature amount−average) / variance (Equation 2.0) Then, the image feature amount obtained by digitizing the color represented by the actual RGB value is represented by a composition. When the image features are normalized, they are stored in the information management DB 7.

【0049】続いて、検索条件として、色で示される画
像特徴量の着目度が70%、構図の面積で示される画像
特徴量の着目度が30%、及び情報管理DB7から任意
の画像データが指定された場合の検索処理について説明
する。尚、指定された画像データの画像特徴量の内、色
で得られる画像特徴量が65、構図の面積で示される画
像特徴量が20であったとする。また、色で示される画
像特徴量の着目度は、図11に示す離散的な関数を用い
て曖昧度に変換する。更に、構図の面積で示される画像
特徴量の着目度は、図12に示す離散的な関数を用いて
曖昧度に変換する。この場合、色で示される画像特徴量
の曖昧度は10となり、構図の面積に関する画像特徴量
の曖昧度は80となる。
Subsequently, as the search conditions, the degree of attention of the image feature amount represented by the color is 70%, the degree of attention of the image feature amount represented by the area of the composition is 30%, and any image data from the information management DB 7 is retrieved. The search process in the case where it is specified will be described. It is assumed that, of the image feature amounts of the designated image data, the image feature amount obtained by color is 65, and the image feature amount indicated by the composition area is 20. In addition, the degree of attention of the image feature amount represented by a color is converted into an ambiguity using a discrete function shown in FIG. Further, the degree of attention of the image feature amount represented by the area of the composition is converted into the degree of ambiguity using a discrete function shown in FIG. In this case, the ambiguity of the image feature indicated by the color is 10, and the ambiguity of the image feature related to the area of the composition is 80.

【0050】以上の結果を用い、上述の(式1.0)に
従って、検索対象画像との一致度を計算する場合、画像
特徴量(正規化パラメータ)の種類数k=2となるの
で、(式1.0 )は以下のように書き下せる。
When the degree of coincidence with the search target image is calculated according to the above (Equation 1.0) using the above results, the number k of types of image feature amounts (normalization parameters) is k = 2. Equation 1.0) can be written as:

【0051】 L=70×S1(10,65,P1)+30×S2(80,20,P2)} (式3.0) ここで、(式3.0)の第1項(S1(10,65,
1))は、色に関するパターンマッチングにおいて、
曖昧度10に関する画像特徴量65とP1間の類似度の
演算を計算することを意味する。同様に、(式3.0)
の第2項(S2(80,20,P2))は、構図の面積に
関するパターンマッチングにおいて、曖昧度80に関す
る画像特徴量20とP1間の類似度の演算を計算するこ
とを意味する。
L = 70 × S 1 (10,65, P 1 ) + 30 × S 2 (80,20, P 2 )} (Expression 3.0) Here, the first term of (Expression 3.0) ( S 1 (10,65,
P 1 )) is used in pattern matching for color.
This means that the calculation of the similarity between the image feature quantity 65 and P1 relating to the ambiguity 10 is calculated. Similarly, (Equation 3.0)
The second term (S 2 (80, 20, P 2 )) means that, in pattern matching relating to the area of the composition, calculation of the similarity between the image feature quantity 20 relating to the ambiguity 80 and P 1 is calculated.

【0052】上記類似度の演算においては、それぞれの
画像特徴量毎にその曖昧度に適合した演算式・演算アル
ゴリズムを用いる。
In the calculation of the degree of similarity, an arithmetic expression / operation algorithm suitable for the degree of ambiguity is used for each image feature amount.

【0053】以上の処理を、検索対象の画像データ全て
に対して行い、得られる一致度Lの大きい順に画像デー
タをソートし検索結果として表示部9に表示する。尚、
検索結果を上位アプリケーションへ返す、あるいは一致
度Lでなく距離で示される場合には、距離と一致度の対
応を取る関数を通して変換を行なえばよく、その距離と
一致度の対応を取る関数は単調減少関数となる。
The above processing is performed on all image data to be searched, and the image data is sorted in descending order of the obtained coincidence L, and is displayed on the display unit 9 as a search result. still,
When the search result is returned to a higher-level application, or when the distance is indicated by a distance instead of the degree of coincidence L, the conversion may be performed through a function that associates the distance with the degree of coincidence. It becomes a decreasing function.

【0054】また、プリサーチが含まれる検索処理を行
った場合には、色で示される画像特徴量と処理対象の画
像データの対応する画像特徴量の色の差が所定範囲内で
ある場合、あるいは構図の面積で示される画像特徴量と
処理対象の画像データの対応する画像特徴量の構図の面
積の割合が所定範囲内である場合には、各画像特徴量毎
にプリサーチに合格したものとする。そして、処理対象
の画像データそれぞれについて、プリサーチ結果の合格
の有無、情報ID、類似度を記憶すると共に、各画像特
徴量(正規化パラメータ)についての類似度の最小値、
つまり、(式3.0)の第1項、第2項の最小値を記憶
する。
When the search processing including the pre-search is performed, if the difference between the color of the image feature represented by the color and the color of the image feature corresponding to the image data to be processed is within a predetermined range, Alternatively, if the ratio of the composition area of the image feature amount represented by the composition area to the corresponding image feature amount of the image data to be processed is within a predetermined range, the pre-search is passed for each image feature amount. And Then, for each of the image data to be processed, the presence / absence of the pre-search result, the information ID, and the similarity are stored, and the minimum value of the similarity for each image feature amount (normalization parameter) is stored.
That is, the minimum value of the first and second terms of (Equation 3.0) is stored.

【0055】そして、全ての画像データに関して、(式
3.0)による計算を行い、検索条件との一致度Lを得
る。この場合、一致度Lの大きい順に画像データをソー
トするが、色で示される画像特徴量のプリサーチが不合
格であった画像データにおいては、(式3.0)におけ
る第1項に対し先に記憶しておいた第1項の最小値を代
用する。また、構図で示される画像特徴量のプリサーチ
が不合格であった画像データにおいては、(式3.0)
における第2項に対し先に記憶していた第2項の最小値
を代用する。
Then, the calculation based on (Equation 3.0) is performed for all the image data, and the degree of coincidence L with the search condition is obtained. In this case, the image data is sorted in descending order of the matching degree L. In the image data in which the pre-search of the image feature amount represented by the color has failed, the first term in (Equation 3.0) is compared with the first term. Is substituted for the minimum value of the first term. Further, in the image data in which the pre-search of the image feature amount indicated by the composition is rejected, (Expression 3.0)
Substitute the minimum value of the second term previously stored for the second term in.

【0056】以上説明したように、本実施形態によれ
ば、検索目的に適合した画像特徴量に対する着目度を指
定させることができ、その指定された着目度を曖昧度に
変換することで、検索目的に適した画像特徴量の曖昧度
を設定することができる。
As described above, according to the present embodiment, it is possible to specify the degree of attention to the image feature amount suitable for the search purpose, and to convert the specified degree of attention to the degree of ambiguity. It is possible to set the ambiguity of the image feature amount suitable for the purpose.

【0057】尚、上記実施形態においては、検索条件の
正規化パラメータと検索対象の画像データの正規化パラ
メータ同士をマッチングして、その一致度Lを得るよう
な構成であったが、正規化パラメータに多変量解析を施
し、その主成分軸を求め、有効な主成分の数に次元を縮
小し、この縮小した次元の主成分空間上でのマッチング
を行なってもよい。その場合、画像特徴量(正規化パラ
メータ)の曖昧度は、主成分軸に依存したものとして決
定しなければならない。多くの場合、主成分軸は、物理
的・概念的にある意味を持った軸と成ることが多く、そ
の様な主成分軸に対する重み付けは、本実施形態より有
効なものとなる。
In the above embodiment, the normalization parameter of the search condition and the normalization parameter of the image data to be searched are matched with each other to obtain the degree of coincidence L. May be subjected to multivariate analysis to determine the principal component axis, reduce the dimension to the number of effective principal components, and perform matching of the reduced dimension on the principal component space. In that case, the ambiguity of the image feature amount (normalization parameter) must be determined as depending on the principal component axis. In many cases, the principal component axis is often an axis having a certain meaning physically and conceptually, and such weighting of the principal component axis becomes more effective than in the present embodiment.

【0058】また、上記実施形態においては、検索条件
が構成する正規化パラメータと検索対象の画像データの
正規化パラメータの一致度Lを、類似度に着目した(式
1.0)を用いたが、距離に着目したアルゴリズムも当
然考えられる。その場合、(式1.0)に対応する総合
的な距離Diffを求める式は以下のようになる。
In the above embodiment, the degree of coincidence L between the normalization parameter included in the search condition and the normalization parameter of the image data to be searched is determined by using the similarity (Equation 1.0). Of course, an algorithm that focuses on the distance is also conceivable. In that case, the formula for calculating the total distance Diff corresponding to (Formula 1.0) is as follows.

【0059】[0059]

【数2】 (Equation 2)

【0060】但し、i :画像特徴量の識別子 k :正規化パラメータの種類数 Pi:正規化パラメータ Ri:比較基準パラメータ(マッチング対象の画像デー
タの正規化パラメータ) Wi:正規化パラメータiに対する着目度 Fi(Wi):画像特徴量iに対する着目度を曖昧度へ変
換する関数 Di(Fi,Ri,Pi):画像特徴量iに対する曖昧度F
iを考慮した比較基準パラメータRiと正規化パラメータ
i間の類似度を得る関数 但し、距離Diffは一致度Lと反比例に近い関係にあ
るので、これを用いて上述した処理を行う場合には、こ
の点を考慮する必要がある。
Where i: identifier of image feature amount k: number of types of normalization parameters P i : normalization parameter R i : comparison reference parameter (normalization parameter of image data to be matched) W i : normalization parameter i degree of attention F i (W i) with respect to: an image feature amount function for converting the degree of attention to the ambiguity for i D i (F i, R i, P i): ambiguity F for the image feature amount i
function to obtain the similarity between the comparison reference parameters R i and normalized parameters P i in consideration of i However, since the distance Diff is closely related to the inverse proportion to the degree of coincidence L, when performing the processing described above with reference to this Need to take this into account.

【0061】尚、本発明は、複数の機器(例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など)から構成されるシステムに適用しても、一つの機
器からなる装置(例えば、複写機、ファクシミリ装置な
ど)に適用してもよい。
Even if the present invention is applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), a device including one device (for example, a copying machine, a facsimile machine) Etc.).

【0062】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
Another object of the present invention is to provide a storage medium storing a program code of software for realizing the functions of the above-described embodiments to a system or apparatus, and to provide a computer (or CPU) of the system or apparatus.
And MPU) read and execute the program code stored in the storage medium.

【0063】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.

【0064】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、CD
−R、磁気テープ、不揮発性のメモリカード、ROMな
どを用いることができる。
As a storage medium for supplying the program code, for example, a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD
-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

【0065】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
When the computer executes the readout program code, not only the functions of the above-described embodiment are realized, but also the OS (Operating System) running on the computer based on the instruction of the program code. ) May perform some or all of the actual processing, and the processing may realize the functions of the above-described embodiments.

【0066】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU included in the function expansion board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.

【0067】[0067]

【発明の効果】以上説明したように、本発明によれば、
画像データを検索するための検索条件に対する着目の度
合を容易に指定することができる画像検索装置及びその
方法、コンピュータ可読メモリを提供できる。
As described above, according to the present invention,
It is possible to provide an image search device and a method thereof, and a computer-readable memory, which can easily designate a degree of attention to search conditions for searching image data.

【0068】[0068]

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態の画像検索装置の構成を示す
ブロック図である。
FIG. 1 is a block diagram illustrating a configuration of an image search device according to an embodiment of the present invention.

【図2】本発明の実施形態で実行される画像データの登
録処理を示すフローチャートである。
FIG. 2 is a flowchart showing a registration process of image data executed in the embodiment of the present invention.

【図3】本発明の実施形態の情報管理DBで記録される
データ構成を示す図である。
FIG. 3 is a diagram showing a data configuration recorded in an information management DB according to the embodiment of the present invention.

【図4】本発明の実施形態で実行される画像データの検
索処理を示すフローチャートである。
FIG. 4 is a flowchart illustrating image data search processing executed in the embodiment of the present invention.

【図5】本発明の実施形態の着目度と曖昧度の対応を表
現する離散的関数の一例を示す図である。
FIG. 5 is a diagram illustrating an example of a discrete function expressing a correspondence between a degree of interest and an ambiguity according to the embodiment of this invention;

【図6】本発明の実施形態の着目度と曖昧度の対応を表
現する連続関数の一例を示す図である。
FIG. 6 is a diagram illustrating an example of a continuous function expressing a correspondence between a degree of interest and an ambiguity according to the embodiment of this invention;

【図7】本発明の実施形態の図4のステップS202で
実行される処理の詳細を示すフローチャートである。
FIG. 7 is a flowchart showing details of processing executed in step S202 of FIG. 4 according to the embodiment of the present invention.

【図8】本発明の実施形態で実行されるプリサーチを含
む検索処理を示すフローチャートである。
FIG. 8 is a flowchart illustrating a search process including a pre-search executed in the embodiment of the present invention.

【図9】本発明の実施形態の属性情報を数値化するため
のテーブルの一例を示す図である。
FIG. 9 is a diagram illustrating an example of a table for digitizing attribute information according to the embodiment of this invention.

【図10】本発明の実施形態の画像特徴量を正規化する
ためのデータの一例を示す図である。
FIG. 10 is a diagram showing an example of data for normalizing an image feature amount according to the embodiment of the present invention.

【図11】本発明の実施形態の色で示される画像特徴量
の着目度と曖昧度の対応を表現する離散的関数の一例を
示す図である。
FIG. 11 is a diagram illustrating an example of a discrete function expressing a correspondence between a degree of attention and an ambiguity of an image feature amount indicated by a color according to the embodiment of this invention.

【図12】本発明の実施形態の構図の面積で示される画
像特徴量の着目度と曖昧度の対応を表現する離散的関数
の一例を示す図である。
FIG. 12 is a diagram illustrating an example of a discrete function expressing a correspondence between a degree of interest and an ambiguity of an image feature amount indicated by a composition area according to the embodiment of this invention.

【符号の説明】[Explanation of symbols]

1 入力部 2 画像入力部 3 マッチング部 4 画像蓄積部 5 画像メモリ 6 画像特徴量抽出部 7 情報管理データベース 8 管理データベース 9 表示部 DESCRIPTION OF SYMBOLS 1 Input part 2 Image input part 3 Matching part 4 Image storage part 5 Image memory 6 Image feature quantity extraction part 7 Information management database 8 Management database 9 Display part

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 画像データを管理し、その管理された画
像データから所望の画像データを検索する画像検索装置
であって、 画像データとその属性情報及び画像特徴量とを対応づけ
て管理する管理手段と、 画像データを検索するための検索条件として前記属性情
報及び画像特徴量、該属性情報及び画像特徴量に対する
着目度を指定する指定手段と、 前記指定手段で指定された検索条件が構成する属性情報
及び画像特徴量と、前記管理手段で管理される画像デー
タの対応する属性情報及び画像特徴量とを、前記着目度
に基づいてマッチングするマッチング手段と、 前記マッチング手段によるマッチング結果に基づいて、
検索結果とする画像データを出力する出力手段とを備え
ることを特徴とする画像検索装置。
1. An image search apparatus for managing image data and searching for desired image data from the managed image data, wherein the image data is managed in association with attribute information and image feature amounts. Means, designating means for designating the attribute information and the image feature amount, and a degree of attention to the attribute information and the image feature amount as search conditions for searching for image data; and a search condition designated by the designating means. A matching unit that matches the attribute information and the image feature amount and the corresponding attribute information and image feature amount of the image data managed by the management unit based on the degree of interest; and based on a matching result by the matching unit. ,
Output means for outputting image data as a search result.
【請求項2】 前記指定手段は、前記着目度に相当する
数値を指定するユーザーインタフェースを有し、 前記マッチング手段は、前記ユーザインタフェースによ
って指定された前記着目度をマッチングを行う際の曖昧
度に変換し、前記曖昧度に基づく評価式を用いて、前記
検索条件が構成する属性情報及び画像特徴量と、前記画
像データの対応する属性情報及び画像特徴量をマッチン
グすることを特徴とする請求項1に記載の画像検索装
置。
2. The method according to claim 1, wherein the specifying unit has a user interface that specifies a numerical value corresponding to the degree of interest, and the matching unit determines an ambiguity when the degree of interest specified by the user interface is matched. And converting the attribute information and the image feature amount included in the search condition with the corresponding attribute information and image feature amount of the image data using the evaluation formula based on the degree of ambiguity. 2. The image search device according to 1.
【請求項3】 前記着目度は、前記属性情報及び画像特
徴量に対する重要度に相当する重み付けであると同時
に、該着目度の値が低いほど前記マッチング手段による
マッチングの曖昧さを増大させるものであることを特徴
とする請求項1に記載の画像検索装置。
3. The degree of interest is a weight corresponding to the degree of importance for the attribute information and the image feature amount, and the ambiguity of matching by the matching means increases as the value of the degree of interest decreases. 2. The image search device according to claim 1, wherein:
【請求項4】 前記出力手段は、前記マッチング手段に
よるマッチング結果として得られる画像特徴量の一致度
に基づいて、検索結果とする画像データをソートして出
力することを特徴とする請求項1に記載の画像検索装
置。
4. The image processing apparatus according to claim 1, wherein the output unit sorts and outputs image data as a search result based on a degree of coincidence of an image feature amount obtained as a matching result by the matching unit. The image search device according to the above.
【請求項5】 前記一致度は、前記属性情報及び画像特
徴量それぞれの着目度の総和で除算された正規化された
一致度であることを特徴とする請求項4に記載の画像検
索装置。
5. The image search apparatus according to claim 4, wherein the degree of coincidence is a normalized degree of coincidence divided by a total sum of degrees of interest of the attribute information and the image feature amount.
【請求項6】 前記マッチング手段は、前記検索条件が
構成する画像特徴量と、前記属性情報を数値化して得ら
れる画像特徴量毎に所定値以上の一致度を有する画像デ
ータの画像特徴量を事前に抽出する抽出手段を備え、 前記抽出手段で抽出された画像データの画像特徴量と、
前記検索条件が構成する画像特徴量をマッチングするこ
とを特徴とする請求項1に記載の画像検索装置。
6. The image processing apparatus according to claim 1, wherein the matching unit determines an image feature amount included in the search condition and an image feature amount of image data having a matching degree equal to or more than a predetermined value for each image feature amount obtained by digitizing the attribute information. An extraction unit that extracts in advance, an image feature amount of the image data extracted by the extraction unit,
The image search device according to claim 1, wherein the image feature amount configured by the search condition is matched.
【請求項7】 前記抽出手段で抽出されなかった未抽出
画像データに関しては、該抽出手段で抽出された画像デ
ータの一致度の内、最も低い一致度を前記未抽出画像デ
ータの一致度とすることを特徴とする請求項6に記載の
画像検索装置。
7. Regarding the unextracted image data not extracted by the extracting unit, the lowest coincidence of the image data extracted by the extracting unit is defined as the coincidence of the unextracted image data. 7. The image search device according to claim 6, wherein:
【請求項8】 画像データを管理し、その管理された画
像データから所望の画像データを検索する画像検索方法
であって、 画像データとその属性情報及び画像特徴量とを対応づけ
て記憶媒体に管理する管理工程と、 画像データを検索するための検索条件として前記属性情
報及び画像特徴量、該属性情報及び画像特徴量に対する
着目度を指定する指定工程と、 前記指定工程で指定された検索条件が構成する属性情報
及び画像特徴量と、前記管理工程で前記記憶媒体に管理
される画像データの対応する属性情報及び画像特徴量と
を、前記着目度に基づいてマッチングするマッチング工
程と、 前記マッチング工程によるマッチング結果に基づいて、
検索結果とする画像データを出力する出力工程とを備え
ることを特徴とする画像検索方法。
8. An image retrieval method for managing image data and retrieving desired image data from the managed image data, wherein the image data is associated with attribute information and image feature amounts in a storage medium. A management step of managing; a designation step of designating the attribute information and the image feature amount as search conditions for retrieving image data; and a degree of interest in the attribute information and the image feature amount; and a search condition designated in the designation step. A matching step of matching, based on the degree of attention, the attribute information and the image feature amount configured by the attribute information and the corresponding attribute information and image feature amount of the image data managed in the storage medium in the management step; Based on the matching result of the process,
Outputting an image data as a search result.
【請求項9】 前記指定工程は、前記着目度に相当する
数値を指定するユーザーインタフェースを有し、 前記マッチング工程は、前記ユーザインタフェースによ
って指定された前記着目度をマッチングを行う際の曖昧
度に変換し、前記曖昧度に基づく評価式を用いて、前記
検索条件が構成する属性情報及び画像特徴量と、前記画
像データの対応する属性情報及び画像特徴量をマッチン
グすることを特徴とする請求項8に記載の画像検索方
法。
9. The designating step includes a user interface for designating a numerical value corresponding to the degree of interest, and the matching step includes determining a degree of ambiguity when matching the degree of interest designated by the user interface. And converting the attribute information and the image feature amount included in the search condition with the corresponding attribute information and image feature amount of the image data using the evaluation formula based on the degree of ambiguity. 8. The image search method according to 8.
【請求項10】 前記着目度は、前記属性情報及び画像
特徴量に対する重要度に相当する重み付けであると同時
に、該着目度の値が低いほど前記マッチング工程による
マッチングの曖昧さを増大させるものであることを特徴
とする請求項8に記載の画像検索方法。
10. The degree of interest is a weight corresponding to the degree of importance for the attribute information and the image feature amount, and at the same time, the lower the value of the degree of interest, the greater the ambiguity of matching in the matching step. 9. The image search method according to claim 8, wherein:
【請求項11】 前記出力工程は、前記マッチング工程
によるマッチング結果として得られる画像特徴量の一致
度に基づいて、検索結果とする画像データをソートして
出力することを特徴とする請求項8に記載の画像検索方
法。
11. The image processing apparatus according to claim 8, wherein the output step sorts and outputs image data as a search result based on the degree of coincidence of image feature amounts obtained as a result of the matching in the matching step. Image search method described.
【請求項12】 前記一致度は、前記属性情報及び画像
特徴量それぞれの着目度の総和で除算された正規化され
た一致度であることを特徴とする請求項11に記載の画
像検索方法。
12. The image search method according to claim 11, wherein the degree of coincidence is a normalized degree of coincidence divided by a total sum of degrees of interest of the attribute information and the image feature amount.
【請求項13】 前記マッチング工程は、前記検索条件
が構成する画像特徴量と、前記属性情報を数値化して得
られる画像特徴量毎に所定値以上の一致度を有する画像
データの画像特徴量を事前に抽出する抽出工程を備え、 前記抽出工程で抽出された画像データの画像特徴量と、
前記検索条件が構成する画像特徴量をマッチングするこ
とを特徴とする請求項8に記載の画像検索方法。
13. The image processing apparatus according to claim 1, wherein the matching step includes: determining an image feature amount of the image data having a degree of coincidence equal to or more than a predetermined value for each image feature amount obtained by digitizing the attribute information. An extraction step for extracting in advance, an image feature amount of the image data extracted in the extraction step,
9. The image search method according to claim 8, wherein an image feature amount included in the search condition is matched.
【請求項14】 前記抽出工程で抽出されなかった未抽
出画像データに関しては、該抽出工程で抽出された画像
データの一致度の内、最も低い一致度を前記未抽出画像
データの一致度とすることを特徴とする請求項13に記
載の画像検索方法。
14. Regarding unextracted image data not extracted in the extraction step, the lowest coincidence among the coincidences of the image data extracted in the extraction step is defined as the coincidence of the unextracted image data. 14. The image search method according to claim 13, wherein:
【請求項15】 画像データを管理し、その管理された
画像データから所望の画像データを検索する画像検索の
プログラムコードが格納されたコンピュータ可読メモリ
であって、 画像データとその属性情報及び画像特徴量とを対応づけ
て記憶媒体に管理する管理工程のプログラムコードと、 画像データを検索するための検索条件として前記属性情
報及び画像特徴量、該属性情報及び画像特徴量に対する
着目度を指定する指定工程のプログラムコードと、 前記指定工程で指定された検索条件が構成する属性情報
及び画像特徴量と、前記管理工程で前記記憶媒体に管理
される画像データの対応する属性情報及び画像特徴量と
を、前記着目度に基づいてマッチングするマッチング工
程のプログラムコードと、 前記マッチング工程によるマッチング結果に基づいて、
検索結果とする画像データを出力する出力工程のプログ
ラムコードとを備えることを特徴とするコンピュータ可
読メモリ。
15. A computer-readable memory storing image search program codes for managing image data and retrieving desired image data from the managed image data, comprising: image data, its attribute information, and image characteristics. A program code of a management step of managing the amounts in the storage medium in association with the amount, and designation of designating the attribute information and the image feature amount as search conditions for searching for image data, and a degree of attention to the attribute information and the image feature amount A program code of a step, attribute information and an image feature amount included in the search condition specified in the specifying step, and corresponding attribute information and image feature amount of image data managed in the storage medium in the management step. A program code of a matching step for matching based on the degree of interest; and matching by the matching step. Based on the results,
And a program code of an output step of outputting image data as a search result.
JP10118741A 1998-04-27 1998-04-28 Image retrieving device, its method and computer-readable memory Pending JPH11312171A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10118741A JPH11312171A (en) 1998-04-28 1998-04-28 Image retrieving device, its method and computer-readable memory
US09/298,960 US6567551B2 (en) 1998-04-27 1999-04-26 Image search apparatus and method, and computer readable memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10118741A JPH11312171A (en) 1998-04-28 1998-04-28 Image retrieving device, its method and computer-readable memory

Publications (1)

Publication Number Publication Date
JPH11312171A true JPH11312171A (en) 1999-11-09

Family

ID=14743924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10118741A Pending JPH11312171A (en) 1998-04-27 1998-04-28 Image retrieving device, its method and computer-readable memory

Country Status (1)

Country Link
JP (1) JPH11312171A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055884A (en) * 2000-05-31 2002-02-20 Sony Corp Contents copy management system, its method, information processor, its method, server and storage medium
JP2008242672A (en) * 2007-03-27 2008-10-09 Ntt Comware Corp Web page authenticity confirmation apparatus, web page authenticity confirmation method and program
JP2010250632A (en) * 2009-04-17 2010-11-04 Seiko Epson Corp Image server, image retrieval system, and image retrieval method
US8971638B2 (en) 2010-11-15 2015-03-03 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055884A (en) * 2000-05-31 2002-02-20 Sony Corp Contents copy management system, its method, information processor, its method, server and storage medium
JP4649760B2 (en) * 2000-05-31 2011-03-16 ソニー株式会社 Content / copy management system and method, information processing apparatus and method, and storage medium
JP2008242672A (en) * 2007-03-27 2008-10-09 Ntt Comware Corp Web page authenticity confirmation apparatus, web page authenticity confirmation method and program
JP4675924B2 (en) * 2007-03-27 2011-04-27 エヌ・ティ・ティ・コムウェア株式会社 Web page authenticity confirmation device, web page authenticity confirmation method and program
JP2010250632A (en) * 2009-04-17 2010-11-04 Seiko Epson Corp Image server, image retrieval system, and image retrieval method
US8971638B2 (en) 2010-11-15 2015-03-03 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point
US9519543B2 (en) 2010-11-15 2016-12-13 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point

Similar Documents

Publication Publication Date Title
US7844139B2 (en) Information management apparatus, information management method, and computer program product
JP4011906B2 (en) Profile information search method, program, recording medium, and apparatus
JP4579404B2 (en) Image processing method and apparatus
US20060120627A1 (en) Image search apparatus, image search method, program, and storage medium
JP5665125B2 (en) Image processing method and image processing system
US6567551B2 (en) Image search apparatus and method, and computer readable memory
CN110390044B (en) Method and equipment for searching similar network pages
JP2004240750A (en) Picture retrieval device
JP2004334334A (en) Document retrieval system, document retrieval method, and storage medium
WO2021027149A1 (en) Portrait similarity-based information retrieval recommendation method and device and storage medium
JPH10301943A (en) Image processor and its controlling method
JPH11312171A (en) Image retrieving device, its method and computer-readable memory
US6424963B1 (en) Document retrieval having retrieval conditions that shuffles documents in a sequence of occurrence
CN113946566B (en) Web system fingerprint database construction method and device and electronic equipment
CN109727056B (en) Financial institution recommendation method, device, storage medium and device
CN115796111A (en) File processing method suitable for agf, computer equipment and readable storage medium
JP2001319232A (en) Device and method for retrieving similar image
JP2004240751A (en) Picture retrieval device
JP4128033B2 (en) Profile data retrieval apparatus and program
JP6666312B2 (en) Multidimensional data management system and multidimensional data management method
JPH11306201A (en) Image retrieval device and method and computer readable memory
US20080313221A1 (en) Document processor and computer readable medium
JP2001084271A (en) Information retrieving device, algorithm updating method thereof and computer-readable storage medium
CN113779193B (en) Text quotation method and device and electronic equipment
JP4217410B2 (en) Information retrieval apparatus, control method therefor, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040512

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040512

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060623