JPH09138804A - Picture retrieving device - Google Patents

Picture retrieving device

Info

Publication number
JPH09138804A
JPH09138804A JP7295260A JP29526095A JPH09138804A JP H09138804 A JPH09138804 A JP H09138804A JP 7295260 A JP7295260 A JP 7295260A JP 29526095 A JP29526095 A JP 29526095A JP H09138804 A JPH09138804 A JP H09138804A
Authority
JP
Japan
Prior art keywords
image
search
category
feature extraction
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7295260A
Other languages
Japanese (ja)
Other versions
JP3284168B2 (en
Inventor
Masao Sakauchi
正夫 坂内
洋樹 ▲高▼羽
Hiroki Takahane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP29526095A priority Critical patent/JP3284168B2/en
Publication of JPH09138804A publication Critical patent/JPH09138804A/en
Application granted granted Critical
Publication of JP3284168B2 publication Critical patent/JP3284168B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To automatically obtain a picture data base from picture data scattered on a network. SOLUTION: A picture information input part 1 collect-inputs picture data on the network and its auxiliary information and a feature of a picture extraction part 8 extracts the feature of a picture based on the method stored in a picture feature extracting method describing memory 9. A picture category detection part 11 detects a picture category based on a method stored in a picture category detection method describing memory 12. Thereby, a retrieving value to the feature of the picture, a retrieving value to the picture category and a retrieving value of picture auxiliary information are set to retrieve and to display the result.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、画像検索装置に関
し、より詳細には、ネットワーク上の資源探索などにお
ける画像データベースの画像検索装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image search apparatus, and more particularly, to an image search apparatus for an image database in searching resources on a network.

【0002】[0002]

【従来の技術】従来のネットワーク上の検索装置として
は、例えば、インターネット上のカテゴリ分類サービス
がある。これはタイトルの内容や人手により、各ホーム
ページをカテゴリに分類する。これによりユーザは、所
望の情報のネットワークアドレスを得ることができる。
しかし、画像の内容や特徴をその検索手段として用いて
いるものは現在の所知られていない。画像を検索する装
置としては、データベース作成時に各画像に人手で付与
したキーワードを付与し、これを用いて検索を行なう装
置が知られている。しかし、データベース作成の労力が
膨大であるなどの理由から、画像特徴量などを用いた検
索を行なうものとして、例えばデータベース作成時に数
種の画像特徴量を抽出して指定画像と特徴量が類似して
いる画像の検索を行なう特開平2−48772や、個々
の使用者がサンプル画像に対して、「明るい」などの感
覚データを付与することにより画像特徴量と関連づけ、
個々の感覚による検索を行う特開平5−120353な
どが知られている。
2. Description of the Related Art As a conventional search device on a network, for example, there is a category classification service on the Internet. This classifies each homepage into categories according to the content of the title and human resources. This allows the user to obtain the network address of the desired information.
However, what uses the contents and characteristics of the image as the search means is not known at present. As a device for retrieving an image, a device is known in which a keyword manually given to each image when a database is created is used and a search is performed using this. However, because of the enormous amount of effort required to create a database, for example, when performing a search using image feature amounts, several types of image feature amounts are extracted when the database is created, and the feature amounts are similar to the specified image. Japanese Patent Application Laid-Open No. 2-48772 which searches for an image that is present, or an individual user associates a sample image with sensory data such as "bright" to associate it with an image feature amount,
Japanese Patent Laid-Open No. 5-120353 and the like, which perform a search based on individual senses, are known.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、上記従
来技術においては、ネットワーク上の検索装置として用
いるには下記のような問題点をそれぞれ有している。
However, the above-mentioned prior art has the following problems when used as a search device on a network.

【0004】まず、例えば上記特開平2−48772で
は、データベース作成時に数種の画像特徴量を抽出し、
指定画像と特徴量が類似している画像の検索を行なう。
このため、データベース作成後に、検索使用者側が新た
な尺度で類似検索を行なうことができない、という問題
点を有している。
First, for example, in the above-mentioned Japanese Patent Laid-Open No. 2-48772, several kinds of image feature quantities are extracted when a database is created,
An image having a feature amount similar to that of the designated image is searched.
For this reason, there is a problem that the search user side cannot perform similarity search with a new scale after creating the database.

【0005】また、上記特開平5−120353では、
個々の使用者がサンプル画像に対して、「明るい」など
の感覚データを付与することにより画像特徴量と関連づ
け、個々の感覚による検索を可能としている。このた
め、サンプル画像が適正に選ばれている必要があると共
に、サンプル画像での個々の使用者の感覚データから画
像特徴量への写像が用いられ、使用者の感覚の変化に対
応できない、という問題点を有している。
Further, in the above-mentioned Japanese Patent Laid-Open No. 5-120353,
Individual users add sensory data such as “bright” to the sample image to associate the sample image with the image feature amount, and search by individual sensory is possible. Therefore, it is necessary to properly select the sample image, and the mapping from the individual user's sense data in the sample image to the image feature amount is used, which cannot cope with the change in the user's sense. I have a problem.

【0006】本発明はこのような実情に鑑みてなされた
もので、ネットワーク上に散在した画像より、自動的に
画像データベースを構築し、画像を通じてのネットワー
クへのアクセスを可能にし、画像検索においては、大量
のユーザの多様な価値観に基づいた検索要求に対応し、
更に個々の使用者が検索結果などを考慮して検索システ
ムの拡張を行ない、他の使用者もそれを利用することの
できるネットワーク上の画像データ検索装置を提供する
ことにある。
The present invention has been made in view of the above circumstances, and automatically constructs an image database from images scattered on the network, enables access to the network through the images, and performs image search. Responding to search requests based on diverse values of a large number of users,
Another object of the present invention is to provide an image data search device on a network in which individual users can expand the search system in consideration of search results and other users can use it.

【0007】[0007]

【課題を解決するための手段】本発明は、請求項1によ
れば、ネットワーク上の画像データを検索する装置にお
いて、ネットワーク上の画像データおよびそれに付随す
る補助情報を収集する画像情報入力手段と、前記画像デ
ータを記憶する画像データ記憶手段と、前記画像補助情
報を記憶する画像補助情報記憶手段と、前記画像データ
記憶手段に記憶された画像データより画像の特徴を抽出
する画像特徴抽出手段と、前記画像特徴抽出手段により
得られた画像特徴を記憶する画像特徴記憶手段と、前記
画像特徴記憶手段に記憶された画像の特徴より画像カテ
ゴリを得る画像カテゴリ獲得手段と、該画像カテゴリ獲
得手段により得られた画像カテゴリを記憶する画像カテ
ゴリ記憶手段と、該画像カテゴリ記憶手段により記憶さ
れた画像カテゴリを読み出す画像カテゴリ読出手段と、
前記画像特徴に対する検索値を設定する検索画像特徴設
定手段と、前記画像カテゴリに対する検索値を設定する
検索画像カテゴリ設定手段と、前記画像補助情報に対す
る検索値を設定する検索画像補助情報設定手段と、前記
設定された画像特徴に対する検索値、または前記画像カ
テゴリに対する検索値、または前記画像補助情報に対す
る検索値に基づいて検索を行なう検索手段と、前記検索
手段による検索結果を表示する表示手段とを備えること
を特徴とする画像検索装置である。
According to a first aspect of the present invention, in an apparatus for retrieving image data on a network, an image information input means for collecting the image data on the network and auxiliary information accompanying the image data. Image data storage means for storing the image data, image auxiliary information storage means for storing the image auxiliary information, and image feature extraction means for extracting image features from the image data stored in the image data storage means. An image feature storing means for storing the image features obtained by the image feature extracting means, an image category obtaining means for obtaining an image category from the image features stored in the image feature storing means, and the image category obtaining means. Image category storage means for storing the obtained image category, and image category stored by the image category storage means And the image category reading means for reading,
Search image feature setting means for setting a search value for the image feature, search image category setting means for setting a search value for the image category, search image auxiliary information setting means for setting a search value for the image auxiliary information, Search means for performing a search based on the search value for the set image feature, the search value for the image category, or the search value for the image auxiliary information, and display means for displaying the search result by the search means. This is an image search device characterized by the above.

【0008】このように構成すれば、画像情報入力手段
によってネットワーク上の画像データおよびそれに付随
する補助情報を収集し、画像特徴抽出手段により画像デ
ータより画像特徴が得られ、画像カテゴリ検出手段によ
り、画像特徴より画像カテゴリが得られる。これによ
り、ネットワーク上に散在する画像データから自動的に
画像データベースを構築できる。さらに、検索値設定手
段により、画像特徴、画像カテゴリおよび画像補助情報
に対する検索範囲を設定し、検索手段により、設定され
た検索値に対して検索を行ない、表示手段により検索結
果をユーザに表示することができ、ユーザは所望の画像
データを得ることができる。
According to this structure, the image information inputting means collects the image data on the network and the auxiliary information associated therewith, the image feature extracting means obtains the image features from the image data, and the image category detecting means allows the image features to be obtained. The image category is obtained from the image features. Thereby, an image database can be automatically constructed from image data scattered on the network. Further, the search value setting means sets a search range for the image feature, the image category and the image auxiliary information, the search means performs a search for the set search value, and the display means displays the search result to the user. The user can obtain desired image data.

【0009】また、請求項2によれば、本発明の画像検
索装置に、各画像カテゴリの検索方法を複数記憶する画
像カテゴリ検索方法記憶手段を設け、該記憶された検索
方法にもとづいて複数の画像データを検索できる。
According to a second aspect, the image retrieval apparatus of the present invention is provided with image category retrieval method storage means for storing a plurality of retrieval methods for each image category, and a plurality of image category retrieval method storage means are stored based on the stored retrieval methods. You can search image data.

【0010】このように構成すると、画像カテゴリの検
索方法を記憶し、記憶された各画像カテゴリの検索方法
の読み出しを行なうことができ、複数の画像カテゴリ検
索方法を、追加登録または変更を行ないながら用いるこ
とができる。
According to this structure, the image category search method can be stored and the stored image category search method can be read out, and a plurality of image category search methods can be added or changed. Can be used.

【0011】また、請求項3によれば、本発明の画像検
索装置に、画像カテゴリの検索方法を登録する画像カテ
ゴリ検索方法登録手段を設け、任意に画像カテゴリの検
索方法を登録できる。
According to the third aspect, the image retrieval apparatus of the present invention is provided with the image category retrieval method registration means for registering the image category retrieval method, and the image category retrieval method can be arbitrarily registered.

【0012】このように構成すれば、ユーザが画像カテ
ゴリ検索方法を登録することができる。
According to this structure, the user can register the image category search method.

【0013】また、請求項4によれば、本発明の画像検
索装置に、使用された検索方法を登録する使用済検索方
法登録手段と、該使用済検索方法登録手段に登録された
使用済みの検索方法を読み出す使用済検索方法読出手段
を設ける。
According to a fourth aspect of the present invention, the used search method registration means for registering the used search method and the used search method registered in the used search method registration means are registered in the image search device of the present invention. A used search method reading means for reading the search method is provided.

【0014】このように構成すれば、使用された検索方
法が登録され、使用検索方法記憶手段により、登録され
た検索方法を記憶し、検索方法読出手段により、記憶さ
れた検索方法を読み出すことができ、検索方法の履歴を
参照することができる。
According to this structure, the used search method is registered, the used search method storage means stores the registered search method, and the search method read means can read the stored search method. It is possible to refer to the history of search methods.

【0015】また、請求項5によれば、本発明の画像検
索装置に、検索方法に画像カテゴリ名を登録する画像カ
テゴリ名登録手段と、該画像カテゴリ名登録手段により
得られた画像カテゴリとその検索方法を登録する画像カ
テゴリ検索方法登録手段を設ける。
According to a fifth aspect of the present invention, in the image search device of the present invention, an image category name registration means for registering an image category name in the search method, an image category obtained by the image category name registration means and its An image category search method registration means for registering a search method is provided.

【0016】このように構成すれば、検索方法に画像カ
テゴリ名を登録し、画像カテゴリ名と検索方法が登録さ
れるため、結果が望ましい検索方法を画像カテゴリとし
て新規登録できる。
According to this structure, the image category name is registered in the search method, and the image category name and the search method are registered. Therefore, a search method with a desired result can be newly registered as an image category.

【0017】また、請求項6によれば、本発明の画像検
索装置に、各画像特徴の画像特徴抽出方法を記憶する画
像特徴抽出方法記憶手段と、画像特徴抽出方法記憶手段
より各画像特徴抽出方法の読み出しを行なう画像特徴抽
出方読出手段を設ける。
According to a sixth aspect of the present invention, the image retrieving apparatus of the present invention includes an image feature extraction method storage means for storing an image feature extraction method for each image feature, and each image feature extraction from the image feature extraction method storage means. An image feature extraction method reading means for reading the method is provided.

【0018】このように構成すれば、各画像特徴の画像
特徴抽出方法を記憶し、各画像特徴抽出方法の読み出し
を行なうことができ、複数の画像特徴抽出方法を、追加
登録または変更を行ないながら、用いることがができ
る。
According to this structure, the image feature extraction method for each image feature can be stored and each image feature extraction method can be read out, and a plurality of image feature extraction methods can be added or changed. , Can be used.

【0019】また、請求項7によれば、本発明の画像検
索装置に、画像特徴の抽出方法を登録する画像特徴抽出
方法登録手段を備え、任意に画像カテゴリの抽出方法を
登録できる。
According to the seventh aspect, the image retrieval apparatus of the present invention is provided with the image feature extraction method registration means for registering the image feature extraction method, and the image category extraction method can be arbitrarily registered.

【0020】このように構成すれば、ユーザが画像特徴
の抽出方法を登録することができる。 また、請求項8
によれば、本発明の画像検索装置に、検索された画像デ
ータを画像情報と関連づける画像情報リンク手段を備
え、検索された画像データに対応する画像情報を前記表
示手段に表示する。
According to this structure, the user can register the image feature extraction method. Claim 8
According to this, the image search device of the present invention is provided with the image information link means for associating the searched image data with the image information, and the image information corresponding to the searched image data is displayed on the display means.

【0021】このように構成すれば、検索された画像デ
ータを画像情報と関連づけ、画像情報を表示することが
でき、画像を検索すると同時に付随する画像情報を得る
ことができる。
According to this structure, it is possible to display the image information by associating the retrieved image data with the image information, and it is possible to retrieve the image and obtain the accompanying image information at the same time.

【0022】更に、請求項9によれば、本発明の画像検
索装置に、検索された画像データと各画像データとの類
似度計測手段と、該類似度計測手段により得られた類似
度より類似検索を行なう類似検索手段を設ける。
Further, according to claim 9, the image retrieving apparatus of the present invention is similar to the similarity measuring means between the retrieved image data and each image data, and the similarity is higher than the similarity obtained by the similarity measuring means. A similar search means for searching is provided.

【0023】このように構成すれば、検索された画像デ
ータと各画像データとの類似度が得られ、類似の画像が
得られる。
According to this structure, the degree of similarity between the retrieved image data and each image data can be obtained, and similar images can be obtained.

【0024】[0024]

【発明の実施の形態】以下図面に示す実施の形態にもと
づいて本発明を詳述する。なお本発明はこれによって限
定されるものではない。
BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described in detail below based on the embodiments shown in the drawings. The present invention is not limited to this.

【0025】図1は本発明によるネットワーク上の画像
データ検索装置の一実施形態を説明するためのブロック
構成図である。1は画像情報入力部であり、2のネット
ワークアドレスを記憶したネットワークアドレスメモリ
を読みだし、3のデータ転送部によりネットワーク上の
画像データおよびその補助情報の収集入力を行なう。4
は画像データベース構築部であり、検索用の画像データ
ベースを構築する。5は画像補助情報メモリであり、入
力された画像補助情報を記憶する。6は画像データメモ
リであり、入力された画像データを記憶する。8は画像
特徴抽出部であり、9の画像特徴抽出方法記述メモリに
記憶された方法に基づき、画像特徴を抽出する。7は画
像特徴量メモリであり、画像特徴抽出部8で抽出された
画像特徴を記憶する。11は画像カテゴリ検出部であ
り、12の画像カテゴリ検出方法記述メモリに記憶され
た方法に基づき、画像カテゴリを検出する。10は画像
カテゴリメモリであり、画像カテゴリ検出部で検出され
た画像カテゴリを記憶する。13はインデックスメモリ
であり、各画像情報の5、6、7および10のメモリに
おけるアドレスを記憶する。
FIG. 1 is a block diagram for explaining an embodiment of an image data search device on a network according to the present invention. An image information input unit 1 reads a network address memory storing a network address 2 and a data transfer unit 3 collects and inputs image data and auxiliary information thereof on the network. 4
Is an image database construction unit, which constructs an image database for retrieval. An image auxiliary information memory 5 stores the input image auxiliary information. An image data memory 6 stores the input image data. An image feature extraction unit 8 extracts image features based on the method stored in the image feature extraction method description memory 9. An image feature amount memory 7 stores the image features extracted by the image feature extraction unit 8. An image category detection unit 11 detects an image category based on the method stored in the image category detection method description memory 12. An image category memory 10 stores the image category detected by the image category detecting unit. Reference numeral 13 denotes an index memory, which stores the addresses of 5, 6, 7 and 10 of each image information in the memory.

【0026】14は画像検索部であり、画像データの検
索を行なう。15は適合画像検索部であり、後述する検
索範囲に適合する画像データをデータベースより抽出す
る。16は適合画像メモリであり、適合画像検索部15
で抽出された画像データを記憶する。17は使用検索方
法記述メモリであり、使用された検索方法および検索値
を記憶する。18は画像特徴検索設定部であり、画像特
徴の検索範囲を設定する。19は画像カテゴリ検索設定
部であり、画像カテゴリの検索範囲を設定する。20は
画像補助情報検索設定部であり、画像補助情報の検索範
囲を設定する。21は類似画像検索設定部であり、与え
られた画像に対する類似検索範囲を設定する。22は画
像情報リンク部であり、適合画像メモリ16内の各画像
の画像情報をデータベースより抽出する。
An image retrieval unit 14 retrieves image data. Reference numeral 15 denotes a matching image search unit that extracts image data matching a search range, which will be described later, from the database. Reference numeral 16 is a matching image memory, which is a matching image searching unit 15
The image data extracted by is stored. Reference numeral 17 is a used search method description memory, which stores the used search method and search value. An image feature search setting unit 18 sets a search range of image features. An image category search setting unit 19 sets a search range of image categories. An image auxiliary information search setting unit 20 sets a search range of the image auxiliary information. A similar image search setting unit 21 sets a similar search range for a given image. An image information link unit 22 extracts image information of each image in the compatible image memory 16 from the database.

【0027】23はユーザインターフェース部であり、
検索の入出力や種々の登録を行なう。24〜28はユー
ザ入力部である。ユーザ入力部24は画像カテゴリ検出
方法の登録入力を行なう。ユーザ入力部25は画像特徴
検索の入力を行なう。ユーザ入力部26は画像カテゴリ
検索の入力を行なう。ユーザ入力部27は画像補助情報
検索の入力を行なう。ユーザ入力部28は画像特徴抽出
方法の登録入力を行なう。29は画像表示部であり、適
合画像メモリ16内の各画像を表示する。30は画像選
択部であり、画像表示部29より画像を選択する。32
は処理選択部であり、画像選択部30で選択した画像に
対する処理を選択する。画像情報表示部29は、画像選
択部30で選択した画像に対して、画像情報リンク部2
2で得られた画像情報を表示する。
Reference numeral 23 is a user interface section,
Input / output of searches and various registrations. 24-28 are user input parts. The user input unit 24 inputs registration of the image category detection method. The user input unit 25 inputs an image feature search. The user input unit 26 inputs an image category search. The user input unit 27 inputs an image auxiliary information search. The user input unit 28 performs registration input of the image feature extraction method. An image display unit 29 displays each image in the compatible image memory 16. An image selection unit 30 selects an image from the image display unit 29. 32
Is a process selection unit, and selects a process for the image selected by the image selection unit 30. The image information display unit 29 displays the image information link unit 2 for the image selected by the image selection unit 30.
The image information obtained in 2 is displayed.

【0028】33は分類方法登録部であり、画像データ
の分類方法の登録を行なう。34は画像特徴抽出方法登
録部であり、画像特徴抽出方法記述メモリ9に画像特徴
抽出方法の登録を行なう。35は画像カテゴリ検出方法
登録部であり、画像カテゴリ検出方法記述メモリ12に
画像カテゴリ検出方法の登録を行なう。
A classification method registration unit 33 registers a classification method of image data. An image feature extraction method registration unit 34 registers the image feature extraction method in the image feature extraction method description memory 9. An image category detection method registration unit 35 registers the image category detection method in the image category detection method description memory 12.

【0029】ここで、ネットワーク上の画像データ収集
方法の一例として、インターネット上の World
Wide Web の説明を行う。World Wid
eWeb においてはHTML(Hyper Text
Markup Language)と呼ばれる言語で
記述されたハイパーテキスト(以下、HTMLファイ
ル)により文書表現を行うと共に、図11のようにUR
N(Universal Resouce Locat
or)と呼ばれるネットワークアドレスに位置する他の
HTMLファイルや画像データとのリンクを形成してい
る。また、URLを指定する事によりそこに位置するデ
ータを転送する機能がhttp(Hyper Text
Transfer Protocol)によって提供
されている。各データとURLとの対応表を作成し、こ
れに基づきhttpにより転送を行えば、データを収集
する事ができる。対応表は、手作業や既存のURLの取
得を行う探索プログラムなどを用いて得られる。
Here, as an example of the image data collection method on the network, the World on the Internet is used.
Wide Web will be explained. World Wid
In eWeb, HTML (Hyper Text)
A hypertext (hereinafter referred to as an HTML file) described in a language called Markup Language is used for document expression, and as shown in FIG.
N (Universal Resource Locat
or), which forms a link with another HTML file or image data located at a network address. In addition, the function to transfer the data located there by specifying the URL is http (Hyper Text).
Provided by the Transfer Protocol). Data can be collected by creating a correspondence table of each data and URL and transferring by http based on this. The correspondence table can be obtained by using a search program or the like for performing manual work or acquisition of an existing URL.

【0030】以下、各ステップに従い本発明の実施形態
を説明する。
An embodiment of the present invention will be described below according to each step.

【0031】図2は画像情報入力部1の各処理を説明す
るためのフローチャートである。ステップ(以下、単に
「s」という)201〜207はネットワーク上から画
像情報を収集する処理である。
FIG. 2 is a flow chart for explaining each process of the image information input section 1. Steps (hereinafter, simply referred to as “s”) 201 to 207 are processes for collecting image information from the network.

【0032】まず、各画像データimage[i]
{i:1,...,N}の画像番号iとその画像のネッ
トワークアドレスadd1[i]およびadd1[i]
が記載されたHTMLファイルのネットワークアドレス
add[2]の、図12のような対応表をネットワーク
アドレスメモリ2にあらかじめ記憶しておく(s20
1)。次に、i=1に初期化した後(s202)、デー
タ転送部2において、httpによるadd1[i]か
ら本装置への画像データの転送を行い(s203)、画
像データを画像データメモリ4に(s204)保存す
る。
First, each image data image [i]
{I: 1 ,. . . , N} image number i and the network addresses add1 [i] and add1 [i] of the image.
The correspondence table as shown in FIG. 12 of the network address add [2] of the HTML file in which is written is previously stored in the network address memory 2 (s20
1). Next, after initialization to i = 1 (s202), the data transfer unit 2 transfers image data from add1 [i] to this apparatus by http (s203) and stores the image data in the image data memory 4. (S204) Save.

【0033】次にデータ転送部2において、httpに
よるadd2[i]からのHTMLファイルの本装置へ
の転送を行い(s205)、画像補助情報を画像補助情
報メモリ3に(s206)追加保存する。画像データメ
モリ4に記憶される画像データとは、縦方向と横方向の
画素数と赤(R)緑(G)青(B)の各要素が8ビット
(0〜255までの256階調)のディジタルデータ表
現されたフルカラー画像であり、画像補助情報とは、画
像データのURL、およびそれが記載されたHTMLフ
ァイルのURLと、HTMLファイルに記述されたタイ
トルであり、図13中に示されるように格納される。
Next, the data transfer unit 2 transfers the HTML file from add2 [i] by http to this apparatus (s205), and additionally stores the image auxiliary information in the image auxiliary information memory 3 (s206). The image data stored in the image data memory 4 is the number of pixels in the vertical and horizontal directions and each element of red (R) green (G) blue (B) is 8 bits (256 gradations from 0 to 255). 13 is a full-color image represented by digital data, and the image auxiliary information is the URL of the image data, the URL of the HTML file in which it is described, and the title described in the HTML file, and is shown in FIG. Is stored as

【0034】画像番号iをNと比較し(s207)、異
なればiを1増加し画像情報入力を継続(s208)、
等しければ画像情報入力を終了し、画像特徴抽出へ移行
する。 図3は画像データベース構築部4の各処理を説
明するためのフローチャートである。s331〜309
は画像データより画像特徴を抽出する処理である。
Image number i is compared with N (s207), and if different, i is incremented by 1 and image information input is continued (s208),
If they are equal, the image information input is terminated and the process proceeds to image feature extraction. FIG. 3 is a flowchart for explaining each process of the image database construction unit 4. s331-309
Is a process for extracting image features from image data.

【0035】まず、画像特徴抽出部8において、i=1
に初期化した後(s301)、image[i]を画像
データメモリ6より読み込む(s302)。次に、j=
1に初期化した後(s303)、画像特徴抽出方法を記
述したプログラムF[j]{j=1,...,m}を画
像特徴抽出方法記述メモリ6より読み込み(s30
4)、それを実行することによりimage[i]より
特徴を抽出した後、画像特徴量メモリ7に追加保存する
(s305)。
First, in the image feature extraction unit 8, i = 1
After initialization (s301), image [i] is read from the image data memory 6 (s302). Then j =
After initializing to 1 (s303), the program F [j] {j = 1 ,. . . , M} from the image feature extraction method description memory 6 (s30
4) Then, the feature is extracted from the image [i] by executing it, and then additionally stored in the image feature amount memory 7 (s305).

【0036】この画像特徴抽出方法記述メモリ6に格納
された画像特徴抽出方法を記述したプログラムF[j]
{j=1,...,m}とは、例えば、図15のような
面積抽出、縦横比抽出、彩度抽出、明度抽出、エッジ抽
出および代表色の算出を行う各プログラムである。画像
面積および画像縦横比は画像データメモリ6より横方向
と縦方向の画素数を読み込み、その積と商を算出する。
彩度抽出、明度抽出およびエッジ抽出は、画像データメ
モリ6より全画素のRGB値を読み込み、全画素での彩
度、明度およびエッジ画素数の平均として0.0〜1.
0の範囲の値を算出する。代表色抽出は、全画素のRG
B値を読み込み、色に関するヒストグラムを作成し、最
頻度の色とその頻度を算出する。この時、頻度は全画素
数を1とした0.0〜1.0の範囲の値して算出する。
例えば、図13のように、横方向64画素、縦方向32
画素の画像データより得られた画像特徴量(例として面
積2048、縦横比2.0、彩度0.8、明度0.4、
エッジ0.3、代表色red、およびその占有率0.6
等)を画像特徴メモリ7に保存する。
A program F [j] describing the image feature extraction method stored in the image feature extraction method description memory 6
{J = 1 ,. . . , M} are programs for performing area extraction, aspect ratio extraction, saturation extraction, brightness extraction, edge extraction, and representative color calculation as shown in FIG. 15, for example. For the image area and the image aspect ratio, the number of pixels in the horizontal and vertical directions is read from the image data memory 6 and the product and quotient thereof are calculated.
The saturation extraction, the brightness extraction, and the edge extraction read the RGB values of all the pixels from the image data memory 6, and calculate the average of the saturation, the brightness, and the number of edge pixels of all the pixels from 0.0 to 1.
A value in the range of 0 is calculated. Representative color extraction is RG of all pixels
The B value is read, a histogram relating to color is created, and the most frequent color and its frequency are calculated. At this time, the frequency is calculated as a value in the range of 0.0 to 1.0 where the total number of pixels is 1.
For example, as shown in FIG. 13, 64 pixels in the horizontal direction and 32 pixels in the vertical direction.
Image feature values obtained from image data of pixels (for example, area 2048, aspect ratio 2.0, saturation 0.8, brightness 0.4,
Edge 0.3, representative color red, and its occupation ratio 0.6
Etc.) are stored in the image feature memory 7.

【0037】画像特徴量を画像特徴量メモリ7に保存
後、画像特徴抽出方法番号jをmと比較し(s30
6)、異なればjを1増加しimage[i]の画像特
徴抽出を継続し(s307)、等しければimage
[i]の画像特徴抽出を終了し、画像番号iとNとの比
較を行なう(s308)。異なればiを1増加し次の画
像に対して画像特徴抽出を行ない(s309)、等しけ
れば画像特徴抽出を終了し、画像カテゴリ検出に移行す
る。
After the image feature amount is stored in the image feature amount memory 7, the image feature extraction method number j is compared with m (s30
6) If different, j is incremented by 1 and image feature extraction of image [i] is continued (s307). If they are equal, image is extracted.
The image feature extraction of [i] is completed, and the image numbers i and N are compared (s308). If different, i is incremented by 1 and the image feature extraction is performed on the next image (s309). If they are equal, the image feature extraction is terminated and the process moves to image category detection.

【0038】図4は画像カテゴリ検出部11の各処理を
説明するためのフローチャートである。s401〜40
9は画像特徴より画像カテゴリを検出する処理である。
FIG. 4 is a flow chart for explaining each process of the image category detecting section 11. s401-40
Reference numeral 9 is a process for detecting an image category from the image feature.

【0039】画像カテゴリ検出部11において、i=1
に初期化した後(s401)、image[i]の画像
特徴を画像特徴メモリ7より読み込む(s402)。次
に、j=1に初期化した後(s403)、画像カテゴリ
検出方法C[j]{j=1,...,n}を画像カテゴ
リ検出方法記述メモリ12より読み込み(s404)、
image[i]の特徴量より画像カテゴリ、例えばC
G、写真、アイコンなどの意味的なラベリング等を検出
した後、画像カテゴリメモリ10に追加保存する(s4
05)。
In the image category detection unit 11, i = 1
After initialization (s401), the image feature of image [i] is read from the image feature memory 7 (s402). Next, after initializing to j = 1 (s403), the image category detecting method C [j] {j = 1 ,. . . , N} is read from the image category detection method description memory 12 (s404),
From the image [i] feature quantity, an image category such as C
After detecting the semantic labeling of G, photos, icons, etc., it is additionally stored in the image category memory 10 (s4
05).

【0040】このカテゴリ検出方法記述メモリ12に格
納された画像カテゴリ検出方法C[j]{j=
1,...,n}とは、各カテゴリと対応した各画像特
徴量の値域と、対象となる画像の特徴量がその値域に存
在するかどうかを判定するプログラムである。例えば、
図13の画像特徴量メモリの特徴量に対しては、各カテ
ゴリ毎に図14の対応表で示される各画像特徴量の値域
との比較を行ない、CGとアイコンがカテゴリとして得
られ、図13のように画像カテゴリメモリに格納され
る。
Image category detection method C [j] {j = stored in the category detection method description memory 12
1,. . . , N} is a program that determines the value range of each image feature amount corresponding to each category and whether or not the feature amount of the target image exists in the value range. For example,
For the feature amount of the image feature amount memory of FIG. 13, a comparison is made with the range of each image feature amount shown in the correspondence table of FIG. 14 for each category, and CG and an icon are obtained as a category, and FIG. Is stored in the image category memory as follows.

【0041】また、以上の処理で得られる各画像の画像
データ、特徴量、カテゴリおよび補助情報の各メモリ上
へ記憶する際には、そのアドレスを図13のように、イ
ンデックスメモリに格納し、後述する検索や表示などの
処理を行なう際に使用する。
Further, when storing the image data of each image obtained by the above processing, the feature amount, the category and the auxiliary information in each memory, the address is stored in the index memory as shown in FIG. It is used when processing such as search and display described later.

【0042】画像カテゴリを画像カテゴリメモリ10に
保存後、画像カテゴリ検出方法番号jをnと比較し(s
406)、異なればjを1増加しimage[i]の画
像カテゴリ検出を継続し(s407)、等しければim
age[i]の画像カテゴリ検出を終了し、画像番号i
とNと比較を行なう(s408)。異なればiを1増加
し次の画像に対して画像カテゴリ検出を行ない(s40
9)、等しければ画像カテゴリ抽出を終了し、画像デー
タベース構築を終了する(s410)。
After the image category is stored in the image category memory 10, the image category detection method number j is compared with n (s
406), if different, j is incremented by 1 and image category detection of image [i] is continued (s407), and if equal, im
The image category detection of age [i] is completed, and the image number i
And N are compared (s408). If different, i is incremented by 1 and the image category is detected for the next image (s40
9), if they are equal, the image category extraction is ended, and the image database construction is ended (s410).

【0043】図5は画像検索部14の処理動作を説明す
るためのフローチャートで、s501〜s507は各デー
タに対する検索範囲を設定する処理である。
FIG. 5 is a flow chart for explaining the processing operation of the image retrieving section 14, and s501 to s507 are the processing for setting the retrieval range for each data.

【0044】まず、ユーザ入力部25において、画像特
徴検索を行なうかどうかを選択する(s501)。画像
特徴検索を行なう場合は、画像特徴検索設定部15にお
いて検索する特徴量の値域を設定する(s502)。次
に、ユーザ入力部26において、画像カテゴリ検索を行
なうかどうかを選択する(s503)。画像カテゴリ検
索を行なう場合は、画像カテゴリ検索設定部19におい
て検索するカテゴリの種類を設定する(s504)。次
に、ユーザ入力部27において、画像補助情報検索を行
なうかどうかを選択する(s505)。画像補助情報検
索を行なう場合は、画像補助情報検索設定部20におい
て検索要求を設定する(s506)。それぞれの検索の
決定順序は検索方法に影響を与えるものでなく、上記は
一例である。検索方法およびその検索内容を使用検索方
法記述メモリ17に追加保存し(s507)、検索処理
に移行する。
First, the user input unit 25 selects whether or not to perform image feature search (s501). When performing the image feature search, the image feature search setting unit 15 sets the range of the feature amount to be searched (s502). Next, in the user input unit 26, it is selected whether or not the image category search is performed (s503). When performing an image category search, the category of the category to be searched is set in the image category search setting unit 19 (s504). Next, the user input unit 27 selects whether or not to perform image auxiliary information search (s505). When performing the image auxiliary information search, the image auxiliary information search setting unit 20 sets a search request (s506). The determination order of each search does not affect the search method, and the above is an example. The search method and its search contents are additionally stored in the used search method description memory 17 (s507), and the process proceeds to the search process.

【0045】図6は適合画像検索部15の処理動作を説
明するためのフローチャートで、s601〜s609は各
データに対する検索処理である。
FIG. 6 is a flow chart for explaining the processing operation of the matching image search unit 15, and s601 to s609 are search processing for each data.

【0046】適合画像検索部15において、まずi=1
に初期化した後(s601)、画像image[i]の
画像カテゴリを画像カテゴリメモリ10より読み込み
(s602)、画像特徴を画像特徴メモリ7より読み込
み(s603)、画像補助情報を画像補助情報メモリを
10より読み込む(s604)。読み込まれたデータが
検索条件に適合するかどうかを判定し(s605)、適
合する場合は、画像データimage[i]を画像デー
タメモリ6より読み込み、適合画像メモリ16に追加保
存する(s606)。なお、s602〜604の読み込
み処理では、s501〜s506で設定されていない項目
については省略できる。次に、画像番号iとNと比較を
行ない(s607)、異なればiを1増加し次の画像に
対して検索を行ない(s608)、等しければ検索を終
了し、適合画像メモリ1内の適合画像を画像表示部29
に表示する(s609)。
In the matching image retrieval unit 15, first, i = 1
After initialization (s601), the image category of the image image [i] is read from the image category memory 10 (s602), the image feature is read from the image feature memory 7 (s603), and the image auxiliary information is loaded into the image auxiliary information memory. It is read from 10 (s604). It is determined whether the read data matches the search condition (s605). If the read data matches, the image data image [i] is read from the image data memory 6 and additionally stored in the matched image memory 16 (s606). In the reading process of s602 to 604, items not set in s501 to s506 can be omitted. Next, the image numbers i and N are compared (s607). If they are different, i is incremented by 1 and the next image is searched (s608). If they are equal, the search is terminated and the matching image in the matching image memory 1 is matched. The image is displayed on the image display unit 29.
Is displayed on the screen (s609).

【0047】図7は、画像選択部30の処理動作を説明
するためのフローチャートで、s701〜702は検索
適合画像表示、s703は画像選択、s704は類似検索
選択、s705〜707は画像情報表示、s708は処理
継続選択の処理である。
FIG. 7 is a flow chart for explaining the processing operation of the image selecting section 30, where s701 and 702 are search matching image displays, s703 is image selection, s704 is similarity search selection, and s705 to 707 are image information displays. Step s708 is a process continuation selection process.

【0048】まず、適合画像メモリ内のM個の適合画像
image[i]{i=1,...,M}を読出し(s
701)、画像表示部29に表示する(s702)。
First, M matching images image [i] {i = 1 ,. . . , M} is read (s
701), and the image is displayed on the image display unit 29 (s702).

【0049】次に、画像選択部30において、表示され
ているM個の画像から画像image[t]を選択す
る。この選択方法としては、例えば、適合度による判定
やユーザの任意選択などによる。次に処理選択部32に
おいて、image[t]に対する処理選択を行なう。
類似画像検索を選択すれば(s704)、類似画像検索
設定部18へ移行する。画像情報表示を選択すれば(s
705)、画像情報リンク部22においてインデックス
メモリ13のアドレスよりimage[t]の画像情報
を読みだし(s706)、画像情報表示部28に図18
のように表示する(s707)。選択処理を継続するな
らばs703に戻り、終了するならば検索結果に対する
処理を終了する(s708)。
Next, the image selecting section 30 selects the image image [t] from the displayed M images. The selection method may be, for example, determination based on the degree of conformity or arbitrary selection by the user. Next, the process selection unit 32 selects a process for the image [t].
If similar image search is selected (s704), the process moves to the similar image search setting unit 18. If you select the image information display (s
705), the image information link unit 22 reads the image information of the image [t] from the address of the index memory 13 (s706), and the image information display unit 28 displays the image information.
Is displayed (s707). If the selection process is continued, the process returns to s703, and if finished, the process for the search result is finished (s708).

【0050】次に、図8のフローチャートにもとづき類
似画像検索部21の各処理を説明する。
Next, each processing of the similar image searching section 21 will be described based on the flowchart of FIG.

【0051】まず、類似度計測方法とその値域を設定す
る(s801)。次に、適合画像情報メモリを初期化し
(s802)、i=1に初期化した後(s803)、i
mage[i]の類似度計測に関する画像情報を読み込
む(s804)。検索条件に適合するかどうかを判定し
(s805)、適合する場合はimage[i]の画像
情報を適合画像情報メモリへ保存する(s806)。次
に、画像番号iとNと比較を行ない(s807)、異な
ればiを1増加し次の画像に対して検索を行ない(s8
08)、等しければ検索を終了し、画像表示部29に表
示する(s809)。
First, the similarity measuring method and its range are set (s801). Next, the compatible image information memory is initialized (s802), and after initialization to i = 1 (s803), i
Image information relating to the similarity measurement of the image [i] is read (s804). It is determined whether or not the search conditions are met (s805), and if they match, the image information of the image [i] is stored in the compatible image information memory (s806). Next, the image numbers i and N are compared (s807). If they are different, i is incremented by 1 and the next image is searched (s8).
08), if they are equal, the search is ended and the image is displayed on the image display unit 29 (s809).

【0052】ユーザインターフェース部23は、例えば
図17のようなGUI(Graphical User
Interface)によるメニュー画面により、各
検索方法をアイコンとして表示させ、その値域とあわせ
て選択入力することにより、使用者の操作性の向上を図
ることも可能である。図17では四角でかこまれた項目
が選択されていることを示しており、彩度0.2〜0.
5、明度100〜400の値域による画像特徴検索とア
イコンカテゴリによるカテゴリ検索が選択されている。
この検索内容が図16のように検索方法記述メモリに格
納される。また、図18は画像表示部29、画像選択部
30および画像情報表示部31を、GUIによるメニュ
ー画面で表示した一例である。図18では、画面の上半
分に表示された4画像より右端の画像を選択し、画面の
下半分に選択画像の情報を表示した例である。
The user interface section 23 has a GUI (Graphical User) as shown in FIG.
It is also possible to improve the operability of the user by displaying each search method as an icon on the menu screen by the interface) and selecting and inputting it together with the value range. FIG. 17 shows that an item surrounded by a square is selected, and the saturation is 0.2 to 0.
5. Image feature search by the range of lightness 100 to 400 and category search by the icon category are selected.
This search content is stored in the search method description memory as shown in FIG. FIG. 18 is an example in which the image display unit 29, the image selection unit 30, and the image information display unit 31 are displayed on a GUI menu screen. FIG. 18 shows an example in which the rightmost image is selected from the four images displayed in the upper half of the screen and the information of the selected image is displayed in the lower half of the screen.

【0053】また、図19は画像表示部29、画像選択
部30および類似画像検索設定部21を、GUIによる
メニュー画面で表示した一例である。図18では、画面
の上半分に表示された4画像より右端の画像を選択し、
画面の下半分に類似画像の検索内容設定を表示した例で
ある。
FIG. 19 shows an example in which the image display unit 29, the image selection unit 30, and the similar image search setting unit 21 are displayed on the menu screen by the GUI. In FIG. 18, the rightmost image is selected from the four images displayed in the upper half of the screen,
It is an example in which search content settings for similar images are displayed in the lower half of the screen.

【0054】図9は画像カテゴリ検出方法登録部35の
処理動作を説明するためのフローチャートである。
FIG. 9 is a flow chart for explaining the processing operation of the image category detection method registration section 35.

【0055】まず、使用検索方法記述メモリ14より使
用した検索方法を読み込み(s901)、登録する検索
方法を選択する(s902)。この検索方法の選択とし
ては、例えば、ユーザの任意選択の他にも検索結果の適
合度判定などがあげられる。ユーザ入力部24におい
て、選択した検索方法に画像カテゴリ名を付与し(s9
03)。画像カテゴリ名と検索方法を画像カテゴリ検出
方法登録部35において、画像カテゴリ検出方法記述メ
モリ9に登録する(s904)。他の検索方法を登録す
る場合はs903に戻り、登録しない場合は登録作業を
終了する。例えば、図19においては、使用検索方法記
述メモリ14より、検索番号1番に記憶されている検索
内容を表示し、カテゴリ名icon−jimi1をユー
ザが入力した例である。入力後、登録ボタンを押すこと
により、画像カテゴリ検出方法記述メモリに、カテゴリ
名とその検索内容が記憶される。
First, the used search method is read from the used search method description memory 14 (s901), and the search method to be registered is selected (s902). Examples of the selection of the search method include, for example, determination of suitability of search results in addition to the user's arbitrary selection. In the user input unit 24, an image category name is given to the selected search method (s9
03). The image category detection method registration unit 35 registers the image category name and the search method in the image category detection method description memory 9 (s904). If another search method is to be registered, the procedure returns to s903, and if not registered, the registration operation is terminated. For example, in FIG. 19, the search content stored in the search number 1 is displayed from the usage search method description memory 14, and the user inputs the category name icon-jimi1. After inputting, by pressing the register button, the category name and its search content are stored in the image category detection method description memory.

【0056】図10は、画像特徴抽出方法登録部34の
処理動作を説明するためのフローチャートである。
FIG. 10 is a flow chart for explaining the processing operation of the image feature extraction method registration unit 34.

【0057】画像特徴抽出方法記述メモリ6に存在する
方法を組み合わせるか、もしくは新規に作成した、例え
ば画像からのテクスチャの抽出方法を記述したプログラ
ムをあらかじめ用意する(s1001)。
The method existing in the image feature extraction method description memory 6 is combined or a newly created program, for example, describing a method for extracting a texture from an image is prepared in advance (s1001).

【0058】次に図20のようなユーザ入力部28にお
いて、プログラムのネットワークアドレスと画像特徴量
名を入力し(s1002)、画像特徴抽出方法登録部3
4において、httpによるプログラムの本装置への転
送を行ない、図15のような画像特徴抽出方法記述メモ
リ6に登録する(s1003)。他の抽出方法を登録す
る場合はs1001に戻り、登録しない場合は登録作業
を終了する。
Next, in the user input unit 28 as shown in FIG. 20, the network address of the program and the image feature amount name are input (s1002), and the image feature extraction method registration unit 3 is entered.
In step 4, the program is transferred to this apparatus by http and registered in the image feature extraction method description memory 6 as shown in FIG. 15 (s1003). If another extraction method is to be registered, the process returns to step s1001, and if not registered, the registration operation ends.

【0059】[0059]

【発明の効果】本発明によれば、ネットワーク上の画像
データおよびそれに付随する補助情報を収集し、画像デ
ータより画像特徴を、画像特徴より画像カテゴリが得ら
れる。これにより、ネットワーク上の散在する画像デー
タから、膨大な時間と人手をかけずに、自動的に画像デ
ータベースが得られる。さらに、画像特徴、画像カテゴ
リおよび画像補助情報に対する検索値を設定し、検索を
行ない、検索結果を表示することにより、ユーザは所望
の画像データを得ることができる。
According to the present invention, image data on a network and auxiliary information accompanying it are collected, and an image feature can be obtained from the image data and an image category can be obtained from the image feature. This makes it possible to automatically obtain an image database from scattered image data on the network without enormous time and labor. Furthermore, the user can obtain desired image data by setting the search value for the image feature, the image category, and the image auxiliary information, performing the search, and displaying the search result.

【0060】また、画像カテゴリの検出方法を記憶し、
読み出しを行なうことにより、複数の画像カテゴリ検出
方法を、追加登録または変更を行ないながら、用いるこ
とがができ、柔軟な装置の拡張を行なうことができる。
Further, a method of detecting the image category is stored,
By reading out, it is possible to use a plurality of image category detecting methods while additionally registering or changing, and it is possible to flexibly expand the apparatus.

【0061】また、ユーザが画像カテゴリ検出方法を登
録することができる。これにより、個々のユーザが、そ
れぞれに使いやすい検索装置として拡張することができ
る。また、使用された検索方法を登録、記憶、読み出す
ことにより、検索方法の履歴を参照することができ、ユ
ーザの入力作業を軽減することができる。
Further, the user can register the image category detecting method. As a result, each user can be expanded as a search device that is easy to use. Further, by registering, storing, and reading the used search method, the history of the search method can be referred to, and the input work of the user can be reduced.

【0062】また、検索方法に画像カテゴリー名を付与
し、画像カテゴリ名と検索方法が登録される。これによ
り、望ましい結果を示した検索方法を画像カテゴリとし
て新規登録でき、検索装置の性能を向上することができ
る。
An image category name is added to the search method, and the image category name and the search method are registered. As a result, a search method showing a desired result can be newly registered as an image category, and the performance of the search device can be improved.

【0063】また、各画像特徴の画像特徴抽出方法を記
憶し、読み出しを行なうことにより、複数の画像特徴抽
出方法を、追加登録または変更を行ないながら、用いる
ことがができ、柔軟な装置の拡張を行なうことができ
る。
Further, by storing and reading out the image feature extraction method of each image feature, a plurality of image feature extraction methods can be used while performing additional registration or change, and a flexible expansion of the apparatus is possible. Can be done.

【0064】また、画像特徴の抽出方法を登録すること
ができる。これにより、個々のユーザが、それぞれに使
いやすい検索装置として拡張することができる。
Further, the image feature extraction method can be registered. As a result, each user can be expanded as a search device that is easy to use.

【0065】また、検索された画像データを画像情報と
関連づけ、画像情報を表示することにより、画像を検索
すると同時に付随する画像情報が得られる。これによ
り、ユーザは画像を通じて、ネットワーク上のアドレス
やタイトル名などが得られる。更に、検索された画像デ
ータと各画像データとの類似度が得られ、類似検索手段
により、類似の画像が得られる。これにより、ユーザの
直観に近い検索ができる。
By associating the retrieved image data with the image information and displaying the image information, it is possible to retrieve the image and simultaneously obtain the associated image information. As a result, the user can obtain the address on the network, the title name, etc. through the image. Further, the similarity between the searched image data and each image data is obtained, and the similar image is obtained by the similarity search means. As a result, a search similar to the intuition of the user can be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の画像検索装置の一実施形態を説明する
ブロック構成図である。
FIG. 1 is a block diagram illustrating an embodiment of an image search device according to the present invention.

【図2】本発明の画像情報入力部1の処理動作を説明す
るフローチャートである。
FIG. 2 is a flowchart illustrating a processing operation of the image information input unit 1 of the present invention.

【図3】本発明の画像データベース構築部4の処理動作
を説明するフローチャートである。
FIG. 3 is a flowchart illustrating a processing operation of an image database construction unit 4 of the present invention.

【図4】本発明の画像カテゴリ検出部11の処理動作を
説明するフローチャートである。
FIG. 4 is a flowchart illustrating a processing operation of the image category detection unit 11 of the present invention.

【図5】本発明の画像検索部14の処理動作を説明する
フローチャートである。
FIG. 5 is a flowchart illustrating a processing operation of the image search unit 14 of the present invention.

【図6】本発明の適合画像検索部15の処理動作を説明
するフローチャートである。
FIG. 6 is a flowchart illustrating a processing operation of a matching image search unit 15 of the present invention.

【図7】本発明の画像選択部30の処理動作を説明する
フローチャートである。
FIG. 7 is a flowchart illustrating a processing operation of the image selection unit 30 of the present invention.

【図8】本発明の類似画像検索部21の処理動作を説明
するフローチャートである。
FIG. 8 is a flowchart illustrating a processing operation of a similar image search unit 21 of the present invention.

【図9】本発明の画像カテゴリ検出方法登録部35の処
理動作を説明するフローチャートである。
FIG. 9 is a flowchart illustrating a processing operation of an image category detection method registration unit 35 of the present invention.

【図10】本発明の画像抽出方法登録部34の処理動作
を説明するフローチャートである。
FIG. 10 is a flowchart illustrating a processing operation of an image extraction method registration unit 34 of the present invention.

【図11】World Wide Web を例とした
ネットワーク環境を説明した図である。
FIG. 11 is a diagram illustrating a network environment using World Wide Web as an example.

【図12】本発明の画像情報入力部1のネットワークア
ドレスメモリ2に記憶される内容を説明した図であ
る。。
FIG. 12 is a diagram illustrating contents stored in a network address memory 2 of the image information input unit 1 of the present invention. .

【図13】本発明の画像データベース構築部4で得られ
るインデックスメモリ13とそれに関連する各メモリに
記憶される内容を説明した図である。
FIG. 13 is a diagram illustrating the contents stored in the index memory 13 obtained by the image database construction unit 4 of the present invention and each memory associated therewith.

【図14】本発明の画像カテゴリとその検出に用いられ
る画像特徴量との対応関係を説明した図である。
FIG. 14 is a diagram illustrating a correspondence relationship between an image category of the present invention and an image feature amount used for detecting the image category.

【図15】本発明の画像特徴抽出方法記述メモリ9に保
持される内容を説明する図である。
FIG. 15 is a diagram for explaining the contents held in the image feature extraction method description memory 9 of the present invention.

【図16】本発明の使用検索方法記述メモリ17に記憶
される内容を説明するための図である。
FIG. 16 is a diagram for explaining the contents stored in the usage search method description memory 17 of the present invention.

【図17】本発明の検索設定画面の一例の図である。FIG. 17 is a diagram showing an example of a search setting screen of the present invention.

【図18】本発明の検索結果表示画面および補助情報表
示画面の一例の図である。
FIG. 18 is a diagram showing an example of a search result display screen and an auxiliary information display screen of the present invention.

【図19】本発明の検索結果表示画面および類似画像検
索設定画面の一例の図である。
FIG. 19 is a diagram showing an example of a search result display screen and a similar image search setting screen of the present invention.

【図20】本発明の画像カテゴリ登録画面の一例の図で
ある。
FIG. 20 is a diagram showing an example of an image category registration screen of the present invention.

【図21】本発明の画像特徴抽出方法登録画面の一例の
図である。
FIG. 21 is a diagram showing an example of an image feature extraction method registration screen of the present invention.

【符号の説明】[Explanation of symbols]

1 画像情報入力部 2 ネットワークアドレスメモリ 4 画像データベース構築部 9 画像特徴抽出方法記述メモリ 11 画像カテゴリ検出部 13 インデックスメモリ 14 画像検索部 15 適合画像検索部 17 使用検索方法記述メモリ 21 類似画像検索部 23 ユーザーインターフェイス部 30 画像選択部 33 分類方法登録部 34 画像抽出方法登録部 35 画像カテゴリ検出方法登録部 1 image information input unit 2 network address memory 4 image database construction unit 9 image feature extraction method description memory 11 image category detection unit 13 index memory 14 image search unit 15 matching image search unit 17 usage search method description memory 21 similar image search unit 23 User interface unit 30 Image selection unit 33 Classification method registration unit 34 Image extraction method registration unit 35 Image category detection method registration unit

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 ネットワーク上の画像データを検索する
装置において、 ネットワーク上の画像データおよびそれに付随する補助
情報を収集する画像情報入力手段と、 前記画像データを記憶する画像データ記憶手段と、 前記画像補助情報を記憶する画像補助情報記憶手段と、 前記画像データ記憶手段に記憶された画像データより画
像の特徴を抽出する画像特徴抽出手段と、 前記画像特徴抽出手段により得られた画像特徴を記憶す
る画像特徴記憶手段と、 前記画像特徴記憶手段に記憶
された画像の特徴より画像カテゴリを得る画像カテゴリ
獲得手段と、 該画像カテゴリ獲得手段により得られた画像カテゴリを
記憶する画像カテゴリ記憶手段と、 該画像カテゴリ記憶手段により記憶された画像カテゴリ
を読み出す画像カテゴリ読出手段と、 前記画像特徴に対する検索値を設定する検索画像特徴設
定手段と、 前記画像カテゴリに対する検索値を設定する検索画像カ
テゴリ設定手段と、 前記画像補助情報に対する検索値を設定する検索画像補
助情報設定手段と、 前記設定された画像特徴に対する検索値、または前記画
像カテゴリに対する検索値、または前記画像補助情報に
対する検索値に基づいて検索を行なう検索手段と、 前記検索手段による検索結果を表示する表示手段とを備
えることを特徴とする画像検索装置。
1. An apparatus for retrieving image data on a network, image information input means for collecting image data on the network and auxiliary information accompanying the image data, image data storage means for storing the image data, and the image. Image auxiliary information storage means for storing auxiliary information, image feature extraction means for extracting image features from the image data stored in the image data storage means, and image feature obtained by the image feature extraction means Image feature storage means, image category acquisition means for obtaining an image category from the image features stored in the image feature storage means, image category storage means for storing the image category obtained by the image category acquisition means, Image category reading means for reading the image category stored by the image category storing means; Search image feature setting means for setting search values for image features; search image category setting means for setting search values for the image categories; search image auxiliary information setting means for setting search values for the image auxiliary information; A search means for performing a search based on a search value for the set image feature, a search value for the image category, or a search value for the image auxiliary information; and a display means for displaying a search result by the search means. An image retrieval device characterized by.
【請求項2】 各画像カテゴリの検索方法を複数記憶す
る画像カテゴリ検索方法記憶手段を備え、該記憶された
検索方法にもとづいて複数の画像データを検索すること
を特徴とする請求項1記載の画像検索装置。
2. The image category search method storage means for storing a plurality of search methods for each image category, wherein a plurality of image data are searched based on the stored search method. Image retrieval device.
【請求項3】 画像カテゴリの検索方法を登録する画像
カテゴリ検索方法登録手段を備え、任意に画像カテゴリ
の検索方法を登録できることを特徴とする請求項1およ
び請求項2記載の画像検索装置。
3. The image search device according to claim 1, further comprising image category search method registration means for registering an image category search method, wherein the image category search method can be arbitrarily registered.
【請求項4】 使用された検索方法を登録する使用済検
索方法登録手段と、該使用済検索方法登録手段に登録さ
れた使用済みの検索方法を読み出す使用済検索方法読出
手段とを備えることを特徴とする請求項1記載の画像検
索装置。
4. A used search method registration means for registering a used search method, and a used search method reading means for reading out a used search method registered in the used search method registration means. The image search device according to claim 1, wherein
【請求項5】 検索方法に画像カテゴリ名を登録する画
像カテゴリ名登録手段と、該画像カテゴリ名登録手段に
より得られた画像カテゴリとその検索方法を登録する画
像カテゴリ検索方法登録手段とを備えることを特徴とす
る請求項1、3および4記載の画像検索装置。
5. An image category name registration means for registering an image category name in the search method, and an image category search method registration means for registering the image category obtained by the image category name registration means and the search method therefor. The image retrieval device according to claim 1, 3 or 4, characterized in that.
【請求項6】 各画像特徴の画像特徴抽出方法を記憶す
る画像特徴抽出方法記憶手段と、画像特徴抽出方法記憶
手段より各画像特徴抽出方法の読み出しを行なう画像特
徴抽出方読出手段とを備えることを特徴とする請求項1
記載の画像検索装置。
6. An image feature extraction method storage means for storing an image feature extraction method for each image feature, and an image feature extraction method reading means for reading out each image feature extraction method from the image feature extraction method storage means. Claim 1 characterized by the above-mentioned.
The image search device according to the above.
【請求項7】 画像特徴の抽出方法を登録する画像特徴
抽出方法登録手段を備え、任意に画像カテゴリの抽出方
法を登録できることを特徴とする請求項1および6記載
の画像検索装置。
7. The image search apparatus according to claim 1, further comprising image feature extraction method registration means for registering an image feature extraction method, wherein the image category extraction method can be arbitrarily registered.
【請求項8】 検索された画像データを画像情報と関連
づける画像情報リンク手段を備え、検索された画像デー
タに対応する画像情報を前記表示手段に表示することを
特徴とする請求項1記載の画像検索装置。
8. The image according to claim 1, further comprising image information linking means for associating the retrieved image data with the image information, and displaying image information corresponding to the retrieved image data on the display means. Search device.
【請求項9】 検索された画像データと各画像データと
の類似度計測手段と、該類似度計測手段により得られた
類似度より類似検索を行なう類似検索手段とを備えるこ
とを特徴とする請求項1、5および7記載の画像検索装
置。
9. The apparatus according to claim 1, further comprising a similarity measurer for the searched image data and each image data, and a similarity searcher for performing similarity search based on the similarity obtained by the similarity measurer. The image search device according to items 1, 5 and 7.
JP29526095A 1995-11-14 1995-11-14 Image retrieval device Expired - Fee Related JP3284168B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29526095A JP3284168B2 (en) 1995-11-14 1995-11-14 Image retrieval device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29526095A JP3284168B2 (en) 1995-11-14 1995-11-14 Image retrieval device

Publications (2)

Publication Number Publication Date
JPH09138804A true JPH09138804A (en) 1997-05-27
JP3284168B2 JP3284168B2 (en) 2002-05-20

Family

ID=17818294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29526095A Expired - Fee Related JP3284168B2 (en) 1995-11-14 1995-11-14 Image retrieval device

Country Status (1)

Country Link
JP (1) JP3284168B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123047A (en) * 1998-10-19 2000-04-28 Nec Corp Method and device for allocating keyword to media object
JP2000207405A (en) * 1999-01-12 2000-07-28 Dainippon Screen Mfg Co Ltd Method for classifying plural images, classifying device and recording medium
JP2003500712A (en) * 1999-05-17 2003-01-07 サムスン エレクトロニクス カンパニー リミテッド Color image processing method
JP2003522346A (en) * 1998-11-30 2003-07-22 ヘンリー シー ユーエン Video and graphics search engine
US6907141B1 (en) 2000-03-14 2005-06-14 Fuji Xerox Co., Ltd. Image data sorting device and image data sorting method
JP2007096379A (en) * 2005-09-27 2007-04-12 Casio Comput Co Ltd Imaging apparatus, image recording and retrieving apparatus and program
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
JP2009134735A (en) * 1999-01-27 2009-06-18 Ricoh Co Ltd Image classification device, and computer-readable recording medium recording program for making computer function as image classification device
US7769775B2 (en) 1998-11-30 2010-08-03 Gemstar Development Corp. Search engine for video and graphics with access authorization
US9125169B2 (en) 2011-12-23 2015-09-01 Rovi Guides, Inc. Methods and systems for performing actions based on location-based rules
US9161087B2 (en) 2000-09-29 2015-10-13 Rovi Technologies Corporation User controlled multi-device media-on-demand system
US9294799B2 (en) 2000-10-11 2016-03-22 Rovi Guides, Inc. Systems and methods for providing storage of data on servers in an on-demand media delivery system
US9326016B2 (en) 2007-07-11 2016-04-26 Rovi Guides, Inc. Systems and methods for mirroring and transcoding media content
US9681105B2 (en) 2005-12-29 2017-06-13 Rovi Guides, Inc. Interactive media guidance system having multiple devices
WO2020179537A1 (en) * 2019-03-06 2020-09-10 日本電信電話株式会社 Labeling support method, labeling support device, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03292570A (en) * 1990-04-11 1991-12-24 Hitachi Medical Corp Medical image control system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03292570A (en) * 1990-04-11 1991-12-24 Hitachi Medical Corp Medical image control system

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123047A (en) * 1998-10-19 2000-04-28 Nec Corp Method and device for allocating keyword to media object
US7987175B2 (en) 1998-11-30 2011-07-26 Gemstar Development Corporation Search engine for video and graphics
US9311405B2 (en) 1998-11-30 2016-04-12 Rovi Guides, Inc. Search engine for video and graphics
JP2003522346A (en) * 1998-11-30 2003-07-22 ヘンリー シー ユーエン Video and graphics search engine
US8341137B2 (en) 1998-11-30 2012-12-25 Gemstar Development Corporation Search engine for video and graphics
US8341136B2 (en) 1998-11-30 2012-12-25 Gemstar Development Corporation Search engine for video and graphics
US7987174B2 (en) 1998-11-30 2011-07-26 Gemstar Development Corporation Search engine for video and graphics
US7769775B2 (en) 1998-11-30 2010-08-03 Gemstar Development Corp. Search engine for video and graphics with access authorization
US7822760B2 (en) 1998-11-30 2010-10-26 Gemstar Development Corp. Search engine for video and graphics
JP2000207405A (en) * 1999-01-12 2000-07-28 Dainippon Screen Mfg Co Ltd Method for classifying plural images, classifying device and recording medium
JP2009134735A (en) * 1999-01-27 2009-06-18 Ricoh Co Ltd Image classification device, and computer-readable recording medium recording program for making computer function as image classification device
US7245762B2 (en) 1999-05-17 2007-07-17 Samsung Electronics Co., Ltd. Color image processing method
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
JP2003500712A (en) * 1999-05-17 2003-01-07 サムスン エレクトロニクス カンパニー リミテッド Color image processing method
US6907141B1 (en) 2000-03-14 2005-06-14 Fuji Xerox Co., Ltd. Image data sorting device and image data sorting method
US9161087B2 (en) 2000-09-29 2015-10-13 Rovi Technologies Corporation User controlled multi-device media-on-demand system
US9307291B2 (en) 2000-09-29 2016-04-05 Rovi Technologies Corporation User controlled multi-device media-on-demand system
US9497508B2 (en) 2000-09-29 2016-11-15 Rovi Technologies Corporation User controlled multi-device media-on-demand system
US9462317B2 (en) 2000-10-11 2016-10-04 Rovi Guides, Inc. Systems and methods for providing storage of data on servers in an on-demand media delivery system
US9294799B2 (en) 2000-10-11 2016-03-22 Rovi Guides, Inc. Systems and methods for providing storage of data on servers in an on-demand media delivery system
JP2007096379A (en) * 2005-09-27 2007-04-12 Casio Comput Co Ltd Imaging apparatus, image recording and retrieving apparatus and program
JP4706415B2 (en) * 2005-09-27 2011-06-22 カシオ計算機株式会社 Imaging apparatus, image recording apparatus, and program
US9681105B2 (en) 2005-12-29 2017-06-13 Rovi Guides, Inc. Interactive media guidance system having multiple devices
US9326016B2 (en) 2007-07-11 2016-04-26 Rovi Guides, Inc. Systems and methods for mirroring and transcoding media content
US9125169B2 (en) 2011-12-23 2015-09-01 Rovi Guides, Inc. Methods and systems for performing actions based on location-based rules
WO2020179537A1 (en) * 2019-03-06 2020-09-10 日本電信電話株式会社 Labeling support method, labeling support device, and program
JP2020144612A (en) * 2019-03-06 2020-09-10 日本電信電話株式会社 Labeling support method, labeling support device, and program
US11967135B2 (en) 2019-03-06 2024-04-23 Nippon Telegraph And Telephone Corporation Labeling support method, labeling support apparatus and program

Also Published As

Publication number Publication date
JP3284168B2 (en) 2002-05-20

Similar Documents

Publication Publication Date Title
JP4363792B2 (en) Information retrieval system and method
US6665836B1 (en) Method for managing information on an information net
US20060112142A1 (en) Document retrieval method and apparatus using image contents
JP3284168B2 (en) Image retrieval device
US7734622B1 (en) Media-driven browsing
US8892594B1 (en) System and method for search with the aid of images associated with product categories
JP3586549B2 (en) Image search method and apparatus
US20080215548A1 (en) Information search method and system
WO2001075640A2 (en) Method and system for gathering, organizing, and displaying information from data searches
US20030236778A1 (en) Drawing search support apparatus and drawing search method
JP2008217695A (en) Image processor, image processing method, program, and recording medium
KR20000023961A (en) Information modeling method and database search system
CN111159431A (en) Knowledge graph-based information visualization method, device, equipment and storage medium
JP2009009461A (en) Keyword inputting-supporting system, content-retrieving system, content-registering system, content retrieving and registering system, methods thereof, and program
JP2006146628A5 (en)
JP2001306604A (en) Method and system for personally adaptive type information guidance and recording medium with recorded personally adaptive type information guiding program
JP3339937B2 (en) Database search device
US6961724B1 (en) Method and apparatus for image retrieval
JPH06251081A (en) Hypermedia processor
JP2011060155A (en) Display terminal device, and program for the same
JP3985826B2 (en) Image search method and apparatus
JP2002132825A (en) System, method, and program for image retrieval, computer-readable storage medium with recorded image retrieving program, and image retrieving device
JP2000099534A (en) Information registration and retrieval system, information retrieval server, information storage and retrieval server, information registration terminal equipment and recording medium
JPH10228488A (en) Information retrieval collecting method and its system
JP4331882B2 (en) Element image extraction device for search, search reference image input device, and recording medium recording program

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080301

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090301

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090301

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100301

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees