JPH01233669A - 画像検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、画像を記憶するシステム、例えば画像データ
ベース等の画像検索に関するものである。

従来の技術 近年、文字、数値などのコード情報だけを管理していた
データベースに、図形や画像データも統合的に管理しよ
うとする要望が高まっている。図形や画像データは文字
や数値と違い２次元データであるため、従来とは違った
検索手法が必要となる。特に画像を用いた画像検索とい
うものが、画像認識技術の分野で研究が進められている
。しかし、現在のところ画像認識技術を用いた画像検索
手法は確立されていない。従来の技術として、画像認識
技術を用いたものではないがユーザーインターフェース
の部分で、画像を用いて画像を検索しているように見え
るものがある。これは、表示された画像内の２次元領域
を管理し、その２次元領域に対して画像を検索するため
のキーワードなどの検索情報と操作内容（検索操作）を
対応付け、画像内の２次元領域を指示することにより、
対応付けた検索情報を用いた検索操作を実行するもので
ある、第６図（ａ）に従来の技術を用いて実現した画像
検索装置の構成を示す。構成は、画像を記憶する記憶部
１、記憶部１に記憶した画像を検索するための検索情報
を管理し、その検索情報をもとに記憶部１に記憶した画
像を検索する検索部２、検索部２を用いて記憶部１から
検索した画像を表示する表示部３、画像内の２次元領域
を管理する２次元領域管理部４、表示部３で表示した画
像内を指示する指示部５、指示部５で指示した位置を包
含する２次元領域を検索部２で管理する検索情報に変換
する領域／検索情報変換部６、検索装置全体を制御する
制御部９からなる。次に第６図（ａ）の構成を用いて実
現する画像検索の様子を第６図（ｂ）を参照しながら説
明する。表示部３に車の絵を持った画像が表示されてい
る。破線で示す２次元領域を２次元領域管理部４で管理
する。但し、この２次元領域は通常、透明なもので使用
者には識別出来ない。次に使用者が破線で示す領域内を
、指示部５（例えば、マウス等のポインティングデバイ
ス）を用いて指示する（第６図（ｂ）では、今で示す）
と、指示した位置を包含する２次元領域を、領域／検索
情報変換部４を用いて、検索情報（キーワード“セダン
”）に変換し、その検索情報をもとに検索部２により検
索を行い、記憶部１に記憶した画像を検索し、表示部３
に表示する。従って、使用者からは車の絵の画像を用い
て、別の画像（同じ車種の車の画像）が検索できたよう
に見える。

発明が解決しようとする課題 上記従来の技術では、以下に述べるような問題が生じる
。第６図（ｃ）では、２つの領Ｆａｌと領域２が設定さ
れており、領域２は領域１に包含されている。したがっ
て、２つの領域が重なり合っている領域を、この第６図
（Ｃ）のように指示部２で指示した場合、どちらの領域
（領域１もしくは領域２）に対する指示なのかを確定す
る必要がある。従来の技術では、設定した領域が重なり
合う場合は、後から領域設定を行ったものが優先される
。この場合、領域２が後から設定されているため、領域
２に対しての変換が行われ、キーワード”タイヤＮｏ−
７２２２２″を用いて検索が行われ、同じタイヤ番号の
タイヤを持つ車の絵を持った画像が表示される。このよ
うに、第６図（ｂ）と第６図（ｃ）とを比べると同じ位
置を指示したにも関わらず、指示した位置に複数の領域
が設定されている場合、予め設定した領域の優先順位に
従って検索指示を判断し、同じ車種の車の絵の画像を検
索したいにも関わらず、同じタイヤ番号のタイヤを持つ
車の絵画像を検索する。このように、従来の技術では適
宜、使用者の所望する画像検索を行うことが難しい。本
発明はかかる点に鑑みてなされたもので、適宜使用者の
所望する画像検索指示ができる画像検索装置を提供する
ことを目的としている。

課題を解決するための手段 画像を記憶する記憶手段と、前記記憶手段に記憶した画
像を検索するためのキーワード等の検索情報を管理する
検索情報管理手段と、前記検索情報管理手段で管理する
検索情報を用いて前記記憶手段に記憶した画像を検索す
る検索手段と、前記検索手段で検索した画像を表示する
表示手段と、前記画像内の２次元領域を管理する２次元
情報管理手段と、前記表示手段に表示した画像内の位置
を指示する指示手段と、前記指示手段によＦ）指示した
位置を包含する前記２次元領域を、前記検索情報管理手
段で管理する検索情報に変換する変換手段と、前記変換
手段で変換した検索情報を用いて前記検索手段による検
索を行う画像検索装置において、前記検索情報管理手段
で管理する検索情報にキーワード属性等の属性情報を付
随させて管理する属性情報管理手段と、前記属性情報管
理手段で管理する属性情報群から少なくとも１つの属性
情報を使用者に選択させる選択手段を有し、前記選択手
段で選択した属性情報を用いて前記変換手段による変換
を行なう構成になっている。

作用 本発明は上記した構成により、使用者が複数の領域が重
なり合って設定されている位置を指示した場合、設定さ
れている２次元領域に対応する検索情報が持つ属性情報
を提示し、提示した属性情報群の中から、使用者が目的
とする検索指示に関係する属性情報を選択することで、
指示した複数の２次元領域から選択した属性情報を持つ
検索情報に対応する２次元領域だけを検索情報に変換し
、変換した検索情報を用いた検索を行なうこ七ができる
。これにより、使用者が適宜、目的きする検索指示を行
なうことができる。

実施例 第１図は、本発明の画像検索装置の一実施例を示すブロ
ック図である。

第１図において、ｌは画像を画像データファイルとして
記憶する記憶部、２は記憶部１に記憶した画像データフ
ァイルを検索する時に用いる検索情報（キーワード）を
管理し、その検索情報を用いて画像データファイルの検
索を行う検索部、３は検索部２により検索した画像デー
タファイルの画像を表示する表示部、４は表示部３に表
示した画像の２次元領域を管理する２次元領域管理部、
５は表示部２に表示した画像内を指示する指示部で、今
回はポインティングデバイスとしてマウスを用いる。６
は２次元領域管理部４で管理する２次元領域を検索部２
で管理する検索情報に変換する領域／検索情報変換部、
７は検索部２で管理する検索情報に属性情報を付随させ
て管理する属性情報管理部、８は属性情報管理部７で管
理される属性情報（キーワード属性）を使用者に選択さ
せる属性情報選択部、９は本装置全体の制御を行う制御
部である。今回述べる実施例では、検索Ｒ２，２次元領
域管理部４、領域／検索情報変換部６、属性情報管理部
７を実現するためにＲＤＢ（ＩＩレーショナルデータベ
ース）を用いた。

第２図は、ＲＤＢのレコード内容である。今回は自動車
の絵を持った画像を検索する場合を考える。１番目のレ
コードは、画像の検索情報として画像Ｎ　ｏ　ｓ車名、
価格、タイヤＮＯ、ドアＮＯを管理するレコードで、検
索部２に相当する。

２番目のレコードは、画像内の２次元領域情報（ＳＸ、
　ＳＹ、　ＡＸ　、　ΔＹ　）と、その２次元領域を変
換するキーワード、処理名（検索処理）と、キーワード
属性を管理するレコードで、それぞれ２次元領域管理部
４、領域／検索情報変換部６、属性情報管理部７に相当
する。３番目のレコードは、検索する画像のデータファ
イル名、画像サイズを管理するレコードある。

第３図は、第１図、第２図で述べた構成で画像検索を行
う過程を述べる。第３図（ａ）は、表示部３に画像Ｎｏ
３２が表示されている図である。

第３図（ａ）の破線で示すように、画像Ｎｏ３２には検
索指示を行う４つの領域が設定されている。

この時の画像Ｎｏ３２の２次元領域管理部４に於ける領
域管理テーブルを、第３図（ｂ）に示す。

第３図（Ｃ）では指示部５のマウスを用いて表示部３に
表示した画像Ｎｏ３２の表示画像内を指示する。指示さ
れたマウスの位置は座標値（Ｘ。

Ｙ）＝　（２０，８０）であり、第３図（ｃ）に示すよ
うに、指示した位置には、３つの２次元領域が設定され
ている。第３図（ｄ）の領域管理テーブルから指示した
位置が、領域Ｎｏｔから領域Ｎｏ３に含まれることがわ
かる。また、領域Ｎｏ４は含まれないため、領域管理テ
ーブルの領域Ｎ。

４をマスクする（第３図（ｄ）では消し線で示す。この
ため、使用者が指示した検索がこの３つの領域の内どれ
に相当するかを確定する必要がある。

第３図（ｅ）では、各領域を変換するキーワードのキー
ワード属性を使用者に提示し、属性情報選択部８を用い
て選択する。ここで示す例きしては、参照したキーワー
ド属性を、表示部３にウィンドウ形式で表示し、指示部
４のマウスを用いて選択する方法を示す。この場合は、
′タイヤ″という属性情報の項目を選択する。第３図Ｃ
ｒ）　では選択した属性情報を用いて、第３図（ｂ）で
示した領域管理テーブルを変更する。

すなわち、第３図（ｆ）に示すようにキーワード属性が
”タイヤ”以外である領域はマスクする（第３図（ｆ）
では消し線で示す）。　この結果第３図（ｇ）で、第３
図（ｃ）で指示した位置に対する領域が確定され、その
領域をキーワード“Ｎｏ−７２２２２”に変換する。こ
の結果をもとに、第３図（ｈ）では検索条件：タイヤＮ
。

＝Ｔ２２２２．：ｔ、て、第２図の第１番目のレコード
を用いて、タイヤＮｏ＝７２２２２に該当する画像Ｎｏ
の検索処理を行う。

第３図（ｉ＞では検索結果を示している。タイヤＮｏ＝
Ｔ２２２２に該当する画像の画像Ｎｏ。

車名、価格、タイヤＮｏ、ドアＮｏを表形式で示してい
る。第３図Ｕ）では第３図（ｉ）で検索した画像群のう
ちｖＭ像Ｎｏ８を表示する過程を示す。検索結果で得ら
れた画像Ｎｏ８の情報を用いて、第２図で示した３＃目
のレコードで、画像Ｎａｇに対応する画像データファイ
ルを検索する。この例では、画像Ｎｏ８に対しては画像
データファイルＩＭ８．Ｄが対応している。

この画像データファイルＩＭ８．Ｄ、！：、画像表示す
イズ縦２００Ｘ横１５０の情報を用いて、記憶部１に記
憶している画像を表示部３に表示する。第３図（ｋ）で
は表示した画像Ｎｏ８０２次元頭域次元音域情報図で示
した２＃目のレコードで管理する情報から、画像Ｎｏ、
８に該当する情報を検索し、画像Ｎｏ８の領域管理テー
ブルを作成する。

第４図は、他の実施例を実現するＲＤＢのレコード内容
である。この実施例では使用者が指示した位置には、１
つの２次元領域だけが設定されている場合であるが、２
次元領域に対応する検索情報が複数存在する場合を考え
る。１番目のレコードは、先の実施例と同様に画像の検
索情報として、画像Ｎｏ、価格、本型、車色を管理する
レコードで、検索部４に相当する。２番目のレコードは
、表示画像の２次元領域情報（ＳＸ、ＳＹ、　ΔＸ、Ａ
Ｙ）を管理ｔルＬ’：）−ドで、２次元領域管理部４に
相当する。３番目のレコードは、キーワードにキーワー
ド属性を付随させて管理し、２次元領域情報をキーワー
ドに変換するレコードで、属性情報管理部７と領域／検
索情報変換部６に相当する。４番目のレコードは先の実
施例と同様に画像データファイル名、画像サイズを管理
するレコードである第５図（ａ）は表示部３に画像Ｎ０
３０の画像が表示される様子を示す。

第５図（ａ）の破線で示すように、画像Ｎｏ３０の画像
には１つの２次元領域が設定されている、この時の画像
Ｎ０３０の２次元領域管理部４における領域管理テーブ
ルは、第５図（ｂ）に示す内容である。第５図（ｃ）で
は指示部５のマウスを用いて、表示部３に表示した画像
Ｎｏ３０の表示画像内を指示する。指示したマウスの位
置は、座標値（Ｘ、Ｙ）＝　（２０，８０）であり、第
５図（ｄ）に示した画像Ｎ０３０の領域管理テーブルの
領域１内に含まれるため、使用者が指示した位置に対し
て領域１が確定する。

第５図（ｅ）では、画像Ｎ０３０の領域１を索引情報の
キーワードに変換する領域／検索情報変換部６の内容を
示す。第５図（ｅ）を見ると分かるように、画像Ｎ０３
０の領域１に対して３つのキーワードが対応しているた
め、画像Ｎ。

３０の領域１を変換するキーワードを１つ確定する必要
がある。このため、属性情報管理部７が管理するキーワ
ード属性を表示部３に提示し、属性情報選択部８を用い
て使用者に属性情報を選択させる。ここで示す例として
は先の実施例と同様に、表示部３に管理する属性情報を
ウィンドウ形式で表示し、指示部４のマウスを用いて選
択する方法を示す。この場合は、”本型”というキーワ
ード属性を選択する。第５図Ｃｒ）では、キーワード属
性が”卓型″以外のキーワードをマスクする（第５図（
ｆ＞では消し線で示す）。この結果、第５図（ｇ）では
画像Ｎ。

３０の領域１に対して変換するキーワードが１つ確定す
る。したがって、画像Ｎｏ３０の領域１が、キーワード
”セダン′に変換される。第５図（ｈ）では、検索条件
二車型；”セダン１として、第４図の第１番目のレコー
ドを用いて、卓型＝″セダン”に該当する画像Ｎｏの検
索を行う、第５図（ｉ）では、第５図（ｈ）で行った検
索処理の検索結果を示す。第５図（ｉ）を見ると分かる
ように、本型＝”セダン”に該当する画像の画像Ｎｏ、
車名、価格、車色を表形式で表示している。

第５図（ｊ）では、検索した画像群のうち画像Ｎｏ２０
を表示する過程を示す。検索結果で得られた画像ＮＯ２
Ｏの画像データファイル名を第４図の４番のレコードを
用いて検索する。その結果、第５図（ｊ）に示すように
、画像Ｎｏ２０に対して、画像データファイルｌＭ２Ｏ
，Ｄと表示すイズ縦２００×横１５０が得られ、表示部
３に画像ＮＯ２Ｏの画像を表示する。第５図（ｋ）では
表示した画像Ｎｏ２０の２次元領域情報を、第４図の２
番目のレコードを用いて、画像Ｎｏ＝２０に該当する領
域Ｎｏ検索し、その結果得られた画像Ｎｏ２０の領域管
理テーブルを設定する。

発明の効果 以上のように、本発明の画像検索装置により、画像内の
同一領域に検索指示を行なう領域設定を複数設定するこ
とができ、適宜、的確な画像検索を行なうことができる
。

【図面の簡単な説明】

第１図は本発明の第１の実施例における画像検索装置の
ブロック図、第２図は第１図中の検索部、２次元領域管
理部、領域／検索情報変換部、属性情報管理部を実現す
るために用いたリレーショナルデータベースのレコード
内容の説明図、第３図は実施例における画像検索過程の
説明図、第４図は第２の実施例におけるレコード内容の
説明図、第５図は第２の実施例における画像検索過程の
説明図、第６図は従来例における画像検索装置のブロッ
ク図を示す図である１　゛・・・・記憶部、２　・・・
・・・検索部、３・−・・・表示部、４−・・・・・・
　２次元領域管理部、５　・・・・・・−指示部、６　
・・・・・・・−領域／検索情報変換部、７　゛−パ・
”・属性情報管理部、８　゛・・・・・属性情報選択部
９　・・・・・−・制御部。 代理人の氏名　弁理士　中尾敏男　ほか１名■　　　ト
　　　ロ 第３図 面像Ｎｏ３２の領１ｉＮｉ’理テーブルの変更＾　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　℃０　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　＋−＋図　　　−−二

Claims (2)

【特許請求の範囲】
1. （１）画像を記憶する記憶手段と、前記記憶手段に記憶
   した画像を検索するためのキーワード等の検索情報を管
   理する検索情報管理手段と、前記検索情報管理手段で管
   理する検索情報を用いて前記記憶手段に記憶した画像を
   検索する検索手段と、前記検索手段で検索した画像を表
   示する表示手段と、前記画像内の２次元領域を管理する
   ２次元情報管理手段と、前記表示手段に表示した画像内
   の位置を指示する指示手段と、前記指示手段により指示
   した位置を包含する前記２次元領域を、前記検索情報管
   理手段で管理する検索情報に変換する変換手段と、前記
   変換手段で変換した検索情報を用いて前記検索手段によ
   る検索を行う画像検索装置において、前記検索情報管理
   手段で管理する検索情報にキーワード属性等の属性情報
   を付随させて管理する属性情報管理手段と、前記属性情
   報管理手段で管理する属性情報群から少なくとも１つの
   属性情報を使用者に選択させる選択手段を有し、前記選
   択手段で選択した属性情報を用いて前記変換手段による
   変換を行なうことを特徴とする画像検索装置。
2. （２）変換手段は、指示手段により指示した位置を包含
   する２次元領域が複数存在する時に、選択した属性情報
   の検索情報に対応する２次元領域を変換することを特徴
   とする特許請求の範囲第１項記載の画像検索装置。