JPH01130278A - 画像データベース検索方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は、複数枚の画像情報を蓄積した画像データベー
スから、簡略画像をキーとして所望の画像情報を速やか
に検索し提示するための画像情報検索方式に関するもの
である。

（従来の技術） 従来、画像データベースから所望の画像情報を検索する
技術としては、次のようなものがある。

（ア）各画像情報に画面番号などの一意に識別可能な識
別記号を与えておき、第１２図に示すように、各画像情
報の蓄積媒体１における蓄積位置２と識別記号３との対
応リスト４を予め用意しておく。ユーザー５が所望の画
像情報に付されている識別記号３を入力すると、該識別
記号を対応リスト４上で参照し、対応する蓄積位置２に
蓄積されている画像情報を提示する手法。

（イ）各画像情報に複数の識別記号群をギめ与えておき
、第１３図に示すように、各画像情報の蓄積媒体１にお
ける蓄積位置２と識別記号群３′との対応リスト４を予
め用意しておく、ユーザー５が所定の画像情報に付され
ていると予想される識別記号を複数個入力すると、これ
らの識別記号群３′を対応リスト４上で参照し、識別記
号群の適合度が高い順に対応する蓄積位置に蓄積されて
いる複数枚の画像情報を提示する手法。

上記（ア）の手法では、ユーザー５は各画像情報に付さ
れた識別記号３を正確側こ５記憶しておく必要があるた
め、画像データベースに蓄積される画像情報の枚数が莫
大になると、所望の画像情報を検索することは著しく困
難になる。

また、上記（イ）の手法では、識別記号としてキーワー
ドと呼ばれる画像情報の内容を表わす言葉を用いる場合
が一般的である。このキーワードを適用することで、所
望の画像情報の検索に必要な情報がある程度曖昧であっ
ても、所望の画像情報の候補となる複数枚の画像情報を
検索することができる。しかし、キーワード等の記号群
のみを検索情報として用いると、ユーザーが期待したも
のとはかけ離れたレイアウトの画像情報が提示される可
能性が大きくなる。すなわち、キーワードが意味する画
像情報中の個々の構成要素（ここで、構成要素とは画像
情報を構成する意味をもつ部品のことであり、例えば第
１２図の画像情報なら「机」６と「りんご」７と「人物
」８が構成要素となる）の位置関係、大きさ、姿勢等は
キーワードでは指定できない情報であるため、画像情報
のレイアウトは全く異なるものになる。特に、画像デー
タベースに蓄積される画像情報の枚数が莫大になると、
候補となる画像情報の枚数も莫大になるため、速やかな
検索が困難になる。

上述した画像情報検索方式について更に詳述すると、ユ
ーザーは所望の画像情報を表わす検索情報として、該画
像情報の識別記号や識別記号群を入力することを述べた
。前記（ア）の手法による識別記号としては、画面番号
等の画像情報の内容とは関係がない単なる識別番号が用
いられ、前記（イ）の手法による識別記号群としては、
意味的な画像構成要素を示すキーワード１０が主に用い
られる。

例えば、所望の画像情報が、第１４図に示すように「部
屋９の中の机６の上にりんご７が置かれた」画像の場合
には、ユーザーは検索情報として、例えばｒ　１０９９
９Ｊ等の単なる識別番号３や、「りんご」と「机」等の
キーワード１０を入力する０画像データベースには、第
１５図（ａ）及び（ｂ）に示すように、識別番号３やキ
ーワード１０と画像情報の蓄積媒体１における蓄積位置
との対応リストが予め用意されており、ユーザーの入力
した検索情報は該対応リスト上で照合されて画像情報の
蓄積位置２に変換される。第１５図（ａ）の例では、識
別番号１０９９９に対応する蓄積位置２はＡであるから
、蓄積媒体１のＡなる位置に蓄積されていた画像情報が
読み出されて提示される。

しかし、検索情報が識別番号の場合には、ユーザーは予
め所望の画像情報の識別番号を正確に調べるかまたは記
憶している必要があり、わずかでも識別番号を間違える
と、所望の画像情報とはかけ離れた画像情報が提示され
る欠点がある。

また、一般的に識別番号自体は画像内容とは無関係なの
で、識別番号と画像情報の内容との対応関係が不明の場
合には、事実上検索は不可能になる。

一方、検索情報がキーワードの場合には、第１５図（ｂ
）に示すような画像情報の内容を表わす複数個の言葉（
キーワード）１０と、該画像情報の蓄積媒体１における
蓄積位置２との対応リストが予め用意されている。そし
て、ユーザーは所望の画像情報の構成要素を表わすと考
えらる言葉（キーワード）を検索情報として１個または
複数個入力する。

例えば、この例ではユーザーが「りんご」７と「机」６
という２つのキーワードを入力したとすると、この２つ
のキーワードを両方とも含む画像情報は３枚あり、これ
らの蓄積位置２がそれぞれＡ、Ｂ、Ｃであることがわか
る。従って、蓄積位［Ａ、Ｂ、Ｃに蓄積される３枚の画
像情報が候補として読み出されて提示される。

キーワード自体が画像情報の内容をある程度具体的に表
わしているので、所望の画像情報に与えられているキー
ワードをすべて正確に入力しなくても、所望の画像情報
を含む何枚かの画像情報を候補として提示できる可能性
が高い。すなわち、ユーザーが入力する検索情報がある
程度曖昧であっても、画像情報の検索が可能である。

しかし、検索情報が曖昧であるために、画像データベー
スに蓄積される画像情報の枚数が莫大なものになったと
き、キーワードによって候補として選ばれた画像情報も
莫大なものになる欠点を持っている。しかも、これらの
候補の中には、たとえキーワードは合致していても、ユ
ーザーが所望するものとはかけ離れた画像情報が含まれ
るであろう。例えば、ユーザーは第１４図の画像情報を
所望して「りんご」と「机」というキーワードを入力し
たが、第１６図に示すようなこれとは全く異なるレイア
ウトの画像情報が候補として選ばれることもある。キー
ワードのように画像情報の構成要素を表わす言葉を単に
羅列しただけでは、所望の画像情報のレイアウトに関す
る情報を表現することが不可能である。すなわち、キー
ワードだけでは頭の中に思い描いている具体的なイメー
ジを検索に充分反映することは困難であり、従って、効
率的に画像情報の検索を行うことができない。

一方、ユーザーが所望の画像情報のレイアウトを略図形
として描き、この略図形自体を検索情報とする手法も考
えられる。このような手法は画像の類似検索手法と呼ば
れ、識別番号やキーワードを検索情報とする手法に比べ
て、ユーザーが所望の画像情報について頭の中に思い描
いている具体的なイメージを充分に反映することができ
る。

しかし、このような手法においては、ユーザーの描いた
略図形が何を表わしているかを認識・理解する必要があ
る。このような技術は画像理解と呼ばれるが、現在まで
のところ実用的な画像理解技術は実現されていない。

（発明の目的） 本発明は、前記画像の類似検索手法において、ユーザー
が検索キーとなる略図形を半自動で作成し、これを用い
ることにより略図形の認識・理解の過程を省略し、所望
の画像情報を効率よく検索することを目的とするもので
ある。

（発明の構成） （発明の特徴と従来の技術との差異） 本発明は、画像の類似検索手法において、ユーザーが所
望する画像情報を検索するための略図形を言語入力形式
の作図・編集プロセッサを用いて作成することで、手書
き図形にみられる認識・理解の必要性を回避するととも
に、ユーザーにとっても該略図形の作成が容易となるこ
とを主な特徴とする。

従って、本発明は、前述した各画像情報に画像番号など
の一意に識別可能な識別記号を与える（ア）の手法や、
各画像情報に複数の識別記号群を予め与える。いわゆる
キーワードによる（イ）の手法と異なるものである。

（発明の動作原理） 本発明は、検索情報として識別番号やキーワードの代わ
りに、画像情報を構成する構成要素と各構成要素の該画
像情報内での大きさ、向き、姿勢。

位置関係等の様々な属性を用いる。例えば、前述した第
１４図の画像情報では、構成要素は「机」６゜「りんご
」７．「椅子Ｊｌｌ、ｒ窓」１２であり、この構成要素
の各々は、大きさ、向き、姿勢９位置”　および構成要
素相互の位置関係等の属性情報を有している。

本発明は、ユーザーがこれらの検索情報を入力する場合
に、言語入力形式の作図プロセッサを用いる。この言語
入力形式の作図プロセッサ１３とは、第１図（ａ）に示
すように、まず、構成要素１４の名称を入力すると、該
構成要素の形状を表わす簡単な略図形１８を表示し、同
図（ｂ）に示す検索用図形編集りスト１４Ａに該構成要
素のデフォルト属性情報１５を書き込む。

更に、第２図（ａ）に示すように、タブレット等１６等
によって構成要素の位置１５１．大きさ１５２．向き１
５３．姿勢１５４等を変更することで、検索しようとす
る画像情報に合わせて略図形を会話的に編集する。

この略図形を編集して構成要素の属性（図形の大きさ、
向き、姿勢９位置等）が変更されると、それに応じて直
ちに第２図（ｂ）に示すように、検索用図形編集りスト
１４Ａの該構成要素の属性値も変更される（ここでは位
置が変更）０作図プロセッサの編集機能を用いることで
、ユーザーは表示されている略図形１８を頭の中に思い
描いている所望の画像情報に会話的に近付けることがで
き、同時に検索用図形編集りスト１４Ａ上で各構成要素
の属性情報を変更することができる。

そして、最終的に編集された検索用図形編集リストが、
所望の画像情報を検索するための検索情報となる。ただ
し、蓄積される各画像情報には予め検索用画像属性リス
トを作成しておき、第３図に示すように、各画像情報の
蓄積位置２と検索用画像属性リスト１４Ａとの対応表（
検索用対応リスト）を用意しておく必要がある。

蓄積すべき各画像情報について、検索用画像属性リスト
を作成する手法としては１例えば第４図（ａ）、（ｂ）
に示すように、画像情報１７と作図プロセッサ１３の出
力図形とを重ねて表示し、該画像情報の構成要素に対応
する略図形１８を作図プロセッサの出力面１９に表示す
る。そして、検索情報を入力する場合と同様にして、作
図プロセッサを用いて該略図形１８の大きさ、姿勢９位
置、向きなどを該画像情報内の対応する構成要素に合わ
せて編集し、該画像情報に対応する検索用画像属性リス
トを作成する。

検索時において、ユーザーが所望の画像情報について作
図プロセッサを用いて編集した検索用図形編集リストと
予め画像情報蓄積時に定義した検索用画像属性リストと
を照合して、各構成要素とそれぞれの属性情報について
適合度の高い１枚あるいは複数枚の画像情報を候補画像
として提示する。

本発明において、検索情報として用いる検索用図形編集
リストはキーワードとは異なり、画像情報の構成要素の
様々な属性情報（大きさ、姿勢。

向き９位置など）を持っているから、キーワードによる
検索に比べてユーザーが頭に思い描いたイメージにより
近い画像情報を候補として検索することができる。また
、検索用図形編集リストは画像の類似検索の観点から見
れば、例えばユーザーが検索情報として描いた手書きの
略図形を認識・理解した結果と同じものである。すなわ
ち、本発明は、画像の類似検索において必要となる略図
形の認識・理解のプロセスを言語入力形式の作図プロセ
ッサで置き換えたものと考えることで、略図形の認識・
理解を不要とした画像の類似検索手法とみなせる。

（実施例） 第５図は本発明の一実施例装置のブロック図を′示し、
５１は入力部、５２は画像構成要素呼出部、５３は画像
構成要素編集部、５４は表示部、５５は候補画像情報評
価部、５６は検索用対応リスト蓄積部、５７は画像情報
検索制御部、５８は画像情報蓄積部、５９は編集情報入
力部である。ここで、上記画像情報蓄積部５８には予め
Ｔ枚の画像情報が蓄積されており、検索用対応リスト蓄
積部５６には該画像情報蓄積部５８に蓄積されているＴ
枚の画像情報の各々について、第６図に示すように、そ
の画像情報の各構成要素、属性情報、および画像情報蓄
積部５８における蓄積位置との対応関係が表の形式で蓄
積されており、後で述べる候補画像選定のために各画像
情報毎に識別番号が与えられている。

次に、第５図に従って動作概要を述べる。まず。

ユーザーが所望の画像情報の構成要素の名称（例えば第
６図の１４）を入力部５１から入力すると、画像構成要
素呼出部５２は複数種の略図形に関する図形データ、デ
フォルトの検索用図形編集リストを蓄積しており、該構
成要素の名称に対応する略図形のデータとデフォルトの
検索用図形編集リストとを画像構成要素編集部５３に出
力する。

この画像構成要素編集部５３は、該略図形データを読み
取ると、該略図形データを可視化して表示部５４に表示
する。ユーザーは、これを見ながら編集情報入力部５９
から編集情報を入力する。編集情報とは、表示部５４に
表示中の略図形の位置を移動したり、大きさや姿勢を変
更するための情報であって、タブレット等から入力する
。

画像構成要素編集部５３は、該編集情報を読み取ると、
これに応じて表示部５４に表示中の略図形の位置を移動
したり、大きさや姿勢を変更するとともに、表示中の略
図形の編集に応じて、その検索用図形編集リストも同時
に変更する。

こうしてユーザーは、表示部５４に表示中の各構成要素
が所望の画像情報の対応する構成要素と位置、大きさ、
姿勢などが一致するように編集する。

候補画像情報評価部５５は、画像構成要素編集部５３に
よって作成された検索用図形編集リストを読み出し、検
索用対応リスト蓄積部５６から該検索用図形編集リスト
の構成要素とその属性情報に合致度が高い１枚あるいは
複数枚の画像情報の蓄積位置を読み出し、画像情報検索
制御部５７に出力する。

この画像情報検索制御部５７は、画像情報蓄積部５８の
該蓄積位置に対応する画像情報を読み出し、表示部５４
に表示する。

第７図は第５図のブロック図を更に分解した詳細図を示
し、第５図と同一数字符号は同じものである。画像構成
要素呼出部５２には１画像構成要素検索制御部５２１と
画像構成要素蓄積部５２２とを有し、画像構成要素編集
部５３には、作図／編集プロセッサ５３１と検索用図形
編集リスト蓄積部５３２とを有し、候補画像情報評価部
５５には、予備候補蓄積部５５１と、構成要素比較部５
５２と、基本候補蓄積部５５３と、−次しきい値蓄積部
５５４と、−次候補蓄積部５５５と。

−次属性比較部５５６と、ソーター５５７と、−次候補
蓄積部５５８と、二次しきい値蓄積部５５９と、二次評
価蓄積部５６０と、二次属性比較部５６１と、ソーター
５６２と、二次候補蓄積部５６３と、三次しきい値蓄積
部５６４と、三次評価蓄積部５６５と、三次属性比較部
５６６と、ソーター５６７と、三次候補蓄積部５６８と
を有する。

上記画像構成要素呼出部５２の画像構成要素検索制御部
５２１は、入力部５１からの入力により画像構成要素蓄
積部５２２および検索用図形編集リスト蓄積部５３２を
制御する。画像構成要素蓄積部５２２には、第８図に示
すように、様々な構成要素を表わす記号と該構成要素を
略図形として表示するための図形データ、さらに荷構成
要素の持つ検索用図形編集リストとしてに個の属性情報
１５のデフォルト値が蓄積されている。

本実施例では、構成要素を表わす記号を具体的な名称（
「りんご」、「机」等）とし、構成要素名と呼ぶことに
する。

また、略図形を表示するための図形データを、第９図に
示すように、略図形の頂点座標を右回りに並べた２字組
列（Ｘｏｙ　ｙｅ）（Ｘｔ＊　ｙｔ）・・・・・・とす
る。略図形を三次元空間における立体として表現する場
合には、図形データは三次元空間における頂点座標を表
わす３字組列Ｃ１６１ｙｏ＋　２６）（ＸｌＢ’／１＋
Ｚ工）・・・・・・と頂点座標の接続を表わす位相情報
とから構成される。

また、ここでは構成要素は二次元空間における略図形と
し、属性の次数をＮ＝３とし、−次属性を「位置Ｊ　１
５１．二次属性を「姿勢Ｊ　１５４．三次属性を「大き
さ」１５２とする。なお、属性の次数は対象とする画像
情報によって変更することができる。

一次属性の「位置」は、該構成要素の略図形に外接する
長方形の重心点とし、その座標を２字組（Ｘｃ＋　ｙｃ
）で表現する。二次属性の「姿勢」は。

「位置」を始点とする二次元空間における単位ベクトル
ｐで表わし、デフォルト状態では各構成要素のｐは初期
位置ベクトルＰ＋（Ｐ＋は二次元空間におけるある単位
ベクトル）に等しいものとし。

略図形の回転に応じてその回転角だけｐも回転する。三
次属性の「大きさ」は、略図形の拡大／縮小倍率を表わ
し、各構成要素ともデフォルト値は１である。

また、略図形を三次元空間における立体として扱う場合
には、−次属性を略図形に外接する直方体の重心点の座
標を表わす３字組（Ｘｅ＋　ｙａｔ　Ｚａ）とし、二次
属性も三次元空間における単位ベクトルとすればよい。

画像構成要素編集部５３の作図／編集プロセッサ５３１
は、直線や円弧などで構成される図形を発生・表示し、
その位置、姿勢、大きさなどを編集するパーソナルコン
ピュータ用ソフトウェア等の市販の作図／編集プロセッ
サと同様の機能を持つ。この作図／編集プロセッサ５３
１は、検索用図形編集リスト蓄積部５３２に蓄積された
構成要素の図形デ−タを読み出し、２字組列を右回りに
直線で結んだ図形を表示部５４に表示する。

また、・図形データが三次元空間における立体の場合に
は、図形データの３字組列が示す三次元座標を透視投影
変換して二次元座標に変換し、変換された頂点座標を位
相情報が示す順に直線で結んだ図形を表示部５４に表示
する。

編集情報入力部５９は市販のタブレット等であり、ユー
ザーは該編集情報入力部５９から表示部５４に表示中の
図形位置の座標値を変換するなどして、これを移動した
り、姿勢を変化させたり、大きさを変えるための編集情
報を入力する。

作ｖ！Ｉ／編集プロセッサ５３１は１編集情報入力部５
９から編集情報を読み取ると、該編集情報に応じて表示
部５４に表示中の図形の位置を移動したり。

姿勢を変えたり、大きさを変更したりする。

これを動作するには、入力部５１に所望の画像情報の構
成要素を表わす記号を入力する０本実施例では、入力さ
れる記号は構成要素が何であるかを具体的に指す構成要
素名であるから、「りんごＪ。

「机」等と入力する。

画像構成要素検索制御部５２１は、入力部５１に入力さ
れた構成要素名を読み出し、該構成要素名と同じ構成要
素名が画像構成要素蓄積部５２２にあるかを検索する。

もしあれば、画像構成要素蓄積部５２２の該構成要素名
の図形データと属性情報を読み出し、検索用図形編集リ
スト蓄積部５３２に蓄積する。

画像構成要素検索制御部５２１は、従来のキーワード等
を用いた検索手段によって検索を行うが。

画像情報の個々の構成要素を検索するのであるから、そ
の特定は容易である。

検索用図形編集リスト蓄積部５３２には、該構成要素名
９図形データ、属性情報が、第１Ｏ図に示すように蓄積
される。

作図／編集プロセッサ５３１は、検索用図形編集リスト
蓄積部５３２に蓄積された構成要素の図形データ１８Ａ
を読み出し、表示部５４に該図形データを可視化し表示
する。所望の画像情報に含まれる構成要素の全てが表示
部５４に表示されまで、上記の手順を繰り返し、検索用
図形編集リスト蓄積部５３２に構成要素の名称９図形デ
ータ、属性情報を追加する。

次に、ユーザーは編集情報入力部５９からの編集情報を
入力する０作図／編集プロセッサ５３１は。

編集情報入力部５９から編集情報を読み取ると、該編集
情報に応じて表示部５４に表示されている図形を移動９
回転、拡大・縮小すると同時に、検索用図形編集リスト
蓄積部５３２の該図形に対応する構成要素の属性値も書
き換える。

この様子を第１１図の示し、（ａ）は指示前、（ｂ）は
指示後である６表示部５４に表示されている図形「りん
ご」の位置を（Ｘｅ＊　ｙｅ）から（Ｘｅ’ｓ　ｙａ’
）に変更すると、これに連動して検索用図形編集リスト
蓄積部５３２の該図形に対応する一次属性がＣＸａｅ　
Ｆｅ）から（ｘ、’、ｙ、’）に書き換えられる。

同時に図形を回転してその姿勢を変更し、該図形の姿勢
を表わすベクトルｐをｐｌからｐ、に変更したとすると
、これに連動して検索用図形編集リスト蓄積部５３２の
該図形に対応する二次属性がｐｌからｐｏに書き換えら
れ、図形の大きさを１．３倍に拡大すると、該図形に対
応す゛る三次属性が１から１．３に書き換えられる。

このように、検索用図形編集リスト蓄積部５３２の各構
成要素の位置、姿勢、大きさを変更して、所望の画像情
報に含まれる構成要素の位置、姿勢。

大きさに近付くように編集する。

以上のようして編集が終了すると、ｎ成要素比較部５５
２は、検索用図形編集リスト蓄積部５３２に蓄積されて
いる第１の・構成要素名を読み出し、次いで検索用対応
リスト蓄積部５６から該構成要素名を含む全ての画像情
報の識別番号を読み出し、基本候補蓄積部５５３と予備
候補蓄積部５５１に蓄積する。

次に、構成要素比較部５５２は、検索用図形編集リスト
蓄積部５３２に蓄積されている第２の構成要素名を読み
出し、次いで予備候補蓄積部５５１に蓄積された各識別
番号を順次読み出して、検索用対応リスト蓄積部５６の
識別番号に対応する画像情報の検索用画像属性リストに
該構成要素名が含まれているかを調べる。もし含まれて
いなければ、予備候補蓄積部５５１に蓄積されている該
識別番号を抹消し、含まれていればそのまま残す。

次に、構成要素比較部５５２は、予備候補蓄積部５５１
の内容を読み出し、基本候補蓄積部５５３に書き込む。

これを繰り返し、もし予備候補蓄積部５５１の識別番号
が全て抹消されたら、構成要素比較部５５２は動作を中
止し、−法肩性比較部５５６が動作を開始する。なお、
−法肩性比較部５５６の動作については後述する。

このようにして、構成要素比較部５５２は、検索用図形
編集リスト蓄積部５３２に蓄積されている全ての構成要
素名について、検索用対応リスト蓄積部５６に該構成要
素名を持つ画像情報があるかを探索する。このような機
能を持っているから、全ての構成要素名について探索が
終了すると、基本候補蓄積部５５３の内容は、検索用図
形編集リスト蓄積部５３２に蓄積された構成要素名を最
も多く含む画像情報の識別番号が蓄積される。

−法肩性比較部５５６は、検索用図形編集リスト蓄積部
５３２に蓄積されている第１の構成要素の一次属性を読
み出し、次いで基本候補蓄積部５５３に蓄積された第１
候補の識別番号を読み出し、検索用対応リスト蓄積部５
６における該識別番号の画像情報の検索用画像属性リス
トから該構成要素と同じ名称の構成要素の一次属性を読
み出し、両者の距離ｄを求め、−次評価値蓄積部５５５
に蓄積する。

本実施例では、２つの一次属性（Ｘｅ＊　ｙｃ）と（Ｘ
ｃ’ｙ　ｙｃ’）の距離ｄ　Ｉ　ＣＸｅｔ　Ｖａｔ　Ｘ
ｃ’ｐ　ｙｃ’）を ｄ　１（ｘａ＊　　３’ｅ＋　　Ｘｃ’ｙ　　ｙａ’）
＝（Ｘｃ　　ｘａＴ＋（ｙｃ　　ｙｃＴとする。

もし、同じ名称の構成要素がなければ、ｄｌ＝０とする
。同様にして、−法肩性比較部５５６は。

検索用図形編集リスト蓄積部５３２に蓄積されている全
ての構成要素の一次属性について、該画像情報の検索用
画像属性リストの対応する構成要素の一次属性との距離
を求め、−次評価値蓄積部５５５に加算・蓄積する。

そして、全ての構成要素について距離評価が終了したら
、検索用図形編集リスト蓄積部５３２と該画像情報の検
索用画像属性リストの両方に存在する構成要素数で、−
次評価値蓄積部５５５の内容を割る。このような機能を
持っているから、全ての構成要素の一次属性について距
離評価が終了すると、−次評価値蓄積部５５５の内容は
、第１候補の画像情報の各構成要素とこれに対応する検
索用図形編集リスト蓄積部５３２に蓄積された構成要素
の一次属性との距離の平均値であり、基本候補蓄積部５
．５３に蓄積されている第１候補の画像情報とユーザー
が編集・作成した略図形との各構成要素の一次属性（本
実施例の場合では位置情報）の適合度を示している。

次に、−法肩性比較部５５６は、−次しきい値蓄積部５
５４の内容と一次評価値蓄積部５５５の内容を比較する
。なお、−次しきい値蓄積部５５４の内容は。

−法肩性の評価値に基づく候補を選ぶためのしきい値で
ある。評価値がしきい値よりも小さければ、−次候補蓄
積部５５８に該画像情報の識別番号と評価値を蓄積し、
また、−次評価値蓄積部５５５の内容をＯに書き換える
。

次に、−法肩性比較部５５６は、基本候補蓄積部５５３
の第２候補の画像情報の画像の情報の全ての構成要素の
一次属性について、第１候補の画像情報の場合と同様に
検索用図形編集リスト蓄積部５３２の各構成要素の一次
属性との距離を求め、その平均値を一次評価値蓄積部５
５５に蓄積する。

次に、−法肩性比較部５５６は、−次しきい値蓄積部５
５４の内容と一次評価値蓄積部５５５の内容を比較し、
評価値がしきい値よりも小さければ、−次候補蓄積部５
５８に第２候補の画像情報の識別番号と評価値を蓄積す
る。

一次候補蓄積部５５８に新たな候補が追加される毎に、
ソーター５５７は一次候補蓄積部５５８に蓄積された候
補の評価値を比較して、評価値の小さいもの順に一次候
補蓄積部５５８の内容を書き換える。

もし、−次候補蓄積部５５８に蓄積される候補の数が一
次候補の定数８１を越えたら、Ｓ１＋１番目以降の候補
の識別番号と評価値を抹消する。

このようにして、−次候補比較部５５６は、基本候補蓄
積部５５３の全ての画像情報について検索用図形編集リ
スト蓄積部５３２に蓄積されている構成要素の一次属性
との適合度を評価し、ソーター５５７が評価値の小さい
もの順に８１個の候補を二次候補蓄積部５５８に蓄積す
る。　　、同様にして、二次属性比較部５６１は、−次
候補蓄積部５５８の全ての画像情報について検索用図形
編集リスト蓄積部５３２に蓄積されている構成要素の二
次属性との平均距離を評価値として求めて二次評価値蓄
積部５６０に蓄積し、もし、最終的な二次評価値蓄積部
５６０の内容が二次しきい値蓄稜部５５９の内容より小
さければ、二次候補蓄積部５６３に該画像情報の識別番
号と評価値を蓄積する。

なお、二次しきい値蓄稜部５５９の内容は、二次属性の
評価値に基づく候補画像選定のためのしきい値である。

そして、ソーター５６２が評価値の小さいもの順に８２
個の候補を二次候補蓄積部５６３に蓄積する。ただし、
２つの二次属性（「姿勢Ｊ）ｐとｐ′の距Ｉｔ　ｄ　２
　（ｐ　ｐ　ｐ　’）をｄ　２　（ｐ、　ｐ’）＝−ｐ
−ｐ’ とする。

また、三次属性比較部５６６も同様にして、二次候補蓄
積部５６３の全ての画像情報について検索用図形編集リ
スト蓄積部５３２に蓄積されている構成要素の三次属性
との平均距離を評価値として求めて三次評価値蓄積部５
６５に蓄積し、もし、最終的な三次評価値蓄積部５６５
の内容が三次しきい値蓄　　　”稜部５６４の内容より
小さければ、三次候補蓄積部５６８に該画像情報の識別
番号と評価値を蓄積する。

なお、三次しきい値蓄稜部５６４の内容は、三次属性の
評価値に基づく候補画像選定のためのしきい値である。

そして、ソーター５６７が評価値の小さいもの順に８３
個の候補を三次候補蓄積部５６８に蓄積する。ただし、
２つの三次属性（「大きさ」）ｆとｆ′の距離ｄ３（ｆ
、ｆ’）を ｄ　３　（ｆ　、　ｆ’）＝（ｆ　−ｆ’）”とする。

画像情報検索制御部５７は、三次候補蓄積部５６８に蓄
積されている８３個の候補画像の識別番号を読み出して
、該識別番号に対応する８３枚の画像情報を画像情報蓄
積部５８から読み出し１表示部５４に表示する。

なお、本実施例で用いた略図形データを三次元空間での
立体図形データとし、−次属性（「位置」）を該立体図
形に外接する直方体の重心点、二次属性（［姿勢Ｊ）ｐ
を三次元空間内での単位ベクトルとすれば、画像情報の
各構成要素の姿勢を三次元空間内で編集することが可能
となり、構成要素の三次元的な姿勢を検索する場合の情
報として用いることができる。

さらに、−次属性の位ＲＣｘｃ＊　ｙｅ）を三次元空間
内での位置座標（Ｘａ＊　）’ｃ＊　Ｚｅ）とし１画像
構成要素をりんごや机などの自然画像を構成する基本単
位としてではなく、りんごや机などの物体自体を構成す
る基本的な構成単位（球、三角柱２円柱、立方体など）
とすれば１個々の物体自体が単体で蓄積されたデータベ
ースにおける検索方式となることは明らかである。また
１本実施例では構成要素として略図形で説明したが、略
図形の代わりに言葉そのものを画面上にレイアウトする
ことによっても、検索精度は低下するが同様の効果が得
られることは明らかである。

（発明の効果） 以上説明したように、本発明は、検索情報として用いる
検索用１図形編集リストはキーワードとは異なり１画像
情報の構成要素の様々な属性情報。

例えば大きさ、姿勢、向き９位置などを持っているから
、従来技術の単なるキーワードによる検索に比べて、ユ
ーザーが頭に描いたイメージにより近い画像情報を候補
として検索することができる。

従って、ユーザーのイメージに合った画像情報の検索が
速やかに行うことができる。

また、検索用図形編集リストは、画像の類似検索からみ
ると、ユーザーが検索情報として描いた手書きの略図形
を認識、理解した結果と同じものである。これは１画像
の類似検索において必要となる略図形の認識、理解のプ
ロセスを言語入力形式の作図プロセッサで置き換えたも
のと考えることで、略図形の認識、理解を不要とした画
像の類似検索法とみなすことができる。

また、従来の（ア）、（イ）の手法でみられるような画
像情報の枚数が莫大になることがなく、識別番号等と画
像情報との対応を明確にユーザーは記憶せずども迅速に
検索でき、経済性、操作性において優れている。

【図面の簡単な説明】

第１図ないし第４図は本発明の詳細な説明図であり、第
１図は作図プロセッサによる略図形の表示状態、第２図
は検索用図形編集リストの構成要素の属性値変更状態、
第３図は各画像情報の蓄積位置と検索用画像属性リスト
との対応表（検索用対応リスト）、第４図は画像情報と
略図形との重ね合せによる編集例（検索用画像属性リス
ト）、第５図は本発明の一実施例装置のブロック図、第
６図は第５図の画像情報蓄積部５８における蓄積位置と
の対応関係が表の形式で蓄積される検索用対応リスト蓄
積部５６の蓄積状態図、第７図は第５図の詳細ブロック
図、第８図は構成要素とそれを略図形として表示するた
めの図形データ等の属性情報例、第９図は略図形を表示
するための図形データ、第１０図は検索用図形編集リス
ト蓄積部５３２の蓄積例、第１１図はユーザー人力によ
る作図／編集プロセッサで作成される検索用図形編集リ
ストの指示前、後の一例、第１２図ないし第１６図は従
来の画像データベースから所望の画像情報を検索する例
を示し、第１２図は識別記号による画像情報の検索例、
第１３図は識別記号群（キーワード）による画像情報の
検索例、第１４図および第１６図は画像情報の各側、第
１５図は識別番号、キーワードによる蓄積媒体の蓄積位
置との関係説明図である。 １・・・蓄積媒体、　２・・・蓄積位置、　３・・・識
別記号、　３′・・・識別記号群、　４・・・対応リス
ト、　５・・・ユーザー人力、　６・・・机、７・・・
りんご、　８・・・人物、　９・・・部屋。 １０・・・キーワード、　１１・・・椅子、　１２・・
・窓、１３・・・作図用プロセッサ、１４・・・構成要
素。 １４Ａ・・・検索用図形編集リスト、　１５・・・デフ
ォルト属性情報、　１５１・・・位置、　１５２・・・
大きさ、　１５３・・・向き、　１５４・・・姿勢、　
１６・・・タブレット、　１７・・・画像情報、　１８
・・・略図形、　１８Ａ・・・図形データ、　１９・・
・図形データの表示面、５１・・・入力部、　５２・・
・画像構成要素呼出部、　５２１・・・画像構成要素検
索制御部、　５２２・・・画像構成要素蓄積部、５３・
・・画像構成要素編集部、５３１・・・作図／編集プロ
セッサ、　５３２・・・検索用図形編集リスト蓄積部、
　５４・・・表示部、５５・・・候補画像情報評価部、
　５５１・・・予備候補蓄積部、５５２・・・構成要素
比較部、　５５３・・・基本候補蓄積部、　５５４・・
・−次しきい値蓄稜部、　５５５・・・−次候補蓄積部
、　５５６・・・−法肩性比較部、５５７・・・ソータ
ー、　５５８・・・−次候補蓄積部、　５５９・・・二
次しきい値蓄稜部。 ５６０・・・二次評価値蓄積部、５６１・・・二次属性
比較部、　５６２・・・ソーター、　５６３・・・二次
候補蓄積部、５６４・・・三次しきい値蓄稜部、５６５
・・・三次評価蓄積部、５６６・・・三次属性比較部、
　５６７・・・ソーター、５６８・・・三次候補蓄積部
、　５６・・・検索用対応リスト蓄積部、５７・・・画
像情報検索制御部、　５８・・・画像情報蓄積部、　５
９・・・編集情報入力部。 第　ｊ　図 ７・・・石１誉 ＋４Ａ・・・杖索扇１２１１彩鳩木リスト１５・・・　
デフォルト為＋に一情轍 旧・・・略国形 第２図 第３図 ！！　碇 ト　　ロ ー−〇 第５図 第６図 第１０図 第１２図

Claims (1)

【特許請求の範囲】
1. 画像情報を構成する個々の素材を代表する図形情報など
   としての構成要素とその属性情報を予め蓄積しており、
   ユーザーの要求に応じて所望の構成要素を呼び出す画像
   構成要素呼出部と、該画像構成要素呼出部で呼び出され
   た各画像構成要素の属性情報を編集する画像構成要素編
   集部と、磁気ディスク等の蓄積媒体に蓄積された画像情
   報の蓄積位置と該画像情報の内容をその構成要素毎に分
   解し、それぞれに画像情報内における属性情報を定義し
   た検索用対応リスト蓄積部と、該検索用対応リスト蓄積
   部の各画像情報の構成要素の属性値と画像構成要素編集
   部で編集された構成要素の属性値とを比較・評価し、両
   者の合致度が高い画像情報を検索候補として選択する候
   補画像情報評価部と、該候補画像情報評価部によって評
   価された画像情報を検索表示する画像情報検索制御部と
   から構成されたことを特徴とする画像情報検索方式。