JPH02181270A - 画像検索方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ 本発明は、画像データベースシステムにおいて、画像を
構成する物体の幾何学的な関係（形状、位置（隣接、包
含、結合等））をビジュアルに指定することにより所望
の画像データを検索する画像検索方法に関するものであ
る。

［従来の技術］ 画像データベースシステムにおける検索方法として、従
来の文字データベースを用い、個々の画像データに画像
内容に無関係な属性（例えば、取得日時、取得者等）を
付与し、その属性を指定することにより、所望の画像デ
ータを検索する方法をとっているシステムが大部分であ
り、この場合は、検索キーが画像データの内容をもとに
付与されてないため、画像データの検索の特徴である画
像内容による検索ができない。画像内容による検索方法
として、画像データをその画像内の物体の位置関係によ
り検索する方法がある。この方法は、画像データの蓄積
時に、各画像データに対し、検索キーの対象となる複数
の物体とその位置関係を画像データ内から求めておき、
検索時に、検索キーとする物体に対応する物体の特徴を
表すキー画像をデイスプレィ上に表示させ、デイスプレ
ィ上でキー画像間の位置関係を指定することにより、そ
れに最も近い位置関係をもった物体を有する画像データ
を検索結果として出力する方法であり、画像データ内に
含まれている物体の種別は同じで、物体間の位置関係が
異なる画像データが多数ある場合の検索に有効である。

しかし、この方法は、既知のキー画像のみをもとにして
、キー画像間の位置関係から画像データを検索する方法
であるため、不明なキー画像があり、既知のキー画像と
不明なキー画像の関係から不明のキー画像に対応した画
像データを求めるような検索ができない。上記の極端な
場合として、既知のキー画像がない場合も当然検索でき
ない。さらに、画像データ内での物体の位置関係のみを
考えているため、検索できる関係に制限があり、画像内
の物体の後ろにあったり、物体の内部に含まれていたり
して、画像データに現れていない物体に対する画像デー
タを検索することができない。

［発明が解決しようとする課題］ 本発明の目的は、画像データを構成する物体間の幾何学
的関係（形状、位置（隣接、包含、結合等））をもとに
、画像を用いて種々の検索が行えるマンマシンインタフ
ェースのすぐれた画像検索方法を提供することにある。

［課題を解決するための手段と作用］ 本発明は、上記の目的を達成するため、蓄積時、複数の
物体がある１枚の画像の画像データ内及び複数の画像の
画像データ間の所望の画像データを構成する各物体の関
係を、実世界における幾何学的関係により表わして記憶
することにより、従来の検索では不可能だった物体の後
ろにある物体や内部にある物体の検索を行うことができ
る。さらに、検索時、未知のキー画像を新たにもうける
ことにより、既知のキー画像（検索キーとする物体に対
応する物体の特徴を表すキー画像）と未知のキー画像を
デイスプレィ上に表示し、実世界における幾何学的関係
を指定して、未知のキー画像に対応する画像データを検
索したり、未知のキー画像のみからなる幾何学的関係か
ら対応する画像データを検索する等、従来の検索に比べ
、マンマシンインタフェースのすぐれたいろいろな形態
の検索を行うことができる。

［実施例］ 第１図は、実世界と画像データの関係を説明するための
図であり、第１図（ａ）　　（ｂ）は、実世界の状態を
示し、第１図（ａ）は家の隣に木があることを、第１図
（ｂ）は家の中にテーブルがあることを示した図である
。第１図（Ｃ）は実世界の状態を画像データとして画像
データベースに格納する場合の画像データの例を示した
図である。第２図は本発明の一実施例を示す図であり、
１００は画像データを人力するためのデイスプレィ、キ
ーボード、スキャナ等から構成される入力部、１０１は
入力部１００を制御する入力制御部、１０２は複数の画
像の画像データ間のデータ構造を管理するデータベース
管理部、１０３は画像データを蓄積する蓄積部、１０４
は画像データを検索するためのデイスプレィ、マウス等
からなる表示部、１０５は入力部からの検索のための指
示情報を解析するための指示情報解析部、１０６は、表
示部１０４への画像データ等の表示制御を行う表示制御
部、１０７はシステム全体を制御する制御部である。

第３図は、実世界の幾何学的関係を管理するためのデー
タベース管理部１０２における管理テーブルの構成例を
示した図であり、物体名称テーブルとキー画像データ番
号テーブルは、物体名称とそれに対応する複数のキー画
像を関係づけるためのテーブル、物体テーブルは同一キ
ー画像に対応する物体や物体間の幾何学的関係を関係づ
けるためのテーブル、キー画像データテーブル、画像デ
ータテーブルはそれぞれキー画像データ、画像データの
蓄積部１０３における格納アドレスを示したテーブルで
ある。第４図は、物体の特徴をビジュアルに表現したキ
ー画像の例を示した図であり、第４図（ａ）は、第１図
の物体（木、家、テーブル）に対応するキー画像（検索
キーとする物体に対応する物体の特徴を表すキー画像）
の例、第４図（ｂ）は、未知の物体に対するキー画像（
以後クエッションマーク画像と呼ぶ）の例を示した図で
ある。第５図は、形状の関係を指定するためのクエッシ
ョンマーク画像の変形例を示した図である。

第６図は、クエッションマーク画像の探索範囲の指定方
法の例を示した図である。第７図は、実世界における位
置関係を、既知のキー画像と未知のキー画像（クエッシ
ョンマーク画像）のデイスプレィ上の関係により指定す
る方法の一例を示した図である。

本発明の詳細な説明する前に、第１図により実世界と画
像データの関係について説明する。第１図（ａ）　、　
（ｂ）に示すように、実世界ではそれぞれの物体は何ら
かの幾何学的関係（形状、位置（隣接、包含、結合等）
）をもって存在している。

この実世界の状態を画像データとしてデータバスに蓄積
する場合、第１図（ｅ）に示すように、通常、実世界を
ある方向から写真をとり、その写真をスキャナ等により
読み込んでデータベースに蓄積することにより行う。そ
のため、画像データは、実世界の一部の状態を表してい
るだけであり、画像データのみからは実世界を把握する
ことができない。例えば、第１図（Ｃ）の家の画像デー
タのみからは、家の中°にテーブルがあることがわから
ない。そこで、本発明では画像データを蓄積する時に、
画像データを構成する物体の実世界における幾何学的関
係を記憶しておくことにより、画像データの実世界にお
ける状態を把握できるようにした。

以下、第２図〜第７図に従って、本発明の詳細な説明す
る。画像データの蓄積時、検索のために必要な各種デー
タは、第２図における入力制御部１０１を介して、入力
部１００とデータベース管理部１０２との間でインタラ
クティーブに入力される。入力データとしては、画像デ
ータ、検索キーの対象となる画像データ内の物体の名称
（家、木等のように複数の物体を総称した名称であるが
、この家、あの家のように名称を細かく分け、それぞれ
に別々の名称を与えてもよい。）、システム内に対応す
るキー画像がない場合には、キー画像データ（第４図に
示すように、物体の特徴をビジュアルに表現した画像で
あり、グラフィックスによる図形、代表面像データ等で
構成される。）、画像データ番号（各画像データに対し
、シーケンシャルに付与した番号）、物体番号（個々の
物体に対しシーケンシャルに付与した番号）、キー画像
データ番号（キー画像データに対し、シーケンシャルに
付与した番号）、物体の形状情報、物体間の位置関係を
示すデータ（関係種別、関係詳細データ、関係を満足す
る相手物体番号等）が入力される。上記情報のうち画像
データ番号、物体番号、キー画像データ番号については
システムで自動的に付与される。

データベース管理部１０２では、上記人力データをもと
に第３図に示す管理テーブル類を追加、変更する。また
、画像データ、キー画像データについては蓄積部１０３
に格納する。

以下、画像データの検索時の動作について説明する。未
知の物体をビジュアル的に表現するため、第４図（ｂ）
に示すような特別なキー画像（クエッションマーク画像
）を定義する。検索者が表示部１０４を介して関係の比
較対象である既知の物体に対する物体名称を入力すると
、入力データは指示情報解析部１０５を介し、データベ
ース管理部１０２に入力される。データベース管理部１
０２では、物体名称に対応するキー画像データ番号を第
３図に示した物体名称テーブルとキー画像データ番号テ
ーブルにより求め、さらにキー画像データテーブルから
キー画像データの蓄積部１０３における格納アドレスを
求めて、蓄積部１０３よりキー画像データ番号に対応す
るキー画像データを読み出す。読み出されたキー画像デ
ータは、表示制御部１０６を介し、表示部１０４に表示
される。

１つの物体名称に対応するキー画像が複数ある場合には
、検索者は所望のキー画像を選択する。選択したキー画
像（既知のキー画像）とクエッションマーク画像は表示
部１０４のデイスプレィ画面上に表示される。キー画像
との形状の関係により検索する場合には、形状の関係を
指定するためデイスプレィ上でクエッションマーク画像
を変形させる。クエッションマーク画像の変形の仕方と
形状の関係との関連づけには種々の方法があり、第５図
はその一例を示した図である。第５図（ａ）は変形前の
基本クエッションマーク画像であり、（ｂ）　、　　（
ｃ）は類似性を示したクエッションマーク画像であり、
（ｂ）の方が（Ｃ）より類似性が高いことを示している
。また、（ｃｌ）　、　　（ｅ）は、大きさの関係を示
したクエッションマーク画像であり、（ｄ）は基本クエ
ッションマーク画像より大きいこと、（ｅ）は基本クエ
ッションマーク画像より小さいことを示している。その
他の種々の変形に対し、形状の関係との関連ずけが可能
である。また、第５図ではクエッションマーク画像を２
次元画像として扱ったが、３次元画像として扱うことに
より、より多彩な形状の関係の指定が可能となる。検索
者が、検索したい形状の関係を示すクエッションマーク
画像変形操作を行うと、その結果は指示情報解析部１０
５に送られて解析され、データベース管理部ユ０２での
探索に適した形式に変換される。データベース管理部１
０２では、キー画像データ番号により、物体テーブルを
サーチして得られた形状情報をもとに、クエッションマ
ーク画像により指定した形状の関係を満足する物体を物
体テーブルから探索する。この場合、探索する物体名称
をあらかじめ指定することにより、より効率的に探索で
きる。以上により探索された物体に対するキー画像デー
タまたは画像データは蓄積部１０３より取り出され、表
示制御部１０６を介して表示・部１０４に表示される。

キー画像データが表示される場合は、さらに検索指示を
することにより、キー画像に対応する数の物体に対する
画像データが出力される。２つ以上のキー画像に対する
クエッションマーク画像の形状の関係を指定する場合に
は、それぞれのキー画像に対し、順に関係を指定し、そ
の関係がアンド（ＡＮＤ）条件なのかオア（ＯＲ）条件
なのかを指定することにより行うことができる。

上記の形状の関係による検索を行わない場合、または形
状の関係だけでなく位置関係によっても検索したい場合
には、位置関係による検索を行うため、キー画像に対す
るクエッションマーク画像の探索範囲を指定する。探索
範囲の指定方法の一例を第６図に示す。探索範囲をキー
画像を中心に８つの方向に分けることにより指定し、奥
行き方向には指定が不要な場合には、第６図（ａ）によ
りキー画像のまわり全域、（ｂ）により上方、（Ｃ）に
より右方、（ｄ）により右上方、（ｅ）により真上、（
Ｃ）により左、（ｇ）により右上を指定できる。指定範
囲のデイスプレィ上での表現方法としては、例えば第６
図の斜線部分の色を変えることにより行う。第６図はキ
ー画像を２次元画像として扱ったものであり、上述のよ
うに指定範囲として奥行き方向の指定が不要な場合には
簡便な指定方法である。奥行き方向の指定が必要な時は
、前後の位置によりデイスプレィ上の色を変えるように
することにより指定できる。さらに、キー画像を直方体
として３次元画像により扱うことにより、奥行き方向の
範囲の指定が明確化できる。２つ以上のキー画像に対す
るクエッションマーク画像の探索範囲を指定する場合に
は、それぞれのキー画像に対し、順に探索範囲を指定し
、その指定がアンド条件なのかオア条件なのかを指定す
ることにより行うことができる。

上記によりクエッションマーク画像の探索範囲の指定が
完了すると、キー画像とクエッションマーク画像をデイ
スプレィ上で移動させ、実世界における位置関係を指定
する。この場合のクエッションマーク画像は、すでに形
状の関係を指定した場合には、変形されたクエッション
マーク画像になっている。キー画像とクエッションマー
ク画像のデイスプレィ上での指定方法の一例を第７図に
従って説明する。なお、以下の説明では、クエッション
マーク画像の探索範囲としては、キー画像のまわり全域
が指定されたものとする。第７図はキー画像、クエッシ
ョンマーク画像とも２次元画像として扱った場合の指定
方法の例であり、第７図（ａ）は、キー画像が表す物体
のまわり全域にある物体が、（ｂ）はキー画像が表す物
体と結合している物体が、（ｃ）　、　　（ｄ）はそれ
ぞれクエッションマーク画像がキー画像が表す物体の後
ろ、前にあることを示しており、（ａ）と同様、キー画
像が表す物体のまわり全域にある物体が、（ｅ）はキー
画像が表す物体の内部にある物体が、（ｆ）はキー画像
が表す物体を含む物体が検索対象であることを指定して
いる。上記（ａ）〜（ｒ）の区別は、それぞれの場合で
クエッションマーク画像の色や線種を変える等すること
により可能である。位置関係の指定方法として、キー画
像、クエッションマーク画像とも３次元画像として扱う
ことにより、操作は慢雑化するが、実世界との対応がと
りやすくなる。第７図の例はキー画像、クエッションマ
ーク画像共、それぞれ１つの場合の位置関係であるがキ
ー画像、クエッションマーク画像が複数の場合にも拡張
できる。

以上述べた方法により、検索者がクェッションマーク画
像とキー画像の位置関係をデイスプレィ上で指定すると
、その関係は指示情報解析部１０５により解析され、デ
ータベース管理部での探索に必要な形式に変換され、デ
ータベース管理部１０２に送られる。データベース管理
部１０２では、キー画像に対応するキー画像データ番号
によりキー画像データ番号テーブルから対応する代表物
体番号を求め、検索者が所望する位置関係を有する物体
番号を物体テーブルから探索する。形状の関係も検索条
件になっている場合は、位置関係をもとに探索した物体
の形状情報によりさらに探索を行う。以上により所望の
物体が求まると、物体に対応するキー画像データまたは
画像データを蓄積部１０３より取り出し、表示制御部１
０６を介して表示部１０４に表示する。キー画像データ
が表示される場合は、さらに検索指示をすることにより
、キー画像に対応する数の物体に対する画像データが出
力される。

検索時において、クエッションマーク画像を用いず、既
知のキー画像のみにより検索を行う場合は、既知のキー
画像のいずれかをクエッションマーク画像とみなして、
上述した方法により探索範囲及び位置関係を指定するこ
とにより画像データを検索する。また、既知のキー画像
がなく、クエッションマーク画像のみにより検索を行う
場合は、クエッションマーク画像のいずれかを既知のキ
ー画像とみなして上述の方法により探索範囲及び位置関
係を指定し、さらに、サーチ範囲を限定するため、例え
ば、検索対象とする物体名称を入力することにより、所
望の画像データを検索する。

［発明の効果］ 以上説明したように、本発明によれば、未知の物体を示
すキー画像（クエッションマーク画像）を用いて種々の
形状の関係、位置関係をデイスプレィ上で指定すること
により、指定された関係を満足する所望の画像データを
検索することができ、マンマシンインタフェースのすぐ
れた画像検索方法を提供することができる。

【図面の簡単な説明】

第１図は本発明に係る実世界と画像データの関係を説明
するための構成図、第２図は本発明の一実施例を示した
ブロック図、第３図は本発明に係る実世界の幾・同学的
関係を管理するための第２図のデータベース管理部にお
ける管理テーブルの構成例を示すブロック図、第４図は
本発明に係る物体の特徴をビジュアルに表現したキー画
像の例を示した構成図、第５図は本発明に係る形状の関
係を指定するためのクエッションマーク画像の変形例を
示した構成図、第６図は本発明に係るクエッションマー
ク画像の探索範囲の指定方法の例を示した構成図、第７
図は本発明に係る実世界における位置関係のデイスプレ
ィ上での指定方法の例を示した構成図である。 １００・・・入力部、１０１・・・入力制御部、１０２
・・・データベース管理部、１０３・・・蓄積部、１０
４・・・表示部、１０５・・・指示情報解析部、１０６
・・・表示制御部、１０７・・・制御部。 出願人代理人　弁理士　鈴　江　武　彦（Ｃ） 第１図 物体名称テーブル ←１利＝Ｂギータ１■１引テーーブＪし第 図 （ａ） （ａ） （ｅ） （ｂ） （ｆ） （ａ） （ｃ） （ｄ） 第 図 （ｂ） （ｃ）

Claims (2)

【特許請求の範囲】
1. （１）画像データの蓄積、検索、表示を行う画像データ
   ベースシステムにおいて、画像データの蓄積時に、複数
   の物体がある１枚の画像の画像データ内および複数の画
   像の画像データ間の所望の画像データを構成する各物体
   に対して物体の特徴を表す第１のキー画像（検索キーと
   する物体に対応する物体の特徴を表すキー画像）を付与
   する手段と、前記物体の間の実世界における幾何学的な
   関係（形状、位置（隣接、包含、結合等））をデータ構
   造化して記憶する手段と、検索時に、検索対象である未
   知の物体を示す第２のキー画像をもち、前記第１のキー
   画像との形状の関係（類似性、大きさ等）を前記第２の
   キー画像の変形により表示装置上で指定する手段と、前
   記第１のキー画像に対する前記第２のキー画像の探索範
   囲を指定する手段と、１つ以上の前記第１のキー画像と
   、１つ以上の前記第２のキー画像により表示装置上で前
   記位置関係を指定する手段と、前記手段により指定され
   た形状の関係もしくは位置関係のいずれかを満足あるい
   は形状の関係と位置関係の両方を同時に満足する前記第
   ２のキー画像に対応する物体に対する前記第１のキー画
   像もしくは物体を含む画像データを前記手段により指定
   された探索範囲内で前記の手段により実世界の幾何学的
   関係を記憶したデータ構造を探索し、表示する手段を有
   することを特徴とする画像検索方法。
2. （２）前記検索時において、前記第２のキー画像がない
   場合には、いずれかの第１のキー画像を第２のキー画像
   とみなして、前記手段により探索範囲、位置関係を指定
   することにより画像データを検索して表示し、前記第１
   のキー画像がない場合には、検索対象範囲を指定し、い
   ずれかの第２のキー画像を第１のキー画像とみなして前
   記手段により探索範囲、位置関係を指定することにより
   キー画像もしくは物体を含む画像データを検索して表示
   することを特徴とする請求項１記載の画像検索方法。