JPH05274356A

JPH05274356A - オブジェクト検索システム

Info

Publication number: JPH05274356A
Application number: JP3067883A
Authority: JP
Inventors: Atsushi Matsushita; 温松下; Mitsuo Yokoyama; 光男横山
Original assignee: ELECTRON MAAKETEINGU KK
Current assignee: ELECTRON MAAKETEINGU KK
Priority date: 1991-03-07
Filing date: 1991-03-07
Publication date: 1993-10-22

Abstract

(57)【要約】【目的】蓄積された絵画、写真、図形、文字、音声等
の単独又は複合された情報を物象又は物象の位置関係な
どの曖昧な情報をキーとして希望する情報を含む物に絞
り込むことを目的としたものである。【構成】物象又は物象とその位置関係を分類して情報
を蓄積し、比較的曖昧な物象又は物象と位置関係をキー
として目的物の入った範囲を絞り込むことを特徴とした
オブジェクト検索システムである。前記物象を絵画、写
真、図形、文字又は音声としたオブジェクト検索システ
ムである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は不特定多数の情報を物
象又は物象とその位置関係に分類して蓄積し、曖昧な物
象又はその位置関係をキーとして希望する情報の入って
いる範囲を絞り込むことを目的としたオブジェクト検索
システムに関する。

【０００２】

【従来の技術】従来、蓄積された多数の情報の中から希
望する情報を選択するには、目的とする情報の特質をキ
ーワードとし、先づこの特質を含む情報を抽出し、該情
報が多数に亘る場合には、更に他の特質を加え、又は属
性を特定のキーワードとして目的とする情報を絞り込ん
でいる。

【０００３】

【発明により解決すべき課題】前記従来の検索システム
によれば、キーワードは正確でなければならないし、必
ず文字記号で表現されなければならない問題点があっ
た。また、図形等、又は図形等の位置を記憶のよりどこ
ろとしてオブジェクトを検索することは不可能であっ
た。換言すれば、従来は曖昧な情報をもとにして機械検
索できる環境になかった。従って、情報が多数になる
程、厖大な労力を必要とする問題点があった。

【０００４】例えば、求める情報の特性が「Ａ、Ｂ、
Ｃ」を含むというように明確に表現できる場合には、
「Ａ、Ｂ、Ｃ」を含む情報に絞り込み、更に詳細な検索
に及ぶのであるが、「Ａ若しくはａ」、「Ｂ若しくは
ｂ」「Ｃ若しくはｃ」のように曖昧さがある場合には、
「Ａ、Ｂ、Ｃ」「ａ、Ｂ、Ｃ」「ａ、ｂ、Ｃ」「ａ、
ｂ、ｃ」…その他の組み合わせについて夫々絞り込まな
ければならないので、労力及び時間の浪費を生じるおそ
れがあった。

【０００５】

【課題を解決する為の手段】然るにこの発明は、記憶の
曖昧性、たしかさなどの特性と、物象の位置を利用し、
前記従来の問題点を解決したのである。

【０００６】即ちこの発明は、物象又は物象とその位置
関係を分類して情報を蓄積し、比較的曖昧な物象又は物
象と位置関係をキーとして目的物の範囲を絞り込むこと
を特徴としたオプジェクト検索システムである。また、
物象を絵画、写真、図形又は文字としたものである。次
に、目的物の範囲の絞り込みは、より明確な物象を与え
ることにより行うこととしたものである。

【０００７】更に他の発明は、物象とこれに関連する音
とをキーとして目的物の範囲を絞り込むことを特徴とし
たオブジェクト検索システムである。

【０００８】一般に人間の記憶は曖昧であるが、その中
で図形的、位置的には比較的「たしかさ」の信頼度が高
い。例えば、絵画において「洋装の女性が描かれてい
た」という記憶よりも、「人が立っていた」とか「人が
腰掛けていた」という記憶の方がたしかさが大きい。そ
こで、「人が立っている絵」というような情報をキーと
して検索した方が労力、時間の節減になることは明らか
である。尤も情報の蓄積に際し、曖昧な記憶の手掛りに
なるような入力の仕方をしなければならない。そこで、
情報の蓄積に際し、人、物、動物、又はこれらの位置と
の組み合せを入力ポイントとしておけば、検索容易とな
り、かつ検索精度も一層向上することになる。

【０００９】一般に、画像等が人間に与えるインパクト
は極めて大きく、直感的に全体を把握出来るという点で
大変優れた情報伝達手段であり、その利用形態は多岐に
わたっている。医療分野でのＸ線画像や、気象衛生から
送られてくるリモートセンシング画像といったものか
ら、オフィスオートメーションで使われる文書画像、さ
らにより身近なものではＴＶ放送など様々である。こう
いった各分野では画像情報が次々と生産されており、そ
の管理、運用を効率的に行いたいという要望から、画像
情報のデータベース化への期待が高まっている。一方、
コンピューター関連技術の進歩もめざましく、処理能力
の向上、記憶媒体（光ディスク、磁気ディスク）の大容
量化が進み、画像情報をファイル化することが可能とな
り、画像データベース構築のためのハードウェア面での
基盤もかなり充実してきている。このような、社会的需
要とコンピューター関連技術の進歩を背景として、現
在、画像データベースの研究、開発が活発に行われてい
るが、多くの未解決な研究課題が残されている。画像デ
ータの入力、画像のファイリング、画像データの構造
化、検索技術、操作技術等がそれである。

【００１０】この発明における物象とは、前記のように
絵画、写真、図形その他多岐に亘っているが、その内容
を理解する為に物象の例を画像として画像の検索に要す
る諸問題を説明する。

【００１１】人間の記憶に適した検索をするためには、
ユーザの持っている画像に対する印象を適確に表現し、
検索システムに伝えなければならない。従来の画像デー
タベースでは画像に付随した情報をキーワードとしてい
たため、ユーザの記憶を適確に検索に反映することは不
可能であった。また、画像のスケッチを用いて検索をす
る手法もあるが、これはユーザのスケッチの能力差や、
それにともなう特徴抽出の問題などがある。また、自然
言語による問い合わせの研究もあるが、言語では人間の
持っている画像に対する印象を必ずしも適確に表現でき
るとは限らない。そこでこの発明のシステムでは、予め
用意された物体ごとのアイコンを用いてユーザが自分の
記憶に合った簡略画を簡単に作成できるようなインター
フェースを提供する。これを略画作成ツールと呼ぶ。こ
のツールは全ての操作をマウスで行うことができるもの
とし、一般ユーザにも十分操作できるものとする。これ
によって、ユーザは検索要求を容易に表現できると同時
に、スケッチ検索の際に問題となる、スケッチ能力の差
や、それにともなう特徴抽出の問題などがないため、シ
ステム側も容易にユーザの検索要求を知ることができ
る。また、言語によるものよりも表現力は高い。

【００１２】現在、一般に画像データベースは、特定の
被写体に対して構築されている。例えば「地図、鳥類図
鑑、植物図鑑、胸部Ｘ線画像、商標、意匠、人物画」な
どがある。検索の方式は被写体に大きく依存すると考え
られるので、それぞれ独特な検索方式をとっている（こ
こではこのような特定の被写体に対する検索手法を「あ
る物に対する検索」と言う）。前記、ある物に対する検
索手法は、それぞれよく研究されており、特定の被写体
に対しては効果をあげている。従って、汎用的な検索シ
ステムを考える場合、この特定の対象に対する検索手法
で統一しようとするのには無理がある。即ち、画像の対
象毎に用いる検索方式が異なることは避けられないので
ある。そこで、「ある物に対する検索」手法がそのまま
広い範囲で用いることのできる検索の枠組みを与えるこ
とを試みる（図１）。

【００１３】画像を構成する物は、物ごとのデータベー
スで管理される。ここでは、その物の普遍的な性質の管
理と、その物がどの画像のに存在するかを管理する。当
然その物は、複数の画像に存在し得る。また、画像が何
をどの位置に含み、それがどのデータベース中の、どこ
に格納されているかを管理するデータベースがあり、こ
れは画像のレイアウト情報を管理している。これを実現
すれば、従来の様々な“物に対する検索”手法はそのま
まにして様々な画像に対しての検索が可能となる。

【００１４】

【作用】この発明によれば、物象又は物象とその位置関
係をキーとして目的物の範囲を絞り込むことができるの
で、キーが人間の最も記憶に残り易い物象とか、位置関
係であり、しかも特性の精度は比較的小さく（曖昧）て
もよいので、曖昧な記憶をキーとして、希望する物を含
むような絞り込みができる。このような絞り込みを繰り
返せば、厖大な情報の中から希望する物を容易に見出す
ことができる。

【００１５】

【実施例１】この発明の検索モデルレイアウトについて
実施例を図１、２、３、４について説明する。

【００１６】この発明において、「ある物に対する検
索」を行うには、これに対応するデータベースがなけれ
ばならない。図１は絵画のデータベースの一例である。
そこで、人間（PEOPLE）情報１、建物（DESK）情報２、
木（TREE）情報３などの相対位置関係、物の姿勢、大き
さ、種類などの表示（レイアウトという）を行い、これ
をレイアウト管理データベース４として蓄積する。

【００１７】画像中に含まれる各物体（例えば人間５、
建物６、木７）を節点とし、物体間の位置関係を枝とし
たグラフで表現する（図２）。ただし、物体間の位置関
係は各物体の最小外接長方形の重心を参照点とし、常に
左側の物体を視点として５方向とする。

【００１８】次に、物体の姿勢、大きさは物体の種類に
よって適宜数階段に定める。例えば人間の場合であれば
“立っている”、“座っている”、“右を向いている”
…などの姿勢が考えられる。ここで大きさ、姿勢を数段
階に定める意義は、数段階の内から選択をすればいいだ
けなので、記憶が曖昧な場合でも検索要求を与え易いと
いうことである。また、相対的位置関係をグラフによっ
て表現することを述べたが、姿勢、大きさは、このグラ
フの各接点でのセルフループと考えることができるの
で、グラフマッチングの際、計算量削減の一助となる。
例えば、図３における人間の姿勢、大きさに夫々数値を
与え、数値表示する。図４はその一例を示す。

【００１９】

【実施例２】次にレイアウトの検索は図５の通りである
レイアウトの検索では、データベース中の画像データの
レイアウトのグラフ表現と略画作成ツールで作成された
検索要求から抽出されるグラフの共通な最大部分グラフ
の大きさを類似尺度として検索し、適合する画像のＩＤ
を返す。例えば図５の例では人間（PEOPLE1 ）と人間
（PEOPLE2 ）の間の枝が、方向３で一致している（ただ
し、実際の検索では各節点での姿勢、大きさのセルフル
ープも考える）。この場合相対的位置関係が一つマッチ
したと考える。

【００２０】

【実施例３】また物体の特徴による検索は図６の通りで
ある。即ち物体の特徴での検索手法は物体の性質が異な
るので一意に決定する事はできない。従って物体毎の検
索手法は限定せず、各物体の特徴に基づいた検索につい
ては結果として画像のＩＤを返す制限をうけるだけとす
る。

【００２１】

【実施例４】この発明はレイアウト検索と、物体の特徴
による検索が階層的に行われるが、レイアウト検索と物
体の検索の関係について述べる前に、画像のレイアウト
情報と物体の属性が、実際にどのように管理されている
かを説明する（表１、２、３）。

【００２２】表１におけるレイアウトの記述部は画像Ｉ
Ｄの指す画像が含んでいる物体の種類（管理しているデ
ータベースのＩＤ）、その物体のＩＤ、大きさ、姿勢、
画像中での位置、物体間の位置関係を記述している。ま
た、表３は各物体の属性の値を管理しているものである
が、ここで示されているように物体は必ずどの画像に含
まれるかを画像ＩＤとして持っている。表２は画像ＩＤ
と画像の変換テーブルであり検索結果として得られる画
像ＩＤと画像ファイルを結び付ける。

【００２３】

【表１】

【００２４】

【表２】

【００２５】

【表３】

【００２６】レイアウト情報による検索と物体の属性に
よる検索の関連付けには、ユーザの検索要求の形態から
２通り考えられる。

【００２７】まず、ユーザが画像に対する自分の記憶を
もとに、画像を検索する場合である。例えば「ルーブル
美術館で観た、印象に残っているあの絵は誰の何という
作品だったろう。確か真ん中に聖母、その両側に天使が
描かれていたのだが？」のような場合である。

【００２８】また、ユーザの検索要求が「ある物の含ま
れている画像」という場合がある。例えば「Ｋ大学松下
研究室の学生が写っている写真。」というような場合が
考えられる。

【００２９】まず前者の場合を考える。このケースでは
まず略画作成ツールと物体ごとの属性で与えた検索要求
のうち、レイアウトによる検索を行う。その結果、検索
要求と適合したレイアウトの記述が得られる。レイアウ
トの記述部分にはその画像に含まれる物体が管理されて
いるデータベースＩＤと、そのデータベース中でのその
物体のＩＤが記されているので、それを用いてその物体
の属性の参照を行う。検索要求で設定された物体の属性
との照合を行い、一致すれば検索結果として出力する。
この流れを図８に示す。

【００３０】次に後者の場合を考える。このケースで
は、物体ごとの属性を設定し検索する。表３に示したよ
うに、物体ごとのデータベースでは物体がどの画像に含
まれるかを管理している。したがって、属性のマッチン
グをはかることで、検索結果として、その物体を含む画
像のＩＤを得ることができる。

【００３１】

【実施例５】次に、この発明の構成による使用例を図
９、１０、１１、１２、１３について説明する。

【００３２】この発明により、絵画を選定するには、メ
ニューボタンを押すと、略画作成ウィンドウ８にアイコ
ン９が生成される。ユーザはそれを用いて、自分の記憶
と照らし合わせながら略画を作成する。即ち、略画作成
は全てマウス操作によって行うことができる。まず、ど
のアイコンを操作するかを選択する必要がある。これは
アイコン９をクリックすることで行う。その様子を図９
(a)(b)に示す。アイコン９をクリックするとアイコン９
のまわりに赤い長方形の枠１０があらわれ、そのアイコ
ン９が選択されていることを示す。

【００３３】選択されたアイコン９に対しては下記のよ
うに大きさと姿勢と位置の変更ができる。

【００３４】姿勢の操作例を図１０(a)(b)に、大きさの
操作の例を図１１(a)(b)、移動操作の例を図１２(a)(b)
に示す。また、削除の操作例を図１３(a)(b)に示す。例
えば、木（Tree）７、建物（Building）６、動物（Anim
al）１１（図１３(a) ）から木（Tree）７を削除する
（図１３(b) ）。

【００３５】このシステムでは、物体の普遍的特徴によ
る検索は選択形式になっており、物体検索ウィンドウ１
３で指定する。全ての選択項目はトグル形式になってお
り、クリックすると色が反転して選択されていることを
表す。また、もう一度クリックすることによりその選択
をキャンセルできるようになっている。このウィンドウ
は物体メニューのクリックによるアイコンの生成と連動
している。ここで、物体検索ウィンドウは一つのデータ
ベースの検索要求を得るためのインタフェースであり人
間がメニューから選択されると物体（人間）を管理する
データベースが立ち上がったことになる。図１４にその
様子を示す。メニューから人間を選択すれば人間の物体
検索ウィンドウが現れ、建物を指定すれば、建物の物体
検索ウィンドウが現れる。この物体の普遍的特徴による
検索は、その物体によって適する手法が異なる。例えば
メニューに文章というものがあり、それを選択すれば、
文章のアイコンと文章用の物体検索ウィンドウが現れ
る。ここではキーワードでの検索が適している。物体検
索ウィンドウは、略画作成ウィンドウ中のアイコンが選
択されると、そのアイコンの属性を指定するウィンドウ
に切り替わるようになっている。その様子を図１５に示
す。

【００３６】本システムでは画像の登録は略画作成ツー
ルと物体検索ウィンドウを用いて行う。図１６にその流
れを示す。図１６の手順で画像データの画像記述とレイ
アウトキーがレイアウトデータベースに、各物体は各物
体ごとのデータベースに夫々自動的に格納される。

【００３７】図１７に示すテキスト入出力ウィンドウ２
はテキストの入出力に利用される。主な用途は次の通り
である。

【００３８】(a) 検索結果の画像の付随情報表示 (b) 画像の名前による検索の際の名前入力 (c) 画像登録の際の登録名入力 (d) 検索途中でのメッセージ出力 (e) その他システムエラー等のメッセージ出力前候補（Previous）、次候補（Next）ボタン、候補数表
示ウィンドウ、検索中断ボタンについて説明する。

【００３９】前候補ボタン：一つ前の検索候補を見る次候補ボタン：一つ次の検索候補を見るどちらも画像の切り替わりと同時にテキストウィンドウ
の付随情報も切り替わる。その様子を図１８に示す。

【００４０】候補数表示ウィンドウは２つの役割を持っ
ている。一つは検索中に、検索がどこまで進んだかを
「％」表示で示すことであり、もう一つは検索終了時
に、検索結果がいくつあるか、また、現在表示している
画像が何番目の候補からを示すことである。その様子を
それぞれ図１９、図２０に示す。また、検索の途中で所
望の画像を得た場合、検索をその時点で中断したい場合
がある。この発明のシステムではこれもサポートしてい
る。これは検索実行中にテキスト入出力ウィンドウに表
示される検索中断用のボタンをクリックすることで実行
できる。これは図１９に示されている。

【００４１】前記各操作を経た後に結果表示ウィンドウ
内でマウスボタンをクリックするとRESULTウィンドウと
同じ大きさのウィンドウが生成され、マウスをクリック
した時点で結果表示ウィンドウに表示されていた絵が表
示される。この機能は検索された複数の絵を同時に見く
らべたいときに有効である。その例を図２０に示す。

【００４２】前記における検索手段は図２１の通りであ
る。即ち、記憶に残っている略画を作成１３した後、メ
ニューから物体の選択１３し、これについて位置、大き
さ、姿勢の変更５し、ついで物体の属性の設定１６を行
い、略画作成終了１７する。次に検索ボタンをクリック
して検索開始１８し、所望絵がみつかったならばクィッ
クボタンを押して終了１９する。ついで次位のボタンを
用いて検索候補を目視２０する。

【００４３】

【発明の効果】この発明は、人の曖昧な記憶による物象
と物象の位置関係、輪郭、その他をキーとして、検索範
囲を絞り込み、目的物を効率よく検索し得る効果があ
る。然して人の曖昧な記憶ではあるが、記憶に残り易い
物象とその位置関係を用いることによって明確なキーワ
ードなしに、正確な検索ができる点に特徴があり、特に
物象を含む情報の検索に優れている。

【図面の簡単な説明】

【図１】この発明の画像検索システムの枠組

【図２】同じく相対位置関係のグラフ

【図３】同じく大きさと姿勢を示す図

【図４】同じくセルフループの図

【図５】同じくレイアウト検索の例示図

【図６】物体の属性を示す検索ウィンドウの図

【図７】同じくハードの一例を示す図

【図８】同じく画像に対する直接的な検索要求の処理ブ
ロック図

【図９】(a) は同じくアイコンの選択図、(b) は同じく
アイコンの選択図

【図１０】(a) は同じく姿勢の変化を示す図、(b) は同
じく姿勢の変化を示す図

【図１１】(a) は同じく大きさの変化を示す図、(b) は
同じく大きさの変化を示す図

【図１２】(a) は同じくアイコンの移動図、(b) は同じ
くアイコンの移動図

【図１３】(a) は同じくアイコンの削除図、(b) は同じ
くアイコンの削除図

【図１４】同じくアイコン作成と物体検索ウィンドウの
連動

【図１５】同じくアイコンの選択と物体検索ウィンドウ
の連動

【図１６】同じく画像登録の流れ図

【図１７】(a) は同じくテキストウィンドウの使用例、
(b) は同じくテキストウィンドウの使用例

【図１８】(a) は同じく前候補、次候補ボタンの動作、
(b) は同じく前候補、次候補ボタンの動作

【図１９】同じく検索中の検索候補表示

【図２０】同じく検索終了時の検索候補表示ウィンドウ

【図２１】同じく検索の手順ブロック図

【符号の説明】

１人間情報２建物情報３木情報４管理データベース５人間６建物７木８略画作成ウィンドウ９アイコン１０枠１１動物１２物体検索ウィンドウ２２検索候補表示ウィンドウ

───────────────────────────────────────────────────── フロントページの続き (72)発明者横山光男神奈川県横浜市港南区野庭町634−４−443

Claims

【特許請求の範囲】

【請求項１】物象又は物象とその位置関係を分類して
情報を蓄積し、比較的曖昧な物象又は物象と位置関係を
キーとして目的物の範囲を絞り込むことを特徴としたオ
プジェクト検索システム
【請求項２】物象を絵画、写真、図形又は文字とした
請求項１記載のオブジェクト検索システム
【請求項３】目的物の範囲の絞り込みは、より明確な
物象を与えることにより行うこととした請求項１記載の
オブジェクト検索システム
【請求項４】物象とこれに関連する音とをキーとして
目的物の範囲を絞り込むことを特徴としたオブジェクト
検索システム