JP2506987B2

JP2506987B2 - 画像検索装置及び方法

Info

Publication number: JP2506987B2
Application number: JP63227051A
Authority: JP
Inventors: 宏敏上原; 浩西川; 雅之小塚
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1988-09-09
Filing date: 1988-09-09
Publication date: 1996-06-12
Anticipated expiration: 2011-06-12
Also published as: JPH0275071A

Description

【発明の詳細な説明】産業上の利用分野本発明は、画像データ、CAD図形等の２次元データと
コード情報とを合わせて記憶し、そのデータを検索する
画像検索装置に関するものである。

従来の技術近年、文書、画像等の非コード情報の電子化が進めら
れており、オフィス分野では２値イメージを電子化する
文書ファイルシステムが実用化されてきた。このような
大量の情報を記憶管理するシステムでは、希望する情報
を如何に速く、且つ容易に取り出すかが重要なポイント
となる。

しかし従来の検索方法は、例えば文書ファイルシステ
ム等でのキーワードを用いる検索方式のように、文書、
画像を扱う場合においてもコード情報の検索と同じ方式
をとり、画像検索を行うのに適した手法ではなかった。

最近、こうした背景と、更に情報の多様化も伴い、各
情報に適した検索のマンマシンインタフェース（MMI）
の研究開発が盛んに行われている。その中で、画像等を
中心に扱うMMIとして、ハイパーテキスト、ハイパーメ
ディアと呼ばれるソフトウエアが注目されている。

これらは、テキスト、画像等の情報間を、順序のない
リンク（連結）で関係づけ、ユーザが好みに合わせてリ
ンクを用い、情報を手繰っていくものである。リンク
は、予めテキストや画像内にアイコンや透明な領域とし
て埋め込んであり、情報を拾い読み（ブラウジング）し
ていく際にその部分をマウスでクリックすることで、関
連づけられた情報を得ることができる（直接操作）もの
である。

このMMIは、画像検索手法として見た場合、画像を用
いた検索のイメージを与えるこができ、画像に適した方
式であると考えられる。

しかし、ハイパーテキストにおいては、情報は全く分
類せずに同一の情報群として扱う（フラットファイルな
管理）ため、大量の情報を扱った場合に、リンクが無秩
序なものとなって情報のブラウジング時にユーザの混乱
を招くといった問題が生じていた。

また、情報の一部を更新した際に関連する情報の更新
が困難であるといった問題点もあった。

これらの問題点については、データベース管理システ
ム等を利用して大量な情報をグループ化して管理し、リ
ンクをそのグループ間に制約することで回避したものを
提案している（特願昭63−61085号）。

これは予め画像内に設定する領域にはキーワードと属
性を対応づけ、リンクをデータベースに対する問合せと
して実装する。この際問合せは、領域情報と、それとは
独立に持った問合せ情報とを組み合わせることで実現し
ている。従って、リンクの持つ属性情報から問合せされ
るグループを一意に決められることから無秩序なリンク
を無くすることができ、またリンク情報としては、領域
にキーワードを対応づけているだけで特にリンク先の情
報（ポインタ等）は持っていないため、情報更新時のリ
ンクをどうするのかといった問題は回避できていた。

しかしながら、ハイパーテキストでの操作環境は、更
に次に示すもう１つの問題点を有していた。

発明が解決しようとする課題リンク情報を用いた情報検索（以下リンク検索と略
記）は、操作性の点では優れているものであるが、扱う
情報が大きくなった場合に、検索実行前にリンクを手繰
ることでどのような情報が得られるのかが判断できなく
なるという問題点を有していた。

これは、情報管理が全く分類されておらずフラットで
あり、その中をリンクが自由に張られていることと、リ
ンクの更新が頻繁に行われることに起因し、このためユ
ーザが操作の途中で迷子に陥る現象が生じていた。

また、自然画像等を扱うシステムでは、画質重視の点
からリンクが張られている部分がアイコンではなく、画
像上の透明な領域を用いる場合が多く、アイコンに比べ
て一層、その処理内容が判断しにくくなっている。

従って、大量な情報（画像）を扱う場合には、まず情
報を分類して管理する事は勿論、その管理された空間内
でリンク検索をする段階で、リンクによる検索対象とし
て何があるのか、或いはユーザの希望する検索対象にリ
ンクする領域は何処かといったことをユーザに提示する
操作のガイド機能が必要となる。こうした課題に対し、
通常は、検索対象全体を確認できる“地図的な図面”を
ユーザに提示し、ユーザの居る部分をハイライト等で識
別可能とする方法がとられる。これは、直観的で分かり
易い有効なガイド方法であるが、情報量が大きくなった
場合に一見しただけで判別できなくなる可能性が高い。

本発明はかかる点に鑑み、画像内２次元領域からのリ
ンク先を認識できるように、画像をグループ分類して管
理し、画像表示時にリンクの存在するグループ名を自動
的に表示する手段を設けて、検索対象として何が有るの
かをユーザにガイドする画像検索装置を提供することを
目的とする。

また、領域からのリンク先確認の要求に対し、表示画
像からリンク可能な画像群をユーザに選択させて、その
画像群に関連づけられた領域を他の領域とは識別できる
ように表示して、画像内領域と画像グループとのリンク
関係を確認できる画像検索装置を提供することを目的と
する。

課題を解決するための手段本発明は、文字、数値等のコード情報と画像データを
記憶するデータ記憶手段と、前記コード情報と画像デー
タを表示する表示手段と、前記表示手段により表示され
た情報の位置を指示する入力手段と、画像内の所定２次
元領域と少なくとも１つ以上の画像を関連づけるための
リンク（連結）情報を管理するリンク情報管理手段と、
前記関連づけられた画像データを前記リンク情報に基づ
き前記データ記憶手段内から取り出すための情報を管理
する画像検索情報管理手段と、前記データ記憶手段内の
画像を複数にグループ分類し、前記リンク情報と前記画
像検索情報とをグループ毎に管理するグループ別管理手
段と、前記入力手段で指示される位置情報から前記リン
ク情報を用いて画像内２次元領域に関連づけられた画像
を取り出すリンク検索制御手段とを具備する画像検索装
置に対し、１つは前記表示手段に表示される画像のリン
ク情報から前記画像内２次元領域に関連づけられた画像
のグループを判定するリンク先判定手段と、前記リンク
先判定手段により得られた画像グループを視覚化するリ
ンク先視覚化手段とを有して、画像毎のリンク先の視覚
化機能を持ったものとし、他には前記表示手段に表示さ
れる画像の画像内２次元領域に関連づけられる画像群
（例えば、画像グループ等）をユーザに選択させるリン
ク先選択手段と、前記選択された画像群にリンクする前
記画像内２次元領域を選出する有効領域判定手段と、前
記選出された領域を前記表示手段上で他の領域とは識別
できるように表示制御する有効領域表示制御手段とを有
して、領域からのリンク先画像を確認できる画像検索装
置としている。

作用本発明は、リンク情報を用いて画像検索を行う装置に
おいて、画像データをグループ毎に分類して管理し、画
像表示時にリンクの存在するグループ名を自動的に表示
することで、表示画像からの検索対象をユーザに知らせ
ることができる。

また、ユーザに検索対象となる画像群を選択させるこ
とで、その画像群に関連づけられた領域だけをユーザに
認識させることができる。つまり、ユーザは画像内領域
と画像群との対応関係を知ることができる。

実施例第１図、第７図、第10図は、それぞれ本発明の一実施
例における画像検索装置のブロック図を示すものであ
る。

以下の実施例の説明においては、本発明の特徴である
検索操作時のガイド機能について説明しており、画像内
２次元領域を用いた直接指示検索の手順については特願
昭63−61085号に更に詳しく説明されている。

まず、第１図に示す画像内領域からのリンク先グルー
プを視覚化する機構を有した画像検索装置の実施例につ
いて第２図〜第６図を用いて説明する。第１図におい
て、１は以下の２〜７を制御する制御手段、２はコード
情報と画像データを表示する表示手段、３は表示手段上
で表示された情報の位置を指示する入力手段で、例えば
キーボードやマウス等から構成される。

４はデータ記憶手段、５はデータ記憶手段４内の画像
データをグループ毎に分類して管理する記憶管理機構
で、例えばデータベース管理システム等で実現できる。

６は記憶管理機構の情報を用い画像内領域に関連づけ
られる画像を検索するリンク検索制御手段、７は記憶管
理機構内の情報を用いて表示画像からのリンク先をユー
ザに提示するリンク先視覚化機構であり、本発明の特徴
となる部分である。

51〜53は記憶管理機構５を構成するもので、51は画像
内領域に他の画像を関連づけたリンク情報を管理するリ
ンク情報管理手段、52はリンク検索制御手段６の制御に
よりデータ記憶手段４内の画像データを取り出すかめの
検索情報を管理する画像検索情報管理手段、53は各画像
データに関するリンク情報と画像検索情報とを画像のグ
ループ毎に管理するグループ別管理手段である。

第２図は、記憶管理機構５内で画像データを管理する
場合の管理表の一例を示したもので、リンク情報管理手
段51で管理されるリンク情報が、領域情報と、それとは
独立して管理される問合せ情報とから構成される場合に
ついての例である。（ａ）は、画像検索情報管理手段52
内で管理される画像検索情報の管理表であり、（ｂ）、
（ｃ）は、リンク情報管理手段51内で管理されるもので
ある。（ｂ）は問合せ情報管理部512内で管理される問
合せ情報の管理表で、ここでは、リンク先のグループ名
と、組み合わせる領域属性（リンク先グループの画像検
索情報の一属性に対応）とを管理している。（ｃ）は、
領域情報管理部511内で管理される領域情報の管理表
で、領域座標の情報とそれに対応づけられるキーワード
属性とキーワードとを管理している。図において、画像
ID、問合せID、領域IDとは、各々の情報を一意に識別す
るユニークな識別キーとする。

リンク検索は、第１図において画像内領域の指示時
に、リンク検索制御手段６内の位置・コード変換部61
が、領域情報を用いて該当する領域の属性とキーワード
とを取り出し、画像検索指示作成部62が、それらの情報
と問合せ情報とを組み合わせることで実行される。具体
的に検索指示の生成は、（ｃ）の領域情報の持つキーワ
ード属性が（ｂ）の問合せ情報のキーワード属性に一致
したリンク先グループに対し、領域キーワードを用いて
行われる。

また、リンク情報を領域情報と問合せ情報とに分離し
たのは、１つの領域から複数の検索操作（リンク）を可
能とするためである。つまり、ユーザは領域と組み合わ
せる問合せ情報を選択することで、１つの領域から異な
る画像群を検索できる（リンク検索のバリエーション増
大）（特願昭63−61085号に詳細を明記）。

第３図は、これまでの操作画面例を示したものであ
り、例えばリンク先に関する情報等は全く表示されてい
ない。ところが、こうした画面であると、ユーザは画像
を見ただけでは、リンクしている画像群（グループ）と
してどんなものがあるのか、判断が難しく、使用上問題
となっていた。

第４図は、この問題点を解決するために第１図に示す
画像検索装置で、画像からのリンク先グループを自動的
に提示する処理手順を示したものである。

第５図は、データ記憶手段４内の画像データを３つの
グループ（「地図」、「不動産」、「ホテル」）に分類
して管理した場合のリンクの概念図を示したものであ
る。この際、第２図（ａ）、（ｂ）、（ｃ）に示す管理
表は各々のグループ毎でグループ別管理手段53で管理さ
れ、リンク先としては、例えば「地図」データからは第
５図に示す〜の３つが存在する。

第６図は、この場合における記憶管理手段５内の「地
図」データに関する管理情報と表示手段２での操作画面
例を示したものである。

以下、第１図に示す画像検索装置での画像毎のリンク
先ガイダンスの処理手順を第４図フローと第６図を用い
て説明する。

まず表示手段２上に画像として、「地図」データが表
示されているものする。

リンク先視覚化機構７内のリンク先判定手段71は、画
像表示の際にリンク情報管理手段51内の領域情報管理手
段511から表示画像の持つ領域情報（第６図（ａ））
と、問合せ情報管理部512からそれと組み合わせる問合
せ情報（第６図（ｂ））を取り出し、各領域情報のキー
ワード属性と問合せ情報の領域情報とを比較する。

一致した場合にはリンク先視覚化手段72によりそのリ
ンク先グループを“リンク有り”として画面上に表示す
る。つまり、第６図（ａ）、（ｂ）では領域属性が“地
区名”と“物件地名”のグループについては、表示画像
内の領域からのリンクが存在し、例えば画面上に第６図
（ｃ）のように第３図画像の上部にリンク先グループの
確認部分を設けて、その「地図」と「不動産」の部分を
ハイライト“■”にする。

また、一致しなかった“所在地名”のリンク先グルー
プ「ホテル」は、表示画像内の領域からはリンクが張ら
れていないため、“□”の表示としている。

以上のリンク先グループのガイド処理は、画像表示時
に毎回行なわれる。すなわち、検索した画像を表示する
都度、対応するリンク先を第４図フローに基づいて比較
し、リンク先グループの表示内容を更新する。これによ
り、ユーザは画像表示の段階で、表示画像からのリンク
先を予め確認でき、検索対象を認識しながら直接指示検
索を効率良く行うことができる。つまり、従来の画像を
一見しただけではどのような画像が検索できるかが判断
できないというのではなく、ユーザが操作時に画面を見
て、ある程度検索される画像を判断できるものである。

リンク先視覚化手段72でのリンク有無の表示方法につ
いては、ユーザが確認し易い方法望ましく、第６図
（ｃ）の他にリンクが存在するグループ名のみを表示す
る方法等でも構わない。

次に、第７図に示す画像検索装置の実施例について第
８図、第９図を用いて説明する。

第７図において、１〜６は第１図実施例のものと同じ
である。８はユーザが選択したグループにリンクする領
域を識別可能なように表示する有効領域視覚化機構であ
る。記憶管理機構５内の管理情報は第１図実施例と同じ
（第２図、第５図に相当）とする。

第８図は、第３図に示すような操作画面で、領域がど
の画像にリンクされているのか判断できないという問題
点を解決するために、第７図に示す画像検索装置でグル
ープ毎にリンクした領域をガイドする処理手順を示した
ものである。

また第９図は、指定グループにリンクした領域（以
下、有効領域と略記）の視覚化時の記憶管理手段５内の
管理情報と表示手段２での画面例を示したものである。

以下、第７図に示す画像検索装置での有効領域のガイ
ダンスの処理手順を第８図フローと第９図を用いて説明
する。

まず表示手段２上に検索された画像として、「地図」
データが表示されているものする。

この画像からのリンク先グループとしては、第５図に
示すように「地図」、「不動産」、「ホテル」の３つが
可能である。

次に、ユーザは必要に応じてリンク可能なグループか
ら１つのグループを選択する。ここで必要に応じてとい
うのは、常にシステム側が行う処理では無いことを意味
し、例えば、ユーザがどの領域から何が検索されるのか
を知りたい場合などに、領域指示の前に行うものであ
る。この様なリンク先確認は、領域によるリンク検索の
場合、情報間の関連づけが不明確である等の問題で頻繁
に発生するものである。

これを受けて、有効領域視覚化機構８内のリンク先選
択手段81は、リンク情報管理手段51から地図画像に組み
合わされる問合せ情報を用い（第９図（ａ））、この３
つのリンク先を第９図（ｃ）の左側に示すような画面で
表示手段２上に提示し、ユーザ選択を促す。選択の方法
は、入力手段３を用いて提示されたメニューを指示する
などで行える。

リンク先グループの提示後、ユーザが希望するグルー
プとして、「地図」を選択したとする。

有効領域判定手段82は、選択により得られた第９図
（ａ）からリンク先「地図」の領域属性“地区名”と、
表示画像の全領域情報（第９図（ｂ））のキーワード属
性とを逐次比較する。

一致した場合には有効領域表示制御手段83によりその
領域を他とは識別可能なように画面上に表示する。つま
り、第９図（ｂ）に示す領域情報（第９図（ｃ）の画像
のもの）において、キーワード属性が“地区名”の領域
が「地図」にリンクするため、その領域Ｘ区を第９図
（ｃ）のように表示することになる（領域枠の表示）。

この時、一致しなかった領域Ｙ区、Ｚ区については、
領域枠は表示させないものとする（図中点線部）。

有効領域表示制御手段83による識別可能な表示方法に
ついては、この他に領域を全て表示させ、リンクの存在
する領域を色を変えて表示させる方法等であっても構わ
ない。

以上により、従来のリンク検索を実行してみないと領
域にリンクづけられた画像が判断できないという問題点
に対し、ユーザに先ず希望する画像グループを指示させ
ることで、そのグループにリンクづけられた領域を確認
させることができる。従って、ユーザはリンク検索を実
行しなくとも、希望する画像グループに対してリンクし
た領域を確認しながら効率良く画像検索をすることがで
きる。

上記実施例では、ユーザが希望した際のリンク先グル
ープの選択を第９図（ｃ）に示すような専用のメニュー
により行う場合について述べたが、第１図実施例で述べ
たリンクの存在するグループ名を表示させるリンク先視
覚化機構を持たせて、これを利用した選択画面としても
良い。つまり、第９図（ｄ）のように画像表示時にリン
クの存在するグループ名を画像と共に表示し、ユーザに
それを用いてリンク先グループの選択を促す。図ではリ
ンクの存在するグループとして「地図」と「不動産」と
があり（■のリンク有りを示すハイライト表示）、この
２つからリンク先グループを選択することになる。（第
９図（ｄ）の網かけで示す部分）。この時、ユーザはリ
ンク先グループ選択時にリンクが存在するグループのみ
を対象とでき、更にリンク先選択が無駄なく行えるよう
になる。

次に、第10図に示す画像検索装置の実施例について第
11図〜第13図を用いて説明する。

第10図において、１〜６は第１図実施例のものと同じ
である。９はユーザに希望する画像群を選出させ、その
得られた画像群にリンクする領域を識別可能なように表
示する手段を有した有効領域視覚化機構である。

第７図実施例での有効領域視覚化機構との違いは、第
７図の画像検索装置が分類したグループ内の画像全てを
リンク先対象として処理するのに対し、本画像検索装置
はグループ内画像を特定の条件により絞り込み、その絞
り込んだ画像群をリンク先対象とする点である。従っ
て、ユーザがリンク先として選択するのは、分類したグ
ループの中の画像で更に制約を加えるための絞り込み条
件を満足したものである。

第11図は、記憶管理機構５内で画像データを管理する
場合の管理表の一例を示したもので、（ａ）、（ｃ）
は、第２図と同じものであるが、（ｂ）の問合せ情報
は、第２図（ｂ）に加えて絞り込み条件の情報を管理し
ている。ここで、絞り込み条件を問合せ情報として管理
したのは、選択されるリンク先の情報をシステム内で問
合せ情報に対応づけるためによる。

第12図は、第10図に示す画像検索装置での指定グルー
プで、特定の条件を満足した画像群にリンクする領域を
ガイドする処理手順を示したものである。

また第13図は、この時の記憶管理手段５内の管理情報
と表示手段２での画面例を示したものである。

以下、第10図に示す画像検索装置での有効領域のガイ
ダンスの処理手順を第11図フローと第13図を用いて説明
する。

まず表示手段２上に検索された画像として、「地図」
データが表示されているものし、検索操作として、ユー
ザが一戸建て物件の画像を検索したい場合を想定する。
この際、ユーザにとって必要なのは一戸建て物件画像を
検索するための情報となる。

この画像からのリンク先グループとしては、第５図に
示すように前記２つの実施例と同じく「地図」、「不動
産」、「ホテル」の３つが可能である。次に、ユーザは
画像検索時に、或る特定の画像群（一戸建て物件画像）
にリンクする領域を確認する目的で、リンク先グループ
とそのグループ内での絞り込み条件とを選択する。この
操作は、システム側が自動的に行うものでは無く、ユー
ザの指示より行われる処理である。

有効領域視覚化機構９内のリンク先選択手段91は、リ
ンク情報管理手段51から、地図画像に組み合わされる問
合せ情報を用い（第13図（ａ））、この３つのリンク先
グループと絞り込み条件とを第13図（ｅ）の左側に示す
ような画面で提示し、ユーザ選択を促す。図では、画像
グループと絞り込み条件を階層的に表示した例であり、
ユーザは画像グループとして「不動産」を、絞り込み条
件として“一戸建て”を選択する。これは、領域と組み
合わせる問合せ情報として第13図（ａ）の２つ目を選択
したことになる。

リンク先の選択後、前検索処理手段92では先ずリンク
先グループと条件とから該当する画像群を取り出す。こ
の場合、第13図（ｂ）に示す「不動産」の画像検索情報
から〔不動産タイプ〕が“一戸建て”の画像群（第13図
（ｃ））を取り出すことになる。

「不動産」画像グループの絞り込み後、有効領域判定
手段93は、絞り込んだ画像群の画像検索情報（第13図
（ｃ）と、表示画像の領域情報（第13図（ｄ））とを比
較する。

属性とキーワードとが一致した場合は、有効領域表示
制御手段94によりその領域を他とは識別可能なように表
示する。つまり、第13図（ｄ）で属性“物件地名”でキ
ーワードが“Ｙ区”の領域は、得られた第13図（ｃ）の
画像群にリンクするものであり、第13図（ｅ）の左上Ｙ
区領域のようにその領域枠を表示させる。また、この時
一致しなかった領域Ｘ区、Ｚ区については、その領域枠
を表示させない（第13図（ｅ）における点線部）。

有効領域表示制御手段83による識別可能な表示方法に
ついては、この他に、領域を全て表示させ、リンクの存
在する領域は色を変えて表示させる方法等であっても構
わない。

また、上記実施例ではそのリンク先画像群を得る条件
を問合せ情報に対応づけたものとしたが、問合せ情報を
第２図（ｂ）のようなものとし（リンク先グループのみ
を管理）、絞り込み条件の選択は、ユーザがリンク先選
択時に任意に設定するものとしても構わない。操作性の
点では条件記述のための操作が、本実施例の操作に比べ
て複雑になるものと考えられる。

以上により、本実施例のような検索操作の場合に、従
来、リンク検索を実行し、その検索結果が不動産画像で
あるかどうかを判断した後に、更に一戸建て物件画像を
捜し出さなければならなかったのを、ユーザに希望する
画像群（不動産、一戸建て）をまず指定させることで、
その画像を検索できる領域が確認できるようになる。

従って、ユーザは、領域からのリンク先を確認する必
要がある場合や、検索時にある程度希望する画像群を絞
り込み、その画像を対象にリンク検索を行った方が良い
ような場合に、希望する画像群を得るための指示（グル
ープと絞り込み条件との選択）を行うことで、その画像
群にリンクする有効領域を視覚的に確認でき、効率良い
リンク検索を行うことができる。

第７図実施例との効果の差異は、操作内容により異な
るが、検索対象として予めユーザが、グループ内情報か
ら必要な画像を絞り込んだ方が良いような場合では、本
実施例の方が更に操作効率を高めることができる。

上記実施例では、リンク先グループの選択を第13図
（ｅ）に示すような専用のメニューによる行う場合につ
いて述べたが、第１図実施例で述べた表示画像毎のリン
ク先をユーザに提示するリンク先視覚化機構を持たせ、
これを利用した選択画面としても良い（第13図
（ｆ））。つまり、画像表示時にリンクの存在するグル
ープ名を画像と共に表示させ、ユーザにそのリンク先グ
ループ上で各絞り込み条件を選択させるもので、図では
リンク先グループとして「地図」と「不動産」とが存在
し、「不動産」のグループ上で絞り込み条件“一戸建
て”を選択している。この時、リンク先グループ選択時
にリンクが存在するグループのみを対象とでき、更にリ
ンク先選択が無駄なく行えるようになる。

以上３つの実施例では、リンク情報として領域情報と
問合せ情報とに分けて管理し、リンクをキーワードを用
いた検索としたが、リンクを一般的な領域に関連画像の
ID等（ポインタ情報）を対応づけたものであっても構わ
ない。しかし、領域毎にリンク画像のIDを対応づける
と、１対多のリンクが困難となることや、従来例で述べ
たデータの一貫性の問題等が生じることになる。しか
し、これらの問題は、本実施例のようなリンクの実現法
を取れば解決できる（従来例もしくは特願昭63−61085
号に明記）。

発明の効果以上説明したように本発明によれば、画像検索装置で
のリンクによる検索において、操作上以下に示すような
効果がある。

１）新たに検索した画像を表示する毎に、表示画像から
リンク先として、分類して管理したグループ名を自動的
に画面表示することで、ユーザは検索対象として何があ
るのかをその都度確認でき、希望する画像を効率良く検
索することができる。またユーザがリンク先を認識する
ことは、同時にグループ化された情報で、今何処に位置
するのかも判断でき、リンク検索時に迷子に陥るといっ
た問題点を解消することができる。さらに、一般的な検
索対象全体を確認できる“地図的な画面”をユーザに提
示するといったガイダンス方法と組み合わせれば、常に
全体と部分とを把握できるため、非常に効率良い検索環
境を提供することができる。

２）ユーザが検索時にリンク対象となる画像群を選択し
た場合に、その画像群に関連づけられた領域を識別可能
なように表示することで、ユーザは領域からどのような
画像が得られるのかを判断でき、効率的な検索が可能と
なる。また、同時に希望する画像を検索する際に不要な
領域情報に惑わされること無く検索を行うこともでき
る。

これは、特に自然画像において、リンクを持たせる部
分として透明な領域（処理内容を抽象表現したアイコン
ではない）が多く用いられるが、そのような場合に非常
に効果的なものとなる。

【図面の簡単な説明】

第１図、第７図、第10図はそれぞれ本発明の一実施例に
おける画像検索装置のブロック図、第２図、第11図はそ
れぞれ第１図、第10図の画像検索装置内の記憶管理機構
内で管理される情報の管理表の説明図、第３図は第１図
の実施例における操作画面例を示す図、第４図、第８
図、第12図は各実施例におけるガイダンス操作のフロー
図、第５図は本実施例でグループ化された画像の関連
図、第６図、第９図、第13図は各実施例での管理情報の
例と操作画面例を示す図である。１…制御手段、２…表示手段、３…入力手段、４…デー
タ記憶手段、５…記憶管理機構、６…リンク検索制御手
段、７…リンク先視覚化機構、８…有効領域視覚化機
構、９…有効領域視覚化機構（条件付き）、51…リンク
情報管理手段、52…画像検索情報管理手段、53…グルー
プ別管理手段、71…リンク先判定手段、72…リンク先視
覚化手段、81…リンク先選択手段、82…有効領域判定手
段、83…有効領域表示制御手段、91…リンク先選択手
段、92…前検索処理手段、93…有効領域判定手段、94…
有効領域表示制御手段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平１−233670（ＪＰ，Ａ) 情報処理学会研究報告ＤＢＳ−65−５（1988−５−19）Ｐ１．８

Claims

(57)【特許請求の範囲】

【請求項１】文字、数値等のコード情報と画像データを
記憶するデータ記憶手段と、前記コード情報と画像デー
タを表示する表示手段と、前記表示手段により表示され
た情報の位置を指示する入力手段と、画像内の所定の２
次元領域と少なくとも１つ以上の画像を関連づけるため
のリンク（連結）情報を管理するリンク情報管理手段
と、前記関連づけられた画像データを前記リンク情報に
基づきデータ記憶手段内から取り出すための情報を管理
する画像検索情報管理手段と、前記データ記憶手段内の
画像を複数のグループに分類し、前記リンク情報と前記
画像検索情報とをグループ毎に管理するグループ別管理
手段と、前記入力手段で指示される位置情報から前記リ
ンク情報を用いて画像内２次元領域に関連づけられた画
像を取り出すリンク検索手段とを具備し、ユーザが画像
内の２次元領域を直接操作して検索処理を行う画像検索
装置であって、前記表示手段に表示される画像のリンク
情報から前記画像内２次元領域に関連づけられた画像の
グループを判定するリンク先判定手段と、前記リンク先
判定手段により得られた画像グループをボタン等で視覚
化するリンク先視覚化手段を有し、検索した画像を表示
する際に、前記リンク先判定手段により判定された該表
示画像のリンク先の画像グループを前記リンク先視覚化
手段を用いて提示することを特徴とする画像検索装置。
【請求項２】文字、数値等のコード情報と画像データを
記憶するデータ記憶手段と、前記コード情報と画像デー
タを表示する表示手段と、前記表示手段により表示され
た情報の位置を指示する入力手段と、画像内の所定の２
次元領域と少なくとも１つ以上の画像を関連づけるため
のリンク（連結）情報を管理するリンク情報管理手段
と、前記関連づけられた画像データを前記リンク情報に
基づきデータ記憶手段内から取り出すための情報を管理
する画像検索情報管理手段と、前記データ記憶手段内の
画像を複数のグループに分類し、前記リンク情報と前記
画像検索情報とをグループ毎に管理するグループ別管理
手段と、前記表示手段に表示される画像の画像内２次元
領域に関連づけられる所定の画像グループを入力手段に
より選択するリンク先選択手段と、前記入力手段で指示
される位置情報と前記リンク情報を用いて画像内２次元
領域に関連づけられた前記リンク先選択手段により選択
された画像グループの画像を取り出すリンク検索手段と
を具備し、ユーザが画像内の２次元領域を直接操作して
検索処理を行う画像検索装置であって、前記リンク先選
択手段により選択された画像グループにリンクする前記
画像内２次元領域を選出する有効領域判定手段と、前記
選出された領域を前記表示手段上で他の領域とは識別で
きるように表示制御する有効領域表示制御手段とを備
え、検索した画像を表示する際に、前記リンク先選択手
段により選択された画像グループにリンクする該表示画
像内の２次元領域を前記有効領域表示制御手段を用いて
識別できるよう提示することを特徴とする画像検索装
置。
【請求項３】文字、数値等のコード情報と画像データを
記憶するデータ記憶手段と、前記コード情報と画像デー
タを表示する表示手段と、前記表示手段により表示され
た情報の位置を指示する入力手段と、画像内の所定の２
次元領域と少なくとも１つ以上の画像を関連づけるため
のリンク（連結）情報を管理するリンク情報管理手段
と、前記関連づけられた画像データを前記リンク情報に
基づきデータ記憶手段内から取り出すための情報を管理
する画像検索情報管理手段と、前記データ記憶手段内の
画像を複数のグループに分類し、前記リンク情報と前記
画像検索情報とをグループ毎に管理するグループ別管理
手段と、前記表示手段に表示される画像の画像内２次元
領域に関連づけられる画像グループと前記グループ内画
像の全てではない画像群を取り出すための絞り込み条件
とをユーザに選択させるリンク先選択手段と、前記選択
された画像グループと絞り込み条件とから前記絞り込み
条件を満足する画像群を選出する前検索処理手段と、前
記入力手段で指示される位置情報と前記リンク情報を用
いて画像内２次元領域に関連づけられた前記リンク先選
択手段により選択された画像群の画像を取り出すリンク
検索手段とを具備し、ユーザが画像内の２次元領域を直
接操作して検索処理を行う画像検索装置であって、前記
前検索処理手段により選出された画像群にリンクする前
記画像内２次元領域を選出する有効領域判定手段と、前
記選出された領域を前記表示手段上で他の領域とは識別
可能なように表示制御する有効領域表示制御手段とを有
し、検索した画像を表示する際に、前記リンク先選択手
段により選択された画像群にリンクする該表示画像内の
２次元領域を前記有効領域表示制御手段を用いて識別で
きるよう提示することを特徴とする画像検索装置。
【請求項４】リンク情報管理手段内のリンク情報から表
示された画像の２次元領域に関連づけられた画像のグル
ープを判定するリンク先判定手段と、前記表示画像に関
連づけられた画像グループとして判定されたリンク先を
視覚化するリンク先視覚化手段とからなるリンク先視覚
化機構を有し、リンク先選択手段が、前記リンク先視覚
化機構により得られる表示画像毎のリンク先を用いて選
択させることを特徴とする請求項２または３記載の画像
検索装置。
【請求項５】リンク情報が、画像内２次元領域と前記２
次元領域に対応したキーワード等のコード情報からなる
領域情報と、前記領域情報とは独立して管理する前記領
域情報のキーワードに基づいた検索を行うための問合せ
情報とから成り、リンク検索制御手段が、画像内２次元
領域に関連づけられる画像の検索を前記領域情報と前記
問合せ情報とを組み合わせて行うことを特徴とする請求
項１、２、３または４記載の画像検索装置。
【請求項６】文字、数値等のコード情報と画像データを
記憶するデータ記憶手段と、前記コード情報と画像デー
タを表示する表示手段と、前記表示手段により表示され
た情報の位置を指示する入力手段とを備えるコンピュー
タシステムにおいて、画像内の所定の２次元領域と少な
くとも１つ以上の画像を関連づけるためのリンク（連
結）情報を管理するステップと、前記関連づけられた画
像データを前記リンク情報に基づきデータ記憶手段内か
ら取り出すための情報を管理するステップと、前記デー
タ記憶手段内の画像を複数のグループに分類し、前記リ
ンク情報と前記画像検索情報とをグループ毎に管理する
ステップと、前記入力手段で指示される位置情報から前
記リンク情報を用いて画像内２次元領域に関連づけられ
た画像を取り出すステップとを具備して、ユーザが画像
内の２次元領域を直接操作して検索処理を行う画像検索
方法であって、検索した画像を表示する際に、前記表示
手段に表示される画像のリンク情報から前記画像内２次
元領域に関連づけられた画像のグループを判定するステ
ップと、前記判定されたリンク先の画像グループをボタ
ン等で画面上視覚化するステップとにより、ユーザにリ
ンク先を提示することを特徴とする画像検索方法。
【請求項７】文字、数値等のコード情報と画像データを
記憶するデータ記憶手段と、前記コード情報と画像デー
タを表示する表示手段と、前記表示手段により表示され
た情報の位置を指示する入力手段とを備えるコンピュー
タシステムにおいて、画像内の所定の２次元領域と少な
くとも１つ以上の画像を関連づけるためのリンク（連
結）情報を管理するステップと、前記関連づけられた画
像データを前記リンク情報に基づきデータ記憶手段内か
ら取り出すための情報を管理するステップと、前記デー
タ記憶手段内の画像を複数のグループに分類し、前記リ
ンク情報と前記画像検索情報とをグループ毎に管理する
ステップと、前記表示手段に表示される画像の画像内２
次元領域に関連づけられる所定の画像グループを入力手
段により選択するステップと、前記入力手段で指示され
る位置情報と前記リンク情報を用いて画像内２次元領域
に関連づけられた画像のうち前記選択された画像グルー
プの画像を検索するステップとを具備して、ユーザが画
像内の２次元領域を直接操作して検索処理を行う画像検
索方法であって、検索した画像を表示する際に、前記選
択された画像グループにリンクする前記画像内２次元領
域を選出するステップと、前記選出された領域を前記表
示手段上で他の領域とは識別できるように表示制御する
ステップとにより、ユーザの選択した画像グループにリ
ンクする該表示画像内の２次元領域を識別できるようユ
ーザに提示することを特徴とする画像検索方法。
【請求項８】文字、数値等のコード情報と画像データを
記憶するデータ記憶手段と、前記コード情報と画像デー
タを表示する表示手段と、前記表示手段により表示され
た情報の位置を指示する入力手段とを備えるコンピュー
タシステムにおいて、画像内の所定の２次元領域と少な
くとも１つ以上の画像を関連づけるためのリンク（連
結）情報を管理するステップと、前記関連づけられた画
像データを前記リンク情報に基づきデータ記憶手段内か
ら取り出すための情報を管理するステップと、前記デー
タ記憶手段内の画像を複数のグループに分類し、前記リ
ンク情報と前記画像検索情報とをグループ毎に管理する
ステップと、前記表示手段に表示される画像の画像内２
次元領域に関連づけられる画像グループと前記グループ
内画像の全てではない画像群を取り出すための絞り込み
条件とをユーザに選択させるステップと、前記選択され
た画像グループと絞り込み条件とから前記絞り込み条件
を満足する画像群を選出する前検索ステップと、前記入
力手段で指示される位置情報と前記リンク情報を用いて
画像内２次元領域に関連づけられた画像のうち前記前検
索ステップにより検索された画像群の画像を取り出すス
テップとを具備して、ユーザが画像内の２次元領域を直
接操作して検索処理を行う画像検索方法であって、検索
した画像を表示する際に、前記前検索ステッにより選出
された画像群にリンクする前記画像内２次元領域を選出
するステップと、前記選出された領域を前記表示手段上
で他の領域とは識別可能なように表示制御するステップ
とにより、ユーザの選択した画像群にリンクする該表示
画像内の２次元領域を識別できるようユーザに提示する
ことを特徴とする画像検索方法。
【請求項９】リンク情報から表示された画像の２次元領
域に関連づけられた画像のグループを判定するステップ
と、前記表示画像に関連づけられた画像グループとして
判定されたリンク先を視覚化するステップとを有し、前
記視覚化されたリンク先を用いて所定の画像グループを
ユーザに選択させることを特徴とする請求項７または８
記載の画像検索方法。
【請求項１０】リンク情報が、画像内２次元領域と前記
２次元領域に対応したキーワード等のコード情報からな
る領域情報と、前記領域情報とは独立して管理する前記
領域情報のキーワードに基づいた検索を行うための問合
せ情報とから成り、画像内２次元領域に関連づけられる
画像の検索を前記領域情報と前記問合せ情報とを組み合
わせて行うことを特徴とする請求項６、７、８または９
記載の画像検索方法。