JP2672904B2 - 画像データベース検索方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は表示装置，位置入力装
置，処理装置及び多数の画像データとを備え，表示装置
に複数のキーワードを表示して１を選択する操作を段階
的に行う画像データベースの検索方法に関する。

【０００２】近年，画像をイメージデータとしてメモリ
に蓄積し，別に用意された文字データを対象にキーワー
ドを用いて検索を行って検索された結果として特定の画
像を出力する方法が用いられている。しかし，文字によ
るキーワードでは適切に内容を表現することが困難な場
合があり，迅速な検索方法の実現が望まれている。

【０００３】

【従来の技術】従来，イメージデータの形式で格納され
た多数の画像を検索する方法の例を説明すると，多数の
画像データを記憶媒体に格納し，それらの各画像データ
に対してその内容を文字で表すキーワードを付与して文
字データファイルを作成する。

【０００４】対話形式で希望する画像データを検索する
場合，キーワードを入力して文字データファイルを検索
して該当するキーワードを含む１つまたは複数の画像デ
ータ（または画像データのリスト）が，複数の画像デー
タが検索された場合は，更に別のキーワードを入力し
て，所望の１つ（または複数）に絞り込まれるまで同様
の方法で検索が行われる。

【０００５】

【発明が解決しようとする課題】上記の従来の対話形式
の画像データの検索方法によれば，検索を行うために文
字データにより構成するキーワードを用いる必要があ
る。この場合，検索する画面に選択候補となる複数のキ
ーワードの文字列を画面に表示して，その中から該当す
る１つのキーワードを選択する方法を用いることができ
るが，画像データベースを利用する人が，文字により表
現されるキーワードの意味を理解し，適切に選択するこ
とが要求される。しかし，文字により表現されたキーワ
ードは，利用者の年令（子供，大人）や，知識，経験等
により必ず理解できるとは限らない。

【０００６】このため，キーワードの選択を誤った場合
は，検索結果が間違ったものとなったり，選択できない
ために途中で検索を止めざるを得なくなるという問題が
あった。

【０００７】本発明は画像データベースを検索するキー
ワードの選択が予備知識がなくても容易にできる画像デ
ータベース検索方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】図１は本発明の原理構成
図，図２は本発明の画像データベースの構造を表す。図
１において，１は処理装置，２は表示メモリを含む画像
表示部，３は位置指定手段，４は画像データベースを含
むメモリであり，処理装置１内の１０は条件画像表示手
段，１１は入力解読手段，１２は移行先識別手段，１３
は次条件画像作成手段，１４は検索結果画面作成手段で
ある。

【０００９】メモリ４の画像データベースには，コード
データで構成する管理データと画像を表すイメージデー
タが含まれ，二分岐検索の場合，図２に示すような関係
の構造を備えている。図２の各ブロックは，選択の対象
となる２つの画像データを表わし，白丸「○」は画面の
左側，黒丸「●」は右側の各画像データを表わす。

【００１０】図２において，レベル１（最上位）に画像
データ１ａ，１ｂが，レベル２としてレベル１の画像デ
ータ１ａの下位に属する画像データ２ａ，２ｂ，画デー
タ１ｂの下位に属する画データ２ｃ，２ｄが設けられ
る。同様に，レベル３としてそれぞれ図２に示す各上位
の画像データに属する画像データ３ａ〜３ｈが設けら
れ，以下同様の関係で各レベルの画像データが設けら
れ，レベルｎに画像データｎａ，ｎｂが設けられ，最終
的な検索結果として検索結果画像データｄ１〜ｄ４（こ
の他にも多数ある）が設けられている。

【００１１】各画像データ１ａ〜ｎ＋１ｄは，それぞれ
検索に使用するキーワードを画像化したものであり，階
層的な検索のために条件画像（選択可能な条件を表示す
る画像）の部品として使用する。従って，画像データ１
ａは，これより下のレベルの各画像データ２ａ，２ｂ，
３ａ〜３ｄ，等の全ての特徴を代表し，画像データ１ｂ
もこれより下のレベルの各画像データ２ｃ，２ｄ，３ｅ
〜３ｈ等の全ての特徴を代表する。同様に画像データ２
ａは，３ａ，３ｂ等のそれ以下の全ての特徴を代表し，
画像データｎａはｎ＋１ａ，ｎ＋１ｂ，ｄ１，ｄ２等そ
れ以下の全ての特徴を代表するというように，各画像デ
ータ１ａ，２ａ，２ｂ・・・，１ｂ，２ｃ，２ｄ・・・
は上下を関連付けるデータと共に格納されている。な
お，本発明はｎ（ｎ≧２）分岐の検索に適用される。

【００１２】また，図２のレベル２以下の各レベルに
「軌跡」として示す「▽」で表す部分は，このレベルに
達するまでに選択された画像データの軌跡（履歴）を示
し，例えばレベル３の左端（３ａ，３ｂの画像データの
上部）に示す「▽１ａ▽２ａ」は，レベル１で１ａ，レ
ベル２で２ａを選択したことを表し，具体的には各レベ
ルで選択された各画像データの縮小画像データが用いら
れる。

【００１３】本発明は画像データベースの構造を，上位
概念の属性を表す複数個のキーワードに対応する画像デ
ータを表示してその中から１つを選択することにより下
位の段階に移行して，対応するキーワードの画像データ
表示と選択を行うことにより順次検索を行い，最終的な
検索結果の画像データを得るものである。

【００１４】

【作用】図１において，処理装置１の条件画像表示手段
１０は，画像表示部２に最も上位のキーワードの概念を
表すタイトルと，選択候補となるキーワードの文字を含
む画像データ（被選択画像データ）を，キーワードの個
数だけ組合せた条件画像を発生する。２分岐検索の場
合，図２のレベル１の画像データ１ａと１ｂが表示され
る。表示画面内の複数の選択画像データの中から１つの
画像を位置指定手段３により指定すると，入力解読手段
１１でどの画像データが選択されたか解読する。

【００１５】この解読結果を受けて移行先識別手段１２
によりメモリ４の画像データベースが検索される。この
結果，移行先の画像データが目的とする最終段階である
ことが分かると，検索結果画面作成手段１４が起動す
る。検索結果画面作成手段１４は，選択された画像デー
タに含まれた識別情報を用いてメモリ４内の検索結果一
覧データを検索し，得られた一覧データを画像表示部２
に表示する。図２の例では，例えばレベル（ｎ＋１）ａ
が最終の画像データとなり，ｄ１が検索結果データであ
る。

【００１６】移行先識別手段１２が，移行先の画像デー
タが目的とする最終結果でないと識別した場合は，次条
件画像作成手段１３が起動する。次条件画像作成手段１
３は，選択された画像データを親データとする下位に属
する複数の画像データをメモリ４の画像データベースか
ら検索して，複数の画像データにより次の段階の条件画
像（選択される複数の画像で構成）を作成する。この
時，同時に移行前（前のレベル）を含む以前に選択され
た各レベルの画像データを縮小した画像データを作成す
る。図２の場合，レベル１の１ａが選択されると，２
ａ，２ｂの画像データを検索し，両画像データにより条
件画像を作成し，１ａの画像データを縮小した画像デー
タも作成される（軌跡表示用）。

【００１７】この後，条件画像表示手段１０により作成
された次条件画像及び軌跡が表示され，最終結果が得ら
れるまで以下同様に検索が繰り返される。図２の例で
は，レベル１で１ａを選択すると，軌跡として１ａの圧
縮画像（▽１ａ）を表示し，画像データ２ａと２ｂを表
示する。

【００１８】

【実施例】図３は本発明が実施されるハードウェアの構
成例，図４は二分岐検索のモジュールの構成図，図５は
画像データのデータ構成を示す図，図６は実施例の処理
フローである。

【００１９】図３において，３０はプログラム及びデー
タを格納するメモリ（内部記憶装置），３１はＣＰＵ，
３２は入出力インタフェース，３３はカラーディスプレ
イに条件画像を表示した時，１つの画像（キーワード）
を選択するためのマウスを含む入力装置，３４は条件画
像を発生するための各キーワードに対応する画像データ
（イメージデータ）や検索結果の画像データ等で構成す
る画像データベースを格納する外部記憶装置，３５は条
件画像や検索結果，及び二分岐の軌跡（選択内容の履
歴）を表示するカラーディスプレイである。

【００２０】図４にはプログラムにより構成する二分岐
検索のモジュールの構成を示す。以下，各モジュールの
機能を説明する。マウスイベント解析部４０は選択され
た画像データを次の処理振り分け部４１に通知する。処
理振り分け部４１は，選択された画像データを後述する
二分岐軌跡表示部４３に表示した後，通知された選択画
像データによって，以下の何れかの処理を実行する。

【００２１】次の条件画像となる画像データを表示す
る。 選択された画像データから検索キーを取得し，検索を
執行する。 二分岐条件画像データ表示部４２は，条件画像データ
（２つの画像データを右，左に配置）とタイトルを表示
する。

【００２２】二分岐軌跡表示部４３は選択された画像デ
ータを縮小し，軌跡表示部に表示し，それ以前の選択経
過を分かるようにする。検索部４４は，指定されたキー
ワード（条件画像データの１つ）から該当するインデッ
クスを読み込む。

【００２３】画面表示部４５は二分岐検索画面と検索結
果一覧画面を表示する。図５を用いて画像データの構成
を説明する。ここで，各１つの画像データを部品データ
といい，各部品データに対して部品データを識別する情
報や親子の関係を表す情報等の制御データが設けられて
いる。各部品データはａ〜ｋの各情報により構成され，
このような部品データが各キーワードやタイトル部の画
像に対応して個別に格納されている。

【００２４】先頭のａは登録個数（部品データの個数）
を表し，(1byte) は１バイトのデータ長さであることを
示す（他のデータｂ，ｃ・・・についてもそれぞれデー
タ長を表す）。ｂは多数の画像（キーワードに対応する
画像やタイトル部の画像）のイメージデータが格納され
た領域のオフセット（メモリの先頭位置からの相対番
地）である。その次の行に示すｃ〜ｋは，１つの部品デ
ータに対応してそれぞれ格納されるデータであり，部品
データの個数分設けられる。

【００２５】その中のｃ〜ｅは当該部品データを識別す
るデータであり，ｃは，部品種別を表し，画像データ，
タイトルデータ等の区別を表す。ｄは部品番号を表し，
二分岐検索の選択条件（キーワード）の画像の場合，右
（例えば，数字“１”のコードで表す）または左（同様
に，数字“２”のコードで表す）の何れであるかを表
す。

【００２６】ｅは部品ＩＤであり，部品番号内での通番
（またはレベル番号）を使用する。ｆ〜ｈは当該部品デ
ータの直接上位のレベルの親部品に関するデータであ
り，ｆは親部品種別，ｇは親部品種別内での番号である
親部品番号，ｈは親部品ＩＤである。

【００２７】また，ｉは移行先を表し，当該部品を選択
した時に次の移行先として表示画面部品（次のレベルの
検索が行われる時）の取り出しか，検索結果一覧（最終
的な検索結果のデータ）の表示であるかの何れかを表示
する。ｊは当該画面の画像データ（イメージデータ）の
大きさ（サイズ）を表し，ｋは画像データのオフセット
（位置）を表す。このようなｃ〜ｋのデータが各画像デ
ータに対応して格納されている。

【００２８】この制御データの後に，オフセット（上記
ｂ）により示す位置を先頭とするエリアｍに条件画像用
の画像データ・タイトルデータ群が格納され，個々のデ
ータ（イメージデータ）の位置は，上記のｋにより示さ
れる。さらに，検索の最終段階に達した時，即ち上記し
た移行先ｉとして検索結果一覧を表示した時に検索の履
歴情報（各段階のキーワード）を用いて目的とする情報
を含む１また複数の結果一覧データ（イメージデータ）
を検索して表示するが，その時検索される対象となる多
数の検索結果一覧データ群がエリアｎに格納されてい
る。

【００２９】図５のようなデータ構造の画像データベー
スについて行われる検索の処理は上記図４のモジュール
を用いて行われ，その処理手順を図６に示す実施例の処
理フローを用いて説明する。

【００３０】最初に，表示画面に対してマウスから入力
された内容を解析し（図６の６０），条件画像データが
選択されたか否か判断し（同６１），条件画像が選択さ
れると，移行先を判断する（同６２）。この場合，選択
された画像データ内に含まれた移行先（図５のｉの部
分）の内容が，検索結果一覧画面であるか，表示画面部
品の取り出しの何れであるか判断する。この時，表示画
面部品の取り出しの場合，まず現在まで選択された各画
像データを縮小した画像データを取得する（同６３）。
次に縮小した選択画像データを軌跡表示部（例えば，後
述する図８に示す選択対象画像の下部の位置）に表示す
る（同６４）。

【００３１】次に選択が行われる質問事項を表すタイト
ルを表示する（同６５）。このタイトルは画像データか
ら取り出される（図５の画像部品の種別ｃに属する）。
次いで選択された画像データを親部品としている画像デ
ータを探す（図６の６６）。二分岐検索の場合，選択さ
れた画像データの部品種別（図５のｃ），部品番号（図
５のｄ）及び部品ＩＤ（図５のｅ）を親部品データ（図
５のｆ〜ｈ）として持つ画像データ（部品データ）を探
す。この場合，次の選択対象となる２つの画像データ
（右に表示する画像と左に表示する画像データ）が同じ
親部品データを持っており，それを取り出して，左と右
の各条件画像データを表示する（図６の６７，６８）。
この後はマウスによる選択を待つ。

【００３２】上記のステップ６２において，移行先が検
索結果一覧画面である場合，検索キー（選択された画面
データの番号）をレジスタ等に設定し（図６９），設定
された検索キーを用いて検索結果一覧データ群（図５の
ｎ）を検索して（同７０），対応する検索結果一覧デー
タを取り出して検索結果一覧画面表示を行う（図６の７
１）。

【００３３】図７は本発明を適用した二分岐検索の具体
例，図８は図７における条件画像の表示例，図９は図８
に対応する画像データの具体例である。図７は，「蝶」
の種別（名称）の識別を二分岐検索により行う例であ
り，各段階において質問事項（タイトル部）に対して，
２つの回答（特徴を表す）がキーワードとして用意さ
れ，それぞれ画像で表示される。例えば，先頭のの
「触覚の先端はどちらですか？」というタイトルに対
し，触覚の先端が尖った蝶の画像と触覚の先端が丸い蝶
の画像が，左右に並べて表示される。この時，触覚の先
端が尖った蝶の画像をマウスにより選択すると，検索結
果一覧画面に移行して，検索が行われ（上記図６のステ
ップ６８〜７０参照）て検索結果一覧画面（セセリチョ
ウ科の名称，全体像やこの蝶に関する説明等で構成する
画像）が表示される。

【００３４】触覚の先端が丸い蝶を選択した場合は，次
の条件画像の表示に移行し，「頭の形はどちらです
か」というタイトルと，頭が尖った蝶の画像と頭が丸い
蝶の画像が左右に表示される。以下同様に図７に示すよ
うに選択に応じて条件画像である質問事項（タイトル
部）とそれぞれのキーワードを表す２つの画像の表示
か，キーワードの選択の終了による検索結果一覧画面の
表示が行われる。

【００３５】上記図７のの質問事項（タイトル部）に
おける条件画像と，その画面の左・右を選択した時の
及びに対応する条件画像を具体例として図８に示す。
すなわち，図８のの画面では，「前脚の長さはどちら
ですか？」という質問事項と，前脚が同じ長さの蝶の画
像（左）と前脚が短い蝶の画像（右）が表示され，同時
にこの段階に達するまでに既に選択された各画像の圧縮
画像が軌跡として順番に並べて表示されている。

【００３６】図８のの表示状態の時，左の画像をマウ
スにより選択すると，に示すように「脚の先の形のど
ちらですか？」という質問事項と２つの選択対象画像を
含む条件画像と，軌跡を表す各圧縮画像が表示され，同
じくの条件画像の中から右の画像を選択するとに示
すように「後ろばねの裏面にじゃのめ模様がありますか
？」という質問事項と２つの選択対象画像を含む条件画
像と軌跡を表す圧縮画像が表示される。

【００３７】上記図８の条件画像に示す画像データの具
体例を図９に示す。図９Ａ．とＢ．は上記図８の，
の左・右の画像に対応する。すなわち，Ａ．のａは，
の左側の画像データ，ｂはの右側の画像データであ
り，その内容は上記図５に示すデータ構成のｃ〜ｋに対
応する。例えば，Ａ．のａの場合，画像種別が画像デー
タ，部品番号が「左」（左側を意味する），部品ＩＤは
通番に対応する“４”である。この後に，親データとし
て，「画像データ，左，３」が格納されている。この親
データはＡ．の下に表示された画像データｂと同じであ
る。何故なら，上位のの段階で左側の画像を選択した
時にこのに移行するためである。

【００３８】このＡ．に示す２つの画像データが表示さ
れた状態（図８のの画面）に対し，右側の画像をマウ
スにより指定して選択すると，選択されたＡ．のｂの画
像データ（「画像データ，右，４」を部品識別データと
する）を親部品としている画像データを探すと，図９の
Ｂ．に示す２つの画像データｃ，ｄが検出される。各画
像データｃとｄの画像データの大きさ及び画像データの
位置の情報を用いて対応するイメージデータを取り出し
て，２つの画像データを組み合わせる。更に図示されな
いがタイトル部も同じ親部品を持つものを探して１つの
画面全体のデータを作成し，図８のに示す条件選択画
像が表示される。図９には示されないが，図８ののデ
ータも同様にして作成表示される。

【００３９】

【発明の効果】本発明によれば画像が持っている視覚的
情報によりキーワードを設定することができるので，言
葉により表現しずらい事物や，概念を容易にキーワード
として使用することができ，老若男女や知識の程度等に
関係なく情報検索を容易に行うことができる。また，選
択したキーワードの軌跡を画像データで表示することに
より選択した経緯が一目で分かる。

【００４０】本発明を知識習得のための教育ソフト等に
利用すれば，特定の注目点を学習させる上で効果があ
る。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の画像データベースの構造である。

【図３】本発明が実施されるハードウェアの構成例であ
る。

【図４】二分岐検索のモジュールの構成図である。

【図５】画像データのデータ構成を示す図である。

【図６】実施例の処理フローである。

【図７】本発明を適用した二分岐検索の具体例である。

【図８】図７における条件画像の表示例である。

【図９】図８に対応する画像データの具体例である。

【符号の説明】

１ 処理装置 ２ 画像表示部 ３ 位置指定手段 ４ メモリ １０ 条件画像表示手段 １１ 入力解読手段 １２ 移行先識別手段 １３ 次条件画像作成手段 １４ 検索結果画面作成手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 一夫 東京都品川区大崎１丁目６番４号 株式 会社富士通ソーシアルサイエンスラボラ トリ内 (56)参考文献 特開 昭63−150762（ＪＰ，Ａ) 特開 平１−273173（ＪＰ，Ａ) 特開 平２−120980（ＪＰ，Ａ) 特開 平３−22084（ＪＰ，Ａ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 表示装置，位置入力装置，処理装置及び
   多数の画像データとを備え，表示装置に複数のキーワー
   ドを表示して１つを選択する操作を段階的に行う画像デ
   ータベースの検索方法において， 検索の各選択段階で選択される対象として複数のキーワ
   ードに対応する複数の画像により条件画像を表示装置に
   表示し， 前記条件画像に対し位置入力装置により特定のキーワー
   ドに対応する画像を選択すると，前記選択された画像デ
   ータを親データとする下位の選択段階の複数のキーワー
   ドに対応する画像を作成表示すると同時に，それ以前の
   段階で選択した画像データを選択した順に縮小して表示
   し， 目的とする最終画像データに達するまで画面の作成表示
   と選択を繰り返すことを特徴とする画像データベース検
   索方法。
2. 【請求項２】 請求項１において， 前記選択されるキーワードに対応する画像データは，当
   該画像データを特定する情報，当該画像データの親に相
   当する画像データの情報及び選択された時の移行先の情
   報とを備え， 移行先の情報に応じて次の段階の条件画像の作成か，検
   索結果画面の作成かを行うことを特徴とする画像データ
   ベース検索方法。