JPH07120355B2 - 画像情報記憶検索方法 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は文書，図面，写真などのファイリング検索方式
に係り、特に優先度のある属性項目の更新や検索履歴を
とる仕組みや関連情報を用いたり、大量データをホスト
データベースに蓄積し、端末ワークステーションを用い
て処理対象を絞りこむことにより、検索効率を向上させ
るのに好適な記憶検索方式に関する。

［従来の技術］ 従来、画像情報の記憶，検索，処理においては，例えば
情報処理学会第31回（昭和60年後期）全国大会講演文集
4B−６「カラー画像検索システムへのアプローチ」にお
いて論じられているように、画像情報の特徴を表わす属
性値を画像情報とともに記憶し、検索時には属性値デー
タに基づき、目的とする画像を探し出す方式が採られて
きた。ここで属性値という場合、画像の種類によって多
種多様なデータが考えられる。文書画像の場合には、文
書内容の要点を示唆するキーワード、写真画像の場合に
は、撮像対象物の名前や対象物の形態的特徴などが代表
的な属性値といえる。

また、情報処理学会第28回全国大会講演論文集5C−１
「画像処理を応用した文書画像ファイルの一検索方式」
において論じられているように、キーワード等のコード
情報による検索が主体であり、付加的に画像インデック
スによる検索が行なわれていた。そこでの画像インデッ
クスは、画像を縮小したもの、あるいは人手により切出
し編集して作成したものであった。

［発明が解決しようとする問題点］ 上記従来技術は、蓄積する画像情報が大量になる場合
に、検索に必要かつ十分な属性値をすべての画像情報に
付与して入力する手間が膨大なものとなる点について配
慮されておらず、システムの使い勝手が悪いという第１
の問題があった。

また、上記従来技術は、画像インデックス自体が、蓄積
画像データ量の増大に対処するために考えられたもので
あるにもかかわらず、文書画像検索に有効な抄録画像作
成の手間についての配慮が必ずしも十分されていなかっ
た。すなわち自動処理可能な単純な画像縮小処理（間引
きや平均化）により作成した画像インデックスでは、原
文書画像を高速にページめくりする機能に代替する抄録
画像としては内容の読取りが難しく不適切となることが
多く、一方、必要な部分を切り出して各データごとに抄
録画像を作成するのでは手間が大きくなるという第２の
問題があった。

本発明の目的は、上記の問題を解決するため、画像情報
ごとに予め記憶しておいた画像検索のための属性値が、
画像検索を重ねるに従って適正化されるようにした画像
情報記憶検索方法、および、提示された１つの画像に関
連する画像を検索する場合に、検索結果が次回の検索に
活かされるようにした画像情報記憶検索方法を提供する
ことにある。

［問題点を解決するための手段］ 上記目的を達成するために、画像情報ファイルに記憶さ
れた複数の画像情報の中から、利用者が入力した属性値
と一致する属性値を有する画像情報を検索して表示する
画像情報記憶検索方法において、一画像情報内での属性
値間の順序関係を規定する優先度が上記各画像情報の各
属性値に付与された状態で、上記各画像情報を複数の属
性値とともに記憶し、記憶された複数の画像情報の中か
ら、利用者が入力した属性値と一致する属性値を有する
画像情報を候補画像として検索し、検索に係る属性値の
優先度が高い順に上記各候補画像を表示し、表示された
候補画像の中から上記利用者が候補画像を選択して、選
択された候補画像に対応する画像情報の属性値のうち上
記検索に係る属性値の優先度を、選択された時点での優
先度より高くすることを特徴とする画像情報記憶検索方
法、および、上述のような画像情報記憶検索方法におい
て、上記画像情報ファイルに記憶された複数の画像情報
は、それぞれ、利用者が該画像情報と関連すると判断し
た画像情報を記録する検索履歴情報を有し、表示中の１
つの画像情報を原画像として該原画像に関連する画像情
報の検索を上記利用者が指令して、上記原画像の属性値
のうち優先度が所定の基準より高い属性値と同一の属性
値を有する画像情報を上記画像情報ファイルから候補画
像として検索し、検索された各候補画像を表示し、表示
された候補画像の中から上記利用者が候補画像を選択し
て、選択された候補画像に対応する画像情報の属性値の
うち上記検索に係る属性値の優先度を、上記検索履歴情
報の内容に基づき、選択された時点での優先度より高く
することを特徴とする画像情報記憶検索方法をその構成
とする。

ここで、上記の候補画像としては、各画像情報に対応さ
せて予め画像ファイル中に記憶しておいたサマリ画像を
用いてもよい。このサマリ画像は、対応する画像情報の
特徴部分を適当な画像処理により抽出し、それをさらに
縮小して得られる。

［作用］ 本発明の画像情報記憶検索方法によれば、各画像情報ご
とに検索用キーワードとして用意される各属性値に利用
者の検索目的に応じて優先度を与え、検索結果を表示す
るとき、入力されたキーワードを高い優先度でもってい
る画像情報から順に表示するようになっているため、入
力されたキーワードに対して複数の画像情報が検索され
た場合でも、検索目的に合致する可能性の高い画像情報
から順に提示することができる。

また、各画像情報の属性値を検索結果に応じて自動修正
するようになっており、例えば、キーワード入力で検索
された複数の画像情報のうち、利用者が目視により目的
画像と認めた画像情報の該当キーワードに高い優先度を
与えるようになっているため、検索動作が繰り返される
に従って、各画像情報の属性値が当該画像情報の内容に
相応しい優先順位に変化し、検索目的に合った画像情報
を迅速に提示することができる。

さらに、検索によって関連すると判断した画像情報を検
索履歴情報に記憶しておき、これをその後の検索に利用
できるようにしたことにより、画像間の関連性に関する
過去の判断をその後の検索に反映させることができる。

［実施例］ 以下、本発明の第１の実施例を、第１図および第２図に
より説明する第１図は本発明による画像情報記憶検索シ
ステムの全体構成図である。まず、属性項目に関する検
索について述べる。キーボード２から優先度のある属性
値すなわちキーワードを入力する。入力されたキーワー
ドと画像情報ファイル５に格納されている属性情報をも
とに処理装置４によって検索処理が行なわれる。検索結
果は優先度の高いキーワードがついているものから順
に、予め原画像中の特徴部分を抽出して編集しておいた
サマリ画像を用いてディスプレイ装置１に表示される。
利用者は目的となる画像をマウス３により選択する。選
択された目的画像のキーボード２より入力されたキーワ
ードの優先度を高くした後、ディスプレイ装置１に原画
像を表示して処理を終了する。次に、画像データ相互間
の検索について述べる。初期状態として、ディスプレイ
装置１に原画像が表示されているものとする。表示され
ている原画像のキーワード群と画像情報ファイル５に格
納されている画像情報のキーワード群さらに原画像の履
歴情報をもとに処理装置４によって検索処理が行なわれ
る。検索結果はサマリ画像でディスプレイ装置１に表示
され、利用者は目的とする画像をマウス３で選択する。
選択された目的画像のファイル名を原画像の関連ファイ
ル名に格納した後、目的画像をディスプレイ装置１に表
示して処理を終了する。

第２図は画像データの属性履歴情報の一例を示す図であ
る。属性履歴情報21には、画像データの内容を表わすキ
ーワードが優先度をつけた項目として用意され、検索履
歴情報として選択されたファイル名を格納する項目も用
意されている。

本実施例によれば、利用者が検索を行なうことによりキ
ーワード（属性値）が検索目的に適合したものに更新さ
れ、画像データ相互間の検索も可能となる。さらに、関
連度の高いサマリ画像から表示を行なうので、画像情報
検索における使い勝手向上の効果がある。

つぎに、本発明の第２の実施例を第３図〜第７図により
説明する。

第３図は、本発明を実施するためのファイリングシステ
ムの全体構成図である。文書画像データ101は、スキャ
ナ102によって１−０のビット列データとしてシステム
に入力する。入力されたデータは、ホスト計算機103を
介して、光ディスク等の大容量記憶装置104に格納され
る。ホスト計算機103では、ビットデータ列105に対して
抄録画像自動作成プログラムを起動し、抄録画像データ
106を作成する。ワークステーション107では、利用者は
CRT画像108に向かい、文書画像の検索を行なう。最終的
に参照すべきデータを含むと思われるデータ群を分類番
号やファイルディレクトリ名で指定することにより、ワ
ークステーションプロセッサ109の指示により、伝送路1
10、コミュニケーションステーション111を介してホス
トデータアクセスを行なす、該分類に属するデータの抄
録画像のみをワークステーション側のファイル112に転
送する。転送した抄録画像をワースクテーション側のデ
ィスプレイ108に表示し、利用者によるビジュアルサー
チを行なう。ビジュアルサーチの方法としては、本出願
人による先願（特願昭61−179932号）に示した通り、ル
ール形式で、データの属性項目に関する検索条件を記述
し、対象データの選択を支援する。抄録画像の参照によ
り、対象データの特定がされた段階で、ワークステーシ
ョンプロセッサ109からホスト103にデータ転送要求を送
り、特定されたデータが105より抽出されワークステー
ションに送られる。これにより、利用者はCRT画面108を
介して必要データの参照、処理を行なう。

第４図には、以上の処理手段をフローチャート形式で示
す。第４図（ａ）のブロック201〜207が、上述した処理
の全体の流れを説明したものであり、そのうちの抄録自
動作成をブロック202をより詳細に説明したものが、同
図（ｂ）のブロック2021〜2025である。ブロック2021で
は、０−１ビットの分布パターンから、文字の外接矩
形、図面領域等を分離する。次に、ブロック2022で抄録
画像で必要な題目や人名、番号等をあらかじめ蓄積して
おいた文書レイアウトについての構造データを参照して
切り出し処理を行なう。次にブロック2023で、文書中に
含まれる文字列の出現頻度をドットパターンのマッチン
グにより評価し、キーワード抽出を行なう。次にブロッ
ク2024で抄録画像で有効となる第５図中の“第１図”
を、図面領域分割と「第１図」のドットパターンマッチ
ングにより切り出す。最後にブロック2025において、所
定の抄録画像サイズ内に必要な情報を配置するために図
面の拡大、縮小処理を行ない、抄録画像の自動作成が完
了する。以上の処理をバッチ処理として人手を介さずに
入力画像枚数分くり返し、抄録画像を、記憶装置104中
に106として蓄積する。

第５図は、文書として特許明細書を対象に作成したシス
テムにおける抄録画像のフォーマット例である。検索キ
ー302が、上述の出現頻度評価により抽出したキーワー
ドである。

第６図は、第３図のCRT画像108上に抄録画像を表示した
ときの画像構成である。全体画像401を分割し、領域402
には検索絞り込みのためのメニュを表示し、領域403に
は、第３図で示した抄録画像が、ホスト計算機103によ
り転送された抄録画像データ数に従いレイアウト表示さ
れる。第６図の例では、最大８枚の抄録画像の同時表示
が可能であり、それ以上の枚数表示が必要なときは402
のメニュ表示を介して、ページめくりを行なう。

第７図は、文書画像データが絞り込まれたときの画像表
示レイアウトであり、画像501全体を使って文書表示を
行なう。

以上の抄録画像データと画像レイアウト、処理手順に従
い、本発明の文書画像ファイリング方式が実現される。

本発明の第３の実施例を第８図〜第11図により説明す
る。第８図は本発明による画像情報検索方式の処理の流
れを示した図である。まず、検索表示処理82について述
べる。属性項目に関する検索では、端末81から画像の特
徴を表わすキーワードを入力する。入力されたキーワー
ドと属性情報86をもとに目的となるすべての画像情報の
ファイル名を検索する。検索結果は、特徴を抽出したサ
マリ画像を画像データ84から取出し端末81に表示する。
利用者が目的となるサマリ画像を選択すると、画像情報
を画像データ84から取出し端末81に表示した後、属性情
報86のキーワードの優先度を更新する。画像情報相互間
の検索では、端末81に表示されている画像情報に関連す
るサマリ画像を、関連情報85をもとに関連度の高いもの
から順に画像データ84から取出し端末81に表示する。あ
らかじめ属性情報86から関連情報５を作成しておくた
め、高速な検索を実現している。次に、履歴取得処理8
3、属性更新処理89、関連情報更新処理88について述べ
る。履歴情報87は、画像情報相互間について検索履歴で
ある。履歴情報87をもとに属性情報86のキーワードの優
先度を更新する。表示画像情報の優先度の高いキーワー
ドと同じ選択画像情報のキーワードの優先度を高くす
る。更新された属性情報86をもとに関連情報85を更新す
る。表示画像情報と選択画像情報について優先度のつい
たキーワード群から関連度を再計算する。関連情報85が
更新されると履歴情報87はクリアされ、更新処理を終了
する。

第９図は画像の属性項目情報の一例を示す図である。属
性項目ファイル91には、画像情報の特徴を表わすキーワ
ードに優先度をつけている。

第10図は画像情報間の関連情報の一例を示す図である。
画像情報間の検索を高速化するために、あらかじめ名画
像情報間の関連度を計算しているのが関連ファイル31で
ある。

第11図は画像情報間の検索履歴情報の一例を示す図であ
る。履歴ファイル41には、表示されている画像情報のフ
ァイル番号と選択された画像情報のファイル番号が格納
されている。

本実施例によれば、利用者が検索を行なうことにより画
像の特徴を表わすキーワード（属性値）が検索目的に適
合したものに更新され、画像情報相互間も高速に検索が
可能となる。さらに、関連度の高いサマリ画像から表示
を行なうので、画像情報検索における使い勝手向上の効
果がある。

［発明の効果］ 本発明によれば、画像情報を蓄積する時点では必ずしも
検索に必要十分な属性値を付与しなくとも、利用者が検
索を行なうことにより属性値を検索目的に適合したもの
に更新し、また画像情報相互間も属性値と検索履歴より
求める関連度、類似度によって検索も可能となる。さら
に、関連度の高い画像情報から順に、特徴を抽出したサ
マリ画像で表示を行なうので、画像情報検索における使
い勝手向上の効果がある。

さらに、本発明によれば、大量の文書画像の検索処理に
おいて、対象絞り込みに必要な情報のみをレイアウトし
た抄録画像を用いることにより、ホストデータベースと
のデータ転送量を小さく抑えて検索効率を良くし、操作
性向上を図るとともに、抄録画像の作成自体は人手を介
さずに行なうことができるため、文書画像ファイリング
における使い勝手向上の効果がある。

【図面の簡単な説明】

第１図は本発明による画像情報記憶検索方式の全体構成
図、第２図は画像データの属性履歴情報の一例を示す
図、第３図は、本発明による文書画像ファイリングシス
テムの全体構成図、第４図は、データの蓄積、検索処理
の手順を示すフローチャート、第５図は文書として特許
明細書を対象にしたシステムにおける抄録画像のフォー
マットの１例を示す図、第６図は、抄録画像を表示した
ときの画像構成例を示す図、第７図は、文書画像本体を
表示するときの画像表示を説明した図、第８図は本発明
による画像情報検索方式の処理手順を示す図、第９図は
属性項目情報の一例を示す図、第10図は関連情報の一例
を示す図、第11図は履歴情報の一例を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 加賀美 晃 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (56)参考文献 特開 昭60−140466（ＪＰ，Ａ) 特開 昭61−216022（ＪＰ，Ａ) 特開 昭57−182279（ＪＰ，Ａ)

Claims (3)

【特許請求の範囲】
1. 【請求項１】画像情報ファイルに記憶された複数の画像
   情報の中から、利用者が入力した属性値と一致する属性
   値を有する画像情報を検索して表示する画像情報記憶検
   索方法において、 一画像情報内での属性値間の順序関係を規定する優先度
   が上記各画像情報の各属性値に付与された状態で、上記
   各画像情報を複数の属性値とともに記憶し、 記憶された複数の画像情報の中から、利用者が入力した
   属性値と一致する属性値を有する画像情報を候補画像と
   して検索し、 検索に係る属性値の優先度が高い順に上記各候補画像を
   表示し、 表示された候補画像の中から上記利用者が候補画像を選
   択して、選択された候補画像に対応する画像情報の属性
   値のうち上記検索に係る属性値の優先度を、選択された
   時点での優先度より高くすることを特徴とする画像情報
   記憶検索方法。
2. 【請求項２】特許請求の範囲第１項記載の画像情報記憶
   検索方法において、 上記画像情報ファイルに記憶された複数の画像情報は、
   それぞれ、利用者が該画像情報と関連すると判断した画
   像情報を記録する検索履歴情報を有し、 表示中の１つの画像情報を原画像として該原画像に関連
   する画像情報の検索を上記利用者が指令して、上記原画
   像の属性値のうち優先度が所定の基準より高い属性値と
   同一の属性値を有する画像情報を上記画像情報ファイル
   から候補画像として検索し、 検索された各候補画像を表示し、 表示された候補画像の中から上記利用者が候補画像を選
   択して、選択された候補画像に対応する画像情報の属性
   値のうち上記検索に係る属性値の優先度を、上記検索履
   歴情報の内容に基づき、選択された時点での優先度より
   高くすることを特徴とする画像情報記憶検索方法。
3. 【請求項３】特許請求の範囲第１項または第２項記載の
   画像情報記憶検索方法において、 上記画像情報から抽出した特徴部分により構成されるサ
   マリ画像を作成し、 作成されたサマリ画像を対応する画像情報とともに上記
   画像情報ファイルに記憶し、 上記候補画像として上記サマリ画像を表示することを特
   徴とする画像情報記憶検索方法。