JPH06162104A

JPH06162104A - 文書要素の検索装置及び検索方法

Info

Publication number: JPH06162104A
Application number: JP4308481A
Authority: JP
Inventors: Yoshihiro Shima; 好博嶋; Masashi Koga; 昌史古賀; Tatsuya Murakami; 達也村上
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-11-18
Filing date: 1992-11-18
Publication date: 1994-06-10
Anticipated expiration: 2012-04-16
Also published as: JP2601111B2

Abstract

(57)【要約】【目的】紙の文書中にある写真、図表等の文書要素を
検索する使い易いユーザインタフェース方式を提供する
ところにある。【構成】文書画像入力部（１００）により文書画像を
入力する。文書要素の分離部（１０１）により入力され
た文書画像を文書要素に分離、識別する。属性登録部
（１０２）により分離された文書要素をマルチメディア
ファイル（１０３）に登録する。この文書要素を文字列
検索部（１０６）および拾い読み検索部（１０７）を用
いて検索する。【効果】要素画像を画面に次々に表示し、ユーザが所
望の要素を目視で見つけることができるという効果があ
る。また、要素画像を文書画像から切り出して登録する
操作、要素の関連性の付与、操作等が信頼性よく実行で
きるという効果がある。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、紙に印刷された文書を
ベースにして、テキスト、イメージなどの文書要素に分
解し、それら文書要素を光ディスク等のマルチメディア
ファイルに蓄積、検索する文書要素の検索装置及びその
検索方法に関する。

【０００２】

【従来の技術】従来の検索装置については、アイ・イー
・イー・イー、コンピュータ（１９８７年９月）第１７
頁から第４１頁（Ｊ．Ｃｏｎｋｌｉｎ，Ｈｙｐｅｒｔｅ
ｘｔ：ＡｎＩｎｔｒｏｄｕｃｔｉｏｎａｎｄＳｕ
ｒｖｅｙ，Ｃｏｍｐｕｔｅｒ，，ｐｐ．１７−４１，Ｓ
ｅｐｔｅｍｂｅｒ１９８７）において論じられている
ように、ノードとリンクを持ったシステムとして、ハイ
パーテキストシステムがある。しかし、これは、本発明
の対象であるような紙に印刷された文書を扱うシステム
ではない。また、本発明のように、紙の文書をもとに文
書要素を分離して登録するというユーザインタフェース
を有していない。このため、文書要素を登録するための
使い易いインタフェース方式がいかなるものか、明らか
でなかった。

【０００３】また、従来の文献データベースシステム
は、イントロダクション、トウ、モダン、インフォメシ
ョンリトリーバル（１９８３年）第４１０頁から４１３
頁（Ｇ．ＳａｌｔｏｎａｎｄＭ．Ｊ．ＭｃＧｉｌ
ｌ，ＩｎｔｒｏｄｕｃｔｉｏｎｔｏＭｏｄｅｒｎＩ
ｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ，ＭｃＧｒ
ａｗ−ＨｉｌｌＢｏｏｋＣｏｍｐａｎｙ，ｐｐ．４
１０−４１３，１９８３）に記載されているように、書
誌事項やキーワードを基にした文献単位の検索であり、
写真や図表など文書の内容を手掛かりにして所望の文書
を検索することは困難であった。また、本発明での対象
であるような紙に印刷された文書を扱うシステムではな
い。さらに、文書画像を保管するシステムとして電子フ
ァイリングシステムが、ヒタチレビュー，３６，ナンバ
４（１９８７）第２１３頁から第２２０頁（Ｓ．Ｉｔｏ
ｈａｎｄＮ．Ｔａｋａｈａｓｈｉ，ＨＩＴＦＩＬＥ
６５０ＯｐｔｉｃａｌＤｉｓｋＦｉｌｉｎｇ
Ｓｙｓｔｅｍ，Ｖｏｌ．３６，Ｎｏ．４，１９８７，ｐ
ｐ．２１３−２２０）に記載されているが、これは文書
を一頁単位で画像として保管しており、文書の登録日、
文書番号等がインデックスとして検索に用いられてい
る。従って、学術文献等の図や写真を分離、整理して検
索するには十分ではない。このため、文書要素を検索す
るための使い易いユーザインタフェース方式がいかなる
ものか、従来明らかでなかった。

【０００４】

【発明が解決しようとする課題】上記従来技術は、文書
画像中の写真や図表など文書要素の画像を分離、蓄積し
て検索する点について配慮されておらず、文書中の図や
写真を分離、整理して検索するには十分ではないという
問題があった。本発明の目的は、紙の文書中にある写
真、図表等の文書要素を検索する使い易いユーザインタ
フェース方式を考案するところにある。本発明では紙に
印刷した文書を要素に分解して文書情報を登録する。文
書は要素を示すノードと要素間の関係を示すリンクから
なるネットワークで表され、このネットワークは画面を
介してブラウジングすることや、新しく文書を登録する
操作ができる。このネットワークのノードには文書の要
素としてテキスト、イメージを対応付けている。また、
リンクとしては、文書論理構造および参照関係等を扱
う。

【０００５】さらに、本発明の他の目的は、フルーカラ
ーの要素画像を高速に表示するところにある。要素画像
を拾い読みするために、ディスプレイ画面に順次フルカ
ラー画像を表示する。一枚の要素画像の表示に要する時
間が長いと、ユーザの待ち時間が多くなり、拾い読みの
効率が悪く、使い勝手がよくない。このような拾い読み
検索でユーザが画面表示のために待てる時間は、一枚の
要素画像当り、２〜３秒が限度と考えられる。それ以
上、表示に時間がかかるとユーザの待ち時間に対する我
慢の限度を越え、使い勝手が悪くなる。このため、要素
画像を高速に表示する。

【０００６】本発明の他の目的は、要素画像のブラウジ
ングにおいて対話的な探索を行うところにある。ディス
プレイ画面を介して目標の要素画像を探索するため、対
話的な操作を行う。ユーザが要素画像を探索するために
行う対話的な操作としては、要素画像を画面に次々に表
示するため表示モードを切り換えることや、目視により
見付けた要素画像を指定する。この対話的な探索では、
目標の要素画像に至るまでの探索の方法により、検索の
効率が異なる。ユーザが本を読む際、早読と熟読を繰り
返し行い情報を得ているが、これと同じ様に、画面に対
しても一瞥と熟視ができるよう、要素画像の表示を高速
表示と低速表示ができるようにする。

【０００７】本発明の他の目的は、文字列検索による要
素画像の絞り込みを行うところにある。多数の要素画像
の中から、拾い読みのみで所望の要素画像を探索するの
は効率的でない。このため、予め要素画像にキーワード
を付与しておき、文字列検索によって該当する要素画像
の集合を求める。文書中の要素画像には、例えば、図表
のキャプション等があり、これをキーワードとして利用
する。従って、要素画像とともにそのキャプションを抽
出し、この文字列を検索の手掛かりとなるキーワードと
して付与する。

【０００８】従来の紙の文書の蓄積する電子ファイリン
グシステムでは、一次元に連続して文書要素が並んでお
り、ユーザに文書を一次元的に読むことを物理的に強制
しており、柔軟な検索が困難である。本発明の他の目的
は、文書情報を整理し概念化することにあり、ユーザは
テキストの並びの順に読むことができるだけでなく、
章、節の全体構造を木構造で表示し、重要個所の飛ばし
読み、例えば、緒言と結言を先に読むことができる。ま
た、参照関係をポインタをもとに辿ることができる。

【０００９】本発明の他の目的は、紙に印刷された文書
から要素を分離しマルチメディアファイルに登録し、検
索を行なう検索システムにおいて、特に、登録機能に関
するユーザインタフェース方法を提供することにある。
登録機能として要素画像の登録、関連性の登録、登録結
果の表示、のそれぞれについて、ユーザインタフェース
方式を備えている。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、要素画像を高速表示するフレームメモリを備え、当
該フレームメモリの再生ビデオ信号をディスプレイ用ビ
デオ信号と合成して表示したものである。

【００１１】上記他の目的を達成するため、画面の表示
速度の切り換え機能を備えるようにしたものである。ま
た、要素画像を順次表示する際、順方向の表示および逆
方向の表示を可能とするよう、探索方向の切り換え機能
を有するようにしたものである。さらに、上記の要素画
像を順次、ウィンドゥに表示する送り表示、該当する要
素画像を注視するための静止表示を可能としており、送
り表示とこの静止表示の切り換え機能を備えるようにし
たものである。

【００１２】上記他の目的を達成するため、文書情報を
整理し概念化することができように、文書の要素を登録
するユーザインタフェース備えるようにしたものであ
る。ここでは、ディスプレイ画面を介して対話的に登録
操作を行ない、要素画像を文書画像から切り出して登録
する操作機能、要素の関連性の付与操作機能、登録結果
の表示機能、を備えるようにしたものである。また、登
録画面および検索画面方式を明らかにした。

【００１３】

【作用】紙面に印刷された文書に対して、その内容を手
掛かりにして検索を行なう検索システムは、登録、検
索、印刷、編集、通信の各機能部からなる。また、この
システムにおいて、マルチメディアファイルは、文書を
要素ごとにアクセスできるよう検索属性を付与して格納
される。これらの機能部のうち、登録部では、文書の表
面をスキャナ等の入力デバイスで撮像し、その表面画像
を文書画像として採取する。また、文書を構造化して登
録すること、関連性を付与すること、図表を分離して登
録することができる。ここでは、文書画像は要素に分解
しレイアウト構造等の文書構造を抽出され、マルチメデ
ィアファイルに登録する。さらに、登録部では、文書の
要素の間の関連性を付与するとともに、図表を検索でき
るように文書中の図表を分離し登録する。一方、検索部
は、マルチメディアファイルに格納されている文書の要
素を探索するものであり、関連検索、図表検索の機能を
有する。この内、関連検索は検索システムに備えている
ディスプレイ装置の画面を介して対話的に文書要素の関
連性を辿りながら、所望の情報を入手する。また、図表
検索は、図表の縦軸や横軸等の軸名を手掛かりに該当す
る図表を探索し、画面に表示する。また、要素画像を順
次、高速に画面に表示し拾い読みの検索を行う。

【００１４】

【実施例】以下、本発明の実施例を図１により説明す
る。本図は、紙面に印刷された文書に対して、その文書
内容を手掛かりにして検索を行う検索システムの構成を
説明する図である。ここでは、特に写真やイラスト等の
図領域を要素画像として蓄積し、画面を介して、これら
要素画像の拾い読み（ブラウジング）を行う。この検索
システムでは、先ず、文書画像入力部１００において、
紙の文書の表面画像をカラースキャナによって入力す
る。入力された文書画像に対して、文書要素の分離部１
０１において、テキスト、図表等の文書要素を分離、識
別するとともに、属性登録部１０２において文書要素の
属性を登録する。そして、光ディスクや磁気ディスク等
の大容量記憶装置からなるマルチメディアファイル１０
３内の要素画像ファイル１０４並びに検索属性ファイル
１０５に、これら要素画像および検索属性をそれぞれ登
録、蓄積する。要素画像に対する検索機能としては、通
常の文字列検索の機能と対話的な拾い読み検索の機能が
必要である。ここで、文字列検索部１０６は、カラーの
図表等の要素画像に付与された文字列を基に検索を行う
通常のキーワード検索機能を備えており、これによって
多数候補の文書要素画像の絞り込みを行う。また、拾い
読み検索部１０７では、該当する要素画像を順次画面に
表示し対話的に所望の図表を探索するブラウジング機能
が必要であり、フルカラーの要素画像を順次画面に表示
し、目的の要素画像を目視で見付け、ハードコピー等に
より保存する機能を備えている。なお、文書要素の分離
部１０１において、自動的に要素を分離し属性を登録す
る処理については、プロシーディング、セカンド、イン
ターナショナル、シンポジウム、オン、インタオペラブ
ルインフォメーションシステム（１９８８年）第２１３
頁から第２３８頁（Ｈ．Ｆｕｊｉｓａｗａ，Ｈ．Ｙａｓ
ｈｉｒｏ，Ｊ．Ｈｉｇａｓｈｉｎｏ，Ｙ．Ｓｈｉｍａ，
Ｙ．Ｎａｋａｎｏ，Ｔ．Ｍｕｒａｋａｍｉ，Ｄｏｃｕｍ
ｅｎｔＡｎａｌｙｓｉｓａｎｄＤｅｃｏｍｐｏｓ
ｉｔｉｏｎＭｅｔｈｏｄｆｏｒＭｕｌｔｉｍｅｄ
ｉａＣｏｎｔｅｎｔｓＲｅｔｒｉｅｖａｌ，Ｐｒ
ｏｃ．ｏｆｔｈｅｓｅｃｏｎｄＩｎｔ．Ｓｙｍ
ｐｏｓｉｕｍｏｎＩｎｔｅｒｏｐｅｒａｂｌｅＩ
ｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍｓ（ＩＳＩＩＳ８
８），ｐｐ．２３１−２３８，１９８８．１１．）に記
載されている。

【００１５】図２は、検索システムの文書要素の登録部
の別の実施例である。この図は、文書要素の登録処理過
程を説明する図である。スキャナ２１１で入力した文書
画像２１０から２００で示した文書構造化および属性登
録処理部において、要素を自動的に分離し、関連付けを
行ない、検索のための手掛かりとなる検索属性をマルチ
メディアファイル２０１に登録する。このとき、２０２
の編集処理部において、マルチメディアファイルへの登
録の誤りを修正することや検索属性を追加する。これに
より、データの信頼性を高めている。また検索システム
を使い易くするために、ユーザインタフェースとして、
画面２０３に表示された文書画像２０４からその構成要
素を画面を介して指定し、その検索属性を変更、追加ま
たは削除するとともに、登録した構成要素の内容や種類
等の検索属性を画面に表示する。登録すべき検索属性と
しては、要素の内容、要素の種類（図表、テキスト）、
要素のレイアウト、要素間の関連性、などがある。ま
た、ユーザインタフェースにおける登録機能として、検
索属性の変更、検索属性の追加、検索属性の削除、検索
属性の表示の各機能を備える。

【００１６】図３は文書要素の関連性を説明する図であ
る。要素登録のユーザインタフェースでは、これらの要
素および関連性を登録する。文書画像３００は、テキス
トや図表からなる要素３０１，３０２，３０３，３０
４，３０５に分解されている。これらの要素は、文書画
像から切り出した部分画像３１１，３１２，３１６，３
１３，３１４，３１５として矩形領域で表現されてお
り、「 is a part of 」の関係３２２，３２３，３２
４，３２５，３２６，３２７で頁全体の画像３００とリ
ンクされている。また、要素同士については、論理構造
の階層関係や参照関係の関連性を有しており、例えば、
図３１１とその図の説明文３１２とは参照関係を示すリ
ンク３２０でつながっている。検索システムのユーザイ
ンタフェースにおいては、このような文書画像の要素を
図２に示すディスプレイ装置２０３、マウス２０５、キ
ーボード２０６を用いて登録することになる。

【００１７】要素登録のユーザインタフェースでは、登
録した要素の変更、削除並びに追加の操作を行なう。こ
の要素登録では、要素の内容すなわち部分画像を設定す
る機能、要素の種類を設定する機能、レイアウトや要素
間の関連性を設定する機能がユーザインタフェースに備
えている。この内、要素画像の設定機能では、要素を文
書画像内において矩形領域として指定し、その領域の部
分画像を切り出す。これにより、要素の変更や追加が可
能である。図４は、文書画像内の矩形設定インタフェー
スの説明図である。ディスプレイ画面４００において、
頁全体の画像４０１を表示し切り出し矩形を設定するこ
とになり、ディスプレイ上のカーソル位置により矩形４
０２を設定する方法と、キーボードにより座標設定ウィ
ンドウ４１０において、座標値４１１，４１２を入力す
る方法が併用できることとする。前者の方法では、頁全
体の画像を表示し、ディスプレイ上のカーソルを移動
し、その位置座標を入力する。このとき、要素画像は矩
形領域で表されているため、矩形の左上隅の頂点４０３
と右下隅の頂点４０４をカーソルで設定しその座標を入
力する。

【００１８】また、登録済の要素の変更および削除を行
なう場合、複数の要素の中から対象となる要素を選択し
指定する必要がある。図５は文書要素の選択インタフェ
ースに用いる画面を示す。ディスプレイ画面５００に表
示された文書５０１において、複数の要素５１０，５１
１，５１２，５１３，５１４，５１５，５１６を矩形領
域で表示し、カーソル５４０を該当する矩形に移動さ
せ、マウスをクリックすることにより例えば、要素５１
１を指定する。或いは、画面内の名称一覧ウィンドウ５
２０において、要素に付けられた名称の一覧を表示し、
その名称の文字列５３０，５３１，５３２，５３３，５
３４，５３５，５３６をカーソル５４１で指示すること
により該当する要素を指定する。要素が多数の場合は、
スクロールのための矢印５２１を指定することにより、
当該ウィンドウをスクロールする。図６は、要素画像の
縮小並びに拡大表示を説明する図である。上述のように
してマルチメディアファイルに登録した文書要素を表示
しユーザがファイルの内容を確認することは、ユーザイ
ンタフェースの実現において不可欠である。このため、
要素画像をディスプレイ上に表示する。ディスプレイの
解像度およびサイズの制約の点から、多数の要素画像を
ディスプレイ上に同時に表示することはできない。そこ
で、本図に示すように、デイスプレイ６０２において要
素画像６０３をそのまま表示する機能とともに、ディス
プレイ６００に示すように要素画像６０１を縮小し表示
する機能を設けている。

【００１９】文書要素の登録インタフェースとして、要
素の画像を文書画像から切り出して登録する操作、要素
間の関連性を付与する操作、登録結果の表示操作のそれ
ぞれの機能を具備している。文書画像の要素を登録する
操作は、ディスプレイ画面を介してカーソル及びマウ
ス、キーボードにより行なう。登録操作の種類として
は、要素の変更、追加、削除がある。図７は要素画像の
登録画面である。登録操作を対話的に行なうため、マル
チメディアファイルに既に登録されている要素は、本図
に示すように、部分画像としてディスプレイ画面７００
に頁単位で表示する。ここでは、７０１に示すように文
書画像を画面に表示する。また、７０２に示すように要
素画像をテキスト７１０，７１２，７１３，７１５と図
表７１１，７１４にその種類を文字列等で区分して表示
するとともに、頁全体におけるそれぞれの要素の配置を
矩形領域で示す。さらに、図表の登録結果を確認するた
め、ディスプレイ７２０に示すように文書画像から図表
７２２、７２３分離して表示する。ここでは、文書画像
はその外枠のみが７２１に表示する機能を備えている。
画像登録のユーザインタフェースは文書一頁全体の原画
像を登録するモードと原画像の中から部分画像を登録す
るモードとからなる。文書一頁全体の原画像を登録する
画面においては、当該画面は例えば、左右のウィンドゥ
に分かれ、右のウィンドゥは属性ウィンドゥであり、原
画像の属性としてファイル名称、画像サイズ、画像の種
類を入力または表示する。この属性ウィンドゥの上部に
は、操作コマンドのメニューが表示されており、これら
の一つにカーソルをあわせ、マウスボタンをクリックす
ることにより操作コマンドが選択され実行する。操作コ
マンドとしては「登録」「表示」「一覧」「終了」「複
写」の各コマンドを備えている。この内、「登録」コマ
ンドは、原画像を新規にマルチメディアファイルに格納
するものである。また、「表示」コマンドは原画像を左
のウィンドゥに表示するものであり、ファイル名称を指
定することにより、原画像を表示する。「一覧」コマン
ドは既に登録している原画像のファイル名称のリストを
表示する。「複写」コマンドはディスプレイ画面のハー
ドコピーをとる。

【００２０】文書全体の原画像から部分画像を登録する
ユーザインタフェースの画面においては、当該画面は例
えば、左右のウィンドゥに分かれ、左のウィンドゥには
登録した要素画像を赤線枠で表示する。また、右のウィ
ンドゥは属性ウィンドゥであり、部分画像のファイル名
称、間引き画像のファイル名称、間引き率等を入力、表
示する。この属性ウィンドゥの上部には、操作コマンド
のメニューが表示されており、操作コマンドとして、
「新規」「変更」「削除」「一覧」「終了」「複写」の
各コマンドを備えている。これらのコマンドの内、「新
規」コマンドは新たに部分画像をマルチメディアファイ
ルに登録する。また、「変更」コマンドは既に登録され
た部分画像の切り出し位置等を修正、変更する。「削
除」コマンドは登録されている部分画像を削除する。
「一覧」コマンドは登録されている部分画像のファイル
名称を表示する。要素画像の登録操作において、「変
更」コマンドの操作画面では、右上部にあるメニューか
ら「変更」コマンドを選択し、変更対象とする部分画像
にカーソルを移動させマウスをクリックすることにより
要素を選択指定する。画面の左のウィンドゥには指定し
た部分画像が赤色線枠で表示されており、その切り出し
位置をカーソルによって指定する。ここでは、変更した
切り出し位置を青色線枠で表示している。画面上部に
は、コマンドのメニューとして「確定」「複写」があ
り、変更した位置を目視で確認し「確定」コマンドを選
択することにより変更された要素画像がマルチメディア
ファイルに格納される。

【００２１】図８は文字行並びに文字の表示画面であ
る。ディスプレイ８００において、文書の枠８０１を表
示するとともに、要素がテキストであるものに対して、
その文字行８０２，８０３，８０４を表示する。さら
に、文字ごとに分離したテキスト領域に対しては、ディ
スプレイ８１０に示すように、文書の枠８１１内におい
て分離した文字を矩形８１２，８１３，８１４，８１５
で表示している。

【００２２】図９は要素画像の登録のための操作を説明
する図である。要素画像の登録操作のうち、変更操作で
は、矩形で表示されている要素画像の切り出し位置を変
更する。このため、本図に示すように、先ず、ディスプ
レイ画面９００に縮小表示された文書画像９０１におい
て、要素画像９０３，９０４のなかから注目している要
素画像９０４を選択する。要素画像は矩形で表示されて
いるため、ここでは、画面上の矩形内にカーソルを設定
することによって、注目する要素を指示する。そして、
新たに要素の切り出し位置として、矩形の左上隅と右下
隅の位置をカーソルで設定する。また、要素画像の名
称、レイアウトの名称、要素の種類等をキーボードから
修正入力する。また、追加操作では、新規にマルチメデ
ィアファイルに要素画像を登録することになる。従っ
て、ディスプレイ画面に表示されている文書の頁全体の
画像から、カーソルにより要素の切り出し位置を新たに
設定するとともに、要素画像の名称、レイアウトの名
称、要素の種類等をキーボードから新規に入力する。さ
らに、削除操作では、ディスプレイ画面に表示された要
素画像のなかから注目している要素画像をカーソルによ
って選択し、削除処理を実行する。なお、変更及び追加
操作では、要素画像が登録されると同時に、要素画像の
縮小画像を生成し、同じくマルチメディアファイルに登
録する。文書画像を拡大表示して、長方形領域の変更、
追加、削除を行うこともでき、ディスプレイ９１０、９
２０において拡大した文書画像９１１、９２１を表示
し、文字行９１２、９１３、９１４、９１５あるいは、
文字９２１，９２２，９２３，９２４、９３０，９３１
に対して、同様に、登録操作を行う機能を備えている。

【００２３】図１０は要素のレイアウト名称を登録する
インタフェースを説明する図である。ディスプレイ１０
００において、文書画像１００１を表示し、この文書画
像内に矩形領域を設定するとともに、矩形に対して名称
をキー入力することができる。例えば、矩形領域１００
２に名称としてタイトルを付与する。また、矩形領域１
００５に対して名称として要約を付与する。

【００２４】図１１はレイアウトの表示画面の説明図で
ある。本図に示すように、ディスプレイ１１００では、
文書一頁１１０１の要素のレイアウトを示しており、デ
ィスプレイ画面１１００に全体が表示できるよう縮小し
て表示する。ここでは、テキスト領域１１１０におい
て、論理構造を矩形の入れ子形式で表示する機能を備え
ており、例えば、１章の領域１１１１に対して、章のタ
イトル矩形１１２０と節の矩形１１２１，１１２３が表
示される。そして、節の内部に節のタイトルの矩形１１
２２，１１２３等を表示するような入れ子形式である。
これらの縮小した要素画像は、当該要素を選択し指定す
ることにより、ディスプレイ１１３０に示すように、拡
大した文書画像の一部１１３１を表示するとともに、要
素画像１１４１を表示することもできる。

【００２５】図１２は、関連性の登録操作を説明する図
である。ディスプレイ１２００において、文書画像１２
０１の内部にある複数の要素１２０２，１２０３或いは
１２０４，１２０５を選択し、関連性を付与してマルチ
メディアファイルに登録する。関連する要素として、テ
キストとテキストとの間のリンク、テキストと図表との
間のリンク、図表間のリンクがある。ここでは、図表の
要素１２０２とテキストの要素１２０３の間において関
連性を付与する操作を述べる。登録されている要素画像
は、ディスプレイ画面１２００にレイアウトを保持した
形式で表示されるとともに、要素の種類も表示される。
要素の種類の表示としては、例えば、テキストの要素は
青色の矩形で囲まれ表示され、一方、図表の要素は赤色
の矩形で囲まれ表示される。関係付けは対となる二つの
要素を指定することにより実行される。対となる要素
は、カーソルを矩形内に設定することによって選択す
る。関係付けは要素１２１２と要素１２１３をつなぐ線
分１２２０で表示する。ディスプレイ１２１１では、こ
のようにして、関係付けられた二つの要素の間は線分１
２２０，１２２１で結ばれている。

【００２６】本実施例では、登録結果の一覧表示の機能
を備えており、これにより、要素登録の誤りを少なく
し、データとしての信頼性を高めることができる。図１
３は要素の一覧表示画面の表示方法を説明する図であ
る。この一覧表示は、ディスプレイ画面１３００に登録
した結果を表示し、登録内容の検査を画面を眺めながら
行なう。このため、登録のユーザインタフェースでは、
マルチメディアファイルに格納された要素画像をディス
プレイ画面に一覧表示し、登録した要素を目視により確
認できる。要素画像の数は多数になるため、ディスプレ
イ画面に同時に複数の要素画像を表示する。さらに、画
面をめくることにより、要素画像を順次表示する。ここ
では、一つのディスプレイ画面１３００に要素画像を多
数配置して表示するため、図１３に示すように、要素画
像の縮小画像１３０１，１３０２，１３０３，１３０
４，１３０５，１３０６，１３０７，１３０８，１３０
９，１３１０を表示する。このような縮小画像を表示す
ることにより要素の概略を確認することができるととも
に、多数の要素画像を一時に確認することができる。さ
らに、要素画像の内容を詳細に確認する場合には、画面
１３００に配置された要素画像の一つを選択することに
より、その要素画像を拡大した画像１３２１が画面１３
２０に表示される。また、この拡大した画像１３２１を
表示するとともに、先に関連付けされた要素画像、例え
ば図の説明文１３２２も併せて表示する。

【００２７】図１４は、マルチメディアファイルの構成
の説明図である。マルチメディアファイルには、同図に
示すように、文書画像データ１４０１とこれらの画像デ
ータへのアクセスを制御する制御データ１４００が格納
される。文書画像データ１４０１は、文書一頁全体の画
像データ（原画像データ）１４０２と、要素である部分
画像データ１４０３とからなる。さらに、これらの画像
データを登録時に縮小した縮小画像データ１４０４も備
えている。画像のデータ形式は、データ圧縮の有無によ
り非圧縮或いは圧縮データとして格納される。また、画
像は単色のスキャナで採取したモノクロデータ或いはカ
ラースキャナで採取した三原色成分を有するカラーデー
タを扱える。さらに、これらの画素値は、８ビットの濃
淡値または１ビットの２値データとして表現される。

【００２８】図１５は、画像データを制御する制御デー
タの形式を説明する図である。制御データ１４００は、
原画像ファイルデータ１５００、部分画像ファイルデー
タ１５０１、レイアウトデータ１５０２、関係データ１
５０３、文字行データ、文字データ等からなる。これら
のデータは２バイトのヘッダ部にデータの種類を示す番
号１５１０，１５２０，１５３０，１５４０を備えてお
り、この種類番号により制御データを識別している。原
画像ファイルデータ１５００には、文書一頁の画像に関
する制御情報を備えており、原画像を指定するための原
画像番号１５１１、原画像が格納されているファイルの
名称１５１３、原画像の横および縦のサイズ１５１５，
１５１６がある。部分画像ファイルデータ１５０１は、
原画像から切り出した部分画像に関する制御情報を備え
ており、この制御データとしては元の原画像を示す原画
像番号１５２１、部分画像が格納されているファイルの
名称１５２６、部分画像の横および縦のサイズ１５２
７，１５２８がある。レイアウトデータ１５０２は、部
分画像ファイルデータ１５０１とリンクされて格納され
ており、文書一頁における部分画像を示す矩形の位置座
標１５３４，１５３５，１５３６，１５３７を有してい
る。また、レイアウトの種類１５３２は要素がテキスト
或いは図表のいづれであるかを示す。関係データ１５０
３は関連を有する要素を示しており、二つの要素のレイ
アウト番号１５４１，１５４２でこの関連性を表現して
いる。文字行データ及び文字データはレイアウトデータ
と同じく、文書一頁における文字行および文字を示す矩
形の位置座標を有している。

【００２９】検索システムでは、文書画像を入力し、そ
の構成要素を光ディスク等のマルチメディアファイルに
登録する。登録操作はワークステーション上でマウス、
キーボードを用いて対話的に行なう。このため、このワ
ークステーションには文書画像を表示するためカラーＣ
ＲＴを有するディスプレイ装置を備えている。また、ワ
ークステーションには、磁気ディスクと書替え型光ディ
スクが接続されており、マルチメディアファイルを構成
しており、文書の全体画像及び部分画像を格納してい
る。さらに、文書画像の入力用としてモノクロスキャナ
およびカラースキャナが使用できる。要素画像の登録を
行なうユーザインタフェースのソフトウェア構成は、全
体制御部はユーザインタフェースの全体の処理を制御す
る。その下にあるファイル入出力部、原画像登録部、要
素画像の変更・追加・削除部、要素の表示部から構成さ
れている。さらに、これらの処理部に共通なルーチンと
して、全体画像ならびに部分画像を表示する画像表示
部、原画像から部分画像を切出したり縮小した間引き画
像を生成する画像データ生成部、画面上に窓枠を生成し
たりキーボードからのコマンドを制御するウィンドゥ制
御部がある。

【００３０】図１６は要素画像に対する検索の説明図で
ある。検索は２段階の処理になっており、文字列検索と
拾い読み検索とからなる。この検索では、先ず、文書画
像から分離抽出した図表等の要素画像の集合１６００に
対して、通常の文字列検索によって、所望の要素画像の
候補を絞り込む。要素画像１６０１，１６０２，１６０
３，１６０４，１６０５，１６０６には、それぞれキー
ワード１６１１，１６１２，１６１３，１６１４，１６
１５，１６１６が付与されている。絞り込まれた要素画
像の集合１６２０は、文字列検索に用いたキーワードに
よって、グループ１６２１，１６２２，１６２３に区分
される。ここでは、この文字列検索のために予めキーワ
ードが付与されている。このキーワードを基に文字列検
索を行い、候補である要素画像の集合を得る。要素画像
には図表のキャプションがありこれが文字列検索の手掛
かりになる。この要素画像の集合であるグループ、例え
ば１６２２に対して、次いで、ディスプレイ画面１６５
０を介して対話的に拾い読みを行い、所望の要素画像を
探索する。この時、フルカラーの要素画像に対するブラ
ウジングの待ち時間を短くするためには、フレームメモ
リ１６４１にフレーム画像１６４２，１６４３，１６４
４を格納しておく。フレーム画像は、当該要素画像１６
３２，１６３３から生成する。フレームメモリ１６４１
に格納されたフレーム画像を順次、ディスプレイ画面１
６５０のウィンドウ１６５１に表示する。

【００３１】図１７は、文書要素画像の高速ブラウジン
グのための構成図である。文書の要素画像１７０１を高
速にブラウジングするためのフレームメモリ１７０２を
備えているフレームメモリ１７０２はワークステーショ
ン１７００とバスで接続されており、ワークステーショ
ン１７００では、要素画像が文書画像から分離抽出さ
れ、フレームメモリ１７０２に送られ、フレーム画像と
して蓄積される。ワークステーション１７００からはフ
レーム番号を指定することによりフレームメモリ１７０
２にアクセスしており、これによりフレーム画像をビデ
オ信号として出力することができる。また、スーパイン
ポーズ装置１７０３では、ワークステーション１７００
のディスプレイ用のビデオ信号とフレーム画像のビデオ
信号とが合成され、この合成されたビデオ信号がディス
プレイ装置１７０４に表示される。ディスプレイ装置１
７０４には、要素画像を表示するためのウィンドゥ１７
０５と、検索の操作を行うウィンドゥ１７０６が用意さ
れている。この要素画像表示ウィンドゥ１７０４に、順
次、要素画像が高速に順方向または逆方向に送られて、
或いは、静止して表示される。一方、検索の操作を行う
ウィンドゥ１７０６では、文字列検索および拾い読み検
索を実行する。

【００３２】図１８は、文書要素画像に対する内容検索
の処理手順である。処理の手順は、先ず、ステップ１８
００において要素画像をフレームメモリに入力するとと
もに、ステップ１８０１でそれぞれの要素画像に対する
検索属性を検索属性ファイルに格納する。ここでは、検
索属性として、図表等のキャプションの文字列を予め文
字認識技術によって分離抽出して利用する。次いで、検
索の処理過程に移り、先ず、通常の文字列検索を行う
が、この時、ステップ１８０２でユーザは検索用の文字
列をキーワードとして指定する。ステップ１８０３で文
字列検索を実行し、ステップ１８０４で該当する要素画
像の識別子を文字列検索の検索結果として格納し、一つ
のグループを形成する。このグループに属する要素画像
が、次のステップ１８０５で拾い読み検索の範囲として
設定される。多数の要素画像をすべて拾い読みするので
はなく、この文字列検索によって、拾い読みをする要素
画像の絞り込みを行うことになる。もちろん、文字列検
索を省略して、すべての要素画像を順次拾い読みするこ
ともできる。ステップ１８０６の拾い読み検索の実行
は、画面を介して対話的に行う。拾い読みは、高速表示
及び低速表示の両方を用いて目視で探索し、所望の要素
画像を見付ける。所望の要素画像を見付けた時点で、静
止表示のモードに切り換え、検索結果として保存するた
めに、ステップ１８０７でハードコピーを取る等の操作
を行う。

【００３３】図１９は、内容検索を行うためのワークス
テーションの表示画面の説明図である。画面１９００の
内部には、要素画像を順次表示する要素画像表示ウィン
ドゥ１９０１と、検索の対話的な操作を行う検索操作ウ
ィンドゥ１９０２がある。表示画面１９００のサイズ
は、横１２８０画素×縦１０２４画素である。また、要
素画像表示ウィンドゥ１９０１のサイズは、横６４０画
素×縦５１２画素の固定であるが、このサイズは、フレ
ーム画像のサイズに合致している。文書画像から分離抽
出した要素画像は、そのサイズが様々であり、従って、
要素画像表示ウィンドゥのサイズに合わせるため、画像
の拡大、縮小及び余白部の埋め込みの処理を行ってい
る。

【００３４】カラー文書画像より図や写真等の要素画像
を分離し、検索のための手掛かりとなる属性と、要素画
像データを登録する。要素画像は、長方形領域として文
書画像から抽出される。要素画像は、画面を介して高速
に表示できるようにフレームメモリに格納される。様々
な大きさの図表が文書には掲載されているため、要素画
像をフレームメモリに格納する際に、横６４０画素×縦
５１２画素のフレーム画像のサイズに要素画像のサイズ
を合わせる。図２０にフレーム画像の生成手順を示す。
この手順は、先ず、ステップ２０００で文書画像を入力
し、ステップ２００１で要素画像を分離する。分離した
要素画像のサイズを、フレーム画像のサイズに合わせる
ため、ステップ２００２で要素画像の拡大、縮小を行
う。そして、ステップ２００３でフレーム画像へ要素画
像を入力する。この時、要素画像の歪がないよう、拡大
率、縮小率を縦、横とも同じ値としており、フレーム画
像の縦、又は横のサイズのいずれかに合わせることにな
り、余白部が発生する。このため、ステップ２００４で
余白部を例えば、白色の画素で埋め込みフレーム画像を
生成する。なお、簡単のため、拡大率、縮小率を整数及
びその逆数としてもよい。次いで、ステップ２００５で
フレーム画像を出力する。

【００３５】図２１は、文書要素画像の処理過程の説明
図である。文書画像２１００の内部の要素画像、例え
ば、図中の黒線枠で示す写真領域２１０１を先ず，分離
処理部２１０２で分離する。そして、その要素画像２１
０３から、拡大、縮小処理部２１０４で拡大、縮小画像
２１０５を生成する。なお、縮小処理では、画素の値を
平均化する方法で実現している。そして、埋め込み処理
部２１０７において、余白部２１１０を特定の値を有す
る画素データで埋め込み、横６４０画素×縦５１２画素
のフレーム画像２１０８を生成する。なお、登録する要
素画像を画面に表示させ、画面をみながらガンマ補正
（濃度の補正）ができ、ガンマ補正後の画像を要素画像
としてフレームメモリに格納する。

【００３６】文書要素画像の登録は、文書画像を画面に
表示するとともに、自動的に分離した要素画像を長方形
領域で表示する。また、対話的に要素画像を分離抽出す
ることもでき、図表等の要素画像に対して、マウスで長
方形領域の左上点と右下点とを指定して切り出す。切り
出した画像を要素画像として、属性情報を付与して登録
する。この登録の操作は、編集可能とし、登録した要素
画像の削除、新規生成、位置の変更等ができる。図２２
に文書要素画像の登録操作の手順を示す。ステップ２２
００において、画面の表示されているメニューコマンド
を選択して、ステップ２２２０以下の登録操作を行う。
操作は、「新規」２２０１、「削除」２２０２、「変
更」２２０３、「一覧」２２０４、「複写」２２０５、
「終了」２２０６からなる。例えば、「新規」２２０１
のメニューコマンドを選択すると、ステップ２２１０の
座標入力の処理過程に移り、画面上の長方形領域の座標
を順次入力し、ステップ２２１１で、それらの値を登録
する。また、「削除」２２０２のメニューコマンドで
は、ステップ２２１２でカーソルで登録済の要素画像を
指定し、ステップ２２１３で当該要素画像の削除を実行
する。「複写」２２０５のコマンドでは、ステップ２２
１７で登録画面のフルカラーのハードコピーをとること
ができる。

【００３７】要素画像に付与されている文字列を手掛か
りにして、通常のキーワード検索を行う。該当する要素
画像の集合をグループとして登録する。例えば、今、説
明のために要素画像をｅ１，ｅ２，ｅ３，ｅ４，ｅ５，
ｅ６とする。キーワード検索によって、複数のグループ
を生成したとし、そのグループをＧ１，Ｇ２，Ｇ３とす
る。ここで、キーワードｋｅｙ１によって求められた要
素画像はｅ１，ｅ２，ｅ４であり、これらをグループＧ
１としている。同じく、キーワードｋｅｙ２によって求
められたグループＧ２の要素画像をｅ３，ｅ５、グルー
プＧ３の要素画像をｅ６とする。要素画像のブラウジン
グでは、グループごとに要素画像を画面に順次表示し、
目的の要素画像を目視で見付ける。この時、画面に要素
画像を表示するその表示順序は、キーワード検索におい
て、合致の程度によって順位を決めることとし、例え
ば、グループＧ１は、要素画像の表示を、ｅ２，ｅ４，
ｅ１の順で行うことができる。ここで、説明のため、キ
ーワード検索の合致の程度が要素画像ｅ２が高位にあっ
たとしている。また、単純に、表示の順序は文字列検索
によって求められた順番とすることもできる。

【００３８】このグループ情報の登録では、要素画像の
登録の画面とは別に、新規作成、変更、削除等の編集が
できる。この操作は、先ず、グループ番号を指定する
と、該当するグループに属する表示順序番号とフレーム
番号の一覧が表示される。変更では、フレーム番号を選
択また入力するとともに、表示順序番号を入力し、実行
すると変更個所が登録され、設定したグループにおける
表示順序番号とフレーム番号の一覧が再表示される。新
規作成では、フレーム番号を入力し、次いで、表示順序
番号を入力し、同じように、実行すると登録され、設定
したグループにおける表示順序番号とフレーム番号の一
覧が再表示される。削除では、フレーム番号を選択また
入力し、実行すると削除され、設定したグループにおけ
る表示順序番号とフレーム番号の一覧が再表示される。
なお、表示順序番号の整列のため、表示順序番号につい
ては、入力時、すでに登録されている同一の番号を設定
した場合、先に設定されている番号を優先とし、再表示
時に番号を付け直す。また、グループに属していない要
素画像の扱いについては、これらグループが設定されて
いない要素画像に対して、グループ番号０を指定するこ
とによってアクセスし、編集できる。さらに、登録した
要素画像を表示による確認するため、フレーム番号を入
力することにより、該当する要素画像が画面に表示され
る。

【００３９】図２３は、文書要素画像のブラウジングの
説明図である。要素画像を拡大、縮小したフレーム画像
２３００，２３０１，２３０２，２３０３を単位にフレ
ームメモリにアクセスし、検索画面に表示する。表示
は、順方向にフレーム画像を続けて表示する順方向表示
２３１０と、逆方向に表示する逆方向表示２３１１があ
る。また、ある特定のフレーム画像を画面に静止させて
表示する停止表示２３１２がある。ブラウジングの操作
は、フレーム画像を順方向に表示し、順次目標のフレー
ム画像をユーザが目視で探す。そして、該当するフレー
ムメモリをユーザが見付けたとき、停止表示に切り換え
る。この切り換えは、ユーザがファンクションキーを押
すことによりおこない、停止表示の状態でフレーム画像
を詳細にユーザが観察できる。また、順方向の表示が行
き過ぎた場合、フレーム画像を元に戻ることができるよ
う逆方向表示の機能を設けている。ここでは、表示する
フレーム画像が尽きた場合、新ためて最初のフレーム画
像から表示し、表示を連続して行うようにしている。

【００４０】図２４は、文書要素画像の表示モードの切
り換え手順の説明図である。フレーム画像の表示の速度
は、１／３０秒単位に、任意の速度に切り替えることが
できる。ここでは、要素画像のブラウジングのため、高
速表示モードと低速表示モードを備えている。要素画像
の表示モードの切り換えを行うため、ステップ２４００
でユーザが押したファンクションキーを読み取り行う。
次いで、ステップ２４０１で表示モードを切り換える。
高速モード２４０２では、ステップ２４１０で高速表示
となり、１秒間に５枚のフレーム画像を表示する。低速
モード２４０３では、低速表示となり、１秒間に１枚の
速度で表示する。停止モード２４０４では、停止表示２
４１４となりフレーム画像を詳細にユーザが観察でき
る。

【００４１】フレームメモリは、フレーム画像が多数枚
格納できる構成になっている。各フレーム画像にはフレ
ーム番号が付けられており、このフレームによってアク
セスする。フレームメモリへの入力は、２系統あり一つ
はＶＭＥバスを介してワークステーションから要素画像
を転送できる。もう一つは、ビデオ信号入力であり、１
／３０秒単位に画像データを入力することができる。ま
た、フレームメモリへの出力は、同じく２系統あり、Ｖ
ＭＥバスの転送および１／３０秒単位のビデオ信号出力
ができる。要素画像のブラウジングでは、フレームメモ
リへの入力はワークステーションからＶＭＥバスを介し
て要素画像を格納する。また、出力は、フレームメモリ
からフレーム画像をビデオ出力し、ディスプレイ用ビデ
オ信号と合成して表示する。図２５はフレームメモリの
アクセス方式の説明図である。フレームメモリ２５２０
へのアクセスは、フレーム番号２５２２によって行う。
要素画像のブラウジングを行うときには、先ず、グルー
プ番号２５００によってグループテーブル２５０１にア
クセスする。グループテーブル２５０１には、グループ
番号２５０２、フレーム番号２５０３、表示順序番号２
５０４が格納されており、グループ番号２５００を指定
することによって、該当するフレーム番号の集合を取り
出し、表示フレーム番号テーブル２５１０に表示順序に
従って格納する。この表示フレーム番号テーブル２５１
０から順次フレーム番号２５１１を読みだし、フレーム
メモリ２５２０にアクセスする。

【００４２】要素画像の形式は２種類とし、１画素４バ
イト１面形式と１画素１バイト３面形式とする。フレー
ムメモリで使用できる形式は、１画素４バイト１面形式
であるが、これに限定されるものではない。フレーム画
像の大きさは、縦５１２画素、横６４０画素である。ま
た、画素データは、３２ビット構成のフルカラーであ
り、下位バイトから青色、緑色、赤色各８ビットが並ん
でいる。最上位バイトはダミーのデータである。

【００４３】図２６は検索属性ファイルのデータ形式の
説明図である。検索属性ファイルは、原画像ファイルデ
ータ２６００、要素画像ファイルデータ２６０１、グル
ープデータ２６０２、キーワードデータ２６０３からな
り、これらは、２バイトの種類を示す番号２６１０，２
６２０，２６４０，２６５０によって識別される。例え
ば、原画像ファイルデータ２６００は、その種類番号２
６１０が１であり、続いて原画像の番号２６１１、原画
像の種類２６１２、原画像データのファイル名の長さ２
６１３とファイル名２６１４、画像のサイズ２６１５，
１６１６が格納されている。この原画像の番号２６１１
によって各文書画像を管理している。要素画像ファイル
データ２６０１は、その種類番号２６２１が２であり、
続いて原画像番号２６２１、要素番号２６２２、要素画
像データが格納されているファイル名称２６２５、その
原画像における位置座標２６２６、２６２７などが格納
されている。キーワードデータ２６０３は、その種類２
６５０が４であり、キーワードデータ番号２６５１で管
理している。ここでは、付与されている要素画像の番号
２６５２、キーワードの文字列データ２６５７等が格納
されている。

【００４４】図２７は内容検索システムの装置構成であ
る。カラー文書画像を入力し、その要素画像を分離、登
録する。そして、蓄積した要素画像に対して、ディスプ
レイ画面を介して対話的に検索を行う。文書画像入力ス
テーション２７０１では、カラー文書の表面画像をカラ
ースキャナ２７０２により採取し、要素画像を分離抽出
する。登録ステーション２７０３では、要素画像の登録
操作を画面２７０４を介して対話的に行う。検索ステー
ション２７０５では、フレームメモリ２７０７に格納し
ている要素画像のブラウジングを検索画面２７０６で行
い、所望の要素画像を探索し求める。フレーム画像の複
写のため、カラーハードコピー２７０８を備えており、
検索結果である要素画像のハードコピーをとることがで
きる。

【００４５】図２８は要素画像のブラウジングのための
装置構成の説明図である。検索ステーション２８００に
は、フレームメモリユニット２８０１がＶＭＥバスで接
続されている。フレームメモリユニット２８０１には半
導体イメージメモリ２８０９を備えており、多数のフレ
ーム画像（６４０×５１２画素のフルカラー画像）を格
納し、１／３０秒単位でフレーム画像を入出力する。ま
た、フレーム画像の出力ビデオ信号２８０８は、スーパ
インポウザ２８０２によってワークステーション２８０
０のディスプレイ画面２８０３に合成することができ
る。フレームメモリユニットには、補助記憶装置とし
て、レーザビデオディスク２８１１、ＵマチックＶＴＲ
２８１２が接続されている。レーザビデオディスク２８
１１と半導体イメージメモリ２８０９によりメモリ階層
を構成している。要素画像を格納しているフレームメモ
リの内容を、画面に複数個表示することができ、順次、
フレーム番号に従って、スクロールすることができる。
なお、スクロールにはトラックボールを用いる。セレク
タ２８０５，２８０６によって、レーザビデオディスク
２８１１、ＵマチックＶＴＲ２８１２、半導体イメージ
メモリ２８０９を切り換えることができ、格納する要素
画像の容量によって当該メモリを階層的に使用する。

【００４６】

【発明の効果】文書要素画像の検索において、フルカラ
ーの写真、図表など、文書画像から分離した要素画像に
対して画面を介して拾い読みを行うことができるので、
要素画像を画面に次々に表示し、ユーザが所望の要素を
目視で見つけることができるという効果がある。また、
ディスプレイへの要素画像の表示速度を切り換えるた
め、高速表示モード、低速表示モードを備えており、ま
た、探索の方向を順次方向と逆方向に切り換えることが
できるため、蓄積した多数の要素画像の中から、目的の
要素画像に効率的に到達することができるという効果が
ある。さらに、このシステムは、文書情報を整理し概念
化することができるため、文書情報の取扱いが容易とな
り戦略的な文書活用はできるという効果がある。また、
ディスプレイ画面を介して対話的に登録操作を行なうこ
とができるため、要素画像を文書画像から切り出して登
録する操作、要素の関連性の付与操作等が信頼性よく実
行できるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例である文書要素画像の検索シ
ステムの構成の説明図である。

【図２】文書要素の登録システムの説明図である

【図３】文書画像の要素と関連性の説明図である。

【図４】文書画像内の矩形設定インタフェースの説明図
である。

【図５】文書要素の選択インタフェースの説明図であ
る。

【図６】要素画像の縮小ならびに拡大表示の説明図であ
る。

【図７】要素画像の登録画面の説明図である。

【図８】文字行並びに文字の表示画面の説明図である。

【図９】要素画像の登録のための操作の説明図である。

【図１０】レイアウトの登録インタフェースの説明図で
ある。

【図１１】レイアウトの表示画面の説明図である。

【図１２】関連性の登録インタフェースの説明図であ
る。

【図１３】要素の一覧表示画面の説明図である。

【図１４】マルチメディアファイルの構成を示す図であ
る。

【図１５】要素のデータ形式を示す図である。

【図１６】要素画像検索の説明図である。

【図１７】文書要素画像の高速ブラウジングの説明図で
ある。

【図１８】文書要素画像の内容検索の手順を示す図であ
る。

【図１９】内容検索のための画面の説明図である。

【図２０】フレーム画像の生成手順を示す図である。

【図２１】文書要素画像の処理過程を示す図である。

【図２２】文書要素画像の登録操作の手順を示す図であ
る。

【図２３】文書要素画像のブラウジング方式の説明図で
ある。

【図２４】文書要素画像の表示モードの切り換え手順の
説明図である。

【図２５】フレームメモリのアクセス方式の説明図であ
る。

【図２６】拾い読みのための検索属性ファイルのデータ
形式の説明図である。

【図２７】内容検索システムの装置構成を示す図であ
る。

【図２８】要素画像のブラウジングのための装置構成を
示す図である。

【符号の説明】

１０３マルチメディアファイル、１０７拾い読み検索、３２０参照関係、５１０文書要素、６０３要素画像、７００登録用のディスプレイ画面、８０２文字行、８１２文字、１０００レイアウトの登録画面、１４０１文書画像データ、１５０２レイアウトデータ、１７０２フレームメモリ、１８０６拾い読み検索の実行ステップ、２１０８フレーム画像、２３１０順方向表示、２３１１逆方向表示、２３１２停止表示、２５０１グループテーブル、２５１０表示フレーム番号テーブル、２６０１要素画像ファイルデータ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｆ 15/62 ３３０Ａ 8125−5Ｌ

Claims

【特許請求の範囲】

【請求項１】文書要素を表示する表示画面を有する文書
要素の検索装置において、文書画像を入力する第１の手
段と、上記文書画像の文書要素および検索属性を登録す
る第２の手段と、上記文書要素および上記検索属性を蓄
積する第３の手段と、上記文書要素を検索する第４の手
段とを有することを特徴とする文書要素の検索装置。
【請求項２】上記第２の手段は、上記文書要素の表示位
置を上記表示画面を介して対話的に設定する手段と、上
記文書要素に対して上記検索属性を変更、追加、削除す
る手段とを有することを特徴とする請求項１記載の文書
要素の検索装置。
【請求項３】上記第４の手段は、文書要素の集合から複
数の文書要素を選択する手段と、上記選択した文書要素
を上記表示画面に表示する手段と、一定時間間隔ごとに
表示する文書要素を切り換える手段とを有することを特
徴とする請求項１記載の文書要素の検索装置。
【請求項４】上記第３の手段は、文書画像を蓄積する手
段と、上記文書画像を分離した文書要素を蓄積する手段
と、上記文書画像のレイアウトデータを蓄積する手段
と、上記文書要素間の関連情報を蓄積する手段とを有す
ることを特徴とする請求項１記載の文書要素の検索装
置。
【請求項５】画像を表示する表示画面と、要素画像を格
納する半導体記憶装置を備えた電子装置において、要素
画像を上記半導体記憶装置に格納する手段と、上記記憶
装置から上記要素画像を一定時間間隔で連続して読みだ
す手段と、上記要素画像の信号を検索装置の上記表示画
面の信号と合成する手段と、上記表示画面に対話的な検
索を行うウィンドゥを設定する手段とを有することを特
徴とする電子装置。
【請求項６】上記記憶装置から読みだす手段は、グルー
プを指定する手段と、上記指定されたグループ内の要素
画像の表示順序を指定する手段と、上記要素画像のフレ
ーム番号を設定する手段とを有することを特徴とする請
求項５記載の電子装置。
【請求項７】文書の全体または一部分の画像を格納する
半導体イメージメモリと、文書画像の縮小画像また一部
分の画像を格納するレーザビデオディスク若しくはビデ
オテープレコーダと、上記半導体イメージメモリとレー
ザビデオディスク若しくはビデオテープレコーダを切り
換える手段を有することを特徴とする電子装置。
【請求項８】文書画像データを格納する電子装置におい
て、文書の要素画像データを大きさの正規化して蓄積す
る手段と、上記要素画像を番号を指定することによりア
クセスする手段と、上記要素画像のデータを一定時間間
隔で連続して出力する手段とを有することを特徴とする
電子装置。
【請求項９】文書情報を蓄積することと文書要素を表示
する文書要素の検索方法において、要素画像にキーワー
ドを付与し、上記キーワードを基に文字列検索を行い、
上記文字列検索の結果により該当する要素画像をグルー
プに分け、グループに属する要素画像を画面に順次表示
し、表示された要素画像をキー入力により特定すること
を特徴とする文書要素の検索方法。
【請求項１０】文書画像から分離した要素画像を所定の
比率で拡大もしくは縮小し、上記拡大もしくは縮小画像
を一定の大きさのフレーム画像のなかに複写し、フレー
ム画像の余白部を一定値の画素により埋め込むことを特
徴とする請求項９記載の文書要素の検索方法。
【請求項１１】複数の要素画像の縮小画像を画面に表示
し、要素画像の一つを指定することにより拡大画像を画
面に表示し、上記要素画像の関連情報を画面に同時に表
示することを特徴とする請求項１０記載の文書要素の検
索方法。