JPS6126150A - 文書画像フアイル登録検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は文書画像ファイル検索ｌこおいて画像を用いた
検索が行なえる文書画像ファイル登録検索装置（こ関す
る。

（従来技術とその問題点） 近年、文書画像ファイル装置が実用化され、その検索方
式が種々検討されている。このうち、画像自身をインデ
ックス（見出）として検索する方法は、冗長性を持つ画
像データを検索するうえで非常に有効である。このとき
、複数の画像を同時ｌこ表示し、その中から希望する画
像を選べることが望ましいが、個々の見出画像が見やす
いものであることが必要である。しかし、従来装置では
これは不十分であった。例えば、餡和５６年１１月２０
日出願の特願昭５６−１８６３６１号明細書「画像ファ
イル検索装置」は第す図のような構成を持ち、７６−ａ
の縮小装置により、原画像全体を縮小し、見出画像を作
成していた。

第８図に示した従来例については前記文献ｌに詳述され
ているので以下では簡単な説明を行なうにとどめる。画
像入力装置７１から入力された画像は画像メモリー８２
に蓄えられ、モニ９−８５に表示される。操作卓８７か
ら現在モニター８５ｉこ表示されている画像をファイル
に登録するというコマンドを入力すると、コマンド処理
装置８８でそのコマンドを受けつけ中央処理装置８９で
コマンドの意味を解釈する。中央処理装置８９は登録コ
マンドが入力されたことを知ると画像メモリー８２内に
−ある画像データを磁気ディスクインターフェイス８３
ヲ介シて磁気ディスク装置８４４こ書込む。また、画像
メモリー８２内にある画像データは縮小装置８６　ａ　
ｉこよって縮小され、その縮小画像データも磁気ディス
ク装置８４に書込まれる。ここでは例えは１画素おきり
まびきと４点ＯＲ，を用いて％×％ｌこ縮小する。

登録画像とその縮小画像との対応はｌ対ｌであり、両者
のディスク上でのアドレスを登録順にディスク上のアド
レス領域に書込んでおく。つまりアドレス領域には２つ
のアドレスが１込まれていて、それぞれが縮小画像と登
録画像のアドレスをさす。次に操作卓８７から縮小目次
というコマンドを入力するとコマンド処理装置８８でそ
のコマンドを受けつけ中央処理装置８９でその意味を解
釈する。

中央処理装置８９は縮小画像目次コマンドが入力された
ことを知ると、磁気ディスク装置８４からディスク上の
アドレス領域に書込まれているアドレス順に縮小画像を
読出す。またこの時最初に読出される画像（慧中央処理
装置８９が現時点で、どの画像をさしているかを記憶し
ていて、その画像を最初に表示する。この例ではＫ　Ｘ
　Ｋ　ｌこ縮小しているので１６枚の縮小画像を読出し
、合成装置８６　ｂ　ｌこおいて１６枚の縮小画像を合
成して縮小画像目次を画像メモリー１２に書込み、モニ
ター１５Ｇこ表示する。

以上従来例（こついて説明したが、上記従来例ζこおい
ては画像の縮小処理が画一的であるため画像によっては
縮小画像がつぶれて非常に見づらくなるという欠点を有
していた。％瘉こ一般文書などのように、見出しと本文
の文字の大きさがほとんどかわらないような画像では、
文書の表題自体が最悪の場合には読めなくなり、縮小画
像による検索が困難となることもあった。

（発明の目的） 本発明は、このような従来の見出画像をこよる検索装置
の欠点を除去し、見やすく、検索に有効な見出画像を備
えた画像ファイル登録・検索装置を提供することをこあ
る。

（発明の構成） 本発明ｌこよれは、文書画像を入力する手段と、入力画
像を一時的番こ記憶する手段と、画像データ上の位置を
指定する手段と、登録及び検案命令を入力する手段と、
命令を解読し、登録処理、検索処理を後記画像記憶手段
、ファイル管理情報記憶手段に行わせる手段と、登録処
理時ｌこ、画素まびき１画素間のＯＲ，ブロック単位の
多数決のいずれかの方法ζこよって原画像の画素数を削
減した縮小画像を得る手段と、縮小画像を記憶する手段
と、縮小画像と原画像を走査し、文書中の本文と見出と
における、黒画素パターンの大きさ、形状、位置に関す
る統計的特徴、及び文書の一般的書式規則に基づき、原
画像中の見出文字列を自動的に抽出する手段と、原画像
と見出画像とを記憶する画像記憶手段と、原画像と見出
画像のファイル管理情報を記憶するファイル管理情報記
憶手段と、原画像、あるいは複継の見出画像を表示する
手段とから構成されるこ゛とを特徴とする文書画像ファ
イル登録検索装置が実現できる。

（発明の概要） 不発明は、上述の構成をとることにより従来技術の問題
を解決した。文書画像登録時をこけ、利用者はます画像
入力手段から画像を入力し、バッファメモ１月こ一時的
に記憶する。次にコマンド入力手段から登録コマンドを
入力することにより、入力画像を記憶手段に記＠する。

この後、見出抽出手段により、入力画像を走査し、画素
まびき、画素間の０Ｉ−４、ブロック即位の多数決のい
ずれかの方法によって、原画像の画素数を削減した縮小
画像を作成し、これを補助メモリに記憶する。続いて見
出抽出手段は、縮小画像を走査し、画像内の黒画素閉領
域群のうち、その並び万から文字列とみなされるものを
抽出する。さらに、見出部が統計的にどのような大きさ
、形状であるか、また、一般的な書式規則からどのよう
な位置にあるかに基づき、これらのうちで見出文字列と
予想されるものを選択し、原画像の対応する部分を走査
して、正しく見出文字列を抽出する。この後、見出画像
作成手段が、抽出された見出文字列を含む領域を一定の
枠に納まるように拡大すたは縮小し、見出画像として原
画像とは別個に記′憶手段に記録する。

同時に、原画像ファイルと見出画像ファイルとの対応、
及び他の見出画像ファイルとの関係を記述したファイル
管理テーブルを作成または更新し、記憶手段ｌこ記録す
る。

画像検素特番こは、検索コマンドを入力することにより
、記憶しているファイル管理テーブルを参照して、テー
ブル内で関係づけられている複数の見出画像が表示手段
に表示される。表示された見出画像中に希望の画像がな
ければ、利用者は他の見出画像の検索を要求する。利用
者が希望する見出画像を見出した時点で、コマンド入力
手段、または位置指定手段からその画像のアクセス要求
を入力することをこより、表示装置に該当画像の全体が
表示される。

本発明により、文書画像普録時に、その画像の見出とな
る文字列を高速なアルゴリズムで抽出することができ、
これを別個に記憶すること番こより、重要な情報を見や
すく表示する見出画像かえられ、有効な書画像検索が行
なえる。

（実施例） 以下本発明の実施例について図面を参照して詳細に説明
する。第１図に本発明（こよる文書画像ファイル登録検
索装置の具体例を示す。図１こおいて、１１が画像入力
装置、１２が画像メモリ、１３が画像メモリ内の画像デ
ータを表示する画像表示装置で、本装置の画面上にはカ
ーソルまたはポインターが表示され、１６の画面指示装
置によってこれを移動させることができる。１４のコマ
ンド入力装置、１５のコマンド処理装置は、例えばパー
ソナルコンピュータにより構成する。１６の指示装置は
、ジョイスティックあるいはマウスで構成する。指示装
置は、座標データ、または付随するファンクションキー
の入力によるキー人力データを送信する。１７の中央処
理装置は、マイクロプロセッサ・ＲＯＭ。

ＲＡＭにより構成されるが、コマンドを解読し、第２図
（ａ）、２図（１））に示すアルゴリズムをこより、登
録処理、検索処理を制御する。１８−１は登録画像の見
出文字列を抽出する見出抽出装置、１８−２は縮小画像
を記憶する縮小画像メモＩＪ、１Ｂ−３は見出画像作成
に用いる画像処理装置、１９−１はファイル管理テーブ
ル記憶用の磁気ディスク装置、１９−２　、１９−３は
画像データ記憶用の光ディスタインタフェース装置及び
光デイスク装置である。

第２図（ａ）は中央処理装置１７の登録処理アルゴリズ
ムを示すフローチャートである。登録コマンドをＷ＃読
した中火処理装置１７は、光デイスクインタフェース装
置１９−２に原画像書込信号（ディスク側を書込モード
にする）、画像データ転送開始信号を送出する。データ
転送後、光デイスクインタフェース装置１９−２のステ
ータスワードを読み、光ディスク１９−３の誉き込みア
ドレスを記憶する。

続いて、見出抽出装置１．８−Ｈこ起動信号を送って抽
出処理を行なわせる。抽出処理終了後、見出抽出装置１
８−１から見出領域情報をうけとり、これを記憶する。

続いて、画像処理装置１８−４Ｉこ起動信号を送って起
動させ、見出領域情報を通知して見出画像作成を行なわ
せる。見出画像作成が終わると、光デイスクインタフェ
ース装置１９−２１こ見出画像書込信号と画像データ転
送信号を送信し、データ転送後、ステータスワードを読
んで曹きこみアドレスを記憶する。最後に、磁気ディス
ク装置１９−１上のファイル管理テーブルを参照し、新
しい欄に、今回登録した画像の登録番号、アドレスを書
きこむ。また、丁でｌこ登録した見出画像と今回登録し
た見出画像を関連づけるため、例えば直前に登録した見
出画像のアドレスを書きこむ。

同時に、直前に登録した見出画像の欄に、今回登録した
見出画像のアドレスを、「直後に登録されたもの」とし
て書きこみ登録処理を終わる。

第２図中）は中央処理装置１７の検索処理アルゴリズム
を示すフローチャートである。検索コマンドを解読した
中央処理装！１７は、光デイスクインタフェース装置１
９−２に見出画像読出信号を送出して読出しモードにし
、現在記憶している見出画像読出しアドレス、画像メモ
リ書込アドレスを通知Ｔる。続いてデータ転送信号を送
出し、転送終了後、ファイル管理テーブルを参照して、
例えは読み出した見出画像の直後に登録したとして関係
づけた見出画像のアドレスを新しい読み出しアドレスと
する。画像メモリの一画面分がすべて書きこまれるまで
、画像メモリの書きこみアドレスを順次変化させ、この
処理をくり返す０■画面分の見出画像が簀きこまれると
、中央処理装Ｒ１７はコマンド処理装置１５からの入力
待ち状態となる。見出画面変更コマンドをうけつけると
、ファイル管理テーブルを参照し、見出画像読出アドレ
スを変更して、先程の処理にもどる。指示装置１６から
の座標データをうけつけると、画像データ上のカーソル
／ポインタ（図ではポインタと表示している）の現在位
置を更新し、画面上でカーソル／ポインタを移動させる
。指示装置１６からのファンクションキー人力（図では
キー人力としている）をうけつけると、カーソル／ポイ
ンタの現在位置の座標を参照し、表示している何番目の
見出画像ｌこ対応しているかを判断し、ファイル管理テ
ーブルを参照して該見出画像に対応する原画像のアドレ
スを読み出す。さらに、光デイスクインタフェース装置
１９−２に原画像読出信号と読出アドレスを送出し、画
像データ転送信号を送出することにより、原画像を表示
させ、一連の検索処理を終わる。見出画像選択に指示装
置１６を利用するのは、画面から目を離さすに操作がで
き、しかも選択する画像が何番目のものかいちいち意識
する必要がないためである。

文書画像登録時には、利用者はまず画像入力枝［１１か
ら画像を入力する。入力された画像は画像メモリ１２に
蓄えられ、表示装置１３に表示される。

コマンド入力装置１４から画像登録コマンドを入力する
とコマンド処理部１５を通じて中央処理装置１７がこれ
を解読する。中央処理装置１７は、画像メモリ１２内の
画像データを光デイスクインタフェース装置１９−２を
介して光デイスク装置１９−３ζこ書きこむ。

この後、中央処理装置１７は見出抽出装置１８−１（マ
イクロプロセッサ、ＲＯＭ、ＲＡＭを用いて実現できる
）を起動させ、見出文字列抽出を行なう。文字列抽出ア
ルゴリズムの例を示すフローチャートを第３図に示す。

これは、原画像データから、画素まびき、画素間のＯＲ
、ブロック単位の多数決のいずれかの方法により原画像
の画素数を削減した縮小画像を作成し、ます縮小画像を
走査し、ここで見出文字列と予想される領域を決定し７
、対応する領域についてのみ原画像を走査する効率のよ
い方法である。見出抽出装置１８−１は、得られた縮小
画像を縮小画像メモ１ＪＩ８−２４こ格納し、これを画
素単位に走査し、黒画素連結領域を抽出し、これＧこ外
接する矩形をつくる。続いて作成した外接矩形でたて方
向、葦たは横方向ζこ並んで文字列をなすとみなせるも
のをグループにし、それらに外接する矩形をさらにつく
る。この処理は、縮小画像作成の方法により簡略化する
ことができる。例えば、本文中の文字ピッチ程度の大き
さのブロックを考え、（新聞活字では例えば２ｍ×２■
）このブロック中の黒画素のＯＲをとるか、黒画素の多
数決のしきい値を低くとることにする。

これを方法ｌとする。これにより本文中の文字がつぶれ
、横書きなら横の一行が、縦書きなら縦の一行が連結さ
れた縮小画像が得られ、文字列の矩形化処理を大幅に簡
略化できる。逆に、新聞などのように本文と見出の文字
の大きさが顕著に異なる場合、多数決のしきい値を高く
とること番こより、本文文字列を消してしまう方法があ
る。これを方法２とする。例えば、先の２　ｗｓ　Ｘ　
２■のブロックの場合、８本／ｍの解像度（１６Ｘ１６
画素）で、黒画素多数決のしきい値を１２８とすると、
本文文字列は縮小画像中でほとんど消え、見出文字列お
よび写真１図表のみが残り、文字列矩形化がそのます見
出矩形化となり、大変に効率がよい。

方法１では、黒画素連結領域矩形化の時点で、本文中の
かなりの行を矩形化でき、これにより、文書の縦書き、
横書きの区別と行ピッチを知ることができる。横書きの
場合、例えば文書の左上の矩形からグループ化を始め、
自分よりも右にあり、横方向の距離が原画像上で３プロ
、り以内（重なってもよい）で、横方向の中心線が％×
行ピッチ以内で一致するもの、しかも文字の高さく矩形
の縦方向の長さ）の比が３Ａ〜３の範囲（こあるものを
同一行の文字列として吸収し、外接矩形をつくる。

第二の方法では、本文文字列をほとんど消すため、縦書
き、横書きの別や行ピッチは利用できないが、矩形の数
が少ないため、縦横両方向に処理を行なっても負担ｌこ
ならす、この点においても縦書き、′１ｊＩＩｆき見出
の混在する新聞等の見出抽出に有効である。文字列吸収
の条件は、積書きの場合例えば上記の条件で、横方向の
中心線が％×矩形の縦方向の長さく比較する二つのうち
長い万を選ぶ）以内で一致するもの、と変えれはよい。

文字列が行ごとに矩形化された後、この中で、矩形の大
きさ、位置、他の矩形との距離から見出と考えられるも
のを選択する。一般に、見出文字列は本文文字列ζこ比
して大きい、太いストロークを持つ、周囲にかなりの背
景領域を持つ、等の統計的特徴を持つ。方法１の場合、
この特徴と、文書の書式規則を後置して、例えば、横書
きの場合、行ピッチ以上の空白を周囲にもち、本文文字
列の文字と同じかそれ以上の文字の高さく矩形の縦方向
の長さ）をもち、他より左上にある矩形を見出文字列の
候補として選ぶ。方法２の場合、縮小画像を作成した時
点で、■でに本文と見出に関する上記の特徴を利用して
いる。この場合矩形化された文字列はＴべて見出候補と
みなせるが、一般的な書式規則から、例えば横書きなら
左上、縦書きなら右上の矩形を優先する。

選択された矩形については、それに対応する原画像の領
域とその近傍を走査し、ノイズを除去し、最終的な見出
文字列抽出を行なう。矩形が表、写真等の誤まったもの
をさしていた場合、前の処理にもどって次に見出候補と
すべき矩形を調べる。

見出候補となる矩形が全く見つからない場合は、文書画
像の書式に従い、重要な情報を含むと予想される部分（
例えば図表部分）をかわりに切り出して見出領域とする
。。

見出領域が決定すると、中央処理装置１７は画像処理装
置１８−２を起動し、該見出領域の画像が見出画像の枠
内に納するように正規化する。見出画像の大きさは、原
画像の％×％とする。見出領域がこの枠をこえる場合は
縮小処理が、こえない場合は拡大処理がなされる。ここ
で、見出は画像の中央にくるようにする。処理されたデ
ータは光デイスクインタフェース１９−：Ｉ介して光デ
イスク装置１９−３の見出画像領域に記憶される。見出
抽出装置１８−１は見出領域を表示装置１３上に枠で示
すＯ これら一連の処理に対話処理を加えることも可能である
。例えば、見出領域決定結果が利用者にとって不満な場
合、利用者はコマンド入力装置１４から１変更」コマン
ドを入力する。

さらに指示装置１６により、利用者が自ら領域を設定す
る。以後の処理は全く同様である。

光ディスク１９−３上での原画像と見出画像のアドレス
は磁気ディスク１９−１上のファイル管理テーブルに書
きこまれる。ファイル管理テーブルの構造を第４図に示
す。ｎ　　ｌ　＋　ｎ　ｒ　ｎ　＋１は登録順にわりあ
てられる番号で、ａが原画像アドレス。

ｂが見出画像アドレス、ｃ、ｄは見出画像と論理的に隣
接する前後の見出画像のアドレスである。この隣接関係
は、例えば登録の順番とする。この状況を第５図に示Ｔ
０画像Ａの見出画像がＢであり、その直前に登録された
見出画像が０１直後に登録されたもの５がＤである。ａ
ｖ　ｂｒ　Ｃ＋　ｄはそれぞれのアドレスである。

利用者が画像を検索する場合、コマンド入力装置１４か
ら「検索」コマンドを入力する。これを受は付けた中央
処理装置１７は現在記憶している見出画像読み出しアド
レスを基準に、磁気ディスク１９−１上のファイル管理
テーブルを参照しながら１６枚の見出画像を順次読み出
し、画像メモリ１２への書きこみアドレスを順次変化さ
せて書きこみ、表示装置１３に表示する。これを第６図
に示す。表示する順番はＡ、Ｂ、０．Ｄ”、Ｅ、Ｆ、Ｇ
、Ｈ，Ｉ、Ｊ。

Ｋ、Ｌ、Ｍ、Ｎ、０．Ｐとなる。この後、見出画像読み
出しアドレスは見出画像Ｐの次の画像をさ丁。

希望の画像が表示された１６枚の中になければ、利用者
は「前」または「後」コマンドをコマンド入力装置１４
から入力する。「前」コマンドをうけた中央処理装置１
７は表示されている１６枚のうち先頭の見出画像（第６
図のＡ）の１６枚前にある見出画像のアドレスを読み出
しアドレスとして、そこから１６枚を読み出し、表示す
る。「前」で指定された部分に１６枚見出画像がなけれ
ば、ファイル管理テーブルの先頭の見出画像から１６枚
が表示される。

「後」コマンドをうけた中央処理装置１７は、その時の
見出画像読み出しアドレス（第６図のＰの次の画像をさ
す）をもと（こ、そこから１６枚を読み出し、表示する
。「後」で指定された部分に１６枚画像が１よければ、
最後の画像を表示した時点で処理を終わる。

「検索」「前」「後」コマンドにより検索を続け、希望
の見出画像が得られた時点で利用者は指示装置１６を移
動し、表示装置１３上でカーソル／ポインターを該当す
る見出画像の枠内に納める。ここで指示装置１６のファ
ンクションキーを押下することにより、中央処理装置１
７は現在カーソル／ポインターの位置している見出画像
に検索要求があることを知り、対応する原画像データを
光デイスク装置１９−３より読み出し表示装置１３ｆこ
表示する。

（発明の効果） 以上に述べた文書画像ファイル登録検索装置を用いれば
、文書画像登録時に、その画像の見出となる文字列を高
速な、アルゴリズムで抽出し、これを別個に記憶するこ
とにより、重要な情報を見やすく表示する見出画像が得
られ、有効な文書画像検素が行なえる。

【図面の簡単な説明】

ぞれ中央処理装置の登録処理アルゴリズム、検索処理ア
ルゴリズムを示す図、第３図は見出抽出アルゴリズム例
を示す図、第４図はファイル管理テーブルの構造を示す
図、第５図は第４図ｔこ示した見出画像及び原画像の関
係を示す図、第６図、第７図は検索用見出画面を示す図
、第８図は従来発明による画像ファイル登録検索装置例
を示すブロック図である。 図１こおいて、１１は画像入力装置、１２は画像メモリ
、１３は画像表示装置、１４はコマンド入力装置、１５
はコマンド処理装置、１６は画面指示装置、１７は中火
処理装置、１８−１は見出抽出装置、１８−２は縮小画
像メモＩＪ、１８−３は画像処理装置、１９−１は磁気
ディスク装置、１９−２は光デイスクインタフェース装
置、１９−３は光デイスク装置、８１は画像入力装置、
８２は画像メモリ、８３は磁気ディスクインタフェース
装置、８４は磁気ディスク装置、８５は画像モニター、
８６ａは画像縮小装置、８６ｂは画像合成装置、８７は
操作卓、８８はコマンド処理装置、７２　図　（０） オ　３　図

Claims (1)

【特許請求の範囲】
1. 文書画像を入力する手段と、前記入力画像を記憶する手
   段と、画像データ上の位置を指定する手段と、画像の登
   録命令、検索命令を入力する手段と、前記命令を解読し
   、登録処理、検索処理を後記画像記憶手段、ファイル管
   理情報記憶手段に行わせる手段と、前記登録命令が供給
   された時に前記入力画像の画素数を削減した縮小画像を
   得る手段と、前記縮小画像を記憶する手段と、前記縮小
   画像と原画像を走査し、文書中の本文と見出とにおける
   、黒画素パターンの大きさ、形状、位置に関する統計的
   特徴に基づき、前記原画像中の見出文字列を抽出する手
   段と、前記抽出した文字列を含む領域から見出画像を作
   成する手段と、前記原画像と見出画像とを記憶する画像
   記憶手段と、前記原画像と見出画像のファイル管理情報
   を記憶するファイル管理情報記憶手段と、前記原画像、
   あるいは複数の見出画像を表示する手段とから構成され
   ることを特徴とする文書画像ファイル登録検索装置。