JPH0521267B2 - - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は文書画像フアイル検索において画像を
用いた検索が行なえる文書画像フアイル登録検索
装置に関する。

（従来技術とその問題点） 近年、文書画像フアイル装置が実用化され、そ
の検索方式が種々検討されている。このうち、画
像自身をインデツクス（見出）として検索する方
法は、冗長性を持つ画像データを検索するうえで
非常に有効である。このとき、複数の画像を同時
に表示し、その中から希望する画像を選べること
が望ましいが、個々の見出画像が見やすいもので
あることが必要である。しかし、従来装置ではこ
れは不十分であつた。例えば、昭和56年11月20日
出願の特願昭56−186361号明細書「画像フアイル
検索装置」は第８図のような構成を持ち、７６−
ａの縮小装置により、原画像全体を縮小し、見出
画像を作成していた。

第８図に示した従来例については前記文献１に
詳述されているので以下では簡単な説明を行なう
にとどめる。画像入力装置７１から入力された画
像は画像メモリー８２に蓄えられ、モニター８５
に表示される。操作卓８７から現在モニター８５
に表示されている画像をフアイルに登録するとい
うコマンドを入力すると、コマンド処理装置８８
でそのコマンドを受けつけ中央処理装置８９でコ
マンドの意味を解釈する。中央処理装置８９は登
録コマンドが入力されたことを知ると画像メモリ
ー８２内にある画像データを磁気デイスクインタ
ーフエイス８３を介して磁気デイスク装置８４に
書込む。また、画像メモリー８２内にある画像デ
ータは縮小装置８６ａによつて縮小され、その縮
小画像データも磁気デイスク装置８４に書込まれ
る。ここでは例えば１画素おきのまびきと４点
ORを用いて1/4×1/4に縮小する。

登録画像とその縮小画像との対応は１対１であ
り、両者のデイスク上でのアドレスを登録順にデ
イスク上のアドレス領域に書込んでおく。つまり
アドレス領域には２つのアドレスが書込まれてい
て、それぞれが縮小画像と登録画像のアドレスを
さす。次に操作卓８７から縮小目次というコマン
ドを入力するとコマンド処理装置８８でそのコマ
ンドを受けつけ中央処理装置８９でその意味を解
釈する。中央処理装置８９は縮小画像目次コマン
ドが入力されたことを知ると、磁気デイスク装置
８４からデイスク上のアドレス領域に書込まれて
いるアドレス順に縮小画像を読出す。またこの時
最初に読出される画像は中央処理装置８９が現時
点で、どの画像をさしているかを記憶していて、
その画像を最初に表示する。この例では1/4×1/4
に縮小しているので16枚の縮小画像を読出し、合
成装置８６ｂにおいて16枚の縮小画像を合成して
縮小画像目次を画像メモリー１２に書込み、モニ
ター１５に表示する。

以上従来例について説明したが、上記従来例に
おいては画像の縮小処理が画一的であるため画像
によつては縮小画像がつぶれて非常に見づらくな
るという欠点を有していた。特に一般文書などの
ように、見出しと本文の文字の大きさがほとんど
かわらないような画像では、文書の表題自体が最
悪の場合には読めなくなり、緒小画像による検索
が困難となることもあつた。

（発明の目的） 本発明は、このような従来の見出画像による検
索装置の欠点を除去し、見やすく、検索に有効な
見出画像を備えた画像フアイル登録・検索装置を
提供することにある。

（発明の構成） 本発明によれば、文書画像を入力する手段と、
入力画像を一時的に記憶する手段と、画像データ
上の位置を指定する手段と、登録及び検索命令を
入力する手段と、命令を解読し、登録処理、検索
処理を後記画像記憶手段、フアイル管理情報記憶
手段に行わせる手段と、登録処理時に、画素まび
き、画素間のOR、ブロツク単位の多数決のいず
れかの方法によつて原画像の画素数を削減した縮
小画像を得る手段と、縮小画像を記憶する手段
と、縮小画像と原画像を走査し、文書中の本文と
見出とにおける、黒画素パターンの大きさ、形
状、位置に関する統計的特徴、及び文書の一般的
書式規則に基づき、原画像中の見出文字列を自動
的に抽出する手段と、原画像と見出画像とを記憶
する画像記憶手段と、原画像と見出画像のフアイ
ル管理情報を記憶するフアイル管理情報記憶手段
と、原画像、あるいは複数の見出画像を表示する
手段とから構成されることを特徴とする文書画像
フアイル登録検索装置が実現できる。

（発明の概要） 本発明は、上述の構成をとることにより従来技
術の問題を解決した。文書画像登録時には、利用
者はまず画像入力手段から画像を入力し、バツフ
アメモリに一時的に記憶する。次にコマンド入力
手段から登録コマンドを入力することにより、入
力画像を記憶手段に記録する。この後、見出抽出
手段により、入力画像を走査し、画素まびき、画
素間のOR、ブロツク単位の多数決のいずれかの
方法によつて、原画像の画素数を削減した縮小画
像を作成し、これを補助メモリに記憶する。続い
て見出抽出手段は、縮小画像を走査し、画像内の
黒画素閉領域群のうち、その並び方から文字列と
みなされるものを抽出する。さらに、見出部が統
計的にどのような大きさ、形状であるか、また、
一般的な書式規則からどのような位置にあるかに
基づき、これらのうちで見出文字列と予想される
ものを選択し、原画像の対応する部分を走査し
て、正しく見出文字列を抽出する。この後、見出
画像作成手段が、抽出された見出文字列を含む領
域を一定の枠に納まるように拡大または縮小し、
見出画像として原画像とは別個に記憶手段に記録
する。同時に、原画像フアイルと見出画像フアイ
ルとの対応、及び他の見出画像フアイルとの関係
を記述したフアイル管理テーブルを作成または更
新し、記憶手段に記録する。

画像検索時には、検索コマンドを入力すること
により、記憶しているフアイル管理テーブルを参
照して、テーブル内で関係づけられている複数の
見出画像が表示手段に表示される。表示された見
出画像中に希望の画像がなければ、利用者は他の
見出画像の検索を要求する。利用者が希望する見
出画像を見出した時点で、コマンド入力手段、ま
たは位置指定手段からその画像のアクセス要求を
入力することにより、表示装置に該当画像の全体
が表示される。

本発明により、文書画像登録時に、その画像の
見出となる文字列を高速なアルゴリズムで抽出す
ることができ、これを別個に記憶することによ
り、重要な情報を見やすく表示する見出画像がえ
られ、有効な書画像検索が行なえる。

（実施例） 以下本発明の実施例について図面を参照して詳
細に説明する。第１図に本発明による文書画像フ
アイル登録検索装置の具体例を示す。図におい
て、１１が画像入力装置、１２は画像メモリ、１
３が画像メモリ内の画像データを表示する画像表
示装置で、本装置の画面上にはカーソルまたはポ
インターが表示され、１６の画面指示装置によつ
てこれを移動させることができる。１４のコマン
ド入力装置、１５のコマンド処理装置は、例えば
パーソナルコンピユータにより構成する。１６の
指示装置は、ジヨイステイツクあるいはマウスで
構成する。指示装置は、座標データ、または付随
するフアンクシヨンキーの入力によるキー入力デ
ータを送信する。１７の中央処理装置は、マイク
ロプロセツサ・ROM、RAMにより構成される
が、コマンドを解読し、第２図ａ、２図ｂに示す
アルゴリズムにより、登録処理、検索処理を制御
する。１８−１は登録画像の見出文字列を抽出す
る見出抽出装置、１８−２は縮小画像を記憶する
縮小画像メモリ、１８−３は見出画像作成に用い
る画像処理装置、１９−１はフアイル管理テーブ
ル記憶用の磁気デイスク装置、１９−２，１９−
３は画像データ記憶用の光デイスクインタフエー
ス装置及び光デイスク装置である。

第２図ａは中央処理装置１７の登録処理アルゴ
リズムを示すフローチヤートである。登録コマン
ドを解読した中央処理装置１７は、光デイスクイ
ンタフエース装置１９−２に原画像書込信号（デ
イスク側を書込モードにする）、画像データ転送
開始信号を送出する。データ転送後、光デイスク
インタフエース装置１９−２のステータスワード
を読み、光デイスク１９−３の書き込みアドレス
を記憶する。続いて、見出抽出装置１８−１に起
動信号を送つて抽出処理を行なわせる。抽出処理
終了後、見出抽出装置１８−１から見出領域情報
をうけとり、これを記憶する。続いて、画像処理
装置１８−４に起動信号を送つて起動させ、見出
領域情報を通知して見出画像作成を行なわせる。
見出画像作成が終わると、光デイスクインタフエ
ース装置１９−２に見出画像書込信号と画像デー
タ転送信号を送信し、データ転送後、ステータス
ワードを読んで書きこみアドレスを記憶する。最
後に、磁気デイスク装置１９−１上のフアイル管
理テーブルを参照し、新しい欄に、今回登録した
画像の登録番号、アドレスを書きこむ。また、す
でに登録した見出画像と今回登録した見出画像を
関連づけるため、例えば直前に登録した見出画像
のアドレスを書きこむ。同時に、直前に登録した
見出画像の欄に、今回登録した見出画像のアドレ
スを、「直後に登録されたもの」として書きこみ
登録処理を終わる。

第２図ｂは中央処理装置１７の検索処理アルゴ
リズムを示すフローチヤートである。検索コマン
ドを解読した中央処理装置１７は、光デイスクイ
ンタフエース装置１９−２に見出画像読出信号を
送出して読出しモードにし、現在記憶している見
出画像読出しアドレス、画像メモリ書込アドレス
を通知する。続いてデータ転送信号を送出し、転
送終了後、フアイル管理テーブルを参照して、例
えば読み出した見出画像の直後に登録したとして
関係づけた見出画像のアドレスを新しい読み出し
アドレスとする。画像メモリの一画面分がすべて
書きこまれるまで、画像メモリの書きこみアドレ
スを順次変化させ、この処理をくり返す。一画面
分の見出画像が書きこまれると、中央処理装置１
７はコマンド処理装置１５からの入力待ち状態と
なる。見出画面変更コマンドをうけつけると、フ
アイル管理テーブルを参照し、見出画像読出アド
レスを変更して、先程の処理にもどる。指示装置
１６からの座標データをうけつけると、画像デー
タ上のカーソル／ポインタ（図ではポインタと表
示している）の現在位置を更新し、画面上でカー
ソル／ポインタを移動させる。指示装置１６から
のフアンクシヨンキー入力（図ではキー入力とし
ている）をうけつけると、カーソル・ポインタの
現在位置の座標を参照し、表示している何番目の
見出画像に対応しているかを判断し、フアイル管
理テーブルを参照して該見出画像に対応する原画
像のアドレスを読み出す。さらに、光デイスクイ
ンタフエース装置１９−２に原画像読出信号と読
出アドレスを送出し、画像データ転送信号を送出
することにより、原画像を表示させ、一連の検索
処理を終わる。見出画像選択に指示装置１６を利
用するのは、画面から目を離さずに操作ができ、
しかも選択する画像が何番目のものかいちいち意
識する必要がないためである。

文書画像登録時には、利用者はまず画像入力装
置１１から画像を入力する。入力された画像は画
像メモリ１２に蓄えられ、表示装置１３に表示さ
れる。コマンド入力装置１４から画像登録コマン
ドを入力するとコマンド処理部１５を通じて中央
処理装置１７がこれを解読する。中央処理装置１
７は、画像メモリ１２内の画像データを光デイス
クインタフエース装置１９−２を介して光デイス
ク装置１９−３に書きこむ。

この後、中央処理装置１７は見出抽出装置１８
−１（マイクロプロセツサ、ROM、RAMを用
いて実現できる）を起動させ、見出文字列抽出を
行なう。文字列抽出アルゴリズムの例を示すフロ
ーチヤートを第３図に示す。これは、原画像デー
タから、画素まびき、画素間のOR、ブロツク単
位の多数決のいずれかの方法により原画像の画素
数を削減した縮小画像を作成し、まず縮小画像を
走査し、ここで見出文字列と予想される領域を決
定し、対応する領域についてのみ原画像を走査す
る効率のよい方法である。見出抽出装置１８−１
は、得られた縮小画像を縮小画像メモリ１８−２
に格納し、これを画素単位に走査し、黒画素連結
領域を抽出し、これに外接する矩形をつくる。続
いて作成した外接矩形でたて方向、または横方向
に並んで文字列をなすとみなせるものをグループ
にし、それらに外接する矩形をさらにつくる。こ
の処理は、縮小画像作成の方法により簡略化する
ことができる。例えば、本文中の文字ピツチ程度
の大きさのブロツクを考え、（新聞活字では例え
ば２mm×２mm）このブロツク中の黒画素のORを
とるか、黒画素の多数決のしきい値を低くとるこ
とにする。これを方法１とする。これにより本文
中の文字がつぶれ、横書きなら横の一行が、縦書
きなら縦の一行が連結された縮小画像が得られ、
文字列の矩形化処理を大幅に簡略化できる。逆
に、新聞などのように本文と見出の文字の大きさ
が顕著に異なる場合、多数決のしきい値を高くと
ることにより、本文文字列を消してしまう方法が
ある。これを方法２とする。例えば、先の２mm×
２mmのブロツクの場合、８本／mmの解像度（16×
16画素）で、黒画素多数決のしきい値を１２８と
すると、本文文字列は縮小画像中でほとんど消
え、見出文字列および写真、図表のみが残り、文
字列矩形化がそのまま見出矩形化となり、大変に
効率がよい。

方法１では、黒画素連結領域矩形化の時点で、
本文中のかなりの行を矩形化でき、これにより、
文書の縦書き、横書きの区別と行ピツチを知るこ
とができる。横書きの場合、例えば文書の左上の
矩形からグループ化を始め、自分よりも右にあ
り、横方向の距離が原画像上で３ブロツク以内
（重なつてもよい）で、横方向の中心線が1/2×行
ピツチ以内で一致するもの、しかも文字の高さ
（矩形の縦方向の長さ）の比が1/3〜３の範囲にあ
るものを同一行の文字列として吸収し、外接矩形
をつくる。第二の方法では、本文文字列をほとん
ど消すため、縦書き、横書きの別や行ピツチは利
用できないが、矩形の数が少ないため、縦横両方
向に処理を行なつても負担にならず、この点にお
いても縦書き、横書き見出の混在する新聞等の見
出抽出に有効である。文字列吸収の条件は、横書
きの場合例えば上記の条件で、横方向の中心線が
１／２×矩形の縦方向の長さ（比較する二つのうち
長い方を選ぶ）以内で一致するもの、と変えれば
よい。

文字列が行ごとに矩形化された後、この中で、
矩形の大きさ、位置、他の矩形との距離から見出
と考えられるものを選択する。一般に、見出文字
列は本文文字列に比して大きい、太いストローク
を持つ、周囲にかなりの背景領域を持つ、等の統
計的特徴を持つ。方法１の場合、この特徴と、文
書の書式規則を後慮して、例えば、横書きの場
合、行ピツチ以上の空白を周囲にもち、本文文字
列の文字と同じかそれ以上の文字の高さ（矩形の
縦方向の長さ）をもち、他より左上にある矩形を
見出文字列の候補として選ぶ。方法２の場合、縮
小画像を作成した時点で、すでに本文と見出に関
する上記の特徴を利用している。この場合矩形化
された文字列はすべて見出侯補とみなせるが、一
般的な書式規則から、例えば横書きなら左上、縦
書きなら右上の矩形を優先する。

選択された矩形については、それに対応する原
画像の領域とその近傍を走査し、ノイズを除去
し、最終的な見出文字列抽出を行なう。矩形が
表、写真等の誤まつたものをさしていた場合、前
の処理にもどつて次に見出候補とすべき矩形を調
べる。見出候補となる矩形が全く見つからない場
合は、文書画像の書式に従い、重要な情報を含む
と予想される部分（例えば図表部分）をかわりに
切り出して見出領域とする。

見出領域が決定すると、中央処理装置１７は画
像処理装置１８−２を起動し、該見出領域の画像
が見出画像の枠内に納まるように正規化する。見
出画像の大きさは、原画像の1/4×1/4とする。見
出領域がこの枠をこえる場合は縮小処理が、こえ
ない場合は拡大処理がなされる。ここで、見出は
画像の中央にくるようにする。処理されたデータ
は光デイスクインタフエース１９−２を介して光
デイスク装置１９−３の見出画像領域に記憶され
る。見出抽出装置１８−１は見出領域を表示装置
１３上に枠で示す。

これら一連の処理に対話処理を加えることも可
能である。例えば、見出領域決定結果が利用者に
とつて不満な場合、利用者はコマンド入力装置１
４から「変更」コマンドを入力する。

さらに指示装置１６により、利用者が自ら領域
を設定する。以後の処理は全く同様である。

光デイスク１９−３上での原画像と見出画像の
アドレスは磁気デイスク１９−１上のフアイル管
理テーブルに書きこまれる。フアイル管理テーブ
ルの構造を第４図に示す。ｎ−１、ｎ、ｎ＋１は
登録順にわりあてられる番号で、ａが原画像アド
レス、ｂが見出画像アドレス、ｃ，ｄは見出画像
と論理的に隣接する前後の見出画像のアドレスで
ある。この隣接関係は、例えば登録の順番とす
る。この状況を第５図に示す。画像Ａの見出画像
がＢであり、その直前に登録された見出画像が
Ｃ、直後に登録されたものがＤである。ａ，ｂ，
ｃ，ｄはそれぞれのアドレスである。

利用者が画像を検索する場合、コマンド入力装
置１４から「検索」コマンドを入力する。これを
受け付けた中央処理装置１７は現在記憶している
見出画像読み出しアドレスを基準に、磁気デイス
ク１９−１上のフアイル管理テーブルを参照しな
がら16枚の見出画像を順次読み出し、画像メモリ
１２への書きこみアドレスを順次変化させて書き
こみ、表示装置１３に表示する。これを第６図に
示す。表示する順番はＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，
Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｏ，Ｐとな
る。この後、見出画像読み出しアドレスは見出画
像Ｐの次の画像をさす。希望の画像が表示された
16枚の中になければ、利用者は「前」または
「後」コマンドをコマンド入力装置１４から入力
する。「前」コマンドをうけた中央処理装置１７
は表示されている16枚のうち先頭の見出画像（第
６図のＡ）の16枚前にある見出画像のアドレスを
読み出しアドレスとして、そこから16枚を読み出
し、表示する。「前」で指定された部分に16枚見
出画像がなければ、フアイル管理テーブルの先頭
の見出画像から16枚が表示される。「後」コマン
ドをうけた中央処理装置１７は、その時の見出画
像読み出しアドレス（第６図のＰの次の画像をさ
す）をもとに、そこから16枚を読み出し、表示す
る。「後」で指定された部分に16枚画像がなけれ
ば、最後の画像を表示した時点で処理を終わる。

「検索」「前」「後」コマンドにより検索を続
け、希望の見出画像が得られた時点で利用者は指
示装置１６を移動し、表示装置１３上でカーソ
ル／ポインターを該当する見出画像の枠内に納め
る。ここで指示装置１６のフアンクシヨンキーを
押下することにより、中央処理装置１７は現在カ
ーソル／ポインターの位置している見出画像に検
索要求があることを知り、対応する原画像データ
を光デイスク装置１９−３より読み出し表示装置
１３に表示する。

（発明の効果） 以上に述べた文書画像フアイル登録検索装置を
用いれば、文書画像登録時に、その画像の見出と
なる文字列を高速な、アルゴリズムで抽出し、こ
れを別個に記憶することにより、重要な情報を見
やすく表示する見出画像が得られ、有効な文書画
像検索が行なえる。

【図面の簡単な説明】

第１図は本発明による画像フアイル登録検索装
置のブロツク図、第２図ａ，ｂはそれぞれ中央処
理装置の登録処理アルゴリズム、検索処理アルゴ
リズムを示す図、第３図は見出抽出アルゴリズム
例を示す図、第４図はフアイル管理テーブルの構
造を示す図、第５図は第４図に示した見出画像及
び原画像の関係を示す図、第６図、第７図は検索
用見出画面を示す図、第８図は従来発明による画
像フアイル登録検索装置例を示すブロツク図であ
る。 図において、１１は画像入力装置、１２は画像
メモリ、１３は画像表示装置、１４はコマンド入
力装置、１５はコマンド処理装置、１６は画面指
示装置、１７は中央処理装置、１８−１は見出抽
出装置、１８−２は縮小画像メモリ、１８−３は
画像処理装置、１９−１は磁気デイスク装置、１
９−２は光デイスクインタフエース装置、１９−
３は光デイスク装置、８１は画像入力装置、８２
は画像メモリ、８３は磁気デイスクインタフエー
ス装置、８４は磁気デイスク装置、８５は画像モ
ニター、８６ａは画像縮小装置、８６ｂは画像合
成装置、８７は操作卓、８８はコマンド処理装
置、８９は中央処理装置である。

Claims (1)

【特許請求の範囲】
1. １ 文書画像を入力する手段と、前記入力画像を
   記憶する手段と、画像データ上の位置を指定する
   手段と、画像の登録命令，検索命令を入力する手
   段と、前記命令を解読し、登録処理、検索処理を
   後記画像記憶手段、フアイル管理情報記憶手段に
   行わせる手段と、前記登録命令が供給された時に
   前記入力画像の画素数を削減した縮小画像を得る
   手段と、前記縮小画像を記憶する手段と、前記縮
   小画像と原画像を走査し、文書中の本文と見出と
   における、黒画素パターンの大きさ、形状、位置
   に関する統計的特徴に基づき、前記原画像中の見
   出文字列を抽出する手段と、前記抽出した文字列
   を含む領域から見出画像を作成する手段と、前記
   原画像と見出画像とを記憶する画像記憶手段と、
   前記原画像と見出画像のフアイル管理情報を記憶
   するフアイル管理情報記憶手段と、前記原画像、
   あるいは複数の見出画像を表示する手段とから構
   成されることを特徴とする文書画像フアイル登録
   検索装置。