JPH0314184A - 文書画像再配置ファイリング装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、新聞切抜等の文書画像において、見出し、本
文、図表、写真等異なる属性からなる領域の画像を自動
的に抽出し、各項目ごとに蓄積した後、各項目全体を再
配置して出力できる文書画像再配置ファイリング装置に
関する。

（従来の技術） 新聞切抜等の文書画像をファイリングする装置において
、その複雑なレイアウト形状を文書画像の属性（見出し
、本文、図表、写真）領域に従って自動的にそれぞれの
領域を抽出して、コンパクトに再配置するシステムが提
案されている。

たとえば、画像入力装置から入力した新聞画像をマンマ
シン対話によりパターンとして抽出し、構造記述により
データを構造化してデータ量を削減して蓄゛積し、利用
時にはその目的に合わせて再編集できるデータベース編
集管理システムがある（信学技報　ＰＲＬ８１−１０１
　　Ｐ、６５〜７２）。

また、文書の形態的情報やキーワードを用いて、標題、
章、節等による階層構造と、本文と図表間の参照構造等
の文書構造の自動抽出を行うことができ、さらに、文書
構造に基づいた書式とレイアウト知識を用いて、文書の
フォーマツティングや図表の創刊けを行う自動レイアウ
トシステム等がある（情報処理研究会　［文書処理とヒ
ユーマンインタフェースＪ　　２０−３　１９８８．９
．８゜）。

（発明が解決しようとする課題） しかし、ファイリングされた文書画像から所望の文書画
像を得るためには、文書画像全体を検索・チエツクしな
ければならないので、検索に時間がかかった。また、文
書画像には見出し、本文、図表、写真等が混在している
ので、データの蓄積として無駄である場合があった。

本発明は文書画像の検索・表示時間を短縮させるととも
に、文書画像を再配置することによって文書中の無駄な
余白を取り除いてデータ圧縮をさせることができる文書
画像再ファイリング装置を提供することを目的とする。

（課題を解決するための手段） 本発明は、第１図に示すように、新聞切抜等の文書画像
をスキャン入力する文書画像入力手段１と、前記文書画
像入力手段１により入力された文書画像の見出しく３−
１）、本文＜３−２）　、図表（３−３）、写真（３−
４）等の各界なる属性の領域を自動的に抽出、分離する
領域分離手段２と、前記領域分離手段２により抽出、分
離された見出し、本文、図表、写真等の各項目を項目ご
とに蓄積、格納する項目別ファイル蓄積手段３と、前記
項目別ファイル蓄積手段３に蓄積されている各項目の内
容をそれぞれの項目ごとに検索できる検索手段（６，７
）、前記検索手段（６，７）の検索によって所望の文書
画像を検索し、各項目の内容を再配置して全体の文書画
像を出力する文書画像再配置手段８とから構成する。

（作　　用） 文書画像入力手段１によって新聞等をスキャンして入力
された入力文書画像は、領域分離手段手段２で、見出し
３−１、本文３−２、図表３−３、写真３−４の各属性
領域に分離され、それぞれの領域を囲む矩形の左上端座
標（ｘ、ｙ）、幅Ｗ１高さｈが抽出される。この時、縦
書き横書きの判別もなされる。次に、見出し３−１と本
文３−２との領域については、文字認識処理が施されて
コドデータに変換され、図表３−３と写真３−４との領
域については、画像圧縮処理が施された後、各属性項目
別にファイリングされる。検索手段６では、見出し３−
１あるいは本文３−２に対するキーワード検索（登録済
部分キーによる部分一致ストリングマッチング）、また
は検索手段７では、図表３−３、写真３−４に対する類
似画像の検索のいずれかを選んで検索できる。検索時に
は検索対象とした見出し３−１、本文３−２、図表３３
、写真３−４のいずれかのみ表示し、検索終了時には文
書画像全体を再配置処理手段８で再配置処理を施して表
示する。再配置処理手段８では、見出し３−１、本文３
−２、図表３−３、写真３４の順に、右上から左に配置
し、左端になったら段落を変える（横書きの場合は左」
二から右に配置していく）事をくり返す。

第２図および第３図には各属性領域に分離された結果と
再配置された結果の一例をそれぞれ示す。

（実　施　例） 第１図を参照しつつ本発明の詳細な説明する。

図において、文書画像入力手段１では、新聞切抜等の文
書画像をスキャン入力し、領域分離手段２で、入力され
た入力文書画像から文書画像の属性別、たとえば、見出
し３−１、本文３−２、図表３−３、写真３−４を自動
的に抽出する。この属性項目別に抽出された文書画像か
ら文字として、見出し３−１および本文３−２を文字認
識手段４で認識して文字コードに変換した後、項目別フ
ァイル蓄積手段３に蓄積する。また、前記抽出された文
書画像が画像である場合には、画像圧縮手段５によって
圧縮して項目別ファイル蓄積手段３に蓄積する。蓄積さ
れている文書画像を見たい場合には、文字として見出し
３−１および本文３−２を項目別に検索するためのキー
ワード検索手段６と、画像として図表３−３および写真
３−４を検索する類似画像検索手段７とにより検索でき
るようになっている。そして、文書画像再配置手段８に
は、これらの検索手段によって、最終検索結果を出力表
示する。

本文字領域、見出し領域、図表領域、および写真領域の
それぞれの大きさ、領域内の濃度、エツジの数・・・等
の属性の相違に着目することにより、領域の識別および
分離を任意に行うことができる。

第４図は領域分離手段２の構成例を示すブロック図であ
る。これは本出願人の出願になる特願昭６３−２５２９
２０号（発明者　中村型）、特願昭６３−２９・１０９
５号（発明者　中村型）、特願平１８７０３９号（発明
者　中村型）等の明細書に開示の技術によって構成した
一例であり、２値化手段２０１、矩形化処理された画像
を格納する矩形化領域画像メモリ２０２、矩形化処理を
行う矩形化処理手段２０３．２値化された画像を記憶す
る２値画像メモＩＪ　２０４．２値化された画像に対し
て孤立点除去を施す孤立点除去手段２０５、孤立点除去
後の画像に対して輪郭抽出処理を施す輪郭抽出手段２０
６、抽出された輪郭画像を記憶する輪郭画像メモリ２０
７、各画像メモリ２０２．２０４．２０７の記憶内容に
基づいて両画像領域の判定を行う領域識別手段とからな
っている。領域判定手段は、矩形領域アドレス発生部２
０８、黒画素計数部２０９．２１０、本文文字識別部２
１１、矩形面積算出部２１２、比算出部２１３、面積比
較部（見出し／図表識別部）２１４、比比較部（写真／
文字線画像識別部）２１５等からなっている。

入力画像はスキャナ等より多値で入力される。

画像入力データは２値化処理手段２０１により２値化処
理される。２値化された画像は矩形化処理手段２０３に
よって黒画素を連結し連結した領域を矩形で囲む矩形化
処理を施され、得られた矩形領域は矩形化領域画像メモ
ＩＪ　２０２に記憶され、画像の識別単位として利用さ
れる。

また、２値化された画像は、孤立点除去手段２０５によ
り孤立点を除去された後、輪郭抽出手段２０６により輪
郭即ちエツジ部分の抽出処理がなされ、輪郭画像メモリ
２０に記憶される。

領域の識別は、矩形化処理手段２０３により得られた矩
形で囲まれた領域を単位として、まず、本文文字識別部
２１１により、矩形の高さの分布から本文の文字高さを
推定して、本文を識別し、これを分離する。次に残りの
画像中の見出し領域、図表領域、写真領域を、矩形の大
きさ、矩形内の濃度やエツジから判別する。即ち、矩形
領域アドレス発生部２０８において、本文文字以外の各
矩形領域について矩形化領域画像メモリ２０２から読み
出した矩形化処理した画像に基づき矩形領域の各画素の
アドレスを発生する。発生したアドレスにより２値画像
メモリ２０４および輪郭画像メモリ２０７からそれぞれ
矩形領域内の画素を読みだし、その読み出した画素の黒
画素の数をそれぞれ黒画素計数部２０９．２１０で計数
する。計数した矩形内の２値画像の黒画素数と輪郭画像
の黒画素数との比を比算出部２１３で算出する。比比較
部２１５は比算出部２１３で算出した比を予め定めたし
きい値と比較し、しきい値よりも大きい場合は文字線画
領域、小さい場合は写真領域と判定する。

文字線画像と判定されたときは、矩形の大きさによりそ
れが見出し領域であるかまたは図表領域であるかを判定
する。そのために、矩形化領域画像メモリ２０２から読
み出した矩形化処理した画像に基づき矩形領域の面積を
矩形面積算出部２１２で算出する。そして面積比較部（
見出し／図表識別部）２１４において、算出した矩形の
面積の大きを予め定めたしきい値と比較し、その結果、
しきい値より小さいときはその矩形領域は見出し領域で
あると判定（識別）する。比較の結果しきい値よりも大
きいときは、図表領域であると判定する。

これらの判定結果（識別信号）に基づいて、イメージメ
モリ等に記憶されている入力画像から各領域の画像信号
が分離抽出され、文字認識や符号圧縮、検索のための属
性情報の伺加等の必要な処理を施された後、項目別ファ
イル蓄積部３に登録される。すなわち、スキャンインさ
れた入力画像は領域分離手段２によって、見出し３−１
、本文３−２、図表３−３、写真３−４の各属性領域に
分離され、また、それぞれの領域を囲む矩形の左上端座
標（ｘ、　　ｙ）　、幅Ｗ、高さｈが抽出される。

この時、縦書き横書きの判別もなされる。次に本文およ
び見出し領域については文字認識手段４により文字認識
処理が施されてコードデータに変換され、図表、写真領
域については画像圧縮手段５により画像圧縮処理が施さ
れた後、項目別ファイリング蓄積手段３において各属性
項目別にファイリングされる。

以上のようにして、登録された画像に対する検索は、見
出しあるいは本文に対してはキーワード検索手段６によ
りキーワード検索（登録済部分キーによる部分一致スト
リングマッチング）で必要な画像の検索を行う。図表あ
るいは写真に対しては類似画像検索手段７により行う。

次に、図表３−３および写真３−４に対する類似画像検
索の一例について、第５図ないし第９図を参照しつつ説
明する。この例は本出願人の出願になる特願平１−１１
３８２９号（発明者　広瀬真）の明細書に開示の技術に
よるものであり、必要とする画像を高速に検索できる利
点のあるものである。

第５図は、本発明の上記類似画像検索を行う機能を有す
る画像検索装置の一実施例の概略の構成を示すブロック
図である。本画像検索装置は、利用者あるいは管理者が
画像を入力するための画像入力装置２５、画像やその他
の情報を利用者あるいは管理者に表示するための表示装
置２６、画像間の一致度の算出や検索された画像の提示
順序や装置全体の制御をするための演算装置２７、検索
された画像を印刷などの形で出力するための画像出力装
置２８、画像間の一致の判定の際の許容範囲を利用者が
入力するための制御入力装置２９、画像や情報等を記憶
しておく記憶装置３０から成っている。

類似画像検索を効率的に行うために、図表および写真を
項目別ファイリング蓄積手段３へ登録す１ ２ る時に加工を施し、特徴情報を付加しておく。

まず、その登録動作を説明する。第６図は、画像入力装
置２５から送られる二次元二値の画像情報の構造の例を
示す図である。この画像情報は表示装置２６によって画
像として表示される。画像情報全体はＭＸＮ個の二値情
報であり、本実施例では値Ｏは白、１は黒を表すものと
する。演算装置２７は、ＫＸＬ個の小領域毎に各領域内
の値１の数を量子化した特徴量を第７図の形式にまとめ
た特徴情報３２を作成する。そして、特徴情報３２とＭ
ＸＮ個の画像情報３３とを、記憶装置３０に記憶する。

このようにして記憶装置３０には、第５図に示すように
多数の画像に対する特徴情報群３４と画像情報群３５と
が記憶される。なお、特徴情報３２の先頭の画像番号３
１は、演算装置２７が複数の画像情報を識別するための
一意な番号である。

次に画像の検索動作を第９図に示す処理動作フローチャ
ートにより説明する。制御入力装置２９からは、一致判
定の際の許容範囲として、利用者が必要とする画像の数
■が入力される（■）。

演算装置２７は、検索の条件となる画像が与えられると
、登録の場合と同様にして検索の条件となる画像に対す
る特徴情報ａ０を作成する（■）。

Ｊを１に設定し、不一致度の小さい方から１番目の値を
入れるレジスタＤ□の値をＫＸＬに設定する（■）。

画像番号Ｊの画像の特徴量ｂ　Ｊｌｆ＋を算出する（■
）。なお、第８図のように特徴量が登録時に計算され画
像のインデックスとして画像と一緒に登録されている場
合には、その値を記憶装置３０から読み出す。

ここで演算装置２７は、画像番号１番から順にｊ番目の
画像と検索の条件となる画像との間の不一致度ＤＪを計
算していく　（■）。

そしてり、が求まる度に、すでに計算しである不一致度
の小さい方から１番目の値のＤ工とり。

とを比較する（■）、１ Ｄヨ〉Ｄ□のときは、１番目までに入っていないので、
次の画像についての処理に移るため、ｊの値を１増加す
る（■）。

比較の結果、Ｄ、≦Ｄ１のときは、ＤｌをＤＪの値で置
き換える（■）。不一致度が小さい方から１番目までの
画像の番号を記憶しておく　（■）。

そして、次の画像についての処理に移るため、ｊの値を
１増加する（■）。

最後に、記憶しである全ての画像について不一致度を計
算し終ったときに、不一致度の小さい方から１枚の画像
を表示装置２６に表示する。

ところで、特徴情報群３４中における各画像の特徴情報
と検索の条件となる画像の特徴情報との間の不一致度を
計算する方法を説明する。特徴情報は、画像番１号３１
とに行り列の行列で表せる画像の特徴量から成る。検索
の条件となる画像の特徴量をａｋｌ　（ｋ＝１〜に、　
］＝１〜Ｌ）　、特徴情報群１４の中の３番目の画像の
特徴量をｂ　ｊｋＬ（ｋ−１〜に、］＝１〜Ｌ）と表す
。そして、各小領域毎の領域内の１の数が２値に量子化
されているとしたとき、条件となる画像とｊＷ目の画像
との不一致度は次式で表される演算によって求めること
ができる。

Ｄ、−ΣΣ（ａｋｌ■ｂ、□、） つまり、対応する要素間の排他的論理和の総和を不一致
度と定義する。なお■は排他的論理和を表す記号とする
。

なお、各小領域毎の領域内の１の数が多値に量子化され
ているとしたとき、即ち、ａｋＬとｂ　ＪｋＬが多値の
ときは、条件となる画像と３番目の画像との不一致度は
次式で表される演算によって求められる。

Ｄｊ−ΣΣ　ａ　ｋＬ　　ｂ　ＪｋＬ 次に、検索した結果の画像を出力する際には、見出し３
−１、本文３−２、図表３−３、写真３４等文書全体の
再配置処理を行う。第１０図および第１１図は再配置処
理動作の手順を示すものである。なお、第１０図と第１
１図とは■と◎において接続される。

先ず、検索された文書画像に対応する蓄積手段３の見出
し部の記憶位置を走査して見出し３−１があるか否かを
調べる（０）。

５ ６ 見出し３−１がある場合には、その見出し３１が縦長配
置かあるいは横長配置かを調べる（■）。見出し３−１
が縦長配置のものであるときは、読み出巳だ見出し文字
を縦長配置手順に従って配置を行う（０）。横長配置の
ものであるときは、読み出した見出し文字を横長配置手
順に従って配置する。

見出し３−１が縦長配置（０）および横長配置（■）の
いずれの場合でも、さらに他の見出し文字があるか否か
を調べる（０）。

新たな見出し文字がなければ見出しの配置が終了し、本
文の文字列の配置に移る。その際、次の行を文字列の右
上端の座標として設定する（■）。

文字列がまだあるか否かを調べる（［相］）。文字列が
あればその文字列の右端からの余白と左側における所定
のマージンとを比較して（■）、左側マージンの方が小
さい間は、文字列を配置する（■）。文字列の配置は、
現在の文字列の右端から文字幅だけ差し引いた位置が次
の文字列の右端となる（［相］）。

処理０において、文字列配置の左側余白が、所定の左側
マージンより小さくなった場合には、段落の変更と文字
列の右端再設定を行う（＠）。そして、処理０と同様に
文字列の配置を行う（ｏ）。

処理［相］で配置すべき文字列がなくなると図表および
写真の配置に移るが、まず図表、写真の配置の右上端の
座標を設定する（■）。

処理■で検索結果の文書画像に図表または写真があれば
、それを配置すべき右端からの左側余白と左側における
所定のマージンとを比較して（■）、左側マージンの方
が小さい間は、図表または写真を配置する（■）。図表
または写真の配置は、現在の図表または写真の右端から
図表または写真の幅だけ差し引いた位置が次の図表また
は写真の右端となる（■）。

処理［有］において、左側マージンの方が大きくなった
場合には、段落の変更と図表または写真の右端再設定を
行う（■）。そして、処理■と同様に図表または写真の
配置を行う（■）。処理■で図表または写真がなくなる
と再配置は終了する（［相］）。

（発明の効果） 本発明によれば、文書画像における見出し、本文、図表
、写真等異なる属性の領域を自動的に抽出、分離し、項
目（属性領域）ごとに分けて蓄積するとともに、検索に
おいては属性の領域ごとに適した検索方法により検索で
きるようにし、検索時の表示はその属性の領域のみとす
ることができので、検索を効率的に行うことができる。

さらに、検索結果の文書画像を全体を項目ごとにそれぞ
れまとめて再配置するようにしたので、文書中の無駄な
余白を取り除きデータを圧縮させることができ、また表
示に要する時間を短縮させることができる。

【図面の簡単な説明】

第１図は本発明の文書画像再配置ファイリング装置の構
成を示す図、第２図および第３図は領域分離で抽象され
た各属性を項目別にファイルする様子を示した図、第４
図は領域分離手段のブロック構成図、第５図は画像検索
装置のブロック構成図、第６図は二次元二値の画像情報
の構造を示す図、第７図は特徴情報の構造を示す図、第
８図は特徴情報群と画像情報群とを示す図、第９図は検
索動作時の処理フローチャート、第１０図および第１１
図は第１図図示における文書画像再配置処理手段８のフ
ローチャートを示す。 １・・・文字画像入力手段 ２・・・領域分離手段 ３・・・項目別ファイル蓄積手段 ４・・・文字認識手段 ５・・・画像圧縮手段 ６・・・キーワード検索手段 ７・・・類似画像検索手段 ８・・・文書画像再配置処理手段 第 １０ 図 一一干≧−一。 特開平 １４１８４　（１０） 第 １ 図

Claims (1)

1. 【特許請求の範囲】 文書画像を入力する文書画像入力手段と、 前記文書画像入力手段により入力された文書画像の見出
   し、本文、図表、写真等の各異なる属性の領域を自動的
   に抽出、分離する領域分離手段と、前記領域分離手段に
   より抽出、分離された見出し、本文、図表、写真の各項
   目を項目ごとに蓄積、格納する項目別ファイル蓄積手段
   と、 前記項目別ファイル蓄積手段に蓄積されている各項目の
   内容をそれぞれの項目ごとに検索できる検索手段と、 前記検索手段の検索によって所望の文書画像を検索し、
   各項目の内容を再配置して全体の文書画像を出力する文
   書画像再配置手段と、 を備えたことを特徴とする文書画像再配置ファイリング
   装置。