JPH0652353A - 文書認識システム - Google Patents

Abstract

(57)【要約】 【目的】 文章領域と図領域のどちらか一方もしくはそ
の双方を有する文書の画像デ−タに対し、その画像から
まとまったブロックを自動で抽出する。 【構成】 ブロックを抽出する際に、画像中の黒画素連
の外接矩形について互いに重複する部分を持つものを統
合した基本矩形を用い、それら基本矩形間の距離および
基本矩形の大きさを利用する機能を備えている。 【効果】 黒画素連の外接矩形について互いに重複する
部分を持つものを統合した基本矩形を用い、それら基本
矩形間の距離および基本矩形の大きさを利用した処理を
行うことによってブロックを自動で抽出することができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書画像として入力し
た文書をコ−ド化して出力する文書自動入力装置に関す
るものである。

【０００２】

【従来の技術】従来、この種の文書認識装置において
は、ブロックの抽出を自動的に行うにあたって、画像の
投影特徴を求め、その谷間を検出するなどの方法が用い
られている。

【０００３】

【発明が解決しようとする課題】上記従来技術において
は、文書の構造が簡単な場合には比較的容易にブロック
を抽出することができるが、一方文書が複雑な段組構造
を持つ場合、また図が文書中に埋め込まれている場合な
どに、うまくブロックを抽出できないことがあった。

【０００４】本発明の目的は、文章領域と図領域のどち
らか一方もしくはその両方の属性を有する領域を持つ文
書の画像デ−タに対し、その画像データからまとまった
文章領域や図の領域を表現するブロックを自動で抽出す
ることにある。つまり文章なら文章を、また図なら図を
それぞれ独立に抽出することを目的としており、例えば
一つの文章領域がいくつかに切り放されて抽出されるこ
とは問題としない。

【０００５】

【課題を解決するための手段】本発明は、従来の問題点
に鑑みなされたものであって、文章領域と図領域のどち
らか一方もしくはその両方の属性を有する領域を持つ文
書の画像デ−タを入力として、該入力した画像データか
らまとまった文章領域や図の領域を表現するブロックを
抽出し、あるブロックが文章領域と図領域とのどちらの
属性を持つものであるかを判定もしくは両者を区別し、
文章領域の内容に対応する文字列デ−タおよび図領域の
内容に対応する画像デ−タを出力する文書認識システム
において、前記画像データ中の黒画素連の外接矩形につ
いて互いに重複する部分を持つものを統合した基本矩形
を用い、該基本矩形の間の距離がある値以下である基本
矩形同士を統合してブロック候補を生成する統合処理
と、ブロック候補からある限度よりも大きな基本矩形を
独立させてそれをブロック候補に変更する分離処理との
二つの処理を、前記画像データ中から全てのブロックが
抽出されてしまうまで繰り返す反復統合分離処理を行う
機能を備えている文書認識システムを提案するものであ
る。

【０００６】

【作用】本発明によれば、文章領域と図領域のどちらか
一方もしくはその双方を有する文書に対し、まずその文
書画像から黒画素連を抽出し、それぞれの画素連につい
て外接矩形を算出する。続いてそれらの算出された外接
矩形を、互いに重複する部分を持つものについて統合す
ることによって基本矩形を求める。そしてそれらの基本
矩形すべてを含む矩形をブロック候補と設定し、そのブ
ロック候補について、基本矩形間の距離を利用した基本
矩形のブロック候補への統合処理、および基本矩形の大
きさを利用したブロック候補の分離処理を反復して実行
してゆくことによってブロックを抽出する。

【０００７】

【実施例】本発明の一実施例を添付図面を参照して説明
する。図１は本発明を適用した文書自動入力装置であ
る。一点鎖線で示した文書自動入力装置１は、イメ−ジ
スキャナ、複写機等の図示しない入力部分からデ−タを
入力した文書画像デ−タから、文章領域もしくは図領域
の候補となるブロックを抽出するブロック抽出工程２、
この抽出工程２で抽出されたブロックが文章領域である
のか図領域であるのかを決定する領域の分類工程３、こ
の領域の分類工程３で文章領域と判定されたブロック内
の文字認識を行う文字認識工程４、および文字コ−ドデ
−タファイル５、および領域の分類工程３で図と判定さ
れたブロック内に含まれる画像デ−タを記録する画像デ
−タファイル６から構成される。

【０００８】図１のブロック図と図２のフロ−チャ−ト
とで、全体の処理を説明する。イメ−ジスキャナ、複写
機の入力部分から文書画像デ−タを入力し（ステップ
１）、この入力された文書画像デ−タから、ブロック抽
出工程２で、文章領域もしくは図領域の候補となるブロ
ックを抽出し（ステップ２）、この抽出されたブロック
が文章領域であるのか図領域であるのかを領域の分類工
程３で決定する（ステップ３）。領域の分類工程３で、
文章領域と判定されたブロックは文字認識工程４へ印加
され、この文字認識工程４で文字認識を行う（ステップ
４）。ステップ４で文字認識が行われた結果生成された
文字コ−ドデ−タは、文字コ−ドデ−タファイル５に格
納される（ステップ５）。ステップ３で画像デ−タと認
識されたデ−タは、画像デ−タファイル６に格納される
（ステップ６）。

【０００９】領域の分類工程３においては、例えば分類
の対象となるブロック内に含まれる黒画素連の外接矩形
の大きさの分布を求めることによって、そのブロックが
文章領域であるか図領域であるかを統計的に判定するな
どの手法を用いて分類を行う。以下において、ブロック
抽出工程２（ステップ２）について説明する。まず対象
の文書画像から黒画素連を抽出し、それぞれの画素連に
ついてその外接矩形を算出する。次にそれら外接矩形に
基づいて基本矩形を定義するが、それは以下のようなも
のである。

【００１０】（１）ある外接矩形について、それが他の
外接矩形と互いに重複する部分を持つ場合には、それら
重複した外接矩形を統合し、両者の矩形を囲む矩形を基
本矩形として定義する。またこのようにして生成された
基本矩形が更に他の外接矩形と互いに重複する部分を持
つ場合には、そのような重複する外接矩形が存在しなく
なるまで統合を行う。 （２）ある外接矩形について、それが他の外接矩形と互
いに重複する部分を持たない場合には、それをそのまま
基本矩形とする。

【００１１】上記のようにして求めた基本矩形を元にし
た反復統合分離処理によってブロック抽出を行うが、以
下その手順を、図３から図５のフローチャートを用いて
説明する。まず反復統合分離処理全体の流れを図３によ
って、次いで反復統合分離処理の中で用いられる統合処
理と分離処理とをそれぞれ図４および図５によって説明
する。まず図３のステップ７において、すべての基本矩
形を囲む領域を一つのブロック候補とする。これが出発
点となる。ステップ８においては全体の領域中にブロッ
ク候補が存在するか否かの判断を行い、もうブロック候
補が存在しなければ、つまりすべてのブロックが抽出さ
れてしまっていれば、その時点で反復統合分離処理を終
了する。

【００１２】一方まだブロック候補が存在する場合に
は、存在するすべてのブロック候補に対して、全体とし
てのステップ９が示すような処理を行う。まずステップ
１０において、当該ブロック候補に対して統合処理を施
す。そしてその結果生成されたブロック候補のすべてに
対して、全体としてのステップ１１が示すような処理を
行う。そこにおいては、統合処理（ステップ１０）によ
って生成されたブロック候補に対してステップ１２で分
離処理を施す。分離処理を施した結果新しいブロック候
補が生成されたかどうかをステップ１３において判定
し、新しいブロック候補が生成されなかった場合には、
ステップ１４において当該ブロック候補をブロックとし
て抽出されたものと認定する。

【００１３】一方分離処理を施した結果新しいブロック
候補が生成された場合には、図３のフローチャートの処
理の流れに従って、それらのブロック候補に対してステ
ップ９が示す処理を適用し、すべてのブロック候補がブ
ロックとして抽出されるまで、統合処理と分離処理とを
反復的にブロック候補に対して適用する。

【００１４】次に、図４を用いて統合処理を説明する。
ただしここでは文章領域における文字の並びの方向とし
て横方向を仮定している。まずステップ１５において、
対象とするブロック候補内の基本矩形を、水平方向にあ
る大きさだけ大きくしたうえで、互いに重複する部分を
持つもの同士についてそれらを統合する。このとき基本
矩形を水平方向に大きくする大きさとしては、その大き
さだけ大きくすることによって文字列内の文字の基本矩
形同士は重なるが、例えば異なる段にある文字の基本矩
形同士や、または文字と図の基本矩形同士は重ならない
ような、適当な大きさを選ぶ。この結果生成された矩形
を文字列候補と呼ぶことにする。

【００１５】次にステップ１６において、文字列候補
を、垂直方向にある大きさだけ大きくしたうえで、互い
に重複する部分を持つもの同士について、それらを統合
してブロック候補を生成する。このとき文字列候補を垂
直方向に大きくする大きさとしては、その大きさだけ大
きくすることによって文章領域内の行の文字列候補同士
は重なるが、文字の行と図とは重ならないような、適当
な大きさを選ぶ。ステップ１５およびステップ１６にお
ける処理の狙いは、それによってまとまった文章領域お
よび図などの領域をそれぞれ独立にブロック候補として
抽出することにある。この結果、対象とするブロック候
補内において新しい、つまり元のブロック候補と異なる
ブロック候補が生成されたかどうかをステップ１７にお
いて判定し、もしそのようなブロック候補が生成されて
いれば、ステップ１８において元のブロック候補を削除
する。

【００１６】上記の統合処理においては、そのステップ
１５およびステップ１６において、基本矩形および文字
列候補を水平方向および垂直方向にある大きさだけ大き
くする際に、文字列内における文字間の空白および文章
領域内における行間の空白は、段組間の空白もしくは文
章領域と図とを隔てる空白よりも十分に小さいことを仮
定している。しかしこの仮定は常に妥当であるとは言え
ず、例えば文章領域内における行間の空白と、文章領域
と図とを隔てる空白とのあいだには、それほど明確な差
がない場合もある。そのような場合には、統合処理を施
すことによって、文章領域と図の領域とが統合されて同
一のブロック候補内に納められてしまうことも起こり得
る。同様なことが、空白の大きさにかかわらず、文章領
域の中に図が埋め込まれているような場合にも起こると
考えられる。このような場合に文章領域と図とを分離す
るために、図５にそのフローチャートを掲げた分離処理
をブロック候補に対して施す。

【００１７】分離処理においては、図５のステップ１９
において、対象とするブロック候補内から基本矩形の大
きさの異常なものを抽出する。ここで大きさの異常とい
うのは、そのブロック候補内の大多数の基本矩形に比べ
てその大きさが飛び抜けて大きいことを指す。そして、
ステップ１９の処理によって新しいブロック候補が生成
されたかどうかをステップ２０で判定し、もし新しいブ
ロック候補が生成されていればステップ２１において元
のブロック候補から新しくブロック候補に変更された基
本矩形を削除する。

【００１８】文書画像的には、大きさの異常な基本矩形
の存在は、そのブロック候補内に文章と図などとが混在
していることを示すと思われる。この大きさの異常な基
本矩形をブロック候補に変更することによって、一つの
ブロック候補内に混在している文章と図などとを分離す
ることができる。ただしこの方法では、図にキャプショ
ンがついている場合にそのキャプションは文章領域の方
に統合されてしまい、また図がその基本矩形の大きさが
比較的小さないくつかの図形から構成されている場合な
どには、この方法で図を分離することはできない可能性
もある。

【００１９】次に、前記した説明による反復統合分離処
理を適用した実例を、例を掲げた図６および反復統合分
離処理のフローチャート図３を参照して説明する。図６
の７が処理の対象となる文書画像である。この画像から
黒画素連を抽出し、外接矩形を算出して基本矩形に統合
し、その全体を囲むようにブロック候補１を設定した状
態が図６の８である。これは図３のステップ７に対応す
る。次に図３のステップ８においてブロック候補の有無
を判定し、ブロック候補１が存在するので、それに対し
てステップ９が示す処理を施す。まずステップ１０にお
いてブロック候補１に統合処理を施す。これは図６のス
テップ１０１に対応し、その結果ブロック候補２（９）
およびブロック候補３（１０）が生成され、元のブロッ
ク候補１が削除される。

【００２０】続いて、生成されたブロック候補２（９）
およびブロック候補３（１０）に対してステップ１１が
示す処理を施す。ステップ１２においてブロック候補２
（９）およびブロック候補３（１０）に対して分離処理
を施すが（図６のステップ１０２）、ブロック候補２
（９）に対して分離処理を施した結果、新しいブロック
候補は生成されなかったので、ブロック候補２（９）を
そのままブロック１（１１）に変更し、ブロックとして
抽出されたものと見做す。一方ブロック候補３（１０）
に対して分離処理を施した結果、新しくブロック候補４
（１２）が生成されたため、ブロック候補３（１０）は
依然ブロック候補である。ただしブロック候補４（１
２）の元となった基本矩形はブロック候補３（１０）か
ら削除される。

【００２１】ここで処理の流れは図３のフローチャート
のステップ８に戻る。ブロック候補３（１０）およびブ
ロック候補４（１２）が存在するので、それらに対して
ステップ９が示す処理を施す。ブロック候補３（１０）
およびブロック候補４（１２）に対して統合処理を施し
た結果（図６ステップ１０３）、それぞれブロック候補
５（１３）およびブロック候補６（１４）が生成され、
ブロック候補３（１０）およびブロック候補４（１２）
は削除される。新しく生成されたブロック候補に対して
ステップ１１が示す処理を施し、ステップ１２において
分離処理を施した結果（図６ステップ１０４）、新しい
ブロック候補が生成されなかったため、ブロック候補５
（１３）およびブロック候補６（１４）をそれぞれブロ
ック２（１５）およびブロック３（１６）に変更する。
ここで処理の流れは再びステップ８に戻るが、今回はも
うブロック候補が存在しないため、反復統合分離処理は
ここで終了し、結果として図７の１７に示すように３つ
のブロック（文章領域を含む２つのブロック、および図
を含む１つのブロック）が抽出された。

【００２２】

【発明の効果】以上説明を行ったように、 本発明によ
れば、文章領域と図領域のどちらか一方もしくはその双
方を有する文書に対し、まずその文書画像から黒画素連
を抽出し、それぞれの画素連について外接矩形を算出す
る。続いてそれらの外接矩形を、互いに重複する部分を
持つものについて統合することによって基本矩形を求め
る。そしてそれらの基本矩形すべてを含む矩形をブロッ
ク候補と設定し、そのブロック候補について、基本矩形
間の距離を利用した基本矩形のブロック候補への統合処
理、および基本矩形の大きさを利用したブロック候補の
分離処理を反復して実行してゆくことによってブロック
を抽出することができる。

【図面の簡単な説明】

【図１】本発明を適用した文書自動入力装置

【図２】全体処理のフロ−チャ−ト

【図３】反復統合分離処理のフローチャート

【図４】統合処理のフローチャート

【図５】分離処理のフローチャート

【図６】反復統合分離処理を適用した実例

【図７】ブロックの配置例

【符号の説明】

１ 文書自動入力装置 ２ ブロック抽出工程 ３ 領域の分類工程 ４ 文字認識工程 ５ 文字コ−ドデ−タファイル ６ 画像デ−タファイル ７ 原文書画像 ８ ブロック候補１ ９ ブロック候補２ １０ ブロック候補３ １１ ブロック１ １２ ブロック候補４ １３ ブロック候補５ １４ ブロック候補６ １５ ブロック２ １６ ブロック３ １７ 抽出されたブロック

Claims (1)

【特許請求の範囲】
1. 【請求項１】 文章領域と図領域のどちらか一方もしく
   はその両方の属性を有する領域を持つ文書の画像デ−タ
   を入力として、該入力した画像データからまとまった文
   章領域や図の領域を表現するブロックを抽出し、あるブ
   ロックが文章領域と図領域とのどちらの属性を持つもの
   であるかを判定もしくは両者を区別し、文章領域の内容
   に対応する文字列デ−タおよび図領域の内容に対応する
   画像デ−タを出力する文書認識システムにおいて、前記
   画像データ中の黒画素連の外接矩形について互いに重複
   する部分を持つものを統合した基本矩形を用い、該基本
   矩形の間の距離がある値以下である基本矩形同士を統合
   してブロック候補を生成する統合処理と、ブロック候補
   からある限度よりも大きな基本矩形を独立させて、該基
   本矩形をブロック候補に変更する分離処理との二つの処
   理を、前記画像データ中から全てのブロックが抽出され
   てしまうまで繰り返す反復統合分離処理を行う機能を備
   えていることを特徴とする文書認識システム。