JPH05233872A - 文書の構造解析方法 - Google Patents

Abstract

(57)【要約】 【目的】 固定要素（例えばテキスト）と不定要素（例
えば図形および表）とが混在した文書から構成要素を抽
出することが可能な文書解析方法を実現する。 【構成】 レイアウト情報を用いた固定要素抽出部と画
像特徴を用いた不定要素抽出部との処理結果に応じて、
制御部において処理を切り替えることにより、従来の方
法では困難であった固定要素と不定要素の混在した文書
の構造解析を可能とする。先ず、画像特徴抽出部を起動
してその特徴を算出し、これに失敗したとき不定要素抽
出部を起動して、図領域、表領域、テキスト領域に分類
し、抽出された領域を処理対象から除くための矩形削除
部を起動させる。さらに、不定要素に隣接する矩形のエ
ッジを不定要素方向に拡張する拡張許容指定部を起動さ
せる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２値化された文書画像
から構成要素を抽出する文書の構造解析方法に関し、特
に固定要素と不定要素とが混在した文書から構成要素を
抽出することが可能な文書の構造解析方法に関する。

【０００２】

【従来の技術】文書の構成要素を抽出する場合、例えば
『知識利用型文書画像理解システムに関する研究』黄瀬
浩一著、大阪大学学位論文、1991年、に記載されている
ように、構成要素の大きさや位置関係等のレイアウトを
用いる方法が提案されている。これは、例えば、図書カ
−ドの著者名や名刺の氏名等のようにレイアウトがほぼ
固定された構成要素(固定要素)のみからなる文書を対象
とした方法である。一方、例えば、『文書認識アルゴリ
ズムの一検討』岩城修他著、画像電子学会誌第１５巻第
４号、1986年、に記載されているように、黒画素の連結
成分等の画像特徴を用いてテキスト領域・図領域・表領
域を抽出する方法も提案されている。これは、各領域に
特有な画像特徴を利用した方法である。

【０００３】

【発明が解決しようとする課題】前述した従来の方法の
うち、（ａ）レイアウトを用いた構造解析方法では、レ
イアウトが固定されていなければならないため、例えば
図や表等のレイアウトが固定されていない構成要素（不
定要素）を含む論文紙面等の解析は困難である。一方、
（ｂ）画像特徴を用いた方法では、例えば、標題と著者
名との識別のように、より詳細な解析は困難である。本
発明の目的は、これら従来の課題を解決し、固定要素と
不定要素の混在した文書から構成要素を抽出することが
可能な文書の構造解析方法を提供することにある。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明による文書の構造解析方法は、予め文書の構
成要素に関する特徴を格納しておき、入力された文書か
ら構成要素に関する特徴を抽出し、格納されている特徴
と抽出された特徴とを照合する文書画像の構造解析方法
において、画像特徴を抽出した後、レイアウトがほぼ固
定の構成要素に関する固定要素抽出を行い、該固定要素
抽出処理に失敗したときには、固定要素抽出処理の結果
を基に不定要素抽出を行って、不定要素領域を特定する
とともに、図領域、表領域、およびテキスト領域に分類
し、抽出された領域を処理対象から除くための矩形削除
処理を行った後、不定要素に隣接している矩形のエッジ
を不定要素方向に拡張してから、再び固定要素の抽出を
行うことに特徴がある。

【０００５】

【作用】本発明においては、画像特徴抽出部で入力画像
から黒連結特徴、周辺分布特徴、および線分特徴を算出
し、固定要素抽出部で固定要素のレイアウトに関する情
報と入力画像の画像特徴を照合して固定要素の抽出を行
う。ここで、レイアウト情報格納部は、固定要素の階層
性に着目した表現形式を持ち、各階層レベルで分割位置
と分割により生成される固定要素間の関係が格納されて
いる。不定要素抽出部では、不定要素の画像特徴に関す
る情報と入力画像の特徴とを照合することにより、不定
要素の抽出を行う。処理動作手順は、先ず画像特徴抽出
部を起動して上記特徴を算出し（第１ステップ）、次に
固定要素抽出部を起動する（第２ステップ）。ここで抽
出に失敗した場合には、その原因は不定要素が処理対象
領域に含まれているためであると仮定することができ
る。そこで、不定要素抽出部を起動させ（第３ステッ
プ）、不定要素を特定するとともに、図領域、表領域、
およびテキスト領域に分類して、抽出された領域を処理
対象から除くための矩形削除部を起動させる。させに、
不定要素に隣接している矩形のエッジを不定要素方向に
拡張することを認める拡張許容指定部を起動させる。こ
の状態で再び固定要素抽出部を起動させる。このよう
に、レイアウト情報に基づく固定要素抽出部と、画像特
徴に基づく不定要素抽出部とを組み合わせて、不定要素
抽出後の画像に矩形削除部と拡張許容指定部を適用させ
ることにより、レイアウトが固定的ではない構成要素を
含む文書に対する構造解析が可能となる。

【０００６】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明の構造解析方法を適用する画
像処理システムのブロック図である。図１において、１
は画像デ−タを入力する部分（スキャナ等）、２は入力
画像から画像特徴を抽出する部分、３はレイアウト情報
を基に入力画像の構造を解析する部分（固定要素抽出
部）、４は画像特徴を基に入力画像の構造を解析する部
分（不定要素抽出部）、５はこれら２つの構造解析部
３，４を制御する部分（制御部）、６はレイアウト情報
格納部、７は画像特徴格納部である。画像デ−タ入力部
１には入力装置から２値画像が入力され、画像特徴抽出
部２では入力画像から黒連結特徴、周辺分布特徴、およ
び線分特徴が算出される。固定要素抽出部３では、レイ
アウト情報格納部６に記述されている分割位置や構成要
素の大きさ等の構成要素間の関係に適合するように領域
が切り出され、固定要素が抽出される。また、不定要素
抽出部４では、画像特徴格納部７に記述されているパラ
メ−タを用いて入力画像から領域を算出し、不定要素領
域を抽出するとともに、不定要素領域を表領域、図領
域、およびテキスト領域に分類する。制御部５は、固定
要素抽出部３と不定要素抽出部４の処理結果に応じて処
理の切り替えを行う。本発明の構造解析方法は、レイア
ウト情報を用いた固定要素抽出部３と画像特徴を用いた
不定要素抽出部４との処理結果に応じて、制御部５にお
いて処理を切り替えることにより、従来の方法では困難
であった固定要素と不定要素の混在した文書の構造解析
を実現することができる。

【０００７】図２は、図１の画像処理システムの動作概
要を示す機能ブロック図である。図２において、２１は
画像抽出手段であって、図１の画像特徴抽出部２に該当
する。また、２２は固定要素抽出手段であって、図１の
固定要素抽出部３に該当する。また、２３は不定要素抽
出手段であって、図１の不定要素抽出部４に該当する。
さらに、２４は矩形削除手段、２５は拡張許容指定手段
であって、これらの手段は、図１の制御部５の機能に該
当する。本実施例では、画像特徴抽出手段２１で得られ
た特徴量を用いて、レイアウトが固定的な構成要素を抽
出する固定要素抽出手段２２と、レイアウトが固定的で
はない構成要素を抽出する不定要素抽出手段２３と、不
定要素抽出手段２３で抽出された領域を処理対象領域か
ら取り除くための矩形削除手段２４と、矩形削除手段２
４で削除されなかった矩形から固定要素を抽出するため
の前処理を行う拡張指定手段２５とを有する画像処理シ
ステムにより、従来の技術では扱えなかったレイアウト
が固定的である固定要素と固定的ではない不定要素が混
在している文書に対しても、構造解析することができ
る。

【０００８】図３は、本発明の文書画像処理システムの
処理フロ−チャ−トであり、図４は本発明の文書画像処
理システムで用いる周辺分布特徴の原理を示す図であ
り、図５は、図４に示された画像の黒連結特徴を示す図
であり、図６は図３のシステムに入力される一入力画像
（論文内容）を示す図である。一例として、図６に示す
論文紙面に対する構造解析方法について説明する。この
例では、図領域および表領域が不定要素領域、その他の
テキスト領域が固定要素領域である。先ず、画像特徴抽
出手段２１が黒連結特徴、周辺分布特徴、および線分特
徴を抽出する（ステップ３１，３２，３３）。黒連結特
徴とは、２値画像中に存在する互いに連結する黒画素の
集合（黒連結）の外接矩形の位置およびサイズを指す。
周辺分布特徴は、図５に示すように、画像の縦横方向の
それぞれについて１ライン毎の黒画素数を求めることに
より得られる。また、線分特徴は、画像中の垂直線分・
水平線分の始点・終点座標を求めることにより得られ
る。

【０００９】図３において、次に固定要素の抽出を試み
る。先ず、画像特徴抽出手段２１で得られた特徴のうち
の黒連結特徴で示された外接矩形領域と、レイアウト情
報の格納部６から得られる特徴を照合することにより解
析を進める。つまり、入力画像には不定要素が存在しな
いと仮定して解析を行う。ここで、解析は階層レベルの
上位から順に実行される。先ず、固定要素抽出手段２２
が起動されると、レイアウト情報の格納部から該当する
分割可能位置を算出し（ステップ３４）、入力文書画像
が分割可能であるか否かを検査する（ステップ３５）。
分割不可能な場合には失敗となり、固定要素抽出手段２
２の処理を終了して不定要素抽出手段を起動する。ま
た、分割可能である場合には、分割された結果、生成さ
れる固定要素どうしの特徴をレイアウト情報格納部６の
その特徴と照合して（ステップ３６）、合致した場合に
はその構成要素を固定要素出力の候補として出力する
（ステップ３７）。また、照合に失敗した場合には処理
不能として、固定要素抽出手段２２の処理を終了する。

【００１０】図３において、固定要素抽出部２２の処理
に失敗した場合には、不定要素抽出手段２３が起動され
る。不定要素抽出手段２３では、固定要素抽出手段２２
の処理結果を基に不定要素領域を特定して、図領域、表
領域、テキスト領域に分割する。先ず、画像特徴格納部
７から該当するパラメ−タを抽出し（ステップ３８）、
固定要素抽出手段２２で分割線上に存在すると判断され
た矩形の近傍をパラメ−タに従って統合し（ステップ３
９）、不定要素領域を特定する（ステップ４０）。次
に、特定された不定要素領域の黒連結特徴・周辺分布特
徴・線分特徴を用いることにより、不定要素領域を図領
域、表領域、テキスト領域に分類する（ステップ４
１）。次に、矩形削除手段２４において、不定要素抽出
手段２３で不定要素と特定された領域に存在する矩形を
処理対象から削除する（ステップ４２）。さらに、残さ
れた矩形のうち、不定要素領域に隣接する矩形のエッジ
を不定要素方向に拡張することを認める拡張許容指定を
行う（ステップ４３）。その後、再び固定要素抽出手段
２２を起動して、固定要素の抽出を試みる（ステップ３
５）。すなわち、分割不能であるか否かの検査を行っ
て、分割可能であれば、照合処理に移る（ステップ３
６）。

【００１１】

【発明の効果】以上説明したように、本発明によれば、
画像特徴とレイアウト情報を統合的に使用することによ
り、レイアウト情報のみでは抽出できない不定要素と、
画像特徴のみでは抽出できない固定要素を抽出すること
ができる。また、従来の方法では抽出できなかった固定
要素の階層性での不定要素のレベルについても、固定要
素と同じように抽出することができる。さらに、従来の
方法のように画像全体に対する画一的なパラメ−タ指定
ではなく、固定要素の階層性を用いることにより、各レ
ベル毎のパラメ−タ指定が可能となるので、不定要素の
抽出率が向上する。

【００１２】

【図面の簡単な説明】

【図１】本発明の一実施例を示す文書画像処理システム
の構成図である。

【図２】図１における文書画像処理システムの処理概要
を示す機能ブロック図である。

【図３】図２における文書画像処理システムの処理フロ
−チャ−トである。

【図４】本発明における文書画像処理システムで用いる
周辺分布特徴の原理を示す説明図である。

【図５】本発明における文書画像処理システムで用いら
れる黒連結特徴を示す説明図である。

【図６】本発明の文書画像処理システムの一入力画像を
示す図である。

【符号の説明】

１ 画像デ−タ入力部 ２ 画像特徴抽出部 ３ 固定要素抽出部 ４ 不定要素抽出部 ５ 制御部 ６ レイアウト情報格納部 ７ 画像特徴格納部 ２１ 画像特徴抽出手段 ２２ 固定要素抽出手段 ２３ 不定要素抽出手段 ２４ 矩形削除手段 ２５ 拡張許容指定手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】 予め文書の構成要素に関する特徴を格納
   しておき、入力された文書から構成要素に関する特徴を
   抽出し、上記格納されている特徴と抽出された特徴とを
   照合する文書画像の構造解析方法において、画像特徴を
   抽出した後、レイアウトがほぼ固定の構成要素に関する
   固定要素抽出を行い、該固定要素抽出処理に失敗したと
   きには、上記固定要素抽出処理の結果を基に不定要素抽
   出を行って、不定要素領域を特定するとともに、図領
   域、表領域、およびテキスト領域に分類し、抽出された
   領域を処理対象から除くための矩形削除処理を行った
   後、不定要素に隣接している矩形のエッジを不定要素方
   向に拡張してから、再び固定要素の抽出を行うことを特
   徴とする文書の構造解析方法。