JPH03290774A - 文書画像の文章領域抽出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、文章、線図、写真等が混在する文書におい
て、文章領域中の文字を文字認識装置等により認識する
際、事前に文章領域を抽出するための入力操作を不要に
して、自動的に文章領域を判別し抽出することのできる
文書画像の文章領域抽出装置に関する。

（従来の技術） 従来装置としては、２値化した文書画像データに対し、
簡単なノイズ除去を行なった後、演算が比較的容易な投
影演算により文書画像の周辺分布を求め、これがゼロに
なる空白部を検出して各領域間の境界を決定する文章領
域抽出装置が知られている。

（発明が解決しようとする課題） しかしながらこの従来装置においては、周辺分布がゼロ
になる空白部を検出しているため、文書内のレイアウト
が複雑になると、実際には各領域間の境界としての空白
部分が存在するにもかかわらず、周辺分布上に投影演算
値がゼロになる部分が現われないことがあり、全ての境
界を検出することができずに、文章領域の抽出の際、入
力操作を必要とする煩わしさがあった。

そこで本発明は、上記問題点を解決するためになされた
もので、その目的とするところは、文章以外に図形や写
真を含みレイアウトが複雑な文書画像であっても、文章
領域を自動的に抽出することのできる文書画像の文章領
域抽出装置を提供することにある。

（課題を解決するための手段） 上記目的を達成するために、本発明は、文章、線図、写
真等が混在する文書画像を撮像して得られた２値化画像
データからＸ、Ｙ両座標軸に関し各ラインごとの黒画素
数を計数して周辺分布を求める投影手段と、得られた周
辺分布から分布値がその前後よりも小さい谷部を検出す
る手段と、検出された谷部を通過するラインを分割線と
して、画面を縦横に分割する手段と１分割された画像領
域ごとに、隣接する他の領域との境界部が互いに黒画素
により接している場合に両領域を合併する手段と、分割
された画像領域ごとに、領域を区分する外接枠の内側に
黒画素が存在しない場合に領域の外接枠を黒画素の位置
まで後退して領域を縮小する手段と、画像領域内の線密
度を算出し、その値の大小により内部の画像が文章画像
である文章領域を抽出する手段とを備えたことを特徴と
する。

（作用） 本発明においては、文章、３図、写真等が混在する文書
画像を撮像して得られた２値化画像データが入力される
と、投影手段により、ｘ、ｙ両座標軸に関し各ラインご
との黒画素数が計数されて周辺分布が求められる。

次いで、周辺分布値の中から前後の分布値よりも小さい
谷部が検出され、この谷部を通過するラインを分割線と
して、画面が複数の画像領域に区分される。

区分された各画像領域は、隣接する他の領域との境界部
が互いに黒画素により接している場合は両領域が合併さ
れ１分割線により区分された領域の外接枠の内側に黒画
素が存在しない場合は領域の外接枠が黒画素の位置にま
で後退し・て領域が縮小される。

さらに１画像領域内の線密度から領域内の画像が文章画
像である領域が抽出される。

（実施例） 第１図は本発明の一実施例の処理内容を表すフローチャ
ートである。

以下、フローチャートに沿って動作を説明する。

最初に周辺分布の計算処理（Ｓｌ）を行う。

この処理は１文書画像をイメージスキャナ等の入力装置
で入力し、２値化した後に文書画像中の黒画素のＸ軸投
影及びＹ軸投影演算により周辺分布を求める。黒画素の
投影とはＸ軸方向又はＹ軸方向に１ラインごとの黒画素
数を計測し、その値をＸ軸又はＹ軸に写像したものであ
る。また、黒画素数をＸ軸方向に計測しそれをＹ軸に写
像したものをＹ軸投影と呼び、Ｙ軸方向に計測してＸ軸
に写像したものをＸ軸投影と呼ぶ。

第２図は、文字Ｗが連続して配置されてなる文章と、文
章以外の図形ｐ、罫線ａｉ、ａ２を含む画像を、ライン
ごとに含まれる黒画素をＸ軸及びＹ軸に投影して得られ
る周辺分布の一例を示し、画像中の縦又は横に空白部が
連続している部分に相当する位置が、それぞれＸ軸、Ｙ
軸に投影されて周辺分布中の周囲よりもくぼんだ谷Ｔｘ
□〜Ｔｘ、、Ｔｙ工〜Ｔｙ＆となる。

次に、分割線検出の処理（Ｓ２）を行う。

この処理は周辺分布中の谷を検出し、その谷の位置を通
る水平又は垂直線を分割線とする。垂直分割線の座標値
はＸ軸上の周辺分布中の谷部の最小値により求められ、
水平分割線の座標値はＹ軸上の周辺分布中の谷部の最小
値により求められる。

なお、周辺分布の谷部は次のように定義することができ
る。

周辺分布をＰ　（ｉ　）と表わし、Ｐ■ｉｎをＰ＋＋＋
ｉｎ：ＭｉＮ（Ｐ＋；−ｎ＋、−、Ｐ（ｉ−１＞、Ｐ（
１゜Ｐ　（ｉ＋１　）Ｆ　”’　ｐ　Ｐ　（ｉｎｎ））
　　　　　”’　（１）としたときに、Ｐ■；ｎ＝Ｐ＜
ｉ）となるような場合・これを周辺分布の谷とする。た
だし、Ｐ（ｉ−ｎ＋＝＝−＝Ｐ＋５−ｔ）＝Ｐ＋１）＝
Ｐ＋ｉ◆ｌ＞＝−＝Ｐ（ｉ＊ｒｎでないならば、最小値
は複数であってもよい。ここでｉは谷の位置を示し、Ｘ
軸上の周辺分布に対してはＸ座標値であり、Ｙ軸上の周
辺分布に対してはＸ座標値である。従ってＸ軸上の周辺
分布においてＰ　Ｘ＋１ｉｎ＝　Ｐ　ｘ（ａ　）となる
場合、分割線はｘ　＝　ａで表わされる。

なお、実際の画像データから得られる周辺分布には小さ
な凹凸があり、谷の誤検出を防ぐため谷の検出処理前に
次式により周辺分布を平滑化する。

第３図は、平滑化と谷検出の処理例を示す。本実施例は
、式（１）及び式（２）においてｍ　＝　ｎ　＝　１と
した例である。図（ａ）は周辺分布の具体例を示し、左
端より分布値がそれぞれＡ＝２．Ｂ＝８゜Ｃ＝６である
ので、式（２）により同図（ｂ）に示されるように例え
ばＢを平均化した分布値として平均値Ｄ″：５が得られ
る。同様にして、各分布値がその前後の分布値との平均
値に置き換えて平滑化されることにより、周辺分布内に
含まれるノイズが除去される。

また、谷の検出については、図（ｂ）の平滑化された分
布値、例えばＥ＝７．Ｆ＝４．Ｇ＝５の３値から式（１
）によりムの位置、すなわちＦの位置が谷として検出さ
れる。他のΔで示した位置も同様に谷として検出される
。

これらの処理により第２図の実施例では、Ｘ軸上の周辺
分布において谷ＴＸＬ−ＴＸ、が、Ｙ軸上の周辺分布に
おいて谷Ｔｙｉ〜Ｔ’ｇがそれぞれ検出され、Ｘ軸又は
Ｙ軸の谷が検出された位置に垂直なラインがそれぞれ垂
直分割線Ｌｖ工〜Ｌｖ、、水平分割線Ｌｏ工〜ＬｏＧに
決定される。

次にブロック抽出の処理（Ｓ３）をそれぞれ行う。

この処理は、検出された分割線により文書画像の画面を
分割する。

第４図（ａ）は、分割線ＬｖＬ−Ｌｖ、、Ｌ）ｌ、〜Ｌ
ｌｌ。

により文書画像を分割した実施例を示す。本実施例では
、直交する８本と６本の分割線により画像が３５のブロ
ックに分割される。

次に、ここで得られた各ブロックについて、ブロックサ
イズの縮小処理を行ない、ブロック内の画像の外接枠を
後退させる。第４図（ｂ）は縮小処理例を示し、ブロッ
クＳａｔにおいて外周の分割線Ｌ’Ｖ３１　ＬＶ４１　
ＬＭ□と内部の文字Ｗとの間に一様に空白部があるので
、文字Ｗの外周に相当する黒画素に接するまで外接枠を
後退させて実線部を新しい外接枠とする。また、ブロッ
ク内に画像がない場合には、そのブロックを削除する。

同様な処理を全ブロックについて行ない、ブロックを再
定義する。本実施例では、削除されるブロックがないの
で再定義の前後でブロック数に変化はない、再定義され
た後のブロックの配置は第５図となる。

次にサブ領域の抽出処理（Ｓ４）を行う。

この処理は、前段の処理で抽出した各ブロックにおいて
ブロック同士が接する場合、これらを無条件に統合する
。統合されたブロックをサブ領域と呼ぶ。なお、相互に
隣接するブロックであっても、それぞれ有するデータ値
の属性が異なる場合は、文書レイアウトの特性からブロ
ックは空白部で分離されるべきものと見なせるので、ブ
ロック同士が接している場合は分離される空白が存在し
ないと同時にその属性が同一ということになる。

第５図に示した文書画像からサブ領域を抽出すると第６
図に示す配置となる。

次に、文章領域の抽出処理（Ｓ５）を行う。

この処理は、各々のサブ領域について、ランレングスか
ら得られる線密度及び黒画素密度を求め、これをもとに
各サブ領域の属性を判別して文章領域を抽出する。一般
にサブ領域において互いに属性が等しい場合は、互いの
線密度及び黒画素密度がほぼ等しくなる。ここで言う属
性判別とは、文章、線図、写真等の画像ごとに異なる固
有の線密度等の特性からサブ領域の種類を判別して識別
うベルを付けることである。

以下１本実施例における属性判別の手順を述べる。まず
、ｍ密度及び黒画素密度がほぼ等しくなるサブ領域に同
じラベルを付け１つのグループにまとめる。全サブ領域
について同様に行ない、いくつかのグループに分類する
。

第６図の実施例では、数字はサブ領域の番号、アルファ
ベットはグループラベルを表わしており、１７のサブ領
域がＴ、Ｕ、Ｖ３つのグループに分類される。

次に、各グループの属性を判別する。ここでは、文字認
識装置で文字を認識するという目的のため。

グループの中から文章領域を判別し抽出する。

般に、文書画像データは１文章領域と他の線図領域、写
真領域との線密度を比較すると次のような特性がある。

Ｓｔ＞Ｓｄ、ＳＰ　　　　　　　　　・・・（３）ただ
し、Ｓｔ：文章領域の線密度 Ｓｄ：９図領域の１ｇ密度 ＳＰ：写真領域の線密度 これにより、各グループの線密度Ｓ　Ｔ、　Ｓ　ｕ、　
Ｓ　ｖを比較し５文章領域に属するサブ領域を判別する
。

本実施例ではグループＴが文章領域に属するサブ領域と
して判別され、他のグループＵ、Ｖは線図又は写真領域
と判別される。なお、線密度以外に黒画素密度について
も比較参照すればさらに判別精度が向上する。

最後にグループＴと判別された互いに隣接するサブ領域
を矩形で囲み文章領域として表示する。

このとき矩形枠の中に他の属性、つまりグループＵ又は
■が含まれないように矩形の大きさ、形状が決定される
。

第７図は以上の処理により抽出された文書領域の例を示
す。本実施例では４つの文章領域が抽出される。

本実施例では、上述したように周辺分布の谷を検出して
、領域の境界を検出することによりレイアウトが複雑な
文書であっても文章領域の抽出が容易に行えると同時に
、罫線等により囲まれた文章領域も抽出することができ
る。また、この実施例では周辺分布を平滑化した後に谷
の検出を行なうため、従来の周辺分布を用いる方法で問
題点となっていた文書画像データ中に含まれるノイズの
悪影響を小さくすることができる。

（発明の効果） 以上述べたように本発明によれば、文章、線区、写真等
が混在してレイアウトが複雑な文書画像であっても、周
辺分布の谷を検出して領域を抽出し、さらに領域内の線
密度から文章領域であるか否かが識別されるため、文字
認識装置に本発明を用いることにより入力画像から文章
画像を抽出する前処理を自動化することができる。

【図面の簡単な説明】

第１図は実施例の処理内容を表すフローチャート、第２
図は処理画像の具体例と周辺分布を示す図、第３図は周
辺分布の平滑化の一例を示す説明図、第４図は分割線に
よる画像分割と縮小処理例を示す説明図、第５図は抽出
されたブロックの配置図、第６図は抽出されたサブブロ
ックの配置図、第７図は抽出された文章領域の配置図で
ある。 Ｌ　ｈｌ−Ｌ１１Ｇ＋　Ｌｖｌ−Ｌｖ、−分割線Ｔｘ、
〜Ｔｘｓ、Ｔｙ、−Ｔｙ１周辺分布中の谷Ｗ・・・文字
　　ｐ・・・写真画像　　Ｇ、、ａ、・・・罫線Ｔ・・
・文章を含むサブ領域のグループラベルＵ・・・線図を
含むサブ領域のグループラベル■・写真を含むサブ領域
のグループラベル↓〜１７・・サブ領域 第 １ 図 第 図 （ａ） 第 図 第４ 図 （ａン （ｂ）

Claims (1)

1. 【特許請求の範囲】 　文章、線図、写真等が混在する文書画像を撮像して得
   られた２値化画像データからＸ，Ｙ両座標軸に関し各ラ
   インごとの黒画素数を計数して周辺分布を求める投影手
   段と、 得られた周辺分布から分布値がその前後よりも小さい谷
   部を検出する手段と、 検出された谷部を通過するラインを分割線として、画面
   を縦横に分割する手段と、 分割された画像領域ごとに、隣接する他の領域との境界
   部が互いに黒画素により接している場合に両領域を合併
   する手段と、 分割された画像領域ごとに、領域を区分する外接枠の内
   側に黒画素が存在しない場合に領域の外接枠を黒画素の
   位置まで後退して領域を縮小する手段と、 画像領域内の線密度を算出し、その値の大小により内部
   の画像が文章画像である文章領域を抽出する手段と、 を備えたことを特徴とする文書画像の文章領域抽出装置
   。