JPH0646253A

JPH0646253A - 文書画像の領域抽出方法

Info

Publication number: JPH0646253A
Application number: JP4199704A
Authority: JP
Inventors: Makoto Torigoe; 真鳥越; Naohiro Amamoto; 直弘天本; Sadamasa Hirogaki; 節正広垣
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1992-07-27
Filing date: 1992-07-27
Publication date: 1994-02-18

Abstract

(57)【要約】【目的】文書画像の領域抽出処理において、タイトル
や人名等が分離されたままの小さな領域を再度統合する
ことにより、効率よく文字認識を行う。【構成】隣接領域検索処理１０により、前処理におい
て分割された文字領域ｉに対し、右方向及び下方向を検
索し、その文字領域ｉに対して横方向及び縦方向の最も
近くに位置する文字領域を検索する。文字領域結合処理
２０では、最も近くに位置する文字領域に対し、縦方向
及び横方向の結合条件を満たすか否かを判定し、その結
合条件を満たす領域と結合する。その後、外接矩形領域
作成処理３０により、結合された領域に対し、互いに異
なる領域を囲む最小の矩形領域を求め、旧領域データの
無効化を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ファクシミリ等の通信
機器や文書画像データベース入力装置、光学的文字読取
り装置（ＯＣＲ）等において、文書画像をその構成要素
の領域に抽出する文書画像の領域抽出方法に関するもの
である。

【０００２】

【従来の技術】従来、この種の文書画像の領域抽出方法
には、例えば、特開昭６２−７１３７９号公報に記載さ
れるものがあった。この文献に記載された文書画像の領
域抽出方法では、文書画像データを入力し、走査方向
（例えば、横方向）に黒画素を計数して閾値を超えるラ
インを検出し、該計数値が閾値以下の白ラインが所定個
数連続する状態を判定して第１の領域切り出しを行う。
この第１の領域切り出し内で、副走査方向（例えば、縦
方向）に黒画素を計数して該計数値が閾値を超える列を
検出し、該計数値が閾値以下の白列が所定個数連続する
状態を判定して第２の領域切り出しを行う。

【０００３】さらに、第２の領域切り出し内で、第１の
領域切り出しと同様な処理により、第３の領域切り出し
を行い、この第３の領域切り出し内で、第２の領域切り
出しと同様な処理により、第４の領域切り出しを行う。
そこで、この第４の領域切り出しで検出された領域につ
いて、その領域のランレングス情報、及び黒画素率情報
により、文字部、写真部、及び図表部の領域の属性を判
別している。

【０００４】

【発明が解決しようとする課題】しかしながら、上記構
成の文書画像の領域抽出方法では、次のような課題があ
った。（ａ）従来の方法では、領域を分割して抽出する際
に、その分割対象に応じて様々な閾値を任意に設定する
必要があった。例えば、個々の論文誌に対して領域分割
処理を施す場合、それらの閾値を各論文誌に応じた適切
な値に設定し直さなければならず、その値の選定に手間
がかかるという問題があった。（ｂ）前記（ａ）の問題を解決するため、本願出願人
は、先に特願平３−５２８４６号明細書（提案１）とそ
の後の特願平３−１９５４３７号明細書（提案２）にお
いて、領域抽出方法の提案を行った。

【０００５】図２は、本願出願人の先の提案１，２にお
ける文字領域例を示す図である。本願出願人が先に行っ
た提案１では、先ず、入力された白黒２値画像データと
同サイズの全面黒の多値の領域画像を作成する。次に、
原画像を横及び縦方向に走査し、各々の方向で閾値Ｔ
１，Ｔ２以上の白ランが存在すれば領域画像においてそ
の白ランに対応する部分を白にして、文書画像の構成要
素を黒画素連結領域として表現する。この領域画像の黒
の部分に対してラベル付けを行い、領域画像の各黒連結
領域に一意に番号を与えてラベル画像（領域画像）を作
成し、このラベル画像を用いて領域分割を行うというも
のであった。ところが、この方法では、図２に示すよう
に、文字領域Ａが行単位もしくは文字単位といった小さ
な領域でしか表現することができず、文字認識を行う際
に文書の構成や、文章のつながり等を知ることが困難で
あり、それによって文字認識の効率が低下するという問
題がある。（ｃ）そこで、この問題を解決するために、本願出願
人は提案２において、次のような提案を行った。即ち、
前処理で作成されたラベル画像において文字領域以外の
領域を白にし、文字のみの画像を作成する。次に、この
文字領域のみの画像を縦及び横方向に走査し、最長白ラ
ン幅のヒストグラムを作成し、統合閾値を自動設定し
て、縦もしくは横方向の領域分割が１回終了した時点で
設定された統合閾値により統合を行い、領域を抽出する
ようにしている。

【０００６】しかし、提案２の方法では、図２に示すよ
うに、タイトル部や人名等の統合閾値より距離の離れた
文字領域Ｂは統合できず、技術的に未だ充分満足のゆく
領域抽出方法が得られなかった。本発明は、前記提案２
が持っていた課題として、タイトル部や人名等の統合閾
値より距離の離れた文字領域は統合できず、それによっ
て文字認識の効率が低下するという点について解決した
文書画像の領域抽出方法を提供するものである。

【０００７】

【課題を解決するための手段】本発明は、前記課題を解
決するために、文書画像からラベル画像を作成し、前記
ラベル画像の領域分割を行ってその各分割領域に対し、
文字領域の抽出を行う文書画像の領域抽出方法におい
て、次のような手段を講じている。即ち、本願発明で
は、前記各分割領域に対し、水平方向及び垂直方向を検
索し、その各分割領域に対して横方向及び縦方向の最も
近くに位置する文字領域番号をそれぞれ取得する隣接領
域検索処理を行い、次いで、前記各文字領域番号に対
し、縦方向及び横方向の結合条件を満たす領域と結合す
る文字領域結合処理を行う。その後、前記結合された領
域に対し、互いに重なる領域を囲む最小の矩形領域を求
め、旧領域データの無効化を行う外接矩形領域作成処理
を実行し、文字領域の抽出を行うようにしている。

【０００８】

【作用】本発明によれば、以上のように文書画像の領域
抽出方法を構成したので、隣接領域検索処理では、前処
理で作成された各分割領域に対し、横方向及び縦方向に
最も近い位置にある文字領域を検索し、隣接している小
さな文字領域に対し、文字領域結合処理により、その文
字領域の特徴量としてそれぞれの領域と領域間隔の高
さ、幅、面積等が結合条件を満たすか否かを判定し、そ
の結合条件を満たす領域を結合する。その後、結合され
た領域に対し、外接矩形領域作成処理によって外接矩形
領域を作成するようにしている。そのため、文書画像の
領域抽出処理において、タイトルや人名等が分離された
ままの小さな領域の再統合が行える。従って、前記課題
を解決できるのである。

【０００９】

【実施例】本発明の実施例を示す領域抽出方法の処理全
体説明（Ｉ）と、その各処理内容（II）とを、図１、図
３〜図６を参照しつつ、以下説明する。

【００１０】（Ｉ）領域抽出方法の処理全体説明（図
３、図４）図３は本発明の実施例を示す文書画像の領域抽出方法の
全体の処理内容図、及び図４は図３中の文字領域例を示
す図である。図３に示すように、本実施例の領域抽出方
法では、まず、前処理として、領域抽出を行う文書１を
スキャナー等で読み取り（２）、適当な閾値で単純２値
化した文書原画像３を準備する。そして、ラベル画像作
成処理４により、全面黒の領域画像と文書原画像３か
ら、文書画像の構成要素を黒画素連結領域として表現し
た領域画像を作成し、その領域画像の構成要素に一意に
番号を与えたラベル画像を作成し、領域分割、属性判別
処理５へ送る。領域分割、属性判別処理５では、作成さ
れたラベル画像を用いて領域分割を行い、文字領域、写
真領域、図表領域等の領域の判別を行い、その判別結果
を文字画像作成、領域再分割処理６へ送る。文字画像作
成、領域再分割処理６では、属性判別処理結果から、例
えば文字領域以外の領域を全て白にした文字画像を作成
し、さらに領域の再分割を行って領域分割の座標データ
７を出力する。このような前処理を行った後、文字領域
再結合処理８では、分割された文字領域のうち、統合さ
れていない小さな文字領域の座標データを用い、再度、
文字領域の統合を行って文字領域の抽出を行い、領域抽
出処理を終了する。図４に、抽出された文字領域Ｃの例
が示されている。

【００１１】（II）前記（Ｉ）の各処理内容（II)(１）文字領域再結合処理（図１、図５）図１は図３の文字領域再結合処理８の処理内容を示すフ
ローチャート、及び図５（ａ）〜（ｄ）は図１中の各種
結合条件を示す図である。図１において、まず、前処理
で作成された領域分割座標データ（即ち、再分割領域デ
ータ）７のうちの文字（列）領域ｉを、隣接領域検索処
理１０によって横方向（例えば、右方向）及び縦方向
（例えば、下方向）の分割領域と関連づけ、文字領域結
合処理２０へ進む。文字領域結合処理２０では、結合判
定処理２１により、個々の文字領域ｉとその隣接した領
域との間で図５（ａ），（ｂ）に示すような横方向の結
合条件を満たすか否かを判定し、その結合条件を満たし
ているときには次の縦方向の結合判定処理２３へ進む。
横方向の結合条件を満たさない場合は、削除処理２２に
より、関連づけた右側隣接領域の番号を削除する。よっ
て、横方向の結合条件を満たした隣接領域の番号を、結
合領域番号として残すことができるので、次の縦方向の
結合判定処理２３へ進む。

【００１２】縦方向の結合判定処理２３では、個々の文
字領域ｉとその隣接した領域との間で図５（ｃ），
（ｄ）に示すような縦方向の結合条件を満たすか否かを
判定し、その結合条件を満たすときには判定処理２５へ
進み、結合条件を満たさない場合には、削除処理２４に
より、関連づけた下側の隣接領域の番号を削除する。こ
れにより、縦方向の結合条件を満たした隣接領域の番号
を、結合領域番号として残すことができるので、次の判
定処理２５へ進む。前記の横方向及び縦方向の結合判定
処理２１，２３が全て完了したか否かを判定処理２５で
判定し、処理が終わっていないときには隣接領域検索処
理１０へ戻り、前記の横方向及び縦方向の判定処理２
１，２３を繰り返す。横方向及び縦方向の結合判定処理
２１，２３が全て行われると、領域結合処理２６によ
り、結合領域番号を保持する全ての文字領域ｉに対して
結合処理を行い、外接矩形領域作成処理３０へ進む。外
接矩形領域作成処理３０では、領域結合処理２６によっ
て結合された文字領域ｉが互いに重なる領域を囲む最小
の矩形領域を求め、旧領域データの無効化を行う。これ
により、図４に示すような統合された文字（列）領域Ｃ
を得ることができる。次に、前記の横方向及び縦方向の
結合条件を、図５（ａ）〜（ｄ）を参照しつつ、説明す
る。図５（ａ），（ｂ）は縦方向の結合条件を示す例、
及び同図（ｃ），（ｄ）は縦方向の結合条件の例を示す
図である。

【００１３】（ｉ）横方向の結合条件（図５（ａ），
（ｂ））図５（ａ）は、氏名や小さなタイトル等が分離されてい
る場合である。領域間の高さと幅がそれぞれある閾値Ｙ
Ｔ１，ＸＴ１未満のときには横方向の結合条件を満た
す。図５（ｂ）は、文字領域の高さＨと幅Ｗがそれぞれ
閾値ＹＴ２，ＸＴ２を越える大きな文字が均一に並んで
いる場合である。両方の領域の面積が共に閾値ＭＮ６未
満で、各領域及び領域間の縦横比がいずれも閾値ＵＮ１
未満で、かつ領域の高さＨが閾値ＴＫ１以下のときには
縦方向の結合条件を満たす。

【００１４】（ii）縦方向の結合条件（図５（ｃ），
（ｄ））図５（ｃ）は、氏名等が分離している場合である。領域
間の高さと幅がそれぞれ閾値ＹＴ３，ＸＴ３未満のとき
には縦方向の結合条件を満たす。図５（ｄ）は、文字列
が行単位で分離している場合である。各領域の高さが閾
値ＴＫ２未満で、領域間の高さが文字領域の高い方の高
さよりも低く、かつ他方の文字領域の高さとの比が閾値
ＵＮ２未満で、さらに大きい領域の幅と領域間の幅との
比が閾値ＵＮ３未満のときには縦方向の結合条件を満た
す。

【００１５】（II)(２）図１中の隣接領域検索処理
（図６）図６は、図１中の各領域の右方向及び下方向に隣接する
文字領域ｊを検出するための隣接領域検索処理１０の処
理内容を示すフローチャートである。図６において、ｉ
ｙｓ，ｉｙｅ，ｊｙｓ，ｊｙｅは水平方向の条件を決め
る座標値、ｉｘｓ，ｉｘｅ，ｊｘｓ，ｊｘｅは垂直方向
の条件を決める座標値である。まず、処理１１により、
文字領域ｉに対して水平方向に位置する分割された文字
領域ｊを検索し、判定処理１２へ進む。判定処理１２で
は、ｉｙｓ＜ｊｙｅ及びｉｙｅ＞ｊｙｓより、文字領域
ｊが水平方向か否かを判定し、水平方向でないときには
判定処理１５へ進み、水平方向のときには、判定処理１
３へ進む。判定処理１３では、文字領域ｊが文字領域ｉ
の右側に位置し、かつそれが最も近いか否かを判定す
る。文字領域ｊが文字領域ｉの右側に位置し、かつ以前
の領域よりも文字領域ｉに近ければ、処理１４により、
ｊが文字領域であること条件に、ｉ_-ｒｉｇｈｔ（右）
にｊを保存する。これに当てはまらなかった場合、処理
１１へ戻る。判定処理１２，１３の判定結果が否定の場
合、判定処理１５へ進む。判定処理１５では、垂直方向
に文字領域ｊを検索し、ｉｘｓ＜ｊｘｅ及びｉｘｅ＞ｊ
ｘｓより、該文字領域ｊが垂直方向か否かの判定を行
い、垂直方向でないときには判定処理１８へ進む。垂直
方向のときには、判定処理１６により、文字領域ｊが文
字領域ｉの下側に位置し、かつそれが最も近いか否かを
判定する。文字領域ｊが文字領域ｉの下側に位置し、か
つ以前の領域よりも文字領域ｉに近ければ、ｊが文字領
域であることを条件に、ｉ_-ｄｏｗｎ（下）にｊを保存
する。これに当てはまらなかった場合、処理１１へ戻
る。判定処理１８では、ｊが最後か否かを判定し、それ
が最後でないときには前記の処理を繰り返し、ｊが最後
のときには、各文字領域ｉに対する右方向及び下方向の
隣接領域が検出されているので、その検出結果を図１の
文字領域結合処理２０へ送る。

【００１６】以上のように、本実施例では、前処理で作
成された文字領域ｉにおいて、それらの全てのｉに対
し、隣接領域検索処理１０により、右方向及び下方向に
最も近い位置にある文字領域ｊを検索し、隣接している
小さな文字領域ｊに対し、文字領域結合処理２０によ
り、その特徴量としてそれぞれの領域と領域間隔の高
さ、幅、面積等を算出して横方向及び縦方向の結合条件
を満たすか否かを判定し、それらの結合条件を満たす領
域を領域結合処理２６によって結合した後、外接矩形領
域作成処理３０を行うようにしている。そのため、文書
画像の領域抽出処理において、図４に示すように、タイ
トルや人名等が分離されたままの小さな文字領域Ｃを再
度統合することができ、それによって効率よく、文字認
識を行うことができる。なお、本発明は上記実施例に限
定されず、例えば、図１の結合判定処理２１，２３にお
ける結合条件として図５以外のものを採用したり、削除
処理２２，２４において左方向や上方向の隣接領域番号
を削除する等、種々の変形が可能である。

【００１７】

【発明の効果】以上詳細に説明したように、本発明によ
れば、文書画像の領域抽出処理において、隣接領域検索
処理によって隣接する文字領域を検索し、隣接している
文字領域に対して文字領域結合処理によって結合条件を
満たしているか否かを判定し、結合条件を満たしている
領域を領域結合処理で結合した後、外接矩形領域作成処
理で外接矩形領域を作成するようにしている。そのた
め、タイトルや人名等が分離されたままの小さな領域を
再度統合することができ、それによって効率よく、文字
認識を行うことができる。

【図面の簡単な説明】

【図１】本発明の実施例の文字領域再結合処理の処理内
容を示すフローチャートである。

【図２】先の提案１，２の文字領域例を示す図である。

【図３】本発明の実施例を示す領域抽出方法の処理内容
図である。

【図４】図３中の文字領域例を示す図である。

【図５】図１中の各種結合条件を示す図である。

【図６】図１中の隣接領域検索処理１０の処理内容を示
すフローチャートである。

【符号の説明】

４ラベル画像作成処理５領域分割、属性判別処理６文字画像作成、領域再分
割処理８文字領域再結合処理１０隣接領域検索処理２０文字領域結合処理２１，２３結合判定処理２２，２４削除処理２６領域結合処理３０外接矩形領域作成処理

Claims

【特許請求の範囲】

【請求項１】文書画像から領域画像を作成し、前記領
域画像の領域分割を行ってその各分割領域に対し、文字
領域の抽出を行う文書画像の領域抽出方法において、前記各分割領域に対し、水平方向及び垂直方向を検索
し、その各分割領域に対して横方向及び縦方向の最も近
くに位置する文字領域番号をそれぞれ取得する隣接領域
検索処理と、前記各文字領域番号に対し、縦方向及び横方向の結合条
件を満たす領域と結合する文字領域結合処理と、前記結合された領域に対し、互いに重なる領域を囲む最
小の矩形領域を求め、旧領域データの無効化を行う外接
矩形領域作成処理とを、順に実行して文字領域の抽出を行うことを特徴とする文
書画像の領域抽出方法。