JP2786361B2 - 文書画像の領域抽出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ファクシミリ等の通信
機器や文書画像データベース入力装置、光学的文字読取
り装置（ＯＣＲ）等において、文書画像をその構成要素
の領域に抽出する文書画像の領域抽出方法に関するもの
である。

【０００２】

【従来の技術】従来、この種の文書画像の領域抽出方法
には、例えば、特開昭６２ー７１３７９号公報に記載さ
れるものがあった。

【０００３】この文献に記載された文書画像の領域抽出
方法では、文書画像データを入力し、走査方向（例え
ば、横方向）に黒画素を計数して閾値を超えるラインを
検出し、該計数値が閾値以下の白ラインが所定個数連続
する状態を判定して第１の領域切り出しを行なう。この
第１の領域切り出し内で、副走査方向（例えば、縦方
向）に黒画素を計数して該計数値が閾値を超える列を検
出し、該計数値が閾値以下の白列が所定個数連続する状
態を判定して第２の領域切り出しを行なう。

【０００４】さらに、第２の領域切り出し内で、第１の
領域切り出しと同様な処理により、第３の領域切り出し
を行い、この第３の領域切り出し内で、第２の領域切り
出しと同様な処理により、第４の領域切り出しを行う。
そこで、この第４の領域切り出しで検出された領域につ
いて、その領域のランレングス情報、及び黒画素率情報
により、文字領域、写真領域、及び図表領域の属性を判
別している。

【０００５】

【発明が解決しようとする課題】しかしながら、上記構
成の文書画像の領域抽出方法では、次のような課題があ
った。

【０００６】（ａ）従来の方法では、領域を分割して抽
出する際に、その分割対象に応じて様々な閾値を任意に
設定する必要があった。例えば、個々の論文誌に対して
領域分割処理を施す場合、それらの閾値を各論文誌に応
じた適切な値に設定し直さなければならず、その値の選
定に手間がかかるという問題があった。

【０００７】（ｂ）前記（ａ）の問題を解決するため
に、本願出願人は、先に特願平０３ー０５２８４６号明
細書において、領域抽出方法の提案を行なった。

【０００８】図２は、本出願人の先の提案における文字
領域例を示す図である。本出願人が先に行った提案で
は、先ず、入力された文書画像から白黒２値画像を作成
するとともに、文書画像と同サイズで全面黒の多値の領
域画像を作成する。次に、２値画像を横及び縦方向に走
査し、各々の方向で閾値Ｔ１、Ｔ２以上の白ランが存在
すれば領域画像においてその白ランに対応する部分を白
にして、文書画像の構成要素を黒画素連結領域として表
現する。この領域画像の黒の部分に対しラベル付けを行
い、領域画像の各領域分割を行うというものであった。

【０００９】ところが、この方法では、図２に示すよう
に、文字領域Ａが行単位もしくは文字単位といった小さ
な領域でしか表現することができず、文字認識を行なう
際に文書の構成や、文章のつながり等を知ることが困難
であり、未だ充分満足のゆく領域抽出方法が得られなか
った。

【００１０】本発明は、前記従来技術が持っていた課題
として、文字領域を小さな領域でしか表現できず、それ
によって文字認識の効率が低下するという点について解
決した文書画像の領域抽出方法を提供するものである。

【００１１】

【課題を解決するための手段】本発明は、前記課題を解
決するために、縦書きと横書きが混在する文書画像を２
値化して２値画像を作成し、文書画像と同じ大きさで全
面黒の領域画像を作成し、２値画像と全面黒の領域画像
から文書画像の構成要素を黒画素連結領域として表現し
た領域画像を作成する領域画像作成処理と、領域画像の
構成要素に一意に番号を与えたラベル画像を作成するラ
ベル画像作成処理とを施し、ラベル画像を用いて文書画
像の領域抽出を行う文書画像の領域抽出方法において、
以下の処理を行う。まず、ラベル画像から文字領域以外
の領域を全て白にした文字画像を作成する文字画像作成
処理を行う。次に、文字画像内に存在する複数の文字領
域の、横方向の長さと縦方向の長さの比を用いて、文字
領域の書き方向が、横書きであるか、または、縦書きで
あるかを文字領域ごとに判別し、その判別結果を、文字
領域ごとに記録した後、文字領域ごとに上下左右それぞ
れの最も近くに位置する文字領域を検索する隣接領域検
索処理を行う。そして、隣接領域検索処理の結果を用
い、隣接する文字領域が、横書きの文字領域どうしの場
合には文字領域の縦方向の長さと文字領域間の距離との
比をとり、閾値と比較し、閾値より小さければ隣接する
文字領域を結合して、結合後の文字領域の横方向の長さ
が結合前より長い横方向結合文字領域を作成するととも
に、その横方向結合文字領域に書き方向として横書きを
記録し、縦書きの文字領域どうしの場合には文字領域の
横方向の長さと文字領域間の距離との比をとり閾値より
小さければ隣接する文字領域を結合して、結合後の文字
領域の縦方向の長さが結合前より長い縦方向結合文字領
域を作成するとともに、その縦方向結合文字領域に書き
方向として縦書きを記録する書き方向結合処理を行う。
さらに、書き方向結合処理により記録された書き方向を
用い、書き方向が横書きで一致する横方向結合文字領域
どうしの場合には、横方向結合文字領域の縦方向の長さ
と横方向結合文字領域間の距離との比を閾値と比較し、
閾値より小さければ横方向結合文字領域間を結合し、結
合後の文字領域の縦方向の長さが結合前 より長い横書き
領域グループを作成する。同様に、書き方向が縦書きで
一致する縦方向結合文字領域どうしの場合には、縦方向
結合文字領域の横方向の長さと縦方向結合文字領域間の
距離との比を閾値と比較し、閾値より小さければ縦方向
結合文字領域間を結合し、結合後の文字領域の横方向の
長さが結合前より長い縦書き領域グループを作成するグ
ループ化結合処理を行う。その後、グループ化結合処理
で結合された横書き領域グループと縦書き領域グループ
を、それぞれ別の領域として囲み、最小の縦書き矩形領
域と最小の横書き矩形領域を求める領域結合処理を行
う。

【００１２】ここで、隣接領域検索処理は、全ての文字
領域に対して、各文字領域の上，下，左，右に隣接する
文字領域を検索する。書き方向結合処理は、隣接領域検
索処理の結果を用い、書き方向が一致する隣接文字領域
間で、文字の大きさ（高さあるいは幅）と隣接文字領域
間隔との比を閾値と比較し、閾値より小さければ隣接す
る文字領域を結合するとともに、該結合された文字領域
に書き方向の情報を与える。グループ化結合処理は、書
き方向結合処理の結果を用い、書き方向が一致する隣接
した文字領域に対し、文字幅と文字領域間隔との比を閾
値と比較し、閾値より小さければ隣接文字領域を結合す
る。領域統合処理は、グループ化結合処理で結合された
文字領域を囲む最小の矩形領域を求める。

【００１３】

【作用】本発明によれば、以上のように文書画像の領域
抽出方法を構成したので、領域画像作成処理によって文
書画像の領域画像を作成し、該作成された領域画像から
ラベル画像を作成する。次に、隣接領域検索処理で全て
の文字領域に対して、各文字領域の上，下，左，右に隣
接する文字領域を検索し、書き方向結合処理に送る。書
き方向結合処理では、書き方向が一致する隣接文字領域
を結合する。該書き方向結合処理により、文字（列）を
行方向あるいは列方向に結合することができる。グルー
プ化結合処理では、書き方向結合処理の結果に対し、さ
らに書き方向が一致する隣接文字領域を結合する。該グ
ループ化結合処理により、複数行あるいは複数列の文字
列を結合することができる。領域統合処理は、グループ
化結合処理で結合された文字領域を囲む最小の矩形領域
を求め新たな文字領域とする。これにより、文字領域を
大きな領域として表現でき、文書の構成や文章のつなが
り等を容易に知ることが可能となり、効率のよい文字認
識が行える。従って、前記課題を解決できるのである。

【００１４】

【実施例】図１は、本発明の実施例の領域抽出方法を示
す処理内容の図である。文書画像の領域抽出処理を行う
場合、まず、領域画像作成処理１により、全面黒の領域
画像と原画像から文書画像の構成要素を黒画素連結領域
として表現した領域画像を作成し、ラベル画像作成処理
２により、該領域画像の構成要素に一意に番号を与えた
ラベル画像を作成する。

【００１５】次に、このラベル画像から文字画像作成処
理３で、文字領域以外の領域をすべて白にした文字画像
を作成する。隣接領域検索処理４では、該文字画像内に
存在する複数の文字領域の、横方向の長さと縦方向の長
さの比を用いて、文字領域の書き方向が、横書きか縦書
きであるかを文字領域ごとに判別する。その判別結果
を、文字領域ごとに記録し、さらに、全ての文字領域に
対して、各文字領域の上、下、左、右に隣接する文字領
域を検索する。書き方向結合処理５は、隣接領域検索処
理４の結果を用い、書き方向が一致する隣接文字領域間
で横書きの文字領域同士の場合には文字領域の高さと隣
接文字領域間の距離との比を閾値と比較し、閾値より小
さければ隣接する文字領域を横方向に結合する。縦書き
の文字領域同士の場合には文字領域の幅と隣接文字領域
間の距離との比を閾値と比較し、閾値より小さければ隣
接する文字領域を縦方向に結合する。その後、結合され
た文字領域のそれぞれに縦書きか横書きかの書き方向の
情報を与える。グループ化結合処理６は、書き方向結合
処理５の結果を用い、書き方向が一致する隣接する文字
領域に対し、横書きの文字領域の場合は文字領域の高さ
と隣接文字領域間の距離との比を閾値と比較し、閾値よ
り小さければ隣接する文字領域を縦方向に結合する。縦
書きの文字領域の場合は文字領域の幅と隣接文字領域間
の距離との比を閾値と比較し、閾値より小さければ隣接
する文字領域を横方向に結合する。領域結合処理７は、
グループ化結合処理６で結合された横書き領域と縦書き
領域を、それぞれ別の領域として囲み、最小の縦書きと
横書きの矩形領域を求める。これにより、図３に示すよ
うに、文字領域Ｂを大きな領域として表現できる。その
ため、文書の構成や文章のつながり等を容易に知ること
ができ、効率良く文字認識が行える。

【００１６】図４は図１中の隣接領域検索処理４の処理
内容を示す図であり、１つの文字領域ｉの上，下，左，
右に隣接する文字領域を検索する処理を示している。こ
こで、文字領域ｉは図１中の文字画像作成処理３で得ら
れた文字領域全ての文字領域について行う。まず、文字
領域ｉの縦横の長さ比を求め、縦／横＞１の場合は縦書
き、縦／横＜１の場合は横書き、縦／横＝１の場合は不
明とする（Ｓ１１）。次に、文字領域ｉに対し水平方向
に位置する文字領域ｊを検索する（Ｓ１３）。文字領域
ｊは文字領域ｉを除く全ての文字領域とする（Ｓ１
２）。検索条件は図４の左側に示すように、文字領域ｉ
のｙ座標の範囲に文字領域ｊがかかれば水平方向に存在
するものとする。すなわち、文字領域ｉの上端のｙ値を
ｉｙｓ、下端のｙ値をｉｙｅ、文字領域ｊの上端のｙ値
をｊｙｓ、下端のｙ値をｊｙｅとし、ｉｙｓ＜ｊｙｅか
つｉｙｅ＞ｊｙｓであれば、文字領域ｉの水平方向に文
字領域ｊが存在するものとする。図４の左側図におい
て、座標の原点は左上にあるものとし、ｘ座標は右側が
大きい値、ｙ座標は下側が大きい値とする。更に文字領
域ｊが文字領域ｉの右側に位置し、今までの文字領域よ
りも文字領域ｉに近ければ変数ｉ＿ｒｉｇｈｔにｊを、
ｊ＿ｌｅｆｔにｉを保存する（Ｓ１４，Ｓ１５）。

【００１７】次に、文字領域ｉに対し垂直方向に位置す
る文字領域ｊを検索する。検索条件は図４の左側に示す
ように、文字領域ｉのｘ座標の範囲に文字領域ｊがかか
れば垂直方向に存在するものとする。すなわち、文字領
域ｉの左端のｘ値をｉｘｓ、右端のｘ値をｉｘｅ、文字
領域ｊの左端のｘ値をｊｘｓ、右端のｘ値をｊｘｅと
し、ｉｘｓ＜ｊｘｅかつｉｘｅ＞ｊｘｓであれば、文字
領域ｉの垂直方向に文字領域ｊが存在するものとする
（Ｓ１６）。更に文字領域ｊが文字領域ｉの下側に位置
し、今までの文字領域よりも文字領域ｉに近ければ変数
ｉ＿ｄｏｗｎにｊを、ｊ＿ｕｐにｉを保存する（Ｓ１
７，Ｓ１８）。該処理を全ての文字領域ｊについて繰り
返すことにより文字領域ｉに対する上下左右の隣接文字
領域を検出できる。

【００１８】図５は図１中の書き方向結合処理５の処理
内容を示す図である。ここで、ｉは図１中の文字画像作
成処理３で得られた文字領域全ての文字領域について行
う（Ｓ２１）。まず、文字領域ｉのｉ＿ｒｉｇｈｔで示
された文字領域ｋが縦書き以外すなわち横書きあるいは
不明であるかを判定する（Ｓ２２）。縦書き以外でない
ときはステップＳ２５に進む。縦書き以外の場合は、ス
テップＳ２３で文字領域ｉと文字領域ｋの間隔が文字の
高さ及び文字領域ｉとｉ＿ｄｏｗｎで示された文字領域
ｍとの間隔よりも小さい場合、文字領域ｉと文字領域ｋ
を結合し、該結合した文字領域を横書きとする（Ｓ２
４）。さらに、ステップＳ２４において文字領域の結合
による各文字領域が保持する隣接文字領域情報の変更を
行う。

【００１９】ステップＳ２５で、文字領域ｉのｉ＿ｒｉ
ｇｈｔで示された文字領域ｋが横書き以外すなわち縦書
きあるいは不明であるかを判定する。横書き以外でない
ときはステップＳ２８に進む。横書き以外の場合は、ス
テップＳ２６で文字領域ｉとｉ＿ｄｏｗｎで示された文
字領域ｍの間隔が文字の幅及び文字領域ｉとｉ＿ｒｉｇ
ｈｔで示された文字領域ｋとの間隔よりも小さい場合、
文字領域ｉと文字領域ｍを結合し、該結合した文字領域
を縦書きとする（Ｓ２７）。さらに、ステップＳ２７に
おいて文字領域の結合による各文字領域が保持する隣接
文字領域情報の変更を行う。ステップＳ２８において、
全ての文字領域ｉについて、前記処理を繰り返す。

【００２０】図６は図１中のグループ化結合処理６の処
理内容を示す図である。ここで、ｉは図１中の書き方向
結合処理５で得られた文字領域全ての文字領域について
行う（Ｓ３１）。まず、文字領域ｉのｉ＿ｒｉｇｈｔで
示された文字領域ｋが横書き以外であるか否かを判定す
る（Ｓ３２）。横書き以外でないときはステップＳ３５
に進む。横書き以外の場合は、ステップＳ３３で文字領
域ｉと文字領域ｋの間隔と文字の幅との比が閾値ｇｒ＿
ｙｘよりも小さい場合、文字領域ｉと文字領域ｋを結合
する（Ｓ３４）。さらに、ステップＳ３４において文字
領域の結合による各文字領域が保持する隣接文字領域情
報の変更を行う。

【００２１】ステップＳ３５で、文字領域ｉ＿ｒｉｇｈ
ｔで示された文字領域ｋが縦書き以外すなわち横書きあ
るいは不明であるか判定する。縦書き以外でないとき、
すなわち縦書きのときはステップＳ３８に進む。縦書き
以外の場合は、ステップＳ３６で文字領域ｉとｉ＿ｄｏ
ｗｎで示された文字領域ｍの間隔と文字の高さとの比が
閾値ｇｒ＿ｘｙよりも小さい場合、文字領域ｉと文字領
域ｍを結合する（Ｓ３７）。さらに、ステップＳ３７に
おいて文字領域の結合による各文字領域が保持する隣接
文字領域情報の変更を行う。ステップＳ３８において、
全ての文字領域ｉについて、前記処理を繰り返す。

【００２２】以上のように、本実施例によれば、領域画
像生成処理１によって領域画像を作成し、その領域画像
からラベル画像生成処理２によってラベル画像を作成し
た後、文書画像作成処理３によって文書画像を作成し、
その文書画像に基づき隣接領域検索処理４、書き方向結
合処理５、グループ化結合処理６、及び領域統合処理７
によって文字領域を文字の書き方向に従って結合してい
るので、これまで文字領域を小さな領域でしか表現でき
なかったものを、図３に示すように大きな文字領域Ｂと
して表現できる。そのため、文字認識における際の文書
の構成や、文章のつながり等を容易に知ることができ、
文字認識の効率のよい処理が行える。

【００２３】なお、本発明の図１の各処理１〜７は、集
積回路等の個別回路で構成した装置で実行したり、或い
はコンピュータを用いたプログラム制御等により実行す
るようにしてもよい。

【００２４】

【発明の効果】以上詳細に説明したように、本発明によ
れば、領域画像生成処理及びラベル画像作成処理の後、
文書画像作成処理で文字画像を作成し、その文字画像を
用いて隣接領域検索処理を行う。 まず、書き方向結合処
理により、文字領域が横書きの場合は、横方向に隣接す
る文字領域を結合し、文字領域が縦書きの場合は、縦方
向に隣接する文字領域を結合していく。次に、グループ
化結合処理で、横書きで横方向に結合された文字領域を
縦方向に隣接する横書きの文字領域と結合し、縦書きで
縦方向に結合された文字領域を横方向に隣接する縦書き
の文字領域と結合する。さらに、領域結合処理によっ
て、グループ化結合処理で得られた文字領域を囲む最小
の矩形領域を抽出しているので、文字領域の書き方向に
従って、同一書き方向の文字領域を順次結合し、拡大し
ていくことができ、これまで文字領域を小さな領域でし
か表現できなかったものを、大きな領域として表現でき
る。従って、縦書きと横書きが混在する文書画像を、縦
書きと横書きの矩形領域に分割することができ、文字認
識における際の文書の構成や、文章のつながり等を容易
に知ることができ、それによって文字認識効率を著しく
向上させることができる。

【図面の簡単な説明】

【図１】本発明の実施例を示す文書画像の領域抽出方法
の処理内容図である。

【図２】先の提案の文字領域例を示す図である。

【図３】図１中の文字領域例を示す図である。

【図４】図１中の隣接領域検索処理４の処理内容を示す
図である。

【図５】図１中の書き方向結合処理５の処理内容を示す
図である。

【図６】図１中のグループ化結合処理６の処理内容を示
す図である。

【符号の説明】

１ 領域画像作成処理 ２ ラベル画像作成処理 ３ 文字画像作成処理 ４ 隣接領域検索処理 ５ 書き方向結合処理 ６ グループ化結合処理 ７ 領域統合処理

───────────────────────────────────────────────────── フロントページの続き (72)発明者 塚本 明利 東京都港区虎ノ門１丁目７番12号 沖電 気工業株式会社内 (56)参考文献 特開 平１−216493（ＪＰ，Ａ) 特開 平３−126181（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 縦書きと横書きが混在する文書画像を２
   値化して２値画像を作成し、前記文書画像と同じ大きさ
   の全面黒の領域画像を作成し、前記２値画像と全面黒の
   領域画像から前記文書画像の構成要素を黒画素連結領域
   として表現した領域画像を作成する領域画像作成処理
   と、前記領域画像の構成要素に一意に番号を与えたラベ
   ル画像を作成するラベル画像作成処理とを施し、前記ラ
   ベル画像を用いて前記文書画像の領域抽出を行う文書画
   像の領域抽出方法において、 前記ラベル画像から文字領域以外の領域を全て白にした
   文字画像を作成する文字画像作成処理と、 前記文字画像内に存在する複数の文字領域の、横方向の
   長さと縦方向の長さの比を用いて、文字領域の書き方向
   が、横書きであるか、または、縦書きであるかを文字領
   域ごとに判別し、その判別結果を、文字領域ごとに記録
   した後、文字領域ごとに上下左右それぞれの最も近くに
   位置する文字領域を検索する隣接領域検索処理と、 前記隣接領域検索処理の結果を用い、隣接する文字領域
   が、横書きの文字領域どうしの場合には文字領域の縦方
   向の長さと文字領域間の距離との比をとり、閾値と比較
   し、閾値より小さければ隣接する文字領域を結合して、
   結合後の文字領域の横方向の長さが結合前より長い横方
   向結合文字領域を作成するとともに、その横方向結合文
   字領域に書き方向として横書きを記録し、縦書きの文字
   領域どうしの場合には文字領域の横方向の長さと文字領
   域間の距離との比をとり閾値より小さければ隣接する文
   字領域を結合して、結合後の文字領域の縦方向の長さが
   結合前より長い縦方向結合文字領域を作成するととも
   に、その縦方向結合文字領域に書き方向として縦書きを
   記録する書き方向結合処理と、 前記書き方向結合処理により記録された書き方向を用
   い、隣接する文字領域の書き方向が横書きで一致する横
   方向結合文字領域どうしの場合には、横方向結合文字領
   域の縦方向の長さと横方向結合文字領域間の距離との比
   を閾値と比較し、閾値より小さければ横方向結合文字領
   域間を結合し、結合後の文字領域の縦方向の長さが結合
   前より長い横書き領域グループを作成するとともに、書
   き方向が縦書きで一致する縦方向結合文字領域どうしの
   場合には、縦方向結合文字領域の横 方向の長さと縦方向
   結合文字領域間の距離との比を閾値と比較し、閾値より
   小さければ縦方向結合文字領域間を結合し、結合後の文
   字領域の横方向の長さが結合前より長い縦書き領域グル
   ープを作成するグループ化結合処理と、 前記グループ化結合処理で結合された横書き領域グルー
   プと縦書き領域グループを、それぞれ別の領域として囲
   み、最小の縦書き矩形領域と最小の横書き矩形領域を求
   める領域結合処理とを、 実行して縦書きと横書きが混在する前記文書画像を、縦
   書きと横書きの矩形領域に分割することを特徴とする文
   書画像の領域抽出方法。