JP2786355B2 - 文章画像の属性判別方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ファクシミリ等の通信
機器や文書画像データベース入力装置、光学的文字読取
り装置（ＯＣＲ）等において、文書画像中の文字領域、
図形領域、写真領域、表領域及びフィールドセパレータ
領域といった構成要素の属性を判別する文書画像の属性
判別方法に関するものである。

【０００２】

【従来の技術】従来、この種の属性判別方法としては、
例えば特開平０３ー１２６１８１号公報に記載されるも
のがあった。

【０００３】この文書画像の属性判別方法では、イメー
ジセンサにより、入力文書画像を走査して多値画像デー
タを読取る。読取られた多値画像データは、最適２値化
処理により、該多値画像データをその特徴及び性質を損
なうことなく２値画像データに変換される。即ち、この
最適２値化処理では、多値画像データを入力し、文字・
フィールドセパレータ領域は領域分離、図表・写真領域
はディザ処理（網点処理）を施し、それら両者の画像を
合成する。

【０００４】この最適２値化処理により２値化された画
像は、領域分割によって複数のブロックに分割された
後、属性判別処理が行われる。属性判別処理では、領域
分割によって得られた各ブロックに対し、その特徴量と
して縦横比、面積、及び黒白反転密度（ブロック中での
黒白反転回数／面積）を算出し、これに基づいて領域を
フィールドセパレータ、写真、図形、及びその他の文字
の各領域に分類する。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
属性判別方法では、次のような課題があった。

【０００６】（ａ）従来の属性判別方法では、最適２値
化処理画像を属性判別の処理対象としているため、前処
理として複雑な最適２値化処理を行うことが必要であ
る。しかも、図と表の判別を行っていないため、文書画
像中の図と表を分離することができないという問題点が
あった。

【０００７】（ｂ）前記（ａ）の問題点を解決するた
め、本願出願人は、先に特願平０３ー０８２７０４号明
細書において属性判別方法を提案した。この提案では、
文書画像を単純２値化して２値化画像（原画像）を作成
し、さらに該２値化画像全体を縮小した後、該縮小画像
を構成要素に領域分割し、該分割された領域に対して、
該縮小画像領域内の黒画素数、領域外接矩形の縦横比、
領域の厚さ、及び領域の矩形度をそれぞれ求めてそれら
に対する閾値と比較する処理と、傾き補正処理により、
前記縮小画像領域の外接矩形の大きさに対する前記縮小
画像領域内での最長黒ランの長さの比率を求め、それに
対応する閾値と比較する処理と、前記縮小画像領域内の
黒白反転密度を求め、それに対応する閾値と比較する処
理とを実行して前記縮小画像領域を文字（列）、図形、
写真、表、及びフィールドセパレータの各領域に判別し
ている。

【０００８】ところが、この属性判別方法では、縮小画
像について領域分割及び属性判別を行っているため、文
書画像の縮小時に、図４に示した例のように黒丸で表わ
された文字と線で表されたフィールドセパレータが接触
してしまった場合、正しく領域分割が出来ないため、属
性判別を誤ってしまうという問題点があった。

【０００９】本発明は、前記従来技術が持っていた課題
として、文書画像の縮小時に文字（列）とフィールドセ
パレータが接触した際、精度よく属性を判別することが
困難な点について解決した文書画像の属性判別方法を提
供するものである。

【００１０】

【課題を解決するための手段】本発明は、前記課題を解
決するために、文書画像を単純２値化して２値化画像
（原画像）を作成し、さらに２値化画像全体を縮小した
後、縮小画像を構成要素に領域分割し、分割された領域
に対して属性の判別を行う文書画像の属性判別方法にお
いて、領域分割により分割された各領域に対し、領域内
の黒画素数、領域外接矩形の縦横比、領域の厚さ、及び
領域の矩形度を縮小画像において求め、それらに対する
閾値と比較し、領域の属性を判別する第１の属性判別処
理と、第１の属性判別処理により判別されなかった領域
に対し、領域内に所定の閾値より長い黒ランが存在する
か否かを判定し、長い黒ランが存在する場合は領域に該
当する原画像の領域を求め、原画像の領域内において黒
画素がまったく存在しないラインが存在すれば、ライン
で領域の再分割を行い、再分割された領域に該当する縮
小画像の領域を求める接触領域分離処理と、接触領域分
離処理で再分割した各々の領域に対し、最長黒ランの長
さ及び領域の厚さを求め、それらに対する閾値と比較
し、領域の属性を判別する第２の属性判別処理と、接触
領域分離処理において原画像中に閾値より長い黒ランが
まったく存在しない領域、もしくは、行方向及び列方向
の両方に閾値より長い黒ランが存在するものの再分割さ
れなかった領域について、各領域内の行方向及び列方向
の最長黒ランの長さを縮小画像において各々求め、領域
の幅と行方向の最長黒ランの長さ及び領域の高さと列方
向の最長黒ランの長さとの比率を閾値と比較し、領域の
属性を判別する第３の領域判別処理と、第３の属性判別
処理において判別されなかった領域に対し、領域内の黒
白反転密度を縮小画像において求め、それに対する閾値
と比較し、領域の属性を判別する第４の属性判別処理
と、第４の属性判別処理において判別されなかった領域
に対し、再度、矩形度とそれに対する閾値とを比較し、
領域の属性を判別する第５の属性判別処理を実行するこ
とで、領域分割により分割された各領域の状態に応じて
縮小画像と原画像のいずれかを用いて領域の属性を、文
字（列）、図形、写真、表及びフィールドセパレータの
各領域に判別する。

【００１１】

【作用】本発明によれば、以上のように文書画像の属性
判別方法を構成したので、縮小画像領域内に所定の閾値
より長い黒ランが存在するか否か判定する処理により、
前記画像の縮小時に、文字（列）とフィールドセパレー
タが接触し同一の領域となっているか否かを判定する。
該処理で文字（列）とフィールドセパレータが接触し同
一領域となっていると判定した場合、該領域に該当する
原画像の領域を求め、該原画像の領域内における黒画素
が存在しないライン及び黒画素が少なくとも１つ存在す
るラインを求めることにより原画像の領域を分割し、さ
らに該分割した原画像の領域に該当する縮小画像の領域
を求める。その後、該縮小画像領域内の最長黒ランの長
さ及び領域の厚さを求め、それに対応する閾値と比較す
る処理を実行することにより、接触領域の文字（列）と
フィールドセパレータ領域を判別することができる。従
って、前記課題を解決できるのである。

【００１２】

【実施例】図５は、本発明の実施例を示すもので、画像
処理の全体の処理内容を示す図である。まず、前処理と
して、単純２値化処理１では、イメージセンサ等によっ
て入力文書画像が走査され、適当な閾値で単純２値化さ
れて２値化画像が生成される。該２値化画像は原画像メ
モリ２に格納されるとともに画像縮小処理３へ送られ
る。画像縮小処理３では、該原画像を縮小し縮小画像を
生成し、領域分割処理５に送るとともに、縮小画像メモ
リ４に格納する。

【００１３】領域分割処理５では、縮小画像を入力し、
それを文字（列）、図、表、写真、及びフィールドセパ
レータ等の構成要素に分割して分割領域６を生成する。
この構成要素に領域分割された分割領域６のデータは、
本実施例の特徴である属性判別処理７に送られる。

【００１４】前処理の領域分割処理５では、本願出願人
による前記特開平０３ー１２６１８１号公報記載した分
割方法などを用いることができる。該分割方法は、横方
向及び縦方向の走査を２回繰り返して行い、黒画素の存
在しない行及び列で画像を分割し、文字領域のものに対
してはそれらを統合することによって構成要素の分割領
域６を得るようにしている。

【００１５】このような分割処理が終わると、属性判別
処理７が行われる。この属性判別処理７では、前処理で
得られた分割領域６に対し、属性の判別を行い、各領域
の属性情報８を出力する。この属性判別処理７の処理内
容を図１に示す。

【００１６】図１〜図３は、本発明の実施例の属性判別
方法を用いた属性判別処理のフローチャートである。な
お、図中のＳ１０〜Ｓ２６，Ｓ３０〜Ｓ４０，Ｓ５０〜
Ｓ５８は、各処理のステップを示す。

【００１７】この属性判別処理では、分割領域６のデー
タを入力すると、領域内の黒画素数を数え、この黒画素
数が閾値Ｔ１以下であるか否かを判定する（Ｓ１０）。
黒画素数が閾値Ｔ１以下であれば、この領域を「ゴミ」
領域と判定する（Ｓ１１）。ここでいう「ゴミ」とは、
実際の文書に付着した汚れや、文書画像入力時にスキャ
ナ面に付着していた汚れによる影等の、文書内容ではな
い黒画素塊である。このような黒画素塊が存在すると、
誤判定を引き起こすおそれがあるので、この「ゴミ」領
域を判別しておく。

【００１８】ステップＳ１０において、黒画素数が閾値
Ｔ１よりも大きければ、ステップＳ１２において、領域
外接矩形の縦横比を求め、この縦横比が閾値Ｔ２以上か
否か、さらに該領域外接矩形の厚さ（即ち、領域の高さ
と幅の内小さい方をいう）が閾値Ｔ３以下であるか否か
を判定する。縦横比が閾値Ｔ２以上で、かつ厚さが閾値
Ｔ３以下であれば、この領域をフィールドセパレータ領
域と判定する（Ｓ１３）。

【００１９】ステップＳ１２において判定結果がノーの
場合、領域の厚さが閾値Ｔ４以下であるか否かを判定
し、閾値Ｔ４以下であれば、文字領域（文字列）と判定
する（Ｓ１５）。ステップＳ１４でノーの場合、領域の
矩形度を次式より求め、その矩形度が閾値Ｔ５以上か否
か、さらに該領域の厚さが閾値Ｔ６以上か否かを判定す
る（Ｓ１６）。

【００２０】矩形度＝領域内の黒画素数／領域の外接矩
形の面積（縦画素数×横画素数）ステップＳ１６におい
て、領域の矩形度が閾値Ｔ５以上で、かつ厚さが閾値Ｔ
６以上であれば、この領域を写真領域と判定し（Ｓ１
７）、ノーの時にはステップＳ１８へ進む。

【００２１】ステップＳ１８における接触領域分離及び
属性判別処理の詳細なフローチャートを図２に示す。図
２において、まず領域内に閾値Ｔ１１よりも黒画素が長
く連続する黒ランが存在するか否かを判定する（Ｓ３０
〜Ｓ３２）。黒ランが縦横どちらの方向にも存在しな
い、あるいは縦横両方向に存在するときは、図１のステ
ップＳ１９の傾き補正処理以降を行う。黒ランが横方向
にのみ存在する場合は、領域の外接矩形に該当する原画
像の矩形領域を求め（Ｓ３３）、原画像の矩形領域の縦
方向の両端の値をそれぞれｙｓ，ｙｅとする。ステップ
Ｓ３４で、該原画像の矩形領域について横分割処理を行
い、実行後分割があった場合、分割された全ての領域に
該当する縮小画像の矩形領域を求める（Ｓ３５，Ｓ３
６）。横分割処理において、領域分割されなかった場
合、横分割処理前の矩形領域に該当する縮小画像の矩形
領域をもとめ、図１のステップＳ１９以降の処理を行
う。

【００２２】横分割処理において、領域分割された場合
は各領域についてその領域内の最長黒ランの長さを求
め、最長黒ランの長さが閾値Ｔ１２以上で且つ領域の厚
さが閾値Ｔ３以下であれば（Ｓ３７）、この領域をフィ
ールドセパレータと判定し（Ｓ３８）、それ以外のとき
は文字領域と判定する（Ｓ３９）。

【００２３】図２のステップＳ３２で黒ランが縦方向に
のみ存在する場合は、領域の外接矩形に該当する原画像
の矩形領域を求め（Ｓ４０）、原画像の矩形領域の横方
向の両端の値をそれぞれｘｓ、ｘｅとする。ステップＳ
４１で、該原画像の矩形領域について縦分割処理を行
い、実行後分割があった場合、分割された全ての領域に
該当する縮小画像の矩形領域を求める（Ｓ３６）。縦分
割処理において、領域分割されなかった場合、縦分割処
理前の矩形領域に該当する縮小画像の矩形領域を求め、
図１のステップＳ１９以降の処理を行う。以後は黒ラン
が横方向にのみ存在する場合と同様な処理を行う。

【００２４】図３は横分割処理を詳細に示すフローチャ
ートである。まずステップＳ５０で分割数を０に初期化
し、原画像を外接矩形内部について横方向に走査する。
走査ラインはｙ値のｙｓからｙｅまで行う（Ｓ５１）。
ステップＳ５３で走査中のラインに黒画素が１つも存在
しなければ、１つ前のラインに黒画素が存在するか否か
を判定し（Ｓ５４）、存在すれば走査中のラインを新し
くｙｅ′と設定して領域分割データ６の分割数及び領域
を新たに１つ増加する（Ｓ５５、Ｓ５６）。次に、ステ
ップＳ５３で走査中のラインに黒画素が１つでも存在す
る場合は、１つ前のラインに黒画素が存在するか否かを
判定し（Ｓ５７）、黒画素が１つも存在しなければ走査
中のラインを新しくｙｓ′と設定して領域分割データ６
の分割数及び領域を新たに１つ増加する。（Ｓ５８）。
以上の走査を外接矩形の最終ラインまで行う。なお、縦
分割の処理も横分割の処理と同様であり、ｙｅ、ｙｓを
それぞれｘｅ、ｘｓに、横方向の走査を縦方向の査走に
変更すれば同様の処理となる。なお、走査ラインはｘ値
のｘｓからｘｅまで行い、縦方向の走査中にラインを新
しく設定する際は、ｘｅ′とｘｓ′を新しく設定する。

【００２５】図１のステップＳ１９の傾き補正処理で
は、行方向最長黒ランの長さと列方向最長黒ランの長さ
を求め、得られた行方向最長黒ランの長さと外接矩形の
幅との比が閾値Ｔ７以上か否かを判定する（Ｓ２０）。
閾値Ｔ７以上の時には、列方向最長黒ランの長さと外接
矩形の高さとの比が閾値Ｔ８以上であるか否かを判定し
（Ｓ２１）、閾値Ｔ８以上であれば、この領域を表領域
と判定する（Ｓ２２）。ステップＳ２０及びＳ２１でノ
ーの場合、ステップＳ２３に進む。

【００２６】ステップＳ２３では、領域内での黒白反転
回数（縦方向及び横方向の黒白反転回数の和）の外接矩
形面積に対する比を求め、その面積比が閾値Ｔ９よりも
小さいか否かを判定し、閾値Ｔ９未満であれば図形領域
と判定する（Ｓ２４）。また、ステップＳ２３がノーの
場合、ステップＳ２５において、領域の矩形度が閾値Ｔ
１０未満か否かを判定し、閾値Ｔ１０以上であれば、ス
テップＳ２６において、その他の文字領域（独立文字）
と判定する。

【００２７】図１及び図２の属性判別処理における閾値
Ｔ１〜Ｔ１３は、次のようにして設定される。例えば、
４００ｄｐｉの原文書画像の８×８画素の論理和演算の
結果を１画素に縮小した５０ｄｐｉの文書画像を領域分
割して得られた各領域について、属性を判別する際の閾
値Ｔ１〜Ｔ１３としては、「ゴミ」の大きさを４画素以
下（Ｔ１＝４）、フィールドセパレータの縦横比を４０
以上（Ｔ２＝４０）、厚さ４ｍｍ以下（Ｔ３＝４）と定
義する。さらに、文字列の厚さは、一般的な文書の本文
で用いられている文字の大きさを考えて５ｍｍ以下（Ｔ
４＝５）とするのが適当である。

【００２８】また、その他の閾値を求めるため、実際の
前記縮小文書画像において独立文字、図形、写真、及び
表の領域における矩形度、縦横最長黒ランの外接矩形の
高さ、幅に対する比、及び黒白反転密度の分布を調査し
た結果を図６〜図８に示す。

【００２９】図６は、領域の矩形度の分布を各属性毎に
表した図であるが、写真はほとんど矩形度０．６以上で
あるため、Ｔ５＝０．６とするのが適当である。また、
Ｔ６は１ｃｍ程度とするのが適当である。

【００３０】図７は、各領域において、後述する傾き補
正処理によって得られたｘ方向（横方向）、及びｙ方向
（縦方向）に最も長い黒ランの長さの、その領域の外接
矩形の大きさに対する比の分布を各属性毎に表した図で
ある。Ｘ座標は行方向最長黒ランの長さの外接矩形の幅
に対する比、Ｙ座標は列方向最長黒ランの長さの外接矩
形の高さに対する比である。図中、ｔは表領域、ｃは文
字領域、ｆは図形領域である。この図７より、表領域に
おいては行方向及び列方向共に大きな値になっており、
閾値Ｔ７＝０．９５、Ｔ８＝０．９５とするのが適当で
ある。

【００３１】図８は、独立文字領域と図形領域における
矩形度と黒白反転密度の値の分布図である。Ｘ座標は領
域の矩形度、Ｙ座標は黒白反転密度である。図中、ｆは
図形領域、ｃは文字領域である。この図８より、閾値Ｔ
９＝０．２、Ｔ１０＝０．３とするのが適当である。

【００３２】図２における黒ランの長さの閾値及び最長
黒ランの長さの閾値Ｔ１１，Ｔ１２については、文字の
大きさを考慮し、それぞれ３２画素，４０画素程度とす
るのが適当である。また、領域の厚さの閾値Ｔ１３につ
いてはＴ３と同様に厚さ４ｍｍ以下（Ｔ１３＝４）と定
義する。

【００３３】図９の（ａ）、（ｂ）は、図１における傾
き補正処理（Ｓ１９）の概念を説明する図である。水平
な状態で読込んだ文書画像では、文書中の水平線を表す
黒画素数は同一行上に並ぶが、傾いた状態で読込んだ文
書画像では、傾き具合に応じて水平線の黒画素数が隣接
する行へ移行してゆく。そこで、傾き補正処理では、こ
のように移行している黒画素数を同一行上に並べるた
め、画像の領域内部分における幾つかの連続する行を、
列毎に論理和を取ることにより得られる１行に置き換え
る縮小操作を行う。この処理では１行に置き換えられる
行数は、補正を行う傾き角と領域の大きさによって異な
るが、例えば傾き許容角を１度程度とすると、次式で算
出されるものとするのが適当である。 １行に置き換える行数＝（領域外接矩形の幅）×ｓｉｎ
１° この処理によって得られる画像において、最も長い行方
向の黒ランの長さを、この領域における行方向の最長黒
ランの長さとする。

【００３４】列方向にも同様の処理を行う。この時の１
列に置き換えられる列数は、前記同様、次式で算出され
るものとするのが適当である。 １列に置き換える行数＝（領域外接矩形の高さ）×ｓｉ
ｎ１° この処理によって得られる画像において、最も長い列方
向の黒ランの長さを、この領域における列方向の最長黒
ランの長さとする。これらの行方向及び列方向の縮小操
作は、同時に行うこともできる。

【００３５】なお、本発明は上記実施例に限定されず、
例えば図１の属性判別処理において、ステップＳ１０，
Ｓ１１を省略したり、或は接触領域分離及び属性判別処
理Ｓ１８を傾き補正処理Ｓ１９の後で実行するなど、種
々の変形が可能である。

【００３６】

【発明の効果】以上詳細に説明したように、本発明によ
れば、文書画像の縮小時に生じる文字（列）とフィール
ドセパレータが接触した領域について、原画像に戻して
領域の再分割、属性判別を行うため容易にしかも精度よ
く判別することができる。

【図面の簡単な説明】

【図１】本発明の実施例の属性判別方法を示す属性判別
処理の内容図である。

【図２】図１中のステップＳ１８の処理内容を示す図で
ある。

【図３】図２中のステップＳ３４の処理内容を示す図で
ある。

【図４】縮小画像の一例を示す図である。

【図５】本発明の実施例を示す画像処理の全体の処理内
容図である。

【図６】矩形度分布図である。

【図７】外接矩形比分布図である。

【図８】矩形度、黒白反転密度分布図である。

【図９】図１中の傾き補正処理の説明図である。

【符号の説明】

１ 単純２値化処理 ２ 原画像メモリ ３ 画像縮小処理 ４ 縮小画像メモリ ５ 領域分割処理 ６ 領域分割データ ７ 属性判別処理 ８ 属性情報

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−253383（ＪＰ，Ａ) 特開 平３−222075（ＪＰ，Ａ) 特開 平２−14392（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 文書画像を単純２値化して２値化画像
   （原画像）を作成し、さらに該２値化画像全体を縮小し
   た後、該縮小画像を構成要素に領域分割し、該分割され
   た領域に対して属性の判別を行う文書画像の属性判別方
   法において、前記領域分割により分割された各領域に対し、 領域内の
   黒画素数、領域外接矩形の縦横比、領域の厚さ、及び領
   域の矩形度を前記縮小画像において求め、それらに対す
   る閾値と比較し、領域の属性を判別する第１の属性判別
   処理と、 前記の第１の属性判別処理により判別されなかった領域
   に対し、該領域内に所定の閾値より長い黒ランが存在す
   るか否かを判定し、長い黒ランが存在する場合は該領域
   に該当する原画像の領域を求め、該原画像の領域内にお
   いて黒画素がまったく存在しないラインが存在すれば、
   該ラインで領域の再分割を行い、再分割された領域に該
   当する縮小画像の領域を求める接触領域分離処理と、 前記接触領域分離処理で再分割した各々の領域に対し、
   最長黒ランの長さ及び領域の厚さを求め、それらに対す
   る閾値と比較し、領域の属性を判別する第２の属性判別
   処理と、 前記接触領域分離処理において原画像中に閾値より長い
   黒ランがまったく存在しない領域、もしくは、行方向及
   び列方向の両方に閾値より長い黒ランが存在するものの
   再分割されなかった領域について、各領域内の行方向及
   び列方向の最長黒ランの長さを縮小画像において各々求
   め、領域の幅と行方向の最長黒ランの長さ及び領域の高
   さと列方向の最長黒ランの長さとの比率を閾値と比較
   し、領域の属性を判別する第３の領域判別処理と、 前記第３の属性判別処理において判別されなかった領域
   に対し、領域内の 黒白反転密度を縮小画像において求
   め、それに対する閾値と比較し、領域の属性を判別する
   第４の属性判別処理と、 前記第４の属性判別処理において判別されなかった領域
   に対し、再度、前記矩形度とそれに対する閾値とを比較
   し、領域の属性を判別する第５の属性判別処理を実行す
   ることで、前記領域分割により分割された各領域の状態
   に応じて 該縮小画像と該原画像のいずれかを用いて領域
   の属性を、文字（列）、図形、写真、表及びフィールド
   セパレータの各領域に判別することを特徴とする文書画
   像の属性判別方法。