JP2881066B2 - 文章画像の属性判別方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ファクシミリ等の通信
機器や文書画像データベース入力装置、光学的文字読取
り装置（ＯＣＲ）等において、文書画像中の文字領域、
図形領域、写真領域、表領域及びフィールドセパレータ
領域といった構成要素の属性を判別する文書画像の属性
判別方法に関するものである。

【０００２】

【従来の技術】従来、この種の属性判別方法としては、
例えば特開平０３ー１２６１８１号公報に記載されるも
のがあった。

【０００３】この文書画像の属性判別方法では、イメー
ジセンサにより、入力文書画像を走査して多値画像デー
タを読取る。読取られた多値画像データは、最適２値化
処理により、該多値画像データをその特徴及び性質を損
なうことなく２値画像データに変換される。即ち、この
最適２値化処理では、多値画像データを入力し、文字・
フィールドセパレータ領域は領域分離、図表・写真領域
はディザ処理（網点処理）を施し、それら両者の画像を
合成する。

【０００４】この最適２値化処理により２値化された画
像は、領域分割によって複数のブロックに分割された
後、属性判別処理が行われる。属性判別処理では、領域
分割によって得られた各ブロックに対し、その特徴量と
して縦横比、面積、及び黒白反転密度（ブロック中での
黒白反転回数／面積）を算出し、これに基づいて領域を
フィールドセパレータ、写真、図形、及びその他の文字
の各領域に分類する。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
属性判別方法では、次のような課題があった。

【０００６】（ａ）従来の属性判別方法では、最適２値
化処理画像を属性判別の処理対象としているため、前処
理として複雑な最適２値化処理を行うことが必要であ
る。しかも、図と表の判別を行っていないため、文書画
像中の図と表を分離することができないという問題点が
あった。

【０００７】（ｂ）前記（ａ）の問題点を解決するた
め、本願出願人は、先に特願平０３ー０８２７０４号明
細書において属性判別方法を提案した。この提案では、
文書画像を単純２値化して２値化画像（原画像）を作成
し、さらに該２値化画像全体を縮小した後、該縮小画像
を構成要素に領域分割し、該分割された領域に対して、
該縮小画像領域内の黒画素数、領域外接矩形の縦横比、
領域の厚さ、及び領域の矩形度をそれぞれ求めてそれら
に対する閾値と比較する第１の処理と、傾き補正処理に
より、前記縮小画像領域の外接矩形の大きさに対する前
記縮小画像領域内での最長黒ランの長さの比率を求め、
それに対応する閾値と比較する第２の処理と、前記縮小
画像領域内の黒白反転密度を求め、それに対応する閾値
と比較する第３の処理とを実行して前記縮小画像領域を
文字（列）、図形、写真、表、及びフィールドセパレー
タの各領域に判別している。

【０００８】ところが、この属性判別方法では、縮小画
像について領域分割及び属性判別を行っているため、文
書画像の縮小時に、図４に示した例のように黒丸で表わ
された文字と文字が接触してしまった場合、正しく領域
分割が出来ないため、属性判別を誤ってしまうという問
題点があった。

【０００９】本発明は、前記従来技術が持っていた課題
として、文書画像の縮小時に文字と文字が接触した際、
精度よく属性を判別することが困難な点について解決し
た文書画像の属性判別方法を提供するものである。

【００１０】

【課題を解決するための手段】本発明は、前記課題を解
決するために、文書画像を単純２値化して２値化画像
（原画像）を作成し、さらに２値化画像全体を縮小した
後、縮小画像を構成要素に領域分割し、分割された領域
に対して属性の判別を行う文書画像の属性判別方法にお
いて、領域分割により分割された各領域に対し、領域内
の黒画素数、領域外接矩形の縦横比、領域の厚さ、及び
領域の矩形度を前記縮小画像において求め、それらに対
する閾値と比較し、領域の属性を判別する第１の属性判
別処理と、第１の属性判別処理において判別されなかっ
た領域に対し、各領域内の行方向及び列方向の最長黒ラ
ンの長さを縮小画像において各々求め、領域の幅と行方
向の最長黒ランの長さ及び領域の高さと列方向の最長黒
ランの長さとの比率を閾値と比較し、領域の属性を判別
する第２の領域判別処理と、第２の属性判別処理におい
て判別されなかった領域に対し、領域内の黒白反転密度
を前記縮小画像において求め、それに対する閾値と比較
し、領域の属性を判別する第３の属性判別処理と、第３
の属性判別処理において判別されなかった領域に対し、
縮小画像領域に該当する原画像の領域を求め、原画像の
領域内において横方向のラインに黒画素がまったく存在
しないラインが存在すれば、原画像の領域をそのライン
で横分割を行い、横分割で分割した各領域の高さを求
め、最大の高さとそれに対する閾値とを比較し、領域の
属性を判別する第４の属性判別処理と、第４の属性判別
処理において判別されなかった領域に対し、原画像の領
域内において縦方向のラインに黒画素がまったく存在し
ないラインが存在すれば、原画像の領域をそのラインで
縦分割を行い、縦分割で分割した各領域の幅を求め、最
大の幅とそれに対する閾値とを比較し、領域の属性を判
別する第５の属性判別処理を実行することで、領域分割
により分割された各領域の状態に応じて縮小画像と該原
画像のいずれかを用いて領域の属性を、文字（列）、図
形、写真、表及びフィールドセパレータの各領域に判別
する。

【００１１】

【作用】本発明によれば、以上のように文書画像の属性
判別方法を構成したので、第４の処理では、文字と文字
が接触していると思われる領域に該当する原画像の領域
を求め、該原画像の領域内における黒画素が存在しない
ライン及び黒画素が少なくとも１つ存在するラインを求
めることにより原画像の領域を分割する。次に、第４の
処理で求めた原画像の分割領域の中で最大の高さ及び最
大の幅をそれぞれ求めてそれらに対する閾値と比較する
第５の処理とを実行することにより文字（列）領域及び
図形領域の各領域を判別することができる。従って、前
記課題を解決できるのである。

【００１２】

【実施例】図５は、本発明の実施例を示すもので、画像
処理の全体の処理内容を示す図である。まず、前処理と
して、単純２値化処理１では、イメージセンサ等によっ
て入力文書画像が走査され、適当な閾値で単純２値化さ
れて２値化画像が生成される。該２値化画像は原画像メ
モリ２に格納されるとともに画像縮小処理３へ送られ
る。画像縮小処理３では、該原画像を縮小し縮小画像を
生成し、領域分割処理５にするとともに、縮小画像メモ
リ４に格納する。

【００１３】領域分割処理５では、縮小画像を入力し、
それを文字（列）、図、表、写真、及びフィールドセパ
レータ等の構成要素に分割して分割領域６を生成する。
この構成要素に領域分割された分割領域６のデータは、
本実施例の特徴である属性判別処理７に送られる。

【００１４】前処理の領域分割処理５では、本願出願人
による前記特開平０３ー１２６１８１号公報記載した分
割方法などを用いることができる。該分割方法は、横方
向及び縦方向の走査を２回繰り返して行い、黒画素の存
在しない行及び列で画像を分割し、文字領域のものに対
してはそれらを統合することによって構成要素の分割領
域６を得るようにしている。

【００１５】このような分割処理が終わると、属性判別
処理７が行われる。この属性判別処理７では、前処理で
得られた分割領域６に対し、属性の判別を行い、各領域
の属性情報８を出力する。この属性判別処理７の処理内
容を図１に示す。

【００１６】図１〜図３は、本発明の実施例の属性判別
方法を用いた属性判別処理のフローチャートである。な
お、図中のＳ１０〜Ｓ２４，Ｓ３０〜Ｓ３９，Ｓ５０〜
Ｓ５８は、各処理のステップを示す。

【００１７】この属性判別処理では、分割領域６のデー
タを入力すると、領域内の黒画素数を数え、この黒画素
数が閾値Ｔ１以下であるか否かを判定する（Ｓ１０）。
黒画素数が閾値Ｔ１以下であれば、この領域を「ゴミ」
領域と判定する（Ｓ１１）。ここでいう「ゴミ」とは、
実際の文書に付着した汚れや、文書画像入力時にスキャ
ナ面に付着していた汚れによる影等の、文書内容ではな
い黒画素塊である。このような黒画素塊が存在すると、
誤判定を引き起こすおそれがあるので、この「ゴミ」領
域を判別しておく。

【００１８】ステップＳ１０において、黒画素数が閾値
Ｔ１よりも大きければ、ステップＳ１２において、領域
外接矩形の縦横比を求め、この縦横比が閾値Ｔ２以上か
否か、さらに該領域外接矩形の厚さ（即ち、領域の高さ
と幅の内小さい方をいう）が閾値Ｔ３以下であるか否か
を判定する。縦横比が閾値Ｔ２以上で、かつ厚さが閾値
Ｔ３以下であれば、この領域をフィールドセパレータ領
域と判定する（Ｓ１３）。

【００１９】ステップＳ１２において判定結果がノーの
場合、領域の厚さが閾値Ｔ４以下であるか否かを判定
し、閾値Ｔ４以下であれば、文字領域（文字列）と判定
する（Ｓ１５）。ステップＳ１４でノーの場合、領域の
矩形度を次式より求め、その矩形度が閾値Ｔ５以上か否
か、さらに該領域の厚さが閾値Ｔ６以上か否かを判定す
る（Ｓ１６）。

【００２０】矩形度＝領域内の黒画素数／領域の外接矩
形の面積（縦画素数×横画素数） ステップＳ１６において、領域の矩形度が閾値Ｔ５以上
で、かつ厚さが閾値Ｔ６以上であれば、この領域を写真
領域と判定し（Ｓ１７）、ノーの時にはステップＳ１８
へ進む。

【００２１】ステップＳ１８の傾き補正処理では、行方
向最長黒ランの長さと列方向最長黒ランの長さを求め、
得られた行方向最長黒ランの長さと外接矩形の幅との比
が閾値Ｔ７以上か否かを判定する（Ｓ１９）。閾値Ｔ７
以上の時には、列方向最長黒ランの長さと外接矩形の高
さとの比が閾値Ｔ８以上であるか否かを判定し（Ｓ２
０）、閾値Ｔ８以上であれば、この領域を表領域と判定
する（Ｓ２１）。ステップＳ１９及びＳ２０でノーの場
合、ステップＳ２２に進む。

【００２２】ステップＳ２２では、領域内での黒白反転
回数（縦方向及び横方向の黒白反転回数の和）の外接矩
形面積に対する比を求め、その面積比が閾値Ｔ９よりも
小さいか否かを判定し、閾値Ｔ９未満であれば図形領域
と判定する（Ｓ２３）。また、ステップＳ２２がノーの
場合、ステップＳ２４に進む。

【００２３】ステップＳ２４における接触領域再分割及
び属性判別処理の詳細なフローチャートを図２に示す。
図２において、まず縮小画像領域の外接矩形に該当する
原画像の矩形領域を求める（Ｓ３０）。ステップＳ３１
で原画像の矩形領域の縦方向の両端の値をそれぞれｙ
ｓ，ｙｅとし、該原画像の矩形領域について横分割処理
を行う。次にステップＳ３２においてステップＳ３１で
分割された領域の中で最大の高さを求めて閾値Ｔ１１以
上であれば、この領域を文字領域（文字列）と判定する
（Ｓ３３）。閾値Ｔ１１未満の時は、続いて閾値Ｔ１２
と比較し（Ｓ３４）、閾値Ｔ１２以上であれば、この領
域を図形領域と判定する（Ｓ３５）。閾値Ｔ１２未満の
ときは、原画像の矩形領域の横方向の両端の値をそれぞ
れｘｓ，ｘｅとし、ステップＳ３６で、該原画像の矩形
領域について縦分割処理を行う。ステップＳ３７で、分
割された領域の中で最大の幅を求めて閾値Ｔ１２未満で
あれば、この領域を文字領域（文字列）と判定する（Ｓ
３８）。閾値Ｔ１２以上の時は、この領域を図形領域と
判定する（Ｓ３９）。

【００２４】図３は横分割処理を詳細に示すフローチャ
ートである。まずステップＳ５０で分割数を０に初期化
し、原画像を外接矩形内部について横方向に走査する。
走査ラインはｙ値のｙｓからｙｅまで行う（Ｓ５１）。
ステップＳ５３で走査中のラインに黒画素が１つも存在
しなければ、１つ前のラインに黒画素が存在するか否か
を判定し（Ｓ５４）、存在すれば走査中のラインを新し
くｙｅ′と設定して領域分割データ６の分割数及び領域
を新たに１つ増加する（Ｓ５５、Ｓ５６）。次に、ステ
ップＳ５３で走査中のラインに黒画素が１つでも存在す
る場合は、１つ前のラインに黒画素が存在するか否かを
判定し（Ｓ５７）、黒画素が１つも存在しなければ走査
中のラインを新しくｙｓ′と設定して領域分割データ６
の分割数及び領域を新たに１つ増加する。（Ｓ５８）。
以上の走査を外接矩形の最終ラインまで行う。なお、縦
分割の処理も横分割の処理と同様であり、ｙｅ、ｙｓを
それぞれｘｅ、ｘｓに、横方向の走査を縦方向の査走に
変更すれば同様の処理となる。なお、走査ラインはｘ値
のｘｓからｘｅまで行い、縦方向の走査中にラインを新
しく設定する際は、ｘｅ′とｘｓ′を新しく設定する。

【００２５】図１及び図２の属性判別処理における閾値
Ｔ１〜Ｔ９，Ｔ１１，Ｔ１２は、次のようにして設定さ
れる。例えば、４００ｄｐｉの原文書画像の８×８画素
の論理和演算の結果を１画素に縮小した５０ｄｐｉの文
書画像を領域分割して得られた各領域について、属性を
判別する際の閾値Ｔ１〜Ｔ１３としては、「ゴミ」の大
きさを４画素以下（Ｔ１＝４）、フィールドセパレータ
の縦横比を４０以上（Ｔ２＝４０）、厚さ４ｍｍ以下
（Ｔ３＝４）と定義する。さらに、文字列の厚さは、一
般的な文書の本文で用いられている文字の大きさを考え
て５ｍｍ以下（Ｔ４＝５）とするのが適当である。

【００２６】また、その他の閾値を求めるため、実際の
前記縮小文書画像において独立文字、図形、写真、及び
表の領域における矩形度、縦横最長黒ランの外接矩形の
高さ、幅に対する比、及び黒白反転密度の分布を調査し
た結果を図６〜図８に示す。

【００２７】図６は、領域の矩形度の分布を各属性毎に
表した図であるが、写真はほとんど矩形度０．６以上で
あるため、Ｔ５＝０．６とするのが適当である。また、
Ｔ６は１ｃｍ程度とするのが適当である。

【００２８】図７は、各領域において、後述する傾き補
正処理によって得られたｘ方向（横方向）、及びｙ方向
（縦方向）に最も長い黒ランの長さの、その領域の外接
矩形の大きさに対する比の分布を各属性毎に表した図で
ある。Ｘ座標は行方向最長黒ランの長さの外接矩形の幅
に対する比、Ｙ座標は列方向最長黒ランの長さの外接矩
形の高さに対する比である。図中、ｔは表領域、ｃは文
字領域、ｆは図形領域である。この図７より、表領域に
おいては行方向及び列方向共に大きな値になっており、
閾値Ｔ７＝０．９５、Ｔ８＝０．９５とするのが適当で
ある。

【００２９】図８は、独立文字領域と図形領域における
矩形度と黒白反転密度の値の分布図である。Ｘ座標は領
域の矩形度、Ｙ座標は黒白反転密度である。図中、ｆは
図形領域、ｃは文字領域である。この図８より、閾値Ｔ
９＝０．２とするのが適当である。

【００３０】図２における黒ランの長さの閾値及び最長
黒ランの長さの閾値Ｔ１１，Ｔ１２については、文字の
大きさを考慮し、それぞれ１６画素，３２画素程度とす
るのが適当である。

【００３１】図９の（ａ）、（ｂ）は、図１における傾
き補正処理（Ｓ１８）の概念を説明する図である。水平
な状態で読込んだ文書画像では、文書中の水平線を表す
黒画素数は同一行上に並ぶが、傾いた状態で読込んだ文
書画像では、傾き具合に応じて水平線の黒画素数が隣接
する行へ移行してゆく。そこで、傾き補正処理では、こ
のように移行している黒画素数を同一行上に並べるた
め、画像の領域内部分における幾つかの連続する行を、
列毎に論理和を取ることにより得られる１行に置き換え
る縮小操作を行う。この処理では１行に置き換えられる
行数は、補正を行う傾き角と領域の大きさによって異な
るが、例えば傾き許容角を１度程度とすると、次式で算
出されるものとするのが適当である。 １行に置き換える行数＝（領域外接矩形の幅）×ｓｉｎ
１° この処理によって得られる画像において、最も長い行方
向の黒ランの長さを、この領域における行方向の最長黒
ランの長さとする。

【００３２】列方向にも同様の処理を行う。この時の１
列に置き換えられる列数は、前記同様、次式で算出され
るものとするのが適当である。 １列に置き換える行数＝（領域外接矩形の高さ）×ｓｉ
ｎ１° この処理によって得られる画像において、最も長い列方
向の黒ランの長さを、この領域における列方向の最長黒
ランの長さとする。これらの行方向及び列方向の縮小操
作は、同時に行うこともできる。

【００３３】

【発明の効果】以上詳細に説明したように、本発明によ
れば、文書画像の縮小時に生じる文字と文字が接触した
領域について、原画像に戻して領域の再分割、属性判別
を行うため容易にしかも精度よく判別することができ
る。

【図面の簡単な説明】

【図１】本発明の実施例の属性判別方法を示す属性判別
処理の内容図である。

【図２】図１中のステップＳ２４の処理内容を示す図で
ある。

【図３】図２中のステップＳ３１の処理内容を示す図で
ある。

【図４】縮小画像の一例を示す図である。

【図５】本発明の実施例を示す画像処理の全体の処理内
容図である。

【図６】矩形度分布図である。

【図７】外接矩形比分布図である。

【図８】矩形度、黒白反転密度分布図である。

【図９】図１中の傾き補正処理の説明図である。

【符号の説明】

１ 単純２値化処理 ２ 原画像メモリ ３ 画像縮小処理 ４ 縮小画像メモリ ５ 領域分割処理 ６ 領域分割データ ７ 属性判別処理 ８ 属性情報

───────────────────────────────────────────────────── フロントページの続き (72)発明者 塚本 明利 東京都港区虎ノ門１丁目７番12号 沖電 気工業株式会社内 (56)参考文献 特開 平４−316178（ＪＰ，Ａ) 特開 平５−128306（ＪＰ，Ａ) 特開 平２−14392（ＪＰ，Ａ) 特開 平３−222075（ＪＰ，Ａ) 特開 平３−102964（ＪＰ，Ａ) 特開 平３−233786（ＪＰ，Ａ) 特開 平３−126180（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06K 9/20 G06T 7/00 H04N 1/40

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 文書画像を単純２値化して２値化画像
   （原画像）を作成し、さらに該２値化画像全体を縮小し
   た後、該縮小画像を構成要素に領域分割し、該分割され
   た領域に対して属性の判別を行う文書画像の属性判別方
   法において、 前記領域分割により分割された各領域に対し、領域内の
   黒画素数、領域外接矩形の縦横比、領域の厚さ、及び領
   域の矩形度を前記縮小画像において求め、それらに対す
   る閾値と比較し、領域の属性を判別する第１の属性判別
   処理と、 前記第１の属性判別処理において判別されなかった領域
   に対し、各領域内の行方向及び列方向の最長黒ランの長
   さを前記縮小画像において各々求め、領域の幅と行方向
   の最長黒ランの長さ及び領域の高さと列方向の最長黒ラ
   ンの長さとの比率を閾値と比較し、領域の属性を判別す
   る第２の領域判別処理と、 前記第２の属性判別処理において判別されなかった領域
   に対し、領域内の黒白反転密度を前記縮小画像において
   求め、それに対する閾値と比較し、領域の属性を判別す
   る第３の属性判別処理と、 前記第３の属性判別処理において判別されなかった領域
   に対し、前記縮小画像領域に該当する原画像の領域を求
   め、該原画像の領域内において横方向のラインに黒画素
   がまったく存在しないラインが存在すれば、該原画像の
   領域を該ラインで横分割を行い、該横分割で分割した各
   領域の高さを求め、最大の高さとそれに対する閾値とを
   比較し、領域の属性を判別する第４の属性判別処理と、 前記第４の属性判別処理において判別されなかった領域
   に対し、前記原画像の領域内において縦方向のラインに
   黒画素がまったく存在しないラインが存在すれば、該原
   画像の領域を該ラインで縦分割を行い、該縦分割で分割
   した各領域の幅を求め、最大の幅とそれに対する閾値と
   を比較し、領域の属性を判別する第５の属性判別処理を
   実行することで、前記領域分割により分割された各領域
   の状態に応じて該縮小画像と該原画像のいずれかを用い
   て領域の属性を、文字（列）、図形、写真、表及びフィ
   ールドセパレータの各領域に判別することを特徴とする
   文書画像の属性判別方法。