JP2877548B2

JP2877548B2 - 文書画像の属性判別方法

Info

Publication number: JP2877548B2
Application number: JP3082704A
Authority: JP
Inventors: 明利塚本; 節正広垣; 直弘天本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1991-04-15
Filing date: 1991-04-15
Publication date: 1999-03-31
Anticipated expiration: 2014-03-31
Also published as: JPH04316178A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ファクシミリ等の通信
機器や文書画像データベース入力装置、光学的文字読取
り装置（ＯＣＲ）等において、文書画像中の文字領域、
図形領域、写真領域及び表領域等といった構成要素の属
性を判別する文書画像の属性判別方法に関するものであ
る。

【０００２】

【従来の技術】従来、この種の属性判別方法としては、
例えば特開昭６２−７１３７９号公報に記載されるもの
があった。この文書画像の属性判別方法では、文書画像
データを入力し、主走査方向（例えば、横方向）に黒画
素を計数（カウント）して閾値を超えるラインを検出
し、該カウント値が閾値以下の白ラインが所定個数連続
する状態を判定して第１の領域切り出しを行う。この第
１の領域切り出し内で、副走査方向（例えば、縦方向）
に黒画素をカウントしてカウント値が閾値を超える列を
検出し、カウント値が閾値以下の白列が所定個数連続す
る状態を判定して第２の領域切り出しを行う。さらに、
第２の領域切り出し内で、第１の領域切り出しと同様な
処理により、第３の領域切り出しを行い、この第３の領
域切り出し内で、第２の領域切り出しと同様な処理によ
り、第４の領域切り出しを行う。そこで、この第４の領
域切り出しで検出された領域について、その領域のラン
レングス情報、及び黒画素率情報により、文字領域、写
真領域、図表領域等の属性を判別している。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
属性判別方法では、次のような課題があった。（ａ）従来の属性判別方法では、領域切り出し処理にお
いて、対象に応じて様々な閾値を任意に設定する必要が
ある。例えば、個々の論文誌に対して領域切り出しを行
う場合、それらの閾値を各論文誌に応じた適切な値に設
定し直さなければならず、その値の選定に手間がかか
る。そのため、領域切り出し処理後に行う属性の判別処
理の効率が低いという問題があった。（ｂ）前記（ａ）の問題を解決するため、本願出願人
は、先に特願平１−２６４６４９号明細書において属性
判別方法を提案した。この提案では、イメージセンサに
より、入力文書画像を走査して多値画像データを読取
る。読取られた多値画像データは、最適２値化処理によ
り、該多値画像データをその特徴及び性質を損なうこと
なく２値画像データに変換される。即ち、この最適２値
化処理では、多値画像データを入力し、文字・フィール
ドセパレータ領域は領域分離、図表・写真領域はディザ
処理（網点処理）を施し、それら両者の画像を合成す
る。この最適２値化処理により２値化された画像は、領
域分割によって複数のブロックに分割された後、属性判
別処理が行われる。属性判別処理では、領域分割によっ
て得られた各ブロックに対し、その特徴量として縦横
比、面積、及び黒白反転密度（ブロック中での黒白反転
回数／面積）を算出し、これに基づいて領域をフィール
ドセパレータ、写真、図形、及びその他の文字の各領域
に分類する。

【０００４】ところが、この属性判別方法では、最適２
値化処理画像を属性判別の処理対象としているため、前
処理として複雑な最適２値化処理を行うことが必要であ
る。しかも、図と表の判別を行っていないため、文書画
像中の図と表を分離することができなかった。本発明
は、前記従来技術が持っていた課題として、前処理を複
雑化することなく、しかもレイアウトの複雑さにかかわ
らず、文字（列）、図形、写真、表、及びフィールドセ
パレータという５種類の領域に判別することが困難な点
について解決した文書画像の属性判別方法を提供するも
のである。

【０００５】

【課題を解決するための手段】前記課題を解決するため
に、本発明は、文書画像を単純２値化して２値画像（原
画像）を作成し、該２値画像を構成要素に領域分割し、
該分割された領域に対して属性の判別を行う文書画像の
属性判別方法において、下記のような第１、第２、第３
及び第４の属性判別処理を実行することで、前記領域分
割により分割された各領域の属性を、文字（列）、図
形、写真、表、及びフィールドセパレータの各領域に判
別するようにしている。まず、第１の属性判別処理で
は、前記領域分割により分割された各領域に対し、各領
域内の黒画素数、領域外接矩形の縦横比、領域の厚さ、
及び領域の矩形度を前記２値画像において求め、それら
に対する閾値と比較し、該領域の属性をフィールドセパ
レータ、文字列、写真と判別する。第２の属性判別処理
では、前記第１の属性判別処理において属性が判別され
なかった領域に対し、各領域内の行方向及び列方向の最
長黒ランの長さを前記２値画像において各々求め、領域
の幅と行方向の最長黒ランの長さ及び領域の高さと列方
向の最長黒ランの長さとの比率を閾値と比較し、該領域
の属性を表と判別する。第３の属性判別処理では、前記
第２の属性判別処理において属性が判別されなかった領
域に対し、各領域内の黒白反転密度を前記２値画像にお
いて求め、それに対する閾値と比較し、該領域の属性を
図形と判別する。そして、第４の属性判別処理では、前
記第３の属性判別処理において属性が判別されなかった
領域に対し、再度、前記矩形度とそれに対する閾値とを
比較し、該領域の属性を図形あるいは文字と判別する。

【０００６】

【作用】本発明によれば、以上のように文書画像の属性
判別方法を構成したので、単純２値化された２値画像
（原画像）は領域分割された後、その分割された領域が
第１の属性判別処理へ送られる。第１の属性判別処理で
は、領域内の黒画素数、領域外接矩形の縦横比等をそれ
ぞれ求め、さらに対応する閾値と比較してその領域の属
性をフィールドセパレータ、文字列、写真と判別する。
第２の属性判別処理では、傾き補正処理を行い、領域外
接矩形の大きさに対する領域内での最長黒ランの長さの
比率を求め、それに対応する閾値と比較してその領域の
属性を表と判別する。第３の属性判別処理では、領域内
の黒白反転密度を求めてそれに対応する閾値と比較する
ことにより、その領域の属性を図形と判別する。そし
て、第４の属性判別処理では、再度、矩形度とそれに対
する閾値とを比較し、領域の属性を図形あるいは文字と
判別する。これにより、前処理の簡単化と、レイアウト
の複雑さにかかわらず、構成要素の的確な分類が行え
る。したがって、前記課題を解決できるのである。

【０００７】

【実施例】図２は、本発明の実施例を示すもので、画像
処理の全体の処理内容を示す図である。まず、前処理と
して、単純２値化処理１では、イメージセンサ等によっ
て入力文書画像が走査され、それが適当な閾値で単純２
値化されて２値画像（原画像）が領域分割処理２へ送ら
れる。領域分割処理２では、２値画像を入力し、それを
文字（列）、図、表、写真、及びフィールドセパレータ
等の構成要素に分割して分割領域３を生成する。この構
成要素に領域分割された分割領域３のデータは、本実施
例の特徴である属性判別処理４へ送られる。前処理の領
域分割処理２では、本願出願人が先に提案した前記分割
方法（文献１）や、或いは電子情報通信学会技術研究報
告ＰＲＬ８５−１７（１９８５−６）辻・浅井著「スプ
リット検出法に基づく頁画像の構造解析」Ｐ．６３−７
０（文献２）等に記載された種々の分割方法を用いるこ
とができる。

【０００８】例えば、文献１の分割方法では、文書画像
データを入力して横方向及び縦方向の操作を２回繰り返
して行い、黒画素の存在しない行及び列で画像を分割
し、文字領域のものに対してはそれらを統合することに
よって構成要素の分割領域３を得るようにしている。ま
た、前記文献２に記載された方法では、文書画像の垂直
／水平投影分布を用い、該文書画像を縦方向及び横方向
へブロック分割することを繰り返すことにより、領域分
割を行っている。このような分割処理が終わると、属性
判別処理４が行われる。この属性判別処理４では、前処
理で得られた分割領域３に対し、属性の判別を行い、各
領域の属性情報５を出力する。この属性判別処理４の処
理内容を図１に示す。

【０００９】図１は、本発明の実施例の属性判別方法を
用いた属性判別処理のフローチャートである。なお、図
中のＳ１０〜Ｓ２５は、各処理ステップを示す。この属
性判別処理では、分割領域３のデ―タを入力すると、領
域内の黒画素数を数え、この黒画素数が閾値Ｔ１以下で
あるか否かを判定する（Ｓ１０）。黒画素数が閾値Ｔ１
以下であれば、この領域を「ごみ」領域と判定する（Ｓ
１１）。ここでいう「ごみ」とは、実際の文書に付着し
た汚れや、文書画像入力時にスキャナ面に付着していた
汚れによる影等の、文書内容ではない黒画素塊である。
このような黒画素塊が存在すると、誤判定を引き起こす
おそれがあるので、この「ごみ」領域を判別しておく。
ステップＳ１０において、黒画素数が閾値Ｔ１よりも大
きければ、ステップＳ１２において、領域外接矩形の縦
横比を求め、この縦横比が閾値Ｔ２よりも大きいか否
か、さらに該領域外接矩形の厚さ（即ち、領域の高さと
幅の内の小さい方をいう）が閾値Ｔ３以下であるか否か
を判定する。縦横比が閾値Ｔ２以上で、かつ厚さが閾値
Ｔ３以下であれば、この領域をフィールドセパレータ領
域と判定する（Ｓ１３）。

【００１０】ステップＳ１２において判定結果がノーの
場合、領域の厚さが閾値Ｔ４以下であるか否かを判定
し、閾値Ｔ４以下であれば、文字領域（文字列）と判定
する（Ｓ１５）。ステップＳ１４でノーの場合、領域の
矩形度を次式より求め、その矩形度が閾値Ｔ５以上か否
か、さらに該領域の厚さが閾値Ｔ６以上か否かを判定す
る（Ｓ１６）。矩形度＝領域内の黒画素数／領域の外接矩形の面積但し、領域の外接矩形の面積＝縦画素数×横画素数

【００１１】ステップＳ１６において、領域の矩形度が
閾値Ｔ５以上で、かつ厚さが閾値Ｔ６以上であれば、こ
の領域を写真領域と判定し（Ｓ１７）、ノーの時にはス
テップＳ１８へ進む。このような第１の属性判別処理が
終わると、第２の属性判別処理であるステップＳ１８の
傾き補正処理が行われる。この傾き補正処理では、行方
向最長黒ランの長さと列方向最長黒ランの長さを求め、
得られた行方向最長黒ランの長さと外接矩形の幅との比
が閾値Ｔ７以上か否かを判定する（Ｓ１９）。閾値Ｔ７
以上の時には、列方向最長黒ランの長さと外接矩形の高
さとの比が閾値Ｔ８以上であるか否かを判定し（Ｓ２
０）、閾値Ｔ８以上であれば、この領域を表領域と判定
する（Ｓ２１）。ステップＳ１９及びＳ２０でノーの場
合、第３の属性判別処理であるステップＳ２２へ進む。
ステップＳ２２では、領域内での黒白反転回数（縦方向
及び横方向の黒白反転回数の和）の外接矩形面積に対す
る比を求め、その面積比が閾値Ｔ９よりも小さいか否か
を判定し、閾値Ｔ９未満であれば図形領域と判定する
（Ｓ２３）。また、ステップＳ２２がノーの場合、第４
の属性判別処理であるステップＳ２４において、領域の
矩形度が閾値Ｔ１０未満か否かを判定し、閾値Ｔ１０未
満であれば、図形領域と判定し（Ｓ２３）、閾値Ｔ１０
以上であれば、ステップＳ２５において、その他の領域
の文字領域（独立文字）と判定する。

【００１２】図１の属性判別処理における閾値Ｔ１〜Ｔ
１０は、次のようにして設定される。例えば、４００ｄ
ｐｉの原文書画像の８×８画素の論理和（ＯＲ）演算の
結果を１画素に縮小した５０ｄｐｉの文書画像を領域分
割して得られた各領域について、属性を判別する際の閾
値Ｔ１〜Ｔ１０としては、「ごみ」の大きさを４画素以
下（Ｔ１＝４）、フィールドセパレータの縦横比を４０
以上（Ｔ２＝４０）、厚さ４ｍｍ以下（Ｔ３＝４）と定
義する。さらに、文字列の厚さは、一般的な文書の本文
で用いられている文字の大きさを考えて５ｍｍ以下（Ｔ
４＝５）とするのが適当である。また、その他の閾値の
値を求めるため、実際の前記縮小文書画像において独立
文字、図形、写真、及び表の領域における矩形度、縦横
最長黒ランの外接矩形の高さ、幅に対する比、及び黒白
反転密度の分布を調査した結果を図３〜図５に示す。

【００１３】図３は、領域の矩形度の分布を各属性毎に
表した図であるが、写真はほとんど矩形度０．６以上で
あるため、Ｔ５＝０．６とするのが適当である。図４
は、各領域において、後述する傾き補正処理によって得
られたｘ方向（横方向）、及びｙ方向（縦方向）に最も
長い黒ランの長さの、その領域の外接矩形の大きさに対
する比の分布を各属性毎に表した図である。Ｘ座標は行
方向最長黒ランの長さの外接矩形の幅に対する比、Ｙ座
標は列方向最長黒ランの長さの外接矩形の高さに対する
比である。図中、ｔは表領域、ｃは文字領域、ｆは図形
領域である。この図４より、表領域においては行方向及
び列方向共に大きな値になっており、閾値Ｔ７＝０．９
５、Ｔ８＝０．９５とするのが適当である。図５は、独
立文字領域と図形領域における矩形度と黒白反転密度の
値の分布図である。Ｘ座標は領域の矩形度、Ｙ座標は黒
白反転密度である。図中、ｆは図形領域、ｃは文字領域
である。この図５より、閾値Ｔ９＝０．２、Ｔ１０＝
０．３とするのが適当である。

【００１４】図６の（ａ），（ｂ）は、図１における傾
き補正処理（Ｓ１８）の概念を説明する図である。水平
な状態で読込んだ文書画像では、文書中の水平線を表す
黒画素数は同一行上に並ぶが、傾いた状態で読込んだ文
書画像では、傾き具合に応じて水平線の黒画素数が隣接
する行へ移行してゆく。そこで、傾き補正処理では、こ
のように移行している黒画素数を同一行上に並べるた
め、画像の領域内部分における幾つかの連続する行を、
列毎にＯＲを取ることにより得られる１行に置き換える
縮小操作を行う。この処理で１行に置き換えられる行数
は、補正を行う傾き角と領域の大きさによって異なる
が、例えば傾き許容角を１度程度とすると、次式で算出
されるものとするのが適当である。

【００１５】１行に置き換える行数＝（領域外接矩形の幅）×ｓｉｎ１° この処理によって得られる画像において、最も長い行方
向及び列方向の黒ランの長さを、この領域における行方
向の最長黒ランの長さとする。列方向にも同様の処理を
行う。この時の１列に置き換えられる列数は、前記同
様、次式で算出されるとするのが適当である。１列に置き換える列数＝（領域外接矩形の高さ）×ｓｉｎ１° この処理によって得られる画像において、最も長い列方
向の黒ランの長さを、この領域における列方向の最長黒
ランの長さとする。これらの行方向及び列方向の縮小操
作は、同時に行うこともできる。

【００１６】このように、本実施例の属性判別方法で
は、単純２値化した文書画像の構成要素を、傾き補正処
理を併用して黒画素数等の特徴量から属性判別を行って
いるので、該属性判別の前処理が簡単になるばかりか、
レイアウトの複雑さにかかわらず、該構成要素を５種類
（文字（列）、図形、写真、表、フィールドセパレー
タ）に精度よく分類することができる。なお、本発明は
上記実施例に限定されず、例えば図１の属性判別処理に
おいて、ステップＳ１０，Ｓ１１を省略したり、或いは
傾き補正処理Ｓ１８を他の位置で実行する等、種々の変
形が可能である。

【００１７】

【発明の効果】以上詳細に説明したように、本発明によ
れば、単純２値化した２値画像（原画像）の構成要素を
用いて属性判別を行っているので、属性判別処理の前処
理が簡単になる。しかも、２値画像中の各構成要素を、
傾き補正処理を併用し、領域内黒画素数、領域内黒白反
転密度、領域外接矩形の縦横比、厚さ、領域の矩形度、
及び領域外接矩形の大きさに対する領域内での最長黒ラ
ンの長さの比率を用いて文字（列）、図形、写真、表、
及びフィールドセパレータの各領域に判別している。そ
のため、レイアウトの複雑さにかかわらず、２値画像の
構成要素を５種類（文字（列）、図形、写真、表、フィ
ールドセパレータ）に簡単かつ精度よく分類することが
できる。

【図面の簡単な説明】

【図１】本発明の実施例の属性判別方法を示す属性判別
処理の内容図である。

【図２】本発明の実施例を示す画像処理の全体の処理内
容図である。

【図３】矩形度分布図である。

【図４】外接矩形比分布図である。

【図５】矩形度、黒白反転密度分布図である。

【図６】図１中の傾き補正処理の説明図である。

【符号の説明】

１単純２値化処理２領域分割処理３分割領域４属性判別処理５各領域の属性情報

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平２−14392（ＪＰ，Ａ) 特開平３−222075（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06K 9/20 G06T 7/00 H04N 1/04

Claims

(57)【特許請求の範囲】

【請求項１】文書画像を単純２値化して２値画像を作
成し、該２値画像を構成要素に領域分割し、該分割され
た領域に対して属性の判別を行う文書画像の属性判別方
法において、前記領域分割により分割された各領域に対し、各領域内
の黒画素数、領域外接矩形の縦横比、領域の厚さ、及び
領域の矩形度を前記２値画像において求め、それらに対
する閾値と比較し、該領域の属性をフィールドセパレー
タ、文字列、写真と判別する第１の属性判別処理と、前記第１の属性判別処理において属性が判別されなかっ
た領域に対し、各領域内の行方向及び列方向の最長黒ラ
ンの長さを前記２値画像において各々求め、領域の幅と
行方向の最長黒ランの長さ及び領域の高さと列方向の最
長黒ランの長さとの比率を閾値と比較し、該領域の属性
を表と判別する第２の属性判別処理と、前記第２の属性
判別処理において属性が判別されなかった領域に対し、
各領域内の黒白反転密度を前記２値画像において求め、
それに対する閾値と比較し、該領域の属性を図形と判別
する第３の属性判別処理と、前記第３の属性判別処理において属性が判別されなかっ
た領域に対し、再度、前記矩形度とそれに対する閾値と
を比較し、該領域の属性を図形あるいは文字と判別する
第４の属性判別処理とを実行することで、前記領域分割
により分割された各領域の属性を、文字（列）、図形、
写真、表、及びフィールドセパレータの各領域に判別す
ることを特徴とする文書画像の属性判別方法。