JP2669661B2

JP2669661B2 - 文書画像処理方法

Info

Publication number: JP2669661B2
Application number: JP63195884A
Authority: JP
Inventors: 末治宮原; 照雄秋山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1988-08-05
Filing date: 1988-08-05
Publication date: 1997-10-29
Anticipated expiration: 2012-10-29
Also published as: JPH0244486A

Description

【発明の詳細な説明】（１）発明の属する技術分野本発明は文書読取装置や文書ファイリング装置などに
おいて，文書画像中の文字図形列検出，文字列の並び方
向（縦方向か横方向かなど）の検出，同一文字図形列区
間の検出，文字図形列の傾き検出などの処理を高速にし
てかつ，精度よく実行する文書画像処理方法に関するも
のである。

（２）従来の技術文書画像から文字列を検出する方法としては，従来技
術として“書式情報によらない紙面構成要素抽出法”信
学論（Ｄ）Vol.J66−D.NO.1（1983）〔文献１〕があ
る。この方法は文書画像中の黒画素の射影を求め，その
射影関数の周期性から文字列や文書の傾きを検出するも
のである。この方法は，文書中に文字列が多数存在する
場合には良好な結果が得られるが，文字列が少ない場合
や，文書中の文字列の位置が段組みによって変動してい
る場合などでは十分な精度を得ることが困難であった。

文書画像の傾きを検出する方法としては，従来技術と
して“文書画像の傾きを補正のための一方式",信学論
（Ｄ）Vol.J69−D.NO.11（1986）〔文献２〕や，“英文
文書の傾き検出及び単語切り出しに関する検討",昭和62
年度信学総全大,NO.1510（1987）〔文献３〕などがあ
る。

文献２の方法は文書画像上の黒画素の輪郭抽出からそ
の外接矩形を求める処理を行った後に，文書画像を一定
の角度で回転させながら，外接矩形の特徴量（たとえば
底辺の長さ）を一定方向に射影し，射影が急峻なピーク
を示す角度を文書の傾きとして検出する手法であり，入
力した文書画像そのものを用いるのでなく，外接矩形の
特徴量を用いることによって処理の高速化を図った方法
である。この方法は角度分解能を小さくとれば文書の傾
きを精度よく検出できるが，角度分解能を小さくとると
処理量が増大し，処理速度が低下すると云う欠点があ
る。

一方，文献３の方法は文書画像上の黒画素の塊から外
接矩形を求める処理を行った後に，大きさの等しい矩形
を検出し，注目する矩形とその上下左右に存在する隣接
矩形とを結ぶことによって局所的な文字同士の方向を求
める処理を，文書画像の本文領域の全面にわたって行な
い，検出された個々の傾きの平均値を文書の傾きとみな
して検出するもので，矩形が多数存在する場合には有効
であるが，矩形が少ない場合は傾き検出精度が低下する
と云う欠点がある。

以上示したように，これらの方法は，処理の対象とし
ている文書に外接矩形や射影として抽出される文字図形
が多数存在することを前提としており，図や画像の領域
が大きく文字列の少ない文書や，マルチサイズの文字か
ら成る文書に対しては十分な傾き検出精度が得にくいと
云う欠点があった。

（３）発明の目的本発明の目的は，文書画像処理において，文書中に文
字が多数存在することを前提に考案された従来方法の問
題点を解決し，文字図形が多数存在する文書だけでな
く，文字図形が少ない文書や，マルチサイズの文字図形
が含まれる文書に対しても，文字図形列の区間やその方
向，あるいは文書全体の傾きを精度よく検出する方法を
提供することにある。

（４）発明の構成（４−１）発明の特徴と従来技術との差本発明は，文書上のある限定された区間の文字列や図
形列に注目すれば，文書が傾いていても，ほぼ大きさの
等しい文字や図形が特定の方向（例えば縦方向，あるい
は横方向）に並んでいて，その相互の関係が保持されて
いることに注目し，文書画像上の黒画素の塊，あるいは
周辺分布から文字図形列，あるいは文字図形列領域を予
測・抽出し，文字図形列内あるいは文字図形列領域内の
文字図形の位置の相互関係から文書画像の文字図形列区
間と傾きとを検出することを最も主要な特徴とする。そ
のため従来技術として取り上げた文書中の黒画素の射影
から文字列や文書の傾きを求める文献１の方法や，外接
矩形の統計的性質のみを用いて文書の傾きを求める文献
２の方法や，注目する文字の上下方向の隣接矩形の位置
から求まる局所的な傾きを統計的に処理して文書全体の
傾きを求める文献３の方法とは，文書中の図形を選択的
に用いて処理する点で異なる。

（４−２）実施例〔実施例１〕第１図は本発明の処理方法を説明する構成図であっ
て,1は文書画像の入力端子,2は連続する黒画素および強
制分割した黒画素あるいはそれらを射影した特徴を検出
し，文字図形領域を抽出する文字図形領域検出機構,3は
文字図形領域選択機構,4は文字図形列および文字図形列
領域を検出する文字図形列検出機構,5は文字図形列処理
機構,6は出力端子,7は制御部である。

入力端子１から白，黒などのように「０」と「１」と
で表現された２値から成る文書画像データを入力し，文
字図形領域検出機構２では，入力された文書画像データ
において，（イ）黒画素の連続性の検出処理の結果にも
とづいて非連続部分を囲い〔第２図（ａ）の場合〕，あ
るいは（ロ）黒画素の連続性の検出において黒画素に非
所望に途切れがない場合に強制分割処理を行って囲いを
つくり（一定間隔で区切り〔第２図（ｂ）（ｃ）の場
合〕や周辺分布の変化を勘案して区切り〔第２図（ｄ）
の場合〕による分割）から黒画素の塊を囲む文字図形領
域▲Ｍ⁰ _i▼を検出し，その存在位置情報，すなわち上
辺，底辺，左辺，右辺の座標y_i1,y_i2,x_i1,x_i2を求め，
次の処理機構に送出する。なお，外接矩形▲Ｍ⁰ _i▼の代
りに短区間の周辺分布▲Ｂ⁰ _i▼（領域あるいは位置情報
としての横方向のアドレスy_i1,y_i2,あるいは縦方向のア
ドレスx_i1,x_i2を求めることを意味する）を求めても後
続処理を近似的に実現できる。

次に文字図形領域選択機構３では，性質の近い文字図
形領域群▲Ｍ¹ _i▼を抽出する。

この文字図形領域群▲Ｍ¹ _i▼は，例えば，文字図形領
域▲Ｍ⁰ _i▼の位置情報から各文字図形領域の縦幅MT_iと
横幅MW_iとのヒストグラムＨ（ｙ）,H（ｘ）を算出し，
そこから求めた文字図形領域の縦幅（あるいは横幅）の
代表値MT（MW）にほぼ等しい縦幅MT_i（横幅MW_i）を持つ
文字図形領域を選択してそれらの文字図形領域をまとめ
て群としてとらえることによって得られる（式（１），
（１）′）。線分のような図形，あるいは個別の文字が
連結しているような場合には，一定間隔で強制分割した
文字図形領域に対して求めた特徴を使用する。

縦幅用： MT＊（１−α）−β＜MT_i＜MT＊（１＋α）＋β ……（１）横幅用： MW＊（１−α）−β＜MW_i＜MW＊（１＋α）＋β ……（１）′ α，βはデータの画像分解能で決定されるが,8画素/m
mの場合αは0.05〜0.10,βは１〜２を選べばよい。な
お，文字図形領域の選択においてヒストグラムＨ
（ｙ）,H（ｘ）の代わりに，ヒストグラムに矩形の幅を
乗じた矩形占有関数Ｇ（ｙ）,G（ｘ）を用いれば，文字
図形領域の大きさごとの文書画像中の占有面積にほぼ比
例した値が求まり，文字列の傾きなどを検出するのに適
した文字図形領域を求めることができる。第３図（ａ）
は約５度傾いた文書画像データを示し，第３図（ｂ）は
第３図（ａ）に示す文書画像データにおいて，例えば図
示「株」の如く各塊を矩形で囲った文字図形領域▲Ｍ⁰ _i▼などの
縦幅についてとったヒストグラムＨ（ｙ）とその矩形占
有関数Ｇ（ｙ）とを示したものである。第３図（ｂ）か
ら縦幅MT₁,MT₂,MT₃をもつ文字図形領域が多く存在する
ことが判る。

次に文字図形列検出機構４では，選択された文字図形
領域▲Ｍ¹ _i▼，あるいは元の文字図形領域▲Ｍ⁰ _i▼の位
置関係から文字図形列検出，あるいは文字図形列領域検
出の処理を行なう，なお，文字図形列検出処理は横方向
の処理と縦方向の処理とが同一の処理なので，横方向
（縦幅）の処理について述べるが，縦方向の情報を使用
するときには記号の添字を区別することによって表記す
る。

第４図は文字図形列検出の様子を示すもので，注目す
る文字図形領域▲Ｍ¹ _i▼（あるいは▲Ｍ⁰ _i▼）が第Ｌ行
目の文字図形列に存在する場合を示しており，文字図形
列の抽出過程を示している。この図が示すように，注目
する文字図形領域▲Ｍ¹ _i▼（あるいは▲Ｍ⁰ _i▼）を文書
画像上の横方向に射影し，射影が重なる文字図形領域の
中で注目する文字図形領域に最も近い矩形を検出し，右
側に存在すればその文字図形領域を▲Ｍ¹ _i+1▼（あるい
は▲Ｍ⁰ _i+1▼）とし，次に注目する文字図形領域を▲Ｍ
¹ _i+2▼（あるいは▲Ｍ⁰ _i+2▼）に移し，前記と同様にし
て右方向への射影をとり，最も近い文字図形領域を検出
する処理を繰り返す（以後，この処理を伝播処理と呼
ぶ）。文字図形領域▲Ｍ¹ _i▼（あるいは▲Ｍ⁰ _i▼）の左
側についても右側と同様な伝播処理を繰り返す。このよ
うにして，第Ｌ行分の文字図形列を検出することができ
る。

次に，文字図形列処理機構５では，（イ）傾き検出の処理は，検出された文字図形列に対し
て等しい特徴（縦幅，縦幅と横幅，黒画素の配置や変化
点，あるいは矩形パターンの識別結果など）を持つ文字
図形領域の傾き検出用特徴点（文字図形領域の中心点
のアドレス，底辺の中心点のアドレス，上辺の中心
点のアドレスなど）同士を直線で結び，直線の傾き▲θ
ⁿ _i▼を文書の傾きと見なして検出する。傾きの求め方は
同一文字図形列において限定された区間内で最も距離が
遠く，かつ等しい特徴を持つ文字図形領域同士において
傾き検出用の特徴点を直線で結んだ傾き▲θⁿ _y▼や，第
５図に示すように同一文字列でありかつ等しい特徴を持
つ文字図形領域同士において，傾き検出用の特等点同士
の傾き▲θⁿ _i▼を求め，その値の平均値θ^ｎの分散の小
さいもの，あるいは傾き値のヒストグラムのピークの急
峻なものを求め，その傾きを文書画像の傾きθ_ｙとみな
して検出する，などが考えられる。また，文字図形列の
つながりを直線で表現したときに生じる傾き検出用特徴
点のばらつき（２乗誤差など）が最小となる基準線を最
小２乗近似によって求め，その基準線の方向を文字図形
列の並び方向すなわち文字図形列の傾きθ_ｙ（θ_ｘ）と
することもできる。

（ロ）文字図形例の並びを検出する処理は，複数方向
（例えば縦と横）で求めた文字図形列の傾きθ_ｙの分散
や，ヒストグラムのピークの急峻さを比較し，分散が小
さい方あるいはピークの鋭い方を文字図形列の並び方向
とする。あるいは，注目する文字図形領域が形成する文
字列において，一定区間内における文字図形領域の出現
数を求め，出現数の大きい方を文字図形列の並び方向と
することもできる。

（ハ）（ロ）項の処理で選択された文字列の傾き，ある
いは複数の文字列の傾きの平均などを文書の傾きθとみ
なして出力端子６に出力する。

第６図は，このようにして第３図（ａ）図示の文書画
像についての傾きを検出し，その傾き値を用いて，傾き
を補正した結果を示す。

制御部７は各処理機構において，どの処理を選択した
のかを，伝達する役割をする。

本発明は，上記のような処理を用いることによって，
文字列の多い文書画像だけでなく，文字列の少ない文書
画像に対しても精度よく，かつ高速にその傾きを求める
ことができるようになるので，傾いた文書画像の高速，
高精度の書式認識や，文書ファイリングにおける品質の
よい画像の蓄積に効果を発揮する。

〔実施例２〕第７図は実施例１において文字図形領域選択機構３を
除くとともに，文字図形列検出機構４の処理を第８図に
示すように文字図形列領域に限定したり，注目する文字
図形領域の予測を下記の方法で行うようにした実施例を
示している。すなわち文字図形列検出機構４は文字図形
領域▲Ｍ⁰ _i▼（あるいは▲Ｍ¹ _i▼）の存在個数を第８図
図示の如く文書上の横方向に計数して射影関数Ｆ（ｙ）
を求め,F（ｙ）の最大値（極大値）を文字図形列の中心
位置P_jとし,P_j±γ＊MT_iの区間を図示の如く「文字図形
列領域」とするもので，傾き検出の処理は注目する文字
図形領域▲Ｍ¹ _i▼（▲Ｍ⁰ _i▼）から一定距離だけ隔だて
た一定区間（δ＊MT_i）内に存在する複数の対応文字図
形領域群とにおいて傾き検出用の特徴点同士を互いに直
線で結び，複数の傾き▲θⁿ _i▼を求め，傾き▲θⁿ _i▼の
ヒストグラムを求め最も大きな値を検出して文書画像の
傾き候補θ^ｎとする。文書画像の傾きとしては特徴点の
種別ごと（文字図形領域の中心点のアドレス，底辺
の中心点のアドレス，は上辺の中心点のアドレスな
ど）の傾きの中からバラツキが最も小さいものを選んで
文書画像の傾きθとする。

この方法においては処理の一部を省略，あるいは簡略
化しているので処理の高速化，処理規模の小型化が可能
になるなどの効果がある。また，黒画素の塊の射影に重
なりがないような文字図形列においても，傾きを検出す
ることができる。

〔実施例３〕第９図は実施例１の文字図形列処理機構５の処理にお
いて文字図形列検出を同一文字図形列区間検出に発展さ
せた手法を説明する図である。なお図中に示した＊印は
「０」あるいは「１」のいずれかである。すなわち，注
目する文字図形領域▲Ｍ¹ _i▼（あるいは▲Ｍ⁰ _i▼）から
文字図形列を求める処理までは同じ処理を行ない，傾き
▲θⁿ _i▼を求める際に方向別の傾きを求めて処理するも
のである。たとえば，傾き▲θⁿ _i▼を求める際に右側
（前）方向と左側（後）方向との傾きを角度で第10図に
示すように別々に求めて表にし，（ｉ）注目文字図形領
域▲Ｍ¹ _i▼（あるいは▲Ｍ⁰ _i▼）から右側方向の傾き▲
Ｒθⁿ _i▼と左側方向の傾き▲Ｌθⁿ _i▼とがθTH₁以上差
があり，（II）注目文字図形領域の左側方向の傾き予測
▲Ｌθⁿ _i▼とその注目文字図形領域の右側に隣接する文
字図形領域▲Ｍ¹ _i+1▼（あるいは▲Ｍ⁰ _i+1▼）の右側方
向の傾き予測が▲Ｒθⁿ _i+1▼とかθTH₂以下であれば▲
Ｍ¹ _i▼（あるいは▲Ｍ⁰ _i▼）と▲Ｍ¹ _i+1▼（あるいは▲
Ｍ⁰ _i+1▼）の間で文字列が区切れているものと見なすこ
とができる。

この方法は文字図形列区間を検出して文書画像の傾き
を求めることから段組みや文字・図表・写真の混在によ
って文字図形列がずれた場合や大小文字の混在によって
文字図形列の中心や文字図形列幅が変動した場合でも精
度よく文書の傾きを検出することができる。さらに，連
続した線分に本方法を適用すれば直線と曲線との区別が
できる。このように本方法を従来の文書構造認識に加え
ることにより，より精度の高い文書構造認識が可能とな
る。

〔実施例４〕第11図及び第12図は，周辺分布を文字図形列の検出と
傾き検出とに適用した方法を説明する図である。まず，
文書を高さｈのたんざく状の領域に分割し（第11図
（ａ）），各々の周辺分布を黒画素を上下方向の投影に
よって求める（第11図（ｂ）図示の半円状の塊は投影を
表している）。入力画像が多値の場合には，そのまま画
素濃度を累積すればよい。次に，周辺分布の値が一定の
値ε以上，また幅がζ以上となる区間（第11図（ｂ）図
示のX1〜X2）を検出し，それらの投影成分とする。ここ
で，ε及びζの値は除去すべき雑音の大きさに基づいて
設定すればよい。この投影成分は文字列の位置をそのま
ま反映していると考えることができる。また，文書中に
図表などが含まれている場合には，図表の大きさが文書
中の文字の大きさよりも大きいことを利用して，投影成
分の幅が一定値η以下のものを文字列による投影成分と
して選択してくればよい。ηの値は文字列幅に基づいて
設定する必要がある。この値はパラメータとして予め設
定してもよいし，あるいは文書中の文字図形の個数が多
い場合には投影成分の幅のヒストグラムを求め，その代
表値を基に設定してもよい。

第12図は第11図に示した方法で求めた各投影成分につ
いてのクラスタリングを行い，文字図形列ごとに異なっ
たラベルを割り付けるための過程を示したものである。
まず，第12図において上下方向に見たときお互いに重な
り合う各投影成分に同一のラベルを付与する（第12図
（ａ），ステップ１）。次に，同じ番号のラベルを付与
したものの中で，上下方向に見たときに重なりの程度が
少ないものには異なったラベルを付与する（第12図
（ｂ），ステップ２）。ここで同一のラベルを付与され
た投影成分をそれぞれ文字図形列の候補とし，その方向
を求める。文字図形列の方向は，投影成分の中点付近を
通過する直線を最小２乗近似によって求めてもよいし，
あるいは隣接する投影成分間の方向を全ての投影成分に
ついて求め，全体の平均を求めるなどの方法を用いるこ
とによって求めてもよい。また，実施例１の文字図形列
処理機構で述べた方法をとってもよい。同一のラベルが
付与された文字図形列全てに対してこの処理を行い，文
字図形列全体の方向の平均をとって文書の傾きを求める
ことができる。次に，ステップ２で求めた傾きをもと
に，連続する投影成分の位置を予測し，その予測位置か
ら大きくはずれるものに新たなラベルを付与する（第
12図（ｃ），ステップ３）。ステップ２で述べたと同様
の処理によって文字図形列の方向を求め，ステップ２で
得られたよりもさらに正確な文書の傾きを求める。この
処理によって，段ごとに位置の異なる文字列が存在して
も文書の傾きの検出は可能になる。ここで，同じラベル
を付与された投影成分はそのまま個々の文字列を反映し
たものになっている。従って，文書の傾きの検出と同時
に，文書中の文字列の抽出もできたことになる。

以上述べたように，入力した文書の領域をたんざく状
に分割し，その各領域の中で求めた周辺分布を用いるこ
とによって，図表が含まれたものや，段ごとに文字列の
位置が異なる文書に対しても傾きの検出や，文字列の抽
出が可能になる。なお，ステップ１からステップ３に至
る処理は必ずしも全ても行う必要はなく，文書によって
その一部分を省略することが可能である。また，ここで
は文字列の方向が縦の場合を例にとって説明したが，文
字列の方向が横の場合でも全く同様の処理が可能である
ことは言うまでもない。

第13図は第１図図示構成図における要部についてのフ
ローチャートを示している。

処理において外接矩形が検出され，処理において
ヒストグラムが算出され，処理において極大値が算出
され，処理において第３図（ｂ）図示の如く極大値MT
₁,MT₂……が検出され，処理において傾きが検出さ
れ，処理において傾きの判定が行われ，処理におい
て文書画像についての傾きが検出される。

第14図は第11図および第12図に示した実施例に対応す
る要部フローチャートを示している。

処理，までにおいて第11図（ａ）図示の如くたん
ざく状の領域に分割する。処理，までにおいて第11
図（ｂ）図示の如く投影を得る。処理において第12図
（ａ）図示の処理を行い，処理において第12図（ｂ）
の如くラベル付けを行う。処理において平均によって
文書の仮の傾きを得る。処理において第12図（ｃ）の
如くラベル付けを行う。処理において文書の傾きを得
る。処理において結果が出力される。

（５）発明の効果以上説明したように，本発明によれば文書画像の文字
図形列，文字図形列の並び方向（縦書方向や横方向），
同一文字図形列区間，および文字図形列の傾きを高速
に，しかも精度よく検出できるから，文書画像の傾き補
正や，文書認識における文字図形列書式の認識，文字認
識における文字図形列区間を用いた文字種識別などに効
果がある。

【図面の簡単な説明】

第１図は本発明の処理方法を説明する構成図，第２図は
文字図形領域の抽出手法の異なりを示す文字図形領域概
念図，第３図（ａ）（ｂ）は傾いた文書画像（ａ）とそ
のヒストグラム及び矩形占有関数を示す図（ｂ），第４
図は文字図形列検出の概念図，第５図は傾き検出の概念
図，第６図は第３図（ａ）に示した文書画像の傾き補正
結果を示す図，第７図は本発明を簡易化した構成図，第
８図は文字図形列領域検出の概念図，第９図は同一文字
図形列区間検出の概念図，第10図は方向別の傾き検出結
果図，第11図は周辺分布を用いて投影成分を求める方法
を示す図，第12図は投影成分のラベリングによる文字図
形列の検出とその傾き検出の原理を示す図，第13図は第
１図図示構成図における要部についてのフローチャー
ト，第14図は第11図および第12図に示した実施例に対応
する要部フローチャートを示す。図中において，１は入力端子，２は文字図形領域検出機構，３は文字図形領域選択機構，４は文字図形列検出機構，５は文字図形列処理機構，６は出力端子，７は制御部である。

Claims

(57)【特許請求の範囲】

【請求項１】画像入力部から入力された文書画像データ
に対し，文書の傾きを検出・補正して取込む文書画像処
理装置において，文書画像上の黒画素の塊についてあるいは黒画素の塊を
強制的に分割して得られる部分的な塊についての外接矩
形の位置や大きさ，または黒画素を射影して得られる周
辺分布を特徴として文字図形の領域を求める文字図形領
域検出機構と，文字図形領域の大きさとその出現頻度，あるいは文字図
形領域内の特徴やパターン識別結果から傾き検出に用い
る文字図形領域を選択する文字図形領域選択機構と，選択された文字図形領域，あるいは全ての文字図形領域
を用いて，その近傍に存在する文字図形領域との重なり
具合やその位置関係から文字図形の並びを検出する文字
図形列検出機構と，各文字図形列を構成する文字図形領域相互の位置関係か
ら文字図形列の傾きを検出する文字図形列処理機構とを
有し，上記文字図形領域相互の位置関係を調べて文字図形列の
傾きを検出するようにしたことを特徴とする文書画像処理方法。
【請求項２】文字図形領域選択機構を除去し，かつ文字
図形列検出機構において，処理の対象とする文字図形列
領域を限定し，傾き検出処理を単純化したことを特徴と
する請求項（１）記載の文書画像処理方法。
【請求項３】文字図形列処理機構において，ある特定の
文字図形領域を開始点として文字図形領域間の傾きを複
数の方向に対して求め，注目する文字図形領域とその他
の文字図形領域との方向別の傾きの変化，および文字図
形列の基準線からのずれの変化を検出することによっ
て，同一の文字図形列区間を検出することを特徴とする
請求項（１）記載の文書画像処理方法。
【請求項４】文字図形領域検出機構において，入力した
文書画像を小領域に分割して領域ごとの周辺分布を求
め，文字図形領域選択機構において該文字図形領域検出
機構によって得られた周辺分布の中で文字列に対応する
部分を選択し，文字図形列検出機構において該文字図形
領域選択機構で選択した周辺分布の位置の重なり具合い
をもとに文字図形列を抽出し，文字図形列処理機構にお
いて該文字図形列検出機構によって得られた文字図形列
の傾きをもとに文書全体の傾きあるいは文書の方向を求
めることを特徴とした請求項（１）記載の文書画像処理
方法。