JPH03232075A - 文字領域と図形領域の分離装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は人間による認識のためのマーク付は等が行われ
ていない一般文書を認識するための文書画像認識におい
て、文字、図形、表、写真等が混在する文書から文字領
域と図形領域とを分離する際に、画像に最適な文字／図
形分離アルゴリズムに基づいて分離を行う文字領域と図
形領域との分離装置に関するものである。

（従来の技術） 従来の文字／図形分離処理は、文字領域と図形領域とを
分離するのみであった。

特に、文字領域の中から表領域だけを分離することはで
きなかった。しかし、本出願人が先に提案した特願昭６
３−１７１７２９号および特願昭６３−２０１０２８号
により可能になった。

すなわち、上記特願昭６３−１７１７２９号のものは、
第７図図示のごとく、画像入力部１１により入力された
原画像を第１イメージメモリ１２に格納しておく。次に
、長ランレングス抽出部１３により原画像から水平方向
または垂直方向に長く連続する黒画素列を抽出し、水平
方向線分のみになった黒画素列と垂直方向線分のみにな
った黒画素列とを第２イメージメモリ１４に格納する。

矩形座標検出部１５により前記各線分の始点と終点とを
検出し、表領域の有無を確認する。

そして、表領域を表す対角座標を求め、表領域抽出部１
６において、矩形座標検出部１５からの表領域を表す前
記座標を用い、前記第１イメージメモリ１２に格納され
ている原画像から表領域画像と文字領域画像とを分離す
る。

また、特願昭６３−２０．１０２８号のものは、第８図
図示のごとく、画像入力部２１により入力された原画像
をイメージメモリ２２に格納しておく。次に、鉤型パタ
ーンマツチング部２３により鉤型やＴ字型等の表を構成
する線分の交点の特徴パターンを抽出し、その各座標を
検出する。表領域座標抽出部２４において、前記抽出し
た特徴パターンの各座標を基に表領域を表す矩形座標を
求める。たとえば、特徴パターンが鉤型パターンの場合
には、最も左上の座標を有する鉤型パターンの座標と最
も右下の座標を有する鉤型パターンの座標の対、あるい
は最も右上の座標を有する鉤型パターンの座標と最も左
下の座標を有する鉤型パターンの座標の対を選択して表
領域を表す矩形の座標とする。もし、特徴パターンとし
て１字型パターンを用いる場合には、Ｘ座標の最大値、
最小値およびＹ座標の最大値、最小値を有する１字型パ
ターンの座標を選択して表領域を合わす矩形の座標とす
る。次に、表領域抽出部２５において、表領域座標抽出
部２４からの表領域を表す前記座標を用い、イメージメ
モリ２２に格納されている原画像から表領域画像と文字
領域画像とを分離する。

また、図形の大きさが比較的揃い、かつ黒画素塊が多い
場合には、クラスタリング法を用いて文字領域と図形領
域とを分離していた。このクラスタリング法についての
詳細は、「パターン認識と図形処理」長屋　真著ｐ２７
〜２８に記載されている。

さらに、黒画素塊の少ない図形の場合には、ウォード法
を用いて文字領域と図形領域とを分離していた。このウ
ォード法についての詳細は、「続・多変量解析法」奥野
忠−著ｐ２１１〜２１Ｂに記載されている。

以上のように、文字領域と比較的揃った図形領域とを分
離することはできたが、文字と様々な種類と形状を有す
る図形とを混在した文書画像が対象である場合には、上
記のアルゴリズムに基づいた分離処理だけでは不可能で
あった。

（発明が解決しようとする課題） 特に、対象となる文書画像の中に表あるいはその他の図
形が混在した場合には、一つの文字／図形分離アルゴリ
ズムで処理しても文字領域と図形領域との識別率の低下
、あるいは余分な処理の増大により処理時間が遅くなる
。たとえば、外接矩形の面積で文字領域と図形領域とを
分離する手法を用いた場合、文字と図形との大きさが略
同じである文書では識別率は低下する。

また、チェーン符号の方向の変化回数を計数する「複雑
さ」で文字領域と図形領域とを分離する手法を用いた場
合、たとえば、伝票等の表型文書のような比較的簡単な
文字／図形混在領域と水平／垂直方向に長い黒画素塊を
分離するだけの領域とを対象にして比較すると、前者の
場合の処理の方が多くの処理を施す必要があり、処理速
度の低下を招く。

本発明は、以上のような問題を解決するためのもので、
複数の文字／図形分離アルゴリズムを備え、文書画像の
性質に最適の文字／図形分離アルゴリズムを選択するこ
とによって、無駄な処理を省いて処理速度と識別率の向
上を図る文字領域と図形領域との分離装置を提供するこ
とを目的とする。

（課題を解決するための手段） 上記目的を達成するための本発明の構成は、文字と図形
とが混在する画像をデジタルデータとして入力する画像
入力手段１と、文書画像を記憶しておくイメージメモリ
２と、このイメージメモリ２に記憶されている画像デー
タの特徴を抽出する特徴抽出手段３と、この特徴抽出手
段３により得られた特徴にしたがって複数の文字／図形
分離アルゴリズムの中から最適の文字／図形分離アルゴ
リズムを選択するアルゴリズム選択手段４と、このアル
ゴリズム選択手段４により選択された文字／図形分離ア
ルゴリズムに基づいて入力画像を文字領域と図形領域と
に分離する文字／図形分離手段５とを備えたことを特徴
とする。

また、文字／図形分離アルゴリズムの選択は、特徴抽出
手段における偏平率、外接矩形あるいは対象領域内のラ
ベル数を基準にし、これら基準にしたがって表用の文字
／枠分離処理、面積を特徴軸とした１次元クラスタリン
グ法、反復的クラスタリング、ウォード法を基にした文
字／図形分離アルゴリズムを用意することを特徴とする
。

（作　　用） 本発明は、画像入力手段１から文字や図形を含む一般文
書すなわち、人間による処理のためのマーク付は等が行
われていない文書をデジタルデータとして入力し、その
画像をイメージメモリ２に格納する。イメージメモリ２
に格納されている画像の黒画素塊についてラスタースキ
ャンし、特徴抽出手段３において、その特徴量を抽出す
る。

そして、アルゴリズム選択手段４において、前記抽出さ
れた特徴量を基にして文書に最適な文字／図形分離アル
ゴリズムを選択する。また、表用の文字／枠分離処理、
面積を特徴軸とした１次元クラスタリング法、反復的ク
ラスタリング、ウォード法を基にした文字／図形分離ア
ルゴリズムを用意することにより、分離の対象になる文
書の分離処理の速度および認識率が向上する。

（実　施　例） 第１図は本発明の画像処理装置における原理ブロック構
成図で、画像入力手段１、イメージメモリ２、特徴抽出
手段３（ラベル付は部３１、特徴抽出部３２）、アルゴ
リズム選択手段４、文字／図形分離手段５、文字処理部
６および図形処理部７から構成される。

画像入力手段１は、文字や図形を含む文書画像を２値デ
ジタルデータとして入力する。イメージメモリ２は、入
力した２値デジタルデータを記憶しておく。特徴抽出手
段３は、イメージメモリ２に記憶された画像における黒
画素塊に対してラベル付は部３１でラベルを付けた後に
、特徴抽出部３２で黒画素塊の面積、複雑さ、偏平率等
を特徴量として抽出する。特徴抽出手段３で抽出した特
徴量により文書の性質がわかるので、アルゴリズム選択
手段４は、この文書に最適と思われる文字／図形分離ア
ルゴリズムを選択する。文字／図形分離手段５は、アル
ゴリズム選択手段４で選択された文書に最適の文字／図
形分離アルゴリズムによって文字領域と図形領域とを分
離する。

このようにして分離された文字領域と図形領域とは、そ
れぞれ文字処理部６と図形処理部７とで処理が行われる
。

次に、文書における黒画素塊にラベルを付ける場合につ
いて説明する。

ラベル付は部３１は、イメージメモリ２に格納されてい
る画像に対して、孤立している黒画素塊のそれぞれを識
別できるような番号に置き換える。

たとえば、第２図図示のごとく、黒画素を全て“１′″
に置き換える。次に、第３図図示のごとく、５番目に見
つけた黒画素塊の“１”を全て“５”に置き換える。同
じく、６番目に見つけた黒画素塊の“１”を全て“６”
に置き換える。このラベル付けの方法は、公知の方法（
たとえば、「ディジタル画像処理」ｐ３６０〜３６５　
　Ｒｏｓｅｎｆｅｌｄ＆Ｋａｋ著参照）を用いることが
できる。

ラベル付は部３１でラベル付けが終わった後、特徴抽出
部３２では、それぞれのラベル付けされた黒画素塊の特
徴量を抽出する。この特徴量としては、黒画素塊の「面
積」、輪郭のチェーン符号の方向の変化回数の割合によ
って決まる「複雑さ」、および各々のラベルが付けられ
ている黒画素塊を囲む最小の矩形、すなわち、外接矩形
の高さと幅とにより求まる「偏平率」がある。

先ず、「面積」の測定方法は、ラベル付けされた黒画素
塊をラスタースキャンし、黒画素塊に同一数字の付され
たラベル番号の数を計数する。たとえば、第３図図示の
ごとく、ラベル番号“５”の面積は１９であり、ラベル
番号“６”の面積は１１である。

次に、「複雑さ」を求めるための輪郭のチェーン符号化
法を第５図フローチャートを参照しつつ説明する。

先ずラスタースキャンを開始する（ステップ■）。

ラスタースキャンを続け、最終の画素であればラスター
スキャンは終了する（ステップ■）。

ラスタースキャンされた画素にラベルが付けられている
か否かを調べ、ラベルが付いている黒画素であれば次の
ステップへ進む。黒画素でなければラスタースキャンを
続ける（ステップ■）。

当該黒画素が今までに輪郭を抽出したラベルか否かを調
べ、初めてのものであれば次のステップへ進み、今まで
に輪郭を抽出したラベルであればラスタースキャンを続
ける（ステップ■）。

第３図図示のごとく、ラベル付けされた画素を見つけた
らその輪郭に沿って右手にラベル付けされた画素、左手
に白画素がくる方向（つまり、時計回りの方向）に、ラ
ベル付けされた画素を追跡する。そして、方向によるチ
ェーン符号の割当は、第４図図示のごとく決められてい
る。すなわち、第３図図示ラベル番号“５′の黒画素塊
は、左上端の画素から出発し、右に１１進み、その後左
に１１進み、下に７降り、その後玉に７上がって一周す
る。この時のチェーン符号は、“ｏｏｏｏ。

００００００２２２２２２２２２２２３３３３３３３１
１１１１１１”となる（ステップ■）。

黒画素塊の一周に全てチェーン符号が付くまで続けられ
る（ステップ■）。

以上のようにして求められたチェーン符号から前記ラベ
ル番号“５″の黒画素塊の「複雑さＪが求まる。

７ 次に、「偏平率」を求めるために黒画素塊の外接矩形を
求める。黒画素塊の外接矩形はチェーン符号をたどりな
がら、それぞれの方向を数え上げ、反対の方向は１減す
るようにし、それぞれの方向のピーク値を求めることに
よって、外接矩形の高さと横幅を求めることができる。

そして、「偏平率」は次の式で求まる。

ｗｉｄｔｈ　　：　　外接矩形の横幅 ｈｅｉｇｈｔ　：　　外接矩形の高さ ｍａｘ　（ａ、ｂ）　　：　　ａ、ｂの大きい方を取り
出すｍｉｎ　（ａ、ｂ）　　：　　ａ、ｂの小さい方を
取り出す第３図図示のラベル番号“５”の黒画素塊の場
合、 ′を 以上のような各処理により、黒画素塊“５”の特徴であ
る「面積」、「複雑さ」、「偏平率」を抽出することが
できる。

このようにして抽出された特徴により、アルゴリズム選
択手段４では、第６図図示のフローチャートにしたがい
、文字／図形分離アルゴリズムを選択する。

先ず、偏平率が閾値Ｘ以上の黒画素塊がｙ以上あれば、
ステップＯに進み、そうでない場合はステップ■に進む
（ステップ■）。

ステップ■の条件を満足し、かつ長い黒画素塊を一定間
隔に並べた文書、すなわち、長い線を一定間隔に並べて
表を形成している文書の場合は、文字／図形分離アルゴ
リズムとして手法１の「表用の文字／枠分離処理」を選
択する（ステップ■）。

ステップ■および０の条件を満足せずに、かつ外接矩形
の面積の範囲が２以上の黒画素塊を有する文書、すなわ
ち、長い線がなく、また黒画素塊の面積があまり揃って
いない文書の場合は、文字／図形分離アルゴリズムとし
て手法２の１次元クラスタリング法を選択する（ステッ
プＯ）。

ステップＯおよび０の条件を満足せずに、かつ外接矩形
の面積の範囲が２未満の黒画素塊を有する文書の場合は
、すなわち、外接矩形の大きさがほとんど揃っている黒
画素塊を有する文書の場合は、文字／図形分離アルゴリ
ズムとして基本的に３つの特徴（面積、複雑さ、偏平率
）を用いた多次元クラスタリング法を用いる。多次元ク
ラスタリング法としては、反復的クラスタリング法（手
法３）やウォード法（手法４）があるが、領域の認識率
と処、理速度を考慮していずれかを選択するようにする
。ウォード法は領域の認識率に優れているが処理するデ
ータ量が多くなると処理速度が遅くなる。他方、反復的
クラスタリング法では、認識率はウォード法よりやや劣
るが処理速度が速いという特徴がある。そこで、黒画素
塊の数により処理すべきデータ量を判定し、アルゴリズ
ムを選択する。すなわち、ステップ０でラベル数（黒画
素塊の数）がＶ以上か否かを調べる。黒画素塊の数がＶ
以上の文書の場合、手法３の反復的クラスタリング法を
選択する。黒画素塊の数がＶ以下であれば、すなわち、
黒画素塊の数が少ない文書の場合は、文字／図形分離ア
ルゴリズムとして手法４のウォード法を選択する（ステ
ップ０）。

文字／図形分離手段５では、アルゴリズム選択手段４で
選択された文字／図形分離アルゴリズムによって、実際
に文字領域と図形領域との分離を行う。

以上、本発明の実施例において、特徴として「面積」、
「複雑さ」、「偏平率」を、輪郭のチェーン符号として
４連結を用い、また、文字／図形分離アルゴリズムに４
つの手法を用いたが、これに限定するものではない。特
徴および文字／図形分離アルゴリズムを他の手法とし、
また輪郭のチェーン符号を８連結とすることもできる。

また、本発明の実施例は、文字／図形分離アルゴリズム
の選択を自動的に行っているが、操作者の判断によって
文字／図形分離アルゴリズムを選択することもできる。

この文字／図形分離アルゴリズムの選択は、操作者が直
接文字／図形分離アルゴリズムを選択するのではなく、
文書の性質たとえば、「長い線が多い」、「小さい図形
が多い」、「新聞」、「回路図」、あるいは「表」等を
入力すると文書に最適の文字／図形分離アルゴリズムが
選択される。したがって、操作者の負担は軽減され、使
い易くなる。

（発明の効果） 以上のように、本発明は、図形の特徴にあった複数の文
字／図形分離アルゴリズムを備えているので、常に文書
にあった最適の文字／図形分離アルゴリズムで文字領域
と図形領域とを分離することができる。したがって、文
字領域と図形領域との分離に誤りがなく、処理時間も少
なくて済む。

【図面の簡単な説明】 第１図は本発明の原理ブロック構成図、第２図および第
３図は黒画素塊のラベル付は説明図、第４図はチェーン
符号割当説明図、第５図はチェーン符号化を行うフロー
チャート、第６図は文字／図形分離アルゴリズムの選択
フローチャート、第７図および第８図は従来例における
表領域抽出説明図である。 １・・・画像入力手段 ２・・・イメージメモリ ３・・・特徴抽出手段 ４・・・アルゴリズム選択手段 ５・・・文字／図形分離手段 ６・・・文字処理部 ７・・・図形処理部

Claims (3)

【特許請求の範囲】
1. （１）文字と図形とが混在する面像をデジタルデータと
   して入力する画像入力手段と、 文書画像を記憶しておくイメージメモリと、前記イメー
   ジメモリに記憶されている画像データの特徴を抽出する
   特徴抽出手段と、 前記特徴抽出手段により得られた特徴にしたがって複数
   の文字／図形分離アルゴリズムの中から最適のアルゴリ
   ズムを選択するアルゴリズム選択手段と、 前記アルゴリズム選択手段により選択された文字／図形
   分離アルゴリズムに基づいて入力画像を文字領域と図形
   領域とに分離する文字／図形分離手段と、 を備えたことを特徴とする文字領域と図形領域との分離
   装置。
2. （２）前記アルゴリズム選択手段は、前記特徴抽出手段
   における「偏平率」、「外接矩形」、および「対象領域
   内のラベル数」に基づいて文字／図形分離アルゴリズム
   を選択することを特徴とする請求項（１）記載の文字領
   域と図形領域との分離装置。
3. （３）前記複数の文字／図形分離アルゴリズムは、表用
   の文字／枠分離処理、面積を特徴軸とした一次元におけ
   るクラスタリング法、反復的クラスタリング法、ウォー
   ド法を備えていることを特徴とする請求項（１）または
   （２）記載の文字領域と図形領域との分離装置。