JP2890507B2 - 文字領域と図形領域の分離装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は人間による認識のためのマーク付け等が行わ
れていない一般文書を認識するための文書画像認識にお
いて、文字、図形、表、写真等が混在する文書から文字
領域と図形領域とを分離する際に、画像に最適な文字／
図形分離アルゴリズムに基づいて分離を行う文字領域と
図形領域との分離装置に関するものである。

（従来の技術） 従来の文字／図形分離処理は、文字領域と図形領域と
を分離するのみであった。

特に、文字領域の中から表領域だけを分離することは
できなかった。しかし、本出願人が先に提案した特願昭
63−171729号および特願昭63−201028号により可能にな
った。

すなわち、上記特願昭63−171729号のものは、第７図
図示のごとく、画像入力部11により入力された原画像を
第１イメージメモリ12に格納しておく。次に、長ランレ
ングス抽出部13により原画像から水平方向または垂直方
向に長く連続する黒画素列を抽出し、水平方向線分のみ
になった黒画素列と垂直方向線分のみになった黒画素列
とを第２イメージメモリ14に格納する。

矩形座標検出部15により前記各線分の始点と終点とを
検出し、表領域の有無を確認する。

そして、表領域を表す対角座標を求め、表領域抽出部
16において、矩形座標検出部15からの表領域を表す前記
座標を用い、前記第１イメージメモリ12に格納されてい
る原画像から表領域画像と文字領域画像とを分離する。

また、特願昭63−201028号のものは、第８図図示のご
とく、画像入力部21により入力された原画像をイメージ
メモリ22に格納しておく。次に、鉤型パターンマッチン
グ部23により鉤型やＴ字型等の表を構成する線分の交点
の特徴パターンを抽出し、その各座標を検出する。表領
域座標抽出部24において、前記抽出した特徴パターンの
各座標を基に表領域を表す矩形座標を求める。たとえ
ば、特徴パターンが鉤型パターンの場合には、最も左上
の座標を有する鉤型パターンの座標と最も右下の座標を
有する鉤型パターンの座標の対、あるいは最も右上の座
標を有する鉤型パターンの座標と最も左下の座標を有す
る鉤型パターンの座標の対を選択して表領域を表す矩形
の座標とする。もし、特徴パターンとしてＴ字型パター
ンを用いる場合には、Ｘ座標の最大値、最小値およびＹ
座標の最大値、最小値を有するＴ字型パターンの座標を
選択して表領域を合わす矩形の座標とする。次に、表領
域抽出部25において、表領域座標抽出部24からの表領域
を表す前記座標を用い、イメージメモリ22に格納されて
いる原画像から表領域画像と文字領域画像とを分離す
る。

また、図形の大きさが比較的揃い、かつ黒画素塊が多
い場合には、クラスタリング法を用いて文字領域と図形
領域とを分離していた。このクラスタリング法について
の詳細は、「パターン認識と図形処理」長尾 真著p27
〜28に記載されている。

さらに、黒画素塊の少ない図形の場合には、ウォード
法を用いて文字領域と図形領域とを分離していた。この
ウォード法についての詳細は、「続・多変量解析法」奥
野忠一著p211〜216に記載されている。

以上のように、文字領域と比較的揃った図形領域とを
分離することはできたが、文字と様々な種類と形状を有
する図形とを混在した文書画像が対象である場合には、
上記のアルゴリズムに基づいた分離処理だけでは不可能
であった。

（発明が解決しようとする課題） 特に、対象となる文書画像の中に表あるいはその他の
図形が混在した場合には、一つの文字／図形分離アルゴ
リズムで処理しても文字領域と図形領域との識別率の低
下、あるいは余分な処理の増大により処理時間が遅くな
る。たとえば、外接矩形の面積で文字領域と図形領域と
を分離する手法を用いた場合、文字と図形との大きさが
略同じである文書では識別率は低下する。

また、チェーン符号の方向の変化回数を計数する「複
雑さ」で文字領域と図形領域とを分離する手法を用いた
場合、たとえば、伝票等の表型文書のような比較的簡単
な文字／図形混在領域と水平／垂直方向に長い黒画素塊
を分離するだけの領域とを対象にして比較すると、前者
の場合の処理の方が多くの処理を施す必要があり、処理
速度の低下を招く。

本発明は、以上のような問題を解決するためのもの
で、複数の文字／図形分離アルゴリズムを備え、文書画
像の性質に最適の文字／図形分離アルゴリズムを選択す
ることによって、無駄な処理を省いて処理速度と識別率
の向上を図る文字領域と図形領域との分離装置を提供す
ることを目的とする。

（課題を解決するための手段） 上記目的を達成するための本発明の構成は、文字と図
形とが混在する画像をデジタルデータとして入力する画
像入力手段１と、文書画像を記憶しておくイメージメモ
リ２と、このイメージメモリ２に記憶されている画像デ
ータの特徴を抽出する特徴抽出手段３と、この特徴抽出
手段３により得られた特徴にしたがって複数の文字／図
形分離アルゴリズムの中から最適の文字／図形分離アル
ゴリズムを選択するアルゴリズム選択手段４と、このア
ルゴリズム選択手段４により選択された文字／図形分離
アルゴリズムに基づいて入力画像を文字領域と図形領域
とに分離する文字／図形分離手段５とを備えたことを特
徴とする。

また、文字／図形分離アルゴリズムの選択は、特徴抽
出手段における偏平率、外接矩形あるいは対象領域内の
ラベル数を基準にし、これら基準にしたがって表用の文
字／枠分離処理、面積を特徴軸とした１次元クラスタリ
ング法、反復的クラスタリング、ウォード法を基にした
文字／図形分離アルゴリズムを用意することを特徴とす
る。

（作用） 本発明は、画像入力手段１から文字や図形を含む一般
文書すなわち、人間による処理のためのマーク付け等が
行われていない文書をデジタルデータとして入力し、そ
の画像をイメージメモリ２に格納する。イメージメモリ
２に格納されている画像の黒画素塊についてラスタース
キャンし、特徴抽出手段３において、その特徴量を抽出
する。

そして、アルゴリズム選択手段４において、前記抽出
された特徴量を基にして文書に最適な文字／図形分離ア
ルゴリズムを選択する。また、表用の文字／枠分離処
理、面積を特徴軸とした１次元クラスタリング法、反復
的クラスタリング、ウォード法を基にした文字／図形分
離アルゴリズムを用意することにより、分離の対象にな
る文書の分離処理の速度および認識率が向上する。

（実施例） 第１図は本発明の画像処理装置における原理ブロック
構成図で、画像入力手段１、イメージメモリ２、特徴抽
出手段３（ラベル付け部31、特徴抽出部32）、アルゴリ
ズム選択手段４、文字／図形分離手段５、文字処理部６
および図形処理部７から構成される。

画像入力手段１は、文字や図形を含む文書画像を２値
デジタルデータとして入力する。イメージメモリ２は、
入力した２値デジタルデータを記憶しておく。特徴抽出
手段３は、イメージメモリ２に記憶された画像における
黒画素塊に対してラベル付け部31でラベルを付けた後
に、特徴抽出部32で黒画素塊の面積、複雑さ、偏平率等
を特徴量として抽出する。特徴抽出手段３で抽出した特
徴量により文書の性質がわかるので、アルゴリズム選択
手段４は、この文書に最適と思われる文字／図形分離ア
ルゴリズムを選択する。文字／図形分離手段５は、アル
ゴリズム選択手段４で選択された文書に最適の文字／図
形分離アルゴリズムによって文字領域と図形領域とを分
離する。

このようにして分離された文字領域と図形領域とは、
それぞれ文字処理部６と図形処理部７とで処理が行われ
る。

次に、文書における黒画素塊にラベルを付ける場合に
ついて説明する。

ラベル付け部31は、イメージメモリ２に格納されてい
る画像に対して、孤立している黒画素塊のそれぞれを識
別できるような番号に置き換える。

たとえば、第２図図示のごとく、黒画素を全て“1"に
置き換える。次に、第３図図示のごとく、５番目に見つ
けた黒画素塊の“1"を全て“5"に置き換える。同じく、
６番目に見つけた黒画素塊の“1"を全て“6"に置き換え
る。このラベル付けの方法は、公知の方法（たとえば、
「ディジタル画像処理」p360〜365 Rosen feld＆kak著
参照）を用いることができる。

ラベル付け部31でラベル付けが終わった後、特徴抽出
部32では、それぞれのラベル付けされた黒画素塊の特徴
量を抽出する。この特徴量としては、黒画素塊の「面
積」、輪郭のチェーン符号の方向の変化回数の割合によ
って決まる「複雑さ」、および各々のラベルが付けられ
ている黒画素塊を囲む最小の矩形、すなわち、外接矩形
の高さと幅とにより求まる「偏平率」がある。

先ず、「面積」の測定方法は、ラベル付けされた黒画
素塊をラスタースキャンし、黒画素塊に同一数字の付さ
れたラベル番号の数を計数する。たとえば、第３図図示
のごとく、ラベル番号“5"の面積は19であり、ラベル番
号“6"の面積は11である。

次に、「複雑さ」を求めるための輪郭のチェーン符号
化法を第５図フローチャートを参照しつつ説明する。

先ずラスタースキャンを開始する（ステップ）。

ラスタースキャンを続け、最終の画素であればラスタ
ースキャンは終了する（ステップ）。

ラスタースキャンされた画像にラベルが付けられてい
るか否かを調べ、ラベルが付いている黒画素であれば次
のステップへ進む。黒画素でなければラスタースキャン
を続ける（ステップ）。

当該黒画素が今までに輪郭を抽出したラベルか否かを
調べ、初めてのものであれば次のステップへ進み、今ま
でに輪郭を抽出したラベルであればラスタースキャンを
続ける（ステップ）。

第３図図示のごとく、ラベル付けされた画素を見つけ
たらその輪郭に沿って右手にラベル付けされた画素、左
手に白画素がくる方向（つまり、時計回りの方向）に、
ラベル付けされた画素を追跡する。そして、方向による
チェーン符号の割当は、第４図図示のごとく決められて
いる。すなわち、第３図図示ラベル番号“5"の黒画素塊
は、左上端の画素から出発し、右に11進み、その後左に
11進み、下に７降り、その後上に７上がって一周する。
この時のチェーン符号は、“000000000002222222222233
333331111111"となる（ステップ）。

黒画素塊の一周に全てチェーン符号が付くまで続けら
れる（ステップ）。

以上のようにして求められたチェーン符号から前記ラ
ベル番号“5"の黒画素塊の「複雑さ」が求まる。

次に、「偏平率」を求めるために黒画素塊の外接矩形
を求める。黒画素塊の外接矩形はチェーン符号をたどり
ながら、それぞれの方向を数え上げ、反対の方向は１減
ずるようにし、それぞれの方向のピーク値を求めること
によって、外接矩形の高さと横幅を求めることができ
る。

そして、「偏平率」は次の式で求まる。

width : 外接矩形の横幅 height: 外接矩形の高さ max（a,b） :a,bの大きい方を取り出す min（a,b） :a,bの小さい方を取り出す 第３図図示のラベル番号“5"の黒画素塊の場合、 以上のような各処理により、黒画素塊“5"の特徴であ
る「面積」、「複雑さ」、「偏平率」を抽出することが
できる。

このようにして抽出された特徴により、アルゴリズム
選択手段４では、第６図図示のフローチャートにしたが
い、文字／図形分離アルゴリズムを選択する。

先ず、偏平率が閾値ｘ以上の黒画素塊がｙ以上あれ
ば、ステップに進み、そうでない場合はステップに
進む（ステップ）。

ステップの条件を満足し、かつ長い黒画素塊を一定
間隔に並べた文書、すなわち、長い線を一定間隔に並べ
て表を形成している文書の場合は、文字／図形分離アル
ゴリズムとして手法１の「表用の文字／枠分離処理」を
選択する（ステップ）。

ステップおよびの条件を満足せずに、かつ外接矩
形の面積の範囲がｚ以上の黒画素塊を有する文書、すな
わち、長い線がなく、また黒画素塊の面積があまり揃っ
ていない文書の場合は、文字／図形分離アルゴリズムと
して手法２の１次元クラスタリング法を選択する（ステ
ップ）。

ステップおよびの条件を満足せずに、かつ外接矩
形の面積の範囲がｚ以上の黒画素塊を有する文書、すな
わち、長い線がなく、また黒画素塊の面積があまり揃っ
ていない文書の場合は、文字／図形分離アルゴリズムと
しての手法２の１次元クラスタリング法を選択する（ス
テップ）。

ステップおよびの条件を満足せずに、かつ外接矩
形の面積の範囲がｚ未満の黒画素塊を有する文書の場合
は、すなわち、外接矩形の大きさがほとんど揃っている
黒画素塊を有する文書の場合は、文字／図形分離アルゴ
リズムとして基本的に３つの特徴（面積、複雑さ、偏平
率）を用いた多次元クラスタリング法を用いる。多次元
クラスタリング法としては、反復的クラスタリング法
（手法３）やウォード法（手法４）があるが、領域の認
識率と処理速度を考慮していずれかを選択するようにす
る。ウォード法は領域の認識率に優れているが処理する
データ量が多くなると処理速度が遅くなる。他方、反復
的クラスタリング法では、認識率はウォード法よりやや
劣るが処理速度が速いという特徴がある。そこで、黒画
素塊の数により処理すべきデータ量を判定し、アルゴリ
ズムを選択する。すなわち、ステップでラベル数（黒
画素塊の数）がｖ以上か否かを調べる。黒画素塊の数が
ｖ以上の文書の場合、手法３の反復的クラスタリング法
を選択する。黒画素塊の数がｖ以下であれば、すなわ
ち、黒画素塊の数が少ない文書の場合は、文字／図形分
離アルゴリズムとして手法４のウォード法を選択する
（ステップ）。

文字／図形分離手段５では、アルゴリズム選択手段４
で選択された文字／図形分離アルゴリズムによっては、
実際に文字領域と図形領域との分離を行う。

以上、本発明の実施例において、特徴として「面
積」、「複雑さ」、「偏平率」を、輪郭のチェーン符号
として４連結を用い、また、文字／図形分離アルゴリズ
ムに４つの手法を用いたが、これに限定するものではな
い。特徴および文字／図形分離アルゴリズムを他の手法
として、また輪郭のチェーン符号を８連結とすることも
できる。

また、本発明の実施例は、文字／図形分離アルゴリズ
ムの選択を自動的に行っているが、操作者の判断によっ
て文字／図形分離アルゴリズムを選択することもでき
る。この文字／図形分離アルゴリズムの選択は、操作者
が直接文字／図形分離アルゴリズムを選択するのではな
く、文書の性質たとえば、「長い線が多い」、「小さい
図形が多い」、「新聞」、「回路図」、あるいは「表」
等を入力すると文書に最適の文字／図形分離アルゴリズ
ムが選択される。したがって、操作者の負担は軽減さ
れ、使い易くなる。

（発明の効果） 以上のように、本発明は、図形の特徴にあった複数の
文字／図形分離アルゴリズムを備えているので、常に文
書にあった最適の文字／図形分離アルゴリズムで文字領
域と図形領域とを分離することができる。したがって、
文字領域と図形領域との分離に誤りがなく、処理時間も
少なくて済む。

【図面の簡単な説明】 第１図は本発明の原理ブロック構成図、第２図および第
３図は黒画素塊のラベル付け説明図、第４図はチェーン
符号割当説明図、第５図はチェーン符号化を行うフロー
チャート、第６図は文字／図形分離アルゴリズムの選択
フローチャート、第７図および第８図は従来例における
表領域抽出説明図である。 １…画像入力手段 ２…イメージメモリ ３…特徴抽出手段 ４…アルゴリズム選択手段 ５…文字／図形分離手段 ６…文字処理部 ７…図形処理部

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】文字と図形とが混在する画像をデジタルデ
   ータとして入力する画像入力手段と、 文書画像を記憶しておくイメージメモリと、 前記イメージメモリに記憶されている画像データの特徴
   を抽出する特徴抽出手段と、 前記特徴抽出手段により得られた特徴にしたがって複数
   の文字／図形分離アルゴリズムの中から最適のアルゴリ
   ズムを選択するアルゴリズム選択手段と、 前記アルゴリズム選択手段により選択された文字／図形
   分離アルゴリズムに基づいて入力画像を文字領域と図形
   領域とに分離する文字／図形分離手段と、 を備えたことを特徴とする文字領域と図形領域との分離
   装置。
2. 【請求項２】前記アルゴリズム選択手段は、前記特徴抽
   出手段における「偏平率」、「外接矩形」、および「対
   象領域内のラベル数」に基づいて文字／図形分離アルゴ
   リズムを選択することを特徴とする請求項（１）記載の
   文字領域と図形領域との分離装置。
3. 【請求項３】前記複数の文字／図形分離アルゴリズム
   は、表用の文字／枠分離処理、面積を特徴軸とした一次
   元におけるクラスタリング法、反復的クラスタリング
   法、ウォード法を備えていることを特徴とする請求項
   （１）または（２）記載の文字領域と図形領域との分離
   装置。