JPH09185675A

JPH09185675A - 様式解析方法

Info

Publication number: JPH09185675A
Application number: JP7342219A
Authority: JP
Inventors: Hideko Murata; 英子村田; Takuya Okamoto; 卓哉岡本; Masatoshi Hino; 匡利樋野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-12-28
Filing date: 1995-12-28
Publication date: 1997-07-15

Abstract

(57)【要約】【課題】外枠から形成される複数の様式を持つ画像デー
タにおいて、外枠の上下左右の４直線を必ずしも全て正
確に抽出することなく、また、傾きが生じた画像におい
ても、位置ずれを補正することで、さらに、様式内に罫
線が存在しない認識対象の文字領域が存在しても、既存
の様式の書式情報を用いることで、様式を容易に識別
し、画像データ上の認識する文字領域の位置を抽出し、
文字を認識することを目的とする。【解決手段】スキャナ１０１などの入力装置を用いて入
力された画像データにおいて、画像データ上で様式の基
準となる基準点および画像データを入力した際に生じる
傾きなどを検出し、既存様式の書式情報記憶部１０５中
の罫線情報ファイル１０６と照合して、画像データ上に
記入されている様式を様式解析部１０７で解析する。さ
らに、解析された様式内の認識対象とする領域の座標位
置を求め、その領域内の文字コードを文字認識部１０８
で認識する。認識結果は、ＣＲＴ１１１に表示する。あ
るいはプリンタ１１０に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、帳票など紙に印刷
されている文書データを、イメージスキャナなどの入力
装置を用いて画像データとして読み込み、読み込んだ画
像データに対応する様式を判別し、記述内容を認識する
帳票文字認識システムに係る。特に、複数存在する様式
を解析する様式解析方法に関する。

【０００２】

【従来の技術】オフィスの電子化の進展に伴い、今まで
紙として蓄積した情報をコード化し、入力するニーズが
高まっている。情報のコード化により、情報の加工、検
索、再利用など情報の幅広い活用が可能となる。

【０００３】従来、紙に記入されている情報をコード情
報として読み込むための方法としては、帳票ＯＣＲや、
一般の印刷文書を読み込むＯＡ−ＯＣＲなどがある。ま
た、ＦＡＸの普及に伴い、帳票の入力をＦＡＸを用いて
行なうＦＡＸ−ＯＣＲも開発されている。帳票ＯＣＲで
は、文字記入枠をドロップアウトカラーで印刷した専用
用紙を用いて、用紙に印字されたマークを抽出し、その
マークを基準に認識対象の文字を抽出する。しかし、Ｆ
ＡＸ−ＯＣＲでは、ドロップアウトを用いることは難し
い。また、複数の帳票を混在して処理するには、帳票の
種類を判定する必要がある。このような非ドロップアウ
トカラーの罫線を持つ帳票の様式を解析するものとし
て、本出願人が出願した特願平６−２７４４３号公報
「表認識方法」がある。

【０００４】この方法では、以下の手順で処理を行な
う。（１）縦線、横線２本ずつで構成された様式の外枠を抽
出することにより、様式解析の基準となる点を求める。
外枠の上部である横線を抽出する場合、画像データ上端
から下側に画素を走査して、黒画素を検出する。この処
理を画像データの左端から右端まで行い、検出した黒画
素の位置から近似直線を求め、外枠上部の横線を求め
る。同様に、画像データの左端、右端、下端の画素を検
出し、様式の外枠の縦線、横線の直線式を求める。更
に、求めた縦横線の計４線を用いて、各々直線の交点で
ある４点を求め、以降の解析の基準点とする。

【０００５】（２）認識の対象となる文字記入領域（以
下、「認識領域」という。）は、罫線などで囲まれてい
る場合が多い。このような認識領域を求めるには、上記
で求めた４つの基準点を基に、予め登録された様式の書
式情報の罫線の位置情報を画像データ上に重ね合わせ、
罫線の位置のずれに対して補正処理を行い、画像データ
上に存在する罫線を抽出することにより認識領域を抽出
し、認識領域内の文字認識を行なう。

【０００６】（３）既存様式の書式情報と画像データと
の重ね合わせにおいて、罫線の位置ずれを検出する範囲
および位置のずれが生じて補正する範囲は、既存の書式
情報の罫線の位置を中心として一定幅内で行う。

【０００７】既存様式の書式情報が複数存在する場合に
は、上記の重ね合わせの処理を様式文繰り返し、補正す
る一定幅の範囲内に黒画素の有無を調べ、書式情報の罫
線が画像データ上に全て存在する様式をこの画像データ
の書式情報とする。

【０００８】このように、罫線を補正しながら抽出する
ことで、帳票の罫線からなる記入枠を抽出し、非ドロッ
プアウトの複数様式の解析を行なう。

【０００９】

【発明が解決しようとする課題】入力対象となる様式
は、一般に、予め罫線や文字の一部が印刷された用紙の
記入枠に、手書きやプリンタにより必要事項が上書きさ
れたものである。このような紙を、イメージスキャナな
どの入力装置を用いて、画像データとして入力する場
合、画像データの歪みやかすれ、途切れ、傾きなどが生
じやすく、また、手書きなどの上書き箇所が、様式の判
定に悪影響を及ぼす可能性がある。このような場合、上
述の従来の技術において（１）から（３）の手順での課
題を以下に記述する。

【００１０】（１）における課題として、外枠の抽出処
理において、外枠付近に、文字の印刷や上書き、ノイズ
などが存在した場合、外枠の直線を表す画素を誤抽出す
る可能性があり、外枠の４直線を正確に求めることが難
しい場合がある。つまり、４つの基準点全ての抽出がで
きない問題が生じる。

【００１１】（２）における課題として、罫線で囲まれ
ていない認識領域（以下、「非罫線認識領域」とい
う。）を含む様式を解析する場合、抽出する罫線が存在
しないため、非罫線認識領域の抽出が困難である。

【００１２】（３）における課題として、罫線の位置の
ずれは、画像データの傾きに大きく影響する。位置ずれ
の大きさは、画像データの基準点から罫線までの距離が
近ければ少ないが、遠くなるにつれて大きくなる。この
ため、罫線の位置ずれを検出する範囲および検出された
罫線の位置ずれを補正する範囲を一定幅に設定すると、
求めたい罫線が範囲外に存在する可能性があり、罫線抽
出および罫線の補正に困難が生じる。

【００１３】

【課題を解決するための手段】上述した課題を解決する
ため、以下の手段を用いる。入力した画像データの比較
的安定して抽出可能な箇所の２直線を用いて、様式の基
準点と傾きを抽出する手段と、非罫線認識領域に対し
て、登録した様式の書式情報上で、その領域を囲む仮想
的な罫線を設定する手段と、登録書式情報の罫線と仮想
罫線を基準点と傾きを基に、入力された画像データ上に
マッピングする手段と、マッピングされた罫線をある決
められた範囲内で入力画像データ上の罫線に重ね合わせ
る手段と、重ね合わせる際の範囲を、基準点から罫線ま
での距離により変更する手段と、重ね合わせた後、仮想
罫線の位置を仮想罫線付近に存在する罫線の位置ずれに
基づき、補正する手段を有する。

【００１４】様式の基準となる外枠の４直線全てを抽出
することが困難な画像データの場合でも、様式中で２直
線の抽出が可能であれば、基準点と傾きを抽出する手段
を用いることで、既存様式の書式情報と画像データを重
ね合わせることが可能になり、様式を解析することがで
きる。

【００１５】非罫線認識領域に対しても、基準点を抽出
する手段により抽出した情報を基に登録書式情報の重ね
合わせを行なうが、このとき、仮想的な罫線を設定する
手段を用いて設定された仮想罫線の登録書式情報も同様
に重ね合わせを行ない、この仮想罫線に囲まれた領域を
抽出することにより、非罫線認識領域を抽出することが
可能となる。

【００１６】さらに、傾きや歪みなどにより、重ね合わ
せた仮想罫線位置と実際の領域との間にずれが生じた画
像データの場合においても、仮想罫線付近に存在する罫
線の位置ずれ情報を利用し、仮想罫線の位置を補正する
手段を用いることにより、より高精度に仮想罫線の抽出
を行うことが可能となる。

【００１７】補正する範囲が一定幅の場合、基準点から
近い場所では、余分な罫線や文字の抽出処理を、遠い場
所では、未抽出が生じる可能性があるが、罫線の補正方
法を基準点からの距離によって変更する手段を用いるこ
とにより、基準点から近い部分に対しては、余分な範囲
の検出をすることなく、遠い部分に対しては、ずれが大
きくなったことに起因する罫線の未抽出を防ぎ、より正
確な様式が抽出可能となる。

【００１８】以下、本発明の実施例を図面を参照して説
明する。

【００１９】図１は、本発明の機能ブロック図である。
画像データ解析部１００は、画像データを読み込んで、
様式を解析し、文字認識を行ない、結果を出力する本発
明に関する部分である。スキャナ１０１、画像記憶装置
１０２などから入力された画像データは、画像入力制御
部１０３の制御により、画像データ格納領域１０４に格
納される。

【００２０】また、様式の書式情報記憶部１０５には、
様式を形成する罫線の座標値などを格納した複数の罫線
情報ファイル１０６を記憶する。様式解析部１０７は、
この書式情報記憶部１０５中の罫線情報ファイル１０６
を読み込み、罫線情報ファイル１０６に格納されている
罫線情報を画像データ格納領域１０４に格納した画像デ
ータ上に重ね合わせ、様式を解析する。

【００２１】文字認識部１０８は、様式解析部１０７で
解析された結果と画像データ格納領域１０４の画像デー
タを用いて、画像データ中の認識対象となる文字記入領
域（以下、「認識領域」という。）を抽出し、領域内の
文字認識を行なう。文字認識の結果は、表示・印刷部１
０９を用いて、プリンタ１１０に出力、あるいはＣＲＴ
１１１に表示する。

【００２２】図２は、画像データ解析処理の流れを示
す。画像データ解析処理では、入力装置を用いて読み込
まれた画像データに記述された様式を予め登録された様
式の書式情報とマッチングしながら解析し、その解析に
よって抽出された認識領域内の文字を認識する。さら
に、その認識結果を表示画面、あるいはプリンタに出力
し、確認、修正などを行なう。

【００２３】処理２００では以下の処理を行う。様式解
析、文字認識処理をする紙面をスキャナ１０１から画像
データして入力する。あるいは画像データが格納された
画像記憶装置１０２から画像データを読み込む。画像デ
ータは、様式の書式解析および文字認識を行うため、一
時的に画像データ格納領域１０４に格納される。

【００２４】処理２０１では、以下の処理を行う。画像
データ格納領域１０４に格納された画像データに対し
て、その画像データに記述された様式を解析し、認識領
域を抽出する。様式の解析については、図３で説明す
る。

【００２５】処理２０２では、以下の処理を行う。処理
２０１によって抽出された認識領域に対して、領域内の
文字を抽出し、認識する。

【００２６】処理２０３では、以下の処理を行う。処理
２０２において認識した結果を表示・印刷部１０９を用
いて、プリンタ１１０に出力する。あるいはＣＲＴ１１
１に表示する。印刷、表示方法は、予め設定されたレイ
アウトに従って表示する方法、入力された画像データの
レイアウトと同様に認識した文字を表示する方法、認識
文字を羅列する方法などがある。

【００２７】以上が、様式認識処理の流れである。次
に、読み込まれた画像データの様式を解析する方法につ
いて、図３を用いて説明する。

【００２８】様式の解析処理は、読み込んだ画像データ
に対して、予め登録された様式の罫線の位置情報を格納
している書式情報記憶部１０５の罫線情報ファイル１０
６を順次に読み出し、読み出した罫線の位置情報を画像
データの罫線に対応付けることにより、様式の種類の判
定と様式の解析を行なう。また、認識領域内の文字を認
識するため、一致した様式内の認識領域を罫線情報ファ
イル１０６の情報を用いて、抽出する処理である。

【００２９】処理３００では、以下の処理を行う。処理
２００によって画像データ格納領域１０４に格納された
画像データに対して、その画像データに記述されている
様式の基準となる基準点および画像データの傾きを抽出
する。この基準点は、様式の基準となる基準線より得ら
れた点である。基準点および傾きの抽出処理は、図４で
説明する。

【００３０】処理３０１では、以下の処理を行う。書式
情報記憶部１０５内に罫線情報ファイル１０６が複数存
在する場合、様式を解析する処理手順は、順次、罫線情
報ファイル１０６を読み出し、読み出した罫線情報ファ
イル１０６と画像データ格納領域１０４に格納した画像
データとを照合させる。これを様式の数だけ繰り返す
が、この処理した様式数を示す変数Ｉを初期化（０）す
る。

【００３１】処理３０２では、以下の処理を行う。既存
の書式情報記憶部１０５の罫線情報ファイル１０６の総
数と罫線情報ファイル１０６を読み出した数Ｉを比較
し、次に処理する罫線情報ファイル１０６が存在するか
どうかチェックする。比較が同値であれば、次に読み出
す罫線情報ファイル１０６は存在しないので、処理３０
９に進む。また、この値が総数より小さい場合、次の罫
線情報ファイル１０６が存在するので、次の罫線情報フ
ァイル１０６に対する処理を行うため、処理３０３に進
む。

【００３２】処理３０３では、以下の処理を行う。書式
情報記憶部１０５のＩ番目の罫線情報ファイル１０６を
読み出す。罫線情報ファイル１０６は、様式を構成する
罫線位置などの情報が格納されており、様式ごとに罫線
情報ファイル１０６が存在する。様式が複数存在する
と、罫線情報ファイル１０６も複数存在する。

【００３３】処理３０４では、以下の処理を行う。処理
２００で画像データ格納領域１０４に格納した画像デー
タと、処理３０３で読み出した罫線情報ファイル１０６
を比較する。罫線情報ファイル１０６は、様式を構成す
る縦線および横線の各々の始終点の座標値が格納されて
いる。この座標値がミリ単位で格納されている場合、処
理３００で抽出した基準点と画像データの傾きおよび入
力した画像データの線密度などを考慮し、罫線情報ファ
イル１０６に格納されている座標値をドット単位に変換
処理を行ない、画像データ上に重ね合わせる。画像デー
タの重ね合わせについては、図６で述べる。

【００３４】処理３０５では、以下の処理を行う。処理
３０４で画像データと罫線情報ファイル１０６を重ね合
わせた際、様式内の罫線ごとに、罫線情報ファイル１０
６の情報を基に生成した罫線と画像データ上の罫線を照
合して、位置ずれが生じているかを検出する。ずれの検
出とそのずれに対する補正は、縦線なら横方向に、横線
なら縦方向に、一定範囲内の画素を検出し、罫線の直線
式を求めることにより行なう。この直線式の求め方に関
しては、特願平６−２７４４３号公報「表認識方式」に
開示されている方法を用いる。

【００３５】罫線の補正において、探索範囲内に罫線が
存在せず、対応付けできない場合、対応付けエラーとし
てカウントする。様式を構成する罫線ごとに処理するた
め、エラーのカウント数は、様式がかけ離れているほど
多くなる。

【００３６】処理３０６では、以下の処理を行う。画像
データと処理３０３で読み込まれた罫線情報ファイル１
０６が一致するかチェックする。処理３０５でエラーカ
ウントが０であれば、この画像データは、照合したＩ番
目の罫線情報ファイル１０６の様式であると判定し、処
理３１０に進む。エラーカウントが０でない場合、他の
様式の可能性もあるので、処理３０７に進む。

【００３７】処理３０７では、以下の処理を行う。処理
３０５で、エラーとしてカウントした数を記憶する。既
存様式の書式情報記憶部１０５中の全ての罫線情報ファ
イル１０６と不一致の場合、つまり、処理３０５でエラ
ーカウントが０でない場合、処理３０９では、ここで記
憶したＩ番目における処理３０５のエラーカウントを用
いて、様式の判別を行なう。

【００３８】処理３０８では、以下の処理を行う。Ｉに
１を加え、処理３０２に戻る。

【００３９】処理３０９では、以下の処理を行う。処理
３０７で格納した全てのエラーカウントは、罫線情報フ
ァイル１０６の罫線の情報と画像データとの対応付けが
出来なかった罫線の数である。つまり、罫線情報ファイ
ル１０６の罫線を画像データに重ね合わせた結果、罫線
が存在しないなどの理由により、対応付けが出来なかっ
た罫線の数であり、エラーカウント数が少ない様式が画
像データに一番適合している様式であるといえる。そこ
で、ここでは、エラーカウント数が最小の様式を求め
る。但し、最小エラーカウント数がある一定値より大き
い場合は、入力した画像データに対応する様式が既存様
式中に存在しないものとみなし、処理を終了する。最小
エラーカウント数が一定値内に存在するなら、処理３１
０に進む。

【００４０】処理３１０では、以下の処理を行う。画像
データの認識領域に囲まれた文字を認識するため、ここ
では、処理３０６、あるいは処理３０９において抽出さ
れた様式の罫線情報ファイル１０６を用いて、画像デー
タ中の認識領域の座標値を求める。

【００４１】以上、画像データの様式を解析する処理に
関して説明した。次に様式解析処理の基準となる基準点
の抽出および画像データの傾きの算出について、処理内
容を詳細に説明する。

【００４２】図４は、様式解析の基準となる基準点を抽
出する処理および画像データの傾きを算出する処理の流
れである。

【００４３】様式の解析を行なう従来方式の一つとし
て、処理対象の様式に外枠が存在する場合、上下左右の
外枠である４直線を抽出し、その外枠を基に既存の様式
に当てはめて行なう方法がある。上端横線を求める場
合、画像データの上部より下方向に向けて、黒画素を抽
出する処理を画像データの左端から右端まで行ない、抽
出した黒画素の位置より直線式を求める。同様に、左
端、右端、下端の直線式を求め、外枠を抽出する。求め
た外枠４直線の各々の交点を基準点として、既存の様式
の基準とする。しかし、外枠の周囲に文字などが存在す
る場合、このような方法を用いると、周囲に書かれた文
字の黒画素と外枠の黒画素を誤抽出する可能性がある。
また、外枠の４直線全てが存在しない場合もある。本発
明は、このような様式構成の画像データを解析する場合
に対応する方式であり、基準点と傾きを抽出するのに必
要な最低限の情報として、２直線を抽出する方法であ
る。まず、図５を用いて、基準線と基準点について説明
する。

【００４４】この例では、多くの様式で比較的罫線が取
り易い画像データの左下を基準点５００とする。右下、
右上などでも同様である。この基準点５００は、左縦線
５０１および下横線５０２の交点である。つまり、基準
点５００を求めるには、左縦線５０１および下横線５０
２の直線式を求める必要がある。

【００４５】罫線を求める方法として様々な検出方法が
ある。例えば、縦線の場合、所定の閾値より短い横方向
のランを求め、そのランを縦方向に連結することによ
り、縦線を求める。同様に、横線の場合、所定の閾値よ
り短い縦方向のランを求め、そのランを横方向に連結す
ることにより、横線を求める方法がある。この検出方法
を基準線の抽出に適用した場合、検出する罫線以外の文
字などの画素が縦方向、あるいは横方向に部分的に連結
し、文字であるにも関わらず罫線とみなし、誤抽出する
可能性がある。ここでは、以下の方法で基準線抽出を行
なう。

【００４６】左縦線５０１は、画像データの左端に存在
する。また、左縦線５０１は、下横線５０２や様式を形
成する複数の横罫線と接していて、左縦線５０１を含む
連結成分の外接矩形は、左縦線５０１と下横線５０２の
罫線の途切れが生じていなければ、画像データの左側に
おいて、縦に細長く面積が最大になる。そこで、左端内
において、連結成分の外接矩形が最大面積である連結成
分を抽出し、その連結成分の外接矩形の左端の座標値を
求めることで、左縦線５０１を求めることが可能とな
る。同様に、下横線５０２においても、左縦線５０１や
様式を形成する複数の縦罫線と接しているので、下罫線
５０２を含む連結成分の外接矩形は、画像データの下端
において、横に細長く面積が最大である。よって、下端
において、連結成分の外接矩形が最大面積である連結成
分を抽出して、その連結成分の外接矩形の下端の座標値
を求めることで、下罫線５０２を求めることが出来る。

【００４７】基準線を左縦線５０１、下横線５０２とし
たので、この画像データがなす様式は、この２直線がな
す交点の基準点５００から右上方向に存在する。以下、
図４にしたがい、基準線である左縦線５０１、下横線５
０２および基準点５００の抽出方法を示す。

【００４８】処理４００では、以下の処理を行う。処理
２００で読み込んだ画像データにおいて、左縦線５０１
を求めるために、連結成分を抽出する領域を設定する。
読み込んだ画像データ全体の幅を３等分し、その左端３
分の１の領域を左縦線における連結成分を求める領域５
０３とする。

【００４９】読み出した全ての画像データに対して連結
成分を抽出すると、処理時間がかかり、不必要な連結成
分までも抽出してしまう。また、幅を２等分、高さを２
等分した左下の領域において連結成分を抽出すると、そ
の領域内において、左縦線５０１は抽出可能であるが、
画像データの入力時に傾きなどが生じた場合、ここで求
めた左縦線５０１を画像データ上に重ね合わせると、領
域外の左縦線５０１にずれが生じる可能性がある。そこ
で、左縦線５０１全体が含まれるように左側３分の１の
領域において連結成分を抽出する処理を行なうことにす
る。

【００５０】処理４０１では、以下の処理を行う。処理
４００で求めた領域５０３内の連結成分を抽出し、連結
成分の外接矩形の４隅の座標値を求める。

【００５１】処理４０２では、以下の処理を行う。枠内
に文字が存在する、歪み、かすれがある場合など、線が
途中で切れている画像データに対して連結成分を抽出す
ると、左縦線を含む連結成分は一つの連結成分になら
ず、複数の連結成分として抽出される。これらを一つに
纏めるために、複数存在する連結成分のうち、互いの外
接矩形が重なり合った連結成分に対しては、それらを結
合させ、より大きな連結成分に統合する。

【００５２】処理４０３では、以下の処理を行う。処理
４０２において結合された連結成分は、画像データを３
等分した領域５０３内に複数存在する可能性がある。ま
た、左縦線５０１を含む連結成分の面積は、縦に細長
く、左縦線５０１より右方向に様式を形成する複数の横
罫線や下横線５０２と接しているので、この領域５０３
内において最大である。よって、ここでは、処理４０２
で求めた連結成分のうち最大連結成分を求める。

【００５３】処理４０４では、以下の処理を行う。処理
４０３で求めた最大連結成分から、直線式を求める。最
大連結成分の外接矩形の左辺を求める直線の初期値とす
る。

【００５４】処理４０５では、以下の処理を行う。処理
４０４で求めた直線式は、最大連結成分の外接矩形より
求めた式である。しかし、画像データが傾いている場
合、連結成分の外接矩形は、傾いた領域に対して、それ
らを囲むような矩形で抽出されるため、処理４０４で求
めた左縦線５０１の直線は、傾き分のずれが生じる。そ
こで、ここでは求めた直線式を画像データに重ね合わ
せ、画像データ上の画素と照合し、位置ずれの補正を行
い、左縦線５０１の直線式を求めなおす。具体的な内容
については、後述する。

【００５５】処理４０６では、以下の処理を行う。処理
４０５において直線の補正を行うことで、入力した画像
データの縦方向における傾きを算出する。

【００５６】処理４０７では、以下の処理を行う。左縦
線５０１を求める処理４００と同様に、処理２００で読
み込んだ画像データの下横線５０２を求めるために、読
み込んだ画像データ全体の高さを３等分し、その下端３
分の１の領域を下横線における連結成分を求める領域５
０４とする。

【００５７】処理４０８では、以下の処理を行う。左縦
線５０１同様に、処理４０７で求めた領域５０４内の連
結成分を抽出する。

【００５８】処理４０９では、以下の処理を行う。左縦
線５０１同様に、処理４０８で求めた連結成分の面積が
重なり合ったものに対して、結合処理を行い、より大き
な連結成分に統合する。

【００５９】処理４１０では、以下の処理を行う。処理
４０９において結合された連結成分は、画像データを３
等分した領域５０４内に複数存在する可能性がある。ま
た、下横線５０２を含む連結成分の外接矩形の面積は、
横に細長く、下横線５０２より上方向に様式を形成する
複数の縦罫線や左縦線５０１と接しているので、最大で
ある。よって、ここでは、処理４０９で求めた連結成分
のうち最大連結成分を求める。

【００６０】処理４１１では、以下の処理を行う。処理
４１０で求めた最大連結成分から、直線式を求める。最
大連結成分の外接矩形の下辺を求める直線の初期値とす
る。

【００６１】処理４１２では、以下の処理を行う。左縦
線５０１同様に、処理４１１で求めた直線式を画像デー
タに重ね合わせ、画像データ上の画素と照合し、位置ず
れの補正を行い、下横線５０２の直線を求めなおす。具
体的な内容については、後述する。

【００６２】処理４１３では、以下の処理を行う。処理
４１２において補正を行うことで、入力した画像データ
の横方向における傾きを算出する。

【００６３】処理４１４では、以下の処理を行う。

【００６４】処理４０５で求めた左縦線５０１および処
理４１２で求めた下横線５０２の２つの直線式より、そ
の交点を求める。この交点が画像データの基準点５００
である。

【００６５】このように求めた基準線、基準点および傾
きは、罫線情報ファイル１０６に格納された罫線の情報
を画像データ上に重ね合わせて様式を解析するための基
準となる。

【００６６】次に、図３の処理３０４において、入力し
た画像データと既存の罫線情報ファイル１０６内の罫線
の位置情報を重ね合わせる処理について説明する。

【００６７】罫線情報ファイル１０６に格納されている
罫線の情報は、様式を構成する縦線、横線の各々の総数
および各々についての始終点の座標値が格納されてい
る。本実施例では、罫線情報ファイル１０６に格納され
ている始終点の座標値は、左下に存在する基準点５００
を原点（０，０）として、右方向にＸ座標、上方向にＹ
座標を取り、ミリ単位で格納されているものとする。

【００６８】罫線情報ファイル１０６内の罫線情報を入
力画像データに重ね合わせて、対応付けるには、まず、
ミリ単位で表現されている座標情報を画像データ上のド
ット単位に変換する。画像データの解像度Ｒ（ＤＰＩ：
Dot Par Inch）とすると罫線情報ファイル１０６におけ
る任意の点（Ｘ，Ｙ）の画像データ上の座標（Ｘ₁，
Ｙ₁）は、次のように表わされる。

【００６９】

【数１】

【００７０】

【数２】

【００７１】（数１）は、Ｘ₁を求める式であり、（数
２）は、Ｙ₁を求める式である。なお、「｜｜」は、小
数点以下の切り捨てを表わすガウス記号である。

【００７２】次に、罫線情報ファイル１０６内の罫線情
報は、基準点５００を原点として直交座標系で表現され
ているため、基準点の画像データ上の位置と罫線の傾き
を求め、上述のドット単位に変換された座標値に対し
て、基準点の位置ずれと傾きを補正する。

【００７３】以下、補正の詳細を図６を用いて説明す
る。入力した画像データ６００において、処理４０６で
求めた縦線における傾きと、処理４１３で求めた横線に
おける傾き、つまり、基準点５００を基点にして、左縦
線５０１と基準点５００のＹ軸方向の線６０１がなす角
Θ₁と、下横線５０２と基準点５００のＸ軸方向の線６
０２がなす角Θは、多少のずれはあるがほぼ等しいと考
えられるので、画像データにおける傾きは、角Θを用い
ることにする。

【００７４】角Θは、例えば、下横線５０２上のある点
Ｓ６０３における座標値（Ｓ₁，Ｓ₂）を求め、その座標
値を次式に当てはめ求める。

【００７５】

【数３】

【００７６】但し、角Θ₁と角Θの角度の差がある一定
値を超えた場合、この画像データにおいて、罫線の抽出
は困難であると判定し、処理を終了する。また、基準点
５００の画像データ上の座標値を求める。

【００７７】基準点５００の画像データ上の位置をＰ
（Ｐ₁，Ｐ₂）とした場合、罫線情報ファイル１０６に格
納されている罫線の情報を画像データ上に重ね合わせる
ための座標値を求める方法は、以下のように表わされ
る。

【００７８】

【数４】

【００７９】Ｘ₁、Ｙ₁は、罫線情報ファイル１０６に格
納してある罫線の始終点のＸ座標値、Ｙ座標値をドット
単位に変換した座標である。Ｘ₂は、傾き角Θと基準点
５００の座標値Ｐによって補正したＸ座標値、Ｙ₂はＹ
座標値である。

【００８０】このように、罫線情報ファイル１０６に格
納されている罫線の情報を罫線ごと読み出し、画像デー
タにおける座標値に変換、位置ずれと傾きを補正して、
画像データに重ね合わせ、対応付ける処理を行う。

【００８１】次に、罫線で囲まれていない認識領域（以
下、「非罫線認識領域」という。）における処理および
画像データの傾きによって位置ずれが生じた場合の非罫
線認識領域の補正について説明する。

【００８２】入力した画像データにおいて、認識する文
字の周辺に記入枠などの罫線が存在する場合、その記入
枠を抽出することで、記入枠内の認識が可能となる。一
方、非罫線認識領域のように、罫線で囲まれていない認
識領域に対しては、抽出する記入枠の代わりに、この領
域を包囲するように仮想的な罫線（以下、「仮想罫線」
という。）を設定する。非罫線認識領域においては、こ
の仮想罫線の領域を求めることで、罫線が存在する認識
領域と同様にその領域内に存在する文字を認識すること
が可能となる。仮想罫線は、画像データ上に仮想的な罫
線を追加するので、様式を解析する際に、ノイズが生じ
るなどの画像データへの影響はない。

【００８３】仮想罫線の情報は、罫線の情報と同様に罫
線情報ファイル１０６に格納されている。仮想罫線と罫
線との区別は、罫線情報ファイル１０６のフラグにより
行なう。図７に罫線を示す情報が格納されている罫線情
報ファイル１０６を示す。罫線を示す情報とは、様式を
表わす縦線の総数７００、横線の総数７０１、縦罫線７
０２、横罫線７０３それぞれに対して、通し番号７０
４、始点のＸ座標値７０５、始点のＹ座標値７０６、終
点のＸ座標値７０７、終点のＹ座標値７０８およびその
罫線が、罫線か仮想罫線かを表わす仮想罫線フラグ７０
９である。縦横罫線の始終点の座標値は、左下の基準点
５００を原点（０，０）として、ミリ単位で格納されて
いる。また、仮想罫線フラグ７０９の値は、罫線なら
０、仮想罫線なら１である。

【００８４】入力した画像データに傾きが生じ、位置ず
れを補正する場合、罫線情報ファイル１０６の罫線が示
す始終点の座標値（７０５から７０８まで）を上述した
ように画像データにおける座標値に変換する。実際の画
像データ上に、変換した罫線の値を重ね合わせ、その値
を中心にして、一定幅の範囲内の画素を検出し、罫線を
補正する。しかし、仮想罫線は、罫線が実在しないため
画素を抽出することが出来ない。そこで、図８を用い
て、仮想罫線における画像データの傾きに対処する位置
ずれの補正例を説明する。

【００８５】画像データ上における罫線の位置ずれは、
画像データの基準点５００と罫線情報ファイル１０６の
基準点を重ね合わせるので、基準点から罫線までの距離
によって多少異なり、基準点付近と基準点から離れた罫
線における位置ずれを比較すると、遠くなるほど一般に
は大きくなる。しかし、隣合う罫線の位置ずれを比較す
ると、多少の違いはあるが、よほどのことが無い限り、
大きなずれは生じない。そこで、非罫線認識領域の位置
ずれ補正は、この領域に最も近い罫線における位置ずれ
を求め、その位置ずれと同様に位置ずれがあったと仮定
して処理をする。

【００８６】図８の８００は、非罫線認識領域を示す仮
想罫線である。この仮想罫線８００に最も近い罫線情報
ファイル１０６内の罫線８０１において、位置ずれによ
って補正された罫線を仮に補正罫線８０２とする。ここ
で生じた位置ずれが、この罫線８０１における位置ずれ
ベクトル８０３である。仮想罫線の補正は、この位置ず
れベクトル８０３分の補正を仮想罫線８００上の４点で
も行ない対処する。まず、仮想罫線８００上の右下点８
０４において、位置ずれベクトル８０３と同値の位置ず
れベクトル８０５分をずらすと、仮想罫線８００上の右
下点８０４は、８０６になる。同処理を、仮想罫線８０
０上の左上点８０７、右上点８０８、左下点８０９上で
も行う。求められた４点において、左上点と左下点、左
上点と右上点、右上点と右下点、左下点と右下点を直線
で結ぶと、補正によって生成された仮想罫線８１０が求
められる。

【００８７】このように、非罫線認識領域が存在する様
式においても、仮想罫線を用いて、位置ずれの補正を行
うことで、より正確な認識領域を求めることを可能とす
る。

【００８８】次に、画像データの傾きに対応した罫線の
抽出方法について説明する。

【００８９】図９は、罫線の位置ずれが生じた画像デー
タの例である。

【００９０】入力した画像データに記述してある罫線９
００において、基準点５００を求め、既存の様式である
罫線情報ファイル１０６の罫線の位置情報と照合する。
入力画像データに傾きなどが生じた場合、図９のよう
に、画像データの罫線９００と既存の様式９０１に多少
の位置ずれが生じる。左下領域９０２内では、画像デー
タの罫線９００と既存の様式９０１は殆ど一致している
が、右上領域９０３内では、位置ずれが生じている。こ
れは、基準点付近で微妙に位置ずれが生じた場合、その
位置ずれは、基準点からの距離が遠くなるほど大きくな
ると考えられる。この場合、左下に基準点５００を設定
したので、右上になるほど罫線の位置ずれは大きくな
る。

【００９１】また、既存の様式９０１を画像データ上に
記述されている様式９００に合わせて補正する場合、従
来は、既存様式の罫線を中心として、一定幅の範囲しか
補正する領域（以下、「罫線補正領域」という。）を設
けていない。この方法としては、特願平６−２７４４３
号公報「表認識方式」に開示されている方法を用いる。
上述したような位置ずれが生じた場合、その罫線補正領
域内に、画像データ上の罫線が存在しない可能性があ
り、罫線の補正に困難が生じる。

【００９２】この問題に対処する罫線の補正を図１０を
用いて説明する。

【００９３】罫線の位置ずれは、基準点からの距離が遠
いほど大きくなる。このことを踏まえて、基準点付近の
比較的位置ずれが少ない部分の位置ずれの大きさを複数
抽出し、基準点からの距離と位置ずれの大きさの関係を
求める。この関係を用いて、ある罫線における位置ずれ
および補正する罫線補正領域の範囲を求める。この罫線
補正領域内の画素を検出し、補正を行うことにする。

【００９４】図１０は、入力した画像データと既存の様
式を重ね合わせた際の基準点５００付近の拡大図であ
る。基準点５００付近の位置ずれを検出する所定の検出
領域１０００において、罫線情報ファイル１０６に格納
されている縦罫線１００１と入力した画像データとを重
ね合わせる。罫線補正領域１００２は、縦罫線１００１
を中心として一定幅である。この罫線補正領域内におい
て、画像データ上に画素が存在するか検出し、縦罫線を
補正する。この方法としては、特願平６−２７４４３号
公報「表認識方式」に開示されている方法を用いる。ま
ず、補正前の縦罫線１００１と補正された縦罫線１００
３の位置ずれの大きさを求める。ここで、罫線１００１
の始点１００４においての位置ずれの大きさは、位置ず
れベクトル１００５であり、その位置ずれの大きさのＸ
方向成分Ｘｚを求める。つぎに、基準点５００を原点
（０，０）として、位置ずれを求めた位置である罫線１
００１の始点１００４までのＸ方向の距離Ｘｄを求め
る。このようにして、検出領域１０００内における縦罫
線および横罫線の始終点全てにおいて、位置ずれの大き
さＸｚおよび位置ずれの距離Ｘｄを求める。求めた位置
ずれの大きさＸｚと位置ずれ距離Ｘｄを次式に当ては
め、ＸｚとＸｄの関係を表わす定数Ｃの値を求める。

【００９５】

【数５】

【００９６】入力した画像データの基準点５００付近の
検出領域１０００内の縦罫線、横罫線の始終点全てにお
いてＣの値を求め、その平均を求める。この値を用い
て、画像データ上の罫線における始終点の位置ずれの大
きさを推定する。

【００９７】求めたい罫線の始点、あるいは終点の座標
値を上式に当てはめることにより、ある罫線における位
置ずれの大きさを推定することができる。つまり、基準
点５００からの距離が離れている罫線の補正を行う場
合、基準点５００からその罫線の始点、あるいは終点ま
での距離を上式に当てはめ、位置ずれの大きさを求め
る。その位置ずれと基準点５００付近で設定した一定幅
の罫線補正領域１００２を比較して、その領域より大き
ければ、その罫線における罫線補正領域１００２を位置
ずれの大きさより大きくする。

【００９８】このようにして罫線を補正することで、基
準点５００から遠い距離における認識領域および非罫線
認識領域の抽出においても、罫線を抽出し残すことな
く、対応することが可能となる。

【００９９】

【発明の効果】以上述べたように、イメージスキャナな
どの入力装置を用いて入力した画像データにおいて、少
なくとも２つの罫線を抽出することにより、様式の基準
点を示すマークが与えられていない様式、複数の記入枠
から構成されている様式、非罫線認識領域を含む様式な
どを容易に識別することが可能になる。また、様式の識
別において、罫線を補正する範囲を基準点からの距離に
応じて変更する方法を用いることで、既存様式との位置
ずれなどが生じた画像データに対しても、罫線の補正お
よび認識領域、非罫線認識領域の抽出が容易に可能とな
る。

【図面の簡単な説明】

【図１】機能ブロック図。

【図２】画像データ解析の流れ図。

【図３】様式解析の流れ図。

【図４】基準点、傾きの抽出を示す図。

【図５】傾きのある画像データを示す図。

【図６】基準点の位置ずれと傾きの補正を示す図。

【図７】罫線情報ファイルを示す図。

【図８】仮想罫線補正図。

【図９】位置ずれが生じた画像データを示す図。

【図１０】罫線補正領域の検出範囲を示す図。

【符号の説明】

１００…画像データ解析部、１０１…スキャナ、１
０２…画像記憶装置、１０３…画像入力制御部、１
０４…画像データ格納領域、１０５…書式情報記憶部、
１０６…罫線情報ファイル、１０７…様式解析部、
１０８…文字認識部、１０９…表示・印刷部、
１１０…プリンタ、１１１…ＣＲＴ。

Claims

【特許請求の範囲】

【請求項１】イメージ入力装置を用いて画像データとし
て入力された罫線、文字で構成される表様式に対して、
予め登録してある登録様式の書式情報を用いて、前記表
様式の構造の解析を行う様式解析方法において、前記画
像データの少なくとも２本の直交している罫線の位置情
報を抽出し、抽出した罫線の位置情報を用いて所定の基準点と傾きを
求め、求めた基準点と傾きの情報を基に、前記登録様式との比
較を行い、整合性をチェックすることにより、前記表様
式を解析することを特徴とする様式解析方法。
【請求項２】請求項１に記載の様式解析方法において、複数の登録様式と読み込んだ画像データの書式を比較
し、整合性をチェックすることにより、複数の様式から最も
類似した様式を選択することを特徴とする様式解析方
法。
【請求項３】請求項１または２に記載の様式解析方法に
おいて、前記画像データのうち認識の対象となる文字記入領域で
ある認識領域のうち、罫線で囲まれた認識領域に関し
て、登録書式情報上の罫線位置と読み込んだ画像データ
上の罫線との部分的な位置ずれを抽出し、罫線位置を画
像データに合わせて補正し、認識領域を抽出、認識する
ことを特徴とする様式解析方法。
【請求項４】請求項１乃至３のいずれかに記載の様式解
析方法において、罫線で囲まれていない認識領域である非罫線認識領域を
含む様式については、登録書式情報中に非罫線認識領域
を基準点からの相対位置で設定することにより、認識領
域を抽出することを特徴とする様式解析方法。
【請求項５】請求項４に記載の様式解析方法において、
読み込まれた画像データの傾き、歪などが生じた場合、
非罫線認識領域に近接する罫線の位置ずれを抽出し、該
認識領域に対して、抽出した近接する罫線の位置ずれを
基に、認識領域位置を補正し、抽出、認識することを特
徴とした様式解析方法。
【請求項６】請求項１乃至５のいずれかに記載の様式解
析方法において、罫線の位置ずれチェックおよび補正する許容範囲を画像
データから抽出した様式の基準点と罫線との距離に応じ
て、変更することを特徴とした様式解析方法。