JPH1040333A - 帳票認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 帳票認識装置において、帳票の傾きや破線の
罫線が存在しても、信頼性の高い認識装置を提供するこ
とを目的とする。 【解決手段】 画像入力手段１により帳票を読取り、２
値画像に変換し画像メモリ２に記憶し、第１の罫線抽出
手段３により２値画像を水平及び垂直方向の実線の罫線
を抽出後、罫線のコーナーを検出し、構成要素検出手段
５によりコーナー形状の組合わせから罫線の構成要素を
検出し、矩形検出手段６により構成要素同士を連結し枠
構造情報を生成し、第２の罫線抽出手段７により破線を
繋ぎの同様に罫線を抽出後、罫線のコーナーを検出し、
枠構造照合手段１０により枠構造情報とフォーマット情
報とを照合し帳票の種別を判別し、第２のコーナー検出
手段８からのコーナー点情報を基に実線と破線との交点
を検出し、帳票内の文字読取り対象枠を検出し、その座
標に基づき文字領域を切出し、文字を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、帳票のような枠罫
線と文字を含む文書画像において枠罫線の構造を認識
し、帳票内の特定の文字領域を切り出し文字を認識する
ための帳票認識装置に関する。

【０００２】

【従来の技術】近年、文書情報の電子化に伴い、ＯＣＲ
（Optical Character Reader）を初めとする文字認識技
術や文書画像処理に対する要望が高まっており、帳票な
ど表形式文書の表構造認識技術もそのひとつである。

【０００３】従来、帳票の枠罫線認識として、枠線のラ
ン長で線分を検出する方法が良く知られており例えば特
開平０１−２１７５８３号公報があり、その罫線認識装
置のブロック結線図を図３１に示し説明する。図３１に
おいて、１００１は画像入力部、１００２は画像メモ
リ、１００３は縦方向ランを抽出する縦方向ラン抽出
部、１００４は縦方向線分を抽出する縦方向線分抽出
部、１００５は横方向ランを抽出する横方向ラン抽出
部、１００６は横方向線分を抽出する横方向線分抽出
部、１００７は抽出された縦方向線分と横方向線分を用
いて文字領域を抽出する文字領域抽出部であり、その動
作を以下に説明する。

【０００４】画像入力部１００１は、認識対象罫線を含
む画像を走査し２値信号で画像メモリ１００２に格納す
る。縦方向ラン抽出部１００３は、画像メモリ１００２
に格納されている画像を縦方向に走査して縦方向ランを
抽出する。縦方向線分抽出部１００４は、抽出された縦
方向のランの連結性を調べ縦方向線分を抽出する。同様
の処理により、横方向ラン抽出部１００５で横方向ラン
を抽出し、横方向線分抽出部１００６で横方向線分を抽
出する。

【０００５】文字領域抽出部１００７は、縦方向線分抽
出部１００４で抽出された縦方向線分と横方向線分抽出
部１００６で抽出された横方向線分を用いて文字領域お
よび文字記入領域を抽出するものである。

【０００６】また、切り出された文字の認識方法につい
ては、各種方式が提案されており、例えばニューラルネ
ットを用いた文字認識法（”ＰＤＰモデルによる手書き
漢字認識”、電子情報通信学会論文誌、Vol.J73-D-II,
No.8 pp.1268-1274 1990）があり、認識率も実用的なと
ころまできているが、今回は帳票認識装置ということで
帳票の指定枠の認識処理を中心としているので文字認識
に関しては上記文献を提示し説明は省略するものとす
る。

【０００７】

【発明が解決しようとする課題】しかしながら上記の従
来の構成では、第１の課題として、帳票が画像として傾
いて読み取られた場合はラン長で枠罫線を認識すること
が難しく、また枠罫線が破線の場合は文字枠として検出
する事ができないという問題があった。

【０００８】さらに、第２の課題として、枠罫線が汚れ
等により断線したりあるいはコーナが直角ではなく丸み
を持ったコーナの場合、ラン長による枠罫線の認識がで
きないという問題があった。

【０００９】本発明は、前記従来技術の課題を解決する
もので、帳票画像が傾いて入力された場合や、帳票に破
線の枠罫線や断線あるいは丸みを持ったコーナが存在し
ても、文字枠を正確に検出することのできる信頼性の高
い帳票認識装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】この第１の課題を解決す
るために本発明は、帳票を読み取り２値画像を得る画像
入力手段と、２値画像を記憶する画像メモリと、２値画
像の水平、垂直方向の実線の罫線を抽出する第１の罫線
抽出手段と、２値画像の水平、垂直方向の実線及び破線
の罫線を抽出する第１の罫線抽出手段と、２値図形のコ
ーナーを検出する第１及び第２のコーナー検出手段と、
コーナー形状の組み合わせから罫線の屈曲や交差による
Ｌ字要素、Ｔ字要素、十字要素を検出する構成要素検出
手段と、構成要素同士を連結し連結形態を枠構造情報と
して出力する矩形検出手段と、複数の帳票のフォーマッ
ト情報を記憶するフォーマット情報記憶手段と、帳票内
の矩形構造と前記フォーマット情報を照合し帳票の種別
を判別し、前記第２のコーナー検出手段からのコーナー
点情報をもとに実線と破線からなる罫線同士の交点を検
出し、帳票内の文字読み取り対象枠を検出する枠構造照
合手段と、前記文字読み取り対象枠の文字領域を切り出
す文字切り出し手段と、切り出された文字を認識する文
字認識手段とを設けたものである。

【００１１】また、第２の課題を解決するために本発明
は、構成要素検出手段として、第１のコーナー検出手段
からのコーナーの組み合わせから罫線の屈曲や交差に罫
線の断線を加えＩ字要素を検出し、さらに断線同士の構
成要素あるいは断線と他の構成要素（Ｌ字要素、Ｔ字要
素）とのグルーピングにより、Ｌ字要素、Ｔ字要素及び
十字要素の構成要素に更新するようにしたものである。

【００１２】これにより、帳票が画像として傾いて入力
されたり、帳票内に破線の罫線や断線あるいは丸みを持
ったコーナが存在しても、文字枠を正確に検出でき、信
頼性の高い帳票認識装置が実現できる。

【００１３】

【発明の実施の形態】本発明の請求項１記載の発明は、
枠罫線と文字を含む帳票文書を読み取り２値画像を出力
する画像入力手段と、前記２値画像を記憶する画像メモ
リと、前記２値画像において水平、垂直方向の実線の罫
線を抽出する第１の罫線抽出手段と、実線の罫線からな
るパターンのコーナーを検出する第１のコーナー検出手
段と、前記２値画像において水平、垂直方向の実線及び
破線の罫線を抽出する第２の罫線抽出手段と、枠罫線か
らなるパターンのコーナーを検出する第２のコーナー検
出手段と、コーナー形状の組み合わせから罫線の屈曲や
交差によるＬ字要素、Ｔ字要素、及び十字要素を検出す
る構成要素検出手段と、構成要素同士を連結し連結形態
を枠構造情報として出力する矩形検出手段と、予め読み
取り対象となる複数の帳票のフォーマット情報を記憶す
るフォーマット情報記憶手段と、前記枠構造情報と前記
フォーマット情報とを順次照合し実線枠を検出すると共
に、照合結果から帳票の種別を判別し、前記第２のコー
ナー検出手段からのコーナーと前記フォーマット情報と
から実線枠で指定された対象枠と破線との交点である破
線交点を検出し、対象枠の座標を出力する枠構造照合手
段と、前記対象枠の座標に基づき前記画像メモリから文
字領域を切り出す文字切り出し手段と、切り出された文
字を認識する文字認識手段とを具備する帳票認識装置と
したものであり、帳票の２値画像から実線及び破線の罫
線を抽出し、その罫線からなるパターンのコーナー点を
抽出し、コーナー点から枠罫線交点である構成要素を抽
出し、相互に連結された構成要素から矩形構造を検出
し、フォーマット情報と比較照合することにより、帳票
が傾いて読み取られた場合や、帳票に破線の罫線が存在
していても、読み取り対象の文字枠を正確に検出できる
という作用を有する。

【００１４】本発明の請求項３記載の発明は、構成要素
検出手段として、第１のコーナ検出手段からのコーナー
の組み合わせから罫線の断線としてＩ字要素を新たに検
出し、Ｉ字要素同士のグルーピング、あるいはＩ字要素
とＬ字要素、及びＴ字要素とのグルーピングにより、Ｌ
字要素、Ｔ字要素あるいは十字要素の構成要素を更新す
ることを特徴とし、枠罫線の断線や帳票枠の角部分が緩
やかな曲率を持っている場合にも、構成要素を正確に検
出できるという作用を有する。

【００１５】以下、本発明の実施の形態について、図１
から図３０を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１の帳票
認識装置のブロック構成図を示し、１は帳票文書を読み
取り２値画像を得る画像入力手段、２は前記２値画像を
記憶する画像メモリ、３は２値画像の水平、垂直方向の
実線の罫線を抽出する第１の罫線抽出手段、４は実線の
罫線のコーナーを検出する第１のコーナー検出手段、５
は前記コーナーの組み合わせから罫線の屈曲や交差によ
るＬ字要素、Ｔ字要素、及び十字要素を検出する構成要
素検出手段、６は構成要素同士を連結し枠構造情報とし
て出力する矩形検出手段と、７は前記２値画像において
水平、垂直方向の実線及び破線の罫線を抽出する第２の
罫線抽出手段、８は前記実線及び破線の枠罫線のコーナ
ーを検出する第２のコーナー検出手段、９は予め読み取
り対象となる複数の帳票のフォーマット情報を記憶する
フォーマット情報記憶手段、１０は前記枠構造情報と前
記フォーマット情報とを順次照合し実線枠を検出すると
共に、照合結果から帳票の種別を判別し、前記第２のコ
ーナー検出手段からのコーナーと前記フォーマット情報
とから実線枠で指定された対象枠と破線との交点である
破線交点を検出し、対象枠の座標を出力する枠構造照合
手段、１１は文字読み取り対象枠の文字領域を切り出す
文字切り出し手段、１２は切り出された文字を認識する
文字認識手段である。

【００１６】以上のように構成された帳票認識装置につ
いて、その動作の概要を説明する。画像入力手段１によ
り帳票を読み取り、文字部及び枠罫線部が値１、背景が
値０をもつ２値画像に変換し画像メモリ２に記憶する。
第１の罫線抽出手段３は、画像メモリ２からの２値画像
を水平及び垂直方向に走査し所定長以上の値”１”が連
続する線を抽出し、第１のコーナー検出手段４により水
平及び垂直の罫線からのコーナーを検出する。構成要素
検出手段５は、第１のコーナー検出手段４からのコーナ
ーの組み合わせから罫線の屈曲部や交差部のＬ字要素、
Ｔ字要素、及び十字要素の構成要素を検出する。矩形検
出手段６は、構成要素検出手段５からの構成要素同士を
相互に連結し枠構造情報を得る。

【００１７】第２の罫線抽出手段７は、前記２値画像の
水平、垂直方向の実線及び破線の罫線を抽出し、第２の
コーナー検出手段８により実線及び破線の枠罫線からコ
ーナーを検出する。

【００１８】フォーマット情報記憶手段９は、予め読み
取り対象となる複数の帳票のフォーマット情報を記憶す
る。枠構造照合手段１０は、構成要素検出手段５からの
枠構造情報と前記フォーマット情報を照合し帳票の種別
を判別し、枠構造情報から実線枠を検出すると共に、第
２のコーナー検出手段８からのコーナーと前記実線枠お
よび前記フォーマット情報から実線と破線との交点を検
出し、実線枠とその実線枠と破線との交点から帳票内の
対象枠を検出する。文字切り出し手段１１は、読み取り
対象枠の４頂点の座標に基づき文字領域を切り出し、文
字認識手段１２により切り出された領域から文字を認識
するものである。

【００１９】次に図１に基づいて、各構成要素の動作を
詳細に説明する。画像入力手段１は、帳票を読み取り２
値画像を出力するもので、本発明の実施の形態１では読
み取り線密度を約４００ｄｐｉ程度とし、原稿である帳
票にＬＥＤ（発光ダイオード）等で照明しその反射光を
一次元のＣＣＤカメラで読み取り、任意の閾値で２値化
して文字部を値１、背景を値０の２値画像を出力する。

【００２０】また、照明は、原稿である帳票の枠線や記
入された文字の色によって異なるが、例えば青・黒およ
び赤等の枠線に対して、黒や青等で数字や記号および文
字が記入された場合、緑あるいは黄緑の波長（５５０〜
５７０ｎｍ付近）のＬＥＤを用いることが多い。２値化
処理においては、固定閾値法や浮動閾値法（”認識問題
としての二値化と各種方法の検討”、情報処理学会、イ
メージプロセッシング15-1, Nov. 1977）が良く知られ
ており、本発明の実施の形態１では２値化処理法につい
ては特に言及するものではないので、原稿に合わせて任
意の２値化処理法を選択すればよい。このように２値化
された画像データは画像メモリ２に格納され、各処理で
必要に応じて読み出される。

【００２１】次に第１の罫線抽出手段３について図２を
用いて説明する。図２は、第１の罫線抽出手段３におけ
る画像処理のブロック構成図を示し、２０は画像メモリ
２からの２値画像、２１は水平方向にパターンを縮める
水平方向収縮手段、２２は水平方向にパターンを延長す
る水平方向延長手段、２３は垂直方向にパターンを縮め
る垂直方向収縮手段、２４は垂直方向にパターンを延長
する垂直方向延長手段、２５は水平方向延長手段２２と
垂直方向延長手段２４の出力のＮＯＲ演算を行うＮＯＲ
回路である。

【００２２】水平方向収縮手段２１は、画像メモリ２か
らの２値画像２０に対し、水平方向にｈ画素縮めること
により、水平方向にｈ画素以下の幅の線や文字を消滅さ
せるものである。続く水平方向延長手段２２は、水平方
向にｈ画素延長することによりｈ画素より長い水平線分
のみを抽出する。

【００２３】同様に、垂直方向収縮手段２３は、垂直方
向にｖ画素縮めることにより、垂直方向にｖ画素以下の
幅の線や文字が消滅させるものである。続く垂直方向延
長手段２４は、垂直方向にｖ画素延長することによりｖ
画素より長い垂直線分を抽出する。ＮＯＲ回路２５は、
水平方向延長手段２２と垂直方向延長手段２４からの出
力をＮＯＲ演算を行い、文字部が消去され枠罫線のみが
残り、枠罫線及び背景がそれぞれ”０”及び”１”の値
をもつ２値画像が得られる。

【００２４】次に、水平及び垂直方向の収縮及び延長処
理について図３及び図４を用いてさらに詳細に説明す
る。

【００２５】図３は、水平及び垂直方向収縮手段２１及
び２３の処理手順を示すフロー図で、２値画像を水平方
向または垂直方向に１ラインずつ順次走査し終了ライン
まで処理を行い、各ライン毎にｎ画素の収縮処理を行う
とき、ランレングスのカウント値をＣとし、ステップ毎
に説明する。

【００２６】ステップ３１は、各ラインの走査開始時に
カウント値Ｃに０を設定する。ステップ３２は、１画素
データを読み込む。ステップ３３は、画素の値が０
（白）か１（黒）かを判定し、０のときステップ３４
へ、１のときステップ３６に進む。ステップ３６は、カ
ウント値Ｃに０を設定する。ステップ３５は、黒ランで
はないので値０を出力する。ステップ３６は、カウント
値Ｃがｎ以上かどうかの判定を行い、ｎ未満のときステ
ップ３７へ、ｎ以上のときステップ３８に進む。ステッ
プ３７は、カウント値Ｃをインクリメントしステップ３
５に進む。ステップ３８は、ｎ画素以上のランレングス
をもつ黒ランが存在するので値１を出力する。

【００２７】以上の処理を１ラインの終了まで行うこと
により、そのライン上の黒ランがｎ画素縮められる。次
のラインを処理するときは再びステップ３１から同様の
処理を繰り返す。このようにして全画面の走査が終了す
ると、水平または垂直方向にｎ画素以上のランレングス
を有する線分が抽出される。

【００２８】同様に図４は、水平及び垂直方向延長手段
２２及び２４の処理手順を示すフロー図で、２値画像を
水平方向または垂直方向に１ラインずつ順次走査し終了
ラインまで処理し、各ライン毎にｎ画素の延長処理をお
こなうとき、ランレングスのカウント値をＣとし、各ス
テップ毎に説明する。

【００２９】ステップ４１は、各ラインの走査開始時に
カウント値Ｃに０を設定する。ステップ４２は、１画素
データを読み込む。ステップ４３は、画素の値が０
（白）か１（黒）かを判定し、１のときステップ４４
へ、０のときはステップ４６に進む。ステップ４４は、
カウント値Ｃにｎを設定する。ステップ４５は、黒ラン
上にあるので値１を出力する。

【００３０】ステップ４６は、カウント値Ｃが０以下か
どうかの判定を行い、０より大きい場合ステップ４７
へ、０以下のときステップ４８へ進む。ステップ４７
は、カウント値Ｃをデクリメントし、さらにステップ４
５へ進む。ステップ４８は、その走査位置は黒ランから
ｎ画素より大きく離れているので値０を出力する。

【００３１】以上の処理を１ラインの終了まで行うこと
により、そのライン上の黒ランがｎ画素延長される。次
のラインを処理するときは再びステップ４１から同様の
処理を繰り返す。このようにして全画面の走査が終了す
ると、水平または垂直方向にランレングスがｎ画素分だ
け延長される。

【００３２】次に第１のコーナー検出手段４、構成要素
検出手段５、及び矩形検出手段６における一連の処理に
ついて説明するが、これらの内容は同一出願人により特
願平７−０１６８６２号に記載されており詳細な説明は
省略し、その動作を簡単に説明する。

【００３３】まず第１のコーナー検出手段４について図
５から図７を用いて説明する。図５は、コーナーを検出
するための前処理として、第１の罫線抽出手段で抽出さ
れた２値画像の実線の罫線の輪郭に方向コードを付与し
た方向コード化画像に変換した結果を示す。図６は、方
向コード１〜８と実際の方向の対応関係を示す図であ
り、図７は検出するコーナーの具体例を示す図である。

【００３４】図５において、５１は枠罫線の画素、５２
は背景の画素、数字は輪郭点に付与された方向コードを
それぞれ示しており、この場合背景パターンを右回りの
方向に輪郭を追跡しながら図６に示す方向コード１〜８
を割り当てている。

【００３５】なお、背景画素に方向コードを付与したが
枠罫線の輪郭画素に付与しても良く、また背景パターン
を右回りの方向に輪郭を追跡しているが、左回りに追跡
しても良い。

【００３６】コーナーの検出は、このように方向コード
化画像から方向コードの変化点、すなわちコーナーを検
出する。このために３×３近傍において、注目位置（中
央画素）コードが指示する方向に、中央画素と同一の方
向コードでない方向コードを持つ画素を検出する。図５
において、丸で囲まれた位置は方向コードの変化点を示
している。例えば５３の位置では、図７（ａ）に示す画
素配置となっており、注目画素の指示する方向”３”の
示す位置にある画素の方向コードは”１”となってお
り、輪郭の方向が”３”から”１”へ変化することを意
味するので方向コードの変化点であるコーナーとして検
出する。

【００３７】また、方向コードの変化点は、”３１”と
いうコード（以下方向変化コードと呼ぶ）で表記し、ｘ
座標、ｙ座標と方向変化コードを１組の特徴情報として
検出する。同様に画素位置５４、５５、５６は図７の
（ｂ）、（ｃ）、（ｄ）に対応しており、それぞれ”１
７”、”７５”、”５３”という方向変化コードが与え
られ、これらのコーナー点の持つｘ座標、ｙ座標、方向
変化コードを１組の特徴情報として構成要素検出手段５
へ通知する。

【００３８】次に構成要素検出手段５について図８と図
９を用いて説明する。図８は、コーナー点の組み合わせ
から構成要素を検出するための判定条件を示す図で、図
９は構成要素の記述形式を示す図である。図８におい
て、（ａ）（ｂ）（ｃ）（ｄ）はＬ字要素の検出例、
（ｅ）（ｆ）（ｇ）（ｈ）はＴ字要素の検出例、（ｉ）
は十字要素の検出例を示している。

【００３９】構成要素検出手段５は、コーナー検出手段
４からのコーナーの特徴情報を用いて、ｘ座標、ｙ座標
が所定の距離以内にある複数のコーナー点を一つのグル
ープにまとめる処理（以下グループ化と呼ぶ）を行い、
グループのメンバーであるコーナー点の方向変化コード
の組み合わせから、構成要素の種類が対応付けられる。

【００４０】このようにして検出された構成要素は、図
９に示すように４ビットのコード（以下形状コードとよ
ぶ）で記述され、各ビットは上位からＳ、Ｗ、Ｎ、Ｅの
いずれの方向に腕が存在するかを示している。例えば図
８（ａ）に示すＬ字要素はＳ方向とＥ方向に腕を有して
いるので、”１００１”のビットパターンで記述され
る。構成要素のｘ座標及びｙ座標には、グループのメン
バーであるコーナー点のｘ座標及びｙ座標の平均値を与
えるものとし、構成要素検出手段５は前記構成要素のｘ
座標、ｙ座標、及び形状コードを特徴情報として、矩形
検出手段６に通知する。

【００４１】次に矩形検出手段６について図１０及び図
１１を用いて説明する。図１０は、構成要素同士の連結
関係を示す図であり、図１１は前記の連結関係から生成
された最小矩形の認識を示す図である。矩形検出手段６
は、矩形情報としてこれら構成要素の連結関係を記述し
た連結テーブル（図１０（ｂ））、および構成要素の連
結関係から構成される最小矩形の位置情報を記述した矩
形情報テーブル（図１１（ｂ））を生成出力するもので
ある。

【００４２】図１０（ａ）は、構成要素検出手段５にお
いて検出されたＬ字要素、Ｔ字要素、十字要素とその位
置関係の一例を示すものである。まず、各構成要素に対
し識別ラベルe1からe20を付与し、次に構成要素検出手
段５からの特徴情報（ｘ座標、ｙ座標、形状コード）に
基づき、形状コードの示す腕の各方向についてｘ方向と
ｙ方向とをそれぞれ探索し、連結可能な腕をもつ構成要
素のうち最短距離にあるものを検出し、連結テーブル
（図１０(ｂ)）を生成する。図１０（ｂ）は、構成要素
の連結関係を示す連結テーブルを示すもので、各構成要
素がどの要素と連結するかをＮ、Ｓ、Ｅ、Ｗの各方向に
ついて記述している。例えば、Ｌ字要素e1の場合は、腕
Ｓ及びＥに対応する構成要素としてe14及びe2が存在
し、Ｔ字要素e2の場合は腕Ｓ、Ｗ、及びＥに対応する構
成要素としてe8、e1、及びe3が存在することになる。

【００４３】さらに生成した連結テーブル（図１０
(ｂ)）を用いて、最小矩形を認識して矩形情報テーブル
を生成する。図１１（ａ）は、最小矩形の認識の概念図
を示すもので、ある構成要素を始点としてＥ方向、Ｓ方
向、Ｗ方向、Ｎ方向の順に連結をたどっていき、始点に
戻ることができれば、その４点で構成される矩形を最小
矩形と呼び、図１１（ｂ）に示す最小矩形の位置、サイ
ズ等を記述した矩形情報テーブルに登録する。例えば、
要素e1を始点とし時計方向回りに探索した場合は、Ｅ方
向に連結する要素として要素e2が存在する。次に要素e2
が持つＳ方向に連結をたどって要素e8を参照し、次に要
素e8からＷ方向に連結をたどろうとするが、要素e8はＷ
方向の腕を持っていないので、さらにＳ方向に連結をた
どると、Ｗ方向の腕を持った要素e15が存在する。次に
要素e15からＷ方向に要素e14をたどり、要素e14からＮ
方向にたどると始点の要素e1に戻り最小矩形として認識
することができる。そして、Ｅ，Ｓ，Ｗ，Ｎと方向を変
えながら連結している４つの要素e1、e2、e15、e14を最
小矩形の角の４点として、図１１（ｂ）の矩形情報テー
ブルの矩形識別ラベルｒ１の項目に登録し、すべての最
小矩形を認識し矩形情報テーブルを生成する。

【００４４】なお、要素ｅ１を始点として設定したが、
限定するものではなくどの位置を始点にしても良く、ま
た右回りに連結したが左回りに連結しても良い。

【００４５】このようにして生成された連結テーブル及
び矩形情報テーブルを枠構造照合手段１０に通知する。

【００４６】次に、第２の罫線抽出手段７について図１
２を用いて説明する。図１２は、第２の罫線抽出手段７
における画像処理のブロック構成図を示し、２０は画像
メモリ２からの２値画像、２０１は水平方向にパターン
を延長する第１の水平方向延長手段、２０２は水平方向
にパターンを縮める水平方向収縮手段、２０３は水平方
向にパターンを延長する第２の水平方向延長手段、２０
４は垂直方向にパターンを延長する第１の垂直方向延長
手段、２０５は垂直方向にパターンを縮める垂直方向収
縮手段、２０６は垂直方向にパターンを延長する第２の
垂直方向延長手段、２０７は第２の水平方向延長手段２
０３と第２の垂直方向延長手段２０６の出力のＮＯＲ演
算を行うＮＯＲ回路である。

【００４７】第１の水平方向延長手段２０１は、画像メ
モリ２からの２値画像２０に対し、水平方向にｈｄ画素
延長することによりｈｄ画素より間隔の短い破線部分を
連結する。水平方向収縮手段２０２は、水平方向に（ｈ
＋ｈｄ）画素縮めることにより、水平方向に（ｈ＋ｈ
ｄ）画素以下の幅の線や文字を消滅させ、続く第２の水
平方向延長手段２０３において水平方向にｈ画素延長す
ることにより、ｈｄ画素以下の間隔で、かつｈ画素より
長い水平線分を抽出する。

【００４８】同様に第１の垂直方向延長手段２０４は、
画像メモリ２からの２値画像２０に対し、垂直方向にｖ
ｄ画素延長することによりｖｄ画素より間隔の短い破線
部分を連結する。垂直方向収縮手段２０５は、垂直方向
に（ｖ＋ｖｄ）画素縮めることにより、垂直方向に（ｖ
＋ｖｄ）画素以下の幅の線や文字を消滅させ、続く第２
の垂直方向延長手段２０６において垂直方向にｖ画素延
長することにより、ｖｄ画素以下の間隔でかつｖ画素よ
り長い垂直線分を抽出する。

【００４９】ＮＯＲ回路２０７は、第２の水平方向延長
手段２０３と第２の垂直方向延長手段２０６の出力のＮ
ＯＲ演算を行い、文字が消去され破線部分が実線になっ
た枠罫線のみが残り、枠罫線及び背景がそれぞれ”０”
及び”１”の値をもつ２値画像２０８が得られる。

【００５０】また、第１及び第２のの水平及び垂直方向
延長手段２０１、２０３、２０４、２０６は、第１の罫
線抽出手段３の水平及び垂直方向延長手段２２及び２４
と同じ処理をするものであり、水平及び垂直方向収縮手
段２０２及び２０５は、第１の罫線抽出手段３の水平及
び垂直方向収縮手段２１及び２３と同じ処理をするもの
であり詳細な説明は省略する。

【００５１】第２のコーナー検出手段８の処理は、第１
のコーナー検出手段４と同じであり、前記第２の罫線抽
出手段からの実線と破線部分のコーナー点情報を出力す
るもであるので説明は省略する。

【００５２】次にフォーマット情報記憶手段９について
図１３及び図１４を用いて説明する。図１３（ａ）は入
力された帳票５００の画像、図１３（ｂ）は第１の罫線
抽出手段３の出力画像、図１３（ｃ）は第２の罫線抽出
手段７の出力画像を各々示している。フォーマット情報
記憶手段９には図１３（ｂ）に示す実線の枠構造情報、
及び破線で区切られた枠構造情報が格納されており、例
えば図１３に示す帳票に対しては図１４に示すフォーマ
ットが対応する。

【００５３】図１４において、ＩＤ番号１は枠５０１、
ＩＤ番号２は枠５０２というように各実線枠と１対１に
対応しており、各実線枠内に破線枠が存在するときは、
破線フラグが”１”になっており、当該実線枠の桁数が
設定されている。また、対象枠フラグが”１”の場合に
は、該実線枠および破線枠を対象枠として文字切り出し
手段に通知する対象枠である。図１３（ｂ）の帳票５０
０においては、枠５０２に５桁、枠５０４に３桁、枠５
０５に３桁破線枠が存在し、対応する図１４にはＩＤ番
号２、４、及び５の位置に桁数として５、３、及び３が
設定されている。図１４において、ｘ、ｙ座標は、各実
線枠の左上、右上、右下、左下の順に登録されており、
さらに各実線枠の幅と高さが登録されている。また図１
４における許容値は、枠構造を照合する際の枠の幅と高
さの誤差許容範囲を示すものである。

【００５４】また、フォーマット情報記憶手段９には、
複数の帳票の枠構造情報が登録されており、それぞれ帳
票はレコード番号で識別される。

【００５５】次に枠構造照合手段１０について図１５を
用いて説明する。枠構造照合手段１０は、まず図１４に
示したフォーマット情報を参照して入力された帳票の実
線枠構造を認識し、対象フラグが”１”の場合に、前記
実線枠と図１３（ｃ）の○印で示す位置のコーナー点情
報とを基に、破線の交点位置を確定して、実線枠および
破線枠の４角の点の座標を文字切り出し手段１１に通知
するものである。

【００５６】図１５は、枠構造照合手段１０における処
理手順を示すフロー図であり、各ステップ毎に説明す
る。

【００５７】まずステップ５１１は、矩形検出手段６か
ら枠構造情報である連結テーブル及び矩形情報テーブル
を読み込む。ステップ５１２は、読み込んだ連結テーブ
ルから連結している構成要素の傾きの平均値を画像の傾
き値ｇｒａｄとして（数１）によって算出する。

【００５８】

【数１】

【００５９】ここでは、水平方向に連結している構成要
素の傾きの平均値を画像の傾き値として用いたが、画像
の傾きがわかるのであれば、他の手法でもかまわない。

【００６０】次に５１３〜５１８のステップは、フォー
マット情報記憶手段９に登録されている複数の帳票の中
から、矩形検出手段６からの枠構造情報と最も類似して
いる帳票を判別する処理である。まず、ステップ５１３
でフォーマット情報記憶手段９からレコード番号（ｉ）
の枠構造情報を取り出す。

【００６１】次に、ステップ５１４で枠構造情報（ｉ）
と連結テーブル及び矩形情報テーブルとの実線枠照合及
び“累積枠相違度”の算出を行う。ここで、“累積枠相
違度”とは、枠毎に求めた“枠相違度”を累積加算し帳
票全体の相違度を表したものである。“枠相違度”と
は、枠構造情報の枠と読み取られた帳票の枠同士を対応
づけた時の枠形状の“違い”を表すもので、互いの枠の
形状の差が大きほど“枠相違度”が大きくなるように定
義する。すなわち、枠構造情報と読み取られた帳票のフ
ォーマットの差が大きいほど“累積枠相違度”も大きく
なる。

【００６２】なお、ここで、枠構造の照合に枠形状の
“違い”を表す枠相違度および累積枠相違度を用いた
が、枠形状の“一致”を表す枠一致度および累積枠一致
度を用いても良い。

【００６３】ステップ５１５は、ステップ５１４で算出
された累積枠相違度を、今までに算出されている累積枠
相違度の中で最小の値（以下、最小累積枠相違度と呼
ぶ）と比較し、小さい場合はステップ５１６に進み、大
きい場合は、ステップ５１３に戻る。ステップ５１６
で、現在の累積枠相違度を最小累積枠相違度とし、基準
フォーマットのレコード番号（ｉ）、認識枠テーブルを
記録更新する。ステップ５１７は、レコード番号ｉとフ
ォーマット情報に登録されている帳票の数ｎとを比較
し、ｉ≧ｎならステップ５１８に、ｉ＜ｎならｉ＝ｉ＋
１しステップ５１３に戻る。

【００６４】ステップ５１８は、最小累積枠相違度が予
め設定したしきい値よりも小さければ認識枠テーブルを
そのまま出力し、大きければ基準フォーマットの中に対
応する帳票がなかったとして出力する。ステップ５１９
は、認識した実線枠の中で対応するフォーマット情報の
テーブル対象枠フラグが”１”となっている実線枠の４
点の座標を基に、フォーマット情報から推定した破線の
交点の位置の近傍領域から第２のコーナー検出手段から
の実在のコーナー点を探索し破線交点を検出する。

【００６５】次に、ステップ５２０は、帳票内の対象枠
の検出処理で、実線枠の４角の座標と破線交点の位置か
ら、実線と破線で構成されている枠の４角の座標を算出
し対象枠として文字切り出し手段１１に通知する。例え
ば、図２３（ｂ）の実線枠７２０は４本の破線によって
５つの枠７２１〜枠７２５で構成されている。実線枠７
２０の座標をそれぞれ左上点、右上点、右下点、左下点
の順に（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ
３）、（ｘ４、ｙ４）として、破線交点の上側の座標を
左から順に（ＸＵ０、ＹＵ０）〜（ＸＵ３、ＹＵ３）、
下側の座標を（ＸＬ０、ＸＬ０）〜（ＸＬ３、ＹＬ３）
とすると、通知する５つの対象枠の４角の座標は、枠７
２１が、左上点、右上点、右下点、左下点の順に（ｘ
１、ｙ１）、（ＸＵ０、ＹＵ０）、（ＸＬ０、ＹＬ
０）、（ｘ４、ｙ４）となり、枠７２２が（ＸＵ０、Ｙ
Ｕ０）、（ＸＵ１、ＹＵ１）、（ＸＬ１、ＹＬ１）、
（ＸＬ０、ＹＬ０）となり、その他の枠も図２３（ｃ）
の表のごとく通知される。

【００６６】次に、ステップ５１４の実線枠照合及び
“累積枠相違度”の算出及びステップ５１９の破線交点
の検出について詳細に説明する。

【００６７】ステップ５１４の実線枠照合及び“累積枠
相違度”の算出について、図１６から図１９を用いて詳
細に説明する。図１６は、フォーマット情報記憶手段９
に登録されている枠構造情報と矩形検出手段６からの連
結テーブル及び矩形情報テーブルとを照合し、“累積枠
相違度”を算出する手順を示すフロー図である。図１７
（ａ）は、基準になる帳票の実画像（以下、基準帳票と
呼ぶ）を示し、図１７（ｂ）は、その枠構造情報を示
す。図１８（ａ）は、読み取られた帳票の実画像（以
下、検査帳票と呼ぶ）を示し、図１８（ｂ）は、検査帳
票の連結テーブル、図１８（ｃ）は、矩形情報テーブル
を示す。図１９は探索範囲を示す。また、図２０は実際
の処理の結果を示す。

【００６８】図１６に示す実線枠の照合および累積枠相
違度を求める処理フローに従って、ステップ毎に説明す
る。

【００６９】まず、ステップ５２１は、フォーマット情
報の枠座標を（数２）により、傾き値ｇｒａｄだけ回転
させ傾きを補正する。

【００７０】

【数２】

【００７１】ステップ５２２は、フォーマット情報から
位置あわせの始点とする“始点枠”を取り出し、取り出
す始点枠がない場合は終了する。”始点枠”として、例
えば原点に近い枠から順次選択する。

【００７２】ステップ５２３は、フォーマット情報に記
述された許容値の範囲内で高さと幅が“始点枠”と同じ
枠を“始点候補枠”として矩形情報テーブルから探索す
る。ステップ５２４では、“始点候補枠”が存在するか
どうかの判断を行い、存在しなければステップ５２５に
進み、存在すればその矩形の４点座標を始点候補枠とし
て記憶し、ステップ５２６に進む。ステップ５２５は、
連結テーブルから、図１９（ａ）のように始点枠の４角
の点を中心に所定の探索範囲を設定し、検査帳票の連結
テーブルの全構成要素について探索し、４つの探索範囲
すべてに構成要素が存在する場合に、その４点を始点候
補枠として記憶する。

【００７３】ステップ５２６は、“始点候補枠”が全く
なければ、ステップ５２１に戻りフォーマット情報の次
の枠を“始点枠”として選択してやり直す。

【００７４】例えば、図１７と図１８の帳票の場合に
は、まず図１７（ｂ）をフォーマット情報としてＩＤ番
号ｂ１の枠を始点枠として選択する。次に、ｂ１の枠と
同じサイズの矩形を図１８（ｃ）の矩形情報テーブルか
ら探索すると、ｒ１、ｒ２の矩形がそれぞれ始点候補枠
として選ばれ、図２０（ａ）に示すように記憶される。
仮にｒ１、ｒ２の矩形が存在しない場合には、ｅ１，ｅ
２，ｅ３，ｅ４の構成要素の組み合わせと、ｅ５，ｅ
６，ｅ１０，ｅ９の組み合わせが“始点候補枠”として
選択されて記憶される。

【００７５】次に、“始点候補枠”が存在すれば、次の
５２７〜５３９のステップで、そのすべての“始点枠”
と“始点候補枠”とが重なるように位置あわせを行い、
フォーマット情報と矩形情報テーブルの各枠毎に照合し
枠相違度を求め、累積加算したものを累積枠相違度とし
て算出するもので、最終的には“累積枠相違度”が最小
になる組み合わせを選ぶことになる。フォーマット情報
と矩形情報テーブルとの照合について図１９（ｂ）を用
いて説明する。

【００７６】まず、ステップ５２７で、“始点枠”ｂ１
の枠原点５５１と“始点候補枠”ｒ１の枠原点５５０の
相対距離（ｒｘ，ｒｙ）を（数３）で算出する。

【００７７】

【数３】

【００７８】次に、ステップ５２８は、次の対象枠の探
索範囲を設定する処理で、例えば”基準枠”ｂ２の枠原
点（枠の左上の点）５５７からの相対距離（ｒｘ，ｒ
ｙ）移動したの点５５６を中心に探索範囲５５２を設定
する。

【００７９】ステップ５２９は、矩形情報テーブルから
次の対象枠を例えば対象枠ｒ２として、高さと幅が許容
値内であり、探索範囲の中に枠原点５６２があるかどう
か探索する。ステップ５３０は、矩形が存在するかどう
かを確認するもので、存在すればその矩形を枠テーブル
に登録しステップ５３２に進み、存在しなければステッ
プ５３１に進む。ステップ５３１は、図１９（ｃ）に示
すように基準枠５７２の４点座標をそれぞれ相対距離
（ｒｘ，ｒｙ）分移動した枠の４点（５７４、５７５、
５７６、５７７）を中心に、それぞれ所定の探索範囲５
７３を設定して連結テーブルの４点を探索する。

【００８０】ステップ５３２は、探索した構成要素の点
を枠テーブルに登録するが、もし構成要素の点が存在し
ない場合には、基準枠の点の座標をそのまま登録する。
ステップ５３３で“枠相違度”ｄ frameを（数４）で算
出する。ここで、“枠相違度”とは、基準枠と探索した
枠との相違度を示す数であり、この値が大きいほど基準
枠と探索した枠とが異なっていることを示す。

【００８１】

【数４】

【００８２】なお、本発明では枠相違度を、探索範囲に
存在しない構成要素の数としているが、他の評価式、例
えば、基準枠の点と探索した枠の点との距離の差（ある
いは差の絶対値）の総和を枠相違度としても構わない。

【００８３】ステップ５３４は、“枠相違度”を“累積
枠相違度”に累積加算する。ステップ５３５は、フォー
マット情報のテーブルに次の枠があるかを判定し、あれ
ばステップ５３６に進み、なければ５３７に進む。ステ
ップ５３６は、フォーマット情報から次の基準枠を読み
込み、ステップ５２８に戻る。次に、ステップ５３７で
“累積枠相違度”が今までに算出されている“累積枠相
違度”より小さいかどうかの判定をし、大きければステ
ップ５３９に進み、小さければステップ５３８に進む。
ステップ５３８は、枠テーブルを認識枠テーブルに登録
更新する。ステップ５３９は、ほかの“始点候補枠”が
あるかどうか判定し、“始点候補枠”がなくなるまでス
テップ５２８からステップ５３９を繰り返す。

【００８４】以上の処理をすべての“始点候補枠”につ
いて行えば、最終的に最も違いの少ない認識枠データお
よび累積枠相違度が得られる。

【００８５】実線枠の照合および累積枠相違度の処理結
果を図２０に示す。始点枠ｂ１の始点候補枠が、図２０
（ａ）に示すｒ１、ｒ２となっている。そこで、図２０
（ｂ）に示すように、ｒ１を始点候補とした場合には、
ｂ２の枠とｒ２の枠、ｂ３の枠とｅ７，ｅ８，ｅ１１の
構成要素、ｂ４の枠とｒ３の枠がそれぞれ対応し、ｂ３
の場合だけ枠相違度が１となるので、累積枠相違度は１
となる。一方、ｒ２を始点候補とした場合には、対応す
る枠がほとんどなく、累積枠相違度は１０となり、累積
枠相違度が最小になるｒ１を始点候補とした認識枠デー
タが図２０（ｃ）の認識枠テーブルに登録される。

【００８６】次に、ステップ５１９の破線交点の検出に
ついて、図２１及び図２２を用いて詳細に説明する。図
２１、２２は、第２のコーナー検出手段からのコーナー
点情報を基に破線交点を検出する手順を示すフロー図で
ある。図２１において、Ｎは読み取り対象とする対象枠
に存在する破線の総数である。

【００８７】破線交点を検出する手順を、図２１、２２
に示すフロー図に基づき、ステップ毎に説明する。

【００８８】まず、６０１から６０４のステップは、実
線交点間を桁数で等分し破線交点の候補位置を算出す
る。ステップ６０１は、制御変数ｊをリセットする。ス
テップ６０２は、実線枠の頂点間を等分し破線交点候補
の座標を求める。ステップ６０３は、ｊをインクリメン
トし、ステップ６０４においてｊがＮ以上かどうかの判
定をし、Ｎ以上であればステップ６０５へ進み、そうで
なければステップ６０２に戻る。

【００８９】ステップ６０２における演算内容を、図２
３（ａ）を用いてさらに詳しく説明する。図２３（ａ）
は、破線交点の候補の位置関係を示すもので、例えば枠
７０１の頂点間を５等分することにより、上側の破線交
点候補ＣU(0)からＣU(3)、及び下側の破線交点候補ＣL
(0)からＣL(3)の座標が求まる。すなわち実線枠の上側
の２頂点を（ｘ1，ｙ1）、（ｘ2，ｙ2）、破線で区切ら
れた桁数をｐとすると、上側の破線交点の候補座標（ｘ
U(j)，ｙU(j)）は（数５）に示す内分演算で求められ
る。下側の破線交点の候補座標も実線枠の下側の２頂点
（ｘ3，ｙ3）、（ｘ4，ｙ4）を用いて同様の計算で求め
られる。

【００９０】

【数５】

【００９１】以上の手続きを枠７０２及び枠７０３に関
しても行い、帳票内の全ての破線の候補交点の座標を決
める。

【００９２】次の６０５から６１１のステップでは、第
２のコーナー検出手段８からのコーナー情報を１点ずつ
読み込み、破線交点の候補座標の近傍に存在するかどう
かを判定し、近傍に存在するコーナー点を各破線交点毎
に一つのグループにまとめる。まず、ステップ６０５
は、コーナー情報をｘ座標、ｙ座標、方向変化コードの
形式で１点ずつ読み込む。次にステップ６０６は、制御
変数ｊをリセットする。ステップ６０７は、破線交点の
候補座標を中心として±ｄを近傍領域として設定し、コ
ーナー点が近傍領域内に存在するかどうかを判定し、近
傍領域内に存在する場合はステップ６０８に進み、存在
しない場合はステップ６０９に進む。

【００９３】ステップ６０８は、該当する候補交点のグ
ループに帰属させ、再び６０５に戻る。このとき枠の上
側の破線交点の候補座標の近傍に存在する場合はグルー
プＧU(j)に所属させ、また枠の下側の破線交点の候補座
標の近傍に存在する場合はグループＧL(j)に所属させる
ことにより上側のグループと下側のグループを区別す
る。これは、後述するペアコーナー点の成立条件におい
て、ペアとなるコーナー点の方向変化コードが上側の交
点と下側の交点で異なるからである。ステップ６０９
は、制御変数ｊをインクリメントする。ステップ６１０
は、ｊ≧Ｎを判定しＮの場合は６０７に、Ｙの場合は６
１１に進む。６１１は、コーナ点の終了かどうかを判断
し、次のステップへ進むかどうかの判定を行う。

【００９４】次に、図２２における６２１から６２７の
ステップは、各候補交点のコーナー点のグループ毎に、
Ｔ字要素を構成し得るコーナー点のペアを生成する。

【００９５】まず、ステップ６２１は、制御変数ｊをリ
セットする。次にステップ６２２は、各破線交点毎のコ
ーナー点のグループＧU(j)またはＧL(j)に対しコーナ点
のペアを生成する。ステップ６２３は、ペアが存在する
かどうかを判定し、ペアが存在する場合はステップ６２
４へ進み、ペアが存在しない場合はステップ６２５へ進
む。ステップ６２４は、破線交点の座標としてペアコー
ナー点の平均座標から算出する。ステップ６２５は、破
線交点の座標としてステップ６０２で求めた実線枠の頂
点間を等分し破線交点候補の座標をで求めた座標を採用
する。次にステップ６２６においてｊをインクリメント
し、ステップ６２７において次のステップへ進むかどう
かｊ≧Ｎで判定を行う。

【００９６】以上、図２１及び図２２に示した手順によ
り、帳票の破線交点の位置が確定する。具体的には、図
２４に示すように破線交点の候補位置７０７、７０８を
中心として±ｄの近傍領域７０５、７０６を設定する。
枠の上側のグループＧU(j)は、方向変化コード”１７”
のコーナー点の右側に方向変化コード”３１”のコーナ
ー点が存在することからペアとして認められ、その平均
座標を破線交点の座標とする。一方、枠の下側のグルー
プＧL(j)は、方向変化コード”７５”のコーナー点の右
側に方向変化コード”５３”のコーナー点が存在するこ
とからペアと認められ、その平均座標を破線交点の座標
とする。

【００９７】次に、文字切り出し手段１１について説明
する。文字切り出し手段１１は、画像メモリ２から実際
の文字の２値イメージを切り出して文字認識手段１２に
送るもので、その処理について図２５を用いて詳細に説
明する。

【００９８】図２５は、ある帳票の枠の中に文字が描か
れている２値イメージの一部を示す。ここで、７１１〜
７１４は、枠構造照合手段１０から通知された枠の４角
の点、７１５は枠の４角の点７１１〜７１４で構成され
る領域ａ、７１６は領域ａ（７１５）よりも枠線の幅の
分だけ小さくした領域ｂ、７１７は枠内に描かれている
文字、７１８は文字枠である。

【００９９】文字切り出しの処理の時には、領域ａ（７
１５）で２値画像を切り出した場合、文字枠７１８の一
部分まで切り出してしまい、余分な画像を含んでいるた
めに文字認識率が低下する事がある。そこで、領域ａ
（７１５）よりも枠線の幅の分小さくした領域ｂ（７１
６）で画像メモリ２から切り出すことによって、文字枠
７１８を除いた文字領域を文字認識手段１２に切り出
し、文字７１７を認識させるために、文字認識率の低下
を防ぐことができる。

【０１００】文字認識手段１２は、例えば、ニューラル
ネットを用いた文字認識法（”ＰＤＰモデルによる手書
き漢字認識”、電子情報通信学会論文誌、Vol.J73-D-I
I, No.8 pp.1268-1274 1990）により実現することがで
きる。詳細な処理に関しては既存の技術であるので上記
文献を提示し省略するものとする。

【０１０１】このようにして、帳票を識別してその指定
された対象枠内の文字を認識することができる。 （実施の形態２）以下、本発明の実施の形態２につい
て、図２６から図３０を参照しながら説明する。

【０１０２】図２６は、本発明の実施の形態２の帳票認
識装置のブロック構成図を示し、１は帳票文書を読み取
り２値画像を得る画像入力手段、２は前記２値画像を記
憶する画像メモリ、３は２値画像の水平、垂直方向の実
線の罫線を抽出する第１の罫線抽出手段、４は実線の罫
線からなるパターンのコーナーを検出する第１のコーナ
ー検出手段、８００は前記コーナー点の組み合わせから
罫線の屈曲や交差によるＬ字要素、Ｔ字要素、十字要素
及びＩ字要素の構成要素を検出する第１の構成要素検出
手段、８０１は構成要素同士をグルーピングさせて新し
い構成要素を生成する第２の構成要素検出手段、６は構
成要素同士を連結し連結形態を枠構造情報として出力す
る矩形検出手段と、９は予め読み取り対象となる複数の
帳票のフォーマット情報を記憶するフォーマット情報記
憶手段、１０は前記枠構造情報をもとに帳票内の矩形構
造と前記フォーマット情報を照合し帳票の種別を判別
し、帳票内の文字読み取り対象枠を検出する枠構造照合
手段、１１は文字読み取り対象枠の文字領域を切り出す
文字切り出し手段、１２は切り出された文字を認識する
文字認識手段である。

【０１０３】以上のように構成された帳票認識装置にお
いて、その動作を説明するが、本発明の実施の形態１の
帳票認識装置のブロック構成図と異なる第１の構成要素
検出手段８００と第２の構成要素検出手段８０１につい
て詳細に説明する。

【０１０４】まず、第１の構成要素検出手段８０１につ
いて説明するが、第１の構成要素検出手段８０１は、実
施の形態１の構成要素検出手段５と基本的には同じもの
であり、図２７（ａ）〜（ｄ）に示す罫線の断線を意味
するＩ字要素を検出するための判定条件を付加したもの
である。よって、Ｌ字要素、Ｔ字要素、十字要素に加え
てＩ字要素を検出して、８０２の第２の構成要素検出手
段に通知する。

【０１０５】次に第２の構成要素検出手段８０２につい
て図２８から図３０を用いて説明する。図２８は、構成
要素同士のグルーピングの判定条件を示し、図２９は第
１の構成要素検出手段からの構成要素をグルーピングす
る手順を示すフロー図を示している。また、図３０は、
本発明の実施の形態２の処理結果を示す。

【０１０６】図２８において、図２８（ａ）〜（ｃ）は
Ｉ字要素同士をグルーピングしてそれぞれＬ字要素、Ｔ
字要素、十字要素を検出する例を示している。また、図
２８（ｄ）は、Ｉ字要素とＬ字要素をグルーピングして
Ｔ字要素を検出し、図２８（ｅ）はＩ字要素とＴ字要素
をグルーピングして十字要素を検出する例を示してい
る。

【０１０７】次に、第２の構成要素検出手段８０２の処
理手順について、図２９を用いて各ステップ毎に説明す
る。まず、ステップ８２０は、対象の構成要素がＩ字要
素であるかどうかを判断し、Ｉ字要素であればステップ
８２１に進み、Ｉ字要素でない場合にはステップ８２８
に進む。ステップ８２１は、予め設定した探索範囲内で
他の構成要素を探索する。

【０１０８】ステップ８２２は、他の構成要素がＩ字要
素でない場合にはステップ８２４に進み、Ｉ字要素の場
合にはステップ８２３に進み、図２８（ａ）〜（ｃ）の
配置になる構成要素を選択して、それぞれグルーピング
し、グルーピングした構成要素の座標の平均値および形
状コードの論理和をそれぞれグルーピング構成要素の座
標および形状コードとして更新登録する。

【０１０９】ステップ８２４は、他の構成要素がＬ字要
素であるかの判定をして、Ｌ字要素でなければステップ
８２６に進み、Ｌ字要素であれば、ステップ８２５で図
２８（ｄ）のグルーピングを行う。前記と同じように、
グルーピングした構成要素の座標の平均値および形状コ
ードの論理和をとり、それぞれグルーピング構成要素の
座標および形状コードとして更新登録する。

【０１１０】ステップ８２６は、他の構成要素がＴ字要
素の判定を行い、Ｔ字要素でなければステップ８２８に
進み、Ｔ字要素であれば、ステップ８２７で図２８
（ｅ）のグルーピングを行い、前記と同じように座標値
と形状コードの更新登録を行う。ステップ８２８は、次
の構成要素が存在すれば、８２０に戻り処理を繰り返
し、構成要素が存在しなければ処理を終了する。

【０１１１】また、図２８（ａ）〜（ｅ）のグルーピン
グの条件を満たさずに単独で存在するＩ字要素は登録を
行わない。ただし、単独で存在するＬ字要素、Ｔ字要素
および十字要素は、そのまま登録する。

【０１１２】本発明の実施の形態２の構成要素検出手段
の処理結果について、図３０を用いて説明する。図３０
（ａ）は、枠の角部分が緩やかな曲率を持つ帳票の原画
像である。図３０（ｂ）は、第１の罫線抽出手段により
所定の長さ以上の線分を抽出し、コーナー点を検出した
結果であり、枠線の角部分が途切れている。図３０
（ｂ）の８３１、８３２、８３３は、第１の構成要素検
出手段によって、枠の断線た部分のコーナー点から検出
されたＩ字要素である。図３０（ｂ）の８３４と８３５
は、同じく第１の構成要素検出手段によって検出された
Ｌ字要素である。図３０（ｃ）は、第２の構成要素検出
手段によってグルーピングされた構成要素を示し、Ｌ字
要素８３６は（ｂ）のＩ字要素８３１と８３２がグルー
ピングしたものである。ただし、図３０において左側の
み説明および図示したが右側も同様である。また、Ｔ字
要素８３７は、Ｉ字要素８３３とＬ字要素８３４がグル
ーピングしたものである。Ｌ字要素８３８は、グルーピ
ングする構成要素がなかったのでそのまま通知されてい
る。このようにして、枠の角部分が緩やかな曲率を持つ
場合でも、枠の交点を正確に認識することができる。

【０１１３】

【発明の効果】以上のように本発明の効果は、第１に、
２値画像の実線および破線の罫線を抽出し、罫線のコー
ナー形状の組み合わせから構成要素を検出し、構成要素
同士を連結し矩形を検出し、複数の帳票のフォーマット
情報と照合することにより、帳票が画像として傾いて入
力されたり、帳票内に破線の罫線が存在しても、文字枠
を正確に検出し文字認識を行うことができ、信頼性の高
い帳票認識装置が実現できる。

【０１１４】第２に、枠罫線の抽出処理によって途中で
きれてしまった罫線部分をＩ字要素として検出し、さら
にＩ字要素同士またはＩ字要素と他の要素とをグルーピ
ングして構成要素を検出することによって、枠の断線部
分や角部分が緩やかな曲率を持つ場合でも、枠の交点を
正確に認識できる信頼性の高い帳票認識装置が実現でき
る。

【図面の簡単な説明】

【図１】本発明の実施の形態１における帳票認識装置の
ブロック結線図

【図２】同実施の形態１の帳票認識装置における第１の
罫線抽出手段でのブロック結線図

【図３】同実施の形態１の帳票認識装置における線分収
縮手段の処理手順を示すフロー図

【図４】同実施の形態１の帳票認識装置における線分延
長手段の処理手順を示すフロー図

【図５】同実施の形態１の帳票認識装置における第１の
コーナー検出手段の方向コード化と方向コード変化点検
出について説明する図

【図６】同実施の形態１の帳票認識装置における第１の
コーナー検出手段の方向コードと実際の方向との対応関
係を示す図

【図７】同実施の形態１の帳票認識装置における第１の
コーナー検出手段の方向変化コードの具体例を示す図

【図８】同実施の形態１の帳票認識装置における構成要
素検出手段のコーナー点の組み合わせによる構成要素の
具体例を示す図

【図９】同実施の形態１の帳票認識装置における構成要
素抽出手段での構成要素の形態の記述についての説明図

【図１０】同実施の形態１の帳票認識装置における矩形
検出手段の構成要素同士の連結関係を示す概念図

【図１１】同実施の形態１の帳票認識装置における矩形
検出手段の矩形検出の具体例を示す図

【図１２】同実施の形態１の帳票認識装置における第２
の罫線抽出手段のブロック結線図

【図１３】同実施の形態１の帳票認識装置におけるフォ
ーマット情報記憶手段の枠構造情報を説明するための帳
票画像を示す図

【図１４】同実施の形態１の帳票認識装置におけるフォ
ーマット情報記憶手段の枠構造情報に登録されるフォー
マットの具体例を示す図

【図１５】同実施の形態１の帳票認識装置における枠構
造照合手段の処理手順を示すフロー図

【図１６】同実施の形態１の帳票認識装置における枠構
造照合手段の実線枠照合と累積枠相違度の算出の処理手
順を示すフロー図

【図１７】同実施の形態１の帳票認識装置における枠構
造照合手段の実線枠照合処理を説明するための基準の帳
票とその枠構造情報を示す図

【図１８】同実施の形態１の帳票認識装置における枠構
造照合手段の実線枠照合処理を説明するための入力され
た帳票と要素連結情報と矩形情報を示す図

【図１９】同実施の形態の帳票認識装置における枠構造
照合手段の実線枠照合の探索範囲を示す図

【図２０】同実施の形態１の帳票認識装置における枠構
造照合手段の実線枠照合の処理結果の具体例を示す図

【図２１】同実施の形態１の帳票認識装置における枠構
造照合手段の破線交点を検出する手順を示すフロー図

【図２２】同実施の形態１の帳票認識装置における枠構
造照合手段の破線交点を検出する手順を示すフロー図

【図２３】同実施の形態１の帳票認識装置における枠構
造照合手段の破線による候補交点の位置関係を示す図

【図２４】同実施の形態１の帳票認識装置における枠構
造照合手段の破線の検出処理のペアになるコーナー点の
具体例を示す図

【図２５】同実施の形態１の帳票認識装置における文字
きり出し手段の処理を説明する図

【図２６】本発明の実施の形態２における帳票認識装置
の構成要素検出手段のブロック結線図

【図２７】本発明の実施の形態２における第１の構成要
素検出手段のコーナー点の組み合わせによるＩ字構成要
素の具体例を示す図

【図２８】本発明の実施の形態２における第２の構成要
素検出手段のグルーピングできる構成要素の組み合わせ
を示す図

【図２９】本発明の実施の形態２における第２の構成要
素検出手段の処理手順を示すフロー図

【図３０】本発明の実施の形態２における構成要素検出
手段の処理結果を示す図

【図３１】従来例の罫線認識装置のブロック結線図

【符号の説明】

１ 画像入力手段 ２ 画像メモリ ３ 第１の罫線抽出手段 ４ 第１のコーナー検出手段 ５ 構成要素検出手段 ６ 矩形検出手段 ７ 第２の罫線抽出手段 ８ 第２のコーナー検出手段 ９ フォーマット情報記憶手段 １０ 枠構造照合手段 １１ 文字切り出し手段 １２ 文字認識手段 ２０ ２値画像 ２１ 水平方向収縮手段 ２２ 水平方向延長手段 ２３ 垂直方向収縮手段 ２４ 垂直方向延長手段 ２５ ＮＯＲ回路 ２０１ 第１の水平方向延長手段 ２０２ 水平方向収縮手段 ２０３ 第２の水平方向延長手段 ２０４ 第１の垂直方向延長手段 ２０５ 垂直方向収縮手段 ２０６ 第２の垂直方向延長手段 ２０７ ＮＯＲ回路 ８０１ 第１の構成要素検出手段 ８０２ 第２の構成要素検出手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤田 幹男 神奈川県横浜市港北区綱島東４丁目３番１ 号 松下通信工業株式会社内 (72)発明者 松山 好幸 神奈川県横浜市港北区綱島東４丁目３番１ 号 松下通信工業株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 枠罫線と文字を含む帳票文書を読み取り
   ２値画像を出力する画像入力手段と、前記２値画像を記
   憶する画像メモリと、前記画像メモリに記憶された２値
   画像から水平、垂直方向の実線の罫線を抽出する第１の
   罫線抽出手段と、前記第１の罫線抽出手段から実線の罫
   線のコーナーを検出する第１のコーナー検出手段と、前
   記画像メモリに記憶された２値画像から水平、垂直方向
   の実線及び破線の罫線を抽出する第２の罫線抽出手段
   と、前記第２の罫線抽出手段から実線の及び破線の罫線
   のコーナーを検出する第２のコーナー検出手段と、前記
   第１のコーナー検出手段からのコーナーの組み合わせか
   ら罫線の屈曲や交差形状の構成要素を検出する構成要素
   検出手段と、前記構成要素検出手段からの構成要素を相
   互に連結し枠構造情報を出力する矩形検出手段と、予め
   読み取り対象となる複数の帳票のフォーマット情報を記
   憶するフォーマット情報記憶手段と、前記枠構造情報と
   前記フォーマット情報とを順次照合し実線枠を検出する
   と共に、照合結果から帳票の種別を判別し、前記第２の
   コーナー検出手段からのコーナーと前記フォーマット情
   報とから実線枠で指定された対象枠と破線との交点であ
   る破線交点を検出し、対象枠の座標を出力する枠構造照
   合手段と、前記対象枠の座標に基づき前記画像メモリか
   ら文字領域を切り出す文字切り出し手段と、切り出され
   た文字領域から文字を認識する文字認識手段とを具備す
   る帳票認識装置。
2. 【請求項２】 第２の罫線抽出手段として、前記画像メ
   モリに記憶された２値画像から水平、垂直方向のそれぞ
   れ延長処理を施し破線を繋ぎ実線とすることを特徴とす
   る請求項１記載の帳票認識装置。
3. 【請求項３】 枠罫線と文字を含む帳票文書を読み取り
   ２値画像を出力する画像入力手段と、前記２値画像を記
   憶する画像メモリと、前記画像メモリに記憶された２値
   画像から水平、垂直方向の実線の罫線を抽出する第１の
   罫線抽出手段と、前記第１の罫線抽出手段から実線の罫
   線のコーナーを検出する第１のコーナー検出手段と、前
   記第１のコーナー検出手段からのコーナーの組み合わせ
   から罫線の屈曲や交差および断線形状の構成要素を検出
   し、断線同士の構成要素あるいは断線と他の構成要素と
   のグルーピングにより、構成要素を更新する構成要素検
   出手段と、前記構成要素検出手段からの構成要素を相互
   に連結し枠構造情報を出力する矩形検出手段と、予め読
   み取り対象となる複数の帳票のフォーマット情報を記憶
   するフォーマット情報記憶手段と、前記枠構造情報と前
   記フォーマット情報とを順次照合し実線枠を検出すると
   共に、照合結果から帳票の種別を判別し、前記フォーマ
   ット情報から実線枠で指定された対象枠の座標を出力す
   る枠構造照合手段と、前記対象枠の座標に基づき前記画
   像メモリから文字領域を切り出す文字切り出し手段と、
   切り出された文字領域から文字を認識する文字認識手段
   とを具備する帳票認識装置。
4. 【請求項４】 コーナーの検出として、検出された罫線
   の輪郭に方向コードを付与し、その方向コードの変化点
   をコーナーとして検出することを特徴とする請求項１、
   ２または３記載の帳票認識装置。
5. 【請求項５】 枠構造情報として、構成要素の相互の連
   結形態等を記述した連結テーブルと連結テーブルから求
   めた各矩形のサイズと位置等を記述した矩形情報テーブ
   ルからなることを特徴とする請求項１または３記載の帳
   票認識装置。
6. 【請求項６】 構成要素として罫線の屈曲、交差及び断
   線の構成要素として、Ｌ字要素、Ｔ字要素、十字要素及
   びＩ字要素を検出することを特徴とする請求項１または
   ３記載の帳票認識装置。
7. 【請求項７】 枠構造照合手段として、前記枠構造情報
   と前記フォーマット情報とを順次照合し枠相違度を求
   め、枠相違度を累積加算し帳票全体の相違度として累積
   枠算出度を算出し、累積枠相違度から帳票の種別を判別
   することを特徴とする請求項１または３記載の帳票認識
   装置。
8. 【請求項８】 枠構造照合手段として、前記枠構造情報
   と前記フォーマット情報との照合に、探索範囲に存在し
   なかった構成要素の数を枠相違度として順次照合するこ
   とを特徴とする請求項７記載の帳票認識装置。
9. 【請求項９】 枠構造照合手段として、前記枠構造情報
   と前記フォーマット情報との照合に、対応する構成要素
   の距離の差の総和を枠相違度として順次照合することを
   特徴とする請求項７記載の帳票認識装置。