JP3936436B2 - 表認識方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、表が記載されている文書および帳票から枠の位置を認識する表認識装置および光学式文字読取装置に関する。
【０００２】
【従来の技術】
まず、以下の説明で用いる語句を定義する。「枠」とは、帳票上において、縦罫線と横罫線で囲まれた矩形領域であり、正しく検出された場合にはその領域内に他の罫線を含まない領域であると定義する。「表」とは、連結した枠の集合体であると定義する。「表認識」とは、表を含む画像から枠の位置を認識することと定義する。
【０００３】
従来のＯＣＲ（光学式文字読取装置）では、表形式の文書を認識する際には、あらかじめ読み取りたい枠の座標を正確に定義しておく必要があった。
【０００４】
これに対し、表の座標を定義せず、自動的に表を認識する従来手法の例としては特開平６―５２３５６号公報がある。この方法では、罫線の並び順に着目して表を認識している。縦罫線を左から右方、横罫線を上から下方向に出現順に番号付けし、この罫線符号の組み合わせにより枠の位置を検出している。
【０００５】
一方、２本の罫線の交点に着目して表を認識する従来手法もある。ICDAR95、３０１頁から３０４頁（Antonie Ting他、"A Syntactic Business Form Classifier、" ICDAR95(Third Inernational Conference on Document Analysis and Recognition)、 １９９５年）に論じられている方法では、罫線の交点を符号化することにより表を認識している。この方法では、罫線の交点の形状を、向きの異なる４種類のＬ型と、４種類のＴ型、および１種類の十字型に分類し、矩形の四隅となるべき４つの交点の組み合わせを検出することにより枠を抽出している。
【０００６】
罫線のかすれの補正に関する従来技術としては、特公平４―１８３５１公報に記載された技術がある。これは、２本の罫線の端点間の距離と方向の連続性を評価して、距離と方向の連続性の値が基準値以内であれば、２本の罫線を接続して１本の罫線とするものである。
【０００７】
また、表認識における交点のかすれ補正については、MVA96、１３９頁から１４２頁（Hiroshi Shinjo 他、"A Connecting Method for Disappeared Corner Patterns in Form Documents、" MVA96(IAPR Workshop on Machine Vision Applications)、１９９６年）に論じられている。この方法では、表の最も外側の罫線の交点のかすれを補正している。
【０００８】
帳票上の文字を読取るには、枠内の文字行の位置を抽出する必要がある。文字行抽出の従来例としては、MIV89、２８２頁から２８７頁（"A New Method of Document Structure Extraction using Generic Layout Knowledge、" MIV89 ( International Workshop on Industrical Application of Machine Intelligence and Vision )、 １９８９年）において連結成分融合法として論じられている。ここで連結成分とは、画像中において連結した黒画素塊である。この方法では、連結成分の位置関係から、文字らしいと判断される大きさの連結成分同士を次々と融合して文字行領域を抽出する。位置関係の判定には、融合対象の連結成分同士のＸ座標やＹ座標の差などの特徴量を、あらかじめ指定してあるしきい値と比較する。
【０００９】
【発明が解決しようとする課題】
上記特開平６―５２３５６号公報に記載の表認識方法では、罫線にかすれやノイズが存在すれば、正しく表認識できない。これは、罫線の出現順が変わるために罫線の符号付けを誤るためである。また、上記ICDAR９５、３０１頁から３０４頁に記載の表認識方法では、枠の四隅の交点にかすれがないことが前提となっているので、罫線の交点がかすれている場合には正しく表認識できない。
【００１０】
したがって、本発明の第１の課題は、罫線にかすれがやノイズが存在する場合でも、高精度に表を認識することである。
【００１１】
また、上記特公平４―１８３５１公報に記載の罫線かすれ補正方法では、罫線と罫線以外の直線成分とを区別することができないので、誤って罫線以外の直線成分を接続する場合がある。
【００１２】
したがって、本発明の第２の課題は、罫線と罫線以外の直線成分を区別することにより、罫線のかすれのみを正しく補正することである。
【００１３】
また、上記特公平４―１８３５１公報に記載の罫線かすれ補正方法では、直線性のある罫線のかすれのみしか扱えないため、交点のかすれを補正することはできない。また、上記MVA96、１３９頁から１４２頁に論じられている交点かすれ補正方法では、表の最も外側の罫線の交点のかすれしか補正していないため、表の内部の交点のかすれは補正できない。
【００１４】
したがって、本発明の第３の課題は、表の内部に罫線の交点のかすれが発生しても正しくかすれを補正することである。
【００１５】
また、上記MIV89、２８２頁から２８７頁に記載の文字行抽出方法では、罫線と文字が接触した場合に、正しく文字行の位置を認識できない。これは、文字と罫線が接触しているために、罫線と文字を含む連結成分を生成することになり、文字領域のみの連結成分が生成されないからである。
【００１６】
したがって、本発明の第４の課題は、文字と罫線が接触している帳票に対しても、正しく文字行の位置を認識することである。
【００１７】
また、本発明の第５の課題は、表認識機能により、あらかじめ枠の位置が指定されていない表形式の帳票から文字位置を検出して、文字を認識する文字認識装置を実現することである。
【００１８】
【課題を解決するための手段】
本発明の第１の課題は、罫線にかすれがやノイズが存在する場合でも、高精度に表の枠構造を認識することである。この課題に対する解決手段は、表形式帳票の表面画像を入力し、帳票画像から罫線を抽出し、罫線の交点と端点を抽出し、罫線の交点と端点の形状を符号化し、表の構成要素である矩形枠の四隅に相当する右上角、左上角、右下角、左下角に相当する交点形状符号を検出することにより、枠の位置を検出する表認識方法を提供することである。この表認識方法では、枠の四隅の角に着目して枠を抽出する。したがって、枠の四隅の以外であれば罫線がかすれていても正しく表を認識できる。また、この表認識方法では、交点だけでなく端点も符号化している。通常、枠を構成する罫線は必ず他の罫線と交わっているので、端点は罫線のかすれであるとみなすことができる。したがって、交点だけでなくかすれも合わせて符号化していることになり、かすれの補正が容易になる。
【００１９】
本発明の第２の課題は、罫線と罫線以外の直線成分を区別することにより、罫線のかすれのみを正しく補正することである。また、本発明の第３の課題は、表の内部に罫線の交点のかすれが発生しても正しくかすれを補正することである。これらの課題に対する解決手段は、枠の位置を検出した後に、枠の抽出結果を用いて罫線のかすれを判定し、かすれた罫線を近傍の罫線と接続することによりかすれを補正し、罫線の接続により生成された交点と既存の交点を用いて、枠の位置を再検出することにより、罫線のかすれによる表認識の誤りを防ぐ表認識方法を提供することである。この表認識方法では、枠の構成に寄与する罫線だけがかすれ補正の対象となるため、誤ってノイズ成分に対してかすれ補正処理をすることがない。また、この表認識方法では、表内部の交点のかすれも補正することができる。
【００２０】
本発明の第４の課題は、表認識の後、文字と罫線が接触している帳票に対しても正しく文字行の位置を認識することである。この課題に対する解決手段は、表を認識することにより個々の枠領域を特定し、入力画像から枠領域の画像を切り出し、罫線を除去し、枠内の文字行の領域を認識し、文字行領域の画像から１文字ごとの画像を切出し、文字を認識する光学式文字読取方法を提供することである。この光学式文字読取方法では、文字行の領域を認識する前に罫線を除去するため、枠と罫線が接触していても正しく文字行の領域を認識できる。
【００２１】
本発明の第５の課題は、表認識機能により、あらかじめ枠の位置が指定されていない表形式の帳票から文字位置を検出して読取る文字認識装置を実現することである。この課題に対する解決手段は、表を認識することにより個々の枠領域を特定し、入力画像から枠領域の画像を切り出し、枠内の文字行の領域を認識し、文字行内の文字を認識することを特徴とする光学式文字読取方法を提供することである。
【００２２】
【発明の実施の形態】
以下、本発明の一実施例を詳細に説明する。なお、これにより本発明が限定されるものではない。
【００２３】
図１は、本発明の一実施例である表認識システムの構成図である。スキャナ１０１により帳票１００の画像（帳票画像）を入力する。入力された画像データは、認識／修正用計算機１０２のメモリや二次記憶装置等に記録される。次に、認識／修正用計算機１０２において、画像上の罫線を抽出し、表を認識する。認識は、計算機１０２の有するプロセッサが、メモリや二次記憶装置に事前に記録されている後述する処理フロー（プログラム）を実行することで行われる。認識結果や途中結果は、必要に応じて認識／修正用計算機１０２の画面上に表示される。認識結果に誤りがある場合には、認識／修正用計算機１０２上で認識結果を修正する。認識結果は、データベース１０３に格納される。
【００２４】
図２は、表認識の処理フローを示す図である。ステップ２００（画像入力）において帳票画像を入力する。ステップ２０１（罫線抽出）において帳票画像から縦罫線と横罫線を抽出する。ステップ２０２（交点／端点検出）において、ステップ２０１で抽出した罫線の交点と端点の形状と位置を検出する。ステップ２０３（枠抽出）において、ステップ２０２で検出した交点から枠の四隅である左上角、右上角、左下角、右下角に相当する交点を検出して、枠を抽出する。なお、この処理フローにおいて、情報量を減らすために、画像の縮小処理をステップ２００とステップ２０１の間に入れてもよい。また、帳票画像の傾きの補正処理をステップ２００とステップ２０１の間に入れてもよい。もしくは、画像全体ではなく罫線の傾きのみを補正する処理をステップ２０１とステップ２０２の間に入れてもよい。
【００２５】
図３は、認識対象である表形式の帳票画像を、説明のために簡略的に示した図である。帳票画像上には、横罫線（３００から３０４）、縦罫線（３０５から３０９）、文字行（３１０から３１３）、下線（３１４から３１６）がある。横罫線３００と３０１は本来１本の罫線であるが、３１７でかすれのために２本になっている。以下、図３の帳票画像を入力例として、処理の過程を説明する。
【００２６】
図４は、図３の帳票画像に対する、図２のステップ２０１の罫線抽出処理の結果を示す図である。図４（ａ）が横罫線の抽出結果、図４（ｂ）が縦罫線の抽出結果である。罫線抽出方法の例としては、画像上で長いランを抽出し、長いランを輪郭追跡することにより実現できる。ここで、ランとは、同じスキャンライン上で連続する黒画素の集合体である。以下に、横罫線を例として罫線抽出処理を説明する。スキャン方向がＹ方向（上から下）のランを生成し、長いランを抽出する。この処理により、縦罫線や文字を構成する短いランは除去される。次に、抽出された長いランを輪郭追跡する。得られた輪郭のうち、横方向に細長い輪郭を罫線とする。縦罫線の場合は、スキャン方向がＸ方向（左から右）のランを生成した後に、横罫線抽出と同様の処理をすればよい。図４の（ａ）では、下線（３１４から３１６）も罫線として抽出されている。この下線はノイズ成分とみなされる（これについて後述する）。
【００２７】
図４６は、図２のステップ２０２で罫線の端点と交点の形状に対応して付加する符号（交点符号）の例である。交点符号０は、罫線がないことを表す。交点符号１から４は、罫線の端点を表す。これらは、他の罫線と交差していない端点である。したがって、表認識時にはかすれと判定される。交点符号５と６は、罫線の一部分であることを表す。交点符号７から１０は、２本の罫線がＬ字型に交差した交点を表す。交点符号１１から１４は、２本の罫線がＴ字型に交差した交点を表す。交点符号１５は、２本の罫線が十字型に交差した交点を表す。なお、処理の必要性に応じて、交点符号０と５と６は省略してもよい。図４６の右から２番目の列（枠の四隅）は、交点の形状に応じて、枠の左上角、右上角、左下角、右下角のうち、どの角になりうるかを示している。
【００２８】
図５は、図３の帳票画像に対する、図２のステップ２０２の端点／交点検出処理の結果を示す図である。図５において、本来は交点符号の番号を示すべきであるが、交点形状を示す方が理解しやすいため、交点符号の代わりに交点形状を表示する。図５では、交点符号０から１５のうち、０と５と６は使用していない。
【００２９】
図６は、図３の帳票画像に対する、図２のステップ２０２の端点／交点検出処理の結果を示す図である。図６では、交点符号０から１５の全てを使用して表の構造を表現している。図６では、罫線の端点や交点を基準として、仮想的に格子状に表を分割し、各格子点ごとに交点符号を付けている。各格子点は、ｘ方向ｙ方向に付けられた番号によって位置を特定できる。例えば交点６００は、格子点（０、０）として表現できる。以降、（ｘ、ｙ）の位置の格子点を格子点（ｘ、ｙ）と表現する。
【００３０】
図７は、図３の帳票画像に対して、図２のステップ２０３の枠抽出処理の結果と検出した交点形状を示す図である。点線の四角形７００から７０７は、抽出された枠を表している。この処理では、枠の左上角、右上角、左下角、右下角の４つを検出することにより枠を抽出する。したがって、下線３１４から３１６や罫線のかすれ３１７は交点を生成しないため、これらの悪影響を受けずに、正しく枠を抽出できる。
【００３１】
図８と図９は、図２のステップ２０３の枠抽出処理フローの一例を示す図である。図９は図８のステップ８０２の処理の詳細を示した図である。以下、図６を例として図８と図９の処理を説明する。
【００３２】
図８において、まずステップ８００で格子点のｙ方向の位置を上から下へ走査する。ステップ８００で設定したｙの値について、ステップ８０１において格子点のｘ方向の位置を左から右へ走査する。ステップ８０２において、格子点（ｘ、ｙ）を基準として枠検出処理をする。ただし、枠検出の順序はこの処理例と同じでなくてもよい。
【００３３】
図６を例として図８の処理を説明する。まず格子点（０、０）に対して枠検出し、次に格子点（１、０）に対して枠検出する。格子点（８、０）の枠検出処理が終われば、次に格子点（０、１）に対して枠検出する。このようにして格子点（８、６）まで枠検出処理を続ける。
【００３４】
図９では、格子点（ｘ、ｙ）を左上角に持つ枠を検出する。まず、図９で用いる記号について説明する。ステップ９０１のＸｌは枠の左端の格子位置を表す。ステップ９０８のＸｒは枠の右端の格子位置を表す。ステップ９０２のＹｔは枠の上端の格子位置を表す。ステップ９０５のＹｂは枠の下端の格子位置を表す。以下、フローに添って説明する。ステップ９００では、格子点（ｘ、ｙ）の交点形状が左上角になりうるか否かを判定する。ここでは、図４６の交点符号７、１１、１３、１５のいずれかであれあばよい。交点符号がそれ以外であれば、格子点（ｘ、ｙ）を左上角に持つ枠はないと判定して図９の処理を終了する（９１１）。格子点が左上角であれば、ステップ９０１とステップ９０２で左端の格子位置（Ｘｌ）と上端の格子位置（Ｙｔ）を格納する。ステップ９０３では、Ｙｔ以上のｙの値に対して以下の処理を繰り返す。ステップ９０４において、格子点（Ｘｌ、ｙ）の交点形状が左下角になりうるか否かを判定する。ここでは、図４６の交点符号９、１１、１４、１５のいずれかであれあばよい。交点符号がそれ以外であれば格子点（Ｘｌ、ｙ＋１）について同じ処理を行う。格子点が左下角であれば、ステップ９０５で下端の格子位置（Ｙｂ）を格納する。ステップ９０６では、Ｘｌ以上のｘの値に対して以下の処理を繰り返す。ステップ９０７において、格子点（ｘ、Ｙｂ）の交点形状が右下角になりうるか否かを判定する。ここでは、図４６の交点符号１０、１２、１４、１５のいずれかであれあばよい。交点符号がそれ以外であれば格子点（ｘ＋１、Ｙｂ）について同じ処理を行う。格子点が右下角であれば、ステップ９０８で右端の格子位置（Ｘｒ）を格納する。ステップ９０８において、格子点（Ｘｒ、Ｙｔ）の交点形状が右上角になりうるか否かを判定する。ここでは、図４６の交点符号８、１２、１３、１５のいずれかであれあばよい。格子点が右上角であれば、枠検出成功として図９の処理を終了する（９０９）。ステップ９１０まで処理が進めば、格子点（ｘ、ｙ）を左上角に持つ枠はないとして図９の処理を終了する。なお、角の検出の順序はこの処理例と同じでなくてもよい。また、枠検出成功の条件は、４つの枠が全て検出する代わりに、３つの角や対角線上の２つの角を検出することにしてもよい。
【００３５】
図６を例として図９の処理を説明する。まず、格子点（１、０）について説明する。格子点（１、０）の交点形状を判定する（９００）と、図４６の交点符号１３なので左上角になりうる。したがって、左端と上端の格子点位置を格納する（９０１と９０２）。次に、格子点（１、１）の交点形状を判定する（９０４）と、図４６の交点符号６なので左下角になりえない。そこで、格子点（２、１）の交点形状を判定する（９０４）と、図４６の交点符号１１なので左下角になりうる。したがって、下端の格子点位置を格納する（９０５）。以下同様にして、格子点（４、２）を右下角、格子点（４、０）を右上角として検出する。４つの角が揃ったので、図７の７０１に相当する枠を検出する。次に、格子点（２、０）について説明する。ステップ９００において、格子点（２、０）が左上角か否かを判定する。格子点（２、０）の交点形状は図４６の交点符号５なので、左上角にはならないしたがって、ステップ９１１でこの処理を終了する。
【００３６】
本発明による表認識方法は、下線などのノイズ線分の影響を受けない。これは、枠の検出において、線分ではなく角に着目しているため、角を作らないノイズ線分は無視されるためである。枠７０１の例では、枠内に図３の下線３１４が罫線として抽出されている。しかし、下線３１４の端点である格子点（２、１）の交点符号は１であり、格子点（３、１）の交点符号は２である。これらの格子点は角ではないので、下線は枠検出では無視される。
【００３７】
次に、罫線のかすれを補正する機能を持つ表認識方法について説明する。この処理により、罫線のかすれやノイズによる表認識の誤りを防ぐことができる。
【００３８】
図１０は、表認識の処理フローを示す図である。ステップ２００の画像入力とステップ２０１の罫線抽出、ステップ２０２の交点／端点検出、ステップ２０３の枠抽出は図２と同じである。図１０の処理では、一度枠抽出を行った結果を用いて罫線のかすれを検出し、補正する。以下、処理フローについて説明する。ステップ２０３で枠抽出した後、ステップ１００１で罫線のかすれを検出する。罫線のかすれが検出されなければ（１００２）、処理を終了する（１００３）。かすれが検出されれば、かすれを補正し（１００４）、枠抽出処理（２０３）に戻る。あらかじめ設定した繰り返しの最大数まで、もしくはかすれが無くなるまで、２０３から１００４までの処理を繰り返す（１０００）。なお、情報量を減らすために、ステップ２００とステップ２０１の間に、画像の縮小処理を入れてもよい。また、帳票画像の傾きの補正処理をステップ２００とステップ２０１の間に入れてもよい。もしくは、画像全体ではなく罫線の傾きのみを補正する処理をステップ２０１とステップ２０２の間に入れてもよい。
【００３９】
以下、５種類の罫線かすれパターンについて、図１０の罫線かすれ検出（１００１）と罫線かすれ補正（１００４）の詳細な処理方法を説明する。なお、以降のかすれ補正方法では、かすれ部分の長さ等、距離の情報を利用していない。しかし、補正するかすれの最大長さを制限する等の距離の情報を併用してもよい。
【００４０】
第１のパターンのかすれとして、枠の上下左右の辺となる罫線（以下、枠罫線と記述）の端点のかすれについて説明する。このパターンのかすれ検出では、枠罫線の端点は必ず他の罫線と交わるということを条件（前提条件）とする。したがって、枠罫線の端点が他の罫線と交わっていなければ、この罫線はかすれていると判定することができる。かすれの検出対象を枠罫線に限定することにより、誤って文字の下線などを他の罫線と接続することを防ぐ。
【００４１】
以下、第１パターンのかすれについて、図１１から図１３を用いてかすれ検出とかすれ補正方法の概要を説明した後、図１２と図１４と図１５を用いてかすれ検出方法を説明し、図１６から図２０を用いてかすれ補正方法を説明する。
【００４２】
まず、第１パターンのかすれ検出と補正処理の概要を説明する。
【００４３】
図１１は、枠罫線の端点がかすれている帳票画像の例である。帳票画像上には、横罫線（１１００から１１０３）、縦罫線（１１０４から１１０８）、文字行（１１０９から１１１２）、下線（１１１３から１１１５）がある。罫線１１０１は、左端点側がかすれているため、罫線１１０５と交わっていない。
【００４４】
図１２は、図１１の帳票画像に対して、図１０のステップ２０３までの枠抽出処理の結果と検出した交点形状を示す図である。点線の四角形１２００から１２０６は、抽出された枠を表している。罫線１１０１は、左側端点において縦罫線１１０５罫線と交わっていないため、本来２つとして抽出されるべき枠が１つの枠１２０１として誤抽出されている。以下、図１２を例として図１０の処理を説明する。ステップ１００１のかすれ検出処理では、罫線１１０１の左端点である格子点（２、２）がかすれた端点であると判定する。この理由は、罫線１１０１が枠１２０２の下側の枠罫線であり、枠１２０３の上側の枠罫線であるにもかかわらず、枠罫線の両端点は必ず他の罫線と交わるという前提条件に反するためである。かすれが検出されたので、ステップ１００４のかすれ補正処理を行う。ここでは、罫線１１０１を左側延長線上で最も近い罫線１１０５と接続する。その結果、格子点（２、２）の交点符号は図４６における１から５になり、格子点（１、２）の交点符号は図４６における６から１１になる。一方、下線１１１３から１１１５は枠罫線ではないので、左右の端点とも他の罫線と交わっていないにもかかわらず、かすれ補正の対象にしない。
【００４５】
かすれ補正後の枠抽出処理の結果を図１３に示す。図１２で１つの枠（１２０１）として抽出された領域は、格子点（１、２）の交点を補正することにより、１３００と１３０１の２つの枠として抽出されている。
【００４６】
次に、第１パターンのかすれ検出方法について説明する。
【００４７】
図１４と図１５は、図１０のステップ１００１の罫線かすれ検出処理の詳細なフローの例である。図１５は図１４のステップ１４０１と１４０２の詳細処理の詳細なフローの例である。ステップ１４０３と１４０４は縦罫線に対して図１５と同様の処理を行う。
【００４８】
図１４では、全ての枠に対して（１４００）、ステップ１４０１から１４０４において上下左右の枠罫線の端点がかすれていないか検査する。
【００４９】
図１５では、上下の枠罫線である横罫線の端点のかすれを検査する。まず、枠罫線の左側の端点を検出する（１５００）。左側端点が検査済みか否かを判定し（１５０１）、検出済みでなければ、左側端点で縦罫線と交わっているか否かを判定する（１５０２）。縦罫線と交わっていなければ、左側端点をかすれ端点としてリストに登録する（１５０３）。次に、枠罫線の右側の端点を検出する（１５０４）。右側端点が検査済みか否かを判定し（１５０５）、検出済みでなければ、右側端点で縦罫線と交わっているか否かを判定する（１５０６）。縦罫線と交わっていなければ、右側端点をかすれ端点としてリストに登録する（１５０７）。
【００５０】
図１２を例として図１４と図１５の処理を説明する。枠１２００と１２０１の枠罫線は、全て端点で他の罫線と交わっているのでかすれ端点はない。枠１２０２では、下側の枠罫線１１０１が左側端点で縦罫線と交わっていないので、格子点（２、２）をかすれ端点として登録する。枠１２０３では、上枠罫線１１０１は枠１２０２の下枠罫線として既に検査済みなので、かすれ検出は行わない。以下、同様の処理を繰り返す。
【００５１】
次に、第１パターンのかすれ補正方法について説明する。このパターンのかすれ補正では、補正可能なかすれを限定する。限定内容は、「かすれ補正対象の２点間を結ぶ線分に直交する罫線は１本以下」である。したがって、２本以上の罫線と交差するような広い範囲のかすれは補正の対象としない。かすれの範囲を限定することにより、補正の誤りを防ぐことができる。なお、上記の限定条件の他に、かすれ部分の長さの最大値を決め、この値以上であれば補正しないという条件を用いることもできる。
【００５２】
図１６から図１８は、図１０のステップ１００４の罫線かすれ補正処理の詳細なフローの例である。図１７は図１６のステップ１６００の詳細を示しており、図１８はステップ１６０１の詳細を示している。
【００５３】
図１６の処理では、かすれ補正を２段階に分ける。まず、同一直線上にある罫線と接続する（１６００）。この時、接続対象の罫線がなければそのままにしておく。次に、１６００で接続されなかったかすれ罫線の端点を、直交関係にある罫線と接続する（１６０１）。接続対象を同一直線上の罫線と直交する罫線を分けるのは、同一直線上の罫線を補正対象とする場合に、「かすれ補正対象の２点間を結ぶ線分に直交する罫線は１本以下」という限定条件を利用するためである。この条件により、図１９のような帳票画像が図２０のようにかすれた場合に、罫線２０００と罫線２００１を誤接続することを避けることができる。図２０では、かすれのため、罫線１９０８が２００２と２００３に、罫線１９０９が２００４と２００５に分れており、罫線１９０３と１９０４が２０００と２００１のように短くなっている。図１６から図１８の処理を行うことにより、誤って罫線２００１と２００１を接続せず、２００２と２００３、２００４と２００５を接続した後に、それらの罫線に２０００と２００１を接続する。詳細については、図１７と図１８を用いて後述する。
【００５４】
図１７は、図１６のステップ１６００の詳細な処理の例を示す図である。以下、図２０を例としてこの処理を説明する。この処理では、かすれていると検出された端点の数だけ、以下の処理を繰り返す（１７００）。まず、かすれた端点側の同一線上に他の罫線があるか否かを判定する（１７０１）。罫線があれば、同一線上にある罫線の端点とかすれた端点との間に、直交する罫線の本数が１本以下であるかを判定する（１７０２）。１本以下であれば、この２本の罫線を接続する（１７０３）。このとき、図２０の２００２と２００３は、かすれによって２本に分れているために、実際には罫線２０００の延長線と直交しない。しかし、このような罫線も、１本の直交する罫線とみなすことにする。２０００の端点２００６と罫線２００１の端点２００７の間に直交する罫線は、２００２と２００３を１本とみなした罫線と２００４と２００５を１本とみなした罫線の２本である。したがって、直交する罫線の数が１本以下でないため、罫線２０００と２００１は接続対象としない。一方、端点２００８と２００９の間には直交する罫線は１本だけなので、罫線２００２と２００３は接続対象となる。端点２０１１と２０１２も同様である。罫線を接続すれば、接続した端点をかすれ端点のリストから削除する（１７０４）。図２０では、端点２００６、２００７、２００８、２０１１をかすれ端点のリストから削除する。次に、罫線を接続した場合に、接続後の罫線の端点が他の罫線と交わっているか否かを判定する（１７０５）。接続後の罫線の端点が他の罫線と交わっていなければ、新しいかすれ端点とみなしてかすれ端点リストに追加登録する（１７０６）。ただし、既にこの端点がリストに登録されていれば登録しない。図２０では、罫線２００２と２００３を接続した後、端点２０１０が他の罫線と交わっているか否かを判定する。端点２０１０はどの罫線とも交わっていないので、２０１０をかすれ端点として追加登録する。一方、罫線２００４と２００５を接続した場合は、端点２０１３が罫線１９０５と交わっているので、かすれ端点のリストには登録しない。
【００５５】
図１８は、図１６のステップ１６０１の詳細な処理を示している。この処理は、ステップ１６００で補正されずに残ったかすれ端点について行う。この処理では、かすれていると検出された端点の数だけ、以下の処理を繰り返す（１８００）。まず、かすれ端点側に罫線を延長した線と直交関係にある罫線が存在するか否かを判定する（１８０１）。直交する罫線があれば、その中で最もかすれ端点に近い罫線まで、かすれた罫線を延長する（１８０２）。罫線が延長されれば、評価対象のかすれ端点をかすれ端点のリストから削除する（１８０３）。図２０では、罫線２００３を端点２０１０から罫線１９０５に延長し、端点２０１０をかすれ端点のリストから削除する。
【００５６】
第２のパターンのかすれとして、孤立交点について説明する。孤立交点とは、枠の四隅以外の交点と定義する。孤立交点が検出されれば、帳票上の他の交点がかすれていると判定する。孤立交点の検出によりかすれを判定する理由は、他の交点がかすれているために、孤立交点が枠の四隅として選択されなかったとみなすからである。
【００５７】
以下、第２パターンのかすれ検出と補正について、図２１と図２２を用いて処理の概要を説明し、図２２から図２４を用いてかすれ検出方法の詳細を説明し、図２２と図２５を用いてかすれ補正方法の詳細を説明する。
【００５８】
まず、第２パターンのかすれ検出と補正処理の概要を説明する。
【００５９】
図２１は、かすれた帳票画像の例を示す図である。帳票画像上には、横罫線（２１００から２１０２）と縦罫線（２１０３から２１０６）がある。縦罫線２１０４と２１０５は本来１本の罫線であるが、かすれのために２本になっている。
【００６０】
図２２は、図２１の帳票画像に対して、図１０のステップ２０３までの枠抽出処理の結果と検出した交点形状を示す図である。点線の四角形２２００から２２０２は、抽出された枠を表している。以下、図２２を用いて処理の概要を説明する。格子点（１、０）は２２００から２２０２のどの枠の四隅にもなっていない。したがって、格子点（１、０）を孤立交点と判定する。かすれの補正では、格子点（１、０）の交点形状が下向きのＴ字型なので、罫線２１０４を下向きに延長して罫線２１０１に接続する。交点（１、２）は、交点符号が図４６の１３から１５に変更される。その結果、枠２２００は２つに分割される。
【００６１】
次に、第２パターンのかすれ検出方法について説明する。
【００６２】
図２３と図２４は、孤立交点の検出に基づく、図１０のステップ１００１の罫線かすれ検出処理の詳細なフローの例である。図２４は図２３のステップ２３０１の詳細処理の例を示した図である。ステップ２３０２から２３０４も図２４と同様の処理を行う。
【００６３】
図２３では、全ての枠に対して（２３００）、ステップ２３０１から２３０４において上下左右の枠罫線上に存在する孤立交点を検出する。
【００６４】
図２４では、枠の上側の枠罫線上の孤立交点を検出する。まず、上側の枠形線上で、枠の左端から右端までの間に（２４００）、孤立交点がないか検査する（２４０１）。孤立交点があれば、孤立交点のリストに登録する（２４０２）。
【００６５】
図２２を例として図２３と図２４の処理を説明する。まず、枠２２００の上側の枠罫線２１００について孤立交点を検出する（２３０１）。格子点（１、０）は孤立交点なので（２４０１）、孤立交点リストに登録する（２４０２）。枠２２００の下、左、右側の枠罫線については、孤立交点は存在しない。枠２２０１と２２０２の枠罫線上にも孤立交点は存在しない。なお、この処理例では枠罫線上の孤立格子点のみを検出したが、枠罫線以外の孤立交点を検出してもよい。
【００６６】
次に、第２パターンのかすれ補正方法について説明する。
【００６７】
図２５は、図１０のステップ１００４の罫線かすれ補正処理の詳細なフローの例である。この処理では、孤立交点の数だけ、以下の処理を繰り返す（２５００）。まず、孤立交点を構成する罫線のうち、枠罫線以外の罫線を延長し（２５０１）、最初に交差する罫線に接続する（２５０２）。
【００６８】
図２２を例として図２５の処理を説明する。まず、孤立交点である格子点（１、０）を構成する罫線のうち、枠罫線でない罫線２１０４を下側に延長し（２５０１）、罫線２１０１に接続する（２５０２）。この結果、格子点（１、１）の交点符号は図４６における４から６になり、格子点（１、２）の交点符号は図４６における１３から１５になる。
【００６９】
第３のパターンのかすれとして、外枠罫線のかすれについて説明する。ここで、外枠罫線とは表の最も外側の枠罫線であると定義する。
【００７０】
第３のパターンのかすれに対する、図１０のステップ１００１の罫線かすれ検出処理は、外枠罫線にかすれがないかどうかを判定することである。外枠罫線のの検出方法としては、表の最も外側の罫線を選択するなどの方法をとればよい。この時に、表は連続する枠の集合体であるので、連続する枠の領域を表の領域として検出した後に、表の最も外側の罫線を選択すれば、表の外側のノイズ成分を外枠罫線として検出することはない。
【００７１】
第３のパターンのかすれに対する、図１０のステップ１００４の罫線かすれ補正処理は、かすれた外枠罫線同士を接続することである。
【００７２】
図２６は、表の外枠の罫線がかすれた帳票画像の例である。帳票画像上には、横罫線（２６００から２６０２）、縦罫線（２６０３から２６０５）がある。罫線２６０２は、罫線２６０５と交わっているはずであるが、かすれのために交わっていない。以下、図２６の帳票画像を入力例として、外枠罫線のかすれ補正処理の過程を説明する。６本の罫線のうち、外枠罫線として選択されるのは、２６００、２６０２、２６０３、２６０５の４本である。このうち、罫線２６０２は端点２６０６がかすれており、罫線２６０５は端点２６０７がかすれている。そこで、罫線２６０２と２６０７を延長してかすれを補正する。
【００７３】
第４のパターンのかすれとして、枠領域の重複について説明する。このパターンでは、複数の枠の間に重複した領域があれば、罫線がかすれていると判定する。枠領域の重複の検出によりかすれを判定する理由は、枠の四隅を検出して枠を抽出する場合、交点のかすれにより、枠を重複して抽出する場合があるからである。
【００７４】
図２７は、重複した枠が検出される帳票画像の例である。帳票画像上には、横罫線（２７００から２７０２）、縦罫線（２７０３から２７０６）がある。罫線２７０４は、罫線２７０５と交わっているはずであるが、かすれのために交わっていない。
【００７５】
図２８は、図２２の帳票画像に対して、図１０のステップ２０３までの枠抽出処理の結果と検出した交点形状を示す図である。点線の四角形２８００から２８０３は、抽出された枠を表している。縦罫線のかすれのために、格子点（１、２）の形状が十字型ではなくＴ字型になっている。このために、枠２８００と枠２８０１、枠２８０１と枠２８０３がそれぞれ重複した領域をもつ。以下、図２８を例として、処理の例を説明する。
【００７６】
第４のパターンのかすれに対する、図１０のステップ１００１の罫線かすれ検出処理は、重複する枠の存在を検出することである。重複する枠があれば、リストに登録する。図２８では、枠２８００と枠２８０１、枠２８０１と枠２８０３重複しているとして登録される。
【００７７】
第４のパターンのかすれに対する、図１０のステップ１００４の罫線かすれ補正処理の１つの例は、重複すると判定された枠の枠罫線のかすれを補正することである。枠２８００と枠２８０１の例では、枠２８０１の左側枠罫線２７０４と罫線２７０５を接続することにより、かすれを補正する。罫線の接続により、格子点（１、１）の交点符号は図４６における４から６になり、格子点（１、２）の交点符号は図４６における１３から１５になる。この結果、枠２８００と枠２８０１が分割されて４つの枠が検出される。
【００７８】
第４のパターンのかすれに対する、図１０のステップ１００４の罫線かすれ補正処理のもう１つの例は、重複すると判定された枠の枠罫線を延長して直交する罫線に接続することである。図２９は、枠領域が重複した帳票画像の例である。帳票画像上には、横罫線（２９００から２９０２）、縦罫線（２９０３から２９０５）がある。図３０は、図２９の帳票画像に対して、図１０のステップ２０３までの枠抽出処理の結果と検出した交点形状を示す図である。点線の四角形３０００と３００１は、抽出された枠を表している。枠３０００と枠３００１は重複している。しかし、図２７と図２８で説明したかすれ補正方法では重複を救済することはできない。そこで、罫線２９０１と罫線２９０４の両方もしくは一方を延長して直交する罫線と接続する。この結果、枠３０００と枠３００１の重複が解消されて、罫線２９０１と罫線２９０４の両方を延長した場合は４つ、罫線２９０１と罫線２９０４の一方を延長した場合は３つの枠が抽出される。
【００７９】
第５のパターンのかすれとして、枠として抽出されない領域について説明する。このパターンでは、表の領域内に枠として抽出されない領域があれば、罫線がかすれていると判定する。枠として抽出されていない領域の検出によりかすれを判定する理由は、枠の四隅を検出して枠を抽出する場合、交点のかすれにより、枠が抽出されない場合があるからである。
【００８０】
図３１は、枠として抽出されない領域が発生する帳票画像の例である。帳票画像上には、横罫線（３１００から３１０３）、縦罫線（３１０４から３１０７）がある。罫線３１０５は、罫線３１０６と交わっているはずであるが、かすれのために交わっていない。
【００８１】
図３２は、図３１の帳票画像に対して、図１０のステップ２０３までの枠抽出処理の結果と検出した交点形状を示す図である。点線の四角形３２００から３２０２は、抽出された枠を表している。縦罫線のかすれのために、罫線３１０１、３１０２、３１０６、３１０７に囲まれた領域が枠として抽出されていない。以下、図３２を例として、処理の例を説明する。
【００８２】
第５のパターンのかすれに対する、図１０のステップ１００１の罫線かすれ検出処理の例は、枠として抽出されない領域を検出することである。
【００８３】
第５のパターンのかすれに対する、図１０のステップ１００４の罫線かすれ補正処理の例は、枠として抽出されない領域を囲む罫線のかすれを補正することである。図３２では、罫線３１０６を３１０５と接続する。この結果、格子点（１、１）の交点符号は図４６における９から１１になり、格子点（１、２）の交点符号は図４６における３から６になる。この結果、枠３２０１と枠３２０２の間にもう一つ枠が検出されて、枠として抽出されない領域が無くなる。
【００８４】
図３３は図１０のステップ１００１の罫線かすれ検出処理のもう一つのフローの例である。ステップ３３００からステップ３３０４において、これまでに説明した５種類のかすれパターンを検出する。なお、図３３では、５種類のかすれパターンを検出しているが、４種類以下でもよい。
【００８５】
図３４は図１０のステップ１００４の罫線かすれ補正処理のもう一つのフローの例である。これまでに説明した５種類のかすれパターンのそれぞれについて、検出されたかすれを補正する。なお、図３４では、５種類のかすれパターンを補正しているが、４種類以下でもよい。
【００８６】
図３５は、本発明による表認識方法を用いた光学式文字認識装置の処理フローの例である。ステップ３５００から３５０３の処理は、図２や図１０の処理を用いることができる。以下、図３５の処理を、図３に示す帳票画像の例と図７に示す図３の帳票画像に対する枠抽出結果を用いて説明する。ステップ３５００から３５０３を実行することにより、図３の帳票画像から、図７の７００から７０７の８個の枠が抽出される。ステップ３５０４の枠内画像切出しでは、７００から７０７の枠について、枠内の画像のみを切り出す。枠７００内の画像を切り出した例を図３６に示す。なお、図３６の点線による四角形３６００は、枠の領域を示すものであり、帳票上に記載されているものではない。ステップ３５０５の文字行抽出では、ステップ３５０４で切出された画像から文字行の領域を抽出する。図３６の例では、「１２」と記載された部分が行として抽出される。文字行抽出方法の例としては、従来の技術に記載の連結成分融合法などがある。ステップ３５０６の文字行領域画像切出しでは、ステップ３５０４で切り出された画像から文字行の領域の画像のみを切り出す。ステップ３５０７の文字切出しでは、ステップ３５０６で切り出された文字行領域の画像から、１文字ごとの領域を特定して切出す。図３６の例では、「１」と「２」の領域が切出される。ステップ３５０８の文字認識では、ステップ３５０７で切り出された１文字ごとの画像から、文字を特定する。
【００８７】
図３７は、本発明による表認識方法を用いた光学式文字認識装置の処理フローのもう一つの例である。図３７の処理は、図３５の処理のステップ３５０４と３５０５の間にステップ３７００を追加したものである。以下、図３７の処理を、図３８に示す帳票画像の例を用いて説明する。
【００８８】
図３８では、「１２３」と記載された文字行３８０６上に罫線３８０１が交差している。この画像に対して、ステップ３５０４で文字行３８０６を含む枠内画像を切出した結果が図３９である。この例では、文字行が枠からはみ出しているので、枠の領域より少し広い領域（３９００）を切り出している。図３９の画像に対して、ステップ３５０５で連結成分融合法を用いて文字行抽出をしても、文字行３８０６は抽出されない。この理由は、文字と罫線が交差しているため、文字単独の連結成分が生成されないためである。そこで、ステップ３７００で、図３９の画像から罫線３９０１から３９０４を除去する。罫線を除去した画像を図４０に示す。この結果、文字領域のみの連結成分を生成することができるため、正しく文字行を抽出することができる。
【００８９】
図４１は、図３の帳票画像に対する表認識結果を表示する方法の例である。表示領域４１０８上に、帳票画像と枠抽出結果４１００から４１０７を表示する。枠抽出結果は、罫線上に重ねて表示してもよいし、図４１のように実際の枠の領域より少し内側に表示してもよい。
【００９０】
図４２は、図３の帳票画像に対する表認識結果を表示する方法の例である。表示領域４２０８上に、帳票画像と枠抽出結果４２００から４２０７を表示する。枠抽出結果は、枠領域の色もしくは模様を変えて表示することにより、個々の枠領域をわかりやすく表示する。枠抽出結果は、罫線上に重ねて表示してもよいし、図４１のように実際の枠の領域より少し内側に表示してもよい。
【００９１】
図４３と図４４は、図３の帳票画像に対する表認識結果を表示する方法の例である。表示領域（４３００、４４００）上に、帳票画像と枠抽出結果、および検出した交点の形状を表示する。
【００９２】
図４５は、図３の帳票画像に対する表認識結果を表示する方法の例である。表示領域４５００上に、検出した交点や端点の形状を表示する。
【００９３】
【発明の効果】
本発明によれば、罫線にかすれやノイズが存在する場合でも、高精度に表を認識することができる。また、本発明による表認識機能付きＯＣＲでは、枠の位置をあらかじめ指定しなくても枠内の文字を認識することができる。
【図面の簡単な説明】
【図１】本発明の一実施例である表認識システムの構成図である。
【図２】表認識の処理フローを説明する図である。
【図３】認識対象である帳票画像の説明図である。
【図４】図３で示した帳票画像に対する罫線抽出処理の結果を示す図である。
【図５】図３で示した帳票画像に対する交点／端点検出処理の結果を示す図である。
【図６】図３で示した帳票画像に対する交点／端点検出処理の結果を示す図である。
【図７】図３で示した帳票画像に対する交点／端点検出処理の結果と枠抽出処理の結果を示す図である。
【図８】図２のステップ２０３の処理フローの例である。
【図９】図８のステップ８０２の処理フローの例である。
【図１０】罫線のかすれ補正機能をもつ表認識の処理フローを説明する図である。
【図１１】認識対象である帳票画像の説明図である。
【図１２】図１１で示した帳票画像に対する交点／端点検出処理の結果と枠抽出処理の結果を示す図である。
【図１３】図１１で示した帳票画像に対する罫線かすれ補正処理の結果を示す図である。
【図１４】図１０のステップ１００１の処理フローの例である。
【図１５】図１４のステップ１４０１と１４０２の処理フローの例である。
【図１６】図１０のステップ１００４の処理フローの例である。
【図１７】図１６のステップ１６００の処理フローの例である。
【図１８】図１６のステップ１６０１の処理フローの例である。
【図１９】認識対象である帳票画像の説明図である。
【図２０】かすれのある帳票画像の説明図である。
【図２１】認識対象である帳票画像の説明図である。
【図２２】図２２で示した帳票画像に対する交点／端点検出処理の結果と枠抽出処理の結果を示す図である。
【図２３】図１０のステップ１００１の処理フローの例である。
【図２４】図２３のステップ２３０１の処理フローの例である。
【図２５】図１０のステップ１００４の処理フローの例である。
【図２６】認識対象である帳票画像の説明図である。
【図２７】認識対象である帳票画像の説明図である。
【図２８】図２７で示した帳票画像に対する交点／端点検出処理の結果と枠抽出処理の結果を示す図である。
【図２９】認識対象である帳票画像の説明図である。
【図３０】図２９で示した帳票画像に対する交点／端点検出処理の結果と枠抽出処理の結果を示す図である。
【図３１】認識対象である帳票画像の説明図である。
【図３２】図３１で示した帳票画像に対する交点／端点検出処理の結果と枠抽出処理の結果を示す図である。
【図３３】図１０のステップ１００１の処理フローの例である。
【図３４】図１０のステップ１００４の処理フローの例である。
【図３５】本発明の表認識方法を用いた文字認識装置の処理フローの例である。
【図３６】図３で示した帳票画像に対する枠内画像切出し処理の結果を示す図である。
【図３７】本発明の表認識方法を用いた文字認識装置の処理フローの例である。
【図３８】認識対象である帳票画像の説明図である。
【図３９】図３８で示した帳票画像に対する枠内画像切出し処理の結果を示す図である。
【図４０】図３９で示した枠内画像に対する罫線除去処理の結果を示す図である。
【図４１】本発明の表認識方法の結果を表示する例である。
【図４２】本発明の表認識方法の結果を表示する例である。
【図４３】本発明の表認識方法の結果を表示する例である。
【図４４】本発明の表認識方法の結果を表示する例である。
【図４５】本発明の表認識方法の結果を表示する例である。
【図４６】表の罫線の交点や端点に付加する符号の例である。
【符号の説明】
１００ 帳票、
１０１ スキャナ、
１０２ 認識／修正用計算機、
１０３データベース、
３００〜３０４、３１４〜３１７ 横罫線、
３０５〜３０９ 横罫線。

Claims (4)

1. 表形式帳票の表面画像を入力し、表の枠構造を認識する表認識方法において、
   帳票画像から罫線を抽出し、
   罫線の交点と端点を抽出し、
   罫線の交点と端点との形状を符号化し、罫線の交点及び端点以外の部分は罫線の一部であると符号化し、罫線以外の領域は罫線なしであると符号化し、
   表の構成要素である矩形枠の四隅に相当する右上角、左上角、右下角、左下角に相当する交点形状符号を検出して枠の位置を検出し、
   該枠の検出結果を用いて、既に検出された枠の罫線である枠罫線のかすれを判定し、
   該かすれた枠罫線を近傍の罫線と接続することによりかすれを補正し、
   該接続により生成された交点の形状を符号化し、
   新たに生成された交点形状符号と既に検出されている交点形状符号とを検出して、枠の位置を再検出することを特徴とする表認識方法。
2. 請求項１に記載の表認識方法において、
   枠の位置を検出した後に、上記枠罫線の一端が他の罫線と交差していない場合に、この一端はかすれていると判定し、
   当該枠罫線を近傍の罫線と接続し、
   該接続により生成された交点の形状を符号化し、
   新たに生成された交点形状符号と既に検出されている交点形状符号とを検出して、枠の位置を再検出することを特徴とする表認識方法。
3. 請求項１に記載の表認識方法において、
   複数の連続する枠の位置を検出した後に、該複数の連続する枠の領域である表の外枠の枠罫線を検出し、
   外枠の枠罫線にかすれがあれば、この枠罫線のかすれを補正し、
   該枠罫線のかすれ補正により生成された交点の形状を符号化し、
   新たに生成された交点形状符号と既に検出されている交点形状符号とを検出して、枠の位置を再検出することを特徴とする表認識方法。
4. 請求項１記載の表認識方法において、
   表を認識することにより個々の枠領域を特定し、
   入力画像から枠領域の画像を切り出し、
   枠内の文字行の領域を認識し、
   文字行領域の画像から１文字ごとの画像を切出し、
   文字を認識することを特徴とする表認識方法。

Images