JP3574584B2 - 表画像処理装置及びそのプログラム記憶媒体 - Google Patents
表画像処理装置及びそのプログラム記憶媒体 Download PDFInfo
- Publication number
- JP3574584B2 JP3574584B2 JP04950299A JP4950299A JP3574584B2 JP 3574584 B2 JP3574584 B2 JP 3574584B2 JP 04950299 A JP04950299 A JP 04950299A JP 4950299 A JP4950299 A JP 4950299A JP 3574584 B2 JP3574584 B2 JP 3574584B2
- Authority
- JP
- Japan
- Prior art keywords
- round corner
- straight line
- ruled line
- extracted
- corner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
Description
【０００１】
【発明の属する技術分野】
本発明は、表画像処理装置及びそのプログラム記憶媒体に関し、特に、丸角を有する表画像を正確に処理することができる表画像処理装置及びそのプログラム記憶媒体に関する。
【０００２】
【従来の技術】
コンピュータの入力装置として文字認識装置（ＯＣＲ）が多く用いられている。文字認識装置によれば、帳票等の予め文字を書く位置を指定した文書に対して、指定した範囲内に文字がきれいに書かれている場合、かなり高い認識率で文字を自動認識することができる。なお、ここに言う文書は、枠等の罫線の色及び濃度が、ドロップアウトカラーではなく、黒等の文字と同一の色及び濃度であるものである。
【０００３】
しかし、書かれた文字が少しでも指定した範囲を越えると、著しく認識率が低下する。例えば、文字が指定範囲を示す枠や罫線に接触したり、又は当該範囲からはみ出した場合である。
【０００４】
そこで、位置や形式等が未知の帳票であっても、表形式枠中の枠を正確に抽出でき、文字と枠とが接触したり文字のはみ出しがある場合でも文字領域を正確に抽出できる技術が開発されている。
【０００５】
【発明が解決しようとする課題】
様々な種類がある帳票の内、直交する２本の直線からなる角部ではなく、円弧のような丸い曲線からなる角部（以下、丸角又は丸角部）を有する表構造の帳票が存在する。丸角表構造の一例を図１９に示す。この形式の帳票は現在使用されている一般的な帳票の中で大きな割合を占める。このため、文字認識装置等の表画像処理装置においては、丸角を認識できないと、帳票の処理に支障を生じる。従って、丸角の表構造を有する帳票の丸角の正確な処理のために、種々の提案がなされている。
【０００６】
例えば、縦の罫線及び横の罫線（縦横罫線）を抽出した後、縦横罫線が相互に交差せずにある一定以下の間隔に位置している場合に、当該部分を丸角部であると認識する技術が提案されている（例えば、特開平７−２８２１９１号公報参照）。しかし、この技術によっては、第１に、画像が掠れた場合に丸角部を正確に処理できない可能性が高い。特に、当該丸角の部分が掠れてしまった場合には正確に処理できない。第２に、この技術を適用する前提として縦方向及び横方向の双方共に罫線を抽出できていなければならない。従って、この技術は、図１９（Ａ）に示す形式の帳票には適用できるが、図１９（Ｂ）に示す縦方向の罫線が始めから存在しない形式の帳票には適用できない。
【０００７】
また、縦横罫線を抽出した後、縦横罫線が相互に交差せずにある一定以下の間隔に位置している場合に、当該部分と予め用意したパターンとのマッチングを採ることにより、角部（丸角部）の形状を判断する技術が提案されている（例えば、特開平７−１４０００号公報参照）。しかし、この技術によっては、第１に、予め多数のマッチングパターンを持つ必要があり、メモリ容量が極めて大きくなる。第２に、この技術も前提として縦方向及び横方向の双方共に罫線を抽出できなければならないので、図１９（Ａ）に示す帳票には適用できるが、図１９（Ｂ）に示す帳票には適用できない。
【０００８】
更に、縦横罫線を抽出した後、四方を罫線により囲まれた領域（セル）を抽出し、当該セルの内側の輪郭探索を行い、探索方向の変化によって角部が丸角部であるか否かを判断する技術が提案されている（例えば、特開平８−２１２２９２号公報参照）。しかし、この技術によっては、第１に、罫線に文字が接触していた場合に、当該文字の部分で探索方向が変化して丸角であると誤認されるため、正確に処理できない。特に、文字と罫線は接触する場合が多いため、この誤認は現実には無視できない。第２に、画像が掠れた場合に、当該掠れの部分で探索方向が変化して丸角であると誤認されるため、正確に処理することができない。即ち、本来直線である罫線が部分的に掠れた場合、当該掠れた部分で１８０°探索の方向が変化するので、丸角であると誤認される。また、この技術によっては点線からなる罫線は抽出できない。
【０００９】
以上のように、従来の文字認識装置等の表画像処理装置においては、丸角部分の認識処理の重要性は十分に認識されていながらも、罫線の掠れ、文字の丸い部分の存在、罫線と文字との接触等により、丸角を正確に処理することはできなかった。
【００１０】
一方、以上とは別に、種々の罫線抽出処理の結果として得られた罫線の候補から、更に罫線である可能性の低いものを判定して、当該罫線候補から除外することが行われる。即ち、文字と枠とが接触したり文字のはみ出しがある場合でも、罫線を正確に抽出するための種々の提案がなされている。
【００１１】
例えば、上記判定のために、抽出された罫線候補の画像パターンについての探索処理を行うことにより、画像パターンの凹凸度（ある領域内の画像パターンの凹凸の度合い）算出し、当該凹凸度がある一定の値（閾値）以上であれば罫線以外（即ち、文字）のパターンであるとし、一定の値より小さければ罫線であるとする凹凸度による罫線判定技術が提案されている（例えば、特開平１０−３３４１８５号公報参照）。これは、文字の画像パターンの凹凸度は大きく、罫線の画像パターンのそれは小さいと言うことに基づくものである。しかし、この技術によっては、予め固定の値に設定された閾値を用いて上記判定を行っているために、罫線かそれ以外のパターンかの判定が不能な場合がある。
【００１２】
図２４は凹凸度の判定の一例を示す。図２４（Ａ）は、罫線候補として抽出された文字線分Ａの一部を示し、複数の文字の横線の部分が極めて近接して書かれた画像パターンの一部が１個の罫線候補の領域（図中の枠で区切った矩形領域）１３１とされたものを示す。文字線分Ａは、１個の罫線候補の領域１３１内において、偶然に、画素の密度が直線に近い程度に大きく、直線に近い形状となっている。このため、罫線候補として抽出される。文字線分Ａの凹凸度は、本来高いはずであるにもかかわらず、かなり低くなっている。図２４（Ｂ）は、罫線候補として抽出された直線Ｂの一部を示し、１個の罫線候補の領域（図中の枠で区切った矩形領域）１３２内において画素レベルで見ると相当程度上下に位置が変動している画像パターンを示す。直線Ｂは、本来直線であるので、乱れてはいるが、罫線候補として抽出される。直線Ｂの凹凸度は、本来低いはずであるにもかかわらず、かなり高くなっている。このため、双方の凹凸度は同程度の値となってしまう。前述の技術においては、このような場合でも正確に罫線を抽出するという観点から、判定のための閾値が設定されている。即ち、閾値を比較的高くして、本来よりも凹凸度が高くなってしまった直線Ｂが罫線候補から除外されないようにしている。このため、上記判定の結果、直線Ｂと同程度のかなり低い凹凸度を有する文字線分Ａも罫線候補として判定される。即ち、文字線分Ａのような場合については、罫線かそれ以外のパターンかの判定が不能である。
【００１３】
図２５及び図２６は凹凸度の判定の他の一例を示す。特に、図２５は文字が罫線と認識されてしまう例を示し、図２６は罫線が文字と認識されてしまう例を示す。図２５（Ｃ）の原画像（入力画像）において、罫線の中間に文字１５２が存在し、かつ、当該文字が潰れている場合がある。この画像がスキャナにより読み取られると、図２５（Ｂ）に示すような画像データとされ、文字の部分１５１が判然としない程度に潰れる。この場合、文字の部分の凹凸度は、本来高いはずであるにもかかわらず、かなり低い。このため、前述の特開平１０−３３４１８５号公報に示す技術においては判定のための閾値が比較的高く設定されているので、文字の部分が、図２５（Ａ）に示すように、太い罫線候補１３５として判定される。逆に、図２６（Ｃ）の原画像において、罫線の中間の部分に掠れ１４４及び１４５が存在する場合がある。この画像がスキャナにより読み取られると、図２６（Ｂ）に示すような画像データとされ、掠れの部分が画素レベルで見ると直線ではないように見える。この場合、掠れの部分の凹凸度は、本来低いはずであるにもかかわらず、かなり高い。このため、前述の技術によると、掠れの部分が、本来よりも細い罫線候補１４１として判定されるか、又は、更に凹凸度が大きいと文字として判定され罫線候補から除外されてしまう。これらの場合も、罫線かそれ以外のパターンかの判定が不能である。
【００１４】
以上のように、従来の文字認識装置等の表画像処理装置においては、凹凸度による罫線候補の判定処理の重要性は十分に認識されていながらも、文字の直線部分の連続、直線（罫線）の乱れ、文字の潰れ、罫線の掠れ等により、罫線候補を正確に判定処理することはできなかった。
【００１５】
本発明は丸角を有する表画像を正確に処理することができる表画像処理装置を提供することを目的とする。
【００１６】
また、本発明は丸角を有する表画像を正確に処理することができる表画像処理装置を実現するプログラムを記憶したプログラム記憶媒体を提供することを目的とする。
【００１７】
更に、本発明は、丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定することができる表画像処理装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
図１は本発明の第１の原理構成図であり、本発明による表画像処理装置１００の構成を示す。本発明の表画像処理装置１００は、入力された画像から縦及び横方向の直線を抽出する直線抽出手段２と、直線抽出手段２の抽出した直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いて丸角候補領域を検出する丸角候補領域検出手段３と、丸角候補領域検出手段３の検出した丸角候補領域を含むセルを抽出するセル抽出手段４と、セル抽出手段４の抽出したセルの角部について丸角部を決定する処理を行う丸角部決定手段５とを備える。
【００２０】
図１に示す本発明の表画像処理装置１００によれば、例えば、画像が掠れた場合でも丸角部を正確に処理することができ、縦方向及び横方向のいずれか一方の罫線を抽出できれば丸角部を正確に処理することができる。また、（マッチングパターンを生成させるので）予め多数のマッチングパターンを持つ必要がなく、メモリ容量を大きくする必要がない。更に、罫線に文字が接触する部分や画像の掠れた部分が丸角であると誤認されることがなく、従って、丸角部を正確に処理することができる。このように、本発明の表画像処理装置１００においては、罫線の掠れ、文字の丸い部分、罫線と文字との接触等があっても丸角を正確に処理することができ、この結果、罫線構造の認識及びセル（文字認識領域）の抽出を安定して行うことができる。
【００２１】
また、本発明によれば、以上に述べた処理を当該表画像処理装置１００であるコンピュータに実現させるプログラムを格納したプログラム記憶媒体を提供することができるので、丸角部を正確に処理することができる表画像処理装置１００を容易に提供することができる。
【００２２】
図２は本発明の第２の原理構成図であり、丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定する本発明による表画像処理装置１００の構成を、罫線候補を正確に判定するための構成に絞って示す。従って、本発明の表画像処理装置１００は、丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定する場合、図１の構成及び図２の構成を併せ持つ。即ち、図１の構成に加えて、本発明の表画像処理装置１００は罫線判定処理手段２０を備える。罫線判定処理手段２０は、入力された画像から抽出された縦及び横方向の罫線候補について、入力された画像から抽出された画像パターンであって当該罫線候補の周囲に存在する他の画像パターンに応じて互いに異なる値の複数の閾値２１、２２、・・・のいずれかを用いて、当該罫線候補の凹凸度を判定することによって、当該罫線候補が罫線であるか否かを判定する。
【００２３】
図２に罫線候補を正確に判定するための構成を示す本発明の表画像処理装置１００によれば、当該罫線候補の周囲に存在する他の画像パターンに応じて、複数の閾値２１、２２、・・・のいずれかが罫線判定に用いられる。例えば、複数の文字の横線の部分が極めて近接して書かれた画像パターンからなる罫線候補の場合、その凹凸度は低いが、その周囲に凹凸度の高い他の文字の画像パターンが存在する。従って、当該凹凸度は本来高かったであろうことが推測される。そこで、この場合には、罫線判定の閾値としてより低い値の閾値（例えば、第１の閾値２１）を用いる。これにより、本来よりも低くなった凹凸度を有する罫線候補を候補から除くことができる。逆に、周囲の凹凸度が低い場合にはより高い値の閾値（例えば、第２の閾値２２）を用いることにより、本来よりも高くなった凹凸度を有する罫線候補を候補に残すことができる。以上により、罫線である可能性の低い領域を正確に判定して、罫線候補から除外することができる。従って、罫線かそれ以外のパターンかの判定が不能な場合を著しく少なくすることができ、正確に罫線を抽出することができる。そして、本発明の表画像処理装置１００は、図１の構成及び図２の構成を併せ持つので、前述のように丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定することができる。
【００２５】
【発明の実施の形態】
（第１の実施形態）
図３は表画像処理装置構成図であり、本発明の表画像処理装置１００の一例の構成を示し、図１に示す表画像処理装置１００に対応する。
【００２６】
表画像処理装置１００は、画像入力装置１、直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、文字認識領域決定装置６とを備える。表画像処理装置１００は主メモリ上に存在する表画像処理プログラムとＣＰＵとからなる。コンピュータである表画像処理装置１００は、図示しないが、表画像処理の対象である画像の入力や指示入力のためのキーボード、マウス、スキャナ等の入力装置、画像の表示等のための表示装置等の出力装置、画像データ１２等の各種のデータを記憶するための補助記憶装置を備える。
【００２７】
画像入力手段である画像入力装置１は、罫線により構成された帳票の画像である入力画像１１を画像データ１２として入力する。画像入力装置１は、周知のスキャナ等からなり、帳票等の紙の上に印刷等された縦（垂直又はｙ）方向及び横（水平又はｘ）方向の罫線（縦横罫線）及び当該帳票に記入された文字からなる入力画像１１を読み取り、電子的なイメージデータである画像データ１２として入力する。入力画像１１は、特に制限されないが、例えば極端な傾きのない２値画像が好ましく、例えば図１９（Ａ）又は図１９（Ｂ）に示す帳票からなる。
【００２８】
直線抽出手段２である直線抽出装置２は、画像入力装置１により入力された画像データ１２を参照して、これからから縦及び横方向の直線を抽出する。抽出された直線についてのデータ（直線データ）１３は、当該直線を表す位置座標からなる。直線データ１３は補助記憶装置に記憶される。
【００２９】
丸角候補領域検出手段３である丸角候補領域検出装置３は、画像データ１２及び直線データ１３を参照して、直線抽出装置２の抽出した直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いて所定の処理を行うことにより、丸角候補領域を検出する。丸角候補領域検出装置３は検出した丸角候補領域を丸角候補データ１４として補助記憶装置に記憶する。丸角候補データ１４は、例えば当該斜め成分が丸角候補であるか否かを示すデータと、当該斜め成分を表す位置座標とからなる。
【００３０】
丸角候補領域検出装置３は、前記斜め成分の抽出において、入力された画像データ１２から直線抽出装置２により抽出された縦及び横方向の直線の内、縦方向の直線の端点を起点とする第１の斜め成分と、横方向の直線の端点を起点とする第２の斜め成分とを別個に抽出する。そして、丸角候補領域検出装置３は、丸角候補領域を検出するための前記所定の処理を、以下の第１乃至第３の処理のいずれかにより行う。即ち、第１の処理として、当該第１及び第２の斜め成分が互いに重なる場合に、当該部分が丸角候補領域であるとする。第２の処理として、当該第１及び第２の斜め成分が互いに予め定められた距離以下の位置関係にあり、かつ、両者の間に直線の特徴を示すパターンがあるか両者が互いに接触又は重なっている場合に、当該部分が丸角候補領域であるとする。第３の処理として、当該斜め成分の近傍に他の斜め成分が存在せず、かつ、当該斜め成分の先端に直線の特徴を示すパターンがある場合に、当該部分が丸角候補領域であるとする。
【００３１】
セル抽出手段４であるセル抽出装置４は、画像データ１２、直線データ１３及び丸角候補データ１４を参照して、丸角候補領域検出装置３の検出した丸角候補領域を含むセル（及び他のセル）を抽出する。抽出したセルについてのデータ（セルデータ１５）は、当該セルを表す位置座標からなる。セルデータ１５は補助記憶装置に記憶される。
【００３２】
丸角部決定手段５である丸角部決定装置５は、画像データ１２、丸角候補データ１４及びセルデータ１５を参照して、セル抽出装置４の抽出した丸角候補領域を含むセルの角部（又は頂点）について所定の処理を行う。これにより、丸角部決定装置５は丸角部を決定し、決定した丸角部を丸角部データ１６として補助記憶装置に記憶する。なお、実際のセルデータ１５は丸角候補データ１４を含むようにされるので、丸角候補データ１４は参照されず、セルデータ１５が参照される。
【００３３】
丸角部決定装置５は、入力された画像データ１２から抽出された縦及び横方向の直線に基づいてセル抽出装置４の抽出したセルの角部について所定の処理を行うことにより、丸角部を決定する。丸角部決定装置５は、前記所定の処理を、以下の第１乃至第３の処理のいずれかにより行う。即ち、第１の処理として、セル抽出装置４の抽出した当該セルの角部において画素密度が予め定められた順に変化する場合に、当該部分が丸角部であるとする。第２の処理として、画素密度の変化に基づいて決定された丸角部が存在する場合に、前記入力された画像の他の角部も丸角部であるとする。第３の処理として、当該セルを構成する前記直線抽出手段の抽出した直線の端点と端点とを結ぶように生成されたｎ次関数からなるパターンと、前記入力された画像とがマッチングする場合に、当該部分が丸角部であるとする。
【００３４】
文字認識領域決定手段である文字認識領域決定装置６は、画像データ１２、セルデータ１５及び丸角部データ１６を参照して、所定の処理を行うことにより、入力された画像データ１２における文字認識領域を決定する。即ち、丸角部決定装置５により決定された丸角部を含むセルについて、当該丸角部を文字領域から除くことにより、当該文字認識領域を決定する。決定した文字認識領域についてのデータ（文字認識領域データ１７）は補助記憶装置に記憶される。なお、実際の丸角部データ１６はセルデータ１５を含むようにされるので、セルデータ１５は参照されず、丸角部データ１６が参照される。
【００３５】
直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、及び、文字認識領域決定装置６は、当該表画像処理装置１００の主メモリ上に存在しＣＰＵ上で実行されることにより各々の処理を実行する処理プログラムによって実現される。直線抽出装置２の実行する処理、セル抽出装置４の実行する処理及び文字認識領域決定装置６の実行する処理は周知の処理である。丸角候補領域検出装置３の実行する処理及び丸角部決定装置５の実行する処理は本発明に特有の処理である。
【００３６】
図４は表画像処理装置１００の実行する表画像処理フローを示す。
【００３７】
画像入力装置１が入力画像１１を画像データ１２として入力する画像入力処理を行う（ステップＳ１）。即ち、スキャナでの入力画像１１の読み取りを行い、画像データ１２を得る。
【００３８】
直線抽出装置２が画像データ１２から縦及び横方向の直線を抽出する直線抽出処理を行う（ステップＳ２）。即ち、直線データ１３を得る。この処理については図５乃至図７を参照して後述する。
【００３９】
丸角候補領域検出装置３が、直線データ１３を参照して、抽出された直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いて所定の処理を行うことにより丸角候補領域抽出処理を行う（ステップＳ３）。即ち、丸角候補データ１４を得るこの処理については図８乃至図１２を参照して後述する。
【００４０】
セル抽出装置４が、画像データ１２、直線データ１３及び丸角候補データ１４を参照して、抽出された丸角候補領域を含むセル（及び他のセル）を抽出するセル抽出処理を行う（ステップＳ４）。即ち、セルデータ１５を得る。この処理については図１３を参照して後述する。
【００４１】
丸角部決定装置５は、画像データ１２、丸角候補データ１４及びセルデータ１５を参照して、抽出された丸角候補領域を含むセルの角部について所定の処理を行うことにより丸角部決定処理を行う（ステップＳ５）。即ち、丸角部データ１６を得る。この処理については図１４乃至図１７を参照して後述する。
【００４２】
文字認識領域決定装置６が、画像データ１２、セルデータ１５及び丸角部データ１６を参照して、所定の処理を行うことにより、画像データ１２における文字認識領域を決定する文字認識領域決定処理を行う（ステップＳ６）。即ち、文字認識領域データ１７を得る。この処理については図１８を参照して後述する。
【００４３】
図５は直線抽出装置２の実行する直線抽出処理フローを示す。図５に示す処理は、図４のステップＳ２に相当し、周知の処理である。画像データ１２から縦及び横方向の罫線（縦横罫線）が抽出される。この直線抽出処理は周知のいずれの処理によっても良いが、以下にその好ましい処理の一例を示す。
【００４４】
最初に、連結パターンが抽出される（ステップＳ２１）。連結パターンは、周知の連結パターン抽出処理を用いることによって抽出される。周知の連結パターン抽出処理としては、例えば、先に本願出願人の提案した特願平７−２８２１７１号に記載の技術が用いられる。この技術によれば、８連結で繋がっている画像パターンをラベリングにより抽出する。これにより、複数の枠が配置される位置の相対的な関係に依存することなく、縦横罫線の各パターンを安定に抽出することができる。
【００４５】
ここで、当該連結パターン抽出処理について簡単に説明する。まず、入力された画像データ１２を構成するパターン（部分パターン）の各々について、その縦（上下の２方向）、横（左右の２方向）及び斜め（これらの中間の４方向）の合計８方向において、他の部分パターンとの連結を調べる。そして、いずれかの方向において連結している部分パターン（連結パターン）に対して同一のラベルを貼付する。連結パターンは、文字が接触していない枠即ち罫線（又は罫線の一部）、文字が接触している罫線（又は罫線の一部）、罫線に接触していない文字（又は文字の一部）のいずれかである。
【００４６】
次に、ラベリングされた部分パターンを判定し、所定のサイズより大きい連結パターンの集合を当該帳票を構成する罫線の候補として抽出する。即ち、抽出された部分パターンの内、一定以上の大きさを有する部分パターン（第１の部分パターン）を帳票の罫線の候補とする。例えば、本来の罫線の内、掠れることなく正しく抽出された罫線が第１の部分パターンとされ、一方、本来の文字の内、罫線に接触することなく正しく記入された文字は罫線の候補から除外される。
【００４７】
次に、第１の部分パターンに対して所定の位置に存在し、かつ、所定のサイズより大きな部分パターン（第２の部分パターン）に貼付されたラベルを、当該第１の部分パターンのそれと同一のラベルに変更することにより、当該第２の部分パターンを帳票の罫線の候補に追加する。例えば、本来の罫線の内、掠れてしまって第１の部分パターンから孤立した罫線が第２の部分パターンとされる。この結果、掠れた罫線も第１の部分パターン即ち罫線の候補とされ、正しい結果が得られる。従って、このような連結パターン抽出処理を用いることによって、本来罫線を構成するパターンが掠れにより分離して別のパターンとして処理されることを防止することができる。
【００４８】
この後、抽出した連結パターンの画像について、当該連結パターン（部分パターン）毎に、縦横双方向の成分の細分化（マスク処理）が実行される（ステップＳ２２）。縦横双方向の成分の細分化は、周知のマスク処理を用いることによって行われる。周知のマスク処理としては、例えば、先に本願出願人の提案した特開平７−２８９３７号公報に記載の技術が用いられる。この技術によれば、抽出された連結パターンの画像から極端な斜め成分を取り除く。これにより、枠即ち罫線だけに存在する長い直線を抽出し易くすることができる。
【００４９】
ここで、当該マスク処理について簡単に説明する。まず、ラベリングにより得た部分パターン（連結パターン）毎に、所定の大きさ（長さ及び幅）を有する横長及び縦長の２種類のマスクを用いた走査を行う。そして、各マスク毎に、当該マスクの面積に対するマスク内のパターンの占める面積の割合を算出し、当該割合が所定値よりも大きければそのマスク内を全てパターンとみなす（画像の横成分又は縦成分とする）。即ち、当該部分を当該マスクの大きさに細分化された矩形領域とみなす。当該割合が所定値以下であればそのマスク内のパターンを削除する（画像の横成分又は縦成分が存在しないとする）。これにより、画像データ１２を構成する画像パターンの縦横成分を、使用したマスクの幅の程度にまで細分化して抽出することができる。
【００５０】
次に、複数の行（横方向）又は列（縦方向）が連続して上記割合が所定値よりも大きくなる場合、それらの行又は列を統合して１個の矩形の領域とし、当該矩形範囲の中心線（図６の左側の直線）を処理結果とする。従って、このようなマスク処理を用いることによって、枠即ち罫線の太さを同一にして、罫線のみに存在する長い直線を抽出し易くすることができる。
【００５１】
この後、マスク処理した画像について、線分抽出処理が実行される（ステップＳ２３）。線分抽出は、周知の線分抽出処理を用いることによって行われる。周知の線分抽出処理としては、例えば、先に本願出願人の提案した特開平６−３０９４９８号公報に記載の技術が用いられる。この技術によれば、マスク処理した画像に対して隣接投影値を算出し、縦横双方向について、矩形近似により直線又は直線の一部（線分）を検出する。ここで、隣接投影とは、注目するある行又は列の投影値に、その周囲の行又は列の投影値を足し合わせ、この値を投影値とする処理を言う。線分抽出処理の結果を図６に示す。これにより、画像の着目点の周囲を大局的に捉え線分を正確に抽出することができる。
【００５２】
ここで、当該線分抽出処理について簡単に説明する。まず、マスク処理の結果である（当該マスク内を全てパターンとされた）矩形範囲のパターンの各々について、その横方向の投影と縦方向の投影をとり、投影値を求める。そして、求めた投影値に対してその周囲（注目するある行又は列）のパターンについて求めた投影値を所定の範囲において加算する。即ち、特開平６−３０９４９８号公報に記載の式（例えば（１１）式）に従って、当該パターンについての行及び列方向の隣接投影値を算出する。
【００５３】
次に、行方向の算出した隣接投影値と矩形範囲（マスク）の横方向の分割長との比及び列方向の算出した隣接投影値と矩形範囲（マスク）の縦方向の分割長との比を算出する。そして、これらの比が所定の閾値以上である部分を直線の候補とし、当該比が閾値よりも小さい部分を線分が存在しないものとする。そして、複数の部分が連続して所定の閾値以上となる場合、即ち、直線の候補である部分が連続する場合、これらを統合して１個の矩形領域で近似し、この近似された矩形範囲に直線が存在するものとする。即ち、図６の右側に示すように、矩形領域の連続により近似された線分が抽出される。
【００５４】
このような線分抽出処理を用いることによって、直線が傾きによって斜め方向に複数行又は列にわたっていても、線分を抽出することができる。従って、大きな枠即ち罫線についても、それが傾いていても、その線分を正確に抽出することができる。また、隣接投影を用いることにより、通常の投影のようにマスクの分割長を短くして分割数を大きくすることにより傾いた直線を抽出する必要がないので、文字を構成する短い線分を抽出することなく、長い線分を抽出することができる。
【００５５】
この後、線分抽出処理の結果を用いて、直線抽出処理が実行される（ステップＳ２４）。直線抽出は、周知の直線抽出処理を用いることによって行われる。周知の直線抽出処理としては、例えば、先に本願出願人の提案した特開平６−３０９４９８号公報に記載の技術が用いられる。この技術によれば、線分抽出処理において抽出され矩形近似された線分の内、近隣の線分どうしを統合して長い直線を検出し、検出した直線に対して更に矩形近似を行う。直線抽出処理の結果を図７に示す。これにより、直線を忠実に抽出することができる。
【００５６】
ここで、当該直線抽出処理について簡単に説明する。まず、線分抽出処理において抽出され矩形近似された線分（図７の左側に示す線分）がその上下（例えば、隣接投影値の算出において加算する範囲）に存在する他の線分と接触しているかを調べる。次に、接触する他の線分が存在する場合、当該線分とその上下に存在する他の線分とを統合して、図７の右側に示す１個の矩形領域からなる線分（矩形線分）とする。このような直線抽出処理を用いることによって、帳票の罫線等の長い直線を抽出することができる。
【００５７】
なお、特開平６−３０９４９８号公報においては、隣接投影値と矩形範囲（マスク）分割長との比の算出処理以降を、線分抽出処理においてではなく、直線抽出処理において行っている。しかし、本願においても上述の説明のように線分抽出処理（ステップＳ２３）と直線抽出処理（ステップＳ２４）とは連続して行われるので、実際には、特開平６−３０９４９８号公報における処理と何ら相違ない処理が行われる。
【００５８】
この後、線分抽出処理の結果を用いて、画像データ１２からの点線抽出処理が実行される（ステップＳ２５）。点線抽出は、周知の点線抽出処理を用いることによって行われる。周知の点線抽出処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この技術によれば、同一サイズの部分パターンが規則正しく並んでいる部分を点線として抽出し、直線と同様に矩形近似する。なお、抽出された直線（実線）及び点線は、区別されることなく、罫線として同様に処理される。これにより、点線からなる罫線を含む帳票を以後の処理において正確に処理することができる。
【００５９】
ここで、当該点線抽出処理について簡単に説明する。まず、連結パターン抽出処理（ステップＳ２１）において抽出しラベリングしたパターンの最も外側の矩形の画像の一部を当該画像を縦又は横方向に横切るような第１の短冊として取り出す。そして、その内部に存在するパターン（内部パターン）を予め定められた点線を構成する所定の大きさのパターン（予定パターン）と比較し、予定パターンに一致する部分パターンを探す。
【００６０】
次に、予定パターンと一致する内部パターンが見つかった部分を、更に、当該短冊を垂直な方向に横切るような第２の短冊として取り出す。そして、その内部において、予定パターンと一致する部分パターンを抽出する。
【００６１】
次に、抽出した部分パターンがある一定の間隔で並びかつある一定の数以上連続して並んでいる場合、当該並んでいるものを点線と判断して、これを囲む矩形領域を点線の存在する範囲として、当該矩形により近似する。
【００６２】
このような点線抽出処理を繰り返し実行することにより、帳票内に存在する点線を正確に抽出して矩形領域により近似することができる。従って、以後野おにおいては、実線及び点線を同様なものとして処理することができる。
【００６３】
以上の処理の結果、画像データ１２から図７の右側に示すように矩形により近似された直線及び点線が抽出される。これが直線データ１３である。
【００６４】
図８は丸角候補領域検出装置３の実行する丸角候補領域検出処理フローを示す。図８に示す処理は、図４のステップＳ３に相当し、本発明に特徴的な処理である。丸角候補領域検出処理は、前処理としての斜め成分抽出処理と、実際の丸角候補領域を検出する処理である候補検出処理とからなる。
【００６５】
最初に、斜め成分抽出処理が実行される（ステップＳ３１）。斜め成分（斜め線）の抽出は直線抽出装置２において抽出された縦横の直線の端部を起点として行われる。これにより、丸角部の候補の位置を正確に検出することができる。斜め成分抽出処理には、斜め方向の画素探索処理又は斜め方向の投影処理等の処理が用いられる。
【００６６】
斜め方向の画素探索は、周知の斜め方向の画素探索処理を用いることによって行われる。周知の斜め方向の画素探索処理としては、例えば、先に本願出願人の提案した特開平７−１９２０９４号公報に記載の技術が用いられる。この技術によれば、抽出された直線の端点から画素の存在（パターンの輪郭）を探索することにより、斜め線を抽出する。これにより、斜め線に多少の掠れがあっても斜め成分を抽出することができる。
【００６７】
ここで、当該斜め方向の画素探索処理について簡単に説明する。まず、直線抽出装置２において抽出された縦横の直線の端部を起点（開始点）として定める。そして、当該直線を除く当該開始点から始まるパターンの輪郭を探索する。即ち、当該直線の下辺あるいは上辺又は左辺あるいは右辺から、当該パターンを構成する画素の存在する線に沿って辿る。そして、当該直線又は当該直線以外の他の縦又は横の直線に達したら探索を終了し、当該探索の結果を斜め成分とする。
【００６８】
また、斜め方向の投影は、周知の斜め方向の隣接投影処理を用いることによって行われる。周知の斜め方向の隣接投影処理としても、例えば、先に本願出願人の提案した特開平７−１９２０９４号公報に記載の技術が用いられる。この技術によれば、画像データ１２の画像パターンに対して斜め方向の隣接投影値を算出し、当該斜め方向について、矩形近似により斜め方向の線又は線の一部（線分）を検出する。ここで、隣接投影とは、注目する斜め線の投影値に、その周囲の投影値を足し合わせ、この値を投影値とする処理を言う。これにより、斜め線に多少の掠れがあっても斜め成分を抽出することができる。
【００６９】
ここで、当該斜め方向の投影処理について簡単に説明する。まず、画像データ１２の画像パターンの内、直線抽出処理（ステップＳ２）において直線として抽出されたパターン（直線データ１３に対応するパターン）を除いた各々について、表す定められた矩形範囲に分割する。そして、分割した各々の矩形範囲についてその縦及び横方向の投影をとり、投影値を求める。そして、求めた投影値に対してその周囲の矩形範囲の縦及び横方向について求めた投影値を所定の範囲で加算する。即ち、特開平７−１９２０９４号公報に記載の式に従って、当該矩形範囲についての斜め方向の隣接投影値（斜め隣接投影値）を算出する。投影の方向は、例えば４５°の角度である。
【００７０】
次に、算出した斜め隣接投影値と矩形範囲の分割長との比を算出する。そして、この比が所定の閾値以上である部分を斜め成分とし、当該比が閾値よりも小さい部分を斜め成分が存在しないものとする。そして、複数の部分が連続して所定の閾値以上となる場合、即ち、斜め成分である部分が連続する場合、これらを統合して１個の矩形領域で近似し、この近似された矩形範囲に斜め成分が存在するものとする。斜め成分は複数の矩形範囲からなる。
【００７１】
このような斜め方向の画素探索処理又は斜め方向の（隣接）投影処理を用いることによって、斜め方向に傾いている斜め成分を正確に抽出することができる。従って、帳票の枠における丸角部を構成する斜め成分を正確に抽出することができる。
【００７２】
斜め成分抽出処理により抽出された斜め成分の内、第１の斜め成分である縦方向の直線の端部を起点とするものを「斜め成分Ｔ」と呼び、第２の斜め成分である横方向の直線の端部を起点とするものを「斜め成分Ｙ」と呼んで、区別することとする。
【００７３】
図９に丸角部分を拡大した例を示す。直線抽出装置２において縦横罫線を抽出すると、図９（Ａ）において点線で囲んだ部分が縦直線及び横直線（直線データ１３）として抽出される。そこで、図９（Ｂ）に示すように、横直線の端部から斜め方向に伸びているパターンを抽出し、その結果として、当該斜め成分Ｙ及びその存在する領域（斜線を施した領域）を記憶する。次に、図９（Ｃ）に示すように、縦直線の端部から斜め方向に伸びているパターンを抽出し、その結果として、当該斜め成分Ｔ及びその存在する領域（斜線を施した領域）を記憶する。なお、抽出の順序はいずれが先であっても良い。この処理は全ての縦直線及び横直線について実行される。即ち、本来１個の斜め成分が斜め成分Ｔ及びＹとして別々に抽出される。これにより、１個の斜め成分が完全に掠れていても斜め成分Ｔ及びＹとして抽出することができる。
【００７４】
斜め成分抽出処理に続いて、候補検出処理が実行される（ステップＳ３２）。候補検出処理は、重なり処理、近接処理又は探索処理の内の１又は複数の処理からなる。重なり処理については図９を参照して説明し、近接処理及び探索処理の例については、各々、図１０及び図１１に示す。
【００７５】
最初に、第１の処理として、重なり処理が実行される（ステップＳ３２−１）。重なり処理は、例えば図９（Ｂ）に示す斜め成分Ｙ（の存在する領域）と図９（Ｃ）に示す斜め成分Ｔ（の存在する領域）とが重なっている場合に、実行される。従って、ステップＳ３２−１において最初に、斜め成分Ｙと斜め成分Ｔとの重なりの有無が調べられる。当該重なりが無い場合、ステップＳ３２−１における以下の処理は省略される。斜め成分Ｙと斜め成分Ｔとが重なっている場合、その部分は丸角候補領域であるとされる。これは、両者が重なる場合には、図９に示すように、当該斜め成分が丸角部の備えるべき形状を備えることになるからである。即ち、当該斜め成分は、横直線及び縦直線の双方に接続しており、かつ、当該丸角部は双方の直線を繋ぐ斜め成分である。この重なり処理により丸角部を正確に抽出することができる。相互に重なる斜め成分Ｙ及びＴが無い場合、図１０に示す近接処理が実行される。
【００７６】
なお、当該斜め成分Ｙ及びＴは完全に重なっている必要はなく、予め定められた状態以上に双方が重なっていれば、両者が重なっていると判断される。重なりの状態は、例えば重なっている面積又は画素数又はその割合により判断される。これにより、掠れがあっても斜め成分を抽出することができる。
【００７７】
次に、第２の処理として、近接処理が実行される（ステップＳ３２−２）。近接処理は、２つの斜め成分Ｙ（の存在する２つの領域）が縦方向に、又は、斜め成分Ｔ（の存在する２つの領域）が横方向に、相互に予め定められた距離以下の位置関係にある場合に、実行される。従って、ステップＳ３２−２において最初に、処理対象として着目したある斜め成分Ｙ又はＴの近傍の他の斜め成分Ｙ又はＴとの距離が調べられる。前記位置関係を満たす他の斜め成分Ｙ又はＴが有る場合、図１０に示すように、２つの領域Ｙ又はＴの間の距離に応じて、更に、２つの異なる処理のいずれか一方が実行される。２つの異なる処理はいずれを先に実行しても良い。前記位置関係を満たす他の斜め成分Ｙ又はＴが無い場合、図１１に示す探索処理が実行される。
【００７８】
なお、図１０は２つの斜め成分Ｙが縦方向に相互に前記位置関係にある場合について示すが、２つの斜め成分Ｔが横方向に相互に一定距離以下の位置関係にある場合についても同様である。また、図１１は斜め成分Ｙについての探索処理を示すが、斜め成分Ｔについての探索処理も同様である。
【００７９】
図１０（Ａ）に示すように、２つの斜め成分Ｙの間が予め定められた距離以下ではあるが上下方向に離間している場合、当該２つの斜め成分Ｙの間に存在するパターンを調べる。当該パターンが直線の特徴を示すパターンでない場合、以下の処理は省略される。直線の特徴を示すパターンである場合、当該２つの斜め成分Ｙの間に仮想的に直線を想定し、当該２つの斜め成分Ｙを丸角候補領域であるとする。仮想的な直線は罫線候補領域であるとされる。そして、罫線候補領域内に存在する画像のパターンＳが直線の特徴を示すパターンであるか否かが調査される。直線の特徴を示す場合、当該領域は罫線として抽出され、両端の斜め成分Ｙは丸角候補領域として抽出される。これにより、文字の一部分を丸角部として誤って抽出することを防止することができる。従って、２つの斜め成分Ｙが上下方向に（又は２つの斜め成分Ｔが左右方向に）一定距離以下の位置関係にある場合には、これらの間に直線成分が殆ど存在せず略円弧状になっていても、丸角候補領域を正確に抽出することができる。これは図１９（Ａ）に示す帳票の場合に相当する。
【００８０】
当該パターンＳが直線の特徴を示すパターンであるか否かを調べる処理（直線探索処理）は、周知の直線探索処理を用いることによって実行される。周知の直線探索処理としては、例えば、先に本願出願人の提案した特開平１０−３３４１８５号公報に記載の技術が用いられる。この技術によれば、画素の探索及び凹凸度による直線判定が実行される。これにより、凹凸度の小さい直線と凹凸度の大きい文字や斜め成分とを区別することが可能になり、直線の特徴を示すパターンであるか否かを正確に調べることができる。
【００８１】
ここで、当該画素の探索及び凹凸度による直線判定処理について簡単に説明する。まず、入力された画像データ１２における当該調査対象の画像パターンＳの延びる方向（縦又は横方向）に、画素（パターンとして入力された黒画素）を探索する。そして、当該探索方向に画素が存在する限り、当該探索方向に探索を続ける。この場合、画素の探索方向は変化しない。一方、当該探索方向に画素が存在しない場合に限り、当該探索方向の斜め方向にある画素を探索する。この場合、画素の探索方向が変化する。当該探索方向の変化回数がカウントされる。
【００８２】
次に、画素の探索方向の変化回数の値に基づいて、当該パターンＳが直線の特徴を示すパターンであるか否かが判定される。当該パターンＳが直線であれば略同一方向に探索が行われるので画素の探索方向の変化回数の値が小さく、直線でなければ当該値が大きい。そこで、予め経験的に直線判定の閾値を適切な値に定めることにより、これを用いて直線とするか否かを判定する。このような画素の探索及び凹凸度による直線判定処理を用いることによって、対象とするパターンＳが直線か否かを正確に判定することができる。
【００８３】
なお、図１０（Ａ）に示す場合において、当該２つの領域Ｙの間に存在するパターンＳについて直線探索処理を行うことなく、丸角部が接近して存在する領域であると判断しても良い。この場合、２つの領域Ｙの間の直線（罫線）は、上述のようにして作成しても良く、又は、当該２つの領域Ｙの間におけるパターンの存在の有無にかかわらず作成しても良い。
【００８４】
図１０（Ｂ）に示すように、２つの領域Ｙの間が接触しているか又は重なっている場合、当該２つの領域Ｙが丸角候補領域であるとされる。ここで、接触とは２つの斜め成分Ｙを構成する画素が隣接している場合を言い、重なるとは２つの斜め成分Ｙを構成する画素が重複している場合を言う。このような状態は、２本の横直線に挟まれた縦直線の成分が短すぎるため、直線として抽出されなかった場合である。従って、この処理は、２つの領域Ｙの間の間隔が直線として抽出される最小長さ以下である場合に実行される。これにより、２つの斜め成分Ｙが上下方向に又は２つの斜め成分Ｔが左右方向に接触又は重なる場合には、これらの間に直線成分が殆ど存在せず略円弧状になっていても、丸角候補領域を正確に抽出することができる。これは図１９（Ｂ）に示す帳票の場合に相当する。
【００８５】
次に、第３の処理として、探索処理が実行される（ステップＳ３２−３）。探索処理は、図１１に示すように、ある斜め成分Ｙ（の存在する領域）又は斜め成分Ｔ（の存在する領域）の周囲に、当該斜め成分と予め定められた距離以下の位置関係にある他の斜め成分Ｙ又はＴが存在しない場合に、実行される。
【００８６】
図１１に示すように、抽出されたある斜め成分（Ｙ１）の領域から一定距離以下の位置に他の斜め成分Ｙ又はＴが存在しない場合、当該斜め成分（Ｙ１）の先端に短い直線成分が存在するか否かが調べられる。具体的には、斜め成分Ｙの場合には縦直線が探索され、斜め成分Ｔの場合には横直線が探索される。ここで、当該短い直線の存在を調べる処理（短い直線探索処理）は、周知の短い直線探索処理を用いることによって行われる。周知の短い直線探索処理としては、例えば、先に本願出願人の提案した特開平１０−３３４１８５号公報に記載の技術が用いられる。この技術によれば、画素の探索及び凹凸度による直線判定処理が実行される。この処理については、「直線探索処理」として前述したので、その説明を省略する。
【００８７】
当該直線が存在する場合、当該部分に直線を想定し、当該領域Ｙ１を丸角候補領域であるとする。当該直線を想定することにより、当該直線は直線抽出処理において抽出した直線と同様のもの（罫線）であるとされる。これにより、抽出された斜め成分の近傍に他の斜め成分が存在しない場合でも、直線の特徴を示すパターンＳ’が存在していれば、当該抽出された斜め成分は丸角候補領域であるとすることができる。従って、横又は縦方向に直線成分が殆ど存在せず帳票の角部が円弧状になっている場合でも、丸角候補領域を正確に抽出することができる。また、短い罫線でも正確に抽出することができる。
【００８８】
なお、図１１に示す斜め成分Ｙ２は図９に示す場合に相当し、対比のために示される。即ち、斜め成分Ｙ１は、前述の重なり処理及び近接処理によっては、当該斜め成分Ｙ１が丸角候補領域であるということを抽出できない場合である。
【００８９】
次に、以上の各種の処理により丸角候補領域として抽出された斜め成分について、直線情報の作成処理が実行される（ステップＳ３３）。即ち、当該斜め成分を、縦方向及び横方向に分解し、各々の成分を縦方向及び横方向の仮想的な直線（罫線）とする。具体的には、図１２に示すように、前記斜め成分の横線に接する端点から、当該縦方向の座標値をそのままにして、前記斜め成分の接する縦線の持つ横方向の座標まで、当該横方向の座標値を変化させることにより、横直線を得る。また、同様にして、縦直線を得る。そして、これらの２本の直線の存在を示す２つの矩形領域（図１２において点線で示す）が作成される。これにより、仮想的な直線（矩形領域）についての直線情報が作成される。従って、直線情報は当該仮想的な直線の始点及び終点（矩形領域の範囲）を示す位置座標からなる。この後、仮想的な直線と図１２において実線で示す実在する直線（矩形領域）とを統合し、その結果を用いて以下のセル抽出が実行される。これにより、丸角候補領域として抽出された斜め成分を仮想的な直線として処理できるので、丸角部を意識することなく、セル抽出を実行することができる。
【００９０】
なお、仮想的な直線（罫線）と実際に抽出された罫線とは、完全に接触又は重なっていなくても予め定められた一定距離以下の位置関係にある場合、統合されて１本の直線（罫線）とされる。これは縦及び横の双方について同様である。従って、この統合処理以降の処理においては、実在の罫線と仮想の罫線とが同様に扱われることにより、丸角部を意識することなく、セル抽出を実行することができる。
【００９１】
また、この直線情報作成処理と共に、丸角候補領域であるとして抽出された斜め成分のサイズの平均値を算出する処理が実行される。この平均値は後述する丸角部決定処理において用いられる。
【００９２】
また、直線情報作成処理は以下に述べるセル抽出処理の前処理であるので、当該セル抽出処理に含めても良い。即ち、セル抽出装置４が実行するようにしても良い。
【００９３】
以上の処理の結果、図１２に示すように、直線データ１３を用いることにより、画像データ１２から帳票の角部における丸角候補領域が抽出され、これについての直線情報が作成される。これが丸角候補データ１４である。
【００９４】
図１３はセル抽出装置４の実行するセル抽出処理について説明する。図１３に示す処理は、図４のステップＳ４に相当し、周知の処理である。
【００９５】
セル抽出装置４は画像データ１２からセルを抽出する。この抽出処理は周知のどのような処理によっても良い。セルは四方を直線で囲まれた領域であるので、２本の横線の組（横枠）と２本の縦線の組（縦枠）とでセルを規定（抽出）することができる。以下にその一例を示す。
【００９６】
最初に、横枠を決定する横枠決定処理が実行される（ステップＳ４１）。横枠決定は、周知の横枠決定処理を用いることによって行われる。周知の横枠決定処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この技術によれば、即ち、枠の上部から順番に、所定の規則に従って、一行を構成する２本の横線の組（対）を決定し、これを横枠とする。
【００９７】
ここで、当該横枠決定処理について簡単に説明する。まず、直線抽出処理（ステップＳ２）において抽出された横線の中から、上から順番に２本の横線を選択して、これらを２本の横線の組の候補とする。
【００９８】
次に、この候補である２本の横線が、同一の長さであるか、又は、下方の直線の方が長いという関係（組の条件）であれば、当該候補をそのまま２本の横線の組とする。下方の直線の方が長い場合、当該下方の直線は、再度、２本の横線の組の候補とすることができる。
【００９９】
一方、候補である２本の横線が、下方の直線の方が短いという関係であれば、更に、当該下方の直線とその下方の直線とを新たな２本の横線の組の候補とする。そして、双方の直線の長さの関係を調べ、上述の組の条件を満たし当該候補を２本の横線の組とすることができるまで、同様の処理を繰り返す。なお、下方の直線の更に下方に上述の組の条件を満たす直線が全く存在しない場合、当該下方の直線とその直ぐ上の直線とを２本の横線の組とする。
【０１００】
次に、上述の処理を最も下の直線について行った後、当該直線の上方に未処理の直線が残っている場合、当該未処理の直線と再度２本の横線の組の候補とすることができる直線とを用いて、再度、上述の処理を繰り返すことにより、２本の横線の組を作る。このような横枠決定処理を用いることによって、以後の処理において行等の矩形枠を構成する横枠の組（２本の横線の組）を正確に決定することができる。
【０１０１】
この後、横枠決定処理の結果を用いて、縦枠を決定する縦枠決定処理が実行される（ステップＳ４２）。縦枠決定は、周知の縦枠決定処理を用いることによって行われる。周知の縦枠決定処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この技術によれば、横枠決定処理において組とされた２本の横線により構成される間隔毎に（即ち、一行毎に）処理を行ない、先に抽出された縦線の内で当該２本の横線の双方について上下共に達しているものを縦枠とする。このような縦枠抽出処理を用いることによって、縦枠を正確に抽出することができる。
【０１０２】
この後、横枠決定処理及び縦枠決定処理の結果を用いて、セルである矩形領域を抽出する矩形抽出処理が実行される（ステップＳ４３）。矩形抽出は、周知の矩形抽出処理を用いることによって行われる。周知の矩形抽出処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この特開平９−５０５２７号公報に記載の処理技術によれば、横枠決定処理及び縦枠決定処理において決定された横枠及び縦枠に四方を囲まれた範囲を、矩形範囲として抽出する。即ち、横枠決定処理において組とされた２本の横線と、縦枠抽出処理において当該横枠に達する縦枠とされた２本の縦線とで囲まれた領域を、矩形枠（セル）として抽出する。このような矩形抽出処理を用いることによって、セルを正確に抽出することができる。
【０１０３】
以上の処理の結果、直線データ１３を用いることにより、画像データ１２から帳票におけるセルが抽出される。これがセルデータ１５である。この時、ステップＳ３３において作成された直線情報により表される仮想の直線を用いることにより、図１２に示すような帳票の角部における丸角部を含むセルも、同様に、矩形枠として抽出される。
【０１０４】
図１４は丸角部決定装置５の実行する丸角部決定処理フローを示す。図１４に示す処理は、図４のステップＳ５に相当し、本発明に特徴的な処理である。丸角部決定処理は、画素密度変化処理、対象性処理及びマッチング処理からなる。
【０１０５】
最初に、第１の処理として、抽出されたセルの角部の画素密度変化に基づいて当該角部の形状を決定する画素密度変化処理が実行される（ステップＳ５１）。画素密度変化処理は、セルの角部に注目し、当該角部の画素密度の変化を用いて丸角部の決定を行う処理である。即ち、帳票の角部の形状に基づいて丸角部を決定する処理モードである。この処理により、角部に掠れがある場合でも丸角部を決定することができる。ここで、（画素密度）＝（当該領域内の黒画素の総数）／（当該領域内の画素の総数）である。黒画素はステップＳ３１において当該斜め成分Ｙ又はＴとして抽出された線分を構成する画素である。
【０１０６】
図１５に示すように、セルの角部においては、その外側から内側へ向かって、画素密度が低い三角領域ａ、高い台形領域（斜線を施した部分）ｂ、低い台形領域ｃの順に並ぶ。即ち、画素密度は、「低い→高い→低い」の順に変化する。そこで、抽出されたセルを構成する２本の直線に挟まれる角部において、当該２本の直線の作る頂点から離れる方向へ上述の順に画素密度が変化している場合、当該部分は丸角部であると決定する。この画素密度が「低い→高い→低い」の順に変化すると言う特徴を用いることにより、角部に掠れがあっても丸角部を決定することができる。
【０１０７】
画素密度の高低を判断するための閾値（又はパラメータ）が、例えば当該帳票（入力画像１１）の入力時にユーザにより、定められる。ユーザの入力がない場合、予め定められた値とされる。図１５から判るように、領域ａの画素密度は極めて低い（この例では「０」である）。従って、領域ａについての閾値は極めて小さくされ、画素密度が当該閾値よりも小さい場合に画素密度が「低い」と判断される。領域ｂの画素密度は所定のレベルに達する。この所定のレベルは経験的にある程度正確に知り得る。従って、領域ｂについての閾値は当該レベルより小さい値とされ、画素密度が当該閾値よりも大きい場合に画素密度が「高い」と判断される。領域ｃの画素密度は、領域ａよりは高いが、領域ｂよりはかなり低い。この画素密度は経験的にある程度正確に知り得る。従って、領域ｃについての閾値は、領域ａについての閾値よりは高いが、領域ｂよりはかなり小さくされ、画素密度が当該閾値よりも小さい場合に画素密度が「低い」と判断される。
【０１０８】
画素密度処理において、画素密度を算出する領域は、丸角候補領域検出装置３において算出された丸角候補領域として抽出された斜め成分のサイズの平均値を規準として設定される。例えば、当該平均値より所定の割合だけ大きい値が、前記台形領域ｃの下辺の値とされる。これにより、画素密度変化処理の領域を小さくすることができるので、画素密度変化処理に要する時間を短縮することができる。台形領域ｃの下辺は当該矩形領域を定める縦及び横の直線に対して、図１５に示すように４５°で交わる。台形領域ｂの上辺及び下辺も、同様である。
【０１０９】
なお、画素密度処理において、セルを構成する２本の直線の作る頂点を含む三角領域ａの画素密度が当該閾値よりも小さい場合に、当該角部が丸角であると判断しても良い。また、領域ａの画素密度が領域ｂの画素密度よりも十分に小さい場合（又は、両者の間に予め定められた差がある場合）に、当該角部が丸角であると判断しても良い。また、領域ａ、ｂ及びｃの画素密度が「低い→高い→低い」と変化し、領域ａの画素密度が領域ｃの画素密度よりも小さい場合に、当該角部が丸角であると判断しても良い。
【０１１０】
この後、第２の処理として、対象性処理が実行される（ステップＳ５２）。入力された画面データ１２が常に良好な状態であるとは限らない。即ち、罫線の掠れや潰れ、罫線への文字の接触等の原因により、画素密度変化処理のみで全ての丸角部を正確に抽出できるとは限らない。そこで、丸角部抽出の対象である表構造の規則性が予め判っている場合、当該規則性を利用することにより、より高い精度で丸角部の抽出を行う。
【０１１１】
対象性処理は、帳票における表構造の規則性に注目し、角部の同一形状の規則的な繰り返し（丸角部の方向は異なる）を利用して丸角部の決定を行う処理である。一般に用いられる帳票の多くは、図１６（Ａ）に示すようにその外周の角部の全てが丸角であるか、逆に、その外周の角部の全てに全く丸角がないかの何れかである。図１６（Ｂ）に示すように、その外周の角部の一部のみが丸角である帳票は殆ど存在しない。そこで、この対象性を利用して、より高い精度で丸角部を抽出する。
【０１１２】
最初に、前処理として当該規則性が予め判っているか否かが調べられる（ステップＳ５２−１）。当該帳票が規則性を持った表構造を有することは、例えば当該帳票（入力画像１１）の入力時にユーザにより入力される。
【０１１３】
この後、図１６（Ａ）に示す帳票について規則性を有することが指示されている場合、当該規則性（対象性）を利用した処理を行う（ステップＳ５２−２）。即ち、例えば、４個の角部がある当該帳票において四隅の内の何処か１個でも先の画素密度変化処理において丸角部であると判断されると、他の３個の角部も丸角部である可能性が高いと判断する。そして、当該他の３個の角部について、画素密度変化処理の制限を緩めた上で、再度、画素密度変化処理を行い、この結果を最終的な処理結果とする。従って、対象性処理は、実際は、緩和された一定条件下での画素密度変化処理の繰り返しである。上記制限の緩和は、例えば閾値（又はパラメータ）を適切に変更すること等による。
【０１１４】
例えば、図１５に示した丸角部において、これに交差するように文字が記入されていた場合、領域ａ及び領域ｃの画素密度は当該閾値よりも大きくなる。この場合、画素密度は領域ａ、ｂ及びｃについて高いままで変化しない。また、当該丸角部の極めて近傍まで文字が記入されていた場合、領域ｃの画素密度が当該閾値よりも大きくなる。この場合、画素密度は領域ａ、ｂ及びｃについて「低い→高い→高い」となる。そこで、上記対象性処理に基づいて領域ａ及び領域ｃの閾値を予め定められた値だけ高くする。これにより、上記のような場合でも、画素密度処理における画素密度が領域ａ、ｂ及びｃについて「低い→高い→低い」と変化することになる。結果として、丸角部の決定の緩和が図られ、最初の処理では決定から漏れた角部も丸角部であると決定することができる。
【０１１５】
なお、規則性を有することが指示されている場合であっても、先の画素密度変化処理において予め定められた個数の丸角部が決定されていなければ、対象性処理（ステップＳ５２−２）は実行されない。この場合は帳票の外周の角部の全てに全く丸角がないと考えられるからである。対象性処理を開始するための丸角部の個数は予め定められる。この個数は、前述のように、通常１個とされるが、２個以上であっても良く、例えば当該帳票（入力画像１１）の入力時にユーザにより入力される。
【０１１６】
また、対象性処理（ステップＳ５２−２）は複数回繰り返して実行しても良い。即ち、領域ａ及び領域ｃの閾値を所定幅だけ大きくしても丸角部が決定できない場合、更に、領域ａ及び領域ｃの閾値を更に同じ所定幅だけ大きくして画素密度変化処理を行っても良く、これを繰り返しても良い。これにより、丸角部に文字が接触等していても確実に丸角部を決定することができる。
【０１１７】
以上のように、帳票の角部の形状に基づいて丸角部を決定する処理モード以外に、帳票の外周における角部の形状の規則性を用いて（及び帳票の角部の形状に基づいて）丸角部を決定する処理モードにより、角部毎に丸角か否かが決定される。これにより、予め帳票の規則性が判っている場合には、より高精度で丸角部を決定することができる。即ち、画素密度変化処理において丸角部が予め定められた個数以上決定された場合には、その後の規則性を用いた処理モードにおいて、画素密度変化処理において丸角部であることを決定できなかった角部についても再度画素密度変化処理を行う。これにより、確実に丸角部であることを決定することができる。
【０１１８】
なお、ステップＳ５２−１において処理対象の帳票について予め規則性が判らない場合には、ステップＳ５２−２の実行は省略される。即ち、画素密度変化処理において抽出した丸角部のみを丸角部であるとする。従って、この場合、図１６（Ｂ）に示すように、その外周の角部の一部のみが丸角である表構造が検出される。
【０１１９】
また、当該帳票が規則性を有するか否かの指示入力を、例えば規則性を有する角部の位置又は数を指定して入力するようにしても良く、また、規則性を有する角部は何箇所でも良い。
【０１２０】
この後、第３の処理として、マッチング処理が実行される（ステップＳ５３）。画素密度変化処理及び対象性処理によっては、点線の内、点と点の間隔が広いものについては処理できない。これは、当該間隔の広い部分の存在により画素密度の変化が正確に抽出できないためである。そこで、画素密度変化処理（又は画素密度変化処理及び対象性処理の双方）において丸角部であると決定されなかった角部について、マッチング処理が実行される。マッチング処理は、発生させたパターンと画像データ１２上の画像パターン（又は近似させた画像パターン）とのマッチングを採ることにより、角部の形状を認識する処理である。マッチング処理を行うことにより、点と点の間隔が広い点線についても丸角部を決定することができる。
【０１２１】
マッチング処理は、図１７に示すように、横線と横線（縦線と縦線でも同様である）及び縦線と横線との間の距離が予め定められた値以下の場合に実行される。上記距離が一定値以下の場合にのみマッチング処理を行うことにより、マッチング処理の回数を少なくして処理を効率良く行うことができる。
【０１２２】
マッチング処理において、最初に、当該２本の直線の端点と端点との間を結ぶパターンが生成される（ステップＳ５３−１）。即ち、マッチングに用いるパターンは、予め用意されるのではなく、その都度生成される。従って、多数のパターンを格納する必要がなく、そのための大容量のメモリも必要ない。パターンの生成にはｎ次関数が用いられる。例えば、図１７（Ａ）に示す状態は、横線と横線（又は縦線と縦線）の端点が近い位置に存在する例である。この場合、２本の横線の端点ａ、ｂに対するパターンａ’ｂ’が生成される。生成されるパターンａ’ｂ’は半円とされる。図１７（Ｂ）に示す状態は、縦線と横線の端点が近い位置に存在する例である。この場合、縦線と横線の端点Ａ、Ｂに対するパターンＡ’Ｂ’が生成される。生成されるパターンＡ’Ｂ’は９０°の円弧とされる。生成されたパターンａ’ｂ’又はＡ’Ｂ’と画像パターンとが一致すれば（又は相似すれば）、当該角部は丸角部であるとされる。
【０１２３】
次に、生成されたパターンと入力された画像データ１２上の画像パターン（入力パターン）とが比較される（ステップＳ５３−２）。この比較の結果が一致すれば、当該角部は当該生成されたパターンと同一の形状を有する丸角部であるとされる。これにより、掠れた実線や間隔が広い点線についても正確に丸角部を決定することができる。
【０１２４】
なお、当該画像パターンに近似させたパターン（近似パターン）を生成して、これと入力パターンとを比較しても良い。近似パターンは当該画像パターンを矩形近似することにより得る。近似パターンを用いることにより、入力パターンが点と点との間隔の長い点線や一部が掠れた丸角であっても、正確に丸角部を決定することができる。
【０１２５】
以上のように、マッチング処理は、画素密度処理及び対象性処理によっては丸角部を決定することができない場合にのみ実行される。これにより、帳票の角部の形状（又はその規則性）に基づいて丸角部を決定する処理モードによっては、丸角部か否かを決定することができない場合（例えば、点線の場合）でも、丸角部を決定することができる。また、パターン生成処理の回数を少なくすることができるので、処理を効率良く行うことができる。
【０１２６】
以上の処理の結果、図１８に示すように、画像データ１２から帳票の角部における丸角部が抽出される。これが丸角部データ１６である。
【０１２７】
図１８は文字認識領域決定装置６の実行する文字認識領域決定処理について示す。この処理は、図４のステップＳ６であり、周知の処理である。
【０１２８】
図１８は、ある角部が丸角部決定処理において丸角部であると決定された場合における、当該丸角部とセルＣ１との関係を示す。図１８に示すように、当該決定された丸角部はセルＣ１の内側に含まれた状態となる。なお、「ａｂｃ」は帳票に記入された文字である。そこで、文字認識領域決定装置６は、まず、セルＣ１の直ぐ内側の点線で示す矩形の領域を仮の文字認識領域Ｃ２とする。その後、文字認識領域決定装置６は、仮の文字認識領域Ｃ２から当該丸角部の存在する領域（斜線を施した三角形の領域）Ｃ３を除くことにより、真の文字認識領域を決定する。これにより、当該丸角部が文字と認識されることを防止することができ、また、文字「ａｂｃ」を正しく認識することができる。
【０１２９】
以上、本発明の１つの実施の形態について説明したが、本発明はその主旨の範囲内において種々の変形が可能である。
【０１３０】
例えば、表画像処理装置１００は上述した構成を全て備える必要はなく、適宜簡易な構成としても良い。特に、直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、文字認識領域決定装置６はソフトウェアによって実現されるため、ＣＰＵの負担が大きく、メモリも大きくなる。そこで、各装置の構成を簡易なものとしても良い。この場合、丸角部の抽出精度は多少劣るが、処理速度は高速化することができる。
【０１３１】
一例として、丸角候補領域検出処理における候補検出処理として重なり処理（ステップＳ３２−１）のみを実行し、丸角部決定処理として画素密度変化処理（ステップＳ５１）のみを実行するようにする。この場合、重なり処理のみが実行されるので、予め定められた距離に位置する縦方向の直線と横方向の直線との組（図９に示す例）のみが、丸角部の処理対象とされる。
【０１３２】
他の例として、上述の例において、丸角候補領域検出処理における候補検出処理として、重なり処理（ステップＳ３２−１）に代えて、近接処理（ステップＳ３２−２）のみ、探索処理（ステップＳ３２−３）のみ、又は、これらの３つの処理から選択した２つの処理のみを実行するようにしても良い。丸角部決定処理としては画素密度変化処理（ステップＳ５１）のみを実行するようにする。近接処理の場合には図１０に示す例のみが丸角部の処理対象とされ、探索処理の場合には図１１に示す例のみが丸角部の処理対象とされる。
【０１３３】
逆に、上述の例において、丸角部決定処理として、画素密度変化処理（ステップＳ５１）のみに代えて、画素密度変化処理及び対象性処理（ステップＳ５２）、又は、画素密度変化処理及びマッチング処理（ステップＳ５３）を実行するようにしても良い。候補検出処理としては重なり処理（ステップＳ３２−１）のみを実行するようにする。
【０１３４】
以上の説明から判るように、候補検出処理及び丸角部決定処理は、各々、上述した複数の処理から適宜選択して実行することができる。従って、これらの処理は、上述した例の他にも種々組み合わせることができる。
【０１３５】
更に、他の例として、丸角候補領域検出装置３及び丸角部決定装置５のみを実施の形態において説明した構成として、他の各装置は上述した以外の周知の手段で実現しても良い。この場合でも、丸角候補領域検出装置３及び丸角部決定装置５の構成は上述した簡易な構成としても良い。
【０１３６】
また、例えば、図４に示す処理フローにおいて、処理の順序を種々変更することが可能である。即ち、直線抽出処理（ステップＳ２）の後に、丸角候補領域検出処理（ステップＳ３）を行うことなく、先にセル抽出処理（ステップＳ４）を行ないセルの形状を決定し、その後に抽出したセルの角部について丸角候補領域検出処理（ステップＳ３）及び丸角部決定処理（ステップＳ５）をこの順に行うようにしても良い。逆に、直線抽出処理（ステップＳ２）及び丸角候補領域検出処理（ステップＳ３）の後に、セル抽出処理（ステップＳ４）を行うことなく、先に丸角部決定処理（ステップＳ５）を行って丸角部の形状を決定し、その後にセル抽出処理（ステップＳ４）を行うようにしても良い。更に、このような処理順序を変更することに加えて、上述したような丸角候補領域検出装置３及び丸角部決定装置５の簡易な構成を併せて採用することができる。
【０１３７】
また、例えば、ある特定の処理の結果に基づいて、図４に示す処理の順序を種々変更することが可能である。即ち、ステップＳ３１において抽出された全ての斜め成分Ｙ及び斜め成分Ｔの大きさ（斜め線の長さ）が予め定められた値より小さい場合、候補検出処理（ステップＳ３２）及び直線情報作成処理（ステップＳ３３）を省略して、セル抽出処理（ステップＳ４）、ステップＳ３１を除く丸角候補領域検出処理（ステップＳ３）、丸角部決定処理（ステップＳ５）の順に実行しても良い。更に、この場合、セル抽出後の候補検出処理（ステップＳ３２）を省略して実質的に丸角候補領域検出処理（ステップＳ３）を省略することができる。このようにしても、丸角部の面積が小さいので、直接丸角部決定処理を行う際の処理の負担が大きくならずに済む。
（第２の実施形態）
図２０は表画像処理装置構成図であり、本発明の表画像処理装置１００の他の一例の構成を示し、図２に示す表画像処理装置１００に対応する。図２０の表画像処理装置１００は、基本的には、図３に示す表画像処理装置１００と同様の構成を有するが、直線抽出装置２が、更に、罫線判定処理手段２０を備える点のみが異なる。罫線判定処理手段２０は、入力画像１１（又は、画像データ１２）から抽出された縦及び横方向の罫線候補について、入力画像１１から抽出された画像パターンであって当該罫線候補の周囲に存在する他の画像パターンに応じて、互いに異なる値の複数の閾値２１、２２、・・・のいずれかを用いて、当該罫線候補の凹凸度を判定することによって、当該罫線候補が罫線であるか否かを判定する。実際には、後述するように、低い値の第１の閾値２１又は高い値の第２の閾値２２の２個の閾値を用いる。
【０１３８】
図２０の表画像処理装置１００は、基本的には、図３の表画像処理装置１００と同様の処理を行い、直線抽出装置２における直線データ１３の作成処理（罫線候補の抽出処理）のみが一部異なる。以下において、図３の表画像処理装置１００と同様の処理についてはその説明を省略し、直線抽出装置２における処理を中心に説明する。
【０１３９】
図２１は罫線判定処理手段２０の構成を示す。図２０及び図２１に示すように、罫線判定処理手段２０は直線抽出装置２に設けられる。罫線判定処理手段２０は、直線抽出装置２の抽出した縦及び横方向の直線を罫線候補として用いて、当該罫線候補が罫線であるか否かを判定する。従って、罫線判定処理手段２０の処理の対象となるのは、図５に示す処理において、直線抽出装置２が連結パターン抽出処理（ステップＳ２１）乃至点線抽出処理（ステップＳ２５）までを実行した結果得られるデータである。連結パターン抽出処理乃至点線抽出処理は、周知のいずれの処理によっても良い。このデータは、上記の処理によって罫線の候補として抽出された直線及び点線からなるので、この例において罫線候補データ１３Ａと呼ぶこととする。罫線判定処理手段２０は、罫線候補データ１３Ａについて罫線判定処理を行うことによって、罫線である可能性の低いものを罫線候補データ１３Ａから除外して直線データ１３、即ち、罫線データを作成する。
【０１４０】
罫線判定処理手段２０は、直線抽出装置２の一部であるので、当該表画像処理装置１００の主メモリ上に存在しＣＰＵ上で実行されることにより当該処理を実行する処理プログラムによって実現される。罫線判定処理プログラムは直線抽出処理プログラムの一部である。直線抽出装置２直線抽出装置２の実行する処理の内、罫線判定処理手段２０の実行する処理は本発明に特有の処理であり、他の処理（連結パターン抽出処理乃至点線抽出処理）は周知の処理である。
【０１４１】
なお、図３の表画像処理装置１００においても、図５に示す連結パターン抽出処理（ステップＳ２１）乃至点線抽出処理（ステップＳ２５）までを実行した後に、当該処理の結果として得られた罫線候補から罫線である可能性の低い領域を判定して当該候補から除外する罫線判定処理を行うようにしても良い。この罫線判定処理は、例えば、特開平１０−３３４１８５号公報に記載の技術による。この技術によれば、画素の探索及び凹凸度による直線（罫線）判定処理が行われる。即ち、抽出された罫線候補の画像パターンについての探索処理を行うことにより、画像パターンの凹凸度を算出し、当該凹凸度がある一定の値（閾値）以上であれば罫線以外（即ち、文字）のパターンであるとし、一定の値より小さければ罫線であるとする。この技術については、「直線探索処理」として前述したので、その説明を省略する。
【０１４２】
図２１に示すように、罫線判定処理手段２０は、画素密度判定処理部２３と罫線幅判定処理部２４とからなる。画素密度判定処理部２３及び罫線幅判定処理部２４は、各々、判定処理に用いるための第１及び第２の閾値（凹凸度の閾値）２１及び２２を予め有する。煩雑を避けるために特に区別はしないが、画素密度判定処理部２３の第１の閾値２１と罫線幅判定処理部２４のそれとは、両者における処理が異なるので、異なる値である。第２の閾値２２についても同様である。第１の閾値２１は低い値の意であり、第２の閾値２２は高い値の意である。画素密度判定処理部２３及び罫線幅判定処理部２４における第１及び第２の閾値２１及び２２の値は、各々の実行する処理に応じた適切な値に予め設定される。これらの値は、各々、経験的（又は、統計的、実験的）に適切な値に定められる。
【０１４３】
罫線判定処理手段２０において、与えられた罫線候補データ１３Ａについての処理を画素密度判定処理部２３と罫線幅判定処理部２４のいずれを先に行っても良い。どの場合でも、罫線候補データ１３Ａから罫線である可能性の低いものを除外することができる。また、罫線判定処理手段２０は、画素密度判定処理部２３と罫線幅判定処理部２４のいずれか一方のみを備えても良い。罫線判定処理手段２０はソフトウェアによって実現されるため、ＣＰＵの負担が大きくメモリも大きくなる。そこで、いずれか一方のみを設けて、装置の構成を簡易なものとしても良い。この場合、罫線の抽出精度は多少劣るが、処理速度は高速化することができる。
【０１４４】
画素密度判定処理部２３は、予め定められた値の第１の閾値２１又はこれよりも高い値の第２の閾値２２のいずれかを用いて、予め求めた当該罫線候補の凹凸度を判定することによって、当該罫線候補が罫線であるか否かを判定する。第１の閾値２１の値は第２の閾値２２の値よりも低い。具体的には、画素密度判定処理部２３は、当該罫線候補の周囲に存在する他の画像パターンの画素密度に応じて、当該他の画像パターンの画素密度が高い場合に第１の閾値２１を用い、当該他の画像パターンの画素密度が低い場合に第２の閾値２２を用いる。
【０１４５】
罫線判定処理手段２０の画素密度判定処理部２３は、当該罫線候補が縦罫線である場合、入力された画像において、当該縦罫線の長さと同一範囲であって、かつ、当該縦罫線の左右の予め定められた幅の範囲に存在する画像パターンを、当該罫線候補の周囲に存在する他の画像パターンとして用いる。また、罫線判定処理手段２０の画素密度判定処理部２３は、当該罫線候補が横罫線である場合、入力された画像において、当該横罫線の長さと同一範囲であって、かつ、当該横罫線の上下の予め定められた幅の範囲に存在する画像パターンを、当該罫線候補の周囲に存在する他の画像パターンとして用いる。即ち、このようにして定められた領域の画素密度が判定に用いられる。当該領域に実際の画像パターンが存在しない場合、画素密度は「０」である。
【０１４６】
罫線幅判定処理部２４は、予め定められた値の第１の閾値又はこれよりも高い値の第２の閾値のいずれかを用いて当該罫線候補の凹凸度を判定することによって当該罫線候補が罫線であるか否かを判定する。第１の閾値２１の値は第２の閾値２２の値よりも低い。具体的には、罫線幅判定処理部２４は、当該罫線候補の周囲に存在する他の画像パターンの幅に応じて、当該他の画像パターンの幅が広い場合に第１の閾値を用い、当該他の画像パターンの幅が狭い場合に第２の閾値を用いる。
【０１４７】
罫線判定処理手段２０の罫線幅判定処理部２４は、入力された画像において、当該罫線候補と同一方向に延び、当該罫線候補に隣接又は連結された他の罫線候補を、当該罫線候補の周囲に存在する他の画像パターンとして用いる。即ち、周囲に存在する他の画像パターンとして用いられるのは、当該罫線候補と同一の罫線を構成する罫線候補である。換言すれば、同一罫線の複数の領域を、周囲に存在する他の画像パターンとして用いる。
【０１４８】
罫線幅判定処理部２４は、当該罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの幅のｎ倍以上である場合に当該罫線候補の幅が広いとし、当該罫線候補の幅が他の画像パターンの幅の１／ｎ以下である場合に当該罫線候補の幅が狭いとする。ここで、ｎは正の整数であり、例えば、「３」とされる。ｎの値は経験的（又は、統計的、実験的）に適切な値に定められる。
【０１４９】
図２２は直線抽出装置２の実行する直線抽出処理フローを示す。図２２に示す処理は、前述のように、基本的には図５に示す処理と同様であり、点線抽出処理（ステップＳ２５）の後に罫線判定処理（ステップＳ２６）が実行される点のみが異なる。従って、図５に示す処理と同様の処理についての説明は省略し、罫線判定処理（ステップＳ２６）ついて説明する。
【０１５０】
最初に、直線抽出装置２は、図５に示すと同様にして、連結パターン抽出処理（ステップＳ２１）乃至点線抽出処理（ステップＳ２５）を実行する。以上の処理の結果、画像データ１２から図７の右側に示すように矩形により近似された直線及び点線が抽出される。これが罫線候補データ１３Ａである。
【０１５１】
続いて、直線抽出装置２は、図２３に示すように、罫線判定処理手段２０による罫線判定処理を行い、罫線候補データ１３Ａから直線データ（罫線データ）１３を抽出する（ステップＳ２６）。
【０１５２】
図２３は罫線判定処理手段２０の実行する罫線判定処理フローを示す。罫線判定処理は画素密度判定処理部２３による画素密度判定処理と罫線幅判定処理部２４による罫線幅判定処理とからなる。画素密度判定処理については図２５を参照して説明し、罫線幅判定処理については図２６を参照して説明する。
【０１５３】
最初に、前処理として、罫線判定処理手段２０により凹凸度算出処理が実行される（ステップＳ２６１）。凹凸度算出処理は、周知の直線探索処理を用いることによって実行される。周知の直線探索処理としては、例えば、先に本願出願人の提案した特開平１０−３３４１８５号公報に記載の技術が用いられる。この技術によれば、画素の探索が実行される。
【０１５４】
この周知の直線探索処理については、「直線探索処理」として説明したので、ここでは、当該画素の探索について簡単に説明する。まず、罫線判定処理の対象となっている罫線候補における当該調査対象の画像パターンの延びる方向（縦又は横方向）に、画素（パターンとして入力された黒画素）を探索する。そして、当該探索方向に画素が存在する限り、当該探索方向に探索を続ける。この場合、画素の探索方向は変化しない。一方、当該探索方向に画素が存在しない場合に限り、当該探索方向の斜め方向にある画素を探索する。この場合、画素の探索方向が変化する。当該探索方向の変化回数がカウントされる。カウントされた変化回数が当該罫線候補の凹凸度である。当該パターンが罫線であれば略同一方向に探索が行われるので画素の探索方向の変化回数の値が小さく、罫線以外のパターン（文字）であれば当該値が大きい。
【０１５５】
次に、第１の処理として、画素密度判定処理部２３により画素密度判定処理が実行される（ステップＳ２６２）。
【０１５６】
画素密度判定処理において、最初に、画素密度が算出される（ステップＳ２６２−１）。画素密度判定処理に用いられる当該罫線候補の周囲に存在する他の画像パターンは、次のようにして定められる。例えば、図２４（Ａ）に示す罫線候補は横罫線であるので、この場合の他の画像パターンは図２４（Ｃ）に示すようにされる。即ち、当該横罫線の長さＬ１ と同一範囲であって、かつ、当該横罫線の上下の予め定められた幅２Ｈ１ （３Ｈ１ 以上でも良い）の範囲に存在する画像パターンが他の画像パターンとして用いられる。ここで、Ｈ１ は当該横罫線の幅（高さ）である。従って、上側及び下側のＬ１ ×２Ｈ１ の２個の領域が画素密度の判定に用いられる。図２４（Ｂ）に示す罫線候補についての他の画像パターンは図２４（Ｄ）に示すようにされる。即ち、当該横罫線の長さＬ２ と同一範囲であって、かつ、当該横罫線の上下の幅２Ｈ２ （３Ｈ２ 以上でも良い）の範囲に存在する画像パターンが他の画像パターンとして用いられる。ここで、Ｈ２ は当該横罫線の幅（高さ）である。従って、上側及び下側のＬ２ ×２Ｈ２ の２個の領域が画素密度の判定に用いられる。
【０１５７】
なお、当該罫線候補が縦罫線である場合にも、同様にして、画素密度判定処理部２３は、画素密度の判定に用いる領域を定める。即ち、入力された画像において、当該縦罫線の長さと同一範囲であって、かつ、当該縦罫線の左右の予め定められた幅の範囲に存在する画像パターンを、当該罫線候補の周囲に存在する他の画像パターンとして用いる。
【０１５８】
以上から判るように、画素密度の判定に用いられる領域の大きさは、当該罫線候補の長さ及び幅に依存して変動する（比例する）。当該罫線候補の長さに依存するのは、当該罫線候補が図２４（Ａ）に示すように本来文字である場合、図２４（Ｃ）に示すように少なくとも当該範囲には文字の残りの部分が必ず存在するからである。また、当該罫線候補の幅に依存するのは、罫線の幅の種類が複数（例えば、１ドットの細線、５ドットの普通の線、１０ドットの太線）存在する場合において、図２４（Ｂ）に示すように種々の罫線に掠れが存在しても、図２４（Ｄ）に示すように、確実に罫線として判定するためである。
【０１５９】
このようにして定められた領域について画素密度が算出される。画素密度の算出には例えば周知の画素投影処理が用いられる。又は、図１４の画素密度変化処理（ステップＳ５１）と同様の処理が用いられる。即ち、（画素密度）＝（当該領域内の黒画素の総数）／（当該領域内の画素の総数）である。黒画素は当該罫線候補の周囲に存在する他の画像パターンを構成する画素である。当該領域内の黒画素及び画素の総数がカウントされる。
【０１６０】
図２４（Ｃ）の場合、上側のＬ１ ×２Ｈ１ の領域の画素密度は低いが、下側のＬ１ ×２Ｈ１ の領域の画素密度は極めて高い。この場合、上側のＬ１ ×２Ｈ１ の領域の画素密度のみを用いると、正しい（周囲の画素密度が高いと言う）結果が得られない。そこで、上側及び下側のＬ２ ×２Ｈ２ の２個の領域の画素密度の平均値が判定に用いられる。これにより、図２４（Ｃ）の場合、２個のＬ１ ×２Ｈ１ の領域の画素密度は高いものとなる。図２４（Ｄ）の場合、上側及び下側のＬ２ ×２Ｈ２ の２個の領域の画素密度が共に極めて低いので、その平均値も極めて低いものとなる。
【０１６１】
画素密度の高低を判定するための閾値は、凹凸度の判定の閾値とは別に、予め画素密度判定処理部２３に与えられる。この閾値の値も、経験的（又は、統計的、実験的）に適切な値に定められる。図２４（Ｃ）の場合の２個のＬ１ ×２Ｈ１ の領域の画素密度は高いと判定され、図２４（Ｄ）の場合の上側及び下側のＬ２ ×２Ｈ２ の２個の領域の画素密度低いと判定される。
【０１６２】
次に、画素密度の判定結果に基づいて、第１の閾値を用いた第１の判定処理が行われる（ステップＳ２６２−２）。この処理の対象となるのは、当該罫線候補の周囲に存在する他の画像パターンの画素密度高いと判定された図２４（Ａ）又は（Ｃ）の場合である。
【０１６３】
図２４（Ａ）に示す罫線候補は、本来は文字線分Ａの一部である。従って、その周囲には文字線分Ａの他の部分が存在するので、前述のように、当該罫線候補の周囲に存在する他の画像パターンの画素密度は高くなる。周囲の画素密度が高いので、当該罫線候補は文字である可能性が高い。従って、相当の程度まで凹凸度が低い（即ち、滑らかな）罫線候補のみが、罫線として残るようにする必要がある。そこで、より低い値を有する第１の閾値２１が用いられる。罫線候補として抽出された文字線分Ａの凹凸度は、本来高いはずであるにもかかわらず、かなり低くなっている。より高い値を有する第２の閾値２２を用いた場合、文字線分Ａの凹凸度が第２の閾値２２より小さくなる結果、文字線分Ａは罫線であると判定されるおそれがある。第１の閾値２１を用いることにより、文字線分Ａの凹凸度は第１の閾値２１より大きくなる結果、文字線分Ａは罫線以外の画像パターンであると判定され、罫線候補データ１３Ａから除かれる。
【０１６４】
なお、第１の閾値２１の値をあまりに低くすることは好ましくない。例えば、本来の罫線に文字が重なっている場合も、図２４（Ａ）に示す罫線候補と同様に、当該罫線候補の周囲に存在する他の画像パターンの画素密度は高くなる。しかし、この罫線候補は、罫線を漏れなく抽出すると言う観点から、図２４（Ａ）に示す罫線候補とは異なり、罫線候補のままで残す必要がある。そこで、両者の凹凸度に着目すると、罫線と文字の重なった罫線候補の凹凸度は、必ず、図２４（Ａ）に示す文字のみからなる罫線候補のそれよりも低くなる。そこで、第１の閾値２１の値は、罫線と文字の重なった罫線候補の凹凸度よりは高く、文字のみからなる罫線候補の凹凸度よりは低くされる。これにより、罫線と文字の重なった罫線候補は罫線であると判定され、罫線候補データ１３Ａに残される。
【０１６５】
次に、画素密度の判定結果に基づいて、第２の閾値を用いた第２の判定処理が行われる（ステップＳ２６２−３）。この処理の対象となるのは、当該罫線候補の周囲に存在する他の画像パターンの画素密度低いと判定された図２４（Ｂ）又は（Ｄ）の場合である。なお、この処理と第１の判定処理（ステップＳ２６２−２）とは、いずれを先に行っても良い。
【０１６６】
図２４（Ｂ）に示す罫線候補は、元々直線Ｂの一部である。従って、その周囲には直線Ｂの他の部分が存在する可能性は殆どないので、前述のように、当該罫線候補の周囲に存在する他の画像パターンの画素密度は低くなる。周囲の画素密度が低いので、当該罫線候補は罫線である可能性が高い。従って、相当の程度まで凹凸度が高くい（即ち、多少凸凹の）罫線候補でも、罫線として残るようにする必要がある。そこで、より高い値を有する第２の閾値２２が用いられる。罫線候補として抽出された直線Ｂの凹凸度は、本来低いはずであるにもかかわらず、かなり高くなっている。より低い値を有する第１の閾値２１を用いた場合、直線Ｂの凹凸度が第１の閾値２１より大きくなる結果、直線Ｂは罫線でないと判定されるおそれがある。第２の閾値２２を用いることにより、文字線分Ａの凹凸度は第２の閾値２２より小さくなる結果、直線Ｂは罫線であると判定される。即ち、罫線候補データ１３Ａに残される。
【０１６７】
従って、入力画像１１が不適切であることに起因して、罫線候補として抽出され、かつ、同程度のかなり低い凹凸度を有する文字線分Ａと直線Ｂとについて、一方（文字線分Ａ）は罫線候補データ１３Ａから除外し、他方（直線Ｂ）は罫線候補データ１３Ａに残すことができる。以上のように、本発明の表画像処理装置によれば、凹凸度による罫線候補の判定処理を行うと共に、文字の直線部分の連続、直線（罫線）の乱れ等があっても、罫線候補を正確に判定処理することができる。
【０１６８】
次に、第２の処理として、罫線幅判定処理部２４により罫線幅判定処理が実行される（ステップＳ２６３）。
【０１６９】
罫線幅判定処理において、最初に、罫線幅が算出される（ステップＳ２６３−１）。罫線幅判定処理に用いられる当該罫線候補の周囲に存在する他の画像パターンは、次のようにして定められる。例えば、図２５（Ａ）に示す罫線候補１３５についての他の画像パターンは、当該罫線候補１３５と同一方向に延び、当該罫線候補１３５に隣接された他の罫線候補１３４及び１３６、又は当該罫線候補１３５に連結された他の罫線候補１３３、１３４、１３６、１３７である。当該罫線候補１３５から全く独立した罫線候補１３８等は考慮されない。同様に、図２６（Ａ）に示す罫線候補１４１についての他の画像パターンは、当該罫線候補１４１と同一方向に延び、当該罫線候補１４１に隣接された他の罫線候補１４０及び１４１、又は当該罫線候補１４１に連結された他の罫線候補１３９、１４０、１４２、１４３である。
【０１７０】
このようにして定められた罫線候補について罫線幅が算出される。罫線幅の算出は、当該罫線候補である矩形領域の長辺及び短辺の画素数をカウントし、小さい方（短辺、即ち、幅）の値を採用することにより行われる。これにより、図２５（Ａ）に示す罫線候補１３５の幅Ｗ１ 、及び、図２６（Ａ）に示す罫線候補１４１の幅Ｗ３ が求まる。
【０１７１】
前述のように、通常、他の画像パターンとして用いられる罫線候補は複数存在する。この場合、各々の罫線候補についてその幅を求め、その平均値を求めて、この平均値を当該罫線候補の周囲に存在する他の画像パターンである罫線候補の罫線幅として用いる。図２５（Ａ）に示す罫線候補１３５の場合、罫線候補１３３、１３４、１３６、１３７の罫線幅の平均値が用いられる。この値を、図２５（Ｄ）に示すように、Ｗ２ とする。図２６（Ａ）に示す罫線候補１４１の場合、他の罫線候補１３９、１４０、１４２、１４３の罫線幅の平均値が用いられる。この値を、図２６（Ｄ）に示すように、Ｗ４ とする。
【０１７２】
このようにして求めた他の画像パターンの罫線幅を用いて、当該罫線候補の罫線幅が広いか狭いかが判定される。例えば、当該罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの幅の３倍以上である場合に当該罫線候補の幅が広いとし、当該罫線候補の幅が他の画像パターンの幅の１／３以下である場合に当該罫線候補の幅が狭いとする。図２５（Ａ）に示す罫線候補１３５の場合、図２５（Ｄ）に示すように、罫線候補１３５の幅Ｗ１ が罫線候補１３３等の罫線幅の平均値Ｗ２ の３倍以上であるので、当該罫線候補１３５の幅が広いと判定される。図２６（Ａ）に示す罫線候補１４１の場合、罫線候補１４１の幅Ｗ３ が罫線候補１３９等の罫線幅の平均値Ｗ４ の１／３以下であるので、当該罫線候補１４１の幅が狭いと判定される。
【０１７３】
次に、罫線幅の判定結果に基づいて、第１の閾値を用いた第１の判定処理が行われる（ステップＳ２６３−２）。この処理の対象となるのは、罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの罫線幅より広いと判定された図２５の場合である。
【０１７４】
図２５（Ａ）に示す罫線候補の太い部分１３５は、本来は罫線の中間に存在する文字である。従って、その周囲に本来の罫線が存在するので、前述のように、当該太い罫線候補１３５の周囲に存在する他の画像パターンの幅は当該太い罫線候補１３５よりも細くなる。他の画像パターンの幅が細いので、当該罫線候補１３５は潰れた文字である可能性が高い。従って、相当の程度まで凹凸度が低い（即ち、滑らかな）罫線候補のみが、罫線として残るようにする必要がある。そこで、より低い値を有する第１の閾値２１が用いられる。罫線候補１３５として抽出された文字の凹凸度は、本来高いはずであるにもかかわらず、かなり低くなっている。より高い値を有する第２の閾値２２を用いた場合、太い罫線候補（文字）１３５の凹凸度が第２の閾値２２より小さくなる結果、太い罫線候補１３５が罫線であると判定されるおそれがある。第１の閾値２１を用いることにより、太い罫線候補１３５の凹凸度は第１の閾値２１より大きくなる結果、太い罫線候補１３５は罫線以外の画像パターンであると判定され、罫線候補データ１３Ａから除かれる。
【０１７５】
次に、罫線幅の判定結果に基づいて、第２の閾値を用いた第２の判定処理が行われる（ステップＳ２６３−３）。この処理の対象となるのは、罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの罫線幅より狭いと判定された図２６の場合である。なお、この処理と第１の判定処理（ステップＳ２６３−２）とは、いずれを先に行っても良い。
【０１７６】
図２６（Ａ）に示す罫線候補の細い部分１４１は、掠れてはいるが、本来は罫線である。従って、その周囲に本来の罫線が存在するので、当該細い罫線候補１４１の周囲に存在する他の画像パターンの幅は当該細い罫線候補１４１よりも太くなる。他の画像パターンの幅が太いので、当該罫線候補１４１は掠れて細くなった罫線である可能性が高い。従って、相当の程度まで相当の程度まで凹凸度が高い（即ち、多少凸凹の）罫線候補でも、罫線として残るようにする必要がある。そこで、より高い値を有する第２の閾値２２が用いられる。罫線候補１４１として抽出された細い罫線の凹凸度は、本来低いはずであるにもかかわらず、かなり高くなっている。より低い値を有する第１の閾値２１を用いた場合、細い罫線候補１４１の凹凸度が第１の閾値２１より大きくなる結果、細い罫線候補１４１が罫線以外の画像パターン（文字）であると判定されるおそれがある。第２の閾値２２を用いることにより、細い罫線候補１４１の凹凸度は第２の閾値２２より小さくなる結果、細い罫線候補１４１は罫線であると判定される。即ち、罫線候補データ１３Ａに残される。
【０１７７】
従って、入力画像１１が不適切であることに起因して、罫線候補として抽出された太い罫線候補１３５は罫線候補データ１３Ａから除外し、細い罫線候補１４１は罫線候補データ１３Ａに残すことができる。以上のように、本発明の表画像処理装置によれば、凹凸度による罫線候補の判定処理を行うと共に、文字の潰れ、罫線の掠れ等があっても、罫線候補を正確に判定処理することができる。
【０１７８】
以上の処理の結果、図２１に示すように、罫線候補データ１３Ａから罫線である可能性の低い罫線候補が除去されて、罫線である可能性の高い罫線候補が残された罫線データ、即ち、直線データ１２が抽出される。
【０１７９】
以上、本発明の他の１つの実施の形態について説明したが、本発明はその主旨の範囲内において種々の変形が可能である。
【０１８０】
例えば、表画像処理装置１００は先に述べた第１の実施形態の表画像処理装置１００と適宜組み合わせた構成としても良い。即ち、表画像処理装置１００が、直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、文字認識領域決定装置６からなるものであっても良い。また、第１の実施形態についての説明において、簡易な構成の表画像処理装置１００として説明した実施形態と適宜組み合わせた構成としても良い。更に、第１の実施形態の表画像処理装置１００において丸角候補領域検出装置３及び丸角部決定装置５を省略した構成と組み合わせた構成としても良い。即ち、表画像処理装置１００が、直線抽出装置２、セル抽出装置４、文字認識領域決定装置６からなるものであっても良い。
【０１８１】
【発明の効果】
以上説明したように、本発明によれば、表画像処理装置において、抽出した直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いた所定の処理により検出した丸角候補領域を含むセルの角部について所定の処理により丸角部を決定することにより、丸角候補領域を正確に抽出して丸角部を正確に決定することができるので、罫線に文字が接触する部分や画像の掠れた部分を丸角であると認識することを防止でき、罫線の掠れ、文字の丸い部分、罫線と文字との接触等があっても丸角を正確に処理することができ、この結果、罫線構造の認識及びセル（文字認識領域）の抽出を安定して行うことができる。
【０１８２】
また、本発明によれば、以上に述べた処理を当該表画像処理装置であるコンピュータに実現させるプログラムを格納したプログラム記憶媒体を提供することができるので、丸角部を含む罫線構造の認識及びセル（文字認識領域）の抽出を安定して行う表画像処理装置を容易に提供できる。
【０１８３】
更に、本発明によれば、表画像処理装置において、周囲に存在する他の画像パターンに応じて第１又は第２の閾値のいずれかを用いて当該罫線候補の凹凸度を判定することによって、周囲の凹凸度が高い場合にはより低い値の閾値（例えば、第１の閾値）を用いることにより、本来よりも低くなった凹凸度を有する罫線候補を候補から除くことができ、逆に、周囲の凹凸度が低い場合にはより高い値の閾値（例えば、第２の閾値）を用いることにより、本来よりも高くなった凹凸度を有する罫線候補を候補に残すことができるので、罫線かそれ以外のパターンかの判定が不能な場合を著しく少なくすることができ、正確に罫線を抽出することができる。従って、前述のように丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定することができる。
【図面の簡単な説明】
【図１】本発明の第１の原理構成図である。
【図２】本発明の第２の原理構成図である。
【図３】表画像処理装置構成図である。
【図４】表画像処理フローである。
【図５】直線抽出処理フローである。
【図６】線分抽出処理の結果を示す図である。
【図７】直線抽出処理の結果を示す図である。
【図８】丸角候補領域抽出処理フローである。
【図９】丸角部分を拡大した例を示す図である。
【図１０】近接処理の例を示す図である。
【図１１】探索処理の例を示す図である。
【図１２】直線情報の作成処理を示す図である。
【図１３】セル抽出処理フローである。
【図１４】丸角部決定処理フローである。
【図１５】画素密度変化処理を示す図である。
【図１６】対象性処理を示す図である。
【図１７】マッチング処理を示す図である。
【図１８】文字認識領域決定処理を示す図である。
【図１９】丸角表構造の一例を示す図である。
【図２０】表画像処理装置構成図である。
【図２１】直線抽出装置構成図である。
【図２２】直線抽出処理フローである。
【図２３】罫線候補判定処理フローである。
【図２４】凹凸度の判定の一例を示す図である。
【図２５】凹凸度の判定の他の一例を示す図である。
【図２６】凹凸度の判定の他の一例を示す図である。
【符号の説明】
１ 画像入力装置
２ 直線抽出装置
３ 丸角候補領域検出装置
４ セル抽出装置
５ 丸角部決定装置
６ 文字認識領域決定装置
１１ 入力画像
１２ 画像データ
１３ 直線データ
１３Ａ 罫線候補データ
１４ 丸角候補データ
１５ セルデータ
１６ 丸角部データ
１７ 文字認識領域データ
２０ 罫線判定処理手段
２１ 第１の閾値
２２ 第２の閾値
２３ 画素密度判定処理部
２４ 罫線幅判定処理部
【発明の属する技術分野】
本発明は、表画像処理装置及びそのプログラム記憶媒体に関し、特に、丸角を有する表画像を正確に処理することができる表画像処理装置及びそのプログラム記憶媒体に関する。
【０００２】
【従来の技術】
コンピュータの入力装置として文字認識装置（ＯＣＲ）が多く用いられている。文字認識装置によれば、帳票等の予め文字を書く位置を指定した文書に対して、指定した範囲内に文字がきれいに書かれている場合、かなり高い認識率で文字を自動認識することができる。なお、ここに言う文書は、枠等の罫線の色及び濃度が、ドロップアウトカラーではなく、黒等の文字と同一の色及び濃度であるものである。
【０００３】
しかし、書かれた文字が少しでも指定した範囲を越えると、著しく認識率が低下する。例えば、文字が指定範囲を示す枠や罫線に接触したり、又は当該範囲からはみ出した場合である。
【０００４】
そこで、位置や形式等が未知の帳票であっても、表形式枠中の枠を正確に抽出でき、文字と枠とが接触したり文字のはみ出しがある場合でも文字領域を正確に抽出できる技術が開発されている。
【０００５】
【発明が解決しようとする課題】
様々な種類がある帳票の内、直交する２本の直線からなる角部ではなく、円弧のような丸い曲線からなる角部（以下、丸角又は丸角部）を有する表構造の帳票が存在する。丸角表構造の一例を図１９に示す。この形式の帳票は現在使用されている一般的な帳票の中で大きな割合を占める。このため、文字認識装置等の表画像処理装置においては、丸角を認識できないと、帳票の処理に支障を生じる。従って、丸角の表構造を有する帳票の丸角の正確な処理のために、種々の提案がなされている。
【０００６】
例えば、縦の罫線及び横の罫線（縦横罫線）を抽出した後、縦横罫線が相互に交差せずにある一定以下の間隔に位置している場合に、当該部分を丸角部であると認識する技術が提案されている（例えば、特開平７−２８２１９１号公報参照）。しかし、この技術によっては、第１に、画像が掠れた場合に丸角部を正確に処理できない可能性が高い。特に、当該丸角の部分が掠れてしまった場合には正確に処理できない。第２に、この技術を適用する前提として縦方向及び横方向の双方共に罫線を抽出できていなければならない。従って、この技術は、図１９（Ａ）に示す形式の帳票には適用できるが、図１９（Ｂ）に示す縦方向の罫線が始めから存在しない形式の帳票には適用できない。
【０００７】
また、縦横罫線を抽出した後、縦横罫線が相互に交差せずにある一定以下の間隔に位置している場合に、当該部分と予め用意したパターンとのマッチングを採ることにより、角部（丸角部）の形状を判断する技術が提案されている（例えば、特開平７−１４０００号公報参照）。しかし、この技術によっては、第１に、予め多数のマッチングパターンを持つ必要があり、メモリ容量が極めて大きくなる。第２に、この技術も前提として縦方向及び横方向の双方共に罫線を抽出できなければならないので、図１９（Ａ）に示す帳票には適用できるが、図１９（Ｂ）に示す帳票には適用できない。
【０００８】
更に、縦横罫線を抽出した後、四方を罫線により囲まれた領域（セル）を抽出し、当該セルの内側の輪郭探索を行い、探索方向の変化によって角部が丸角部であるか否かを判断する技術が提案されている（例えば、特開平８−２１２２９２号公報参照）。しかし、この技術によっては、第１に、罫線に文字が接触していた場合に、当該文字の部分で探索方向が変化して丸角であると誤認されるため、正確に処理できない。特に、文字と罫線は接触する場合が多いため、この誤認は現実には無視できない。第２に、画像が掠れた場合に、当該掠れの部分で探索方向が変化して丸角であると誤認されるため、正確に処理することができない。即ち、本来直線である罫線が部分的に掠れた場合、当該掠れた部分で１８０°探索の方向が変化するので、丸角であると誤認される。また、この技術によっては点線からなる罫線は抽出できない。
【０００９】
以上のように、従来の文字認識装置等の表画像処理装置においては、丸角部分の認識処理の重要性は十分に認識されていながらも、罫線の掠れ、文字の丸い部分の存在、罫線と文字との接触等により、丸角を正確に処理することはできなかった。
【００１０】
一方、以上とは別に、種々の罫線抽出処理の結果として得られた罫線の候補から、更に罫線である可能性の低いものを判定して、当該罫線候補から除外することが行われる。即ち、文字と枠とが接触したり文字のはみ出しがある場合でも、罫線を正確に抽出するための種々の提案がなされている。
【００１１】
例えば、上記判定のために、抽出された罫線候補の画像パターンについての探索処理を行うことにより、画像パターンの凹凸度（ある領域内の画像パターンの凹凸の度合い）算出し、当該凹凸度がある一定の値（閾値）以上であれば罫線以外（即ち、文字）のパターンであるとし、一定の値より小さければ罫線であるとする凹凸度による罫線判定技術が提案されている（例えば、特開平１０−３３４１８５号公報参照）。これは、文字の画像パターンの凹凸度は大きく、罫線の画像パターンのそれは小さいと言うことに基づくものである。しかし、この技術によっては、予め固定の値に設定された閾値を用いて上記判定を行っているために、罫線かそれ以外のパターンかの判定が不能な場合がある。
【００１２】
図２４は凹凸度の判定の一例を示す。図２４（Ａ）は、罫線候補として抽出された文字線分Ａの一部を示し、複数の文字の横線の部分が極めて近接して書かれた画像パターンの一部が１個の罫線候補の領域（図中の枠で区切った矩形領域）１３１とされたものを示す。文字線分Ａは、１個の罫線候補の領域１３１内において、偶然に、画素の密度が直線に近い程度に大きく、直線に近い形状となっている。このため、罫線候補として抽出される。文字線分Ａの凹凸度は、本来高いはずであるにもかかわらず、かなり低くなっている。図２４（Ｂ）は、罫線候補として抽出された直線Ｂの一部を示し、１個の罫線候補の領域（図中の枠で区切った矩形領域）１３２内において画素レベルで見ると相当程度上下に位置が変動している画像パターンを示す。直線Ｂは、本来直線であるので、乱れてはいるが、罫線候補として抽出される。直線Ｂの凹凸度は、本来低いはずであるにもかかわらず、かなり高くなっている。このため、双方の凹凸度は同程度の値となってしまう。前述の技術においては、このような場合でも正確に罫線を抽出するという観点から、判定のための閾値が設定されている。即ち、閾値を比較的高くして、本来よりも凹凸度が高くなってしまった直線Ｂが罫線候補から除外されないようにしている。このため、上記判定の結果、直線Ｂと同程度のかなり低い凹凸度を有する文字線分Ａも罫線候補として判定される。即ち、文字線分Ａのような場合については、罫線かそれ以外のパターンかの判定が不能である。
【００１３】
図２５及び図２６は凹凸度の判定の他の一例を示す。特に、図２５は文字が罫線と認識されてしまう例を示し、図２６は罫線が文字と認識されてしまう例を示す。図２５（Ｃ）の原画像（入力画像）において、罫線の中間に文字１５２が存在し、かつ、当該文字が潰れている場合がある。この画像がスキャナにより読み取られると、図２５（Ｂ）に示すような画像データとされ、文字の部分１５１が判然としない程度に潰れる。この場合、文字の部分の凹凸度は、本来高いはずであるにもかかわらず、かなり低い。このため、前述の特開平１０−３３４１８５号公報に示す技術においては判定のための閾値が比較的高く設定されているので、文字の部分が、図２５（Ａ）に示すように、太い罫線候補１３５として判定される。逆に、図２６（Ｃ）の原画像において、罫線の中間の部分に掠れ１４４及び１４５が存在する場合がある。この画像がスキャナにより読み取られると、図２６（Ｂ）に示すような画像データとされ、掠れの部分が画素レベルで見ると直線ではないように見える。この場合、掠れの部分の凹凸度は、本来低いはずであるにもかかわらず、かなり高い。このため、前述の技術によると、掠れの部分が、本来よりも細い罫線候補１４１として判定されるか、又は、更に凹凸度が大きいと文字として判定され罫線候補から除外されてしまう。これらの場合も、罫線かそれ以外のパターンかの判定が不能である。
【００１４】
以上のように、従来の文字認識装置等の表画像処理装置においては、凹凸度による罫線候補の判定処理の重要性は十分に認識されていながらも、文字の直線部分の連続、直線（罫線）の乱れ、文字の潰れ、罫線の掠れ等により、罫線候補を正確に判定処理することはできなかった。
【００１５】
本発明は丸角を有する表画像を正確に処理することができる表画像処理装置を提供することを目的とする。
【００１６】
また、本発明は丸角を有する表画像を正確に処理することができる表画像処理装置を実現するプログラムを記憶したプログラム記憶媒体を提供することを目的とする。
【００１７】
更に、本発明は、丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定することができる表画像処理装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
図１は本発明の第１の原理構成図であり、本発明による表画像処理装置１００の構成を示す。本発明の表画像処理装置１００は、入力された画像から縦及び横方向の直線を抽出する直線抽出手段２と、直線抽出手段２の抽出した直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いて丸角候補領域を検出する丸角候補領域検出手段３と、丸角候補領域検出手段３の検出した丸角候補領域を含むセルを抽出するセル抽出手段４と、セル抽出手段４の抽出したセルの角部について丸角部を決定する処理を行う丸角部決定手段５とを備える。
【００２０】
図１に示す本発明の表画像処理装置１００によれば、例えば、画像が掠れた場合でも丸角部を正確に処理することができ、縦方向及び横方向のいずれか一方の罫線を抽出できれば丸角部を正確に処理することができる。また、（マッチングパターンを生成させるので）予め多数のマッチングパターンを持つ必要がなく、メモリ容量を大きくする必要がない。更に、罫線に文字が接触する部分や画像の掠れた部分が丸角であると誤認されることがなく、従って、丸角部を正確に処理することができる。このように、本発明の表画像処理装置１００においては、罫線の掠れ、文字の丸い部分、罫線と文字との接触等があっても丸角を正確に処理することができ、この結果、罫線構造の認識及びセル（文字認識領域）の抽出を安定して行うことができる。
【００２１】
また、本発明によれば、以上に述べた処理を当該表画像処理装置１００であるコンピュータに実現させるプログラムを格納したプログラム記憶媒体を提供することができるので、丸角部を正確に処理することができる表画像処理装置１００を容易に提供することができる。
【００２２】
図２は本発明の第２の原理構成図であり、丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定する本発明による表画像処理装置１００の構成を、罫線候補を正確に判定するための構成に絞って示す。従って、本発明の表画像処理装置１００は、丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定する場合、図１の構成及び図２の構成を併せ持つ。即ち、図１の構成に加えて、本発明の表画像処理装置１００は罫線判定処理手段２０を備える。罫線判定処理手段２０は、入力された画像から抽出された縦及び横方向の罫線候補について、入力された画像から抽出された画像パターンであって当該罫線候補の周囲に存在する他の画像パターンに応じて互いに異なる値の複数の閾値２１、２２、・・・のいずれかを用いて、当該罫線候補の凹凸度を判定することによって、当該罫線候補が罫線であるか否かを判定する。
【００２３】
図２に罫線候補を正確に判定するための構成を示す本発明の表画像処理装置１００によれば、当該罫線候補の周囲に存在する他の画像パターンに応じて、複数の閾値２１、２２、・・・のいずれかが罫線判定に用いられる。例えば、複数の文字の横線の部分が極めて近接して書かれた画像パターンからなる罫線候補の場合、その凹凸度は低いが、その周囲に凹凸度の高い他の文字の画像パターンが存在する。従って、当該凹凸度は本来高かったであろうことが推測される。そこで、この場合には、罫線判定の閾値としてより低い値の閾値（例えば、第１の閾値２１）を用いる。これにより、本来よりも低くなった凹凸度を有する罫線候補を候補から除くことができる。逆に、周囲の凹凸度が低い場合にはより高い値の閾値（例えば、第２の閾値２２）を用いることにより、本来よりも高くなった凹凸度を有する罫線候補を候補に残すことができる。以上により、罫線である可能性の低い領域を正確に判定して、罫線候補から除外することができる。従って、罫線かそれ以外のパターンかの判定が不能な場合を著しく少なくすることができ、正確に罫線を抽出することができる。そして、本発明の表画像処理装置１００は、図１の構成及び図２の構成を併せ持つので、前述のように丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定することができる。
【００２５】
【発明の実施の形態】
（第１の実施形態）
図３は表画像処理装置構成図であり、本発明の表画像処理装置１００の一例の構成を示し、図１に示す表画像処理装置１００に対応する。
【００２６】
表画像処理装置１００は、画像入力装置１、直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、文字認識領域決定装置６とを備える。表画像処理装置１００は主メモリ上に存在する表画像処理プログラムとＣＰＵとからなる。コンピュータである表画像処理装置１００は、図示しないが、表画像処理の対象である画像の入力や指示入力のためのキーボード、マウス、スキャナ等の入力装置、画像の表示等のための表示装置等の出力装置、画像データ１２等の各種のデータを記憶するための補助記憶装置を備える。
【００２７】
画像入力手段である画像入力装置１は、罫線により構成された帳票の画像である入力画像１１を画像データ１２として入力する。画像入力装置１は、周知のスキャナ等からなり、帳票等の紙の上に印刷等された縦（垂直又はｙ）方向及び横（水平又はｘ）方向の罫線（縦横罫線）及び当該帳票に記入された文字からなる入力画像１１を読み取り、電子的なイメージデータである画像データ１２として入力する。入力画像１１は、特に制限されないが、例えば極端な傾きのない２値画像が好ましく、例えば図１９（Ａ）又は図１９（Ｂ）に示す帳票からなる。
【００２８】
直線抽出手段２である直線抽出装置２は、画像入力装置１により入力された画像データ１２を参照して、これからから縦及び横方向の直線を抽出する。抽出された直線についてのデータ（直線データ）１３は、当該直線を表す位置座標からなる。直線データ１３は補助記憶装置に記憶される。
【００２９】
丸角候補領域検出手段３である丸角候補領域検出装置３は、画像データ１２及び直線データ１３を参照して、直線抽出装置２の抽出した直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いて所定の処理を行うことにより、丸角候補領域を検出する。丸角候補領域検出装置３は検出した丸角候補領域を丸角候補データ１４として補助記憶装置に記憶する。丸角候補データ１４は、例えば当該斜め成分が丸角候補であるか否かを示すデータと、当該斜め成分を表す位置座標とからなる。
【００３０】
丸角候補領域検出装置３は、前記斜め成分の抽出において、入力された画像データ１２から直線抽出装置２により抽出された縦及び横方向の直線の内、縦方向の直線の端点を起点とする第１の斜め成分と、横方向の直線の端点を起点とする第２の斜め成分とを別個に抽出する。そして、丸角候補領域検出装置３は、丸角候補領域を検出するための前記所定の処理を、以下の第１乃至第３の処理のいずれかにより行う。即ち、第１の処理として、当該第１及び第２の斜め成分が互いに重なる場合に、当該部分が丸角候補領域であるとする。第２の処理として、当該第１及び第２の斜め成分が互いに予め定められた距離以下の位置関係にあり、かつ、両者の間に直線の特徴を示すパターンがあるか両者が互いに接触又は重なっている場合に、当該部分が丸角候補領域であるとする。第３の処理として、当該斜め成分の近傍に他の斜め成分が存在せず、かつ、当該斜め成分の先端に直線の特徴を示すパターンがある場合に、当該部分が丸角候補領域であるとする。
【００３１】
セル抽出手段４であるセル抽出装置４は、画像データ１２、直線データ１３及び丸角候補データ１４を参照して、丸角候補領域検出装置３の検出した丸角候補領域を含むセル（及び他のセル）を抽出する。抽出したセルについてのデータ（セルデータ１５）は、当該セルを表す位置座標からなる。セルデータ１５は補助記憶装置に記憶される。
【００３２】
丸角部決定手段５である丸角部決定装置５は、画像データ１２、丸角候補データ１４及びセルデータ１５を参照して、セル抽出装置４の抽出した丸角候補領域を含むセルの角部（又は頂点）について所定の処理を行う。これにより、丸角部決定装置５は丸角部を決定し、決定した丸角部を丸角部データ１６として補助記憶装置に記憶する。なお、実際のセルデータ１５は丸角候補データ１４を含むようにされるので、丸角候補データ１４は参照されず、セルデータ１５が参照される。
【００３３】
丸角部決定装置５は、入力された画像データ１２から抽出された縦及び横方向の直線に基づいてセル抽出装置４の抽出したセルの角部について所定の処理を行うことにより、丸角部を決定する。丸角部決定装置５は、前記所定の処理を、以下の第１乃至第３の処理のいずれかにより行う。即ち、第１の処理として、セル抽出装置４の抽出した当該セルの角部において画素密度が予め定められた順に変化する場合に、当該部分が丸角部であるとする。第２の処理として、画素密度の変化に基づいて決定された丸角部が存在する場合に、前記入力された画像の他の角部も丸角部であるとする。第３の処理として、当該セルを構成する前記直線抽出手段の抽出した直線の端点と端点とを結ぶように生成されたｎ次関数からなるパターンと、前記入力された画像とがマッチングする場合に、当該部分が丸角部であるとする。
【００３４】
文字認識領域決定手段である文字認識領域決定装置６は、画像データ１２、セルデータ１５及び丸角部データ１６を参照して、所定の処理を行うことにより、入力された画像データ１２における文字認識領域を決定する。即ち、丸角部決定装置５により決定された丸角部を含むセルについて、当該丸角部を文字領域から除くことにより、当該文字認識領域を決定する。決定した文字認識領域についてのデータ（文字認識領域データ１７）は補助記憶装置に記憶される。なお、実際の丸角部データ１６はセルデータ１５を含むようにされるので、セルデータ１５は参照されず、丸角部データ１６が参照される。
【００３５】
直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、及び、文字認識領域決定装置６は、当該表画像処理装置１００の主メモリ上に存在しＣＰＵ上で実行されることにより各々の処理を実行する処理プログラムによって実現される。直線抽出装置２の実行する処理、セル抽出装置４の実行する処理及び文字認識領域決定装置６の実行する処理は周知の処理である。丸角候補領域検出装置３の実行する処理及び丸角部決定装置５の実行する処理は本発明に特有の処理である。
【００３６】
図４は表画像処理装置１００の実行する表画像処理フローを示す。
【００３７】
画像入力装置１が入力画像１１を画像データ１２として入力する画像入力処理を行う（ステップＳ１）。即ち、スキャナでの入力画像１１の読み取りを行い、画像データ１２を得る。
【００３８】
直線抽出装置２が画像データ１２から縦及び横方向の直線を抽出する直線抽出処理を行う（ステップＳ２）。即ち、直線データ１３を得る。この処理については図５乃至図７を参照して後述する。
【００３９】
丸角候補領域検出装置３が、直線データ１３を参照して、抽出された直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いて所定の処理を行うことにより丸角候補領域抽出処理を行う（ステップＳ３）。即ち、丸角候補データ１４を得るこの処理については図８乃至図１２を参照して後述する。
【００４０】
セル抽出装置４が、画像データ１２、直線データ１３及び丸角候補データ１４を参照して、抽出された丸角候補領域を含むセル（及び他のセル）を抽出するセル抽出処理を行う（ステップＳ４）。即ち、セルデータ１５を得る。この処理については図１３を参照して後述する。
【００４１】
丸角部決定装置５は、画像データ１２、丸角候補データ１４及びセルデータ１５を参照して、抽出された丸角候補領域を含むセルの角部について所定の処理を行うことにより丸角部決定処理を行う（ステップＳ５）。即ち、丸角部データ１６を得る。この処理については図１４乃至図１７を参照して後述する。
【００４２】
文字認識領域決定装置６が、画像データ１２、セルデータ１５及び丸角部データ１６を参照して、所定の処理を行うことにより、画像データ１２における文字認識領域を決定する文字認識領域決定処理を行う（ステップＳ６）。即ち、文字認識領域データ１７を得る。この処理については図１８を参照して後述する。
【００４３】
図５は直線抽出装置２の実行する直線抽出処理フローを示す。図５に示す処理は、図４のステップＳ２に相当し、周知の処理である。画像データ１２から縦及び横方向の罫線（縦横罫線）が抽出される。この直線抽出処理は周知のいずれの処理によっても良いが、以下にその好ましい処理の一例を示す。
【００４４】
最初に、連結パターンが抽出される（ステップＳ２１）。連結パターンは、周知の連結パターン抽出処理を用いることによって抽出される。周知の連結パターン抽出処理としては、例えば、先に本願出願人の提案した特願平７−２８２１７１号に記載の技術が用いられる。この技術によれば、８連結で繋がっている画像パターンをラベリングにより抽出する。これにより、複数の枠が配置される位置の相対的な関係に依存することなく、縦横罫線の各パターンを安定に抽出することができる。
【００４５】
ここで、当該連結パターン抽出処理について簡単に説明する。まず、入力された画像データ１２を構成するパターン（部分パターン）の各々について、その縦（上下の２方向）、横（左右の２方向）及び斜め（これらの中間の４方向）の合計８方向において、他の部分パターンとの連結を調べる。そして、いずれかの方向において連結している部分パターン（連結パターン）に対して同一のラベルを貼付する。連結パターンは、文字が接触していない枠即ち罫線（又は罫線の一部）、文字が接触している罫線（又は罫線の一部）、罫線に接触していない文字（又は文字の一部）のいずれかである。
【００４６】
次に、ラベリングされた部分パターンを判定し、所定のサイズより大きい連結パターンの集合を当該帳票を構成する罫線の候補として抽出する。即ち、抽出された部分パターンの内、一定以上の大きさを有する部分パターン（第１の部分パターン）を帳票の罫線の候補とする。例えば、本来の罫線の内、掠れることなく正しく抽出された罫線が第１の部分パターンとされ、一方、本来の文字の内、罫線に接触することなく正しく記入された文字は罫線の候補から除外される。
【００４７】
次に、第１の部分パターンに対して所定の位置に存在し、かつ、所定のサイズより大きな部分パターン（第２の部分パターン）に貼付されたラベルを、当該第１の部分パターンのそれと同一のラベルに変更することにより、当該第２の部分パターンを帳票の罫線の候補に追加する。例えば、本来の罫線の内、掠れてしまって第１の部分パターンから孤立した罫線が第２の部分パターンとされる。この結果、掠れた罫線も第１の部分パターン即ち罫線の候補とされ、正しい結果が得られる。従って、このような連結パターン抽出処理を用いることによって、本来罫線を構成するパターンが掠れにより分離して別のパターンとして処理されることを防止することができる。
【００４８】
この後、抽出した連結パターンの画像について、当該連結パターン（部分パターン）毎に、縦横双方向の成分の細分化（マスク処理）が実行される（ステップＳ２２）。縦横双方向の成分の細分化は、周知のマスク処理を用いることによって行われる。周知のマスク処理としては、例えば、先に本願出願人の提案した特開平７−２８９３７号公報に記載の技術が用いられる。この技術によれば、抽出された連結パターンの画像から極端な斜め成分を取り除く。これにより、枠即ち罫線だけに存在する長い直線を抽出し易くすることができる。
【００４９】
ここで、当該マスク処理について簡単に説明する。まず、ラベリングにより得た部分パターン（連結パターン）毎に、所定の大きさ（長さ及び幅）を有する横長及び縦長の２種類のマスクを用いた走査を行う。そして、各マスク毎に、当該マスクの面積に対するマスク内のパターンの占める面積の割合を算出し、当該割合が所定値よりも大きければそのマスク内を全てパターンとみなす（画像の横成分又は縦成分とする）。即ち、当該部分を当該マスクの大きさに細分化された矩形領域とみなす。当該割合が所定値以下であればそのマスク内のパターンを削除する（画像の横成分又は縦成分が存在しないとする）。これにより、画像データ１２を構成する画像パターンの縦横成分を、使用したマスクの幅の程度にまで細分化して抽出することができる。
【００５０】
次に、複数の行（横方向）又は列（縦方向）が連続して上記割合が所定値よりも大きくなる場合、それらの行又は列を統合して１個の矩形の領域とし、当該矩形範囲の中心線（図６の左側の直線）を処理結果とする。従って、このようなマスク処理を用いることによって、枠即ち罫線の太さを同一にして、罫線のみに存在する長い直線を抽出し易くすることができる。
【００５１】
この後、マスク処理した画像について、線分抽出処理が実行される（ステップＳ２３）。線分抽出は、周知の線分抽出処理を用いることによって行われる。周知の線分抽出処理としては、例えば、先に本願出願人の提案した特開平６−３０９４９８号公報に記載の技術が用いられる。この技術によれば、マスク処理した画像に対して隣接投影値を算出し、縦横双方向について、矩形近似により直線又は直線の一部（線分）を検出する。ここで、隣接投影とは、注目するある行又は列の投影値に、その周囲の行又は列の投影値を足し合わせ、この値を投影値とする処理を言う。線分抽出処理の結果を図６に示す。これにより、画像の着目点の周囲を大局的に捉え線分を正確に抽出することができる。
【００５２】
ここで、当該線分抽出処理について簡単に説明する。まず、マスク処理の結果である（当該マスク内を全てパターンとされた）矩形範囲のパターンの各々について、その横方向の投影と縦方向の投影をとり、投影値を求める。そして、求めた投影値に対してその周囲（注目するある行又は列）のパターンについて求めた投影値を所定の範囲において加算する。即ち、特開平６−３０９４９８号公報に記載の式（例えば（１１）式）に従って、当該パターンについての行及び列方向の隣接投影値を算出する。
【００５３】
次に、行方向の算出した隣接投影値と矩形範囲（マスク）の横方向の分割長との比及び列方向の算出した隣接投影値と矩形範囲（マスク）の縦方向の分割長との比を算出する。そして、これらの比が所定の閾値以上である部分を直線の候補とし、当該比が閾値よりも小さい部分を線分が存在しないものとする。そして、複数の部分が連続して所定の閾値以上となる場合、即ち、直線の候補である部分が連続する場合、これらを統合して１個の矩形領域で近似し、この近似された矩形範囲に直線が存在するものとする。即ち、図６の右側に示すように、矩形領域の連続により近似された線分が抽出される。
【００５４】
このような線分抽出処理を用いることによって、直線が傾きによって斜め方向に複数行又は列にわたっていても、線分を抽出することができる。従って、大きな枠即ち罫線についても、それが傾いていても、その線分を正確に抽出することができる。また、隣接投影を用いることにより、通常の投影のようにマスクの分割長を短くして分割数を大きくすることにより傾いた直線を抽出する必要がないので、文字を構成する短い線分を抽出することなく、長い線分を抽出することができる。
【００５５】
この後、線分抽出処理の結果を用いて、直線抽出処理が実行される（ステップＳ２４）。直線抽出は、周知の直線抽出処理を用いることによって行われる。周知の直線抽出処理としては、例えば、先に本願出願人の提案した特開平６−３０９４９８号公報に記載の技術が用いられる。この技術によれば、線分抽出処理において抽出され矩形近似された線分の内、近隣の線分どうしを統合して長い直線を検出し、検出した直線に対して更に矩形近似を行う。直線抽出処理の結果を図７に示す。これにより、直線を忠実に抽出することができる。
【００５６】
ここで、当該直線抽出処理について簡単に説明する。まず、線分抽出処理において抽出され矩形近似された線分（図７の左側に示す線分）がその上下（例えば、隣接投影値の算出において加算する範囲）に存在する他の線分と接触しているかを調べる。次に、接触する他の線分が存在する場合、当該線分とその上下に存在する他の線分とを統合して、図７の右側に示す１個の矩形領域からなる線分（矩形線分）とする。このような直線抽出処理を用いることによって、帳票の罫線等の長い直線を抽出することができる。
【００５７】
なお、特開平６−３０９４９８号公報においては、隣接投影値と矩形範囲（マスク）分割長との比の算出処理以降を、線分抽出処理においてではなく、直線抽出処理において行っている。しかし、本願においても上述の説明のように線分抽出処理（ステップＳ２３）と直線抽出処理（ステップＳ２４）とは連続して行われるので、実際には、特開平６−３０９４９８号公報における処理と何ら相違ない処理が行われる。
【００５８】
この後、線分抽出処理の結果を用いて、画像データ１２からの点線抽出処理が実行される（ステップＳ２５）。点線抽出は、周知の点線抽出処理を用いることによって行われる。周知の点線抽出処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この技術によれば、同一サイズの部分パターンが規則正しく並んでいる部分を点線として抽出し、直線と同様に矩形近似する。なお、抽出された直線（実線）及び点線は、区別されることなく、罫線として同様に処理される。これにより、点線からなる罫線を含む帳票を以後の処理において正確に処理することができる。
【００５９】
ここで、当該点線抽出処理について簡単に説明する。まず、連結パターン抽出処理（ステップＳ２１）において抽出しラベリングしたパターンの最も外側の矩形の画像の一部を当該画像を縦又は横方向に横切るような第１の短冊として取り出す。そして、その内部に存在するパターン（内部パターン）を予め定められた点線を構成する所定の大きさのパターン（予定パターン）と比較し、予定パターンに一致する部分パターンを探す。
【００６０】
次に、予定パターンと一致する内部パターンが見つかった部分を、更に、当該短冊を垂直な方向に横切るような第２の短冊として取り出す。そして、その内部において、予定パターンと一致する部分パターンを抽出する。
【００６１】
次に、抽出した部分パターンがある一定の間隔で並びかつある一定の数以上連続して並んでいる場合、当該並んでいるものを点線と判断して、これを囲む矩形領域を点線の存在する範囲として、当該矩形により近似する。
【００６２】
このような点線抽出処理を繰り返し実行することにより、帳票内に存在する点線を正確に抽出して矩形領域により近似することができる。従って、以後野おにおいては、実線及び点線を同様なものとして処理することができる。
【００６３】
以上の処理の結果、画像データ１２から図７の右側に示すように矩形により近似された直線及び点線が抽出される。これが直線データ１３である。
【００６４】
図８は丸角候補領域検出装置３の実行する丸角候補領域検出処理フローを示す。図８に示す処理は、図４のステップＳ３に相当し、本発明に特徴的な処理である。丸角候補領域検出処理は、前処理としての斜め成分抽出処理と、実際の丸角候補領域を検出する処理である候補検出処理とからなる。
【００６５】
最初に、斜め成分抽出処理が実行される（ステップＳ３１）。斜め成分（斜め線）の抽出は直線抽出装置２において抽出された縦横の直線の端部を起点として行われる。これにより、丸角部の候補の位置を正確に検出することができる。斜め成分抽出処理には、斜め方向の画素探索処理又は斜め方向の投影処理等の処理が用いられる。
【００６６】
斜め方向の画素探索は、周知の斜め方向の画素探索処理を用いることによって行われる。周知の斜め方向の画素探索処理としては、例えば、先に本願出願人の提案した特開平７−１９２０９４号公報に記載の技術が用いられる。この技術によれば、抽出された直線の端点から画素の存在（パターンの輪郭）を探索することにより、斜め線を抽出する。これにより、斜め線に多少の掠れがあっても斜め成分を抽出することができる。
【００６７】
ここで、当該斜め方向の画素探索処理について簡単に説明する。まず、直線抽出装置２において抽出された縦横の直線の端部を起点（開始点）として定める。そして、当該直線を除く当該開始点から始まるパターンの輪郭を探索する。即ち、当該直線の下辺あるいは上辺又は左辺あるいは右辺から、当該パターンを構成する画素の存在する線に沿って辿る。そして、当該直線又は当該直線以外の他の縦又は横の直線に達したら探索を終了し、当該探索の結果を斜め成分とする。
【００６８】
また、斜め方向の投影は、周知の斜め方向の隣接投影処理を用いることによって行われる。周知の斜め方向の隣接投影処理としても、例えば、先に本願出願人の提案した特開平７−１９２０９４号公報に記載の技術が用いられる。この技術によれば、画像データ１２の画像パターンに対して斜め方向の隣接投影値を算出し、当該斜め方向について、矩形近似により斜め方向の線又は線の一部（線分）を検出する。ここで、隣接投影とは、注目する斜め線の投影値に、その周囲の投影値を足し合わせ、この値を投影値とする処理を言う。これにより、斜め線に多少の掠れがあっても斜め成分を抽出することができる。
【００６９】
ここで、当該斜め方向の投影処理について簡単に説明する。まず、画像データ１２の画像パターンの内、直線抽出処理（ステップＳ２）において直線として抽出されたパターン（直線データ１３に対応するパターン）を除いた各々について、表す定められた矩形範囲に分割する。そして、分割した各々の矩形範囲についてその縦及び横方向の投影をとり、投影値を求める。そして、求めた投影値に対してその周囲の矩形範囲の縦及び横方向について求めた投影値を所定の範囲で加算する。即ち、特開平７−１９２０９４号公報に記載の式に従って、当該矩形範囲についての斜め方向の隣接投影値（斜め隣接投影値）を算出する。投影の方向は、例えば４５°の角度である。
【００７０】
次に、算出した斜め隣接投影値と矩形範囲の分割長との比を算出する。そして、この比が所定の閾値以上である部分を斜め成分とし、当該比が閾値よりも小さい部分を斜め成分が存在しないものとする。そして、複数の部分が連続して所定の閾値以上となる場合、即ち、斜め成分である部分が連続する場合、これらを統合して１個の矩形領域で近似し、この近似された矩形範囲に斜め成分が存在するものとする。斜め成分は複数の矩形範囲からなる。
【００７１】
このような斜め方向の画素探索処理又は斜め方向の（隣接）投影処理を用いることによって、斜め方向に傾いている斜め成分を正確に抽出することができる。従って、帳票の枠における丸角部を構成する斜め成分を正確に抽出することができる。
【００７２】
斜め成分抽出処理により抽出された斜め成分の内、第１の斜め成分である縦方向の直線の端部を起点とするものを「斜め成分Ｔ」と呼び、第２の斜め成分である横方向の直線の端部を起点とするものを「斜め成分Ｙ」と呼んで、区別することとする。
【００７３】
図９に丸角部分を拡大した例を示す。直線抽出装置２において縦横罫線を抽出すると、図９（Ａ）において点線で囲んだ部分が縦直線及び横直線（直線データ１３）として抽出される。そこで、図９（Ｂ）に示すように、横直線の端部から斜め方向に伸びているパターンを抽出し、その結果として、当該斜め成分Ｙ及びその存在する領域（斜線を施した領域）を記憶する。次に、図９（Ｃ）に示すように、縦直線の端部から斜め方向に伸びているパターンを抽出し、その結果として、当該斜め成分Ｔ及びその存在する領域（斜線を施した領域）を記憶する。なお、抽出の順序はいずれが先であっても良い。この処理は全ての縦直線及び横直線について実行される。即ち、本来１個の斜め成分が斜め成分Ｔ及びＹとして別々に抽出される。これにより、１個の斜め成分が完全に掠れていても斜め成分Ｔ及びＹとして抽出することができる。
【００７４】
斜め成分抽出処理に続いて、候補検出処理が実行される（ステップＳ３２）。候補検出処理は、重なり処理、近接処理又は探索処理の内の１又は複数の処理からなる。重なり処理については図９を参照して説明し、近接処理及び探索処理の例については、各々、図１０及び図１１に示す。
【００７５】
最初に、第１の処理として、重なり処理が実行される（ステップＳ３２−１）。重なり処理は、例えば図９（Ｂ）に示す斜め成分Ｙ（の存在する領域）と図９（Ｃ）に示す斜め成分Ｔ（の存在する領域）とが重なっている場合に、実行される。従って、ステップＳ３２−１において最初に、斜め成分Ｙと斜め成分Ｔとの重なりの有無が調べられる。当該重なりが無い場合、ステップＳ３２−１における以下の処理は省略される。斜め成分Ｙと斜め成分Ｔとが重なっている場合、その部分は丸角候補領域であるとされる。これは、両者が重なる場合には、図９に示すように、当該斜め成分が丸角部の備えるべき形状を備えることになるからである。即ち、当該斜め成分は、横直線及び縦直線の双方に接続しており、かつ、当該丸角部は双方の直線を繋ぐ斜め成分である。この重なり処理により丸角部を正確に抽出することができる。相互に重なる斜め成分Ｙ及びＴが無い場合、図１０に示す近接処理が実行される。
【００７６】
なお、当該斜め成分Ｙ及びＴは完全に重なっている必要はなく、予め定められた状態以上に双方が重なっていれば、両者が重なっていると判断される。重なりの状態は、例えば重なっている面積又は画素数又はその割合により判断される。これにより、掠れがあっても斜め成分を抽出することができる。
【００７７】
次に、第２の処理として、近接処理が実行される（ステップＳ３２−２）。近接処理は、２つの斜め成分Ｙ（の存在する２つの領域）が縦方向に、又は、斜め成分Ｔ（の存在する２つの領域）が横方向に、相互に予め定められた距離以下の位置関係にある場合に、実行される。従って、ステップＳ３２−２において最初に、処理対象として着目したある斜め成分Ｙ又はＴの近傍の他の斜め成分Ｙ又はＴとの距離が調べられる。前記位置関係を満たす他の斜め成分Ｙ又はＴが有る場合、図１０に示すように、２つの領域Ｙ又はＴの間の距離に応じて、更に、２つの異なる処理のいずれか一方が実行される。２つの異なる処理はいずれを先に実行しても良い。前記位置関係を満たす他の斜め成分Ｙ又はＴが無い場合、図１１に示す探索処理が実行される。
【００７８】
なお、図１０は２つの斜め成分Ｙが縦方向に相互に前記位置関係にある場合について示すが、２つの斜め成分Ｔが横方向に相互に一定距離以下の位置関係にある場合についても同様である。また、図１１は斜め成分Ｙについての探索処理を示すが、斜め成分Ｔについての探索処理も同様である。
【００７９】
図１０（Ａ）に示すように、２つの斜め成分Ｙの間が予め定められた距離以下ではあるが上下方向に離間している場合、当該２つの斜め成分Ｙの間に存在するパターンを調べる。当該パターンが直線の特徴を示すパターンでない場合、以下の処理は省略される。直線の特徴を示すパターンである場合、当該２つの斜め成分Ｙの間に仮想的に直線を想定し、当該２つの斜め成分Ｙを丸角候補領域であるとする。仮想的な直線は罫線候補領域であるとされる。そして、罫線候補領域内に存在する画像のパターンＳが直線の特徴を示すパターンであるか否かが調査される。直線の特徴を示す場合、当該領域は罫線として抽出され、両端の斜め成分Ｙは丸角候補領域として抽出される。これにより、文字の一部分を丸角部として誤って抽出することを防止することができる。従って、２つの斜め成分Ｙが上下方向に（又は２つの斜め成分Ｔが左右方向に）一定距離以下の位置関係にある場合には、これらの間に直線成分が殆ど存在せず略円弧状になっていても、丸角候補領域を正確に抽出することができる。これは図１９（Ａ）に示す帳票の場合に相当する。
【００８０】
当該パターンＳが直線の特徴を示すパターンであるか否かを調べる処理（直線探索処理）は、周知の直線探索処理を用いることによって実行される。周知の直線探索処理としては、例えば、先に本願出願人の提案した特開平１０−３３４１８５号公報に記載の技術が用いられる。この技術によれば、画素の探索及び凹凸度による直線判定が実行される。これにより、凹凸度の小さい直線と凹凸度の大きい文字や斜め成分とを区別することが可能になり、直線の特徴を示すパターンであるか否かを正確に調べることができる。
【００８１】
ここで、当該画素の探索及び凹凸度による直線判定処理について簡単に説明する。まず、入力された画像データ１２における当該調査対象の画像パターンＳの延びる方向（縦又は横方向）に、画素（パターンとして入力された黒画素）を探索する。そして、当該探索方向に画素が存在する限り、当該探索方向に探索を続ける。この場合、画素の探索方向は変化しない。一方、当該探索方向に画素が存在しない場合に限り、当該探索方向の斜め方向にある画素を探索する。この場合、画素の探索方向が変化する。当該探索方向の変化回数がカウントされる。
【００８２】
次に、画素の探索方向の変化回数の値に基づいて、当該パターンＳが直線の特徴を示すパターンであるか否かが判定される。当該パターンＳが直線であれば略同一方向に探索が行われるので画素の探索方向の変化回数の値が小さく、直線でなければ当該値が大きい。そこで、予め経験的に直線判定の閾値を適切な値に定めることにより、これを用いて直線とするか否かを判定する。このような画素の探索及び凹凸度による直線判定処理を用いることによって、対象とするパターンＳが直線か否かを正確に判定することができる。
【００８３】
なお、図１０（Ａ）に示す場合において、当該２つの領域Ｙの間に存在するパターンＳについて直線探索処理を行うことなく、丸角部が接近して存在する領域であると判断しても良い。この場合、２つの領域Ｙの間の直線（罫線）は、上述のようにして作成しても良く、又は、当該２つの領域Ｙの間におけるパターンの存在の有無にかかわらず作成しても良い。
【００８４】
図１０（Ｂ）に示すように、２つの領域Ｙの間が接触しているか又は重なっている場合、当該２つの領域Ｙが丸角候補領域であるとされる。ここで、接触とは２つの斜め成分Ｙを構成する画素が隣接している場合を言い、重なるとは２つの斜め成分Ｙを構成する画素が重複している場合を言う。このような状態は、２本の横直線に挟まれた縦直線の成分が短すぎるため、直線として抽出されなかった場合である。従って、この処理は、２つの領域Ｙの間の間隔が直線として抽出される最小長さ以下である場合に実行される。これにより、２つの斜め成分Ｙが上下方向に又は２つの斜め成分Ｔが左右方向に接触又は重なる場合には、これらの間に直線成分が殆ど存在せず略円弧状になっていても、丸角候補領域を正確に抽出することができる。これは図１９（Ｂ）に示す帳票の場合に相当する。
【００８５】
次に、第３の処理として、探索処理が実行される（ステップＳ３２−３）。探索処理は、図１１に示すように、ある斜め成分Ｙ（の存在する領域）又は斜め成分Ｔ（の存在する領域）の周囲に、当該斜め成分と予め定められた距離以下の位置関係にある他の斜め成分Ｙ又はＴが存在しない場合に、実行される。
【００８６】
図１１に示すように、抽出されたある斜め成分（Ｙ１）の領域から一定距離以下の位置に他の斜め成分Ｙ又はＴが存在しない場合、当該斜め成分（Ｙ１）の先端に短い直線成分が存在するか否かが調べられる。具体的には、斜め成分Ｙの場合には縦直線が探索され、斜め成分Ｔの場合には横直線が探索される。ここで、当該短い直線の存在を調べる処理（短い直線探索処理）は、周知の短い直線探索処理を用いることによって行われる。周知の短い直線探索処理としては、例えば、先に本願出願人の提案した特開平１０−３３４１８５号公報に記載の技術が用いられる。この技術によれば、画素の探索及び凹凸度による直線判定処理が実行される。この処理については、「直線探索処理」として前述したので、その説明を省略する。
【００８７】
当該直線が存在する場合、当該部分に直線を想定し、当該領域Ｙ１を丸角候補領域であるとする。当該直線を想定することにより、当該直線は直線抽出処理において抽出した直線と同様のもの（罫線）であるとされる。これにより、抽出された斜め成分の近傍に他の斜め成分が存在しない場合でも、直線の特徴を示すパターンＳ’が存在していれば、当該抽出された斜め成分は丸角候補領域であるとすることができる。従って、横又は縦方向に直線成分が殆ど存在せず帳票の角部が円弧状になっている場合でも、丸角候補領域を正確に抽出することができる。また、短い罫線でも正確に抽出することができる。
【００８８】
なお、図１１に示す斜め成分Ｙ２は図９に示す場合に相当し、対比のために示される。即ち、斜め成分Ｙ１は、前述の重なり処理及び近接処理によっては、当該斜め成分Ｙ１が丸角候補領域であるということを抽出できない場合である。
【００８９】
次に、以上の各種の処理により丸角候補領域として抽出された斜め成分について、直線情報の作成処理が実行される（ステップＳ３３）。即ち、当該斜め成分を、縦方向及び横方向に分解し、各々の成分を縦方向及び横方向の仮想的な直線（罫線）とする。具体的には、図１２に示すように、前記斜め成分の横線に接する端点から、当該縦方向の座標値をそのままにして、前記斜め成分の接する縦線の持つ横方向の座標まで、当該横方向の座標値を変化させることにより、横直線を得る。また、同様にして、縦直線を得る。そして、これらの２本の直線の存在を示す２つの矩形領域（図１２において点線で示す）が作成される。これにより、仮想的な直線（矩形領域）についての直線情報が作成される。従って、直線情報は当該仮想的な直線の始点及び終点（矩形領域の範囲）を示す位置座標からなる。この後、仮想的な直線と図１２において実線で示す実在する直線（矩形領域）とを統合し、その結果を用いて以下のセル抽出が実行される。これにより、丸角候補領域として抽出された斜め成分を仮想的な直線として処理できるので、丸角部を意識することなく、セル抽出を実行することができる。
【００９０】
なお、仮想的な直線（罫線）と実際に抽出された罫線とは、完全に接触又は重なっていなくても予め定められた一定距離以下の位置関係にある場合、統合されて１本の直線（罫線）とされる。これは縦及び横の双方について同様である。従って、この統合処理以降の処理においては、実在の罫線と仮想の罫線とが同様に扱われることにより、丸角部を意識することなく、セル抽出を実行することができる。
【００９１】
また、この直線情報作成処理と共に、丸角候補領域であるとして抽出された斜め成分のサイズの平均値を算出する処理が実行される。この平均値は後述する丸角部決定処理において用いられる。
【００９２】
また、直線情報作成処理は以下に述べるセル抽出処理の前処理であるので、当該セル抽出処理に含めても良い。即ち、セル抽出装置４が実行するようにしても良い。
【００９３】
以上の処理の結果、図１２に示すように、直線データ１３を用いることにより、画像データ１２から帳票の角部における丸角候補領域が抽出され、これについての直線情報が作成される。これが丸角候補データ１４である。
【００９４】
図１３はセル抽出装置４の実行するセル抽出処理について説明する。図１３に示す処理は、図４のステップＳ４に相当し、周知の処理である。
【００９５】
セル抽出装置４は画像データ１２からセルを抽出する。この抽出処理は周知のどのような処理によっても良い。セルは四方を直線で囲まれた領域であるので、２本の横線の組（横枠）と２本の縦線の組（縦枠）とでセルを規定（抽出）することができる。以下にその一例を示す。
【００９６】
最初に、横枠を決定する横枠決定処理が実行される（ステップＳ４１）。横枠決定は、周知の横枠決定処理を用いることによって行われる。周知の横枠決定処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この技術によれば、即ち、枠の上部から順番に、所定の規則に従って、一行を構成する２本の横線の組（対）を決定し、これを横枠とする。
【００９７】
ここで、当該横枠決定処理について簡単に説明する。まず、直線抽出処理（ステップＳ２）において抽出された横線の中から、上から順番に２本の横線を選択して、これらを２本の横線の組の候補とする。
【００９８】
次に、この候補である２本の横線が、同一の長さであるか、又は、下方の直線の方が長いという関係（組の条件）であれば、当該候補をそのまま２本の横線の組とする。下方の直線の方が長い場合、当該下方の直線は、再度、２本の横線の組の候補とすることができる。
【００９９】
一方、候補である２本の横線が、下方の直線の方が短いという関係であれば、更に、当該下方の直線とその下方の直線とを新たな２本の横線の組の候補とする。そして、双方の直線の長さの関係を調べ、上述の組の条件を満たし当該候補を２本の横線の組とすることができるまで、同様の処理を繰り返す。なお、下方の直線の更に下方に上述の組の条件を満たす直線が全く存在しない場合、当該下方の直線とその直ぐ上の直線とを２本の横線の組とする。
【０１００】
次に、上述の処理を最も下の直線について行った後、当該直線の上方に未処理の直線が残っている場合、当該未処理の直線と再度２本の横線の組の候補とすることができる直線とを用いて、再度、上述の処理を繰り返すことにより、２本の横線の組を作る。このような横枠決定処理を用いることによって、以後の処理において行等の矩形枠を構成する横枠の組（２本の横線の組）を正確に決定することができる。
【０１０１】
この後、横枠決定処理の結果を用いて、縦枠を決定する縦枠決定処理が実行される（ステップＳ４２）。縦枠決定は、周知の縦枠決定処理を用いることによって行われる。周知の縦枠決定処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この技術によれば、横枠決定処理において組とされた２本の横線により構成される間隔毎に（即ち、一行毎に）処理を行ない、先に抽出された縦線の内で当該２本の横線の双方について上下共に達しているものを縦枠とする。このような縦枠抽出処理を用いることによって、縦枠を正確に抽出することができる。
【０１０２】
この後、横枠決定処理及び縦枠決定処理の結果を用いて、セルである矩形領域を抽出する矩形抽出処理が実行される（ステップＳ４３）。矩形抽出は、周知の矩形抽出処理を用いることによって行われる。周知の矩形抽出処理としては、例えば、先に本願出願人の提案した特開平９−５０５２７号公報に記載の技術が用いられる。この特開平９−５０５２７号公報に記載の処理技術によれば、横枠決定処理及び縦枠決定処理において決定された横枠及び縦枠に四方を囲まれた範囲を、矩形範囲として抽出する。即ち、横枠決定処理において組とされた２本の横線と、縦枠抽出処理において当該横枠に達する縦枠とされた２本の縦線とで囲まれた領域を、矩形枠（セル）として抽出する。このような矩形抽出処理を用いることによって、セルを正確に抽出することができる。
【０１０３】
以上の処理の結果、直線データ１３を用いることにより、画像データ１２から帳票におけるセルが抽出される。これがセルデータ１５である。この時、ステップＳ３３において作成された直線情報により表される仮想の直線を用いることにより、図１２に示すような帳票の角部における丸角部を含むセルも、同様に、矩形枠として抽出される。
【０１０４】
図１４は丸角部決定装置５の実行する丸角部決定処理フローを示す。図１４に示す処理は、図４のステップＳ５に相当し、本発明に特徴的な処理である。丸角部決定処理は、画素密度変化処理、対象性処理及びマッチング処理からなる。
【０１０５】
最初に、第１の処理として、抽出されたセルの角部の画素密度変化に基づいて当該角部の形状を決定する画素密度変化処理が実行される（ステップＳ５１）。画素密度変化処理は、セルの角部に注目し、当該角部の画素密度の変化を用いて丸角部の決定を行う処理である。即ち、帳票の角部の形状に基づいて丸角部を決定する処理モードである。この処理により、角部に掠れがある場合でも丸角部を決定することができる。ここで、（画素密度）＝（当該領域内の黒画素の総数）／（当該領域内の画素の総数）である。黒画素はステップＳ３１において当該斜め成分Ｙ又はＴとして抽出された線分を構成する画素である。
【０１０６】
図１５に示すように、セルの角部においては、その外側から内側へ向かって、画素密度が低い三角領域ａ、高い台形領域（斜線を施した部分）ｂ、低い台形領域ｃの順に並ぶ。即ち、画素密度は、「低い→高い→低い」の順に変化する。そこで、抽出されたセルを構成する２本の直線に挟まれる角部において、当該２本の直線の作る頂点から離れる方向へ上述の順に画素密度が変化している場合、当該部分は丸角部であると決定する。この画素密度が「低い→高い→低い」の順に変化すると言う特徴を用いることにより、角部に掠れがあっても丸角部を決定することができる。
【０１０７】
画素密度の高低を判断するための閾値（又はパラメータ）が、例えば当該帳票（入力画像１１）の入力時にユーザにより、定められる。ユーザの入力がない場合、予め定められた値とされる。図１５から判るように、領域ａの画素密度は極めて低い（この例では「０」である）。従って、領域ａについての閾値は極めて小さくされ、画素密度が当該閾値よりも小さい場合に画素密度が「低い」と判断される。領域ｂの画素密度は所定のレベルに達する。この所定のレベルは経験的にある程度正確に知り得る。従って、領域ｂについての閾値は当該レベルより小さい値とされ、画素密度が当該閾値よりも大きい場合に画素密度が「高い」と判断される。領域ｃの画素密度は、領域ａよりは高いが、領域ｂよりはかなり低い。この画素密度は経験的にある程度正確に知り得る。従って、領域ｃについての閾値は、領域ａについての閾値よりは高いが、領域ｂよりはかなり小さくされ、画素密度が当該閾値よりも小さい場合に画素密度が「低い」と判断される。
【０１０８】
画素密度処理において、画素密度を算出する領域は、丸角候補領域検出装置３において算出された丸角候補領域として抽出された斜め成分のサイズの平均値を規準として設定される。例えば、当該平均値より所定の割合だけ大きい値が、前記台形領域ｃの下辺の値とされる。これにより、画素密度変化処理の領域を小さくすることができるので、画素密度変化処理に要する時間を短縮することができる。台形領域ｃの下辺は当該矩形領域を定める縦及び横の直線に対して、図１５に示すように４５°で交わる。台形領域ｂの上辺及び下辺も、同様である。
【０１０９】
なお、画素密度処理において、セルを構成する２本の直線の作る頂点を含む三角領域ａの画素密度が当該閾値よりも小さい場合に、当該角部が丸角であると判断しても良い。また、領域ａの画素密度が領域ｂの画素密度よりも十分に小さい場合（又は、両者の間に予め定められた差がある場合）に、当該角部が丸角であると判断しても良い。また、領域ａ、ｂ及びｃの画素密度が「低い→高い→低い」と変化し、領域ａの画素密度が領域ｃの画素密度よりも小さい場合に、当該角部が丸角であると判断しても良い。
【０１１０】
この後、第２の処理として、対象性処理が実行される（ステップＳ５２）。入力された画面データ１２が常に良好な状態であるとは限らない。即ち、罫線の掠れや潰れ、罫線への文字の接触等の原因により、画素密度変化処理のみで全ての丸角部を正確に抽出できるとは限らない。そこで、丸角部抽出の対象である表構造の規則性が予め判っている場合、当該規則性を利用することにより、より高い精度で丸角部の抽出を行う。
【０１１１】
対象性処理は、帳票における表構造の規則性に注目し、角部の同一形状の規則的な繰り返し（丸角部の方向は異なる）を利用して丸角部の決定を行う処理である。一般に用いられる帳票の多くは、図１６（Ａ）に示すようにその外周の角部の全てが丸角であるか、逆に、その外周の角部の全てに全く丸角がないかの何れかである。図１６（Ｂ）に示すように、その外周の角部の一部のみが丸角である帳票は殆ど存在しない。そこで、この対象性を利用して、より高い精度で丸角部を抽出する。
【０１１２】
最初に、前処理として当該規則性が予め判っているか否かが調べられる（ステップＳ５２−１）。当該帳票が規則性を持った表構造を有することは、例えば当該帳票（入力画像１１）の入力時にユーザにより入力される。
【０１１３】
この後、図１６（Ａ）に示す帳票について規則性を有することが指示されている場合、当該規則性（対象性）を利用した処理を行う（ステップＳ５２−２）。即ち、例えば、４個の角部がある当該帳票において四隅の内の何処か１個でも先の画素密度変化処理において丸角部であると判断されると、他の３個の角部も丸角部である可能性が高いと判断する。そして、当該他の３個の角部について、画素密度変化処理の制限を緩めた上で、再度、画素密度変化処理を行い、この結果を最終的な処理結果とする。従って、対象性処理は、実際は、緩和された一定条件下での画素密度変化処理の繰り返しである。上記制限の緩和は、例えば閾値（又はパラメータ）を適切に変更すること等による。
【０１１４】
例えば、図１５に示した丸角部において、これに交差するように文字が記入されていた場合、領域ａ及び領域ｃの画素密度は当該閾値よりも大きくなる。この場合、画素密度は領域ａ、ｂ及びｃについて高いままで変化しない。また、当該丸角部の極めて近傍まで文字が記入されていた場合、領域ｃの画素密度が当該閾値よりも大きくなる。この場合、画素密度は領域ａ、ｂ及びｃについて「低い→高い→高い」となる。そこで、上記対象性処理に基づいて領域ａ及び領域ｃの閾値を予め定められた値だけ高くする。これにより、上記のような場合でも、画素密度処理における画素密度が領域ａ、ｂ及びｃについて「低い→高い→低い」と変化することになる。結果として、丸角部の決定の緩和が図られ、最初の処理では決定から漏れた角部も丸角部であると決定することができる。
【０１１５】
なお、規則性を有することが指示されている場合であっても、先の画素密度変化処理において予め定められた個数の丸角部が決定されていなければ、対象性処理（ステップＳ５２−２）は実行されない。この場合は帳票の外周の角部の全てに全く丸角がないと考えられるからである。対象性処理を開始するための丸角部の個数は予め定められる。この個数は、前述のように、通常１個とされるが、２個以上であっても良く、例えば当該帳票（入力画像１１）の入力時にユーザにより入力される。
【０１１６】
また、対象性処理（ステップＳ５２−２）は複数回繰り返して実行しても良い。即ち、領域ａ及び領域ｃの閾値を所定幅だけ大きくしても丸角部が決定できない場合、更に、領域ａ及び領域ｃの閾値を更に同じ所定幅だけ大きくして画素密度変化処理を行っても良く、これを繰り返しても良い。これにより、丸角部に文字が接触等していても確実に丸角部を決定することができる。
【０１１７】
以上のように、帳票の角部の形状に基づいて丸角部を決定する処理モード以外に、帳票の外周における角部の形状の規則性を用いて（及び帳票の角部の形状に基づいて）丸角部を決定する処理モードにより、角部毎に丸角か否かが決定される。これにより、予め帳票の規則性が判っている場合には、より高精度で丸角部を決定することができる。即ち、画素密度変化処理において丸角部が予め定められた個数以上決定された場合には、その後の規則性を用いた処理モードにおいて、画素密度変化処理において丸角部であることを決定できなかった角部についても再度画素密度変化処理を行う。これにより、確実に丸角部であることを決定することができる。
【０１１８】
なお、ステップＳ５２−１において処理対象の帳票について予め規則性が判らない場合には、ステップＳ５２−２の実行は省略される。即ち、画素密度変化処理において抽出した丸角部のみを丸角部であるとする。従って、この場合、図１６（Ｂ）に示すように、その外周の角部の一部のみが丸角である表構造が検出される。
【０１１９】
また、当該帳票が規則性を有するか否かの指示入力を、例えば規則性を有する角部の位置又は数を指定して入力するようにしても良く、また、規則性を有する角部は何箇所でも良い。
【０１２０】
この後、第３の処理として、マッチング処理が実行される（ステップＳ５３）。画素密度変化処理及び対象性処理によっては、点線の内、点と点の間隔が広いものについては処理できない。これは、当該間隔の広い部分の存在により画素密度の変化が正確に抽出できないためである。そこで、画素密度変化処理（又は画素密度変化処理及び対象性処理の双方）において丸角部であると決定されなかった角部について、マッチング処理が実行される。マッチング処理は、発生させたパターンと画像データ１２上の画像パターン（又は近似させた画像パターン）とのマッチングを採ることにより、角部の形状を認識する処理である。マッチング処理を行うことにより、点と点の間隔が広い点線についても丸角部を決定することができる。
【０１２１】
マッチング処理は、図１７に示すように、横線と横線（縦線と縦線でも同様である）及び縦線と横線との間の距離が予め定められた値以下の場合に実行される。上記距離が一定値以下の場合にのみマッチング処理を行うことにより、マッチング処理の回数を少なくして処理を効率良く行うことができる。
【０１２２】
マッチング処理において、最初に、当該２本の直線の端点と端点との間を結ぶパターンが生成される（ステップＳ５３−１）。即ち、マッチングに用いるパターンは、予め用意されるのではなく、その都度生成される。従って、多数のパターンを格納する必要がなく、そのための大容量のメモリも必要ない。パターンの生成にはｎ次関数が用いられる。例えば、図１７（Ａ）に示す状態は、横線と横線（又は縦線と縦線）の端点が近い位置に存在する例である。この場合、２本の横線の端点ａ、ｂに対するパターンａ’ｂ’が生成される。生成されるパターンａ’ｂ’は半円とされる。図１７（Ｂ）に示す状態は、縦線と横線の端点が近い位置に存在する例である。この場合、縦線と横線の端点Ａ、Ｂに対するパターンＡ’Ｂ’が生成される。生成されるパターンＡ’Ｂ’は９０°の円弧とされる。生成されたパターンａ’ｂ’又はＡ’Ｂ’と画像パターンとが一致すれば（又は相似すれば）、当該角部は丸角部であるとされる。
【０１２３】
次に、生成されたパターンと入力された画像データ１２上の画像パターン（入力パターン）とが比較される（ステップＳ５３−２）。この比較の結果が一致すれば、当該角部は当該生成されたパターンと同一の形状を有する丸角部であるとされる。これにより、掠れた実線や間隔が広い点線についても正確に丸角部を決定することができる。
【０１２４】
なお、当該画像パターンに近似させたパターン（近似パターン）を生成して、これと入力パターンとを比較しても良い。近似パターンは当該画像パターンを矩形近似することにより得る。近似パターンを用いることにより、入力パターンが点と点との間隔の長い点線や一部が掠れた丸角であっても、正確に丸角部を決定することができる。
【０１２５】
以上のように、マッチング処理は、画素密度処理及び対象性処理によっては丸角部を決定することができない場合にのみ実行される。これにより、帳票の角部の形状（又はその規則性）に基づいて丸角部を決定する処理モードによっては、丸角部か否かを決定することができない場合（例えば、点線の場合）でも、丸角部を決定することができる。また、パターン生成処理の回数を少なくすることができるので、処理を効率良く行うことができる。
【０１２６】
以上の処理の結果、図１８に示すように、画像データ１２から帳票の角部における丸角部が抽出される。これが丸角部データ１６である。
【０１２７】
図１８は文字認識領域決定装置６の実行する文字認識領域決定処理について示す。この処理は、図４のステップＳ６であり、周知の処理である。
【０１２８】
図１８は、ある角部が丸角部決定処理において丸角部であると決定された場合における、当該丸角部とセルＣ１との関係を示す。図１８に示すように、当該決定された丸角部はセルＣ１の内側に含まれた状態となる。なお、「ａｂｃ」は帳票に記入された文字である。そこで、文字認識領域決定装置６は、まず、セルＣ１の直ぐ内側の点線で示す矩形の領域を仮の文字認識領域Ｃ２とする。その後、文字認識領域決定装置６は、仮の文字認識領域Ｃ２から当該丸角部の存在する領域（斜線を施した三角形の領域）Ｃ３を除くことにより、真の文字認識領域を決定する。これにより、当該丸角部が文字と認識されることを防止することができ、また、文字「ａｂｃ」を正しく認識することができる。
【０１２９】
以上、本発明の１つの実施の形態について説明したが、本発明はその主旨の範囲内において種々の変形が可能である。
【０１３０】
例えば、表画像処理装置１００は上述した構成を全て備える必要はなく、適宜簡易な構成としても良い。特に、直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、文字認識領域決定装置６はソフトウェアによって実現されるため、ＣＰＵの負担が大きく、メモリも大きくなる。そこで、各装置の構成を簡易なものとしても良い。この場合、丸角部の抽出精度は多少劣るが、処理速度は高速化することができる。
【０１３１】
一例として、丸角候補領域検出処理における候補検出処理として重なり処理（ステップＳ３２−１）のみを実行し、丸角部決定処理として画素密度変化処理（ステップＳ５１）のみを実行するようにする。この場合、重なり処理のみが実行されるので、予め定められた距離に位置する縦方向の直線と横方向の直線との組（図９に示す例）のみが、丸角部の処理対象とされる。
【０１３２】
他の例として、上述の例において、丸角候補領域検出処理における候補検出処理として、重なり処理（ステップＳ３２−１）に代えて、近接処理（ステップＳ３２−２）のみ、探索処理（ステップＳ３２−３）のみ、又は、これらの３つの処理から選択した２つの処理のみを実行するようにしても良い。丸角部決定処理としては画素密度変化処理（ステップＳ５１）のみを実行するようにする。近接処理の場合には図１０に示す例のみが丸角部の処理対象とされ、探索処理の場合には図１１に示す例のみが丸角部の処理対象とされる。
【０１３３】
逆に、上述の例において、丸角部決定処理として、画素密度変化処理（ステップＳ５１）のみに代えて、画素密度変化処理及び対象性処理（ステップＳ５２）、又は、画素密度変化処理及びマッチング処理（ステップＳ５３）を実行するようにしても良い。候補検出処理としては重なり処理（ステップＳ３２−１）のみを実行するようにする。
【０１３４】
以上の説明から判るように、候補検出処理及び丸角部決定処理は、各々、上述した複数の処理から適宜選択して実行することができる。従って、これらの処理は、上述した例の他にも種々組み合わせることができる。
【０１３５】
更に、他の例として、丸角候補領域検出装置３及び丸角部決定装置５のみを実施の形態において説明した構成として、他の各装置は上述した以外の周知の手段で実現しても良い。この場合でも、丸角候補領域検出装置３及び丸角部決定装置５の構成は上述した簡易な構成としても良い。
【０１３６】
また、例えば、図４に示す処理フローにおいて、処理の順序を種々変更することが可能である。即ち、直線抽出処理（ステップＳ２）の後に、丸角候補領域検出処理（ステップＳ３）を行うことなく、先にセル抽出処理（ステップＳ４）を行ないセルの形状を決定し、その後に抽出したセルの角部について丸角候補領域検出処理（ステップＳ３）及び丸角部決定処理（ステップＳ５）をこの順に行うようにしても良い。逆に、直線抽出処理（ステップＳ２）及び丸角候補領域検出処理（ステップＳ３）の後に、セル抽出処理（ステップＳ４）を行うことなく、先に丸角部決定処理（ステップＳ５）を行って丸角部の形状を決定し、その後にセル抽出処理（ステップＳ４）を行うようにしても良い。更に、このような処理順序を変更することに加えて、上述したような丸角候補領域検出装置３及び丸角部決定装置５の簡易な構成を併せて採用することができる。
【０１３７】
また、例えば、ある特定の処理の結果に基づいて、図４に示す処理の順序を種々変更することが可能である。即ち、ステップＳ３１において抽出された全ての斜め成分Ｙ及び斜め成分Ｔの大きさ（斜め線の長さ）が予め定められた値より小さい場合、候補検出処理（ステップＳ３２）及び直線情報作成処理（ステップＳ３３）を省略して、セル抽出処理（ステップＳ４）、ステップＳ３１を除く丸角候補領域検出処理（ステップＳ３）、丸角部決定処理（ステップＳ５）の順に実行しても良い。更に、この場合、セル抽出後の候補検出処理（ステップＳ３２）を省略して実質的に丸角候補領域検出処理（ステップＳ３）を省略することができる。このようにしても、丸角部の面積が小さいので、直接丸角部決定処理を行う際の処理の負担が大きくならずに済む。
（第２の実施形態）
図２０は表画像処理装置構成図であり、本発明の表画像処理装置１００の他の一例の構成を示し、図２に示す表画像処理装置１００に対応する。図２０の表画像処理装置１００は、基本的には、図３に示す表画像処理装置１００と同様の構成を有するが、直線抽出装置２が、更に、罫線判定処理手段２０を備える点のみが異なる。罫線判定処理手段２０は、入力画像１１（又は、画像データ１２）から抽出された縦及び横方向の罫線候補について、入力画像１１から抽出された画像パターンであって当該罫線候補の周囲に存在する他の画像パターンに応じて、互いに異なる値の複数の閾値２１、２２、・・・のいずれかを用いて、当該罫線候補の凹凸度を判定することによって、当該罫線候補が罫線であるか否かを判定する。実際には、後述するように、低い値の第１の閾値２１又は高い値の第２の閾値２２の２個の閾値を用いる。
【０１３８】
図２０の表画像処理装置１００は、基本的には、図３の表画像処理装置１００と同様の処理を行い、直線抽出装置２における直線データ１３の作成処理（罫線候補の抽出処理）のみが一部異なる。以下において、図３の表画像処理装置１００と同様の処理についてはその説明を省略し、直線抽出装置２における処理を中心に説明する。
【０１３９】
図２１は罫線判定処理手段２０の構成を示す。図２０及び図２１に示すように、罫線判定処理手段２０は直線抽出装置２に設けられる。罫線判定処理手段２０は、直線抽出装置２の抽出した縦及び横方向の直線を罫線候補として用いて、当該罫線候補が罫線であるか否かを判定する。従って、罫線判定処理手段２０の処理の対象となるのは、図５に示す処理において、直線抽出装置２が連結パターン抽出処理（ステップＳ２１）乃至点線抽出処理（ステップＳ２５）までを実行した結果得られるデータである。連結パターン抽出処理乃至点線抽出処理は、周知のいずれの処理によっても良い。このデータは、上記の処理によって罫線の候補として抽出された直線及び点線からなるので、この例において罫線候補データ１３Ａと呼ぶこととする。罫線判定処理手段２０は、罫線候補データ１３Ａについて罫線判定処理を行うことによって、罫線である可能性の低いものを罫線候補データ１３Ａから除外して直線データ１３、即ち、罫線データを作成する。
【０１４０】
罫線判定処理手段２０は、直線抽出装置２の一部であるので、当該表画像処理装置１００の主メモリ上に存在しＣＰＵ上で実行されることにより当該処理を実行する処理プログラムによって実現される。罫線判定処理プログラムは直線抽出処理プログラムの一部である。直線抽出装置２直線抽出装置２の実行する処理の内、罫線判定処理手段２０の実行する処理は本発明に特有の処理であり、他の処理（連結パターン抽出処理乃至点線抽出処理）は周知の処理である。
【０１４１】
なお、図３の表画像処理装置１００においても、図５に示す連結パターン抽出処理（ステップＳ２１）乃至点線抽出処理（ステップＳ２５）までを実行した後に、当該処理の結果として得られた罫線候補から罫線である可能性の低い領域を判定して当該候補から除外する罫線判定処理を行うようにしても良い。この罫線判定処理は、例えば、特開平１０−３３４１８５号公報に記載の技術による。この技術によれば、画素の探索及び凹凸度による直線（罫線）判定処理が行われる。即ち、抽出された罫線候補の画像パターンについての探索処理を行うことにより、画像パターンの凹凸度を算出し、当該凹凸度がある一定の値（閾値）以上であれば罫線以外（即ち、文字）のパターンであるとし、一定の値より小さければ罫線であるとする。この技術については、「直線探索処理」として前述したので、その説明を省略する。
【０１４２】
図２１に示すように、罫線判定処理手段２０は、画素密度判定処理部２３と罫線幅判定処理部２４とからなる。画素密度判定処理部２３及び罫線幅判定処理部２４は、各々、判定処理に用いるための第１及び第２の閾値（凹凸度の閾値）２１及び２２を予め有する。煩雑を避けるために特に区別はしないが、画素密度判定処理部２３の第１の閾値２１と罫線幅判定処理部２４のそれとは、両者における処理が異なるので、異なる値である。第２の閾値２２についても同様である。第１の閾値２１は低い値の意であり、第２の閾値２２は高い値の意である。画素密度判定処理部２３及び罫線幅判定処理部２４における第１及び第２の閾値２１及び２２の値は、各々の実行する処理に応じた適切な値に予め設定される。これらの値は、各々、経験的（又は、統計的、実験的）に適切な値に定められる。
【０１４３】
罫線判定処理手段２０において、与えられた罫線候補データ１３Ａについての処理を画素密度判定処理部２３と罫線幅判定処理部２４のいずれを先に行っても良い。どの場合でも、罫線候補データ１３Ａから罫線である可能性の低いものを除外することができる。また、罫線判定処理手段２０は、画素密度判定処理部２３と罫線幅判定処理部２４のいずれか一方のみを備えても良い。罫線判定処理手段２０はソフトウェアによって実現されるため、ＣＰＵの負担が大きくメモリも大きくなる。そこで、いずれか一方のみを設けて、装置の構成を簡易なものとしても良い。この場合、罫線の抽出精度は多少劣るが、処理速度は高速化することができる。
【０１４４】
画素密度判定処理部２３は、予め定められた値の第１の閾値２１又はこれよりも高い値の第２の閾値２２のいずれかを用いて、予め求めた当該罫線候補の凹凸度を判定することによって、当該罫線候補が罫線であるか否かを判定する。第１の閾値２１の値は第２の閾値２２の値よりも低い。具体的には、画素密度判定処理部２３は、当該罫線候補の周囲に存在する他の画像パターンの画素密度に応じて、当該他の画像パターンの画素密度が高い場合に第１の閾値２１を用い、当該他の画像パターンの画素密度が低い場合に第２の閾値２２を用いる。
【０１４５】
罫線判定処理手段２０の画素密度判定処理部２３は、当該罫線候補が縦罫線である場合、入力された画像において、当該縦罫線の長さと同一範囲であって、かつ、当該縦罫線の左右の予め定められた幅の範囲に存在する画像パターンを、当該罫線候補の周囲に存在する他の画像パターンとして用いる。また、罫線判定処理手段２０の画素密度判定処理部２３は、当該罫線候補が横罫線である場合、入力された画像において、当該横罫線の長さと同一範囲であって、かつ、当該横罫線の上下の予め定められた幅の範囲に存在する画像パターンを、当該罫線候補の周囲に存在する他の画像パターンとして用いる。即ち、このようにして定められた領域の画素密度が判定に用いられる。当該領域に実際の画像パターンが存在しない場合、画素密度は「０」である。
【０１４６】
罫線幅判定処理部２４は、予め定められた値の第１の閾値又はこれよりも高い値の第２の閾値のいずれかを用いて当該罫線候補の凹凸度を判定することによって当該罫線候補が罫線であるか否かを判定する。第１の閾値２１の値は第２の閾値２２の値よりも低い。具体的には、罫線幅判定処理部２４は、当該罫線候補の周囲に存在する他の画像パターンの幅に応じて、当該他の画像パターンの幅が広い場合に第１の閾値を用い、当該他の画像パターンの幅が狭い場合に第２の閾値を用いる。
【０１４７】
罫線判定処理手段２０の罫線幅判定処理部２４は、入力された画像において、当該罫線候補と同一方向に延び、当該罫線候補に隣接又は連結された他の罫線候補を、当該罫線候補の周囲に存在する他の画像パターンとして用いる。即ち、周囲に存在する他の画像パターンとして用いられるのは、当該罫線候補と同一の罫線を構成する罫線候補である。換言すれば、同一罫線の複数の領域を、周囲に存在する他の画像パターンとして用いる。
【０１４８】
罫線幅判定処理部２４は、当該罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの幅のｎ倍以上である場合に当該罫線候補の幅が広いとし、当該罫線候補の幅が他の画像パターンの幅の１／ｎ以下である場合に当該罫線候補の幅が狭いとする。ここで、ｎは正の整数であり、例えば、「３」とされる。ｎの値は経験的（又は、統計的、実験的）に適切な値に定められる。
【０１４９】
図２２は直線抽出装置２の実行する直線抽出処理フローを示す。図２２に示す処理は、前述のように、基本的には図５に示す処理と同様であり、点線抽出処理（ステップＳ２５）の後に罫線判定処理（ステップＳ２６）が実行される点のみが異なる。従って、図５に示す処理と同様の処理についての説明は省略し、罫線判定処理（ステップＳ２６）ついて説明する。
【０１５０】
最初に、直線抽出装置２は、図５に示すと同様にして、連結パターン抽出処理（ステップＳ２１）乃至点線抽出処理（ステップＳ２５）を実行する。以上の処理の結果、画像データ１２から図７の右側に示すように矩形により近似された直線及び点線が抽出される。これが罫線候補データ１３Ａである。
【０１５１】
続いて、直線抽出装置２は、図２３に示すように、罫線判定処理手段２０による罫線判定処理を行い、罫線候補データ１３Ａから直線データ（罫線データ）１３を抽出する（ステップＳ２６）。
【０１５２】
図２３は罫線判定処理手段２０の実行する罫線判定処理フローを示す。罫線判定処理は画素密度判定処理部２３による画素密度判定処理と罫線幅判定処理部２４による罫線幅判定処理とからなる。画素密度判定処理については図２５を参照して説明し、罫線幅判定処理については図２６を参照して説明する。
【０１５３】
最初に、前処理として、罫線判定処理手段２０により凹凸度算出処理が実行される（ステップＳ２６１）。凹凸度算出処理は、周知の直線探索処理を用いることによって実行される。周知の直線探索処理としては、例えば、先に本願出願人の提案した特開平１０−３３４１８５号公報に記載の技術が用いられる。この技術によれば、画素の探索が実行される。
【０１５４】
この周知の直線探索処理については、「直線探索処理」として説明したので、ここでは、当該画素の探索について簡単に説明する。まず、罫線判定処理の対象となっている罫線候補における当該調査対象の画像パターンの延びる方向（縦又は横方向）に、画素（パターンとして入力された黒画素）を探索する。そして、当該探索方向に画素が存在する限り、当該探索方向に探索を続ける。この場合、画素の探索方向は変化しない。一方、当該探索方向に画素が存在しない場合に限り、当該探索方向の斜め方向にある画素を探索する。この場合、画素の探索方向が変化する。当該探索方向の変化回数がカウントされる。カウントされた変化回数が当該罫線候補の凹凸度である。当該パターンが罫線であれば略同一方向に探索が行われるので画素の探索方向の変化回数の値が小さく、罫線以外のパターン（文字）であれば当該値が大きい。
【０１５５】
次に、第１の処理として、画素密度判定処理部２３により画素密度判定処理が実行される（ステップＳ２６２）。
【０１５６】
画素密度判定処理において、最初に、画素密度が算出される（ステップＳ２６２−１）。画素密度判定処理に用いられる当該罫線候補の周囲に存在する他の画像パターンは、次のようにして定められる。例えば、図２４（Ａ）に示す罫線候補は横罫線であるので、この場合の他の画像パターンは図２４（Ｃ）に示すようにされる。即ち、当該横罫線の長さＬ１ と同一範囲であって、かつ、当該横罫線の上下の予め定められた幅２Ｈ１ （３Ｈ１ 以上でも良い）の範囲に存在する画像パターンが他の画像パターンとして用いられる。ここで、Ｈ１ は当該横罫線の幅（高さ）である。従って、上側及び下側のＬ１ ×２Ｈ１ の２個の領域が画素密度の判定に用いられる。図２４（Ｂ）に示す罫線候補についての他の画像パターンは図２４（Ｄ）に示すようにされる。即ち、当該横罫線の長さＬ２ と同一範囲であって、かつ、当該横罫線の上下の幅２Ｈ２ （３Ｈ２ 以上でも良い）の範囲に存在する画像パターンが他の画像パターンとして用いられる。ここで、Ｈ２ は当該横罫線の幅（高さ）である。従って、上側及び下側のＬ２ ×２Ｈ２ の２個の領域が画素密度の判定に用いられる。
【０１５７】
なお、当該罫線候補が縦罫線である場合にも、同様にして、画素密度判定処理部２３は、画素密度の判定に用いる領域を定める。即ち、入力された画像において、当該縦罫線の長さと同一範囲であって、かつ、当該縦罫線の左右の予め定められた幅の範囲に存在する画像パターンを、当該罫線候補の周囲に存在する他の画像パターンとして用いる。
【０１５８】
以上から判るように、画素密度の判定に用いられる領域の大きさは、当該罫線候補の長さ及び幅に依存して変動する（比例する）。当該罫線候補の長さに依存するのは、当該罫線候補が図２４（Ａ）に示すように本来文字である場合、図２４（Ｃ）に示すように少なくとも当該範囲には文字の残りの部分が必ず存在するからである。また、当該罫線候補の幅に依存するのは、罫線の幅の種類が複数（例えば、１ドットの細線、５ドットの普通の線、１０ドットの太線）存在する場合において、図２４（Ｂ）に示すように種々の罫線に掠れが存在しても、図２４（Ｄ）に示すように、確実に罫線として判定するためである。
【０１５９】
このようにして定められた領域について画素密度が算出される。画素密度の算出には例えば周知の画素投影処理が用いられる。又は、図１４の画素密度変化処理（ステップＳ５１）と同様の処理が用いられる。即ち、（画素密度）＝（当該領域内の黒画素の総数）／（当該領域内の画素の総数）である。黒画素は当該罫線候補の周囲に存在する他の画像パターンを構成する画素である。当該領域内の黒画素及び画素の総数がカウントされる。
【０１６０】
図２４（Ｃ）の場合、上側のＬ１ ×２Ｈ１ の領域の画素密度は低いが、下側のＬ１ ×２Ｈ１ の領域の画素密度は極めて高い。この場合、上側のＬ１ ×２Ｈ１ の領域の画素密度のみを用いると、正しい（周囲の画素密度が高いと言う）結果が得られない。そこで、上側及び下側のＬ２ ×２Ｈ２ の２個の領域の画素密度の平均値が判定に用いられる。これにより、図２４（Ｃ）の場合、２個のＬ１ ×２Ｈ１ の領域の画素密度は高いものとなる。図２４（Ｄ）の場合、上側及び下側のＬ２ ×２Ｈ２ の２個の領域の画素密度が共に極めて低いので、その平均値も極めて低いものとなる。
【０１６１】
画素密度の高低を判定するための閾値は、凹凸度の判定の閾値とは別に、予め画素密度判定処理部２３に与えられる。この閾値の値も、経験的（又は、統計的、実験的）に適切な値に定められる。図２４（Ｃ）の場合の２個のＬ１ ×２Ｈ１ の領域の画素密度は高いと判定され、図２４（Ｄ）の場合の上側及び下側のＬ２ ×２Ｈ２ の２個の領域の画素密度低いと判定される。
【０１６２】
次に、画素密度の判定結果に基づいて、第１の閾値を用いた第１の判定処理が行われる（ステップＳ２６２−２）。この処理の対象となるのは、当該罫線候補の周囲に存在する他の画像パターンの画素密度高いと判定された図２４（Ａ）又は（Ｃ）の場合である。
【０１６３】
図２４（Ａ）に示す罫線候補は、本来は文字線分Ａの一部である。従って、その周囲には文字線分Ａの他の部分が存在するので、前述のように、当該罫線候補の周囲に存在する他の画像パターンの画素密度は高くなる。周囲の画素密度が高いので、当該罫線候補は文字である可能性が高い。従って、相当の程度まで凹凸度が低い（即ち、滑らかな）罫線候補のみが、罫線として残るようにする必要がある。そこで、より低い値を有する第１の閾値２１が用いられる。罫線候補として抽出された文字線分Ａの凹凸度は、本来高いはずであるにもかかわらず、かなり低くなっている。より高い値を有する第２の閾値２２を用いた場合、文字線分Ａの凹凸度が第２の閾値２２より小さくなる結果、文字線分Ａは罫線であると判定されるおそれがある。第１の閾値２１を用いることにより、文字線分Ａの凹凸度は第１の閾値２１より大きくなる結果、文字線分Ａは罫線以外の画像パターンであると判定され、罫線候補データ１３Ａから除かれる。
【０１６４】
なお、第１の閾値２１の値をあまりに低くすることは好ましくない。例えば、本来の罫線に文字が重なっている場合も、図２４（Ａ）に示す罫線候補と同様に、当該罫線候補の周囲に存在する他の画像パターンの画素密度は高くなる。しかし、この罫線候補は、罫線を漏れなく抽出すると言う観点から、図２４（Ａ）に示す罫線候補とは異なり、罫線候補のままで残す必要がある。そこで、両者の凹凸度に着目すると、罫線と文字の重なった罫線候補の凹凸度は、必ず、図２４（Ａ）に示す文字のみからなる罫線候補のそれよりも低くなる。そこで、第１の閾値２１の値は、罫線と文字の重なった罫線候補の凹凸度よりは高く、文字のみからなる罫線候補の凹凸度よりは低くされる。これにより、罫線と文字の重なった罫線候補は罫線であると判定され、罫線候補データ１３Ａに残される。
【０１６５】
次に、画素密度の判定結果に基づいて、第２の閾値を用いた第２の判定処理が行われる（ステップＳ２６２−３）。この処理の対象となるのは、当該罫線候補の周囲に存在する他の画像パターンの画素密度低いと判定された図２４（Ｂ）又は（Ｄ）の場合である。なお、この処理と第１の判定処理（ステップＳ２６２−２）とは、いずれを先に行っても良い。
【０１６６】
図２４（Ｂ）に示す罫線候補は、元々直線Ｂの一部である。従って、その周囲には直線Ｂの他の部分が存在する可能性は殆どないので、前述のように、当該罫線候補の周囲に存在する他の画像パターンの画素密度は低くなる。周囲の画素密度が低いので、当該罫線候補は罫線である可能性が高い。従って、相当の程度まで凹凸度が高くい（即ち、多少凸凹の）罫線候補でも、罫線として残るようにする必要がある。そこで、より高い値を有する第２の閾値２２が用いられる。罫線候補として抽出された直線Ｂの凹凸度は、本来低いはずであるにもかかわらず、かなり高くなっている。より低い値を有する第１の閾値２１を用いた場合、直線Ｂの凹凸度が第１の閾値２１より大きくなる結果、直線Ｂは罫線でないと判定されるおそれがある。第２の閾値２２を用いることにより、文字線分Ａの凹凸度は第２の閾値２２より小さくなる結果、直線Ｂは罫線であると判定される。即ち、罫線候補データ１３Ａに残される。
【０１６７】
従って、入力画像１１が不適切であることに起因して、罫線候補として抽出され、かつ、同程度のかなり低い凹凸度を有する文字線分Ａと直線Ｂとについて、一方（文字線分Ａ）は罫線候補データ１３Ａから除外し、他方（直線Ｂ）は罫線候補データ１３Ａに残すことができる。以上のように、本発明の表画像処理装置によれば、凹凸度による罫線候補の判定処理を行うと共に、文字の直線部分の連続、直線（罫線）の乱れ等があっても、罫線候補を正確に判定処理することができる。
【０１６８】
次に、第２の処理として、罫線幅判定処理部２４により罫線幅判定処理が実行される（ステップＳ２６３）。
【０１６９】
罫線幅判定処理において、最初に、罫線幅が算出される（ステップＳ２６３−１）。罫線幅判定処理に用いられる当該罫線候補の周囲に存在する他の画像パターンは、次のようにして定められる。例えば、図２５（Ａ）に示す罫線候補１３５についての他の画像パターンは、当該罫線候補１３５と同一方向に延び、当該罫線候補１３５に隣接された他の罫線候補１３４及び１３６、又は当該罫線候補１３５に連結された他の罫線候補１３３、１３４、１３６、１３７である。当該罫線候補１３５から全く独立した罫線候補１３８等は考慮されない。同様に、図２６（Ａ）に示す罫線候補１４１についての他の画像パターンは、当該罫線候補１４１と同一方向に延び、当該罫線候補１４１に隣接された他の罫線候補１４０及び１４１、又は当該罫線候補１４１に連結された他の罫線候補１３９、１４０、１４２、１４３である。
【０１７０】
このようにして定められた罫線候補について罫線幅が算出される。罫線幅の算出は、当該罫線候補である矩形領域の長辺及び短辺の画素数をカウントし、小さい方（短辺、即ち、幅）の値を採用することにより行われる。これにより、図２５（Ａ）に示す罫線候補１３５の幅Ｗ１ 、及び、図２６（Ａ）に示す罫線候補１４１の幅Ｗ３ が求まる。
【０１７１】
前述のように、通常、他の画像パターンとして用いられる罫線候補は複数存在する。この場合、各々の罫線候補についてその幅を求め、その平均値を求めて、この平均値を当該罫線候補の周囲に存在する他の画像パターンである罫線候補の罫線幅として用いる。図２５（Ａ）に示す罫線候補１３５の場合、罫線候補１３３、１３４、１３６、１３７の罫線幅の平均値が用いられる。この値を、図２５（Ｄ）に示すように、Ｗ２ とする。図２６（Ａ）に示す罫線候補１４１の場合、他の罫線候補１３９、１４０、１４２、１４３の罫線幅の平均値が用いられる。この値を、図２６（Ｄ）に示すように、Ｗ４ とする。
【０１７２】
このようにして求めた他の画像パターンの罫線幅を用いて、当該罫線候補の罫線幅が広いか狭いかが判定される。例えば、当該罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの幅の３倍以上である場合に当該罫線候補の幅が広いとし、当該罫線候補の幅が他の画像パターンの幅の１／３以下である場合に当該罫線候補の幅が狭いとする。図２５（Ａ）に示す罫線候補１３５の場合、図２５（Ｄ）に示すように、罫線候補１３５の幅Ｗ１ が罫線候補１３３等の罫線幅の平均値Ｗ２ の３倍以上であるので、当該罫線候補１３５の幅が広いと判定される。図２６（Ａ）に示す罫線候補１４１の場合、罫線候補１４１の幅Ｗ３ が罫線候補１３９等の罫線幅の平均値Ｗ４ の１／３以下であるので、当該罫線候補１４１の幅が狭いと判定される。
【０１７３】
次に、罫線幅の判定結果に基づいて、第１の閾値を用いた第１の判定処理が行われる（ステップＳ２６３−２）。この処理の対象となるのは、罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの罫線幅より広いと判定された図２５の場合である。
【０１７４】
図２５（Ａ）に示す罫線候補の太い部分１３５は、本来は罫線の中間に存在する文字である。従って、その周囲に本来の罫線が存在するので、前述のように、当該太い罫線候補１３５の周囲に存在する他の画像パターンの幅は当該太い罫線候補１３５よりも細くなる。他の画像パターンの幅が細いので、当該罫線候補１３５は潰れた文字である可能性が高い。従って、相当の程度まで凹凸度が低い（即ち、滑らかな）罫線候補のみが、罫線として残るようにする必要がある。そこで、より低い値を有する第１の閾値２１が用いられる。罫線候補１３５として抽出された文字の凹凸度は、本来高いはずであるにもかかわらず、かなり低くなっている。より高い値を有する第２の閾値２２を用いた場合、太い罫線候補（文字）１３５の凹凸度が第２の閾値２２より小さくなる結果、太い罫線候補１３５が罫線であると判定されるおそれがある。第１の閾値２１を用いることにより、太い罫線候補１３５の凹凸度は第１の閾値２１より大きくなる結果、太い罫線候補１３５は罫線以外の画像パターンであると判定され、罫線候補データ１３Ａから除かれる。
【０１７５】
次に、罫線幅の判定結果に基づいて、第２の閾値を用いた第２の判定処理が行われる（ステップＳ２６３−３）。この処理の対象となるのは、罫線候補の幅が当該罫線候補の周囲に存在する他の画像パターンの罫線幅より狭いと判定された図２６の場合である。なお、この処理と第１の判定処理（ステップＳ２６３−２）とは、いずれを先に行っても良い。
【０１７６】
図２６（Ａ）に示す罫線候補の細い部分１４１は、掠れてはいるが、本来は罫線である。従って、その周囲に本来の罫線が存在するので、当該細い罫線候補１４１の周囲に存在する他の画像パターンの幅は当該細い罫線候補１４１よりも太くなる。他の画像パターンの幅が太いので、当該罫線候補１４１は掠れて細くなった罫線である可能性が高い。従って、相当の程度まで相当の程度まで凹凸度が高い（即ち、多少凸凹の）罫線候補でも、罫線として残るようにする必要がある。そこで、より高い値を有する第２の閾値２２が用いられる。罫線候補１４１として抽出された細い罫線の凹凸度は、本来低いはずであるにもかかわらず、かなり高くなっている。より低い値を有する第１の閾値２１を用いた場合、細い罫線候補１４１の凹凸度が第１の閾値２１より大きくなる結果、細い罫線候補１４１が罫線以外の画像パターン（文字）であると判定されるおそれがある。第２の閾値２２を用いることにより、細い罫線候補１４１の凹凸度は第２の閾値２２より小さくなる結果、細い罫線候補１４１は罫線であると判定される。即ち、罫線候補データ１３Ａに残される。
【０１７７】
従って、入力画像１１が不適切であることに起因して、罫線候補として抽出された太い罫線候補１３５は罫線候補データ１３Ａから除外し、細い罫線候補１４１は罫線候補データ１３Ａに残すことができる。以上のように、本発明の表画像処理装置によれば、凹凸度による罫線候補の判定処理を行うと共に、文字の潰れ、罫線の掠れ等があっても、罫線候補を正確に判定処理することができる。
【０１７８】
以上の処理の結果、図２１に示すように、罫線候補データ１３Ａから罫線である可能性の低い罫線候補が除去されて、罫線である可能性の高い罫線候補が残された罫線データ、即ち、直線データ１２が抽出される。
【０１７９】
以上、本発明の他の１つの実施の形態について説明したが、本発明はその主旨の範囲内において種々の変形が可能である。
【０１８０】
例えば、表画像処理装置１００は先に述べた第１の実施形態の表画像処理装置１００と適宜組み合わせた構成としても良い。即ち、表画像処理装置１００が、直線抽出装置２、丸角候補領域検出装置３、セル抽出装置４、丸角部決定装置５、文字認識領域決定装置６からなるものであっても良い。また、第１の実施形態についての説明において、簡易な構成の表画像処理装置１００として説明した実施形態と適宜組み合わせた構成としても良い。更に、第１の実施形態の表画像処理装置１００において丸角候補領域検出装置３及び丸角部決定装置５を省略した構成と組み合わせた構成としても良い。即ち、表画像処理装置１００が、直線抽出装置２、セル抽出装置４、文字認識領域決定装置６からなるものであっても良い。
【０１８１】
【発明の効果】
以上説明したように、本発明によれば、表画像処理装置において、抽出した直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いた所定の処理により検出した丸角候補領域を含むセルの角部について所定の処理により丸角部を決定することにより、丸角候補領域を正確に抽出して丸角部を正確に決定することができるので、罫線に文字が接触する部分や画像の掠れた部分を丸角であると認識することを防止でき、罫線の掠れ、文字の丸い部分、罫線と文字との接触等があっても丸角を正確に処理することができ、この結果、罫線構造の認識及びセル（文字認識領域）の抽出を安定して行うことができる。
【０１８２】
また、本発明によれば、以上に述べた処理を当該表画像処理装置であるコンピュータに実現させるプログラムを格納したプログラム記憶媒体を提供することができるので、丸角部を含む罫線構造の認識及びセル（文字認識領域）の抽出を安定して行う表画像処理装置を容易に提供できる。
【０１８３】
更に、本発明によれば、表画像処理装置において、周囲に存在する他の画像パターンに応じて第１又は第２の閾値のいずれかを用いて当該罫線候補の凹凸度を判定することによって、周囲の凹凸度が高い場合にはより低い値の閾値（例えば、第１の閾値）を用いることにより、本来よりも低くなった凹凸度を有する罫線候補を候補から除くことができ、逆に、周囲の凹凸度が低い場合にはより高い値の閾値（例えば、第２の閾値）を用いることにより、本来よりも高くなった凹凸度を有する罫線候補を候補に残すことができるので、罫線かそれ以外のパターンかの判定が不能な場合を著しく少なくすることができ、正確に罫線を抽出することができる。従って、前述のように丸角を有する表画像を正確に処理し、かつ、罫線候補を正確に判定することができる。
【図面の簡単な説明】
【図１】本発明の第１の原理構成図である。
【図２】本発明の第２の原理構成図である。
【図３】表画像処理装置構成図である。
【図４】表画像処理フローである。
【図５】直線抽出処理フローである。
【図６】線分抽出処理の結果を示す図である。
【図７】直線抽出処理の結果を示す図である。
【図８】丸角候補領域抽出処理フローである。
【図９】丸角部分を拡大した例を示す図である。
【図１０】近接処理の例を示す図である。
【図１１】探索処理の例を示す図である。
【図１２】直線情報の作成処理を示す図である。
【図１３】セル抽出処理フローである。
【図１４】丸角部決定処理フローである。
【図１５】画素密度変化処理を示す図である。
【図１６】対象性処理を示す図である。
【図１７】マッチング処理を示す図である。
【図１８】文字認識領域決定処理を示す図である。
【図１９】丸角表構造の一例を示す図である。
【図２０】表画像処理装置構成図である。
【図２１】直線抽出装置構成図である。
【図２２】直線抽出処理フローである。
【図２３】罫線候補判定処理フローである。
【図２４】凹凸度の判定の一例を示す図である。
【図２５】凹凸度の判定の他の一例を示す図である。
【図２６】凹凸度の判定の他の一例を示す図である。
【符号の説明】
１ 画像入力装置
２ 直線抽出装置
３ 丸角候補領域検出装置
４ セル抽出装置
５ 丸角部決定装置
６ 文字認識領域決定装置
１１ 入力画像
１２ 画像データ
１３ 直線データ
１３Ａ 罫線候補データ
１４ 丸角候補データ
１５ セルデータ
１６ 丸角部データ
１７ 文字認識領域データ
２０ 罫線判定処理手段
２１ 第１の閾値
２２ 第２の閾値
２３ 画素密度判定処理部
２４ 罫線幅判定処理部
Claims (17)
- 入力された画像から縦及び横方向の直線を抽出する直線抽出手段と、
前記直線抽出手段の抽出した直線の端点を起点とする斜め成分を抽出し、抽出した斜め成分を用いて丸角候補領域を検出する丸角候補領域検出手段と、
前記丸角候補領域検出手段の検出した丸角候補領域を含むセルを抽出するセル抽出手段と、
前記セル抽出手段の抽出したセルの角部について丸角部を決定する処理を行う丸角部決定手段とを備える
ことを特徴とする表画像処理装置。 - 前記丸角候補領域検出手段が、前記直線抽出手段の抽出した直線の内、縦方向の直線の端点を起点とする第１の斜め成分と、横方向の直線の端点を起点とする第２の斜め成分とを別個に抽出することにより、前記斜め成分を抽出する
ことを特徴とする請求項１に記載の表画像処理装置。 - 前記丸角候補領域検出手段が、当該第１及び第２の斜め成分が互いに重なる場合に、当該部分が丸角候補領域であるとすることにより、前記丸角候補領域を検出する
ことを特徴とする請求項２に記載の表画像処理装置。 - 前記丸角候補領域検出手段が、当該第１及び第２の斜め成分が互いに予め定められた距離以下の位置関係にあり、かつ、両者の間に直線の特徴を示すパターンがあるか両者が互いに接触又は重なっている場合に、当該部分が丸角候補領域であるとすることにより、前記丸角候補領域を検出する
ことを特徴とする請求項２に記載の表画像処理装置。 - 前記丸角候補領域検出手段が、当該斜め成分の近傍に他の斜め成分が存在せず、かつ、当該斜め成分の先端に直線の特徴を示すパターンがある場合に、当該部分が丸角候補領域であるとすることにより、前記丸角候補領域を検出する
ことを特徴とする請求項２に記載の表画像処理装置。 - 前記丸角部決定手段が、前記セル抽出手段の抽出した当該セルの角部において画素密度が予め定められた順に変化する場合に、当該部分が丸角部であるとすることにより、前記丸角部を決定する
ことを特徴とする請求項１に記載の表画像処理装置。 - 前記丸角部決定手段が、前記画素密度の変化に基づいて決定された丸角部が存在する場合に、前記入力された画像の他の角部も丸角部であるとすることにより、前記丸角部を決定する
ことを特徴とする請求項１に記載の表画像処理装置。 - 前記丸角部決定手段が、当該セルを構成する前記直線抽出手段の抽出した直線の端点と端点とを結ぶように生成されたｎ次関数からなるパターンと、前記入力された画像とがマッチングする場合に、当該部分が丸角部であるとすることにより、前記丸角部を決定する
ことを特徴とする請求項１に記載の表画像処理装置。 - 当該表画像処理装置が、更に、
罫線により構成された帳票の画像を入力するための画像入力手段と、
前記丸角部決定手段により決定された丸角部を含むセルについて、当該丸角部を文字領域から除くことにより、当該文字認識領域を決定する文字認識領域決定手段とを備える
ことを特徴とする請求項１に記載の表画像処理装置。 - 入力された画像から抽出された縦及び横方向の直線の内、縦方向の直線の端点を起点とする第１の斜め成分と、横方向の直線の端点を起点とする第２の斜め成分とを別個に抽出することにより、前記直線を起点とする斜め成分を抽出し、当該第１及び第２の斜め成分が互いに重なる場合、当該部分が丸角候補領域であるとすることにより、前記丸角候補領域を検出する丸角候補領域検出装置を備える
ことを特徴とする表画像処理装置。 - 入力された画像から抽出された縦及び横方向の直線の内、縦方向の直線の端点を起点とする第１の斜め成分と、横方向の直線の端点を起点とする第２の斜め成分とを別個に抽出することにより、前記直線を起点とする斜め成分を抽出し、当該第１及び第２の斜め成分が互いに予め定められた距離以下の位置関係にありかつ両者の間に直線の特徴を示すパターンがあるか両者が互いに接触又は重なっている場合、当該部分が丸角候補領域であるとすることにより、前記丸角候補領域を検出する丸角候補領域検出装置を備える
ことを特徴とする表画像処理装置。 - 入力された画像から抽出された縦及び横方向の直線の内、縦方向の直線の端点を起点とする第１の斜め成分と、横方向の直線の端点を起点とする第２の斜め成分とを別個に抽出することにより、前記直線を起点とする斜め成分を抽出し、当該斜め成分の近傍に他の斜め成分が存在せずかつ当該斜め成分の先端に直線の特徴を示すパターンがある場合、当該部分が丸角候補領域であるとすることにより、前記丸角候補領域を検出する丸角候補領域検出装置を備える
ことを特徴とする表画像処理装置。 - 入力された画像から抽出された縦及び横方向の直線に基づいて抽出されたセルであって、丸角候補領域を含むセルの角部について、当該セルの角部において画素密度が予め定められた順に変化する場合に、当該部分が丸角部であるとすることにより、前記丸角部を決定する処理を行う丸角部決定装置を備える
ことを特徴とする表画像処理装置。 - 入力された画像から抽出された縦及び横方向の直線に基づいて抽出されたセルであって、丸角候補領域を含むセルの角部について、画素密度の変化に基づいて決定された丸角部が存在する場合に、前記入力された画像の他の角部も丸角部であるとすることにより、前記丸角部を決定する処理を行う丸角部決定装置を備える
ことを特徴とする表画像処理装置。 - 入力された画像から抽出された縦及び横方向の直線に基づいて抽出されたセルであって、丸角候補領域を含むセルの角部について、当該セルを構成する前記直線の端点と端点とを結ぶように生成されたｎ次関数からなるパターンと、前記入力された画像とがマッチングする場合に、当該部分が丸角部であるとすることにより、前記丸角部を決定する処理を行う丸角部決定装置を備える
ことを特徴とする表画像処理装置。 - 入力された画像から縦及び横方向の直線を抽出する直線抽出処理と、
前記直線抽出手段の検出した直線を起点とする斜め成分を抽出し、抽出した斜め成分を用いて所定の処理を行うことにより丸角候補領域を検出する丸角候補領域検出処理と、
前記丸角候補領域検出手段の検出した丸角候補領域を含むセルを抽出するセル抽出処理と、
前記セル抽出手段の抽出したセルの角部について所定の処理を行うことにより丸角部を決定する処理を行う丸角部決定処理とを、
当該表画像処理装置であるコンピュータに実行させるプログラムを格納することを特徴とするプログラム記憶媒体。 - 当該表画像処理装置が、更に、
入力された画像から抽出された縦及び横方向の罫線候補について、前記入力された画像から抽出された画像パターンであって当該罫線候補の周囲に存在する他の画像パターンに応じて、互いに異なる値の複数の閾値のいずれかを用いて、当該罫線候補の凹凸度を判定することによって、当該罫線候補が罫線であるか否かを判定する罫線判定処理手段と、
前記丸角部決定手段により決定された丸角部を含むセルについて、当該丸角部を文字領域から除くことにより、当該文字認識領域を決定する文字認識領域決定手段とを備え、
前記直線抽出手段が前記罫線判定処理手段を含み、
前記罫線判定処理手段が、前記直線抽出手段の抽出した前記縦及び横方向の直線を前記 罫線候補として用いて、当該罫線候補が罫線であるか否かを判定し、
前記丸角候補領域検出手段が、前記罫線判定処理手段による判定の結果である直線を用いて、斜め成分を抽出し、
前記セル抽出手段が、前記罫線判定処理手段による判定の結果を用いて、前記セルを抽出する
ことを特徴とする請求項１に記載の表画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04950299A JP3574584B2 (ja) | 1998-12-16 | 1999-02-26 | 表画像処理装置及びそのプログラム記憶媒体 |
| US09/410,626 US7133558B1 (en) | 1998-12-16 | 1999-10-01 | Device processing a table image, a memory medium storing a processing program, and a table management processing method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35702398 | 1998-12-16 | ||
| JP10-357023 | 1998-12-16 | ||
| JP04950299A JP3574584B2 (ja) | 1998-12-16 | 1999-02-26 | 表画像処理装置及びそのプログラム記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004025074A Division JP3947173B2 (ja) | 1998-12-16 | 2004-02-02 | 表画像処理装置、プログラム記録媒体、表画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000235619A JP2000235619A (ja) | 2000-08-29 |
| JP3574584B2 true JP3574584B2 (ja) | 2004-10-06 |
Family
ID=26389901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04950299A Expired - Fee Related JP3574584B2 (ja) | 1998-12-16 | 1999-02-26 | 表画像処理装置及びそのプログラム記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7133558B1 (ja) |
| JP (1) | JP3574584B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4078045B2 (ja) | 2001-07-02 | 2008-04-23 | キヤノン株式会社 | 画像処理装置、方法、プログラム、及び記憶媒体 |
| US7281208B2 (en) * | 2004-11-18 | 2007-10-09 | Microsoft Corporation | Image stitching methods and systems |
| KR100765749B1 (ko) * | 2005-04-26 | 2007-10-15 | 삼성전자주식회사 | 이진영상 압축장치 및 방법 |
| TR200906768T2 (tr) * | 2007-03-22 | 2009-10-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Çevrimiçi konfigürasyon yönetimi sistemi ve usulü.@ |
| US10685223B2 (en) * | 2008-01-18 | 2020-06-16 | Mitek Systems, Inc. | Systems and methods for mobile image capture and content processing of driver's licenses |
| US10102583B2 (en) | 2008-01-18 | 2018-10-16 | Mitek Systems, Inc. | System and methods for obtaining insurance offers using mobile image capture |
| US9298979B2 (en) * | 2008-01-18 | 2016-03-29 | Mitek Systems, Inc. | Systems and methods for mobile image capture and content processing of driver's licenses |
| JP5305821B2 (ja) * | 2008-10-10 | 2013-10-02 | 株式会社東芝 | 医用画像処理装置及び医用画像診断装置 |
| JP5505182B2 (ja) | 2010-08-09 | 2014-05-28 | 富士ゼロックス株式会社 | 画像判定装置及びプログラム |
| CN105740868B (zh) * | 2016-01-26 | 2019-07-23 | 北京工商大学 | 一种基于圆形算子的图像边缘提取方法和装置 |
| JP6337949B1 (ja) * | 2016-12-15 | 2018-06-06 | オムロン株式会社 | スジ状領域検出装置およびスジ状領域検出方法 |
| CN113554547A (zh) * | 2020-04-24 | 2021-10-26 | 北京小米移动软件有限公司 | 图像处理方法、装置、终端设备及存储介质 |
| CN114511863B (zh) * | 2021-12-20 | 2023-10-03 | 北京百度网讯科技有限公司 | 表格结构提取方法、装置、电子设备及存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930009639B1 (ko) * | 1989-07-09 | 1993-10-08 | 가부시끼가이샤 히다찌세이사꾸쇼 | 화상데이타를 이용하는 문서데이타 처리방법 및 장치 |
| JPH04343190A (ja) * | 1991-05-21 | 1992-11-30 | Hitachi Ltd | 文字データ入力方式 |
| JP2951814B2 (ja) | 1993-02-25 | 1999-09-20 | 富士通株式会社 | 画像抽出方式 |
| JP3304512B2 (ja) | 1993-06-25 | 2002-07-22 | 松下電器産業株式会社 | 表認識装置 |
| JP3042945B2 (ja) | 1993-07-07 | 2000-05-22 | 富士通株式会社 | 画像抽出装置 |
| JP3188580B2 (ja) | 1993-11-17 | 2001-07-16 | 富士通株式会社 | 文字切り出し回路、及び文字切り出し方法 |
| JP3431267B2 (ja) | 1994-04-14 | 2003-07-28 | 株式会社リコー | 表処理方法及び装置 |
| JP3586911B2 (ja) | 1995-02-03 | 2004-11-10 | 松下電器産業株式会社 | 枠線認識装置 |
| JP3420864B2 (ja) | 1995-08-09 | 2003-06-30 | 富士通株式会社 | 枠抽出装置及び矩形抽出装置 |
| JP3425834B2 (ja) * | 1995-09-06 | 2003-07-14 | 富士通株式会社 | 文書画像からのタイトル抽出装置および方法 |
| JP3830998B2 (ja) * | 1995-12-28 | 2006-10-11 | 株式会社東芝 | 罫線除去方法及びこれを用いた文字認識装置 |
| JP3411472B2 (ja) | 1997-05-30 | 2003-06-03 | 富士通株式会社 | パターン抽出装置 |
| JP3904840B2 (ja) * | 2000-08-15 | 2007-04-11 | 富士通株式会社 | 多値画像から罫線を抽出する罫線抽出装置 |
-
1999
- 1999-02-26 JP JP04950299A patent/JP3574584B2/ja not_active Expired - Fee Related
- 1999-10-01 US US09/410,626 patent/US7133558B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7133558B1 (en) | 2006-11-07 |
| JP2000235619A (ja) | 2000-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| JP3574584B2 (ja) | 表画像処理装置及びそのプログラム記憶媒体 | |
| JPH11219407A (ja) | 文書画像認識装置および文書画像認識プログラムの記憶媒体 | |
| JP2008217833A (ja) | 文書画像認識装置および文書画像認識プログラムの記憶媒体 | |
| JP3411472B2 (ja) | パターン抽出装置 | |
| JP5906788B2 (ja) | 文字切り出し方法、およびこの方法を用いた文字認識装置およびプログラム | |
| US6532303B2 (en) | Line direction deciding device, image inclination detecting device and image inclination correcting device | |
| JP4049560B2 (ja) | 網点除去方法及びシステム | |
| JP3006466B2 (ja) | 文字入力装置 | |
| JP3947173B2 (ja) | 表画像処理装置、プログラム記録媒体、表画像処理方法 | |
| JP3936436B2 (ja) | 表認識方法 | |
| JP6883199B2 (ja) | 画像処理装置、画像読み取り装置、および、プログラム | |
| JP2868134B2 (ja) | 画像処理方法及び装置 | |
| JP4810853B2 (ja) | 文字画像切出装置、文字画像切出方法およびプログラム | |
| US7103220B2 (en) | Image processing apparatus, method and program, and storage medium | |
| JP4847378B2 (ja) | 画像処理装置、画像処理方法、プログラム及びコンピュータ読取可能な記録媒体 | |
| JP3019897B2 (ja) | 行切出し方法 | |
| JP3517077B2 (ja) | パターン抽出装置及びパターン領域の切り出し方法 | |
| JP4070486B2 (ja) | 画像処理装置、画像処理方法及び同方法の実行に用いるプログラム | |
| JP2003317107A (ja) | 罫線抽出方法及び装置 | |
| JP3534997B2 (ja) | 罫線抽出装置および方法 | |
| JPH1069520A (ja) | 文字認識方法及びプログラムを記録した記録媒体 | |
| JP4571447B2 (ja) | 文字画像抽出プログラム、文字画像抽出方法および文字画像抽出装置 | |
| JPH1021332A (ja) | 非線形正規化方法 | |
| JPH0628520A (ja) | 文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040702 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |