JP3411472B2 - パターン抽出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン抽出装置
及びパターン抽出方法に関し、特に、手書き用文字認識
装置、印刷文字認識装置、図面認識装置などにおいて、
文字や図形や記号やイメージなどのパターンの範囲を示
す枠や罫線などを抽出する場合に適用して好適なもので
ある。

【０００２】

【従来の技術】近年、金融文書、ビジネス文書などの入
力周辺機器として、光学文字読み取り装置ＯＣＲ（ｏｐ
ｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅａｄｅｒ）など
に代表される手書き文字認識装置の需要が増加してい
る。

【０００３】従来の光学文字読み取り装置では、文字認
識を行う前に、入力された画像から文字パターンを１文
字ずつ切り出す文字の切り出し処理が行われる。光学文
字読み取り装置において、個々の文字の高い認識率を実
現するためには、認識の前処理である文字の切り出し処
理を正確に行うことが重要になる。

【０００４】このため、従来の光学文字読み取り装置で
文字を読み取る場合、帳票などの文字の記入位置を予め
指定した文書（ドロップアウトカラーではなく、黒枠な
どの罫線と文字とが同じような色又は濃度で記入された
文書）に対し、指定された範囲内に文字を記入すること
により、高い認識率を実現するようにしていた。

【０００５】ところが、従来の光学文字読み取り装置
は、指定範囲を示す罫線や枠に文字が接触したり、指定
範囲を示す罫線や枠から文字がはみ出したりした場合、
文字を正確に切り出すことが困難となり、文字の認識率
が低下するという問題があった。例えば、現在使用され
ている光学文字読み取り装置では、枠を除去する際、文
字枠のわずかな傾きや凹凸に対応することができず、文
字枠の位置や線幅の変動により本来の文字部分の一部が
欠けてしまったり、枠が残存したりする。

【０００６】また、帳票内で文字を記入する範囲を指定
する場合、罫線の位置や線の太さなどの情報を予め格納
しておく必要があるとともに、帳票フォーマットが変更
されると文字が記入されている範囲を示す情報を更新す
る必要があり、ユーザの負担が大きかった。さらに、文
字を記入する範囲を指定する方法では、未知の形式の帳
票は処理できないという問題もあった。

【０００７】そこで、本出願人は、先願の特願平７−２
０３２５９において、枠の位置やサイズ等のフォーマッ
ト情報の入力を必要とせずに、枠の抽出や除去を行うこ
とが可能な技術を提案した。ここに記載されている方法
により処理可能な帳票は、一文字枠、ブロック枠（横一
行枠またはフリーフォマット枠）、または枠の外形が矩
形状となっており横枠線が規則的に配置されている構造
を持つ表を有するものであった。また、外形が矩形とな
っていない表を有する帳票や表の一部分にさらに細かい
表構造を有する帳票、また点線と実線とが混在している
帳票などに対しても対応することが可能であった。

【０００８】以下、先願の特願平７−２０３２５９の明
細書及び図面に記載されているパターン抽出装置の処理
の概要について説明する。まず、入力された画像にラベ
リングを行い、縦、横または斜めの８方向のいずれかで
画素が繋がっている８連結の部分パターンを連結パター
ンとして抽出する。

【０００９】次に、ラベリングにより抽出された連結パ
ターンに対してマスク処理を行うことにより、縦横線分
を細線化し、文字と枠の太さの差を減らす。ここで、マ
スク処理は、連結パターンに対し、画像全体に対して横
長、縦長の２種類のマスクによる走査を行って、パター
ンがマスク内において占める割合を算出し、その割合が
ある所定値より大きければそのマスク内を全てパターン
とみなし、また所定値以下であれば、マスク内のパター
ンを削除することにより、縦横成分を抽出するものであ
る。

【００１０】次に、マスク処理されたパターンを横方向
及び縦方向に複数に分割し、横方向及び縦方向に分割し
たそれぞれの範囲内でパターンの隣接投影値を算出し、
この隣接投影値に基づいて、ある一定の長さの線分又は
直線の一部を矩形近似により検出する。ここで、隣接投
影値とは、注目行又は注目列の投影値に周囲の行又は列
の投影値を足し合わせたものである。

【００１１】次に、隣接投影法により求めた矩形線分の
うち、近隣の矩形線分同士を統合して長い直線とし、統
合して得られた直線を矩形近似し、帳票の横枠または縦
枠を構成する罫線候補とする。

【００１２】次に、罫線候補とされた横線または縦線の
探索を行い、横線の場合は左右端、縦線の場合は上下端
を検出する。次に、ある一定の間隔で並んでいる小さい
パターンを検出して点線を抽出し、この点線に対して上
述した直線と同様に矩形近似を行う。

【００１３】次に、上述した処理により検出された横線
の中から、各行の横枠を構成している２本の横線の組を
決定する。これは、上から順番に横線を２本抽出し、抽
出した２本の横線の長さが同じ、又は下の直線の方が長
ければ、その２本を横線の組とする。そして、抽出した
２本の横線の長さが同じ、又は下の直線の方が長いこと
とすることができない場合に限り、下の直線の方が短く
ても組にする。

【００１４】次に、上述した処理により検出された横線
の中から、横枠の２本組として決定された２本の横線に
上下とも達しているものを縦枠とする。次に、２本組の
横枠と、該２本組の横枠の上下に達している２本の縦枠
とで囲まれた矩形範囲をセルとして抽出し、セルを構成
する枠を罫線とみなし、セルを構成しない枠を罫線以外
のパターンとみなす。

【００１５】次に、上述した処理により決定された横枠
と縦枠によって４辺を囲まれた矩形範囲の内部がさらに
細かく分割されている場合、その矩形範囲を新たに表と
みなして上述した処理を繰り返すことにより、その矩形
範囲をさらに小さな矩形に分割する。

【００１６】このように、従来の技術では、枠の形状に
関して、規則的な構造や不規則的な構造のいずれに対し
ても、矩形領域で構成されている表であれば処理可能で
あった。また、処理の対象とする罫線に関して、実線や
点線のいずれに対しても、処理可能であった。

【００１７】

【発明が解決しようとする課題】しかしながら、上述し
たパターン抽出装置では、画素密度の高い領域を罫線候
補としているため、文字どうしが接近したり接触したり
している場合、その領域の画素密度が高くなることか
ら、文字領域が罫線候補とみなされることがあった。

【００１８】例えば、図４０(a) において、帳票２００
内に「文字」という文字列２０１が記入されている場
合、矩形領域２０２内のパターンは画素密度が高いこと
から、文字列２０１の一部であるにもかかわらず、罫線
候補とみなされる。ところが、この矩形領域２０２は、
帳票２００を構成しているいずれの枠にも接触していな
いことから、矩形領域２０２はセルを構成することがで
きず、罫線でないとみなすことが可能である。

【００１９】一方、図４０(b) において、帳票２０３内
に「文字」という文字列２０４が記入されている場合、
矩形領域２０５内のパターンは画素密度が高いことか
ら、文字列２０４の一部であるにもかかわらず、罫線候
補とみなされる。そして、この矩形領域２０５は、帳票
２０３を構成している縦枠２０７、２０８に接触し、矩
形領域２０５は縦枠２０７、２０８及び横枠２０６とと
もにセルを構成することが可能なことから、罫線とみな
されることがあった。このため、文字列２０４の一部が
罫線とみなされ、帳票２０３から「文字」という文字列
２０４を正確に切り出すことが困難になることから、文
字認識を正確に行うことができなくなるという問題があ
った。

【００２０】そこで、本発明の目的は、パターンが罫線
かどうかを正確に判別することが可能なパターン抽出装
置を提供することである。

【００２１】

【課題を解決するための手段】上述した課題を解決する
ために、本発明によれば、パターンを入力するパターン
入力手段と、前記パターンの凹凸度を算出する凹凸度算
出手段と、前記凹凸度に基づいて、前記パターンの属性
を判別するパターン判別手段とを備えている。

【００２２】このことにより、罫線や直線などの凹凸度
が小さいパターンと文字や記号などの凹凸度が大きいパ
ターンとを区別することが可能となり、罫線や直線など
が文字や記号などと誤って判別されることを減らすこと
が可能となることから、パターンの判別精度を向上させ
ることが可能となる。

【００２３】また、本発明の一態様によれば、パターン
の探索方向の変化回数に基づいて、凹凸度を算出するよ
うにしている。このことにより、パターンの凹凸度を的
確に算出することが可能となり、凹凸度が小さいパター
ンと凹凸度が大きいパターンとを正確に区別することが
可能となる。

【００２４】また、本発明の一態様によれば、所定方向
に画素を探索し、前記所定方向に隣接画素が存在しない
場合に限り、前記所定方向と異なる方向の画素を探索
し、異なる方向に探索された画素を計数するようにして
いる。

【００２５】このことにより、所定方向に隣接画素が存
在している間は同一方向に画素の探索が行われ、罫線や
直線などに文字や記号などの他のパターンが接触してい
る場合においても、罫線や直線を正確に検出することが
可能となるとともに、パターンの凹凸に対応して探索方
向に隣接画素が存在しない場合には、画素の探索方向が
変化して、その変化回数が計数されることから、パター
ンの探索を行いながらパターンの凹凸度を調べることが
可能となる。

【００２６】また、本発明の一態様によれば、所定方向
に隣接画素が存在しない場合、斜め隣の画素を探索する
ようにしている。このことにより、パターンの両端の探
索の途中でパターンの凹凸を調べることが可能となるこ
とから、パターンを１回走査するだけで、パターンの両
端を正確に検出することが可能となるとともに、パター
ンの凹凸を効率的に検出することが可能となる。

【００２７】また、本発明の一態様によれば、パターン
の傾きに基づく探索方向の変化回数を算出することによ
り、パターンの凹凸度を補正するようにしている。この
ことにより、パターンが傾いている場合においても、パ
ターンの凹凸度を精度よく算出することが可能となる。

【００２８】また、本発明の一態様によれば、所定値以
下の空白を介してパターンが分離している場合、その空
白には画素が存在しているものとみなして探索を行う。
このことにより、パターンがかすれにより分離している
場合においても、そのパターンの凹凸度を算出すること
が可能になる。

【００２９】また、本発明の一態様によれば、斜め隣に
探索された画素の探索回数を探索されたパターンの長さ
で規格化するようにしている。このことにより、探索範
囲の大きさをパターンごとに変化させた場合において
も、探索範囲の大きさの違いによるパターンの凹凸度の
変動を除去することが可能となり、そのパターン自体の
形状に基づく凹凸度を算出することが可能となる。

【００３０】また、本発明の一態様によれば、探索方向
に対して交差するパターンの数に基づいて、凹凸度を算
出するようにしている。このことにより、パターンの凹
凸度を算出する際にパターンの交差回数も考慮すること
が可能となり、パターンの凹凸度をより正確に求めるこ
とが可能となる。

【００３１】また、本発明の一態様によれば、パターン
の凹凸度がしきい値以下の場合、そのパターンは罫線を
構成するものと判別するようにしている。このことによ
り、文字の一部が誤って罫線候補として抽出された場合
においても、文字の一部が罫線とみなされることを防止
することが可能となることから、文字が記入されている
帳票内から認識処理の対象となる文字だけを精度よく抽
出することが可能となり、文字認識の精度を向上させる
ことが可能となる。

【００３２】また、本発明の一態様によれば、パターン
の凹凸度がしきい値以上の場合、そのパターンは文字を
構成するものと判別するようにしている。このことによ
り、文字の一部が誤って罫線候補として抽出された場合
においても、文字の一部が罫線とみなされることを防止
することが可能となることから、文字認識の精度を向上
させることが可能となる。

【００３３】また、本発明の一態様によれば、判別対象
となるパターンから所定の範囲内に他のパターンが存在
する場合、パターンの凹凸度を判別するしきい値を変化
させるようにしている。

【００３４】このことにより、文字の一部が罫線候補と
して抽出された場合、その文字の残りのパターンがその
罫線候補に接して存在していることから、他のパターン
が近くに存在する罫線候補については、パターンの凹凸
度のしきい値を小さく設定することにより、その罫線候
補のパターンが文字と判定される確率を高くすることが
可能となる。

【００３５】一方、罫線が罫線候補として正しく抽出さ
れた場合、文字などの他のパターンはその罫線候補から
離れて存在していることから、他のパターンから離れて
存在している罫線候補については、パターンの凹凸度の
しきい値を大きく設定することにより、罫線がかすれて
いる場合においても、その罫線候補のパターンが文字と
誤って判定される確率を低くすることが可能となる。

【００３６】また、本発明の一態様によれば、入力され
た原画像データから連結した画素で構成される部分パタ
ーンを抽出する連結パターン抽出手段と、前記部分パタ
ーンから画素密度の高い矩形領域を罫線候補として抽出
する罫線候補抽出手段と、前記矩形領域内の部分パター
ンを探索する探索手段と、前記探索手段の探索結果に基
づいて、前記部分パターンの凹凸度を算出する凹凸度算
出手段と、前記凹凸度に基づいて、前記部分パターンが
罫線を構成するものかどうかを判別する罫線判別手段と
を備えている。

【００３７】このことにより、文字が近接して存在した
り、文字がつぶれたりするために、文字が存在する部分
の画素密度が高くなり、文字が罫線候補として抽出され
た場合においても、文字は罫線に比べて凹凸度が大きい
ことから、凹凸度に基づいて文字と罫線とを区別するこ
とが可能となり、文字が罫線と誤って判別されることを
減らすことができる。

【００３８】また、本発明の一態様によれば、部分パタ
ーンを所定の領域ごとに分割して凹凸度を算出するよう
にしている。このことにより、文字と罫線とが混在した
領域が１つの罫線候補として抽出された場合において
も、罫線の部分と文字の部分とを分けて別々に凹凸度を
算出することが可能となり、罫線と文字とが１つの部分
パターンとして一括して処理されることを防止すること
が可能となることから、罫線の凹凸度が文字の凹凸度に
影響されて罫線が文字とみなされたり、文字の凹凸度が
罫線の凹凸度に影響されて文字が罫線とみなされたりす
ることをなくすことができる。

【００３９】また、本発明の一態様によれば、前記部分
パターンを所定の大きさのマスクで走査し、前記部分パ
ターンが前記マスク内で占める割合が所定値以上の場
合、前記マスク内の画素を全て前記部分パターンとみな
し、前記部分パターンが前記マスク内で占める割合が前
記所定値より小さい場合、前記マスク内には前記部分パ
ターンがないものとみなすマスク処理手段を備えてい
る。

【００４０】このことにより、マスクが所定の方向に長
くなっている場合、マスクの長手方向に並んでいる画素
についてはマスク内で占める割合が大きくなり、マスク
の長手方向とは異なる方向に並んでいる画素については
マスク内で占める割合が小さくなることから、原画像に
存在する極端な斜め成分を除去することが可能となり、
罫線候補の抽出を容易にすることが可能となる。

【００４１】また、本発明の一態様によれば、罫線候補
で四方が囲まれた矩形領域をセルとして抽出し、セルを
構成しない罫線候補を罫線から除外するようにしてい
る。このことにより、例えば、文字に下線が引かれてい
る場合などにおいて、下線の部分はセルを構成しないの
で、下線が罫線候補として抽出された場合においても、
下線を罫線から除外することが可能となり、罫線抽出の
信頼度を向上させることが可能となる。

【００４２】また、本発明の一態様によれば、凹凸度算
出手段は、罫線候補をセル単位ごとに分割して凹凸度を
算出するようにしている。このことにより、各セルを構
成している枠の凹凸度を各セルごとに独立して求めるこ
とが可能となり、不規則な帳票内で罫線と文字とが互い
に接触し、文字の一部が罫線候補として抽出された場合
においても、その文字の一部だけに着目して凹凸度と求
めることが可能になることから、帳票が不規則な場合に
おいても、罫線抽出の精度を向上させることが可能とな
る。

【００４３】また、本発明の一態様によれば、ある行又
は列の投影値に周囲の行又は列の投影値を足し合わせた
値が所定値以上の部分パターンを矩形線分として検出
し、所定の範囲内の複数の矩形線分を統合した結果を罫
線候補とするようにしている。

【００４４】このことにより、原画像が傾いている場合
においても、罫線候補を原画像から精度よく抽出するこ
とが可能となり、罫線抽出の信頼度を向上させることが
可能となる。

【００４５】また、本発明の一態様によれば、所定範囲
内の矩形線分を統合してから、凹凸度を算出するように
している。このことにより、長い距離の探索を行った時
に、探索方向の変化がほとんどなかったパターンは罫線
である確率が高いことから、罫線の抽出を精度よく行う
ことが可能となる。

【００４６】また、本発明の一態様によれば、周辺の罫
線候補と異なる長さを有する罫線候補が存在する場合、
その罫線候補の長さの異なる部分についての凹凸度に基
づいて、罫線候補の長さが異なる部分が罫線の一部かど
うかを判定するようにしている。

【００４７】このことにより、周辺の罫線候補と長さの
異なっている部分が、罫線の一部であるのか、罫線に接
触している文字であるのかを精度よく判別することが可
能となり、帳票が長さの不規則な罫線により構成されて
いる場合においても、その帳票から罫線を精度よく抽出
することができる。

【００４８】

【発明の実施の形態】以下、本発明の第１実施例による
パターン抽出装置の機能的な構成を、図面を参照しなが
ら説明する。

【００４９】図１は、本発明の第１実施例によるパター
ン抽出装置の機能構成を示すブロック図である。図１に
おいて、パターン入力手段１はパターンを入力し、凹凸
度算出手段２は、パターン入力手段１に入力されたパタ
ーンの凹凸度を算出し、パターン判別手段３は、凹凸度
算出手段２で算出された凹凸度に基づいて、パターン入
力手段１に入力されたパターンの属性を判別する。

【００５０】ここで、凹凸度算出手段２がパターンの凹
凸度を算出する場合、例えば、パターンの探索方向の変
化回数に基づいて凹凸度を算出することができる。ま
た、探索方向に対して交差するパターンの数に基づいて
凹凸度を算出するようにしてもよい。

【００５１】パターン判別手段３がパターンの属性を判
別する場合、例えば、凹凸度が所定値以下のパターンは
罫線を構成するものとし、凹凸度が所定値以上のパター
ンは文字を構成するものとする。

【００５２】このように、パターンの凹凸度を算出する
ことにより、凹凸度が小さい罫線や直線などのパターン
と、凹凸度が大きい文字や記号などのパターンとを区別
することが可能となり、帳票内に記入された文字や記号
などを正確に抽出することが可能となることから、文字
認識の精度を向上させることが可能となる。

【００５３】図２は、図１の凹凸度算出手段２の機能構
成を示すブロック図である。図２において、第１探索手
段１１は所定方向に画素を探索し、第２探索手段１２は
所定方向に隣接画素が存在しない場合、その所定方向と
異なる方向の画素を探索し、計数手段１３は第２探索手
段１２による画素の探索回数を計数する。

【００５４】ここで、第１探索手段は、所定値以下の空
白を無視して画素の探索を行うことにより、パターンの
かすれを吸収するようにしてもよい。計数手段１３は、
第２探索手段１２による画素の探索回数をパターンの傾
きに対応して補正するようにしてもよく、第２探索手段
による画素の探索回数を探索されたパターンの長さで規
格化するようにしてもよい。

【００５５】このように、パターンの探索方向の変化回
数に基づいて凹凸度を算出することにより、パターンの
両端の探索処理の中でパターンの凹凸を検出することが
可能となり、パターンの両端の探索とパターンの凹凸度
の検出とを同時に行うことが可能となることから、パタ
ーンの凹凸度を効率的に求めることが可能となる。

【００５６】図３は、本発明の第２実施例によるパター
ン抽出装置の機能構成を示すブロック図である。図３に
おいて、連結パターン抽出部２１は、入力された原画像
データから連結した画素で構成される部分パターンを抽
出するものである。

【００５７】マスク処理部２２は、連結パターン抽出部
２１で抽出された部分パターンに対し、縦長または横長
のマスクでマスク処理を行うことにより、罫線を構成し
ない斜め成分のパターンを除去するものである。 線分
抽出部２３は、マスク処理が施された部分パターンに対
し隣接投影を行うことにより、画素密度の高い矩形領域
を罫線候補として抽出するものである。

【００５８】直線抽出部２４は、線分抽出部２３により
抽出された矩形領域のうち、互いに近接して存在するも
のを統合することにより、直線を抽出するものである。
罫線判別処理部２５は、罫線候補領域内の部分パターン
を探索し、探索方向の変化回数に基づいて、部分パター
ンの凹凸度を算出する。そして、罫線候補領域内の部分
パターンのうち、凹凸度の小さい部分パターンを罫線を
構成するものとみなす。

【００５９】セル領域抽出処理部２６は、罫線で四方が
囲まれた矩形領域をセルとして抽出し、罫線判別処理部
２５で罫線と判別された罫線候補から、セルを構成しな
い罫線候補を除外するものである。

【００６０】図４は、図３のパターン抽出装置が適用さ
れる文字認識システムの構成を示すブロック図である。
図４において、３１は全体的な処理を行う中央演算処理
ユニット（ＣＰＵ）、３２はＣＰＵ３１で実行されるプ
ログラムを格納するプログラムメモリ、３３は画像デー
タをビットマップ形式で格納する画像メモリ、３４は画
像処理に使用するワークメモリ、３５は画像を光学的に
読み取るスキャナ、３６はスキャナ３５により読み取ら
れた情報を一時的に格納するメモリ、３７は各文字画像
の特徴を格納した辞書ファイル、３８は認識結果を表示
するディスプレイ、３９は認識結果を印刷するプリン
タ、４０はディスプレイ３８及びプリンタ３９の入出力
インターフェース、４１はＣＰＵ３１、プログラムメモ
リ３２、画像メモリ３３、ワークメモリ３４、メモリ３
６、辞書ファイル３７、入出力インターフェイス４０及
びドライバ４４を接続しているバス、４２は通信ネット
ワーク４３を介してデータやプログラムの送受信を行う
通信インターフェイス、４４はドライバ、４５はハード
ディスク、４６はＩＣメモリカード、４７は磁気テー
プ、４８はフロッピーディスク、４９はＣＤ−ＲＯＭや
ＤＶＤ−ＲＯＭなどの光ディスクである。

【００６１】この文字認識システムは、スキャナ３５に
より読み取った画像データをメモリ３６に一時的に格納
し、その画像データをビットマップ形式で画像メモリ３
３に展開する。そして、画像メモリ３３からワークメモ
リ３４にコピーされた２値画像データに対してパターン
抽出処理を行う。その結果に基づいて、スキャナ３５に
より読み取った画像データから文字画像の切り出しを行
い、切り出された文字画像の特徴と辞書ファイル３７に
格納された特徴データとの比較を行い、文字の認識を行
う。その後、その認識結果を、ディスプレイ３８又はプ
リンタ３９に出力する。

【００６２】この文字認識システムにおいて、図３のパ
ターン抽出装置は、プログラムメモリ３２に格納された
プログラムに従って処理を行うＣＰＵ３１の機能として
実現される。ここで、パターン抽出処理を行うプログラ
ムは、プログラムメモリ３２のＲＯＭに予め格納してお
くことが可能である。また、パターン抽出処理を行うプ
ログラムを、ハードディスク３２、ＩＣメモリカード３
３、磁気テープ３４、フロッピーディスク３５まはた光
ディスク３６などの記憶媒体からプログラムメモリ３２
のＲＡＭにロードした後、このプログラムをＣＰＵ３１
で実行させるようにしてもよい。

【００６３】さらに、パターン抽出処理を行うプログラ
ムを、通信インターフェイス４２を介して通信ネットワ
ーク４３から取り出すこともできる。通信インターフェ
イス４２と接続される通信ネットワーク４３として、例
えば、ＬＡＮ（ＬｏｃａｌＡｒｅａ Ｎｅｔｗｏｒ
ｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒ
ｋ）、インターネット、アナログ電話網、デジタル電話
網（ＩＳＤＮ：Ｉｎｔｅｇｒａｌ Ｓｅｒｖｉｃｅ Ｄ
ｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）、ＰＨＳ（パーソナル
ハンディシステム）や衛星通信などの無線通信網などを
用いることが可能である。

【００６４】以下、図３のパターン抽出装置について、
より具体的に説明する。連結パターン抽出部２１は、原
画像の入力パターンに対しラベリングを行い、８連結で
繋がっている各部分パターンにラベルを付し、これらの
部分パターンの中から最も大きな外接矩形を有する部分
パターンを取り出す。ここで、「８連結」で繋がってい
る部分パターンとは、縦、横、斜めの８方向において、
特定画素に関してその隣接画素が存在するとき繋がって
いるとし、存在しないとき繋がっていないとすることに
より形成された一続き（連結）のパターンを言う。な
お、原画像は、極端な傾きのない２値画像である。

【００６５】８連結で繋がっている部分パターンをラベ
リングで抽出することにより、複数の枠が配置されてい
る位置の相対的な関係に依存することなく、連結パター
ンを抽出することができる、例えば、図５(a) に示すよ
うに、帳票５１の枠内に「１」、「２」、「３」、
「４」、「５」の数字が記入された画像が、処理対象と
して入力されたものとすると、「１」、「２」、
「３」、「４」の数字に対しては、ラベル１から４がそ
れぞれ付され、「５」の数字は帳票５１に接触し、
「５」の数字と帳票５１とは１つの連結パターンとみな
されることから、ラベル５が付される。なお、ラベリン
グにより得られた部分パターンのサイズが後の処理で必
要となるので、この部分パターンを矩形近似して得られ
る矩形の角の座標をラベリングの処理中に算出して格納
しておく。

【００６６】次に、図５(b) に示すように、ラベル１〜
５が付されている部分パターンの中から、最も大きな外
接矩形を有するラベル５が付されている部分パターンを
取り出す。

【００６７】マスク処理部２２は、連結パターン抽出部
２１で抽出されたある一定の大きさを有する部分パター
ンに対し、画像から極端な斜め成分を省き、枠だけに存
在する長い直線の抽出を容易にするための処理を行う。

【００６８】例えば、図６(a) に示すように、横成分を
抽出する場合、縦×横が１×６画素の矩形範囲を指定す
る横長のマスクＭ１〜Ｍ９を用いる。ここで、マスク処
理の結果得られる線分どうしの隙間が開かないようにす
るために、マスク処理を行う範囲が互いに重なりを持つ
ように設定する。

【００６９】次に、例えば、図１５(b) の原画像に対
し、マスクＭ１〜Ｍ９内において黒画素が占める割合を
算出し、その割合がある所定値より大きければそのマス
クＭ１〜Ｍ９内の画素を全て黒画素とみなし、また所定
値以下であれば、マスク内の画素を全て白画素とみな
す。ここで、原画像を横長のマスクで走査する場合、横
方向に並んで存在している画素については、それらの画
素がマスク内で占める割合が大きくなり、斜めの方向に
並んで存在している画素については、それらの画素がマ
スク内で占める割合が小さくなることから、原画像に存
在する極端な斜め成分を除去することが可能となり、横
成分を効率的に抽出することが可能となる。

【００７０】この結果、図１５(c) に示すように、黒丸
で示された横成分の画素が抽出され、斜め成分を除去す
るとともに線幅を均一化することが可能となる。なお、
縦成分を抽出する場合、例えば、縦×横が６×１画素の
矩形範囲を指定する縦長のマスクを用いる。

【００７１】図７は、本発明の一実施例に係わるマスク
処理の結果を示す図である。図７(a) において、連結パ
ターン抽出部２１で抽出されたラベル５の部分パターン
には、帳票５１に接触している数字の「５」などの枠を
構成しないパターンも含まれている。この部分パターン
の画像全体に対し、横長、縦長の２種類のマスクによる
走査を行う。そして、マスク内においてパターンが占め
る割合を算出し、その割合がある所定値より大きければ
そのマスク内を全てパターンとみなし、所定値以下であ
れば、マスク内のパターンを削除することにより、縦横
成分を抽出する。そして、複数の行または列が続いて、
マスク内での黒画素が占める割合が所定値より大きくな
った場合、それらをまとめて矩形範囲をつくり、その中
心線を処理結果とする。

【００７２】この結果、図７(b) に示すように、斜め成
分が除去され線幅が均一化されたパターン５２が得るこ
とができ、枠の抽出を容易にすることができる。なお、
原画像はマスク処理画像とは別に記憶しておく。

【００７３】図８は、本発明の一実施例に係わるマスク
処理を示すフローチャートである。図８において、ま
ず、ステップＳ１に示すように、連結パターン抽出部２
１で得られた部分パターンの原画像全体に対して、横長
及び縦長の２種類のマスクで走査を行う。

【００７４】次に、ステップＳ２に示すように、マスク
内のパターンの占める割合、すなわち、マスクの面積に
対するマスク内のパターンの面積を算出し、この割合
が、所定値より大きいかどうかの判断を行う。そして、
マスク内のパターンの占める割合が所定値より小さいと
判断された場合、ステップＳ３に進み、縦成分又は横成
分がないとして処理を終了する。

【００７５】一方、ステップＳ２でマスク内のパターン
の占める割合が所定値より大きいと判断された場合、ス
テップＳ４に進み、マスク内を全てパターンとみなし、
このパターンを全て、縦成分又は横成分とする。

【００７６】次に、ステップＳ５に示すように、ステッ
プＳ４で得られた成分が、上下の成分又は左右の成分と
接しているかどうかの判断を行う。そして、上下の成分
又は左右の成分と接していないと判断された場合、ステ
ップＳ６に進み、ステップＳ４で得られた成分を処理結
果として出力する。

【００７７】一方、ステップＳ５で上下の成分又は左右
の成分と接していると判断された場合、ステップＳ７に
進み、互いに接している成分を統合する。そして、ステ
ップＳ８において、ステップＳ７で統合した成分から矩
形範囲を作成し、ステップＳ９において、ステップＳ８
得られた矩形範囲の中心線を処理結果として出力する。

【００７８】線分抽出部２３は、マスク処理されたパタ
ーンを横方向及び縦方向に複数に分割し、横方向及び縦
方向に分割したそれぞれの範囲内でパターンの隣接投影
を算出し、ある一定の長さの線分又は直線の一部を矩形
近似により検出する。ここで、隣接投影とは、注目行又
は注目列の投影値に周囲の行又は列の投影値を足し合わ
せたものである。また、注目行又は注目列の投影値は、
その行又は列に存在する黒画素の総和をとったものであ
る。この隣接投影により、直線が傾いていて複数の行又
は複数の列に渡ってその直線が存在している場合におい
ても、直線を正確に検出することができる。このため、
ブロック枠などの大きな枠を検出する場合、その枠が傾
いていても、枠を構成する直線を検出することが可能と
なる。

【００７９】図９は、矩形枠分の投影結果を示す図であ
る。図９において、縦方向の長さがＬY 、横方向の長さ
がＬX の矩形枠６１の水平方向ｊの投影値Ｐｈ（ｉ）を
ＨＰ（ｉ）、矩形枠６１の垂直方向ｉの投影値Ｐｖ
（ｊ）をＶＰ（ｊ）とすると、ＨＰ（１）＝ＨＰ（ｎ）
＝ｍ、ＨＰ（２）〜ＨＰ（ｎ−１）＝２、ＶＰ（１）＝
ＶＰ（ｍ）＝ｎ、ＶＰ（２）〜ＶＰ（ｍ−１）＝２であ
る。

【００８０】このように、矩形枠６１を構成する直線が
存在している部分は、その投影値が大きくなるので、こ
の投影値を算出することにより、矩形枠６１を構成して
いる直線を抽出することができる。

【００８１】図１０は、本発明の一実施例に係わる隣接
投影法を説明する図である。図１０において、ｉ行の投
影値をｐ（ｉ）とすると、隣接投影値Ｐ（ｉ）は、
（１）式により算出することができる。

【００８２】 Ｐ（ｉ）＝ｐ（ｉ−ｊ）＋・・・＋ｐ（ｉ）＋・・・＋ｐ（ｉ＋ｊ）（１） 例えば、図１０において、（１）式のｊ＝１とすると、
ｉ−１行目には黒画素が９個だけ存在しているので、ｐ
（ｉ−１）＝９となり、ｉ行目には黒画素が６個だけ存
在しているので、ｐ（ｉ）＝６となり、ｉ＋１行目には
黒画素が６個だけ存在しているので、ｐ（ｉ＋１）＝６
となる。この結果、Ｐ（ｉ）＝ｐ（ｉ−１）＋ｐ（ｉ）
＋ｐ（ｉ＋１）＝２１となる。

【００８３】このように、直線が傾いているために、複
数の行又は複数の列に渡ってその直線が存在している場
合、その傾いた直線の隣接投影値は大きくなることか
ら、枠が傾いている場合においても、枠を構成する直線
を効率的に検出することが可能となる。

【００８４】図１１は、本発明の一実施例に係わる隣接
投影処理を示すフローチャートである。図１１におい
て、まず、ステップＳ１１に示すように、マスク処理部
２２で得られた同一のラベルを有する部分パターンを横
方向及び縦方向に複数の部分に分割する。

【００８５】次に、ステップＳ１２に示すように、横方
向及び縦方向のそれぞれの分割範囲内で投影値を算出す
る。次に、ステップＳ１３において、ステップＳ１２で
算出されたそれぞれの投影値に周囲の投影値を加算す
る。

【００８６】次に、ステップＳ１４で、（１）式に基づ
いて、隣接投影値Ｐ（ｉ）を算出する。線分抽出部２３
は、部分パターンのマスク処理画像に対する隣接投影値
に基づいて、横方向及び縦方向におけるある一定長さの
線分又は直線の一部を、矩形近似により検出する。

【００８７】すなわち、分割された部分パターンの隣接
投影値と縦横それぞれの分割長との比が所定のしきい値
以上である部分を直線の候補が存在する位置とする。ま
た、連続する複数の行又は列が所定のしきい値値以上と
なった場合は、それらの連続する複数の行又は列をまと
めた矩形範囲を直線の候補が存在する位置とする。な
お、この矩形近似により検出した一定の長さの線分又は
直線の一部を「矩形線分」と呼ぶ。

【００８８】例えば、図１２(a) に示すように、斜めに
傾いた横線６１を３つの部分に分割し、隣接投影値がし
きい値以上となっている位置を算出する。この結果、図
１２(b) に示すように、横方向に分割された３つの矩形
線分６２を得ることができる。

【００８９】ここで、隣接投影法ではなく、通常の投影
法を用いて斜めに傾いている直線６１の位置を検出した
場合、その投影値は小さくなってしまうので、直線６１
を検出することは不可能となる。一方、斜めに傾いてい
る直線６１を通常の投影法で検出するために、部分パタ
ーンの分割数を増やし分割長を短くした場合、文字を構
成している短い直線も多数検出され、文字と枠とを区別
することが困難になる。

【００９０】これに対して、隣接投影法を用いることに
より、直線６１が斜めに傾いている場合でも、部分パタ
ーンの分割長を極端に小さくすることなく、隣接投影値
を大きくすることが可能となることから、枠を構成する
比較的長い直線を文字を構成している短い直線と区別し
ながら正確に検出することができる。

【００９１】図１３は、本発明の一実施例に係わる線分
抽出処理を示すフローチャートである。図１３におい
て、まず、ステップ２１で、分割された部分パターンの
隣接投影値と縦横それぞれの分割長との比が、所定のし
きい値以上であるかどうかを判定する。そして、隣接投
影値と縦横それぞれの分割長との比が、所定のしきい値
以上でないと判断された場合、ステップＳ２２に進み、
線分が存在しないものとみなす。

【００９２】一方、ステップＳ２１で隣接投影値と縦横
それぞれの分割長との比が、所定のしきい値以上である
と判断された場合、ステップＳ２３に進み、線分が存在
するものとみなす。

【００９３】次に、ステップＳ２４において、ステップ
Ｓ２３で線分とみなされたパターンが、その上下に存在
する線分と接しているかどうかを判断する。そして、上
記パターンが上下に存在する線分と接していないと判断
された場合、ステップＳ２５に進み、そのパターンを矩
形線分とする。

【００９４】一方、ステップＳ２４において、ステップ
Ｓ２３で線分とみなされたパターンがその上下に存在す
る線分と接していると判断された場合、ステップＳ２６
に進み、線分とみなされたパターンとその上下に存在す
る線分とを統合する。そして、ステップＳ２７におい
て、ステップＳ２６で統合した線分を矩形線分として検
出する。

【００９５】直線抽出部２４は、線分抽出部２３で検出
された矩形線分のうち、近隣の矩形線分同士を統合して
長い直線とし、統合された直線を矩形近似する。例え
ば、図１４(a) に示すように、途中で途切れていない矩
形線分ｘ、ｙ、ｚが接触しているか、または繋がってい
る場合、これらの矩形線分ｘ、ｙ、ｚを統合して長い直
線とする。また、図１４(b) に示すように、矩形線分
ｘ、ｙが繋がっていない場合、矩形線分ｘ、ｙの垂直方
向の距離が、隣接投影法において加算する行又は列数ｊ
以内ならば、矩形線分ｘ、ｙ、ｚを統合して長い直線と
する。

【００９６】ここで、統合された線分の両端の座標か
ら、検出された直線の傾きを算出し、他の直線の傾きと
比較して異なる傾きを有する直線を、枠の中に書かれた
斜めの消し線等、枠でない部分であるとみなし、直線の
候補から除く。

【００９７】図１５は、本発明の一実施例に係わる線分
統合処理を示すフローチャートである。図１５におい
て、まず、ステップＳ３１に示すように、線分抽出部２
３で検出された矩形線分に対し、矩形線分同士の距離を
算出する。

【００９８】次に、ステップＳ３２に示すように、ステ
ップＳ３１で算出された矩形線分同士の距離が、隣接投
影法において加算する行又は列数ｊ以内であるかどうか
を判定する。そして、矩形線分同士の距離が隣接投影法
において加算する行又は列数ｊ以内でない場合、ステッ
プＳ３３に進み、矩形線分の統合を行わないこととす
る。

【００９９】一方、ステップＳ３２において、矩形線分
同士の距離が隣接投影法において加算する行又は列数ｊ
以内であると判断された場合、ステップＳ３４に進み、
矩形線分の統合を行う。

【０１００】次に、直線抽出部２４は、統合された直線
を矩形近似し、横枠又は縦枠を構成する罫線候補とす
る。例えば、図１６において、統合された直線７１を矩
形近似することにより、罫線候補７２を得ることができ
る。

【０１０１】なお、矩形線分が検出された以降の処理で
は、マスク処理を行う以前の元の画像を用いて処理を行
う。図１７は、本発明の一実施例に係わる罫線候補領域
の抽出結果を示す図である。

【０１０２】図１７において、罫線の上方に「研究部」
の文字列が記入され、罫線の部分が罫線候補８２として
抽出されているとともに、「研」の文字と「究」の文字
と「部」の文字とが互いに近接しているため、「研究
部」の文字列の一部が罫線候補８１として抽出されてい
る。

【０１０３】罫線候補８１として抽出された「研究部」
の文字列の一部が、罫線であるとみなされると、「研究
部」の文字列を正しく切り出すことができないため、
「研」の文字、「究」の文字及び「部」の文字を認識す
ることが困難になる。このため、罫線判別処理部２５
は、罫線候補８１、８２内のパターンについて凹凸度を
算出することにより、罫線候補８１、８２内のパターン
が罫線かどうかを判別する。

【０１０４】図１８は、本発明の一実施例に係わる罫線
候補領域のパターンの探索結果を示す図である。図１８
において、罫線の間に「研究部」の文字列が記入され、
「研究部」の文字列は、下方の罫線に接触している。そ
して、上方の罫線が罫線候補９１として抽出されている
とともに、下方の罫線が罫線候補９３として抽出され、
「研」の文字と「究」の文字と「部」の文字とが互いに
近接しているため、「研究部」の文字列の一部が罫線候
補９２として抽出されている。

【０１０５】罫線判別処理部２５は、直線抽出部２４で
抽出された横線または縦線の直線について、横線の場合
は左右端、縦線の場合は上下端を正確に検出するため
に、これら罫線候補９１、９２、９３内のパターンにつ
いて探索を行う。この際、探索方向の変化回数を計数す
る。ここで、罫線候補９１のパターンは、本来罫線であ
ることから、真っ直ぐに探索され、探索方向の変化回数
の値が小さくなる。一方、罫線候補９２のパターンは、
本来文字であることから、文字の形状が反映されて探索
経路が屈曲し、探索方向の変化回数の値が大きくなる。

【０１０６】この結果、探索方向の変化回数の値が小さ
いパターンを罫線とみなし、探索方向の変化回数の値が
大きいパターンを罫線でないとみなすことにより、罫線
候補９１のパターンを罫線であると判定することが可能
となるとともに、罫線候補９２のパターンを罫線でない
と判定することが可能となる。

【０１０７】また、探索方向に隣接画素が存在しない場
合に限り、斜め方向の画素を探索し、探索方向に隣接画
素が存在している間は、同一方向に探索を行うことによ
り、「研究部」の文字列が接触している罫線候補９３の
パターンについても、探索方向の変化回数の値が小さく
なることから、罫線候補９３のパターンを罫線であると
判定することが可能となる。

【０１０８】図１９は、本発明の一実施例に係わるパタ
ーンの凹凸度のしきい値の設定例を示す図である。図１
９において、かすれた罫線の上方に「研究部」の文字列
が記入され、かすれた罫線が罫線候補１０２として抽出
されているとともに、「研」の文字と「究」の文字と
「部」の文字とが互いに近接しているため、「研究部」
の文字列の一部が罫線候補１０１として抽出されてい
る。

【０１０９】ここで、罫線候補１０１は、「研究部」の
文字列の一部から誤って抽出されたものであり、罫線候
補１０１の近くには、罫線候補１０１として抽出された
「研究部」の文字列の残りのパターンが存在している。
このため、罫線候補１０１の近くに他のパターンが存在
している場合、罫線候補１０１のパターンの凹凸度のし
きい値ＴＨ１を小さく設定する。このことにより、罫線
候補１０１として抽出された「研究部」の文字列の一部
を罫線候補から除外することを、より正確に行うことが
可能となる。

【０１１０】一方、罫線候補１０２は、罫線から正しく
抽出されたものであり、「研究部」の文字列は罫線から
離れて記入されているため、罫線候補１０２の近くに
は、文字などの他のパターンは存在しない。このため、
罫線候補１０２の近くに他のパターンが存在しない場
合、罫線候補１０２のパターンの凹凸度のしきい値ＴＨ
２を大きく設定する。このことにより、罫線候補１０２
として抽出された罫線がかすれているために、罫線候補
１０２として正しく抽出された罫線の凹凸度が大きくな
り、罫線候補１０２として正しく抽出された罫線が罫線
候補でないものとみなされることを防止することが可能
となる。

【０１１１】なお、パターンの凹凸度を判定するしきい
値は、様々なパターンを用いて実験的求めることが可能
である。図２０は、本発明の一実施例に係わる文字の探
索時の探索方向変化回数の遷移を示す図である。

【０１１２】図２０において、文字の一部のパターンが
罫線候補として抽出されているものとし、このパターン
は黒画素で構成されているものとする。まず、探索開始
点を黒画素に設定し、横線分の場合は、探索方向を横
方向に設定して、探索を開始する。ここで、右上がりの
変化回数をカウントする変数ｈｕｐ、右下がりの変化回
数をカウントする変数ｈｂｌ及び垂直方向線横切る回数
をカウントする変数ｈｖｅｒを０に設定する。

【０１１３】黒画素から黒画素までは、右隣に隣接
する黒画素が存在するので、右方向に真っ直ぐに進む。
探索が黒画素の位置に進むと、黒画素の右隣には隣
接する黒画素が存在せず、黒画素の上斜め隣には隣接
する黒画素が存在するので、黒画素の位置で探索方向
を上斜め隣に変え、黒画素から黒画素に進む。ここ
で、変数ｈｕｐが１だけカウントアップされ、変数ｈｕ
ｐの値が０から１になる。

【０１１４】黒画素から黒画素までは、右隣に隣接
する黒画素が存在するので、右方向に真っ直ぐに進む。
探索が黒画素の位置に進むと、黒画素の右隣には隣
接する黒画素が存在せず、黒画素の下斜め隣には隣接
する黒画素が存在するので、黒画素の位置で探索方向
を下斜め隣に変え、黒画素から黒画素に進む。ここ
で、変数ｈｂｌが１だけカウントアップされ、変数ｈｂ
ｌの値が０から１になる。

【０１１５】黒画素から黒画素までは、右隣に隣接
する黒画素が存在するので、右方向に真っ直ぐに進む。
探索が黒画素の位置に進むと、黒画素の右隣には隣
接する黒画素が存在せず、黒画素の下斜め隣には隣接
する黒画素が存在するので、黒画素の位置で探索方向
を下斜め隣に変え、黒画素から黒画素に進む。ここ
で、変数ｈｂｌが１だけカウントアップされ、変数ｈｂ
ｌの値が１から２になる。

【０１１６】黒画素から黒画素までは、右隣に隣接
する黒画素が存在するので、右方向に真っ直ぐに進む。
探索が黒画素の位置に進むと、黒画素の右隣には隣
接する黒画素が存在せず、黒画素の上斜め隣には隣接
する黒画素が存在するので、黒画素の位置で探索方向
を上斜め隣に変え、黒画素から黒画素に進む。ここ
で、変数ｈｕｐが１だけカウントアップされ、変数ｈｕ
ｐの値が１から２になる。

【０１１７】黒画素から黒画素（丸１０）までは、右
隣に隣接する黒画素が存在するので、右方向に真っ直ぐ
に進む。探索が黒画素（丸１０）の位置に進むと、黒画
素（丸１０）の右隣には隣接する黒画素が存在せず、黒
画素（丸１０）の上斜め隣及び下斜め隣にも隣接する黒
画素が存在しないので、黒画素（丸１０）の上下に隣接
する画素が存在するかどうかを調べる。この結果、黒画
素（丸１０）の上下に隣接する画素が存在する場合、探
索方向に対して垂直方向のパターンを横切るものとみな
し、変数ｈｖｅｒを１だけカウントアップする。この結
果、変数ｈｖｅｒの値が０から１になる。なお、黒画素
（丸１０）から黒画素（丸１１）までの距離が所定値以
下の場合、その間の空白を無視して、黒画素（丸１０）
から黒画素（丸１１）に進み、探索を続行する。

【０１１８】このように、文字の一部のパターンについ
て探索が行われた場合、文字の形状を反映して、探索方
向が変化することとなる。図２１は、本発明の一実施例
に係わる罫線の探索時の探索方向変化回数の遷移を示す
図である。

【０１１９】図２１において、罫線を構成するパターン
が罫線候補として抽出されているものとし、このパター
ンは黒画素で構成されているものとする。まず、探索開
始点を黒画素に設定し、横線分の場合は、探索方向を
横方向に設定して、探索を開始する。ここで、右上がり
の変化回数をカウントする変数ｈｕｐ、右下がりの変化
回数をカウントする変数ｈｂｌ及び垂直方向線横切る回
数をカウントする変数ｈｖｅｒを０に設定する。

【０１２０】なお、探索開始点は、罫線候補のパターン
の中で最も細い部分に存在する黒画素とする。これは、
パターンの太い部分は、文字が罫線に接触している領域
である可能性があり、この領域から探索を開始すると、
罫線の探索が正確に行うことができない場合があるから
である。

【０１２１】黒画素から探索を行うと、探索方向に対
して隣接画素が連続して存在していることから、探索が
真っ直ぐに行われ、変数ｈｕｐ、変数ｈｂｌ及び変数ｈ
ｖｅｒはいずれも０のままとなる。

【０１２２】このように、罫線を構成するパターンにつ
いて探索が行われた場合、探索方向の変化はほとんど検
出されないこととなる。図２２は、本発明の一実施例に
係わる文字が接触している罫線の探索時の探索方向変化
回数の遷移を示す図である。

【０１２３】図２２において、罫線を構成するパターン
が罫線候補として抽出されているものとし、このパター
ンは黒画素で構成されているものとする。また、罫線に
は文字が接触しているものとする。まず、探索開始点を
黒画素に設定し、横線分の場合は、探索方向を横方向
に設定して、探索を開始する。ここで、右上がりの変化
回数をカウントする変数ｈｕｐ、右下がりの変化回数を
カウントする変数ｈｂｌ及び垂直方向線横切る回数をカ
ウントする変数ｈｖｅｒを０に設定する。

【０１２４】なお、探索開始点は、罫線候補のパターン
の中で最も細い部分に存在する黒画素とする。これは、
パターンの太い部分は、文字が罫線に接触している領域
である場合があり、この領域から探索を開始すると、罫
線の探索が正確に行うことができない場合があるからで
ある。

【０１２５】黒画素から探索を行うと、探索方向に対
して隣接画素が連続して存在していることから、探索が
真っ直ぐに行われ、変数ｈｕｐ、変数ｈｂｌ及び変数ｈ
ｖｅｒはいずれも０のままとなる。このように、探索方
向に対して隣接画素が存在している間は、探索方向が変
化しないため、罫線に文字が接触している場合において
も、罫線自体の凹凸を調べることができ、罫線抽出の精
度を向上させることが可能となる。

【０１２６】図２３は、本発明の一実施例に係わる画素
の探索方向を示す図である。図２３において、右方向の
探索では、現在地の画素１１１に隣接する画素１１２の
方向に探索が行われ、現在地の画素１１３に隣接する画
素が存在しない場合に限り、現在地の画素１１３の上斜
め隣の画素１１４ａまたは下斜め隣の画素１１４ｂの方
向に探索が行われる。

【０１２７】一方、左方向の探索では、現在地の画素１
１５に隣接する画素１１６の方向に探索が行われ、現在
地の画素１１７に隣接する画素が存在しない場合に限
り、現在地の画素１１７の上斜め隣の画素１１８ａまた
は下斜め隣の画素１１８ｂの方向に探索が行われる。

【０１２８】図２４は、本発明の一実施例に係わるかす
れパターンの探索方法を示す図である。図２４におい
て、矩形近似された直線１２１に対し、直線１２１を構
成する画素１２２の検索を行う場合、一定の画素数以下
の空白領域１２３に対しては画素１２２があるとみなし
て探索を行う。そして、この検索で得られた画素１２２
の左右端の座標を矩形近似された直線１２１の左右端の
代わりに用いる。

【０１２９】このように、所定値以下の空白を無視して
探索を行うことにより、パターンがかすれて分離してい
る場合においても、そのパターンの凹凸度を算出するこ
とが可能になる。

【０１３０】図２５及び図２６は、本発明の一実施例に
係わる凹凸度算出処理を示すフローチャートである。な
お、このフローチャートでは、探索を横方向に行う場合
について示している。

【０１３１】図２５において、まず、ステップＳ４１に
示すように、罫線候補の矩形領域を探索範囲に設定す
る。 次に、ステップＳ４２に示すように、罫線候補の
矩形領域内のパターンのうち、最も細い部分の横方向の
座標を算出し、この最も細い部分の横方向の座標におけ
るパターンの中心点を算出する。そして、このパターン
の中心点を探索の開始点とする。ここで、探索の開始点
をパターンの最も細い部分とするのは、最も細い部分は
罫線である可能性が高く、枠となる直線の探索をより確
実に行うことができるからである。

【０１３２】次に、ステップＳ４３に示すように、直線
の探索方向を右に設定する。次に、ステップＳ４４に示
すように、ステップＳ４２で設定した探索開始点を注目
画素として設定する。

【０１３３】次に、ステップＳ４５に示すように、空白
領域の長さをカウントする変数Ｋの初期値を０に設定す
る。次に、ステップＳ４６に示すように、右上がりまた
は左上がりに探索方向が変化した回数をカウントする変
数ｈｕｐを０に設定する。

【０１３４】次に、ステップＳ４７に示すように、右下
がりまたは左下がりに探索方向が変化した回数をカウン
トする変数ｈｂｌを０に設定する。次に、ステップＳ４
８に示すように、垂直方向線を横切る回数をカウントす
る変数ｈｖｅｒを０に設定する。

【０１３５】図２７は、本発明の一実施例に係わる画素
の配置関係を示す図である。図２７において、×印で示
した注目画素に対し、Ｄ１は左上斜め隣に隣接する画
素、Ｄ２は左に隣接する画素、Ｄ３は左下斜め隣に隣接
するの画素、Ｄ４は上に隣接する画素、Ｄ５は下に隣接
する画素、Ｄ６は右上斜め隣に隣接する画素、Ｄ７は右
に隣接する画素、Ｄ８は右下斜め隣に隣接するの画素で
ある。そして、探索が注目画素から画素Ｄ６に進んだ場
合、探索方向が右上がりに変化し、探索が注目画素から
画素Ｄ８に進んだ場合、探索方向が右下がりに変化し、
探索が注目画素から画素Ｄ１に進んだ場合、探索方向が
左上がりに変化し、探索が注目画素から画素Ｄ３に進ん
だ場合、探索方向が左下がりに変化することとする。

【０１３６】次に、ステップＳ４９に示すように、注目
画素が探索を行うパターンの矩形領域の内部であるかど
うかを判定し、注目画素が探索を行うパターンの矩形領
域の内部でない場合、ステップＳ６３に進み、空白領域
の長さをカウントする変数Ｋの値を０に設定してから、
ステップＳ６４に進む。

【０１３７】一方、ステップＳ４９で注目画素が探索を
行うパターンの矩形領域の内部であると判定された場
合、ステップＳ５０に進み、注目画素に対しＤ７の位置
に黒画素があるかどうかを判断する。そして、Ｄ７の位
置に黒画素がある場合、ステップＳ５１に進み、注目画
素をＤ７の位置の画素とし、注目画素に対しＤ７の位置
に黒画素がある間は、右方向に探索を進める。

【０１３８】一方、注目画素に対しＤ７の位置に黒画素
がない場合、ステップＳ５２に進み、注目画素に対しＤ
６の位置に黒画素があるかどうかを判断する。そして、
Ｄ６の位置に黒画素がある場合、ステップＳ５３に進
み、変数ｈｕｐの値を１だけ増加させてから、ステップ
Ｓ５４に進み、注目画素をＤ６の位置の画素とする。こ
のことにより、探索方向が右上がりに変化するととも
に、探索方向が右上がりに変化した回数がカウントされ
る。注目画素がＤ６の位置に移った後は、ステップＳ４
９〜ステップＳ５１の処理が繰り返される。

【０１３９】一方、ステップＳ５２でＤ６の位置に黒画
素がないと判断された場合、ステップＳ５５に進み、注
目画素に対しＤ８の位置に黒画素があるかどうかを判断
する。そして、Ｄ８の位置に黒画素がある場合、ステッ
プＳ５６に進み、変数ｈｂｌの値を１だけ増加させてか
ら、ステップＳ５７に進み、注目画素をＤ８の位置の画
素とする。このことにより、探索方向が右下がりに変化
するとともに、探索方向が右下がりに変化した回数がカ
ウントされる。注目画素がＤ８の位置に移った後は、ス
テップＳ４９〜ステップＳ５１の処理が繰り返される。

【０１４０】一方、ステップＳ５５でＤ８の位置に黒画
素がないと判断された場合、ステップＳ５８に進み、空
白領域の長さをカウントする変数Ｋがしきい値以下であ
るかどうかを判定する。そして、空白領域の長さをカウ
ントする変数Ｋがしきい値以下である場合、ステップＳ
５９に進み、注目画素が黒画素であり、かつ、注目画素
に対しＤ４及びＤ５の位置に黒画素が存在しているかど
うかを判断する。

【０１４１】そして、注目画素が黒画素であり、かつ、
注目画素に対しＤ４及びＤ５の位置に黒画素が存在して
いる場合、垂直方向線を横切るとみなして、ステップＳ
６０に進み、変数ｈｖｅｒを１だけ増加させてから、ス
テップＳ６１に進み、注目画素をＤ７の位置の画素とす
る。

【０１４２】一方、注目画素が黒画素であり、かつ、注
目画素に対しＤ４及びＤ５の位置に黒画素が存在してい
るという条件が成り立たない場合、ステップＳ６１に直
接進み、注目画素をＤ７の位置の画素とする。

【０１４３】次に、ステップＳ６２に示すように、空白
領域の長さをカウントする変数Ｋを１だけ増加させ、ス
テップＳ４９に移る。一方、ステップＳ５８で空白領域
の長さをカウントする変数Ｋがしきい値より大きいと判
断された場合、ステップＳ６４に進み、探索方向は右に
設定されているかどうかを判定する。ここで、探索方向
が右に設定されている場合、ステップＳ６５に進み、探
索方向を左に設定してから、ステップＳ６６に進み、ス
テップＳ４２で決定した探索開始点を注目画素に設定す
る。そして、ステップＳ４９に進み、左方向の探索を行
う。

【０１４４】一方、ステップＳ６４で探索方向が右でな
いと判断された場合、ステップＳ６７に進み、変数ｈｕ
ｐ及び変数ｈｂｌの値から画像の傾きに対応する値を減
算することにより、画像の傾きの補正を行う。ここで、
画像の傾きに対応する値は、罫線候補の傾きの平均値か
ら予め算出しておく。

【０１４５】次に、ステップＳ６８に示すように、変数
ｈｕｐ、変数ｈｂｌ及び変数ｈｖｅｒの値を、ある一定
長さあたりの値に換算する。次に、ステップＳ６９に示
すように、ある一定長さあたりの値に換算された変数ｈ
ｕｐ、変数ｈｂｌまたは変数ｈｖｅｒの値がしきい値以
上となった場合、そのパターンを罫線候補から除外す
る。

【０１４６】ここで、変数ｈｕｐ、変数ｈｂｌ及び変数
ｈｖｅｒの値を加算し、その結果を直線の長さに対する
割合に換算し、その値を注目している直線の変化量とす
るようにしてもよい。

【０１４７】なお、図２５及び図２６のフローチャート
では、横方向に探索を行う場合について説明したが、探
索方向を左右から上下に変更することにより、縦方向に
探索を行う場合についても同様に行うことが可能であ
る。

【０１４８】また、許容可能な空白の長さを、それぞれ
の部分パターンの大きさに対応させて変化させるように
してもよく、このことにより、文字線分を枠とみなして
しまう可能性を低くすることができる。

【０１４９】さらに、上述した実施例では、直線抽出部
２４で抽出された直線に対して、凹凸度を算出する場合
について説明したが、線分抽出部２３で抽出された線分
に対して、凹凸度を算出するようにしてもよい。

【０１５０】セル領域抽出処理部２６は、罫線判別処理
部２５で判別された罫線候補から枠を構成する直線を決
定し、上下左右の四辺が枠で囲まれた矩形範囲をセルと
して抽出する。

【０１５１】図２８は、本発明の一実施例に係わるセル
抽出処理を説明する図である。図２８(a) において、入
力画像から罫線候補を抽出することにより、帳票１３１
を構成する直線が決定される。

【０１５２】次に、図２８(b) に示すように、帳票１３
１を構成する直線から、横枠を決定することにより、帳
票１３１を行単位に分割する。次に、図２８(c) に示す
ように、帳票１３１を構成する直線から、縦枠を決定す
ることにより、帳票１３１からセルを抽出する。ここ
で、帳票１３１から抽出されたセルの中に、入れ子構造
１３２があるかどうかを調べる。

【０１５３】次に、図２８(d) に示すように、入れ子構
造１３２を新たな帳票とみなして、入れ子構造１３２か
らセルを抽出する。このように、帳票１３１からセルが
抽出された場合、帳票１３１を構成する直線をセル単位
で分割し、この分割された直線ごとに凹凸度を算出する
ことも可能である。この分割された直線ごとに凹凸度を
算出することにより、罫線とみなされたパターンの一部
から文字だけを取り出すことができ、不規則な構造を有
する帳票１３１から罫線だけを精度よく抽出することが
可能となる。

【０１５４】図２９は、本発明の一実施例に係わる横枠
決定方法を説明する図である。図２９において、帳票１
３１に対し、横直線〜及び縦直線（Ｉ）〜（ＶＩ）
が抽出され、横直線〜を一番上の行から順番に１行
づつ組としていくことにより、横枠を決定する。例え
ば、横直線と横直線とが２本組の横線と判断され、
この横直線と横直線とが横枠とされる。

【０１５５】この横枠決定方法は、以下の手順により行
われる。 １）罫線判別処理部２５で罫線候補と判別された横直線
の中から、上から順番に横直線を２本抽出し、これらを
２本の横直線の組の候補とする。

【０１５６】２）組の候補とした２本の横直線の長さが
同じ、又は下の直線の方が長ければ、その２本を横直線
の組とする。このとき、２本の横直線の長さが異なる場
合、長い方の横直線を再使用可とする。

【０１５７】３）組の候補とした２本の横線のうち、下
の横直線の方が短かければ、さらにその下の横直線を横
枠の候補とし、これらの横直線の長さを比較する。ま
た、下の横直線の方が右方向又は左方向に短かければ、
さらにその下の横直線を組の候補とし、これらの横直線
の長さを比較する。

【０１５８】４）横直線の長さの比較の結果、条件２）
を満足する横直線が下部にないことが分かれば、この場
合に限り、上の横直線とその下の横直線とを組みとす
る。 ５）一番下の横直線の処理後、上部にまだ未処理の横直
線がある場合は、再び上から順に未処理の横直線と再使
用可の横直線とを用いて、上記１）〜４）の処理を行
い、２本の横直線の組を作る。

【０１５９】図３０は、本発明の一実施例に係わる縦枠
決定方法を説明する図である。図３０において、帳票１
３１に対し、横直線〜及び縦直線（Ｉ）〜（ＶＩ）
が抽出され、組となっている横枠に上下とも達している
縦直線（Ｉ）〜（ＶＩ）を縦枠と決定する。例えば、縦
直線（Ｉ）と縦直線（ＶＩ）とが、横枠とみなされた横
直線及び横直線に上下とも達しているので、縦直線
（Ｉ）と縦直線（ＶＩ）とが縦枠とされる。

【０１６０】図３１は、本発明の一実施例に係わるセル
抽出方法を説明する図である。図３１において、帳票１
３１に対し、横直線〜及び縦直線（Ｉ）〜（ＶＩ）
が抽出され、四方が横枠及び縦枠で囲まれた矩形領域を
セルとして抽出する。例えば、横直線と縦直線（Ｉ
Ｖ）と横直線と縦直線（Ｉ）とで囲まれた矩形領域が
セルとして抽出されるとともに、横直線と縦直線（Ｖ
Ｉ）と横直線と縦直線（ＩＶ）とで囲まれた矩形領域
がセルとして抽出される。

【０１６１】図３２は、本発明の一実施例に係わる入れ
子構造の抽出方法を説明する図である。図３２におい
て、横直線と縦直線（ＩＩＩ）と横直線と縦直線
（Ｉ）とで囲まれた矩形領域がセルとして抽出された場
合、このセルは入れ子構造１３２となっている。このた
め、入れ子構造１３２を構成する直線から横枠及び縦枠
を決定し、入れ子構造１３２内で四方が横枠及び縦枠で
囲まれた矩形領域をセルとして抽出する。例えば、横直
線と縦直線（ＩＩＩ）と横直線と縦直線（Ｉ）とで
囲まれた矩形領域、横直線と縦直線（ＩＩ）と横直線
と縦直線（Ｉ）とで囲まれた矩形領域、及び横直線
と縦直線（ＩＩＩ）と横直線と縦直線（ＩＩ）とで囲
まれた矩形領域が、セルとして抽出される。 図３３
は、本発明の一実施例に係わる横枠決定処理を示すフロ
ーチャートである。

【０１６２】図３３において、まず、ステップＳ７１に
示すように、罫線判別処理部２５で罫線候補と判別され
た横直線の中から、最上部の２本を取り出す。次に、ス
テップＳ７２に示すように、取り出した２本の横直線の
うち、上側の横直線をｕｐｌｉｎｅ、下側の横直線をｂ
ｌｌｉｎｅとする。

【０１６３】次に、ステップＳ７３に示すように、直線
ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとに縦方向の重なりが
あるかどうかを判定する。そして、直線ｕｐｌｉｎｅと
直線ｂｌｌｉｎｅとに縦方向の重なりがない場合、ステ
ップＳ７４に進み、直線ｂｌｌｉｎｅの下の直線を新た
にｂｌｌｉｎｅとし、この処理を直線ｕｐｌｉｎｅと直
線ｂｌｌｉｎｅとに縦方向の重なりがあることとなるま
で続ける。

【０１６４】一方、ステップＳ７３において、直線ｕｐ
ｌｉｎｅと直線ｂｌｌｉｎｅとに縦方向の重なりがある
場合、ステップＳ７５に進み、直線ｕｐｌｉｎｅと直線
ｂｌｌｉｎｅとの長さが同じであるか、または直線ｕｐ
ｌｉｎｅより直線ｂｌｌｉｎｅの方が長いかどうかを判
定する。そして、上記条件を満足する直線ｕｐｌｉｎｅ
と直線ｂｌｌｉｎｅが存在する場合、ステップＳ７８に
進み、直線ｕｐｌｉｎｅと上記直線ｂｌｌｉｎｅを２本
の横線の組（２本組の横枠）とする。

【０１６５】一方、ステップＳ７５において、直線ｕｐ
ｌｉｎｅと直線ｂｌｌｉｎｅとの長さが異なっており、
かつ、直線ｕｐｌｉｎｅより直線ｂｌｌｉｎｅの方が短
い場合、ステップＳ７６に進み、直線ｂｌｌｉｎｅより
下方に直線ｕｐｌｉｎｅと長さが同じであるか、または
直線ｕｐｌｉｎｅより長い直線ｂｌｌｉｎｅ２が存在す
るかどうかを判定する。そして、上記条件を満足する直
線ｂｌｌｉｎｅと直線ｕｐｌｉｎｅが存在する場合、ス
テップＳ７７に進み、直線ｂｌｌｉｎｅを直線ｂｌｌｉ
ｎｅ２に変更してステップＳ７８に進む。

【０１６６】図３４は、本発明の一実施例に係わる横直
線の配置状態を説明する図である。図３４において、直
線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとの長さが同じであ
るとは、図３４(a) のような状態を示し、直線ｕｐｌｉ
ｎｅより直線ｂｌｌｉｎｅの方が短いとは、図３４(b)
のような状態を示し、直線ｕｐｌｉｎｅより直線ｂｌｌ
ｉｎｅの方が長いとは、図３４(c) のような状態を示
す。

【０１６７】一方、ステップＳ７６において、直線ｂｌ
ｌｉｎｅより下方に直線ｕｐｌｉｎｅと長さが同じであ
るか、または直線ｕｐｌｉｎｅより長い直線ｂｌｌｉｎ
ｅ２が存在しない場合、ステップＳ７８に進み、直線ｕ
ｐｌｉｎｅと直線ｂｌｌｉｎｅとを２本組の横枠とす
る。

【０１６８】次に、ステップＳ７９で、図３５のフロー
で示す縦枠決定処理及び入れ子処理を行う。次に、ステ
ップＳ８０で、ステップＳ７８で２本組の横枠とした直
線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅの長さが異なるかど
うかを判定する。そして、直線ｕｐｌｉｎｅと直線ｂｌ
ｌｉｎｅの長さが異なる場合、ステップＳ８１に進み、
右方向へ長い直線又は左方向に長い直線を再利用可とし
て、ステップＳ８２に進む。

【０１６９】ここで、右方向へ長い直線とは、図３４
(d) に示す直線ｂｌｌｉｎｅ、左方向に長い直線とは、
図３４(e) に示す直線ｂｌｌｉｎｅである。一方、ステ
ップＳ８０において、直線ｕｐｌｉｎｅと直線ｂｌｌｉ
ｎｅとの長さが同じであると判定された場合、ステップ
Ｓ８２に進み、直線ｂｌｌｉｎｅより下方に直線が存在
するかどうかを判定する。そして、直線ｂｌｌｉｎｅよ
り下方に直線が存在する場合、ステップＳ８３に進み、
直線ｂｌｌｉｎｅとその下の直線を抽出し、ステップＳ
７２に戻る。

【０１７０】一方、ステップＳ８２において、直線ｂｌ
ｌｉｎｅより下方に直線が存在しないと判定された場
合、ステップＳ８４に進み、再使用可の直線を除いて、
処理済の直線を処理対象からはずす。

【０１７１】次に、ステップＳ８５で、未処理の直線が
存在するかどうかを判定する。そして、未処理の直線が
存在しない場合、処理を終了する、一方、ステップＳ８
５において、未処理の直線が存在すると判定された場
合、ステップＳ８６に進み、最上部から直線を２本取り
出し、ステップＳ７２に戻る。

【０１７２】図３５は、本発明の一実施例に係わる縦枠
決定及び入れ子処理を示すフローチャートである。図３
５において、まず、ステップＳ９１に示すように、最上
位の行の２本組の横枠を選択し、次に、ステップＳ９２
に示すように、罫線判別処理部２５で罫線候補と判別さ
れた縦直線の中から、上端と下端との両方が２本組の横
枠に達しているものを選択する。

【０１７３】次に、ステップＳ９３に示すように、選択
した縦直線を縦枠と決定する。次に、ステップＳ９４に
示すように、２本組の横枠と２本の縦枠とで囲まれた矩
形領域を抽出する。 次に、ステップＳ９５に示すよう
に、矩形領域の左右２本の縦枠に両端が達している横直
線が存在するかどうか判定する。そして、そのような横
直線が存在しない場合、次の行の横枠を選択する処理を
行い、これにより新たに決定された２本組の横枠に対し
て上記ステップＳ９２〜Ｓ９７と同様の処理を実行す
る。

【０１７４】一方、ステップＳ９５において、左右２本
の縦枠に両端の達している横直線が存在すると判定され
た場合、ステップＳ９６に進み、その矩形領域を新たに
小さな表（入れ子構造の矩形）とみなし、この入れ子構
造の矩形領域内に存在する小さな矩形領域の横枠を決定
する。

【０１７５】次に、ステップＳ９７に示すように、入れ
子構造の矩形領域内の縦枠を決定する処理を行う。図３
６は、本発明の一実施例に係わる規則的な帳票と不規則
な帳票の例を示す図である。

【０１７６】図３６(a) は規則的な帳票の例を示し、図
３６(b) 及び図３６(c) は不規則な帳票の例を示してい
る。規則的な帳票は、横枠を構成している横直線が互い
に同じ長さとなっているとともに、縦枠を構成している
縦直線が互いに同じ長さとなっている。一方、不規則な
帳票は、横枠を構成している横直線の長さ、または縦枠
を構成している縦直線の長さが不規則となっている。

【０１７７】図３７は、本発明の一実施例に係わる罫線
候補領域の分割方法を説明する図である。図３７(a) に
おいて、帳票１４１は不規則な構造を有し、帳票１４１
を構成している横直線１４２は他の横直線よりも短くな
っているものとする。この帳票１４１に対し、「文字」
という文字列が、図３７(b) に示すように、横直線１４
２の横に記入された場合、横直線１４２と「文字」とい
う文字列の一部とが、罫線候補１４５として抽出され
る。この罫線候補１４５に対して、凹凸度を算出した場
合、「文字」という文字列の一部については、凹凸度が
大きいとみなされるが、横直線１４２については、凹凸
度が小さいとみなされ、罫線候補１４５全体の凹凸度
は、横直線１４２の凹凸度がより大きく反映されて、小
さいとみなされる。

【０１７８】この結果、「文字」という文字列の一部
は、罫線候補１４５の一部であるとみなされ、罫線候補
１４５は、帳票１４１内で横枠を構成するとみなされる
ことから、罫線とみなされる。このため、帳票１４１か
ら「文字」という文字列を正確に切り出すことができな
くなり、文字認識の信頼度が低下する。

【０１７９】ここで、罫線候補１４５を最小のセルごと
に分割することにより、罫線候補１４３、１４４、１４
６を生成し、この罫線候補１４３、１４４、１４６の凹
凸度をそれぞれ独立に算出する。この結果、罫線候補１
４３、１４６については、それぞれ凹凸度が小さいとみ
なされ、罫線候補１４３、１４６が罫線であると正しく
決定することが可能となるとともに、罫線候補１４４に
ついては、凹凸度が大きいとみなされ、罫線候補１４４
は罫線でないと正しく決定することが可能となる。

【０１８０】このように、罫線候補１４５を最小のセル
ごとに分割し、分割された罫線候補１４３、１４４、１
４６ごとに凹凸度算出することにより、不規則な帳票内
に記入された文字の一部が、罫線候補１４５の一部とし
て誤って抽出された場合においても、罫線を構成する横
直線１４２の部分だけを精度よく抽出することが可能と
なる。

【０１８１】図３８は、本発明の一実施例に係わる罫線
候補の凹凸度を部分的に求める方法を説明する図であ
る。図３８(a) において、帳票１５１は不規則な構造を
有し、帳票１５１を構成している横直線１５２〜１５５
は、外枠の横直線よりも短くなっているものとする。

【０１８２】この帳票１５１に対し、「文字」という文
字列が、図３８(b) に示すように、横直線１５３の横に
記入された場合、横直線１５３と「文字」という文字列
の一部１５６とが混在して、罫線候補として抽出され
る。この罫線候補に対して、凹凸度を算出した場合、
「文字」という文字列の一部１５６については、凹凸度
が大きいとみなされるが、横直線１５３については、凹
凸度が小さいとみなされ、横直線１５３と「文字」とい
う文字列の一部１５６とが混在している罫線候補全体の
凹凸度は、横直線１５３の凹凸度がより大きく反映され
るため、小さいとみなされる。

【０１８３】この結果、「文字」という文字列の一部１
５６は、罫線候補の一部であるとみなされ、帳票１５１
から「文字」という文字列を正確に切り出すことができ
なくなり、文字認識の信頼度が低下する。

【０１８４】ここで、横直線１５３と「文字」という文
字列の一部１５６とが混在している罫線候補の長さを、
他の横直線１５２、１５４、１５５からなる罫線候補の
長さと比較する。そして、他の横直線１５２、１５４、
１５５からなる罫線候補に対し、横直線１５３と「文
字」という文字列の一部１５６とが混在している罫線候
補から長さの異なる部分を分割することにより、「文
字」という文字列の一部１５６に対応した罫線候補を生
成する。

【０１８５】そして、この分割された罫線候補について
凹凸度を算出することにより、「文字」という文字列の
一部１５６だけについて凹凸度を算出することができ、
分割された罫線候補については、凹凸度が大きいとみな
して、分割された罫線候補は罫線でないと正しく決定す
ることが可能となる。

【０１８６】図３９は、本発明の一実施例に係わる罫線
候補の凹凸度を部分的に求める方法を説明する図であ
る。図３９において、帳票１６１は不規則な構造を有
し、帳票１６１を構成している横直線１６２、１６４、
１６５は横直線１６３よりも短くなっているものとす
る。この帳票１６１から横直線１６２〜１６５が抽出さ
れ、横直線１６３の長さが他の横直線１６２、１６４、
１６５の長さに比べて長いことが検出された場合、この
横直線１６３の突き出た部分１６６について、凹凸度を
算出する。そして、この突き出た部分１６６の凹凸度が
小さい場合、突き出た部分１６６は罫線であると決定
し、突き出た長い部分１６６の凹凸度が大きい場合、突
き出た部分１６６は罫線でないとみなして、罫線候補か
ら除外する。

【０１８７】以上、本発明の実施例について説明した
が、本発明は上述した実施例に限定されることなく、本
発明の技術的思想に範囲内で他の様々の変更が可能であ
る。例えば、上述した実施例では、罫線候補内のパター
ンの探索により、その罫線候補内のパターンの凹凸度を
算出する場合について説明したが、探索以外の方法で凹
凸度を算出するようにしてもよい。例えば、罫線候補と
して抽出されたパターンを所定の方向に投影し、その罫
線候補の各部分での投影値の変動の大きさを算出するこ
とにより、パターンの凹凸度を求めるようにしてもよ
い。

【０１８８】

【発明の効果】以上説明したように、本発明によれば、
パターンの凹凸度を算出することにより、凹凸度が小さ
い罫線や直線などのパターンと、凹凸度が大きい文字や
記号などのパターンとを区別することが可能となり、罫
線や直線などが文字や記号などと誤って判別されること
を減らすことが可能となることから、パターンの判別精
度を向上させることが可能となる。

【０１８９】また、本発明の一態様によれば、パターン
の探索方向の変化回数に基づいて、凹凸度を算出するこ
とにより、パターンの凹凸度を的確に算出することが可
能となることから、凹凸度が小さいパターンと凹凸度が
大きいパターンとを正確に区別することが可能となり、
パターンの判別精度を向上させることが可能となる。

【０１９０】また、本発明の一態様によれば、所定方向
に隣接画素が存在しない場合に限り、所定方向と異なる
方向の画素を探索することにより、文字や記号などの他
のパターンが罫線や直線などに接触している場合におい
ても、罫線や直線などを精度よく抽出することが可能と
なる。

【０１９１】また、本発明の一態様によれば、斜め隣の
画素の探索回数を計数することにより、パターンの探索
を行いながらパターンの凹凸を効率的に検出することが
可能となる。

【０１９２】また、本発明の一態様によれば、探索方向
の変化回数をパターンの傾きに応じて補正することによ
り、パターンが傾いている場合においても、パターンの
凹凸度を精度よく算出することが可能となる。

【０１９３】また、本発明の一態様によれば、所定値以
下の空白を無視して探索を行うことにより、パターンが
かすれにより分離している場合においても、そのパター
ンの凹凸度を算出することが可能になる。

【０１９４】また、本発明の一態様によれば、探索方向
の変化回数をパターンの長さで規格化することにより、
探索により算出されたパターンの凹凸度から、パターン
の大きさの影響を除去することが可能となり、そのパタ
ーン自体の形状に基づく凹凸度を算出することが可能と
なる。

【０１９５】また、本発明の一態様によれば、パターン
の交差回数を考慮しながらパターンの凹凸度を算出する
ことにより、パターンの凹凸度をより正確に求めること
が可能となる。

【０１９６】また、本発明の一態様によれば、パターン
の凹凸度がしきい値以下の場合、そのパターンは罫線を
構成するものとみなすことにより、文字が罫線と誤って
判別されることを防止し、罫線を精度よく抽出すること
が可能となる。

【０１９７】また、本発明の一態様によれば、パターン
の凹凸度がしきい値以上の場合、そのパターンは文字を
構成するものとみなすことにより、罫線が文字と誤って
判別されることを防止し、文字を精度よく抽出すること
が可能となる。

【０１９８】また、本発明の一態様によれば、パターン
の配置状況に基づいて、パターンの凹凸度のしきい値を
変化させることにより、罫線をより精度よく抽出するこ
とが可能となる。

【０１９９】また、本発明の一態様によれば、画素密度
の高い矩形領域に存在する連結パターンの凹凸度を算出
することにより、罫線候補として抽出された文字が罫線
かどうかを正しく判別することが可能となる。

【０２００】また、本発明の一態様によれば、連結パタ
ーンを所定の領域ごとに分割して凹凸度を算出すること
により、罫線と文字とが接触している時の罫線の部分と
文字の部分とを分けて別々に凹凸度を算出することが可
能となることから、罫線の凹凸度が文字の凹凸度に影響
されて罫線が文字とみなされたり、文字の凹凸度が罫線
の凹凸度に影響されて文字が罫線とみなされたりするこ
とをなくすことができる。

【０２０１】また、本発明の一態様によれば、マスク処
理を行うことにより、原画像に存在する極端な斜め成分
を除去することが可能となり、罫線候補の抽出を容易に
することが可能となる。

【０２０２】また、本発明の一態様によれば、罫線で四
方が囲まれた矩形領域をセルとして抽出し、セルを構成
しない罫線を罫線から除外することにより、罫線を構成
しない直線を罫線から除外することが可能となり、罫線
抽出の信頼度を向上させることが可能となる。

【０２０３】また、本発明の一態様によれば、隣接投影
法を用いて罫線候補を抽出することにより、原画像が傾
いている場合においても、罫線候補を原画像から精度よ
く抽出することが可能となり、罫線抽出の信頼度を向上
させることが可能となる。

【０２０４】また、本発明の一態様によれば、隣接投影
により検出された矩形線分ごとに凹凸度を算出すること
により、統合前の小さな領域に分かれたままの状態で凹
凸度の算出を行うことが可能となり、罫線と文字とが互
いに接触している場合においても、罫線と文字とを別々
に処理することが可能となる。

【０２０５】また、本発明の一態様によれば、矩形線分
を統合してから凹凸度を算出することにより、罫線を精
度よく行うことが可能となる。また、本発明の一態様に
よれば、周辺の罫線候補から突き出ている罫線候補が存
在する場合、その突き出ている部分について凹凸度を算
出することにより、その突き出ている部分が罫線の一部
であるのか、罫線に接触している文字であるのかを精度
よく判別することが可能となり、帳票が長さの不規則な
罫線により構成されている場合においても、その帳票か
ら罫線を精度よく抽出することができる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係わるパターン抽出装置
の構成を示すブロック図である。

【図２】図１の凹凸度算出手段の構成例を示すブロック
図である。

【図３】本発明の第２実施例に係わるパターン抽出装置
の構成を示すブロック図である。

【図４】本発明の一実施例に係わるパターン抽出装置の
システム構成を示すブロック図である。

【図５】本発明の一実施例に係わる連結パターンの抽出
方法を示す図である。

【図６】本発明の一実施例に係わるマスク処理の方法を
示す図である。

【図７】本発明の一実施例に係わるマスク処理の結果を
示す図である。

【図８】本発明の一実施例に係わるマスク処理を示すフ
ローチャートである。

【図９】矩形線分の投影結果を示す図である。

【図１０】本発明の一実施例に係わる隣接投影法を説明
する図である。

【図１１】本発明の一実施例に係わる隣接投影処理を示
すフローチャートである。

【図１２】本発明の一実施例に係わる線分抽出方法を説
明する図である。

【図１３】本発明の一実施例に係わる線分抽出処理を示
すフローチャートである。

【図１４】本発明の一実施例に係わる線分統合方法を説
明する図である。

【図１５】本発明の一実施例に係わる線分統合処理を示
すフローチャートである。

【図１６】本発明の一実施例に係わる直線抽出方法を説
明する図である。

【図１７】本発明の一実施例に係わる罫線候補領域の抽
出結果を示す図である。

【図１８】本発明の一実施例に係わる罫線候補領域のパ
ターンの探索結果を示す図である。

【図１９】本発明の一実施例に係わるパターンの凹凸度
のしきい値の設定例を示す図である。

【図２０】本発明の一実施例に係わる文字の探索時の探
索方向変化回数の遷移を示す図である。

【図２１】本発明の一実施例に係わる罫線の探索時の探
索方向変化回数の遷移を示す図である。

【図２２】本発明の一実施例に係わる文字が接触してい
る罫線の探索時の探索方向変化回数の遷移を示す図であ
る。

【図２３】本発明の一実施例に係わる画素の探索方向を
示す図である。

【図２４】本発明の一実施例に係わるかすれパターンの
探索方法を示す図である。

【図２５】本発明の一実施例に係わる凹凸度算出処理を
示すフローチャートである。

【図２６】図２５のフローチャートの続きである。

【図２７】本発明の一実施例に係わる画素の配置関係を
示す図である。

【図２８】本発明の一実施例に係わるセル抽出処理を説
明する図である。

【図２９】本発明の一実施例に係わる横枠決定方法を説
明する図である。

【図３０】本発明の一実施例に係わる縦枠決定方法を説
明する図である。

【図３１】本発明の一実施例に係わるセル抽出方法を説
明する図である。

【図３２】本発明の一実施例に係わる入れ子構造の抽出
方法を説明する図である。

【図３３】本発明の一実施例に係わる横枠決定処理を示
すフローチャートである。

【図３４】本発明の一実施例に係わる横直線の配置状態
を説明する図である。

【図３５】本発明の一実施例に係わる縦枠決定及び入れ
子処理を示すフローチャートである。

【図３６】本発明の一実施例に係わる規則的な帳票と不
規則な帳票の例を示す図である。

【図３７】本発明の一実施例に係わる罫線候補領域の分
割方法を説明する図である。

【図３８】本発明の一実施例に係わる罫線候補領域の凹
凸度を部分的に求める方法を説明する図である。

【図３９】本発明の一実施例に係わる罫線候補領域の凹
凸度を部分的に求める方法を説明する図である。

【図４０】帳票内に文字が記入された状態を示す図であ
る。

【符号の説明】

１ パターン入力手段 ２ 凹凸度算出手段 ３ パターン判別手段 １１ 第１探索手段 １２ 第２探索手段 ２１ 連結パターン抽出部 ２２ マスク処理部 ２３ 線分抽出部 ２４ 直線抽出部 ２５ 罫線判別処理部 ２６ セル領域抽出処理部 ３１ プログラムメモリ ３２ ＣＰＵ ３３ 画像メモリ ３４ ワークメモリ ３５ 通信インターフェイス ３６ 通信ネットワーク ３７ 入出力インターフェイス ３８ ディスプレイ ３９ プリンタ ４０ メモリ ４１ スキャナ ４２ 辞書 ４３ ドライバ ４４ ハードディスク ４５ ＩＣメモリカード ４６ 磁気テープ ４７ フロッピーディスク ４８ 光ディスク

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−128480（ＪＰ，Ａ) 特開 平９−50527（ＪＰ，Ａ) 特開 平８−305796（ＪＰ，Ａ) 特開 平７−28937（ＪＰ，Ａ) 特開 平６−309498（ＪＰ，Ａ) 特開 昭63−157287（ＪＰ，Ａ) ＧＩＭ法による枠接触文字の高品位分 離，電子情報通信学会技術研究報告，日 本，1993年 ７月 ８日，第93巻第131 号，ｐｐ．33−40 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82 G06T 7/40 H04N 1/40

Claims (27)

(57)【特許請求の範囲】
1. 【請求項１】 パターンを入力するパターン入力手段
   と、前記パターンのうちの探索開始点からの探索方向の変化
   回数に基づいて凹凸度を算出する変化回数計数手段を備
   える凹凸度算出手段と、 前記凹凸度としきい値に基づいて、前記パターンの属性
   を判別するパターン判別手段とを備えることを特徴とす
   るパターン抽出装置。
2. 【請求項２】 前記変化回数計数手段は、所定方向に画
   素を探索する第１探索手段と、 前記所定方向に隣接画素が存在しない場合、前記所定方
   向と異なる方向の画素を探索する第２探索手段と、 前記第２探索手段による画素の探索回数を計数する計数
   手段とを備えることを特徴とする請求項１に記載のパタ
   ーン抽出装置。
3. 【請求項３】 前記第２探索手段は、前記所定方向に隣
   接画素が存在しない場合、斜め隣の画素を探索すること
   を特徴とする請求項２に記載のパターン抽出装置。
4. 【請求項４】 パターンの傾きを検出する傾き検出手段
   と、 前記パターンの傾きに対応した探索方向の変化回数を算
   出する算出手段と、 前記算出手段で算出された値に基づいて、前記計数手段
   で計数された探索回数を補正する補正手段とをさらに備
   えることを特徴とする請求項３に記載のパターン抽出装
   置。
5. 【請求項５】 前記第１探索手段は、パターンが所定値
   以下の空白を介して分離している場合、前記空白には画
   素が存在しているものとみなして探索を行うことを特徴
   とする請求項２〜４のいずれか１項に記載のパターン抽
   出装置。
6. 【請求項６】 前記第２探索手段による画素の探索回数
   を、探索されたパターンの長さで規格化する規格化手段
   をさらに備えることを特徴とする請求項２〜５のいずれ
   か１項に記載のパターン抽出装置。
7. 【請求項７】 前記凹凸度算出手段は、パターンの交差
   回数に基づいて、前記凹凸度を算出する交差回数計数手
   段を備えることを特徴とする請求項１〜６のいずれか１
   項に記載のパターン抽出装置。
8. 【請求項８】 前記交差回数計数手段は、注目画素に対
   して、探索方向隣及び斜め隣に画素が存在せず、かつ、
   前記探索方向に垂直な方向に隣接する画素が存在する場
   合、前記交差回数の値を１だけ増加させることを特徴と
   する請求項７に記載のパターン抽出装置。
9. 【請求項９】 前記パターン判別手段は、前記パターン
   の凹凸度が前記しきい値以下の場合、前記パターンは罫
   線を構成するものと判別する罫線判別手段を備えること
   を特徴とする請求項１〜８のいずれか１項に記載のパタ
   ーン抽出装置。
10. 【請求項１０】 前記パターン判別手段は、前記パター
    ンの凹凸度が前記しきい値以上の場合、前記パターンは
    文字を構成するものと判別する文字判別手段を備えるこ
    とを特徴とする請求項１〜９のいずれか１項に記載のパ
    ターン抽出装置。
11. 【請求項１１】 前記パターン判別手段は、判別対象と
    なるパターンから所定の範囲内に他のパターンが存在す
    る場合、前記しきい値を変化させることを特徴とする請
    求項９または１０に記載のパターン抽出装置。
12. 【請求項１２】 前記パターン判別手段は、判別対象と
    なるパターンから所定の範囲内に他のパターンが存在す
    る時のしきい値を、判別対象となるパターンから所定の
    範囲内に他のパターンが存在しない時のしきい値より
    も、小さく設定することを特徴とする請求項１１に記載
    のパターン抽出装置。
13. 【請求項１３】 入力された原画像データから連結した
    画素で構成される部分パターンを抽出する連結パターン
    抽出手段と、 前記部分パターンから画素密度の高い矩形領域を罫線候
    補として抽出する罫線候補抽出手段と、 前記矩形領域内の部分パターンを探索する探索手段と、 前記探索手段の探索結果に基づいて、前記部分パターン
    の凹凸度を算出する凹凸度算出手段と、 前記凹凸度に基づいて、前記部分パターンが罫線を構成
    するものかどうかを判別する罫線判別手段とを備えるこ
    とを特徴とするパターン抽出装置。
14. 【請求項１４】 前記凹凸度算出手段は、前記部分パタ
    ーンを所定の領域ごとに分割して凹凸度を算出すること
    を特徴とする請求項１３に記載のパターン抽出装置。
15. 【請求項１５】 前記部分パターンを所定の大きさのマ
    スクで走査し、前記部分パターンが前記マスク内で占め
    る割合が所定値以上の場合、前記マスク内の画素を全て
    前記部分パターンとみなし、前記部分パターンが前記マ
    スク内で占める割合が前記所定値より小さい場合、前記
    マスク内には前記部分パターンがないものとみなすマス
    ク処理手段をさらに備えることを特徴とする請求項１３
    または１４に記載のパターン抽出装置。
16. 【請求項１６】 前記罫線で四方が囲まれた矩形領域を
    セルとして抽出するセル領域抽出手段と、 前記罫線判別手段で判別された罫線から、セルを構成し
    ない罫線を除外する罫線除外手段とをさらに備えること
    を特徴とする請求項１３〜１５のいずれか１項に記載の
    パターン抽出装置。
17. 【請求項１７】 前記凹凸度算出手段は、 前記罫線候補を前記セル単位ごとに分割して凹凸度を算
    出することを特徴とする請求項１６に記載のパターン抽
    出装置。
18. 【請求項１８】 前記罫線候補抽出手段は、 ある行又は列の投影値に周囲の行又は列の投影値を足し
    合わせた値が所定値以上の部分パターンを矩形線分とし
    て検出する線分検出手段と、 所定の範囲内の複数の矩形線分を統合し、この統合され
    た矩形線分を矩形近似することにより直線を検出する直
    線検出手段とを備えることを特徴とする請求項１３〜１
    ６のいずれか１項に記載のパターン抽出装置。
19. 【請求項１９】 前記凹凸度算出手段は、 前記直線検出手段で統合された矩形線分ごとに凹凸度を
    算出することを特徴とする請求項１８に記載のパターン
    抽出装置。
20. 【請求項２０】 罫線候補の長さを算出する長さ算出手
    段と、 罫線候補の長さを周辺の罫線候補の長さと比較する長さ
    比較手段と、 罫線候補の長さが周辺の罫線候補と異なる部分について
    の凹凸度を取得する凹凸度取得手段と、 罫線候補の長さが異なる部分についての凹凸度が所定値
    以上の場合、長さが異なる部分については罫線でないと
    みなす罫線削除手段とをさらに備えることを特徴とする
    請求項１３〜１９のいずれか１項に記載のパターン抽出
    装置。
21. 【請求項２１】 前記罫線で構成される帳票が規則的な
    帳票か不規則な帳票かを判別する帳票判別手段と、 前記不規則な帳票の不規則性の原因となっている罫線の
    一部について、凹凸度を算出する部分凹凸度算出手段と
    をさらに備えることを特徴とする請求項１３〜１９のい
    ずれか１項に記載のパターン抽出装置。
22. 【請求項２２】 パターンを入力するステップと、前記パターンのうちの探索開始点からの探索方向の変化
    回数に基づいて凹凸度を算出する ステップと、 前記凹凸度としきい値に基づいて、前記パターンの属性
    を判別するステップとを備えることを特徴とするパター
    ン抽出方法。
23. 【請求項２３】 入力されたパターンの画素を所定方向
    に探索するステップと、 前記所定方向に隣接画素が存在しない場合、斜め隣の画
    素を探索するステップと、 斜め隣の画素を探索した回数を計数するステップと、 斜め隣の画素を探索した回数が所定値以下の場合、前記
    パターンを罫線とみなすステップとを備えることを特徴
    とするパターン抽出方法。
24. 【請求項２４】 入力された原画像データから連結した
    画素で構成される部分パターンを抽出するステップと、 前記部分パターンから画素密度の高い矩形領域を罫線候
    補として抽出するステップと、 前記矩形領域内の部分パターンを探索するステップと、 前記部分パターンの探索結果に基づいて、前記部分パタ
    ーンの凹凸度を算出するステップと、 前記凹凸度が所定値以上の場合、前記部分パターンは罫
    線を構成するものと判別するステップとを備えることを
    特徴とするパターン抽出方法。
25. 【請求項２５】 パターンを入力する機能と、前記パターンのうちの探索開始点からの探索方向の変化
    回数に基づいて凹凸度を算出する 機能と、 前記凹凸度としきい値に基づいて、前記パターンの属性
    を判別する機能とをコンピュータに実行させるプログラ
    ムを格納した前記コンピュータが読み取り可能な記憶媒
    体。
26. 【請求項２６】 入力されたパターンの画素を所定方向
    に探索する機能と、 前記所定方向に隣接画素が存在しない場合、斜め隣の画
    素を探索する機能と、 斜め隣の画素を探索した回数を計数する機能と、 斜め隣の画素を探索した回数が所定値以下の場合、前記
    パターンを罫線とみなす機能とをコンピュータに実行さ
    せるプログラムを格納した前記コンピュータが読み取り
    可能な記憶媒体。
27. 【請求項２７】 入力された原画像データから連結した
    画素で構成される部分パターンを抽出する機能と、 前記部分パターンから画素密度の高い矩形領域を罫線候
    補として抽出する機能と、 前記矩形領域内の部分パターンを探索する機能と、 前記部分パターンの探索結果に基づいて、前記部分パタ
    ーンの凹凸度を算出する機能と、 前記凹凸度が所定値以上の場合、前記部分パターンは罫
    線を構成するものと判別する機能とをコンピュータに実
    行させるプログラムを格納した前記コンピュータが読み
    取り可能な記憶媒体。