JP3642615B2 - パターン領域切り出し方式及びパターン抽出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、パターン抽出装置及びパターン領域切り出し方式に関し、手書き用文字認識装置、印刷文字認識装置、図面認識装置等において、文字や図形や記号などのパターンの範囲を示す枠や矩形等を抽出する場合に適用して好適なものである。
【０００２】
【従来の技術】
近年、手書き用の入力周辺機器としてＯＣＲなどの手書き文字認識装置の需要が増加している。そして、手書き文字認識装置において個々の文字の高い認識率を実現するためには、認識の前処理である文字の切り出し処理を正確に行うことが重要になる。
【０００３】
これまで、帳票などの予め文字を書く位置を指定した文書（ドロップアウトカラーでなく、黒枠などの罫線と文字とが同じ色で、且つ、同じ濃度で書かれたもの）では、指定した範囲内に文字が正確に書かれた場合は、高い確率で文字を正確に自動認識することができた。
【０００４】
ところが、文字が指定した範囲を越えて指定範囲を示す枠や罫線に文字が接触したり、枠や罫線から文字がはみ出した場合は、著しく文字の認識率が低下する問題が生じていた。すなわち、現在使用されている文字認識装置では、枠を除去する際、文字枠のわずかな傾きや凹凸に対応することができず、文字枠の位置や線幅の変動により本来の文字部分の所が欠けてしまったり、枠が残存したりする。
【０００５】
これらの問題点に対応するため、本出願人は、以前、例えば、特開平６−３０９４９８号公報や特開平７−２８９３７号公報に記載されているように、枠の位置やサイズ等のフォーマット情報の入力を必要とせずに、枠の抽出や除去を行うことが可能な技術を提案した。
【０００６】
ここで、特開平６−３０９４９８号公報や特開平７−２８９３７号公報に記載されている方法により処理可能な帳票は、一文字枠、ブロック枠（横一行枠またはフリーフォマット枠）、または枠の外形が矩形状となっており横枠線が規則的に配置されている構造を持つ表を有するものであった。また、帳票の枠抽出処理で対象としていた罫線は実線のみであり、点線を含んだ帳票に関しては処理の対象外であった。
【０００７】
そのため、処理可能な帳票、すなわち、上記のような一文字枠、ブロック枠、枠の外形が矩形状となっており横枠線が規則的に配置されている構造を持つ表を有する帳票のみでは、文字認識に利用可能な帳票の種類が限定されてしまい、様々な形状の枠や表を有する一般帳票の対応には不十分であった。
【０００８】
そこで、本出願人は、先願の特願平７−２０３２５９の明細書に記載されているように、例えば、図３６（ａ）に示す枠の外形が矩形状となっており横枠線が規則的に配置されている構造を持つ表のほか、図３６（ｂ）に示すにように、外形が矩形となっていない表を有する帳票や表の一部分にさらに細かい表構造（図３６（ｂ）の網かけ部分）を有する帳票、また点線と実線とが混在している帳票などなどに対しても対応することが可能な技術を提案した。
【０００９】
以下、先願の特願平７−２０３２５９の明細書に記載されている技術の概要について図面を参照しながら説明する。
図３７は、先願の特願平７−２０３２５９の明細書に記載されているパターン抽出装置の構成を示すブロック図である。
【００１０】
図３７において、先願のパターン抽出装置は、連結パターン抽出部１５１、マスク処理部１５２、横直線抽出部１５３、横点線検出部１５９、縦直線抽出部１６０、縦点線検出部１６６、横枠決定部１６７、縦枠決定部１６８、入れ子構造処理部１６９及び矩形表現部１７２を備えている。
【００１１】
横直線抽出部１５３は、横隣接投影部１５４、横線分検出部１５５、横線分統合部１５６、横直線検出部１５７及び横直線探索部１５８を備えている。
また、縦直線抽出部１６０は、縦隣接投影部１６１、縦線分検出部１６２、縦線分統合部１６３、縦直線検出部１６４及び縦直線探索部１６５を備えている。
【００１２】
また、入れ子構造処理部１６９は、矩形内の横枠決定部１７０及び縦枠決定部１７１を備えている。
連結パターン抽出部１５１は、縦、横及び斜めの８方向のいずれかで繋がっている８連結の部分パターンを、ラベリングにより連結パターンとして抽出する。
【００１３】
マスク処理部１５２は、連結パターン抽出部１５１で抽出された連結パターンに対し、画像全体に対して横長、縦長の２種類のマスクによる走査を行う。そして、マスク内においてパターンが占める割合を算出し、その割合がある所定値より大きければそのマスク内を全てパターンとみなし、また該所定値以下であれば、マスク内のパターンを削除することにより、縦横成分を抽出する。
【００１４】
横隣接投影部１５４及び縦隣接投影部１６１は、マスク処理されたパターンを横方向及び縦方向に複数に分割し、横方向及び縦方向に分割したそれぞれの範囲内でパターンの隣接投影を算出し、ある一定の長さの線分又は直線の一部を矩形近似により検出する。ここで、隣接投影とは、注目行又は注目列の投影値に周囲の行又は列の投影値を足し合わせたものである。
【００１５】
横線分検出部１５５及び縦線分検出部１６２は、部分パターンのマスク処理画像に対する隣接投影値に基づいて、横方向及び縦方向におけるある一定長さの線分又は直線の一部を、矩形近似により検出する。
【００１６】
横線分統合部１５６及び縦線分統合部１６３は、横線分検出部１５５及び縦線分検出部１６２で検出された矩形線分のうち、近隣の矩形線分同士を統合して長い直線とする。
【００１７】
横直線検出部１５７及び縦直線検出部１６４は、横線分統合部１６６及び縦線分統合部１６３において得られた直線を矩形近似し、横枠又は縦枠を構成する直線の候補を検出する。
【００１８】
横直線探索部１５８及び縦直線探索部１６５は、横直線検出部１５７及び縦直線検出部１６４で矩形近似された横線または縦線の直線の探索を行い、横線の場合は左右端、縦線の場合は上下端を検出する。
【００１９】
横点線検出部１５９及び縦点線検出部１６６は、ある一定の間隔で並んでいる小さいパターンを検出して点線が存在するとみなし、この点線に対して上述した直線と同様に矩形近似を行う。
【００２０】
横枠決定部１５７は、上記検出された横線の中から、各行の横枠を構成している２本の横線の組を決定する。これは、上から順番に横線を２本抽出し、抽出した２本の横線の長さが同じ、又は下の直線の方が長ければ、その２本を横線の組とする。そして、抽出した２本の横線の長さが同じ、又は下の直線の方が長いようにできない場合に限り、下の直線の方が短くても組にする。
【００２１】
縦枠決定部１６８は、枠の検出処理において縦枠を決定する処理を行うもので、縦直線抽出部１６０で抽出された縦線のうち、横枠決定部１６７で横枠の２本組として決定された２本の横線に上下とも達しているものを縦枠とする。
【００２２】
矩形表現部１７２は、横枠決定部１６７で決定された２本組の横枠と、該２本組の横枠の上下に達していると縦枠決定部１６８で決定された２本の縦枠とで囲まれた矩形を抽出するものである。
【００２３】
入れ子構造処理部１６９は、矩形表現部１７２で抽出された第１の矩形の中から、その内部にさらに第２の矩形を含む入れ子構造を検出し、この第１の矩形に対して矩形内の横枠決定部１７０及び縦枠決定部１７１で処理を行うことにより、入れ子構造の第１の矩形をさらに小さな第２の矩形に分割する。
【００２４】
このことにより、様々な構造の表形式枠から直線及び点線を抽出し、この抽出された直線及び点線が枠であるかを判断し、その判断の結果得られた枠情報を基に、文字が書かれる文字記入枠を正確に抽出することが可能となる。
【００２５】
【発明が解決しようとする課題】
しかしながら、従来の技術で対応可能な帳票は、枠を構成する罫線としてかすれのない線を対象としており、図３８に示すように、かすれのある線で構成される帳票に対しては正確な処理を行うことが困難であった。
【００２６】
かすれはスキャナの精度が少しでも悪いと発生し、かすれのない線のみを対象とする場合、パターン抽出装置の利用可能な範囲が限られてしまうため、一般の帳票に対応するには従来の技術では不十分であった。
【００２７】
そこで、本発明の第１の目的は、枠を構成する線にかすれが存在する場合でも、パターン領域を正確に抽出できるようにすることである。
また、本発明の第２の目的は、矩形領域内の一部の領域に存在する入れ子構造の枠を正確に抽出できるようにすることである。
【００２８】
【課題を解決するための手段】
本発明は、かすれがある枠を正確に抽出するため、空白の長さがしきい値以下である場合、空白領域にパターンがあるものとみなして、枠を構成する直線を抽出するものである。
【００２９】
さらに、矩形内に存在する横線および縦線の長さと位置関係を調べることにより、矩形内の一部の領域に存在するさらに小さな矩形を抽出するものである。
上述した課題を解決するために、請求項１の発明によれば、同一直線上の第１の線分と第２の線分との間の空白の長さがしきい値以下である場合、第１の線分と第２の線分との間にパターンがあるものとみなして、パターン領域を決定する枠を抽出する。このことにより、枠を構成する直線にかすれがある場合においても、枠を構成する直線を正確に抽出することができ、パターン領域を正確に決定することができる。
【００３０】
また、請求項２の発明によれば、部分パターンの中から所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出する直線抽出手段と、前記直線抽出手段により抽出された直線が、枠を構成する直線であるか否かを判断する判断手段と、前記判断手段により得られた枠を構成する直線情報に基づいて、矩形枠を抽出する枠抽出手段とを備える。このことにより、直線抽出手段は、枠を構成する直線にかすれがある場合においても、枠を構成する直線を正確に抽出することができ、この直線抽出手段により抽出された直線に基づいて矩形枠を抽出することにより、かすれがあるパターンから矩形枠を抽出することができる。
【００３１】
また、請求項３の発明によれば、枠を構成する直線情報に基づいて、第１の矩形枠を抽出する第１の枠抽出手段と、前記第１の枠抽出手段によって抽出された第１の矩形枠内の一部の領域から第２の矩形枠を抽出する第２の枠抽出手段とを備える。このことにより、矩形枠の一部の領域中にさらに小さな矩形枠が存在する表からパターンの切り出しを正確に行うことができる。
【００３２】
また、請求項４の発明によれば、第２の枠抽出手段は、第１の枠抽出手段によって抽出された第１の矩形枠内に一定以上の長さを有する横線が存在し、且つ前記第１の矩形枠の上辺又は下辺と前記横線との両方に達する縦線が存在する場合、前記第１の矩形枠内から前記横線と前記縦線とで構成される第２の矩形枠を抽出する。このことにより、矩形枠の一部の領域中に存在するさらに小さな矩形枠を、文字線分と混同することなく抽出できる。
【００３３】
また、請求項５の発明によれば、所定の大きさ以上の第１の部分パターンと第１の部分パターンの外接矩形範囲内に存在する第２の部分パターンとに共通のラベルを付すラベル付け替え手段と、前記第１の部分パターンと前記第２の部分パターンとから、所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出する直線抽出手段とを備える。このことにより、ラベル付け替え手段は、かすれにより第１の部分パターンから分離している第２の部分パターンを、枠を抽出するパターンの候補に付け加えることができ、直線抽出手段は、かすれにより分離しているパターンから枠を構成する直線を抽出することができる。
【００３４】
また、請求項６の発明によれば、所定の大きさ以上の第１の部分パターンと第１の部分パターンの外接矩形範囲内に存在する第２の部分パターンとに共通のラベルを付すラベル付け替え手段と、前記第１の部分パターンと前記第２の部分パターンとから、所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出する直線抽出手段と、所定の間隔で並んでいる所定の大きさ以下の第３の部分パターンからなる点線を検出する点線検出手段とを備える。このことにより、かすれにより分離している直線や点線を含むパターンからパターン領域を区切る枠を抽出することができる。
【００３５】
また、請求項７の発明によれば、直線抽出手段は、ある行又は列の投影値に、周囲の行又は列の投影値を足し合わせた値を、その行又は列の投影値とする隣接投影法を用いて、前記部分パターンを構成する複数の矩形線分を検出する線分検出手段と、線分検出手段によって得られた複数の線分を統合し、この統合された線分を矩形近似することにより直線を検出する直線検出手段とを備える。このことにより、周囲の行又は列の投影値を足し合わせた投影値により矩形近似して直線を検出することができ、斜めに傾いた直線を正確に検出することができる。
【００３６】
また、請求項８の発明によれば、直線抽出手段は、直線検出手段により検出された直線の原画像のパターンの最も細い部分から、しきい値以下の長さの空白はパターンがあるものとみなして外側へ探索することにより該パターンの両端を検出し、この検出位置を直線の両端の位置として設定する直線探索手段をさらに備える。このことにより、しきい値以下の長さの空白により分離している直線を抽出することができ、枠を構成する直線にかすれがある場合においても、枠を構成する直線を正確に抽出することができる。
【００３７】
また、請求項９の発明によれば、直線抽出手段は、しきい値を部分パターンの大きさに対応させて変える。このことにより、枠を構成する分離している直線を抽出する場合、枠を構成するパターンと間違って文字線分を抽出することを防止することができ、枠を構成する直線を正確に抽出することができる。
【００３８】
また、請求項１０の発明によれば、直線抽出手段は、直線検出手段により検出された直線の傾きを検出する傾き検出手段と、直線の傾きが所定の範囲を越える直線を枠の候補から除去する除去手段とをさらに備える。このことにより、枠内に書かれた斜めの消し線を枠を構成する直線として抽出することを防止することができ、枠を構成する直線を正確に抽出することができる。
【００３９】
また、請求項１１の発明によれば、直線検出手段により検出された直線のうち、縦方向の距離が所定の値以下の横線を統合するとともに、横方向の距離が所定の値以下の縦線を統合する直線統合手段をさらに備える。このことにより、より長いかすれを有する直線を抽出することができ、入力画像の画質が悪い場合においても、枠を構成する直線を正確に抽出することができる。
【００４０】
また、請求項１２の発明によれば、部分パターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出する直線抽出手段と、第１の矩形枠を抽出する第１の枠抽出手段と、前記第１の枠抽出手段によって抽出された第１の矩形枠内に所定の長さ以上の横線が存在する場合、前記横線を枠として有する第２の矩形枠を抽出する第２の枠抽出手段とを備える。このことにより、枠を構成する直線がかすれにより分離している場合においても、矩形枠の一部の領域中に存在するさらに小さな矩形枠を、文字線分と混同することなく抽出できる。
【００４１】
また、請求項１３の発明によれば、部分パターンから所定の長さ以上の第１の直線、第１のしきい値以下の長さの空白を介して分離している第２の直線及び前記第１のしきい値より小さい第２のしきい値以下の長さの空白を介して分離している第３の直線を抽出する直線抽出手段と、枠を構成する第１の直線、第２の直線及び第３の直線に基づいて、第１の矩形枠を抽出する第１の枠抽出手段と、前記第１の枠抽出手段によって抽出された第１の矩形枠内から、前記第１の直線及び第３の直線に基づいて、第２の矩形枠を抽出する第２の枠抽出手段とを備える。このことにより、より長い直線からなる第１の矩形枠を抽出する場合、かすれを許容するしきい値を大きく設定することができ、より短い直線からなる第２の矩形枠を抽出する場合、かすれを許容するしきい値を小さく設定することができるため、大きな矩形枠を正確に抽出しながら、大きな矩形枠の領域中に存在するより小さな矩形枠を、文字線分と混同することなく抽出できる。
【００４２】
また、請求項１４の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有する第３の直線が一定の本数以上存在する場合、所定の値以上の長さを有する第４の直線の長さを前記第３の直線の長さと同一にする直線補正手段を備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成する直線の端の部分がかすれにより消失しても、端の部分が消失した直線を枠を構成する直線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【００４３】
また、請求項１５の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有する第３の直線が一定の本数以上存在する場合、所定の値以上の長さを有する第４の直線の長さを前記第３の直線の長さと同一にする直線補正手段と、前記点線抽出手段により抽出された第１の点線のうち、同じ長さを有する第２の点線が一定の本数以上存在する場合、所定の値以上の長さを有する第３の点線の長さを前記第２の点線の長さと同一にする点線補正手段ととを備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成する直線及び点線の端の部分がかすれにより消失しても、端の部分が消失した直線及び点線を枠を構成する直線又は点線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【００４４】
また、請求項１６の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有する第３の直線が一定の本数以上存在し、且つ等間隔に並んでいる場合、前記第３の直線を矩形枠を構成する直線とみなす判断手段とを備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成する直線のかすれの度合いにかかわらず、同じ長さを有し且つ等間隔に並んでいる直線を枠を構成する直線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【００４５】
また、請求項１７の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有する第３の直線が一定の本数以上存在し、且つ等間隔に並んでいる場合、前記第３の直線を矩形枠を構成する直線とみなす第１の判断手段と、前記点線抽出手段により抽出された第１の点線のうち、同じ長さを有する第２の点線が一定の本数以上存在し、且つ等間隔に並んでいる場合、前記第２の点線を矩形枠を構成する点線とみなす第２の判断手段とを備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成する直線及び点線のかすれの度合いにかかわらず、同じ長さを有し且つ等間隔に並んでいる直線及び点線を枠を構成する直線又は点線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【００４６】
また、請求項１８の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有し第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有し前記第１の間隔の整数倍の第２の間隔を有する第４の直線が存在する場合、前記第２の間隔内に前記第１の間隔で前記第３の直線と同じ長さを有する第５の直線を生成する直線生成手段とを備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成する直線がかすれにより消失しても、消失した直線を枠を構成する直線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【００４７】
また、請求項１９の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有し第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有し前記第１の間隔の整数倍の第２の間隔を有する第４の直線が存在する場合、前記第２の間隔内に前記第１の間隔で前記第３の直線と同じ長さを有する第５の直線を生成する直線生成手段と、前記点線抽出手段により抽出された第１の点線のうち、同じ長さを有し第３の間隔で並んでいる第２の点線が一定の本数以上存在し、且つ前記第２の点線と同じ長さを有し前記第３の間隔の整数倍の第４の間隔を有する第３の点線が存在する場合、前記第４の間隔の領域に前記第３の間隔で前記第２の点線と同じ長さを有する第４の点線を生成する点線生成手段とを備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成する直線及び点線がかすれにより消失しても、消失した直線及び点線を枠を構成する直線又は点線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【００４８】
また、請求項２０の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有し第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有する第４の直線が前記第１の間隔内に存在する場合、前記第４の直線を枠の候補から除去する直線除去手段とを備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成しない直線を枠を構成する直線の候補から除去することができ、枠を構成する直線のみを正確に抽出することができるので、矩形枠を抽出する精度を上げることができる。
【００４９】
また、請求項２１の発明によれば、縦方向及び横方向に等間隔で区切られたパターンから所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するを抽出する直線抽出手段と、所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、前記直線抽出手段により抽出された第１の直線及び第２の直線のうち、同じ長さを有し第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有する第４の直線が前記第１の間隔内に存在する場合、前記第４の直線を枠の候補から除去する直線除去手段と、前記点線抽出手段により抽出された第１の点線のうち、同じ長さを有し第２の間隔で並んでいる第２の点線が一定の本数以上存在し、且つ前記第２の点線と同じ長さを有する第３の点線が前記第２の間隔内に存在する場合、前記第３の点線を枠の候補から除去する点線除去手段ととを備える。このことにより、縦方向及び横方向に等間隔で区切られたパターンの場合、枠を構成しない直線及び点線を枠を構成する直線及び点線の候補から除去することができ、枠を構成する直線及び点線のみを正確に抽出することができるので、矩形枠を抽出する精度を上げることができる。
【００５０】
【発明の実施の形態】
以下、本発明の一実施例によるパターン抽出装置の機能的な構成を、図面を参照しながら詳細に説明する。
【００５１】
図１は、本発明の一実施例によるパターン抽出装置の機能構成を示すブロック図である。
図１において、連結パターン抽出手段２００は、入力されたパターンからラベリングにより連結した部分パターンを抽出するものである。
【００５２】
ラベル付け替え手段２０１は、連結パターン抽出手段２００によりラベルが付された第１の部分パターンに対して所定の位置に存在し、且つ所定のサイズより大きな第２の部分パターンのラベルを第１の部分パターンのラベルと同一にするものである。
【００５３】
直線抽出手段２０２は、ラベル付け替え手段２０１により同一のラベルを付された部分パターンの中から、所定の長さ以上の第１の直線及びしきい値以下の長さの空白を介して分離している第２の直線を抽出するものである。
【００５４】
ここで、直線抽出手段２０２は、検出した直線の傾きを検出する傾き検出手段２０２ａと傾き検出手段２０２ａで検出された直線の傾きが所定の範囲を越える直線を枠の候補から除去する除去手段２０２ｂとを備えている。
【００５５】
枠抽出手段２０３は、直線抽出手段２０２により得られた枠を構成する直線情報に基づいて、矩形枠を抽出するものである。
ここで、枠抽出手段２０３は、直線抽出手段２０２により抽出された横直線を上から順番に２本づつ組にして横枠とし、上端及び下端が横枠に達している縦直線を縦枠とする。
【００５６】
また、枠抽出手段２０３は、矩形枠の中に存在するさらに小さな矩形枠を検出する入れ子構造検出手段２０３ａを備えている。この入れ子構造検出手段２０３ａは、枠抽出手段２０３によって抽出された矩形枠内に一定以上の長さを有する横線が存在し、且つ矩形枠の上辺又は下辺と横線との両方に達する縦線が存在する場合、矩形枠の中にさらに小さな矩形枠が存在すると判断する。
【００５７】
パターン切り出し手段２０４は、枠抽出手段２０３により抽出された矩形範囲に基づいて、パターン領域を抽出するものである。
次に、本発明の一実施例によるパターン抽出装置の動作を説明する。
【００５８】
図１において、連結パターン抽出手段２００により抽出された部分パターンから、所定の値より大きな部分パターンを抽出することにより、枠を構成する候補となるパターンを取り出す。
【００５９】
次に、ラベル付け替え手段２０１は、所定の値より大きな第１の部分パターンに対して所定の位置に存在する第２の部分パターン、すなわち、かすれのために第１の部分パターンから分離した第２の部分パターンのラベルを第１の部分パターンのラベルと同一にする。そして、枠を構成する候補となる第１の部分パターンの中に、第１の部分パターンから分離した第２の部分パターンを含むようにする。
【００６０】
次に、直線抽出手段２０２は、ラベル付け替え手段２０１により同一のラベルを付された部分パターンの中から、しきい値以下の長さの空白領域にはパターンが存在するものとみなして直線を抽出する。このことにより、かすれのために分離している直線を枠の候補として抽出することができる。
【００６１】
ここで、検出した直線の傾きを傾き検出手段２０２ａにより検出し、直線の傾きが他の直線と異なっている直線を枠の候補から除去する。
次に、枠抽出手段２０３は、直線抽出手段２０２により得られた枠を構成する直線情報に基づいて、矩形枠を抽出する。そして、入れ子構造検出手段２０３ａが第１の矩形枠の中にさらに小さな第２の矩形枠が存在すると判断した場合、第１の矩形枠から第２の矩形枠を抽出する。。
【００６２】
次に、パターン切り出し手段２０４は、矩形枠により区切られたパターン領域を抽出する。
次に、本発明の第１実施例によるパターン抽出装置を、図面を参照しながら詳細に説明する。
【００６３】
図２は、本発明の第１実施例によるパターン抽出装置の構成を示すブロック図である。 このパターン抽出装置は、パターンの書き込み領域が規則的な構造を有する表だけではなく、不規則な構造を有する表においても、枠を正確に抽出できるようにしたものである。また、実線と点線の罫線が混在する表や、入れ子構造を有する表、さらには枠を構成する線にかすれがある表にも適用可能である。
【００６４】
なお、以下の説明では、枠が単数または複数個あり、また、サイズや位置や傾きなどが分からない枠に対して文字が書かれている（この場合、文字が枠と接触したり、枠からはみ出していてもよい）帳票から、枠を抽出する場合について説明する。また、対象となる入力パターンは、極端な傾きや回転の補正が行われた後の２値画像である。
【００６５】
図２に示すように、第１実施例のパターン抽出装置は、連結パターン抽出部１、マスク処理部２、横直線抽出部３、横点線検出部９、横直線統合部１０、縦直線抽出部１１、縦点線検出部１７、縦直線統合部１８、横枠決定部１９、縦枠決定部２０、入れ子構造処理部２１及び矩形表現部２４を備えている。
【００６６】
横直線抽出部３は、横隣接投影部４、横線分検出部５、横線分統合部６、横直線検出部７及び横直線探索部８を備えている。
また、縦直線抽出部１１は、縦隣接投影部１２、縦線分検出部１３、縦線分統合部１４、縦直線検出部１５及び縦直線探索部１６を備えている。
【００６７】
また、入れ子構造処理部１９は、矩形内の横枠決定部２２及び縦枠決定部２３を備えている。
連結パターン抽出部１は、複数の枠が配置される位置の相対的な関係に依存することなく、各パターンを安定に抽出するために、縦、横及び斜めの８方向のいずれかで繋がっている８連結の部分パターンを、ラベリングにより連結パターンとして抽出する。
【００６８】
このラベリングにより得られる部分パターンは、文字が接触していない枠或いは枠の一部、文字が接触している枠或いは枠の一部、枠に接触していない文字或いは文字の一部、または枠に接触している文字のいずれかである。そして、これらの部分パターンを判別し、所定のサイズより大きな連結パターンの集合を表の候補として抽出する。
【００６９】
すなわち、連結パターン抽出部１により抽出された部分パターンのうち、一定以上の大きさを有する第１の部分パターンを表の候補とする。そして、第１の部分パターンに対して所定の位置に存在し、且つ所定のサイズより大きな第２の部分パターンのラベルを第１の部分パターンのラベルと同一になるように変更し、この第２の部分パターンを表の候補に追加する。
【００７０】
このラベルの付け替え処理は、本来枠を構成するパターンが、かすれにより分離して別のパターンとして処理されることを防止するためのものである。
なお、ラベリングで得られた部分パターンのサイズが後に必要になるので、部分パターンを矩形近似して得られる矩形の角の座標をラベリングの処理中に算出しておく。
【００７１】
図３は、連結パターン抽出部１の動作の一例を示す図である。
連結パターン抽出部１は、図３（ａ）に示す画像の入力パターンに対しラベリングを行い、８連結で繋がっている各部分パターンにラベル１〜７を付す。図３(a) において、入力パターンは１，２，１，８，４，５の数字とかすれを有する枠からなる。「８連結」のパターンとは、縦、横、斜めの８方向において特定画素に関してその隣接画素が存在するとき繋がっているとし、存在しないとき繋がっていないとすることにより、形成された一続き（連結）のパターンを言う。たとえば、ラベル１は外枠を示す４辺、各辺に連結した内枠および外枠の一辺に繋がった数字５であり、ラベル２は数字１である。
【００７２】
次に、一定以上の大きさを有するラベル１が付された部分パターンを枠からなる表の候補とする。
次に、図３（ｂ）に示すように、ラベル１が付された部分パターンに対して所定の位置に存在し、且つ所定のサイズより大きなラベル５〜７が付された部分パターンのラベルをラベル１に変更する。
【００７３】
このことにより、本来枠を構成するラベル７が付された部分パターンを表の候補として取り扱うことが可能となる。なお、ラベル５、ラベル６が付された部分パターンは後の処理で表の候補から除かれる。
【００７４】
図４は、連結パターン抽出部１の動作を示すフローチャートである。
図４において、まず、ステップＳ１に示すように、連結パターン抽出部１のラベリング処理により、８連結で繋がっている部分パターンを抽出してラベルを付す。
【００７５】
次に、ステップＳ２に示すように、連結パターン抽出部１により抽出された部分パターンのうち、一定以上の大きさを有する第１の部分パターン（Ａ）を枠の候補とする。
【００７６】
次に、ステップＳ３に示すように、所定のサイズより大きな第２の部分パターン（Ｂ）であって、第２の部分パターン（Ｂ）の外接矩形の右辺ＸＲｂが第１の部分パターン（Ａ）の外接矩形の右辺ＸＲａとが重なっているか又は第２の部分パターン（Ｂ）の外接矩形の右辺ＸＲｂが第１の部分パターン（Ａ）の外接矩形の右辺ＸＲａより左側にあり、且つ第２の部分パターン（Ｂ）の外接矩形の左辺ＸＬｂが第１の部分パターン（Ａ）の外接矩形の左辺ＸＬａとが重なっているか又は第２の部分パターン（Ｂ）の外接矩形の左辺ＸＲｂが第１の部分パターン（Ａ）の外接矩形の左辺ＸＲａより右側にあり、且つ第２の部分パターン（Ｂ）の外接矩形の上辺ＹＵＰｂが第１の部分パターン（Ａ）の外接矩形の上辺ＸＵＰａとが重なっているか又は第２の部分パターン（Ｂ）の外接矩形の上辺ＸＵＰｂが第１の部分パターン（Ａ）の外接矩形の上辺ＸＵＰａより下側にあり、且つ第２の部分パターン（Ｂ）の外接矩形の下辺ＹＢＬｂが第１の部分パターン（Ａ）の外接矩形の下辺ＸＢＬａとが重なっているか又は第２の部分パターン（Ｂ）の外接矩形の下辺ＸＢＬｂが第１の部分パターン（Ａ）の外接矩形の下辺ＸＢＬａより上側にあるものを検出する。
【００７７】
次に、ステップＳ４に示すように、ステップＳ３で検出された第２の部分パターン（Ｂ）のラベルを第１の部分パターン（Ａ）のラベルと同一にする。
例えば、図５（ａ）に示すように、第２の部分パターン（Ｂ）の外接矩形３１は第１の部分パターン（Ａ）の外接矩形３０に囲まれており、ステップＳ３の条件を満たすので、第２の部分パターン（Ｂ）のラベルを第１の部分パターン（Ａ）のラベルと同一にする。
【００７８】
また、図５（ｂ）に示すように、第２の部分パターン（Ｂ）の外接矩形３３は第１の部分パターン（Ａ）の外接矩形３２からはみ出しており、ステップＳ３の条件を満たさないので、第２の部分パターン（Ｂ）のラベルの付け替えを行わない。
【００７９】
マスク処理部２は、連結パターン抽出部１で抽出されたある一定の大きさを有する第１の連結パターン及び第１の連結パターンと同一ラベルに変更された第２の連結パターンに対し、画像から極端な斜め成分を省き、枠だけに存在する長い直線の抽出を容易にするための処理を行う。
【００８０】
すなわち、画像全体に対して横長、縦長の２種類のマスクによる走査を行う。そして、マスク内においてパターンが占める割合を算出し、その割合がある所定値より大きければそのマスク内を全てパターンとみなし、また該所定値以下であれば、マスク内のパターンを削除することにより、縦横成分を抽出する。
【００８１】
そして、複数の行または列が続いて、前記の割合が所定値より大きくなった場合、それらをまとめて矩形範囲をつくり、その中心線を処理結果とする。
また、該マスク処理の結果得られる線分どうしの隙間が開かないようにするために、マスク処理を行う範囲がお互いに重なりを持つように設定する。なお、原画像はマスク処理画像とは別に記憶しておく。
【００８２】
例えば、縦×横が１×６画素の矩形範囲を指定するマスクにより横成分を抽出する場合、図６に示すようにして原画像の処理が行われる。図６（ａ）は、互いに重なり合ったマスク「１」〜「９」を示し、図６（ｂ）の原画像に対してこれらのマスクを用いてマスク処理を行うことにより、図６（ｃ）において黒丸で示された横成分の画素が抽出される。
【００８３】
図７は、マスク処理部２の動作を示すフローチャートである。
同図において、まず、ステップＳ１１に示すように、連結パターン抽出部１で得られた部分パターンの原画像全体に対して、横長及び縦長の２種類のマスクで走査を行う。
【００８４】
次に、ステップＳ１２に示すように、マスク内のパターンの占める割合、すなわち、マスクの面積に対するマスク内のパターンの面積を算出し、この割合が、所定値より大きいかどうかの判断を行う。そして、マスク内のパターンの占める割合が所定値より小さいと判断された場合、ステップＳ１３に進み縦成分又は横成分がないとして処理を終了する。
【００８５】
一方、ステップＳ１２でマスク内のパターンの占める割合が所定値より大きいと判断された場合、ステップＳ１４に進み、マスク内を全てパターンとみなし、該パターンを、全て、縦成分又は横成分とする。
【００８６】
次に、ステップＳ１５に示すように、ステップＳ１４で得られた成分が、上下の成分又は左右の成分と接しているかどうかの判断を行う。そして、上下の成分又は左右の成分と接していないと判断された場合、ステップＳ１６に進み、ステップＳ１４で得られた成分を処理結果として出力する。
【００８７】
一方、ステップＳ１５で上下の成分又は左右の成分と接していると判断された場合、ステップＳ１７に進み、互いに接している成分を統合する。そして、ステップＳ１８において、ステップＳ１７で統合した成分から矩形範囲を作成し、ステップＳ１９において、ステップＳ１８得られた矩形範囲の中心線を処理結果として出力する。
【００８８】
以上のマスク処理により、例えば、図８（ａ）に示す同一のラベル１を付された部分パターンから、図８（ｂ）に示すような斜め成分が除去され線幅が均一化されたパターン３４が得られる。
【００８９】
横隣接投影部４及び縦隣接投影部１２は、マスク処理されたパターンを横方向及び縦方向に複数に分割し、横方向及び縦方向に分割したそれぞれの範囲内でパターンの隣接投影を算出し、ある一定の長さの線分又は直線の一部を矩形近似により検出する。ここで、隣接投影とは、注目行又は注目列の投影値に周囲の行又は列の投影値を足し合わせたものである。このことにより、直線が傾いていて複数の行又は複数の列にわたっている場合においても、直線を正確に検出することができる。従って、隣接投影を用いることにより、ブロック枠などの大きな枠を検出する場合、その枠が傾いていても、枠を構成する直線を検出することが可能である。
【００９０】
例えば、図９において、ｉ行の投影値をｐ（ｉ）とすると、隣接投影値Ｐ（ｉ）は、（１）式により算出することができる。
Ｐ（ｉ）＝ｐ（ｉ−ｊ）＋・・・＋ｐ（ｉ）＋・・・＋ｐ（ｉ＋ｊ）（１）
なお、図９に示す例は、（１）式においてｊ＝１とおいたものである。
【００９１】
図１０は、横隣接投影部４及び縦隣接投影部１２の動作を示すフローチャートである。
図１０において、まず、ステップＳ２１で、マスク処理部２で得られた同一のラベルを有する部分パターンを横方向及び縦方向に複数の部分に分割する。次に、ステップＳ２２で、横方向及び縦方向のそれぞれの分割範囲内で投影値を算出する。
【００９２】
次に、ステップＳ２３において、ステップＳ２２で算出されたそれぞれの投影値に周囲の投影値を加算する。次に、ステップＳ２４で、（１）式に基づいて、隣接投影値Ｐ（ｉ）を算出する。
【００９３】
横線分検出部５及び縦線分検出部１３は、部分パターンのマスク処理画像に対する隣接投影値に基づいて、横方向及び縦方向におけるある一定長さの線分又は直線の一部を、矩形近似により検出する。
【００９４】
すなわち、横隣接投影部４及び縦隣接投影部１２で算出された隣接投影値と縦横それぞれの分割長との比が所定の閾値以上である部分を直線の候補が存在する位置とする。また、連続する複数の行又は列が所定の閾値値以上となった場合は、それらの連続する複数の行又は列をまとめた矩形範囲を直線の候補が存在する位置とする。なお、この矩形近似により検出した一定長さの線分又は直線の一部を、以後「矩形線分」と呼ぶ。この線分検出処理により、例えば、図１１（ａ）に示すような斜めに傾いた横線４０から、図１１（ｂ）に示す横方向に分割された３つの矩形線分４１が得られる。
【００９５】
ここで、隣接投影法ではなく、通常の投影法を用いた場合、図１１（ａ）に示すような斜めに傾いた直線４０を検出することは不可能である。このため、斜めに傾いた直線４０を通常の投影法で検出するには、部分パターンの分割数を増やし分割長を短くする必要がある。しかし、部分パターンの分割長が短くなると、文字を構成している短い直線も多数検出され、文字と枠とを区別することが困難になる。これに対して、隣接投影法を用いることにより、枠を構成する比較的長い直線を文字を構成している短い直線と区別しながら正確に検出することができる。
【００９６】
図１２は、横線分検出部５及び縦線分検出部１３の動作を示すフローチャートである。
図１２において、まず、ステップＳ３１で、横隣接投影部４及び縦隣接投影部１２で算出された隣接投影値と縦横それぞれの分割長との比が所定のしきい値以上であるかどうかを判定する。そして、隣接投影値と縦横それぞれの分割長との比が所定のしきい値以上でないと判断された場合、ステップＳ３２に進み、線分が存在しないものとみなす。
【００９７】
一方、ステップＳ３１で隣接投影値と縦横それぞれの分割長との比が所定のしきい値以上であると判断された場合、ステップＳ３３に進み、線分が存在するものとみなす。
【００９８】
次に、ステップＳ３４において、ステップＳ３３で線分とみなされたパターンが、その上下に存在する線分と接しているかどうかを判断する。そして、上記パターンが上下に存在する線分と接していないと判断された場合、ステップＳ３５に進み、そのパターンを矩形線分とする。
【００９９】
一方、ステップＳ３４において、ステップＳ３３で線分とみなされたパターンがその上下に存在する線分と接していると判断された場合、ステップＳ３６に進み、上記パターンとその上下に存在する線分とを統合する。そして、ステップＳ３７で、ステップＳ３６で統合した線分を矩形線分として検出する。
【０１００】
横線分統合部６及び縦線分統合部１４は、横線分検出部５及び縦線分検出部１３で検出された矩形線分のうち、近隣の矩形線分同士を統合して長い直線とするものである。
例えば、図１３（ｂ）に示すように、途中で途切れていない矩形線分ｘ、ｙ、ｚが接触しているか又は繋がっている場合、これらの矩形線分ｘ、ｙ、ｚを統合して長い直線とする。また、図１３（ａ）に示すように、矩形線分ｘ、ｙが繋がっていない場合、矩形線分ｘ、ｙの垂直方向の距離が隣接投影法において加算する行又は列数ｊ以内ならば、矩形線分ｘ、ｙ、ｚを統合して長い直線とする。
【０１０１】
図１４は、横線分統合部６及び縦線分統合部１４の動作を示すフローチャートである。
同図において、まず、ステップＳ４１で、横線分検出部５及び縦線分検出部１３で検出された矩形線分に対し、矩形線分同士の距離を算出する。次に、ステップＳ４２で、ステップＳ４１で算出された矩形線分同士の距離が、隣接投影法において加算する行又は列数ｊ以内であるかどうかを判定する。そして、矩形線分同士の距離が隣接投影法において加算する行又は列数ｊ以内でない場合、ステップＳ４３に進み、矩形線分の統合を行わない。
【０１０２】
一方、ステップＳ４２において、矩形線分同士の距離が隣接投影法において加算する行又は列数ｊ以内であると判断された場合、ステップＳ４３に進み、矩形線分の統合を行う。
【０１０３】
横直線検出部７及び縦直線検出部１５は、横線分統合部６及び縦線分統合部１４において得られた直線を矩形近似し、横枠又は縦枠を構成する直線の候補を検出する。例えば、図１５（ａ）に示す統合された直線４２を矩形近似し、図１５（ｂ）で破線により示された直線４３を得る。
【０１０４】
また、検出された直線の傾きを統合された線分の両端の座標から算出し、他の直線の傾きと比較して異なる傾きを有する直線を、枠の中に書かれた斜めの消し線等、枠でない部分であるとみなし、直線の候補から除く。
【０１０５】
横直線探索部８及び縦直線探索部１６は、横直線検出部７及び縦直線検出部１５で矩形近似された横線または縦線の直線について、横線の場合は左右端、縦線の場合は上下端を正確に検出するために、矩形近似された直線を構成するパターンの探索を行う。ここで、探索の進行方向にパターンのない空白領域が存在しても、一定の画素数以下の空白領域に対してはパターンがあるとみなして探索を行う。このことにより、かすれのために分離している直線からなる枠の候補を正確に検出することができる。
【０１０６】
例えば、図１６に示すように、横線である矩形近似された直線４４に対して、該直線４４を構成するパターン４５の検索を行う場合、一定の画素数以下の空白領域４６に対してはパターンがあるとみなして探索を行う。そして、以後の処理において、この検索で得られたパターン４５の左右端を、上記矩形近似された直線４４の左右端の代わりに用いる。
【０１０７】
図１７は、横直線探索部８の動作を示すフローチャートである。
図１７において、まず、ステップＳ５１に示すように、横直線検出部７で近似した矩形範囲内のパターンのうち、最も細い部分のＸ座標を算出する。
【０１０８】
次に、ステップＳ５２に示すように、ステップＳ５１で算出したＸ座標におけるパターンの中心点を算出する。そして、ステップＳ５３に示すように、ステップＳ５２で算出したパターンの中心点を探索の開始点とする。ここで、探索の開始点をパターンの最も細い部分とするのは、最も細い部分は文字である可能性が低いため、枠となる直線の探索をより確実に行うことができるからである。
【０１０９】
次に、ステップＳ５４で直線の探索方向を右に設定する。
次に、ステップＳ５５に示すように、空白領域の長さをカウントする変数Ｋの初期値を０に設定する。
【０１１０】
次に、ステップＳ５６に示すように、ステップＳ５３で求めた開始点をパターンの探索の現在地と設定する。
次に、ステップＳ５７に示すように、ステップＳ５６で設定した探索の現在地が上記矩形範囲の内部であるかどうかの判定を行い、探索の現在地が矩形範囲の内部でない場合、ステップＳ６６に進む。
【０１１１】
一方、ステップＳ５７で探索の現在地が矩形範囲の内部であると判定された場合、ステップＳ５８に進み、探索の現在地からみて探索方向隣にパターンがあるかどうか判定する。ここで、探索の現在地からみて探索方向隣にパターンがあるとは、図１８に示すように、パターン５１からみて右方向隣の位置にパターン５２が存在していることを意味している。そして、探索の現在地からみて探索方向隣にパターン５２があると判定された場合、ステップＳ６１に進み、探索方向隣にあるパターン５２を探索の現在地とする。
【０１１２】
一方、ステップＳ５８で探索の現在地からみて探索方向隣にパターンがないと判定された場合、ステップＳ５９に進み、探索の現在地からみて探索方向斜め隣にパターンがあるかどうか判定する。ここで、探索の現在地からみて探索方向斜め隣にパターンがあるとは、図１８に示すように、パターン５３からみて右方向斜め隣の位置にパターン５４ａ又はパターン５４ｂが存在していることを意味している。そして、探索の現在地からみて探索方向斜め隣にパターン５４ａ、５４ｂがあると判定された場合、ステップＳ６３に進み、探索方向斜め隣にあるパターン５４ａ、５４ｂを探索の現在地とする。なお、探索方向斜め隣にあるパターン５４ａ、５４ｂが２つある場合はパターン５４ａ、５４ｂのどちらか一方を探索の現在地とする。
【０１１３】
一方、ステップＳ５９で探索の現在地からみて探索方向斜め隣にパターン５４ａ、５４ｂがないと判定された場合、ステップＳ６０に進み、空白領域の長さをカウントする変数Ｋがしきい値以下であるかどうかを判定する。そして、空白領域の長さをカウントする変数Ｋがしきい値以下である場合、ステップＳ６４に進み、探索の現在地からみて探索方向隣にありパターンを構成しない画素を現在地とする。例えば、図１６において、一定の画素数以下の空白領域４６に対してはパターンがあるとみなして探索を行う。
【０１１４】
次に、ステップＳ６５に示すように、空白領域の長さをカウントする変数Ｋの値を１ドット増やし、ステップＳ５７に戻る。
一方、ステップＳ６０で空白領域の長さをカウントする変数Ｋがしきい値以下でないと判定された場合、ステップＳ６６に進み、探索方向は右に設定されているかどうかを判定する。そして、探索方向は右に設定されていない場合、処理を終了する。
【０１１５】
ステップＳ６６で探索方向は右に設定されている場合、ステップＳ６７に進み、探索方向を左に設定する。そして、探索方向を右に設定して行った処理と同様に、ステップＳ５５〜ステップＳ６５の処理を繰り返す。ここで、探索方向を左に設定して処理を行う場合、探索の現在地からみて探索方向隣にパターンがあるとは、図１８に示すように、パターン５５からみて左方向隣の位置にパターン５６が存在していることを意味している。また、探索の現在地からみて探索方向斜め隣にパターンがあるとは、図１８に示すように、パターン５７からみて左方向斜め隣の位置にパターン５８ａ又はパターン５８ｂが存在していることを意味している。
【０１１６】
なお、縦直線探索部１６の動作は、図１７のフローチャートの処理において、横直線検出部７で検出されたパターンではなく縦直線検出部１５で検出されたパターンを対象とし、また、探索方向を左右から上下に変更し、さらに、Ｘ座標をＹ座標に変更する以外は横直線探索部８の動作と同様である。
【０１１７】
なお、許容可能な空白の長さを、それぞれの部分パターンの大きさに対応させて変化させることにより、文字線分を枠とみなしてしまう可能性を低くすることができる。
【０１１８】
横点線検出部９及び縦点線検出部１７は、所定の大きさのパターンがある一定の間隔で並んでいる時、点線が存在するとし、この点線に対して上述した直線と同様に矩形近似を行うものである。点線を検出した後は実線、点線ともに、同じ直線として扱う。
【０１１９】
図１９は、横点線検出部９及び縦点線検出部１７の動作を示すフローチャートである。
図１９において、まず、ステップＳ７１で、入力された画像の一部を横方向又は縦方向に短冊状に切り出す。
【０１２０】
次に、ステップＳ７２で、ステップＳ７１で短冊状に切り出した範囲内で、ある一定の大きさの部分パターンが存在するかどうかを判定する。そして、ある一定の大きさの部分パターンが存在しない場合、処理を終了する。
【０１２１】
一方、ステップＳ７２において、ある一定の大きさの部分パターンが存在すると判定された場合、ステップＳ７３に進み、抽出した部分パターンを含み、且つステップＳ７１で用いた短冊と垂直な短冊状の画像を入力画像から切り出す。
【０１２２】
次に、ステップＳ７４で、ステップＳ７３で切り出した短冊状の画像の内部に、ある一定の大きさの部分パターンが存在するかどうかを判定する。そして、ある一定の大きさの部分パターンが存在しない場合、処理を終了する。
【０１２３】
一方、ステップＳ７４において、ある一定の大きさの部分パターンが存在すると判定された場合、ステップＳ７５に進み、上記部分パターンを抽出し、該部分パターンが一定の間隔で並んでいるかどうか判定する。そして、該部分パターンが一定の間隔で並んでいない場合、処理を終了する。
【０１２４】
一方、ステップＳ７５において、上記抽出した部分パターンが一定の間隔で並んでいると判定された場合、ステップＳ７６に進み、部分パターンの存在する範囲を矩形で囲む。
【０１２５】
次に、ステップＳ７７で、点と点との一間隔分の長さだけステップＳ７６で得られた矩形の両端を延ばす。そして、ステップＳ７８で、該矩形で囲まれた範囲を点線の存在範囲とする。
【０１２６】
横直線統合部１０及び縦直線統合部１８は、横直線抽出部３及び縦直線抽出部１１で抽出された直線の再統合を行う。すなわち、横直線統合部１０及び縦直線統合部１８は、横直線探索部８及び縦直線探索部１６による探索処理では吸収できないより大きなかすれの補正を行う。
【０１２７】
例えば、図２０（ａ）のマスク処理後のパターン３４から、図２０（ｂ）に示すように、横線６１〜６６が横直線抽出部３により抽出される。ここで、横線６２と横線６３との間のかすれ６７の大きさが図１７で示したしきい値より大きい場合、横直線探索部８による探索処理では吸収できないので、横線６２と横線６３とに分離している。
【０１２８】
この横直線探索部８による探索処理では吸収できないかすれ６７を補正するため、横線の場合、同じＹ座標上にあり、且つＸ方向の距離が所定値以下であるかどうかを調べる。
【０１２９】
図２０（ｂ）の横線６２と横線６３とがこの条件を満たす場合、図２０（ｃ）に示すように、横線６２と横線６３とを統合して横線７２とする。この結果、かすれ６７を補正した横線７１〜７５を得る。
【０１３０】
また、縦線の場合、同じＸ座標上にあり、且つＹ方向の距離が所定値以下である直線の統合を行う。
なお、対象としている枠が不規則な枠である場合、直線の長さや位置が様々であるため、極端に距離が離れた直線の統合を行わないようにする。
【０１３１】
図２１は、横直線統合部１０の動作を示すフローチャートである。
図２１において、まず、ステップＳ８１に示すように、横線分統合部６において統合された直線を２本ずつ抽出する。
【０１３２】
次に、ステップＳ８２に示すように、ステップＳ８１で抽出された２本の直線のＸ方向の距離が所定のしきい値以下であるかどうかを判定する。そして、２本の直線のＸ方向の距離が所定のしきい値以下でない場合、処理を終了する。
【０１３３】
一方、ステップＳ８２で２本の直線のＸ方向の距離が所定のしきい値以下であると判定された場合、ステップＳ８３に進み、ステップＳ８１で抽出された２本の直線のＹ方向の距離が所定のしきい値以下であるかどうかを判定する。そして、２本の直線のＹ方向の距離が所定のしきい値以下でない場合、処理を終了する。
【０１３４】
一方、ステップＳ８３で２本の直線のＹ方向の距離が所定のしきい値以下であると判定された場合、ステップＳ８４に進み、ステップＳ８１で抽出された２本の直線を統合して１本に直線とみなす。
【０１３５】
図２２は、縦直線統合部１８の動作を示すフローチャートである。
図２２において、まず、ステップＳ９１に示すように、横線分統合部１４において統合された直線を２本ずつ抽出する。
【０１３６】
次に、ステップＳ９２に示すように、ステップＳ９１で抽出された２本の直線のＹ方向の距離が所定のしきい値以下であるかどうかを判定する。そして、２本の直線のＹ方向の距離が所定のしきい値以下でない場合、処理を終了する。
【０１３７】
一方、ステップＳ９２で２本の直線のＹ方向の距離が所定のしきい値以下であると判定された場合、ステップＳ９３に進み、ステップＳ９１で抽出された２本の直線のＸ方向の距離が所定のしきい値以下であるかどうかを判定する。そして、２本の直線のＸ方向の距離が所定のしきい値以下でない場合、処理を終了する。
【０１３８】
一方、ステップＳ９３で２本の直線のＸ方向の距離が所定のしきい値以下であると判定された場合、ステップＳ９４に進み、ステップＳ９１で抽出された２本の直線を統合して１本に直線とみなす。
【０１３９】
このように、横直線抽出部３及び縦直線抽出部１１で抽出された直線を、横直線統合部３及び縦直線統合部１１で再統合を行うことにより、長いかすれのある直線の抽出を行うことができる。
【０１４０】
次に、以上の処理により抽出された直線に基づいて、枠を検出する処理を行う。この枠検出処理は、上述の処理により抽出された縦横の直線の中から、枠を構成する直線を決定し、上下左右の四辺を枠で囲まれた矩形範囲を左上から順番に抽出することで、枠の構造を検出するものである。
【０１４１】
例えば、図２３（ａ）に示す表８０の場合、まず、該表８０を、図２３（ｂ）に示すように、大枠の複数の行に分割する。次に、図２３（ｃ）に示すように、該行をさらに小さい矩形に分割する。尚、この段階で検出された矩形がさらに細い矩形に分割されている状態を「入れ子」と呼び、この「入れ子」状態にある矩形については新たな表とみなして、図２３（ｄ）に示すように該矩形をさらに小さな矩形に分割する。
【０１４２】
横枠決定部１９は、上記検出された横線の中から、各行の横枠を構成している２本の横線の組を決定する処理を実行するものである。この処理は以下のような規則に従って行われる。
【０１４３】
１）横直線抽出部３で検出された横直線（横線）の中から、上から順番に横線を２本抽出し、これらを２本の横線の組の候補とする。
２）上記抽出した２本の横線が、長さが同じ、又は下の直線の方が長ければ、その２本を、横線の組とする。このとき、２本の横線の長さが異なる場合、長い方の横線を再使用可とする。
【０１４４】
３）上記抽出した２本の横線の内、下の横線の方が短かければ、さらにその下の横線を横枠の候補とし、これらの横線の長さを比較する。また、下の横線の方が右方向又は左方向に短かければ、さらにその下の直線を組の候補とし、これらの横線の長さを比較する。
【０１４５】
４）該比較の結果、上記条件２）を満足する直線が下部に無いことが分かれば、この場合に限り、上記上の横線とその下の横線とを組みとする。
５）一番下の横線の処理後、上部にまだ未処理の直線がある場合は、再び上から順に未処理の横線と再使用可の横線とを用いて、上記１）〜４）の処理を行い、２本の横線の組を作る。
【０１４６】
以上のようにして決定される組となった２本の横線は、以後の処理において、行などの矩形枠を構成する横枠の組（２本組の横枠）として取り扱われる。
図２４、２５は、横枠決定部１９における上記横線の組みを決定する処理を示すフローチャートである。
【０１４７】
図２４において、まず、ステップＳ１０１で、横直線抽出部３で検出された横直線の中から、最上部の２本を取り出す。
次に、ステップＳ１０２で、上記取り出した２本の横直線のうち、上側の横直線をｕｐｌｉｎｅ、下側の横直線をｂｌｌｉｎｅとする。
【０１４８】
次に、ステップＳ１０３で、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとに縦方向の重なりがあるかどうかを判定する。そして、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとに縦方向の重なりがない場合、ステップＳ１０４に進み、直線ｂｌｌｉｎｅの下の直線を新たにｂｌｌｉｎｅとし、この処理を直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとに縦方向の重なりがあるようになるまで続ける。
【０１４９】
一方、ステップＳ１０３において、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとに縦方向の重なりがある場合、ステップＳ１０５に進み、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとの長さが同じであるか又は直線ｕｐｌｉｎｅより直線ｂｌｌｉｎｅの方が長いかどうかを判定する。そして、上記条件を満足する直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅが存在する場合、ステップＳ１０８に進み、上記直線ｕｐｌｉｎｅと上記直線ｂｌｌｉｎｅを２本の横線の組（２本組の横枠）とする。
【０１５０】
一方、ステップＳ１０５において、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとの長さが異なっており、且つ、直線ｕｐｌｉｎｅより直線ｂｌｌｉｎｅの方が短い場合、ステップＳ１０６に進み、直線ｂｌｌｉｎｅより下方に直線ｕｐｌｉｎｅと長さが同じであるか又は直線ｕｐｌｉｎｅより長い直線ｂｌｌｉｎｅ２が存在するかどうかを判定する。そして、上記条件を満足する直線ｂｌｌｉｎｅと直線ｕｐｌｉｎｅが存在する場合、ステップＳ１０７に進み、直線ｂｌｌｉｎｅを直線ｂｌｌｉｎｅ２に変更してステップＳ１０８に進む。
【０１５１】
ここで、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとの長さが同じであるとは、図２６（ａ）のような状態を示し、直線ｕｐｌｉｎｅより直線ｂｌｌｉｎｅの方が短いとは、図２６（ｂ）のような状態を示し、直線ｕｐｌｉｎｅより直線ｂｌｌｉｎｅの方が長いとは、図２６（ｃ）のような状態を示す。
【０１５２】
一方、ステップＳ１０６において、直線ｂｌｌｉｎｅより下方に直線ｕｐｌｉｎｅと長さが同じであるか又は直線ｕｐｌｉｎｅより長い直線ｂｌｌｉｎｅ２が存在しない場合、ステップＳ１０８に進み、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとを２本組の横枠とする。
【０１５３】
次に、ステップＳ１０９で、後述する縦枠決定処理と入れ子処理を行う。
次に、ステップＳ１１０で、ステップＳ１０８で２本組の横枠とした直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅの長さが異なるかどうかを判定する。そして、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅの長さが異なる場合、ステップＳ１１１に進み、右方向へ長い直線又は左方向に長い直線を再利用可として、ステップＳ１１２に進む。
【０１５４】
ここで、上記右方向へ長い直線又は左方向に長い直線とは、図２６（ｄ）に示す直線ｂｌｌｉｎｅ、図２６（ｅ）に示す直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅである。
【０１５５】
一方、ステップＳ１１０において、直線ｕｐｌｉｎｅと直線ｂｌｌｉｎｅとの長さが同じであると判定された場合、ステップＳ１１２に進み、直線ｂｌｌｉｎｅより下方に直線が存在するかどうかを判定する。そして、直線ｂｌｌｉｎｅより下方に直線が存在する場合、ステップＳ１１３に進み、直線ｂｌｌｉｎｅとその下の直線を抽出し、ステップＳ１０２に戻る。
【０１５６】
一方、ステップＳ１１２において、直線ｂｌｌｉｎｅより下方に直線が存在しないと判定された場合、ステップＳ１１４に進み、再使用可の直線を除いて、処理済の直線を処理対象からはずす。
【０１５７】
次に、図２５のステップＳ１１５で、未処理の直線が存在するかどうかを判定する。そして、未処理の直線が存在しない場合、処理を終了する、
一方、ステップＳ１１５において、未処理の直線が存在すると判定された場合、ステップＳ１１６に進み、最上部から直線を２本抽出し、ステップＳ１０２に戻る。
【０１５８】
縦枠決定部２０は、枠の検出処理において縦枠を決定する処理を行うもので、縦直線抽出部１１で抽出された縦線のうち、横枠決定部１９で横枠の２本組として決定された２本の横線に上下とも達しているものを縦枠と決定する。この縦枠の決定は、図２３（ｂ）に示すように、横枠決定部１９で横枠の２本組として決定された横線の間隔、すなわち、一行ごとに処理を行う。
【０１５９】
なお、２本の横線の長さが異なる場合、短い方の直線を一時的に長い方の横線と同じ長さであると仮定して処理を行う。
矩形表現部２４は、図２３（ｃ）に示すように、横枠決定部１９で決定された２本組の横枠と縦枠決定部２０で決定された該２本組の横枠の上下に達している２本の縦枠とで囲まれた矩形を抽出するものである。
【０１６０】
入れ子構造処理部２１は、図２３（ｄ）に示すように、矩形表現部２２で抽出された矩形の中から、その内部にさらに矩形を含む入れ子構造の矩形を検出し、この矩形をさらに小さな矩形に分割する。この入れ子構造の矩形の検出は、矩形表現部２４で抽出された矩形について、その内部に、該矩形の左右の２辺に達している横線が存在するか否かを調べることにより行う。例えば、図２７（ａ）に示すように、抽出された矩形８１が、その内部に左右の２辺８２、８３に達している横線８４が存在する場合、この矩形８１を入れ子構造の矩形とみなす。
【０１６１】
そして、矩形８１内の横枠及び縦枠を決定し矩形表現を行うことにより、入れ子構造内の矩形８５〜８７を抽出する。
また、図２７（ｂ）に示す矩形９１のように、矩形９１の内部の横線９２が存在し、且つ矩形９１の内部の横線９２と矩形９１の横枠９４又は横枠９５との両方に達している縦線９３が存在する場合、矩形９１の内部の一部の領域に存在する矩形９６を入れ子構造の矩形とみなす。
【０１６２】
そして、矩形９６内の横枠及び縦枠を決定し矩形表現を行うことにより、入れ子構造内の矩形９７、９８を抽出する。
図２８は、入れ子構造処理部２１による入れ子処理を説明するフローチャートである。
【０１６３】
同図において、まず、ステップＳ１２０に示すように、ある注目矩形内にあり、ある一定以上の長さを持つ横線を入れ子構造内の横枠とする。
次に、ステップＳ１２１に示すように、入れ子構造内の横枠が矩形の左右の枠に達しているかどうか判定する。そして、入れ子構造内の横枠が矩形の左右の枠に達している場合、ステップＳ１２２に進み、注目矩形を新たに表とみなす。
【０１６４】
一方、ステップＳ１２１で入れ子構造内の横枠が矩形の左右の枠に達していないと判定された場合、ステップＳ１２３に進み、入れ子構造内の横枠と矩形の上枠又は下枠との両方に達している縦線（Ａ）があるかどうか判定する。そして、入れ子構造内の横枠と矩形の上枠又は下枠との両方に達している縦線（Ａ）がない場合、ステップＳ１２４に進み、次の矩形の処理を行う。
【０１６５】
一方、ステップＳ１２３で入れ子構造内の横枠と矩形の上枠又は下枠との両方に達している縦線（Ａ）があると判定された場合、ステップＳ１２５に進み、入れ子構造内の横枠と縦線（Ａ）と矩形を構成する辺とによって囲まれた矩形を新たに表とみなす。
【０１６６】
次に、ステップＳ１２６に示すように、ステップＳ１２６で表とみなした範囲に対し、矩形内の横枠及び縦枠を決定し矩形表現を行うことにより、入れ子構造内の矩形を抽出する。
【０１６７】
このように、本発明の一実施例による入れ子構造処理部２１によれば、矩形内に入れ子構造が存在する場合のほか、矩形内の一部の領域に入れ子構造が存在する場合においても、入れ子構造の枠を検出することができ、様々な形状を有する帳票から文字や記号などを正確に切り出すことができる。
【０１６８】
次に、本発明の第１実施例による入れ子範囲のかすれ処理について説明する。
入れ子構造を含む矩形範囲は、全体の表の大きさと比較すると小さいので、入れ子構造を含む矩形範囲の内部に対しては、吸収可能なかすれの長さを他の罫線の吸収可能なかすれの長さと比べて短くなるように設定する。このため、入れ子構造を含む矩形範囲については、許容可能なかすれの大きさを設定しなおし、再度探索により直線とみなしてよいかを確かめる処理を行う。
【０１６９】
このことにより、入れ子構造を含む矩形範囲の直線において、一定の長さ以上のかすれを有する直線を文字線分とみなして入れ子構造を含む矩形範囲の直線候補から除くことにより、文字線分をかすれのある枠線とみなして処理を行うことを防止できる。
【０１７０】
図２９〜３３に、本発明の第１実施例の実験例を示す。
図２９は、この実験でサンプルとして用いた帳票の原画像を示す図である。
また、図３０は、上記帳票を下記に示す入力パターン条件の基で枠線抽出処理を行ってた結果を示す図であり、図３１は、図３０の枠１００で囲んだ部分を拡大して表示した図である。
【０１７１】
さらに、図３２は、図２９の枠線抽出処理を行ったパターンに対し、矩形表現処理を行った結果を示す図であり、図３３は、図３２の枠１０１で囲んだ部分を拡大して表示した図である。
【０１７２】

以上説明したように、本発明の第１実施例によるパターン抽出装置によれば、不規則な構造を持ち、かすれが存在している帳票であっても、該帳票から矩形枠を正確に抽出することができる。
【０１７３】
次に、本発明の第２実施例によるパターン抽出装置を、図面を参照しながら詳細に説明する。本発明の第１実施例によるパターン抽出装置は、不規則な構造の枠と規則的な構造の枠の両方に適用できるものであるのに対し、本発明の第２実施例によるパターン抽出装置は、規則的な構造の枠に適用するようにしたものである。
【０１７４】
以下、本発明の第２実施例によるパターン抽出装置において、入れ子構造を構成する直線候補の検出方法について説明する。
規則的な構造の枠の場合、縦横の直線を抽出した後、横直線の位置を調べる。そして、左右の端点のＸ座標が同一の横直線が所定の数以上存在した場合、無条件に入れ子構造を構成する直線の候補であるとみなす。
【０１７５】
例えば、図３４の表において、左右の端点のＸ座標が同一で所定の数以上の横直線１１１〜１１６及び横直線１１７〜１２１を、入れ子構造を構成する直線の候補であるとみなす。そして、横直線１１１〜１１６及び横直線１１７〜１２１に対して横枠を決定する処理を行い、長い方の横直線１１１〜１１６を表の横枠とみなし、短い方の横直線１１７〜１２１を入れ子構造を構成する直線とみなす。
【０１７６】
次に、本発明の第２実施例によるパターン抽出装置において、直線候補の生成方法について説明する。
規則的な構造の枠の縦横の直線を抽出した後、横直線の位置及び長さを調べる。そして、左右の端点のＸ座標が同一で且つ長さが同じ横直線が所定の数以上存在した場合、その横直線のＹ座標方向での間隔を算出する。ここで、隣接する第１の横直線と第２の横直線との間隔ｄｙ２が、他の第３の横直線と第４の横直線との間隔ｄｙの整数倍である場合、第１の横直線と第２の横直線との間に間隔ｄｙを有する第５の横直線を生成する。
【０１７７】
例えば、図３５の表において、左右の端点のＸ座標が同一で長さが同じ横直線１３１〜１３６及び左右の端点のＸ座標が同一で長さが同じ横直線１３７、１３８、１４０、１４１を、直線の候補であるとみなす。そして、所定の数以上の横直線１３７、１３８、１４０、１４１が間隔ｄｙで規則的に並んでおり、間隔ｄｙの整数倍の間隔ｄｙ２を有する横直線１３８、１４０が存在する場合、横直線１３８と横直線１４０との間に間隔ｄｙを有する横直線１３９を生成する。
【０１７８】
また、左右の端点のＸ座標が同一で同じ長さを有する所定の数以上の横直線が同一の間隔で並んでおり、これらの横直線と異なる間隔を有する不規則な横直線が存在する場合、この不規則な横直線を削除する。
【０１７９】
さらに、左右の端点のＸ座標が同一で同じ長さを有する所定の数以上の横直線が同一の間隔で並んでおり、これらの横直線と同一の間隔を有し所定の長さ以上であって長さが異なる横直線が存在する場合、この長さが異なる横直線の長さを他の横直線と同一となるようにする。
【０１８０】
以上説明したように、本発明の第２実施例によるパターン抽出装置によれば、かすれにより直線が消失したりした場合においても、枠を構成する直線を再現することができ、枠の検出の精度を上げることができる。
【０１８１】
また、規則的な構造を有する表であると分かっており、縦横それぞれについて、同じ長さＬを持つ直線又は点線の候補がある一定の本数以上存在する場合、所定の値以上の長さを持つ直線又は点線の長さを、長さＬになるように伸ばすことにより、規則的な構造を有する表であると分かっている場合の枠の検出精度を上げることができる。
【０１８２】
また、規則的な構造を有する表であると分かっており、縦横それぞれについて、同じ長さを持つ直線又は点線の候補がある一定の本数以上存在し、且つその直線又は点線が規則正しく並んでいる場合、それぞれの直線又は点線についてかすれ度合いを算出することなしに枠の候補とみなすことにより、規則的な構造を有する表であると分かっている場合の枠の検出精度を上げることができる。
【０１８３】
また、規則的な構造を有する表であると分かっており、縦横それぞれについて、同じ長さを持つ直線又は点線の候補がある一定の本数以上存在し、且つそのほとんどの直線又は点線が規則正しく等間隔Ａで並んでいる場合、間隔Ａの整数倍の間隔Ｂの領域において、直線又は点線が消えているとみなして直線又は点線の位置を推定し、直線又は点線を生成することにより、枠を検出する精度を上げることができる。
【０１８４】
また、規則的な構造を有する表であると分かっており、縦横それぞれについて、同じ長さを持つ直線又は点線の候補がある一定の本数以上存在し、且つそのほとんどの直線又は点線が規則正しく等間隔Ｃで並んでいる場合において、間隔Ｃより小さい間隔Ｄを有する直線又は点線について、隣り合う不規則な間隔を足し合わせた結果、間隔Ｃと等しくなる場合、間隔Ｄを有する直線又は点線は枠を構成しないとしてその直線又は点線を消去することにより、枠を検出する精度を上げることができる。
【０１８５】
【発明の効果】
以上説明したように、請求項１の発明によれば、第１の線分と第２の線分との間の空白をパターンがあるものとみなして、パターン領域を決定する枠を抽出することにより、枠を構成する直線にかすれがある場合においても、枠を構成する直線を正確に抽出することができ、パターン領域を正確に決定することができる。
【０１８６】
また、請求項２の発明によれば、しきい値以下の長さの空白を介して分離している直線を枠を構成する直線として抽出することにより、枠を構成する直線にかすれがある場合においても、枠を構成する直線を正確に抽出することができ、かすれがあるパターンから矩形枠を抽出することができる。
【０１８７】
また、請求項３の発明によれば、第１の矩形枠内の一部の領域から第２の矩形枠を抽出する第２の枠抽出手段を備えることにより、矩形枠の一部の領域中にさらに小さな矩形枠が存在する表から、パターンの切り出しを正確に行うことができる。
【０１８８】
また、請求項４の発明によれば、第１の矩形枠内に一定以上の長さを有する横線が存在し、且つ前記第１の矩形枠の上辺又は下辺と前記横線との両方に達する縦線が存在する場合、第１の矩形枠から第２の矩形枠を抽出することにより、矩形枠の一部の領域中に存在するさらに小さな矩形枠を、文字線分と混同することなく抽出できる。
【０１８９】
また、請求項５の発明によれば、かすれにより第１の部分パターンから分離している第２の部分パターンを、枠を抽出するパターンの候補に付け加えることにより、かすれにより分離しているパターンから枠を構成する直線を抽出することができる。
【０１９０】
また、請求項６の発明によれば、所定の間隔で並んでいる所定の大きさ以下の部分パターンを抽出することにより、点線を含むパターンからパターン領域を区切る枠を抽出することができる。
【０１９１】
また、請求項７の発明によれば、隣接投影法を用いて、部分パターンを構成する複数の矩形線分を検出することにより、周囲の行又は列の投影値を足し合わせた投影値により矩形近似して直線を検出することができ、斜めに傾いた直線を正確に検出することができる。
【０１９２】
また、請求項８の発明によれば、直線の原画像のパターンの最も細い部分から、しきい値以下の長さの空白領域にはパターンがあるものとみなして外側へ探索することにより、しきい値以下の長さの空白により分離している直線を抽出することができ、枠を構成する直線にかすれがある場合においても、枠を構成する直線を正確に抽出することができる。
【０１９３】
また、請求項９の発明によれば、枠を構成するにもかかわらず分離している直線を抽出する場合、空白をパターンがあるものとみなす際のしきい値を部分パターンの大きさに対応させて変えることにより、枠を構成するパターンと間違って文字線分を抽出することを防止することができ、枠を構成する直線を正確に抽出することができる。
【０１９４】
また、請求項１０の発明によれば、直線の傾きが所定の範囲を越える直線を枠の候補から除去することにより、枠内に書かれた斜めの消し線を枠を構成する直線として抽出することを防止することができ、枠を構成する直線を正確に抽出することができる。
【０１９５】
また、請求項１１の発明によれば、縦方向の距離が所定の値以下の横線を統合するとともに、横方向の距離が所定の値以下の縦線を統合することにより、より長いかすれを有する直線を抽出することができ、入力画像の画質が悪い場合においても、枠を構成する直線を正確に抽出することができる。
【０１９６】
また、請求項１２の発明によれば、空白を介して分離している直線を含めて第１の矩形枠内に存在する第２の矩形枠を抽出することにより、枠を構成する直線がかすれにより分離している場合においても、矩形枠の一部の領域中に存在するさらに小さな矩形枠を抽出することができる。
【０１９７】
また、請求項１３の発明によれば、より長い直線から構成される第１の矩形枠を抽出する場合、かすれを許容するしきい値を大きく設定し、より短い直線から構成される第２の矩形枠を抽出する場合、かすれを許容するしきい値を小さく設定することにより、大きな矩形枠を正確に抽出しながら、大きな矩形枠の領域中に存在するより小さな矩形枠を、文字線分と混同することなく抽出できる。
【０１９８】
また、請求項１４の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、所定の値以上の長さを有する直線の長さを他の直線の長さと同一にすることにより、枠を構成する直線の端の部分がかすれにより消失しても、端の部分が消失した直線を枠を構成する直線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【０１９９】
また、請求項１５の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、所定の値以上の長さを有する直線及び点線の長さを他の直線又は点線の長さと同一にすることにより、枠を構成する直線及び点線の端の部分がかすれにより消失しても、端の部分が消失した直線及び点線を枠を構成する直線又は点線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【０２００】
また、請求項１６の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、同じ長さを有する直線が一定の本数以上存在し、且つ等間隔に並んでいる場合、この直線を矩形枠を構成する直線とみなすことにより、枠を構成する直線のかすれの度合いにかかわらず、枠を構成する直線を正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【０２０１】
また、請求項１７の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、同じ長さを有する直線又は点線が一定の本数以上存在し、且つ等間隔に並んでいる場合、この直線及び点線を矩形枠を構成する直線及び点線とみなすことにより、枠を構成する直線のかすれの度合いにかかわらず、枠を構成する直線及び点線を正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【０２０２】
また、請求項１８の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、消失した直線を等間隔で並ぶように再生することにより、枠を構成する直線がかすれにより消失しても、消失した直線を枠を構成する直線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【０２０３】
また、請求項１９の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、消失した直線及び点線を等間隔で並ぶように再生することにより、枠を構成する直線又は点線がかすれにより消失しても、消失した直線及び点線を枠を構成する直線及び点線として正確に抽出することができ、かすれがあるパターンから矩形枠を正確に抽出することができる。
【０２０４】
また、請求項２０の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、等間隔で並んだ直線の間に存在する直線を除去することにより、枠を構成しない直線を枠を構成する直線の候補から除去することができ、枠を構成する直線のみを正確に抽出することができるので、矩形枠を抽出する精度を上げることができる。
【０２０５】
また、請求項２１の発明によれば、縦方向及び横方向に等間隔で区切られたパターンの場合、等間隔で並んだ直線又は点線の間に存在する直線及び点線を除去することにより、枠を構成しない直線及び点線を枠を構成する直線及び点線の候補から除去することができ、枠を構成する直線及び点線のみを正確に抽出することができるので、矩形枠を抽出する精度を上げることができる。
【図面の簡単な説明】
【図１】本発明の一実施例によるパターン抽出装置の機能構成を示すブロック図である。
【図２】本発明の第１実施例によるパターン抽出装置の概略構成を示すブロック図である。
【図３】本発明の第１実施例によるパターン抽出装置の連結パターン抽出処理を示す図である。
【図４】本発明の第１実施例によるパターン抽出装置の連結パターン抽出処理の動作を示すフローチャートである。
【図５】本発明の第１実施例によるパターン抽出装置のラベル付け替え処理を行うパターンの抽出方法を説明する図である。
【図６】本発明の第１実施例によるパターン抽出装置のマスク処理により横線分を抽出する処理を示す図である。
【図７】本発明の第１実施例によるパターン抽出装置のマスク処理の動作を示すフローチャートである。
【図８】本発明の第１実施例によるパターン抽出装置のマスク処理を示す図である。
【図９】本発明の第１実施例によるパターン抽出装置の直線抽出処理における隣接投影法を説明する図である。
【図１０】本発明の第１実施例によるパターン抽出装置の直線抽出処理における隣接投影法の動作を示すフローチャートである。
【図１１】本発明の第１実施例によるパターン抽出装置の線分抽出処理を示す図である。
【図１２】本発明の第１実施例によるパターン抽出装置の線分検出処理の動作を示すフローチャートである。
【図１３】本発明の第１実施例によるパターン抽出装置の線分統合処理を説明する図である。
【図１４】本発明の第１実施例によるパターン抽出装置の線分統合処理の動作を示すフローチャートである。
【図１５】本発明の第１実施例によるパターン抽出装置の直線抽出処理を示す図である。
【図１６】本発明の第１実施例によるパターン抽出装置の直線探索処理を示す図である。
【図１７】本発明の第１実施例によるパターン抽出装置の横直線探索処理の動作を示すフローチャートである。
【図１８】本発明の第１実施例によるパターン抽出装置の横直線探索処理における検索方向を示す図である。
【図１９】本発明の第１実施例によるパターン抽出装置の点線抽出処理の動作を示すフローチャートである。
【図２０】本発明の第１実施例によるパターン抽出装置の横直線統合処理を説明する図である。
【図２１】本発明の第１実施例によるパターン抽出装置の横直線統合処理の動作を示すフローチャートである。
【図２２】本発明の第１実施例によるパターン抽出装置の縦直線統合処理の動作を示すフローチャートである。
【図２３】本発明の第１実施例によるパターン抽出装置の矩形表現処理を示す図である。
【図２４】本発明の第１実施例によるパターン抽出装置の横直線の組の決定処理の動作を示すフローチャートである。
【図２５】本発明の第１実施例によるパターン抽出装置の横直線の組の決定処理の動作を示すフローチャートである。
【図２６】本発明の第１実施例によるパターン抽出装置の横直線の組の決定処理における横直線の配置状態を示す図である。
【図２７】本発明の第１実施例によるパターン抽出装置の入れ子構造の処理を説明する図である。
【図２８】本発明の第１実施例によるパターン抽出装置の入れ子構造における縦枠決定処理の動作を示すフローチャートである。
【図２９】本発明の第１実施例のパターン抽出装置による原画像を示す図である。
【図３０】本発明の第１実施例のパターン抽出装置による枠線抽出処理後の画像を示す図である。
【図３１】図２９の画像の一部の拡大図である。
【図３２】本発明の第１実施例のパターン抽出装置による矩形表現処理後の画像を示す図である。
【図３３】図３１の画像の一部の拡大図である。
【図３４】本発明の第２実施例によるパターン抽出装置の入れ子構造における直線検出方法を示す図である。
【図３５】本発明の第２実施例によるパターン抽出装置の直線生成方法を示す図である。
【図３６】先願のパターン抽出装置で抽出可能な枠を示す図である。
【図３７】先願のパターン抽出装置の概略構成を示すブロック図である。
【図３８】従来のパターン抽出装置で抽出不可能な枠を示す図である。
【符号の説明】
１ 連結パターン抽出部
２ マスク処理部
３ 横直線抽出部
４ 横隣接投影部
５ 横線分検出部
６ 横線分統合部
７ 横直線検出部
８ 横直線探索部
９ 横点線検出部
１０ 横直線統合部
１１ 縦直線抽出部
１２ 縦隣接投影部
１３ 縦線分検出部
１４ 縦線分統合部
１５ 縦直線検出部
１６ 縦直線探索部
１７ 縦点線検出部
１８ 縦直線統合部
１９ 横枠決定部
２０ 縦枠決定部
２１ 入れ子構造処理部
２２ 矩形内の横枠決定部
２３ 矩形内の縦枠決定部
２４ 矩形表現部
２００ 連結パターン抽出手段
２０１ レベル付け替え手段
２０２ 直線抽出手段
２０２ａ 傾き検出手段
２０２ｂ 除去手段
２０３ 枠抽出手段
２０３ａ 入れ子構造検出手段
２０４ パターン切り出し手段

Claims (14)

1. 入力されたパターンから連結した部分パターンを抽出する連結パターン抽出手段と、
   前記連結パターン抽出手段により抽出された部分パターンのうち、所定の大きさ以上の第１の部分パターンと第１の部分パターンの外接矩形範囲内に存在する第２の部分パターンとに共通のラベルを付すラベル付け替え手段と、
   該ラベル付け替え手段により同一のラベルを付された前記第１の部分パターンと前記第２の部分パターンとから、しきい値以下の長さの空白領域にはパターンが存在するものとみなして直線を抽出する直線抽出手段と、
   所定の間隔で並んでいる所定の大きさ以下の第３の部分パターンからなる点線を検出する点線検出手段と、
   前記直線抽出手段により抽出された第１の直線及び第２の直線又は前記点線検出手段により抽出された点線のうち、横直線又は横点線を上から順番に２本づつ組にして横枠とする横枠決定手段と、
   前記直線抽出手段により抽出された第１の直線及び第２の直線又は前記点線検出手段により抽出された点線のうち、上端及び下端が前記横枠に達している縦直線又は縦点線を縦枠とする縦枠決定手段と、
   前記横枠の２本と前記縦枠の２本とで囲まれた矩形範囲を抽出する矩形表現手段と、
   前記矩形表現手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
2. 前記直線抽出手段は、
   ある行又は列の投影値に、周囲の行又は列の投影値を足し合わせた値を、その行又は列の投影値とする隣接投影法を用いて、前記部分パターンを構成する複数の矩形線分を検出する線分検出手段と、
   前記線分検出手段によって得られた複数の線分を統合し、この統合された線分を矩形近似することにより直線を検出する直線検出手段とを備えることを特徴とする請求項１に記載のパターン抽出装置。
3. 前記直線抽出手段は、
   前記直線検出手段により検出された直線の原画像のパターンの最も細い部分から、しきい値以下の長さの空白はパターンがあるものとみなして外側へ探索することにより前記パ
   ターンの両端を検出し、この検出位置を直線の両端の位置として設定する直線探索手段をさらに備えることを特徴とする請求項２に記載のパターン抽出装置。
4. 前記直線抽出手段は、前記しきい値を部分パターンの大きさに対応させて変えることを特徴とする請求項３に記載のパターン抽出装置。
5. 前記直線抽出手段は、
   前記直線検出手段により検出された直線の傾きを検出する傾き検出手段と、
   前記直線の傾きが所定の範囲を越える直線を枠の候補から除去する除去手段とをさらに備えることを特徴とする請求項３に記載のパターン抽出装置。
6. 前記直線検出手段により検出された直線のうち、縦方向の距離が所定の値以下の横線を統合するとともに、横方向の距離が所定の値以下の縦線を統合する直線統合手段をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載のパターン抽出装置。
7. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
   前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
   前記直線抽出手段により抽出された直線の内、同じ横方向の位置を有し、かつ、同じ長さを有する直線が一定の本数以上存在する場合、同じ間隔を有し、かつ、異なる長さの直線の長さを同じとする直線補正手段と、
   前記直線抽出手段及び前記直線補正手段より得られた直線情報に基づいて、矩形枠を抽出する枠抽出手段と、
   前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
8. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
   前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
   所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、
   前記直線抽出手段により抽出された直線の内、同じ横方向の位置を有し、かつ、同じ長さを有する直線が一定の本数以上存在する場合、同じ間隔を有し、かつ、異なる長さの直線の長さを同じとする直線補正手段と、
   前記点線抽出手段により抽出された第１の点線のうち、同じ長さを有する第２の点線が一定の本数以上存在する場合、所定の値以上の長さを有する第３の点線の長さを前記第２の点線の長さと同一にする点線補正手段と、
   前記直線抽出手段及び前記直線補正手段より得られた直線情報と前記点線抽出手段及び前記点線補正手段より得られた点線情報とに基づいて、矩形枠を抽出する枠抽出手段と、
   前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
9. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
   前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
   前記直線抽出手段により複数の第１の直線及び第１の直線より短い第２の直線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有する直線が一定の本数以上存在し、且つ等間隔に並んでいる場合、前記一定の本数以上存在する、同じ長さを有する直線を矩形枠を構成する直線とみなす判断手段と、
   前記判断手段により得られた直線情報に基づいて、矩形枠を抽出する枠抽出手段と、
   前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
10. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
    前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
    所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、
    前記直線抽出手段により複数の第１の直線及び第１の直線より短い第２の直線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有する直線が一定の本数以上存在し、且つ等間隔に並んでいる場合、前記一定の本数以上存在する、同じ長さを有する直線を矩形枠を構成する直線とみなす第１の判断手段と、
    前記点線抽出手段により複数の第１の点線が抽出され、これらの内、同じ長さを有する点線が一定の本数以上存在し、且つ等間隔に並んでいる場合、前記一定の本数以上存在する、同じ長さを有する点線を矩形枠を構成する点線とみなす第２の判断手段と、
    前記第２の判断手段により得られた直線情報と前記第２の判断手段により得られた点線情報とに基づいて、矩形枠を抽出する枠抽出手段と、
    前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
11. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
    前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
    前記直線抽出手段により複数の第１の直線及び第１の直線より短い第２の直線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有し、第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有し前記第１の間隔の整数倍の第２の間隔を有する第４の直線が存在する場合、前記第２の間隔内に前記第１の間隔で前記第３の直線と同じ長さを有する第５の直線を生成する直線生成手段と、
    前記直線抽出手段及び前記直線生成手段より得られた直線情報に基づいて、矩形枠を抽出する枠抽出手段と、
    前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
12. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
    前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
    所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、
    前記直線抽出手段により複数の第１の直線及び第１の直線より短い第２の直線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有し、第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有し前記第１の間隔の整数倍の第２の間隔を有する第４の直線が存在する場合、前記第２の間隔内に前記第１の間隔で前記第３の直線と同じ長さを有する第５の直線を生成する直線生成手段と、
    前記点線抽出手段により複数の第１の点線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有し、第３の間隔で並んでいる第２の点線が一定の本数以上存在し、且つ前記第２の点線と同じ長さを有し前記第３の間隔の整数倍の第４の間隔を有する第３の点線が存在する場合、前記第４の間隔の領域に前記第３の間隔で前記第２の点線と同じ長さを有する第４の点線を生成する点線生成手段と、
    前記直線抽出手段及び前記直線生成手段より得られた直線情報と前記点線抽出手段及び前記点線生成手段より得られた点線情報とに基づいて、矩形枠を抽出する枠抽出手段と、
    前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
13. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
    前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
    前記直線抽出手段により複数の第１の直線及び第１の直線より短い第２の直線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有し、第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有する第４の直線が前記第１の間隔内に存在する場合、前記第４の直線を枠の候補から除去する直線除去手段と、
    前記直線抽出手段及び前記直線除去手段より得られた直線情報に基づいて、矩形枠を抽出する枠抽出手段と、
    前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。
14. 縦方向及び横方向に等間隔で区切られたパターンから、連結した部分パターンを抽出する連結パターン抽出手段と、
    前記連結パターン抽出手段により抽出された部分パターンの中から所定の長さ以上の直線および、内部にしきい値以下の長さの空白を含む所定の長さ以上の直線を抽出する直線抽出手段と、
    所定の間隔で並んでいる所定の大きさ以下の部分パターンからなる第１の点線を検出する点線抽出手段と、
    前記直線抽出手段により複数の第１の直線及び第１の直線より短い第２の直線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有し、第１の間隔で並んでいる第３の直線が一定の本数以上存在し、且つ前記第３の直線と同じ長さを有する第４の直線が前記第１の間隔内に存在する場合、前記第４の直線を枠の候補から除去する直線除去手段と、
    前記点線抽出手段により複数の第１の点線が抽出され、これらの内、同じ横方向の位置を有し、且つ、同じ長さを有し、第２の間隔で並んでいる第２の点線が一定の本数以上存在し、且つ前記第２の点線と同じ長さを有する第３の点線が前記第２の間隔内に存在する場合、前記第３の点線を枠の候補から除去する点線除去手段と、
    前記直線抽出手段及び前記直線除去手段より得られた直線情報と前記点線抽出手段及び前記点線除去手段より得られた点線情報とに基づいて、矩形枠を抽出する枠抽出手段と、
    前記枠抽出手段により抽出された矩形範囲に基づいて、パターン領域を抽出するパターン切り出し手段とを備えることを特徴とするパターン抽出装置。

Images