JP3635552B2 - 文字パターン切り出し装置および文字パターン切り出しプログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、帳票や図面に記載された文字を自動的に認識する文字認識装置に関するものである。
近年、情報入力のための周辺装置として、文字認識装置の需要が増大しており、特に、帳票などのように、文字の記載位置が罫線などによって示されており、この罫線などが文字と同様の濃色で表現されている原稿に、記載された手書き文字を高い認識率で認識することが必要とされている。
【０００２】
このため、帳票などを表す画像データから、帳票などの形式を正確に識別し、個々の文字を表す画像データを迅速且つ確実に切り出す技術が求められている。
【０００３】
【従来の技術】
旧来の光学的文字認識装置においては、文字の記載位置をドロップアウトカラーと呼ばれる特殊な色の枠で示し、反射率の違いを利用して、記載された文字のみを抽出していた。
これに対して、一般の帳票などでは、文字の記載位置を示す枠を表す罫線とこれに記載された文字とは、双方とも黒色などの濃色で表されているため、帳票をイメージセンサなどを用いて読みとって得られる二値画像には、文字を表す画像データと罫線を表す画像データとが混在している。
【０００４】
このような二値画像から、文字の部分を正確に切り出すための技法として、本出願人は、特開平９−５０５２７号公報「枠抽出装置および矩形抽出装置」を提案している。
この特開平９−５０５２７号の技法は、２本の横罫線と２本の縦罫線とで囲まれた矩形の領域をセルとして抽出し、このセルの内部から文字を表すパターンを切り出すものである。
【０００５】
図７に、特開平９−５０５２７号の技法による文字パターン切り出し装置を適用した文字認識システムの構成例を示す。また、図８に、この文字パターン切り出し装置によるセル抽出動作を表す流れ図を示し、図９に、文字パターン切り出し動作を表す流れ図を示す。
図７において、スキャナ４０１などによって読み取られた画像データは、連結パターン抽出部４０２に入力されており、この連結パターン抽出部４０２により、縦横斜めの８方向のいずれかで連結したパターンを抽出し、パターン保持部４０３を介して直線抽出部４０４の処理に供する構成となっている。
【０００６】
この直線抽出部４０４は、上述した連結パターンに対して細線化処理、線分抽出処理および線分統合処理を行うことにより、帳票を読み取った際の傾きなどにかかわらず、帳票などにおいて文字の記載位置を示す枠を表す罫線に対応する直線を漏れなく抽出する構成となっている。
例えば、図１０(a) に示す連結パターンを直線抽出部４０４の処理に供することにより、横方向の直線（図１０において、符号h1〜h6を付して示す）と縦方向の直線（図１０において、符号v1〜v9を付して示す）が抽出され、これらの直線に関する情報が、直線情報保持部４０５を介してセル抽出部４０６の処理に供される。
【０００７】
図７に示すセル抽出部４０６において、横枠線探索部４１１および縦枠線探索部４１２は、探索制御部４１３からの指示に応じて、上述した直線情報保持部４０５から所定の条件を満たす直線をセルの境界を示す縦横の枠線として抽出する構成となっている。
また、構造判別部４１４は、抽出された枠線で囲まれたセルそれぞれについて、セル内部の構造を判別する構成となっており、探索制御部４１３は、この判別結果に応じて上述した横枠線探索部４１１および縦枠線抽出部４１２の動作を制御し、該当するセル内部を部分表として、この部分表を構成する矩形のセルを抽出し、セル情報保持部４０７を介して、パターン切り出し部４０８の処理に供する構成となっている。
【０００８】
このとき、探索制御部４１３は、直線情報保持部４０５に保持された全ての直線を探索対象とし、まず、横枠線探索部４１１を介して、所定の条件を満たす２本の横方向の直線（以下、横線と称する）を抽出し（ステップ５０１）、この２本の直線を行の区切りを示す２本の横方向の枠線（以下、横枠線と称する）とする。
【０００９】
特開平９−５０５２７号の技法においては、横方向の直線が満たすべき条件として、十分な長さを有することおよび下側の直線の長さが上側の直線と等しいあるいは長いことを挙げており、これにより、連結パターンに含まれる文字の一部などにかかわらず、帳票の基本的な構成である行を表す矩形を抽出している。
次いで、探索制御部４１３は、この２本の横枠線で区切られた行に対応する領域に含まれる直線を探索対象とし、縦枠線探索部４１２を介して、上述した横枠線と所定の位置関係を有する縦方向の直線（以下、縦線と称する）を列の区切りを示す縦方向の枠線として抽出して（ステップ５０２）、これらの縦方向の直線（以下、縦枠線と称する）によって上述した行に対応する領域を区切って得られた領域をそれぞれセルとして抽出すればよい。
【００１０】
このようにして得られたセルについて、構造判別部４１４は、直線情報保持部４０５を参照し（ステップ５０３）、このセルの内部にセルの枠線として役割が決定していない未処理の横線があるか否かに基づいて、該当するセルが内部に入れ子状の構造を持っているか否かを判別する（ステップ５０４）。
入れ子状の構造があると判断した場合（ステップ５０４の肯定判定）に、探索制御部４１３は、横枠線探索部４１１および縦枠線探索部４１２に対して、このセル内部に含まれる直線を探索対象として指定し、上述したステップ５０１、５０２と同様に、このセルに対応する領域を更に行および列に区切ってセルを抽出すればよい（ステップ５０５）。
【００１１】
一方、ステップ５０４の否定判定の場合は、そのままステップ５０６に進み、抽出したセルの縦横の区切りを示す直線に関する情報をセル情報として、セル情報保持部４０７に格納すればよい。また、抽出済みのセルの枠線として役割が決定した直線を探索対象から除外して探索範囲を更新し（ステップ５０７）、次に、ステップ５０８において、更新された探索範囲に未処理の直線が含まれているか否かを判定し、肯定判定の場合は、ステップ５０１に戻って新しい探索範囲についてのセル抽出処理が行われる。
【００１２】
例えば、図１０(a) に矢印で示すように、上から順に帳票を構成する行（例えば、行１、行２、行３）をそれぞれ基本矩形として抽出し、これらの行を列に区切っていくことにより、単純なセルを抽出することができる。更に、上述したステップ５０３〜５０５の処理を行って、入れ子状の内部構造を持つセルを分解することにより、様々な形式の帳票に対応可能としている。
【００１３】
このようにして、帳票の上から順に横線で区切られた行を探索してこの行を縦線で区切ってセルを抽出していき、全ての行についての処理が終了したときに、上述したステップ５０８の否定判定となり、探索制御部４１３はセル抽出処理を終了し、これに応じて、セル情報保持部４０７に保持されたセル情報がパターン切り出し部４０８の処理に供される。
【００１４】
図７に示したパターン切り出し部４０８において、原画像保持部４１５は、上述したスキャナ４０１で得られた原画像を保持しており、干渉検出部４１６は、この原画像と上述したセル情報とに基づいて、該当するセルに記載された文字を表すパターン（以下、文字パターンと称する）とセルを囲む４本の枠線を表すパターン（以下、枠線パターンと称する）とが干渉している箇所をそれぞれ検出し（ステップ５１１）、この検出結果に応じて、対象領域抽出部４１７が文字パターンの補完処理の対象となる処理対象領域を原画像から抽出する構成となっている。
【００１５】
例えば、図１１(a) に示すように、注目しているセルの中央部に文字が記載されている場合は、文字パターンと該当するセルの４本の枠線パターンとの干渉箇所は検出されない。この場合は、ステップ５１２の否定判定となり、対象領域抽出部４１７は、上述した罫線で囲まれたセルに対応する原画像の領域をそのまま処理対象領域として抽出し（ステップ５１３）、切り出し処理部４１８による文字パターンの切り出し処理に供すればよい。
【００１６】
これに応じて、切り出し処理部４１８は、処理対象領域として受け取った画像データから個々の文字に対応する文字パターンをそれぞれ分離して切り出して（ステップ５１４）、文字認識装置４０９の処理に供している。
一方、図１１(b) に示すように、文字の一部が枠線に接している場合や、枠線にまたがって文字が記載されている場合は、干渉検出部４１６により、該当する枠線（図１１においては、下側の枠線）との干渉が検出される。この場合は、ステップ５１２の肯定判定となり、対象領域抽出部４１７は、干渉が検出された枠線を挟んで隣接するセルに含まれる所定の幅の領域（図１１(b) において、網掛けを付して示す）を含めて処理対象領域として原画像から抽出し（ステップ５１５）、パターン補完処理部４１９を介して切り出し処理部４１８の処理に供すればよい。
【００１７】
このパターン補完処理部４１９は、該当するセルのセル情報に基づいて、対象領域として抽出された画像データから枠線パターンを除去するとともに、枠線と文字との両方に属する画素値を調整することによって文字パターンを補完し（ステップ５１６）、切り出し処理部４１８の処理に供する構成となっている。
このようにして、文字パターンと干渉している枠線パターンを除去することにより、図１１(b) に示したように、枠線にまたがって記載された文字についても、ステップ５１４において、切り出し処理部４１８により正確に文字パターンを切り出すことが可能となり、文字認識処理部４０９の処理に供することができる。
【００１８】
【発明が解決しようとする課題】
ところで、上述した特開平９−５０５２７号の技法では、表の幅一杯の２本の横線とこれらの横線の双方に交わる縦線によって囲まれた行に相当する矩形を基本とし、この行を縦に区切って得られるセルおよびこのセルの内部を更に横線および縦線で区切って得られるセルによって、認識対象の帳票が構成されていることを前提としている。
しかしながら、現実の帳票においては、上述した前提が成り立たない場合がある。
【００１９】
例えば、図１０(b) に示すように、表の右側に階段状の凸凹がある場合は、図１０(b) に網掛けを付して示した部分は、表の両端に到達する２本の横線の双方に交わる縦線によって区切られていないから、セル抽出の基本となる行の領域に含めることができない。このため、上述した特開平９−５０５２７号の技法では、これらのセルを抽出することができなかった。
【００２０】
一方、現実の帳票における各セルは、それぞれ他のセルに隣接しているため、上述した干渉箇所の検出に応じて、切り出し処理の対象領域を拡張した場合は、必然的に、隣接するセルに対応する領域の一部が拡張された対象領域に含まれることになる。
しかしながら、従来のパターン切り出し部４０８においては、セル抽出部４０６で抽出された各セルをそれぞれ独立したものとして扱っており、各セルにおける干渉箇所の検出に応じて処理対象領域が抽出され、文字パターンの補完処理に供される。このため、干渉が検出された枠線を含む境界部分の領域は、この枠線を挟んで隣接する２つのセルについてのパターン切り出し処理において、補完処理の対象領域として重複して抽出され、重複して補完処理されていた。
【００２１】
例えば、図１１(c) に示すように、隣接する２つのセル双方に記載された文字が枠線にまたがっていた場合は、まず、上側のセルａについての切り出し処理を行う際に、下側の罫線と文字パターンとの干渉の検出に応じて、図１１において網掛けを付して示す境界部分を含んで処理対象領域が下側に拡張され、この処理対象領域について文字パターンの補完処理が行われる。このとき、該当する枠線にまたがって記載された文字がこのセルａに属すると判断されれば、これらの文字に対応する文字パターンが切り出し処理部４１８によって切り出されて文字認識処理部４０９に渡される。
【００２２】
したがって、この時点で、上述した境界部分は、上述したセルａに対応する領域として処理済みであり、隣接するセルｂに関する処理では、この領域についての補完処理は不要である。
にもかかわらず、その後、下側に隣接するセルｂについての切り出し処理を行う際には、上側の枠線および下側の枠線と文字パターンとの干渉がそれぞれ検出され、これに応じて、図１１(c) において鎖線で示すように対象領域が上側と下側に拡張されるため、図１１(c) において網掛けを付して示した部分についての処理が重複して行われてしまう。
【００２３】
このため、認識対象の帳票に、枠線にまたがって記載された文字が多数存在する場合は、重複した領域についての無駄な処理が増大し、全体としての処理時間が増大してしまう。
本発明は、様々な枠の形式および枠線と文字との様々な位置関係に柔軟に対応可能な文字パターン切り出し装置および文字パターン切り出しプログラムを記録した記録媒体を提供することを目的とする。
【００２４】
【課題を解決するための手段】
図１は、本発明の原理ブロック図である。
請求項１の発明は、交差する直線で区切られた少なくとも１つの矩形の枠およびこれらの枠それぞれに記載された文字を表す原画像における画素の連結を示す連結パターンの入力に応じて、セル抽出手段１１０により文字の記載位置を示す枠それぞれをセルとして抽出し、パターン切り出し手段１２０により、各セルに記載された文字に対応する文字パターンを原画像から切り出して、文字認識処理に供する構成の文字パターン切り出し装置において、パターン切り出し手段１２０は、セル抽出手段１１０によって抽出されたセルそれぞれについて、セル相互の相対的な位置を表す位置情報として、各セルとその周囲のセルとの隣接関係を示す情報を作成する位置情報作成手段１２１と、各セルに対応する位置情報と、この位置情報で示された隣接するセルそれぞれに対応して該当するセルとの境界部分についての処理履歴を示す履歴情報とを保持する位置情報保持手段１２２と、原画像において、各セルを囲む枠を表すパターンとこの枠に対応する文字を表すパターンとが重なり合う部分を干渉箇所として検出する干渉検出手段１２３と、干渉箇所の検出結果と該当する履歴情報とに基づいて、注目するセルに対応する処理対象領域として原画像から切り出す領域の大きさを調整するセル領域切り出し手段１２４と、セル領域切り出し手段１２４によって、注目するセルに対応する処理対象領域が拡張されたときに、この拡張によって処理対象領域に加えられた境界部分についての履歴情報を作成し、位置情報保持手段１２２に該当する位置情報に対応して保持された履歴情報を更新する履歴管理手段１２５と、干渉箇所がある旨の検出結果に応じて、セル領域切り出し手段１２４によって切り出された処理対象領域について、文字パターンと枠を表すパターンとの重なりを除去して文字パターンを補完し、セルに対応する画像として出力する補完手段１２６と、セルに対応する画像から個々の文字パターンに対応する領域を切り出して、文字認識処理に供する文字領域切り出し手段１２７とを備えたことを特徴とする。
【００２５】
請求項１の発明は、パターン切り出し手段１２０において、位置情報作成手段１２１によって作成された位置情報に対応して、各セルとこれに隣接するセルとの境界部分に関する履歴情報を位置情報保持手段１２２に保持し、セル領域切り出し手段１２４による処理対象領域の拡張に応じて、履歴管理手段１２５により該当する履歴情報を更新している。これにより、干渉検出手段１２３による検出結果に応じて、セル領域切り出し手段１２４が処理対象領域を切り出す際に、該当する履歴情報に応じて処理対象領域の範囲を調整し、他のセルに対応する処理対象領域と重複する部分を排除して、過不足のない処理対象領域を切り出すことができる。
【００２６】
請求項２の発明は、交差する直線で区切られた少なくとも１つの矩形の枠およびこれらの枠それぞれに記載された文字を表す原画像における画素の連結を示す連結パターンの入力に応じて、セル抽出手順により文字の記載位置を示す枠それぞれをセルとして抽出し、パターン切り出し手順により、各セルに記載された文字に対応する文字パターンを原画像から切り出して、文字認識処理に供する構成の文字パターン切り出しプログラムを記録した記録媒体において、パターン切り出し手順は、セル抽出手順によって抽出されたセルそれぞれについて、セル相互の相対的な位置を表す位置情報として、各セルとその周囲のセルとの隣接関係を示す情報を作成する位置情報作成手順と、各セルに対応する位置情報と、この位置情報で示された隣接するセルそれぞれに対応して該当するセルとの境界部分についての処理履歴を示す履歴情報とをメモリに保持させる位置情報保持手順と、原画像において、各セルを囲む枠を表すパターンとこの枠に対応する文字を表すパターンとが重なり合う部分を干渉箇所として検出する干渉検出手順と、干渉箇所の検出結果と該当する履歴情報とに基づいて、注目するセルに対応する処理対象領域として原画像から切り出す領域の大きさを調整するセル領域切り出し手順と、セル領域切り出し手順によって、注目するセルに対応する処理対象領域が拡張されたときに、この拡張によって処理対象領域に加えられた境界部分についての履歴情報を作成し、位置情報保持手順が管理するメモリに該当する位置情報に対応して保持された履歴情報を更新する履歴管理手順と、干渉箇所がある旨の検出結果に応じて、セル領域切り出し手順で切り出された処理対象領域について、文字パターンと枠を表すパターンとの重なりを除去して文字パターンを補完し、セルに対応する画像として出力する補完手順と、セルに対応する画像から個々の文字パターンに対応する領域を切り出して、文字認識処理に供する文字領域切り出し手順とをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００２７】
請求項２の発明は、パターン切り出し手順において、位置情報作成手順で作成した位置情報に対応して、各セルとこれに隣接するセルとの境界部分に関する履歴情報を位置情報保持手順が管理するメモリに保持し、セル領域切り出し手順で処理対象領域を拡張した際に、履歴管理手順により該当する履歴情報を更新している。これにより、干渉検出手順による検出結果に応じて、セル領域切り出し手順において処理対象領域を切り出す際に、該当する履歴情報に応じて処理対象領域の範囲を調整し、他のセルに対応する処理対象領域と重複する部分を排除して、過不足のない処理対象領域を切り出すことができる。
【００２８】
【発明の実施の形態】
本発明の実施形態の説明に先立って、本発明にかかわるセル抽出装置の原理構成について説明する。
図１において、交差する直線で区切られた少なくとも１つの矩形の枠およびこれらの枠それぞれに記載された文字を表す原画像における画素の連結を示す連結パターンの入力に応じて、セル抽出手段１１０により文字の記載位置を示す枠それぞれをセルとして抽出し、パターン切り出し手段１２０により、各セルに記載された文字に対応する文字パターンを原画像から切り出して、文字認識処理に供する構成の文字パターン切り出し装置において、セル抽出手段１１０は、連結パターンにおいて、所定の条件を満たす２本の平行な直線とこれらの直線の双方と交差する別の２本の平行な直線とで形成される矩形を探索し、基本矩形として抽出する基本矩形抽出手段１１１と、基本矩形を形成する２本の平行な直線によって挟まれ、且つ、基本矩形の外側の領域について基本矩形を形成する直線との関係を調べながら連結パターンを探索し、基本矩形とは別の矩形を外部矩形として検出する外部矩形検出手段１１２と、連結パターンにおいて、基本矩形および外部矩形のそれぞれを区切る直線を探索し、基本矩形および外部矩形をセルに分解して抽出し、パターン切り出し手段１２０の処理に供する分解手段１１３とを備える。
【００２９】
このように構成されたセル抽出手段１１０において、外部矩形検出手段１１２により、基本矩形抽出手段１１１によって抽出された基本矩形との関係を調べながら、各基本矩形の外側の領域に存在する別の矩形を外部矩形として検出する。このようにして検出された外部矩形を基本矩形とともに分解手段１１３の処理に供することにより、読み取り対象の原稿に含まれる枠の配置の不規則性にかかわらず、連結パターンに含まれる全ての矩形をセルとして抽出し、パターン切り出し手段１２０の処理に供することができる。
【００３０】
また、交差する直線で区切られた少なくとも１つの矩形の枠およびこれらの枠それぞれに記載された文字を表す原画像における画素の連結を示す連結パターンの入力に応じて、セル抽出手順により文字の記載位置を示す枠それぞれをセルとして抽出し、パターン切り出し手順により、各セルに記載された文字に対応する文字パターンを原画像から切り出して、文字認識処理に供する構成の文字パターン切り出し装置において、セル抽出手順は、連結パターンにおいて、所定の条件を満たす２本の平行な直線とこれらの直線の双方と交差する別の２本の平行な直線とで形成される矩形を探索し、基本矩形として抽出する手順と、基本矩形を形成する２本の平行な直線によって挟まれ、且つ、基本矩形の外側の領域について基本矩形を形成する直線との関係を調べながら連結パターンを探索し、基本矩形とは別の矩形を外部矩形として検出する手順と、連結パターンにおいて、基本矩形および外部矩形のそれぞれを区切る直線を探索し、基本矩形および外部矩形をセルに分解して抽出し、パターン切り出し手順の処理に供する手順とをコンピュータに実行させるプログラムを記録した記録媒体を備える。
【００３１】
このような記録媒体をコンピュータに読み込ませ、セル抽出手順において、外部矩形検出手順により、基本矩形抽出手順によって抽出された基本矩形との関係を調べながら、各基本矩形の外側の領域に存在する別の矩形を外部矩形として検出する。このようにして検出された外部矩形を基本矩形とともに分解手順の処理に供することにより、読み取り対象の原稿に含まれる枠の配置の不規則性にかかわらず、連結パターンに含まれる全ての矩形をセルとして抽出し、パターン切り出し手順の処理に供することができる。
【００３２】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
図２に、請求項１の文字パターン切り出し装置を適用した文字認識装置の実施形態を示す。
図２に示した文字パターン切り出し装置において、セル抽出部２１０は、図７に示したセル抽出部４０６に部分表検出部２１１を付加し、この部分表検出部２１１が、探索制御部２１２からの指示に応じて、直線情報保持部４０５において所定の条件を満たす横線および縦線の組み合わせを探索し、この結果を部分表の検出結果として探索制御部２１２に返す構成となっている。
【００３３】
また、この探索制御部２１２は、図７に示した探索制御部４１３と同等の処理を行うとともに、上述した部分表検出部２１１による検出結果に応じて、横枠線探索部４１１および縦枠線探索部４１２の動作を制御し、得られたセルそれぞれについて後述するセル情報を作成し、セル情報保持部２０１に格納する構成となっている。
【００３４】
このセル情報保持部２０１は、図１に示した位置情報保持手段１２２に相当するものであり、位置情報作成部２０２は、上述したセル抽出部２１０の探索制御部２１２によって作成されたセル情報に基づいて、抽出された各セルについて、その位置を相対的に表す位置情報を作成し、対応するセル情報に付加して、パターン切り出し部２２０の処理に供する構成となっている。
【００３５】
図２に示したパターン切り出し部２２０は、図７に示した対象領域抽出部４１７に代えて対象領域抽出部２２１と位置情報更新部２２２とを備え、この対象領域抽出部２２１が、干渉検出部４１６による検出結果と上述したセル情報とに基づいて、各セルに対応する処理対象領域を決定して該当する領域の画像データを原画像保持部４１５から切り出し、このとき、位置情報更新部２２２が、処理対象領域の拡張に関する情報をセル情報保持部２０１に反映する構成となっている。
【００３６】
まず、上述したセル抽出部２１０により、様々な形状の帳票において、セルを抽出する方法について説明する。
図３に、セル抽出動作を表す流れ図を示す。
従来と同様にして、連結パターン抽出部４０２は、スキャナ４０１によって得られた原画像から連結パターンを抽出して、直線抽出部４０４は、連結パターン保持部４０３を介して受け取ったこの連結パターンから枠線の候補として所定の条件を満たす直線を抽出し、直線情報保持部４０５を介して、セル抽出部２１０の処理に供する構成となっている。
【００３７】
したがって、図４(a) に示すような階段状の外形を有する帳票をスキャナ４０１で読み取った場合は、直線抽出部４０４により、横線H1〜H6と縦線V1〜V11 が抽出され、これらの直線を示す情報が直線情報保持部４０５に格納される。
この場合に、セル抽出部２１０の探索制御部２１２は、まず、横枠線探索部４１１および縦枠線探索部４１２を介して、従来と同様のステップ５０１およびステップ５０２の処理を行い、図４(a) に符号ａ，ｂ，ｃを付して示すように、所定の条件を満たす横線と縦線とで囲まれた行を表す基本矩形を列に区切って得られる基本となるセルを抽出する（ステップ３０１）。
【００３８】
このように、横枠線探索部４１１と縦枠線探索部４１２とが、探索制御部２１２からの指示に応じて動作することにより、図１に示した基本矩形抽出手段１１１の機能を果たし、特開平９−５０５２７号公報で述べた所定の条件を満たす横枠線と縦枠線とで囲まれた基本矩形を抽出するとともに、図１に示した分解手段１１３の機能の一部を果たして、横枠線の双方に交わる縦枠線でこの基本矩形を区切って得られるセルを抽出することができる。
【００３９】
次に、従来のステップ５０３およびステップ５０４と同様にして、構造判別部４１４が、ステップ３０１で得られた基本となるセルから内部構造を有するセルを判別し（ステップ３０２）、該当するセルについて、探索制御部２１２が横枠線探索部４１１および縦枠線探索部４１２を介して、このセルの内部を区切る横線および縦線を探索し、図４(a) に符号ｄ，ｅ，ｆ，ｇを付して示すように、基本となるセルを更に区切って得られるセルを抽出する（ステップ３０３）。
【００４０】
その後、探索制御部２１２は、上述したステップ３０１で注目している横線によって挟まれた範囲であり、且つ、セルとして抽出された領域を除いた範囲を指定して、部分表検出部２１１の処理に供すればよい。
これに応じて、部分表検出部２１１は、指定された範囲について直線情報保持部４０５を探索し（ステップ３０４）、枠線としての役割が未決定である横線を検出した場合（ステップ３０５の肯定判定）は、該当する横線と指定範囲の境界に対応する縦枠線とが接触あるいは交わっているか否かに基づいて、この縦枠線に隣接する部分表があるか否かを判定する（ステップ３０６）。
【００４１】
なぜなら、例えば、図４(b) において、網掛けを付して示す範囲について探索して得られた横線H5が、指定範囲の境界である縦枠線V9に接している場合は、この横線H5を行の区切りとし、また、縦枠線V9を列の区切りの一部とする部分表が存在すると考えられるからである。
この場合は、該当する横線を行の区切りとする未抽出のセルからなる部分表が、上述した縦枠線に隣接して存在すると判断し、その旨を探索制御部２１２に通知すればよい。
【００４２】
一方、ステップ３０６の否定判定の場合に、部分表検出部２１１は、再び直線情報保持部４０５において、今度はステップ３０４で検出した横線と交わる縦線を探索し（ステップ３０７）、該当する縦線の有無に基づいて、部分表の存在の有無を判定する（ステップ３０８）。
これにより、例えば、図４(c) に点線で示すように、指定範囲の境界を示す縦枠線から離れたところに、未抽出のセルからなる部分表が独立して存在する場合にも、漏れなく検出することができる。
【００４３】
このようにして検出された部分表に対応する範囲（例えば、図４に示した縦枠線V9の右側の範囲）について、探索制御部２１２は、ステップ３０９において、横枠線探索部４１１、縦枠線探索部４１２および構造判別部４１４を介して、上述したステップ３０１〜ステップ３０３と同様の処理を行い、部分表に含まれるセルを抽出すればよい。
【００４４】
例えば、縦枠線V9の右側に隣接した部分表に注目した場合は、まず、横線H3と横線H5とで挟まれた行を縦線V10 および縦線V6によって区切って得られるセル（図４(c) に符号ｈ，ｉを付して示す）が抽出され、更に、横線H5と横線H6とで挟まれた行を縦線V11 および縦線V7によって区切って得られるセル（図４(c) に符号ｊ，ｋを付して示す）が抽出される。
【００４５】
同様にして、図４(c) に点線で示したような独立した部分表を構成するセルも抽出することができる。
このように、探索制御部２１２からの指示に応じて、部分表検出部２１１が上述したステップ３０４からステップ３０８の処理を行い、部分表が検出された範囲について、探索制御部２１２が、横枠線探索部４１１および縦枠線探索部４１２を介して、ステップ３０１と同様の処理を行うことにより、図１に示した外部矩形抽出手段１１２の機能を実現し、基本となる行に対応する矩形の外側に存在する外部矩形を部分表として抽出することができる。
【００４６】
更に、この外部矩形について、ステップ３０９において、探索制御部２１２が構造判別部４１４による判別結果に応じて、ステップ３０３と同様の処理を行って、上述した外部矩形を、図１に示した分解手段１１３の処理に供することにより、このような部分表を構成するセルが更に入れ子状の内部構造を持っている場合にも対応し、複雑な構造を持つ帳票を構成する全てのセルを漏れなく抽出することができる。
【００４７】
このようにして、部分表内部のセルを抽出した後に、探索制御部２１２は、上述した指定範囲からこの部分表に対応する領域を排除して、新しい指定領域を設定し（ステップ３１０）、ステップ３０４に戻って、部分表に関する処理を続ければよい。
上述した処理を繰り返して行い、指定範囲内において、役割が決定していない横線が検出されなくなったときに、探索制御部２１２は、ステップ３０５の否定判定として、該当する行についての部分表の処理を終了し、抽出されたこれらのセルにそれぞれ相異なるセル番号を与えるとともに、このセル番号とセルの区切りを示す枠線に関する情報を含むセル情報を作成し（ステップ３１１）、セル情報保持部２０１に格納すればよい。
【００４８】
その後、上述した処理において、枠線としての役割が決定した直線を除外することにより探索対象を更新し（ステップ３１２）、この新しい探索対象に未決定の直線が含まれている場合は、ステップ３１３の否定判定として、ステップ３０１に戻って新しい探索対象についてのセル抽出処理を行い、全ての直線に関する処理が終了したときに、ステップ３１３の肯定判定として、セル抽出処理を終了すればよい。
【００４９】
このように、セル抽出の基本となる行として抽出される横枠線と縦枠線とで囲まれた矩形の外側に、この矩形の一部を共有する別の矩形あるいは全く独立の矩形が存在する可能性を考慮し、これらの矩形についてもセル抽出の対象とすることにより、図４に示したように、階段状の形状や一部が突出した形状を有する不規則な帳票にも柔軟に対応して、帳票を構成するセルを漏れなく抽出することができる。
【００５０】
つまり、読み取り対象の原稿に含まれる枠の配置の不規則性にかかわらず、連結パターンに含まれる全ての矩形をセルとして抽出することができるから、例えば、階段状の外形を持つ帳票や突出部を持つ帳票のように、複雑な枠の配置を有する原稿にも柔軟に対応し、原稿に含まれるセルを漏れなく抽出することができる。これにより、文字パターンの切り出し処理の対象となる画像の領域を確実に特定することが可能となるから、文字パターンの切り出し精度を向上し、文字認識システムによる認識率を向上することができる。
【００５１】
また、このようにして、全てのセルを抽出した後に、図１に示した位置情報作成手段１２１に相当する位置情報作成部２０２は、セル情報保持部２０１に格納されたセル情報に基づいて、各セルについて、それぞれ隣接するセルを判別し、このセル相互の位置関係によって各セルの位置を相対的に表す位置情報を作成する。
【００５２】
例えば、図５(a) に網掛けを付して示すセルＸの位置は、セルａと上側の枠線を挟んで隣接し、セルｂと左側の枠線を挟んで隣接し、２つのセルｃおよびセルｄと右側の枠線を挟んで隣接し、セルｅと下側の枠線を挟んで隣接する旨を示す位置情報により、その位置を相対的に表すことができる。
したがって、位置情報作成部２０２は、上述したような位置情報を各セルについて作成し、セル情報保持部２０１に保持された各セルに対応するセル情報に付加すればよい。
【００５３】
また、このセル情報保持部２０１は、例えば、上述した位置情報で示された隣接するセルそれぞれに対応して、文字パターンの補完処理に伴って、該当する枠線を超えて対象領域が拡張されたか否かを示す拡張済みフラグを備え、位置情報更新部２２２は、対象領域抽出部２２１からの指示に応じて、該当する拡張済みフラグを操作する構成となっている。
【００５４】
次に、上述したようにして抽出したセルに関する情報に基づいて、帳票に記載された文字を表す文字パターンを切り出す方法について説明する。
図６に、文字パターンの切り出し動作を表す流れ図を示す。
図２に示した干渉検出部４１６は、図１に示した干渉検出手段１２３に相当するものであり、従来と同様に、例えば、セルに付されたセル番号の順に、該当するセルの枠線と文字パターンとの干渉を検出する（ステップ５１１）。
【００５５】
このステップ３１１において干渉が検出されなかった場合（ステップ５１２の否定判定）は、従来と同様に、対象領域抽出部２２１が、該当するセルの領域をそのまま抽出し（ステップ５１３）、図１に示した文字領域切り出し手段１２７に相当する切り出し処理部４１８は、この対象領域から文字に対応する部分を切り出して（ステップ５１４）、文字認識装置４０９の処理に供すればよい。
【００５６】
一方、ステップ５１２の肯定判定の場合に、対象領域抽出部２２１は、干渉が検出された枠線それぞれについて、まず、セル情報保持部２０１に該当するセルの位置情報に含まれる拡張済みフラグを参照し（ステップ３１１）、この拡張済みフラグの値に応じて、該当する枠線に対応する側の対象領域を調整すればよい。
【００５７】
該当する枠線についての干渉が初めて検出された場合は、ステップ３１２の否定判定となり、対象領域抽出部２２１は、この枠線を挟んで処理対象の隣接するセルの領域の一部を加えて対象領域を拡張する（ステップ３１３）。
例えば、図５(b) に示すように、セルＸを処理対象のセルとしたときに、初めて、下側の枠線とこのセル内の文字パターンとの干渉が検出された場合は、上述したステップ３１３において、この下側の枠線を挟んで隣接するセルｅに対応する領域の一部（図５(b) において、網掛けを付して示す）がセルｘの対象領域に加えられる。
【００５８】
このとき、対象領域抽出部２２１は、処理対象のセルおよび枠線を指定して、位置情報更新部２２２に位置情報の更新を指示すればよい。
これに応じて、位置情報更新部２２２は、指定されたセルに対応する位置情報に基づいて、該当する枠線を挟んで隣接するセルを判別し、このセルと上述した処理対象のセルとの隣接関係を示す位置情報に含まれる拡張済みフラグをセットして（ステップ３１４）、これら２つのセルの境界部分を含む所定の範囲が、拡張処理によって既に対象領域として処理済みであることを示せばよい。
【００５９】
例えば、図５(b) に示したセルｘの位置情報として、下側の枠線を挟んでセルｅと隣接する旨が示されているから、位置情報更新部２２２は、このセルｅに対応する位置情報にセルｘと隣接する旨の情報に対応して保持された拡張済みフラグをセットすればよい。
このように、対象領域抽出部２２１からの指示に応じて位置情報更新部２２２が該当する拡張済みフラグを操作することにより、図１に示した履歴管理手段１２５の機能を実現し、対象領域に加えられた領域を含むセルの位置情報に、対象領域を拡張した旨の履歴を反映することができる。
【００６０】
したがって、その後、処理済みのセルに隣接するセルについて対象領域を抽出する際に、この拡張フラグを参照することにより、該当する枠線を含む所定の範囲が既に隣接するセルに対応する領域とともに処理済みであることが分かるから、ステップ３１２の肯定判定として、ステップ３１５に進めばよい。
この場合に、対象領域抽出部２２１は、例えば、図５(b) に網掛けを付して示した範囲のように、該当する枠線を含む所定の範囲に対応する領域を排除して対象領域を縮減する（ステップ３１５）。
【００６１】
上述したステップ３１１からステップ３１５の処理を干渉が検出された枠線について順次に行い、該当する全ての枠線についての処理が終了したときに、ステップ３１６の肯定判定として、上述した処理で調整された対象領域を原画像保持部４１４から切り出してパターン補完処理部４１９の処理に供し（ステップ３１７）、従来と同様に、ステップ５１６において対象領域内部の文字パターンを整形した後に、ステップ５１４に進めばよい。
【００６２】
このように、拡張フラグの値に応じて、対象領域抽出部２２１が処理対象領域の範囲を調整することにより、図１に示したセル領域切り出し手段１２４の機能を実現し、各セルについて、他のセルの処理対象領域と重複しない過不足ない範囲を処理対象領域として原画像から切り出して、補完手段１２６に相当するパターン補完処理部４１９の処理に供することができる。
【００６３】
このようにして、各セルについて順次にステップ５１１からステップ５１４あるいはステップ３１１からステップ３１７およびステップ５１６の処理を行い、全てのセルについての処理が終了したときに、ステップ３１８の肯定判定として処理を終了すればよい。
この場合は、拡張フラグによって示された履歴情報に基づいて各セルの対象領域を調整するので、隣接するセルに対応する対象領域として既に抽出された範囲を、現在注目しているセルに対応する対象領域から除外することが可能であり、各セルについて、過不足ない対象領域を抽出して、パターン補完処理部４１９の処理に供することができる。
【００６４】
したがって、パターン補完処理部４１９における重複した処理を排除し、処理負担を大幅に削減することができ、これにより、全体としての処理時間を短縮することが可能である。
特に、図５(c) に示すように、複数のセルに渡って、文字が枠線にまたがって記載された帳票が文字認識の対象となった場合には、上述したようにして、対象領域の重複を排除したことによる効果が顕著である。
【００６５】
なぜなら、従来方式では、文字が枠線にまたがって記載されている全てのセルに対応して、上下の枠線を含む部分が重複して抽出されていたのに対して、本発明にかかわる文字パターン切り出し手段を適用し、各セルについて、例えば、下側の横枠線側に対象領域を拡張するとともに、上側の横枠線側では対象領域を縮減することにより、他のセルと重複しない対象領域をそれぞれ抽出し、重複した対象領域に対する無駄な処理を完全に排除することができるからである。
【００６６】
【発明の効果】
本発明にかかわる文字パターン切り出し装置及び文字パターン切り出しプログラムを記録した記録媒体を適用することにより、該当する履歴情報に応じて処理対象領域の範囲を調整し、他のセルに対応する処理対象領域と重複する部分を排除して、過不足のない処理対象領域を切り出すことができるから、文字パターンの補完処理において、重複した処理対象領域に対する無駄な処理は発生しない。これにより、文字パターンの補完処理の処理負担を大幅に軽減し、文字パターンの切り出し処理に要する時間を短縮し、文字認識処理の高速化を図ることができる。
【図面の簡単な説明】
【図１】本発明の原理ブロック図である。
【図２】請求項１の文字パターン切り出し装置を適用した文字認識システムの構成図である。
【図３】セル抽出動作を表す流れ図である。
【図４】セル抽出動作を説明する図である。
【図５】文字パターンの補完処理を説明する図である。
【図６】文字パターンの切り出し動作を表す流れ図である。
【図７】従来の文字パターン切り出し装置を適用した文字認識システムの構成例を示す図である。
【図８】従来のセル抽出動作を表す流れ図である。
【図９】従来の文字パターンの切り出し動作を表す流れ図である。
【図１０】従来のセル抽出動作を説明する図である。
【図１１】従来の文字パターンの補完処理を説明する図である。
【符号の説明】
１１０ セル抽出手段
１１１ 基本矩形抽出手段
１１２ 外部矩形抽出手段
１１３ 分解手段
１２０ パターン切り出し手段
１２１ 位置情報作成手段
１２２ 位置情報保持手段
１２３ 干渉検出手段
１２４ セル領域切り出し手段
１２５ 履歴管理手段
１２６ 補完手段
１２７ 文字領域切り出し手段
２０１、４０７ セル情報保持部
２０２ 位置情報作成部
２１０、４０６ セル抽出部
２１１ 部分表検出部
２１２、４１３ 探索制御部
２２０、４０８ パターン切り出し部
２２１、４１７ 対象領域抽出部
２２２ 位置情報更新部
４０１ スキャナ
４０２ 連結パターン抽出部
４０３ 連結パターン保持部
４０４ 直線抽出部
４０５ 直線情報保持部
４０９ 文字認識処理部
４１１ 横枠線探索部
４１２ 縦枠線探索部
４１４ 構造判別部
４１５ 原画像保持部
４１６ 干渉検出部
４１８ 切り出し処理部
４１９ パターン補完処理部

Claims (2)

1. 交差する直線で区切られた少なくとも１つの矩形の枠およびこれらの枠それぞれに記載された文字を表す原画像における画素の連結を示す連結パターンの入力に応じて、セル抽出手段により文字の記載位置を示す枠それぞれをセルとして抽出し、パターン切り出し手段により、各セルに記載された文字に対応する文字パターンを前記原画像から切り出して、文字認識処理に供する構成の文字パターン切り出し装置において、
   パターン切り出し手段は、
   前記セル抽出手段によって抽出されたセルそれぞれについて、セル相互の相対的な位置を表す位置情報として、各セルとその周囲のセルとの隣接関係を示す情報を作成する位置情報作成手段と、
   前記各セルに対応する前記位置情報と、この位置情報で示された隣接するセルそれぞれに対応して該当するセルとの境界部分についての処理履歴を示す履歴情報とを保持する位置情報保持手段と、
   前記原画像において、前記各セルを囲む枠を表すパターンとこの枠に対応する文字を表すパターンとが重なり合う部分を干渉箇所として検出する干渉検出手段と、
   前記干渉箇所の検出結果と該当する履歴情報とに基づいて、注目するセルに対応する処理対象領域として前記原画像から切り出す領域の大きさを調整するセル領域切り出し手段と、
   前記セル領域切り出し手段によって、注目するセルに対応する処理対象領域が拡張されたときに、この拡張によって前記処理対象領域に加えられた境界部分についての履歴情報を作成し、前記位置情報保持手段に該当する位置情報に対応して保持された履歴情報を更新する履歴管理手段と、
   干渉箇所がある旨の検出結果に応じて、前記セル領域切り出し手段によって切り出された処理対象領域について、文字パターンと枠を表すパターンとの重なりを除去して前記文字パターンを補完し、前記セルに対応する画像として出力する補完手段と、
   前記セルに対応する画像から個々の文字パターンに対応する領域を切り出して、文字認識処理に供する文字領域切り出し手段と
   を備えたことを特徴とする文字パターン切り出し装置。
2. 交差する直線で区切られた少なくとも１つの矩形の枠およびこれらの枠それぞれに記載された文字を表す原画像における画素の連結を示す連結パターンの入力に応じて、セル抽出手順により文字の記載位置を示す枠それぞれをセルとして抽出し、パターン切り出し手順により、各セルに記載された文字に対応する文字パターンを前記原画像から切り出して、文字認識処理に供する構成の文字パターン切り出しプログラムを記録した記録媒体において、
   パターン切り出し手順は、
   前記セル抽出手順によって抽出されたセルそれぞれについて、セル相互の相対的な位置を表す位置情報として、各セルとその周囲のセルとの隣接関係を示す情報を作成する位置情報作成手順と、
   前記各セルに対応する前記位置情報と、この位置情報で示された隣接するセルそれぞれに対応して該当するセルとの境界部分についての処理履歴を示す履歴情報とをメモリに保持させる位置情報保持手順と、
   前記原画像において、前記各セルを囲む枠を表すパターンとこの枠に対応する文字を表すパターンとが重なり合う部分を干渉箇所として検出する干渉検出手順と、
   前記干渉箇所の検出結果と該当する履歴情報とに基づいて、注目するセルに対応する処理対象領域として前記原画像から切り出す領域の大きさを調整するセル領域切り出し手順と、
   前記セル領域切り出し手順によって、注目するセルに対応する処理対象領域が拡張されたときに、この拡張によって前記処理対象領域に加えられた境界部分についての履歴情報を作成し、前記位置情報保持手順が管理するメモリに該当する位置情報に対応して保持された履歴情報を更新する履歴管理手順と、
   干渉箇所がある旨の検出結果に応じて、前記セル領域切り出し手順で切り出された処理対象領域について、文字パターンと枠を表すパターンとの重なりを除去して前記文字パターンを補完し、前記セルに対応する画像として出力する補完手順と、
   前記セルに対応する画像から個々の文字パターンに対応する領域を切り出して、文字認識処理に供する文字領域切り出し手順と
   をコンピュータに実行させるためのプログラムを記録した記録媒体。

Images