JPH09138837A - 帳票認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 帳票のような枠罫線と文字を含む画像の指定
位置に記入されている文字の自動認識において、複数の
書式の異なる帳票が混在する場合でも、信頼性の高い帳
票認識装置を提供することを目的とする。 【解決手段】 画像入力手段１からの２値画像に対し罫
線抽出手段３により水平及び垂直方向の罫線を抽出し、
コーナー検出手段４により図形のコーナーを検出し、構
成要素検出手段５により罫線の交点である構成要素を検
出し、矩形検出手段６により構成要素どうしを連結し、
外形枠検出手段７により矩形構造の最外郭の外形枠を検
出し、特徴抽出手段８により枠構造の特徴を抽出し、枠
構造照合手段１０により予め各帳票の枠構造の特徴を登
録した枠構造参照テーブル９を参照して入力の帳票を識
別し、文字読み取り領域を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、帳票のような枠罫
線と文字を含む文書画像において枠罫線の構造を認識
し、帳票を識別し帳票内に記入されている特定の文字領
域を切り出し、文字を自動認識するための帳票認識装置
に関する。

【０００２】

【従来の技術】近年、文書情報の電子化に伴い、ＯＣＲ
（Optical Character Reader）を始めとする文字認識技
術や文書画像処理に対する要望が高まっており、帳票な
ど表形式文書の自動読み取り技術もそのひとつである。
とりわけ複数の書式が混在する帳票を処理する場合は、
予め人手で帳票を種類毎に分類した後ＯＣＲ装置に読み
取らせる必要があり、時間と労力の削減のため帳票の識
別と文字読み取りをともに自動化する事が要望されてい
る。

【０００３】帳票の識別技術としては、例えば特開平２
−２１７９７７号公報のように局部的な罫線構造の相違
から帳票の種類を識別し、予め指示された領域を読み取
る方法があり、その従来例を図１９、図２１及び図２２
を用いて説明する。例えば図１９（ａ）に示すように帳
票イメージ３１０に対し点線で囲む線分検出領域におい
て水平線分を抽出する事により同図（ｂ）に示す如くｋ
１〜ｋ６の６本の線分が検出される。これに対し図２０
（ａ）に示す帳票３２０において同様に線分抽出を行う
と、同図（ｂ）に示す如くｍ１〜ｍ７の７本の線分が検
出される。したがって予め複数の帳票が識別可能な線分
検出領域を設定し、領域内の線分の本数、互いの位置関
係、長さを検出し比較することにより帳票３１０と３２
０の識別が可能となり、予め指定された文字読み取り領
域、すなわち図１９（ａ）の帳票３１０においては文字
領域３１１及び３１２を、図２０（ａ）の帳票３２０に
おいては文字領域３２１及び３２２を切り出し、文字認
識を行うことにより自動読み取りを達成するものであ
る。

【０００４】切り出された文字の認識については、様々
な方式が提案されており例えば、ニューラルネットを用
いた文字認識法（森：”ＰＤＰモデルによる手書き漢字
認識”、電子情報通信学会論文誌、Vol.J73-D-II, No.8
pp.1268-1274 1990）があり、認識率も実用的なところ
まできているが、今回は帳票の枠線認識装置ということ
で文字認識の前処理に限定しているので文字認識に関し
ては省略するものとする。

【０００５】

【発明が解決しようとする課題】しかしながら前記の従
来の構成では、帳票の枠罫線構造の局所的な相違を検出
するため図２２（ａ）に示すような帳票３３０が混在す
る場合、線分検出を行うと同図（ｂ）に示すようにｎ１
〜ｎ７の７本の線分が検出され、図２０（ｂ）に示した
場合と同一となり図２１（ａ）の文字読み取り領域３３
１及び３３２を特定することが難しく、また線分検出領
域の範囲を予め目視で確認して設定する必要があり、作
業が複雑化するという課題があった。

【０００６】本願発明は、前記従来技術の課題を解決す
るもので、多種多様な書式の帳票が混在する場合でも帳
票を識別し、帳票毎の文字読み取り領域を正確に検出す
る信頼性の高い帳票認識装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】この課題を解決するため
に本発明は、枠罫線と文字を含む入力画像を読み取り２
値画像を出力する画像入力手段と、前記２値画像を記憶
する画像メモリと、前記２値画像において水平及び垂直
方向の所定長以上のランを検出することにより枠罫線を
抽出する罫線抽出手段と、枠罫線からなるパターンのコ
ーナーを検出するコーナー検出手段と、前記コーナーの
形状の組み合わせから罫線の屈曲や交差によるＬ字要
素、Ｔ字要素及び十字要素を構成要素として検出する構
成要素検出手段と、前記構成要素どうしを連結し連結形
態を枠構造情報として出力する矩形検出手段と、前記枠
構造情報をもとに前記入力画像内の矩形構造を含む最外
郭の外形枠を検出し、前記外形枠の構造の特徴を外形枠
構造特徴として抽出する外形枠検出手段と、個々の前記
外形枠に囲まれた内部の構造特徴を内部構造特徴として
抽出する特徴抽出手段と、前記外形枠構造特徴に基づき
前記入力画像を分類し、前記外形枠構造特徴及び前記内
部構造特徴を登録する枠構造参照テーブルと、前記枠構
造参照テーブルを検索し外形枠構造特徴及び前記内部構
造特徴を照合することにより前記入力画像の種別を認識
し、前記入力画像内の文字読み取り対象枠を検出する枠
構造照合手段と、前記文字読み取り対象枠の４頂点の座
標に基づき前記画像メモリから文字領域を切り出す文字
切り出し手段と、切り出された文字を認識する文字認識
手段とを設けたものである。

【０００８】これにより、多種多様な書式の帳票が混在
する場合でも帳票を識別し、帳票毎の文字読み取り領域
を正確に検出でき、信頼性の高い帳票認識装置が実現で
きる。

【０００９】

【発明の実施の形態】本発明の請求項１記載の発明は、
枠罫線と文字を含む入力画像を読み取り２値画像を出力
する画像入力手段と、前記２値画像を記憶する画像メモ
リと、前記２値画像において水平及び垂直方向の所定長
以上のランを検出することにより枠罫線を抽出する罫線
抽出手段と、枠罫線からなるパターンのコーナーを検出
するコーナー検出手段と、前記コーナーの形状の組み合
わせから罫線の屈曲や交差によるＬ字要素、Ｔ字要素及
び十字要素を構成要素として検出する構成要素検出手段
と、前記構成要素どうしを連結し連結形態を枠構造情報
として出力する矩形検出手段と、前記枠構造情報をもと
に前記入力画像内の矩形構造を含む最外郭の外形枠を検
出し、前記外形枠の構造の特徴を外形枠構造特徴として
抽出する外形枠検出手段と、個々の前記外形枠に囲まれ
た内部の構造特徴を内部構造特徴として抽出する特徴抽
出手段と、前記外形枠構造特徴に基づき前記入力画像を
分類し、前記外形枠構造特徴及び前記内部構造特徴を登
録する枠構造参照テーブルと、前記枠構造参照テーブル
を検索し外形枠構造特徴及び前記内部構造特徴を照合す
ることにより前記入力画像の種別を認識し、前記入力画
像内の文字読み取り対象枠を検出する枠構造照合手段
と、前記文字読み取り対象枠の４頂点の座標に基づき前
記画像メモリから文字領域を切り出す文字切り出し手段
と、切り出された文字を認識する文字認識手段とを具備
する帳票認識装置としたものであり、帳票内の外形枠の
構造に基づき帳票の書式カテゴリを判定し、さらに個々
の外形枠毎に予め参照テーブルに登録した見本となる枠
罫線構造と照合するため、正確に帳票の種別を特定でき
帳票毎の文字読み取り領域を正確に検出できるという作
用を有する。

【００１０】請求項２に記載の発明は、外形枠の構造特
徴が外形枠の総数、位置及び形状である請求項１記載の
帳票認識装置としたものであり、帳票内の外形枠の構造
に基づき帳票の書式カテゴリを判定し、さらに個々の外
形枠毎に予め参照テーブルに登録した見本となる枠罫線
構造と照合するため、正確に帳票の種別を特定でき帳票
毎の文字読み取り領域を正確に検出できるという作用を
有する。

【００１１】請求項３に記載の発明は、内部の構造特徴
が個々の外形枠に囲まれた内部の枠の数、位置、幅及び
高さである請求項１又は２記載の帳票認識装置としたも
のであり、帳票内の外形枠の構造に基づき帳票の書式カ
テゴリを判定し、さらに個々の外形枠毎に予め参照テー
ブルに登録した見本となる枠罫線構造と照合するため、
正確に帳票の種別を特定でき帳票毎の文字読み取り領域
を正確に検出できるという作用を有する。

【００１２】以下、本発明の実施の形態について、図１
から図２１を用いて説明する。 （実施の形態１）図１は帳票認識装置のブロック構成図
を示し、１は帳票を読み取り２値画像を得る画像入力手
段、２は前記２値画像を記憶する画像メモリ、３は２値
画像の水平及び垂直方向の罫線を抽出する罫線抽出手
段、４は２値図形のコーナーを検出するコーナー検出手
段、５はコーナー形状の組み合わせから罫線の屈曲や交
差によるＬ字要素、Ｔ字要素、十字要素を検出する構成
要素検出手段、６は構成要素どうしを連結し、連結形態
を枠構造情報として出力する矩形検出手段と、７は帳票
内の矩形構造を含む最外郭の外形枠を検出し、帳票の大
局的な枠構造特徴を外形枠構造特徴として抽出する外形
枠検出手段、８は個々の外形枠に囲まれた内部の枠の
数、位置、幅、高さ等の特徴を内部構造特徴として抽出
する特徴抽出手段、９は外形枠の大局的な特徴である外
形枠構造特徴に基づき帳票を分類し、個々の外形枠の構
造特徴として前記外形枠構造特徴及び前記内部構造特徴
を登録する枠構造参照テーブル、１０は枠構造参照テー
ブル上の枠構造特徴との照合により帳票の種別を認識し
文字読み取り対象枠を検出する枠構造照合手段、１１は
読み取り対象枠の文字領域を切り出す文字切り出し手
段、１２は切り出された文字を認識する文字認識手段で
ある。

【００１３】以上のように構成された帳票認識装置につ
いて、その動作を説明する。画像入力手段１により帳票
を読み取り、文字部が１、背景が０の値をもつ２値画像
に変換し画像メモリ２に記憶し、罫線抽出手段３により
２値画像を水平及び垂直方向に走査し所定長以上に値”
１”が連続する線を抽出し、コーナー検出手段４により
水平及び垂直の罫線からなるパターンのコーナーを検出
し、構成要素検出手段５によりコーナー形状の組み合わ
せから罫線の屈曲部や交差部のＬ字、Ｔ字、及び十字の
構成要素を検出し、矩形検出手段６により構成要素どう
しを連結しその連結形態を検出し、外形枠検出手段７に
より帳票内の矩形構造を含む最外郭の外形枠を検出し、
外形枠の総数、位置、形状等の大局的な特徴を抽出し、
特徴抽出手段８により個々の外形枠に囲まれた内部の枠
の数、位置、幅、高さ等の特徴を抽出し、枠構造参照テ
ーブル９に予め見本となる帳票の外形枠の構造及び個々
の外形枠の内部の特徴を登録しておき、枠構造照合手段
１０により対象とする帳票の枠構造情報と枠構造参照テ
ーブル９上の見本となる枠構造と照合し帳票を特定し、
その帳票における読み取り対象枠を認識し頂点の座標を
検出し、文字切り出し手段１１により読み取り対象枠の
４頂点の座標に基づき文字領域を切り出し、文字認識手
段１２により切り出された文字を認識するものである。

【００１４】次に図１における各構成要素の動作を詳細
に説明する。帳票を読み取り２値画像を出力する画像入
力手段１は、読み取り線密度を約４００ｄｐｉ程度と
し、原稿である帳票にＬＥＤ（発光ダイオード）等で照
明しその反射光を一次元のＣＣＤカメラで読み取り、任
意の閾値で２値化して文字部が値１、背景が値０の２値
画像を出力するものである。また、照明は原稿である帳
票の枠線や記入された文字の色によって異なるが、例え
ば青・黒および赤等の枠線に対して、黒や青等で数字や
記号および文字が記入された場合、緑あるいは黄緑の波
長（５５０〜５７０ｎｍ付近）のＬＥＤを用いることが
多い。２値化処理においては、固定閾値法や浮動閾値法
（森、大津：”認識問題としての二値化と各種方法の検
討”、情報処理学会、イメージプロセッシング15-1, No
v. 1977）が良く知られている２値化処理法であり、原
稿に合わせて任意の２値化処理法を選択すればよい。

【００１５】このように２値化された画像データは画像
メモリ２に格納され、メモリ上の画像データに対し以降
に説明する罫線抽出と文字切り出しを行う。

【００１６】次に罫線抽出手段３について図２を用いて
説明する。図２は罫線抽出手段３における画像処理のブ
ロック構成図を示し、２０は画像メモリ２からの２値画
像、２１は水平方向にパターンを縮める水平方向収縮手
段、２２は水平方向にパターンを延長する水平方向延長
手段、２３は垂直方向にパターンを縮める垂直方向収縮
手段、２４は垂直方向にパターンを延長する垂直方向延
長手段、２５は水平方向延長手段２２と垂直方向延長手
段２４の出力のＮＯＲ演算を行うＮＯＲ回路である。画
像メモリ２の２値画像に対し、水平方向収縮手段２１に
おいて水平方向にｈ画素縮めることにより、水平方向に
ｈ画素以下の幅の線や文字が消滅し、続く水平方向延長
手段２２において水平方向にｈ画素延長することにより
ｈ画素より長い水平線分が抽出される。同様に垂直方向
収縮手段２３において垂直方向にｖ画素縮めることによ
り、垂直方向にｖ画素以下の幅の線や文字が消滅し、続
く垂直方向延長手段２４において垂直方向にｖ画素延長
することによりｖ画素より長い垂直線分が抽出される。
ＮＯＲ回路２５により水平方向延長手段２２と垂直方向
延長手段２４の出力のＮＯＲ演算を行うと、文字が消去
され枠罫線のみが残る２値画像が得られ、枠罫線及び背
景がそれぞれ”０”及び”１”の値をもつ。

【００１７】図２における水平及び垂直方向の収縮及び
延長処理について図３及び図４を用いてさらに詳細に説
明する。

【００１８】図３は水平及び垂直方向収縮手段２１及び
２３の動作を示すフロー図を示しており、２値画像を水
平方向または垂直方向に１ラインずつ順次走査し終了ラ
インまで処理し、各ライン毎にｎ画素の収縮処理をおこ
なうとき、ランレングスのカウント値をＣとすると、ス
テップ３１において各ラインの走査開始時にカウント値
Ｃに０を設定し、ステップ３２において１画素データを
読み込み、ステップ３３において画素の値が０（白）か
１（黒）かを判定し、０のときステップ３４へ進みカウ
ント値Ｃに０を設定し、さらにステップ３５へ進み黒ラ
ンではないので値０を出力する。ステップ３３の判定で
値が１のときはステップ３６へ進みカウント値Ｃがｎ以
上かどうかの判定を行い、ｎ未満のときステップ３７へ
進みカウント値Ｃをインクリメントし、さらにステップ
３５へ進みその走査位置までに所定の黒ランが存在しな
いので値０を出力する。ステップ３６の判定でカウント
値Ｃがｎ以上のときステップ３８へ進みその走査位置ま
でにｎ画素以上のランレングスをもつ黒ランが存在する
ので値１を出力する。以上の処理を１ラインの終了まで
行うことにより、そのライン上の黒ランがｎ画素縮めら
れる。次のラインを処理するときは再びステップ３１か
ら同様の処理を繰り返す。このようにして全画面の走査
が終了すると、水平または垂直方向にｎ画素以上のラン
レングスをもつ線分が抽出される。

【００１９】同様に図４は水平及び垂直方向延長手段２
２及び２４の動作を示すフロー図を示しており、２値画
像を水平方向または垂直方向に１ラインずつ順次走査し
終了ラインまで処理し、各ライン毎にｎ画素の延長処理
をおこなうとき、ランレングスのカウント値をＣとする
と、ステップ４１において各ラインの走査開始時にカウ
ント値Ｃにｎを設定し、ステップ４２において１画素デ
ータを読み込み、ステップ４３において画素の値が０
（白）か１（黒）かを判定し、１のときステップ４４へ
進みカウント値Ｃにｎを設定し、さらにステップ４５へ
進み黒ラン上にあるので値１を出力する。ステップ４３
の判定で値が０のときはステップ４６へ進みカウント値
Ｃが０以下かどうかの判定を行い、０より大きい場合ス
テップ４７へ進みカウント値Ｃをデクリメントし、さら
にステップ４５へ進みその走査位置は黒ランからｎ画素
以内の距離にあるので値１を出力する。ステップ４６の
判定でカウント値Ｃが０以下のときステップ４８へ進み
その走査位置は黒ランからｎ画素より大きく離れている
ので値０を出力する。以上の処理を１ラインの終了まで
行うことにより、そのライン上の黒ランがｎ画素延長さ
れる。次のラインを処理するときは再びステップ４１か
ら同様の処理を繰り返す。このようにして全画面の走査
が終了すると、水平または垂直方向にランレングスがｎ
画素延長される。

【００２０】次にコーナー検出手段４、構成要素検出手
段５、及び矩形検出手段６における一連の処理について
説明するが、これらの内容は同一出願人による特願平７
−０１６８６２号公報に記載されており詳細な説明は省
略し、その動作を簡単に説明する。

【００２１】まずコーナー検出手段４について図５から
図７を用いて説明する。図５はコーナーを検出するため
の前処理として、入力画像を方向コード化画像に変換し
た結果を示す図、図６は方向コード１〜８と実際の方向
の対応関係を示す図、図７が検出するコーナーの具体例
を示す図である。図５において５１は枠罫線の画素、５
２は背景の画素、数字は輪郭点に付与された方向コード
をそれぞれ示しており、この場合背景パターンに対し時
計回りに輪郭を追跡するときの追跡の方向を、方向コー
ド１〜８として割り当てる。このように方向コード化さ
れた画像から方向コードの変化点、すなわちコーナーを
検出する。このために３×３近傍において注目位置（中
央画素）コードが指示する方向に、注目画素と同一方向
コードでない位置を検出する。図５において丸で囲まれ
た位置は方向コードの変化点を示しているが、例えば５
３の位置では図７（ａ）に示す画素配置となっており、
注目画素の指示する方向”３”の位置の方向コードは”
１”となっており、輪郭の方向が”３”から”１”へ変
化することを意味するので”３１”というコードで表記
し、座標と変化する方向コード（以下方向変化コードと
よぶ）を１組として検出する。同様に画素位置５４、５
５、５６は図７の（ｂ）、（ｃ）、（ｄ）に対応してお
り、それぞれ”１７”、”７５”、”５３”という方向
変化コードが与えられ、これらのコーナー点は、ｘ座
標、ｙ座標、方向変化コードを１組の特徴情報として構
成要素検出手段５へ通知する。

【００２２】次に構成要素検出手段５について図８と図
９を用いて説明する。図８はコーナー点の組み合わせか
ら構成要素を検出するための判定条件を示す図、図９は
構成要素の記述形式を示す図である。図８において
（ａ）（ｂ）（ｃ）（ｄ）はＬ字要素の検出例、（ｅ）
（ｆ）（ｇ）（ｈ）はＴ字要素の検出例、（ｈ）は十字
要素の検出例を示しており、コーナー検出手段４からの
コーナー点の特徴情報を用いて、ｘ，ｙ座標が所定の距
離以内にある複数のコーナー点をグループ化し、グルー
プのメンバーであるコーナー点の方向変化コードの組み
合わせから、構成要素の種類が対応付けられる。このよ
うにして検出された構成要素の形状は、図９（ａ）に示
すように４ビットのコード（以下形状コードとよぶ）で
記述され、各ビットは上位から図９（ｂ）のＳ、Ｗ、
Ｎ、Ｅのいずれの方向に腕が存在するかを示している。
例えば図８（ａ）に示すＬ字要素はＳ方向とＥ方向に腕
を有しているので、”１００１”のビットパターンで記
述される。構成要素のｘ座標及びｙ座標は、グループの
メンバーであるコーナー点のｘ座標及びｙ座標の平均値
を与えるものとし、構成要素検出手段５はこのｘ座標、
ｙ座標、及び前記構成要素の形状コードを特徴情報とし
て、矩形検出手段６に通知する。

【００２３】次に矩形検出手段６について図１０を用い
て説明する。図１０は構成要素どうし連結関係を示す図
である。図１０（ａ）は構成要素検出手段５において検
出されたＬ字要素、Ｔ字要素、十字要素の一例を示すも
ので、矩形検出手段６は矩形情報としてこれら構成要素
の連結関係を記述した連結テーブルを生成出力する。ま
ず各構成要素に対し識別ラベルe1からe20を付与し、次
に前記構成要素検出手段５からの特徴情報（ｘ座標、ｙ
座標、形状コード）に基づき、形状コードの示す腕につ
いてｘ方向とｙ方向を探索し、連結可能な腕をもつ構成
要素のうち最短距離にあるものを検出する。同図（ｂ）
は構成要素の連結関係を示す連結テーブルを示すもの
で、各構成要素についてどの要素と連結するかをＮ、
Ｓ、Ｅ、Ｗの各方向について記述する。例えばＬ字要素
e1の場合は、腕Ｓ及びＥに対応する構成要素としてe15
及びe2が存在し、Ｔ字要素e2の場合は腕Ｓ、Ｗ、及びＥ
に対応する構成要素としてe8、e1、及びe3が存在するこ
とになる。同図（ｂ）の属性フラグは特徴抽出手段８に
おいて使用するパラメータであり具体的内容は後述す
る。

【００２４】次に外形枠検出手段７について図１１及び
１２を参照しながら説明する。図１１（ａ）は外形枠の
一例を示す図、図１１（ｂ）は時計回りに外形枠を追跡
し再び始点に戻るまでの経路を示す図、図１２は外形枠
を検出する処理のフロー図である。図１１（ａ）におい
て太線で示される矩形６２、６３、及び６４が外形枠で
あり、帳票６１において閉じた枠構造の最も外側の罫線
で構成される。例えば外形枠６２について、始点要素f1
から時計回りに外形枠を追跡し再び始点に戻るまでの経
路である追跡経路は図６（ｂ）に示すように、f1、f2、
f6、f10、f12、f11、f9、f5、f1となり、外形枠の頂点
は丸印で示すように追跡の方向が変化する構成要素とな
りf1、f2、f12、f11、f1であり、これらを頂点経路と呼
ぶ。以下追跡経路は［・・・］、頂点経路は｛・・・｝
というように表記すると、外形枠６３については追跡経
路は［f3 f4 f8 f14 f13 f7 f3］となり、頂点経路は
｛f3f4 f14 f13 f3｝であり、外形枠６４については追
跡経路は［f15 f16 f17 f20f24 f29 f33 f32 f31 f30 f
25 f21 f18 f15］であり、頂点は｛f15 f17 f33 f32f31
f30 f15｝である。したがって図１１（ａ）に示す帳票
の例では外形枠の総数Ｎは３となる。次にこれらの外形
枠を抽出するための処理について図１２を参照しながら
説明する。まずフロー図で用いる変数について説明す
る。入力変数は、図１０（ｂ）に示した構成要素連結テ
ーブルで、テーブル上のｉ番目の構成要素に関して、識
別ラベルをｅi、ｘ座標をｘ（ｅi）、ｙ座標をｙ（ｅ
i）、形状コードをｃｏｄｅ（ｅi）、方向ポインタをｄ
k（ｅi）とし、Ｓ、Ｗ、Ｎ、Ｅの各方向に対しk＝０、
１、２、３が対応する。ｉはテーブル上の構成要素の総
数をＭとすると、０から（Ｍ−１）の値をとるものとす
る。次に出力変数は、外形枠の総数をＮ、ｊ番目の外形
枠に関して、追跡経路をＢj＝［ｂj（０）ｂj（１）・
・・］、頂点経路をＣj＝｛ｃj（０）ｃj（１）・・
・｝とする。ただしｊは０から（Ｎ−１）の値をとるも
のとする。また制御変数として、外形枠の追跡を開始し
た構成要素ポインタｓｐ、次を追跡するための構成要素
ポインタｎｐ、現在の追跡している方向を示す変数ｄｉ
ｒ、外形枠の追跡フラグｆとする。まず７１において外
形枠総数Ｎに０を設定し、７２において外形枠を追跡中
かどうかを示すフラグｆに０を設定し、更に７３におい
て制御変数ｉ及びｊに０を設定する。以下、構成要素連
結テーブルを参照しながら、個々の外形枠を時計回りに
追跡する。７４において制御変数ｉが構成要素の総数Ｍ
以上の場合処理は終了し、そうでない場合には７５に進
む。７５においてフラグの値から現在外形枠を追跡中か
どうかを判定し、フラグの値が０、すなわち外形枠の始
点を探索中であるとき７６の判定に進み、フラグの値が
１、すなわち外形枠を追跡中であるとき８４の判定に進
む。７６の判定は現在注目している構成要素が外形枠追
跡の始点であるかどうかを判定するもので、外形枠の左
肩の要素、すなわちＳ方向及びＥ方向に腕をもつ構成要
素かどうかを判定し、該当する場合は７８へ進み追跡フ
ラグｆをセットし、該当しない場合は７７へ進み制御変
数ｉを更新し、次の構成要素をチェックする。７９及び
８０は制御変数に初期値を与えるステップであり、７９
において始点ポインタを設定し、８０において制御変数
ｋｋと現在の追跡方向を示す変数ｄｉｒに、方向Ｅを示
す値３を設定する。次に８１及び８２において、現在注
目している構成要素の識別コードｅiを追跡経路Ｂj及び
Ｃjに登録する。そして８３において次点ポインタｎｐ
に現在着目している構成要素のＥ方向ポインタの値をセ
ットする。次に再び判定７５へ戻り、今回は追跡フラグ
ｆがセットされているので判定８４へ進む。８４は次点
ポインタｎｐと始点ポインタｓｐの一致判定を行うもの
で、一致した場合は外形枠としてクローズしたことを意
味し、９４へ進み外形枠の総数Ｎをインクリメントし、
次に９５において制御変数ｊをインクリメントし、更に
９６において追跡フラグｆをリセットし、７７において
制御変数ｉを更新し再び７４の判定を行う。８４の判定
において次点ポインタと始点ポインタが一致しないと
き、次点ポインタｎｐの指す構成要素においてＳ、Ｗ、
Ｎ、Ｅの各方向のポインタを検索し、次のｎｐを決め
る。８５は上記Ｓ、Ｗ、Ｎ、Ｅの方向を検索する際、ど
の方向から検索するかを決める処理で、式中の％はモジ
ュロ演算を示す。すなわち現在の方向ｋｋに３を加えモ
ジュロ演算を行うことにより、現在の方向に対し時計回
りにみてすぐ隣の方向から、時計回り順にチェックして
いく。このとき８６の判定において、該方向に腕を有す
るかどうかの判定を行い、腕を有さない場合は、８７で
ｋｋの値を更新し再び８５へ進み、腕を有する場合は判
定８８へ進む。８８は腕の方向が現在の追跡方向と一致
しているかどうかの判定を行うもので、一致しない場合
は追跡方向が変わるため、９０において変数ｄｉｒに新
たな追跡方向を設定し、９１において注目している構成
要素が方向変化点、すなわち頂点であるとして、頂点経
路Ｃjに登録し、さらに８９において追跡経路Ｂjにも登
録する。８８の判定において追跡方向が変化しない場合
は追跡経路Ｂjにのみ登録する。続いて次点ポインタｎ
ｐに求められた方向ｋの構成要素の識別コードをセット
し、現在の方向を示す制御変数ｋｋにｋの値をセット
し、再び７５以下の判定を繰り返す。以上の処理を終了
まで実行することにより、帳票内の全ての外形枠が検出
され、総数Ｎ、追跡経路Ｂj、及び頂点経路Ｃjが求めら
れる。

【００２５】次に特徴抽出手段８について図１３から図
１５を用いて説明する。図１３及び図１４は構成要素の
外形枠への属性を検出するフロー図、図１５は前記構成
要素連結テーブルから各外形枠の内部枠を検出するフロ
ー図である。まず図１３のフロー図で用いられる変数に
ついて説明する。入力となるデータは図１０（ｂ）で示
した構成要素連結テーブルと図１２の処理で得られた追
跡経路Ｂj（j=0〜N-1）であり、識別ラベル、形状コー
ド、方向ポインタは図１２と同様の表記とする。また追
跡経路Ｂjに属する要素ｂj（ｈ）の総数をｐjと表記す
る。これに対し出力データとしては、各構成要素がどの
外形枠に所属するかを示す属性フラグｇ（ｅi）であ
る。すなわち図１０（ｂ）に示した構成要素がどの外形
枠に所属するかを判定するものである。判定に先立ち、
あらかじめ全ての構成要素の属性フラグｇ（ｅi）に−
１がセットされているものとする。図１３において、ま
ず１０１から１０４において制御変数ｊ、ｈ、ｉ、ｋに
０を設定し、１０９の判定において注目している構成要
素の腕の方向ポインタの位置に、追跡経路上の構成要素
と一致するかどうかを判定する。一致する場合は１１４
へ進み属性フラグｇ（ｅi）にｊの値すなわち所属する
外形枠の番号を設定する。これに対し一致しない場合は
１１１以下の判定へ進み、条件を満たすときは方向の制
御変数ｋを更新し再び１０９の判定を行う。１１１では
制御変数ｉがＭ−１まで進んだかどうかを判定するもの
で、条件を満たすときは１０４からの処理を繰り返し、
満たさない場合は１１２以下の判定に進む。１１２では
制御変数ｈが追跡経路Ｂjの要素数ｐjまで進んだかどう
かを判定するもので、条件を満たすときは１０３からの
処理を繰り返し、満たさない場合は１１３の判定に進
む。１１３では制御変数ｊがＮ−１まで進んだかどうか
を判定するもので、条件を満たすときは１０２からの処
理を繰り返し、満たさない場合は図１４に示す処理へ進
む。以上の処理により各外形枠上の構成要素の属性フラ
グｇ（ｅi）が設定されたことになる。図１４で示すプ
ロセスは、構成要素連結テーブル自身を参照し、まだ属
性の決まっていない要素に対し、既に属性のきまってい
る構成要素の方向ポインタとの一致判定を行い、一致す
る場合は同一の属性フラグを与える処理である。まず１
２１で制御変数ｉに０、フラグｆに０をそれぞれ設定
し、次に１２８において構成要素ｅiの属性が決まって
いるかどうかを判定し、決まっている場合は１３３へ進
み制御変数ｉがＭ−１まで進んでいなければｉを更新し
再び１２８の判定を行う。属性が決まっていない場合は
１２２へ進みフラグに１をセットし、１２３へ進み制御
変数ｓに０を設定し、続く１２９で既に属性の決まって
いる構成要素を探索する。未だ属性が決まってない場合
は１３１の判定へ進み制御変数ｓがＭ−１まで進んでい
なければｓを更新し再び１２９の判定を行う。属性の決
まっている構成要素があった場合、１２４で制御変数ｒ
に０を設定し、１３０において方向ポインタの中に、注
目している構成要素ｅiが存在するかどうかを判定し、
存在する場合は１３５へ進み属性フラグｇ（ｅi）にｇ
（ｅs）を設定する。１３０の条件を満たさない場合は
１２５においてｒをインクリメントし他の方向ポインタ
を見る。１３３において制御変数ｉがＭ−１まで進んだ
ときは１３４へ進み、フラグｆの値を検査し値が０でな
い場合は再び１２１から処理を繰り返す。１３４の判定
でフラグの値が０のままであれば、全ての構成要素の属
性が与えられたことになり、終了する。次に構成要素連
結テーブルから各外形枠の内部の枠を検出する処理フロ
ーについて図１５を参照しながら説明する。まず図１５
で用いられる変数について説明する。入力となるデータ
は図１０（ｂ）で示した構成要素連結テーブルであり、
識別ラベル、方向ポインタ、所属フラグは図１３及び図
１４と同様の表記とする。これに対し出力データとして
は、各外形枠ごとの内部枠構造テーブルＲｊと各外形枠
毎の内部枠の総数ｔjである。ただしｊは０から（Ｎ−
１）の値をとるものとする。

【００２６】枠の４頂点のうち左上の点を始点と定める
と、内部枠構造テーブルＲjは、個々の枠の識別番号、
始点のｘ座標及びｙ座標、枠の幅ｗと高さｈを要素とし
てもつものとする。まず１４１から１４３において制御
変数ｉ及びｊと内部枠の総数ｔjに０を設定する。１４
５の判定で対象とする構成要素が注目している外形枠に
所属するかどうかを判定し、所属しない場合は判定１５
９へ進み、所属する場合は判定１４６へ進む。１４６は
対象としている構成要素が枠の始点であるかどうかを判
定するもので、Ｅ方向及びＳ方向のポインタに連結の相
手となる構成要素が存在するかどうかが判定条件であ
る。始点である場合１４７以下の処理に進むが、始点か
ら枠として認識する方法は、基本的に始点からＥ→Ｓ→
Ｗ→Ｎと右回りに連結線をたどり、行き止まりになれば
前の要素に戻り新しい構成要素を選択して探索を繰り返
し、最後に始点に戻ることのできる構成要素の集まりを
１つの枠とするものである。まず１４７において対象点
のＥ方向に構成要素が連結しているがどうか調べ、ｎｏ
ならば１５９へ進み、ｙｅｓならば１４８へ進み連結し
ているＥ方向の構成要素を対象点にする。次に１４９に
おいて対象点のＳ方向に構成要素が連結しているがどう
か調べ、ｎｏならば１４７に戻り、ｙｅｓならば１５０
へ進み連結しているＳ方向の構成要素を対象点にする。
続いて１５１において対象点のＷ方向に構成要素が連結
しているがどうか調べ、ｎｏならば１４９に戻り、ｙｅ
ｓならば１５２へ進み連結しているＷ方向の構成要素を
対象点にする。続いて１５３において対象点のＮ方向に
構成要素が連結しているがどうか調べ、ｎｏならば１５
１へ戻り、ｙｅｓならば１５４へ進み連結しているＮ方
向の構成要素を対象点にする。続いて１５５において１
５４の対象点が始点と一致するかどうか調べ、ｎｏなら
ば１５３に戻り、ｙｅｓならば１つの枠を検出したので
１５６へ進む。１５６では始点のｘ座標とＥ方向の構成
要素のｘ座標の差から枠の幅ｗを算出し、また始点のｙ
座標とＳ方向の構成要素のｙ座標の差から枠の高さｈを
算出する。次に１５７において内部枠構造テーブルＲj
に該枠の始点のｘ座標、ｙ座標、幅ｗ、高さｈを登録
し、１５８において内部枠の総数ｔjをインクリメント
する。その後１５９へ進み制御変数ｉの判定を行い、ｉ
が構成要素の総数Ｍ−１まで進んでいないとき１６０へ
進みｉをインクリメントし再び１４５の判定に進み、ｉ
がＭ以上の場合は１６１へ進む。１６１では制御変数ｊ
の判定を行い、ｊが外形枠の総数Ｎ−１まで進んでいな
いとき１６２へ進みｊをインクリメントし再び１４２に
戻り、ｊがＮ以上の場合は終了となる。以上図１２から
図１５を用いて説明した外形枠検出手段７及び特徴抽出
手段８により、帳票の外形枠構造特徴として外形枠の総
数、頂点位置及び個々の外形枠の内部構造特徴として内
部枠の総数、枠の始点位置、幅、高さが検出され、次の
枠構造照合手段１０において枠構造参照テーブル９に登
録されている帳票の枠構造と照合し、帳票を特定し文字
読み取り領域を決定する。

【００２７】以下枠構造参照テーブル９と枠構造照合手
段１０について図１６と図１７を用いて説明する。図１
６は枠構造参照テーブル９に登録してある帳票の具体
例、図１７は枠構造参照テーブル９の構造を示す図であ
る。図１６（ａ）に示す帳票は３個の外形枠２１１、２
１２、２１３が存在し、個々の外形枠には１３個の内部
枠が存在し、それぞれ(1)から(13)の識別番号が与えら
れている。また同図（ｂ）に示す帳票は２個の外形枠２
２１、２２２が存在し、個々の外形枠には１１個の内部
枠が存在し、それぞれ(1)から(11)の識別番号が与えら
れている。また同図（ｃ）に示す帳票は１個の外形枠２
３１が存在し、１１個の内部枠が存在しそれぞれ(1)か
ら(11)の識別番号が与えられている。さらに同図（ｄ）
に示す帳票は１個の外形枠２４１が存在し、１３個の内
部枠が存在しそれぞれ(1)から(13)の識別番号が与えら
れている。これらの帳票の枠構造の特徴は図１７（ａ）
（ｂ）に示すテーブルに登録されている。図１７におい
て（ａ）は外形枠構造を登録するテーブル、（ｂ）は内
部枠構造を登録するテーブルを示す。同図（ａ）におい
てテーブルに登録する要素としては、外形枠の総数、頂
点数、個々の外形枠における内部枠の総数、外形枠の識
別番号、外形枠の頂点座標があり、入力された帳票にお
けるこれらの特徴をパラメータとしてテーブルを検索す
ることにより、帳票の候補が決まる。次に候補として挙
げられた帳票に対し、今度は同図（ｂ）に示す内部の枠
の詳細構造を順次照合する。すなわち個々の枠について
始点座標、幅、及び高さの一致判定を行い一致したとき
帳票が特定できたとみなし、読み取り対象枠の識別番号
に対応する入力帳票の枠の始点座標、幅、高さを文字切
り出し手段１１に通知する。例えば図１６（ｄ）に示す
帳票の場合、読み取り対象枠は(6)及び(7)となりそれぞ
れの枠の始点、幅、高さが文字切り出し手段１１に通知
される。

【００２８】次に、文字切り出し手段１１について説明
する。文字切り出し手段１１は、画像メモリ２から実際
の文字の２値イメージを切り出して文字認識手段１２に
送るもので、その処理について図１８を用いて説明す
る。図１８は、帳票の枠の中に文字が描かれている２値
イメージを示している。ここで、２５１は読み取り対象
枠の始点（ｘｓ，ｙｓ）、２５２は文字読み取り領域、
２５３は文字切り出し領域を示す。枠構造照合手段１０
より通知された始点（ｘｓ，ｙｓ）、幅ｗ、高さｈに基
づき、マージンｄｘとｄｙを見込んで、始点２５４（ｘ
ｓ＋ｄｘ，ｙｓ＋ｄｙ）から幅（ｗ−２ｄｘ）、高さ
（ｈ−２・ｄｙ）の領域を読み取り領域２５４として決
定する。個々の文字の切り出し領域は、この読み取り領
域において水平方向及び垂直方向のプロジェクションを
とることにより決定され、水平及び垂直方向において所
定の度数以上の領域を文字切り出し領域２５３とする。
プロジェクションを用いた文字切り出しは一般的な技術
であるので詳細な説明は省略する。このように切り出さ
れた個々の文字を後段の文字認識手段１２に転送し、指
定された枠内の文字列を認識する事ができる。

【００２９】

【発明の効果】以上のように本発明によれば、画像入力
手段により読み取られたの帳票の２値画像に対して、罫
線を抽出し罫線の交点である構成要素を検出し、各構成
要素どうしを連結し枠構造を生成し、枠構造の外形枠を
検出しその特徴から帳票を分類し、さらに各外形枠の内
部の枠構造を見本と照合して帳票の種類を特定し、読み
取り対象枠を検出することにより、多種多様な書式の帳
票が混在する場合でも帳票を識別し、帳票毎の個別の文
字読み取り領域を正確に検出でき、信頼性の高い文字認
識が行えるという有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施の形態における帳票認識装置の
ブロック結線を示す図

【図２】同実施の形態の帳票認識装置における罫線抽出
手段でのブロック結線を示す図

【図３】同実施の形態の帳票認識装置における線分収縮
手段での処理の手順を示すフローチャート

【図４】同実施の形態の帳票認識装置における線分延長
手段での処理の手順を示すフローチャート

【図５】同実施の形態の帳票認識装置におけるコーナー
検出手段での方向コード化と方向コード変化点検出につ
いて説明する図

【図６】同実施の形態の帳票認識装置におけるコーナー
検出手段での方向コードと実際の方向との対応関係を示
す図

【図７】同実施の形態の帳票認識装置におけるコーナー
検出手段での方向変化コードの具体例を示す図

【図８】同実施の形態の帳票認識装置における構成要素
検出手段でのコーナー点の組み合わせによる構成要素の
具体例を示す図

【図９】同実施の形態の帳票認識装置における構成要素
抽出手段での構成要素の形態の記述について説明する図

【図１０】同実施の形態の帳票認識装置における矩形検
出手段での構成要素どうしの連結関係を示す概念図

【図１１】同実施の形態の帳票認識装置における外形枠
検出手段での外形枠検出の一例を示す図

【図１２】同実施の形態の帳票認識装置における外形枠
検出手段での外形枠検出の処理の手順を示すフローチャ
ート

【図１３】同実施の形態の帳票認識装置における特徴抽
出手段での構成要素の属性を検出する処理の手順を示す
フローチャート

【図１４】同実施の形態の帳票認識装置における特徴抽
出手段での構成要素の属性を検出する処理の手順を示す
フローチャート

【図１５】同実施の形態の帳票認識装置における特徴抽
出手段での内部枠構造を検出する処理の手順を示すフロ
ーチャート

【図１６】同実施の形態の帳票認識装置における枠構造
参照テーブルに登録されている帳票の具体例を示す図

【図１７】同実施の形態の帳票認識装置における枠構造
参照テーブルでのテーブルの構造を示す図

【図１８】同実施の形態の帳票認識装置における文字切
り出し手段の処理を示す図

【図１９】従来の帳票認識装置の処理動作を示す図

【図２０】従来の帳票認識装置の処理動作を示す図

【図２１】従来の帳票認識装置の処理動作を示す図

【符号の説明】

１ 画像入力手段 ２ 画像メモリ ３ 罫線抽出手段 ４ コーナー検出手段 ５ 構成要素検出手段 ６ 矩形検出手段 ７ 外形枠検出手段 ８ 特徴抽出手段 ９ 枠構造参照テーブル １０ 枠構造照合手段 １１ 文字切り出し手段 １２ 文字認識手段 ２０ ２値画像 ２１ 水平方向収縮手段 ２２ 水平方向延長手段 ２３ 垂直方向収縮手段 ２４ 垂直方向延長手段 ２５ ＮＯＲ回路 ５１ 枠罫線の画素 ５２ 背景の画素 ５３〜５６ コーナー点 ６１ 帳票 ６２〜６４ 外形枠 ２１０ 帳票Ａ ２１１〜２１３ 外形枠 ２２０ 帳票Ｂ ２２１〜２２２ 外形枠 ２３０ 帳票Ｃ ２３１ 外形枠 ２４０ 帳票Ｄ ２４１ 外形枠 ２５１ 枠の始点 ２５２ 文字読み取り領域 ２５３ 文字切り出し領域 ２５４ 文字読み取り領域の始点

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川上 秀彦 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 山崎 龍次 神奈川県横浜市港北区綱島４丁目３番１号 松下通信工業株式会社内 (72)発明者 藤田 幹男 神奈川県横浜市港北区綱島４丁目３番１号 松下通信工業株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 枠罫線と文字を含む入力画像を読み取り
   ２値画像を出力する画像入力手段と、前記２値画像を記
   憶する画像メモリと、前記２値画像において水平及び垂
   直方向の所定長以上のランを検出することにより枠罫線
   を抽出する罫線抽出手段と、枠罫線からなるパターンの
   コーナーを検出するコーナー検出手段と、前記コーナー
   の形状の組み合わせから罫線の屈曲や交差によるＬ字要
   素、Ｔ字要素及び十字要素を構成要素として検出する構
   成要素検出手段と、前記構成要素どうしを連結し連結形
   態を枠構造情報として出力する矩形検出手段と、前記枠
   構造情報をもとに前記入力画像内の矩形構造を含む最外
   郭の外形枠を検出し、前記外形枠の構造の特徴を外形枠
   構造特徴として抽出する外形枠検出手段と、個々の前記
   外形枠に囲まれた内部の構造特徴を内部構造特徴として
   抽出する特徴抽出手段と、前記外形枠構造特徴に基づき
   前記入力画像を分類し、前記外形枠構造特徴及び前記内
   部構造特徴を登録する枠構造参照テーブルと、前記枠構
   造参照テーブルを検索し外形枠構造特徴及び前記内部構
   造特徴を照合することにより前記入力画像の種別を認識
   し、前記入力画像内の文字読み取り対象枠を検出する枠
   構造照合手段と、前記文字読み取り対象枠の４頂点の座
   標に基づき前記画像メモリから文字領域を切り出す文字
   切り出し手段と、切り出された文字を認識する文字認識
   手段とを具備する帳票認識装置。
2. 【請求項２】 外形枠構造特徴が外形枠の総数、位置及
   び形状である請求項１記載の帳票認識装置。
3. 【請求項３】 内部構造特徴が個々の外形枠に囲まれた
   内部の枠の数、位置、幅及び高さである請求項１又は２
   記載の帳票認識装置。