JPH08212292A - 枠線認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 帳票のような枠線と文字を含む画像に記入さ
れている文字の自動認識において、文字の存在する領域
を切り出すために帳票の枠線を認識する前処理装置に関
するもので、枠線が細い場合や帳票の傾いている場合に
も信頼性が高い枠線認識装置を提供する。 【構成】 イメージスキャナー１０１により２値化され
た帳票画像からコーナー検出手段１０２によって帳票枠
線のコーナー特徴点を抽出し、構成要素抽出手段１０３
によって注目コーナー特徴点とその周辺のコーナー特徴
点から、（Ｔ字、十字およびＬ字等の）枠線の構成要素
を抽出し、最小矩形認識手段１０４によって構成要素の
連結から最小矩形を認識し矩形情報を出力して、構造認
識手段１０５において連結する矩形の木構造を生成し、
この木構造に基づいて枠線の構造を認識し文字領域を切
り出す文字切り出し手段１０６に通知する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、帳票のような枠線と文
字を含む画像の枠線の構造を自動的に認識し、帳票内に
記入されている文字領域を切り出し、文字を自動認識す
るための前処理装置である枠線認識装置に関するもので
ある。

【０００２】

【従来の技術】近年、文書情報の電子化に伴い、ＯＣＲ
（Optical Character Reader）を初めとする文字認識技
術や文書画像処理に対する要望が高まっており、帳票の
枠線構造の認識もそのひとつである。

【０００３】帳票の枠線認識として、枠線のラン長で線
分を検出する方法が良く知られており例えば特開平０１
−２１７５８３号公報であり、その実施例を第２２図を
基に説明する。画像入力部１００１は認識対象罫線を含
む画像を走査し２値信号で画像メモリ１００２に格納す
る。縦方向ラン抽出部１００３は画像メモリ１００２に
格納されている画像を縦方向に走査して縦方向ランを抽
出する。抽出された縦方向のランの連結性が縦方向線分
抽出部１００４で調べられ縦方向線分が抽出される。同
様の処理により横方向ラン抽出部１００５で横方向ラン
が抽出され、横方向線分抽出部１００６で横方向線が分
抽出される。文字領域抽出部１００７は縦方向線分抽出
部１００４で抽出された縦方向線分と横方向線分抽出部
１００６で抽出された横方向線分を用いて文字領域およ
び文字記入領域を抽出する。

【０００４】また、切り出された文字認識については、
各種方式が提案されており例えば、ニューラルネットを
用いた文字認識法（森：”ＰＤＰモデルによる手書き漢
字認識”、電子情報通信学会論文誌、Vol.J73-D-II, N
o.8 pp.1268-1274 1990）があり、認識率も実用的なと
ころまできているが、今回は帳票の枠線認識装置という
ことで文字認識の前処理に限定しているので文字認識に
関しては省略するものとする。

【０００５】

【発明が解決しようとする課題】しかしながら前記の従
来の構成では、枠線（罫線を以後枠線と呼ぶ）が細い場
合や帳票が傾いて画像として読み取られた場合は、ラン
長で枠線を認識することが難しく、検出するラン長を短
く設定すると枠線以外の線分が抽出され誤検出するとい
う課題がある。

【０００６】本願発明は、前記従来技術の課題を解決す
るもので、特に枠線が細い場合や帳票が傾いて読み取ら
れた場合に対して正確で信頼性の高い枠線認識装置を提
供することを目的とする。

【０００７】

【課題を解決するための手段】この目的を達成するため
に本発明は、例えば帳票から自動的に枠線を認識し文字
領域を切り出す際に、帳票を読み取り２値画像を出力す
るイメージスキャナーと、前記イメージスキャナーから
の２値画像（文字、枠線を”０”、その他を”１”）か
ら帳票の枠線のエッジに方向コードを付与し、その方向
コードの変化する点を画像のコーナーとし、その特徴コ
ードと座標をコーナー特徴点として抽出するコーナー検
出手段と、前記コーナー検出手段からのコーナー特徴点
から、注目コーナー特徴点とその周辺のコーナー特徴点
から、（Ｔ字、十字およびＬ字等の）枠線の構成要素を
抽出する構成要素抽出手段と、前記構成要素抽出手段か
らの構成要素をもとに、注目構成要素を基準に右回り
（あるいは左）に周辺の構成要素を検索し相手となる構
成要素を連結し元に戻るまで繰り返し最小矩形を認識し
矩形情報を出力する最小矩形認識手段と、前記最小矩形
認識手段からの矩形情報の任意の角を基準とした連結す
る矩形の木構造に生成し、この木構造に基づいて枠線の
構造を認識する構造認識手段と、前記構造認識手段から
の枠線の構造から文字領域を切り出す文字切り出し手段
とを設けたものである。

【０００８】

【作用】本発明は前記構成によって、帳票の２値画像か
ら枠のコーナー点を抽出し、コーナー点から枠線の構成
要素を抽出し、相互に連結された構成要素から帳票の最
小矩形を認識することにより、帳票の枠線が細い場合や
帳票が傾いて読み取られた場合においても信頼性の高い
枠線認識装置を実現できる。

【０００９】

【実施例】以下、本発明の一実施例について、図面を参
照しながら説明する。

【００１０】図１は本発明の一実施例における枠線認識
装置のブロック構成図である。１０１は帳票を読み取り
２値画像を出力するイメージスキャナー、１０２は枠線
の輪郭に方向コードを付与しその変化点をコーナー特徴
点として出力するコーナー検出手段、１０３は注目コー
ナー特徴点とその周辺コーナー特徴点から枠線の構成要
素を抽出する構成要素抽出手段、１０４は枠線の構成要
素から最小矩形を構成するように構成要素を連結して最
小矩形を認識する最小矩形認識手段、１０５は各最小矩
形から木構造を生成し枠線の構造を認識する構造認識手
段、１０６は枠線の構造から文字領域を切り出す文字切
り出し手段である。

【００１１】以上のように構成された枠線認識装置につ
いて、その動作を説明する。イメージスキャナー１０１
により、帳票を読み取り２値画像に変換し、その２値画
像からコーナー検出手段１０２により、帳票の枠線の輪
郭に方向コードを付与してその変化点をコーナー特徴点
として出力し、構成要素抽出手段１０３により、注目コ
ーナー特徴点とその周辺コーナー特徴点から枠線の構成
要素を抽出し、その構成要素から最小矩形認識手段１０
４により、最小矩形を認識して出力し、各最小矩形から
構造認識手段１０５により、連結する矩形の木構造を生
成して枠線の構造を認識し、その枠線の構造から文字切
り出し手段１０６により、文字領域を切り出して、枠線
を認識するものである。

【００１２】次に各構成要素の動作を詳細に説明する。
帳票を読み取り２値画像を出力するイメージスキャナー
１０１は、線密度を約４００ｄｐｉ程度とし、原稿であ
る帳票にＬＥＤ（発光ダイオード）等で照明しその反射
光を一次元のＣＣＤカメラで読み取り、任意の閾値で２
値化して２値画像を出力するものである。また、照明は
原稿である帳票の枠線や記入された文字の色によって異
なるが、例えば青・黒および赤等の枠線に対して、黒や
青等で数字や記号および文字が記入された場合、緑ある
いは黄緑の波長（５５０〜５７０ｎｍ付近）のＬＥＤを
用いることが多い。２値化処理においては、固定閾値法
や浮動閾値法（森、大津：”認識問題としての二値化と
各種方法の検討”、情報処理学会、イメージプロセッシ
ング15-1, Nov. 1977）が良く知られている２値化処理
法であり、原稿に合わせて任意の２値化処理法を選択す
ればよい。

【００１３】次に、コーナー検出手段１０２について説
明する。コーナー検出手段１０２は、枠線の輪郭に方向
コードを付与しその変化点をコーナー特徴点として出力
するもので、図２に詳細ブロック図を示し説明する。

【００１４】図２において、２０１はスキャナー１０１
からの２値画像１１０に８方向の方向コードを付与する
方向コード付与手段、２０２は方向コードの変化する特
徴点を検出し、方向コードの変化を表すコードおよび特
徴点の座標をコーナー特徴点として抽出する特徴抽出手
段を示す。本実施例においては、コーナー特徴点の検出
方法として帳票の枠線の輪郭画素に方向コードを付与し
その方向コードの変化点を検出することで、帳票の枠線
のコーナーを検出するものである。方向コードを付与す
る方式は、フリーマンのチェインコード（Ｈ．Ｆｒｅｅ
ｍａｎ：”Ｏｎｔｈｅ ｅｎｃｏｄｉｎｇ ｏｆ ａｒ
ｂｉｔｒａｒｙ ｇｅｏｍｅｔｒｉｃｃｏｎｆｉｇｕｒ
ａｔｉｏｎｓ”、ＩＲＥ Ｔｒａｎｓ．Ｅｌｅｃｔｒｏ
ｎ．Ｃｏｍｐｕｔ．ＥＣ−１０、１９６１、ｐｐ２６０
−２６８）がよく知られている。

【００１５】まず、方向コード付与手段２０１につい
て、図３を用いて説明する。図３（ａ）は、方向コード
付与手段２０１の回路構成図である。図３（ａ）におい
て、２１１はラインメモリ、２１２は３×３の走査窓、
２１３は走査窓２１２のビットパターンによって４ビッ
トの方向コード画像２１４を出力するＬＵＴ（ルック・
アップ・テーブル）を示す。方向コードは、図３（ｂ）
に示す様に、注目画素２０３から周辺の輪郭画素に向か
う８方向を、方向コードとしてそれぞれ”１”〜”８”
の値で表すものである。方向コード付与手段２０１は、
２値画像１０１に対し３×３走査窓２１２で走査し、走
査窓内からのビットパターンでＬＵＴ２１３を用いて４
ビットの方向コードを出力する。またここでは、方向コ
ードは、”１”から”８”としたが、”０”から”７”
の値でもかまわない。

【００１６】ＬＵＴ２１３は、予め計算によってデータ
を作成しておくもので、条件（数１）を満たすパターン
に対して条件（数２）を満たす方向コードｉを算出する
もので、本実施例では右回り方向に方向コードを付与す
るものとする。ただし、条件（数３）を満たす例えば一
画素幅の特殊なパターンに対しては値”ａ”を付与し、
文字領域内部には値”ｆ”、枠線部には値”０”をそれ
ぞれ割り当てるものとする。

【００１７】

【数１】

【００１８】

【数２】

【００１９】

【数３】

【００２０】ここで、走査窓内の画素ｄ１〜ｄ８は、図
３（ａ）の定義に従うものとする。なお、Ｎｃ(8)は８
連結数、Ｎｃ(4)は４連結数と呼ばれ、パターンの連結
性を示すパラメータとしてよく知られている。前記処理
によって得られる方向コード画像の例を図４に示す。図
４において、枠線２１５は”０”が割り当てられ、文字
領域２１８のエッジに対して右回りに方向コード２１６
が付与される。同様に、中央の文字２１７にも方向コー
ドが付与される。

【００２１】次に、特徴抽出手段２０２について図５を
用いて説明する。図５は、特徴抽出手段の回路構成図で
ある。図５において、２２０はラインメモリ、２２１は
多値の３×３走査窓、２２２は走査窓２２１からのＤ０
信号２３１に従って、Ｄ１〜Ｄ８の信号２３０の出力を
選択するＭＰＸ（マルチプレクサ）、２２３はＭＰＸ２
２２からの出力２２８およびＤ０信号２３１を参照し、
帳票の枠線を示すためのコーナー特徴点を出力するＬＵ
Ｔを示す。本実施例においては、方向コードの変化する
点を特徴点として抽出し、コーナーの形状を表す特徴コ
ードとその座標をコーナー特徴点として通知するもので
ある。以下に、特徴抽出手段２０２の動作について説明
する。

【００２２】まず、方向コード付与手段２０１からの方
向コード画像２１４を、走査窓２２１に入力し一画素づ
つ走査する。

【００２３】特徴抽出手段２０２は、走査窓２２１から
のＤ１〜Ｄ８の方向コード信号２３０をそれぞれＭＰＸ
２２２に入力し、注目画素位置Ｄ０の方向コード２３１
が示す周辺の画素位置Ｄ１〜Ｄ８が選択される。注目画
素Ｄ０の方向コード２３１と選択された周辺画素の方向
コード２２８から、ＬＵＴ２２３により特徴コードＣｆ
と同期信号２２７からＸＹ座標発生器２２５で発生した
ＸＹ座標とからなるコーナー特徴点２２９が出力され
る。また、特殊コード判定部２２４では、周辺画素の方
向コード２２８の値が特殊コードである”ａ”が付与さ
れているかを判定し、判定された結果はＬＵＴ２２３に
通知し特徴コードＣｆとして値”ａ”を通知するものと
する。特徴コードＣｆは、予め（数４）で演算した結果
をＬＵＴ２２３に登録しておくものである。

【００２４】

【数４】

【００２５】ただし、Ｄｉは、方向コードＤ０が示す方
向に隣接している画素の方向コードである。図６に特徴
コードの例を示す。図６（ａ）は特徴コード値が”３
１”の例、同図（ｂ）は特徴コード値が”１７”の例、
同図（ｃ）は特徴コード値が”７５”の例、同図（ｄ）
は特徴コード値が”５３”の例、同図（ｅ）は特徴コー
ド値が”５６”の例、同図（ｆ）は特徴コード値が”６
１”の例をそれぞれ示すものである。なお本実施例で
は、右回り方向に方向コードを付与したが、左回りに付
与してもよい。

【００２６】次に、構成要素抽出手段１０３、最小矩形
認識手段１０４、構造認識手段１０５および文字切り出
し手段１０６について説明するが、これらの具体的な処
理は基本的にはソフトウエア処理が主体となるために共
通な回路構成を図７に示し以下に説明する。図７におい
て、１１１はコーナー検出手段１０２からのコーナー特
徴点を入力するＦＩＦＯ（ファースト・イン・ファース
ト・アウト）メモリ、１１２および１１３は各ソフトウ
エア処理を行うためのＣＰＵとワークメモリ、１０７は
スキャナー１０１からのデータを記憶するイメージメモ
リ、１１４はＦＩＦＯ１１１及びイメージメモリ１０７
のデータをＣＰＵ１１２とワークメモリ１１３に送るＩ
／Ｆ回路である。１１５および１１６は今回は詳しくは
触れないが文字部を切り出した後に文字認識部にデータ
を送るＩ／Ｆ回路および文字認識装置を示す。まず、コ
ーナー検出手段１０２で検出されたコーナー特徴点はＦ
ＩＦＯメモリ１１１に入力され、逐次ＣＰＵ１１２に読
み込まれ一旦ワークメモリ１１３に記憶される。また、
イメージメモリ１０７に記憶されたデータは、最後に文
字の切り出し位置が確定した時点で文字領域が切り出さ
れＩ／Ｆ１１５を介して今回は説明を省略した文字認識
装置に送られ文字の認識が行われる。

【００２７】次に、構成要素抽出手段１０３について説
明する。構成要素抽出手段１０３の処理の概念図を図８
に示し説明する。図８において、２４５〜２４６はコー
ナー検出手段１０２からコーナー特徴点をＦＩＦＯメモ
リ１１１を介して得られたコーナー特徴点、２４４はコ
ーナー特徴点の探索領域、２４１〜２４３は得られた構
成要素を示す。まず発生順に得られたコーナー特徴点２
４５を注目特徴点とした場合、コーナー特徴点２４５を
中心に探索領域２４４内に対応するコーナー特徴点があ
るかどうかを探索する。例えば、Ｌ字の構成要素は図９
（ａ）〜（ｄ）に示す４種類、Ｔ字の構成要素は図９
（ｅ）〜（ｈ）の４種類、十字の構成要素は１種類の組
み合わせが存在する。このように枠線は、Ｌ字・Ｔ字お
よび十字が組合わさって構成されており構成要素と構成
要素とを接続することで枠線の骨格が構成できる。構成
要素抽出手段１０３の具体的な処理手順を図１０に参照
しながら説明する。 （１）コーナー特徴点をワークメモリ１１３から入力す
る。 （２）対象のコーナー特徴点が９０゜のコーナー特徴点
かどうかをチェックし、９０゜コーナー特徴点ならその
まま（４）のステップへ、それ以外なら（３）のステッ
プに進む。 （３）注目のコーナー特徴点の上位桁を始点として、任
意の連結許容範囲Ｓｒ内で、かつ、図１１（ａ）に示す
探索範囲内に存在して、さらにコーナー特徴点が図１１
（ｂ）に示す終点コーナー特徴点であれば、その特徴点
を終点として連結して９０゜コーナー特徴点とする。 （４）連結した９０゜コーナー特徴点を図１１（ｂ）に
示す参照コードに変換してワークメモリに記憶する。 （５）ワークメモリの全てのコーナー特徴点について、
前記の処理が終了すれば（６）に進み、そうでない場合
は（１）に進む。 （６）ワークメモリの中の９０゜コーナー特徴点を対象
点とする。対象点の参照コードＣｒを入力する。 （７）（数５）の式を満たす参照コードＣｐを持つ相手
が、（数６）で表現される探索範囲に存在すれば、対象
点はＬ字構成要素にグルーピングされるものとして（１
０）に進み、存在しなければ（８）に進む。ここで、例
として、対象点２５５の参照コードＣｒ＝２の場合の探
索範囲２５６を図１２（ａ）に示す。

【００２８】

【数５】

【００２９】

【数６】

【００３０】ただし、グルーピング許容範囲：Ｇｒ、対
象点座標：ｘｒ，ｙｒ、相手座標：ｘｐ，ｙｐ、対象点
の参照コードＣｒとする。 （８）図１２（ｂ）のように、対象点２５７を中心にし
て水平または垂直方向に伸びたＧｒ×２ｗの長方形探索
領域２５８の中に存在する相手の参照コードが、（数
７）また（数８）の条件を満たすかどうか調べる。

【００３１】

【数７】

【００３２】ただし、対象点の参照コードＣｒ＝４のと
きは、相手の参照コードＣｐ＝１とする。

【００３３】

【数８】

【００３４】ただし、対象点の参照コードＣｒ＝１のと
きは、相手の参照コードＣｐ＝４とする。 （９）（数７）かまたは（数８）のどちらかを満たす場
合には、Ｔ字構成要素と判断し、また、（数７）と（数
８）のどちらをも満たす場合には、十字構成要素と判断
して（１０）に進む。何れの条件も満たさない場合は
（１１）に進む。 （１０）Ｌ字、Ｔ字および十字構成要素として認識され
た参照コードをグルーピングし図１２（ｃ）に示す要素
コードデータに変換すると共に参照コードとグルーピン
グされた相手との平均座標を演算しワークメモリに記憶
する。ただし、図１２（ｃ）における、Ｅ方向、Ｎ方
向、Ｗ方向及びＳ方向はそれぞれ図１２（ｄ）に示す方
向を表す。 （１１）（９）の処理で何れの条件にも満たない参照コ
ードは消去する。 （１２）コーナー特徴点が全てグルーピングされた場合
は処理を終了し、そうでない場合は（６）に進む。 以上の処理を行うことにより、図１３に示す枠線のＬ、
Ｔ、十字の各構成要素が抽出される。ただし、図１３
は、抽出された各構成要素（要素コード＋平均座標デー
タ）を枠線上に展開したものを示している。

【００３５】次に最小矩形認識手段１０４について説明
する。最小矩形認識手段１０４は、枠線の構成要素を連
結して最小矩形を認識するするもので、処理の概念を図
１４を用いて説明する。図１４（ａ）は、最小矩形認識
手段１０４の処理の概念を示すもので、各構成要素同士
の手を連結させリンク線２６４（破線で示す）を仮想的
に張り、最小矩形の始点２６５を矩形の左上として右回
りにリンク線２６４をたどって元の始点に戻れば最小矩
形２６７と認識したものとする。最小矩形認識手段１０
４の処理を、図１５および図１６に示した処理フローに
従って詳細に説明する。最小矩形認識手段１０４の処理
は大きく２つの処理から構成されており、各構成要素を
連結する処理と連結したリンク線をたどって矩形を認識
する処理である。図１５に各構成要素を連結する処理フ
ローを示し以下に説明する。 （１）構成要素データをワークメモリに読み込む。 （２）構成要素データの中から連結されていない対象点
を順次選択する。 （３）対象点にまだ連結していない”手”がある場合、
その手の伸びている方向を探索範囲として、図１４
（ｂ）に示すような帳票の読み取り時の傾きと位置ずれ
を考慮した三角形探索領域２６９内で連結する相手を探
す。この時、図１４（ｃ）に示すように対象点２７１の
手２７３に対して逆方向の手２７４を持つ最短距離の相
手２７２を探索する。 （４）前記条件を満たす相手が存在するかどうか判定
し、ある場合は（５）へ進み、ない場合は（２）へ進
む。 （５）対象点の手と相手の手を仮想的に連結し、記憶す
る。 （６）構成要素データに未連結の構成要素の有無をチェ
ックし、Ｙの場合は（２） へＮの場合は（７）に
進む。 （７）次の矩形認識処理に進む。図１６に矩形認識処理
の処理フローを示し、以下に説明する。基本的には、始
点からＥ→Ｓ→Ｗ→Ｎと右回りにリンク線をたどり、行
き止まりになれば前の要素に戻り新しい候補を選択して
探索を繰り返し、最後に始点に戻ることのできる構成要
素の集まりを最小矩形と認識するものである。 （８）連結された構成要素からＥ方向とＳ方向の手を持
つ構成要素を探索し始点とする。まずその始点を対象点
とする。 （９）対象点のＥ方向にリンク線で構成要素が連結して
いるがどうか調べ、Ｎなら（８）へＹなら（１０）に進
む。 （１０）連結しているＥ方向の構成要素を対象点にす
る。 （１１）対象点のＳ方向にリンク線で構成要素が連結し
ているがどうか調べ、Ｎなら（９）へＹなら（１２）に
進む。 （１２）連結しているＳ方向の構成要素を対象点にす
る。 （１３）対象点のＷ方向にリンク線で構成要素が連結し
ているがどうか調べ、Ｎなら（１１）へＹなら（１４）
に進む。 （１４）連結しているＷ方向の構成要素を対象点にす
る。 （１５）対象点のＮ方向にリンク線で構成要素が連結し
ているがどうか調べ、Ｎなら（１３）へＹなら（１６）
に進む。 （１６）連結しているＮ方向の構成要素を対象点にす
る。 （１７）この対象点が始点であるかどうか調べ、Ｎなら
（１５）へＹなら（１８）に進む。 （１８）最小矩形として認識し、４角の座標を登録す
る。 （１９）始点となる構成要素があれば（８）に戻り、な
ければ処理を終了する。以上が矩形認識処理の処理フロ
ーである。

【００３６】次に、矩形認識処理を図１７（ａ）（ｂ）
を用いて具体的に説明する。まず、図１７（ａ）におい
て、ＥおよびＳ方向の手を持つ構成要素を始点２８０と
する。始点２８０からみて右回りにリンク線２８４をた
どり一周して始点２８０に戻れば最小矩形として認識す
る。始点２８０のＥ方向の手からリンク線２８４をたど
り候補点ａ２８１を探索する。この時、候補点ａ２８１
の手の方向をチェックすればＳ方向の手を持っているこ
とがわかるので連結し、候補点ａ２８１を新たな対象点
としてＳ方向にリンク線をたどり候補点ｂ２８２を探索
し、持っている手の方向をチェックする。この候補点ｂ
２８２は、Ｗ方向の手を持っていないので次に進むこと
ができない。そこで、対象点（現在は候補点ａ）がＥ方
向の手を持っているので、更にＥ方向を探索し候補点ｃ
２８３を探索し、手の方向をチェックする。候補点ｃ２
８３は、Ｓ方向の手を持っているので候補点ｃ２８３を
新たな対象点とする。次に、対象点（候補点ｃ２８３）
のＳ方向に連結している候補点ｄ２８５がＷ方向の手を
持っている事が分かり、さらに候補点ｄ２８５のＷ方向
に連結している候補点ｅ２８６がＮ方向の手を持ってい
るかどうかをチェックする。ここで、Ｎ方向に連結して
いる候補点ｆ２８７が始点かどうかをチェックするが、
始点ではない。そこで、さらにＮ方向にリンク線をたど
れば始点２８０に戻る事ができる。これで図１７（ｂ）
のように、始点２８０、候補点ｃ２８３、候補点ｄ２８
５および候補点ｅ２８６の４点がリンクした最小矩形２
８８を認識することができた。最後に、この４点の座標
を通知する。

【００３７】次に、構造認識手段１０５について説明す
る。構造認識手段１０５は、矩形情報から枠の木構造を
生成し、その枠の木構造と予め記憶しておいた基準の木
構造とを比較して枠構造を認識するもので、処理の概念
を図１８を用いて説明する。

【００３８】図１８は、構造認識手段１０５の処理の枠
の木構造の概念を示すもので、矩形２９０の任意の角を
矩形の頂点２８９として、各矩形の頂点を水平・垂直方
向に仮想的なリンク線２９１で連結したものである。こ
の図では、矩形と矩形の間が離れているが、実際にはリ
ンク線で連結されている矩形同士は接しているものとす
る。

【００３９】このような木構造を（表１）のようなフォ
ーマットで記述する。ここで、”番号”はその矩形のレ
コード番号、”水平方向連結ポインタ”はこの矩形の水
平方向に連結している矩形のレコード番号、同じよう
に”垂直方向連結ポインタ”は垂直方向に連結している
矩形のレコード番号を示す。また、”欄フラグ”は文字
切りだし手段に通知するべき欄かそうでないかを判別す
るためにある。そして、この矩形の物理情報として、幅
と高さをそれぞれ”矩形幅”と”矩形高さ”に記述す
る。

【００４０】入力された木構造データと予め用意された
基準の木構造データとの連結関係と物理情報を比較し
て、全ての矩形が基準の木構造データと対応している木
構造データを帳票の枠構造として認識する。帳票の枠を
木構造として認識する手法は、例えば（成瀬ら：”帳票
における枠罫線構造の記述と認識”、ＰＲＵ９０−１５
０）があり、よく知られている手法である。

【００４１】

【表１】

【００４２】構造認識手段１０５の処理を、図１９およ
び図２０に示した処理フローに従って詳細に説明する。
構造認識手段１０５の処理は大きく分けて２つの処理か
ら構成されおり、木構造を生成する処理とその木構造を
基準のデータと比較する処理である。図１９に木構造を
生成する処理フローを示し以下に説明する。 （１）矩形データをワークメモリに読み込む。 （２）前記の最小矩形認識手段において認識された矩形
の左上の点を探索して矩形の頂点としてフラグを立て
る。 （３）（表１）のフォーマットで”番号”、”矩形幅”
と”矩形高さ”をワークメモリに書き込む。 （４）全ての矩形データに対して（１）から繰り返す。 （５）フラグの立っているデータを頂点として読み込
む。 （６）ある頂点の水平・垂直方向にリンク線で別の矩形
の頂点が連結しているかどうか調べる。 （７）連結している場合には、”垂直”または”水平方
向連結ポインタ”に連結している矩形のレコード番号を
書き込む。 （８）ワークメモリに頂点データがあれば、（５）に戻
って繰り返す。

【００４３】図２０に木構造データを比較する処理フロ
ーを示し、以下に説明する。 （９）基準フォーマットに記述されている最初のデータ
を”基準の始点”として取り出す。 （１０）矩形データテーブルから矩形を選択して候補と
する。 （１１）基準の始点の幅と候補の幅との”差”が許容範
囲内であるかどうか調べる。 （１２）範囲外の場合には、（１０）に戻り、範囲内の
場合には（１３）に進む。 （１３）基準の始点の高さと候補の高さとの”差”が許
容範囲内であるか調べる。 （１４）範囲外の場合には、（１０）に戻り、範囲内の
場合には（１５）に進む。 （１５）”基準”に連結している枠と、”候補”に連結
している枠が対応するかどうか調べる。 （１６）対応すれば、連結しているデータを新しい”基
準”と”候補”として（１５）に戻って繰り返す。 （１７）対応しなければ（９）に戻る。 （１８）基準フォーマットが終われば、対応のついた矩
形の４角の点の座標の内で”欄フラグ”の立っているデ
ータだけをデータテーブルに登録して終了する。以上が
構造認識処理の処理フローである。（表２）と（表３）
に木構造データの一例を示し処理について具体的に説明
する。

【００４４】（表２）が基準データを、（表３）が実際
の入力データをそれぞれ（表１）のフォーマットで木構
造で記述したものである。まず、（表２）の番号”１”
のデータが基準の始点となるので、これに対応する矩形
を（表３）から探す。ここで、（表３）の番号”２”の
矩形の幅と高さが許容範囲内であるが、”２”に連結し
ている矩形が水平方向だけなので対応しない。しかし、
（表３）の番号”３”から”７”までの矩形に関して
は、（表２）の基準フォーマットと完全に対応してい
る。そして、対応する矩形の欄フラグの立っている矩形
の４角の点をワークメモリに記憶する。

【００４５】

【表２】

【００４６】

【表３】

【００４７】次に、文字切り出し手段１０６について説
明する。文字切り出し手段１０６は、イメージメモリか
ら実際の文字の２値イメージを切り出して文字認識装置
１１４に送るもので、その処理について図２１を用いて
詳細に説明する。

【００４８】図２１は、ある帳票の枠の中に文字が描か
れている２値イメージの一部を示す。ここで、３０１〜
３０４は構造認識手段から通知された枠の４角の点、３
０５は枠の４角の点３０１〜３０４で構成される領域
ａ、３０６は領域ａ３０５よりも枠線の幅分小さくした
領域ｂ、３０７は枠内に描かれている文字、３０８は文
字枠である。

【００４９】文字切り出しの処理の時には、領域ａ３０
５で２値イメージを切り出した場合、文字枠３０８の一
部分まで切り出してしまい、余分なイメージを含んでい
るために文字認識率が低下する事がある。それを防ぐた
めに、領域ａ３０５よりも枠線の幅分小さくした領域ｂ
３０６で２値イメージから切り出すことによって、文字
枠３０８を除いたイメージを後の文字認識装置に転送
し、高い精度で文字３０７を認識する事ができる。

【００５０】以上ように、本実施例によればイメージス
キャナーからの帳票の２値画像に対して、帳票の枠線部
分を矩形の連結した木構造として取り扱う事によって枠
線を認識するものである。

【００５１】

【発明の効果】以上のように一本発明の効果は、帳票の
２値画像から枠のコーナー点を抽出し、コーナー点から
枠線の構成要素を抽出し、相互に連結された構成要素か
ら帳票の最小矩形を認識することにより、帳票の枠線が
細い場合や帳票が傾いて読み取られた場合においても信
頼性の高い枠線認識装置を実現できる。

【図面の簡単な説明】

【図１】本発明の実施例における枠線認識装置のブロッ
ク結線図

【図２】同実施例の枠線認識装置におけるコーナー検出
手段についての詳細ブロック結線図

【図３】同実施例の枠線認識装置における方向コード付
与手段についての詳細ブロック結線及びその概念図

【図４】同実施例の枠線認識装置における方向コード付
与手段の処理例を示す概念図

【図５】同実施例の枠線認識装置における特徴抽出手段
についての詳細ブロック結線図

【図６】同実施例の枠線認識装置における特徴抽出手段
についての方向コードの変化点の検出例を示す概念図

【図７】同実施例の枠線認識装置における構成要素抽出
手段、最小矩形認識手段、構造認識手段および文字切り
だし手段についてのソフトウェア処理の詳細ブロック結
線図

【図８】同実施例の枠線認識装置における構成要素抽出
手段の処理の概念図

【図９】同実施例の枠線認識装置における構成要素抽出
手段からの構成要素の種類を示す概念図

【図１０】同実施例の枠線認識装置における構成要素抽
出手段の具体的な処理の手順を示すフローチャート

【図１１】同実施例の枠線認識装置における構成要素抽
出手段でのコーナー特徴点を連結する探索範囲およびそ
のコーナー形状を示す概念図

【図１２】同実施例の枠線認識装置における構成要素抽
出手段での構成要素生成を示す図

【図１３】同実施例の枠線認識装置における構成要素抽
出手段から生成された構成要素を示す概念図

【図１４】同実施例の枠線認識装置における最小矩形認
識手段の処理の概念図

【図１５】同実施例の枠線認識装置における最小矩形認
識手段の構成要素を連結する処理の手順を示すフローチ
ャート

【図１６】同実施例の枠線認識装置における最小矩形認
識手段の矩形認識処理の処理手順を示すフローチャート

【図１７】同実施例の枠線認識装置における最小矩形認
識手段の矩形認識処理の具体的な例を示す概念図

【図１８】同実施例の枠線認識装置における構造認識手
段の処理の概念図

【図１９】同実施例の枠線認識装置における構造認識手
段の木構造を生成する処理の手順を示すフローチャート

【図２０】同実施例の枠線認識装置における構造認識手
段の木構造データを比較する処理の手順を示すフローチ
ャート

【図２１】同実施例の枠線認識装置における文字切り出
し手段の処理を示す図

【図２２】従来の枠線認識装置のブロック結線図

【符号の説明】

１０１ イメージスキャナー １０２ コーナー検出手段 １０３ 構成要素抽出手段 １０４ 最小矩形認識手段 １０５ 構造認識手段 １０６ 文字切り出し手段 １０７ イメージメモリ １１０ ２値画像 １１１ ＦＩＦＯメモリ １１２ ＣＰＵ １１３ ワークメモリ １１４ Ｉ／Ｆ回路 １１５ Ｉ／Ｆ回路 １１６ 文字認識装置 ２０１ 方向コード付与手段 ２０２ 特徴抽出手段 ２０３ 注目画素 ２１１ ラインメモリ ２１２ ３×３の走査窓 ２１３ ＬＵＴ ２１４ 方向コード画像 ２１６ 方向コード ２１７ 文字２１７ ２１８ 文字領域 ２２０ ラインメモリ ２２１ 多値の３×３走査窓 ２２２ ＭＰＸ ２３１ Ｄ０信号 ２３０ Ｄ１〜Ｄ８の信号 ２２３ ＬＵＴ ２２４ 特殊コード判定部 ２２５ ＸＹ座標発生器 ２２７ 同期信号 ２２８ ＭＰＸからの出力 ２２９ コーナー特徴点 ２４１〜２４３ 構成要素 ２４４ コーナー特徴点の探索領域 ２４５〜２４６ コーナー特徴点、 ２５５ 対象点 ２５６ 探索範囲 ２５７ 対象点 ２５８ 長方形探索領域 ２６４ リンク線 ２６５ 最小矩形の始点 ２６７ 最小矩形 ２６９ 三角形探索領域 ２７１ 対象点 ２７２ 相手 ２７３ 手 ２７４ 逆方向の手 ２８０ 始点 ２８１ 候補点ａ ２８２ 候補点ｂ ２８３ 候補点ｃ ２８４ リンク線 ２８５ 候補点ｄ ２８６ 候補点ｅ ２８７ 候補点ｆ ２８８ 最小矩形 ２８９ 矩形の頂点 ２９０ 矩形 ２９１ リンク線 ３０１〜３０４ 枠の４角の点 ３０５ 領域ａ ３０６ 領域ｂ ３０７ 文字 ３０８ 文字枠

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川上 秀彦 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 山崎 龍次 神奈川県横浜市港北区綱島東４丁目３番１ 号 (72)発明者 藤田 幹男 神奈川県横浜市港北区綱島東４丁目３番１ 号

Claims (1)

【特許請求の範囲】
1. 【請求項１】 枠線と文字を含む画像を読み取り２値画
   像を出力するイメージスキャナーと、前記２値画像の枠
   線の方向を示す方向コードが変化する点を画像のコーナ
   ーとし、前記コーナーにおける前記方向コードの変化を
   示す特徴コードおよび前記コーナーの座標をコーナー特
   徴点として抽出するコーナー検出手段と、前記コーナー
   特徴点から枠線の構成要素を抽出する構成要素抽出手段
   と、前記構成要素から最小矩形を認識して矩形情報を出
   力する最小矩形認識手段と、前記最小矩形認識手段から
   の矩形情報の任意の角を基準とした連結する矩形の木構
   造を生成し、前記木構造に基づいて枠線の構造を認識す
   る構造認識手段と、前記構造認識手段からの枠線の構造
   から文字領域を切り出す文字切り出し手段を具備する枠
   線認識装置。