JPH08221510A - 帳票文書処理装置および帳票文書処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 複雑な構造を有する入力帳票から確実にデー
タ枠を抽出することのできる帳票文書処理装置および方
法を提供することを目的とする。 【構成】 本発明は、複数の長方形枠からなる表を含む
帳票文書を処理する帳票文書処理装置において、入力さ
れた帳票の画像データより長方形枠を抽出する長方形枠
抽出手段と、抽出された前記長方形枠の内部に存在する
文字を抽出する文字列抽出手段と、前記長方形枠の内部
から抽出された前記文字に基づいて、前記長方形枠のう
ちからデータ記入領域を持つデータ枠を抽出するデータ
枠抽出手段とを具備したことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、表形式の部分を含む帳
票文書をデータ化して出力あるいは登録するための帳票
文書処理装置および方法に関する。

【０００２】

【従来の技術】従来の帳票文書処理装置は、自動的に入
力文書の構造（特にデータ記入領域を持つデータ枠の構
造）を理解し文書の書式を生成するために、まだ文字な
どのデータを記入していない文書（以下、ブランク帳票
と呼ぶ）の入力画像から長方形枠を抽出し、長方形枠の
間の関係を抽出し、さらに長方形枠とその認識した文字
から入力文書の構造を理解する方式をとっていた。例え
ば、特開昭６１−５９５６８号公報に示される方法で
は、長方形枠の上下左右に接触するあるいは位置する長
方形枠を関連付け、その枠内に存在する文字によって構
造理解を行っていた。また、特定のキーワードにより独
立に存在する長方形枠の抽出を特例処理として行ってい
た。

【０００３】しかしながら、文書には複雑な構造を有す
るものもあり、長方形枠と長方形枠の関係による構造だ
けでは表現できず、従来のように長方形枠と長方形枠の
間の関係を元にしていたのでは、文書の構造を理解しき
れない場合があった。

【０００４】また、帳票文書画像をデータ化して登録し
たり、キーワードによって登録文書を検索したり、記入
済み帳票から記入データを読み込みデータベース化した
りする場合においても、最も必要であるのは、データが
記入されるべき領域の抽出とその領域に記入すべき文字
の項目・属性への関連付けである。この場合において
も、長方形枠と長方形枠の関連付けによる構造、あるい
は、隣合う長方形枠から抽出された構造のみでは不十分
であった。

【０００５】

【発明が解決しようとする課題】従来の帳票文書処理装
置は、入力帳票画像から抽出した長方形枠と長方形枠の
間の関係を元にして、当該入力帳票の構造、特にデータ
枠の構造を理解していたので、複雑な構造を有する入力
帳票に対しては、文書の構造理解が困難であった。

【０００６】また、入力帳票画像から抽出した長方形枠
と長方形枠の間の関係を元にして、帳票中の各長方形枠
の項目属性を抽出していたので、複雑な構造を有する入
力帳票に対しては、項目属性の抽出が困難であった。

【０００７】本発明は、上記事情を考慮してなされたも
ので、複雑な構造を有する入力帳票から確実にデータ枠
を抽出することのできる帳票文書処理装置および方法を
提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は、複数の長方形
枠からなる表を含む帳票文書を処理する帳票文書処理装
置において、入力された帳票の画像データより長方形枠
を抽出する長方形枠抽出手段と、抽出された前記長方形
枠の内部に存在する文字を抽出する文字列抽出手段と、
抽出された前記長方形枠の内部の文字に基づいて、前記
長方形枠のうちからデータ記入領域を持つデータ枠を抽
出するデータ枠抽出手段とを具備したことを特徴とす
る。

【０００９】好ましくは、前記データ枠抽出手段は、長
方形枠の内部の文字列の有無、位置、大きさ、文字の内
容の少なくとも１つを利用してデータ枠を抽出すること
を特徴とする。

【００１０】また、好ましくは、前記データ枠抽出手段
は、前記長方形枠の内部の空白領域の分布を計測し、こ
の計測結果に従ってデータ枠を抽出することを特徴とす
る。また、好ましくは、抽出された前記データ枠の線分
の種類を計測する手段と、計測された前記線分の種類に
よって前記データ枠を統合する手段とをさらに具備した
ことを特徴とする。

【００１１】また、好ましくは、前記データ枠抽出手段
により抽出された前記データ枠の内部および該データ枠
を中心として一定方向に存在する文字または文字列を読
み取る関連文字列探索手段と、読み取った文字または文
字列を前記データ枠の属性とするデータ枠属性計測手段
とをさらに具備したことを特徴とする。

【００１２】また、好ましくは、前記関連文字列探索手
段が読み取る文字または文字列の探索方向は、上方向お
よび左方向であることを特徴とする。また、好ましく
は、前記関連文字列探索手段は、前記データ枠の条件に
よって右方向または下方向の文字列を読み取ることを特
徴とする。

【００１３】また、好ましくは、前記データ枠属性計測
手段は、前記関連文字列探索手段により読み取った文字
または文字列により、前記データ枠の新たな属性を求め
ることを特徴とする。

【００１４】また、好ましくは、前記関連文字列探索手
段により読み取った文字、文字列、または前記データ枠
属性計測手段により計測された属性を利用して、前記画
像の構造を理解する構造理解手段をさらに具備したこと
を特徴とする。

【００１５】また、本発明は、複数の長方形枠からなる
表を含む帳票文書を処理する帳票文書処理方法におい
て、入力された帳票の画像データより長方形枠を抽出
し、抽出された前記長方形枠の内部に存在する文字を抽
出し、抽出された前記長方形枠の内部の文字に基づい
て、前記長方形枠のうちからデータ記入領域を持つデー
タ枠を抽出することを特徴とする。

【００１６】

【作用】本発明では、入力された帳票の画像データより
長方形枠を抽出し、抽出された前記長方形枠の内部に存
在する文字を抽出し、この長方形枠の内部から抽出され
た文字に基づいて、抽出された長方形枠のうちからデー
タ記入領域を持つデータ枠を抽出する。

【００１７】すなわち、本発明では、帳票の構造認識を
長方形枠と長方形枠の関係から行うのではなく、長方形
枠の中から文字（あるいは空白枠および空白領域所持
枠）を抽出し、この情報に基づいて確実にデータ入力枠
を抽出することができる。

【００１８】さらに、抽出したデータ入力枠を中心に関
連する文字列を探すことにより、そこに入力されるデー
タの項目属性をもれなく抽出することが可能となる。ま
た、データ枠を外れた位置に項目名が存在するような場
合においても、文字列のサーチを枠外にも同条件で行う
ことにより、正確に項目属性を抽出することができる。

【００１９】

【実施例】以下、図面を参照しながら実施例を説明す
る。 （第１の実施例）図１は、本発明の一実施例に係る帳票
文書処理装置の構成を示すブロック図である。本実施例
の帳票文書処理装置は、画像入力部１、線分抽出部２、
罫線抽出部３、長方形枠抽出部４、文字列抽出部５、文
字認識部６、データ枠探索部７、データ枠属性探索部
８、データ枠構造計測部９を備えている。

【００２０】画像入力部１は、処理対象となる帳票文書
を画像データとして入力するためのものであり、例えば
イメージ・スキャナーなどからなる。線分抽出部２は、
入力した画像データに対して、２値化処理、細線化処
理、線分接続処理などの前処理を施し、入力画像データ
を線分データとして抽出する。線分データには、長さ、
終始点座標などが含まれる。

【００２１】罫線抽出部３は、抽出された線分から、長
方形枠を形成する可能性のあるものを罫線として抽出す
る。長方形枠抽出部４は、抽出された罫線から長方形枠
を抽出する。

【００２２】文字列抽出部５は、抽出された線分のうち
長方形枠に使われなかったものから文字パターン成分を
抽出し文字列を抽出する。文字認識部６は、抽出された
文字列を文字パターン認識処理にて文字コードに変換
し、文字列単位に文字コードデータを出力する。

【００２３】データ枠探索部７は、抽出された長方形枠
のうちからデータ記入領域を持つデータ枠のみを取り出
す。データ枠属性探索部８は、データ枠の属性あるいは
項目名となりうる文字列を探索していくことによって各
データ枠の属性等を決定する。

【００２４】データ枠構造計測部９は、探索されたデー
タ枠等により文書全体のデータ枠の構造を理解する。抽
出された種々のデータのうち必要なものや求めたデータ
枠の構造は、図示しないディスプレイやプリンタなどに
出力することができる。あるいは、図示しない磁気記憶
装置などに格納することができる。

【００２５】なお、長方形枠抽出部４と文字列抽出部５
の間に長方形枠修正部を設け、長方形枠の抽出結果の誤
りをユーザによって修正できるようにしても良い。この
場合、ディスプレイを設け、これに長方形枠の抽出結果
を表示して、ユーザはそれを参照しながら長方形枠を修
正することができる。

【００２６】また、文字認識部６とデータ枠属性探索部
８の間に文字コード修正部を設け、文字認識の間違いあ
るいは文字列抽出の間違いをユーザによって訂正できる
ようにしても良い。

【００２７】以下、図２に示すフローチャートを参照し
ながら、本実施例の処理の流れを説明する。なお、図３
に、処理対象となる帳票文書の一例を示す。 ［ステップＳ１］まず、画像入力部１から処理対象とな
る帳票文書を光学的に読取る。入力した画像データは、
一旦、図示しない画像メモリなどに格納する。例えば図
３の帳票文書に対応するような画像データが得られる。

【００２８】［ステップＳ２］線分抽出部２は、入力し
た画像データに対して、２値化処理、細線化処理、線分
接続処理などの前処理を施し、入力画像データをすべて
線分データとして抽出する。

【００２９】図４に、線分抽出部２における線分抽出処
理の一例のフローチャートを示す。線分抽出部２は、入
力した画像データに対して、２値化処理、細線化処理、
線分接続処理などの前処理を施し、入力画像データをす
べて線分データとして抽出する。

【００３０】図４は、線分抽出部２における線分抽出処
理のフローチャートである。まず、入力画像データに対
し予め設定したしきい値にて２値化処理を施す（ステッ
プＳ２１）。２値化画像に対し細線化処理を行う（ステ
ップＳ２２）。得られた細線に対して、チェインコード
を計測し、折れ線近似を行う（ステップＳ２３）。そし
て、折れ線近似された線分単位に、長さ、終始点座標、
角度等の特徴量計測を行う（ステップＳ２４）。最後
に、上記の特徴量を参照して、複数の線分が接近してお
り、かつ、角度の差が小さいもの同士を接続し、これを
抽出した線分として出力する（ステップＳ２５）。

【００３１】抽出した線分のデータは、罫線抽出部３と
文字列抽出部５に与えられる。 ［ステップＳ３］線分抽出処理後、罫線抽出部３によ
り、抽出された線分のうち長方形枠を形成する可能性の
あるものを罫線として抽出し、次に、長方形枠抽出部４
により、抽出された罫線から長方形枠の抽出を行う。

【００３２】図５に、ステップＳ３の罫線抽出処理およ
び長方形枠抽出処理の一例のフローチャートを示す。ま
ず、罫線抽出部３において、ステップＳ２にて抽出され
た線分データの中から、長さがあるしきい値ｔ１よりも
小さい線分を、罫線になり得ない微小線分として除去す
る（ステップＳ４１）。除去されなかった線分データ
は、抽出された罫線として、長方形枠抽出部４に与えら
れるとともに、文字列抽出部５にも与えられる。

【００３３】続いて、長方形枠抽出部４による処理が行
なわれる。まず、長さがしきい値ｔ２（ｔ２＞ｔ１）よ
りも大きい線分の角度を平均し、画像全体の傾きを計測
する（ステップＳ４２）。傾き計算は、線分の角度のヒ
ストグラムをとり最大値をとっても良い。もちろん、す
べての線分から傾きを求めても構わない。

【００３４】次に、線分の角度を参照して画像の傾きに
対して水平または垂直である線分のみを抽出する（ステ
ップＳ４３）。その結果、例えば図６（ａ）のような水
平線分と、図６（ｂ）のような垂直線分を得ることがで
きる。

【００３５】次に、得られた水平線分、垂直線分によっ
て作られる交点の抽出を行う（ステップＳ４４）。その
結果、例えば図７のような交点を得ることができる。こ
れらの交点は、求めるべき長方形枠の頂点候補となる。

【００３６】次に、得られた交点から長方形を抽出する
（ステップＳ４５）。例えば、得られた交点のうちから
ピックアップした４点によって形成される長方形の４辺
に対応する抽出線分が存在する線分が存在する場合に、
当該４点によって形成される長方形を長方形枠とする。

【００３７】ところで、ここで求められた長方形枠の中
には、重複して抽出されているものが存在する場合があ
り、例えば大きい長方形枠の中に複数の小さい長方形枠
が存在している場合である。このような場合は、大きい
長方形枠を消去する処理を行うことが好ましい。この処
理は、４つの頂点の座標値を参照して、もし、大きい長
方形枠が小さい長方形枠を含んでいる場合は、この大き
い長方形枠を消去する。以上により、重複する長方形枠
の消去を行うことができる。

【００３８】次に、２つ以上の長方形枠が破線で接して
いる場合は、この２つ以上の長方形枠を１つの長方形枠
とする処理を行う（ステップＳ４６）。例えば、図８に
おいて、長方形枠７１ａ，７１ｂ，７１ｃ，７１ｄ，７
１ｅは、破線で接しているので、これらを１つの長方形
枠として出力する。

【００３９】最後に、求められた長方形枠に対して斜線
が存在するかをチェックする（ステップＳ４７）。例え
ば、長方形枠７２には、右下がりの斜線と右上がりの斜
線が存在し、これを長方形枠７２の属性として認識す
る。

【００４０】以上により、図８のように、長方形枠の抽
出が完了する。抽出された長方形枠のデータは、データ
枠健作部７に与えられるとともに、文字列抽出部５にも
与えられる。

【００４１】また、罫線抽出部３により罫線として抽出
された線分のうち長方形枠とその内部の斜線に使われな
かったものを文字列抽出部５に与える。なお、この長方
形枠とその内部の斜線に使われなかった線分のすべてで
はなく、所定の長さより小さいものだけを与えても良
い。

【００４２】［ステップＳ４］長方形枠抽出後、文字列
抽出部５により、入力した帳票文書内の文字列の抽出処
理が行われる。

【００４３】図９に、文字列抽出処理の一例のフローチ
ャートを示す。まず、文字列抽出部５は、線分抽出部２
から抽出された線分データから、罫線抽出部３により罫
線として抽出された線分データを除き、これに長方形枠
抽出部４の処理で残った線分データを加えたものを、文
字パターン中の線分とする（ステップＳ５１）。

【００４４】次に、上記で文字パターン中の線分とされ
たものについて、ステップＳ３にて抽出された長方形枠
を参照し、また線分付近の画像パターンを参照しつつ、
一纏まりの文字列候補に分割し、長方形枠内の文字列抽
出と長方形枠外の文字抽出を行なう（ステップＳ５
２）。

【００４５】そして、各文字列の座標位置や縦横のサイ
ズを計測する（ステップＳ５３）。この結果、例えば図
１０のような文字列枠（図中の８０の枠）が抽出され
る。 ［ステップＳ５］文字列抽出終、文字認識部６は、抽出
された文字列を文字パターン認識処理にて文字コードに
変換し、文字列単位に文字コードデータを出力する。

【００４６】［ステップＳ６］文字認識後、データ枠探
索部７は、長方形枠抽出部４にて抽出された長方形枠の
うちデータ記入領域を持つデータ枠を抽出する。

【００４７】図１１に、データ枠探索処理の一例のフロ
ーチャートを示す。このデータ枠探索処理を図１の長方
形枠抽出部４において抽出されたすべての長方形枠につ
いて行う。

【００４８】まず、対象となる長方形枠の縦横のサイズ
を計測する（ステップＳ９１）。縦、横のサイズがそれ
ぞれデータ枠となりうる最低限のサイズＬｘ，Ｌｙ未満
である場合（ステップＳ９２）、この枠はデータ枠では
ないと識別する（ステップＳ９９）。

【００４９】次に、枠内に文字列が存在するか検出する
（ステップＳ９３）。文字列が存在しない場合（ステッ
プＳ９４）、この枠をデータ枠とする（ステップＳ１０
０）。

【００５０】文字列が存在する場合（ステップＳ９
４）、枠内の空白領域を探索する（ステップＳ９５）。
ただし、あらかじめ文字列の分布状況や大きさ等の判断
基準を設定しておいて、基準内でない場合が、枠内の空
白領域の探索はせずに、空白領域がないものとみなして
良い。例えば、その判断基準とは、該当する枠の横方向
における文字列の占有率である。この占有率があるしき
い値以下（例えば４０％以下）のとき、枠内の空白領域
を探索する。あるいは、文字列が中央にある、点在して
いる等の分布状況を判断基準にすることもできる。この
場合は、例えば中央に文字列があるとき空白領域の探索
は行わないように設定する。見つかった空白領域の縦横
のサイズを計測し、それぞれＬｘ，Ｌｙ以上であるとき
は、この空白領域をデータ記入領域とする。

【００５１】ここで、データ記入領域抽出方法の具体例
を説明する。例えば、図１２に示すような長方形枠９１
には、２つの文字列領域（９２，９３）が存在する。第
１の方法は、長方形枠の領域を文字列領域を境として分
割する方法によりデータ記入領域を求める。まず、図１
３のように、方形領域９１が領域９２により分割され、
２つの領域９４，９５が生成される。この領域９４，９
５は、データ記入領域の候補である。ところが、領域９
５は、領域９３に重なっていることがわかる。したがっ
て、図１４のように候補領域９５は領域９３により分割
され、領域９６が生成される。この場合は、領域９５は
領域９６に縮小されたことになる。以上により、２つの
データ記入領域９４，９６が抽出できる。もし、２つ以
上の候補領域が重なった場合は、領域候補の大きさ、偏
平領域の大きさ、偏平率等の条件により領域の配分を行
うようにする。

【００５２】データ記入領域の第２の抽出方法は、長方
形枠内に存在する文字列領域の位置を起点に、領域を拡
張する方法によりデータ記入領域を求める。まず、図１
５のように、すべての文字列領域９２，９３の左側中央
の点Ｐ９２，Ｐ９３を中心に、上下に矢印９７，９８の
方向に点を拡張する。この拡張は、長方形枠の境界や他
の文字列領域の境界にぶつかったところで終了するよう
にし、上下均等に拡張する。矢印９７，９８は、データ
記入領域の右側の辺となる。次に、図１６のように、辺
９７，９８から左方向、すなわち９９，１００の方向に
領域を拡張する。同様に、長方形枠の境界や他の文字列
領域の境界にぶつかったところで終了する。以上によ
り、図１４に示される領域９４，９６の２つのデータ記
入領域が出力される。２つ以上の候補領域が重なったと
きは、同様に候補領域の大きさ、偏平率等の条件によ
り、領域の配分を行う。

【００５３】上記探索の結果、データ記入領域が抽出さ
れた場合（ステップＳ９６）、該当する長方形枠をデー
タ枠とする（ステップＳ１００）。データ記入領域が抽
出されなかった場合（ステップＳ９６）、該当する長方
形枠が選択枠であるかの検査を行う（ステップＳ９
７）。選択枠とは、複数個の選択肢が印刷されていて、
チェックを付けたり、丸で囲んだりすることを想定して
いる欄を持っている枠であり、一種のデータ枠として扱
う。選択枠の検出は、枠内の文字列を読み、あらかじめ
登録しておいた文字の組合せが存在するかを確かめるこ
とによって行う。登録しておく文字の組合せは、順番、
項番を表すもの（１・２・３、イ・ロ・ハ、ａ・ｂ・
ｃ、…）、一般に排他的に現れるもの（男・女、都・道
・府・県、午前・午後、…）、アプリケーションによっ
て新規登録が必要なもの（本社・支社、東京・大阪・名
古屋、国保・社保、…）等である。

【００５４】選択枠である場合（ステップＳ９８）、こ
の枠をデータ枠とし（ステップＳ１００）、選択枠でな
い場合（ステップＳ９８）、この枠をデータ枠でないと
識別する（ステップＳ９９）。

【００５５】以上により、各長方形枠がデータ枠である
かの判別を行うことが可能となる。例えば、図３のよう
な帳票データについて、データ枠探索処理を行った場
合、図１７のデータ枠およびデータ記入領域（太線で括
弧まれた領域）の抽出が可能となる。

【００５６】帳票文書内の記入されるべきデータ枠を抽
出することが可能となることにより、スキャナなどの画
像入力装置より未記入帳票を入力するだけで、得られた
画像データにデータエントリを自動的に設定することが
できる。これにより、コンピュータ上で帳票に必要事項
をインプットすることが容易に行えるシステムを実現で
きる。

【００５７】［ステップＳ７］長方形枠に対するデータ
枠の抽出判別の終了後、データ枠属性探索部８は、デー
タ枠の属性、項目名の探索を行なう。

【００５８】ここで、図１８に示す入力画像の一例を参
照してデータ枠属性探索処理の概略を説明する。本実施
例では、入力画像中に存在するデータ枠１０１に対して
属性あるいは項目名の関連付けを行うため、データ枠１
０３の内部および所定の方向（この場合、上方向、左方
向）の領域を探索する。すなわち、データ枠１０１の領
域およびハッチングされた領域１０２を合わせた長方形
領域を探索する。探索の結果、この領域内の文字列は２
つ存在し、文字列１０３および文字列１０４をこのデー
タ枠１０１の属性あるいは項目名であると判断し、この
文字列１０３と文字列１０４の内容をデータ枠１０１に
関連付けを行う。ただし、文字列１０４を含む長方形枠
１０５がデータ枠であった場合は、この文字列１０４を
データ枠３１の関連付けの対象から除外するようにして
も良い。

【００５９】次に、図１９に、データ枠属性探索処理の
一例のフローチャートを示す。このデータ枠属性探索処
理は、大きく２つの処理に分かれる。第１の処理は、該
当するデータ枠に関連する文字列を探索する関連文字列
探索処理であり、図１９のフローチャートではステップ
Ｓ１１１〜Ｓ１１５に相当する。第２の処理は、関連付
けられた文字列を利用して、該当するデータ枠の属性を
決定するデータ枠属性計測処理であり、図１９のフロー
チャートではステップＳ１１６に相当する。

【００６０】このデータ枠属性探索処理は、データ枠探
索部７にて抽出されたすべてのデータ枠に対して行な
う。まず、対象となるデータ枠の内部の文字列を探索
し、その文字列の内容を該当するデータ枠の関連する文
字列として関連付ける（ステップＳ１１１）。例えば、
図２０に示すように対象となるデータ枠１２１におい
て、その内部にある文字列を読み、関連文字列を「備
考」と決定できる。

【００６１】次に、枠外を探索する。帳票において項目
やタイトルを示す語句は、一般的にデータが記入される
枠に対して、その上方向あるいは左方向に位置する。し
たがって、上方向および左方向を関連する文字列の探索
方向と設定する。このルールに準じて探索を行うため
に、データ枠１２１の上側に接する領域と左側に接する
領域を初期探索領域として決定する（ステップＳ１１
２）。例えば、図２０に示すように対象となるデータ枠
１２１の上側に接する領域１２２と左側に接する領域１
２３を初期探索領域とする。

【００６２】そして、その領域内に含まれる文字列を探
索し、文字列の内容を該当するデータ枠の関連文字列と
して登録する（ステップＳ１１３）。次に、現在の探索
領域に対して、同様に上側に接する領域と左側に接する
領域を探索領域として拡張していく（ステップＳ１１
４，Ｓ１１５）。

【００６３】ここで、上記の探索においては、探索方向
を上方向および左方向と設定しているが、該当するデー
タ枠がある条件を持っている場合、探索の方向あるいは
領域を変更することが可能である。例えば、図２１に示
されるようなチェック欄１１１、１１２におけるその内
容を示す語句は、右側に位置していたり、場合によって
は下側に位置することもある。したがって、チェック欄
を検出するための条件に当てはまるデータ枠に対して
は、初期探索領域をデータ枠の右側あるいは下側に設定
する。この場合のチェック欄の検出条件は、縦横のサイ
ズがある設定値より小さい、かつ、空欄すなわち内部に
文字列が存在しない、かつ、他の長方形枠と左辺、上辺
で隣接していない、である。

【００６４】探索する領域がすべてなくなったところで
文字列の探索を終了する（ステップＳ１１５）。以上の
探索によって検出された関連文字列の内容を利用して、
データ枠が持つ属性あるいはそのデータ枠に記入される
内容を示す語句（項目名）を計測する（ステップＳ１１
６）。

【００６５】この処理において最も簡単な方法は、得ら
れた文字列をそのまま属性・項目として登録する方法で
ある。他の方法としては、項目名の辞書を作成し、あら
かじめ項目になりそうな単語を登録しておいて、登録さ
れる語句が関連文字列として設定されている場合は、属
性・項目として登録する方法もある。ここで最も説明し
ておきたい方法は、キーワードと属性の関係を示す辞書
を作成しておき、関連文字列に登録されているキーワー
ドが存在するとき、対応する属性を割り当てる方法であ
る。例えば、図２２に示すような辞書を作成しておく。
「電話番号」という語句が登録されている場合、そのデ
ータ枠の属性を「数字」および「電話番号」と確定でき
る。図２２における属性１に対応する欄には、「数字」
「英数字」「漢字」をはじめとするその位置に書かれて
いる文字の種類（カテゴリー）を決定できるように登録
している。これによって、該当するデータ枠に書き込ま
れる文字の文字認識を行う場合の辞書を自動的に決定す
ることが可能である。一方、属性２に対応する欄には、
「電話番号」「日付」「コード」「人名」「地名」とい
った単語の意味あるいは概要を表す語句を登録してお
く。これによって、該当するデータ枠に書き込まれる語
句の概念をあらかじめ設定しておくことができる。ま
た、同時に文字認識の後処理用の辞書を自動選択するこ
とも可能であり、属性１の結果と合わせて文字認識の全
体の認識率を向上することができる。

【００６６】また、図２３に示すように、単位を表す語
句に対して同様の属性１および属性２を登録しておくこ
とによって、該当するデータ枠内に存在する文字列を対
象に、属性を正確に決定することが可能である。

【００６７】ここで、図２４に示すような長方形枠にお
いては、４つのデータ記入領域１１３，１１４，１１
５，１１６が存在するが、このように複数のデータ記入
領域が存在する場合、記入文字の属性が異なることがあ
る。このような場合、データ記入領域ごとに属性を決定
できるようにすることが有効である。そのために、図２
２に示した項目辞書よりも、図２３に示した単位辞書を
優先して、単位による属性計測を行う。データ記入領域
１１４は、選択肢のセットであるので、特別に属性１
（辞書属性）は、記号あるいはチェックとしておく。他
のデータ記入領域については、そのすぐ右側にある文字
列を検査して、単位辞書を引き、マッチングできればそ
の属性に決定する。例えば、領域１１３は、文字列
「市」あるいは「区」「郡」により、属性１は「漢
字」、属性２は「市名」あるいは「町名」「郡名」にセ
ットされる。領域１１４は、文字列「町」により、属性
１は「漢字」、属性２は「町名」に、領域１１５は文字
列「番地」により、属性１は「数字」、属性２は「住
所」にセットされる。以上により、１つの長方形枠内に
存在する複数のデータ記入領域ごとに属性を決定するこ
とができる。

【００６８】ところで、前述した検索方法においては、
文字列を冗長に属性・項目として関連付けてしまう可能
性があるので、文字列の探索および探索領域の拡張方法
に、次に示すような条件を付けても良い。

【００６９】（１）属性探索の対象枠以外のデータ枠内
の文字列は探索しない。 （２）探索領域内に包含される枠の内部の文字列は探索
しない。 （３）探索領域内に包含される枠がデータ枠である場
合、文字列は探索しない。

【００７０】（４）探索領域が上記の（１），（２），
（３）であった場合、領域の拡張は一方向とする。上側
に拡張されてきた領域であれば、上側に拡張するのみと
し、左側に拡張されてきた領域であれば、左側に拡張す
るのみとする。

【００７１】（５）探索領域の一方向（上側あるいは左
側）に接する領域が複数存在する場合は、領域の拡張を
行わない。 以上により、図２０の「備考」のデータ枠について、２
つの探索領域１２２，１２３は、次のような経過をたど
り、関連文字列の探索が行われる。領域１２２は、内部
に４つのデータ枠を包含しているので、領域内の文字列
の探索は行わない。領域１２２からの拡張は、上方向の
みの拡張となるが、上側に接する領域は複数（５つ）存
在するため、領域の拡張は行わず、文字列の探索を終了
する。領域１２３の方は、領域内の文字列を探索し、
「調査結果」という関連文字列を得ることができる。さ
らに領域の拡張を行い、領域１２４を次の探索領域とす
る。領域１２４内の文字列を探索する文字列がないの
で、関連文字列の登録は行わない。さらなる領域の拡張
は、領域１２４が帳票の背景であるため、拡張できる領
域がなく関連文字列の探索を終了する。したがって、デ
ータ枠１２１について「備考」、「調査結果」の２つの
関連文字列を関連付けることができる。

【００７２】例えば、図３のような帳票データの場合、
図２５のような結果を得ることができる。図２５に示さ
れる上から６番目と７番目のデータ枠に余分と思われる
「コード１」が含まれているが、これもデータ枠と文字
列の距離を他のデータ枠との距離を比較することで容易
に除去することができる。こうした余分な文字列の除去
処理を後処理として追加させることも容易にできる。

【００７３】このようにして、データ枠に属性および項
目名を冗長性を可能な限り削減し、しかも必要なものは
確実に、関連付けさせることができる。もちろん、前述
したように複雑な規則を加えずに、データ枠ごとに左方
および上方に存在するすべての文字列を関連付け、最後
にユーザにより必要なものだけを画面に表示したものか
らピックアップしてもらう方法を採っても良い。この方
法を用いるだけでも、従来の方法よりも効率良く確実に
データとその属性の関係を求めることが可能である。

【００７４】ここで、このデータ枠属性探索処理の際
に、求められた属性にレベルを付けることができる。こ
のレベルは、求められた属性が概念の程度の情報を得る
ことができる。すなわち、レベルが高ければそれだけ上
位概念を示す属性であり、レベルが低ければ下位概念の
情報であることが知り得る。これは、探索の段階をその
ままレベルに割り当てても良い。初期の探索領域から得
られた属性をレベル０、領域の拡張を行う度にレベルを
１つずつ上げる方法が考えられる。また、対象となるデ
ータ枠と文字列の存在位置との距離によってレベルを決
定することもできる。さらに、縦方向と横方向によって
レベルの差を変えても良い。縦横方向のどちらかを一定
基準で差を付ける方法もあるが、領域と領域が接する線
の長さによって縦横のどちらが密接なつながりがあるか
を判断する方法もある。以上により、データ枠の属性あ
るいは項目名として選ばれたものにレベルを付し、概念
的にどちらが上にくるかまたは下にくるかを判断するこ
とができる。

【００７５】［ステップＳ８］最後に、データ枠構造計
測部９にてデータ枠の構造を解析する。本実施例では、
データ枠およびその属性の探索の結果、あるいは、探索
された属性のレベル決定処理の結果を利用して、入力画
像中のデータ枠の構造を理解することができる。

【００７６】図２６に、データ枠構造計測部９による処
理の一例のフローチャートを示す。まず、得られたデー
タ枠について、下位レベル（属性検出において先に見つ
かったもの）から同じ文字列があるものを統合していく
（ステップＳ１４１）。例えば図２５の場合、１番目と
２番目と３番目のデータ枠は、２つ目のレベルで同じ
「区分」という文字列が存在するので統合する。

【００７７】これを繰り返し行ない、最終的にツリー構
造のデータを作成する（ステップＳ１４２）。これによ
り、抽出されたデータ枠とその属性・項目名からデータ
枠構造を理解することができ、例えば図３のような帳票
画像データを入力した場合、図２７のようなツリー状の
構造理解結果を得ることが可能である。

【００７８】ただし、図２８のような帳票はマトリック
ス構造を有するので、この部分を特別な情報として抽出
しておく（ステップＳ１４３）。具体的に説明すると、
６つのデータ枠１６１〜１６６に対して図２９のような
属性計測結果が得られるので、これをツリー構造への変
換により図３０のようなツリーが得られる。ここで、文
字列「１」と「２」の下に同じ文字列群［Ａ］，
［Ｂ］，［Ｃ］が存在するので、このような文字列群を
検索し、その部分「１」，「２」をマトリックスとして
抽出する。以上により、マトリックスを含んだ帳票をツ
リー構造に変換することができる。

【００７９】以上により、入力帳票文書のデータ枠の構
造理解が完了する。抽出された種々のデータのうち必要
なものや求めたデータ枠の構造は、図示しないディスプ
レイやプリンタなどに出力することができる。あるい
は、図示しない磁気記憶装置などに格納することができ
る。

【００８０】以上のように、本実施例によれば、帳票の
構造認識を長方形枠と長方形枠の関係から行うのではな
く、長方形枠の中から文字（あるいは空白枠および空白
領域所持枠）を抽出し、この情報に基づいて確実にデー
タ入力枠を抽出することができる。さらに、抽出したデ
ータ入力枠を中心に関連する文字列を探すことにより、
そこに入力されるデータの項目属性をもれなく抽出する
ことが可能となる。また、データ枠を外れた位置に項目
名が存在するような場合においても、文字列のサーチを
枠外にも同条件で行うことにより、正確に項目属性を抽
出することができる。

【００８１】（第２の実施例）図３１は、本発明の第２
の実施例に係る帳票文書処理装置を示すブロック図であ
る。本実施例は、データを記入していない、いわゆる見
本帳票とデータ記入済みの帳票（以下、記入帳票と呼
ぶ）を入力して、データ枠探索処理を簡易化したもので
あり、画像入力部１、線分抽出部２、線分削除部１２、
罫線抽出部３、長方形枠抽出部４、文字列抽出部５、文
字認識部６、データ枠探索部７ａ、データ枠属性探索部
８、データ枠構造計測部９を備えている。本実施例の画
像入力部１、線分抽出部２、罫線抽出部３、長方形枠抽
出部４、文字列抽出部５、文字認識部６、データ枠属性
探索部８、データ枠構造計測部９は、それぞれ第１の実
施例の同番号の付されたブロックに相当する処理を行な
う。本実施例のデータ枠探索部７ａは、第１の実施例の
データ枠探索部７に修正を施したものであり、後述する
ような処理を行なう。また、本実施例では、見本帳票お
よび記入帳票の夫々から得られた線分を比較し見本帳票
に記入された情報に対応する画像成分を抽出してデータ
枠探索部７ａに与える線分削除部１２を新たに設けてい
る。

【００８２】以下、図３２に示すフローチャートを参照
しながら、本実施例の処理の流れを説明する。 ［ステップＳ２０１］まず、第１の実施例と同様に、画
像入力部１から処理対象となる見本帳票または記入帳票
を光学的に読取る。入力した画像データは、一旦、図示
しない画像メモリなどに格納する。

【００８３】［ステップＳ２０２］線分抽出部２は、入
力した画像データに対して、第１の実施例と同様、図４
を参照して説明したような手順などにより、２値化処
理、細線化処理、線分接続処理などの前処理を施し、入
力画像データをすべて線分データとして抽出する。

【００８４】［ステップＳ２０３］ここで、ステップＳ
２０１で入力したものが見本帳票である場合、次のステ
ップＳ２０４〜Ｓ２０６を行なった後、ステップＳ２０
７に移る。記入帳票である場合、ステップＳ２０４〜Ｓ
２０６を行なわずに、ステップＳ２０７に移る。

【００８５】［ステップＳ２０４］線分抽出処理後、罫
線抽出部３により、抽出された線分のうち長方形枠を形
成する可能性のあるものを罫線として抽出し、次に、長
方形枠抽出部４により、抽出された罫線から長方形枠の
抽出を行う。これらの処理は、第１の実施例と同様、図
５を参照して説明したような手順などにより行なう。

【００８６】［ステップＳ２０５］長方形枠抽出後、文
字列抽出部５により、入力した帳票文書内の文字列の抽
出処理が行われる。この処理は、第１の実施例と同様、
図９を参照して説明したような手順などにより行なう。

【００８７】［ステップＳ２０６］文字列抽出終、第１
の実施例と同様に、文字認識部６は、抽出された文字列
を文字パターン認識処理にて文字コードに変換し、文字
列単位に文字コードデータを出力する。

【００８８】［ステップＳ２０７］ここで、見本帳票と
記入帳票の画像入力／線分抽出が終了していない場合、
ステップ２０１に戻り、必要な帳票の入力を行なう。見
本帳票と記入帳票の画像入力／線分抽出が終了した場
合、次のステップＳ２０８に移る。

【００８９】なお、記入帳票は、１つのみ入力しても良
いし、任意の個数の入力をもって終了としても良い。 ［ステップＳ２０８］本実施例では、線分抽出部２によ
り見本帳票から得られる線分データと記入帳票から得ら
れる線分データがそろったら、線分削除部１２は、これ
らの線分データを利用して、データ枠を抽出するための
情報を抽出し、データ枠探索部７ａに与える。すなわ
ち、線分削除部１２は、見本帳票に対する線分データと
記入帳票に対する線分データを比較し、ステップＳ２０
１にて得られた見本帳票画像データに含まれる画像成分
（線分要素あるいは画像連結図形）を記入帳票画像デー
タから取り出し、それを削除する。ここで残った記入帳
票画像データ中の画像成分（見本帳票中に書き込まれた
情報に対応する成分）をデータ枠探索部７ａに与える。

【００９０】［ステップＳ２０９］文字認識後、データ
枠探索部７ａは、線分削除部１２から与えられた画像成
分に基づいて、長方形枠抽出部４が見本帳票の画像デー
タから抽出した長方形枠のうちデータ記入領域を持つデ
ータ枠を抽出する。すなわち、データ枠探索部７ａは、
上記の記入帳票データから抽出された書き込み画像成分
の位置に基づき、見本帳票データの当該位置に存在する
長方形枠およびそれに準ずる枠（すなわち下線などが施
された領域）をデータ枠とする。本実施例によれば、こ
のように簡単にデータ枠を抽出することができる。

【００９１】［ステップＳ２１０］長方形枠に対するデ
ータ枠の抽出判別の終了後、データ枠属性探索部８は、
データ枠の属性、項目名の探索を行なう。この処理は、
第１の実施例と同様、図１９を参照して説明したような
手順などにより行なう。

【００９２】［ステップＳ２１１］最後に、第１の実施
例と同様に、データ枠構造計測部９にてデータ枠の構造
を解析する。データ枠およびその属性の探索の結果、あ
るいは、探索された属性のレベル決定処理の結果を利用
して、入力帳票中のデータ枠の構造を理解することがで
きる。

【００９３】以上により、入力帳票文書のデータ枠の構
造理解が完了する。抽出された種々のデータのうち必要
なものや求めたデータ枠の構造は、図示しないディスプ
レイやプリンタなどに出力することができる。あるい
は、図示しない磁気記憶装置などに格納することができ
る。

【００９４】なお、図３２の手順は適宜変更することが
できる。例えば、ステップＳ２０４〜Ｓ２０６の一連の
処理またはその一部の処理は、ステップＳ２０８の処理
の後に行なっても良い。

【００９５】また、上記のような線分削除部２０２を設
ける代わりに、画像入力部１から画像データを入力し、
見本帳票画像データと記入帳票画像データを比較して記
入帳票画像データのうち見本帳票中に書き込まれた情報
に対応する画像成分を抽出してデータ枠探索部７ａに与
える画像パターン削除部を設けても良い。

【００９６】（第３の実施例）図３３は、本発明の第３
の実施例に係る帳票文書処理装置を示すブロック図であ
る。

【００９７】本実施例は、ワープロやパソコンのエディ
タ等で入力された帳票を構造認識するものであり、帳票
入力部１０１、文字列抽出部５、データ枠探索部７、デ
ータ枠属性探索部８、データ枠構造計測部９を備えてい
る。本実施例の文字列抽出部５、データ枠探索部７、デ
ータ枠属性探索部８、データ枠構造計測部９は、それぞ
れ第１の実施例の同番号の付されたブロックに相当する
処理を行なう。

【００９８】本実施例の帳票入力部１０１は、第１の実
施例の画像入力部１の代わりに設けられたものであり、
すでに線分データや文字モードなどに変換された帳票を
入力するために、磁気記憶媒体などに記憶された帳票デ
ータを読み取る装置などで構成される。なお、帳票入力
部１０１自体が、キーボードやＣＲＴなどを備えたワー
プロやパソコンのようなエディタ装置等であっても良
い。

【００９９】本実施例では線分データや文字モードなど
を入力するので、第１の実施例と比べると、線分抽出部
２、罫線抽出部３、文字認識部６が不要となっている。
以下、本実施例の処理の流れを説明する。

【０１００】まず、ワープロやパソコンなどにより作成
され、すでにデータ化されている帳票を、帳票入力装置
部２０１から入力する。帳票入力装置部２０１から入力
された画像データに対し、長方形枠抽出部４において長
方形枠の抽出を行う。この処理は、第１の実施例と同
様、図５を参照して説明したような手順などにより行な
う。

【０１０１】長方形枠抽出後、文字列抽出部５により、
入力した帳票文書内の文字列の抽出処理が行われる。こ
の処理は、第１の実施例と同様、図９を参照して説明し
たような手順などにより行なう。

【０１０２】次に、データ枠探索部７は、第１の実施例
と同様に、長方形枠に対するデータ枠の抽出判別を行な
う。次に、データ枠属性探索部８は、データ枠の属性、
項目名の探索を行なう。この処理は、第１の実施例と同
様、図１９を参照して説明したような手順などにより行
なう。

【０１０３】最後に、第１の実施例と同様に、データ枠
構造計測部９にてデータ枠の構造を解析する。データ枠
およびその属性の探索の結果、あるいは、探索された属
性のレベル決定処理の結果を利用して、入力帳票中のデ
ータ枠の構造を理解することができる。

【０１０４】以上により、入力帳票文書のデータ枠の構
造理解が完了する。抽出された種々のデータのうち必要
なものや求めたデータ枠の構造は、図示しないディスプ
レイやプリンタなどに出力することができる。あるい
は、図示しない磁気記憶装置などに格納することができ
る。

【０１０５】以上のようにして、ワープロ等で入力した
帳票データに関しても同様に、構造理解を行うことがで
き、多くのアプリケーションに接続することができる。
本実施例の帳票文書処理においては、未記入帳票を読み
込んで構造理解を行い、その結果を用いて各種の帳票処
理の自動化を実現できる。例えば、ファイリング装置に
登録すべき記入帳票を読み込むだけで、あらかじめ設定
しておいた項目名や属性を参照して必要なデータが書か
れているはずのデータ枠を探索可能なため、ファイリン
グ時のキー情報の自動設定を可能とする。また、このキ
ー情報は、ファイリングした文書の検索キーにも使用す
ることが可能である。また、記入帳票から属性や項目名
をたどることで必要な情報を取り出すことが可能にな
り、記入されている数値等を抽出してデータベース登録
や統計処理をはじめとするデータ加工の自動化が実現で
きる。

【０１０６】なお、第２に実施例の実施例に同様の修正
を加え、すなわち、帳票入力部１０１、文字列抽出部
５、データ枠探索部７ａ、データ枠属性探索部８、デー
タ枠構造計測部９を備えるものとすることにより、すで
にデータ化された帳票を処理対象とするものに容易に修
正することが可能である。また、本発明は上述した各実
施例に限定されるものではなく、その要旨を逸脱しない
範囲で、種々変形して実施することができる。

【０１０７】

【発明の効果】本発明によれば、入力帳票の画像データ
中から抽出した長方形枠の内部から文字を抽出し、この
文字に基づいて長方形枠のうちからデータ枠を求めるの
で、入力帳票が複雑な構造を有する場合であっても、確
実にデータ枠を抽出することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る帳票文書処理装置
を示す図

【図２】同実施例の処理の流れを示すフローチャート

【図３】入力画像データの一例を示す図

【図４】線分抽出処理の流れを示すフローチャート

【図５】長方形枠抽出処理の流れを示すフローチャート

【図６】長方形枠抽出処理における水平・垂直線分抽出
結果の一例を示す図

【図７】長方形枠抽出処理における交点抽出結果の一例
を示す図

【図８】長方形枠抽出結果の一例を示す図

【図９】文字列抽出処理の流れを示すフローチャート

【図１０】文字列枠抽出結果の一例を示す図

【図１１】データ枠探索処理の流れを示すフローチャー
ト

【図１２】データ記入領域抽出処理を説明するための図

【図１３】データ記入領域抽出処理を説明するための図

【図１４】データ記入領域抽出処理を説明するための図

【図１５】データ記入領域抽出処理を説明するための図

【図１６】データ記入領域抽出処理を説明するための図

【図１７】データ枠およびデータ記入領域の抽出結果の
一例を示す図

【図１８】本実施例の機能の概略を説明するための図

【図１９】データ枠属性探索処理の流れを示すフローチ
ャート

【図２０】データ枠属性探索処理を説明するための図

【図２１】入力の一例を示す図

【図２２】キーワードと属性の関係を登録した辞書の一
例を示す図

【図２３】単位を表す語句と属性の関係を登録した辞書
の一例を示す図

【図２４】長方形枠の一例を示す図

【図２５】データ枠属性探索処理結果の一例を示す図

【図２６】データ枠構造計測処理の流れを示すフローチ
ャート

【図２７】ツリー状の構造理解結果の一例を示す図

【図２８】入力の一例を示す図

【図２９】データ枠属性探索処理結果の一例を示す図

【図３０】ツリー状の構造理解結果の一例を示す図

【図３１】本発明の第２の実施例に係る帳票文書処理装
置を示す図

【図３２】同実施例の処理の流れを示すフローチャート

【図３３】本発明の第３の実施例に係る帳票文書処理装
置を示す図

【符号の説明】

１…画像入力部、２…線分抽出部、３…罫線抽出部、４
…長方形枠抽出部、５…文字列抽出部、６…文字認識
部、７，７ａ…データ枠探索部、データ枠探索部、８…
データ枠属性探索部、９…データ枠構造計測部、１０１
…帳票入力部

Claims (7)

【特許請求の範囲】
1. 【請求項１】複数の長方形枠からなる表を含む帳票文書
   を処理する帳票文書処理装置において、 入力された帳票の画像データより長方形枠を抽出する長
   方形枠抽出手段と、 抽出された前記長方形枠の内部に存在する文字を抽出す
   る文字列抽出手段と、 前記長方形枠の内部から抽出された前記文字に基づい
   て、前記長方形枠のうちからデータ記入領域を持つデー
   タ枠を抽出するデータ枠抽出手段とを具備したことを特
   徴とする帳票文書処理装置。
2. 【請求項２】前記データ枠抽出手段は、前記長方形枠の
   内部の空白領域の分布を計測し、この計測結果に従って
   データ枠を抽出することを特徴とする請求項１に記載の
   帳票文書処理装置。
3. 【請求項３】前記データ枠抽出手段により抽出された前
   記データ枠の内部および該データ枠を中心として一定方
   向に存在する文字または文字列を読み取る関連文字列探
   索手段と、 読み取った文字または文字列を前記データ枠の属性とす
   るデータ枠属性計測手段とをさらに具備したことを特徴
   とする請求項１または２に記載の帳票文書処理装置。
4. 【請求項４】前記関連文字列探索手段が読み取る文字ま
   たは文字列の探索方向は、上方向および左方向であるこ
   とを特徴とする請求項３に記載の帳票文書処理装置。
5. 【請求項５】前記関連文字列探索手段は、前記データ枠
   の条件によって右方向または下方向の文字列を読み取る
   ことを特徴とする請求項３に記載の帳票文書処理装置。
6. 【請求項６】前記データ枠属性計測手段は、前記関連文
   字列探索手段により読み取った文字または文字列によ
   り、前記データ枠の新たな属性を求めることを特徴とす
   る請求項３ないし５のいずれか１項に記載の帳票文書処
   理装置。
7. 【請求項７】複数の長方形枠からなる表を含む帳票文書
   を処理する帳票文書処理方法において、 入力された帳票の画像データより長方形枠を抽出し、 抽出された前記長方形枠の内部に存在する文字を抽出
   し、 抽出された前記長方形枠の内部の文字に基づいて、前記
   長方形枠のうちからデータ記入領域を持つデータ枠を抽
   出することを特徴とする帳票文書処理方法。