JPH10302023A

JPH10302023A - 表画像のフォーマットを識別するフォーマット識別装置および方法

Info

Publication number: JPH10302023A
Application number: JP9104505A
Authority: JP
Inventors: Hiroaki Takebe; 浩明武部
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-04-22
Filing date: 1997-04-22
Publication date: 1998-11-13
Anticipated expiration: 2017-04-22
Also published as: JP3380136B2

Abstract

(57)【要約】【課題】表形式文書のフォーマット識別において、詳
細なモデルマッチングの適用対象となるモデルを削減
し、処理を高速化することが課題である。【解決手段】フォーマット識別装置は、入力された未
知文書と辞書に登録されたモデルの罫線の対応関係を表
すマッチングテーブルを作成し、対応可能な罫線同士の
組み合わせをノードで表現する。そして、未知文書とモ
デルの双方において、１つ以上のノードに対応する罫線
（★印の罫線）の数を数え、その数をもとに大分類を行
って、処理対象のモデルの数を削減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書や図面をスキ
ャナ等の入力装置で画像データに変換し、その画像デー
タを認識する画像認識装置に係り、画像中の罫線構造を
識別するフォーマット識別装置およびその方法に関す
る。

【０００２】

【従来の技術】伝票等、罫線によってフォーマットが構
造化された表形式文書は、現在大量に流通しており、表
形式文書のフォーマットを自動的に識別することへの要
求は非常に大きい。フォーマットの自動識別処理におい
ては、あらかじめ、表形式文書のフォーマットの特徴量
を、モデルとして辞書に登録しておく。そして、未知の
表形式文書が入力されたときに、その画像から特徴量を
算出し、辞書のモデルの特徴量とマッチングして、最も
類似するモデルを特定する。

【０００３】従来のモデルマッチング手法では、表全体
を正規化した後、各罫線の位置および長さ、または罫線
により四方を囲まれた各矩形セルの中心点の位置を、入
力文書とモデルの間で照らし合わせて、それらが重なり
合うかどうかを判断し、その結果をもとに類似度を算出
していた。ここで、表の正規化とは、表の縦横比が１対
１になるように画像全体を変換する等の調整処理を意味
している。

【０００４】しかし、このモデルマッチングの成否は正
規化処理の成否に大きく依存するため、この手法は、入
力文書の画像のかすれやノイズなどに対してロバストで
あるとは言えなかった。

【０００５】そこで、入力文書とモデルの間で罫線の位
置および長さを比較する際に、基準となる位置および長
さを適応的に変化させる手法が、本出願人により開発さ
れた。この手法は、先願の「画像から管理情報を抽出す
る管理情報抽出装置および方法」（特願平０８−３５１
３４６）において、マッチングテーブルを用いたフォー
ム識別処理として記述されている。

【０００６】

【発明が解決しようとする課題】しかしながら、開発さ
れたモデルマッチング手法では、入力文書における罫線
間の相対的な関係を、モデルにおける罫線間の相対的な
関係と比較するために、ある程度の処理時間を要する。
この処理時間は、比較対象のモデルの個数に一次的に比
例するため、モデルの数が増大するにつれて処理時間も
増大するという問題が発生する。そこで、この手法を与
えられたすべてのモデルに適用せずに、適用対象のモデ
ル数を削減することが望まれる。

【０００７】本発明の課題は、表形式文書のフォーマッ
ト識別において、詳細なモデルマッチングの適用対象と
なるモデルを削減し、処理を高速化するフォーマット識
別装置およびその方法を提供することである。

【０００８】

【課題を解決するための手段】図１は、本発明の第１お
よび第２の原理によるフォーマット識別装置の構成図で
ある。

【０００９】本発明の第１の原理のフォーマット識別装
置は、格納手段１、比較手段２、および分類手段３を備
え、複数の表のフォーマットを探索して、与えられた表
画像に対応するフォーマットを求める。

【００１０】格納手段１は、上記複数の表のフォーマッ
トの特徴に関する情報を格納する。比較手段２は、入力
画像から抽出された１つ以上の特徴と上記複数のフォー
マットの１つに含まれる１つ以上の特徴とを比較して、
対応の可能性のある特徴同士の組み合わせを求める。分
類手段３は、上記複数のフォーマットの１つと入力画像
の少なくとも一方の特徴のうち、上記組み合わせに対応
する特徴の個数を求め、その個数に基づいて上記複数の
フォーマットから探索対象を絞り込む。

【００１１】入力画像およびフォーマットの特徴とは、
入力画像およびフォーマットの表構造を記述する任意の
情報を表し、例えば、罫線、罫線同士の交点、または罫
線で囲まれた矩形セルを指す。

【００１２】比較手段２は、このような特徴に関する大
きさや位置等の特徴量を、入力画像とフォーマットとの
間で比較し、特徴量が類似している特徴同士を対応可能
と判断する。特徴として罫線を用いた場合、例えば、大
きさや位置が類似している罫線同士の組み合わせが、対
応可能な組み合わせとして求められる。

【００１３】分類手段３は、入力画像の特徴と格納手段
１内のフォーマットの特徴の少なくとも一方において、
比較相手のいずれかの特徴と対応可能であると判断され
たものの個数を数える。そして、例えば、その個数が特
徴の総数に対して一定以上の割合になるようなフォーマ
ットを、探索対象として抽出する。

【００１４】フォーマット識別装置は、こうして抽出さ
れたフォーマット群のみを対象として、さらに詳細なモ
デルマッチングを行い、入力画像に対応するフォーマッ
トを特定する。対応可能と判断された特徴の数を数える
処理にはあまり時間がかからないので、詳細なモデルマ
ッチングの対象となるモデルの数が効率よく削減され、
処理が高速化される。

【００１５】次に、本発明の第２の原理のフォーマット
識別装置は、比較手段２と計算手段４を備え、２つの表
画像をマッチングするために、それらの２つの表画像か
ら抽出されたフォーマットの特徴を比較する。

【００１６】比較手段２は、上記２つの表画像の一方に
含まれる１つ以上の特徴ともう一方に含まれる１つ以上
の特徴とを比較して、対応の可能性のある特徴同士の組
み合わせを求める。計算手段４は、上記２つの表画像の
少なくとも一方の特徴のうち、上記組み合わせに対応す
る特徴の個数を求め、その個数に基づいて上記２つの表
画像の類似度を算出する。

【００１７】比較手段２は、与えられた２つの表画像か
ら抽出された罫線等の特徴を比較して、対応の可能性を
判断し、対応可能な特徴同士の組み合わせを求める。計
算手段４は、それらの表画像の少なくとも一方におい
て、比較相手のいずれかの特徴と対応可能であると判断
されたものの個数を数える。そして、例えば、その個数
が特徴の総数に対して占める割合を計算し、その結果を
２つの表画像の類似度とする。

【００１８】フォーマット識別装置は、例えば、得られ
た類似度が一定値以上のとき、それらの表画像のフォー
マットが一致するものとみなす。対応可能と判断された
特徴の数を数える処理にはあまり時間がかからないの
で、比較的簡単に類似度を求めることができ、マッチン
グ処理が効率よく行われる。

【００１９】例えば、図１の格納手段１は、後述する図
２のメモリ１２または外部記憶装置１５に対応し、比較
手段２、分類手段３、および計算手段４は、ＣＰＵ（中
央処理装置）１１およびメモリ１２に対応する。

【００２０】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。上述した先願のモデ
ルマッチング処理の場合においても、横罫線と縦罫線の
交点の数などに基づいてあらかじめ辞書内のモデルの大
分類を行い、詳細識別処理を適用すべきモデルの候補を
ある程度の割合で限定している。

【００２１】本実施形態では、先願で詳細識別処理の一
種として記述されていたモデルマッチングに、新たな大
分類処理を挿入して、モデルの数をさらに削減する。そ
こで、まず先願の詳細識別処理と同様に、表全体に対す
る罫線の相対的な大きさと位置を特徴量として、入力文
書の画像に含まれる罫線とモデルの罫線との対応可能性
を調べ、対応可能な罫線同士の組み合わせを求める。

【００２２】ここでは、対応可能性の条件を広げてとる
ことで、一本の罫線に対して複数の罫線が対応可能とな
る。したがって、表全体に関する特徴量の抽出に失敗し
たとしても、その失敗がある範囲内であれば、正しい対
応関係を見落とすことはない。

【００２３】次に、入力画像およびモデルの各罫線につ
いて、対応可能な組み合わせが生成されたものの個数を
調べ、罫線の総数に対する得られた個数の割合を算出す
る。そして、あるしきい値以上の割合を持つモデルを大
分類候補として認定する。このしきい値を適当に設定す
ることで、大分類候補を絞り込むことが可能になる。

【００２４】本実施形態のフォーマット識別装置は、例
えば図２に示すような情報処理装置（コンピュータ）に
より実現される。図２の情報処理装置は、ＣＰＵ１１、
メモリ１２、入力装置１３、出力装置１４、外部記憶装
置１５、媒体駆動装置１６、ネットワーク接続装置１
７、および光電変換装置１８を備え、それらの各装置は
バス１９により互いに結合されている。

【００２５】ＣＰＵ１１は、メモリ１２を利用しながら
プログラムを実行して、フォーマット識別処理を行う。
メモリ１２としては、例えばＲＯＭ（read only memor
y）、ＲＡＭ（random access memory）等が用いられ
る。

【００２６】入力装置１３は、例えばキーボード、ポイ
ンティング・デバイス等に相当し、ユーザからの要求や
指示の入力に用いられる。また、出力装置１４は、表示
装置（ディスプレイ）やプリンタ等に相当し、ユーザへ
の問い合せや処理結果等の出力に用いられる。

【００２７】外部記憶装置１５は、例えば、磁気ディス
ク装置、光ディスク装置、光磁気ディスク装置等であ
り、プログラムやデータを保存することができる。ま
た、画像やモデル辞書を保存するデータベースとしても
使用される。

【００２８】媒体駆動装置１６は、可搬記憶媒体２０を
駆動し、その記憶内容にアクセスする。可搬記憶媒体２
０としては、メモリカード、フロッピーディスク、ＣＤ
−ＲＯＭ（compact disk read only memory ）、光ディ
スク、光磁気ディスク等、任意の計算機読み出し可能記
憶媒体を使用することができる。この可搬記憶媒体２０
には、データのほかに、上述のフォーマット識別処理を
行うプログラムが格納される。

【００２９】ネットワーク接続装置１７は、ＬＡＮ（lo
cal area network）等の任意の通信ネットワークに接続
され、通信に伴うデータ変換等を行う。フォーマット識
別装置は、ネットワーク接続装置１７を介して、外部の
データベース等から必要なデータやプログラムを受け取
ることができる。また、光電変換装置１８は、例えばイ
メージ・スキャナであり、処理対象となる文書や図面等
の画像を入力する。

【００３０】図３は、本実施形態のフォーマット識別処
理のフローチャートである。処理が開始されると、フォ
ーマット識別装置は、まず、画像を入力し（ステップＳ
１）、入力された画像から罫線を抽出する（ステップＳ
２）。

【００３１】そして、その罫線を囲む矩形（罫線矩形）
の左上頂点の座標に関し、横罫線はｙ座標の小さい順
に、縦罫線はｘ座標の小さい順に、各罫線を並べ直す
（ステップＳ３）。ここでは、座標のｘ軸を横方向にと
り、ｙ軸を縦方向にとっている。横罫線のｙ座標が同じ
場合は、そのｘ座標の小さい順にソートし、縦罫線のｘ
座標が同じ場合は、そのｙ座標の小さい順にソートす
る。

【００３２】次に、縦横各罫線について概略情報を抽出
する（ステップＳ４）。概略情報とは、表全体に対する
罫線の長さおよび位置の相対的な値であり、３つの整数
の組で表される。また、縦横各方向における２本の罫線
のすべての組み合わせを考え、各組み合わせに関する詳
細情報を抽出する（ステップＳ５）。詳細情報は、２本
の罫線間の長さおよび位置の相対的な関係を表す。

【００３３】入力画像と照合されるモデルの表画像の概
略情報および詳細情報は、あらかじめ抽出されて辞書２
１に格納されている。そこで、次に、入力画像の概略情
報および詳細情報と、モデルの概略情報および詳細情報
とを照合し、モデルマッチングを行う（ステップＳ
６）。ここで、概略情報は大分類モデルマッチングに用
いられ、詳細情報は詳細分類モデルマッチングに用いら
れる。そして、最適なモデルを識別結果として出力し
（ステップＳ７）、処理を終了する。

【００３４】次に、図４から図１０までを参照しなが
ら、ステップＳ４、Ｓ５、およびＳ６の処理について詳
細に説明する。以下では、概略情報のことを大域情報と
呼ぶことにする。

【００３５】ステップＳ４においては、大域情報を求め
るための前処理として、表の基準幅Ｗ、基準高Ｈ、基準
ｘ座標ｘ０、および基準ｙ座標ｙ０を求める。まず、横
罫線に関してそれらの最大長を求め、その長さに比べて
あるしきい値以上の割合（例えば０．８）の長さを持つ
横罫線のうち、順位が最初のものと最後のものとを求
め、それらを外郭基準横罫線とする。

【００３６】縦罫線に関しても最大長を求め、横罫線の
場合と同様にして、２本の外郭基準縦罫線を得る。そこ
で、得られた４本の外郭基準罫線の外接矩形を考え、そ
の幅を基準幅Ｗ、その高さを基準高Ｈ、その左上頂点を
基準点とし、その座標を基準座標（ｘ０，ｙ０）とす
る。

【００３７】例えば、図４のような表形式文書において
は、横罫線３１、３２が外郭基準横罫線として抽出さ
れ、縦罫線３３、３４が外郭基準縦罫線として抽出さ
れ、これらの外郭基準罫線の外接矩形の幅が基準幅Ｗと
なり、その高さが基準高Ｈとなる。また、その外接矩形
の左上頂点３５の座標が基準座標（ｘ０，ｙ０）とな
る。

【００３８】ここで、最大長から算出される一定長さ以
上の罫線の中から外郭基準罫線を選ぶことで、例えば、
横罫線３６、３７のような短い罫線が外郭基準罫線の候
補から除外される。４本の外郭基準罫線の外接矩形の左
上頂点を基準点とする代わりに、左下頂点、右上頂点、
右下頂点等、外接矩形の周辺上の任意の点を基準点とす
ることもできる。その場合でも、以下の処理は基本的に
同様である。

【００３９】次に、得られた表の大きさと基準座標をも
とにして、各罫線矩形の長さと中心位置の情報から、３
つの特徴量（大域情報）ｌｅｎｇｔｈ１、ｔｗｉｓｔ、
ｐｏｓｉｔｉｏｎを求める。横罫線の場合、図５に示す
ように、罫線矩形４１の長さｌ１と中心座標（ｘ１，ｙ
１）から、次式によりこれらの特徴量を算出する。ｌｅｎｇｔｈ１＝［（ｌ１／Ｗ）×１００］の整数部分ｔｗｉｓｔ＝［（（ｘ１−ｘ０）／Ｗ）×１００］の整数部分（１）ｐｏｓｉｔｉｏｎ＝［（（ｙ１−ｙ０）／Ｈ）×１００］の整数部分また、縦罫線の場合、図６に示すように、罫線矩形４２
の長さｌ１と中心座標（ｘ１，ｙ１）から、次式により
これらの特徴量を算出する。ｌｅｎｇｔｈ１＝［（ｌ１／Ｈ）×１００］の整数部分ｔｗｉｓｔ＝［（（ｙ１−ｙ０）／Ｈ）×１００］の整数部分（２）ｐｏｓｉｔｉｏｎ＝［（（ｘ１−ｘ０）／Ｗ）×１００］の整数部分得られた特徴量のうち、ｌｅｎｇｔｈ１は表のサイズに
対する罫線の長さの相対的な割合を表し、ｔｗｉｓｔと
ｐｏｓｉｔｉｏｎは、表の基準点に対する罫線の相対的
な位置を表している。

【００４０】次に、ステップＳ５においては、２本の罫
線の相対的な関係を表す詳細情報を求める。ここでは、
一方の罫線矩形の長さを１としたときの、もう一方の罫
線矩形の長さｌｅｎｇｔｈ２、それぞれの罫線矩形の中
心間のｘ方向のずれの長さｄｉｆｆｅｒ、および中心間
のｙ方向のずれの長さｈｅｉｇｈｔの３つの値を、詳細
情報として求めることにする。

【００４１】まず、２本の横罫線のすべての組み合わせ
を抽出する。そして、各組み合わせにおいて、図７に示
すように、一方の罫線矩形（ソート順位の早い方）４３
の長さをｌ１、その中心座標を（ｘ１，ｙ１）、もう一
方の罫線矩形（ソート順位の遅い方）４４の長さをｌ
２、その中心座標を（ｘ２，ｙ２）とする。このとき、
罫線矩形４３の中心を基準として、これらの罫線矩形の
中心間のｘ方向のずれｄｗとｙ方向のずれをｄｈを次式
により定義する。ｄｗ＝ｘ２−ｘ１ｄｈ＝ｙ２−ｙ１（３）この定義によれば、罫線矩形４４の中心が罫線矩形４３
の中心より右にあれば、ｄｗは正となり、罫線矩形４４
の中心が罫線矩形４３の中心より左にあれば、ｄｗは負
となる。同様に、罫線矩形４４の中心が罫線矩形４３の
中心より下にあれば、ｄｈは正となり、罫線矩形４４の
中心が罫線矩形４３の中心より上にあれば、ｄｈは負と
なる。

【００４２】次に、上述の３つの特徴量ｌｅｎｇｔｈ
２、ｄｉｆｆｅｒ、ｈｅｉｇｈｔを、次式により算出す
る。ｌｅｎｇｔｈ２＝１２／ｌ１ｄｉｆｆｅｒ＝ｄｗ／ｌ１（４）ｈｅｉｇｈｔ＝ｄｈ／ｌ１また、縦罫線についても同様に、２本の罫線のすべての
組み合わせを抽出する。そして、各組み合わせにおい
て、図８に示すように、ソート順位の早い方の罫線矩形
４５の長さをｌ１、その中心座標を（ｘ１，ｙ１）、ソ
ート順位の遅い方の罫線矩形４６の長さをｌ２、その中
心座標を（ｘ２，ｙ２）とする。そして、（３）式によ
りｄｗとｄｈを求め、次式により、詳細情報ｌｅｎｇｔ
ｈ２、ｄｉｆｆｅｒ、ｈｅｉｇｈｔを算出する。ｌｅｎｇｔｈ２＝１２／ｌ１ｄｉｆｆｅｒ＝ｄｈ／ｌ１（５）ｈｅｉｇｈｔ＝ｄｗ／ｌ１（５）式においては、ｄｉｆｆｅｒとｈｅｉｇｈｔの定
義が、（４）式と逆になっている。

【００４３】次に、ステップＳ６において、横罫線同士
と縦罫線同士の２回に分けて、入力画像の大域情報およ
び詳細情報を、各モデルの大域情報および詳細情報と照
合し、フォーマットの類似度を計算する。本発明の大分
類処理は、このステップＳ６のモデルマッチングに含ま
れており、これをより詳細に示したフローチャートが図
９である。以下、モデルマッチングを図９のフローチャ
ートに従って説明する。

【００４４】フォーマット識別装置は、まず、大分類候
補の数を決定する（ステップＳ１１）。辞書２１内のモ
デルの数をｎとするとき、大分類候補の数ｃａｎｄは、
次式により決められる。ｃａｎｄ＝ｍａｘ｛ｎ／１０，ｉｎｆ｝（６）ここで、ｉｎｆは、あらかじめユーザから与えられた候
補数の最低限度を表し、例えばｉｎｆ＝５０とする。
（６）式の右辺は、ｎ／１０とｉｎｆの最大値を表す。

【００４５】次に、大分類モデルマッチングを行い、入
力画像の大域情報を各モデルの大域情報と照合する（ス
テップＳ１２）。この大分類モデルマッチングは、各モ
デルについて、横罫線および縦罫線の２回に分けて行わ
れる。大分類モデルマッチングにおいては、まず、未知
文書の入力画像の横罫線の数をｐ本、モデルの横罫線の
数をｍ本として、図１０に示すようなｐ×ｍの表が作成
される。

【００４６】ここでは、ｐ＝１２、ｍ＝１５であり、表
の行番号および列番号は、ともに０から始まっている。
この表のｉ行ｊ列の要素（項目）は、入力画像のｉ番目
の罫線とモデルのｊ番目の罫線の対応関係を表すデータ
である。以下では、このような表をマッチングテーブル
と呼ぶことにする。

【００４７】次に、大域情報に基づいて、入力画像のｉ
番目の横罫線ＩＰ（ｉ）が、モデルのｊ番目の横罫線Ｍ
Ｏ（ｊ）に対応するかどうかの可能性を判断し、対応す
る可能性があれば、マッチングテーブルのｉ行ｊ列の要
素にノードを配置する。これにより、横罫線ＩＰ（ｉ）
と横罫線ＭＯ（ｊ）の組み合わせが、罫線対応候補とし
てマッチングテーブル上に記述される。このときの対応
可能性の条件は十分緩くとっておき、一つの罫線に対し
て、複数の罫線が重複して対応することを許すものとす
る。

【００４８】ここでは、罫線ＩＰ（ｉ）の大域情報（ｌ
ｅｎｇｔｈ１，ｔｗｉｓｔ，ｐｏｓｉｔｉｏｎ）をそれ
ぞれ（ｉｐｌ，ｉｐｔ，ｉｐｐ）とおき、罫線ＭＯ
（ｊ）の大域情報をそれぞれ（ｍｏｌ，ｍｏｔ，ｍｏ
ｐ）とおいて、各値の差が一定値より小さいとき、罫線
ＩＰ（ｉ）と罫線ＭＯ（ｊ）が対応する可能性があると
みなす。

【００４９】可能性を表す具体的な条件は、表内の横罫
線および縦罫線の数に依存したパラメータα、β、γを
しきい値として、次式により与えられる。｜ｉｐｌ−ｍｏｌ｜＜α ｜ｉｐｔ−ｍｏｔ｜＜β （７）｜ｉｐｐ−ｍｏｐ｜＜γ これらの罫線の数に依存したパラメータα、β、γは正
の整数で、罫線数が少ないほど大きな値をとり、逆に罫
線数が多いほど小さな値をとるように定められる。この
とき、（７）式の条件は、表内の罫線の密度が疎であれ
ばマッチングの探索範囲を広げ、密度が密であれば探索
範囲を狭めるという効果を持つ。縦罫線のマッチングテ
ーブルも同様にして作成される。

【００５０】次に、ノードの配置されたマッチングテー
ブルにおいて、横方向および縦方向に関してノードの射
影をとり、大域類似度を算出する。ここでは、入力画像
およびモデルの横罫線について、ノードが存在する行お
よび列に対応する罫線の個数を調べ、それらの個数をそ
れぞれｉｐｈｉｔ、ｍｏｈｉｔとする。そして、横罫線
の総数に対する各個数の割合を算出し、次式に示すよう
に、それらの和を横罫線の大域類似度とする。横罫線の大域類似度＝ｉｐｈｉｔ／ｐ＋ｍｏｈｉｔ／ｍ（８）例えば、図１０のマッチングテーブルにおいては、記号
●で表された１つ以上のノードが存在する行および列
が、記号★により示されている。これらの記号★の数を
数えてみると、ｉｐｈｉｔ＝８、ｍｏｈｉｔ＝１０であ
ることが分かる。そこで、（８）式の大域類似度は、８
／１２＋１０／１５＝１．３３となる。縦罫線の大域類
似度も同様にして算出され、１つのモデルの大域類似度
は、横罫線の大域類似度と縦罫線の大域類似度の和で与
えられる。

【００５１】次に、大域類似度があるしきい値以上のモ
デル、あるいは大域類似度が上位ｃａｎｄ位までのモデ
ルを、大分類候補とする（ステップＳ１３）。あるいは
また、大域類似度がしきい値以上のモデルのうち上位ｃ
ａｎｄ位までのものを大分類候補としてもよい。

【００５２】次に、大分類候補のモデルに対して先願に
記述された処理を適用して、詳細分類モデルマッチング
を行い、詳細類似度を算出する（ステップＳ１４）。そ
して、得られた詳細類似度に基づいて入力画像に対応す
る表のフォーマットを決定し（ステップＳ１５）、処理
を終了する。

【００５３】本実施形態においては、ステップＳ１３で
用いられるしきい値およびｃａｎｄの値を適当に調整す
ることで、大分類候補の数を効果的に削減することがで
き、詳細分類モデルマッチングを高速化することができ
る。

【００５４】また、ステップＳ１２において（７）式の
各しきい値を大きめに設定すれば、罫線同士の対応可能
性の条件が緩くなる。したがって、かすれやノイズなど
の影響で罫線抽出がうまくいかない部分があっても、入
力文書に類似したモデルをもれなく大分類候補に含める
ことができる。このため、詳細分類モデルマッチングの
対象を、辞書２１内のすべてのモデルのうち、入力文書
と同じ罫線構造のモデルを含んだ大分類候補群に限定す
ることができる。

【００５５】次に、図１１から図１５までを参照しなが
ら、図９のステップＳ１２における大分類モデルマッチ
ングの処理を詳細に説明する。図１１、１２、１３、１
４は、１つのマッチングテーブルに対して行われる大分
類モデルマッチングの一例を示すフローチャートであ
る。

【００５６】このうち、図１１、１２は、マッチングテ
ーブルに図１５に示すようなウィンドウ５１を設定する
処理を表す。このウィンドウ５１は、マッチングテーブ
ルのｊ番目の列内で、ノードが配置される可能性のある
領域を表し、その最上端の行番号はｓｔ［ｊ］と記述さ
れ、その最下端の行番号はｅｄ［ｊ］と記述される。ま
た、図１３、１４は、配置されるノードの数を数える処
理を表す。

【００５７】処理が開始されると、フォーマット識別装
置は、まず、マッチングテーブルの列を表す制御変数ｊ
を０とおき（ステップＳ２１）、モデルのｊ番目の罫線
をｍｏとする（ステップＳ２２）。次に、大域情報ｐｏ
ｓｉｔｉｏｎがモデルのｊ番目の罫線と類似しているよ
うな未知文書の罫線の数を表す変数ｋを０とおく（ステ
ップＳ２３）。

【００５８】次に、マッチングテーブルの行を表す制御
変数ｉを０とおいて（ステップＳ２４）、入力文書のｉ
番目の罫線をｉｐとする（ステップＳ２５）。そして、
大域情報ｉｐｐとｍｏｐの差の絶対値｜ｉｐｐ−ｍｏｐ
｜を、しきい値γと比較する（ステップＳ２６）。

【００５９】｜ｉｐｐ−ｍｏｐ｜がγより小さければ、
次に、図１２の処理を行ってウィンドウ５１を設定す
る。ここでは、まず、ｋを０と比較し（ステップＳ３
５）、ｋが０であれば、ｓｔ［ｊ］＝ｉとおいて、ｋに
１を加算する（ステップＳ３７）。ｋが０でなければ、
ｓｔ［ｊ］はすでに設定されているので、そのままステ
ップＳ３７の処理を行う。

【００６０】次に、未知文書の罫線数をｉｐｓｕｕとし
て、ｉをｉｐｓｕｕ−１と比較する（ステップＳ３
８）。このｉｐｓｕｕは、マッチングテーブルの行数に
対応しており、ｉｐｓｕｕ−１は、マッチングテーブル
の最終行の番号を表す。

【００６１】ｉがｉｐｓｕｕ−１に達していれば、ｅｄ
［ｊ］＝ｉとおいて（ステップＳ３９）、ｊに１を加算
し（図１１、ステップＳ３３）、ｊをモデルの罫線数ｍ
ｏｓｕｕと比較する（ステップＳ３４）。そして、ｊが
ｍｏｓｕｕより小さければ、ステップＳ２２以降の処理
を繰り返す。

【００６２】図１２のステップＳ３８において、ｉがｉ
ｐｓｕｕ−１より小さければ、ｉに１を加算して（図１
１、ステップＳ２８）、ｉをｉｐｓｕｕと比較する（ス
テップＳ２９）。そして、ｉがｉｐｓｕｕより小さけれ
ば、ステップＳ２５以降の処理を繰り返し、ｉがｉｐｓ
ｕｕに達すると、再びｋを０と比較する（ステップＳ３
０）。

【００６３】ｋが０のままであれば、大域情報ｐｏｓｉ
ｔｉｏｎがモデルのｊ番目の罫線と類似している未知文
書の罫線が存在しなかったことになる。そこで、ｓｔ
［ｊ］＝ｅｄ［ｊ］＝−１とおき（ステップＳ３１）、
ステップＳ３３以降の処理を行う。ｓｔ［ｊ］、ｅｄ
［ｊ］が−１のとき、ウィンドウ５１は設定されない。

【００６４】また、ステップＳ２６において、｜ｉｐｐ
−ｍｏｐ｜がγ以上であれば、次に、ｋを０と比較する
（ステップＳ２７）。そして、ｋが０であれば、まだｓ
ｔ［ｊ］が設定されていないので、ステップＳ２８以降
の処理を行う。ｋが０より大きければ、すでにｓｔ
［ｊ］はいずれかの行に設定されているので、次に、ｅ
ｄ［ｊ］＝ｉ−１とおいて、ステップＳ３３以降の処理
を行う。

【００６５】さらに、ステップＳ３０において、ｋが０
より大きければ、すでにｓｔ［ｊ］、ｅｄ［ｊ］は設定
されているので、ステップＳ３３以降の処理を行う。ス
テップＳ３４において、ｊがｍｏｓｕｕに達すれば、マ
ッチングテーブルのすべての列について可能なウィンド
ウ５１が設定されたことになるので、次に、ノードの配
置処理を行う。

【００６６】ここでは、まず、ノードが配置される行の
数を表す変数ｉｐｈｉｔとノードが配置される列の数を
表す変数ｍｏｈｉｔを０とおき（図１３、ステップＳ４
０）、ｉ番目の行のノード数を表すｉｐｌｉｎｅ［ｉ］
とｊ番目の列のノード数を表すｍｏｌｉｎｅ［ｊ］を０
とおく（ステップＳ４１）。ただし、ｉ＝０，
１，．．．，ｉｐｓｕｕ−１、ｊ＝０，１，．．．，ｍ
ｏｓｕｕ−１とする。

【００６７】次に、マッチングテーブルの列を表す制御
変数ｊを０とおき（ステップＳ４２）、モデルのｊ番目
の罫線をｍｏとする（ステップＳ４３）。また、マッチ
ングテーブルの行を表す制御変数ｋをｓｔ［ｊ］とおき
（ステップＳ４４）、その値を調べる（ステップＳ４
５）。

【００６８】ｋが０以上であれば、ｊ番目の列にはウィ
ンドウ５１が設定されているので、入力文書のｋ番目の
罫線をｉｐとして（ステップＳ４６）、大域情報ｉｐｌ
とｍｏｌの差の絶対値｜ｉｐｌ−ｍｏｌ｜をしきい値α
と比較し、大域情報ｉｐｔとｍｏｔの差の絶対値｜ｉｐ
ｔ−ｍｏｔ｜をしきい値βと比較する（ステップＳ４
７）。

【００６９】｜ｉｐｌ−ｍｏｌ｜がαより小さく、か
つ、｜ｉｐｔ−ｍｏｔ｜がβより小さければ、設定され
たウィンドウ５１内の第ｋ行の位置がノード配置の条件
を満たすことになる。そこで、次に、ｉｐｌｉｎｅ
［ｋ］と０を比較し（図１４、ステップＳ５３）、ｉｐ
ｌｉｎｅ［ｋ］＝０であれば、第ｋ行にノードが存在す
ることを示すために、ｉｐｈｉｔに１を加算する（ステ
ップＳ５４）。

【００７０】次に、ｍｏｌｉｎｅ［ｊ］と０を比較し
（ステップＳ５５）、ｍｏｌｉｎｅ［ｊ］＝０であれ
ば、第ｊ列にノードが存在することを示すために、ｍｏ
ｈｉｔに１を加算する（ステップＳ５６）。そして、ｉ
ｐｌｉｎｅ［ｋ］およびｍｏｌｉｎｅ［ｊ］にそれぞれ
１を加算し（ステップＳ５７、Ｓ５８）、次の行を調べ
るためにｋに１を加算して（図１３、ステップＳ４
８）、ｋをｅｄ［ｊ］と比較する（ステップＳ４９）。

【００７１】ステップＳ５３において、ｉｐｌｉｎｅ
［ｋ］＞０であれば、第ｋ行をすでにカウントしている
ので、ノードステップＳ５５以降の処理を行う。同様
に、ステップＳ５５において、ｍｏｌｉｎｅ［ｊ］＞０
であれば、第ｊ列をすでにカウントしているので、ステ
ップＳ５７以降の処理を行う。

【００７２】ステップＳ４９において、ｋがｅｄ［ｊ］
以下であれば、ステップＳ４６以降の処理を繰り返す。
そして、ｋがｅｄ［ｊ］を越えると、次の列を調べるた
めに、ｊに１を加算して（ステップＳ５０）、ｊをｍｏ
ｓｕｕと比較する（ステップＳ５１）。

【００７３】ｊがｍｏｓｕｕより小さければ、ステップ
Ｓ４３以降の処理を繰り返し、ｊがｍｏｓｕｕに達する
と、ｉｐｈｉｔ、ｍｏｈｉｔ、ｉｐｌｉｎｅ［ｋ］、お
よびｍｏｌｉｎｅ［ｊ］のインクリメントを終了する。
この時点で、ｉｐｈｉｔには、（７）式の条件を満たす
要素が１つ以上存在する行の総数が記録され、ｍｏｈｉ
ｔには、その条件を満たす要素が１つ以上存在する列の
総数が記録されている。

【００７４】そこで、（８）式と同様の次式により、入
力文書とモデルの大域類似度を算出して（ステップＳ５
２）、処理を終了する。大域類似度＝ｉｐｈｉｔ／ｉｐｓｕｕ＋ｍｏｈｉｔ／ｍｏｓｕｕ（９）（９）式の大域類似度を横罫線と縦罫線のそれぞれのマ
ッチングテーブルについて求め、それらの和をとること
で、最終的な大域類似度が得られる。

【００７５】次に、図１６は、図９のステップＳ１３に
おける大分類候補決定処理の一例を示すフローチャート
である。この処理は、上述の大域類似度を用いて行われ
る。処理が開始されると、フォーマット識別装置は、ま
ず、すべてのモデルの集合をＳmoとおき（ステップＳ６
１）、Ｓmoの要素を指す制御変数ｉを１とおいて（ステ
ップＳ６２）、ｉ番目のモデルの大域類似度をしきい値
ＴＨと比較する（ステップＳ６３）。

【００７６】大域類似度がＴＨより小さければ、ｉ番目
のモデルをＳmoから除き（ステップＳ６４）、ｉに１を
加算して（ステップＳ６５）、ｉをモデルの総数ｎと比
較する（ステップＳ６６）。そして、ｉがｎ以下であれ
ば、ステップＳ６３以降の処理を繰り返す。また、ステ
ップＳ６３において、大域類似度がＴＨ以上であれば、
そのままステップＳ６５以降の処理を行う。

【００７７】ステップＳ６６において、ｉがｎを越える
と、次に、Ｓmoの要素数を、図９のステップＳ１１で決
められた大分類候補の数ｃａｎｄと比較する（ステップ
Ｓ６７）。

【００７８】Ｓmoの要素数がｃａｎｄより大きければ、
Ｓmoの要素を大域類似度の順に整列し直し（ステップＳ
６８）、上位ｃａｎｄ個の要素のみをＳmoとして（ステ
ップＳ６９）、処理を終了する。また、Ｓmoの要素数が
ｃａｎｄ以下であれば、そのまま処理を終了する。

【００７９】こうして、大分類候補の集合Ｓmoが得られ
ると、Ｓmoに含まれる各モデルに対して、図９のステッ
プＳ１４における詳細分類モデルマッチングが行われ
る。図１７は、この詳細分類モデルマッチングのフロー
チャートである。処理が開始されると、フォーマット識
別装置は、まず、大分類モデルマッチングの場合と同様
にして、図１０に示したようなマッチングテーブルを作
成する（ステップＳ７１）。

【００８０】次に、大域情報に基づいて、入力画像のｉ
番目の罫線ＩＰ（ｉ）が、モデルのｊ番目の罫線ＭＯ
（ｊ）に対応するかどうかの可能性を判断し、対応する
可能性があれば、マッチングテーブルのｉ行ｊ列の要素
にノードを配置する（ステップＳ７２）。

【００８１】次に、詳細情報に基づいて、配置されたノ
ードの中で、互いに特定の関係を満たすもの同士、すな
わち両立するもの同士の組み合わせを探索する（ステッ
プＳ７３）。そして、それらのノードを同じグループに
属するノードとみなして、パスで結ぶ。図１０のマッチ
ングテーブルの場合は、例えば、図１８に示すようなパ
スが生成される。

【００８２】ここで、ｉ行ｊ列のノードｎ（ｉ，ｊ）と
ｋ行ｌ列のノードｎ（ｋ，ｌ）が特定の関係を満たすと
は、入力画像のｉ番目の罫線とｋ番目の罫線の相対的関
係が、モデルのｊ番目の罫線とｌ番目の罫線の相対的関
係に比例していることを指す。言い換えれば、入力画像
のｉ番目の罫線とモデルのｊ番目の罫線をぴったり重ね
合わせたとき、入力画像のｋ番目の罫線とモデルのｌ番
目の罫線がぴったり重なり合う状況を指す。

【００８３】このようなノード同士を１本のパスで結ぶ
ことで、ノードがいくつかのグループに分類される。ノ
ードの数が多いグループほど、入力文書とモデルが類似
していることを強く表していると考えられるので、この
ようなグループを対象とすることで、モデルマッチング
における詳細類似度の計算を効率よく行うことができ
る。

【００８４】また、あるノードと両立するノードを探索
する際、処理の効率を高めるため、常に前者のノードの
右下の領域に位置するノードを探索対象とする。これに
より、ノード数の多いパスを高速に求めることが可能に
なる。

【００８５】次に、得られたパスの集合の中で、互いに
矛盾しないパスの組み合わせを求め、いくつかの組み合
わせのうち、含まれるノード数が最大のものを探索する
（ステップＳ７４）。そして、そのパスの組み合わせを
最適パス集合とする。２つのパスが互いに矛盾しないと
は、それぞれのパスの中のノードに対応する罫線の集合
の範囲が、互いに重なり合わないということである。

【００８６】次に、入力画像の罫線数をｐｈ、モデルの
罫線数をｍｈ、最適パス集合に含まれるノード数をｍａ
ｘｈとして、入力画像とモデルの罫線の詳細類似度ＳＨ
を次式により求め（ステップＳ７５）、処理を終了す
る。ＳＨ＝ｍａｘｈ／ｐｈ＋ｍａｘｈ／ｍｈ（１０）この類似度ＳＨは、入力画像の罫線のうち、最適パス集
合に対応するものの割合と、モデルの罫線のうち、最適
パス集合に対応するものの割合の和を表し、一般に、入
力画像とモデルの罫線の特徴が類似しているほど大きな
値をとる。（１０）式の詳細類似度を横罫線と縦罫線の
それぞれのマッチングテーブルについて求め、それらの
和をとることで、最終的な詳細類似度が得られる。

【００８７】フォーマット識別装置は、図９のステップ
Ｓ１５において、各モデルの詳細類似度を比較し、詳細
類似度が最も大きいモデルを、入力画像に対応する表の
フォーマットとする。

【００８８】以上説明した実施形態では、罫線の位置お
よび長さを特徴量として用いて、入力画像とモデルのマ
ッチングテーブルを作成しているが、モデルマッチング
においては、表の構造を表す他の任意の特徴量を用いる
ことができる。

【００８９】例えば、縦罫線と横罫線の交点の座標を
（ｘ，ｙ）としたとき、交点の位置を表す特徴量（ｄ
ｘ，ｄｙ）は、次式により定義される。ｄｘ＝（ｘ−ｘ０）×１００／Ｗｄｙ＝（ｙ−ｙ０）×１００／Ｈ（１１）そして、入力文書側の交点とモデル側の交点とのマッチ
ングテーブルが作成され、対応可能な交点同士の組み合
わせがノードで表現される。この場合、入力文書側の交
点をＩｐとし、モデル側の交点をＭｐとしたとき、Ｉｐ
とＭｐのユークリッド距離があらかじめ決められたしき
い値ｔｈ以下のとき、これらの交点は対応可能と判断さ
れる。

【００９０】あるいはまた、四方を罫線で囲まれた矩形
領域（矩形セル）の大きさと位置を特徴量として用い
て、入力文書側の矩形セルとモデル側の矩形セルとのマ
ッチングテーブルを作成してもよい。この場合は、大き
さと位置が類似している矩形セル同士が対応可能と判断
され、それらの組み合わせがノードで表現される。

【００９１】いずれの特徴量を用いた場合でも、マッチ
ングテーブル上に配置される１つ以上のノードを含む行
の数と、１つ以上のノードを含む列の数を数えれば、そ
れらの数に基づいて、（９）式のような大域類似度を算
出することができる。したがって、その大域類似度を用
いて、大分類候補を絞り込むことができる。

【００９２】

【発明の効果】本発明によれば、未知の表形式文書から
罫線構造を抽出し、あらかじめ辞書に登録されたモデル
のフォーマットとマッチングを行う際に、詳細なマッチ
ングを適用すべきモデル群を効果的に絞り込むことが可
能になる。その結果、辞書のモデル数が増大した場合で
も、安定した処理速度が実現される。

【図面の簡単な説明】

【図１】本発明のフォーマット識別装置の原理図であ
る。

【図２】情報処理装置の構成図である。

【図３】フォーマット識別処理のフローチャートであ
る。

【図４】基準幅、基準高、基準点を示す図である。

【図５】横罫線を示す図である。

【図６】縦罫線を示す図である。

【図７】横罫線の詳細情報を示す図である。

【図８】縦罫線の詳細情報を示す図である。

【図９】モデルマッチングのフローチャートである。

【図１０】マッチングテーブルを示す図である。

【図１１】大分類モデルマッチングのフローチャート
（その１）である。

【図１２】大分類モデルマッチングのフローチャート
（その２）である。

【図１３】大分類モデルマッチングのフローチャート
（その３）である。

【図１４】大分類モデルマッチングのフローチャート
（その４）である。

【図１５】マッチングテーブルのウィンドウを示す図で
ある。

【図１６】大分類候補決定処理のフローチャートであ
る。

【図１７】詳細分類モデルマッチングのフローチャート
である。

【図１８】マッチングテーブル上のパスを示す図であ
る。

【符号の説明】

１格納手段２比較手段３分類手段４計算手段１１ＣＰＵ１２メモリ１３入力装置１４出力装置１５外部記憶装置１６媒体駆動装置１７ネットワーク接続装置１８光電変換装置１９バス２０可搬記憶媒体２１辞書３１、３２、３３、３４、３６、３７罫線３５頂点４１、４２、４３、４４、４５、４６罫線矩形５１ウィンドウ

Claims

【特許請求の範囲】

【請求項１】複数の表のフォーマットを探索して、与
えられた表画像に対応するフォーマットを求めるフォー
マット識別装置であって、前記複数の表のフォーマットの特徴に関する情報を格納
する格納手段と、入力画像から抽出された１つ以上の特徴と前記複数のフ
ォーマットの１つに含まれる１つ以上の特徴とを比較し
て、対応の可能性のある特徴同士の組み合わせを求める
比較手段と、前記複数のフォーマットの１つと入力画像の少なくとも
一方の特徴のうち、前記組み合わせに対応する特徴の個
数を求め、該個数に基づいて前記複数のフォーマットか
ら探索対象を絞り込む分類手段とを備えることを特徴と
するフォーマット識別装置。
【請求項２】前記分類手段は、前記個数に基づいて、
前記複数のフォーマットの１つと入力画像の類似度を算
出し、該類似度に基づいて前記探索対象を絞り込むこと
を特徴とする請求項１記載のフォーマット識別装置。
【請求項３】前記分類手段は、前記類似度として、前
記入力画像の特徴のうち前記組み合わせに対応する特徴
の割合と、前記複数のフォーマットの１つの特徴のうち
該組み合わせに対応する特徴の割合との和を求めること
を特徴とする請求項２記載のフォーマット識別装置。
【請求項４】前記分類手段により絞り込まれたフォー
マット群に含まれる１つのフォーマットを対象にして、
前記組み合わせの情報に基づき、前記入力画像の特徴と
該１つのフォーマットの特徴との詳細なマッチングを行
う詳細マッチング手段をさらに備えることを特徴とする
請求項１記載のフォーマット識別装置。
【請求項５】前記入力画像およびフォーマットの特徴
は、該入力画像およびフォーマットに含まれる罫線、罫
線同士の交点、および罫線で囲まれた矩形セルのうちの
いずれかを表すことを特徴とする請求項１記載のフォー
マット識別装置。
【請求項６】前記比較手段は、前記入力画像およびフ
ォーマットに含まれる罫線を前記特徴として用い、各罫
線の長さおよび位置の情報に基づいて、罫線同士の対応
の可能性を判断することを特徴とする請求項１記載のフ
ォーマット識別装置。
【請求項７】２つの表画像をマッチングするために、
該２つの表画像から抽出されたフォーマットの特徴を比
較するフォーマット識別装置であって、前記２つの表画像の一方に含まれる１つ以上の特徴とも
う一方に含まれる１つ以上の特徴とを比較して、対応の
可能性のある特徴同士の組み合わせを求める比較手段
と、前記２つの表画像の少なくとも一方の特徴のうち、前記
組み合わせに対応する特徴の個数を求め、該個数に基づ
いて前記２つの表画像の類似度を算出する計算手段とを
備えることを特徴とするフォーマット識別装置。
【請求項８】複数の表のフォーマットを探索して、与
えられた表画像に対応するフォーマットを求める計算機
により使用されたとき、入力画像から抽出された１つ以上の特徴と前記複数のフ
ォーマットの１つに含まれる１つ以上の特徴とを比較し
て、対応の可能性のある特徴同士の組み合わせを求める
機能と、前記複数のフォーマットの１つと入力画像の少なくとも
一方の特徴のうち、前記組み合わせに対応する特徴の個
数を求める機能と、前記個数に基づいて前記複数のフォーマットから探索対
象を絞り込む機能とを前記計算機に行わせるための計算
機読み出し可能記憶媒体。
【請求項９】２つの表画像をマッチングするために、
該２つの表画像から抽出された表構造の特徴を比較する
計算機により使用されたとき、前記２つの表画像の一方に含まれる１つ以上の特徴とも
う一方に含まれる１つ以上の特徴とを比較して、対応の
可能性のある特徴同士の組み合わせを求める機能と、前記２つの表画像の少なくとも一方の特徴のうち、前記
組み合わせに対応する特徴の個数を求める機能と、前記個数に基づいて前記２つの表画像の類似度を算出す
る機能とを前記計算機に行わせるための計算機読み出し
可能記憶媒体。
【請求項１０】複数の表のフォーマットを探索して、
与えられた表画像に対応するフォーマットを求めるフォ
ーマット識別方法であって、入力画像から抽出された１つ以上の特徴と前記複数のフ
ォーマットの１つに含まれる１つ以上の特徴とを比較し
て、対応の可能性のある特徴同士の組み合わせを求め、前記複数のフォーマットの１つと入力画像の少なくとも
一方の特徴のうち、前記組み合わせに対応する特徴の個
数を求め、前記個数に基づいて前記複数のフォーマットから探索対
象を絞り込むことを特徴とするフォーマット識別方法。
【請求項１１】２つの表画像をマッチングするため
に、該２つの表画像から抽出された表構造の特徴を比較
するフォーマット識別方法であって、前記２つの表画像の一方に含まれる１つ以上の特徴とも
う一方に含まれる１つ以上の特徴とを比較して、対応の
可能性のある特徴同士の組み合わせを求め、前記２つの表画像の少なくとも一方の特徴のうち、前記
組み合わせに対応する特徴の個数を求め、前記個数に基づいて前記２つの表画像の類似度を算出す
ることを特徴とするフォーマット識別方法。