JPH10240958A

JPH10240958A - 画像から管理情報を抽出する管理情報抽出装置および方法

Info

Publication number: JPH10240958A
Application number: JP9346849A
Authority: JP
Inventors: Satoshi Naoi; 聡直井; Yutaka Katsuyama; 裕勝山; Hiroaki Takebe; 浩明武部
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1996-12-27
Filing date: 1997-12-16
Publication date: 1998-09-11

Abstract

(57)【要約】【課題】任意の入力画像から、その画像を管理するた
めの適切な管理情報を抽出することが課題である。【解決手段】管理情報抽出装置は、フォーム学習時
に、文書Ａの罫線構造とユーザが指定したタイトル位置
を学習し、レイアウト辞書３１に格納する。そして、運
用時に、未知文書３２の画像から罫線構造を抽出し、レ
イアウト辞書３１内の文書とのマッチングを行う。例え
ば、文書３２と文書Ａが一致した場合、文書Ａに指定さ
れたタイトル位置の情報を参照して、文書３２の文字列
領域３３からタイトルを抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書や図面をスキ
ャナ等の入力装置で画像データに変換し、その画像デー
タに管理情報を付加して蓄積するシステム、画像認識の
ために画像中の罫線構造を識別する装置、およびそれら
の処理を行う方法に関する。

【０００２】

【従来の技術】最近、従来より紙媒体で保存してきた情
報を電子化する動きが多く見られる。その中の１つに電
子ファイリングシステムがある。電子ファイリングシス
テムにおいては、紙文書がイメージスキャナ等の光電変
換装置で文書画像に変換され、それに検索のためのキー
ワード等の管理情報が付与されて、光ディスクやハード
ディスクに保存される。

【０００３】このような方法では、文書を画像データと
して保存するため、文書に記されているすべての文字を
文字認識技術でコード化してから保存する方法よりも、
ディスク容量は多く必要となる。その反面、手軽で処理
速度が速く、文字以外の絵や表などもそのまま保存でき
るメリットがある。しかし、保存された情報を検索する
ために、文書画像と共にキーワードや番号等の管理情報
を付与しなければならない。従来のシステムはこのキー
ワード付けの手間がかかり、使いづらいシステムであっ
た。

【０００４】この使いづらさを解決するために、文書中
にあるタイトル部分をキーワードとみなしてそれを自動
的に抽出し、その部分を文字認識してコード化した結果
を文書画像と共に保存する方法が考えられる。

【０００５】現在の文字認識の処理速度は速くても数十
文字／秒であり、Ａ４の文書１枚を処理するのには３０
秒から数分の処理時間がかかってしまう。したがって、
タイトル抽出を高速化するためには、文書全体を文字認
識するのではなく、まず画像上で必要なタイトル部分だ
けを抽出した後に、それを文字認識する方法が有力であ
る。

【０００６】一般文書を光電変換装置で読み込んで得ら
れる文書画像から、文書のタイトル等の部分領域を抽出
する先願の技術として、本出願人による「文書画像から
のタイトル抽出装置および方法」（特願平７−３４１９
８３）がある。このタイトル抽出装置の原理構成を図４
９に示す。

【０００７】図４９のタイトル抽出装置は、文字領域生
成部１、文字列領域生成部２、およびタイトル抽出部３
を備える。まず、文字領域生成部１は、スキャナ等で入
力した文書画像から、画素の連結成分のラベル付け（ラ
ベリング）により文字等の部分パターンを抽出する。そ
して、いくつかの部分パターンを統合することで、文字
領域を抽出（生成）する。次に、文字列領域生成部２
は、複数の文字領域を統合して、文字列領域を抽出（生
成）し、タイトル抽出部３は、タイトルらしい文字列領
域をタイトル領域として抽出する。

【０００８】このとき、タイトル抽出部３は、タイトル
領域である確からしさとして、文書の上部中央に位置し
ている、本文と比べて文字サイズが大きい、下線が引か
れている等の性質に着目する。そして、その確からしさ
を得点として各文字列領域に投票していき、最終的に得
点の高い文字列領域の順番で、複数のタイトル領域の候
補を算出する。表を含まない文書からは、以上の処理で
タイトル領域を抽出できる。

【０００９】これに対して、表を含む文書の場合、文字
列領域生成部２が表中の文字列領域を抽出した後、タイ
トル抽出部３は、文字数の条件も考慮してタイトル領域
を抽出する。例えば、「議題」、「名称」等、タイトル
の存在を示唆する項目名の文字数は少なく、タイトル自
身の文字列は「−−−について」というように文字数が
多い可能性が高い。このことを利用して、隣り合う文字
列の文字数の関係から、タイトルらしい文字列を見つけ
ることができる。

【００１０】

【発明が解決しようとする課題】しかしながら、伝票
等、罫線によってフォーマットが構造化された表形式文
書は、現在大量に流通しており、一般には種々の表形式
文書がある。このため、上述した先願の技術では、表内
のタイトル抽出の精度が低いという問題がある。

【００１１】例えば、タイトルが表内の中央部分や下端
付近に存在する場合は、上部から優先的に文字列を抽出
しただけでは、正しいタイトルが抽出結果に含まれない
可能性がある。また、図５０に示すように、承認欄１１
が表内の上部にあり、その中に「統括部長」、「部
長」、「課長」、「担当者」等の余分な文字列が多く存
在する場合も、これらの文字列が優先的に抽出され、正
しいタイトルが抽出されにくい。

【００１２】また、項目名１２と、それと対になったタ
イトル１３のように、タイトルが項目名の右ではなく下
にある場合もある。この場合は、隣り合う文字列同士の
文字数の情報だけでは、項目名とタイトルの位置関係を
把握することができない。さらに、項目名が横書きだけ
でなく、縦書きの場合もあり、項目名の場所を正確に特
定することは困難である。また、文書中に２つの表が含
まれていて、タイトルが小さい方の表中のどこかに存在
したりすることもある。

【００１３】このように、表形式文書では種々のフォー
マット（書式）があるため、タイトルとしての確からし
さが文書によってばらつき、表内のタイトル抽出の精度
が低くなってしまう。入力された文書の画像の状態が悪
ければ、抽出精度はさらに低くなる。

【００１４】また、電子ファイリングシステムでは、抽
出したタイトル領域を光学文字読み取り装置（optical
character reader：ＯＣＲ）で文字認識して文字コード
を生成し、それを管理情報として画像に付加しておく。
これにより、後に、データベース中の画像を文字コード
で検索することができる。

【００１５】この場合、タイトル領域の文字列がＯＣＲ
で読み取りやすい文字であれば問題ないが、新聞、雑誌
等によく見られるように、背景が模様（テクスチャ）に
なっていたり、文字がデザインフォントであったりする
場合には、現状のＯＣＲでは文字列を認識することがで
きない。したがって、このような場合に、管理情報を画
像に付加できないという問題がある。

【００１６】本発明の課題は、種々の表形式文書を含む
任意の画像から、その画像を管理するための適切な管理
情報を抽出する管理情報抽出装置、その管理情報を用い
て画像を蓄積する画像蓄積装置、およびそれらの方法を
提供することである。

【００１７】

【課題を解決するための手段】図１は、本発明の管理情
報抽出装置と画像蓄積装置を含む画像管理システムの原
理図である。図１のシステムは、本発明の第１、第２、
第３、および第４の原理を含み、ユーザ登録手段２１、
計算手段２２、辞書手段２３、照合手段２４、抽出手段
２５、格納手段２６、グループ生成手段２７、および検
索手段２８を備える。

【００１８】第１の原理において、計算手段２２は、任
意の入力画像に含まれる表領域の外郭部分に対する罫線
の相対的な位置情報に基づいて、その入力画像に含まれ
る管理情報の位置を算出する。そして、抽出手段２５
は、計算手段２２が算出した位置に基づいて、上記入力
画像から上記管理情報を抽出する。

【００１９】表領域の外郭部分の情報としては、例え
ば、表領域において縦横の基準となる大きさや、表領域
の外郭付近に設けられた基準点の位置等が用いられる。
計算手段２２は、表領域内から抽出された各罫線の位置
を上記基準点に対する相対的な位置情報として表し、管
理情報を囲む罫線の位置情報から管理情報の位置を求め
る。抽出手段２５は、その位置に対応する画像データを
管理情報として抽出し、必要に応じて文字認識等を行
う。

【００２０】表の外郭部分の複数の基準点あるいは複数
の方向に対して、管理情報を囲む罫線の相対的な位置を
求めることで、かすれやノイズ等のため入力画像の状態
が悪い場合でも、精度良く管理情報を抽出できる。

【００２１】また、第２の原理において、辞書手段２３
は、１つ以上の表のフォームの罫線構造の特徴と、各表
のフォーム内の管理情報の位置情報とを格納する。照合
手段２４は、入力画像の罫線構造の特徴を辞書手段２３
に格納された罫線構造の特徴と照合する。抽出手段２５
は、照合手段２４による照合結果に基づいて、辞書手段
２３に格納された管理情報の位置情報を参照し、上記入
力画像の管理情報を抽出する。ユーザ登録手段２１は、
ユーザにより指定された管理情報の位置を辞書手段２３
に登録する。

【００２２】表のフォームとは、表を構成する罫線のレ
イアウト構造を表し、辞書手段２３は、その罫線構造の
特徴とユーザ登録手段２１により指定された管理情報の
位置をあらかじめ格納しておく。そして、照合手段２４
は、入力画像の罫線構造の特徴と類似する特徴を持つ表
のフォームを求め、抽出手段２５は、その表のフォーム
内で指定された位置から管理情報を抽出する。

【００２３】このように、ユーザが希望する管理情報の
位置をあらかじめ登録しておき、その位置に基づいて入
力画像から管理情報を抽出することで、種々のフォーム
の画像が入力される場合でも、各画像から精度良く管理
情報を抽出できる。

【００２４】また、第３の原理において、格納手段２６
は、蓄積される画像の管理情報として、画像情報を格納
する。そして、検索手段２８は、上記画像情報を検索す
る。例えば、多数の画像を蓄積する電子ファイリング装
置において、各画像から抽出された画像コードをその管
理情報として格納手段２６に格納しておく。そして、検
索手段２８は、例えば、テンプレートマッチングによ
り、与えられた画像コードを格納手段２６内の画像コー
ドと照合しながら、管理情報を検索する。

【００２５】このように、管理情報の文字列を文字コー
ドで格納／検索するだけでなく、画像そのもので格納／
検索することもできるので、テクスチャ付き文字やデザ
インフォント、ロゴ等の正確に認識しにくい文字でも、
管理情報として扱うことができる。

【００２６】また、第４の原理において、格納手段２６
は、表のフォームの罫線情報を格納する。グループ生成
手段２７は、入力画像から抽出された罫線と格納手段２
６の罫線情報に含まれる罫線の間の対応可能な複数の組
み合わせを求め、その複数の組み合わせの中から互いに
両立する２つ以上の組み合わせを含むグループを、他の
グループの組み合わせが含まれないように抽出する。照
合手段２４は、抽出された１つ以上のグループに含まれ
る組み合わせの情報に基づいて、上記入力画像と表のフ
ォームを照合する。

【００２７】グループ生成手段２７は、格納手段２６に
格納された表のフォームを用いて入力画像のフォームを
識別するために、入力画像の罫線と表のフォームの罫線
の対応可能な組み合わせを求める。このとき、例えば、
表全体に対する相対的な大きさや位置が類似している罫
線同士が、対応可能な組み合わせとして取り出される。

【００２８】そして、例えば、入力画像に含まれる罫線
間の相対的関係を、表のフォームの罫線間の相対的関係
と比較して、２つの組み合わせが両立するかどうかを判
定し、互いに両立する組み合わせ同士のグループを生成
する。このとき、すでに他のグループに属している組み
合わせを含まないように、新しいグループを生成するこ
とで、両立性のチェック対象の数が削減され、処理が効
率化される。

【００２９】照合手段２４は、例えば、こうして得られ
たグループの最適な集合に含まれる組み合わせの数が多
いほど、入力画像と表のフォームの類似度が高いものと
みなし、類似度の最も高い表のフォームを入力画像に対
応するフォームと判断する。

【００３０】これにより、入力画像のフォームを高速に
識別することが可能になり、管理情報の抽出処理が効率
化される。例えば、図１のユーザ登録手段２１は、後述
する図５における入力装置４３に対応し、辞書手段２３
と格納手段２６は外部記憶装置４５に対応する。また、
例えば、計算手段２２、照合手段２４、抽出手段２５、
グループ生成手段２７、および検索手段２８は、ＣＰＵ
４１（中央処理装置）とメモリ４２に対応する。

【００３１】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本発明においては、
種々の表形式文書に対応できるように、既知の表形式の
罫線のレイアウト構造を学習し、学習した情報を活用し
て未知の表形式文書からタイトル等を高精度に抽出す
る。このために、フォーム学習モードと運用モードを設
ける。以下では、このレイアウト構造のことを、フォー
マット構造またはフォームとも呼ぶことがある。

【００３２】図２は、このような管理情報抽出処理の概
要を示している。管理情報抽出装置は、まずフォーム学
習時に、既知の表形式文書Ａ、Ｂ等の罫線のレイアウト
構造とユーザに指定させた正しいタイトル領域等の位置
を学習する。そして、それらの情報を含むレイアウト辞
書（フォーム辞書）３１を作成しておく。

【００３３】ユーザがタイトル位置を指定するモードと
しては、文書Ａ、Ｂ等のフォーム認識を伴わないユーザ
登録モードと、フォーム認識を伴う自動学習モードとが
ある。これらの各モードにおける処理については、後述
することにする。

【００３４】次に、運用時には、管理情報抽出装置は、
入力された未知の文書３２から罫線のレイアウト構造を
抽出し、レイアウト辞書３１とのマッチングを行う。こ
れにより、レイアウト辞書に記憶されているレイアウト
構造と一致する表形式文書が識別される。ここでは、文
書３２のレイアウト構造は文書Ａのそれと一致してい
る。

【００３５】そして、管理情報抽出装置は、対応する文
書Ａに指定されたタイトル位置の情報を参照して、入力
文書３２の文字列領域３３からタイトルを高精度に抽出
する。また、タイトルだけでなく、日付等の他のタグ領
域を管理情報としてユーザに指定させることで、様々な
文書の管理情報を高精度に抽出することができる。

【００３６】運用時に、ユーザが文書をスキャナで入力
する時に、管理情報が迅速に自動抽出されることが望ま
れるので、本発明では、ユーザのインタラクティブ性を
重視した高速アルゴリズムを採用する。このアルゴリズ
ムでは、対応するフォームを大分類、詳細分類の順に徐
々に絞り込むことで、処理の高速化を図っており、フォ
ーム学習時にも、これに対応する処理が行われる。

【００３７】図３は、フォーム学習モードにおける処理
の概要を示すフローチャートである。処理が開始される
と、管理情報抽出装置は、まず、学習対象となる文書画
像を入力し（ステップＳ１）、その罫線構造を抽出する
（ステップＳ２）。そして、ユーザに管理情報の位置を
問い合わせ、その位置を指定させる（ステップＳ３）。

【００３８】次に、抽出された罫線構造から、実線と破
線を区別しながら、大分類用の罫線の特徴を抽出し（ス
テップＳ４）、詳細識別用の外郭罫線の特徴を抽出する
（ステップＳ５）。例えば、大分類用の特徴としては、
データの変動に強い罫線構造の特徴を用い、詳細識別用
の特徴としては、高速処理を考慮して、表の外郭形状に
関するCROSS RATIO （クロス比、複比）を用いる。

【００３９】そして、抽出された罫線の特徴と指定され
た管理情報の位置を、レイアウト辞書３１に格納して
（ステップＳ６）、処理を終了する。格納された情報は
運用モードにおいて参照され、未知文書から管理情報を
抽出するために利用される。

【００４０】図４は、運用モードにおける処理の概要を
示すフローチャートである。処理が開始されると、管理
情報抽出装置は、まず、処理対象となる文書画像を入力
し（ステップＳ１１）、その罫線構造を抽出する（ステ
ップＳ１２）。

【００４１】次に、抽出された罫線構造から、大分類用
の罫線の特徴を抽出し（ステップＳ１３）、レイアウト
辞書３１の対応する情報と比較して、罫線構造の大分類
を行う（ステップＳ１４）。これにより、レイアウト辞
書３１の罫線構造のうち、入力文書のそれと一致する可
能性のあるものが、候補として抽出される。

【００４２】次に、罫線構造から詳細識別用の外郭罫線
の特徴を抽出し（ステップＳ１５）、大分類で抽出され
た候補の対応する情報と比較して、罫線構造の詳細識別
を行う（ステップＳ１６）。ここでは、例えば、CROSS
RATIO の１次元マッチング処理を行って、入力文書に対
応する候補を特定する。

【００４３】そして、その候補のフォーム上で指定され
た管理情報の位置に基づいて、入力文書画像内の管理情
報の位置を算出し（ステップＳ１７）、処理を終了す
る。こうして、既知の文書中でユーザが指定した位置情
報を用いて、入力文書画像から、管理情報を高精度に抽
出することができる。また、運用時におけるフォームの
照合処理を大分類と詳細識別の２段階で行うので、詳細
識別の候補が絞り込まれ、抽出処理が高速化される。

【００４４】本実施形態の管理情報抽出装置は、例えば
図５に示すような情報処理装置（コンピュータ）により
実現される。図５の情報処理装置は、ＣＰＵ４１、メモ
リ４２、入力装置４３、出力装置４４、外部記憶装置４
５、媒体駆動装置４６、ネットワーク接続装置４７、お
よび光電変換装置４８を備え、それらの各装置はバス４
９により互いに結合されている。

【００４５】ＣＰＵ４１は、メモリ４２を利用しながら
プログラムを実行して、図３、４に示した各処理を行
う。メモリ４２としては、例えばＲＯＭ（read only me
mory）、ＲＡＭ（random access memory）等が用いられ
る。ＲＯＭには、上述のプログラムが格納され、ＲＡＭ
には、レイアウト辞書３１等の必要なデータが一時的に
保持される。

【００４６】入力装置４３は、例えばキーボード、ポイ
ンティングデバイス等に相当し、ユーザからの要求や指
示の入力に用いられる。また、出力装置４４は、表示装
置（ディスプレイ）やプリンタ等に相当し、ユーザへの
問い合せや処理結果等の出力に用いられる。

【００４７】外部記憶装置４５は、例えば、磁気ディス
ク装置、光ディスク装置、光磁気ディスク装置等であ
る。この外部記憶装置４５に、上述のプログラムとデー
タを保存しておき、必要に応じて、それらをメモリ４２
にロードして使用することができる。また、外部記憶装
置４５は、画像やレイアウト辞書３１を保存するデータ
ベースとしても使用される。

【００４８】媒体駆動装置４６は、可搬記録媒体５０を
駆動し、その記憶内容にアクセスすることができる。可
搬記録媒体５０としては、メモリカード、フロッピーデ
ィスク、ＣＤ−ＲＯＭ（compact disk read only memor
y ）、光ディスク、光磁気ディスク等、任意のコンピュ
ータ読み取り可能な記録媒体を使用することができる。
この可搬記録媒体５０に、上述のプログラムとデータを
格納しておき、必要に応じて、それらをメモリ４２にロ
ードして使用することができる。

【００４９】ネットワーク接続装置４７は、ＬＡＮ（lo
cal area network）等の任意の通信ネットワークに接続
され、通信に伴うデータ変換等を行って、外部の情報提
供者のデータベース５０′等と通信する。これにより、
管理情報抽出装置は、必要に応じて、上述のプログラム
とデータをデータベース５０′からネットワークを介し
て受け取り、それらをメモリ４２にロードして使用する
ことができる。

【００５０】また、光電変換装置４８は、例えばイメー
ジスキャナであり、処理対象となる文書や図面等の画像
を入力する。次に、図６から図１６までを参照しなが
ら、フォーム学習時に行われる各処理について説明す
る。

【００５１】図６は、フォーム学習時の処理の詳細を示
すフローチャートである。図６において、図３と対応す
る処理ステップには、図３と同じ符号が用いられてい
る。まず、ステップＳ２の罫線構造抽出処理では、管理
情報抽出装置は、図７に示すように、入力された文書画
像から縦／横の破線を抽出し（ステップＳ２−１）、縦
／横の実線を抽出し（ステップＳ２−２）、さらに、そ
れらの縦横の罫線で囲まれた矩形セル（矩形領域）を抽
出する（ステップＳ２−３）。

【００５２】罫線や矩形セルの抽出には、本出願人によ
る「画像抽出装置」（特開平７−２８９３７）や「枠抽
出装置及び矩形抽出装置」（特願平７−２０３２５９）
等の先願の技術が用いられる。これらの技術によれば、
帳票内の罫線枠の位置等の情報入力を必要とせずに、そ
の画像から枠の抽出や除去を行うことが可能である。以
下に、罫線構造抽出処理の概要を示す。

【００５３】（１）細線化：マスク処理によって、縦横
の線分を細線化し、文字と枠の太さの差をなくす。（２）線分抽出：隣接投影法を用いて、比較的長い線分
の抽出を行う。隣接投影とは、注目する行または列に含
まれる画素の投影値に、その周囲の行または列の投影値
を足し合せた結果を、注目する行または列の最終的な投
影値とする方法である。この投影法によれば、特定の行
または列の周囲の画素分布を大局的に捉えることができ
る。

【００５４】（３）直線抽出：抽出された線分を順に探
索し、線分と線分の間に一定長さ以上の途切れがないか
どうかを検査する。間にそのような途切れがない線分同
士を順に統合していき、長い直線を抽出する。

【００５５】（４）直線統合：抽出された直線同士を再
度統合する。かすれにより２つ以上の部分に分離された
直線を、１つの直線に統合する。（５）直線伸張：規則的な帳票であると分かっていると
きに限り、かすれにより短くなった直線の伸張処理を行
い、本来の長さに修復する。

【００５６】（６）横枠決定：「枠抽出装置及び矩形抽
出装置」（特願平７−２０３２５９）に示された規則に
従って、表の上部から順に、２本１組で１行の記入欄を
構成する横直線を、横枠線として２本ずつ抽出する。

【００５７】（７）縦枠決定：縦枠線は、上述の記入欄
１行毎に決定する。注目している行を構成する２本の横
枠線に、上下端がともに達している縦直線を、その行に
おける縦枠線とする。

【００５８】（８）矩形セル抽出：２本の横枠線および
２本の縦枠線で囲まれた矩形セルを、文字領域として抽
出する。次に、ステップＳ３の管理情報位置指定処理で
は、管理情報抽出装置は、図８に示すように、入力され
た文書画像をディスプレイの画面に表示して、例えば、
タイトルを表す文字列のどこかを、ユーザにマウスでポ
インティングしてもらう。そして、そのポインティング
位置を含む矩形セル５１の位置情報を記憶する。

【００５９】矩形セル５１の位置情報としては、表の周
辺上の任意の交点（外郭点）を基準点とし、その点から
矩形セル５１の位置までのベクトルの情報が記憶され
る。例えば、左上頂点５２、左下頂点５３、右上頂点５
４、右下頂点５５をベクトルの始点とした場合、それら
の各頂点から、それぞれ、矩形セル５１の左上頂点５
６、左下頂点５７、右上頂点５８、右下頂点５９までの
差分ベクトルＡ、Ｂ、Ｃ、Ｄのデータが記憶される。ま
た、同時に、表の縦、横のサイズｈ０、ｗ０、および、
矩形セルの縦、横のサイズＨ１、Ｗ１も記憶しておく。

【００６０】次に、ステップＳ４の大分類用罫線特徴抽
出処理では、管理情報抽出装置は、まず、横罫線と縦罫
線の交点の数を数える（ステップＳ４−１）。次に、各
交点における交差形状を抽出し、その頻度分布を求める
（ステップＳ４−２）。交差形状は、交点から上下左右
の向きに罫線が存在するかどうかと、存在する罫線の種
類とを表すコード（Ｋ１，Ｋ２，Ｋ３，Ｋ４）で表現さ
れる。

【００６１】ここで、要素Ｋ１は交点の上側の罫線に対
応し、要素Ｋ２は交点の下側の罫線に対応し、要素Ｋ３
は交点の左側の罫線に対応し、要素Ｋ４は交点の右側の
罫線に対応する。各要素の値は、罫線が存在しないとき
０となり、実線が存在するとき１となり、破線が存在す
るとき２となる。

【００６２】例えば、図９のような交点の交差形状は
（１，１，１，１）と表され、図１０のような交点の交
差形状は（１，１，１，０）と表され、図１１のような
交点の交差形状は（０，２，２，２）と表され、図１２
のような交点の交差形状は（１，１，２，２）と表され
る。このように、（Ｋ１，Ｋ２，Ｋ３，Ｋ４）の各要素
は３通りの値を取り得るため、可能なコードの総数は３
⁴（＝８１）となる。ステップＳ４−２では、８１通り
の各コード毎に出現回数（頻度）を求めて、それを記憶
する。

【００６３】次に、各矩形セルの縦横比を計算し、その
頻度分布を矩形セルの頻度分布として算出する（ステッ
プＳ４−３）。矩形セルの縦の長さをＨ１、横の長さを
Ｗ１とすると、縦横比はＷ１／Ｈ１のように求められ
る。縦横比の頻度分布は、例えば、Ｗ１／Ｈ１の値を０
から０．５刻みで増やしていき、各値に対応する縦横比
を持つ矩形セルの数をカウントすることで求められる。
このとき、あるしきい値（例えば、１０）を超える矩形
セルについては、それらの数をまとめてカウントする。

【００６４】次に、ステップＳ５の詳細識別用外郭罫線
特徴抽出処理では、管理情報抽出装置は、まず、交点が
並んでいる各行または列内で、左右または上下方向の外
側（外郭）から、４つの交点から成る交点列を取り出
す。

【００６５】例えば、図１３に示すような罫線構造の場
合は、２行目の左から順に４つの交点を取り出すと、交
点６１、６２、６３、６４が取り出され、右から順に４
つの交点を取り出すと、交点６５、６４、６３、６２が
取り出される。また、３列目の上から順に４つの交点を
取り出すと、交点６６、６３、６７、６８が取り出さ
れ、下から順に４つの交点を取り出すと、交点７０、６
９、６８、６７が取り出される。

【００６６】そして、取り出された交点列に関する１次
元Projective Invariants （射影不変量）のCROSS RATI
O を計算する。例えば、図１４に示すように、４つの交
点Ｘ１、Ｘ２、Ｘ３、Ｘ４から成る交点列が取り出され
たとすると、そのCROSS RATIO は、次式で与えられる。

【００６７】

【数１】

【００６８】ここで、｜Ｘｉ−Ｘｊ｜は、交点Ｘｉと交
点Ｘｊの間隔の長さ（距離）を表す（ｉ，ｊ＝１，２，
３，４）。（１）式のCROSS RATIO は、例えば、図１５
のようなフローチャートに従って計算される。CROSS RA
TIO 算出処理が開始されると、管理情報抽出装置は、ま
ず、４つの交点Ｘ１、Ｘ２、Ｘ３、Ｘ４の座標データを
入力する（ステップＳ２１）。

【００６９】次に、交点Ｘ１とＸ２の距離を求めて変数
ａに入力し（ステップＳ２２）、交点Ｘ３とＸ４の距離
を求めて変数ｂに入力し（ステップＳ２３）、交点Ｘ１
とＸ３の距離を求めて変数ｃに入力し（ステップＳ２
４）、交点Ｘ２とＸ４の距離を求めて変数ｄに入力する
（ステップＳ２５）。そして、ａｂ／ｃｄを計算して、
その値をCROSS RATIO として記憶し（ステップＳ２
６）、処理を終了する。

【００７０】このようにして、すべての交点列のCROSS
RATIO を算出することで、表の外郭付近に位置する交点
の並びの特徴が定量化される。これにより、図１６に示
すように、表の外郭形状の２次元的な特徴が１次元の数
値の並びで表現される。以下では、このCROSS RATIO の
値の並びをCROSS RATIO 列と呼ぶことにする。

【００７１】図１６において、右のCROSS RATIO 列Ｒ
［１］，Ｒ［２］，Ｒ［３］，．．．，Ｒ［ｎ］は、各
行の右端部分の特徴を表すCROSS RATIO に対応し、左の
CROSSRATIO列Ｌ［１］，Ｌ［２］，Ｌ［３］，．．．，
Ｌ［ｍ］は、各行の左端部分の特徴を表すCROSS RATIO
に対応する。また、上のCROSS RATIO 列Ｕ［１］，Ｕ
［２］，Ｕ［３］，．．．，Ｕ［ｗ］は、各列の上端部
分の特徴を表すCROSS RATIO に対応し、下のCROSS RATI
O 列Ｄ［１］，Ｄ［２］，Ｄ［３］，．．．，Ｄ［ｖ］
は、各行の下端部分の特徴を表すCROSS RATIO に対応す
る。

【００７２】一般には、表の左右両端部分における罫線
構造は対称ではなく、また、画像の一部がかすれたり、
潰れたりしている場合もあるので、ｎとｍは必ずしも一
致するとは限らない。同様の理由で、ｗとｖは必ずしも
一致するとは限らない。

【００７３】これらの４つの方向のCROSS RATIO 列を１
つに繋げれば、各CROSS RATIO の値を要素とする特徴ベ
クトル（Ｒ［１］，．．．，Ｒ［ｎ］，Ｌ
［１］，．．．，Ｌ［ｍ］，Ｕ［１］，．．．，Ｕ
［ｗ］，Ｄ［１］，．．．，Ｄ［ｖ］）が生成される。

【００７４】ところで、ここでは、詳細識別用の外郭罫
線の特徴として、４つの交点の間隔の比率を用いている
が、その代わりに、２つ以上の任意の個数の交点の間隔
の比率を用いてもよい。その場合も、その比率を１次元
的に並べることで、表の外郭形状の特徴が表現される。

【００７５】そして、ステップＳ６の処理では、管理情
報抽出装置は、ステップＳ３で指定された管理情報の位
置とステップＳ４、Ｓ５で求めた罫線の特徴とを、その
表形式文書の識別情報（フォーム情報）として、レイア
ウト辞書３１に格納する。

【００７６】次に、図１７から図２２までを参照しなが
ら、運用時に行われる各処理について説明する。図１７
は、フォーム学習時の処理の詳細を示すフローチャート
である。図１７において、図４と対応する処理ステップ
には、図４と同じ符号が用いられている。まず、ステッ
プＳ１２の罫線構造抽出処理では、管理情報抽出装置
は、フォーム学習時のステップＳ２の処理と同様にし
て、入力された文書画像から縦／横の破線を抽出し（ス
テップＳ１２−１）、縦／横の実線を抽出し（ステップ
Ｓ１２−２）、それらの縦横の罫線で囲まれた矩形セル
を抽出する（ステップＳ１２−３）。

【００７７】また、ステップＳ１３の大分類用罫線特徴
抽出処理では、管理情報抽出装置は、フォーム学習時の
ステップＳ４の処理と同様にして、横罫線と縦罫線の交
点の数を数え（ステップＳ１３−１）、各交点における
交差形状の頻度分布を求め（ステップＳ１３−２）、各
矩形セルの縦横比の頻度分布を算出する（ステップＳ１
３−３）。

【００７８】次に、ステップＳ１４の大分類処理では、
管理情報抽出装置は、交点数、交差形状の頻度分布、お
よび矩形セルの縦横比の頻度分布を用いて、レイアウト
辞書３１内の多数の表のフォーム情報との照合を行い、
該当する表の候補の数を絞り込む。ここでは、画像のか
すれ、潰れ等による罫線構造の変動も考慮して、交点
数、交差形状の頻度、および矩形セルの縦横比の頻度の
各特徴に対して適当なしきい値を設定し、辞書３１のフ
ォーム情報が一定の許容範囲内で入力画像の情報と一致
すれば、それを該当する表の候補とする。

【００７９】例えば、入力された文書画像の交点数をＫ
ｉとし、辞書３１に格納されたフォームｔの交点数をＫ
ｔとすると、それらの差の絶対値｜Ｋｉ−Ｋｔ｜がしき
い値ＴＨｋ以内であれば、フォームｔを候補とする。こ
のように、入力画像と辞書３１内のフォーム情報の各要
素の差が、すべてそれぞれのしきい値以内に収まれば、
そのフォームを入力文書に該当するフォームの候補とす
る。

【００８０】交点数、交点形状、矩形セルのサイズの頻
度分布等の特徴は、一般に、画像の変動に強く、これら
を用いることで、かすれや潰れのある文書画像でも高精
度な照合を行うことができる。

【００８１】次に、ステップＳ１５の詳細識別用外郭罫
線特徴抽出処理では、管理情報抽出装置は、フォーム学
習時のステップＳ５の処理と同様にして、４方向からの
１次元Projective Invariants のCROSS RATIO を計算す
る。

【００８２】次に、ステップＳ１６の詳細識別処理で
は、管理情報抽出装置は、大分類で絞り込まれた表候補
だけに限って、CROSS RATIO 列の照合を行う。この処理
では、入力フォームと学習済みフォームの間で、４方向
それぞれ別々にCROSS RATIO 列の対応付けを行う。ここ
では、対象とするフォームが表構造なので、各列と各行
で罫線の順序関係が逆転することはなく、かすれ等によ
り罫線が部分的に消失することだけを考慮し、ＤＰ（Dy
namic Programming ）マッチングを採用することにす
る。

【００８３】ＤＰマッチングは、音声等の時系列データ
のマッチング方法としてよく知られており、その詳細
は、例えば、舟久保登著「パターン認識」（共立出版）
ｐ．６２−ｐ．６７に記述されている。この方法では、
２つのデータの集合を照合する際に、データの局所的な
特徴に関して類似度を与え、類似度を用いて全体的な対
応付けの良否を表す評価関数を定義する。そして、最も
良い評価関数の値を与えるデータの対応関係を求める。

【００８４】図１８は、このようなＤＰマッチングを用
いた右のCROSS RATIO 列の照合処理を示している。図１
８においては、入力フォームの右のCROSS RATIO 列Ｒ
［１］，Ｒ［２］，Ｒ［３］，．．．，Ｒ［ｎ］が、辞
書３１内の学習済みフォームの右のCROSS RATIO 列Ｒ′
［１］，Ｒ′［２］，Ｒ′［３］，．．．，Ｒ′
［ｎ′］と対応付けられている。

【００８５】また、この照合処理においては、罫線抽出
の信頼度を考慮して、信頼度の高い罫線から求めた交点
列のCROSS RATIO と、そうでないCROSS RATIO とで、評
価関数における対応付けの重みを変えておく。例えば、
信頼度の高い罫線から求めたCROSS RATIO の類似度に
は、より大きな重みが付加される。

【００８６】図１９は、ＤＰマッチングによる右のCROS
S RATIO 列の照合処理の例を示すフローチャートであ
る。処理が開始されると、管理情報抽出装置は、まず、
入力フォームの右のCROSS RATIO 列を配列Ｒ［ｉ］（ｉ
＝１，．．．，ｎ）に格納し、学習済みフォームの右の
CROSS RATIO 列を配列Ｒ′［ｋ］（ｋ＝１，．．．，
ｎ′）に格納する（ステップＳ３１）。

【００８７】次に、誤差配列Ｅ［ｉ，ｋ］を初期化し
（ステップＳ３２）、ｉ＝１，．．．，ｎ、ｋ＝
１，．．．，ｎ′について、次のような漸化式の計算を
行う（ステップＳ３３）。

【００８８】Ｅ［ｉ，ｋ］＝ｍｉｎ｛Ｅ［ｉ−１，ｋ］＋ｄ［ｉ，ｋ］，Ｅ［ｉ−１，ｋ−１］＋λ＊ｄ［ｉ，ｋ］，Ｅ［ｉ，ｋ−１］＋ｄ［ｉ，ｋ］｝（２）ここで、Ｅ［ｉ，ｋ］は、CROSS RATIO 列の一部分であ
る（Ｒ［１］，．．．，Ｒ［ｉ］）を（Ｒ′
［１］，．．．，Ｒ′［ｋ］）に対応付けたときの誤差
の累積の最小値を表す。したがって、計算途中における
累積誤差を評価関数として用いた場合、Ｅ［ｉ，ｋ］は
その最小値を与えていることになる。また、ｄ［ｉ，
ｋ］は、Ｒ［ｉ］とＲ′［ｋ］を対応付けたときの誤差
を表し、例えば、次式により与えられる。

【００８９】ｄ［ｉ，ｋ］＝｜Ｒ［ｉ］−Ｒ′［ｋ］｜（３）また、λはｄ［ｉ，ｋ］に対する重みを表し、ｍｉ
ｎ｛｝は｛｝内の要素のうちの最小値を表す。

【００９０】次に、Ｅ［ｎ，ｎ′］の経路を算出し（ス
テップＳ３４）、それをCROSS RATIO 列（Ｒ
［１］，．．．，Ｒ［ｎ］）と（Ｒ′［１］，．．．，
Ｒ′［ｎ′］）の対応付けの結果として格納して（ステ
ップＳ３５）、処理を終了する。こうして、評価関数が
最小となるような各CROSS RATIO 同士の対応関係が求め
られる。左、上、下のCROSS RATIO 列の照合処理につい
ても同様である。

【００９１】ステップＳ１６では、このような１次元の
ＤＰマッチングを、大分類で得られたすべての学習済み
フォームについて行い、それらのうちで評価関数が最小
（最良）となるものを、入力フォームに該当するフォー
ムと判断する。このように、詳細識別において、表構造
の外側の形状（外郭形状）の特徴を用い、しかも１次元
マッチングによる識別を行うので、高速処理が可能とな
る。

【００９２】そして、ステップＳ１７の管理情報位置算
出処理では、管理情報抽出装置は、レイアウト辞書３１
を参照して、詳細識別で特定された学習済みフォームの
位置情報を取り出し、それを用いて入力画像から管理情
報を抽出する。

【００９３】この処理では、まず、上述のＤＰマッチン
グにおけるCROSS RATIO 列の対応付け結果を用いて、表
の各行各列の両端に位置する交点（端点）のマッチング
度を調べ、端点が安定かどうかを判定する。ここで、端
点のマッチング度とは、入力フォームのあるCROSS RATI
O と学習済みフォームのあるCROSS RATIO の対応付けの
確からしさを意味する。

【００９４】例えば、図１８においては、Ｒ［１］と
Ｒ′［１］は一意的（１対１）に対応しているので、１
行目の右端の端点は安定であると判定される。また、Ｒ
［３］とＲ′［４］も１対１に対応しているので、該当
する行の右端の端点は安定である。しかし、Ｒ［２］は
Ｒ′［２］とＲ′［３］の両方に対応付けられており、
対応が一意的ではないので、該当する行の右端の端点は
安定ではないと判定される。このようにして、表の左
上、左下、右上、右下の各頂点に最も近い安定した端点
をそれぞれ求め、これらを安定な外郭点とする。

【００９５】次に、安定な外郭点を基準にして、入力フ
ォームの表と学習済みフォームの表の縦、横のサイズｈ
０、ｗ０を求め、それらを比較して、学習済みフォーム
の表に対する入力フォームの表の縦横の相対的な比率を
求める。そして、図８に示した差分ベクトルＡ、Ｂ、
Ｃ、Ｄ、および矩形セルの縦、横のサイズＨ１、Ｗ１を
用いて、管理情報の位置を算出する。

【００９６】上述の比率は、入力フォームの表の学習済
みフォームの表に対する拡大率または縮小率を表し、そ
れらの表の間で、サイズの変動を正規化するために用い
られる。

【００９７】例えば、図８に示した表に対する入力フォ
ームの表の縦横の比率がともにαである場合、差分ベク
トルＡ、Ｂ、Ｃ、Ｄをそれぞれα倍する。そして、入力
フォームの表内で、左上の安定な外郭点を始点として、
差分ベクトルＡのα倍のベクトルを用いて、管理情報を
含む矩形セルの左上頂点のおよその位置を求める。同様
にして、右上、左下、右下の安定な外郭点を始点とし
て、差分ベクトルＢ、Ｃ、Ｄのα倍のベクトルを用いれ
ば、矩形セルの右上頂点、左下頂点、右下頂点のおよそ
の位置が求められる。

【００９８】次に、こうして求めた位置の近くに存在す
る矩形セルであって、縦、横のサイズがそれぞれＨ１＊
α、Ｗ１＊αに類似している矩形セルを見つける。そし
て、その矩形セル内部にある文字列等のデータを、所望
の管理情報として取り出す。

【００９９】図２０、２１、２２は、管理情報位置算出
処理の例を示すフローチャートである。処理が開始され
ると、管理情報抽出装置は、まず、ＤＰマッチングにお
ける４方向のCROSS RATIO 列の対応付け結果を入力する
（ステップＳ４１）。

【０１００】ここでは、右のCROSS RATIO 列（Ｒ
［１］，．．．，Ｒ［ｎ］）と（Ｒ′［１］，．．．，
Ｒ′［ｎ′］）の対応付けの結果と、左のCROSS RATIO
列（Ｌ［１］，．．．，Ｌ［ｍ］）と（Ｌ′
［１］，．．．，Ｌ′［ｍ′］）の対応付けの結果と、
上のCROSS RATIO 列（Ｕ［１］，．．．，Ｕ［ｗ］）と
（Ｕ′［１］，．．．，Ｕ′［ｗ′］）の対応付けの結
果と、下のCROSS RATIO 列（Ｄ［１］，．．．，Ｄ
［ｖ］）と（Ｄ′［１］，．．．，Ｄ′［ｖ′］）の対
応付けの結果とが入力される。

【０１０１】次に、これらのデータから入力フォームの
安定な端点を算出し、これらを安定な外郭点の候補とす
る（ステップＳ４２）。これらの候補に対応するCROSS
RATIO を、それぞれ、Ｒ［ｎｍｉｎ］，Ｒ［ｎｍａ
ｘ］，Ｌ［ｍｍｉｎ］，Ｌ［ｍｍａｘ］，Ｕ［ｗｍｉ
ｎ］，Ｕ［ｗｍａｘ］，Ｄ［ｖｍｉｎ］，Ｄ［ｖｍａ
ｘ］と書くことにする。

【０１０２】ここで、ｎｍｉｎは、表の右端の安定な端
点のうち最も上（ｙ座標が最小）にある点の行番号を表
し、ｎｍａｘは、表の右端の安定な端点のうち最も下
（ｙ座標が最大）にある点の行番号を表す。また、ｍｍ
ｉｎは、表の左端の安定な端点のうち最も上にある点の
行番号を表し、ｍｍａｘは、表の左端の安定な端点のう
ち最も下にある点の行番号を表す。

【０１０３】また、ｗｍｉｎは、表の上端の安定な端点
のうち最も左（ｘ座標が最小）にある点の列番号を表
し、ｗｍａｘは、表の上端の安定な端点のうち最も右
（ｘ座標が最大）にある点の列番号を表す。また、ｖｍ
ｉｎは、表の下端の安定な端点のうち最も左にある点の
列番号を表し、ｖｍａｘは、表の下端の安定な端点のう
ち最も右にある点の列番号を表す。

【０１０４】次に、得られた候補のデータを用いて、安
定な外郭点の位置を算出する（ステップＳ４３）。ここ
では、各候補のｘ座標、ｙ座標の最大値および最小値を
求めて、それらの値を安定な外郭点の座標成分とする。

【０１０５】図２０において、例えば、ＸＭＩＮ｛Ｒ
［ｎｍｉｎ］，Ｒ［ｎｍａｘ］，Ｌ［ｍｍｉｎ］，Ｌ
［ｍｍａｘ］，Ｕ［ｗｍｉｎ］，Ｕ［ｗｍａｘ］，Ｄ
［ｖｍｉｎ］，Ｄ［ｖｍａｘ］｝は、｛｝内の各CROSS
RATIO の値に対応する端点のｘ座標のうちで最小のもの
を表す。同様に、ＸＭＡＸ｛｝は各端点のｘ座標の最大
値を表し、ＹＭＩＮ｛｝は各端点のｙ座標の最小値を表
し、ＹＭＡＸ｛｝は各端点のｙ座標の最大値を表す。

【０１０６】以下では、これらの値ＸＭＩＮ｛｝、ＸＭ
ＡＸ｛｝、ＹＭＩＮ｛｝、ＹＭＡＸ｛｝を、簡単のた
め、それぞれ、ＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭＡ
Ｘと書くことにする。このとき、左上、右上、左下、右
下の安定な外郭点の座標は、それぞれ、（ＸＭＩＮ，Ｙ
ＭＩＮ）、（ＸＭＡＸ，ＹＭＩＮ）、（ＸＭＩＮ，ＹＭ
ＡＸ）、（ＸＭＡＸ，ＹＭＡＸ）で与えられる。

【０１０７】次に、学習済みフォームである辞書フォー
ムの安定な端点を算出し、これらを安定な外郭点の候補
とする（図２１、ステップＳ４４）。これらの候補に対
応するCROSS RATIO を、それぞれ、Ｒ′［ｎｍｉ
ｎ′］，Ｒ′［ｎｍａｘ′］，Ｌ′［ｍｍｉｎ′］，
Ｌ′［ｍｍａｘ′］，Ｕ′［ｗｍｉｎ′］，Ｕ′［ｗｍ
ａｘ′］，Ｄ′［ｖｍｉｎ′］，Ｄ′［ｖｍａｘ′］と
書くことにする。

【０１０８】ここで、ｎｍｉｎ′、ｎｍａｘ′、ｍｍｉ
ｎ′、ｍｍａｘ′、ｗｍｉｎ′、ｗｍａｘ′、ｖｍｉ
ｎ′、ｖｍａｘ′の意味については、上述のｎｍｉｎ、
ｎｍａｘ、ｍｍｉｎ、ｍｍａｘ、ｗｍｉｎ、ｗｍａｘ、
ｖｍｉｎ、ｖｍａｘと同様である。

【０１０９】次に、得られた候補のデータを用いて、ス
テップＳ４３と同様に、辞書フォームの安定な外郭点の
位置を算出する（ステップＳ４５）。図２１において、
ＸＭＩＮ′｛｝、ＸＭＡＸ′｛｝、ＹＭＩＮ′｛｝、Ｙ
ＭＡＸ′｛｝の意味については、上述のＸＭＩＮ｛｝、
ＸＭＡＸ｛｝、ＹＭＩＮ｛｝、ＹＭＡＸ｛｝と同様であ
る。

【０１１０】以下では、これらの値ＸＭＩＮ′｛｝、Ｘ
ＭＡＸ′｛｝、ＹＭＩＮ′｛｝、ＹＭＡＸ′｛｝を、簡
単のため、それぞれ、ＸＭＩＮ′、ＸＭＡＸ′、ＹＭＩ
Ｎ′、ＹＭＡＸ′と書くことにする。このとき、左上、
右上、左下、右下の安定な外郭点の座標は、それぞれ、
（ＸＭＩＮ′，ＹＭＩＮ′）、（ＸＭＡＸ′，ＹＭＩ
Ｎ′）、（ＸＭＩＮ′，ＹＭＡＸ′）、（ＸＭＡＸ′，
ＹＭＡＸ′）で与えられる。

【０１１１】次に、ステップＳ４３で得られた安定な外
郭点の座標情報を用いて、次式により入力フォームの
縦、横のサイズｈ０、ｗ０を算出する（図２２、ステッ
プＳ４６）。

【０１１２】ｗ０＝ＸＭＡＸ−ＸＭＩＮ（４）ｈ０＝ＹＭＡＸ−ＹＭＩＮ（５）また、ステップＳ４５で得られた安定な外郭点の座標情
報を用いて、次式により辞書フォームの縦、横のサイズ
ｈ０′、ｗ０′を算出する（ステップＳ４７）。

【０１１３】ｗ０′＝ＸＭＡＸ′−ＸＭＩＮ′ （６）ｈ０′＝ＹＭＡＸ′−ＹＭＩＮ′ （７）そして、縦、横のサイズｈ０、ｗ０、ｈ０′、ｗ０′か
ら、次式により入力フォームと辞書フォームの大きさの
比率（拡大率または縮小率）Ｓｗ、Ｓｈを算出する（ス
テップＳ４８）。

【０１１４】Ｓｗ＝ｗ０／ｗ０′ （８）Ｓｈ＝ｈ０／ｈ０′ （９）次に、辞書３１から、辞書フォームの表の安定な外郭点
を始点とする差分ベクトルの成分の大きさを、管理情報
の位置を表す相対座標値として取り出す（ステップＳ４
９）。この場合、辞書フォームのCROSS RATIO Ｒ′
［１］，．．．，Ｒ′［ｎ′］，Ｌ′［１］，．．．，
Ｌ′［ｍ′］，Ｕ′［１］，．．．，Ｕ′［ｗ′］，
Ｄ′［１］，．．．，Ｄ′［ｖ′］のそれぞれに対応す
る外郭点のうち、各頂点に近い複数の外郭点からの差分
ベクトルが、あらかじめ辞書３１に位置情報として格納
されているものとする。

【０１１５】そして、左上、右上、左下、右下の安定な
外郭点から相対座標値を、それぞれ、（ｆｘｍｉｎ１，
ｆｙｍｉｎ１）、（ｆｘｍａｘ１，ｆｙｍｉｎ２）、
（ｆｘｍｉｎ２，ｆｙｍａｘ１）、（ｆｘｍａｘ２，ｆ
ｙｍａｘ２）とする。

【０１１６】次に、これらの相対座標値と、入力フォー
ムと辞書フォームの大きさの比率Ｓｗ、Ｓｈとを用い
て、入力フォーム内における管理情報の位置の概算を行
う（ステップＳ５０）。ここでは、管理情報の位置の候
補として、次のような座標値を持つ４つの点が求められ
る。

【０１１７】（ＸＭＩＮ＋Ｓｗ＊ｆｘｍｉｎ１，ＹＭＩ
Ｎ＋Ｓｈ＊ｆｙｍｉｎ１）（ＸＭＡＸ−Ｓｗ＊ｆｘｍａｘ１，ＹＭＩＮ＋Ｓｈ＊ｆ
ｙｍｉｎ２）（ＸＭＩＮ＋Ｓｗ＊ｆｘｍｉｎ２，ＹＭＡＸ−Ｓｈ＊ｆ
ｙｍａｘ１）（ＸＭＡＸ−Ｓｗ＊ｆｘｍａｘ２，ＹＭＡＸ−Ｓｈ＊ｆ
ｙｍａｘ２）次に、これらの候補位置を含む入力フォームの矩形セル
を抽出する（ステップＳ５１）。そして、その縦のサイ
ズが、辞書フォームで指定されている矩形セルの縦のサ
イズＨ１のＳｈ倍に近く、横のサイズが、指定されてい
る矩形セルの横のサイズＷ１のＳｗ倍に近い場合に、そ
の矩形セルを管理情報を含むセルと判定する。

【０１１８】そして、その矩形セル内の文字列等の画像
データを管理情報として出力し（ステップＳ５２）、処
理を終了する。こうして、詳細識別の結果を用いて、入
力画像から管理情報が抽出される。

【０１１９】ここでは、辞書３１は、辞書フォームのCR
OSS RATIO に対応する複数の外郭点の一部を始点とする
差分ベクトルを格納するものとしたが、すべての外郭点
からの差分ベクトルをあらかじめ格納しておく構成にし
てもよい。こうしておくことで、表の頂点の近くの外郭
点だけでなく、周辺上の任意の外郭点を安定な外郭点と
して選ぶことが可能になる。

【０１２０】また、安定な外郭点を４つ抽出する必要は
必ずしもなく、処理を高速化するために、いずれか１つ
の安定な外郭点を基準点として、その位置からの相対座
標値で管理情報の位置を求めてもよい。一般に、処理に
用いる安定な外郭点の数は任意である。

【０１２１】さらに、ステップＳ５１では、４つの候補
位置を含む矩形セルを抽出するものとしたが、代わり
に、１つ以上の候補位置を含む矩形セルを抽出してもよ
く、また、１つ以上の候補位置との距離が一定値以内で
あるような矩形セルを抽出してもよい。

【０１２２】上述した管理情報抽出処理によれば、入力
文書のフォームと管理情報の位置が自動的に学習され、
レイアウト辞書３１に格納される。また、これらの情報
を利用することで、種々の表形式文書に対応することが
でき、管理情報の位置が高精度に算出される。

【０１２３】次に、図６のステップＳ３における管理情
報位置の指定方法について、さらに詳しく説明する。本
実施形態では、ユーザによる管理情報位置の指定方法と
して、ユーザにその位置を明示的に指定させるユーザ登
録モードと、管理情報の候補を自動的に抽出する自動学
習モードの２通りを用意する。

【０１２４】ユーザ登録モードでは、管理情報抽出装置
は、図８に示したように、表を構成する多数の矩形セル
の中から管理情報の位置を、直接ユーザに指定させる。
例えば、設計図面等の同じフォームの文書が大量にある
場合に、最初の１枚目で管理情報の位置を指定しておけ
ば、２枚目からはその位置の情報のみを読み取ればよ
く、オートドキュメントフィーダを使ったバッチ入力が
可能になる。

【０１２５】また、自動学習モードでは、先願の「文書
画像からのタイトル抽出装置および方法」（特願平７−
３４１９８３）に記載されたタイトル抽出技術を用い
て、管理情報の候補となる複数の領域を抽出し、それら
の中からユーザが選択した領域の位置を自動学習して、
次回からそれを１位の候補とする。もし、ユーザがそれ
らの候補のいずれも選択せずに、新たに任意の位置を指
定した場合には、ユーザのインタラクティブな操作から
その位置の情報を自動的に取得する。

【０１２６】あるいはまた、先願のタイトル抽出技術を
ユーザ登録モードにも適用して、複数の候補の中から管
理情報を指定させることも可能である。この場合、自動
学習モードでは、まず、図４の処理によりフォームの認
識／識別を行い、入力画像が辞書３１のフォームと一致
するかどうかを調べる。そして、いずれかの辞書フォー
ムと一致すれば、その位置情報を取り出してユーザに提
示し、いずれの辞書フォームとも一致しなければ、先願
のタイトル抽出技術により管理情報の候補を抽出する。

【０１２７】図２３は、このような２つのモードを備え
た管理情報抽出処理を示している。図２３のユーザ登録
モードにおいては、管理情報抽出装置は、まず、表形式
文書の入力画像７１から、先願の表内タイトル抽出処理
を用いて、管理情報の複数の候補を抽出する。

【０１２８】図２４は、この表内管理情報抽出処理のフ
ローチャートである。処理が開始されると、管理情報抽
出装置は、文書７１を読み込み、文書画像としてメモリ
に格納する（ステップＳ６１）。ここでは、処理の効率
化のため、原画像を圧縮画像に変換して保存する。

【０１２９】次に、文書画像にラベリング処理を施し、
矩形高さの最頻値をもとに大きな矩形を抽出し（ステッ
プＳ６２）、抽出された大きな矩形から表を囲む矩形
（表矩形）を抽出して（ステップＳ６３）、表矩形の中
から管理情報を含むものを選択する（ステップＳ６
４）。ここでは、例えば、最も面積の大きな表矩形が選
択される。

【０１３０】次に、選択された表矩形の内部から文字列
を抽出し、文字列の外接矩形（文字列矩形）を求め、そ
の座標をメモリに保存する（ステップＳ６５）。次に、
保存した文字列矩形から、横幅が小さい矩形や縦長矩形
をノイズ矩形として除去し（ステップＳ６６）、２つ以
上の文字列矩形を統合する（ステップＳ６７）。

【０１３１】ここまでの処理で、表内から抽出された文
字列矩形が整理されるが、これらの文字列矩形は表罫線
の一部を含んでいる場合もあり得る。そこで、文字列矩
形の中の罫線部分を抽出し、その部分を境にして文字列
矩形を分割する（ステップＳ６８）。

【０１３２】次に、管理情報に相当する文字列矩形を抽
出するために、文字列矩形内の文字数を計算する（ステ
ップＳ６９）。ここで計算された文字数は、文字列矩形
の属性としてステップＳ７２の処理で用いられる。

【０１３３】ステップＳ６８の処理により、表罫線で囲
まれた欄毎の文字列矩形が抽出されるが、元の表の外形
が矩形ではない場合には、表の外にある文字列矩形が残
されている可能性がある。そこで、上罫線のチェックを
行って、上側に表罫線がないような文字列矩形は表外の
文字列矩形とみなし、それを除去する（ステップＳ７
０）。

【０１３４】次に、表内の文字列矩形を表矩形の左上座
標に近い順に並び替える（ステップＳ７１）。そして、
文字列矩形の文字数が一定の条件を満たす場合に、その
文字列矩形を管理情報として抽出して（ステップＳ７
２）、処理を終了する。条件を満たす文字列矩形が複数
ある場合、表矩形の左上に近いものから順に管理情報の
候補とする。

【０１３５】ここでは、処理結果の画像７７において、
管理情報の３つの候補Ｃ１、Ｃ２、Ｃ３が抽出されてお
り、管理情報抽出装置のユーザインタフェース７８は、
これらを優先順位の高いものから順に出力して、ユーザ
に提示する。ユーザは、管理情報として適当な候補が提
示された時点で、マウスのポインティング操作によりそ
れを選択する。もし、適当な候補が提示されないとき
は、ポインティング操作により他の矩形セルを明示的に
指定することで、管理情報候補を修正する。

【０１３６】管理情報抽出装置は、ユーザが選択／修正
した管理情報の位置を学習し、その位置情報と罫線構造
を、ユーザ辞書７３として辞書３１内に格納しておく。
これにより、管理情報抽出装置は、ユーザから直接指定
された位置情報を、次回以降の処理で利用することがで
きる。

【０１３７】また、図２３の自動学習モードにおいて
は、管理情報抽出装置は、まず、複数のユーザ辞書７３
を参照しながら、図４の処理に従って入力画像７１、入
力画像７２等のフォームを認識する。

【０１３８】ここで、表形式の画像７１が入力され、大
分類および詳細識別による照合の結果、いずれかのユー
ザ辞書７３のフォームと一致すると判定した場合は、そ
の処理結果のフォーム７４においてあらかじめ指定され
ている位置の管理情報Ｃ１を出力し、それをユーザに提
示する。ユーザが提示された管理情報Ｃ１を承認すれ
ば、それをそのまま採用し、ユーザがそれを承認しなけ
れば、他の位置の情報Ｃ２、Ｃ３等から適当なものを選
択させる。

【０１３９】また、入力画像７１がいずれのユーザ辞書
７３のフォームとも一致しない場合は、上述の表内管理
情報抽出処理を行って、処理結果の画像７５から管理情
報の候補Ｃ１、Ｃ２、Ｃ３等を抽出する。そして、ユー
ザインタフェース７８は、これらを優先順位の高いもの
から順にユーザに提示し、ユーザは、それらのうち管理
情報として適当なものを選択する。もし、適当な候補が
提示されないときは、他の矩形セルを明示的に指定する
ことで、管理情報候補を修正する。

【０１４０】管理情報抽出装置は、入力画像７１におい
てユーザが選択／修正した管理情報の位置を学習し、そ
の位置情報と罫線構造を、ユーザ辞書７３として辞書３
１内に格納しておき、次回以降の処理で利用する。

【０１４１】また、表形式でない通常の文書画像７２が
入力された場合は、フォーム認識の結果、罫線構造がな
いと判定される。そこで、先願の罫線のない文書画像か
らのタイトル抽出処理を用いて、管理情報の複数の候補
を抽出する。

【０１４２】図２５は、この管理情報抽出処理のフロー
チャートである。処理が開始されると、管理情報抽出装
置は、文書７２を読み込み、文書画像としてメモリに格
納する（ステップＳ８１）。ここでは、処理の効率化の
ため、原画像を圧縮画像に変換して保存する。

【０１４３】次に、文書画像にラベリング処理を施し、
その結果に基づいて文字列を抽出し、文字列矩形の座標
をメモリに保存する（ステップＳ８２）。次に、保存し
た文字列矩形から、横幅が小さい矩形や縦長矩形をノイ
ズ矩形として除去し（ステップＳ８３）、さらに文字列
らしくない矩形を除いて、文書領域を決定する（ステッ
プＳ８４）。

【０１４４】次に、残った文字列矩形を縦方向（ｙ座
標）で並べ替え（ステップＳ８５）、枠の画像を含む矩
形（枠矩形）を抽出して、枠矩形内にある文字列矩形を
枠付き矩形としてマークする（ステップＳ８６）。ま
た、下線の画像を含む矩形を抽出して、そのすぐ上にあ
る文字列矩形を下線矩形としてマークする（ステップＳ
８７）。

【０１４５】次に、文字列矩形の文書内での位置、文字
のサイズ、枠付き矩形や下線矩形に該当するかどうか等
の性質に基づいて、タイトルらしさのポイント計算を行
い、ポイントの高い１つ以上の文字列矩形をタイトル候
補として抽出する（ステップＳ８８）。そして、その結
果を用いて文書の宛先と発信元情報を抽出する（ステッ
プＳ８９、Ｓ９０）。こうして、タイトル、宛先、およ
び発信元情報が管理情報の候補として抽出される。

【０１４６】ここでは、処理結果の画像７６において、
タイトルの３つの候補Ｃ４、Ｃ５、Ｃ６と、宛先および
発信元情報が抽出されている。ユーザインタフェース７
８は、これらを優先順位の高いものから順に出力して、
ユーザに提示する。ユーザは、管理情報として適当な候
補が提示された時点で、マウスのポインティング操作に
よりそれを選択する。もし、適当な候補が提示されない
ときは、ポインティング操作により他の文字列矩形を明
示的に指定することで、管理情報候補を修正する。

【０１４７】次に、図２６から図２８までを参照しなが
ら、こうして抽出された管理情報の利用形態について説
明する。従来は、画像を管理する管理情報として、キー
ワードや文書名等の文字コードしか用いられていなかっ
たが、本発明の管理情報抽出装置を備える電子ファイリ
ングシステムでは、文字コード以外に文書画像の一部を
インデックスとして格納する機能を備えておく。これに
より、文字コードの信頼度が低い場合等に、画像による
検索を行うことが可能になる。

【０１４８】このシステムは、管理情報を文字コードで
保存するか画像コードで保存するかをユーザに選択さ
せ、その選択結果に従って、いずれかのデータを管理情
報として格納する。また、画像の検索時には、ユーザに
管理情報の検索方法を選択させ、その結果に従って、文
字コードまたは画像で検索する。また、単に文字コード
または画像をパラパラと見るだけのブラウジングの機能
も備えておく。

【０１４９】図２６は、このような画像情報格納処理の
フローチャートである。処理が開始されると、電子ファ
イリングシステムは、まず、文書画像を入力し（ステッ
プＳ１０１）、例えば、図４の処理に従って管理情報の
位置を算出して、管理情報の文字列を見つける（ステッ
プＳ１０２）。そして、抽出した文字列に対する管理情
報の保存方法をユーザに選択させる（ステップＳ１０
３）。

【０１５０】保存方法としては、文字列を文字認識して
文字コードに変換する文字認識モードと、文字認識を行
わず文字列を画像で保存する画像モードがある。ユーザ
が文字認識モードを選択した場合は、文字認識を行い
（ステップＳ１０４）、その認識結果の信頼度に応じて
格納方法を選択する（ステップＳ１０５）。

【０１５１】文字認識の信頼度の算出方法としては、例
えば、本出願人による先願の「文字認識方法および装
置」（整理番号９６０４１６１）に記載された技術を用
いる。この技術によれば、システムは、まず、認識結果
の文字コードと入力された文字パターンとの距離値から
確率パラメータを算出し、文字パターンと正解文字コー
ドの集合から、確率パラメータを正読確率に変換する変
換テーブルを生成する。次に、その変換テーブルを用い
て、確率パラメータに対する正読確率を求め、その正読
確率を認識結果の信頼度とする。

【０１５２】文字認識の信頼度が一定のしきい値より低
い場合には、ユーザに画像で保存することを通知して、
文字コードだけでなく、その文字列の画像も同時に管理
情報として保存し（ステップＳ１０６）、処理を終了す
る。信頼度がそのしきい値以上の場合には、文字コード
を管理情報として保存し（ステップＳ１０７）、処理を
終了する。

【０１５３】また、ユーザが画像モードを選択した場合
は、文字列の画像を管理情報として保存し（ステップＳ
１０８）、処理を終了する。ステップＳ１０３におい
て、他の保存方法として、文字コードと画像コードの両
方を保存するモードを設けることも、もちろん可能であ
る。また、ステップＳ１０５における信頼度として、認
識結果の文字コードと入力された文字パターンとの距離
値の情報を用い、距離値が小さいほど信頼度が高いもの
として判定を行ってもよい。

【０１５４】図２７は、管理情報を格納する格納テーブ
ルの例を示している。図２７の管理情報格納テーブルで
は、文字コード格納領域、画像格納領域、および文字コ
ードで保存するか画像コードで保存するかの区別を表す
種別フラグ領域（ｆｌａｇ）が設けられている。

【０１５５】例えば、種別フラグの値が“０”のとき
は、文字コードのみが保存されていることを表し、その
値が“１”のときは、画像コードのみが保存されている
ことを表し、その値が“２”のときは、文字コードと画
像コードの両方が保存されていることを表す。

【０１５６】また、図２８は、このような管理情報を検
索する管理情報検索処理のフローチャートである。処理
が開始されると、電子ファイリングシステムは、まず、
管理情報の検索方法をユーザに選択させる（ステップＳ
１１１）。検索方法としては、文字コードで検索するモ
ード、画像で検索するモード、および文字コードと画像
のリストを表示して、ユーザにブラウジングさせるモー
ドの３つのモードがある。

【０１５７】ユーザが文字コード検索を選択すれば、文
字コードにより管理情報を検索し（ステップＳ１１
２）、画像検索を選択すれば、画像により管理情報を検
索し（ステップＳ１１３）、ブラウジングを選択すれ
ば、管理情報格納テーブルに格納されている文字コード
と画像のリストを表示する（ステップＳ１１４）。そし
て、処理を終了する。

【０１５８】ステップＳ１１３において画像で検索する
場合は、ユーザに特定の画像のファイルを指定させる
か、適当な画像を選んで表示する。そして、その中の特
定の矩形部分を検索キーとしてユーザに指定させ、ユー
ザが指定した部分画像と管理情報格納テーブルに保存し
てある画像とを照合する。これらの画像同士の照合に
は、例えば、「画像理解のためのディジタル画像処理
［Ｉ］」（鳥脇純一郎著、昭晃堂）に記載されているよ
うな公知のテンプレートマッチングを用いる。

【０１５９】テンプレートマッチングでは、指定された
部分画像をモデル（テンプレート）として用い、それと
各管理情報格納テーブル内の画像との類似度を計算す
る。そして、類似度が最大となる管理情報、あるいは類
似度が一定値以上の管理情報を求める。そして、得られ
た管理情報に対応する文書画像を検索結果として表示す
る。

【０１６０】このような電子ファイリングシステムによ
れば、管理情報の文字列を文字コードで格納／検索する
だけでなく、画像そのもので格納／検索することもでき
るので、テクスチャ付き文字やデザインフォント、ロゴ
等の正確に認識しにくい文字でも、管理情報として扱う
ことができる。

【０１６１】ところで、図１７のステップＳ１５、Ｓ１
６においては、表形式文書のフォーム（フォーマット構
造）を識別するために、CROSS RATIO のＤＰマッチング
を用いたが、詳細識別は他の任意の方法により行うこと
もできる。

【０１６２】他の公知のフォーム自動識別法において
は、まず、既知の表形式文書のフォームの特徴量を、モ
デルとして辞書３１に登録しておく。そして、未知の表
形式文書の画像が入力されたときに、その画像から特徴
量を算出し、辞書のモデルとマッチングを行って、最も
類似するモデルを特定する。

【０１６３】モデルマッチングの１つの方法としては、
表全体を正規化後、各矩形セルの中心点の位置を算出
し、ほぼ同じ位置に中心点を持つモデルに投票を行い、
最大投票数を得たモデルを最適モデルとする方法があ
る。ここで、表の正規化とは、表の縦横比が１対１にな
るように画像全体を変換する等の調整処理を意味する。

【０１６４】また、もう１つの方法として、連合グラフ
を用いたマッチングがある。この方法では、まず、罫線
を抽出してから表全体を正規化し、入力された未知文書
と各モデルとの間で、ほぼ同じ位置かつ同じ長さの罫線
同士の組み合わせを求める。そして、図２９に示すよう
に、それらの各組み合わせを表すノードを平面上に配置
し、一定の幾何的制約を満たすノード間をパスで結ん
で、連合グラフを生成する。

【０１６５】ここで、幾何的制約とは、比較する未知文
書とモデルの間で罫線の順序関係を保存するという制約
条件や、一方の表の１つの罫線に他方の表の複数の罫線
が重複して対応することを禁止する制約条件等を指す。
図２９の４つのノードから成る連合グラフにおいては、
未知文書の罫線ａ１、ａ２、ａ３、ａ４は、それぞれ、
モデルの罫線ｂ１、ｂ２、ｂ３、ｂ４に対応している。

【０１６６】また、連合グラフの一部の部分グラフにお
いて、どのノードも他のすべてのノードとパスで結ばれ
ているとき、その部分グラフはクリークと呼ばれる。図
２９の連合グラフは、それ自身がクリークとなってい
る。連合グラフからノード数が最大の最大クリークを求
めることで、未知文書とモデルの類似度が求められ、最
大類似度を持つモデルが最適モデルとして抽出される。

【０１６７】これらのモデルマッチングでは、いずれ
も、未知の入力文書を正規化後、モデルと重ね合わせて
特徴量を比較することが重要なステップとなっている。
しかし、表の外郭形状の抽出精度が劣化したり、行の追
加等による若干のフォーム変更が行われたりした場合、
特徴量全体が影響を受けるため、識別が不安定になる。
特に、矩形セルの中心位置を用いる前者の方法において
その影響は大きい。

【０１６８】連合グラフを用いる後者の方法において
は、ノードを生成するための条件を緩くすることで対処
できるが、グラフの規模が大きくなるため、とりわけ最
大クリークを求める処理に時間がかかってしまう。

【０１６９】そこで、以下の実施形態では、罫線のかす
れやノイズによる罫線抽出の誤り、若干のフォーム変更
等に対して、ロバスト性（強靱さ）が優れ、しかも高速
なマッチング方法について述べる。ここで、ロバスト性
が優れているとは、マッチング結果が誤りや変更の影響
を受けにくいことを意味する。

【０１７０】このマッチング方法では、まず、罫線の表
全体に対する大きさ、位置を特徴量として、未知文書と
各モデルとの間で罫線と罫線の対応の可能性を調べ、対
応する罫線の組み合わせを求める。ここでは、可能性条
件を広くとることで、１本の罫線に対し複数の罫線が対
応可能とする。このように重複を許すことで、表の正し
い外郭形状の抽出に失敗した場合でも、その失敗がある
程度以下であれば、罫線間の正しい対応関係を見落とす
ことがなくなる。

【０１７１】次に、得られた対応関係の集合の中から、
互いに両立するものを１つのグループに集め、各対応関
係をいくつかのグループに振り分ける。この際、特徴量
としては、罫線と罫線の間の大きさの関係や位置関係等
を用いる。罫線間の相対的な関係を特徴量として用いる
ことで、かすれやノイズが特徴量全体にわたって大きな
影響を及ぼすことがなくなる。

【０１７２】さらに、グループ分けの際に、両立の性質
が推移的になるように、両立の条件を強くとることで、
両立の可否を調べる処理回数が上述の連合グラフをつく
る場合に比べて大幅に少なくなる。また、各グループに
含まれる対応関係は、平面上の１本のパスで表現するこ
とができるので、その数を数える時間もほとんどかから
ない。

【０１７３】ここで、両立が推移的とは、例えば、対応
Ａと対応Ｂが両立し、対応Ｂと対応Ｃが両立するとき、
必ず対応Ａと対応Ｃが両立することを意味する。この場
合には、改めて対応Ａと対応Ｃの両立性をチェックする
必要がないので、処理が高速化される。

【０１７４】そして、最後に、得られたグループ間の矛
盾のない組み合わせの中で、含まれる対応関係の数が最
大となる組み合わせを探索する。これにより、ある表に
行を１行だけ追加する等の若干の変更がある場合でも、
他の大部分の罫線が正しく対応していれば、そのモデル
を抽出することが可能になる。

【０１７５】図３０は、このようなマッチング方法を用
いたフォーム識別処理のフローチャートである。この処
理は、図４のステップＳ１１、Ｓ１２、Ｓ１５、Ｓ１６
の処理に対応し、特に、入力画像の詳細識別に関する。
処理が開始されると、管理情報抽出装置は、まず、画像
を入力し（ステップＳ１２１）、入力された画像から罫
線を抽出する（ステップＳ１２２）。

【０１７６】そして、その罫線を囲む矩形（罫線矩形）
の左上頂点の座標に関し、横罫線はｙ座標の小さい順
に、縦罫線はｘ座標の小さい順に、各罫線を並べ直す
（ステップＳ１２３）。ここで、横罫線のｙ座標が同じ
場合は、そのｘ座標の小さい順にソートし、縦罫線のｘ
座標が同じ場合は、そのｙ座標の小さい順にソートす
る。

【０１７７】次に、縦横各罫線について概略情報を抽出
する（ステップＳ１２４）。概略情報とは、表全体に対
する罫線の長さおよび位置の相対的な値であり、３つの
整数の組で表される。また、縦横各方向における２本の
罫線のすべての組み合わせを考え、各組み合わせに関す
る詳細情報を抽出する（ステップＳ１２５）。詳細情報
は、２本の罫線間の長さおよび位置の相対的な関係を表
す。

【０１７８】入力画像と照合されるモデルの概略情報お
よび詳細情報は、あらかじめ抽出されてレイアウト辞書
３１に格納されている。そこで、次に、入力画像の概略
情報および詳細情報と、モデルの概略情報および詳細情
報とを照合し、モデルマッチングを行う（ステップＳ１
２６）。そして、最適なモデルを識別結果として出力し
（ステップＳ１２７）、処理を終了する。

【０１７９】次に、図３１から図４１までを参照しなが
ら、ステップＳ１２４、Ｓ１２５、Ｓ１２６、およびＳ
１２７の処理について詳細に説明する。ステップＳ１２
４においては、概略情報を求めるための前処理として、
表の基準幅Ｗ、基準高Ｈ、基準ｘ座標ｘ０、および基準
ｙ座標ｙ０を求める。まず、横罫線に関してそれらの最
大長を求め、その長さに比べてあるしきい値以上の割合
（例えば０．８）の長さを持つ横罫線のうち、順位が最
初のものと最後のものとを求め、それらを外郭基準横罫
線とする。

【０１８０】縦罫線に関しても最大長を求め、横罫線の
場合と同様にして、２本の外郭基準縦罫線を得る。そこ
で、得られた４本の外郭基準罫線の外接矩形を考え、そ
の幅を基準幅Ｗ、その高さを基準高Ｈ、その左上頂点を
基準点とし、その座標を基準座標（ｘ０，ｙ０）とす
る。

【０１８１】例えば、図３１のような表形式文書におい
ては、横罫線８１、８２が外郭基準横罫線として抽出さ
れ、縦罫線８３、８４が外郭基準縦罫線として抽出さ
れ、これらの外郭基準罫線の外接矩形の幅が基準幅Ｗと
なり、その高さが基準高Ｈとなる。また、その外接矩形
の左上頂点８５の座標が基準座標（ｘ０，ｙ０）とな
る。

【０１８２】ここで、最大長から算出される一定長さ以
上の罫線の中から外郭基準罫線を選ぶことで、例えば、
横罫線８６、８７のような短い罫線が外郭基準罫線の候
補から除外される。

【０１８３】あるいはまた、これらの基準幅Ｗ、基準高
Ｈ、基準座標（ｘ０，ｙ０）を、次のようにして求める
ことも可能である。まず、基準座標の候補となる座標値
ｖｍａｘｘ、ｖｍｉｎｘ、ｖｍａｘｙ、ｖｍｉｎｙ、ｈ
ｍａｘｘ、ｈｍｉｎｘ、ｈｍａｘｙ、ｈｍｉｎｙを、次
式のように定義する。

【０１８４】ｖｍａｘｘ＝（縦罫線矩形の右下頂点のｘ座標の最大値）ｖｍｉｎｘ＝（縦罫線矩形の左上頂点のｘ座標の最小値）ｖｍａｘｙ＝（縦罫線矩形の右下頂点のｙ座標の最大値）ｖｍｉｎｙ＝（縦罫線矩形の左上頂点のｙ座標の最小値）ｈｍａｘｘ＝（横罫線矩形の右下頂点のｘ座標の最大値）（１０）ｈｍｉｎｘ＝（横罫線矩形の左上頂点のｘ座標の最小値）ｈｍａｘｙ＝（横罫線矩形の右下頂点のｙ座標の最大値）ｈｍｉｎｙ＝（横罫線矩形の左上頂点のｙ座標の最小値）次に、これらの座標値から、次式により基準幅と基準高
の候補を求める。

【０１８５】Ｗ１＝ｖｍａｘｘ−ｖｍｉｎｘＷ２＝ｈｍａｘｘ−ｈｍｉｎｘＨ１＝ｈｍａｘｙ−ｈｍｉｎｙ（１１）Ｈ２＝ｖｍａｘｙ−ｖｍｉｎｙそして、基準幅Ｗを、Ｗ＝ｍａｘ｛Ｗ１，Ｗ２｝（１２）により求め、Ｗ＝Ｗ１のとき、ｘ０＝ｖｍｉｎｘとし、
Ｗ＝Ｗ２のとき、ｘ０＝ｈｍｉｎｘとする。

【０１８６】また、基準高Ｈを、Ｈ＝ｍｉｎ｛Ｈ１，Ｈ２｝（１３）により求め、Ｈ＝Ｈ１のとき、ｙ０＝ｈｍｉｎｙとし、
Ｈ＝Ｈ２のとき、ｙ０＝ｖｍｉｎｙとする。

【０１８７】こうして、基準幅Ｗ、基準高Ｈ、基準座標
（ｘ０，ｙ０）が求められる。ただし、この方法は、上
述の方法に比べてノイズ等の影響を受けやすく、ロバス
ト性が比較的弱くなる。

【０１８８】ここでは、４本の外郭基準罫線の外接矩形
の左上頂点を基準点として選んだが、それ以外に、左下
頂点、右上頂点、右下頂点等、外接矩形の周辺上の任意
の点を基準点として選ぶことができる。その場合でも、
以下の処理は基本的に同様である。

【０１８９】次に、得られた表の大きさと基準座標をも
とにして、各罫線矩形の長さと中心位置の情報から、３
つの特徴量（概略情報）ｌｅｎｇｔｈ１、ｔｗｉｓｔ、
ｐｏｓｉｔｉｏｎを求める。横罫線の場合、図３２に示
すように、罫線矩形９１の長さｌ１と中心座標（ｘ１，
ｙ１）から、次式によりこれらの特徴量を算出する。

【０１９０】ｌｅｎｇｔｈ１＝［（ｌ１／Ｗ）×１００］の整数部分ｔｗｉｓｔ＝［（（ｘ１−ｘ０）／Ｗ）×１００］の整数部分（１４）ｐｏｓｉｔｉｏｎ＝［（（ｙ１−ｙ０）／Ｈ）×１００］の整数部分また、縦罫線の場合、図３３に示すように、罫線矩形９
２の長さｌ１と中心座標（ｘ１，ｙ１）から、次式によ
りこれらの特徴量を算出する。

【０１９１】ｌｅｎｇｔｈ１＝［（ｌ１／Ｈ）×１００］の整数部分ｔｗｉｓｔ＝［（（ｙ１−ｙ０）／Ｈ）×１００］の整数部分（１５）ｐｏｓｉｔｉｏｎ＝［（（ｘ１−ｘ０）／Ｗ）×１００］の整数部分得られた特徴量のうち、ｌｅｎｇｔｈ１は表のサイズに
対する罫線の長さの相対的な割合を表し、ｔｗｉｓｔと
ｐｏｓｉｔｉｏｎは、表の基準点に対する罫線の相対的
な位置を表している。

【０１９２】次に、ステップＳ１２５においては、２本
の罫線の相対的な関係を表す詳細情報を求める。ここで
は、一方の罫線矩形の長さを１としたときの、もう一方
の罫線矩形の長さｌｅｎｇｔｈ２、それぞれの罫線矩形
の中心間のｘ方向のずれの長さｄｉｆｆｅｒ、および中
心間のｙ方向のずれの長さｈｅｉｇｈｔの３つの値を、
詳細情報として求めることにする。

【０１９３】まず、２本の横罫線のすべての組み合わせ
を抽出する。そして、各組み合わせにおいて、図３４に
示すように、一方の罫線矩形（ソート順位の早い方）９
３の長さをｌ１、その中心座標を（ｘ１，ｙ１）、もう
一方の罫線矩形（ソート順位の遅い方）９４の長さをｌ
２、その中心座標を（ｘ２，ｙ２）とする。このとき、
罫線矩形９３の中心を基準として、これらの罫線矩形の
中心間のｘ方向のずれｄｗとｙ方向のずれをｄｈを次式
により定義する。

【０１９４】ｄｗ＝ｘ２−ｘ１ｄｈ＝ｙ２−ｙ１（１６）この定義によれば、罫線矩形９４の中心が罫線矩形９３
の中心より右にあれば、ｄｗは正となり、罫線矩形９４
の中心が罫線矩形９３の中心より左にあれば、ｄｗは負
となる。同様に、罫線矩形９４の中心が罫線矩形９３の
中心より下にあれば、ｄｈは正となり、罫線矩形９４の
中心が罫線矩形９３の中心より上にあれば、ｄｈは負と
なる。

【０１９５】次に、上述の３つの特徴量ｌｅｎｇｔｈ
２、ｄｉｆｆｅｒ、ｈｅｉｇｈｔを、次式により算出す
る。ｌｅｎｇｔｈ２＝１２／ｌ１ｄｉｆｆｅｒ＝ｄｗ／ｌ１（１７−１）ｈｅｉｇｈｔ＝ｄｈ／ｌ１また、縦罫線についても同様に、２本の罫線のすべての
組み合わせを抽出する。そして、各組み合わせにおい
て、図３５に示すように、ソート順位の早い方の罫線矩
形９５の長さをｌ１、その中心座標を（ｘ１，ｙ１）、
ソート順位の遅い方の罫線矩形９６の長さをｌ２、その
中心座標を（ｘ２，ｙ２）とする。そして、（１６）式
によりｄｗとｄｈを求め、次式により、詳細情報ｌｅｎ
ｇｔｈ２、ｄｉｆｆｅｒ、ｈｅｉｇｈｔを算出する。

【０１９６】ｌｅｎｇｔｈ２＝１２／ｌ１ｄｉｆｆｅｒ＝ｄｈ／ｌ１（１７−２）ｈｅｉｇｈｔ＝ｄｗ／ｌ１（１７−２）式においては、ｄｉｆｆｅｒとｈｅｉｇｈ
ｔの定義が、（１７−１）式と逆になっている。次に、
ステップＳ１２６において、横罫線同士と縦罫線同士の
２回に分けて、入力画像の概略情報および詳細情報を、
各モデルの概略情報および詳細情報と照合し、フォーム
の類似度を計算する。

【０１９７】図３６は、このようなモデルマッチング処
理のフローチャートである。処理が開始されると、管理
情報抽出装置は、まず、未知文書の入力画像の横罫線の
数をｐ本、モデルの横罫線の数をｍ本として、図３７に
示すようなｐ×ｍの表を作成する（ステップＳ１３
１）。

【０１９８】ここでは、ｐ＝１２、ｍ＝１５であり、表
の行番号および列番号は、ともに０から始まっている。
この表のｉ行ｊ列の要素（項目）は、入力画像のｉ番目
の罫線とモデルのｊ番目の罫線の対応関係を表すデータ
である。以下では、このような表をマッチングテーブル
と呼ぶことにする。

【０１９９】次に、概略情報に基づいて、入力画像のｉ
番目の横罫線ＩＰ（ｉ）が、モデルのｊ番目の横罫線Ｍ
Ｏ（ｊ）に対応するかどうかの可能性を判断し、対応す
る可能性があれば、マッチングテーブルのｉ行ｊ列の要
素にノードを配置する（ステップＳ１３２）。これによ
り、横罫線ＩＰ（ｉ）と横罫線ＭＯ（ｊ）の組み合わせ
がマッチングテーブル上に記述される。このときの対応
可能性の条件は十分緩くとっておき、一つの罫線に対し
て、複数の罫線が重複して対応することを許すものとす
る。

【０２００】ここでは、罫線ＩＰ（ｉ）の概略情報（ｌ
ｅｎｇｔｈ１，ｔｗｉｓｔ，ｐｏｓｉｔｉｏｎ）をそれ
ぞれ（ｉｐｌ，ｉｐｔ，ｉｐｐ）とおき、罫線ＭＯ
（ｊ）の概略情報をそれぞれ（ｍｏｌ，ｍｏｔ，ｍｏ
ｐ）とおいて、各値の差が一定値より小さいとき、罫線
ＩＰ（ｉ）と罫線ＭＯ（ｊ）が対応する可能性があると
みなす。

【０２０１】可能性を表す具体的な条件は、表内の横罫
線の数に依存したパラメータα、および縦罫線の数に依
存したパラメータβをしきい値として、次式により与え
られる。

【０２０２】｜ｉｐｌ−ｍｏｌ｜＜β ｜ｉｐｔ−ｍｏｔ｜＜β （１８）｜ｉｐｐ−ｍｏｐ｜＜α これらの罫線の数に依存したパラメータα、βは正の整
数で、罫線数が少ないほど大きな値をとり、逆に罫線数
が多いほど小さな値をとるように定められる。このと
き、（１８）式の条件は、表内の罫線の密度が疎であれ
ばマッチングの探索範囲を広げ、密度が密であれば探索
範囲を狭めるという効果を持つ。α、βは、例えば、図
３８に示すように、横、縦の罫線数に対して単調に減少
する関数として定義できる。

【０２０３】このように、概略情報が互いに類似してい
る罫線同士の対応関係をノードで表現することで、入力
画像とモデルの間の、表の外郭部分に対する相対的な特
徴の類似点が抽出される。

【０２０４】次に、詳細情報に基づいて、配置されたノ
ードの中で、互いに特定の関係を満たすもの同士、すな
わち両立するもの同士の組み合わせを探索する（ステッ
プＳ１３３）。そして、それらのノードを同じグループ
に属するノードとみなして、パスで結ぶ。

【０２０５】ここで、ｉ行ｊ列のノードｎ（ｉ，ｊ）と
ｋ行ｌ列のノードｎ（ｋ，ｌ）が特定の関係を満たすと
は、入力画像のｉ番目の罫線とｋ番目の罫線の関係が、
モデルのｊ番目の罫線とｌ番目の罫線の関係に比例して
いることを指す。言い換えれば、入力画像のｉ番目の罫
線とモデルのｊ番目の罫線をぴったり重ね合わせたと
き、入力画像のｋ番目の罫線とモデルのｌ番目の罫線が
ぴったり重なり合う状況を指す。

【０２０６】このようなノード同士を１本のパスで結ぶ
ことで、ノードがいくつかのグループに分類される。ノ
ードの数が多いグループほど、入力文書とモデルが類似
していることを強く表していると考えられるので、この
ようなグループを対象とすることで、モデルマッチング
における類似度の計算を効率よく行うことができる。

【０２０７】また、あるノードと両立するノードを探索
する際、処理の効率を高めるため、常に前者のノードの
右下の領域に位置するノードを探索対象とする。これに
より、図２９に示したようなクリークが生成されなくな
るので、ノード数の多いパスを高速に求めることが可能
になる。パス生成の具体的な処理については後述する。

【０２０８】次に、得られたパスの集合の中で、互いに
矛盾しないパスの組み合わせを求め、いくつかの組み合
わせのうち、含まれるノード数が最大のものを探索する
（ステップＳ１３４）。そして、そのパスの組み合わせ
を最適パス集合とする。２つのパスが互いに矛盾しない
とは、それぞれのパスの中のノードに対応する罫線の集
合の範囲が、互いに重なり合わないということである。

【０２０９】図３７のマッチングテーブルにおいて、２
つの罫線集合の範囲が重なり合う場合は、図３９に示す
ように、入力画像とモデルの間で対応する罫線の順序関
係が逆転する場合と、図４０に示すように、罫線と罫線
の対応が重複する場合の２通りある。

【０２１０】図３９においては、実線で表されたグルー
プに属するモデル側の罫線の範囲は０番目から９番目と
なっており、破線で表されたグループに属するモデル側
の罫線の範囲は７番目から８番目となっている。したが
って、２つの罫線集合の範囲が互いに重なっている。同
様に、図４０においても、実線で表されたグループと破
線で表されたグループの罫線集合の範囲が、モデル側に
おいて互いに重なっている。

【０２１１】一方、矛盾したパスの組み合わせを含まな
い最適パス集合においては、図４１に示すように、入力
画像とモデルの両方の側において、各罫線集合の範囲は
重なり合うことがない。このような最適パス集合に含ま
れる各ノードによって表される罫線間の対応関係が、最
適な対応関係である。

【０２１２】次に、入力画像の横罫線数をｐｈ、モデル
の横罫線数をｍｈ、横罫線の最適パス集合に含まれるノ
ード数をｍａｘｈとして、入力画像とモデルの横罫線の
類似度ＳＨを次式により求める（ステップＳ１３５）。

【０２１３】ＳＨ＝ｍａｘｈ／ｐｈ＋ｍａｘｈ／ｍｈ（１９）この類似度ＳＨは、入力画像の横罫線のうち、最適パス
集合に対応するものの割合と、モデルの横罫線のうち、
最適パス集合に対応するものの割合の和を表し、一般
に、入力画像とモデルの横罫線の特徴が類似しているほ
ど大きな値をとる。

【０２１４】管理情報抽出装置は、以上説明したステッ
プＳ１３１からステップＳ１３５までと同様の処理を縦
罫線についても行う。そして、入力画像の縦罫線数をｐ
ｖ、モデルの縦罫線数をｍｖ、縦罫線の最適パス集合に
含まれるノード数をｍａｘｖとして、入力画像とモデル
の縦罫線の類似度ＳＶを次式により求める。

【０２１５】ＳＶ＝ｍａｘｖ／ｐｖ＋ｍａｘｖ／ｍｖ（２０）そして、最終的に、ＳＨとＳＶから、次式により入力画
像とモデルの罫線の類似度Ｓを算出し、モデルマッチン
グを終了する。

【０２１６】Ｓ＝ＳＨ＋ＳＶ（２１）例えば、図４のステップＳ１４の大分類により得られた
すべての表の候補をモデルとして、このようなモデルマ
ッチングを行うことで、各モデルと入力画像の類似度が
算出される。ステップＳ１２７においては、これらのモ
デルのうち最も類似度の高いのものを、最適モデルとし
て出力する。これにより、入力画像に対応する辞書フォ
ームが特定される。

【０２１７】次に、図４２から図４８までを参照しなが
ら、図３６のノード配置処理、パス生成処理、および最
適パス集合決定処理について、さらに詳しく説明する。
図４２は、図３６のステップＳ１３２におけるノード配
置処理のフローチャートである。ここでは、入力画像の
ｉ番目の罫線の概略情報ｌｅｎｇｔｈ１、ｔｗｉｓｔ、
ｐｏｓｉｔｉｏｎを、それぞれｉｐｌ（ｉ）、ｉｐｔ
（ｉ）、ｉｐｐ（ｉ）とおき、モデルのｊ番目の罫線の
概略情報を、それぞれｍｏｌ（ｊ）、ｍｏｔ（ｊ）、ｍ
ｏｐ（ｊ）とおく。

【０２１８】また、マッチングテーブルのｉ行ｊ列の要
素を表すデータをｓｉｇｎ（ｉ，ｊ）とおく。ｓｉｇｎ
（ｉ，ｊ）＝０のときは、対応する要素にノードは配置
されず、ｓｉｇｎ（ｉ，ｊ）＝１のときは、その要素に
ノードが配置される。

【０２１９】処理が開始されると、管理情報抽出装置
は、まず、条件｜ｉｐｐ（ｉ）−ｍｏｐ（ｊ）｜＜αが
成り立つかどうかを判定する（ステップＳ１４１）。こ
の条件が成り立たなければ、ｓｉｇｎ（ｉ，ｊ）＝０と
おいて（ステップＳ１４２）、処理を終了する。

【０２２０】ステップＳ１４１の条件が成り立てば、次
に、条件｜ｉｐｔ（ｉ）−ｍｏｔ（ｊ）｜＜βが成り立
つかどうかを判定する（ステップＳ１４３）。この条件
が成り立たなければ、ｓｉｇｎ（ｉ，ｊ）＝０とおいて
（ステップＳ１４４）、処理を終了する。

【０２２１】ステップＳ１４３の条件が成り立てば、次
に、条件｜ｉｐｌ（ｉ）−ｍｏｌ（ｊ）｜＜βが成り立
つかどうかを判定する（ステップＳ１４５）。この条件
が成り立たなければ、ｓｉｇｎ（ｉ，ｊ）＝０とおいて
（ステップＳ１４６）、処理を終了する。そして、ステ
ップＳ１４５の条件が成り立てば、ｓｉｇｎ（ｉ，ｊ）
＝１とおいて、ｉ行ｊ列にノードを配置し（ステップＳ
１４７）、処理を終了する。

【０２２２】このような処理を、マッチングテーブルの
すべての位置（ｉ，ｊ）について行うことで、概略情報
が類似した２つの罫線に対応する位置に、それらの間の
対応関係を表すノードが配置される。

【０２２３】また、図４３、４４は、図３６のステップ
Ｓ１３３におけるパス生成処理のフローチャートであ
る。処理が開始されると、管理情報抽出装置は、まず、
初期化処理を行う（図４３、ステップＳ１５１）。ここ
では、マッチングテーブル上でノードが配置された要素
の位置（ｉ，ｊ）を、ノード列としてメモリ内の記憶部
に格納する。記憶部内でのノードの並べ方は、行番号ｉ
の小さい順とし、同じｉに対しては列番号ｊの小さい順
とする。また、このノード列の各ノードには、パスで結
ばれたかどうかを示すフラグが付加される。

【０２２４】例えば、図３７のマッチングテーブルに対
応する記憶部のノード列は、図４５に示すようになる。
図４５の記憶部においては、マッチングテーブル上の各
ノードの位置（０，０）、（１，０）、（１，１）、
（２，０）、・・・、（１１，１４）が順に格納され、
それらのフラグの値は１に初期化されている。フラグの
値が１のとき、対応するノードはまだパスで結ばれてい
ないことを表す。

【０２２５】次に、記憶部の先頭のデータにアクセスし
（ステップＳ１５２）、そのアクセスポイントからｉと
ｊを読み出して、その位置に対応するマッチングテーブ
ル上の要素をマークする（ステップＳ１５３）。そし
て、マークした要素のノードを基準ノードとして、その
要素のｓｉｇｎを０にし、対応する記憶部のフラグを０
にする（ステップＳ１５４）。

【０２２６】次に、制御変数ｃｏｕｎｔの値を０とおき
（ステップＳ１５５）、マークした要素がマッチングテ
ーブルの最終列に対応しているか、または、ｃｏｕｎｔ
の値があらかじめ決められた定数ｈに達したかを調べる
（ステップＳ１５６）。これらの条件がいずれも満たさ
れなければ、次に、マーク位置を１列分右に進め（ステ
ップＳ１５７）、マーク位置が最終行に対応しているか
どうかを調べる（ステップＳ１５８）。

【０２２７】ここで、マーク位置が最終行であれば、ｃ
ｏｕｎｔの値に１を加算して（ステップＳ１５９）、次
の列の要素を調べるために、ステップＳ１５６以降の処
理を繰り返す。マーク位置が最終行でなければ、次に、
そのマーク位置を１行分下に進め（ステップＳ１６
０）、ここでマークした要素のｓｉｇｎが０か１かを判
定する（ステップＳ１６１）。

【０２２８】その値が０であれば、マーク位置にノード
は配置されていないので、同じ列内の他の要素を調べる
ために、ステップＳ１５８以降の処理を繰り返す。ｓｉ
ｇｎが１であれば、マーク位置にノードが配置されてい
るので、そのノードが基準ノードとパスで結べるかどう
かを判定する（ステップＳ１６２）。２つのノードがパ
スで結べるかどうかは、これらのノードに対応する罫線
間の詳細情報ｌｅｎｇｔｈ２、ｄｉｆｆｅｒ、ｈｅｉｇ
ｈｔを用いて判定される。

【０２２９】例えば、図４６に示すように、入力画像に
おいて、基準ノードに対応する罫線１０１と判定対象の
ノードに対応する罫線１０２との間の相対的な関係を表
す詳細情報を、ｌｅｎｇｔｈ２＝ｌ２／ｌ１、ｄｉｆｆ
ｅｒ＝ｄｗ／ｌ１、ｈｅｉｇｈｔ＝ｄｈ／ｌ１とおく。

【０２３０】また、モデルにおいて、基準ノードに対応
する罫線１０３と、判定対象のノードに対応する罫線１
０４との間の相対的な関係を表す詳細情報を、ｌｅｎｇ
ｔｈ２＝ｌ２′／ｌ１′、ｄｉｆｆｅｒ＝ｄｗ′／ｌ
１′、ｈｅｉｇｈｔ＝ｄｈ′／ｌ１′とおく。

【０２３１】このとき、経験的に決められるしきい値ε
１、ε２、ε３に対して次式が成り立てば、基準ノード
と判定対象のノードが両立し、これらの間をパスで結べ
るものとする。

【０２３２】｜ｌ２／ｌ１−ｌ２′／ｌ１′｜＜ε１｜ｄｗ／ｌ１−ｄｗ′／ｌ１′｜＜ε２（２２）｜ｄｈ／ｌ１−ｄｈ′／ｌ１′｜＜ε３しきい値ε１、ε２、ε３を十分小さくとることで、
（２２）式は、罫線１０１と罫線１０２から成る図形
が、罫線１０３と罫線１０４から成る図形と相似である
ことを表すようになる。これらの罫線図形が相似であれ
ば、罫線１０１と罫線１０３を対応させたとき、同時
に、罫線１０２と罫線１０４が対応する可能性が高いの
で、２つのノードは両立するとみなされる。

【０２３３】このように、パスを引く条件として相似条
件を用いることで、ノード間の両立性を判定する回数を
削減することができる。例えば、図３７のマッチングテ
ーブルにおいて、ノード９７を基準ノードとした場合、
ノード９７とノード９８が両立し、かつ、ノード９７と
ノード９９が両立すれば、ノード９８とノード９９も両
立するとみなしてよい。

【０２３４】そこで、ノード９９が基準ノード９７とパ
スで結べると判定したとき、そのノード９９はすでに基
準ノード９７とパスで結ばれているノード９８ともパス
で結べるものと判断する。

【０２３５】マーク位置のノードが基準ノードとパスで
結べない場合は、同じ列内の他のノードを調べるため
に、ステップＳ１５８以降の処理を繰り返す。また、そ
れらがパスで結べる場合は、そのマーク位置のノードに
対応する記憶部内のフラグを０に書き換える（ステップ
Ｓ１６３）。これにより、そのノードが、基準ノードま
たはすでにパス上に存在する１つ前のノードと結ばれた
ことが記録される。そして、次の列のノードを調べるた
めに、ステップＳ１５６以降の処理を繰り返す。

【０２３６】ステップＳ１５６以降の処理では、マーク
位置を１列進めた後、直ちに１行進めることで、常に、
前のマーク位置の右下にある要素を探索対象とする。こ
れを繰り返すことで、マッチングテーブルの右下に向か
って、徐々にパスが伸張されていく。

【０２３７】そして、ステップＳ１５６の条件が満たさ
れると、次に、基準ノードから伸びたパスのヒット数が
２以上かどうかを調べる（図４４、ステップＳ１６
４）。ここで、ヒット数とは、パスの構成ノードの数を
意味する。構成ノードの数が２以上であれば、そのパス
を正式に登録し、その構成ノードの情報を記録する（ス
テップＳ１６５）。パスの構成ノードの数が１の場合
は、基準ノードからいずれの他のノードにもパスが引か
れなかったことを意味するので、パス登録は行わない。

【０２３８】次に、記憶部内にアクセスされていないデ
ータが残っているかどうかを調べる（ステップＳ１６
６）。データが残っていれば、記憶部のアクセスポイン
トを一つ進めて（ステップＳ１６７）、その位置のフラ
グの値を調べる（ステップＳ１６８）。そして、フラグ
が０であれば、その位置のノードはすでにパス上に加え
られているので、ステップＳ１６６以降の処理を繰り返
して次のデータを調べる。

【０２３９】また、フラグが１であれば、その位置のノ
ードはまだパスに加えられていないので、ステップＳ１
５３以降の処理を繰り返す。これにより、そのノードを
新たな基準ノードとする新しいパスが生成される。そし
て、ステップＳ１６６において、記憶部のアクセスポイ
ントが最後尾に達すれば、処理を終了する。

【０２４０】また、図４７は、図３６のステップＳ１３
４における最適パス集合決定処理のフローチャートであ
る。この処理においては、ｐ行ｍ列の横罫線または縦罫
線のマッチングテーブルを対象とし、暫定的な最適パス
集合のノード数を表す配列ｓｃｏｒｅ（ｉ）（ｉ＝０，
１，２，．．．，ｍ）と、行番号を表す配列ｒｉｒｅｋ
ｉ（ｉ）（ｉ＝０，１，２，．．．，ｍ）を用いる。

【０２４１】処理が開始されると、管理情報抽出装置
は、まず、最適パス集合のノード数の初期値を表すｓｃ
ｏｒｅ（ｍ）を０とおき、行番号の初期値を表すｒｉｒ
ｅｋｉ（ｍ）をｐ−１とおく（ステップＳ１７１）。

【０２４２】次に、列番号を表す変数ｉをｍ−１とおき
（ステップＳ１７２）、登録されたパスの中で、始点と
なる左上のノードの列番号がｉであるようなパスの集合
をＰａｔｈ（ｉ）とする（ステップＳ１７３）。また、
ｓｃｏｒｅ（ｉ）＝ｓｃｏｒｅ（ｉ＋１）、ｒｉｒｅｋ
ｉ（ｉ）＝ｒｉｒｅｋｉ（ｉ＋１）とおく（ステップＳ
１７４）。このｓｃｏｒｅ（ｉ）は、ｉ番目の列から最
終列（ｍ−１番目の列）までの範囲における暫定的な最
適パス集合のノード数を表す。

【０２４３】次に、集合Ｐａｔｈ（ｉ）の１つのパスを
取り出し、そのノードの情報を用いてｓｃｏｒｅ（ｉ）
を更新する（ステップＳ１７５）。そして、集合Ｐａｔ
ｈ（ｉ）にパスが残っているかどうかを調べ（ステップ
Ｓ１７６）、残っていれば、次のパスを取り出してｓｃ
ｏｒｅ（ｉ）の計算を繰り返す。

【０２４４】集合Ｐａｔｈ（ｉ）のすべてのパスに関す
る計算が終了すると、次に、ｉが０に達したかどうかを
判定し（ステップＳ１７７）、ｉが１以上であれば、ｉ
＝ｉ−１とおいて（ステップＳ１７８）、ステップＳ１
７３以降の処理を繰り返す。そして、ｉが０に達したと
き、得られたｓｃｏｒｅ（０）の値を最終的な最適パス
集合のノード数として（ステップＳ１７９）、処理を終
了する。

【０２４５】横罫線のマッチングテーブルから得られた
ｓｃｏｒｅ（０）の値は、類似度の計算において、（１
９）式のｍａｘｈとして用いられ、縦罫線のマッチング
テーブルから得られたｓｃｏｒｅ（０）の値は、（２
０）式のｍａｘｖとして用いられる。

【０２４６】次に、図４８を参照しながら、図４７のス
テップＳ１７５のノード数更新処理について説明する。
ノード数更新処理が開始されると、管理情報抽出装置
は、まず、集合Ｐａｔｈ（ｉ）の１つのパスを取り出
し、そのパスの始点の行番号をｓｇとし、終点となる右
下のノードの列番号、行番号をそれぞれｅｒ、ｅｇと
し、パスに含まれるノードの数をｈｉｔｓとする（ステ
ップＳ１８１）。

【０２４７】例えば、図３７のマッチングテーブルにお
いて、ｉ＝１１のとき、Ｐａｔｈ（１１）には右下の領
域のパスｐ１、ｐ２が含まれる。このうち、パスｐ１に
ついては、ｓｇ＝８、ｅｒ＝１４、ｅｇ＝１１となり、
パスｐ２については、ｓｇ＝６、ｅｒ＝１２、ｅｇ＝７
となる。

【０２４８】次に、列番号を表す変数ｊをｅｒ＋１とお
き（ステップＳ１８２）、ｅｇとｒｉｒｅｋｉ（ｊ）の
値を比較する（ステップＳ１８３）。ここで、ｅｇがｒ
ｉｒｅｋｉ（ｊ）より大きければ、次に、ｓｃｏｒｅ
（ｊ）＋ｈｉｔｓ＞ｓｃｏｒｅ（ｉ）、または、ｓｃｏ
ｒｅ（ｊ）＋ｈｉｔｓ＝ｓｃｏｒｅ（ｉ）かつｅｇ＜ｒ
ｉｒｅｋｉ（ｉ）が成り立つかどうかを判定する（ステ
ップＳ１８４）。

【０２４９】そして、これらの条件のいずれかが成り立
てば、ｓｃｏｒｅ（ｉ）＝ｓｃｏｒｅ（ｊ）＋ｈｉｔ
ｓ、ｒｉｒｅｋｉ（ｉ）＝ｅｇとおいて（ステップＳ１
８５）、処理を終了する。

【０２５０】また、ステップＳ１８３においてｅｇがｒ
ｉｒｅｋｉ（ｊ）以下のとき、および、ステップＳ１８
４においていずれの条件も成り立たないときは、ｊ＝ｊ
＋１とおいて（ステップＳ１８６）、ｊとｍを比較する
（ステップＳ１８７）。ここで、ｊがｍ以下であれば、
ステップＳ１８３以降の処理を繰り返し、ｊがｍを越え
ると、処理を終了する。

【０２５１】こうして、１つ前の処理で暫定的に決めら
れた最適パス集合にパスを１つ加えてできる集合から、
新たな最適パス集合が抽出され、そのノード数がｓｃｏ
ｒｅ（ｉ）に記録される。このような処理を、Ｐａｔｈ
（ｉ）のすべてのパスについて繰り返すことで、ｉ番目
の列から最終列までの範囲における最適パス集合のノー
ド数が得られる。

【０２５２】例えば、図３７において、１１番目の列か
ら最終列までの範囲における互いに矛盾しないパスの組
み合わせとしては、パスｐ１のみと、パスｐ２およびｐ
３の組み合わせの２つが考えられる。これらの組み合わ
せのノード数はともに４なので、ｓｃｏｒｅ（１１）＝
４となる。

【０２５３】以上説明したフォーム識別処理は、管理情
報抽出装置だけでなく、文書認識装置、図面読み取り装
置等の任意の画像認識装置にも適用でき、任意の画像中
の罫線構造を識別する際に有効である。

【０２５４】本実施形態のフォーム識別処理によれば、
罫線間の相対的な関係を特徴量として用いているので、
入力された表形式文書から罫線構造を抽出し、登録され
た表形式文書のフォームとマッチングを行う際に、かす
れやノイズ等の影響で罫線がうまく抽出されない部分が
あっても、安定して正しい識別が行われる。とりわけ、
ノイズの影響で罫線抽出が不安定になりやすい外郭罫線
抽出の精度劣化に対しても、ノード配置のための条件を
広くとることで、ロバスト性を保つことができる。

【０２５５】また、１つ以上のパスの組み合わせである
最適パス集合を求めることで、１行追加、削除などの若
干のフォーム変更に対しても、安定して正しい識別が行
われる。さらに、２つのノードに関する両立の条件を推
移的とすることで、両立性のチェック回数が削減され、
高速な識別処理が可能になる。

【０２５６】

【発明の効果】本発明によれば、表形式文書等の画像の
フォームと管理情報の位置が自動的に学習され、辞書に
記憶されるので、それらの情報を用いて、任意の入力画
像における管理情報の位置を高精度に算出することがで
きる。

【０２５７】特に、画像情報の変動に強い特徴量を用い
ているので、かすれや潰れのある文書画像でも管理情報
の抽出が可能になる。また、フォームの学習／照合を大
分類と詳細識別の２段階で候補を絞りながら処理を実行
し、詳細識別では表の外側の形状の特徴を用いて１次元
マッチングで識別するので、高速に管理情報が抽出され
る。

【０２５８】さらに、管理情報を文字コードで格納／検
索するだけでなく、画像そのもので格納／検索すること
もできるので、テクスチャ付き文字等の正確に文字認識
しにくい文字でも、管理情報として扱うことが可能にな
る。

【図面の簡単な説明】

【図１】本発明の管理情報抽出装置の原理図である。

【図２】管理情報抽出処理を示す図である。

【図３】フォーム学習時の処理の第１のフローチャート
である。

【図４】運用時の処理の第１のフローチャートである。

【図５】情報処理装置の構成図である。

【図６】フォーム学習時の処理の第２のフローチャート
である。

【図７】罫線構造抽出処理を示す図である。

【図８】管理情報位置指定処理を示す図である。

【図９】第１の大分類用罫線特徴を示す図である。

【図１０】第２の大分類用罫線特徴を示す図である。

【図１１】第３の大分類用罫線特徴を示す図である。

【図１２】第４の大分類用罫線特徴を示す図である。

【図１３】交点列の抽出方法を示す図である。

【図１４】交点列を示す図である。

【図１５】CROSS RATIO 算出処理のフローチャートであ
る。

【図１６】CROSS RATIO を用いた外郭罫線特徴を示す図
である。

【図１７】運用時の処理の第２のフローチャートであ
る。

【図１８】ＤＰマッチングを示す図である。

【図１９】ＤＰマッチング処理のフローチャートであ
る。

【図２０】管理情報位置算出処理のフローチャート（そ
の１）である。

【図２１】管理情報位置算出処理のフローチャート（そ
の２）である。

【図２２】管理情報位置算出処理のフローチャート（そ
の３）である。

【図２３】ユーザ登録モードと自動学習モードを備えた
管理情報抽出処理を示す図である。

【図２４】表内管理情報抽出処理のフローチャートであ
る。

【図２５】罫線のない文書画像の管理情報抽出処理のフ
ローチャートである。

【図２６】管理情報格納処理のフローチャートである。

【図２７】管理情報格納テーブルを示す図である。

【図２８】管理情報検索処理のフローチャートである。

【図２９】連合グラフを示す図である。

【図３０】フォーム識別処理のフローチャートである。

【図３１】基準幅、基準高、基準点を示す図である。

【図３２】横罫線を示す図である。

【図３３】縦罫線を示す図である。

【図３４】横罫線の詳細情報を示す図である。

【図３５】縦罫線の詳細情報を示す図である。

【図３６】モデルマッチング処理のフローチャートであ
る。

【図３７】マッチングテーブルを示す図である。

【図３８】しきい値の関数を示す図である。

【図３９】順序関係が逆になる場合を示す図である。

【図４０】対応罫線が重複する場合を示す図である。

【図４１】最適パス集合が示す罫線の対応関係を示す図
である。

【図４２】ノード配置処理のフローチャートである。

【図４３】パス生成処理のフローチャート（その１）で
ある。

【図４４】パス生成処理のフローチャート（その２）で
ある。

【図４５】記憶部のノード列を示す図である。

【図４６】詳細情報を用いた判定処理を示す図である。

【図４７】最適パス集合決定処理のフローチャートであ
る。

【図４８】ノード数更新処理のフローチャートである。

【図４９】先願のタイトル抽出装置の構成図である。

【図５０】表形式文書を示す図である。

【符号の説明】

１文字領域生成部２文字列領域生成部３タイトル抽出部１１承認欄１２項目名１３タイトル２１ユーザ登録手段２２計算手段２３辞書手段２４照合手段２５抽出手段２６格納手段２７グループ生成手段２８検索手段３１レイアウト辞書３２、７１、７２未知文書３３文字列領域４１ＣＰＵ４２メモリ４３入力装置４４出力装置４５外部記憶装置４６媒体駆動装置４７ネットワーク接続装置４８光電変換装置４９バス５０可搬記録媒体５０′ データベース５１矩形セル５２、５３、５４、５５、５６、５７、５８、５９、８
５頂点６１、６２、６３、６４、６５、６６、６７、６８、６
９、７０交点７３ユーザ辞書７４、７５、７６、７７処理結果８１、８２、８３、８４、８６、８７罫線９１、９２、９３、９４、９５、９６、１０１、１０
２、１０３、１０４罫線矩形９７、９８、９９ノード

Claims

【特許請求の範囲】

【請求項１】任意の入力画像に含まれる表領域の外郭
部分に対する罫線の相対的な位置情報に基づいて、該入
力画像に含まれる管理情報の位置を算出する計算手段
と、前記計算手段が算出した位置に基づいて、前記入力画像
から前記管理情報を抽出する抽出手段とを備えることを
特徴とする管理情報抽出装置。
【請求項２】前記計算手段は、前記表領域の外郭部分
の情報として、該表領域の基準となる大きさと該表領域
の外郭付近の基準点の位置のうち、少なくとも一方の情
報を求めることを特徴とする請求項１記載の管理情報抽
出装置。
【請求項３】前記計算手段は、前記表領域の外郭部分
の情報として、該表領域の外郭付近の２つ以上の基準点
の位置を求め、該２つ以上の基準点に対する相対的な位
置情報に基づいて、前記管理情報の位置を算出すること
を特徴とする請求項１記載の管理情報抽出装置。
【請求項４】前記計算手段は、２つの罫線の交点の位
置情報、２つの罫線の交差形状、入力画像に含まれる交
点の数、および罫線により囲まれた特定の形状の矩形セ
ルの頻度のうち、少なくとも１つ以上の情報を罫線構造
の特徴として用いて、前記管理情報の位置を算出するこ
とを特徴とする請求項１記載の管理情報抽出装置。
【請求項５】前記計算手段は、罫線の種類が実線の場
合と破線の場合とを区別して、前記罫線構造の特徴を求
めることを特徴とする請求項４記載の管理情報抽出装
置。
【請求項６】前記計算手段は、前記罫線の抽出の信頼
度を罫線構造の特徴として用いて、前記管理情報の位置
を算出することを特徴とする請求項１記載の管理情報抽
出装置。
【請求項７】前記計算手段は、前記罫線上に並んでい
る複数の交点間の２つ以上の間隔の比率を、罫線構造の
特徴として用いて、前記管理情報の位置を算出すること
を特徴とする請求項１記載の管理情報抽出装置。
【請求項８】前記計算手段は、複数の罫線上で、前記
複数の交点の並びを前記表領域の外郭付近から抽出し、
前記間隔の比率を各罫線に対応する要素とする特徴ベク
トルを求め、該特徴ベクトルを用いて前記表領域の外郭
形状の特徴を表現することを特徴とする請求項７記載の
管理情報抽出装置。
【請求項９】前記計算手段は、前記入力画像の外側か
ら、左右上下の４方向のうち少なくとも１つ以上の方向
で前記表領域の外郭形状の特徴を求め、該外郭形状の特
徴を用いて前記管理情報の位置を算出することを特徴と
する請求項１記載の管理情報抽出装置。
【請求項１０】１つ以上の表のフォームの罫線構造の
特徴と、各表のフォーム内の管理情報の位置情報とを格
納する辞書手段と、前記入力画像の罫線構造の特徴を前
記辞書手段に格納された罫線構造の特徴と照合する照合
手段とをさらに備え、前記計算手段は、前記照合手段に
よる照合結果に基づいて、前記辞書手段に格納された管
理情報の位置情報を参照し、前記入力画像の管理情報の
位置を算出することを特徴とする請求項１記載の管理情
報抽出装置。
【請求項１１】前記照合手段は、大分類用の罫線構造
の特徴を用いて照合の候補となる表のフォームを絞り込
み、詳細識別用の罫線構造の特徴を用いて照合を行い、
前記入力画像に対応する表のフォームを決定することを
特徴とする請求項１０記載の管理情報抽出装置。
【請求項１２】前記照合手段は、ダイナミック・プロ
グラミング・マッチングにより、前記入力画像に対応す
る表のフォームを決定することを特徴とする請求項１１
記載の管理情報抽出装置。
【請求項１３】前記辞書手段は、各表のフォーム内の
前記管理情報の位置情報として、該管理情報を囲む矩形
セルの位置情報を格納することを特徴とする請求項１０
記載の管理情報抽出装置。
【請求項１４】前記辞書手段は、前記矩形セルの位置
情報として、該矩形セルの１つ以上の頂点と、該矩形セ
ルを含む表の１つ以上の頂点との間の差分ベクトルを格
納することを特徴とする請求項１３記載の管理情報抽出
装置。
【請求項１５】前記計算手段は、前記照合結果を用い
て前記入力画像の表領域の安定な頂点を求め、該安定な
頂点から前記差分ベクトルを用いて、前記入力画像の管
理情報の位置を算出することを特徴とする請求項１４記
載の管理情報抽出装置。
【請求項１６】前記辞書手段は、前記矩形セルの大き
さをさらに格納し、前記計算手段は、前記矩形セルの大
きさに対応する大きさを持ち、前記差分ベクトルにより
指定される位置の近くに存在する矩形セルから、前記入
力画像の管理情報の位置を算出することを特徴とする請
求項１５記載の管理情報抽出装置。
【請求項１７】前記辞書手段は、各表の大きさをさら
に格納し、前記計算手段は、前記入力画像の表領域の大
きさと前記辞書手段内の対応する表の大きさから大きさ
の比率を計算し、該大きさの比率を用いて、前記入力画
像の管理情報の位置を算出することを特徴とする請求項
１３記載の管理情報抽出装置。
【請求項１８】前記照合手段は、前記入力画像から抽
出された罫線と前記辞書手段の情報に含まれる罫線の間
の対応可能な複数の組み合わせを求め、該複数の組み合
わせの中から互いに両立する２つ以上の組み合わせのグ
ループを抽出し、該グループに含まれる組み合わせの情
報に基づいて、前記入力画像と表のフォームを照合する
ことを特徴とする請求項１０記載の管理情報抽出装置。
【請求項１９】１つ以上の表のフォームの罫線構造の
特徴と、各表のフォーム内の管理情報の位置情報とを格
納する辞書手段と、入力画像の罫線構造の特徴を前記辞書手段に格納された
罫線構造の特徴と照合する照合手段と、前記照合手段による照合結果に基づいて、前記辞書手段
に格納された管理情報の位置情報を参照し、前記入力画
像の管理情報を抽出する抽出手段と、ユーザにより指定された管理情報の位置を前記辞書手段
に登録するユーザ登録手段とを備えることを特徴とする
管理情報抽出装置。
【請求項２０】前記抽出手段が自動的に抽出した管理
情報の位置を前記辞書手段に登録する自動登録手段をさ
らに備えることを特徴とする請求項１９記載の管理情報
抽出装置。
【請求項２１】前記照合手段による照合の結果、前記
入力画像が前記１つ以上の表のフォームのいずれにも対
応しないとき、前記抽出手段は、前記入力画像から管理
情報らしい部分を自動的に抽出することを特徴とする請
求項１９記載の管理情報抽出装置。
【請求項２２】蓄積される画像の管理情報として、画
像情報を格納する格納手段と、前記画像情報を検索する検索手段とを備えることを特徴
とする画像蓄積装置。
【請求項２３】任意の入力画像に含まれる表領域の外
郭部分に対する罫線の相対的な位置情報に基づいて、該
入力画像に含まれる管理情報の位置を算出する計算手段
と、前記計算手段が算出した位置に基づいて、前記入力
画像から前記画像情報を抽出して前記格納手段に登録す
る登録手段とをさらに備えることを特徴とする請求項２
２記載の画像蓄積装置。
【請求項２４】前記画像情報と文字コードのうち少な
くとも一方を選択する選択手段をさらに備え、前記格納
手段は、選択された情報を前記管理情報として格納する
ことを特徴とする請求項２２記載の画像蓄積装置。
【請求項２５】前記選択手段が前記管理情報に対応す
る文字コードを選択したとき、前記格納手段は、該管理
情報に対する文字認識の信頼度に応じて、該管理情報の
画像を前記画像情報として保存することを特徴とする請
求項２４記載の画像蓄積装置。
【請求項２６】表のフォームの罫線情報を格納する格
納手段と、入力画像から抽出された罫線と前記格納手段の罫線情報
に含まれる罫線の間の対応可能な複数の組み合わせを求
め、該複数の組み合わせの中から互いに両立する２つ以
上の組み合わせを含むグループを、他のグループの組み
合わせが含まれないように抽出するグループ生成手段
と、抽出された１つ以上のグループに含まれる組み合わせの
情報に基づいて、前記入力画像と表のフォームを照合す
る照合手段とを備えることを特徴とするフォーム識別装
置。
【請求項２７】前記１つ以上のグループの間で、罫線
の対応関係が互いに矛盾しないグループの集合を抽出
し、該グループの集合の中で、含まれる罫線の組み合わ
せの数が最も多い最適集合を求める集合決定手段をさら
に備え、前記照合手段は、前記最適集合の各グループに
含まれる組み合わせの情報に基づいて、前記入力画像と
表のフォームを照合することを特徴とする請求項２６記
載のフォーム識別装置。
【請求項２８】前記グループ生成手段は、前記入力画
像の外郭部分の特徴量と各罫線の特徴量の相対値を、前
記表のフォームの対応する特徴量の相対値と比較して、
前記入力画像の罫線と前記表のフォームの罫線の間の対
応可能性を判断し、対応の可能性のある罫線同士の組み
合わせを生成することを特徴とする請求項２６記載のフ
ォーム識別装置。
【請求項２９】前記グループ生成手段は、前記入力画
像に含まれる罫線間の相対的関係を、前記表のフォーム
の罫線間の相対的関係と比較して、前記２つ以上の組み
合わせが両立するかどうかを判定することを特徴とする
請求項２６記載のフォーム識別装置。
【請求項３０】前記グループ生成手段は、前記入力画
像の罫線を第１の方向に並べ、前記表のフォームの罫線
を第２の方向に並べ、該入力画像のｉ番目の罫線と該表
のフォームのｊ番目の罫線の組み合わせを、要素（ｉ，
ｊ）の位置のノードとするマッチングテーブルを作成す
るテーブル作成手段と、該マッチングテーブル上で、互
いに両立する組み合わせに対応する２つのノードをパス
で結ぶパス生成手段とを含むことを特徴とする請求項２
６記載のフォーム識別装置。
【請求項３１】前記パス生成手段は、前記要素（ｉ，
ｊ）の位置のノードと両立する次のノードを、ｘ＞ｉか
つｙ＞ｊであるような要素（ｘ，ｙ）の範囲で探索し、
該次のノードが見つかれば、該次のノードを基準として
前記範囲と同様の探索範囲を設定することを特徴とする
請求項３０記載のフォーム識別装置。
【請求項３２】表のフォームの罫線情報を格納する格
納手段と、入力画像の外郭部分に対する罫線の長さおよび位置の相
対的な特徴を、前記表のフォームの罫線情報に含まれる
罫線の対応する特徴と比較して、前記入力画像の罫線と
前記表のフォームの罫線の間の対応可能性を判断し、対
応の可能性のある罫線同士の組み合わせを生成する手段
と、前記組み合わせの情報に基づいて、前記入力画像と表の
フォームを照合する照合手段とを備えることを特徴とす
るフォーム識別装置。
【請求項３３】コンピュータのためのプログラムを記
録した記録媒体であって、任意の入力画像に含まれる表領域の外郭部分に対する罫
線の相対的な位置情報に基づいて、該入力画像に含まれ
る管理情報の位置を算出する機能と、算出された位置に基づいて、前記入力画像から前記管理
情報を抽出する機能とを前記コンピュータに実現させる
ためのプログラムを記録したコンピュータ読み取り可能
な記録媒体。
【請求項３４】コンピュータのためのプログラムを記
録した記録媒体であって、ユーザにより指定された１つ以上の表のフォームの管理
情報の位置を、位置情報としてあらかじめ登録する機能
と、入力画像の罫線構造の特徴を、あらかじめ格納された前
記１つ以上の表のフォームの罫線構造の特徴と照合する
機能と、照合結果に基づいて前記位置情報を参照し、前記入力画
像の管理情報を抽出する機能とを前記コンピュータに実
現させるためのプログラムを記録したコンピュータ読み
取り可能な記録媒体。
【請求項３５】コンピュータのためのプログラムを記
録した記録媒体であって、蓄積される画像の管理情報として、画像情報を格納する
機能と、前記画像情報を検索する機能とを前記コンピュータに実
現させるためのプログラムを記録したコンピュータ読み
取り可能な記録媒体。
【請求項３６】コンピュータのためのプログラムを記
録した記録媒体であって、入力画像から抽出された罫線とあらかじめ格納された表
のフォームの罫線の間の対応可能な複数の組み合わせを
求める機能と、前記複数の組み合わせの中から、互いに両立する２つ以
上の組み合わせを含むグループを、他のグループの組み
合わせが含まれないように抽出する機能と、抽出された
１つ以上のグループに含まれる組み合わせの情報に基づ
いて、前記入力画像と表のフォームを照合する機能とを
前記コンピュータに実現させるためのプログラムを記録
したコンピュータ読み取り可能な記録媒体。
【請求項３７】コンピュータのためのプログラムを記
録した記録媒体であって、入力画像の外郭部分に対する罫線の長さおよび位置の相
対的な特徴を、前記表のフォームの罫線情報に含まれる
罫線の対応する特徴と比較して、前記入力画像の罫線と
前記表のフォームの罫線の間の対応可能性を判断し、対
応の可能性のある罫線同士の組み合わせを生成する機能
と、前記組み合わせの情報に基づいて、前記入力画像と表の
フォームを照合する機能とを前記コンピュータに実現さ
せるためのプログラムを記録したコンピュータ読み取り
可能な記録媒体。
【請求項３８】任意の入力画像に含まれる表領域の外
郭部分に対する罫線の相対的な位置情報に基づいて、該
入力画像に含まれる管理情報の位置を算出し、算出された位置に基づいて、前記入力画像から前記管理
情報を抽出することを特徴とする管理情報抽出方法。
【請求項３９】ユーザにより指定された１つ以上の表
のフォームの管理情報の位置を、位置情報としてあらか
じめ登録し、入力画像の罫線構造の特徴を、あらかじめ格納された前
記１つ以上の表のフォームの罫線構造の特徴と照合し、照合結果に基づいて前記位置情報を参照し、前記入力画
像の管理情報を抽出することを特徴とする管理情報抽出
方法。
【請求項４０】蓄積される画像の管理情報として、画
像情報を登録し、前記画像情報を検索することを特徴とする画像蓄積方
法。
【請求項４１】入力画像から抽出された罫線とあらか
じめ格納された表のフォームの罫線の間の対応可能な複
数の組み合わせを求め、前記複数の組み合わせの中から、互いに両立する２つ以
上の組み合わせを含むグループを、他のグループの組み
合わせが含まれないように抽出し、抽出された１つ以上のグループに含まれる組み合わせの
情報に基づいて、前記入力画像と表のフォームを照合す
ることを特徴とするフォーム識別方法。
【請求項４２】入力画像の外郭部分に対する罫線の長
さおよび位置の相対的な特徴を、前記表のフォームの罫
線情報に含まれる罫線の対応する特徴と比較して、前記
入力画像の罫線と前記表のフォームの罫線の間の対応可
能性を判断し、対応の可能性のある罫線同士の組み合わせを生成し、前記組み合わせの情報に基づいて、前記入力画像と表の
フォームを照合することを特徴とするフォーム識別方
法。