JP4628278B2 - 表認識装置、及びコンピュータプログラム - Google Patents

Description

本発明は、枠罫線等により構成される表を含む文書を示す画像に基づいて、罫線等で囲まれた領域であるセルの位置、形状及びサイズを判定することにより、文書を示す画像中に含まれる表領域を認識することが可能な表認識装置、及びコンピュータプログラムに関する。

近年、業務の電子化に伴い、多くの電子化文書が利用されている。紙面に記載された文書を簡易に電子化する技術として、従来、ＯＣＲ（Optical Character Reader又はOptical Character Recognition)に代表される文書画像認識技術を多用している。ＯＣＲによる文書画像認識精度は年々向上しているが、特に帳票文書のような表構造が含まれる文書では、データの再利用の観点から、さらなる認識精度の向上が要求されている。

紙面に記載された文書に含まれる表は、縦横の罫線で構成されていることが多い。従来、罫線に囲まれた領域（以下、「セル」という）の位置、サイズ等を認識するため、罫線を抽出する技術、あるいは罫線に基づいてセルを抽出する技術等が多々開発されている。

例えば特許文献１には、スキャナ等で文書の画像データを取得し、縦方向又は横方向に黒画素が一定長以上連続している領域をラン領域として抽出し、抽出されたラン領域の中で近傍にあるものを統合して一つの罫線領域とする方法が開示されている。また特許文献２には、縦方向の罫線部分、横方向の罫線部分を別個に抽出し、両者を投影することにより交点及び罫線領域を特定する方法が開示されている。

また、セルを抽出する方法は、罫線に囲まれた矩形領域を抽出する方法と、罫線が交差した位置である交点を抽出し、交点の位置関係に基づいてセル領域を抽出する方法とに大別される。罫線に囲まれた矩形領域を抽出する方法は、まずセル抽出を行う表の領域を対象領域と定め、対象領域の端から端へ達する横罫線で対象領域を分割する。分割した領域ごとに、今度は縦罫線で対象領域を分割する。このように横罫線及び縦罫線による分割処理を、領域分割をすることができなくなるまで続行することにより、表の領域を罫線に囲まれた矩形領域に分割することができる（特許文献３、非特許文献１及び非特許文献２参照）。

一方、交点の位置関係に基づいてセル領域を抽出する方法には、罫線を抽出し、抽出された罫線の交点位置及び形状を判定する方法(非特許文献３及び非特許文献４)と、画像フィルタ等を用いて交点情報を直接抽出する方法(非特許文献５及び非特許文献６)とがある。いずれの方法であっても、大半は、罫線により表を構成している交点の形状をＴ字型、Ｉ字型、Ｌ字型等のように分類して交点の位置を抽出している。抽出した交点の位置及び形状に基づいて、四角形を構成する領域を抽出することにより、表を構成する矩形領域を特定している（特許文献４乃至８参照）。

上述した従来技術では、抽出された罫線に関する情報、罫線の交点に関する情報等に基づいてセル抽出を行っている。抽出されたセルは、セルが抽出された時点で確定されており、好転の抽出に誤りがあった場合、セルの抽出結果は必ず誤りを含む結果となる。この場合、従来、複数のセル候補を準備しておき、最適なセル候補の選択を受け付けることにより誤りを修正している。
特開平１−２１７５８３号公報 特許第０３５８２７３４号公報 特許第０３４２０８６４号公報 特許第０３５８６９１１号公報 特許第０３５８６９４９号公報 特許第０３６２２３４７号公報 特開平８−２２１５０６号公報 特開平８−０８３３０６号公報 児島、清末、秋山、「複雑な構造を持つ表の認識に関する基礎検討」、情報処理学会全国大会第３７回後期６Ｗ−８、１９８８年１０月、ｐ．１６６０−１６６１ 駱、渡辺、杉江、「多種帳票文書の構造認識」、電子情報通信学会論文誌Ｄ−ＩＩ、１９９３年１０月、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ、Ｎｏ．１０、ｐ．２１６５−２１７６ 平野、岡田、依田、「ロバストなモデル照合に基づくFAX送信された一般帳票の読取り」、電子情報通信学会論文誌Ｄ−ＩＩ、２００２年９月、Ｖｏｌ．Ｊ８５−Ｄ−ＩＩ、Ｎｏ．９、ｐ．１３７１−１３８１ 新庄、高橋、古川、「ＤＰマッチングを用いた帳票枠構造照合方式」、電子情報通信学会技術報告、２００３年３月、ＰＲＭＵ２００２−２２８ 成瀬、渡辺、駱、杉江、「枠罫線情報を用いた帳票文書の構造認識」、電子情報通信学会論文誌Ｄ−ＩＩ、１９９２年８月、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ、Ｎｏ．８、ｐ．１３７２−１３８５ 仙田、濱中、山田、「切り出し・認識・言語の確信度を統合した枠なしオンライン文字列認識手法」、信学技報、１９９８年１２月、ＰＲＭＵ９８−１３８

上述したように複数のセル候補の中から最適なセル候補を選択する場合、複数のセル候補の中から、互いに重なり合わないセル候補で構成される部分集合を作成する必要がある。また、選択されたセル候補の間に隙間がある場合、表として認識することが適当である場合と適当でない場合とが存在する。すなわち、セル候補の座標値によっては、セル候補が隣接するか、重なり合っているか、あるいは離れているのか、セル候補間の位置関係を正確に判定しなければ、表として構成可能なセルであるのか判定することができない。また、セル同士の形状の組み合わせも考慮する必要があり、判定制度を高めることは一層困難になるという問題点があった。

一方、適切なセル候補の位置関係を把握することができた場合であっても、最適なセル候補で構成される部分集合を作成するためには、セル候補のあらゆる組み合わせについて、表を構成することが可能な度合いである評価値を算出し、最も評価値が高い組み合わせを選択する必要がある。しかし、セル候補の組み合わせの総数は膨大な数となることから、すべての組み合わせについて検討することは実際上困難であるという問題点もあった。

本発明は斯かる事情に鑑みてなされたものであり、複数のセル候補について、互いの位置関係を正しく把握することができ、表領域を精度良く認識することが可能な表認識装置及びコンピュータプログラムを提供することを目的とする。

また本発明は、複数のセル候補について、互いの位置関係に基づいて表を構成することが可能な度合を示す評価値が最も高い組み合わせを、すべての組み合わせについて評価値を算出することなく求めることができる表認識装置及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る表認識装置は、画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識する表認識装置において、表を含む画像を取得する画像取得手段と、取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定する候補領域特定手段と、特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定する組み合わせ候補選定手段と、組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出する評価値算出手段と、算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力する表構成出力手段とを備えることを特徴とする。

第２発明に係る表認識装置は、第１発明において、前記候補領域が矩形であるか否かを判定する手段を備え、該手段で矩形であると判定された場合、矩形でないと判定された場合より評価値を高く算出するようにしてあることを特徴とする。

第３発明に係る表認識装置は、第１又は第２発明において、前記組み合わせ候補に係る隣り合う候補領域の形状及びサイズが同一であるか否かを判定する手段を備え、該手段で同一であると判定された場合、同一でないと判定された場合より評価値を高く算出するようにしてあることを特徴とする。

第４発明に係る表認識装置は、第１乃至第３発明のいずれか１つにおいて、前記組み合わせ候補選定手段は、画像の上方からｙ座標ごとに前記候補領域の組み合わせ候補を選定するようにしてあり、前記評価値算出手段は、既に選択された組み合わせ候補を記憶手段に記憶しておき、既に組み合わせ候補を選定した領域と未だ選定していない領域とを区分する探索境界を設定し、設定された探索境界で特定された候補領域の集合が互いに一致するか否かを判定し、一致すると判定された場合には、一致した候補領域の集合を含む複数の組み合わせ候補ごとに前記評価値を算出するようにしてあり、前記表構成手段は、算出された評価値が最大である組み合わせ候補以外の組み合わせ候補を前記記憶手段から削除した後、組み合わせ候補を選択するようにしてあることを特徴とする。

第５発明に係るコンピュータプログラムは、画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、表を含む画像を取得する画像取得手段、取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定する候補領域特定手段、特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定する組み合わせ候補選定手段、組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出する評価値算出手段、及び算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力する表構成出力手段として機能させることを特徴とする。

第１発明、及び第５発明では、画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識する。表を含む画像を取得し、取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定し、特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定する。組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出し、算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力する。これにより、罫線で囲まれた閉領域として構成される候補領域間の位置関係が、表を構成することができる位置関係、例えば互いに隣接している、あるいは表の構成に依存するものの離れて配置されている等の位置関係である組み合わせの候補を抽出することができ、抽出された組み合わせ候補の中から最も表を構成する組み合わせとして適切な組み合わせを特定することが可能となる。

第２発明では、候補領域が矩形であるか否かを判定し、矩形であると判定された場合、矩形でないと判定された場合より評価値を高く算出する。これにより、罫線で囲まれた閉領域の候補領域が矩形である場合には表を構成することが容易であることから評価値を高く算出しておくことで表を構成する要素として選択される可能性を高めることが可能となる。

第３発明では、組み合わせ候補に係る隣り合う候補領域の形状及びサイズが同一であるか否かを判定し、同一であると判定された場合、同一でないと判定された場合より評価値を高く算出する。これにより、隣り合っている候補領域の形状及びサイズが同一である場合には表を構成することが容易であることから評価値を高く算出しておくことで表を構成する要素として選択される可能性を高めることが可能となる。

第４発明では、画像の上方からｙ座標ごとに前記候補領域の組み合わせ候補を選定し、既に選択された組み合わせ候補を記憶手段に記憶しておき、既に組み合わせ候補を選定した領域と未だ選定していない領域とを区分する探索境界を設定する。設定された探索境界で特定された候補領域の集合が互いに一致するか否かを判定し、一致すると判定された場合には、一致した候補領域の集合を含む複数の組み合わせ候補ごとに評価値を算出し、算出された評価値が最大である組み合わせ候補以外の組み合わせ候補を記憶手段から削除した後、組み合わせ候補を選択する。これにより、探索境界で特定された候補領域の集合が一致している場合には、全体の組み合わせ候補の評価値が最大である組み合わせのみを残し、他の組み合わせ候補は記憶手段から削除することができ、探索領域が下方へ移動する都度、それまでの候補領域の組み合わせ候補、すなわち最大の評価値を有する組み合わせ候補以外の組み合わせ候補につき評価値を算出する必要がなく、演算処理負荷を軽減することが可能となる。

第１発明、及び第５発明によれば、罫線で囲まれた閉領域として構成される候補領域間の位置関係が、表を構成することができる位置関係、例えば互いに隣接している、あるいは表の構成に依存するものの離れて配置されている等の位置関係である組み合わせの候補を抽出することができ、抽出された組み合わせ候補の中から最も表を構成する組み合わせとして適切な組み合わせを特定することが可能となる。

第２発明によれば、罫線で囲まれた閉領域の候補領域が矩形である場合には表を構成することが容易であることから評価値を高く算出しておくことで表を構成する要素として選択される可能性を高めることが可能となる。

第３発明によれば、隣り合っている候補領域の形状及びサイズが同一である場合には表を構成することが容易であることから評価値を高く算出しておくことで表を構成する要素として選択される可能性を高めることが可能となる。

第４発明によれば、探索境界で特定された候補領域の集合が一致している場合には、全体の組み合わせ候補の評価値が最大である組み合わせのみを残し、他の組み合わせ候補は記憶手段から削除することができ、探索領域が下方へ移動する都度、それまでの候補領域の組み合わせ候補、すなわち最大の評価値を有する組み合わせ候補以外の組み合わせ候補につき評価値を算出する必要がなく、演算処理負荷を軽減することが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

（実施の形態１）
図１は、本発明の実施の形態１に係る表認識装置１の構成を示すブロック図である。表認識装置１は、装置全体を制御するＣＰＵ等の制御手段１１、本発明の実施の形態１に係る表認識装置１で実行可能なコンピュータプログラム１０１及びデータ等の各種情報を記録したＣＤ−ＲＯＭ等の記録媒体１０２から各種情報を読み取るＣＤ−ＲＯＭドライブ等の補助記憶手段１２、補助記憶手段１２により読み取った各種情報を記録するハードディスク等の記録手段１３を備えている。そして記録手段１３から本発明に係るコンピュータプログラム１０１及びデータ等の各種情報を読み取り、情報を一時的に記憶するＲＡＭ等の記憶手段１４に記憶させてコンピュータプログラム１０１に含まれる各種手順を制御手段１１により実行することで、コンピュータは、本発明に係る表認識装置１として動作する。

表認識装置１は、さらに外部とデータ通信する通信手段１５、マウス、キーボード等の入力手段１６、及びモニタ、プリンタ等の出力手段１７の他、表が記載されている文書の画像データを取得する撮像装置、スキャナ等の画像入力手段１８を備えている。画像入力手段１８で取得された画像データは、内部バス１９を介して制御手段１１へ送られる。

図２は、本発明の実施の形態１に係る表認識装置１の制御手段１１の表認識処理の手順を示すフローチャートである。表認識装置１の制御手段１１は、光学スキャナ等の画像入力手段１８により、表を含む文書を画像データとして取得する（ステップＳ２０１）。画像データは、光学スキャナから取得するものに限定されるものではなく、フィルムスキャナ、カメラ等の撮像装置から取得しても良い。

制御手段１１は、取得した画像データから、罫線で囲まれた閉領域（以下、セル領域という）となる候補である複数の候補領域を特定する（ステップＳ２０２）。セル領域を特定する方法は、例えば罫線に基づいてセル領域を抽出する方法と、罫線の交点に基づいてセル領域を抽出する方法とに大別される。本実施の形態１では、罫線に関する情報、交点に関する情報が不明確である場合、例えば罫線が途切れている場合、交点がかすれて画像データから欠落している場合等でもセル領域の候補領域を抽出することができるように、複数の交点情報に基づいてセル領域を抽出することが好ましい。このようにすることで、例えば１箇所の交点が欠落している場合であっても、他の交点に関する情報によりセル領域の候補領域を確実に抽出することが可能となる。

制御手段１１は、所定の候補領域を選択し（ステップＳ２０３）、罫線の縦横方向に沿って設定してある縦横方向のｘ−ｙ座標系にて定めてある、特定された候補領域の頂点の二次元座標値に基づいて、該候補領域と隣り合っている他の候補領域が縦方向又は横方向にて互いに隣接しているか否かを判断する（ステップＳ２０４）。制御手段１１が、隣接していると判断した場合（ステップＳ２０４：ＹＥＳ）、制御手段１１は、両候補領域の組み合わせは表を構成する可能性が高いと判断し、該候補領域の組み合わせを組み合わせ候補として記憶手段１４に記憶する（ステップＳ２０５）。

制御手段１１が、隣接していないと判断した場合（ステップＳ２０４：ＮＯ）、制御手段１１は、隣り合っている候補領域が重なり合っているか否かを判断する（ステップＳ２０６）。制御手段１１が、重なり合っていると判断した場合（ステップＳ２０６：ＹＥＳ）、制御手段１１は、両候補領域の組み合わせは表を構成することが無いものと判断し、組み合わせ候補の選択対象から除外する（ステップＳ２０７）。制御手段１１が、重なり合っていないと判断した場合（ステップＳ２０６：ＮＯ）、制御手段１１は、両候補領域の組み合わせは表を構成する可能性が残されていると判断し、該候補領域の組み合わせを組み合わせ候補として記憶手段１４に記憶する（ステップＳ２０５）。

制御手段１１は、全ての候補領域について上述の処理、すなわち表を構成することが可能な組み合わせ候補を選定する処理を実行したか否かを判断し（ステップＳ２０８）、制御手段１１が、まだ未処理の候補領域が残されていると判断した場合（ステップＳ２０８：ＮＯ）、制御手段１１は、処理をステップＳ２０３へ戻し、状出した処理を繰り返す。制御手段１１が、全ての候補領域について処理を実行したと判断した場合（ステップＳ２０８：ＹＥＳ）、制御手段１１は、抽出する記憶手段１４に記憶してある組み合わせ候補を読み出し（ステップＳ２０９）、読み出した組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出する（ステップＳ２１０）。

本実施の形態１において、評価値の算出方法は特に限定されるものではない。しかし、表を構成しやすい組み合わせ候補を優先すべきであるという観点から、例えば制御手段１１は、組み合わせ候補に係る候補領域が矩形であるか否かを判定し、制御手段１１が矩形であると判定した場合、制御手段１１は、矩形でないと判定された場合よりも評価値を高く算出することが好ましい。セル領域の候補領域が矩形である場合、表を構成することが容易であることから、表を構成する要素として選択される可能性を高めるべきだからである。

また制御手段１１は、組み合わせ候補に係る隣り合うセル領域の候補領域の形状及びサイズが同一であるか否かを判定し、制御手段１１が同一であると判定した場合、制御手段１１は、同一でないと判定された場合より評価値を高く算出することが好ましい。この場合も、隣り合っているセル領域の候補領域の形状及びサイズが同一であるほど表を構成することが容易であることから、表を構成する要素として選択される可能性を高めるべきだからである。

制御手段１１は、算出した評価値が最大である組み合わせ候補を選択して表を構成する（ステップＳ２１１）。構成された表は、通信手段１５を介して外部のコンピュータ等へ出力される。

セル領域の候補領域を確実に特定するために、例えば交点特定用の格子テーブルを用いる。図３は、格子テーブルの作成方法を示す図である。図３（ａ）に示す表の画像データを取得した場合、図３（ｂ）に示すように表を構成する縦横の罫線を抽出し、図３（ｃ）に示すように抽出した罫線に所定の原点から番号を付与する。図３（ｃ）の例では表の左上の交点を原点として、１から順に通番を付与している。格子テーブルは、表を構成する各セル領域（候補領域）の頂点の座標値として、図３（ｄ）に示すように縦横の罫線に付与された番号を記憶させたものである。すなわち罫線単位でｘ−ｙ座標系を構成している。

図４は、生成した格子テーブルに基づいて、セル領域の交点の状態に関する情報を生成する方法を示す図である。ここで、セル領域の交点の状態に関する情報とは、セル領域の周縁部で縦横の罫線が交差する部分の状態に関する情報、例えば縦方向だけ、横方向だけ、Ｔ字状、Ｌ字状等の罫線が交差する部分の状態に関する情報を意味している。

図４（ａ）に示す表の画像データを取得した場合、図４（ｂ）に示すように、縦横の罫線と交点との位置関係に基づいて、交点の位置から罫線が延伸している方向に罫線素片を生成する。そして、生成した罫線素片を組み合わせて交点の状態に関する情報を、図４（ｃ）に示すように格子テーブル各交点の位置ごとに求める。

また、画像のかすれ、欠落等により、罫線の一部が途切れている画像データを取得する場合も生じうる。図５は、罫線の一部が途切れている場合のように、罫線の端点が上述の交点に接続しているか否か不明確である場合の交点特定方法を示す図である。図５（ａ）に示すように、表を構成する罫線の左上の部分５１にて罫線が途切れている場合、罫線が存在しているときには交点はＰ１のみである。一方、罫線が存在しないときには、交点はＰ１、Ｐ２の２箇所となる。本実施の形態１では、図５（ｂ）に示すように、罫線が交差している交点Ｐ１−Ｐ２間の間隔Ｌと、罫線が途切れている端点と交点Ｐ１との間隔ｄとを用いて、いずれの交点を選択するかを判断する。

例えば、交点Ｐ１−Ｐ２間の間隔Ｌが、罫線が途切れている端点と交点Ｐ１との間隔ｄの３倍以上であれば罫線は途切れていないものと判断し、２倍以下であれば罫線は途切れているものと判断する。後者の場合、交点はＰ１、Ｐ２の座標値を両方とも記憶手段１４へ記憶することになる。

いずれを選択するかを示す尤度Ｑを、罫線が途切れていない可能性を示す０〜１００の指標値で表す場合、（数１）のように表すことができる。（数１）では、尤度Ｑが負の値となった場合には尤度Ｑを‘０’とする。したがって、交点Ｐ１−Ｐ２間の間隔Lが、罫線が途切れている端点と交点Ｐ１との間隔ｄの２倍以下の場合には、尤度Ｑが‘０’となり、罫線は途切れているものと判断することができる。また、尤度Ｑが‘１００’以上となった場合には尤度Ｑを‘１００’とする。したがって、交点Ｐ１−Ｐ２間の間隔Ｌが、罫線が途切れている端点と交点Ｐ１との間隔ｄの３倍以上の場合には、尤度Ｑが‘１００’となり、罫線は途切れていないものと判断することができる。

そして、交点の状態に関する情報に基づいて、表の中で罫線に囲まれた閉領域であるセル領域を抽出する。そのために、交点の状態に関する情報に基づいてエッジ形状を検出する。エッジ形状は、抽出されたセル領域の内側を右回りで順に交点を辿った場合の交点を結ぶ線分として検出することができる。図６は、エッジ形状の具体例を、エッジ形状を識別するエッジＩＤに対応付けて記憶手段１４に記憶したデータ構成例を示す図である。また、図７は、図６に示す各種類のエッジ形状を組み合わせて構成された、交点形状の種類を示す図である。図７に示すように、例えば交点を識別する交点ＩＤが‘１’の場合、「十字交点」を示しており、組み合わされたエッジ形状を「構成エッジＩＤ」にて特定している。すなわち「十字交点」を構成するためには、エッジＩＤが‘１’、‘２’、‘３’、及び‘４’を組み合わせていることを示している。

そして、エッジ形状に応じて、次に探索すべきエッジの形状が幾何学的に定まる。図８は、記憶手段１４に記憶された、エッジＩＤの探索順序及び方向を示すデータ構成例を示す図である。所定の交点から次の交点の存在を探索する場合には、上述したエッジ及び探索順序及び方向に基づいて順次探索する。

図９は、制御手段１１の交点探索処理の手順を示すフローチャートである。図９では、縦方向にＮ本（Ｎは自然数）、横方向にＭ本（Ｍは自然数）の罫線による格子テーブルの交点（ｘ、ｙ）＝（ｉ、ｊ）を始点とした処理の手順を示している。ただし交点（ｘ、ｙ）＝（ｉ、ｊ）には左上内エッジ（エッジＩＤ＝１）が存在するものとする。

制御手段１１は、交点（ｘ、ｙ）＝（ｉ、ｊ）を探索の始点とし、（ｘ、ｙ）を構成するエッジＩＤを図７から取得する（ステップＳ９０１）。制御手段１１は、次に探索すべきエッジＩＤ及び探索方向を図８から取得する（ステップＳ９０２）。

制御手段１１は、所得した探索方向に従ってｘ及びｙの値を更新する（ステップＳ９０３）。すなわち、探索方向が右方向である場合にはｘを（ｘ＋１）に、探索方向が左方向である場合にはｘを（ｘ−１）に、探索方向が上方向である場合にはｙを（ｙ＋１）に、探索方向が下方向である場合にはｙを（ｙ＋１）に、それぞれ更新する。

制御手段１１は、ｘが負の値、ｙが負の値、ｘがＮ以上の値、又はｙがＭ以上の値のいずれかであるか否かを判断し（ステップＳ９０４）、制御手段１１が、ｘが負の値、ｙが負の値、ｘがＮ以上の値、又はｙがＭ以上の値のいずれかであると判断した場合（ステップＳ９０４：ＹＥＳ）、制御手段１１は、不適切な探索領域であると判断して処理を終了する。制御手段１１が、ｘが負の値、ｙが負の値、ｘがＮ以上の値、又はｙがＭ以上の値のいずれでもないと判断した場合（ステップＳ９０４：ＮＯ）、制御手段１１は、交点（ｘ、ｙ）が未処理であるか否かを判断する（ステップＳ９０５）。

制御手段１１が、交点（ｘ、ｙ）が処理済であると判断した場合（ステップＳ９０５：ＮＯ）、制御手段１１は、処理を終了する。制御手段１１が、交点（ｘ、ｙ）が未処理であると判断した場合（ステップＳ９０５：ＹＥＳ）、制御手段１１は、（ｘ、ｙ）を構成するエッジＩＤを図７から取得する（ステップＳ９０６）。制御手段１１は、取得したエッジＩＤが、次に探索すべきエッジＩＤと一致するか否かを判断する（ステップＳ９０７）。

制御手段１１が、取得したエッジＩＤが、次に探索すべきエッジＩＤと一致しないと判断した場合（ステップＳ９０７：ＮＯ）、制御手段１１は処理を終了する。制御手段１１が、取得したエッジＩＤが、次に探索すべきエッジＩＤと一致すると判断した場合（ステップＳ９０７：ＹＥＳ）、制御手段１１は、交点（ｘ、ｙ）が元に戻っているか否か、すなわちｘ＝ｉ及びｙ＝ｊであるか否かを判断する（ステップＳ９０８）。

制御手段１１が、ｘがｉでない、又はｙがｊでないと判断した場合（ステップＳ９０８：ＮＯ）、制御手段１１は、交点（ｘ、ｙ）が元に戻っていないものと判断し、処理をステップＳ９０２へ戻し、上述した処理を繰り返す。制御手段１１が、ｘ＝ｉ及びｙ＝ｊであると判断した場合（ステップＳ９０８：ＹＥＳ）、制御手段１１は、交点（ｘ、ｙ）が元に戻っており、罫線で囲まれた閉領域を構成することができるものと判断し、探索した交点に基づいてセル領域を生成して、候補領域として記憶手段１４に記憶する（ステップＳ９０９）。

上述した処理により特定された各セル領域の候補領域間の位置関係は、以下の手順で判定する。本実施の形態１では、セル領域の候補領域間の位置関係は、候補領域が「重なり合う」、「離れている」、「隣接する」の３種類に分類している。なお、候補領域が「隣接する」とは、候補領域の縦横のエッジＩＤを比較した場合、片方のエッジＩＤは一致するが、他方のエッジＩＤが相違している位置関係を意味している。

また、セル領域の候補領域から選定された組み合わせ候補が、表を構成する可能性の度合を示す評価値を算出する方法は、特に限定されるものではない。例えば前述した交点の尤度Ｑ及びセル領域の形状に基づいて算出する。

交点の尤度Ｑは、交点ごとに０から１００の値を有しており、確定した交点の尤度Ｑは‘１００’となる。また、交点を構成するエッジには、構成する交点と同じ尤度Ｑを付与するものとする。

まず、個々のセル領域の評価値を算出する。セル領域を構成するエッジの尤度Ｑの平均値をＤとする。矩形のセル領域（すなわち交点の数が４つであるセル領域）が最も平均的であり、交点の数が多いほど尤度Ｑが低くなることが望ましいことから、交点の数Ｋ（Ｋは自然数）に対して、補正値Ｒ＝１００＋（４−Ｋ）×２０を用いて、セル領域の評価値Ｓｉを（数２）のように設定する。

セル領域の評価値Ｓｉを（数２）のように設定することにより、セル領域を構成する交点の数が増えるほどエッジの尤度Ｑは下がることになる。セル領域の候補領域から選定された組み合わせ候補全体の評価値Ｅは、個々のセルの評価値Ｓｉに応じて高くなると共に、できるだけ多くの候補領域を含む方が評価値Ｅが高く算出されるように定義されることが望ましい。そこで、候補領域の総数をＴ、組み合わせ候補に含まれる候補領域の数をtとして、個々のセルの評価値をＳｉ、セル領域の数をＶとした場合、組み合わせ候補全体の評価値Ｅは（数３）により算出することができる。

以上のように本実施の形態１によれば、表を構成するセル候補を複数抽出するため、例えば帳票画像のように、取得した罫線、交点等の情報に曖昧さが残っている場合であっても、最適なセル領域の組み合わせを生成することができる。また抽出された組み合わせ候補の中から最も表を構成する組み合わせとして適切な組み合わせを特定することが可能となる。

（実施の形態２）
以下、本発明の実施の形態２に係る表認識装置１について図面を参照しながら説明する。実施の形態２に係る表認識装置１の構成は、実施の形態１と同様であることから、同一の符号を付することで詳細な説明を省略する。本実施の形態２では、セル領域を探索する領域を限定し、候補領域の組み合わせ候補の数を減少させることにより、セル領域の候補領域の最適な組み合わせ候補を、より効率的に求めることができる点で実施の形態１と相違する。

図１０は、セル領域を抽出する対象となる表領域の一例を示す図である。図１０において、斜め網掛け領域は探索境界２１を示しており、探索境界２１より上方の領域がセル領域の候補領域の組み合わせ候補の探索処理が完了して組み合わせ候補を選定した選定済領域２２、探索境界２１より下方の領域がこれからセル領域の候補領域の組み合わせ候補の探索処理を実行して組み合わせ候補を選定する選定前領域２３を示している。

図１１は、探索境界２１にて特定されたセル領域だけで構成されたセル領域の候補領域の集合、すなわち組み合わせ候補の一例を示す図である。図１１（ａ）に示す組み合わせ候補を生成した後、探索境界２１は図１１（ｂ）に示すように下方へ移動し、前の組み合わせ候補３０と位置及びサイズが合うような次の組み合わせ候補３１（太線部）を生成する。このようにすることで、全てのセル領域の候補領域の組み合わせ候補を生成することができる。

しかし、組み合わせ候補の数は膨大であることから、本実施の形態２では、図１１（ａ）に示すように組み合わせ候補３０を生成した場合、制御手段１１は、生成された組み合わせ候補３０を、既に生成されて記憶手段１４に記憶されている組み合わせ候補と比較して、同一の組み合わせ候補が記憶されているか否かを判断する。図１２は、最新の組み合わせ候補が同一である場合であって、一つ前に生成された組み合わせ候補が相違している場合の一例を示す図である。

図１２のように、最新の組み合わせ候補が同一である場合に、一つ前に生成された組み合わせ候補が相違しているときには、制御手段１１は、それぞれの組み合わせ候補について実施の形態１と同様の評価値を算出する。制御手段１１は、算出された評価値が最大である組み合わせ候補のみを記憶手段１４に残し、それ以外の組み合わせ候補は記憶手段１４から削除する。これにより、記憶手段１４に記憶されているセル候補の組み合わせ候補は、最新の組み合わせ候補が相違している集合だけとなる。すなわち、選定前領域２２については組み合わせ候補の選定処理を再度実行することを回避することができ、組み合わせ候補を特定する演算処理負荷が大幅に軽減される。

図１３は、本発明の実施の形態２に係る表認識装置１の制御手段１１の評価値算出処理の手順を示すフローチャートである。制御手段１１は、既に組み合わせ候補を選定した領域と未だ選定していない領域とを区分する探索境界２１を設定する（ステップＳ１３０１）。制御手段１１は、設定された探索境界２１で特定された組み合わせ候補が、記憶手段１４に記憶してある前に選定した組み合わせ候補と一致するか否かを判断する（ステップＳ１３０２）。

制御手段１１が一致すると判断した場合（ステップＳ１３０２：ＹＥＳ）、制御手段１１は、探索境界２１で特定された組み合わせ候補ごとに評価値を算出する（ステップＳ１３０３）。制御手段１１は、算出された評価値が最大である組み合わせ候補以外の組み合わせ候補を記憶手段１４から削除する（ステップＳ１３０４）。制御手段１１が一致しないと判断した場合（ステップＳ１３０２：ＮＯ）、制御手段１１は、処理を終了する。

以上のように本実施の形態２によれば、探索境界２１で特定された組み合わせ候補が一致している場合には、全体の組み合わせ候補の評価値が最大である組み合わせ候補のみを記憶手段１４に残し、他の組み合わせ候補は記憶手段１４から削除することができ、探索領域２１が下方へ移動する都度、それまでの候補領域の組み合わせ候補について、最大の評価値を有する組み合わせ候補以外の組み合わせ候補につき評価値を算出する必要がなく、演算処理負荷を軽減することが可能となる。

（実施の形態３）
以下、本発明の実施の形態３に係る表認識装置１について図面を参照しながら説明する。実施の形態３に係る表認識装置１の構成は、実施の形態１と同様であることから、同一の符号を付することで詳細な説明を省略する。本実施の形態３では、セル領域が確定していない領域のみ候補領域の組み合わせ候補を生成する点で実施の形態１と相違する。

図１４は、本発明の実施の形態３に係る表認識装置１の組み合わせ候補選定領域を限定する方法の説明図である。図１４（ａ）及び（ｂ）のように、表からセル領域を抽出した結果を取得した場合、図１４（ｃ）の網掛け部分は、いずれの抽出結果においてもセル領域が一致している。一致している領域をセル領域の確定領域１４１として固定し、図１４（ａ）と図１４（ｂ）とで相違している未確定領域１４２のみ、実施の形態１と同様の方法でセル領域の候補領域の組み合わせ候補を生成すればよい。

このように、組み合わせ候補を生成する対象となる領域を未確定領域１４２に限定することで、一度に処理する領域を限定することができる。未確定領域１４２が複数存在する場合、個々の未確定領域１４２に分割した方がセル領域の候補領域の組み合わせ候補の数を大幅に削減することが可能となる。

図１５は、具体的な領域分離方法を示す図である。図１５（ａ）に示すように左上のセル領域から順に候補領域として計数し、図１５（ｂ）及び（ｃ）に示すように次の候補領域を計数した場合には、重なっているセル領域は計数値を累計する。そして、図１５（ｄ）及び（ｅ）に示すように、計数値が‘２’以上であるセル領域を独立した候補領域１５１、１５２として分離する。分離した領域１５１、１５２ごとに、その領域に属する候補領域を全て抽出し、図１５（ｆ）の斜線部１５３、１５４のセル領域を包含する領域を確定領域とする。以上の手順により、未確定領域と確定領域とを分離することができる。

図１６は、本発明の実施の形態３に係る表認識装置１の制御手段１１の組み合わせ候補選択処理の手順を示すフローチャートである。制御手段１１は、選定された組み合わせ候補が単一である領域と複数である領域とを上述した手順により分離する（ステップＳ１６０１）。制御手段１１は、組み合わせ候補が複数である領域のみ評価値を算出し（ステップＳ１６０２）、算出した評価値が最大である組み合わせ候補を選択して表を構成する（ステップＳ１６０３）。

以上のように本実施の形態３によれば、セル領域の候補領域が確定していない領域についてのみ、組み合わせ候補選択のための評価値を算出すれば足り、演算処理負荷を大幅に軽減することが可能となる。

（実施の形態４）
以下、本発明の実施の形態４に係る表認識装置１について図面を参照しながら説明する。実施の形態４に係る表認識装置１の構成は、実施の形態１と同様であることから、同一の符号を付することで詳細な説明を省略する。本実施の形態４では、セル領域の候補領域が隣接しているか、重複しているか、離れているかについて、実施の形態１で用いた格子テーブルを利用する点に特徴を有する。

格子テーブルの作成方法は、実施の形態１と同様である。すなわち、格子テーブルは、縦横の罫線を延長して格子状に構成したものであり、格子テーブルの中で縦横の格子に区切られた個々の矩形領域を格子ブロックと呼ぶ。表を構成するセル領域と格子ブロックとの対応を利用することにより、セル領域の候補領域同士が重なっているか、隣接しているか、離れているかといった位置関係を容易に判定することができる。

図１７は、本発明の実施の形態４に係る表認識装置１の制御手段１１の組み合わせ候補選択処理の手順を示すフローチャートである。制御手段１１は、縦横の罫線で区切った格子ブロック（矩形領域）の集合として候補領域を特定する（ステップＳ１７０１）。制御手段１１は、所定の候補領域を選択し（ステップＳ１７０２）、隣り合う他の候補領域に共通する同一の格子ブロックが存在するか否かを判断する（ステップＳ１７０３）。

制御手段１１が、手段、隣り合う他の候補領域に同一の格子ブロックが存在すると判断した場合（ステップＳ１７０３：ＹＥＳ）、制御手段１１は、該２つの格子ブロックを互いに隣接する候補領域の組み合わせ候補として選定して、記憶手段１４に記憶する（ステップＳ１７０４）。制御手段１１が、手段、隣り合う他の候補領域に同一の格子ブロックが存在しないと判断した場合（ステップＳ１７０３：ＮＯ）、制御手段１１は、ステップＳ１７０４をスキップし、ステップＳ１７０５へ処理を移行する。

制御手段１１は、全ての候補領域について上述の処理が完了したか否かを判断し（ステップＳ１７０５）、制御手段１１が未処理の候補領域が存在すると判断した場合（ステップＳ１７０５：ＮＯ）、制御手段１１は、処理をステップＳ１７０２へ戻し、上述の処理を繰り返す。制御手段１１が全ての候補領域について上述の処理が完了したと判断した場合（ステップＳ１７０５：ＹＥＳ）、処理を終了する。

なお、格子ブロックの大きさは、認識対象となる表のサイズに対して適当なサイズであることが望ましい。したがって、制御手段１１は、縦方向の罫線のｘ座標値が所定の範囲内である縦罫線を１つの縦罫線グループとしてグループ化する一方、横方向の罫線のｙ座標値が所定の範囲内である横罫線を１つの横罫線グループとしてグループ化する。そして、制御手段１１は、グループ化した縦罫線グループと前記横罫線グループとが交差する矩形領域を格子ブロックとして特定する。

図１８は、横罫線グループとして罫線をグループ化した一例を示す図である。図１８に示すように、離れている２本の横罫線のｙ座標値が所定値より小さい場合、格子テーブルを作成する前に横罫線をグループ化する。すなわちｙ座標値（格子番号）が‘４’と‘５’とが近接していることから、横罫線グループ‘５’として１つにグループ化し、後続する罫線のｙ座標値を修正する。

これにより、生成する格子テーブルの全体のサイズを削減することができ、演算処理負かを軽減することが可能となる。また、格子テーブルを小さくするだけでなく、例えば罫線を抽出した場合に罫線の座標値がわずかに相違している場合、ノイズ等が存在することにより、実際には存在しない罫線が抽出された場合等であっても、罫線の誤認識による表認識処理への影響を少なくすることも可能となる。

図１９は、グループ化を行わない場合の一例を示す図である。図１９に示すように、横罫線のｙ座標値‘５’と‘６’とが近接している場合であっても、縦罫線のｘ座標値‘３’と‘４’と近接しているときには、グループ化することにより表の構成を正しく認識することができなくなる。そこで、制御手段１１は、縦罫線のｙ座標範囲又は横罫線のｘ座標範囲に一定値以上の重複部分が存在する場合には罫線のグループ化を行わない。

具体的には、隣り合った横罫線のｙ座標の中央値が所定値以下である場合、又は隣り合った縦罫線のｘ座標の中央値が所定値以下である場合、それらを同一のグループとしてｙ座標値又はｘ座標値を更新する。ただし、連続した３本以上の罫線がグループ化の基準を満たす場合、それら全体での座標の中央値が所定値を越えた場合にはグループ化しない。

また、図１９に示すように、横罫線同士の場合はｘ座標の範囲が所定値以上重複しているとき、縦罫線同士の場合はｙ座標の範囲が所定値以上重複しているときには、グループ化しない。ただし、実際には非常に間隔が狭い罫線同士は二重線等の一本の罫線である場合がありうることから、更に罫線同士が近接している場合にはグループ化するようにしても良い。すなわちグループ化を抑制する距離と、それよりも短いグループ化を実行する距離という２種類の判断基準を設けることがより望ましい。

以上のように本実施の形態４によれば、画像の劣化等に起因する罫線のかすれ、脱落、ノイズの重畳等によって罫線、交点等の正確な抽出が難しい文書画像であっても、表を構成するセル領域の脱落等の誤認識が生じにくい高精度な表認識装置の実現が可能となる。

以上の実施の形態１乃至４に関し、さらに以下の付記を開示する。

（付記１）
画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識する表認識装置において、
表を含む画像を取得する画像取得手段と、
取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定する候補領域特定手段と、
特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定する組み合わせ候補選定手段と、
組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出する評価値算出手段と、
算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力する表構成出力手段と
を備えることを特徴とする表認識装置。

（付記２）
前記候補領域が矩形であるか否かを判定する手段を備え、
該手段で矩形であると判定された場合、矩形でないと判定された場合より評価値を高く算出するようにしてあることを特徴とする付記１記載の表認識装置。

（付記３）
前記組み合わせ候補に係る隣り合う候補領域の形状及びサイズが同一であるか否かを判定する手段を備え、
該手段で同一であると判定された場合、同一でないと判定された場合より評価値を高く算出するようにしてあることを特徴とする付記１又は２記載の表認識装置。

（付記４）
前記組み合わせ候補選定手段は、
画像の上方からｙ座標ごとに前記候補領域の組み合わせ候補を選定するようにしてあり、
前記評価値算出手段は、
既に選択された組み合わせ候補を記憶手段に記憶しておき、
既に組み合わせ候補を選定した領域と未だ選定していない領域とを区分する探索境界を設定し、設定された探索境界で特定された候補領域の集合が互いに一致するか否かを判定し、
一致すると判定された場合には、一致した候補領域の集合を含む複数の組み合わせ候補ごとに前記評価値を算出するようにしてあり、
前記表構成手段は、算出された評価値が最大である組み合わせ候補以外の組み合わせ候補を前記記憶手段から削除した後、組み合わせ候補を選択するようにしてあることを特徴とする付記１乃至３のいずれか一項に記載の表認識装置。

（付記５）
前記組み合わせ候補選定手段により選定された組み合わせ候補が単一である領域と複数である領域とに分離し、
複数である領域のみ、前記評価値算出手段により算出した評価値に基づいて組み合わせ候補を選択するようにしてあることを特徴とする付記１乃至３のいずれか一項に記載の表認識装置。

（付記６）
縦横の罫線で区切った矩形領域の集合として前記候補領域を特定する手段と、
２つの候補領域間で同一の矩形領域を含むか否かを判断する手段と
を備え、
該手段で同一の矩形領域を含むと判断された場合、該２つの矩形領域を互いに隣接する候補領域の組み合わせ候補として選定するようにしてあることを特徴とする付記１乃至３のいずれか一項に記載の表認識装置。

（付記７）
縦方向の罫線のｘ座標値が所定の範囲内である縦罫線を１つの縦罫線グループとしてグループ化する縦方向グループ化手段と、
横方向の罫線のｙ座標値が所定の範囲内である横罫線を１つの横罫線グループとしてグループ化する横方向グループ化手段と、
前記縦罫線グループと前記横罫線グループとが交差する領域を前記矩形領域として特定する手段と
を備えることを特徴とする付記６記載の表認識装置。

（付記８）
画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識する表認識方法において、
表を含む画像を取得し、
取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定し、
特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定し、
組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出し、
算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力することを特徴とする表認識方法。

（付記９）
前記候補領域が矩形であるか否かを判定し、
矩形であると判定された場合、矩形でないと判定された場合より評価値を高く算出することを特徴とする付記８記載の表認識方法。

（付記１０）
前記組み合わせ候補に係る隣り合う候補領域の形状及びサイズが同一であるか否かを判定し、
同一であると判定された場合、同一でないと判定された場合より評価値を高く算出することを特徴とする付記８又は９記載の表認識方法。

（付記１１）
画像の上方からｙ座標ごとに前記候補領域の組み合わせ候補を選定し、
既に選択された組み合わせ候補を記憶手段に記憶し、
既に組み合わせ候補を選定した領域と未だ選定していない領域とを区分する探索境界を設定し、設定された探索境界で特定された候補領域の集合が互いに一致するか否かを判定し、
一致すると判定された場合には、一致した候補領域の集合を含む複数の組み合わせ候補ごとに前記評価値を算出し、
算出された評価値が最大である組み合わせ候補以外の組み合わせ候補を前記記憶手段から削除した後、組み合わせ候補を選択することを特徴とする付記８乃至１０のいずれか一項に記載の表認識方法。

（付記１２）
選定された組み合わせ候補が単一である領域と複数である領域とに分離し、
複数である領域のみ、前記評価値算出手段により算出した評価値に基づいて組み合わせ候補を選択することを特徴とする付記８乃至１０のいずれか一項に記載の表認識方法。

（付記１３）
縦横の罫線で区切った矩形領域の集合として前記候補領域を特定し、
２つの候補領域間で同一の矩形領域を含むか否かを判断し、
同一の矩形領域を含むと判断された場合、該２つの矩形領域を互いに隣接する候補領域の組み合わせ候補として選定することを特徴とする付記８乃至１０のいずれか一項に記載の表認識方法。

（付記１４）
縦方向の罫線のｘ座標値が所定の範囲内である縦罫線を１つの縦罫線グループとしてグループ化し、
横方向の罫線のｙ座標値が所定の範囲内である横罫線を１つの横罫線グループとしてグループ化し、
前記縦罫線グループと前記横罫線グループとが交差する領域を前記矩形領域として特定することを特徴とする付記１３記載の表認識方法。

（付記１５）
画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
表を含む画像を取得する画像取得手段、
取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定する候補領域特定手段、
特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定する組み合わせ候補選定手段、
組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出する評価値算出手段、及び
算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力する表構成出力手段
として機能させることを特徴とするコンピュータプログラム。

（付記１６）
前記コンピュータを、
前記候補領域が矩形であるか否かを判定する手段、及び
該手段で矩形であると判定された場合、矩形でないと判定された場合より評価値を高く算出する手段
として機能させることを特徴とする付記１５記載のコンピュータプログラム。

（付記１７）
前記コンピュータを、
前記組み合わせ候補に係る隣り合う候補領域の形状及びサイズが同一であるか否かを判定する手段、及び
該手段で同一であると判定された場合、同一でないと判定された場合より評価値を高く算出する手段
として機能させることを特徴とする付記１５又は１６記載のコンピュータプログラム。

（付記１８）
前記コンピュータを、
画像の上方からｙ座標ごとに前記候補領域の組み合わせ候補を選定する手段、
既に選択された組み合わせ候補を記憶手段に記憶する手段、
既に組み合わせ候補を選定した領域と未だ選定していない領域とを区分する探索境界を設定する手段、
設定された探索境界で特定された候補領域の集合が互いに一致するか否かを判定する手段、
該手段で一致すると判定された場合には、一致した候補領域の集合を含む複数の組み合わせ候補ごとに前記評価値を算出する手段、及び
算出された評価値が最大である組み合わせ候補以外の組み合わせ候補を前記記憶手段から削除した後、組み合わせ候補を選択する手段
として機能させることを特徴とする付記１５乃至１７のいずれか一項に記載のコンピュータプログラム。

（付記１９）
前記コンピュータを、
前記組み合わせ候補選定手段により選定された組み合わせ候補が単一である領域と複数である領域とに分離する手段、及び
複数である領域のみ、前記評価値算出手段により算出した評価値に基づいて組み合わせ候補を選択する手段
として機能させることを特徴とする付記１５乃至１７のいずれか一項に記載のコンピュータプログラム。

（付記２０）
前記コンピュータを、
縦横の罫線で区切った矩形領域の集合として前記候補領域を特定する手段、
２つの候補領域間で同一の矩形領域を含むか否かを判断する手段、及び
該手段で同一の矩形領域を含むと判断された場合、該２つの矩形領域を互いに隣接する候補領域の組み合わせ候補として選定する手段
として機能させることを特徴とする付記１５乃至１７のいずれか一項に記載のコンピュータプログラム。

（付記２１）
前記コンピュータを、
縦方向の罫線のｘ座標値が所定の範囲内である縦罫線を１つの縦罫線グループとしてグループ化する縦方向グループ化手段、
横方向の罫線のｙ座標値が所定の範囲内である横罫線を１つの横罫線グループとしてグループ化する横方向グループ化手段、及び
前記縦罫線グループと前記横罫線グループとが交差する領域を前記矩形領域として特定する手段
として機能させることを特徴とする付記２０記載のコンピュータプログラム。

本発明の実施の形態１に係る表認識装置の構成を示すブロック図である。 本発明の実施の形態１に係る表認識装置の制御手段の表認識処理の手順を示すフローチャートである。 格子テーブルの作成方法を示す図である。 生成した格子テーブルに基づいて、セル領域の交点の状態に関する情報を生成する方法を示す図である。 罫線の端点が交点に接続しているか否か不明確である場合の交点特定方法を示す図である。 エッジ形状の具体例を、エッジ形状を識別するエッジＩＤに対応付けて記憶手段に記憶したデータ構成例を示す図である。 各エッジ形状を組み合わせて構成された、交点形状の種類を示す図である。 記憶手段に記憶された、エッジＩＤの探索順序及び方向を示すデータ構成例を示す図である。 制御手段の交点探索処理の手順を示すフローチャートである。 セル領域を抽出する対象となる表領域の一例を示す図である。 探索境界にて特定されたセル領域だけで構成された組み合わせ候補の一例を示す図である。 最新の組み合わせ候補が同一である場合であって、一つ前に生成された組み合わせ候補が相違している場合の一例を示す図である。 本発明の実施の形態２に係る表認識装置の制御手段の評価値算出処理の手順を示すフローチャートである。 本発明の実施の形態３に係る表認識装置の組み合わせ候補選定領域を限定する方法の説明図である。 具体的な領域分離方法を示す図である。 本発明の実施の形態３に係る表認識装置の制御手段の組み合わせ候補選択処理の手順を示すフローチャートである。 本発明の実施の形態４に係る表認識装置の制御手段の組み合わせ候補選択処理の手順を示すフローチャートである。 横罫線グループとして罫線をグループ化した一例を示す図である。 グループ化を行わない場合の一例を示す図である。

符号の説明

１ 表認識装置
１１ 制御手段
１４ 記憶手段
１８ 画像入力手段
１０１ コンピュータプログラム
１０２ 記録媒体

Claims (5)

1. 画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識する表認識装置において、
   表を含む画像を取得する画像取得手段と、
   取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定する候補領域特定手段と、
   特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定する組み合わせ候補選定手段と、
   組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出する評価値算出手段と、
   算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力する表構成出力手段と
   を備えることを特徴とする表認識装置。
2. 前記候補領域が矩形であるか否かを判定する手段を備え、
   該手段で矩形であると判定された場合、矩形でないと判定された場合より評価値を高く算出するようにしてあることを特徴とする請求項１記載の表認識装置。
3. 前記組み合わせ候補に係る隣り合う候補領域の形状及びサイズが同一であるか否かを判定する手段を備え、
   該手段で同一であると判定された場合、同一でないと判定された場合より評価値を高く算出するようにしてあることを特徴とする請求項１又は２記載の表認識装置。
4. 前記組み合わせ候補選定手段は、
   画像の上方からｙ座標ごとに前記候補領域の組み合わせ候補を選定するようにしてあり、
   前記評価値算出手段は、
   既に選択された組み合わせ候補を記憶手段に記憶しておき、
   既に組み合わせ候補を選定した領域と未だ選定していない領域とを区分する探索境界を設定し、設定された探索境界で特定された候補領域の集合が互いに一致するか否かを判定し、
   一致すると判定された場合には、一致した候補領域の集合を含む複数の組み合わせ候補ごとに前記評価値を算出するようにしてあり、
   前記表構成手段は、算出された評価値が最大である組み合わせ候補以外の組み合わせ候補を前記記憶手段から削除した後、組み合わせ候補を選択するようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の表認識装置。
5. 画像に含まれる表を構成する領域を、画像から抽出された罫線に基づいて認識するコンピュータで実行することが可能なコンピュータプログラムにおいて、
   前記コンピュータを、
   表を含む画像を取得する画像取得手段、
   取得した画像から抽出された罫線で囲まれた閉領域として構成される複数の候補領域を、罫線の縦横方向に沿って設定してあるｘ−ｙ座標系にて特定する候補領域特定手段、
   特定された前記候補領域の頂点の二次元座標値に基づいて、互いに隣接する候補領域の組み合わせ候補及び離れている候補領域の組み合わせ候補を選定する組み合わせ候補選定手段、
   組み合わせ候補ごとに、候補領域の組み合わせが表を構成する可能性の度合を示す評価値を算出する評価値算出手段、及び
   算出した評価値に基づいて組み合わせ候補を選択して表を構成して出力する表構成出力手段
   として機能させることを特徴とするコンピュータプログラム。

Images