JP4810995B2

JP4810995B2 - 画像処理装置、方法及びプログラム

Info

Publication number: JP4810995B2
Application number: JP2005341432A
Authority: JP
Inventors: 勝彦糸乘
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-11-28
Filing date: 2005-11-28
Publication date: 2011-11-09
Anticipated expiration: 2025-11-28
Also published as: JP2007148719A

Description

本発明は、画像処理の分野において、表を表した画像から表構造を抽出するための技術に関する。

従来、表を表した画像（以下、表画像という）からその表の構造を抽出するためには、表を構成する罫線を検出し、その罫線の組み合わせで生成される矩形情報を抽出することが必要であった（例えば特許文献１、２参照）。従来の方式では、画像中のどの線が表を構成する罫線であるかということを正確に認識しなければならないが、罫線の長さ、線種及び方向などは文書毎に異なるため、罫線を認識するための各種パラメータの最適化や制御などが必要とされていた。

特許文献１に記載の方式では、文書画像から文字行を検出し、検出した文字行をその行方向と垂直方向に分割して、各分割領域に行方向の射影パターンをそれぞれ作成し、射影パターンごとに行方向と垂直方向の黒ピーク値が閾値以上の場合に罫線有りと判定する。特許文献２に記載の方式では、２値画像上の一定値以上の長さを持つ黒ランを、注目した罫線方向について抽出し、黒ランの中で予め定められた距離内にある黒ランを統合した注目した罫線方向の罫線として抽出する。

特開平２−７１８３号公報特開平９−３４９９５号公報

特許文献１、２に記載された何れの方式であっても、水平方向及び垂直方向の罫線が比較的長い線分によって構成されていることを利用した技術であるため、罫線が短い場合には対処することができないおそれがある。また、何れの方式であっても文字が罫線に接触している場合には、文字と罫線とを判別することができず、誤った罫線が検出されてしまうおそれがある。
本発明は上記のような問題点に鑑みて為されたものであり、罫線の長さ、線種及び方向や、罫線と文字が接触しているか否かに依らず、従来よりも正確に表画像から表構造を抽出することができる技術を提供することを目的とする。

上記従来例の問題点を解決するため、本発明は、画像処理装置において、表画像を有する文書画像を入力する文書画像入力手段と、前記表画像の表を構成する罫線に途切れがあるか否かを判断する判断手段と、前記判断手段が前記表画像の表を構成する罫線に途切れがあると判断した場合には、当該途切れが無くなるまで、前記表画像または前記文書画像入力手段によって入力された文書画像を縮小する縮小手段と、前記表画像または前記縮小手段によって縮小された表画像から、表を構成する罫線によって囲まれた部分における背景領域の最小単位を単位背景領域として検出する単位背景領域検出手段と、前記単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合手段と、前記単位背景領域間の位置関係を検出する単位背景領域関係検出手段と、前記単位背景領域間の位置関係から表構造を抽出する表構造抽出手段とを有することを特徴とする。このように、従来のように罫線そのものに基づいて表構造を抽出するのではなく、表画像から背景領域を用いて表構造を抽出するので、罫線の長さ、線種及び方向や、罫線と文字が接触しているか否かに依らず、従来よりも正確に表画像から表構造を抽出することができる。また、背景領域は、文字や点線、破線など罫線の線種より十分に大きいため、罫線の特徴（点線や破線の途切れ部分）が消滅する程度に画像を縮小して処理することにより、背景領域に対する認識精度を維持したまま、点線や破線の罫線を実線の罫線として取り扱うことができる。これにより、従来のような罫線を認識するための処理に必要なパラメータなどを変更するような特別な操作は必要なく、罫線の線種に依らずに表画像から背景領域を容易に検出することができる。また文字のつぶれや罫線の接触文字の影響も防ぐことができる。

さらに文書画像入力手段によって入力された文書画像から表画像を抽出する表画像抽出手段を有することで、表画像を有する入力画像から表画像を抽出することができる。

ここで背景領域検出手段は、前記表画像抽出手段によって抽出された表画像において背景を表す背景色を判定し、背景色と判定された領域を単位背景領域として検出するようにしてもよい。この場合表画像内で最も広い面積を占める色を背景色として判定することが好ましい。

ここで単位背景領域関係検出手段は、単位背景領域間の関係を各単位背景領域に対して座標を割り付けて単位背景領域間の隣接関係を特定することで、単位背景領域間の位置関係を検出することが好ましい。

また本発明の一態様に係る表構造抽出方法は、表画像を有する文書画像を入力する文書画像入力ステップと、前記表画像の表を構成する罫線に途切れがあるか否かを判断する判断ステップと、前記判断ステップにおいて前記表画像の表を構成する罫線に途切れがあると判断された場合には、当該途切れが無くなるまで、前記表画像または前記文書画像入力ステップによって入力された文書画像を縮小する縮小ステップと、前記表画像または前記縮小ステップにおいて縮小された表を構成する罫線によって囲まれた部分における背景領域の最小単位を単位背景領域として検出する単位背景領域検出ステップと、前記単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合ステップと、前記単位背景領域から単位背景領域間の位置関係を検出する単位背景領域関係検出ステップと、前記単位背景領域間の位置関係から表構造を抽出し、記憶する表構造抽出ステップとを有することを特徴とする。

さらに本発明の一態様に係るプログラムは、コンピュータに、表画像を有する文書画像を入力する文書画像入力手順と、前記表画像の表を構成する罫線に途切れがあるか否かを判断する判断手順と、前記判断手順において前記表画像の表を構成する罫線に途切れがあると判断された場合には、当該途切れが無くなるまで、前記表画像または前記文書画像入力手順において入力された文書画像を縮小する縮小手順と、前記表画像または前記縮小手順において縮小された表を構成する罫線によって囲まれた部分における背景領域の最小単位を検出する単位背景領域検出手順と、前記単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合手順と、前記単位背景領域から単位背景領域間の関係を検出する単位背景領域関係検出手順と、前記単位背景領域間の関係から表構造を抽出する表構造手順とを実行させることを特徴とする。

本発明によると、表画像から背景領域を用いて表構造を抽出するので、罫線の長さ、線種及び方向や、罫線と文字が接触しているか否かに依らず、従来よりも正確に表画像から表構造を抽出することができる。さらに単位背景領域検出手段によって検出された単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合手段を有することで、例えば背景領域内に含まれる文字内の空白部分を単位背景領域に統合し、まとめて1つの単位背景領域とすることができる。また文書画像入力手段によって入力された文書画像を縮小して背景領域検出手段へ入力する縮小手段を有することで、罫線を認識する処理に必要なパラメータなどを変更するような特別な操作は必要なく、罫線の線種に依らずに表画像から背景領域を容易に検出することができ、文字のつぶれや罫線の接触文字の影響も防ぐことができる。

図１は、本発明の画像処理装置の実施の一形態を示すブロック構成図である。図中、１０１は文書画像入力部、１０２は表画像抽出部、１０３は表画像縮小部、１０４は単位背景領域検出部、１０５は単位背景領域統合部、１０６は単位背景領域関係検出部、１０７は表構造抽出部である。

文書画像入力部１０１は、スキャナなどを用い、プラテンガラスに載置された原稿上の画像を画像データとして取得する。表画像抽出部１０２は、文書画像入力部１０１で読み込まれた画像データから、表画像に相当する画像データと、表画像以外の画像に相当する画像データとを分離することで表画像を抽出する。表画像縮小部１０３は、抽出された表画像を縮小する。単位背景領域検出部１０４は、表画像から、表を構成する罫線によって囲まれた部分における背景領域の最小単位を単位背景領域として検出する。単位背景領域統合部１０５は、表を構成する罫線以外の線で囲まれた背景領域がどの単位背景領域に含まれるのかという包含関係を調べ、表を構成する罫線以外の線で囲まれた背景領域を、それを含む単位背景領域に統合する。単位背景領域関係検出部１０６は、単位背景領域間のそれぞれの位置関係を検出する。表構造抽出部１０７は、単位背景領域関係検出部１０６から検出された単位背景領域間のそれぞれの位置関係から表構造を抽出し、これを記憶する。

以上のように構成された画像処理装置の実施の一形態を示すブロック構成図の各部の処理について、図２を用いて説明する。文書画像入力部１０１は、スキャナなどを用い、載置された原稿上の画像を画像データとして取得する（ステップ２０１）。文書画像入力部１０１は、例えば原稿載置台、光源、ラインセンサ、Ａ／Ｄ（アナログ／デジタル）変換器などからなる。文書画像入力部１０１は、1次元のＣＣＤラインセンサを、ラインセンサの受光素子の並び方向（主走査方向）と直交する方向（副走査方向）に移動させることによって、原稿上の画像を読み取り、画像データとして出力する。もちろん、文書画像入力部１０１の読み取り方式は任意であり、原稿を移動させて読み取る方式などでも良い。

次に、表画像抽出部１０２は、入力された画像が表画像のみであるかを判断する（ステップ２０２）。表画像のみでない場合には（ステップＳ２０２；ＮＯ）、表画像抽出部１０２は、表画像を有する文書画像データから、表画像に相当する画像データと、表画像以外の画像に相当する画像データとを分離することで表画像を抽出する（ステップ２０３）。表画像のみである場合には（ステップＳ２０２；ＹＥＳ）、ステップＳ２０３をスキップしてステップＳ２０４の処理に移行する。

表画像の分離については、画像の属性を基に自動的に分離する表領域分離装置（例えば、特開平２−２１０５８６号公報参照）などがあり、公知の技術のため詳細な説明を省略する。また表画像の抽出は、例えば図３に示すパーソナルコンピュータなどの画像処理部３０２に備え付けられているディスプレイ上で、マウスに代表されるポインティングデバイスなどの画像指示部３０４により操作者が指定することにより行なってもよい。

次に、表画像縮小部１０３は、本発明の実施の一形態における処理の対象である表画像の罫線に途切れがあるかを判断する（ステップ２０４）。表画像の罫線に途切れがあると（つまり罫線が点線や破線であると）、後述する表を構成する罫線によって囲まれた部分における背景領域の最小単位を単位背景領域として検出できないからである。つまり、罫線に戸切れがあると、その途切れ部分によって背景領域が連なってしまい、１つ１つの単位背景領域を見分けることができなくなるからである。そこで、表画像の罫線に途切れがあるかを判断し、表画像の罫線に途切れがある場合には（ステップＳ２０４；ＹＥＳ）、表画像縮小部１０３により、表画像を縮小する（ステップ２０５）。この場合、表画像には罫線以外の線も含まれているが、表画像縮小部１０３は、画像中のどの線が罫線であるかを正確に認識する必要はなく、画像に含まれる線に途切れがあると判断した場合には、罫線に途切れがあると判断して表画像を縮小すればよい。背景領域は、文字や点線や破線の途切れ部分より充分に大きいので、表画像縮小部１０３により、表画像を点線や破線の特徴(途切れ)が無くなるまで画像を縮小して処理することにより、表画像の罫線に途切れの影響を受けずに、容易に点線、破線を用いている表画像から背景領域を取り出すことができる。このような処理を施すことで、従来技術で必要であった罫線の長さ、線種及び方向や、罫線と文字が接触しているか否かによって、操作者は、パラメータなどを変更するような操作は必要ない。なお、本発明の実施の一形態では、表画像のみに対して表画像縮小部１０３により表画像の縮小を行なったが、これに限られるものではなく、例えば文書画像入力部１０１によって入力された表画像を有する文書画像に対して上記のような縮小処理を行なってもよい。なお、表画像の罫線に途切れがない場合には（ステップＳ２０４；ＮＯ）、ステップＳ２０５の処理をスキップしてステップＳ２０６の処理に移行すればよい。

次に、単位背景領域検出部１０４は、表画像から表を構成する罫線によって囲まれた部分における背景領域の最小単位を単位背景領域として検出する（ステップ２０６）。単位背景領域検出部１０４は、まず表画像の背景を表す背景色を判定し、背景色と判定された領域を表画像から検出する。表画像においては、一般に文字あるいは罫線などの面積よりも背景領域の面積のほうが広いので、表画像で用いられている色の面積を計測して、最も広い面積を占める色を背景色とすることができる。背景色の判定は、例えば文書画像入力部１０１で原稿上の画像をレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）等の３原色に色分解された電気信号により行なうことができる。表画像が白黒である場合には、一般に文字色は黒、背景色は白が用いられているので、背景色を白とすることもできる。

背景色として判定された画素は、表画像内で連結され、背景領域として検出される。背景領域の検出は、例えば連結している画素に同じラベルを付加することで複数の領域をグループとして分類するラベリング処理を用いることで実現できる。ラベリング処理により、連結する背景領域は、それぞれに番号が付加された外接矩形として表現することができる。例えば、図４の表画像４０１に対して、背景色と判定された画素に対してラベリング処理を行って背景色領域を取り出すと、単位背景領域４０２（図中、斜線で示した領域）が検出できる。

しかし、例えば図５の表画像５００に対して単位背景領域検出部１０４による検出処理を適用すると、単位背景領域５０１（図中、各文字の外側に存在する斜線領域）が検出できる一方で、表を構成する罫線以外の線で囲まれた領域が背景領域５０２（つまり文字内の空白部分であって、図中の各文字の内側の斜線領域）をそれぞれ単位背景領域として検出することになる。一般に表画像内の文字は、罫線で囲われている矩形内に存在するため、矩形内の文字を一括して扱うには、これらの背景領域５０２を単位背景領域５０１と統合して、ひとまとまりの単位背景領域として検出するべきである。したがって、単位背景領域統合部１０５は、単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域があるかを判断する（ステップ２０７）。そして、単位背景領域統合部１０５は、表を構成する罫線以外の線で囲まれた背景領域がある場合には（ステップＳ２０７；ＹＥＳ）、表を構成する罫線以外の線で囲まれた背景領域がどの単位背景領域に含まれるのかの包含関係を調べ、表を構成する罫線以外の線で囲まれた背景領域を、それを含む単位背景領域に統合する（ステップ２０８）。このような統合が行なわれることで、表画像５００に対して単位背景領域６０１を検出することができる（図６参照）。なお、表を構成する罫線以外の線で囲まれた背景領域がない場合には（ステップＳ２０７；ＮＯ）、ステップＳ２０８の処理をスキップしてステップＳ２０９の処理に移行すればよい。

これら一連の処理を例えば図７(ａ)の表画像に対して施すことで、表画像から罫線画像を消去し、図７（ｂ）に示す単位背景領域７０１を得ることができる。なお、図７（ｂ）において、各々の単位背景領域のみならず各単位背景領域内の文字も図示しているのは、各単位背景領域とその領域に含まれていた文字との対応関係を示すためである。

次に、単位背景領域関係検出部１０６は、単位背景領域検出部１０４から検出、単位背景領域統合部１０５によって統合された単位背景領域７０１のそれぞれの位置関係を検出する（ステップ２０９）。例えば図８に示した表では、”注文日”に対して”２００５年８月３０日”という値が対応し、”発注番号”に”５００３６５０７７”という値が対応している。このように、一般的な表においては、隣接する項目間に特定の対応関係がある。そこで、単位背景領域関係検出部１０６は、単位背景領域のそれぞれについての隣接関係（位置関係）を調べることで、項目間の対応関係を検出する。具体的には、単位背景領域検出部１０４は、図９に示すように、単位背景領域のそれぞれに一意の番号（単位背景領域番号）を割り付け、これらの単位背景領域番号と、各単位背景領域の位置座標とを対応付けていくことで単位背景領域の隣接関係（位置関係）を特定する。

ここで、図１０は、各単位背景領域に２次元座標を割り付けるための処理のフローである。同図において、左上端を２次元（Ｘ−Ｙ）座標の原点とし、単位背景領域の矩形情報を、矩形の左側のＸ座標：Ｘ、矩形の上側のＹ座標：Ｙ、矩形の幅：Ｗ、矩形の高さ：Ｈによって表すものとする。まず、単位背景領域関係検出部１０６は、最小のＸ、Ｙ座標を持つ単位背景領域を検出するために、Ｘ＝１、Ｙ=１、ＹＹ=−１と、それに対応する単位背景領域の矩形情報rRectを初期値として設定する（ステップ１００１）。次に単位背景領域関係検出部１０６は、単位背景領域の座標に未割付領域が存在するかどうかを判断し（ステップ１００２）、未割付領域が存在するのであれば（ステップ１００２；ＹＥＳ）、単位背景領域関係検出部１０６は、２次元座標が割り付けられていない単位背景領域と、初期値rRectを比較する（ステップ１００３）。未割付領域が存在しなければ（ステップ１００２；ＮＯ）、処理は終了する。

単位背景領域関係検出部１０６は、単位背景領域のＹ座標と、初期値rRectのＹ座標を比較して、単位背景領域のＹ座標がrRectのＹ座標よりも小さいか否かを判断する（ステップ１００４）。小さくなければ（ステップＳ１００４；ＮＯ）、単位背景領域関係検出部１０６は、単位背景領域と初期値rRecのＹ座標が等しいかどうかを判断する（ステップ１００５）。等しい場合には（ステップＳ１００５；ＹＥＳ）、単位背景領域のＸ座標と、初期値rRectのＸ座標を比較して、単位背景領域のＸ座標がrRectのＸ座標よりもが小さいか否かを判断する（ステップ１００６）。小さければ（ステップＳ１００６；ＹＥＳ）、単位背景領域関係検出部１０６は、初期値rRectを単位背景領域とする（ステップ１００７）。単位背景領域関係検出部１０６は、上記の比較を全ての単位背景領域において行い（ステップＳ１００８；Ｙｅｓ）、最小座標を持つ単位背景領域を選択する。

次に、単位背景領域関係検出部１０６は、選択した単位背景領域を、前回の比較処理で選択した単位背景領域のＹ座標と比較する（ステップ１００９）。Ｙ座標に変化があれば、割り付けるＹ座標の値が変化したことになるので（ステップ１０１０；ＹＥＳ）、単位背景領域関係検出部１０６は、割り付けるＸ座標を”1”に、Ｙ座標を”プラス1”して（ステップ１０１１）、選択した単位背景領域に座標を割り付ける（ステップ１０１２）。一方、Ｙ座標に変化がなければ（ステップ１０１０；ＮＯ）、単位背景領域関係検出部１０６は、割り付けるＸ座標を”プラス１”して（ステップ１０１３）、選択した単位背景領域に座標を割り付ける（ステップ１０１２）。以上の処理を未割付の背景領域が無くなるまで繰り返し行なう。この結果、図１１に示すように、単位背景領域それぞれに対して、（Ｘ，Ｙ）＝（１，１）、（１，２）、（２，１）、（２，２）というように座標を割り付けることができる。単位背景領域関係検出部１０６は、この座標値を調べることで、単位背景領域それぞれの隣接関係を検出できる。すなわち、２つの単位背景領域を比較し、割り付けられたＸ座標の値、あるいはＹ座標の値のどちらかが１だけ大きければ、その２つの単位背景領域は隣接していることが分かる。

再び図２の説明に戻る。表構造抽出部１０７は、単位背景領域関係検出部１０６によって検出された単位背景領域の位置関係に基づいて、表構造を抽出し、これを記憶する（ステップ２１０）。図１２は、表構造抽出部１０７により抽出された表構造を表す図である。まず、図１２（a）は、表構造抽出部１０７が各単位背景領域の座標に基づいて表構造を抽出する例を示した図であり、単位背景領域に割り付けられた単位背景領域番号と、各単位背景領域の位置座標と、各単位背景領域（表の各項目）内の文字列とが対応付けられて記憶されている様子を示している。

図１２（ａ）に示す例では、例えば単位背景領域番号「１」が割り付けられた単位背景領域内の文字列「注文日」と、単位背景領域番号「２」が割り付けられた単位背景領域内の文字列「2005年8月30日」とはそれぞれ、座標（Ｘ，Ｙ）＝（１，１）と座標（Ｘ，Ｙ）＝（２，１）という位置関係にあるから（つまりＸ方向に隣接しているから）、これらは特定の対応関係にあるということが分かる。同様に、単位背景領域番号「３」が割り付けられた単位背景領域内の文字列「発注番号」と、単位背景領域番号「４」が割り付けられた単位背景領域内の文字列「500365077」とはそれぞれ、座標（Ｘ，Ｙ）＝（１，２）と座標（Ｘ，Ｙ）＝（２，２）という位置関係にあるから（つまりＸ方向に隣接しているから）、これらも特定の対応関係にあるということが分かる。

また、図１２（ｂ）は、表構造抽出部１０７が各単位背景領域の右方向又は下方向の隣接関係に基づいて表構造を抽出する例を示した図であり、単位背景領域に割り付けられた単位背景領域番号と、その単位背景領域の右側に位置する単位背景領域の単位背景領域番号と、その単位背景領域の下側に位置する単位背景領域の単位背景領域番号と、その単位背景領域内の文字列とが対応付けられて記憶されている様子を示している。図１２（ｂ）に示す例では、例えば単位背景領域番号「１」が割り付けられた単位背景領域内の文字列「注文日」の右側に、単位背景領域番号「２」が割り付けられた単位背景領域内の文字列「2005年8月30日」があるから（つまりこれらはＸ方向に隣接しているから）、これらは特定の対応関係にあるということが分かる。同様に、単位背景領域番号「３」が割り付けられた単位背景領域内の文字列「発注番号」の右側に、単位背景領域番号「４」が割り付けられた単位背景領域内の文字列「500365077」があるから（つまりこれらはＸ方向に隣接しているから）、これらも特定の対応関係にあるということが分かる。
このように表構造を用いることで、例えばワープロなど任意のアプリケーションで利用が可能な状態となる。

また本発明の画像処理装置の実施の一形態を図３に示す。３０１はスキャナなどの画像入力部、３０２はパーソナルコンピュータなどの画像処理部、３０３はキーボードなどの画像操作部、３０４はマウスに代表されるポインティングデバイスなどの画像指示部である。図３に示す例では、パーソナルコンピュータなどから構成されているが、画像を入力し処理できるものであれば、本発明はこれらの構成に限られるものではなく、例えば複写機などであっても良い。画像入力部３０１は、前述した文書画像入力部１０１に相当し、画像処理部３０２は、前述した表画像抽出部１０２、表画像縮小部１０３、単位背景領域検出部１０４、単位背景領域統合部１０５、単位背景領域関係検出部１０６、表構造抽出部１０７に相当する。

このように本実施の形態によると、表画像から背景領域を用いて表構造を抽出するので、罫線の長さ、線種及び方向や、罫線と文字が接触しているか否かに依らず、従来よりも正確に表画像から表構造を抽出することができる。さらに単位背景領域検出手段によって検出された単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合手段を有することで、例えば背景領域内に含まれる文字内の空白部分を統合し、１つの単位背景領域とすることができる。また表画像または文書画像入力手段によって入力された文書画像を縮小して背景領域検出手段へ入力する縮小手段を有することで、罫線を認識する処理に必要なパラメータなどを変更するような特別な操作は必要なく、罫線の線種に依らずに表画像から背景領域を容易に検出することができ、文字のつぶれや罫線の接触文字の影響も防ぐことができる。

本発明の実施の形態に係る画像処理装置のブロック構成図である。本発明の実施の形態に係る表構造抽出のフローチャート図である。本発明の実施の形態に係る画像処理装置の構成図である。本発明の実施の形態に係る表画像の単位背景領域の例を表す説明図である。本発明の実施の形態に係る単位背景領域と文字による背景領域を表す説明図である。本発明の実施の形態に係る単位背景領域を抽出した結果の一例を表す図である。（ａ）は、本発明の実施の形態に係る表画像の一例を表す図であり、（ｂ）は、本発明の実施の形態に係る単位背景領域を抽出した結果の一例を表す図である。本発明の実施の形態に係る表構造の項目の関係の例を表す説明図である。本発明の実施の形態に係る単位背景領域それぞれの位置関係の方向を表す説明図である。本発明の実施の形態に係る単位背景領域それぞれに座標を割り付けるフローチャット図である。本発明の実施の形態に係る単位背景領域それぞれの位置関係に座標を割り付けた結果の一例を表す図である。（ａ）は、本発明の実施の形態に係る単位背景領域の位置関係の方向から表構造を抽出した一例を表す図であり、（ｂ）は、本発明の実施の形態に係る単位背景領域の座標から表構造を抽出した一例を表す図である。

符号の説明

１０１文書画像入力部、１０２表画像抽出部、１０３表画像縮小部、1０４単位背景領域検出部、１０５単位背景領域統合部、１０６単位背景領域関係検出部、１０７表構造抽出部、３０１画像入力部、３０２画像処理部、３０３画像操作部、３０４画像指示部、４０１表画像、４０２単位背景領域、５０１罫線による単位背景領域、５０２文字による背景領域、６０１統合後の単位背景領域、７０１表全体から切り出した単位背景領域

Claims

表画像を有する文書画像を入力する文書画像入力手段と、
前記表画像の表を構成する罫線に途切れがあるか否かを判断する判断手段と、
前記判断手段が前記表画像の表を構成する罫線に途切れがあると判断した場合には、当該途切れが無くなるまで、前記表画像または前記文書画像入力手段によって入力された文書画像を縮小する縮小手段と、
前記表画像または前記縮小手段によって縮小された表画像から、表を構成する罫線によって囲まれた部分における背景領域の最小単位を単位背景領域として検出する単位背景領域検出手段と、
前記単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合手段と、
前記単位背景領域間の位置関係を検出する単位背景領域関係検出手段と、
前記単位背景領域間の位置関係から表構造を抽出する表構造抽出手段と
を有することを特徴とする画像処理装置。
さらに前記文書画像入力手段によって入力された文書画像から表画像と該表画像以外の画像とを分離し、表画像を抽出する表画像抽出手段を有し、
前記単位背景領域検出手段は、前記表画像抽出手段によって抽出された表画像から前記単位背景領域を検出することを特徴とする請求項１に記載の画像処理装置。
前記単位背景領域検出手段は、前記表画像において背景を表す背景色を判定し、背景色と判定された領域を前記単位背景領域として検出することを特徴とする請求項１に記載の画像処理装置。
前記単位背景領域検出手段は、前記表画像内で最も広い面積を占める色を背景色として判定することを特徴とする請求項３に記載の画像処理装置。
前記単位背景領域関係検出手段は、各々の前記単位背景領域に対して座標を割り付けて前記単位背景領域間の隣接関係を特定することで、前記単位背景領域間の位置関係を検出することを特徴とする請求項１に記載の画像処理装置。
表画像を有する文書画像を入力する文書画像入力ステップと、
前記表画像の表を構成する罫線に途切れがあるか否かを判断する判断ステップと、
前記判断ステップにおいて前記表画像の表を構成する罫線に途切れがあると判断された場合には、当該途切れが無くなるまで、前記表画像または前記文書画像入力ステップによって入力された文書画像を縮小する縮小ステップと、
前記表画像または前記縮小ステップにおいて縮小された表を構成する罫線によって囲まれた部分における背景領域の最小単位を単位背景領域として検出する単位背景領域検出ステップと、
前記単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合ステップと、
前記単位背景領域から単位背景領域間の位置関係を検出する単位背景領域関係検出ステップと、
前記単位背景領域間の位置関係から表構造を抽出し、記憶する表構造抽出ステップと
を有することを特徴とする画像処理方法。
コンピュータに、
表画像を有する文書画像を入力する文書画像入力手順と、
前記表画像の表を構成する罫線に途切れがあるか否かを判断する判断手順と、
前記判断手順において前記表画像の表を構成する罫線に途切れがあると判断された場合には、当該途切れが無くなるまで、前記表画像または前記文書画像入力手順において入力された文書画像を縮小する縮小手順と、
前記表画像または前記縮小手順において縮小された表を構成する罫線によって囲まれた部分における背景領域の最小単位を検出する単位背景領域検出手順と、
前記単位背景領域内に表を構成する罫線以外の線で囲まれた背景領域が存在する場合には、該表を構成する罫線以外の線で囲まれた背景領域を前記単位背景領域に統合する単位背景領域統合手順と、
前記単位背景領域から単位背景領域間の関係を検出する単位背景領域関係検出手順と、
前記単位背景領域間の関係から表構造を抽出する表構造手順と
を実行させるためのプログラム。