JP5206525B2 - 画像処理装置、画像読取装置、画像形成装置及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像読取装置、画像形成装置及びプログラムに関する。

文書画像において、セル領域が罫線で区切られていない表が利用されることがある。そこで、罫線以外の特徴に基づいて、文書画像から表部分を抽出する技術が開示されている。例えば、特許文献１には、帳票の項目が記載されている領域の重心位置、上下左右の端の位置などに基づいて、表形式で記載されている部分を抽出する技術が知られている。また、特許文献２には、ドキュメントに含まれるテキスト・エンティティの隣接関係が予め定義されたルールを満たす場合には、その部分をテーブルとして認識する技術が開示されている。

特開２００６−１７８８０２号公報 特開平０９−１９８４５６号公報

本発明は、セル領域が罫線で区切られていない表が含まれている場合にも、画像から表領域を精度よく抽出することを目的とする。

本発明の請求項１に係る画像処理装置は、入力画像から連結成分に応じた画像要素を判別する画像要素判別手段と、前記画像要素判別手段によって判別された各々の画像要素について、当該画像要素の外接矩形の辺の端点を対象端点とし、当該画像要素と隣り合う画像要素において当該辺と対向する辺の端点である隣接端点が当該対象端点から見て予め決められた範囲内にある場合には、当該対象端点と当該隣接端点とにそれぞれ結合情報を付与する結合情報付与手段と、前記画像要素判別手段によって判別された画像要素のうち、隣り合う画像要素と画像要素とにおいて、予め決められた対応する端点同士に前記結合情報が付与されている場合には、当該隣り合う画像要素同士を統合する統合手段と、前記統合手段によって統合された複数の画像要素によって構成される統合画像要素において、画像要素の各々の端点に対して前記結合情報付与手段によって付与された前記結合情報に応じた値を付与し、当該値の総和を当該統合画像要素の画像要素間の結合の強さを示す値として算出する算出手段と、前記統合手段によって統合された前記統合画像要素について、前記算出手段によって算出された値が当該統合画像要素に含まれる画像要素の数に応じた閾値以上である場合には、当該統合画像要素の領域を表領域として抽出する表領域抽出手段とを備えることを特徴とする。

本発明の請求項２に係る画像処理装置は、請求項１に記載の構成において、前記画像要素判別手段は、前記連結成分の特徴量に基づいて、枠又は表の画像要素を判別することを特徴とする。

本発明の請求項３に係る画像処理装置は、請求項２に記載の構成において、前記統合手段は、前記隣り合う画像要素と画像要素とにおいて対向する辺の両方の端点同士に前記結合情報が付与されている場合には、当該隣り合う画像要素同士を統合することを特徴とする。

本発明の請求項４に係る画像処理装置は、請求項３に記載の構成において、前記統合手段は、前記統合された複数の画像要素群と１つの或る画像要素とが隣り合う場合に、当該画像要素群と当該或る画像要素とにおいて対向する辺の両方の端点同士に前記結合情報が付与されているときには、当該画像要素群と当該或る画像要素とを統合することを特徴とする。

本発明の請求項５に係る画像処理装置は、請求項３又は４に記載の構成において、前記統合手段は、前記枠の画像要素と前記表の画像要素とが隣り合う場合に、当該枠の画像要素と当該表の画像要素とにおいて対向する辺の一方の端点同士に前記結合情報が付与されており、さらに、当該対向する辺の長さの差が閾値以下であるとき、又は当該枠の画像要素の端点と対応する位置に当該表の画像要素の罫線があるときには、当該枠の画像要素と当該表の画像要素とを統合することを特徴とする。

本発明の請求項６に係る画像処理装置は、請求項１から５のいずれか１項に記載の構成において、前記算出手段は、第１の方向に隣り合う画像要素と画像要素との対向する辺の端点に対して付与された値の総和を前記統合画像要素の画像要素間の第１の方向の結合の強さを示す第１の値として算出し、前記第１の方向とは異なる第２の方向に隣り合う画像要素と画像要素との対向する辺の端点に対して付与された値の総和を前記統合画像要素の画像要素間の第２の方向の結合の強さを示す第２の値として算出し、前記表領域抽出手段は、前記統合手段によって統合された前記統合画像要素について、前記算出手段によって算出された第１の値及び第２の値がいずれも当該統合画像要素に含まれる画像要素の数に応じた第１の閾値以上であり、当該第１の値と当該第２の値とを加算した値が、当該統合画像要素に含まれる画像要素の数に応じた第２の閾値以上である場合には、当該統合画像要素の領域を表領域として抽出することを特徴とする。

本発明の請求項７に係る画像処理装置は、請求項６に記載の構成において、前記算出手段は、前記統合画像要素において前記枠の画像要素と前記表の画像要素とが隣り合う場合には、当該枠の画像要素と当該表の画像要素との対向する辺の端点に付与された値に予め決められた値を加算することを特徴とする。

本発明の請求項８に係る画像処理装置は、請求項６又は７に記載の構成において、前記算出手段は、前記統合画像要素において複数の枠の画像要素が配列された枠の画像要素群と１つの或る画像要素とが隣り合う場合には、当該枠の画像要素群と当該或る画像要素との対向する辺における当該或る画像要素の端点に付与された値に、当該枠の画像要素群に含まれる枠の画像要素の数に応じた値を加算することを特徴とする。

本発明の請求項９に係る画像処理装置は、請求項６から８のいずれか１項に記載の構成において、前記算出手段は、前記統合画像要素に前記表の画像要素が含まれる場合には、前記第１の値及び前記第２の値にそれぞれ予め決められた値を加算することを特徴とする。

本発明の請求項１０に係る画像処理装置は、請求項２に記載の構成において、前記画像要素判別手段によって判別された画像要素において、前記表の画像要素の中に前記枠の画像要素が含まれている場合には、当該枠の画像要素を削除する削除手段を備えることを特徴とする。

本発明の請求項１１に係る画像読取装置は、原稿の画像を読み取る読取手段と、前記読取手段によって読み取られた画像を前記入力画像として用いて処理を行う請求項１〜１０のいずれか１項に記載の画像処理装置とを備えることを特徴とする。

本発明の請求項１２に係る画像形成装置は、原稿の画像を読み取る読取手段と、前記読取手段によって読み取られた画像を前記入力画像として用いて処理を行う請求項１〜１０のいずれか１項に記載の画像処理装置と、前記画像処理装置によって処理が施された画像を記録材に形成する画像形成手段とを備えることを特徴とする。

本発明の請求項１３に係るプログラムは、コンピュータを、入力画像から連結成分に応じた画像要素を判別する画像要素判別手段と、前記画像要素判別手段によって判別された各々の画像要素について、当該画像要素の外接矩形の辺の端点を対象端点とし、当該画像要素と隣り合う画像要素において当該辺と対向する辺の端点である隣接端点が当該対象端点から見て予め決められた範囲内にある場合には、当該対象端点と当該隣接端点とにそれぞれ結合情報を付与する結合情報付与手段と、前記画像要素判別手段によって判別された画像要素のうち、隣り合う画像要素と画像要素とにおいて、予め決められた対応する端点同士に前記結合情報が付与されている場合には、当該隣り合う画像要素同士を統合する統合手段と、前記統合手段によって統合された複数の画像要素によって構成される統合画像要素において、画像要素の各々の端点に対して前記結合情報付与手段によって付与された前記結合情報に応じた値を付与し、当該値の総和を当該統合画像要素の画像要素間の結合の強さを示す値として算出する算出手段と、前記統合手段によって統合された前記統合画像要素について、前記算出手段によって算出された値が当該統合画像要素に含まれる画像要素の数に応じた閾値以上である場合には、当該統合画像要素の領域を表領域として抽出する表領域抽出手段として機能させるためのプログラムである。

請求項１に係る発明によれば、セル領域が罫線で区切られていない表が含まれている場合にも、画像から表領域を精度よく抽出することができる。
請求項２に係る発明によれば、入力画像に枠の画像要素又は表の画像要素が含まれている場合にも、画像から表領域を精度よく抽出することができる。
請求項３に係る発明によれば、複数の画像要素の大きさや位置がそろっている場合に、それらの画像要素をひとまとまりの統合画像要素として扱うことができる。
請求項４に係る発明によれば、大きさの異なる画像要素が配列されたものをひとまとまりの統合画像要素として扱うことができる。
請求項５に係る発明によれば、枠の画像要素と表の画像要素とが隣り合う場合には、その他の画像要素と画像要素とが隣り合う場合よりも緩い条件で、それらの画像要素をひとまとまりの統合画像要素として扱うことができる。
請求項６に係る発明によれば、統合画像要素において複数の画像要素が第１の方向及び第２の方向に表らしい形状になるように配置されている場合には、その統合画像要素を表領域として抽出することができる。
請求項７に係る発明によれば、統合画像要素において枠の画像要素と表の画像要素とが隣り合う場合には、その統合画像要素の表らしさを示す値を大きくすることができる。
請求項８に係る発明によれば、統合画像要素において複数の枠の画像要素群と１つの画像要素とが隣り合う場合には、その統合画像要素の表らしさを示す値を大きくすることができる。
請求項９に係る発明によれば、統合画像要素に表の画像要素が含まれる場合には、その統合画像要素の表らしさを示す値を大きくすることができる。
請求項１０に係る発明によれば、表の画像要素の中に枠の画像要素が含まれている場合にも、画像から表領域を精度よく抽出することができる。
請求項１１に係る発明によれば、セル領域が罫線で区切られていない表が含まれている場合にも、画像から表領域を精度よく抽出することができる。
請求項１２に係る発明によれば、セル領域が罫線で区切られていない表が含まれている場合にも、画像から表領域を精度よく抽出することができる。
請求項１３に係る発明によれば、セル領域が罫線で区切られていない表が含まれている場合にも、画像から表領域を精度よく抽出することができる。

実施形態に係る画像形成装置の構成を示すブロック図である。 前記画像形成装置の画像処理部の機能構成を示すブロック図である。 前記画像形成装置の表領域抽出処理を示すフロー図である。 前記表領域抽出処理で用いられる画像の一例を示す図である。 前記表領域抽出処理の繋がり関係の判定処理の原理を説明する図である。 前記表領域抽出処理のクラスタ化の原理を説明する図である。 前記表領域抽出処理で用いられる統合オブジェクト一例を示す図である。 変形例に係る削除処理を示すフロー図である。 変形例に係る前記削除処理で用いられる画像の一例を示す図である。 変形例に係る表領域抽出処理で用いられる統合オブジェクトの一例を示す図である。

［構成］
図１は、本実施形態に係る画像形成装置１の構成を示すブロック図である。同図に示すように、画像形成装置１は、制御部１１と、通信部１２と、記憶部１３と、表示操作部１４と、画像読取部１５と、画像処理部１６と、画像形成部１７とを備えている。制御部１１は、ＣＰＵ(Central Processing Unit)とメモリなどを備えており、ＣＰＵがメモリ又は記憶部１３に記憶されているプログラムを実行することにより、画像形成装置１の各部を制御する。通信部１２は、通信回線を介して接続された外部装置との通信を確立し、データの送受信を行う。記憶部１３は、例えばハードディスクであり、各種のデータを記憶する。表示操作部１４は、例えばタッチパネルであり、制御部１１の制御に応じた画像を表示するとともに、操作者の操作を受け付ける。画像読取部１５は、本発明の読取手段の一例であり、例えばスキャナ装置である。画像読取部１５は、用紙の画像を読み取り、その画像に応じた画像データを生成する。画像処理部１６は、画像読取部１５によって生成された画像データ、又は通信部１２によって受信された画像データを用いて、各種の画像処理を行う。画像形成部１７は、本発明の画像形成手段の一例であり、例えば電子写真方式で画像を形成するプリンター装置である。画像形成部１７は、画像処理部１６によって処理が施された画像データに応じた画像を用紙に形成し、出力する。

次に、画像処理部１６の機能構成について説明する。図２は、画像処理部１６の機能構成を示す図である。同図に示すように、画像処理部１６は、機能構成として、画像要素判別部１０１と、結合情報付与部１０２と、統合部１０３と、算出部１０４と、表領域抽出部１０５とを有している。画像要素判別部１０１は、入力画像から連結成分に応じた画像要素を判別する画像要素判別手段である。結合情報付与部１０２は、画像要素判別部１０１によって判別された各々の画像要素について、その画像要素の外接矩形の辺の端点を対象端点とし、その画像要素と隣り合う画像要素においてその辺と対向する辺の端点である隣接端点が対象端点から見て予め決められた範囲内にある場合には、対象端点と隣接端点とにそれぞれ結合情報を付与する結合情報付与手段である。統合部１０３は、画像要素判別部１０１によって判別された画像要素のうち、隣り合う画像要素と画像要素とにおいて、予め決められた対応する端点同士に上述した結合情報が付与されている場合には、その隣り合う画像要素同士を統合する統合手段である。算出部１０４は、統合部１０３によって統合された複数の画像要素によって構成される統合画像要素において、画像要素の各々の端点に対して結合情報付与部１０２によって付与された結合情報に応じた値を付与し、その値の総和を統合画像要素の画像要素間の結合の強さを示す値として算出する算出手段である。表領域抽出部１０５は、統合部１０３によって統合された上述した統合画像要素について、算出部１０４によって算出された値がその統合画像要素に含まれる画像要素の数に応じた閾値以上である場合には、統合画像要素の領域を表領域として抽出する表領域抽出手段である。

［動作］
次に、本実施形態に係る画像形成装置１の動作について説明する。画像形成装置１では、画像読取部１５によって読み取られた画像から表領域を抽出する表領域抽出処理が行われる。以下の説明では、図３に示すフロー図を参照して、この表領域抽出処理について説明する。

画像読取部１５によって原稿の画像が読み取られ、画像データが生成されると、生成された画像データは画像処理部１６に入力される。画像データが入力されると、画像処理部１６は、この画像データを入力画像として用いて、以下の処理を行う。まず、画像処理部１６は、入力画像の２値化処理を行う（ステップＳ１１）。具体的には、画像処理部１６は、下地色を表す画素値の画素をオフにし、それ以外の画素をオンにする。これにより、入力画像が背景領域と非背景領域とに分けられる。続いて、画像処理部１６は、２値化処理が施された後の２値画像に対してラベリング処理を行う（ステップＳ１２）。具体的には、画像処理部１６は、２値画像に含まれる各連結成分をオブジェクトとして抽出し、抽出したオブジェクトに各々のオブジェクト識別するラベル番号を付与する。このオブジェクトとは、画像要素のことである。なお、画像読取部１５の性能又は読み取り条件によっては、枠のオブジェクトと枠のオブジェクトとの間の隙間がつぶれしまい、複数の枠のオブジェクトが１つの表のオブジェクトのように繋がってしまうことがある。この場合、その複数の枠のオブジェクトは、１つのオブジェクトとして抽出されることになる。

続いて、画像処理部１６は、抽出した各オブジェクトに種別タグを付与する（ステップＳ１３）。具体的には、画像処理部１６は、オブジェクトの特徴量に基づいて、枠のパターンを有するオブジェクトには枠タグを付与し、表のパターンを有するオブジェクトには表タグを付与し、文字のパターンを有するオブジェクトには文字タグを付与する。つまり、画像処理部１６は、入力画像から連結成分に応じた画像要素を判別し、さらに、連結成分の特徴量に基づいて、枠又は表の画像要素を判別する。この特徴量としては、例えばオブジェクトの大きさ、形状、位置、オン画素密度、罫線のパターンなどが用いられる。なお、上述したように、複数の枠のオブジェクトの繋がったものが１つのオブジェクトとして抽出された場合、このオブジェクトには表タグが付与されることになる。以下の説明では、枠タグが付与されたオブジェクトを「枠オブジェクト」と呼び、表タグが付与されたオブジェクトを「表オブジェクト」と呼ぶ。

続いて、画像処理部１６は、抽出したオブジェクトのクラスリストを作成する（ステップＳ１４）。このクラスリストには、各々のオブジェクトのラベル番号、種別タグ、クラスタ番号、他のオブジェクトとの間の距離を表す距離情報などが記述される。ラベル番号及び種別タグは、上述にて付与されたものが用いられる。クラスタ番号は、例えばラベル番号と同じ番号が用いられる。距離情報は、オブジェクトの位置座標に基づいて算出されたものが用いられる。この距離情報には、各々のオブジェクトの外接矩形の上辺，下辺からその上隣にあるオブジェクトの外接矩形の下辺までの距離を表す情報と、各々のオブジェクトの外接矩形の左辺，右辺から、その左隣にあるオブジェクトの外接矩形の右辺までの距離を表す情報とが含まれる。なお、オブジェクトの上隣又は左隣にオブジェクトが配置されていない場合には、画像の上端又は左端までの距離を表す情報が用いられる。例えば、図４（ａ）に示す枠オブジェクトＰ１については、「Ｄｔ」，「Ｄｂ」，「Ｄｌ」，「Ｄｒ」という距離情報がクラスリストに記述される。

続いて、画像処理部１６は、作成されたクラスリストの距離情報に基づいて、繋がり関係判定処理を行う（ステップＳ１５）。図５は、繋がり関係判定処理の原理を説明する図である。図５（ａ）の例では、オブジェクトＰｘの右辺を基準とする範囲Ｆ１の中に、オブジェクトＰｙの左辺の端点ｔ３，ｔ４が配置されている。また、端点ｔ３は、オブジェクトＰｘの右辺の端点ｔ１を基準とする範囲Ｆ２の中に配置されており、端点ｔ４は、オブジェクトＰｘの右辺の端点ｔ２を基準とする範囲Ｆ３の中に配置されている。この場合、画像処理部１６は、端点ｔ１と端点ｔ３，端点ｔ２と端点ｔ４とは、それぞれ繋がり関係があると判定し、端点ｔ１〜ｔ４に角リンクを付与する。この繋がり関係とは、端点と端点との間に論理的な結合関係があることをいう。なお、この図では、角リンクが付与された端点ｔ１〜ｔ４を黒丸で示している。

一方、図５（ｂ）の例では、オブジェクトＰｘの右辺を基準とする範囲Ｆ１の中に、オブジェクトＰｙの左辺の端点ｔ３，ｔ４が配置されていない。この場合、画像処理部１６は、端点ｔ１と端点ｔ３，端点ｔ２と端点ｔ４は、それぞれ繋がり関係がないと判定し、端点ｔ１〜ｔ４には角リンクを付与しない。なお、この図では、角リンクが付与されていない端点ｔ１〜ｔ４を白丸で示している。また、図５（ｃ）の例では、オブジェクトＰｘの右辺を基準とする範囲Ｆ１の中に、オブジェクトＰｙの左辺の端点ｔ３，ｔ４が配置されている。また、端点ｔ３は、オブジェクトＰｘの右辺の端点ｔ１を基準とする範囲Ｆ２の中に配置されている。ところが、端点ｔ４は、オブジェクトＰｘの右辺の端点ｔ２を基準とする範囲Ｆ３の中に配置されていない。この場合、画像処理部１６は、端点ｔ１と端点ｔ３とは繋がり関係があると判定し、角リンクを付与するが、端点ｔ２と端点ｔ４とは繋がり関係がないと判定し、角リンクを付与しない。

つまり、画像処理部１６は、各々のオブジェクトについて、そのオブジェクトの外接矩形の辺の端点を対象端点とし、そのオブジェクトと隣り合うオブジェクトにおいてその辺と対向する辺の端点である隣接端点が対象端点から見て予め決められた範囲内にある場合には、対象端点と隣接端点とにそれぞれ結合情報である角リンクを付与する。この予め決められた範囲とは、例えば図５に示す範囲Ｆ１と範囲Ｆ２とが重なる範囲、又は、範囲Ｆ１と範囲Ｆ３とが重なる範囲である。上述した図４（ａ）の例では、枠オブジェクトＰ１〜Ｐ８に図４（ｂ）に示すような角リンクが付与される。なお、この図では、図５と同様に、角リンクが付与された端点を黒丸で示し、角リンクが付与されていない端点を白丸で示している。

続いて、画像処理部１６は、判定した繋がり関係に基づいて、クラスタ化を行う（ステップＳ１６）。図６は、クラスタ化の原理を説明する図である。図６（ａ）の例では、オブジェクトＰｘの端点ｔ１とオブジェクトＰｙの端点ｔ３、オブジェクトＰｘの端点ｔ２とオブジェクトＰｙの端点ｔ４とは、いずれも繋がり関係を有する。この場合、画像処理部１６は、オブジェクトＰｙのクラスタ番号「ｙ」をオブジェクトＰｘのクラスタ番号「ｘ」に変更して、オブジェクトＰｘとオブジェクトＰｘとをクラスタ化する。図６（ｂ）の例では、オブジェクトＰｘと、同一のクラスタ番号を有するオブジェクトＰｙ及びオブジェクトＰｚによって構成されるオブジェクト群とが隣り合っており、オブジェクトＰｘの端点ｔ１とオブジェクトＰｙの端点ｔ３とが繋がり関係を有し、オブジェクトＰｘの端点ｔ２とオブジェクトＰｚの端点ｔ６とが繋がり関係を有する。この場合、画像処理部１６は、オブジェクトＰｘのクラスタ番号「ｘ」をオブジェクトＰｙ，Ｐｚのクラスタ番号「ｙ」に変更して、オブジェクトＰｘとオブジェクトＰｙ，Ｐｚとをクラスタ化する。

図６（ｃ）の例では、表オブジェクトＰｘと枠オブジェクトＰｙとが隣り合っており、表オブジェクトＰｘの端点ｔ１と枠オブジェクトＰｙの端点ｔ３とは繋がり関係を有しているが、表オブジェクトＰｘの端点ｔ２と枠オブジェクトＰｙの端点ｔ４とは繋がり関係を有していない。また、表オブジェクトＰｘと枠オブジェクトＰｙにおいて対向する辺の長さの差は閾値以下である。この場合、画像処理部１６は、枠オブジェクトＰｙのクラスタ番号「ｙ」を表オブジェクトＰｘのクラスタ番号「ｘ」に変更して、表オブジェクトＰｘと枠オブジェクトＰｙとをクラスタ化する。一方、図６（ｄ）の例では、枠オブジェクトＰｘと枠オブジェクトＰｙとが隣り合っており、枠オブジェクトＰｘの端点ｔ１と枠オブジェクトＰｙの端点ｔ３とは繋がり関係を有しているが、枠オブジェクトＰｘの端点ｔ２と枠オブジェクトＰｙの端点ｔ４とは繋がり関係を有していない。この場合、画像処理部１６は、枠オブジェクトＰｘと枠オブジェクトＰｙとをクラスタ化しない。

つまり、画像処理部１６は、隣り合うオブジェクトとオブジェクトとにおいて、以下のクラスタ条件１〜３のいずれかを満たす場合には、それらのオブジェクトのクラスタ番号を同じ番号に変更してクラスタ化する。このクラスタ化とは、隣り合うオブジェクト同士を統合することである。
クラスタ条件１：隣り合うオブジェクトとオブジェクトとにおいて対向する辺の両方の端点同士に角リンクが付与されている。
クラスタ条件２：同一のクラスタ番号を有する複数のオブジェクト群と１つの或るオブジェクトとが隣り合う場合に、そのオブジェクト群と或るオブジェクトとにおいて対向する辺の両方の端点同士に角リンクが付与されている。
クラスタ条件３：枠オブジェクトと表オブジェクトとが隣り合う場合に、表オブジェクトと枠オブジェクトとにおいて対向する辺の一方の端点同士に角リンクが付与されており、さらに対向する辺の長さの差が閾値以下である。
このクラスタ条件２の「オブジェクト群と或るオブジェクトとにおいて対向する辺の両端の端点同士」とは、例えば図６（ｂ）に示すオブジェクトＰｘの端点ｔ１とオブジェクトＰｙの端点ｔ３、オブジェクトＰｘの端点ｔ２とオブジェクトＰｚの端点ｔ６のことである。つまり、この場合には、オブジェクトＰｘの右辺と、オブジェクトＰｙの左辺とオブジェクトＰｚの左辺とを繋げたものとが対向する辺となる。
上述した図４（ｂ）の例では、枠オブジェクトＰ１〜Ｐ４がクラスタ化されて統合オブジェクトＲ１となり、枠オブジェクトＰ５〜Ｐ８がクラスタ化されて、統合オブジェクトＲ２となる。

続いて、画像処理部１６は、クラスタ化された統合オブジェクトについて、横方向に隣り合うオブジェクトの間の繋がり関係の強さを表す横スコアと、縦方向に隣り合うオブジェクトの間の繋がり関係の強さを表す縦スコアとを算出する（ステップＳ１７）。具体的には、画像処理部１６は、以下の算出ルール１〜３に従ってスコアを算出する。
算出ルール１：隣り合うオブジェクトとオブジェクトとの対向する辺において角リンクが付与された端点１個につき１点を加算する。
算出ルール２：枠オブジェクトと表オブジェクトとが隣り合う場合には、その枠オブジェクトと表オブジェクトとの対向する辺において角リンクが付与された端点１個につき、さらに１点を加算する。
算出ルール３：複数の枠オブジェクトが配列された枠オブジェクト群と１つの或るオブジェクトとが隣り合う場合には、その枠オブジェクト群と或るオブジェクトとの対向する辺において角リンクが付与された或るオブジェクトの端点１個につき、さらに（枠オブジェクト群に含まれる枠オブジェクトの数−１）点を加算する。
つまり、画像処理部１６は、統合オブジェクトにおいて、オブジェクトの各々の端点に対して角リンクに応じたスコアを付与し、第１の方向である横方向に隣り合うオブジェクトとオブジェクトとの対向する辺の端点に対して付与されたスコアの総和を統合オブジェクトのオブジェクト間の横方向の結合の強さを示す値である横スコアとして算出し、第１の方向とは異なる第２の方向である縦方向に隣り合うオブジェクトとオブジェクトとの対向する辺の端点に対して付与されたスコアの総和を統合オブジェクトのオブジェクト間の縦方向の結合の強さを示す値である縦スコアとして算出する。

上述した図４（ｂ）の統合オブジェクトＲ１には、４つの枠オブジェクトＰ１〜Ｐ４が含まれている。そして、統合オブジェクトＲ１において、図中の横方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「８」個であり、図中の縦方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「８」個である。この場合、統合オブジェクトＲ１については、上述した算出ルール１に基づいて、横スコア「８」点，縦スコア「８」点が算出される。また、統合オブジェクトＲ２には、４つの枠オブジェクトＰ５〜Ｐ８が含まれている。そして、統合オブジェクトＲ２において、図中の横方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「８」個であり、図中の縦方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「４」個である。この場合、統合オブジェクトＲ２については、上述した算出ルール１に基づいて、横スコア「８」点，縦スコア「４」点が算出される。

続いて、画像処理部１６は、クラスタ化された各々の統合オブジェクトについて、その統合オブジェクトに含まれるオブジェクトの総数をＮとし、算出された横スコアをＳｃ，縦スコアをＳｒとしたときに、算出されたスコアが下記の式（１）〜（３）をいずれも満たす場合には、その統合オブジェクト領域を表領域として抽出する（ステップＳ１８）。なお、Ｎが奇数の場合には、式（１），（２）において（Ｎ／２）の余りを切り捨てる切捨て除算を行う。

この式（１），（２）の右辺の「４×（Ｎ／２）」は、統合オブジェクトに含まれるオブジェクトの数に応じた第１の閾値である。また、式（３）の右辺の「４×Ｎ」は、統合オブジェクトに含まれるオブジェクトの数に応じた第２の閾値である。つまり、画像処理部１６は、統合オブジェクトの横スコア及び縦スコアがいずれもその統合オブジェクトに含まれるオブジェクトの数に応じた第１の閾値以上であり、横スコアと縦スコアとを加算した値がその統合オブジェクトに含まれるオブジェクトの数に応じた第２の閾値以上である場合には、その統合オブジェクトの領域を表領域として抽出する。なお、統合オブジェクトに含まれるオブジェクトの総数が３未満である場合、画像処理部１６は、その統合オブジェクトを表ではないと判定し、その領域を表領域として抽出しない。

上述した図４（ｂ）の統合オブジェクトＲ１については、オブジェクトの総数Ｎが「４」，横スコアＳｃが「８」点，縦スコアＳｒが「８」点であるため、上述した式（１）〜（３）をいずれも満たす。この場合、統合オブジェクトＲ１は表であると判定され、その領域が表領域として抽出される。一方、統合オブジェクトＲ２については、オブジェクトの総数が「４」，横スコアが「８」点，縦スコアが「４」点であるため、上述した式（１）は満たすが、式（２），（３）は満たさない。この場合、統合オブジェクトＲ２は表ではないと判定され、表領域として抽出されない。

ここで、上述したスコア算出及び表領域抽出について、いくつか例を挙げてさらに説明する。図７（ａ）の例では、統合オブジェクトＲａには、８つの枠オブジェクトＰａ１〜Ｐａ８が含まれている。そして、統合オブジェクトＲａにおいて、図中の横方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「２０」個であり、図中の縦方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「２０」個である。この場合、上述したステップＳ１７では、算出ルール１に基づいて、横スコア「２０」点，縦スコア「２０」点が算出される。このとき、算出されたスコアは、上述した式（１）〜（３）をいずれも満たす。よって、上述したステップＳ１８では、統合オブジェクトＲａが表であると判定されて、その領域が表領域として抽出される。

図７（ｂ）の例では、統合オブジェクトＲｂには、４つの枠オブジェクトＰｂ１〜Ｐｂ４が含まれている。図に示すように、枠オブジェクトＰｂ１と、３つの枠オブジェクトＰｂ２〜Ｐｂ４からなる枠オブジェクト群とは隣り合うように配置されている。そして、統合オブジェクトＲｂにおいて、図中の横方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「４」個であり、図中の縦方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「８」個である。この場合、上述したステップＳ１７では、まず算出ルール１に基づいて、横スコア「４」点，縦スコア「８」点が算出される。また、この統合オブジェクトＲｂにおいて、上述した枠オブジェクト群に含まれる枠オブジェクトの数は「３」であり、枠オブジェクトＰｂ１とこの枠オブジェクト群との間で繋がり関係を有する枠オブジェクトＰｂ１の端点の数は「２」であるため、算出ルール３に基づいて、（３−１）×２＝「４」点が横スコアにさらに加算される。これにより、統合オブジェクトＲｂの横スコアは「８」点，縦スコアは「８」点になる。このとき、算出されたスコアは、上述した式（１）〜（３）をいずれも満たす。よって、上述したステップＳ１８では、統合オブジェクトＲｂが表であると判定されて、その領域が表領域として抽出される。

図７（ｃ）の例では、統合オブジェクトＲｃには、７つの枠オブジェクトＰｃ１〜Ｐｃ７が含まれている。そして、統合オブジェクトＲｃにおいて、図中の横方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「１２」個であり、図中の縦方向に隣り合う枠オブジェクト間の繋がり関係を示す角リンクの数は「１２」個である。この場合、上述したステップＳ１７では、算出ルール１に基づいて、横スコア「１２」点，縦スコア「１２」点が算出される。このとき、算出されたスコアは、上述した式（１）〜（３）をいずれも満たさない。よって、上述したステップＳ１８では、統合オブジェクトＲｃは表ではないと判定され、表領域として抽出されない。

このように、上述した表領域抽出処理では、図４（ｂ）の統合オブジェクトＲ１、図７（ａ）の統合オブジェクトＲａ，図７（ｂ）の統合オブジェクトＲｂのように、セル領域が罫線で区切られていない表についても表であると判定されて、その領域が表領域として抽出される。一方、例えば図７（ｃ）の統合オブジェクトＲｃのように内部に空きがあるものや、図４（ｂ）の統合オブジェクトＲ２のように枠オブジェクトを一列に並べられたようなものについては、表ではないと判定されて、表領域として抽出されない。

［変形例］
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の各変形例を適宜組み合わせてもよい。
（変形例１）
上述した表領域抽出処理において、表オブジェクトの中に枠オブジェクトが含まれる画像が用いられる場合には、うまく処理が行われない場合がある。そこで、画像処理部１６は、上述したステップＳ１３の後に、表オブジェクトの中にある枠オブジェクトを削除する削除処理を行ってもよい。つまり、画像処理部１６は、表オブジェクトの中に枠オブジェクトが含まれている場合には、この枠オブジェクトを削除する削除手段の一例である。図８は、この削除処理を示すフロー図である。同図に示すように、まず、画像処理部１６は、各々のオブジェクトに付与された種別タグに基づいて、表オブジェクトリスト、枠オブジェクトリスト及び表中の枠オブジェクトリストを作成する（ステップＳ２１）。例えば、図９の例では、表オブジェクトリストには、表オブジェクトＰ１２のラベル番号「１２」が記述され、枠オブジェクトリストには、枠オブジェクトＰ１１，Ｐ１３，Ｐ１４のラベル番号「１１」，「１３」，「１４」が記述される。なお、ここでは、表中の枠オブジェクトリストには何も記述されない。

続いて、画像処理部１６は、表オブジェクトを１つ選択し、選択した表オブジェクトの領域を２画素拡張した拡張範囲内に枠オブジェクトが配置されているか否かを判定する（ステップＳ２２）。拡張範囲内に枠オブジェクトが配置されている場合（ステップＳ２２：ＹＥＳ）、画像処理部１６は、その枠オブジェクトのラベル番号を表中の枠オブジェクトリストに追加する（ステップＳ２３）。一方、拡張範囲内に枠オブジェクトが配置されていない場合（ステップＳ２２：ＮＯ）、画像処理部１６は、ステップＳ２３の処理を行わずに、ステップＳ２４に進む。上述した図９の例では、表オブジェクトＰ１２の領域を２画素拡張した拡張範囲Ｅ内に枠オブジェクトＰ１４が配置されているため、この枠オブジェクトＰ１４のラベル番号「１４」が表中の枠オブジェクトリストに追加される。

続いて、画像処理部１６は、全ての表オブジェクトについてステップＳ２２の判定を行ったか否かを判断する（ステップＳ２４）。全ての表オブジェクトについて判定を行っていない場合（ステップＳ２４：ＮＯ）、画像処理部１６は、上述したステップＳ２２の処理に戻って残りの表オブジェクトを選択し、上述と同様の処理を行う。一方、全ての表オブジェクトについて上記判定を行った場合（ステップＳ２４：ＹＥＳ）、画像処理部１６は、表中の枠オブジェクトリストにラベル番号が含まれる枠オブジェクトを削除し（ステップＳ２５）、削除処理を終了する。上述した図９の例では、表中の枠オブジェクトリストにラベル番号「１４」が記述されるため、枠オブジェクトＰ１４が削除される。

（変形例２）
上述したスコアの算出において、統合オブジェクトに表オブジェクトが含まれている場合には、以下の算出ルール４に従って縦スコア及び横スコアを算出してもよい。
算出ルール４：統合オブジェクトに表オブジェクトが含まれる場合には、横スコアに「α」点、縦スコアに「β」点をそれぞれ加算する。
この「α」，「β」は、重み付けの係数である。「α」には、基準統合オブジェクトの横スコア以上の値が用いられ、「β」は、基準統合オブジェクトの縦スコア以上の値が用いられる。この基準統合オブジェクトとは、同じ大きさのｉ個の枠オブジェクトが縦横に配列されたものである。例えば、同じ大きさの４つの枠オブジェクトが２×２列に並べられたものを基準統合オブジェクトとしても用いてもよい。

例えば、図１０中の統合オブジェクトＲｄには、１つの表オブジェクトＰｄ１と、３つの枠オブジェクトＰｄ２〜Ｐｄ４とが含まれている。図に示すように、表オブジェクトＰｄ１と、３つの枠オブジェクトＰｄ２〜Ｐｄ４からなる枠オブジェクト群とは隣り合うように配置されている。そして、統合オブジェクトＲｄにおいて、横方向に隣り合うオブジェクト間の繋がり関係を示す角リンクの数は「４」個であり、縦方向に隣り合うオブジェクト間の繋がり関係を示す角リンクの数は「８」個である。この場合には、まず上述した算出ルール１に基づいて、横スコア「４」点，縦スコア「８」点が算出される。また、統合オブジェクトＲｄにおいては、枠オブジェクトＰｄ２〜Ｐｄ４からなる枠オブジェクト群と表オブジェクトＰｄ１とが隣り合っており、枠オブジェクトＰｄ２〜Ｐｄ４と表オブジェクトＰｄ１との間で繋がり関係を有する端点の数が「４」個であるため、上述した算出ルール２に基づいて、４×１＝「４」点が横スコアにさらに加算される。さらに、統合オブジェクトＲｄにおいて、枠オブジェクトＰｄ２〜Ｐｄ４からなる枠オブジェクト群に含まれる枠オブジェクトの数は「３」であり、表オブジェクトＰｄ１とこの枠オブジェクト群との間で繋がり関係を有する表オブジェクトＰｄ１の端点の数は「２」であるため、上述した算出ルール３に基づいて、（３−１）×２＝「４」点が横スコアにさらに加算される。また、統合オブジェクトＲｄには表オブジェクトＰｄ１が含まれているため、上述した算出ルール４に基づいて、横スコアに「α」点、縦スコアに「β」点が加算される。これにより、統合オブジェクトＲｄの横スコアは「１２＋α」点，縦スコアは「８＋β」点となる。

この場合、画像処理部１６は、統合オブジェクトに含まれる表オブジェクトの数をＴとし、Ｍ＝ｉ×Ｔ＋（Ｎ−Ｔ）としたときに、算出したスコアが下記の式（４）〜（６）をいずれも満たす場合には、その統合オブジェクトの領域を表領域として抽出する。なお、上述したように、「Ｎ」は、統合オブジェクトに含まれるオブジェクトの総数であり、「Ｓｃ」は横スコア、「Ｓｒ」は縦スコアである。そして、「Ｎ−Ｔ」は、統合オブジェクトに含まれる表オブジェクト以外のオブジェクトの数である。また、「α」，「β」は、重み付けの係数であり、「ｉ」は、上述した基準統合オブジェクトに含まれる枠オブジェクトの数である。また、上述と同様に、Ｍが奇数の場合には、式（４），（５）において（Ｍ／２）の余りを切り捨てる切捨て除算を行う。

なお、例えば統合オブジェクトの中に、表オブジェクトが１つ、枠オブジェクトが１つだけ含まれている場合には、上述したスコアの算出を行わずに、その統合オブジェクトの領域をそのまま表領域として抽出する。

（変形例３）
上述した実施形態において、画像処理部１６は、枠オブジェクトと表オブジェクトとが隣り合う場合には、上述したクラスタ条件２に基づいて、表オブジェクトと枠オブジェクトとにおいて対向する辺の一方の端点同士が繋がり関係を有し、さらに対向する辺の長さの差が閾値以下である場合には、その表オブジェクトと枠オブジェクトとをクラスタ化していたが、クラスタ化する条件はこれに限らない。例えば、画像処理部１６は、枠オブジェクトと表オブジェクトとが隣り合う場合に、表オブジェクトと枠オブジェクトとにおいて対向する辺の一方の端点同士が繋がり関係を有し、さらに枠オブジェクトの端点と対応する位置に表オブジェクトの罫線があるときには、この枠オブジェクトと表オブジェクトとをクラスタ化してもよい。

（変形例４）
上述した実施形態において、画像処理部１６にて行なわれる処理は、単一又は複数のハードウェア資源によって実現されてもよいし、ＣＰＵが１又は複数のプログラムを実行することにより実現されてもよい。また、このプログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、プログラムを、インターネットなどの通信回線経由でダウンロードさせることも可能である。

１…画像形成装置、１１…制御部、１２…通信部、１３…記憶部、１４…表示操作部、１５…画像読取部、１６…画像処理部、１７…画像形成部、１０１…画像要素判別部、１０２…結合情報付与部、１０３…統合部、１０４…算出部、１０５…表領域抽出部。

Claims (13)

1. 入力画像から連結成分に応じた画像要素を判別する画像要素判別手段と、
   前記画像要素判別手段によって判別された各々の画像要素について、当該画像要素の外接矩形の辺の端点を対象端点とし、当該画像要素と隣り合う画像要素において当該辺と対向する辺の端点である隣接端点が当該対象端点から見て予め決められた範囲内にある場合には、当該対象端点と当該隣接端点とにそれぞれ結合情報を付与する結合情報付与手段と、
   前記画像要素判別手段によって判別された画像要素のうち、隣り合う画像要素と画像要素とにおいて、予め決められた対応する端点同士に前記結合情報が付与されている場合には、当該隣り合う画像要素同士を統合する統合手段と、
   前記統合手段によって統合された複数の画像要素によって構成される統合画像要素において、画像要素の各々の端点に対して前記結合情報付与手段によって付与された前記結合情報に応じた値を付与し、当該値の総和を当該統合画像要素の画像要素間の結合の強さを示す値として算出する算出手段と、
   前記統合手段によって統合された前記統合画像要素について、前記算出手段によって算出された値が当該統合画像要素に含まれる画像要素の数に応じた閾値以上である場合には、当該統合画像要素の領域を表領域として抽出する表領域抽出手段と
   を備えることを特徴とする画像処理装置。
2. 前記画像要素判別手段は、前記連結成分の特徴量に基づいて、枠又は表の画像要素を判別する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記統合手段は、前記隣り合う画像要素と画像要素とにおいて対向する辺の両方の端点同士に前記結合情報が付与されている場合には、当該隣り合う画像要素同士を統合する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記統合手段は、前記統合された複数の画像要素群と１つの或る画像要素とが隣り合う場合に、当該画像要素群と当該或る画像要素とにおいて対向する辺の両方の端点同士に前記結合情報が付与されているときには、当該画像要素群と当該或る画像要素とを統合する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記統合手段は、前記枠の画像要素と前記表の画像要素とが隣り合う場合に、当該枠の画像要素と当該表の画像要素とにおいて対向する辺の一方の端点同士に前記結合情報が付与されており、さらに、当該対向する辺の長さの差が閾値以下であるとき、又は当該枠の画像要素の端点と対応する位置に当該表の画像要素の罫線があるときには、当該枠の画像要素と当該表の画像要素とを統合する
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記算出手段は、第１の方向に隣り合う画像要素と画像要素との対向する辺の端点に対して付与された値の総和を前記統合画像要素の画像要素間の第１の方向の結合の強さを示す第１の値として算出し、前記第１の方向とは異なる第２の方向に隣り合う画像要素と画像要素との対向する辺の端点に対して付与された値の総和を前記統合画像要素の画像要素間の第２の方向の結合の強さを示す第２の値として算出し、
   前記表領域抽出手段は、前記統合手段によって統合された前記統合画像要素について、前記算出手段によって算出された第１の値及び第２の値がいずれも当該統合画像要素に含まれる画像要素の数に応じた第１の閾値以上であり、当該第１の値と当該第２の値とを加算した値が、当該統合画像要素に含まれる画像要素の数に応じた第２の閾値以上である場合には、当該統合画像要素の領域を表領域として抽出する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記算出手段は、前記統合画像要素において前記枠の画像要素と前記表の画像要素とが隣り合う場合には、当該枠の画像要素と当該表の画像要素との対向する辺の端点に付与された値に予め決められた値を加算する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記算出手段は、前記統合画像要素において複数の枠の画像要素が配列された枠の画像要素群と１つの或る画像要素とが隣り合う場合には、当該枠の画像要素群と当該或る画像要素との対向する辺における当該或る画像要素の端点に付与された値に、当該枠の画像要素群に含まれる枠の画像要素の数に応じた値を加算する
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記算出手段は、前記統合画像要素に前記表の画像要素が含まれる場合には、前記第１の値及び前記第２の値にそれぞれ予め決められた値を加算する
   ことを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。
10. 前記画像要素判別手段によって判別された画像要素において、前記表の画像要素の中に前記枠の画像要素が含まれている場合には、当該枠の画像要素を削除する削除手段を備える
    ことを特徴とする請求項２に記載の画像処理装置。
11. 原稿の画像を読み取る読取手段と、
    前記読取手段によって読み取られた画像を前記入力画像として用いて処理を行う請求項１〜１０のいずれか１項に記載の画像処理装置と
    を備えることを特徴とする画像読取装置。
12. 原稿の画像を読み取る読取手段と、
    前記読取手段によって読み取られた画像を前記入力画像として用いて処理を行う請求項１〜１０のいずれか１項に記載の画像処理装置と、
    前記画像処理装置によって処理が施された画像を記録材に形成する画像形成手段と
    を備えることを特徴とする画像形成装置。
13. コンピュータを、
    入力画像から連結成分に応じた画像要素を判別する画像要素判別手段と、
    前記画像要素判別手段によって判別された各々の画像要素について、当該画像要素の外接矩形の辺の端点を対象端点とし、当該画像要素と隣り合う画像要素において当該辺と対向する辺の端点である隣接端点が当該対象端点から見て予め決められた範囲内にある場合には、当該対象端点と当該隣接端点とにそれぞれ結合情報を付与する結合情報付与手段と、
    前記画像要素判別手段によって判別された画像要素のうち、隣り合う画像要素と画像要素とにおいて、予め決められた対応する端点同士に前記結合情報が付与されている場合には、当該隣り合う画像要素同士を統合する統合手段と、
    前記統合手段によって統合された複数の画像要素によって構成される統合画像要素において、画像要素の各々の端点に対して前記結合情報付与手段によって付与された前記結合情報に応じた値を付与し、当該値の総和を当該統合画像要素の画像要素間の結合の強さを示す値として算出する算出手段と、
    前記統合手段によって統合された前記統合画像要素について、前記算出手段によって算出された値が当該統合画像要素に含まれる画像要素の数に応じた閾値以上である場合には、当該統合画像要素の領域を表領域として抽出する表領域抽出手段
    として機能させるためのプログラム。

Images