JP5574272B2 - 画像読取装置、画像処理装置およびプログラム - Google Patents

Description

本発明は、画像読取装置、画像処理装置およびプログラムに関する。

特許文献１には、各セルの位置関係を値として各セルごとに持っておき、この各セル毎の位置関係の情報をフォーム認識の特徴量の一つとする文書処理装置が開示されている。

特許文献２には、各セルの左上、右下座標値、横線長をしきい値処理することで梁線（横）か柱線（縦）の区別を行うことによって各セル枠の位置関係を知るようにした画像処理装置が開示されている。

特許文献３には、予め表に記述された言語を代表言語に置き換えることが可能な辞書を用意しておき、自然言語処理的に入力された表の各セルごとの意味関係をマッチング処理することにより表の構造解析を行う方法が開示されている。

特許文献４には、入力された表画像のセル座標やセル長さといった変動に影響を受けやすい特徴量を用いることなく、表の構造マッチングを行うって、各縦罫線に接続された横罫線の本数、および各横罫線に接続された縦罫線の本数をその表の特徴量とする画像処理装置が開示されている。

特許文献５には、予めＸＭＬ（Extensible Markup Language）への変換ルール（決められた文字列に対する処理辞書）を用意しておき、これにそってＸＭＬ構造化文書を作成する文書変換装置が開示されている。

特許文献６には、複雑な表をＸＭＬ化しやすいような形に変形し、セルが分割された箇所、セルが結合された箇所を罫線の共有関係で５つに分類し、これをもとに論理構造は保存したまま表構造をＸＭＬ構造化文書に変換しやすい形へと変換する文書処理装置が開示されている。

特許文献７には、表部分のセル白部分に着目し、その座標値からセル構造を把握するようにした画像処理装置が開示されている。

特公平７−１０７６９４号公報 特開平８−１１５４２１号公報 特開２００１−３２５２８４号公報 特開２００５−７８３０６号公報 特開２００６−５３６１２号公報 特開２００６−９９４８０号公報 特開２００６−１８５３３６号公報

本発明の目的は、読み取られた画像データに含まれる表画像が四角形状以外のセルを含むような構造の場合でも、その表画像の構造を解析して構造化文書により現すことが可能な画像読取装置、画像処理装置およびプログラムを提供することである。

［画像処理装置]
請求項１に係る本発明は、四角形状以外のセルを含む表画像が含まれた画像データから、当該表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出する抽出手段と、
前記抽出手段により抽出された罫線情報に基づいて、前記表画像の格子構造を解析する解析手段と、
前記解析手段により解析された格子構造において縦格子軸および横格子軸により分割された四角形領域をそれぞれ基本セルとして識別子を設定する設定手段と、
前記設定手段により設定された前記各基本セルのうち、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を左側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を上側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルの識別子を、左側の基本セルの識別子および上側の基本セルの識別子のうち小さい方の識別子に変更するとともに、大きい方の識別子の基本セルの識別子を小さい方の識別子に変更して結合関係にあると判定する判定手段と、
前記判定手段により変更された前記識別子を用いて、前記表画像の構造を現した構造化文書を生成する構造化文書生成手段と、
を備えた画像処理装置である。

［画像読取装置］
請求項２に係る本発明は、設定された用紙上の画像を画像データとして読み取る読取手段と、
前記読取手段により読み取られた四角形状以外のセルを含む表画像が含まれた画像データから、当該表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出する抽出手段と、
前記抽出手段により抽出された罫線情報に基づいて、前記表画像の格子構造を解析する解析手段と、
前記解析手段により解析された格子構造において縦格子軸および横格子軸により分割された四角形領域をそれぞれ基本セルとして識別子を設定する設定手段と、
前記設定手段により設定された前記各基本セルのうち、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を左側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を上側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルの識別子を、左側の基本セルの識別子および上側の基本セルの識別子のうち小さい方の識別子に変更するとともに、大きい方の識別子の基本セルの識別子を小さい方の識別子に変更して結合関係にあると判定する判定手段と、
前記判定手段により変更された前記識別子を用いて、前記表画像の構造を現した構造化文書を生成する構造化文書生成手段と、
を備えた画像読取装置である。

［プログラム］
請求項３に係る本発明は、四角形状以外のセルを含む表画像が含まれた画像データから、当該表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出するステップと、
抽出された罫線情報に基づいて、前記表画像の格子構造を解析するステップと、
解析された格子構造において縦格子軸および横格子軸により分割された四角形領域をそれぞれ基本セルとして識別子を設定するステップと、
設定された前記各基本セルのうち、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を左側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を上側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルの識別子を、左側の基本セルの識別子および上側の基本セルの識別子のうち小さい方の識別子に変更するとともに、大きい方の識別子の基本セルの識別子を小さい方の識別子に変更して結合関係にあると判定する判定ステップと、
前記判定ステップにおいて変更された前記識別子を用いて、前記表画像の構造を現した構造化文書を生成するステップとをコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、読み取られた画像データに含まれる表画像が四角形状以外のセルを含むような構造の場合でも、その表画像の構造を解析して構造化文書により現すことができる画像処理装置を提供することができる。

請求項２に係る本発明によれば、読み取られた画像データに含まれる表画像が四角形状以外のセルを含むような構造の場合でも、その表画像の構造を解析して構造化文書により現すことができる画像読取装置を提供することができる。

請求項３に係る本発明によれば、読み取られた画像データに含まれる表画像が四角形状以外のセルを含むような構造の場合でも、その表画像の構造を解析して構造化文書により現すことができるプログラムを提供することができる。

本発明の一実施形態の画像読取システムのシステム構成を示す図である。 本発明の一実施形態における画像読取装置１０のハードウェア構成を示すブロック図である。 本発明の一実施形態における画像読取装置１０の機能構成を示すブロック図である。 本発明の一実施形態の画像読取装置１０における表画像処理部３４の動作を示すフローチャートである。 表画像が含まれた画像データの一例を示す図である。 抽出された縦罫線の情報を示す図（図６（Ａ））、および抽出された横罫線の情報を示す図（図６（Ｂ））である。 図６のフローチャートにおけるグリッド構造解析処理（ステップＳ１０２）の詳細を示すフローチャートである。 グリッド構造解析処理により解析されたグリッド軸の座標例を示す図である。 縦グリッド軸と横グリッド軸により囲まれた領域を基本セルとして設定した様子を示す図である。 図９において設定された１６個の基本セルに対して、仮セルＩＤを設定した様子を示す図である。 図６のフローチャートにおけるセル結合状況判定処理（ステップＳ１０４）の詳細を示すフローチャートである。 図１０に示したような構造の表画像について各基本セルのセルＩＤが変更されていく過程を説明するための図である。 図１０に示したような構造の表画像について各基本セルのセルＩＤが変更されていく過程を説明するための図である。 図１３（Ｃ）のように設定された基本セルのセルＩＤを再度割り振りし直した場合の様子を示す図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態の画像読取システムの構成を示すブロック図である。

本発明の一実施形態の画像形成システムは、図１に示されるように、ネットワーク３０により相互に接続された画像読取装置１０、および端末装置２０により構成される。画像読取装置１０は、セットされた原稿から画像を読み取るスキャン機能を有する。端末装置２０は、画像読取装置１０により読み取られた画像データ等をネットワーク３０経由にて取得する。

なお、本実施形態では、画像読取装置に本願発明を適用した場合について説明しているが、印刷（プリント）機能、スキャン機能、複写（コピー）機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる画像形成装置に対して本願発明を適用することも可能である。

次に、本実施形態の画像読取システムにおける画像読取装置１０のハードウェア構成を図２に示す。

画像読取装置１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワーク３０を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５、スキャナ１６を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、画像読取装置１０の動作を制御する。

なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

図３は、上記の制御プログラムが実行されることにより実現される画像読取装置１０の機能構成を示すブロック図である。

本実施形態の画像読取装置１０は、図３に示されるように、スキャナ１６と画像処理装置４０を備えている。スキャナ１６は、設定された用紙上の画像を画像データとして読み取る。そして、本実施形態の画像読取装置１０は、スキャナ１６により読み取られた画像データを、画像処理装置４０により処理する構成となっている。

そして、画像処理装置４０は、オブジェクト分離部３１と、文字画像処理部３２と、写真画像処理部３３と、表画像処理部３４と、処理結果統合部３５と、構造化文書出力部３６とから構成されている。

オブジェクト分離部３１は、スキャナ１６により読み取られた画像データが文字画像なのか、写真画像なのかあるいは表画像なのかを判定し、画像データを各画像の種類毎に分離する。

文字画像処理部３２は、オブジェクト分離部３１により分離された文字画像に対する処理を行う。写真画像処理部３３は、オブジェクト分離部３１により分離された写真画像に対する処理を行う。

表画像処理部３４は、オブジェクト分離部３１により分離された表画像に対する処理を行う。なお、この表画像処理部３４における処理の詳細については後述する。

処理結果統合部３５は、文字画像処理部３２、写真画像処理部３３および表画像処理部３４による処理結果を統合して、１つのＸＭＬ（Extensible Markup Language）文書等の構造化文書にまとめる処理を行う。そして、処理結果統合部３５によりまとめられた構造化文書は、構造化文書出力部３６により指定された宛先に対して出力される。

本実施形態における表画像処理部３４は、表画像が含まれた画像データから、その表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出する。罫線情報には、少なくとも各罫線の位置と長さが分かる情報が含まれていればよく、罫線情報の抽出方法としては、特開２０００−２２２５７７号公報、特開２０００−２５９８２６号公報に開示されている公知の手法を用いることができる。

そして、表画像処理部３４は、抽出された罫線情報に基づいて、表画像のグリッド構造（格子構造）を解析する。グリッド構造の解析は、位置は異なるが同軸上に存在する複数の罫線を１つのグリッド軸（格子軸）として捉え、縦横それぞれのグリッド軸の座標を設定することにより行われる。そして、表画像処理部３４は、解析された格子構造において縦グリッド軸および横グリッド軸により分割された四角形領域をそれぞれ基本セル（ます目）として設定し、設定された各基本セルにおける少なくとも２箇所以上の辺における罫線の有無に応じて、各基本セルと隣接する他の基本セルとの間の結合関係を判定する。

具体的には、少なくとも２箇所以上の辺を、各基本セルの左側の辺および上側の辺とした場合、表画像処理部３４は、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルは左側の基本セルと結合関係にあると判定する。そして、表画像処理部３４は、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルは上側の基本セルと結合関係にあると判定する。また、表画像処理部３４は、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルは左側の基本セルおよび上側の基本セルと結合関係にあると判定する。

なお、本実施形態では、表画像処理部３４では、基本セルに対してそれぞれＩＤ番号（識別子）を設定し、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルのＩＤ番号を左側の基本セルのＩＤ番号に変更する。そして、表画像処理部３４は、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルのＩＤ番号を上側の基本セルのＩＤ番号に変更する。また、表画像処理部３４は、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルのＩＤ番号を、左側の基本セルのＩＤ番号および上側の基本セルのＩＤ番号のうち小さい方のＩＤ番号に変更するとともに、大きい方のＩＤ番号の基本セルのＩＤ番号を小さい方のＩＤ番号に変更する。

最後に、表画像処理部３４は、上記で説明した結合関係の判定結果に基づいて、セルＩＤが同一の基本セルを結合関係にあるもとして１つのセルと認識し、各セル毎にＯＣＲ（Optical Character Reader）を用いた文字認識処理等を行って、表画像の構造を現したＸＭＬ文書等の構造化文書を生成する。

次に、本実施形態の画像読取装置１０における表画像処理部３４の動作を図面を参照して詳細に説明する。

図４は、本実施形態の画像読取装置１０における表画像処理部３４の動作を示すフローチャートである。以下の説明では、図５に示すような構造の表画像が含まれた画像データに対する処理を行う場合を用いて説明する。

先ず、表画像処理部３４は、スキャナ１６により読み取られ表画像が含まれた画像データから、その表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出する（ステップＳ１０１）。例えば、表画像処理部３４は、ランレングスを用いた罫線抽出方法等の既存の方法により罫線情報の抽出処理を行う。

図５に示した表画像の罫線情報を抽出した結果を図６に示す。図６（Ａ）は抽出された縦罫線の情報を示す図であり、図６（Ｂ）は抽出された横罫線の情報を示す図である。この図６では、各罫線情報は、開始点の座標と罫線の長さ（画素数）情報から構成されている。例えば、図６（Ａ）の左端の縦罫線は、（０、０、４８６）のように、開始点の座標（０、０）および罫線長（４８６）により表現される。

次に、表画像処理部３４は、抽出された罫線情報に基づいて、表画像のグリッド構造（格子構造）を解析する（ステップＳ１０２）。グリッド構造の解析処理は、ステップＳ１０１において抽出された罫線情報に基づいて、位置は異なるが同軸上に存在する複数の罫線を１つのグリッド軸の座標を設定することにより行う。ここで、縦グリッド軸の座標とは、Ｙ座標の情報をもたない、Ｘ座標のみの情報であり、横グリッド軸の座標とは、Ｘ座標の情報をもたない、Ｙ座標のみの情報である。表画像のグリッド構造解析処理の詳細を図７のフローチャートに示す。

なお、縦方向のグリッド構造の解析と横方向のグリッド構造の解析を同時に行うことも可能であるが、ここでは説明を簡単にするために縦方向のグリッド構造の解析処理と横方向のグリッド構造の解析処理とをそれぞれ別に行うものとして、縦方向のグリッド構造の解析処理について詳細に説明する。

先ず、表画像処理部３４は、罫線情報を順次選択し、最初の罫線情報の開始点のＸ座標位置を参照する（ステップＳ２０１）。そして、表画像処理部３４は、新たに参照したＸ座標が既に決定した縦グリッド軸の座標と一致するか否かを判定する（ステップＳ２０２）。新たに参照したＸ座標が既に決定した縦グリッド軸の座標と一致する場合、表画像処理部３４は、その罫線の処理を終了し、次の罫線情報を参照して（ステップＳ２０５）、ステップＳ２０１からの処理を繰り返す（ステップＳ２０２においてＹｅｓ）。

ステップＳ２０２において、新たに参照したＸ座標が既に決定した縦グリッド軸の座標と一致しないと判定された場合、表画像処理部３４は、その罫線の開始点のＸ座標を縦グリッド軸の座標として設定する（ステップＳ２０３）。

そして、表画像処理部３４は、全ての罫線情報が処理済みでない場合（ステップＳ２０４においてＮｏ）、次の罫線情報を参照して（ステップＳ２０５）、ステップＳ２０１からの処理を繰り返す。

このような処理が行われることにより、図６（Ａ）に示すような罫線情報から縦グリッド軸の座標は、（０、２０３、４１０、６１７、８２７）に設定される。同様に、図６（Ｂ）に示すような罫線情報から横グリッド軸の座標は、（０、７３、３０８、３８２、４８６）に設定される。このようなグリッド構造解析処理により解析されたグリッド軸の座標例を図８に示す。

次に、表画像処理部３４は、解析された格子構造において縦グリッド軸および横グリッド軸により分割された四角形領域をそれぞれ基本セルとして設定する（ステップＳ１０３）。具体的には、表画像処理部３４は、図８に示した縦グリッド軸と横グリッド軸に囲まれた長方形の領域を、図９に示すように基本セルとして設定する。図９に示した例では、縦方向４つの基本セルが設定され、横方向４つの基本セルが設定されているため、合計１６個の基本セルが設定されている。

そして、表画像処理部３４では、図９において設定された１６個の基本セルに対して、図１０に示すように仮セルＩＤ（ＩＤ番号）を設定する。図１０に示した例では、基本セル８１〜９６に対して、仮セルＩＤ番号（１）〜（１６）がそれぞれ割り当てられている。

そして、表画像処理部３４は、このようにして設定された各基本セルの左側の辺および上側の辺における罫線の有無をステップＳ１０１で抽出した罫線情報と、ステップＳ１０２の解析により解析された縦グリッド軸の座標および横グリッド軸の座標とから判定し、その結果に応じて、その基本セルと隣接する他の基本セルとの間の結合関係を判定する（ステップＳ１０４）。最後に、表画像処理部３４では、基本セルどうしの結合関係の判定結果に基づいて、表画像に対する処理を実行し、ＸＭＬ文書等の構造化文書を作成する（ステップＳ１０５）。

次に、ステップＳ１０４のセル結合状況判定処理の詳細を図１１のフローチャートを参照して説明する。

表画像処理部３４は、各基本セルの上辺（上側の辺）および左辺（左側の辺）における罫線の有無に応じて異なる処理を行う。具体的には、上辺におよび左辺の両方に罫線が存在する場合（ステップＳ３０１においてＹｅｓ、ステップＳ３０２においてＹｅｓ）、表画像処理部３４は、仮セルＩＤをそのままその基本セルに付与する（ステップＳ３０３）。

そして、左辺のみに罫線が存在しない場合（ステップＳ３０１においてＹｅｓ、ステップＳ３０２においてＮｏ）、表画像処理部３４は、左側に位置する基本セルのセルＩＤと同じセルＩＤを、その基本セルのセルＩＤとして付与する（ステップＳ３０４）。

そして、上辺のみに罫線が存在しない場合（ステップＳ３０１においてＮｏ、ステップＳ３０５においてＹｅｓ）、表画像処理部３４は、上側に位置する基本セルのセルＩＤと同じセルＩＤを、その基本セルのセルＩＤとして付与する（ステップＳ３０６）。

なお、上辺および左辺の両方に罫線が存在しない場合（ステップＳ３０１においてＮｏ、ステップＳ３０５においてＮｏ）、表画像処理部３４は、左側に位置する基本セルのセルＩＤと上側に位置する基本セルのセルＩＤとが一致するか否かを判定する（ステップＳ３０７）。

ステップＳ３０７において比較したセルＩＤが一致した場合、表画像処理部３４は、その一致した左側セルのセルＩＤ（または上側セルのセルＩＤ）を、その基本セルのセルＩＤとして付与する（ステップＳ３０８）。

そして、ステップＳ３０７において比較したセルＩＤが一致しなかった場合、表画像処理部３４は、左側セルのセルＩＤまたは上側セルのセルＩＤのうち小さい方のセルＩＤを、その基本セルのセルＩＤとして付与する（ステップＳ３０９）とともに、大きい方のセルＩＤを有する基本セルのセルＩＤを小さい方のセルＩＤに変更する（ステップＳ３１０）。

そして、上記の処理を行った後にセル間の結合状況を管理するためル結合状況情報を更新し（ステップＳ３１１）、全基本セルの処理が終了していなければ（ステップＳ３１２においてＮｏ）、次の基本セルを選択してステップＳ３０１からの処理を繰り返す（ステップＳ３１３）。

そして、全基本セルの処理が終了すれば（ステップＳ３１２においてＹｅｓ）、基本セルに付与したセルＩＤを振りなおして処理を終了する（ステップＳ３１４）。

例えば、図１０に示したような構造の表画像について各基本セルのセルＩＤが変更されていく様子を図１２〜図１４を参照して説明する。

先ず、基本セル８１〜８３については、左側および上側の辺に罫線が存在するため仮セルＩＤがそのまま付与される。そして、基本セル８４については、左側の辺のみに罫線が存在しないため、図１２（Ａ）に示すように、この基本セル８４のセルＩＤには、左側の基本セル８３のセルＩＤ（３）が付与される。

そして、基本セル８５〜８８については、左側および上側の辺に罫線が存在するため仮セルＩＤがそのまま付与される。そして、基本セル８９については、上側の辺のみに罫線が存在しないため、図１２（Ｂ）に示すように、この基本セル８９のセルＩＤには、上側の基本セル８５のセルＩＤ（５）が付与される。

また、基本セル９０については、上側の辺のみに罫線が存在しないため、図１２（Ｃ）に示すように、この基本セル９０のセルＩＤには、上側の基本セル８６のセルＩＤ（６）が付与される。

そして、基本セル９１〜９３については、左側および上側の辺に罫線が存在するため仮セルＩＤがそのまま付与される。そして、基本セル９４については、上側の辺のみに罫線が存在しないため、図１３（Ａ）に示すように、この基本セル９４のセルＩＤには、上側の基本セル９０のセルＩＤ（６）が付与される。これらのＩＤ付与処理は逐次更新しながら別途記録したステップＳ３１１のセル結合状況を参照しながら実施する。

そして、基本セル９５については、左側の辺のみに罫線が存在しないため、図１３（Ｂ）に示すように、この基本セル９５のセルＩＤには、左側の基本セル９４のセルＩＤ（６）が付与される。これらのセルＩＤは、構造化文書の表記において用いられる。

最後に、基本セル９６については、左側および上側の辺の両方に罫線が存在しないため、左側の基本セル９５のセルＩＤ（６）と上側の基本セル９２のセルＩＤ（１２）とが比較され、図１３（Ｃ）に示すように、小さい方のセルＩＤ（６）が基本セル９６に付与される。さらに、図１３（Ｃ）に示すように、大きい方のセルＩＤ（１２）の基本セル９２にも、この小さい方のセルＩＤ（６）が付与される。

そして、図１３（Ｃ）のように設定された基本セルのセルＩＤを再度割り振りし直すことにより、基本セル８１〜９６には、図１４に示すようなセルＩＤがそれぞれ設定されることとなる。

［変形例］
上記実施形態では、基本セルの上側の辺および左側の辺における罫線の有無に基づいて基本セル間の結合状況を判定する場合を用いて説明したが、本発明はこれに限定されるものではなく、少なくとも２辺における罫線の有無に基づいて基本セル間の結合状況を判定する場合でも同様に本発明を適用することができるものである。例えば、基本セルの処理を行う順序を反対にすれば、基本セルの下側の辺および右側の辺における罫線の有無に基づいて基本セル間の結合状況を判定することが可能となる。また、上側の辺および右側の辺における罫線の有無や、下側の辺および左側の辺における罫線の有無に基づいて基本セル間の結合状況を判定することも可能である。さらに、場合分けを行う処理が複雑になるが、上側、下側、左側および右側の全ての辺における罫線の有無に基づいて、基本セル間の結合状況を判定するようなことも可能である。

１０ 画像読取装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ スキャナ
１８ 制御バス
２０ 端末装置
３０ ネットワーク
３１ オブジェクト分離部
３２ 文字画像処理部
３３ 写真画像処理部
３４ 表画像処理部
３５ 処理結果統合部
３６ 構造化文書出力部
４０ 画像処理装置
８１〜９６ 基本セル
Ｓ１０１〜Ｓ１０５ ステップ
Ｓ２０１〜Ｓ２０５ ステップ
Ｓ３０１〜Ｓ３１４ ステップ

Claims (3)

1. 四角形状以外のセルを含む表画像が含まれた画像データから、当該表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出する抽出手段と、
   前記抽出手段により抽出された罫線情報に基づいて、前記表画像の格子構造を解析する解析手段と、
   前記解析手段により解析された格子構造において縦格子軸および横格子軸により分割された四角形領域をそれぞれ基本セルとして識別子を設定する設定手段と、
   前記設定手段により設定された前記各基本セルのうち、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を左側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を上側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルの識別子を、左側の基本セルの識別子および上側の基本セルの識別子のうち小さい方の識別子に変更するとともに、大きい方の識別子の基本セルの識別子を小さい方の識別子に変更して結合関係にあると判定する判定手段と、
   前記判定手段により変更された前記識別子を用いて、前記表画像の構造を現した構造化文書を生成する構造化文書生成手段と、
   を備えた画像処理装置。
2. 設定された用紙上の画像を画像データとして読み取る読取手段と、
   前記読取手段により読み取られた四角形状以外のセルを含む表画像が含まれた画像データから、当該表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出する抽出手段と、
   前記抽出手段により抽出された罫線情報に基づいて、前記表画像の格子構造を解析する解析手段と、
   前記解析手段により解析された格子構造において縦格子軸および横格子軸により分割された四角形領域をそれぞれ基本セルとして識別子を設定する設定手段と、
   前記設定手段により設定された前記各基本セルのうち、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を左側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を上側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルの識別子を、左側の基本セルの識別子および上側の基本セルの識別子のうち小さい方の識別子に変更するとともに、大きい方の識別子の基本セルの識別子を小さい方の識別子に変更して結合関係にあると判定する判定手段と、
   前記判定手段により変更された前記識別子を用いて、前記表画像の構造を現した構造化文書を生成する構造化文書生成手段と、
   を備えた画像読取装置。
3. 四角形状以外のセルを含む表画像が含まれた画像データから、当該表画像を構成する縦罫線および横罫線の情報である罫線情報を抽出するステップと、
   抽出された罫線情報に基づいて、前記表画像の格子構造を解析するステップと、
   解析された格子構造において縦格子軸および横格子軸により分割された四角形領域をそれぞれ基本セルとして識別子を設定するステップと、
   設定された前記各基本セルのうち、ある基本セルの左側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を左側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの上側の辺のみにおいて罫線が存在しない場合、その基本セルの識別子を上側の基本セルの識別子に変更して結合関係にあると判定し、ある基本セルの左側の辺および上側の辺において罫線が存在しない場合、その基本セルの識別子を、左側の基本セルの識別子および上側の基本セルの識別子のうち小さい方の識別子に変更するとともに、大きい方の識別子の基本セルの識別子を小さい方の識別子に変更して結合関係にあると判定する判定ステップと、
   前記判定ステップにおいて変更された前記識別子を用いて、前記表画像の構造を現した構造化文書を生成するステップとをコンピュータに実行させるためのプログラム。

Images