JP6409423B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、付着物により変形した文字画像の正確な文字領域を求めることを課題とし、与えられた文字列の２値化画像に対し、連結領域毎の幾何情報を求め、文字画像として切り出す文字切り出し手段と、切り出された文字画像に対し、文字認識処理を施して文字類似度を求める文字認識手段と、切り出された文字画像の幾何情報と、求められた文字類似度とを用いて、与えられた文字列の参照文字幾何情報の推定を行う参照文字幾何情報推定手段と、推定された参照文字幾何情報と、求められた文字類似度とを用いて、真の文字領域の外側の付着物により変形した変形文字画像に対して、当該付着物の位置を特定して真の文字領域を求める文字領域特定手段とを備えることが開示されている。

特許文献２には、文字の特徴マトリクスを抽出して該文字の識別を行う文字認識装置において、ノイズに影響されない該特徴マトリクスを作成し、文字認識率を向上させることを課題とし、光電変換部を介して文字パタンがパタンレジスタに格納され、該文字パタンを各所定方に走査した複数のサブパタンがサブパタン抽出部によって抽出されてサブパタン記憶部に記憶され、ＡＱ計数部は、各サブパタンにノイズが含まれているか否かを示すための該各サブパタンの黒点数等の値を計数し、マトリクス抽出部は、ＡＱ計数部の計数結果に基づき、各サブパタンにおけるノイズを除去した状態での特徴マトリクスを作成し、識別部により、その特徴マトリクスと辞書部に予め格納された標準文字を表すマトリクスとの比較が行われ、文字が識別されることが開示されている。

特開平１１−１１０４８３号公報 特開平１１−１５４２００号公報

従来であるとスキャン入力系のケースでは特にスキャン時の変動や２値化処理により文字以外の空白部に雑音的描画（以下、ノイズと記述する）が散見される。しかしながら、ノイズを自動的に正確に取り除くのは現状では困難である。

本発明は、表画像内のオブジェクトにノイズがあったとしても精度よくノイズを除去するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、表画像内のセルを抽出するセル抽出手段と、前記セル抽出手段により抽出されたセル毎のオブジェクトの領域情報を抽出する第１の抽出手段と、前記表画像の行または列方向に連なるセル群を部分領域として抽出する第２の抽出手段と、前記部分領域毎における第１の抽出手段により抽出されたオブジェクトの領域情報の偏りに対しの特異なセルを抽出する第３の抽出手段と、前記第３の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の領域情報の偏りにあわせて変更する変更手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記第３の抽出手段は、前記部分領域内における各オブジェクトのセル内での位置の分布による偏りを判別し、該偏りのある分布以外の分布を有しているセルを特異なセルとして抽出することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記第２の抽出手段は、前記部分領域として行又は列を抽出し、前記第３の抽出手段は、特異なセルがある第１の行又は列に対して直交する、該セルを含む第２の列又は行において、該セルが特異ではない場合は、該セルを第１の行又は列において特異ではないとすることを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記第２の抽出手段は、複数のセルによって構成されるＬ字型の部分領域、又は複数のセルによって構成される構造が同じであるセル群を、部分領域として抽出することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項５の発明は、前記第２の抽出手段は、列又は行が１つのセルで構成されている場合は、直交する行又は列の部分領域として抽出することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項６の発明は、コンピュータを、表画像内のセルを抽出するセル抽出手段と、前記セル抽出手段により抽出されたセル毎のオブジェクトの領域情報を抽出する第１の抽出手段と、前記表画像の行または列方向に連なるセル群を部分領域として抽出する第２の抽出手段と、前記部分領域毎における第１の抽出手段により抽出されたオブジェクトの領域情報の偏りに対しの特異なセルを抽出する第３の抽出手段と、前記第３の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の領域情報の偏りにあわせて変更する変更手段として機能させるための画像処理プログラムである。

請求項１の画像処理装置によれば、表画像内のオブジェクトにノイズがあったとしても精度よくノイズを除去することができる。

請求項２の画像処理装置によれば、部分領域内における各オブジェクトのセル内での位置の分布による偏りを判別し、その偏りのある分布以外の分布を有しているセルを特異なセルとして抽出することができる。

請求項３の画像処理装置によれば、第１の行（列）において特異なセルであったとしても、直交する第２の列（行）において特異でない場合は、第１の行（列）においても特異ではないとすることができる。

請求項４の画像処理装置によれば、Ｌ字型の部分領域又は構造が同じセル群を、部分領域として抽出することができる。

請求項５の画像処理装置によれば、列又は行が１つのセルで構成されている場合は、直交する行又は列の部分領域として抽出することができる。

請求項６の画像処理プログラムによれば、表画像内のオブジェクトにノイズがあったとしても精度よくノイズを除去することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置１００は、表画像内のオブジェクトを変更するものであって、図１の例に示すように、画像読込モジュール１１０、表構造解析モジュール１２０、セル画像特徴抽出モジュール１３０、パス設定モジュール１４０、偏り検出モジュール１５０、文字領域補正モジュール１６０を有している。

画像読込モジュール１１０は、表構造解析モジュール１２０と接続されている。画像読込モジュール１１０は、対象となる画像を読み込む。画像を読み込むとは、例えば、スキャナ、カメラ（スマートフォンを含む携帯電話に付属しているカメラを含む）等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、表画像が含まれていれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
画像読込モジュール１１０が読み込む画像内の表には、雑音的描画（ノイズともいわれる。以下、雑音部という）が含まれていることがある。例えば、スキャン時の変動や２値化処理により文字以外の空白部に雑音部が散見される。

表構造解析モジュール１２０は、画像読込モジュール１１０、セル画像特徴抽出モジュール１３０、パス設定モジュール１４０、文字領域補正モジュール１６０と接続されている。表構造解析モジュール１２０は、画像読込モジュール１１０が読み込んだ画像内から表画像を抽出し、その表画像の構造を解析する。公知の技術を用いて、罫線を検出する。そして、その表画像内のセルを抽出する。例えば、解析結果として、Ｎ行、Ｍ列の表であること、各セルの座標位置（例えば、矩形の左上角のＸＹ座標と幅と縦長）等を解析結果とする。なお、表を構成するマス（表内の罫線で囲まれた最小の矩形）１つ１つのことをセルという。そして、セル内のオブジェクトを抽出する。ここで「オブジェクト」とは、セル内の画像であって、一般的には文字画像が含まれる。場合によっては、雑音部も含まれることになる。

セル画像特徴抽出モジュール１３０は、表構造解析モジュール１２０、パス設定モジュール１４０と接続されている。セル画像特徴抽出モジュール１３０は、表構造解析モジュール１２０によって抽出された表画像内のセル毎のオブジェクトの特徴（領域情報）を抽出する。「オブジェクトの特徴」として、例えば、セル内における位置、サイズ等の幾何的、物理的特徴量が含まれる。位置として、例えば、オブジェクトの外接矩形を生成し、その外接矩形のセル内に占める領域の位置（左端、右端、上端、下端のセル内の座標位置）がある。また、セル内のＸ軸（横軸）又はＹ軸（縦軸）における黒画素の分布（いわゆるヒストグラム）であってもよい。また、特徴として、セル内でのオブジェクトの重心（Ｘ座標、Ｙ座標のいずれか１つ、組み合わせ）、オブジェクトの幅、高さ等を用いてもよい。

パス設定モジュール１４０は、表構造解析モジュール１２０、セル画像特徴抽出モジュール１３０、偏り検出モジュール１５０と接続されている。パス設定モジュール１４０は、対象としている表画像の部分領域（以下、パスともいう）を抽出する。ここで「部分領域」は、複数のセルによって構成されており、表の構造上関連のある部分である。「部分領域」は、表画像の行または列方向に連なるセル群であるとしてもよい。
また、パス設定モジュール１４０は、部分領域として行又は列を抽出してもよい。
また、パス設定モジュール１４０は、複数のセルによって構成されるＬ字型の部分領域、又は複数のセルによって構成される構造が同じであるセル群（入れ子構造）を、部分領域として抽出するようにしてもよい。「Ｌ字型」とは、ある１つのセルから右方向又は左方向のうちのいずれか一方に連なるセル群とそのセルから上方向又は下方向のうちいずれか一方に連なるセル群によって構成されるものである。典型的な例として、表の第１行（最上行）と第１列（最左列）によって構成されるセル群がある。
また、パス設定モジュール１４０は、列又は行が１つのセルで構成されている場合は、直交する行又は列の部分領域として抽出するようにしてもよい。
具体的には、部分領域を行又は列とした場合、表構造解析モジュール１２０による解析結果である表構造データ（セルの座標位置等）を参考にして、行方向又は列方向に隣接セルを辿るパスの一覧を作成する。このパスデータには、各セル内のオブジェクトの特徴抽出結果を含んでいてもよい。

偏り検出モジュール１５０は、パス設定モジュール１４０、文字領域補正モジュール１６０と接続されている。偏り検出モジュール１５０は、部分領域毎におけるオブジェクトの特徴（領域情報）の偏りがある部分領域におけるオブジェクトの特徴の特異点であるセルを抽出する。なお、以下、特異である箇所を特異点ともいう。偏り検出モジュール１５０は、部分領域毎におけるセル画像特徴抽出モジュール１３０により抽出されたオブジェクトの領域情報の偏りに対し特異なセルを抽出する。偏り検出モジュール１５０は、部分領域毎のオブジェクトの特徴の偏りを判別し、その偏りがある部分領域におけるオブジェクトの特徴の特異点であるセルを抽出する。
また、偏り検出モジュール１５０は、パス設定モジュール１４０によって抽出された部分領域内における各オブジェクトのセル内での位置の分布による偏りを判別し、その偏りのある分布以外の分布を有しているセルを特異点のセルとして抽出するようにしてもよい。
また、パス設定モジュール１４０が、部分領域として行又は列を抽出した場合は、偏り検出モジュール１５０は、特異点のセルがある第１の行又は列に対して直交する、そのセルを含む第２の列又は行において、そのセルが特異点ではない場合は、そのセルを第１の行又は列において特異点ではないとするようにしてもよい。なお、「第１の行又は列」と「第２の列又は行」の関係は、一方が列である場合は他方は行であり、一方が行である場合は他方は列である。詳細については、図１０、１１の例を用いて後述する。

文字領域補正モジュール１６０は、表構造解析モジュール１２０、偏り検出モジュール１５０と接続されている。文字領域補正モジュール１６０は、偏り検出モジュール１５０によって抽出されたセル内の画像を、そのセルを含む部分領域の領域情報の偏りにあわせて変更する。ここで「セル内の画像を変更する」とは、例えば、偏りのあるセル内のオブジェクトの大きさ（Ａ）に合わせて、特異点のセル内のオブジェクトの大きさ（Ｂ）を変更することである。一般的には、オブジェクトの大きさ（Ａ）は、オブジェクトの大きさ（Ｂ）よりも小さいので、オブジェクトの大きさ（Ｂ）を小さくすることになる。そして、オブジェクトの大きさ（Ｂ）を小さくするために、セル内の画像を一部を除去することになるが、その除去する部分にあるオブジェクトは、そのセル内にある他のオブジェクトよりも小さいものとする。結果として、例えば、セル内から雑音部を除去すること等となる。もちろんのことながら、オブジェクトの大きさだけでなく、オブジェクトの位置（又はオブジェクトの外接矩形の位置）等を用いて、オブジェクトの変更を行ってもよい。なお、この変更においては、その部分領域における偏りが強くなる方向に、特異点のセル内のオブジェクトに変更を施すようにする。

そして、セル内の画像を変更した後の画像を用いて、セル毎の文字認識処理等を行う。この場合、文字認識のために、セル内から文字画像を切り出すことが必要であるが、雑音部を含まずに文字を切り出すことができるようになる。
また、偏り検出モジュール１５０によって検出された部分領域の特異点のセル、又は文字領域補正モジュール１６０によって削除対象となった領域を、液晶ディスプレイ等の表示装置に表示するようにしてもよい。例えば、文字画像の切り出しをユーザーが行う場合に、その切り出しの補助とするためである。
画像処理装置１００は、具体的には、例えば、表構造の構造上関連のある部分で類似する位置に文字が並びやすいことを利用して、セル単位の文字の領域を確からしい範囲に狭めるようにしている。

図２は、本実施の形態による処理例を示すフローチャートである。ここでは、文字領域として、行のパス（表の横に並ぶセル群）を用いた例を示して説明する。
ステップＳ２０２では、画像読込モジュール１１０が、画像を読み込む。この画像内には、表画像が含まれている。また、画像から表画像の領域だけを抽出してもよい。例えば、図３に示す表３００が含まれている画像を読み込む。この読み込みによって、雑音部が発生し得る。例えば、図４に示す表画像４００（表３００を読み込んだ結果である表画像４００）のように、スキャンノイズ４１０、スキャンノイズ４２０が発生し得る。
ステップＳ２０４では、表構造解析モジュール１２０が、画像内の表を対象として、構造を解析する。具体的には、各セルの位置を認識する。

ステップＳ２０６では、セル画像特徴抽出モジュール１３０が、表内の各セル内のオブジェクトを対象として、特徴抽出を行う。例えば、図５に示す表画像４００は、各セルのオブジェクトの外接矩形（各セル内のオブジェクト外接矩形５１０〜５４６）を抽出した結果を示している。セル内オブジェクト外接矩形５２０内には数字「１」の他にスキャンノイズ４１０が含まれている。そして、セル内オブジェクト外接矩形５２６内には数字「８０」の他にスキャンノイズ４２０が含まれている。なお、これらセル内オブジェクト外接矩形５１０等に対して文字認識を行った結果（本実施の形態による処理が行われなかった場合に対する文字認識結果）は、図６の例のようになる。セル内オブジェクト外接矩形５２０は「’１」と認識され、セル内オブジェクト外接矩形５２６は「８０’」と認識される。これらは、スキャンノイズ４１０、スキャンノイズ４２０があるためである。他のセル内オブジェクト外接矩形５１０等については、認識誤りは発生していない。

ステップＳ２０８では、パス設定モジュール１４０が、表構造の解析結果を利用して、表内のパスを設定する。具体的には、各セルの座標位置を用いて、行、列、Ｌ型、同じ構造を有しているセル群を抽出する。例えば、図７に示す表７００内のパス７１０（第１行）、パス７２０（第２行）、パス７３０（第３行）、パス７４０（第４行）を設定する。具体的には、図５の例に示した表画像４００に対して、図８の例に示すようにパス８１０、８２０、８３０、８４０の４本のパスを設定している。パス８１０には、セル内オブジェクト外接矩形５１０、セル内オブジェクト外接矩形５１２、セル内オブジェクト外接矩形５１４、セル内オブジェクト外接矩形５１６が含まれており、パス８２０には、セル内オブジェクト外接矩形５２０、セル内オブジェクト外接矩形５２２、セル内オブジェクト外接矩形５２４、セル内オブジェクト外接矩形５２６が含まれており、パス８３０には、セル内オブジェクト外接矩形５３０、セル内オブジェクト外接矩形５３２、セル内オブジェクト外接矩形５３４、セル内オブジェクト外接矩形５３６が含まれており、パス８４０には、セル内オブジェクト外接矩形５４０、セル内オブジェクト外接矩形５４２、セル内オブジェクト外接矩形５４４、セル内オブジェクト外接矩形５４６が含まれている。

ステップＳ２１０では、偏り検出モジュール１５０が、各パスについて、オブジェクトの特徴の偏り／特異点を検出する。オブジェクトの特徴の偏りがあるか否かを判断し、そして、偏りがある場合は、特異点のセルを抽出する。
例えば、図８に示す表画像４００のパス８１０では、ほぼ同じ位置に同じサイズの外接矩形がある。つまり、パス８１０内のセル内オブジェクト外接矩形５１０、５１２、５１４、５１６では、各セル内において、その左端の座標、右端の座標、上端の座標、下端の座標、サイズが、予め定められた範囲内に含まれている。なお、「予め定められた範囲内に含まれている」か否かの判断は、対象としている特徴でソートを行い、１位のものと最下位のものとのその特徴での差分が予め定められた閾値未満又は以下であるか否かの判断としてもよい。したがって、パス８１０は偏りがあり、特異点のセルはないと判断する。一方、パス８２０では、セル内オブジェクト外接矩形５２２、５２４では、各セル内において、そのオブジェクトの左端の座標、右端の座標、上端の座標、下端の座標、サイズが、予め定められた範囲内に含まれているので、偏りがあると判断される。例えば、予め定められた範囲内に含まれているセルの割合（そのセル数を分子とし、そのパスにおける全てのセル数を分母とした場合の割合）が予め定められた閾値より大きい又は以上である場合に、偏りがあると判断してもよい。そして、予め定められた範囲内に含まれていないセルを特異点のセルとしてもよい。図８の例の場合、パス８２０は偏りがあり、セル内オブジェクト外接矩形５２０、セル内オブジェクト外接矩形５２６は特異点であると判断される。他のパス８３０、パス８４０についても、パス８１０と同様に偏りがあり、特異点のセルはないと判断する。

ステップＳ２１２では、文字領域補正モジュール１６０が、偏りがある特徴量にしたがって、特異点であるオブジェクトを修正する。例えば、偏りがある特徴量である左端の座標、右端の座標、上端の座標、下端の座標、サイズのいずれか１つ以上に合わせて、特異点のオブジェクトを修正する。
前述の例では、セル内オブジェクト外接矩形５２０、セル内オブジェクト外接矩形５２６が特異点であると判断されたので、修正対象となる。例えば、偏りがあるセル内オブジェクト外接矩形５２２、セル内オブジェクト外接矩形５２４のサイズに合わせて、セル内オブジェクト外接矩形５２０、セル内オブジェクト外接矩形５２６を修正すればよい。この場合は、セル内オブジェクト外接矩形５２０、セル内オブジェクト外接矩形５２６内のオブジェクトを画素塊に分割して、偏りがあるセル内オブジェクト外接矩形５２２、セル内オブジェクト外接矩形５２４のサイズと同等になる画素塊を選択すればよい。ここで画素塊とは、４連結又は８連結で接続している同じ色の画素（例えば黒画素）の塊である。そして、修正することによってオブジェクトから削除される画素塊の面積が予め定められた閾値未満又は以下であることを条件としてもよい。この閾値は、削除対象とする雑音部の大きさを設定すればよい。この結果、セル内オブジェクト外接矩形５２０に対しては、スキャンノイズ４１０と数字画像「１」に分割され、スキャンノイズ４１０を削除して、数字画像「１」を残す修正を行う。セル内オブジェクト外接矩形５２６に対しては、数字画像「８」、「０」とスキャンノイズ４２０に分割され、スキャンノイズ４２０を削除して、数字画像「８」、「０」を残す修正を行う。つまり、図９の例に示すように、セル内オブジェクト外接矩形５２０をセル内オブジェクト外接矩形９２０に修正し、セル内オブジェクト外接矩形５２６をセル内オブジェクト外接矩形９２６に修正している。他のオブジェクトに対しては修正は行われていない。ここでは、オブジェクトの特徴としてサイズを用いて修正したが、オブジェクトの左端の座標、右端の座標、上端の座標、下端の座標を用いてもよい。そして、これら（サイズを含む）の組み合わせを用いて修正してもよい。また、修正対象のオブジェクトは、画素塊が１つである場合は、修正を行わないようにしてもよい。また、修正対象のオブジェクトは、画素塊が１つであり、その面積が予め定められた閾値未満又は以下である場合（修正対象のオブジェクトが雑音部だけである場合）は、削除するようにしてもよい。
なお、ステップＳ２１０において、前述の「予め定められた範囲」によっては、セル内オブジェクト外接矩形５３０、セル内オブジェクト外接矩形５４０も、パス８３０、パス８４０における特異点であると判断される可能性がある。ステップＳ２１２では、修正対象のオブジェクトが１つの画素塊である場合は、修正を行わないので、パス８３０、パス８４０に対して修正は行われない。

図１０は、本実施の形態による処理例を示すフローチャートである。図１０の例に示すフローチャートは、図２に例に示すフローチャートのステップＳ２０８、ステップＳ２１０の処理を置き換えたものである。ここでは、文字領域として、行と列の両方を用いた例を示している。
ステップＳ１００２では、パス設定モジュール１４０が、横方向と縦方向のパスを設定する。図１１（ａ）の例に示す表７００のパス７１０〜７４０は、図７の例に示すパスと同様に横方向にパスを設定したものである。図１１（ｂ）に示す例は、同じ表７００に対して縦方向にパス（パス１１１０、パス１１２０、パス１１３０、パス１１４０）を設置したものである。

ステップＳ１００４では、偏り検出モジュール１５０が、各パスについて、オブジェクトの特徴の偏り／特異点を検出する。図１１（ａ）に示す例で前述したように、パス７１０では、偏りがあり、特異点はなしと判定される。パス７２０では、偏りがあり、パス７２０の第１列と第４列が特異点であると判定される。パス７３０では、偏りがあり、特異点はなしと判定される。パス７４０では、偏りがあり、特異点はなしと判定される。図１１（ｂ）に示す例では、パス１１１０は、偏りがあり、パス１１１０の第１行と第２行が特異点であると判定される。パス１１２０では、偏りがあり、パス１１２０の第１行が特異点であると判定される。パス１１３０では、偏りがあり、パス１１３０の第１行が特異点であると判定される。パス１１４０では、偏りがあり、パス１１４０の第１行と第２行が特異点であると判定される。

ステップＳ１００６では、偏り検出モジュール１５０が、一方のパスの特異点のセルは、直交するパスにおいて、偏りに寄与しているセルであるか否かを判断し、偏りに寄与しているセルである場合はステップＳ１００８へ進み、それ以外の場合は処理を終了する（ステップＳ１０９９）。パス７２０の第１列のセルは特異点であり、パス１１１０では偏りに寄与していないので、そのセルは特異点である。同様に、パス７２０の第４列のセルは特異点であり、パス１１４０では偏りに寄与していないので、そのセルは特異点である。パス１１１０の第１行のセルは特異点であるが、パス７１０では偏りに寄与しているので、そのセルは特異点ではないとする（ステップＳ１００８）。同様に、パス１１２０、１１３０、１１４０の第１行のセルは特異点であるが、パス７１０では偏りに寄与しているので、そのセルは特異点ではないとする（ステップＳ１００８）。なお、他方のパスにおいて偏りに寄与しているセルであるという条件に加えて、他方のパスにおける偏りの割合は予め定められた閾値以上であることとしてもよい。ここでの閾値は、ステップＳ２１０で偏りを判定するための閾値よりも高い値とする。
ステップＳ１００８では、偏り検出モジュール１５０が、そのセルは特異点のセルではないとする。前述の例では、パス１１１０、１１２０、１１３０、１１４０の第１行のセルは特異点のセルではないとする。

図１２は、本実施の形態による処理例を示す説明図である。
表内のデータの種類によっては、その記載位置で左寄せ、中央寄せ、右寄せ等の形式がある。外接矩形のセル内に占める領域の位置（左端、右端、上端、下端のセル内の座標位置）における座標分布の偏りの強さから、変更する雑音部の除去範囲（又はオブジェクトとして残す範囲）を強め〜弱めに変更することにより除去してはいけない文字本体を残せるようにする。
例えば、図１２に示すように、第１列を左寄せとし、第２列を中央寄せとし、第３列を右寄せとした表画像１２００を対象とする。
この場合、第１列（左寄せ）では、横方向のパス（例えば、セル内オブジェクト外接矩形１２１０、１２１２、１２１４）で、上端、下端のセル内の座標位置の偏りは強めとなる。縦方向のパス（例えば、セル内オブジェクト外接矩形１２１０、１２２０、１２３０、１２４０）で、左端のセル内の座標位置の偏りは強めとなる。そして、右端のセル内の座標位置の偏りは弱めとなる。図１２の例に示すように、４桁までの数字ならば４つの多峰性を持つ分布となる。
第２列（中央寄せ）では、横方向のパス（例えば、セル内オブジェクト外接矩形１２１０、１２１２、１２１４）で、上端、下端のセル内の座標位置の偏りは強めとなる。縦方向のパス（例えば、セル内オブジェクト外接矩形１２１２、１２２２、１２３２、１２４２）で、左端、右端ともに偏りは弱めとなる。図１２の例に示すように、４桁までの数字ならば８つの多峰性を持つ分布となる。
第３列（右寄せ）では、横方向のパス（例えば、セル内オブジェクト外接矩形１２１０、１２１２、１２１４）で、上端、下端のセル内の座標位置の偏りは強めとなる。縦方向のパス（例えば、セル内オブジェクト外接矩形１２１４、１２２４、１２３４、１２４４）で、右端のセル内の座標位置の偏りは強めとなる。そして、左端のセル内の座標位置の偏りは弱めとなる。図１２の例に示すように、４桁までの数字ならば４つの多峰性を持つ分布となる。
そこで、偏りの強い端（外接矩形の辺）においては、分布のピークに対して、予め定められた範囲Ａ（例えば、数ピクセル）を超えたものは削除する変更を行う。これによって、例えば、図１２の第１列で、「１」の左にある雑音部は、近くても削除の対象となる。
一方、偏りの弱い端（外接矩形の辺）においては、分布の裾野の端にある峰に対して、予め定められた範囲Ｂ（例えば、数ピクセル）を超えたものは削除する変更を行う。これによって、例えば、図１２の第１列で、セル内オブジェクト外接矩形１２３０の「３」の右にある雑音部は、近くても削除の対象となる。ここでの範囲Ａは、範囲Ｂより小さい又は以下とする。
なお、偏りの強弱は、グラフにおける尖度と予め定められた閾値との比較によって判断すればよい。具体的には、尖度が予め定められた閾値Ｃより大きい又は以上である場合は、偏りが強いと判断し、尖度が予め定められた閾値Ｄ未満又は以下である場合は、偏りが弱いと判断する。ここでの閾値Ｃと閾値Ｄは同じ値であってもよいし、異なる値であってもよい（一般的には、閾値Ｃは閾値Ｄより大きい値とする）。

図１３は、本実施の形態（主にパス設定モジュール１４０）による処理例を示す説明図である。図１３の例に示す表１３００は、第２列が１つのセル（統合セル）となっている表である。ここでの横方向のパスとして、統合された同一のセルを通過する。つまり、列又は行が１つのセルで構成されている場合は、直行する行又は列のパスとして、その１つのセルを含むようにパスを構成する。もちろんのことながら、列が１つのセルで構成されている場合は、直行する行のパスとして、その列の１つのセルを含むようにパスを構成し、行が１つのセルで構成されている場合は、直行する列のパスとして、その行の１つのセルを含むようにパスを構成する。具体的には、パス１３１０は、セル１３１１、セル１３５２、セル１３１３、セル１３１４、セル１３１５によって構成され、パス１３２０は、セル１３２１、セル１３５２、セル１３２３、セル１３２４、セル１３２５によって構成され、パス１３３０は、セル１３３１、セル１３５２、セル１３３３、セル１３３４、セル１３３５によって構成され、パス１３４０は、セル１３４１、セル１３５２、セル１３４３、セル１３４４、セル１３４５によって構成されている。縦方向のパスとして、第２列は１つのセル（セル１３５２）だけのパスになる。したがって、第２列のパスの偏り度合は最大となる。そのため、行方向のパス上では２列目のセル（セル１３５２）は評価に含めないこととなる。

図１４は、本実施の形態（主にパス設定モジュール１４０）による処理例を示す説明図である。図１４の例に示す表１４００に対して、パス設定モジュール１４０は、そのセルの大きさ、互いのセルの位置関係に基づいて、同一構造の入れ子になっている入れ子構造１４１０、入れ子構造１４２０、入れ子構造１４３０を設定する。例えば、表内のセルの大きさが異なっている場合は、最も大きいセルＡを選択し、そのセルＡと接しているセルＢ（複数あってもよい）を抽出する。セルＡと同じ大きさのセルＣがあれば、そのセルＣと接しているセルＤ（複数あってもよい）を抽出して、セルＡとセルＢの位置関係と、セルＣとセルＤの位置関係が同じあれば、部分領域（パス）として抽出する。具体的には、最も大きいセル１４１１を選択し、セル１４１１に接しているセル１４１２、セル１４１３、セル１４１４を抽出し、位置関係（セル１４１１の下にセル１４１２、セル１４１３、セル１４１４がある）を解析する。セル１４１１と同じ大きさであるセル１４２１を選択し、セル１４２１に接しているセル１４１２、セル１４１３、セル１４１４、セル１４２２、セル１４２３、セル１４２４を抽出し、位置関係（セル１４２１の上にセル１４１２、セル１４１３、セル１４１４があり、セル１４２１の下にセル１４２２、セル１４２３、セル１４２４がある）を解析する。ここで、セル１４１１とセル１４１２、セル１４１３、セル１４１４との位置関係と、セル１４２１とセル１４２２、セル１４２３、セル１４２４との位置関係は同じであるので、セル１４１１、セル１４１２、セル１４１３、セル１４１４によって構成される入れ子構造１４１０と、セル１４２１、セル１４２２、セル１４２３、セル１４２４によって構成される入れ子構造１４２０を部分領域として設定する。同様に、入れ子構造１４３０も部分領域として設定する。
各部分領域（入れ子構造１４１０、入れ子構造１４２０、入れ子構造１４３０）をパスとして、図２の例に示すフローチャートにおけるステップＳ２１０以降の処理を行えばよい。つまり、各パスにおいて文字種別の偏りがあれば、その中の特異点であるセルを補正の対象にする。

図１５を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１５に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部１５１７と、プリンタ等のデータ出力部１５１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像読込モジュール１１０、表構造解析モジュール１２０、セル画像特徴抽出モジュール１３０、パス設定モジュール１４０、偏り検出モジュール１５０、文字領域補正モジュール１６０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０２は、ＣＰＵ１５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５０３は、ＣＰＵ１５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス１５０４により相互に接続されている。

ホストバス１５０４は、ブリッジ１５０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス１５０６に接続されている。

キーボード１５０８、マウス等のポインティングデバイス１５０９は、操作者により操作される入力デバイスである。ディスプレイ１５１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１５０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象としている画像（表画像）、解析結果、各セル内のオブジェクトの特徴抽出結果等が格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１５１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１５０７、外部バス１５０６、ブリッジ１５０５、及びホストバス１５０４を介して接続されているＲＡＭ１５０３に供給する。リムーバブル記録媒体１５１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１５１４は、外部接続機器１５１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１５１４は、インタフェース１５０７、及び外部バス１５０６、ブリッジ１５０５、ホストバス１５０４等を介してＣＰＵ１５０１等に接続されている。通信部１５１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１５１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１５１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１５に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。

また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。
また、隣合った部分領域（パス）における偏りを参考にして、偏りを決定するようにしてもよい。例えば、対象としている部分領域での偏りを決定する際に、隣合った部分領域でも同じ文字種別の偏りであることを条件としてもよい。隣合った部分領域は、既に偏りが決定されたものとし、２つ目以降の部分領域の判定の際に、その条件を課すようにしてもよい。また、表の予め定められた部分領域（例えば、第１行、第１列等）以外の部分領域を対象としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…画像処理装置
１１０…画像読込モジュール
１２０…表構造解析モジュール
１３０…セル画像特徴抽出モジュール
１４０…パス設定モジュール
１５０…偏り検出モジュール
１６０…文字領域補正モジュール

Claims (6)

1. 表画像内のセルを抽出するセル抽出手段と、
   前記セル抽出手段により抽出されたセル毎のオブジェクトの領域情報を抽出する第１の抽出手段と、
   前記表画像の行または列方向に連なるセル群を部分領域として抽出する第２の抽出手段と、
   前記部分領域毎における第１の抽出手段により抽出されたオブジェクトの領域情報の偏りに対し特異なセルを抽出する第３の抽出手段と、
   前記第３の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の領域情報の偏りにあわせて変更する変更手段
   を具備することを特徴とする画像処理装置。
2. 前記第３の抽出手段は、前記部分領域内における各オブジェクトのセル内での位置の分布による偏りを判別し、該偏りのある分布以外の分布を有しているセルを特異なセルとして抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の抽出手段は、前記部分領域として行又は列を抽出し、
   前記第３の抽出手段は、特異なセルがある第１の行又は列に対して直交する、該セルを含む第２の列又は行において、該セルが特異ではない場合は、該セルを第１の行又は列において特異ではないとする
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の抽出手段は、複数のセルによって構成されるＬ字型の部分領域、又は複数のセルによって構成される構造が同じであるセル群を、部分領域として抽出する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第２の抽出手段は、列又は行が１つのセルで構成されている場合は、直交する行又は列の部分領域として抽出する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. コンピュータを、
   表画像内のセルを抽出するセル抽出手段と、
   前記セル抽出手段により抽出されたセル毎のオブジェクトの領域情報を抽出する第１の抽出手段と、
   前記表画像の行または列方向に連なるセル群を部分領域として抽出する第２の抽出手段と、
   前記部分領域毎における第１の抽出手段により抽出されたオブジェクトの領域情報の偏りに対し特異なセルを抽出する第３の抽出手段と、
   前記第３の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の領域情報の偏りにあわせて変更する変更手段
   として機能させるための画像処理プログラム。

Images