JP6187307B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、認識対象画像に含まれる項目を下地色によって認識し、各項目毎に適切な文字認識処理を行うことを可能とし、認識率を向上することを課題とし、読み込んだ帳票画像中の下地色に基づいて１つ又は複数の部分領域を抽出し、抽出された各部分領域に適用する文字認識処理を、夫々の下地色に基づいて設定し、各部分領域が数量が記入される項目であるか宛て先コードが記入される項目であるかが判別され、そして、各領域の項目に応じて、数字限定ＯＣＲ処理か英数字ＯＣＲ処理のいずれかが選択されて、文字認識処理が行われ、各項目に応じて認識結果に対する検証が行われることが開示されている。

特許文献２には、手書文字あるいは活字文字等の字種が未知の文書や帳票などの文字について字種を判別して迅速かつ効率的に信頼性の高い文字認識結果を出力することを目的とし、文書や帳票などから画像を読み取る手段と、読み取った画像中の文字について字種を判別する手段と、判別された字種に基づいて文字認識処理を行い、文字認識結果の信頼性が閾値以上のときに文字認識結果を出力し、一方、閾値以下のときに他の文字認識処理を行ってそのときの信頼性と最初の信頼性とを比較して高い方の文字認識結果を出力する手段とを備えるように構成することが開示されている。

特開平１１−１９１１４２号公報 特開２００１−１４３０２０号公報

本発明は、表画像内の文字を認識する場合において、表の部分領域内の文字の種別の偏りに応じた認識辞書を用いて文字認識を行うようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、表画像内のセル毎の画像を文字認識する認識手段と、前記表画像の部分領域を抽出する抽出手段と、前記部分領域のセル内の文字認識結果である文字の種別に基づいて、該部分領域内の文字の種別の偏りを判別し、該偏りがある部分領域における種別の特異点であるセルを抽出する第２の抽出手段と、前記第２の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の偏りの種別の認識辞書を用いて文字認識する第２の認識手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記第２の抽出手段は、前記部分領域内における文字の種別の割合に基づいて種別の偏りを判別し、該偏りのある種別以外の種別である文字が記入されているセルを特異点のセルとして抽出することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記抽出手段は、前記部分領域として行又は列を抽出し、前記第２の抽出手段は、特異点のセルがある第１の行又は列に対して直交する、該セルを含む第２の列又は行において、該セルが特異点ではない場合は、該セルを第１の行又は列において特異点ではないとすることを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記抽出手段は、複数のセルによって構成されるＬ字型の部分領域、又は複数のセルによって構成される構造が同じであるセル群を、部分領域として抽出することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項５の発明は、前記第２の抽出手段は、前記部分領域の文字数による重みを付与して、偏りを判別することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。

請求項６の発明は、コンピュータを、表画像内のセル毎の画像を文字認識する認識手段と、前記表画像の部分領域を抽出する抽出手段と、前記部分領域のセル内の文字認識結果である文字の種別に基づいて、該部分領域内の文字の種別の偏りを判別し、該偏りがある部分領域における種別の特異点であるセルを抽出する第２の抽出手段と、前記第２の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の偏りの種別の認識辞書を用いて文字認識する第２の認識手段として機能させるための画像処理プログラムである。

請求項１の画像処理装置によれば、表画像内の文字を認識する場合において、表の部分領域内の文字の種別の偏りに応じた認識辞書を用いて文字認識を行うことができる。

請求項２の画像処理装置によれば、部分領域内における文字の種別の割合に基づいて種別の偏りを判別し、その偏りのある種別以外の種別である文字が記入されているセルを特異点のセルとして抽出することができる。

請求項３の画像処理装置によれば、第１の行（列）において特異点であったとしても、直交する第２の列（行）において特異点でない場合は、第１の行（列）においても特異点ではないとすることができる。

請求項４の画像処理装置によれば、Ｌ字型の部分領域又は構造が同じセル群を、部分領域として抽出することができる。

請求項５の画像処理装置によれば、部分領域の文字数による重みを付与して、偏りを判別することができる。

請求項６の画像処理プログラムによれば、表画像内の文字を認識する場合において、表の部分領域内の文字の種別の偏りに応じた認識辞書を用いて文字認識を行うことができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置１００は、表画像内の文字を認識するものであって、図１の例に示すように、画像読込モジュール１１０、表構造解析モジュール１２０、一般文字認識モジュール１３０、パス設定モジュール１４０、偏り／特異点検出モジュール１５０、特殊文字認識モジュール１６０、表示モジュール１７０を有している。
画像処理装置１００の処理の概要を説明する。なお、この説明は、具体的な例を用いているが、本実施の形態の理解を容易にすることを目的とするものであり、画像処理装置１００を限定するために用いてはならない。表の行又は列では同タイプの文字種別のデータが並びやすいことを利用して、行又は列毎の文字種別の偏りを検出して、特異点となるセルを誤認識候補として、再度文字認識する。

画像読込モジュール１１０は、表構造解析モジュール１２０と接続されている。画像読込モジュール１１０は、対象となる画像を読み込む。画像を読み込むとは、例えば、スキャナ、カメラ（スマートフォンを含む携帯電話に付属しているカメラを含む）等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、表画像が含まれていれば、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。

表構造解析モジュール１２０は、画像読込モジュール１１０、一般文字認識モジュール１３０、パス設定モジュール１４０、特殊文字認識モジュール１６０と接続されている。表構造解析モジュール１２０は、画像読込モジュール１１０が読み込んだ画像内から表画像を抽出し、その表画像の構造を解析する。公知の技術を用いて、罫線を検出し、セルを検出する。例えば、解析結果として、Ｎ行、Ｍ列の表であること、各セルの座標位置（例えば、矩形の左上角のＸＹ座標と幅と縦長）等を解析結果とする。なお、表を構成するマス（表内の罫線で囲まれた最小の矩形）１つ１つのことをセルという。
一般文字認識モジュール１３０は、表構造解析モジュール１２０、パス設定モジュール１４０と接続されている。一般文字認識モジュール１３０は、表画像内のセル毎の画像を文字認識する。例えば、一般的な認識辞書による文字認識機能を有している。一般的な認識辞書とは、文字種別に限定されない網羅的な辞書をいう。例えば、一般文字認識モジュール１３０による文字認識では、数字「７」をカタカナ「ワ」等に誤認識する場合がある。

パス設定モジュール１４０は、表構造解析モジュール１２０、一般文字認識モジュール１３０、偏り／特異点検出モジュール１５０と接続されている。パス設定モジュール１４０は、前記表画像の部分領域を抽出する。画像読込モジュール１１０が読み込んだ画像内の表画像の部分領域（以下、パスともいう）を抽出する。そのために、表構造解析モジュール１２０による解析結果を用いる。部分領域とは、表を構成する複数のセルによって構成されるものであって、例えば、行、列がある。この他に、複数のセルによって構成されるＬ字型の部分領域、又は複数のセルによって構成される構造が同じであるセル群（入れ子構造）がある。「Ｌ字型」とは、ある１つのセルから右方向又は左方向のうちのいずれか一方に連なるセル群とそのセルから上方向又は下方向のうちいずれか一方に連なるセル群によって構成されるものである。典型的な例として、表の第１行（最上行）と第１列（最左列）によって構成されるセル群がある。
具体的には、部分領域を行又は列とした場合、表構造解析モジュール１２０による解析結果である表構造データ（セルの座標位置等）を参考にして、行方向又は列方向に隣接セルを辿るパスの一覧を作成する。このパスデータには、各セルの文字認識結果（文字種別の分布）を含んでいてもよい。

偏り／特異点検出モジュール１５０は、パス設定モジュール１４０、特殊文字認識モジュール１６０、表示モジュール１７０と接続されている。偏り／特異点検出モジュール１５０は、パス設定モジュール１４０によって抽出された部分領域のセル内の文字認識結果である文字の種別に基づいて、その部分領域内の文字の種別の偏りを判別し、その偏りがある部分領域における種別の特異点であるセルを抽出する。また、偏り／特異点検出モジュール１５０は、部分領域内における文字の種別の割合に基づいて種別の偏りを判別し、その偏りのある種別以外の種別である文字が記入されているセルを特異点のセルとして抽出するようにしてもよい。ここで「種別の割合に基づいて」とは、その行又は列において、１つの種別の割合が予め定められた閾値より多い又は以上であるか否かによって判別する。１つの種別の割合が予め定められた閾値より多い又は以上である場合は、行又は列はその種別に偏りがあると判断する。文字の種別とは、文字表記における文字体系をいい、例えば、ひらがな、カタカナ、漢字、英字（アルファベット）、アラビア数字、記号等がある。なお、文字の種別として、複数の文字体系の組み合わせであってもよい。例えば、「ひらがな」と「カタカナ」と「漢字」の組み合わせを「日本語」とする。特殊文字認識モジュール１６０は、この文字の種別毎に認識辞書を有している。逆に、特殊文字認識モジュール１６０が有している認識辞書に合わせて、文字の種別を定めてもよい。

偏り／特異点検出モジュール１５０は、パス設定モジュール１４０が部分領域として行又は列を抽出した場合は、特異点のセルがある第１の行又は列に対して直交する、そのセルを含む第２の列又は行において、そのセルが特異点ではない場合は、そのセルを第１の行又は列においても特異点ではないとする。「第１の行又は列」と「第２の列又は行」の関係は、一方が列である場合は他方は行であり、一方が行である場合は他方は列である。詳細については、図８、９の例を用いて後述する。
また、偏り／特異点検出モジュール１５０は、部分領域の文字数による重みを付与して、偏りを判別するようにしてもよい。
具体的には、偏り／特異点検出モジュール１５０は、各パス毎に同種の文字種別が続くか否かの判定を行う。続くと判定された領域は偏りのある領域とみなされ、その範囲内に含まれる文字種別がその種別以外ならば特異点としてそのセルをラベル付けする。

特殊文字認識モジュール１６０は、表構造解析モジュール１２０、偏り／特異点検出モジュール１５０、表示モジュール１７０と接続されている。特殊文字認識モジュール１６０は、偏り／特異点検出モジュール１５０によって抽出されたセル内の画像を、そのセルを含む部分領域の偏りの種別の認識辞書を用いて文字認識する。
具体的には、特殊文字認識モジュール１６０は、ラベル付けされた特異点のセルを偏った文字種別の文字認識辞書で再認識する。
表示モジュール１７０は、偏り／特異点検出モジュール１５０、特殊文字認識モジュール１６０と接続されている。表示モジュール１７０は、偏り／特異点検出モジュール１５０によって検出された部分領域の文字種別の偏り、特異点のセル、特殊文字認識モジュール１６０による認識結果を、液晶ディスプレイ等の表示装置に表示する。

前述の文字種別だけでなく、さらに、セル内の文字列方向を含めてもよい。つまり、一般文字認識モジュール１３０では、文字認識結果として、文字列方向をも検出する。偏り／特異点検出モジュール１５０では、文字種別だけでなく、文字列方向についても偏り、特異点を抽出する。前述の「文字の種別」を「文字列方向」と読み替えればよい。なお、文字列方向として、縦と横がある。特殊文字認識モジュール１６０では、特異点であるセルについて、偏りにおける文字列方向を指定して、特異点であるセル内の画像を文字認識する。なお、文字列方向を予め指定して文字認識を行うと、一般的に認識率は向上する。

図２は、本実施の形態による処理例を示すフローチャートである。ここでは、文字領域として、行のパス（表の横に並ぶセル群）を用いた例である。
ステップＳ２０２では、画像読込モジュール１１０が、画像を読み込む。この画像内には、表画像が含まれている。また、画像から表画像の領域だけを抽出してもよい。例えば、図３に示す表画像３００が含まれている画像を読み込む。
ステップＳ２０４では、表構造解析モジュール１２０が、画像内の表を対象として、構造を解析する。具体的には、各セルの位置を認識する。

ステップＳ２０６では、一般文字認識モジュール１３０が、表内の各セルの画像を対象として、文字認識を行う。ここでの文字認識は、認識辞書を限定しない文字認識処理である。例えば、図４に示す表認識結果４００のような結果を得る。ここでは、日英数の混合の認識辞書を用いた結果である。認識結果４１０は本来数字「１」であるはずが、英字の小文字「ｌ」と誤認識され、認識結果４２０は本来数字「７７」であるはずが、カタカナ「ワワ」と誤認識されている。他のセルでは、文字認識結果は正解であるとする。

ステップＳ２０８では、パス設定モジュール１４０が、表構造の解析結果を利用して、表内のパスを設定する。具体的には、各セルの座標位置を用いて、行、列、Ｌ型、同じ構造を有しているセル群を抽出する。例えば、図５に示す表５００内のパス５１０（第１行）、パス５２０（第２行）、パス５３０（第３行）、パス５４０（第４行）を設定する。
ステップＳ２１０では、偏り／特異点検出モジュール１５０が、各パスについて、文字種別の偏り／特異点を検出する。文字種別の偏りがあるか否かを判断し、そして、偏りがある場合は、特異点のセルを抽出する。例えば、図６に示す表５００のパス５１０では文字種別として「日（日本語）」「日」「日」「日」、パス５２０では文字種別として「英（英字）」「数（数字）」「数」「数」、パス５３０では文字種別として「数」「数」「数」「日」、パス５４０では文字種別として「数」「数」「数」「数」、である。ここで、パス内での文字種別の割合を算出し、偏りの閾値として７０％とすると、パス５１０では、全て「日」であるので「日」の割合は１００％であり、偏りがあると判定される。パス５２０では、３／４が「数」であるので「数」の割合は７５％であり、「数」の偏りがあり、「英」は特異点であると判定される。パス５３０では、３／４が「数」であるので「数」の割合は７５％であり、「数」の偏りがあり、「日」は特異点であると判定される。パス５４０では、全て「数」であるので「数」の割合は１００％であり、偏りがあると判定される。

ステップＳ２１２では、特殊文字認識モジュール１６０が、特異点のセルの画像を対象として、文字種別を限定した認識辞書を用いて文字認識を行う。文字種別の限定は、偏りが発生している文字種別に限定する。つまり、そのセルが含まれているパス内の他のセル（偏りがあるセル）の文字種別の認識辞書を用いる。したがって、偏りがあるパスにおいて、全て同じ文字種別の文字認識結果となる。図６の例では、特異点のセルは２つある。パス５２０内の「英」のセル（パス５２０内の第１列のセル）を、パス５２０の偏りである「数」（数字）の認識辞書を用いて再度文字認識を行う。同様に、パス５３０内の「日」のセル（パス５３０内の第４列のセル）を、パス５３０の偏りである「数」（数字）の認識辞書を用いて再度文字認識を行う。認識結果は、図７の例に示す表認識結果７００となる。図４の例で示した認識結果４１０、認識結果４２０が再度文字認識され、本来の文字（認識結果４１０は数字「１」、認識結果４２０は数字「７７」）となっている。
ステップＳ２１４では、表示モジュール１７０が、特異点のセルを他のセルとは異なる態様で表示する。図７の例に示す表認識結果７００の第２行第１列、第３行第４列のセル内の背景を、赤色（他のセル内の背景は白）としたり、他の文字よりも大きくしたり、点滅させたりすればよい。

図８は、本実施の形態による処理例を示すフローチャートである。図８の例に示すフローチャートは、図２に例に示すフローチャートのステップＳ２０８、ステップＳ２１０の処理を置き換えたものである。ここでは、文字領域として、行と列の両方を用いた例を示している。
ステップＳ８０２では、パス設定モジュール１４０が、横方向と縦方向のパスを設定する。図９（ａ）の例に示す表５００のパス５１０〜５４０は、図５の例に示すパスと同様に横方向にパスを設定したものである。図９（ｂ）に示す例は、同じ表５００に対して縦方向にパス（パス９１０、パス９２０、パス９３０、パス９４０）を設置したものである。

ステップＳ８０４では、偏り／特異点検出モジュール１５０が、各パスについて、文字種別の偏り／特異点を検出する。図９（ａ）に示す例で前述したように、パス５１０では、「日」の偏りがあり、特異点はなしと判定される。パス５２０では、「数」の偏りがあり、パス５２０の第１列が特異点であると判定される。パス５３０では、「数」の偏りがあり、パス５３０の第４列が特異点であると判定される。パス５４０では、「数」の偏りがあり、特異点はなしと判定される。図９（ｂ）に示す例では、パス９１０は、「日」、「英」、「数」、「数」であるので、偏りはないと判定される。パス９２０では、「日」、「数」、「数」、「数」であるので、「数」の偏りがあり、パス９２０の第１行が特異点であると判定される。パス９３０では、「日」、「数」、「数」、「数」であるので、「数」の偏りがあり、パス９３０の第１行が特異点であると判定される。パス９４０では、「日」、「数」、「日」、「数」であるので、偏りはないと判定される。

ステップＳ８０６では、偏り／特異点検出モジュール１５０が、一方のパスの特異点のセルは、直交するパスにおいて、偏りに寄与しているセルであるか否かを判断し、偏りに寄与しているセルである場合はステップＳ８０８へ進み、それ以外の場合は処理を終了する（ステップＳ８９９）。パス５２０の第１列のセルは特異点であるが、パス９１０では偏りに寄与していないので、そのセルは特異点である。同様に、パス５３０の第４列のセルは特異点であるが、パス９４０では偏りに寄与していないので、そのセルは特異点である。パス９２０の第１行のセルは特異点であるが、パス５１０では偏りに寄与している（偏り側の文字種別「日」である）ので、そのセルは特異点ではないとする（ステップＳ８０８）。同様に、パス９３０の第１行のセルは特異点であるが、パス５１０では偏りに寄与している（偏り側の文字種別「日」である）ので、そのセルは特異点ではないとする（ステップＳ８０８）。なお、他方のパスにおいて偏りに寄与しているセルであるという条件に加えて、他方のパスにおける偏りの割合は予め定められた閾値以上であることとしてもよい。ここでの閾値は、ステップＳ２１０で偏りを判定するための閾値よりも高い値とする。
ステップＳ８０８では、偏り／特異点検出モジュール１５０が、そのセルは特異点のセルではないとする。

図１０は、本実施の形態（主にパス設定モジュール１４０）による処理例を示す説明図である。図１０の例に示す表１０００は、第２列が１つのセル（統合セル）となっている表である。ここでの横方向のパスとして、統合された同一のセルを通過する。つまり、列又は行が１つのセルで構成されている場合は、直行する行又は列のパスとして、その１つのセルを含むようにパスを構成する。具体的には、セル１０１０は、セル１０１１、セル１０５２、セル１０１３、セル１０１４、セル１０１５によって構成され、セル１０２０は、セル１０２１、セル１０５２、セル１０２３、セル１０２４、セル１０２５によって構成され、セル１０３０は、セル１０３１、セル１０５２、セル１０３３、セル１０３４、セル１０３５によって構成され、セル１０４０は、セル１０４１、セル１０５２、セル１０４３、セル１０４４、セル１０４５によって構成されている。縦方向のパスとして、第２列は１つのセル（セル１０５２）だけのパスになる。したがって、第２列のパスの偏り度合は最大となる。そのため、行方向のパス上では２列目のセル（セル１０５２）は評価に含めないこととなる。

図１１は、本実施の形態（主にパス設定モジュール１４０）による処理例を示す説明図である。図１１の例に示す表１１００に対して、パス設定モジュール１４０は、そのセルの大きさ、互いのセルの位置関係に基づいて、同一構造の入れ子になっている入れ子構造１１１０、入れ子構造１１２０、入れ子構造１１３０を設定する。例えば、表内のセルの大きさが異なっている場合は、最も大きいセルＡを選択し、そのセルＡと接しているセルＢ（複数あってもよい）を抽出する。セルＡと同じ大きさのセルＣがあれば、そのセルＣと接しているセルＤ（複数あってもよい）を抽出して、セルＡとセルＢの位置関係と、セルＣとセルＤの位置関係が同じあれば、部分領域（パス）として抽出する。具体的には、最も大きいセル１１１１を選択し、セル１１１１に接しているセル１１１２、セル１１１３、セル１１１４を抽出し、位置関係（セル１１１１の下にセル１１１２、セル１１１３、セル１１１４がある）を解析する。セル１１１１と同じ大きさであるセル１１２１を選択し、セル１１２１に接しているセル１１１２、セル１１１３、セル１１１４、セル１１２２、セル１１２３、セル１１２４を抽出し、位置関係（セル１１２１の上にセル１１１２、セル１１１３、セル１１１４があり、セル１１２１の下にセル１１２２、セル１１２３、セル１１２４がある）を解析する。ここで、セル１１１１とセル１１１２、セル１１１３、セル１１１４との位置関係と、セル１１２１とセル１１２２、セル１１２３、セル１１２４との位置関係は同じであるので、セル１１１１、セル１１１２、セル１１１３、セル１１１４によって構成される入れ子構造１１１０と、セル１１２１、セル１１２２、セル１１２３、セル１１２４によって構成される入れ子構造１１２０を部分領域として設定する。同様に、入れ子構造１１３０も部分領域として設定する。
各部分領域（入れ子構造１１１０、入れ子構造１１２０、入れ子構造１１３０）をパスして、図２の例に示すフローチャートにおけるステップＳ２１０以降の処理を行えばよい。つまり、各パスにおいて文字種別の偏りがあれば、その中の特異点であるセルを補正の対象にする。

図１２を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１２１７と、プリンタなどのデータ出力部１２１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像読込モジュール１１０、表構造解析モジュール１２０、一般文字認識モジュール１３０、パス設定モジュール１４０、偏り／特異点検出モジュール１５０、特殊文字認識モジュール１６０、表示モジュール１７０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２０２は、ＣＰＵ１２０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０３は、ＣＰＵ１２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１２０４により相互に接続されている。

ホストバス１２０４は、ブリッジ１２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１２０６に接続されている。

キーボード１２０８、マウス等のポインティングデバイス１２０９は、操作者により操作される入力デバイスである。ディスプレイ１２１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１２０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象としている画像、解析結果、文字認識結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１２１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１２０７、外部バス１２０６、ブリッジ１２０５、及びホストバス１２０４を介して接続されているＲＡＭ１２０３に供給する。リムーバブル記録媒体１２１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１２１４は、外部接続機器１２１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１２１４は、インタフェース１２０７、及び外部バス１２０６、ブリッジ１２０５、ホストバス１２０４等を介してＣＰＵ１２０１等に接続されている。通信部１２１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１２１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１２１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１２に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。
前述の実施の形態において、偏りを判別する際に、部分領域の文字数による重みを付与してもよい。例えば、セル内に文字種別Ａ、文字種別Ｂの文字があり、それぞれ文字数Ｘ、Ｙである場合、文字種別ＡはＸ／（Ｘ＋Ｙ）、文字種別ＢはＹ／（Ｘ＋Ｙ）とする。
また、隣合った部分領域における偏りを参考にして、偏りを決定するようにしてもよい。例えば、対象としている部分領域での偏りを決定する際に、隣合った部分領域でも同じ文字種別の偏りであることを条件としてもよい。隣合った部分領域は、既に偏りが決定されたものとし、２つ目以降の部分領域の判定の際に、その条件を課すようにしてもよい。また、表の予め定められた部分領域（例えば、第１行、第１列等）以外の部分領域を対象としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１００…画像処理装置
１１０…画像読込モジュール
１２０…表構造解析モジュール
１３０…一般文字認識モジュール
１４０…パス設定モジュール
１５０…偏り／特異点検出モジュール
１６０…特殊文字認識モジュール
１７０…表示モジュール

Claims (6)

1. 表画像内のセル毎の画像を文字認識する認識手段と、
   前記表画像の部分領域を抽出する抽出手段と、
   前記部分領域のセル内の文字認識結果である文字の種別に基づいて、該部分領域内の文字の種別の偏りを判別し、該偏りがある部分領域における種別の特異点であるセルを抽出する第２の抽出手段と、
   前記第２の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の偏りの種別の認識辞書を用いて文字認識する第２の認識手段
   を具備することを特徴とする画像処理装置。
2. 前記第２の抽出手段は、前記部分領域内における文字の種別の割合に基づいて種別の偏りを判別し、該偏りのある種別以外の種別である文字が記入されているセルを特異点のセルとして抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記部分領域として行又は列を抽出し、
   前記第２の抽出手段は、特異点のセルがある第１の行又は列に対して直交する、該セルを含む第２の列又は行において、該セルが特異点ではない場合は、該セルを第１の行又は列において特異点ではないとする
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記抽出手段は、複数のセルによって構成されるＬ字型の部分領域、又は複数のセルによって構成される構造が同じであるセル群を、部分領域として抽出する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第２の抽出手段は、前記部分領域の文字数による重みを付与して、偏りを判別する
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. コンピュータを、
   表画像内のセル毎の画像を文字認識する認識手段と、
   前記表画像の部分領域を抽出する抽出手段と、
   前記部分領域のセル内の文字認識結果である文字の種別に基づいて、該部分領域内の文字の種別の偏りを判別し、該偏りがある部分領域における種別の特異点であるセルを抽出する第２の抽出手段と、
   前記第２の抽出手段によって抽出されたセル内の画像を、該セルを含む部分領域の偏りの種別の認識辞書を用いて文字認識する第２の認識手段
   として機能させるための画像処理プログラム。

Images