JP4420443B2 - 帳票認識装置及びその制御方法、プログラム - Google Patents

Description

本発明は、複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置及びその制御方法、プログラムに関するものである。

帳票を、あらかじめ登録されたフォーマットごとに自動分類する帳票認識は、大量の帳票の入力処理を行う上で大変有効な方法である。

この方法では、スキャナ等の読取部から読み取った帳票画像データから特徴量を抽出し、帳票書式データを生成する。そして、検索帳票（処理対象帳票）と登録帳票の書式データの類似度を算出し、類似度の最も高い登録帳票を、認識結果とするように構成されている。

また、現在は、カラー帳票も多く流通しているので、カラー帳票の高精度認識および処理時間短縮が求められている。

例えば、特許文献１では、多色帳票画像を、指定した色毎に範囲を指定して、その範囲位置と色とをフィールド毎にまとめた標準帳票を作成し、入力された帳票と比較、種類を判別している。

また、特許文献２では、罫線の形状の他に、文字列及び帳票の種別を特定するための色を用い、それら複数の特徴のある一つの特徴から帳票が特定できなかった場合、別の特徴を用いて帳票を認識するように構成されている。
特開平９−１６７１４号公報 特開２０００−２８５１９０号公報

しかしながら、上記特許文献１では、帳票を登録する際に事前に色範囲を指定しなくてはならないので、帳票認識の判別材料となる色情報の種類は限られる。

また、上記特許文献２では、形状が類似した帳票は色を使用することが可能であるものの、当初使用した特徴で判別できない帳票を、新たな特徴で判別するため、一つの類似度で判別できない。また、どの特徴から使用すべきかは判定できていない。

本発明は上記の課題に鑑みてなされたものであり、より高精度でかつ高速に帳票画像を認識することができる帳票認識装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による帳票認識装置は以下の構成を備える。即ち、
記憶装置に記憶されている複数の登録帳票画像の中から、複数の罫線で構成される帳票画像に対応する登録帳票画像を認識する帳票認識装置であって、
認識対象の帳票画像を入力する入力手段と、
前記認識対象の帳票画像内にある表枠の大きさと位置と数ならびに表枠内のセル領域の数を、形状特徴量として抽出する特徴量抽出手段と、
前記認識対象の帳票画像内にある表枠内のセル領域それぞれの色情報を抽出する色情報抽出手段と、
前記色情報抽出手段で抽出した前記表枠内のセル領域それぞれの色情報に基づいて、罫線を挟んで隣接し且つ同一の色情報を有していると判定される複数のセル領域を１つのセル領域として生成することにより、セル領域を統合する統合手段と、
前記複数の登録帳票画像それぞれに対して、前記特徴量抽出手段で抽出した前記形状特徴量に基づく第１類似度と前記統合手段による統合処理後のセル領域の色情報に基づく第２類似度とを算出し、当該算出した前記第１類似度と第２類似度とを加算することによって加算後の類似度を算出する算出手段と、
前記算出手段で算出した加算後の類似度に基づいて、前記記憶装置に記憶されている複数の登録帳票画像の中から、前記認識対象の帳票画像に対応する登録帳票画像を決定する決定手段と
を備える。

また、好ましくは、前記算出手段は、前記第１類似度を算出した後、前記第１類似度が閾値以上であるか否かを判定し、
前記第１類似度が前記閾値以上であると判定した場合は、前記第２類似度を算出して前記加算後の類似度を算出する一方、
前記第１類似度が前記閾値以上でないと判定した場合は前記第２類似度および前記加算後の類似度の算出は行わない。

また、好ましくは、前記統合手段は、前記罫線を挟んで隣接するセル領域それぞれの色情報の差が一定範囲内にある場合、当該セル領域が同一の色情報を有していると判定する。

上記の目的を達成するための本発明による帳票認識装置の制御方法は以下の構成を備える。即ち、
記憶装置に記憶されている複数の登録帳票画像の中から、複数の罫線で構成される帳票画像に対応する登録帳票画像を認識する帳票認識装置の制御方法であって、
認識対象の帳票画像を入力する入力工程と、
前記認識対象の帳票画像内にある表枠の大きさと位置と数ならびに表枠内のセル領域の数を、形状特徴量として抽出する特徴量抽出工程と、
前記認識対象の帳票画像内にある表枠内のセル領域それぞれの色情報を抽出する色情報抽出工程と、
前記色情報抽出工程で抽出した前記表枠内のセル領域それぞれの色情報に基づいて、罫線を挟んで隣接し且つ同一の色情報を有していると判定される複数のセル領域を１つのセル領域として生成することにより、セル領域を統合する統合工程と、
前記複数の登録帳票画像それぞれに対して、前記特徴量抽出工程で抽出した前記形状特徴量に基づく第１類似度と前記統合工程による統合処理後のセル領域の色情報に基づく第２類似度とを算出し、当該算出した前記第１類似度と第２類似度とを加算することによって加算後の類似度を算出する算出工程と、
前記算出工程で算出した加算後の類似度に基づいて、前記記憶装置に記憶されている複数の登録帳票画像の中から、前記認識対象の帳票画像に対応する登録帳票画像を決定する決定工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
記憶装置に記憶されている複数の登録帳票画像の中から、複数の罫線で構成される帳票画像に対応する登録帳票画像を認識する帳票認識装置の制御をコンピュータに実行させるためのプログラムであって、
認識対象の帳票画像を入力する入力工程と、
前記認識対象の帳票画像内にある表枠の大きさと位置と数ならびに表枠内のセル領域の数を、形状特徴量として抽出する特徴量抽出工程と、
前記認識対象の帳票画像内にある表枠内のセル領域それぞれの色情報を抽出する色情報抽出工程と、
前記色情報抽出工程で抽出した前記表枠内のセル領域それぞれの色情報に基づいて、罫線を挟んで隣接し且つ同一の色情報を有していると判定される複数のセル領域を１つのセル領域として生成することにより、セル領域を統合する統合工程と、
前記複数の登録帳票画像それぞれに対して、前記特徴量抽出工程で抽出した前記形状特徴量に基づく第１類似度と前記統合工程による統合処理後のセル領域の色情報に基づく第２類似度とを算出し、当該算出した前記第１類似度と第２類似度とを加算することによって加算後の類似度を算出する算出工程と、
前記算出工程で算出した加算後の類似度に基づいて、前記記憶装置に記憶されている複数の登録帳票画像の中から、前記認識対象の帳票画像に対応する登録帳票画像を決定する決定工程と
を備える。

本発明によれば、より高精度でかつ高速に帳票画像を認識することができる帳票認識装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

[実施形態１]
図１は本発明を実施形態１の帳票認識装置の構成を示すブロック図である。

尚、ここで帳票とは、複数の罫線によって囲まれる領域が、複数個配置されて構成される画像を示すものである。

１０１はＣＰＵであり、ＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行う。１０２はＲＯＭであり、ＣＰＵ１０１が実行する後述するフローチャートに示す処理等の制御プログラムを含む各種プログラムや各種パラメータデータを格納する。

１０３はＲＡＭであり、帳票画像等の画像や各種情報を記憶する。また、ＲＡＭ１０３は、データの作業領域や一時待避領域として機能する。１０４は外部記憶装置であり、登録画像（帳票画像）を管理するデータベースを含む各種データを記憶する。また、外部記憶装置１０４は、例えば、ハードディスクやＣＤ−ＲＯＭ等で構成される。１０５はディスプレイであり、例えば、ＬＣＤやＣＲＴで構成される。

１０６はキーボードである。１０７はポインティングデバイスであり、例えば、マウスやペンタブレット等で構成される。１０８はカラー画像を入力することが可能なスキャナであり、画像（例えば、帳票）を光学的に読み取り、その画像データを取得する。また、スキャナ１０８には、必要に応じてＡＤＦ（オードドキュメントフィーダ：自動原稿給紙部）が構成されていても良い。

尚、本発明は汎用的なコンピュータでも実施可能であり、その場合、記憶媒体に記憶される制御プログラムを外部記憶装置１０４に記憶し、オペレータの指示等によりＣＰＵ１０１で実行するように構成されてもよい。

１０９はネットワークインターフェース（Ｉ／Ｆ）であり、ネットワーク上に接続されている外部装置（例えば、サーバ、外部記憶装置等）と通信し、プログラムやデータを読み込んだり、書き込んだりする。

尚、ネットワークは、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。

また、スキャナ１０８やディスプレイ１０５は、ネットワークインターフェース１０９を介して接続されて構成されていても良い。

次に、図１の帳票認識装置における帳票登録処理について、図２を用いて説明する。

図２は本発明の実施形態１の帳票認識装置における帳票登録処理を示すフローチャートである。

まず、ステップＳ２０１で、スキャナ１０８から登録対象の画像（例えば、帳票画像）を入力する。ステップＳ２０２で、入力画像の形状に関する形状特徴量抽出を行う。ここで、形状特徴量としては、例えば、帳票画像内にある表枠の大きさ、位置、数、あるいは、表枠内のセル領域の数等の帳票画像を構成する構成要素に関する情報である。

次に、ステップＳ２０３で、抽出した形状特徴量によって特定される入力画像の形状（構成要素）を形状データとして、その入力画像と対応づけて外部記憶装置１０４に登録する。

ステップＳ２０４で、入力画像がカラー画像であるか否かを判定する。入力画像がカラー画像でない場合（ステップＳ２０４でＮＯ）、処理を終了する。一方、入力画像がカラー画像である場合（ステップＳ２０４でＹＥＳ）、ステップＳ２０５に進む。

ステップＳ２０５で、入力画像であるカラー画像と、ステップＳ２０３で登録した形状データに基づいて、入力画像の各構成要素と色情報を抽出する。

尚、色情報としては、例えば、ＲＧＢ値で表現される色とするが、それ以外にも輝度情報や濃度情報を色情報として抽出しても良い。

ステップＳ２０６で、入力画像の各構成要素において、位置が隣接していて、なおかつ同一の色情報を持つ構成要素を統合し、一つの統合構成要素を生成する。

ステップＳ２０７で、統合構成要素あるいは各構成要素毎の色情報を色情報データとして、その入力画像と対応づけて外部記憶装置１０４に登録する。

以上の処理によって、外部記憶装置１０４には、入力画像と対応する形状データとが少なくとも対応づけて登録され、加えて、入力画像がカラー画像である場合には、更に、その色情報データが対応づけて登録される。

次に、ステップＳ２０５の色情報抽出処理の具体例について、図３〜図６を用いて説明する。

図３は本発明の実施形態１の入力画像の一例を示す図である。

図３において、３０１は表枠の枠線（罫線）であり、破線で示す矩形３０２が表要素（罫線部分で囲まれる）を構成するセル領域である。この例では、９個のセル領域３０２が存在している。また、各セル領域３０２には文字画像で構成される文字領域が存在することがあり、図３では、矩形３０３が文字領域を示している。この例では、７個の文字領域３０３が存在している。

次に、この図３の入力画像を用いて、ステップＳ２０５の色情報抽出処理の詳細について、図４〜図６を用いて説明する。

特に、実施形態１では、ステップＳ２０５の色情報抽出処理として、帳票画像を構成する表中のセル領域の色情報を抽出するセル領域色情報抽出処理（図４）、セル領域内の文字領域の色情報を抽出する文字領域色情報抽出処理（図５）、表を構成する罫線の色情報を抽出する罫線色情報抽出処理を実行する。

まず、セル領域色情報抽出処理について、図４を用いて説明する。

図４は本発明の実施形態１のセル領域色情報抽出処理を示すフローチャートである。

ステップＳ４０１で、入力画像（カラー画像）内の表枠内に存在するセル領域中に存在する文字領域を削除する。例えば、図３の右端のセル領域３０２では、その内部にある文字領域３０３（「２００３」）を削除する。

ステップＳ４０２で、文字領域が削除されたセル領域を構成するセル領域画像の各画素の色情報の平均値（第１平均値）を算出する。そして、この第１平均値を、そのセル領域画像の色情報（セル色）とする。

以上の処理を、入力画像中に存在する各セル領域に対して実行する。

次に、文字領域色情報抽出処理について、図５を用いて説明する。

図５は本発明の実施形態１の文字領域色情報抽出処理を示すフローチャートである。

ステップＳ５０１で、入力画像であるカラー画像と、文字領域を１とし、残りの背景部を０とした場合の二値画像の文字領域と論理積を取る。ステップＳ５０２で、論理積によって得られる画像、つまり、文字領域中の文字領域画像に対応するカラー画像の色情報の平均値（第２平均値）を算出する。そして、この第２平均値を、その文字領域画像の色情報（文字色）とする。

以上の処理を、入力画像中に存在する各文字領域に対して実行する。

次に、罫線色情報抽出処理について、図６を用いて説明する。

図６は本発明の実施形態１の罫線色情報抽出処理を示すフローチャートである。

ステップＳ６０１で、入力画像中の表からセル領域（文字領域を含む）を削除する。ステップＳ６０２で、得られる表画像（罫線部分画像）の画素の色情報の平均値（第３平均値）を算出する。そして、この第３平均値を、その罫線部分画像の色情報（罫線色）とする。

尚、この処理は、入力画像中のすべての罫線部分全体に実行しても良いし、セル領域を構成する罫線部分領域毎に実行しても良い。

次に、ステップＳ２０６の処理の詳細について、図７を用いて説明する。

図７は本発明の実施形態１のステップＳ２０６の処理の詳細を示すフローチャートである。

ステップＳ７０１で、処理対象の構成要素を選択し、それに隣接する構成要素の色情報が同一であるか否かを判定する。色情報が同一でない場合（ステップＳ７０１でＮＯ）、ステップＳ７０３に進む。一方、色情報が同一である場合（ステップＳ７０３でＹＥＳ）、ステップＳ７０２に進む。

ステップＳ７０２で、処理対象の構成要素と判定対象の構成要素（つまり、処理対象の構成要素に隣接する構成要素）同士を統合する。ここで、構成要素とは、表枠内のセル領域、文字領域、罫線枠部分のいずれかであり、ステップＳ７０１では、これらのいずれかの構成要素毎にその色情報を比較することになる。

尚、色情報が全く同一である可能性は低いので、この色情報の比較には、オフセット値（許容範囲値）を設定しておき、色情報の差がそのオフセット値に含まれる場合には、同一であると判定する。

ステップＳ７０３で、画像中のすべての構成要素に対して、ステップＳ７０１の処理が完了したか否かを判定する。完了していない場合（ステップＳ７０３でＮＯ）、ステップＳ７０１に戻り、未処理の構成要素を選択して、すべての構成要素に対して処理が完了するまで、ステップＳ７０１〜ステップＳ７０３の処理を繰り返す。一方、完了している場合（ステップＳ７０３でＹＥＳ）、処理を終了する。

ここで、図７の処理の具体例について、図８を用いて説明する。

図８は本発明の実施形態１のステップＳ２０６の処理の具体例を説明するための図である。

図８（ａ）は、ステップＳ２０６の処理前の画像の一例であり、ここでは、８０１〜８０９のセル領域が存在している。また、セル領域８０１〜８０３は同一色、セル領域８０４及び８０５は同一色、セル領域８０６〜８０９は同一色であるとする。

この図８（ａ）の画像にステップＳ２０６の処理を適用すると、図８（ｂ）のようになる。

図８（ｂ）に示されるように、セル領域８０１〜８０３、セル領域８０４及び８０５、セル領域８０６〜８０９はそれぞれ同一色であるので、それぞれ統合されてセル領域９０１、９０２、９０３が生成されることがわかる。

次に、検索対象の画像に対応する画像を登録画像（帳票）群の中からを検索する検索処理（帳票認識処理）について、図９を用いて説明する。

図９は本発明の実施形態１の帳票認識装置における検索処理を示すフローチャートである。

ステップ９０１で、スキャナ１０８から検索対象の画像（例えば、帳票画像）を入力する。ステップＳ９０２で、入力画像の形状に関する形状特徴量抽出を行う。尚、ここでの形状特徴量抽出は、図３のステップＳ２０２と同様である。但し、ここでは、抽出した形状特徴量は、入力画像の形状データとして一時的にＲＡＭ１０３に記憶する。

ステップＳ９０３で、入力画像がカラー画像であるか否かを判定する。カラー画像でない場合（ステップＳ９０３でＮＯ）、ステップＳ９０６に進む。一方、カラー画像である場合（ステップＳ９０３でＹＥＳ）、ステップＳ９０４に進む。

ステップＳ９０４で、入力画像であるカラー画像と、ＲＡＭ１０３に一時記憶した形状データに基づいて、入力画像の各構成要素と色情報を抽出する。ステップＳ９０５で、入力画像の各構成要素において、位置が隣接していて、なおかつ同一の色情報を持つ構成要素を統合し、一つの統合構成要素を生成する。

ステップＳ９０６で、入力画像と、複数の登録画像中の比較対象の登録画像との間で、形状データに基づく類似度（第１類似度）を算出する。ステップＳ９０７で、入力画像と比較対象の登録画像がともに色情報を有しているか否かを判定する。色情報を有していない場合（ステップＳ９０７でＮＯ）、ステップＳ９０９に進む。一方、色情報を有している場合（ステップＳ９０７でＹＥＳ）、ステップＳ９０８に進む。

尚、ステップＳ９０７の判定では、入力画像と登録画像のどちらかが二値画像あるいは、どちらも二値画像である場合には、ステップＳ９０９に進むことになる。

ステップＳ９０８で、入力画像と比較対象の登録画像との構成要素同士の間で、色情報に基づく類似度（第２類似度）を算出する。特に、ここでは、算出した第２類似度を、ステップＳ９０６で算出した第１類似度に加算する。

尚、ステップＳ９０８での第２類似度の算出は、色情報が同一である場合にのみ実行するようにしても良い。

また、入力画像の印刷状態やスキャナの読取条件により、入力画像と比較対象の登録画像間で色情報が全く同一になる可能性は低いため、ある程度の誤差範囲（オフセット値）を持たせて、この誤差範囲内で、同一であるか否かの判定を行うようにしても良い。

また、第２類似度は、実験的に最適値が算出されるものであるが、例えば、形状による第１類似度の最大値に対し、その最大値が０．２となるようにしておき、処理対象の構成要素の内、一致した色の割合を乗じた値を第１類似度に加算する第２類似度（加算値）とする。また、この加算値は、構成要素であるセル領域、文字領域や罫線部分の種類に応じて、算出する類似度の重み付けを行うようにしても良い。

ステップＳ９０９で、すべての登録画像と類似度算出のための比較が終了したか否かを判定する。終了していない場合（ステップＳ９０９でＮＯ）、ステップＳ９０６に戻る。一方、終了している場合（ステップＳ９０９でＹＥＳ）、ステップＳ９１０に進む。

ステップＳ９１０で、各登録画像に対して算出した類似度をソートして、最大類似度の登録画像を入力画像に対応する認識結果として決定する。

尚、最大類似度があらかじめ定められた閾値に達しない場合は、入力画像に対応する登録画像がないとして、その旨を通知するようにしても良い。あるいは、最大類似度から上位３個までの登録画像を、入力画像に対応する認識結果候補として出力し、最終的にオペレータに選択させるようにしても良い。

以上説明したように、実施形態１によれば、登録処理では、処理対象となる入力画像の構成要素毎に色情報を抽出して、その抽出した色情報が隣接する構成要素同士で同一であると判定される場合には、それらの構成要素を統合して登録する。これにより、登録画像に関する情報の情報量を削減することができる。

一方、入力画像に対応する画像を登録画像群から検索する検索処理（認識処理）においては、その入力画像の形状特徴量に加えて、色情報に関する登録画像との類似度を算出することで、より高精度に画像検索（画像認識）を行うことが可能である。

また、類似度算出時には、色情報が同一である判定される構成要素についてはその構成要素を統合した上で、類似度算出を実行する。これにより、類似度算出に係る比較演算回数が低減することができる。

［実施形態２］
実施形態１では、検索処理において、登録画像中のすべての登録画像に対して、入力画像との色情報に関する類似度算出処理を実行する構成としているが、比較対象の登録画像の形状が、入力画像の形状と類似していない場合は、その色情報も類似していなかったり、共通する構成要素がない可能性が高い。そのため、このような登録画像に対して、入力画像との色情報に関する類似度算出処理を実行しても、その登録画像との類似度は低く、最終的な入力画像に対応する登録画像となることは低いので、この色情報に関する類似度算出処理そのものが冗長となる。

そこで、実施形態２では、比較対象の登録画像に対し、入力画像との形状データに基づく類似度が閾値以上でない場合には、その登録画像との色情報に関する類似度算出処理を禁止（省略）して、処理の冗長性を軽減し、かつ処理速度及び精度を向上させる構成について説明する。

以下、実施形態２の帳票認識装置における検索処理について、図１０を用いて説明する。

図１０は本発明の実施形態２の帳票認識装置における検索処理を示すフローチャートである。

尚、図１０において、ステップＳ１００１、ステップＳ１００２及びステップＳ１００８〜ステップＳ１０１０は、図９のステップＳ９０１、ステップＳ９０２及びステップＳ９０８〜ステップＳ９１０に対応するので、その説明は省略する。

ステップＳ１００１及びステップＳ１００２の処理後、ステップＳ１００３で、入力画像と、複数の登録画像中の比較対象の登録画像との間で、形状データに基づく類似度（第１類似度）を算出する。

ステップＳ１００４で、第１類似度が閾値以上であるか否かを判定する。所定値（閾値）未満である場合（ステップＳ１００４でＮＯ）、次の比較対象の登録画像を選択するために、ステップＳ１００９に進む。一方、第１類似度が閾値以上である場合（ステップＳ１００４でＹＥＳ）、ステップＳ１００５に進む。

ステップＳ１００５で、入力画像と比較対象の登録画像がともに色情報を有しているか否かを判定する。色情報を有していない場合（ステップＳ１００５でＮＯ）、ステップＳ１００９に進む。一方、色情報を有している場合（ステップＳ１００５でＹＥＳ）、ステップＳ１００６に進む。

ステップＳ１００６で、入力画像であるカラー画像と、ＲＡＭに一時記憶した形状データに基づいて、入力画像の各構成要素と色情報を抽出する。ステップＳ１００７で、入力画像の各構成要素において、位置が隣接していて、なおかつ同一の色情報を持つ構成要素を統合し、一つの統合構成要素を生成する。

その後、ステップＳ１００８〜ステップＳ１０１０の処理を実行する。但し、実施形態２のステップＳ１０１０では、第２類似度を算出した登録画像のみに対して処理を実行することになる。これにより、より入力画像に候補となる登録画像の検索精度を向上することができる。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、入力画像に候補となる可能性の低い登録画像に対しては、色情報に基づく類似度算出処理を禁止するように処理を実行するので、装置の処理負荷を軽減するとともに、処理速度を向上させることができる。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明を実施形態１の帳票認識装置の構成を示すブロック図である。 本発明の実施形態１の帳票認識装置における帳票登録処理を示すフローチャートである。 本発明の実施形態１の入力画像の一例を示す図である。 本発明の実施形態１のセル領域色情報抽出処理を示すフローチャートである。 本発明の実施形態１の文字領域色情報抽出処理を示すフローチャートである。 本発明の実施形態１の罫線色情報抽出処理を示すフローチャートである。 本発明の実施形態１のステップＳ２０６の処理の詳細を示すフローチャートである。 本発明の実施形態１のステップＳ２０６の処理の具体例を説明するための図である。 本発明の実施形態１の帳票認識装置における検索処理を示すフローチャートである。 本発明の実施形態２の帳票認識装置における検索処理を示すフローチャートである。

符号の説明

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ キーボード
１０７ ポインティングデバイス
１０８ スキャナ部
１０９ ネットワークインターフェース

Claims (5)

1. 記憶装置に記憶されている複数の登録帳票画像の中から、複数の罫線で構成される帳票画像に対応する登録帳票画像を認識する帳票認識装置であって、
   認識対象の帳票画像を入力する入力手段と、
   前記認識対象の帳票画像内にある表枠の大きさと位置と数ならびに表枠内のセル領域の数を、形状特徴量として抽出する特徴量抽出手段と、
   前記認識対象の帳票画像内にある表枠内のセル領域それぞれの色情報を抽出する色情報抽出手段と、
   前記色情報抽出手段で抽出した前記表枠内のセル領域それぞれの色情報に基づいて、罫線を挟んで隣接し且つ同一の色情報を有していると判定される複数のセル領域を１つのセル領域として生成することにより、セル領域を統合する統合手段と、
   前記複数の登録帳票画像それぞれに対して、前記特徴量抽出手段で抽出した前記形状特徴量に基づく第１類似度と前記統合手段による統合処理後のセル領域の色情報に基づく第２類似度とを算出し、当該算出した前記第１類似度と第２類似度とを加算することによって加算後の類似度を算出する算出手段と、
   前記算出手段で算出した加算後の類似度に基づいて、前記記憶装置に記憶されている複数の登録帳票画像の中から、前記認識対象の帳票画像に対応する登録帳票画像を決定する決定手段と
   を備えることを特徴とする帳票認識装置。
2. 前記算出手段は、前記第１類似度を算出した後、前記第１類似度が閾値以上であるか否かを判定し、
   前記第１類似度が前記閾値以上であると判定した場合は、前記第２類似度を算出して前記加算後の類似度を算出する一方、
   前記第１類似度が前記閾値以上でないと判定した場合は前記第２類似度および前記加算後の類似度の算出は行わない
   ことを特徴とする請求項１に記載の帳票認識装置。
3. 前記統合手段は、前記罫線を挟んで隣接するセル領域それぞれの色情報の差が一定範囲内にある場合、当該セル領域が同一の色情報を有していると判定する
   ことを特徴とする請求項１に記載の帳票認識装置。
4. 記憶装置に記憶されている複数の登録帳票画像の中から、複数の罫線で構成される帳票画像に対応する登録帳票画像を認識する帳票認識装置の制御方法であって、
   認識対象の帳票画像を入力する入力工程と、
   前記認識対象の帳票画像内にある表枠の大きさと位置と数ならびに表枠内のセル領域の数を、形状特徴量として抽出する特徴量抽出工程と、
   前記認識対象の帳票画像内にある表枠内のセル領域それぞれの色情報を抽出する色情報抽出工程と、
   前記色情報抽出工程で抽出した前記表枠内のセル領域それぞれの色情報に基づいて、罫線を挟んで隣接し且つ同一の色情報を有していると判定される複数のセル領域を１つのセル領域として生成することにより、セル領域を統合する統合工程と、
   前記複数の登録帳票画像それぞれに対して、前記特徴量抽出工程で抽出した前記形状特徴量に基づく第１類似度と前記統合工程による統合処理後のセル領域の色情報に基づく第２類似度とを算出し、当該算出した前記第１類似度と第２類似度とを加算することによって加算後の類似度を算出する算出工程と、
   前記算出工程で算出した加算後の類似度に基づいて、前記記憶装置に記憶されている複数の登録帳票画像の中から、前記認識対象の帳票画像に対応する登録帳票画像を決定する決定工程と
   を備えることを特徴とする帳票認識装置の制御方法。
5. 記憶装置に記憶されている複数の登録帳票画像の中から、複数の罫線で構成される帳票画像に対応する登録帳票画像を認識する帳票認識装置の制御をコンピュータに実行させるためのプログラムであって、
   認識対象の帳票画像を入力する入力工程と、
   前記認識対象の帳票画像内にある表枠の大きさと位置と数ならびに表枠内のセル領域の数を、形状特徴量として抽出する特徴量抽出工程と、
   前記認識対象の帳票画像内にある表枠内のセル領域それぞれの色情報を抽出する色情報抽出工程と、
   前記色情報抽出工程で抽出した前記表枠内のセル領域それぞれの色情報に基づいて、罫線を挟んで隣接し且つ同一の色情報を有していると判定される複数のセル領域を１つのセル領域として生成することにより、セル領域を統合する統合工程と、
   前記複数の登録帳票画像それぞれに対して、前記特徴量抽出工程で抽出した前記形状特徴量に基づく第１類似度と前記統合工程による統合処理後のセル領域の色情報に基づく第２類似度とを算出し、当該算出した前記第１類似度と第２類似度とを加算することによって加算後の類似度を算出する算出工程と、
   前記算出工程で算出した加算後の類似度に基づいて、前記記憶装置に記憶されている複数の登録帳票画像の中から、前記認識対象の帳票画像に対応する登録帳票画像を決定する決定工程と
   をコンピュータに実行させることを特徴とするプログラム。

Images