JP5619111B2 - 画像判定装置およびプログラム - Google Patents

Description

本発明は、帳票などの、罫線およびセルを含む入力画像がテンプレート画像と一致するか否かを判定する画像判定装置およびプログラムに関する。

金融業などにおける事務処理では、日付や金額などの事項が記入された帳票が取り扱われる。近年では、省力化のために、帳票に記入された事項を、情報処理装置によって自動的に抽出する技術の開発が進んでいる。また、帳票に記入された事項を抽出する前段階として、帳票の種類を判定する技術の開発も進んでいる。

たとえば、特許文献１には、記入済みの帳票を、複数種類の帳票原本のうちのいずれかに分類する帳票認識装置が記載されている。特許文献１に記載の帳票認識装置は、記入済みの帳票をスキャナで読み取って得られる入力画像から抽出した罫線と、帳票原本をスキャナで予め読み取って得られたテンプレート画像から予め抽出された罫線とに基づいて、入力画像とテンプレート画像とが一致するか否かを判定している。より詳細には、特許文献１に記載の帳票認識装置は、入力画像中の罫線に基づいて抽出した、入力画像中の最小矩形の枠線と、テンプレート画像中の罫線に基づいて予め抽出した、テンプレート画像中の最小矩形の枠線とを１対１に対応させ、対応する最小矩形の枠線間での相違度を算出し、相違度が小さい場合に、入力画像とテンプレート画像とが一致すると判定している。

特開２００４−３３４９１３号公報

テンプレート画像から罫線を抽出する際には、通常、ユーザは正しく罫線が認識できているかを確認し、罫線が欠けている場合には必要に応じて罫線を修正することができる。したがって、帳票認識装置に記憶されているテンプレート画像の罫線は完全なものであり、罫線に基づいて抽出される最小矩形の枠線も完全なものとなる。これに対して、入力画像に対しては修正などが行われないので、記入済みの帳票に欠陥があったり、スキャナの性能が低かったりすると、罫線が不完全になる場合がある。

入力画像中の罫線が不完全な場合、抽出される最小矩形の形状・大きさが、テンプレート画像とは大きく異なり、それに起因して、入力画像中の最小矩形とテンプレート画像中の最小矩形との対応関係が変化してしまう。そうすると、特許文献１に記載の帳票認識装置では、対応する最小矩形の枠線間の相違度を正しく算出することができず、判定を正しく行うことができなくなってしまう。

本発明は、上述した課題を解決するためのものであり、判定精度の高い画像判定装置およびプログラムを提供することを目的とする。

本発明は、入力画像中から、罫線およびセルを抽出する特徴量抽出部と、
予め抽出および記憶されている、テンプレート画像中の罫線の間隔と、前記特徴量抽出部によって抽出された、前記入力画像中の罫線の間隔とから、予め抽出および記憶されている、テンプレート画像中のセルおよび罫線と、前記特徴量抽出部によって抽出された、前記入力画像中のセルおよび罫線とを整列させる整列部と、
前記整列部によって整列させられた前記入力画像中のセルと前記テンプレート画像中のセルとにおける、セル同士の重なり率を算出し、算出した重なり率から前記入力画像と前記テンプレート画像との一致率を算出し、算出した一致率が所定の閾値よりも高い場合に、前記入力画像と前記テンプレート画像とが一致すると判定する判定部と、を備え、
前記判定部は、前記入力画像中から抽出されたセルの個数と前記テンプレート画像中のセルの個数とが異なる場合に、
セルの個数が少ない方の画像中の各セルについて、当該セルの面積に対する重なり面積の割合を、前記重なり率として算出し、
算出された各重なり率のうち、所定の限界値よりも低い重なり率を除いて、各重なり率の平均値を算出し、算出した平均値を前記一致率とするように構成され、
前記重なり面積は、セルの個数が少ない方の画像中のセルとセルの個数が多い方の画像中のいずれか１つのセルとにおける、重なっている部分の面積であることを特徴とする画像判定装置である。

また本発明は、入力画像中から、罫線およびセルを抽出する特徴量抽出部と、
予め抽出および記憶されている、テンプレート画像中の罫線の間隔と、前記特徴量抽出部によって抽出された、前記入力画像中の罫線の間隔とから、予め抽出および記憶されている、テンプレート画像中のセルおよび罫線と、前記特徴量抽出部によって抽出された、前記入力画像中のセルおよび罫線とを整列させる整列部と、
前記整列部によって整列させられた前記入力画像中のセルと前記テンプレート画像中のセルとにおける、セル同士の重なり率を算出し、算出した重なり率から前記入力画像と前記テンプレート画像との一致率を算出し、算出した一致率が所定の閾値よりも高い場合に、前記入力画像と前記テンプレート画像とが一致すると判定する判定部と、を備え、
前記整列部は、
前記テンプレート画像中の罫線の間隔と前記入力画像中の罫線の間隔との比率を複数算出して、算出した複数の比率を複数の倍率候補とし、複数の倍率候補それぞれについて、前記テンプレート画像中の罫線のいずれか１つと前記入力画像中の罫線のいずれか１つとを一致させる複数の平行移動候補を計算し、
各倍率候補および各平行移動候補について、前記テンプレート画像または前記入力画像のうちのいずれか一方の罫線を前記倍率候補によって拡大または縮小し、前記平行移動候補によって平行移動させたものと、前記テンプレート画像または前記入力画像のうちのいずれか他方の罫線とにおける、罫線の一致度を評価し、
前記一致度が最も高くなるときの倍率候補および平行移動候補によって、前記テンプレート画像または前記入力画像のうちのいずれか一方の罫線およびセルを拡大または縮小し、平行移動させることによって、前記テンプレート画像または前記入力画像のうちのいずれか他方の罫線およびセルに対して整列させることを特徴とする画像判定装置である。

また本発明は、前記入力画像中のセルの数が所定の基準値よりも少ない場合には、前記整列部に整列を行わせず、前記判定部に判定を行わせず、前記入力画像中のセルの数が前記所定の基準値よりも多い場合には、前記整列部に整列を行わせ、前記判定部に判定を行わせる識別部を備えることを特徴とする。

また本発明は、コンピュータを、前記画像判定装置として機能させることを特徴とするプログラムである。

本発明によれば、入力画像中のセルとテンプレート画像中のセルとを整列させた後、セル同士の重なり率によって判定を行うので、セル間の対応関係を考慮する必要が無く、精度の良い判定を行うことができる。

また本発明によれば、セルの個数が少ない方の画像中のセルの全面積に対する、当該セルとセルの個数が多い方の画像中のいずれか１つのセルとの重複部分の面積の割合が、セルの重なり率として算出され、セルの個数が少ない方の画像中の各セルについての各重なり率の、所定の限界値よりも低い重なり率を除いた平均値が、一致率として算出される。たとえば、入力画像中の罫線が欠けている場合、入力画像中のセルの個数はテンプレート画像中のセルの個数よりも少なくなるが、その分、入力画像中には、テンプレート画像中のセルよりも大きな面積のセルが現れる。この大きな面積のセルと、テンプレート画像中のいずれか１つのセルとの重なり率は、所定の限界値よりも低くなるので、一致率の算出には考慮されない。すなわち、本発明に係る画像判定装置は、入力画像中の罫線の欠けによる、セルの個数の減少および大きな面積のセルの出現の影響を排除して、判定を行うことができる。

また本発明によれば、罫線の間隔同士の比率を複数の倍率候補とし、倍率候補ごとに複数の平行移動候補を計算し、罫線の一致度が最も高くなる、倍率候補および平行移動候補によって、入力画像中の罫線およびセルと、テンプレート画像中の罫線およびセルとが整列させられる。したがって、精度良く整列を行うことができる。

また本発明によれば、識別部によって、入力画像中のセルの数が所定の基準値よりも少ないと判定された場合には、前記整列部による整列および前記判定部による判定が行われないので、計算量を少なくすることができる。

また本発明によれば、コンピュータを、前記画像判定装置として機能させることができる。

画像抽出装置１００の構成を機能的に示すブロック図である。 文字等が記入されていない帳票を、スキャナ等で読み取って得られた画像を示す図である。 記入済みの帳票を、スキャナ等で読み取って得られた画像を示す図である。 画像抽出装置１００の処理を概略的に示すフローチャートである。 図２に示すテンプレート画像中から抽出された罫線およびセルを示す図である。 図３に示す入力帳票画像中から抽出された罫線およびセルを示す図である。 図５に示す罫線およびセルと、図６に示す罫線およびセルとを整列させたときの図である。

以下に、本発明の実施形態である画像抽出装置１００について説明する。図１は、画像抽出装置１００の構成を機能的に示すブロック図である。画像抽出装置１００は、ＭＦＰ（Multi Function Printer）などに備えられる従来公知の制御演算回路および記憶回路によって実現され、機能的には、画像判定部１０と画像抽出部２０と記憶部３０とを含む。画像判定部１０は、特徴量抽出部１１と、識別部１２と、整列部１３と、判定部１４とを含む。

画像抽出装置１００は、概略的には、帳票に記入された文字等を抽出するための装置である。図２は、文字等が記入されていない帳票（以下では、「帳票原本」と称する）を、スキャナ等で読み取って得られた画像（以下では、「テンプレート画像」と称する）を示している。帳票は、たとえば、図２に示すような矩形状の記録用紙であり、複数の罫線が引かれており、縦に延びる２本の罫線Ｋ_Ｙと横に延びる２本の罫線Ｋ_Ｘとによって区切られる矩形状の領域（以下では、「セル」と称する）Ｃ_Ｅに、文字等が記入される。図３に、帳票原本中の空欄のセルに文字等が記入された帳票、すなわち、記入済みの帳票を、スキャナ等で読み取って得られた画像（以下では、「入力帳票画像」と称する）を示す。

図４は、画像抽出装置１００の処理を概略的に示すフローチャートである。画像が入力されると、特徴量抽出部１１は、入力された画像中から、その画像の特徴量である、罫線およびセルを抽出する（ステップＳ１）。

次に、ステップＳ２において、識別部１２は、抽出された罫線およびセルに基づいて、入力された画像が、テンプレート画像または入力帳票画像であるか否かを判断し、入力された画像がテンプレート画像または入力帳票画像である場合には、ステップＳ３へ進み、入力された画像がテンプレート画像または入力帳票画像ではない場合には、ステップＳ８へ進む。たとえば、識別部１２は、入力された画像中のセルの数が所定の基準値（たとえば、１０）よりも少ない場合に、入力された画像は、テンプレート画像または入力帳票画像ではないと判断する。ステップＳ８では、画像抽出装置１００は、ユーザに対して、入力された画像は帳票ではないと報知し、処理を終了する。

ステップＳ３では、画像抽出装置１００は、ユーザに対して、テンプレート画像または入力帳票画像のいずれであるかの入力を促し、テンプレート画像であると入力された場合には、ステップＳ４へ進み、入力帳票画像であると入力された場合には、ステップＳ５へ進む。

ステップＳ４では、記憶部３０が、テンプレート画像の罫線およびセルの情報を記憶する。このとき、画像抽出装置１００は、テンプレート画像の罫線およびセルを表示し、ユーザに対して、罫線およびセルに誤りが無いか否かを確認するようにしてもよい。さらに、画像抽出装置１００は、罫線およびセルに誤りがあった場合に、ユーザが修正できるように構成されていてもよい。また、画像抽出装置１００は、テンプレート画像の罫線およびセルの情報とともに、ユーザによって入力された、テンプレート画像の名称や種類、注目領域などを記憶するように構成されてもよい。ここで、注目領域とは、テンプレート画像と同じ種類の入力帳票画像が入力されたときに、画像抽出装置１００が文字等を抽出する対象となるセルである。

ステップＳ５では、整列部１３が、記憶部３０に記憶されている、テンプレート画像中の罫線の間隔と、特徴量抽出部１１によって抽出された、入力帳票画像中の罫線の間隔とに基づいて、当該テンプレート画像中のセルおよび罫線と、当該入力帳票画像中のセルおよび罫線とを整列させる。ここでいう整列とは、テンプレート画像中のセルおよび罫線と入力画像中のセルおよび罫線とを、同じ大きさおよび位置に揃えることである。整列は、画像の縦方向および横方向それぞれにおいて行われる。

具体的には、整列部１３は、まず、テンプレート画像中の罫線の間隔と入力帳票画像中の罫線の間隔との比率を算出する。通常、帳票中の罫線の間隔は複数存在するので、複数個の比率が算出される。そして、整列部１３は、算出された複数の比率を、倍率候補とする。テンプレート画像と入力帳票画像とが同じ種類の帳票に基づいていれば、複数の倍率候補のうちのいずれか１つで、拡大または縮小を行えば、テンプレート画像と入力帳票画像とが同じ大きさに揃うことになる。

次に、整列部１３は、複数の倍率候補それぞれについて、倍率候補で拡大または縮小を行ったときに、テンプレート画像中の罫線のいずれか１つと入力画像中の罫線のいずれか１つとが一致するような、平行移動候補（移動距離候補）を複数個設定する。そして、各倍率候補および各平行移動候補について、テンプレート画像または入力帳票画像のうちのいずれか一方の罫線を倍率候補によって拡大または縮小し、平行移動候補によって平行移動させたものと、テンプレート画像または入力帳票画像のうちのいずれか他方の罫線とにおける、罫線の一致度を評価する。一致度が高い方が評価は高いとする。すなわち、テンプレート画像と入力帳票画像とが同じ種類の帳票に基づいていれば、一致度が最も高いときの倍率候補および平行移動候補の組を用いて、テンプレート画像または入力帳票画像のうちのいずれか一方の罫線を拡大または縮小し、平行移動させたものと、テンプレート画像または入力帳票画像のうちのいずれか他方とは、大きさおよび位置が揃うことになる。整列部１３は、このようにして、テンプレート画像中のセルおよび罫線と、入力帳票画像中のセルおよび罫線とを整列させる。

ステップＳ６では、判定部１４が、整列部１３によって整列させられた入力帳票画像中のセルとテンプレート画像中のセルとにおける、セル同士の重なり率を算出する。そして、判定部１４は、算出した重なり率から入力帳票画像とテンプレート画像との一致率を算出し、算出した一致率が所定の閾値（たとえば、９５％）よりも高い場合に、入力帳票画像とテンプレート画像とが一致すると判定し、ステップＳ７へ進む。記憶部３０に記憶されているすべてのテンプレート画像に対して整列および判定が行われた結果、入力帳票画像はいずれのテンプレート画像にも一致しないと判定された場合には、ステップＳ９へ進む。ステップＳ９では、画像抽出装置１００は、ユーザに対して、入力された画像は未分類の帳票であると報知し、処理を終了する。

ステップＳ６において、判定部１４は、入力帳票画像中のセルの個数とテンプレート画像中のセルの個数とが異なる場合には、以下のように重なり率および一致率を算出する。以下では、入力帳票画像中のセルの個数の方がテンプレート画像中のセルの個数よりも少ないとする。このような場合、判定部１４は、入力帳票画像中のセルそれぞれについて、セルの全面積に対する、当該セルとテンプレート画像中のいずれか１つのセルとの、重なっている部分の面積の割合を、重なり率として算出する。すなわち、重なり率＝（重なっている部分の面積／セルの全面積）×１００［％］である。判定部１４は、入力帳票画像中のセルそれぞれについて、重なり率を算出し、算出した重なり率のうち、所定の限界値（たとえば、７５％）よりも低い重なり率を除いて、各重なり率の平均値を算出する。判定部１４は、このようにして算出した平均値を一致率とする。

ステップＳ７では、画像抽出部２０が、テンプレート画像と一致すると判定された入力帳票画像中のセルのうち、記憶部３０に記憶されている注目領域から、画像の抽出を行う。そして、画像抽出部２０は、抽出した画像に基づいて、ＯＣＲ（Optical Character Recognition）によって、文字等を生成して記憶部３０に記憶させ、処理を終了する。

このような画像抽出装置１００によれば、入力帳票画像中のセルとテンプレート画像中のセルとを整列させた後、セル同士の重なり率によって一致判定を行うので、セル間の対応関係を考慮する必要が無く、精度の良い判定を行うことができる。

また、ステップＳ６では、セルの個数が少ない方の画像中のセルの全面積に対する、当該セルとセルの個数が多い方の画像中のいずれか１つのセルとの重複部分の面積の割合が、セルの重なり率として算出され、セルの個数が少ない方の画像中の各セルについての各重なり率の、所定の限界値よりも低い重なり率を除いた平均値が、一致率として算出されるので、精度の良い判定を行うことができる。たとえば、入力帳票画像中の罫線が欠けている場合、入力帳票画像中のセルの個数はテンプレート画像中のセルの個数よりも少なくなるが、その分、入力帳票画像中には、テンプレート画像中のセルよりも大きな面積のセルが現れる。この大きな面積のセルと、テンプレート画像中のいずれか１つのセルとの重なり率は、所定の限界値よりも低くなるので、一致率の算出には考慮されない。すなわち、画像抽出装置１００によれば、入力帳票画像中の罫線の欠けによる、セルの個数の減少および大きな面積のセルの出現の影響を排除して、判定を行うことができ、その結果、精度の良い判定を行うことができる。

また、ステップＳ５では、罫線の間隔同士の比率を複数の倍率候補とし、倍率候補ごとに複数の平行移動候補を設定し、罫線の一致度が最も高くなる、倍率候補および平行移動候補によって、入力帳票画像中の罫線およびセルと、テンプレート画像中の罫線およびセルとが整列させられる。したがって、画像抽出装置１００は、精度良く整列を行うことができ、その結果、精度の良い判定を行うことができる。

また、ステップＳ２では、入力された画像中のセルの数が所定の基準値よりも少ない場合に、入力された画像は、テンプレート画像または入力帳票画像ではないと判断し、この場合、ステップＳ３〜Ｓ７，Ｓ９の処理は行われない。したがって、この場合、整列部１３による整列および判定部１４による判定が行われないので、画像抽出装置１００の計算量を少なくすることができる。

以下では、特徴量抽出部１１の具体的な動作について説明する。特徴量抽出部１１は、図２に示すテンプレート画像中から、図５に示す罫線およびセルを抽出したり、図３に示す入力帳票画像中から、図６に示す罫線およびセルを抽出したりする。

具体的には、特徴量抽出部１１は、まず、入力された画像に対して傾き補正処理を行う。傾き補正処理は、帳票をスキャナ等で読取った際に帳票が微小に傾いていた場合に、その傾きを補正するために、傾きの方向とは逆方向に数度程度、画像を回転させる処理である。

次に、特徴量抽出部１１は、傾き補正処理後の画像をグレースケール（たとえば、２５５階調のグレースケール）の画像に変換する。そして、変換後の画像の左上の画素から順に右方向を主走査方向（Ｘ方向）、下方向を副走査方向（Ｙ方向）として、１画素ずつ走査を行い画素の抽出を行い、抽出した画素を黒画素とし、それ以外を白画素とする２値化を行う。抽出される画素は、前後左右のいずれかの画素の階調値よりも所定の値（たとえば、５０）以上高い階調値を有する画素である。また、先に抽出された画素に隣接する同程度（たとえば、±１０程度）の階調値を有する画素も抽出される。このようにして２値化を行うことで、図２および図５ならびに図３および図６に示すように、グレーのセルを白に変換することができるとともに、グレーの罫線を黒に変換することができる。これに対して、もし、単純に１つの閾値によって、入力された画像に対して２値化を行った場合、グレーのセルがすべて黒に変換されるか、または、グレーの罫線が白に変換されてしまう。

次に、特徴量抽出部１１は、公知の線分抽出方法、たとえばＨｏｕｇｈ変換によって、Ｘ方向またはＹ方向に平行な線分を抽出し、線分の両端の点のＸＹ座標値を記憶する。そして、特徴量抽出部１１は、所定の値（たとえば、５）以内の間隔の平行な線分群について、位置を揃える。具体的には、Ｘ軸に平行な線分群であれば、Ｙ座標値の算術平均値を算出し、その値を線分群に含まれる各線分のＹ座標値とする。たとえば、線分Ａの両端点のＸＹ座標値が（１，２），（１０，２）であり、線分Ｂの両端点のＸＹ座標値が（２０，２．１），（２５，２．１）であり、線分Ｃの両端点のＸＹ座標値が（１１，１．６），（１５，１．６）である場合、線分Ａ〜ＣのＹ座標値の算術平均値（２＋２．１＋１．６）／３＝１．９を算出し、線分Ａの両端点のＸＹ座標値を（１，１．９），（１０，１．９）に置き換え、線分Ｂの両端点のＸＹ座標値を（２０，１．９），（２５，１．９）に置き換え、線分Ｃの両端点のＸＹ座標値を（１１，１．９），（１５，１．９）に置き換える。特徴量抽出部１１は、Ｙ軸に平行な線分群についても、同様の処理を行う。

次に、特徴量抽出部１１は、所定の値（たとえば、３）以下で隣接している線分同士を接続する。たとえば、線分Ａの両端点のＸＹ座標値は（１，１．９），（１０，１．９）であり、線分Ｂの両端点のＸＹ座標値は（２０，１．９），（２５，１．９）であり、線分Ｃの両端点のＸＹ座標値は（１１，１．９），（１５，１．９）であるので、線分Ａと線分Ｃとは隣接し、また、線分Ｂと線分Ｃとは隣接している。このような場合、特徴量抽出部１１は、線分Ａと線分Ｃとを接続するとともに、線分Ｂと線分Ｃとを接続し、１つの線分とする。この１つの線分の両端点のＸＹ座標値は、（１，１．９），（２５，１．９）となる。

次に、特徴量抽出部１１は、所定の短い線分（たとえば、線分の長さが５未満）について、垂直な線分と交差しているか否かを確認する。そして、その短い線分が、垂直な線分と交差していないか、または、交差している、１または複数の垂直な線分の長さが、所定の長さ（たとえば、１０）未満である場合には、その短い線分を削除する。次に、特徴量抽出部１１は、残りの線分について、垂線な線分と交差しているか否かを確認し、交差していない場合には、その線分を削除する。以上の処理で残っている線分が、罫線とみなされる。

次に、特徴量抽出部１１は、線分の交点のうち、画像の上から順に、Ｙ座標値が等しければ左から順に、注目交点とし、以下（ａ）〜（ｄ）の処理を行ってセルを抽出する。

（ａ）注目交点と同じＹ座標値を有し、注目交点よりも右側の交点（第１交点）があるか否かを確認する。ある場合には、（ｂ）の処理を行い、無い場合には、注目交点を次へ移す。
（ｂ）注目交点と同じＸ座標値を有し、注目交点よりも下側の交点（第２交点）があるか否かを確認する。ある場合には、（ｃ）の処理を行い、無い場合には、注目交点を次へ移す。
（ｃ）第１交点と同じＸ座標値を有し、第２交点と同じＹ座標値を有する交点（第３交点）があるか否かを確認する。ある場合には、（ｄ）の処理を行い、無い場合には、注目交点を次へ移す。
（ｄ）注目交点および第１〜第３交点のＸＹ座標値を１つの組として、１つのセルに対応付けて記憶し、注目交点を次に移す。

次に、識別部１２の具体的な動作について説明する。識別部１２は、たとえば、以下の（ｅ）〜（ｇ）の条件を満たすときに、入力された画像はテンプレート画像または入力帳票画像であると判断する。

（ｅ）セルの個数が所定の数（たとえば、１０）以上である。
（ｆ）セルの面積／すべてのセルの合計面積が、所定の範囲（たとえば、１％〜５％）となるセルが、所定の数（たとえば、５）以上である。なお、「すべてのセルの合計面積」の代わりに、「すべてのセルを含む最小の矩形の面積」を用いてもよい。
（ｇ）セルの面積／入力された画像全体の面積が、所定の範囲（たとえば、０．２％〜２％）となるセルが、所定の数（たとえば、５）以上である。

次に、整列部１３の具体的な動作について説明する。整列部１３は、図５に示す罫線およびセルと、図６に示す罫線およびセルとを、図７に示すように整列させる。

具体的には、まず、整列部１３は、入力帳票画像とテンプレート画像とのそれぞれについて、Ｘ軸に平行な線分（罫線）間の間隔ＤＹ_Ｅ，ＤＹ_Ｔを算出する。たとえば、入力帳票画像に存在するＸ軸に平行な線分の数が５である場合において、各線分のＹ座標値Ｙ_Ｅ１〜５が、小さい方から順に、｛１，４，８，１３，１８｝である場合、ＤＹ_Ｅ＝｛３，４，５，５｝となる。また、たとえば、テンプレート画像に存在するＸ軸に平行な線分の数が６である場合において、各線分のＹ座標値Ｙ_Ｔ１〜６が、小さい方から順に、｛２１，３３，３９，４７，５７，６７｝であるとき、ＤＹ_Ｔ＝｛１２，６，８，１０，１０｝となる。

次に、整列部１３は、ＤＹ_Ｅの各要素と、ＤＹ_Ｔの各要素との間で、複数の比率を計算し、各比率を要素とする比率群を計算する。この計算は、ＤＹ_Ｅ，ＤＹ_Ｔのうち、要素の数が少ない方を分母とし、多い方を分子とする。換言すれば、Ｘ軸に平行な罫線の数が少ない方の画像を、Ｙ方向に拡大または縮小して、罫線の数が多い方の画像に対して整列させるということになる。以下では、ＤＹ_Ｅの要素を分母とし、ＤＹ_Ｔの要素を分子とする比率からなる群を、ＰＹ_Ｔ／Ｅと表す。なお、比率の計算の際には、同じ値の比率が複数個出現することがあるが、その場合、ＰＹ_Ｔ／Ｅの要素が重複しないようにする。また、ＰＹ_Ｔ／Ｅの要素が多すぎて計算量が膨大になる場合には、同じ値の比率の出現数が多い方から順に、所定の個数（たとえば、１０個）の比率のみを、ＰＹ_Ｔ／Ｅの要素としてもよい。

たとえば、ＤＹ_Ｅ＝｛３，４，５，５｝であり、ＤＹ_Ｔ＝｛１２，６，８，１０，１０｝である場合、複数の比率からなる比率群ＰＹ_Ｔ／Ｅは、ＰＹ_Ｔ／Ｅ＝｛４，２，８／３，１０／３，３，３／２，５／２，１２／５，６／５，８／５｝となる。ここで、ＰＹ_Ｔ／Ｅの要素である４は、ＤＹ_Ｅの要素である３を、ＤＹ_Ｔの要素である１２に揃えるためには、１２／３＝４［倍］する必要があることを示している。同様に、ＰＹ_Ｔ／Ｅの要素である２は、ＤＹ_Ｅの要素である３を、ＤＹ_Ｔの要素である６に揃えるためには、６／３＝２［倍］する必要があることを示している。整列部１３は、ＤＹ_Ｅのいずれの要素とＤＹ_Ｔのいずれの要素とが対応しているかを判別できないので、上記のように、あらゆる対応関係を想定して、ＰＹ_Ｔ／Ｅが計算される。

次に、整列部１３は、ＰＹ_Ｔ／Ｅの各要素ＰＹ_Ｔ／Ｅ ^（ｋ）（この値が、倍率候補である）を、罫線の数が少ない方の画像におけるＹ座標値であるＹ_Ｅ１〜５に乗じて、Ｙ軸上の数列である第ｋ数列ＥＹ^（ｋ）を算出する。たとえば、上の例において、ＰＹ_Ｔ／Ｅ ^（１）＝４とすると、第１数列ＥＹ^（１）＝｛４，１６，３２，５２，７２｝である。また、ＰＹ_Ｔ／Ｅ ^（２）＝２とすると、第２数列ＥＹ^（２）＝｛２，８，１６，２６，３６｝である。

次に、整列部１３は、第ｋ数列のｎ個目の要素Ｅ_ｎと、罫線の数が多い方の画像におけるＹ座標値Ｙ_Ｔ１〜６のｍ個目の要素Ｔ_ｍとが一致するように、第ｋ数列をＹ軸上で平行移動させる。たとえば、第１数列ＥＹ^（１）＝｛４，１６，３２，５２，７２｝の２番目の要素１６と、Ｙ座標値Ｙ_Ｔ１〜６＝｛２１，３３，３９，４７，５７，６７｝の４番目の要素４７とが一致するように、第１数列をＹ軸上で＋３１（この値が、平行移動候補である）だけ平行移動させる。この場合における平行移動後の数列ＥＹ^（ｋ） _ｎｍは、ＥＹ^（１） _２４＝｛３５，４７，６３，８３，１０３｝となる。

そして、整列部１３は、この平行移動後の数列ＥＹ^（１） _２４と、Ｙ座標値Ｙ_Ｔ１〜６との他の一致点を確認する。具体的には、一致させた要素である４７を除くＹ座標値Ｙ_Ｔ１〜６の各要素Ｔ_ｍ−Ｍｉｎ（ＤＹ_Ｔ）×０．１〜Ｔ_ｍ＋Ｍｉｎ（ＤＹ_Ｔ）×０．１の範囲内に、ＥＹ^（１） _２４のいずれかの要素（一致させた要素である４７を除く）が存在するか否かを確認し、一致するＴ_ｍの個数１個につき１点として評価する。なお、Ｔ_ｍ−Ｍｉｎ（ＤＹ_Ｔ）×０．１〜Ｔ_ｍ＋Ｍｉｎ（ＤＹ_Ｔ）×０．１のように範囲を持たせるのは、各要素が完全に一致しない場合も含めるためである。

上の例では、ＥＹ^（１） _２４の４７以外の要素と、Ｙ座標値Ｙ_Ｔ１〜６の４７以外の要素とは、いずれも一致しない（Ｙ_Ｔ１〜６の近傍の範囲内に含まれない）ので、ＥＹ^（１） _２４に対する評価値は、０点である。また、たとえば、ＥＹ^（２） _１２の場合、平行移動候補は＋３１であり、ＥＹ^（２） _１２＝｛３３，３９，４７，５７，６７｝となるので、Ｙ座標値Ｙ_Ｔ１〜６におけるＥＹ^（２） _１２と一致する要素（一致させた要素である３３を除く）は、３９，４７，５７，６７の４つの要素となるので、ＥＹ^（２） _１２に対する評価値は、４点となる。このようにして、整列部１３は、すべてのＥＹ^（ｋ） _ｎｍについて評価値をそれぞれ計算する。

次に、整列部１３は、最も評価値が高いＥＹ^（ｋ） _ｎｍに対応する平行移動候補および倍率候補を、テンプレート画像と入力帳票画像とをＹ方向において整列させるための平行移動候補および倍率候補として選択する。なお、最も評価値が高いＥＹ^（ｋ） _ｎｍが２つ以上存在することにより、平行移動候補および倍率候補の組が２組以上存在する場合には、一致とみなされた各要素が最も近くなるものを選ぶ。

最後に、整列部１３は、罫線の数が少ない方の画像（上の例では入力帳票画像）について、選択した倍率候補によって、Ｘ軸に平行な罫線同士のＹ方向における間隔、および、Ｙ軸に平行な罫線の長さを、拡大または縮小し、さらに、各罫線を、選択した平行移動候補によって、Ｙ方向に平行移動させる。そして、整列部１３は、以上の処理を、Ｙ軸に平行な線分（罫線）についても行い、Ｘ方向およびＹ方向の両方において、入力帳票画像とテンプレート画像とを整列させる。

次に、判定部１４の具体的な動作について説明する。判定部１４は、図７のように整列させられた入力帳票画像中のセルとテンプレート画像中のセルとの重なり率を算出する。上述したように、入力帳票画像中のセルの個数の方がテンプレート画像中のセルの個数よりも少ない場合、判定部１４は、入力帳票画像中のセルそれぞれについて、セルの全面積に対する、当該セルとテンプレート画像中のいずれか１つのセルとの、重なっている部分の面積の割合を、重なり率として算出する。いずれか１つのセルとしているのは、入力帳票画像中のセルに対して、テンプレート画像中のセルが複数個重なっている場合も有り得るからである。複数個重なっている場合には、テンプレート画像中のそれぞれのセルにおいて重なっている部分面積のうちの、最も大きな値を、重なり率の算出に用いる、重なっている部分の面積とする。

なお、判定部１４は、入力帳票画像中のセルの個数とテンプレート画像中のセルの個数とが等しい場合には、上の例とは逆に、テンプレート画像中のセルの全面積に対する、当該セルと入力帳票画像中のいずれか１つのセルとの、重なっている部分の面積の割合を、重なり率として算出してもよい。

次に、判定部１４は、重なり率から一致率を算出する。上述したように、入力帳票画像中のセルの個数の方がテンプレート画像中のセルの個数よりも少ない場合、判定部１４は、算出した各重なり率のうち、所定の限界値（たとえば、７５％）よりも低い重なり率を除いて、各重なり率の平均値を算出し、一致率とする。

なお、平均値は、算術平均値であってもよいし、面積の重みつきの平均値であってもよい。また、判定部１４は、入力帳票画像中のセルの個数とテンプレート画像中のセルの個数とが等しい場合には、重なり率が所定の限界値よりも低いか否かの判断は行わずに、すべての重なり率について平均値を算出する。この場合には、入力帳票画像中の罫線に欠けは無いと考えられるからである。ただし、入力帳票画像中のセルの個数とテンプレート画像中のセルの個数とが等しい場合であっても、重なり率が所定の限界値よりも低いときに、その重なり率を除くようにしてもよい。

このようにして一致率を算出すると、判定部１４は、その一致率が所定の閾値（たとえば、９５％）よりも高いか否かを判断し、高いと判断した場合に、入力帳票画像とテンプレート画像とが一致すると判定する。

以上のような画像抽出装置１００は、従来公知の情報処理装置に、該情報処理装置を画像抽出装置１００として機能させるプログラムである画像抽出プログラムを記憶させることで、実現することができる。この画像抽出プログラムは、従来公知の、コンピュータ読み取り可能な記録媒体に記録できる。

上記画像抽出プログラムを記録媒体に記録することで、画像抽出装置１００が行う各種の処理を実行するためのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラムなど）を記録した記録媒体を、持ち運び自在に提供することができる。

なお、記録媒体は、マイクロコンピュータが処理を行うためのメモリ、たとえばＲＯＭ（Read Only Memory）のようなプログラムメディアであってもよいし、または、コンピュータが外部記憶装置として備えるプログラム読取装置に挿入することで読み取られるプログラムメディアであってもよい。

記録媒体に格納されているプログラムは、マイクロプロセッサが記録媒体にアクセスして実行する方式であってもよいし、または、マイクロプロセッサが記録媒体からプログラムコードを読み出し、読み出されたプログラムコードがマイクロコンピュータのプログラム記憶エリアにダウンロードされることで、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープ、カセットテープなどのテープ系、フレキシブルディスク、ハードディスクなどの磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）、ＭＯ（Magneto Optical disc）、ＭＤ（Mini Disc）、ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。

また、コンピュータが、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、記録媒体は、通信ネットワークからプログラムコードをダウンロードするように、流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、または他の記録媒体からインストールしておく。また、上記画像抽出プログラムは、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

１０ 画像判定部
１１ 特徴量抽出部
１２ 識別部
１３ 整列部
１４ 判定部
２０ 画像抽出部
３０ 記憶部
１００ 画像抽出装置

Claims (4)

1. 入力画像中から、罫線およびセルを抽出する特徴量抽出部と、
   予め抽出および記憶されている、テンプレート画像中の罫線の間隔と、前記特徴量抽出部によって抽出された、前記入力画像中の罫線の間隔とから、予め抽出および記憶されている、テンプレート画像中のセルおよび罫線と、前記特徴量抽出部によって抽出された、前記入力画像中のセルおよび罫線とを整列させる整列部と、
   前記整列部によって整列させられた前記入力画像中のセルと前記テンプレート画像中のセルとにおける、セル同士の重なり率を算出し、算出した重なり率から前記入力画像と前記テンプレート画像との一致率を算出し、算出した一致率が所定の閾値よりも高い場合に、前記入力画像と前記テンプレート画像とが一致すると判定する判定部と、を備え、
   前記判定部は、前記入力画像中から抽出されたセルの個数と前記テンプレート画像中のセルの個数とが異なる場合に、
   セルの個数が少ない方の画像中の各セルについて、当該セルの面積に対する重なり面積の割合を、前記重なり率として算出し、
   算出された各重なり率のうち、所定の限界値よりも低い重なり率を除いて、各重なり率の平均値を算出し、算出した平均値を前記一致率とするように構成され、
   前記重なり面積は、セルの個数が少ない方の画像中のセルとセルの個数が多い方の画像中のいずれか１つのセルとにおける、重なっている部分の面積であることを特徴とする画像判定装置。
2. 入力画像中から、罫線およびセルを抽出する特徴量抽出部と、
   予め抽出および記憶されている、テンプレート画像中の罫線の間隔と、前記特徴量抽出部によって抽出された、前記入力画像中の罫線の間隔とから、予め抽出および記憶されている、テンプレート画像中のセルおよび罫線と、前記特徴量抽出部によって抽出された、前記入力画像中のセルおよび罫線とを整列させる整列部と、
   前記整列部によって整列させられた前記入力画像中のセルと前記テンプレート画像中のセルとにおける、セル同士の重なり率を算出し、算出した重なり率から前記入力画像と前記テンプレート画像との一致率を算出し、算出した一致率が所定の閾値よりも高い場合に、前記入力画像と前記テンプレート画像とが一致すると判定する判定部と、を備え、
   前記整列部は、
   前記テンプレート画像中の罫線の間隔と前記入力画像中の罫線の間隔との比率を複数算出して、算出した複数の比率を複数の倍率候補とし、複数の倍率候補それぞれについて、前記テンプレート画像中の罫線のいずれか１つと前記入力画像中の罫線のいずれか１つとを一致させる複数の平行移動候補を計算し、
   各倍率候補および各平行移動候補について、前記テンプレート画像または前記入力画像のうちのいずれか一方の罫線を前記倍率候補によって拡大または縮小し、前記平行移動候補によって平行移動させたものと、前記テンプレート画像または前記入力画像のうちのいずれか他方の罫線とにおける、罫線の一致度を評価し、
   前記一致度が最も高くなるときの倍率候補および平行移動候補によって、前記テンプレート画像または前記入力画像のうちのいずれか一方の罫線およびセルを拡大または縮小し、平行移動させることによって、前記テンプレート画像または前記入力画像のうちのいずれか他方の罫線およびセルに対して整列させることを特徴とする画像判定装置。
3. 前記入力画像中のセルの数が所定の基準値よりも少ない場合には、前記整列部に整列を行わせず、前記判定部に判定を行わせず、前記入力画像中のセルの数が前記所定の基準値よりも多い場合には、前記整列部に整列を行わせ、前記判定部に判定を行わせる識別部を備えることを特徴とする請求項１または２に記載の画像判定装置。
4. コンピュータを、請求項１〜３のいずれか１つに記載の画像判定装置として機能させることを特徴とするプログラム。

Images