JP6039944B2 - 帳票種類判別装置および帳票種類判別方法 - Google Patents

Description

本発明は、背景と罫線の濃度差が小さい帳票、文字・図形が記入された帳票、出納印が押された帳票またはバーコードラベルが貼付された帳票等の帳票種類を判別することができる帳票種類判別装置および帳票種類判別方法に関する。

従来、撮像装置で帳票を撮像した帳票画像から得られる帳票長さ分布パターンを予め登録した帳票長さ分布パターンと比較して帳票の種別の候補を求める帳票書式識別装置が知られている（特許文献１参照）。

この特許文献１では、帳票画像から罫線を抽出して罫線長さ分布パターンと罫線間隔を求め、求めた罫線長さ分布パターンを予め登録された各種帳票の罫線長さ標準分布パターンとを比較して、いくつかの一致度が高い種類を候補とする。そして、各候補の罫線間隔と予め登録された各候補の標準罫線間隔とを複数の区画領域に分けて比較して各候補の帳票画像の伸縮率を求め、その伸縮率に基づいて各候補の罫線間隔および罫線位置を正規化し、伸縮が無い場合の罫線間隔および罫線位置を計算し、各候補の罫線間隔および罫線位置と予め登録しておいた各候補の標準罫線間隔および標準罫線位置とを比較し、最も一致度が高い種類を判別結果として出力する点が開示されている。

また、この特許文献１には、帳票画像から罫線を抽出して罫線間隔を求め、求めた罫線間隔と予め登録された各種帳票の標準罫線間隔とを複数の区画領域に分けて比較して各候補の帳票画像の伸縮率を求め、その伸縮率に基づいて各候補の罫線間隔および罫線位置を正規化し、伸縮が無い場合の罫線間隔および罫線位置を推定し、各候補の罫線間隔および罫線位置と予め登録された各候補の標準罫線間隔および標準罫線位置とを比較し、最も一致度が高い種類を判別結果として出力する点が開示されている。

特開２０００−１２３１７４号公報

しかしながら、上記従来の帳票書式識別装置では、背景と罫線の濃度差が小さい帳票に対しては、罫線を抽出する画像上で罫線がかすれてしまい、罫線をうまく抽出することができず、帳票の種類を精度良く判別することができない問題点があった。

また、文字・図形が記入された帳票、出納印が押された帳票、バーコードラベルが貼付された帳票等の画像に対しては、文字、出納印及びバーコードラベル等がノイズになってしまい、罫線をうまく抽出することができず、帳票種類の判別精度が低下するという問題点があった。

本発明は、上記従来技術の課題を解決するためになされたものであって、背景と罫線の濃度差が小さい帳票、文字・図形が記入された帳票、出納印が押された帳票またはバーコードラベルが貼付された帳票等の帳票種類を精度良く判別することができる帳票種類判別装置および帳票種類判別方法を提供することを目的とする。

上記の課題を解決するため、本発明は、帳票の帳票画像を縦方向または横方向に微分して２値化した微分画像を生成する微分画像生成手段と、前記微分画像生成手段により生成された微分画像を横方向または縦方向に圧縮した圧縮微分画像を生成する圧縮微分画像生成手段と、前記圧縮微分画像生成手段により生成された圧縮微分画像に関する所定の特徴量を生成する特徴量生成手段と、予め登録された各帳票に関する圧縮微分画像の特徴量と前記特徴量生成手段により生成された特徴量とを用いて合致度を算出する合致度算出手段と、前記合致度算出手段により算出された合致度に基づいて帳票の種類判別結果を出力する出力手段とを備え、前記圧縮微分画像生成手段は、前記帳票における第１の所定の長さの画素を前記微分画像生成手段により生成された微分画像における１画素とし、且つ、前記第１の所定の長さの画素のうち第２の所定数の画素が連続してエッジ部分を形成する画素であった場合にのみ該画素の画素値をエッジ部分に割り当てた画素値とする最小値圧縮を横方向または縦方向におこなって圧縮微分画像を生成することを特徴とする。

また、本発明は、上記の発明において、前記特徴量生成手段は、前記圧縮微分画像に含まれるエッジ部分を形成する画素の画素数を横方向または縦方向に累積加算したヒストグラムを前記特徴量として生成し、前記合致度算出手段は、予め登録された各帳票に関する圧縮微分画像の標準ヒストグラムと前記特徴量生成手段により生成された特徴量とを用いて合致度を算出することを特徴とする。

また、本発明は、上記の発明において、前記特徴量生成手段は、前記圧縮微分画像に含まれるエッジ部分を形成する画素の画素数を横方向または縦方向に累積加算したヒストグラムを前記標準ヒストグラムに合わせた大きさに正規化する正規化手段をさらに備えたことを特徴とする。

また、本発明は、上記の発明において、前記合致度算出手段は、各種帳票の標準ヒストグラムに設定された各区画領域毎に前記標準ヒストグラム中のピーク位置と前記ヒストグラム中のピーク位置が合致する位置を求め、求めた位置に合致するように前記ヒストグラムを補正し、補正したヒストグラムと標準ヒストグラムとを比較して合致度を算出することを特徴とする。

また、本発明は、上記の発明において、前記出力手段は、前記合致度の高い帳票種類に関連して設定された印字領域に対応する前記帳票画像上の対応領域を前記位置ずれ量に基づいて求め、前記対応領域中の文字を抽出し、該抽出した文字が前記合致度の高い帳票種類に関連して設定された印字文字と認識できた帳票の種類を出力することを特徴とする。

また、本発明は、帳票の帳票画像を縦方向に微分して２値化した第一微分画像および帳票の帳票画像を横方向に微分して２値化した第二微分画像を生成する微分画像生成手段と、前記微分画像生成手段により生成された第一微分画像を横方向に圧縮した第一圧縮微分画像および前記微分画像生成手段により生成された第二微分画像を縦方向に圧縮した第二圧縮微分画像を生成する圧縮微分画像生成手段と、前記圧縮微分画像生成手段により生成された第一圧縮微分画像に関する第一特徴量および前記圧縮微分画像生成手段により生成された第二圧縮微分画像に関する第二特徴量を生成する特徴量生成手段と、予め登録された各帳票に関する第一特徴量および第二特徴量と前記特徴量生成手段により生成された第一特徴量および第二特徴量とを用いて合致度を算出する合致度算出手段と、前記合致度算出手段により算出された合致度に基づいて帳票の種類判別結果を出力する出力手段とを備えたことを特徴とする。

また、本発明は、帳票の帳票画像を縦方向または横方向に微分して２値化した微分画像を生成する微分画像生成工程と、前記微分画像生成工程により生成された微分画像を横方向または縦方向に圧縮した圧縮微分画像を生成する圧縮微分画像生成工程と、前記圧縮微分画像生成工程により生成された圧縮微分画像に関する所定の特徴量を生成する特徴量生成工程と、予め登録された各帳票に関する圧縮微分画像の特徴量と前記特徴量生成工程により生成された特徴量とを用いて合致度を算出する合致度算出工程と、前記合致度算出工程により算出された合致度に基づいて帳票の種類判別結果を出力する出力工程とを含み、前記圧縮微分画像生成工程は、前記帳票における第１の所定の長さの画素を前記微分画像生成工程により生成された微分画像における１画素とし、且つ、前記第１の所定の長さの画素のうち第２の所定数の画素が連続してエッジ部分を形成する画素であった場合にのみ該画素の画素値をエッジ部分に割り当てた画素値とする最小値圧縮を横方向または縦方向におこなって圧縮微分画像を生成することを特徴とする。
また、本発明は、帳票の帳票画像を縦方向または横方向に微分して２値化した微分画像を生成する微分画像生成工程と、前記微分画像生成工程により生成された微分画像を横方向または縦方向に圧縮した圧縮微分画像を生成する圧縮微分画像生成工程と、前記圧縮微分画像生成工程により生成された圧縮微分画像に関する所定の特徴量を生成する特徴量生成工程と、予め登録された各帳票に関する圧縮微分画像の特徴量と前記特徴量生成工程により生成された特徴量とを用いて合致度を算出する合致度算出工程と、前記合致度算出工程により算出された合致度に基づいて帳票の種類判別結果を出力する出力工程とを含み、前記特徴量生成工程は、前記圧縮微分画像に含まれるエッジ部分を形成する画素の画素数を横方向または縦方向に累積加算したヒストグラムを前記特徴量として生成し、前記合致度算出工程は、予め登録された各帳票に関する圧縮微分画像の標準ヒストグラムと前記特徴量生成手段により生成された特徴量とを用いて合致度を算出することを特徴とする。

本発明に係る帳票種類判別装置および帳票種類判別方法によれば、背景と罫線の濃度差が小さい帳票、文字・図形が記入された帳票、出納印が押された帳票またはバーコードラベルが貼付された帳票から、精度良く罫線を抽出することができる。

図１は、本実施例に係る帳票種類判別装置の構成を示すブロック図である。 図２は、本実施例に係る帳票種類判別装置の処理を示すフロー図（１）である。 図３は、本実施例に係る帳票種類判別装置の処理を示すフロー図（２）である。 図４は、傾き補正後の帳票画像Ｇを示す例示図である。 図５は、第一エッジ画像Ｅ１を示す例示図である。 図６は、第一圧縮画像Ｆ１を示す例示図である。 図７は、第一ヒストグラムＨ１を示す例示図である。 図８は、各種帳票Ｃａ〜Ｃｄとそれらについての第一標準ヒストグラムＨａ〜Ｈｄを示す例示図である。 図９は、第一標準ヒストグラムＨａに関連して予め登録された区画領域Ａ１〜Ａ７を示す説明図である。 図１０は、第一ヒストグラムＨ１の大きなピークと第一標準ヒストグラムＨａの大きなピークの位置ずれ量ｙ１〜ｙ７を示す説明図である。 図１１は、第二エッジ画像Ｅ２を示す例示図である。 図１２は、第二圧縮画像Ｆ２を示す例示図である。 図１３は、第二ヒストグラムＨ２を示す例示図である。 図１４は、各種帳票Ｃａ〜Ｃｄとそれらについての第二標準ヒストグラムＪａ〜Ｊｄを示す例示図である。 図１５は、第二標準ヒストグラムＪａに関連して予め登録された区画領域Ｂ１〜Ｂ４を示す説明図である。 図１６は、第二ヒストグラムＨ２の大きなピークと第二標準ヒストグラムＪａの大きなピークの位置ずれ量ｘ１〜ｘ４を示す説明図である。 図１７は、帳票Ｃａの横印字領域１５ａおよび縦印字領域２５ａを示す説明図である。 図１８は、位置ずれ量ｙ１だけ逆方向に移動した横印字領域１５ａ'および位置ずれ量ｘ１だけ逆方向に移動した縦印字領域２５ａ'を示す説明図である。 図１９は、移動した横印字領域１５ａ'および縦印字領域２５ａ'を帳票画像Ｇに当てはめた領域を示す説明図である。

以下、添付図面を参照して、本発明に係る帳票種類判別装置および帳票種類判別方法の実施例を説明する。なお、これにより本発明が限定されるものではない。

まず、本実施例に係る帳票種類判別装置１００の構成について説明する。図１は、帳票種類判別装置１００の構成を示すブロック図である。同図に示すように、この帳票種類判別装置１００は、帳票画像入力部１と、帳票画像傾き補正部２と、第一エッジ画像作成部１１と、第一特徴検出部１２と、第一特徴照合部１３と、第二エッジ画像作成部２１と、第二特徴検出部２２と、第二特徴照合部２３と、印字文字情報３１と、文字認識を行う文字認識部３２ａを有する出力部３２とを備える。なお、文字認識部３２ａでは、周知の文字認識処理を行う。

帳票画像入力部１は、カメラやスキャナや通信回線を介して帳票画像を取り込む処理部である。帳票画像傾き補正部２は、あらかじめ設定された基準となる横方向（以下、「ｘ方向」と言う）と帳票の横罫線が平行になり、且つ、あらかじめ設定された基準となる縦方向（以下、「ｙ方向」と言う）と帳票の縦罫線が並行になるように帳票画像の傾きを補正する処理部である。

第一エッジ画像作成部１１は、帳票画像中の横罫線を対象として抽出する第一エッジ画像作成処理部であり、例えば、横線のエッジ（以下、「横エッジ」と言う）を検出する微分オペレータ（例えば、ＳＯＢＥＬオペレータ等）を帳票画像に適用することで横エッジを抽出する。具体的には、横罫線とその上部との間に濃度差があるため横罫線の上端に横エッジが存在し、また横罫線とその下部との間に濃度差があるため横罫線の下端に横エッジが存在する。このため、この第一エッジ画像作成部１１により、一つの横罫線に対して一対をなす２つの横エッジが抽出されることになる。

なお、この第一エッジ画像作成部１１は、横エッジを含む帳票画像の微分画像の各画素を２値化して２値画像からなる第一エッジ画像を作成する。かかる２値化処理に際しては、大津の判別分析法等を用いて自動的に設定されたしきい値又はあらかじめ設定された所定のしきい値を用いて２値化処理を行うことができる。ここでは、画素値「０」となる黒画素がエッジを形成する画素を示し、画素値「１」となる白画素がエッジを形成しない画素を示すものとする。ただし、黒画素がエッジを形成しない画素を示し、白画素がエッジを形成する画素を示すようにして処理を行うこともできる。

第一特徴検出部１２は、帳票画像中の横罫線の特徴量である分布パターンを取得する処理部であり、具体的には、第一エッジ画像作成部１１により作成されたエッジ画像に含まれる横罫線のエッジの画素数をｙ方向にプロットしたヒストグラムを横罫線の分布パターンとして取得する。このようにして取得された横罫線の分布パターンは、その全体を５０ドット／インチ換算に圧縮することによって正規化処理される。

第一特徴照合部１３は、帳票画像中の横罫線の特徴量である分布パターンと予め登録してある各種帳票の横罫線の分布パターンである第一標準ヒストグラム１４とを照合して第一合致度を算出する処理部である。

第二エッジ画像作成部２１は、帳票画像中の縦罫線を対象として抽出する第二エッジ画像作成処理部であり、例えば、縦線のエッジ（以下、「縦エッジ」と言う）を検出するＳＯＢＥＬオペレータ等を帳票画像に適用することで縦エッジを抽出する。なお、この第二エッジ画像作成部２１は、帳票画像の微分画像の各画素を２値化して２値画像からなる第二エッジ画像を作成する。

第二特徴検出部２２は、帳票画像中の縦罫線の分布パターンを取得する処理部であり、具体的には、縦罫線のエッジ画素数をｙ方向にプロットしたヒストグラムを縦罫線の分布パターンとして取得する。第二特徴照合部２３は、帳票画像中の縦罫線の分布パターンと予め登録してある各種帳票の縦罫線の分布パターンである第二標準ヒストグラム２４とを照合して第二合致度を算出する処理部である。

印字文字情報３１は、あらかじめ登録された各種帳票に印字された印字文字に関する情報であり、具体的には、各帳票に印字された印字文字の座標情報及び印字文字が含まれる。

出力部３２は、第一合致度及び第二合致度を用いて予め登録された各種帳票から複数の有力候補帳票を選択し、選択された各有力候補帳票の所定の位置に存在する印字文字と帳票画像の所定の位置から読み取って文字認識部３２ａにより文字認識された結果とを比較して、文字認識スコアが最も高くなる帳票種類を出力する処理部である。

具体的には、出力部３２では、第一合致度及び第二合致度の合計値が高い順に複数の有力候補帳票を選択し、印字文字情報３１から該有力候補帳票に印字文字が印字される領域を抽出する。ここで、有力候補帳票と帳票画像の間に位置ずれが存在する場合には、この位置ずれを考慮して印字文字が印字される領域を補正し、該当する箇所から読み出したデータを文字認識する。そして、文字認識された文字が、印字文字情報３１に含まれる有力候補帳票に本来含まれるはずの印字文字と比較することになる。

なお、本実施例では、説明の便宜上、帳票の最上部に印字された見出しとなる印字文字を処理対象とする場合について説明するが、本発明はこれに限定されるものではなく、帳票の様々な位置に所在する印字文字を処理対象とすることもできる。この場合には、登録された帳票ごとに複数の印字文字に関する情報を印字文字情報３１に含ませれば良い。処理対象とする印字文字を多くすればするほど、出力部３２から出力される出力結果の信頼性を向上させることができる。

次に、図１に示した帳票種類判別装置１００の処理手順について説明する。図２は、図１に示した帳票種類判別装置１００の処理を示すフロー図である。同図に示したステップＳ１では、帳票画像入力部１は、帳票の画像を取り込む。ステップＳ２では、帳票画像傾き補正部２は、公知方法により、帳票画像中の横方向の線分がｘ方向に合致するように、又は、帳票画像中の縦方向の線分がｙ方向に合致するように、帳票画像の傾きの角度を回転補正する。例えば、帳票画像中の横エッジのエッジ方向とｘ方向の傾き角度を求め、この角度分を回転補正するようアフィン変換すれば良い。これにより、帳票画像中の横罫線をｘ方向に合致させ、縦罫線をｙ方向に合致させることができる。

図４に、傾き補正後の帳票画像Ｇを例示する。この帳票画像Ｇにおいて、図中に示す太線が罫線であり、斜体でない文字は帳票に予め印刷された印字文字であり、斜体の文字は帳票に対して記入された文字である。

図２に戻り、ステップＳ３では、第一エッジ画像作成部１１は、帳票画像に対して横線を形成するエッジを検出する微分オペレータ（例えば、ＳＯＢＥＬオペレータ）を適用して横エッジを抽出し、各横エッジの画素値を所定の画素値と比較して２値化して、図５に示すような２値画像である第一エッジ画像を作成する。ここで、この第一エッジ画像の黒画素は横エッジを形成する画素を示し、白画素は横エッジを形成しない画素を示すことになる。

図５に、第一エッジ画像Ｅ１を例示する。図中に示すように、所定の幅が存在する罫線（横線）に対して横エッジ検出用の微分オペレータを適用すると、罫線の上部及び下部と背景との間に濃度差があるため、２本の平行線が検出される。また、横エッジ検出用の微分オペレータを適用しているので、この時点では縦エッジは検出されない。なお、帳票画像内の印刷文字又は記入文字については、その一部に横エッジが存在するため、同図に示すように文字の一部をなす横エッジが検出されることになるが、罫線ほどには連続した状態で検出されない。

図２に戻り、ステップＳ４では、第一特徴検出部１２は、第一エッジ画像をｘ方向に３ｍｍが１画素になるように圧縮し、このとき黒画素が所定の画素数連続していれば圧縮後の画素を黒画素とし、そうでない場合は圧縮後の画素を白画素とする最小値圧縮をして第一圧縮画像を作成する。図５は第一エッジ画像を示しており、文字は微分されることで横エッジのみとなり、さらに、最小値圧縮されることによって文字の横エッジが消える。

図６に、第一圧縮画像Ｆ１を例示する。帳票画像Ｇの横幅が２１０ｍｍであり、１ｍｍにつき１画素が形成されている場合には、第一圧縮画像Ｆ１の横方向の画素数は２１０／３＝７０になる。なお、第一圧縮画像を作成すると図６に示す様に横方向に最小値圧縮をしているので、第一エッジ画像Ｅ１に見られた文字の横エッジは消失する。

図２に戻り、ステップＳ５では、第一特徴検出部１２は、第一圧縮画像の横エッジの画素数をｙ座標にプロットしたヒストグラムを作成し、これまでは横方向に圧縮したが、次に縦方向に全体を５０ドット／インチ換算に圧縮する正規化処理を行い、その結果ｗｐを第一ヒストグラムとする。図７に、第一ヒストグラムＨ１を例示するとともに、図８（ａ）〜（ｄ）に、各種帳票Ｃａ〜Ｃｄとそれらについての第一標準ヒストグラムＨａ〜Ｈｄを例示する。

図２に戻り、ステップＳ６では、第一特徴照合部１２は、予め登録された各種帳票の横エッジの分布を示す第一標準ヒストグラムと第一ヒストグラムＨ１とを照合する。具体的には、第一ヒストグラムＨ１を所定画素数（例えば２０画素数）からなる複数の区画領域に分割し、第一ヒストグラムＨ１の各区画領域が第一標準ヒストグラムＨａのどの位置に合致するかを求め、求めた位置に領域の開始位置が一致するように各区画領域を補正した補正後の第一ヒストグラムＨｙと第一標準ヒストグラムＨａとを照合して第一合致度を求める。

この点をさらに詳細に説明すると、図９に示すように、第一ヒストグラムＨ１は、複数の区画領域Ａ１〜Ａ７に分割される。ここで、区画領域Ａ１に関しては、区画領域Ａ１におけるヒストグラムの２つのピークの間隔とピーク値を持つ第一標準ヒストグラムＨａ上の位置を求める。例えば、区画領域Ａ１におけるヒストグラムを第一標準ヒスグラムＨａ上で移動させつつ順次相関値を求め、最も相関値が高くなる位置を第一ヒストグラムＨ１の区画領域Ａ１の対応位置と判定することができる。

同様に、区画領域Ａ２〜Ａ７に関しても、区画領域Ａ２〜Ａ７におけるヒストグラムを第一標準ヒスグラムＨａ上で移動させつつ順次相関値を求め、最も相関値が高くなる位置を第一ヒストグラムＨ１の区画領域Ａ２〜Ａ７の対応位置と判定することができる。

このようにして、図１０に示す区画領域Ａ１〜Ａ７の対応位置から位置ずれ量ｙ１〜ｙ７を求めたならば、求めた位置に領域の開始位置を合わせるように第一ヒストグラムＨ１を区画領域Ａ１〜Ａ７毎に補正する。その後、補正された第一ヒストグラムＨｙと第一標準ヒストグラムＨａとの相関値を求め、帳票画像Ｇと帳票Ｃａの第一合致度Ｐａを算定することになる。

図２に戻り、ステップＳ７において、第二エッジ画像作成部２１は、帳票画像に対して縦線を形成するエッジを検出する微分オペレータ（例えば、ＳＯＢＥＬオペレータ）を適用して縦エッジを抽出し、各縦エッジの画素値を所定の画素値と比較して２値化して、２値画像である第二エッジ画像を作成する。

図１１に、第二エッジ画像Ｅ２を例示する。この第二エッジ画像Ｅ２についても、図５に示した第一エッジ画像Ｅ１と同様に、所定の幅が存在する罫線（縦線）に対して縦エッジ検出用の微分オペレータを適用すると、罫線の左部及ぶ右部と背景との間に濃度差があるため、２本の平行線が検出される。また、縦エッジ検出用の微分オペレータを適用しているので、横エッジは検出されない。なお、帳票画像内の印刷文字又は記入文字については、その一部に縦エッジが存在するため、図１１に示すように同図に示すように文字の一部をなす縦エッジが検出されることになるが、罫線ほどには連続した状態で検出されない。

図２に戻り、ステップＳ８では、第二特徴検出部２２は、第二エッジ画像をｙ方向に３ｍｍが１画素になるように圧縮し、このとき黒画素が所定の画素数連続していれば圧縮後の画素を黒画素とし、そうでない場合は圧縮後の画素を白画素とする最小値圧縮をして第二圧縮画像を作成する。図１２に、第二圧縮画像Ｆ２を例示する。帳票画像Ｇの縦幅が３００ｍｍであり、３ｍｍにつき１画素が形成されている場合には、第二圧縮画像Ｆ２の縦方向の画素数は３００／３＝１００になる。なお、縦方向に最小値圧縮をしているので、帳票エッジ画像Ｅ２上の文字は消失している。

図２に戻り、ステップＳ９では、第二特徴検出部２２は、第二圧縮画像のｘ座標毎のｙ方向黒画素数のヒストグラムを作成し、これまでは縦方向に圧縮したが、次に横方向に全体を５０ドット／インチ換算に圧縮し、それを第二ヒストグラムとする。図１３に、第二ヒストグラムＨ２を例示するとともに、図１４（ａ）〜（ｄ）に、各種帳票Ｃａ〜Ｃｄとそれらについての第二標準ヒストグラムＪａ〜Ｊｄを例示する。

図２に戻り、ステップＳ１０では、予め登録された各種帳票の縦エッジの分布を示す第二標準ヒストグラムと第二ヒストグラムＨ２とを照合する。具体的には、第二ヒストグラムＨ２を所定画素数（例えば２０画素数）からなる複数の区画領域に分割し、第二ヒストグラムＨ２の各区画領域が第二標準ヒストグラムＪａのどの位置に合致するかを求め、求めた位置に合致するように各区画領域を補正した補正後の第二ヒストグラムＨｘと第二標準ヒストグラムＪａとを照合して第二合致度を求める。

この点をさらに詳細に説明すると、図１５に示すように、第二ヒストグラムＨ２は、複数の区画領域Ｂ１〜Ａ４に分割される。ここで、区画領域Ｂ１に関しては、区画領域Ｂ１におけるヒストグラムの２つのピークの間隔とピーク値を持つ第二標準ヒストグラムＪａ上の位置を求める。例えば、区画領域Ｂ１におけるヒストグラムを第二標準ヒスグラムＪａ上で移動させつつ順次相関値を求め、最も相関値が高くなる位置を第二ヒストグラムＨ２の区画領域Ｂ１の対応位置と判定することができる。

同様に、区画領域Ｂ２〜Ｂ４に関しても、区画領域Ｂ２〜Ｂ４におけるヒストグラムを第二標準ヒスグラムＪａ上で移動させつつ順次相関値を求め、最も相関値が高くなる位置を第二ヒストグラムＨ２の区画領域Ｂ２〜Ｂ４の対応位置と判定することができる。

このようにして、図１６に示す区画領域Ｂ１〜Ｂ４の対応位置から位置ずれ量ｘ１〜ｘ４を求めたならば、求めた位置に合わせるように第二ヒストグラムＨ２を区画領域Ｂ１〜Ｂ４毎に領域開始位置座標値を移動させる補正を行う。その後、補正された第二ヒストグラムＨｘと第二標準ヒストグラムＪａとの相関値を求め、帳票画像Ｇと帳票Ｃａの第二合致度Ｑａを算定することになる。

図３のステップＳ１１に進み、出力部３２は、第一合致度と第二合致度の合計値が大きい順を類似度が高い順とする。

ステップＳ１２では、類似度が高い順に例えば２つを選び、有力候補帳票とする。ステップＳ１３では、有力候補帳票の中から一つの有力候補帳票を選択し、後述する印字文字を用いた照合処理を行うことになる。かかる有力候補帳票の選択に際しては、第一合致度と第二合致度の合計値が高いものから順次選択することになる。

ステップＳ１４では、予め登録された各種帳票の印字文字に関する情報（以下、「印字文字情報３１」と言う）から選択された当該有力候補帳票の印字文字の座標情報（縦座標及び横座標）を読み出す。具体的には、図１７において、帳票Ｃａの印字文字の縦領域１５ａ（始点及び終点）と印字文字の横領域２５ａ（始点及び終点）を読み出すことになる。

ステップＳ１５では、読み出した印字文字の縦領域１５ａの始点に最も近い横エッジのピークの位置ずれ量だけ印字文字の縦領域１５ａを逆方向に移動するとともに、印字文字の横領域２５ａの始点に最も近い縦エッジのピークの位置ずれ量だけ印字文字の横領域２５ａの座標値を逆方向に移動する。図１８に、位置ずれ量ｙ１だけ逆方向に移動した印字文字の縦領域２５ａ'及び位置ずれ量ｘ１だけ逆方向に移動した印字文字の横領域２５ａ'を示す。

ステップＳ１６では、移動した印字文字の縦領域１５ａ'および印字文字の横領域２５ａ'を帳票画像に当てはめた領域中の文字を文字認識処理により読み取る。図１９に、移動した領域印字文字の縦領域１５ａ'及び印字文字の横領域２５ａ'を帳票画像Ｇに当てはめた領域を示す。この領域から「入金伝票」の文字が読み取れる。

ステップＳ１７では、予め登録してある各種帳票の印字文字情報３１から当該有力候補帳票についての第一印字文字を読み出す。図１７に示すように、帳票Ｃａの第一印字文字は「入金伝票」である。

ステップＳ１８では、帳票画像Ｇから印字文字の縦座標、印字文字の横座標の領域を抽出し、この領域内の文字が第一印字文字と認識できるかどうかを判定する。具体的には、帳票画像Ｇから印字文字の縦座標、印字文字の横座標の領域を抽出し、この領域内の文字が第一印字文字と認識できる場合、または、帳票画像Ｇから抽出した前記領域内に認識できた文字が無く、且つ、空白なら、予め登録している印字文字情報に合致していると判定する。その結果、合致した場合には（ステップＳ１８；Ｙｅｓ）、当該有力候補帳票の種類を出力して（ステップＳ１９）、処理を終了する。

一方、予め登録している印字文字情報に合致しない場合には（ステップＳ１８；Ｎｏ）、ステップＳ２０において未処理の有力候補帳票が存在するか否かを判定し、未処理の有力候補帳票が存在する場合には（ステップＳ２０；Ｙｅｓ）、ステップＳ１３に移行して同様の処理を繰り返す。そして、全ての有力候補帳票に対する処理を終えたならば（ステップＳ２０；Ｎｏ）、上記一連の処理を終了する。

本実施例の帳票種類判別装置１００によれば次の効果が得られる。
（Ａ）カラー画像やモノクロ画像の帳票画像Ｇをｙ方向に調べて出現するエッジを抽出し、エッジの有無に２値化した第一エッジ画像Ｅ１を作成する。この第一エッジ画像Ｅ１上では、背景と罫線の濃度差が小さい帳票でも、横罫線の罫線幅だけ離れた横方向の平行線として横罫線が現れるから、横罫線をうまく抽出することが出来る。

（Ｂ）第一エッジ画像Ｅ１をｘ方向に圧縮してｘ方向の画素数を減らした第一圧縮画像Ｆ１を作成する。記入された文字・図形や、押された出納印や、貼り付けられたバーコードラベルなどのｘ方向に連続する黒画素数は、第一エッジ画像Ｅ１上において、元々多くない。その元々多くないｘ方向に連続する黒画素数がｘ方向の圧縮により減らされるため、第一圧縮画像Ｆ１上での存在は非常に希薄になる。他方、横罫線のｘ方向に連続する黒画素数は、第一エッジ画像Ｅ１上において、元々少なくない。その元々少なくないｘ方向に連続する黒画素数が減らされても、第一圧縮画像Ｆ１上での存在は希薄にならない。従って、文字・図形が記入されたり、出納印が押されたり、バーコードラベルが貼付されたりした帳票でも、横罫線をうまく抽出することが出来る。

（Ｃ）第一エッジ画像Ｅ１をｘ方向に３ｍｍを１画素に圧縮してｘ方向の画素数を減らすとともに、所定の画素数分連続する場合にのみ黒画素として第一圧縮画像Ｆ１を作成する。記入された文字について黒画素がｘ方向に連続する長さはほとんどが１０ｍｍ未満であるため、第一圧縮画像Ｆ１ではほとんどが０画素〜３画素になってしまう。これにより、文字の存在を希薄化できる。他方、横罫線について黒画素がｘ方向に連続する長さはほとんどが１０ｍｍ以上であるため、第一圧縮画像Ｆ１ではほとんどが３画素以上になり、横罫線の存在は希薄にならない。従って、文字・図形が記入されたり，出納印が押されたり、バーコードラベルが貼付されたりした帳票でも、横罫線をうまく抽出することが出来る。

（Ｄ）カラー画像やモノクロ画像の帳票画像をｘ方向に調べて出現するエッジを抽出し、エッジの有無に２値化した第二エッジ画像Ｅ２を作成する。この第二エッジ画像Ｅ２上では、背景と罫線の濃度差が小さい帳票でも、縦罫線の罫線幅だけ離れた縦方向の平行線として縦罫線が現れるから、縦罫線をうまく抽出することが出来る。

（Ｅ）第二エッジ画像Ｅ２をｙ方向に圧縮してｙ方向の画素数を減らした第二圧縮画像Ｆ２を作成する。記入された文字・図形や、押された出納印や、貼り付けられたバーコードラベルなどのｙ方向に連続する黒画素数は、第二エッジ画像Ｅ２上において、元々多くない。その元々多くないｙ方向に連続する黒画素数がｙ方向の圧縮により減らされるため、第二圧縮画像Ｆ２上での存在は非常に希薄になる。他方、縦罫線のｙ方向に連続する黒画素数は、第二エッジ画像Ｅ２上において、元々少なくない。その元々少なくないｙ方向に連続する黒画素数が減らされても、第二圧縮画像Ｆ２上での存在は希薄にならない。従って、文字・図形が記入されたり、出納印が押されたり、バーコードラベルが貼付されたりした帳票でも、縦罫線をうまく抽出することが出来る。

（Ｆ）第二エッジ画像をｙ方向に３ｍｍを１画素に圧縮してｙ方向の画素数を減らした第二圧縮画像Ｆ２を作成する。記入された文字について黒画素がｙ方向に連続する長さはほとんどが１０ｍｍ未満であるため、第二圧縮画像Ｆ２ではほとんどが０画素〜３画素になってしまう。これにより、文字の存在を希薄化できる。他方、縦罫線について黒画素がｙ方向に連続する長さはほとんどが１０ｍｍ以上であるため、第二圧縮画像ではほとんどが３画素以上になり、縦罫線の存在は希薄にならない。従って、文字・図形が記入されたり、出納印が押されたり、バーコードラベルが貼付されたりした帳票でも、縦罫線をうまく抽出することが出来る。

（Ｇ）文字・図形が記入されたり、出納印が押されたり、バーコードラベルが貼付されたりした帳票でも、従来よりも高精度に横罫線・縦罫線を抽出できるので、従来よりも高精度に帳票の種類を判別できる。

（Ｈ）第一ヒストグラムＨ１を第一標準ヒストグラムＨａ〜Ｈｄに合わせたサイズに正規化するため、両者を比較し易くなる。
（Ｉ）第二ヒストグラムＨ２を第二標準ヒストグラムＪａ〜Ｊｄに合わせたサイズに正規化するため、両者を比較し易くなる。

（Ｊ）第一標準ヒストグラムＨａ〜Ｈｄや第一ヒストグラムＨ１中のピークは当該ピーク位置に横罫線が存在することを表しているが、帳票用紙の伸縮や裁断のずれなどに起因して帳票用紙に対する横罫線の位置がずれることがあり、第一標準ヒストグラムＨａ〜Ｈｄと同じ種類の帳票に係る第一ヒストグラムＨ１でもピーク位置がずれることがある。しかし、複数の横罫線の位置ずれ量は各横罫線に対して同じになるため、各区画領域毎の位置ずれを第一ヒストグラムＨ１に対して領域開始位置が一致するように補正した補正後第一ヒストグラムＨｙと第一標準ヒストグラムＨａ〜Ｈｄと比較することによって、横罫線位置のずれによる合致度の低下を防ぐことができる。

（Ｋ）第二標準ヒストグラムＪａ〜Ｊｄや第二ヒストグラムＨ２中のピークは当該ピーク位置に縦罫線が存在することを表しているが、帳票用紙の伸縮や裁断のずれなどに起因して帳票用紙に対する縦罫線の位置がずれることがあり、第二標準ヒストグラムＪａ〜Ｊｄと同じ種類の帳票に係る第二ヒストグラムＨ２でもピーク位置がずれることがある。しかし、複数の縦罫線の位置ずれ量は各縦罫線に対して同じになるため、各区画領域毎の位置ずれ量を第二ヒストグラムＨ２に対して領域開始位置が一致するように補正した補正後第二ヒストグラムＨｘと第二標準ヒストグラムＪａ〜Ｊｄと比較することによって、縦罫線位置のずれによる合致度の低下を防ぐことができる。

（Ｌ）第一標準ヒストグラムＨａ〜Ｈｄと第一ヒストグラムＨ１中のピーク位置の比較で求めたｙ方向の位置ずれ量を基にして印字領域のｙ方向位置を正確に割り出すことが出来る。そして、その印字領域に印字された文字を読み取って帳票の種類を判別するため、高精度に帳票の種類を判別できる。

（Ｍ）第二標準ヒストグラムＪａ〜Ｊｄと第二ヒストグラムＨ２中のピーク位置の比較で求めたｘ方向の位置ずれ量を基にして印字領域のｘ方向位置を正確に割り出すことができる。そして、その印字領域に印字された文字を読み取って帳票の種類を判別するため、高精度に帳票の種類を判別できる。

本発明の帳票種類判別装置および帳票種類判別方法は、帳票の自動仕分け装置に利用することが出来る。

１ 帳票画像入力部
２ 帳票画像傾き補正部
１１ 第一エッジ画像作成部
１２ 第一特徴検出部
１３ 第一特徴照合部
１４ 各種帳票の第一標準ヒストグラム
１５ 各種帳票の第一文字領域、第一文字
２１ 第二エッジ画像作成部
２２ 第二特徴検出部
２３ 第二特徴照合部
２４ 各種帳票の第二標準ヒストグラム
３１ 印字文字情報
３２ 出力部
３２ａ 文字認識部
１００ 帳票種類判別装置
Ｇ 帳票画像
Ａ１〜Ａ７ 区画領域
Ｂ１〜Ｂ４ 区画領域
Ｅ１ 第一エッジ画像
Ｅ２ 第二エッジ画像
Ｆ１ 第一圧縮画像
Ｆ２ 第二圧縮画像
Ｈ１ 第一ヒストグラム
Ｈ２ 第二ヒストグラム
Ｈａ〜Ｈｄ 各種帳票の第一標準ヒストグラム
Ｊａ〜Ｊｄ 各種帳票の第二標準ヒストグラム

Claims (8)

1. 帳票の帳票画像を縦方向または横方向に微分して２値化した微分画像を生成する微分画像生成手段と、
   前記微分画像生成手段により生成された微分画像を横方向または縦方向に圧縮した圧縮微分画像を生成する圧縮微分画像生成手段と、
   前記圧縮微分画像生成手段により生成された圧縮微分画像に関する所定の特徴量を生成する特徴量生成手段と、
   予め登録された各帳票に関する圧縮微分画像の特徴量と前記特徴量生成手段により生成された特徴量とを用いて合致度を算出する合致度算出手段と、
   前記合致度算出手段により算出された合致度に基づいて帳票の種類判別結果を出力する出力手段と
   を備え、
   前記圧縮微分画像生成手段は、前記帳票における第１の所定の長さの画素を前記微分画像生成手段により生成された微分画像における１画素とし、且つ、前記第１の所定の長さの画素のうち第２の所定数の画素が連続してエッジ部分を形成する画素であった場合にのみ該画素の画素値をエッジ部分に割り当てた画素値とする最小値圧縮を横方向または縦方向におこなって圧縮微分画像を生成する
   ことを特徴とする帳票種類判別装置。
2. 帳票の帳票画像を縦方向または横方向に微分して２値化した微分画像を生成する微分画像生成手段と、
   前記微分画像生成手段により生成された微分画像を横方向または縦方向に圧縮した圧縮微分画像を生成する圧縮微分画像生成手段と、
   前記圧縮微分画像生成手段により生成された圧縮微分画像に関する所定の特徴量を生成する特徴量生成手段と、
   予め登録された各帳票に関する圧縮微分画像の特徴量と前記特徴量生成手段により生成された特徴量とを用いて合致度を算出する合致度算出手段と、
   前記合致度算出手段により算出された合致度に基づいて帳票の種類判別結果を出力する出力手段と
   を備え、
   前記特徴量生成手段は、
   前記圧縮微分画像に含まれるエッジ部分を形成する画素の画素数を横方向または縦方向に累積加算したヒストグラムを前記特徴量として生成し、
   前記合致度算出手段は、予め登録された各帳票に関する圧縮微分画像の標準ヒストグラムと前記特徴量生成手段により生成された特徴量とを用いて合致度を算出する
   ことを特徴とする帳票種類判別装置。
3. 前記特徴量生成手段は、前記圧縮微分画像に含まれるエッジ部分を形成する画素の画素数を横方向または縦方向に累積加算したヒストグラムを前記標準ヒストグラムに合わせた大きさに正規化する正規化手段をさらに備えたことを特徴とする請求項２に記載の帳票種類判別装置。
4. 前記合致度算出手段は、各種帳票の標準ヒストグラムに設定された各区画領域毎に前記標準ヒストグラム中のピーク位置と前記ヒストグラム中のピーク位置が合致する位置を求め、求めた位置に合致するように前記ヒストグラムを補正し、補正したヒストグラムと標準ヒストグラムとを比較して合致度を算出することを特徴とする請求項２または３に記載の帳票種類判別装置。
5. 前記出力手段は、前記合致度の高い帳票種類に関連して設定された印字領域に対応する前記帳票画像上の対応領域を前記位置ずれ量に基づいて求め、前記対応領域中の文字を抽出し、該抽出した文字が前記合致度の高い帳票種類に関連して設定された印字文字と認識できた帳票の種類を出力することを特徴とする請求項４に記載の帳票種類判別装置。
6. 帳票の帳票画像を縦方向に微分して２値化した第一微分画像および帳票の帳票画像を横方向に微分して２値化した第二微分画像を生成する微分画像生成手段と、
   前記微分画像生成手段により生成された第一微分画像を横方向に圧縮した第一圧縮微分画像および前記微分画像生成手段により生成された第二微分画像を縦方向に圧縮した第二圧縮微分画像を生成する圧縮微分画像生成手段と、
   前記圧縮微分画像生成手段により生成された第一圧縮微分画像に関する第一特徴量および前記圧縮微分画像生成手段により生成された第二圧縮微分画像に関する第二特徴量を生成する特徴量生成手段と、
   予め登録された各帳票に関する第一特徴量および第二特徴量と前記特徴量生成手段により生成された第一特徴量および第二特徴量とを用いて合致度を算出する合致度算出手段と、
   前記合致度算出手段により算出された合致度に基づいて帳票の種類判別結果を出力する出力手段と
   を備えたことを特徴とする帳票種類判別装置。
7. 帳票の帳票画像を縦方向または横方向に微分して２値化した微分画像を生成する微分画像生成工程と、
   前記微分画像生成工程により生成された微分画像を横方向または縦方向に圧縮した圧縮微分画像を生成する圧縮微分画像生成工程と、
   前記圧縮微分画像生成工程により生成された圧縮微分画像に関する所定の特徴量を生成する特徴量生成工程と、
   予め登録された各帳票に関する圧縮微分画像の特徴量と前記特徴量生成工程により生成された特徴量とを用いて合致度を算出する合致度算出工程と、
   前記合致度算出工程により算出された合致度に基づいて帳票の種類判別結果を出力する出力工程と
   を含み、
   前記圧縮微分画像生成工程は、前記帳票における第１の所定の長さの画素を前記微分画像生成工程により生成された微分画像における１画素とし、且つ、前記第１の所定の長さの画素のうち第２の所定数の画素が連続してエッジ部分を形成する画素であった場合にのみ該画素の画素値をエッジ部分に割り当てた画素値とする最小値圧縮を横方向または縦方向におこなって圧縮微分画像を生成する
   ことを特徴とする帳票種類判別方法。
8. 帳票の帳票画像を縦方向または横方向に微分して２値化した微分画像を生成する微分画像生成工程と、
   前記微分画像生成工程により生成された微分画像を横方向または縦方向に圧縮した圧縮微分画像を生成する圧縮微分画像生成工程と、
   前記圧縮微分画像生成工程により生成された圧縮微分画像に関する所定の特徴量を生成する特徴量生成工程と、
   予め登録された各帳票に関する圧縮微分画像の特徴量と前記特徴量生成工程により生成された特徴量とを用いて合致度を算出する合致度算出工程と、
   前記合致度算出工程により算出された合致度に基づいて帳票の種類判別結果を出力する出力工程と
   を含み、
   前記特徴量生成工程は、
   前記圧縮微分画像に含まれるエッジ部分を形成する画素の画素数を横方向または縦方向に累積加算したヒストグラムを前記特徴量として生成し、
   前記合致度算出工程は、予め登録された各帳票に関する圧縮微分画像の標準ヒストグラムと前記特徴量生成手段により生成された特徴量とを用いて合致度を算出する
   ことを特徴とする帳票種類判別方法。

Images