JP6665595B2 - 文字認識装置、方法およびプログラム - Google Patents

Description

本発明は、帳票の読み取り画像に含まれる文字を認識する技術に関する。

文字が記入された帳票をスキャナ等で読み取り、読み取り画像に含まれる文字を認識する技術が知られている。このような画像に含まれる文字を認識する際には、帳票を読み取る際に発生する様々な誤差を考慮することが要求される。

例えば、特許文献１には、読み取り画像の傾きを補正してから文字を認識する関連技術が記載されている。具体的には、この関連技術は、帳票端や所定マークに基づいて読み取り領域の傾き角と傾き高さを求める。また、この関連技術は、読み取り領域に含まれる文字枠のうち文字間を区切る縦枠を検出する。縦枠の検出手法としては、次の３つが挙げられている。１つ目の手法は、あらかじめ定められた縦枠の位置を表すパラメータに基づき縦枠を検出する手法である。２つ目の手法は、非ドロップアウト画像において、垂直方向のラインごとに係数した黒画素数（黒点周辺分布）がピークとなる位置を縦枠として検出する手法である。３つ目の手法は、ドロップアウト画像において、黒点数が少ない領域を縦枠として検出する手法である。

なお、ドロップアウト画像とは、指定色が消去された画像をいうものとする。例えば、ドロップアウト画像は、ドロップアウトカラーで文字枠が印刷された帳票がスキャナで読み込まれることにより生成される。ドロップアウトカラーとは、スキャナの二値画像の読み取りモードにおいて、消去されるよう指定される色をいう。また、非ドロップアウト画像とは、指定色が消去されていない画像をいうものとする。例えば、非ドロップアウト画像は、ドロップアウトカラーでない色で文字枠が印刷された帳票がスキャナ等で読み込まれたり、帳票が多値画像として読み込まれたりすることにより生成される。

そして、この関連技術は、読み取り領域の幅を、傾き高さのドット数で等分割した垂直ラインを仮ステップ位置とする。その後、この関連技術は、仮ステップ位置に最も近い縦枠の位置に基づき、ステップ位置を決定する。そして、この関連技術は、ステップ位置で座標を垂直方向に１画素ずつずらしながら幅方向の読み出しを行う。このように、この関連技術は、文字パターンとステップ位置とが重ならないように傾きを補正し、補正した画像から文字を認識する。

また、特許文献２には、読み取り画像における文字の位置ずれを考慮して文字を認識する関連技術が記載されている。この関連技術でいう位置ずれとは、読み取り画像中の文字が本来あるはずの位置からずれることである。位置ずれの原因として、帳票の読み込み中に搬送誤差が発生して読み取り画像が伸長することが挙げられている。また、位置ずれの他の原因として、帳票のカットずれや印刷ずれなども挙げられている。具体的には、この関連技術は、非ドロップアウト画像において帳票端を検出し、検出した帳票端および文字位置のパラメータを用いて文字の切り出し位置を決定する。そして、この関連技術は、決定した切り出し位置と、ドロップアウト画像における文字の位置との位置ずれを調べる。ここで、位置ずれ量が閾値以上である場合、この関連技術は、帳票端を基準とする所定の領域内で文字枠の認識処理を行う。そして、この関連技術は、認識した文字枠を基にしてドロップアウト画像から文字の切り出しを行い、切り出した画像から文字を認識する。

特開２００１−１０１３４２号公報 特開２００９−６９９５１号公報

しかしながら、上述の関連技術には、読み取り画像において歪みが発生している場合に、文字を精度よく認識することができないという課題がある。

ここで、読み取り画像における歪みは、たとえば、スキャナのハードウェア特性や、スキャナにおける画像処理に起因して生じることがある。また、読み取り画像における歪みは、読み取りの対象となった帳票自体の歪み（例えば、折れ、曲がり、浮き、たわみ等）に起因して生じることもある。

ところが、特許文献１に記載された関連技術は、読み取り画像における帳票の傾きを考慮するものの、歪みを考慮していない。仮にこの関連技術を用いて、歪みを含む読み取り画像に対して傾き補正を施しても、歪みは適切に補正されない。そのため、この関連技術は、精度よく文字を認識することができない。

また、特許文献２に記載された関連技術は、読み取り画像において文字の位置ずれがある場合、帳票端を基準とした所定の領域内で文字枠を認識する。ここで、読み取り画像における帳票端が歪んでいる場合、この関連技術は、文字枠を認識すべき所定の領域を精度よく特定することができない。また、帳票には、文字枠を構成する線分以外にも様々な線分が記載されている。したがって、この関連技術は、読み取り画像において文字枠が歪んでいる場合、どの線分が文字枠を構成しているかを精度よく認識することができない。その結果、この関連技術は、精度よく文字枠を認識することができず、文字の認識精度を低下させてしまう。

本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、読み取り画像において帳票が歪んでいる場合にも、より精度よく文字を認識する技術を提供することを目的とする。

本発明の文字認識装置は、文字枠が記載された帳票の読み取り画像として、前記文字枠の色が消去されたドロップアウト画像および前記文字枠の色が消去されていない非ドロップアウト画像を取得する画像取得部と、前記非ドロップアウト画像において、検出される帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定し、決定した仮の位置に基づいて、文字枠を検出する文字枠検出部と、前記文字枠検出部により検出された文字枠のうち領域が重複している文字枠間において、前記重複を解消するよう前記文字枠を補正するとともに、前記帳票において一列に配列された文字枠のまとまりである文字枠列において、前記文字枠間での位置およびサイズのバラつきを解消するよう前記文字枠を補正する文字枠補正部と、前記ドロップアウト画像から、前記文字枠補正部によって補正された文字枠に基づいて画像を切り出し、切り出した画像毎に文字を認識する文字認識部と、を備える。

また、本発明の方法は、文字枠が記載された帳票の読み取り画像として、前記文字枠の色が消去されたドロップアウト画像および前記文字枠の色が消去されていない非ドロップアウト画像を取得し、前記非ドロップアウト画像において、検出される帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定し、決定した仮の位置に基づいて、文字枠を検出し、検出した文字枠のうち領域が重複している文字枠間において、前記重複を解消するよう前記文字枠を補正するとともに、前記帳票において一列に配列された文字枠のまとまりである文字枠列において、前記文字枠間での位置およびサイズのバラつきを解消するよう前記文字枠を補正し、前記ドロップアウト画像から、補正した文字枠に基づいて画像を切り出し、切り出した画像毎に文字を認識する。

また、本発明のプログラムは、文字枠が記載された帳票の読み取り画像として、前記文字枠の色が消去されたドロップアウト画像および前記文字枠の色が消去されていない非ドロップアウト画像を取得する画像取得ステップと、前記非ドロップアウト画像において、検出される帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定し、決定した仮の位置に基づいて、文字枠を検出する文字枠検出ステップと、前記文字枠検出ステップにおいて検出された文字枠のうち領域が重複している文字枠間において、前記重複を解消するよう前記文字枠を補正するとともに、前記帳票において一列に配列された文字枠のまとまりである文字枠列において、前記文字枠間での位置およびサイズのバラつきを解消するよう前記文字枠を補正する文字枠補正ステップと、前記ドロップアウト画像から、前記文字枠補正ステップにおいて補正された文字枠に基づいて画像を切り出し、切り出した画像毎に文字を認識する文字認識ステップと、をコンピュータ装置に実行させる。

本発明は、読み取り画像において帳票が歪んでいる場合にも、より精度よく文字を認識する技術を提供することができる。

本発明の第１の実施の形態としての文字認識装置の構成を示すブロック図である。 本発明の第１の実施の形態としての文字認識装置のハードウェア構成の一例を示す図である。 本発明の第１の実施の形態としての文字認識装置の動作を説明するフローチャートである。 本発明の第２の実施の形態としての文字認識装置の構成を示すブロック図である。 本発明の第２の実施の形態としての文字認識装置の動作を説明するフローチャートである。 本発明の第２の実施の形態における第１補正部の動作の詳細を説明するフローチャートである。 本発明の第２の実施の形態における第２補正部の動作の詳細を説明するフローチャートである。 本発明の第２の実施の形態において取得される非ドロップアウト画像の一例を示す図である。 本発明の第２の実施の形態において取得されるドロップアウト画像の一例を示す図である。 本発明の第２の実施の形態において非ドロップアウト画像から検出される帳票領域、帳票の種類を識別する情報、および、決定された文字枠の仮の位置の一例を示す図である。 本発明の第２の実施の形態において非ドロップアウト画像から検出される文字枠の一例を示す図である。 本発明の第２の実施の形態において非ドロップアウト画像において補正された文字枠の一例を示す図である。 本発明の第２の実施の形態においてドロップアウト画像から文字枠にしたがって切り出される画像の一例を示す図である。

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態の文字認識装置は、帳票の読み取り画像に含まれる文字を認識する装置である。以下の説明において、帳票とは、記入される文字毎に、その記入領域を囲む文字枠を含む原稿であるものとする。

（第１の実施の形態）
本発明の第１の実施の形態としての文字認識装置１の機能ブロック構成を図１に示す。図１において、文字認識装置１は、画像取得部１１と、文字枠検出部１２と、文字枠補正部１３と、文字認識部１４とを備える。

ここで、文字認識装置１は、図２に示すようなハードウェア要素によって構成可能である。図２において、文字認識装置１は、コンピュータ装置１００および読み取り装置５００によって構成可能である。コンピュータ装置１００は、ＣＰＵ（Central Processing Unit）１００１、メモリ１００２、出力装置１００３、入力装置１００４、および、周辺機器接続インタフェース１００５を含む。メモリ１００２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）等によって構成される。出力装置１００３は、ディスプレイ装置やプリンタ等のように、情報を出力する装置によって構成される。入力装置１００４は、キーボードやマウス等のように、ユーザ操作の入力を受け付ける装置によって構成される。周辺機器接続インタフェース１００５は、読み取り装置５００に接続するインタフェースである。また、読み取り装置５００は、例えば、スキャナ装置によって構成される。

この場合、画像取得部１１は、読み取り装置５００と、入力装置１００４と、周辺機器接続インタフェース１００５と、メモリ１００２に格納されるプログラムを読み込んで実行するＣＰＵ１００１とによって構成される。また、文字枠検出部１２および文字枠補正部１３は、メモリ１００２に格納されるプログラムを読み込んで実行するＣＰＵ１００１によって構成される。また、文字認識部１４は、出力装置１００３と、メモリ１００２に格納されるプログラムを読み込んで実行するＣＰＵ１００１とによって構成される。なお、文字認識装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。

次に、各機能ブロックの詳細について説明する。

画像取得部１１は、帳票の読み取り画像として、ドロップアウト画像および非ドロップアウト画像を取得する。ここで、帳票には、文字枠が記載されているものとする。文字枠は、文字が記入されるスペースを記入者に示すための図形要素である。また、ドロップアウト画像とは、文字枠の色が消去された読み取り画像をいうものとする。また、非ドロップアウト画像とは、文字枠の色が消去されていない読み取り画像をいうものとする。

例えば、画像取得部１１は、入力装置１００４からの指示に基づいて、読み取り装置５００を用いて、帳票をフルカラーモードで読み取ることにより、読み取り画像を取得する。そして、画像取得部１１は、フルカラーの読み取り画像を画像処理することにより、文字枠の色を消去したドロップアウト画像と、文字枠の色を残した非ドロップアウト画像とを生成してもよい。

あるいは、画像取得部１１は、入力装置１００４からの指示に基づいて、読み取り装置５００において文字枠の色が消去されるモードを用いて、読み取り画像をドロップアウト画像として取得してもよい。また、画像取得部１１は、入力装置１００４からの指示に基づいて、読み取り装置５００において文字枠の色が消去されないモードを用いて、読み取り画像を非ドロップアウト画像として取得してもよい。

文字枠検出部１２は、非ドロップアウト画像において、帳票領域および帳票パラメータに基づいて、文字枠の仮の位置を決定する。そして、文字枠検出部１２は、決定した仮の位置に基づいて、文字枠を構成する枠線を検出する。

ここで、帳票領域について説明する。文字枠検出部１２は、非ドロップアウト画像においてエッジ検出を行うことにより、帳票領域を検出可能である。また、文字枠検出部１２は、検出した帳票領域において、縦方向または横方向を識別してもよい。このような帳票領域における方向は、帳票領域に含まれる所定のマークに基づいて識別可能である。

また、帳票パラメータについて説明する。帳票パラメータとは、帳票の種類に応じたパラメータで、あらかじめ定められている。帳票パラメータは、帳票領域における各文字枠の位置、および、文字枠列を表す情報を含む。例えば、帳票領域における各文字枠の位置は、帳票領域の中心を基準として表されていてもよい。帳票領域の中心は、歪みの影響を受けにくいため、各文字枠の位置の基準とするのに適している。この場合、文字枠検出部１２は、非ドロップアウト画像において検出した帳票領域の中心を求め、求めた中心を基準として帳票パラメータに基づいて、各文字枠の位置を仮に決定すればよい。

また、帳票パラメータに含まれる文字枠列の情報について説明する。文字枠列とは、帳票において一列に配列された文字枠のまとまりである。帳票パラメータは、例えば、文字枠列が、文字枠の横方向の配列であるか、縦方向の配列であるかを表す情報を含んでいてもよい。あるいは、帳票パラメータは、例えば、文字枠列のそれぞれについて、その文字枠列を構成する文字枠を特定する情報を含んでいてもよい。文字枠列の情報は、後述の文字枠補正部１３により参照される。

また、文字枠検出部１２は、決定した各文字枠の仮の位置に基づいて、非ドロップアウト画像から文字枠を検出する。例えば、文字枠検出部１２は、仮に決定した位置にある文字枠を構成する枠線のそれぞれの位置を基準とした所定範囲内で、非ドロップアウト画像からその枠線に相当する線分を検出してもよい。なお、枠線とは、例えば、文字枠を構成する上端・下端・右端・左端の４本の線分である。この場合、文字枠検出部１２は、上端・下端・右端・下端の枠線のうち検出できなかった枠線については、仮に決定した文字枠の枠線をそのまま適用してもよい。また、文字枠検出部１２は、上端・下端・右端・下端として検出した枠線の長さに過不足がある場合でも、検出した枠線またはその延長線の交点を文字枠の頂点であると推定することにより、文字枠を検出してもよい。

なお、文字枠検出部１２は、非ドロップアウト画像から文字枠を検出するにあたり、非ドロップアウト画像を事前に二値化してもよい。

文字枠補正部１３は、文字枠検出部１２により検出された文字枠のうち、領域が重複している文字枠間において、重複を解消するよう文字枠を補正する。具体的には、文字枠補正部１３は、領域の重複がある文字枠のうち１つまたは複数の文字枠について、重複している領域を構成する枠線を、その文字枠のサイズが小さくなる方向に重複が無くなるまで移動することにより、文字枠を補正してもよい。例えば、上下に隣接する文字枠間に領域の重複がある場合、文字枠補正部１３は、上側の文字枠の下端の枠線を上方向に移動するとともに、下側の文字枠の上端の枠線を下方向に移動してもよい。また、左右に隣接する文字枠間に領域の重複がある場合、文字枠補正部１３は、左側の文字枠の右端の枠線を左方向に移動するとともに、右側の文字枠の左端の枠線を右方向に移動してもよい。なお、文字枠補正部１３は、領域が重複している文字枠間で重複を解消する際に、各文字枠のサイズが略同一になるよう枠線の移動を行ってもよい。

また、文字枠補正部１３は、文字枠列において、文字枠間での位置およびサイズのバラつきを解消するよう文字枠を補正する。前述のように、文字枠列とは、帳票において一列に配列された文字枠のまとまりであり、どの配列を文字枠列とするかは、帳票パラメータにおいて定められている。

ここで、位置およびサイズのバラつきを解消する手法の一例について説明する。例えば、横方向に一列に配列された文字枠からなる文字枠列を想定する。この場合、文字枠補正部１３は、各文字枠の上端同士の位置の差、および、下端同士の位置の差が、それぞれ閾値以内になるように、１つまたは複数の文字枠の上端の枠線および下端の枠線を移動してもよい。また、縦方向に一列に配列された文字枠からなる文字枠列を想定する。この場合、文字枠補正部１３は、各文字枠の右端同士の位置の差および左端同士の位置の差がそれぞれ閾値以内になるように、１つまたは複数の文字枠の右端の枠線および左端の枠線を移動してもよい。

文字認識部１４は、ドロップアウト画像から、文字枠補正部１３によって補正された文字枠にしたがって画像を切り出す。そして、文字認識部１４は、切り出した画像毎に文字を認識する。文字認識の技術には、公知の技術を採用可能である。

以上のように構成された文字認識装置１の動作について、図３を参照して説明する。

図３では、まず、画像取得部１１は、対象の帳票について、ドロップアウト画像および非ドロップアウト画像を取得する（ステップＳ１）。

次に、文字枠検出部１２は、非ドロップアウト画像において、帳票領域を検出する（ステップＳ２）。

次に、文字枠検出部１２は、検出した帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定する（ステップＳ３）。

次に、文字枠検出部１２は、決定した文字枠の仮の位置に基づいて、非ドロップアウト画像から文字枠を検出する（ステップＳ４）。

次に、文字枠補正部１３は、検出された文字枠のうち領域が重複している文字枠間において、重複を解消するよう文字枠を補正する（ステップＳ５）。

次に、文字枠補正部１３は、文字枠列において、文字枠の位置およびサイズのバラつきを解消するよう文字枠を補正する（ステップＳ６）。

次に、文字認識部１４は、ドロップアウト画像から、文字枠補正部１３によって補正された文字枠にしたがって画像を切り出す（ステップＳ７）。

次に、文字認識部１４は、切り出した画像毎に文字を認識し、認識した文字を出力する（ステップＳ８）。

以上で、文字認識装置１は動作を終了する。

次に、本発明の第１の実施の形態の効果について述べる。

本発明の第１の実施の形態としての文字認識装置は、読み取り画像において帳票が歪んでいる場合にも、より精度よく文字を認識することができる。

その理由について説明する。本実施の形態では、画像取得部が、文字枠を含む帳票について、ドロップアウト画像および非ドロップアウト画像を取得する。そして、文字枠検出部が、非ドロップアウト画像において、検出される帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定し、決定した仮の位置に基づいて、文字枠を検出する。そして、文字枠補正部が、検出された文字枠のうち領域が重複している文字枠間において、重複を解消するよう文字枠を補正する。また、文字枠補正部が、一列に配列された文字枠のまとまりである文字枠列において、文字枠間での位置およびサイズのバラつきを解消するよう文字枠を補正する。そして、文字認識部が、ドロップアウト画像から、補正された文字枠にしたがって画像を切り出し、切り出した画像毎に文字を認識するからである。

これにより、本実施の形態は、読み取り画像において帳票に歪みがある場合でも、検出した帳票領域および帳票パラメータに基づいて、歪みの影響が少ない帳票領域の中心部分を基準として文字枠の仮の位置を決定することができる。さらに、本実施の形態は、文字枠の仮の位置に基づいて、非ドロップアウト画像から文字枠を検出するので、帳票の歪みに伴い位置がずれた文字枠や歪んだ文字枠を検出することができる。ただし、帳票に歪みがあることを考慮すると、このようにして検出される文字枠は、そのサイズや位置の精度が低い場合がある。これは、帳票に含まれる文字枠以外の線分が枠線として認識される場合や、検出不能な枠線がある場合等のためである。そこで、本実施の形態では、文字枠補正部が、文字枠間における領域の重複を解消するよう文字枠を補正する。さらに、文字枠補正部が、文字枠列において文字枠間での位置およびサイズのバラつきを解消するよう文字枠を補正する。

このように、本実施の形態は、読み取り画像において帳票が歪んでいる場合にも、歪みに応じて文字枠を補正して精度よく文字枠を切り出すので、その結果、精度よく文字を認識することができる。したがって、本実施の形態は、読み取り装置の機種や方式（例えば、フラットベッド型、搬送型、非接触型等）によって読み取り画像に様々な歪みが生じる状況や、読み取り対象自体に歪みがある状況でも、精度よく帳票に記入された文字を認識することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。

まず、本発明の第２の実施の形態としての文字認識装置２の構成を図４に示す。図４において、文字認識装置２は、本発明の第１の実施の形態としての文字認識装置１に対して、文字枠検出部１２に替えて文字枠検出部２２と、文字枠補正部１３に替えて文字枠補正部２３と、文字認識部１４に替えて文字認識部２４とを備える点が異なる。また、文字枠補正部２３は、第１補正部２３１と、第２補正部２３２とを有する。なお、文字認識装置２およびその各機能ブロックは、図２を参照して説明した本発明の第１の実施の形態と同一のハードウェア要素によって構成可能である。ただし、文字認識装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。

次に、文字認識装置２の各機能ブロックについて説明する。

文字枠検出部２２は、本発明の第１の実施の形態における文字枠検出部１２と同様に構成されることに加えて、次のように構成される。

文字枠検出部２２は、文字枠の検出に用いる帳票パラメータを、次のようにして取得する。具体的には、文字枠検出部２２は、帳票の種類を識別する情報に関連付けて、帳票パラメータをあらかじめ記憶しておく。帳票パラメータは、その種類の帳票領域において各文字枠の位置およびサイズを特定可能な情報と、文字枠列を表す情報とを含む。各文字枠の位置およびサイズを特定可能な情報は、本発明の第１の実施の形態と同様に、その帳票領域の中心を基準とした情報であることが望ましい。そして、文字枠検出部２２は、非ドロップアウト画像において、帳票領域の所定範囲の情報に基づいて、帳票の種類を識別する。所定範囲とは、例えば、帳票の種類を示すＩＤやキーワードが記載されている範囲である。この場合、文字枠検出部２２は、帳票領域におけるその範囲の画像を文字として認識することにより、ＩＤまたはキーワードを、帳票の種類を識別する情報として取得すればよい。そして、文字枠検出部２２は、帳票の種類を表す情報に関連付けて記憶しておいた帳票パラメータを取得する。

また、文字枠検出部２２は、検出した帳票領域および取得した帳票パラメータに基づいて、本発明の第１の実施の形態と同様にして文字枠を検出する際に、検出パラメータを用いる。検出パラメータとは、文字枠の検出処理において用いられるパラメータである。検出パラメータの一例としては、文字枠の検出のために非ドロップアウト画像を二値化する際に用いる画素の閾値がある。また、検出パラメータの他の一例としては、枠線と判定する線分の長さがある。ただし、検出パラメータはこれらに限定されない。

また、文字枠検出部２２は、上述のようにして検出した各文字枠について、実際の文字枠と一致する確からしさを表すスコアを算出する。スコアを算出する際に考慮される要素としては、例えば、次の要素が挙げられる。

・その文字枠について検出されたサイズ（例えば、幅および高さ）と、帳票パラメータに基づくサイズとの差異
・その文字枠について検出された枠線の数（例えば、０本〜４本）
・その文字枠について検出された位置と、帳票領域および帳票パラメータに基づき決定された仮の位置との距離
例えば、文字枠検出部２２は、その文字枠について検出されたサイズ（例えば、幅および高さ）と、帳票パラメータに基づくサイズとの差異が小さいほど、スコアを高くしてもよい。あるいは、文字枠検出部２２は、その文字枠について検出された枠線の数が多いほど、スコアを高くしてもよい。また、文字枠検出部２２は、その文字枠について検出された位置と、帳票領域および帳票パラメータに基づき決定された仮の位置との距離が短いほど、スコアを高くしてもよい。さらに、文字枠検出部２２は、その文字枠について上記の各要素に関連するスコアに重みを付け、重みを付けた値を加算した値を、その文字枠のスコアとして算出してもよい。あるいは、文字枠検出部２２は、その文字枠について上記の各要素に関連するスコアの平均値を、その文字枠のスコアとして算出してもよい。

なお、文字枠検出部２２は、上述した要素に限らず、他の要素や、複数の要素の組み合わせに基づいて、スコアを算出してもよい。スコアは、後述の第２補正部２３２による補正時に参照される。

第１補正部２３１は、文字枠検出部２２によって検出された各文字枠について、文字枠列の間における重複を解消するよう補正を行う。例えば、横方向に一列に配列された文字枠からなる文字枠列を想定する。この場合、文字枠列が、縦方向に配列されていることを想定する。例えば、横書きの帳票においては、文字枠の並んだ１行が文字枠列に相当する。この場合、第１補正部２３１は、文字枠列の間における重複を解消するためには、各文字枠について、その文字枠の上または下の文字枠との間で領域が重複しているものについて、重複を解消するよう補正を行えばよい。

具体的には、第１補正部２３１は、ある文字枠に隣接する文字枠が１つ上の行（文字枠列）にあり、かつ、それらの文字枠間に重複する領域があれば、該当する文字枠の上端の枠線を下方向に移動し、１つ上の文字枠の下端の枠線を上方向に移動する補正を行う。このような補正を、第１補正部２３１は、帳票領域における２行目の最も左側の文字枠から順に、行内では右方向に、行単位では下方向に、最下行の最も右側の文字枠まで、順次行っていけばよい。

第２補正部２３２は、第１補正部２３１によって補正された各文字枠について、文字枠列の内部で、文字枠間での位置およびサイズのバラつき、並びに、領域の重複を解消するように、各文字枠の補正を行う。なお、第２補正部２３２は、このような文字枠列の内部での文字枠の補正を、基準となる文字枠の位置およびサイズに基づいて行ってもよい。

例えば、第２補正部２３２は、文字枠検出部２２によって算出された各文字枠のスコアに基づいて、文字枠列において位置およびサイズの基準となる文字枠を決定する。例えば、文字枠検出部２２によって算出された各文字枠のうちスコアが最も高い文字枠を、位置およびサイズの基準となる文字枠に決定してもよい。そして、第２補正部２３２は、文字枠列における各文字枠間での位置およびサイズのバラつき、並びに、領域の重複を、基準となる文字枠に基づいて解消する。

例えば、上述の例と同様に、横方向に一列に配列された文字枠からなる文字枠列を想定する。この場合、第２補正部２３２は、文字枠列の内部における重複を解消するためには、各文字枠について、その文字枠の右または左の文字枠との間で領域が重複しているものについて、重複を解消するよう補正を行えばよい。

具体的には、第２補正部２３２は、ある文字枠と、その右側の文字枠との間に重複する領域があれば、左側の文字枠の右端の枠線を左方向に移動し、右側の文字枠の左端の枠線を右方向に移動する補正を行う。このとき、第２補正部２３２は、左側の文字枠の幅と、右側の文字枠の幅とが、基準となる文字枠の幅により近づくように、枠線の移動を行えばよい。このような補正を、第２補正部２３２は、帳票領域の各行において、最も左側の文字枠から、右から２番目の文字枠まで、順次行っていけばよい。

また、例えば、上述の例と同様に、横方向に一列に配列された文字枠からなる文字枠列を想定する。この場合、第２補正部２３２は、文字枠列における各文字枠について、基準となる文字枠との間で、上端の枠線同士の縦方向の位置、および、下端の枠線同士の縦方向の位置を比較する。

そして、第２補正部２３２は、該当する文字枠について、基準となる文字枠との間で、上端の枠線同士および下端の枠線同士の位置の差が閾値以内になるよう、上端および下端の枠線の位置を移動して補正する。これにより、文字枠列において、各文字枠の縦のサイズのバラつきおよび縦方向の位置のバラつきが解消される。

文字認識部２４は、本発明の第１の実施の形態と同様に構成されることに加えて、次のように構成される。すなわち、文字認識部２４は、文字を認識できなかった文字枠を含む文字枠列について、文字枠検出部２２および文字枠補正部２３を用いて文字枠の検出および補正をやり直してから、再度、文字の認識を行う。文字枠検出部２２は、文字認識部２４からの通知により再度文字枠を検出する際には、検出パラメータを変更して文字枠の検出を行う。

以上のように構成された文字認識装置２の動作について、図５を参照して説明する。

図５では、まず、画像取得部１１は、本発明の第１の実施の形態と同様にステップＳ１を実行し、対象の帳票についてドロップアウト画像および非ドロップアウト画像を取得する。

次に、文字枠検出部２２は、本発明の第１の実施の形態と同様にステップＳ２を実行し、非ドロップアウト画像において、帳票領域を検出する。

次に、文字枠検出部２２は、非ドロップアウト画像の帳票領域の所定範囲に含まれる情報に基づいて、帳票の種類を識別する。そして、文字枠検出部２２は、識別した種類に関連付けた帳票パラメータを取得する（ステップＳ１３）。

次に、文字枠検出部２２は、本発明の第１の実施の形態と同様にステップＳ３を実行し、検出した帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定する。

次に、文字枠検出部２２は、決定した文字枠の仮の位置に基づいて、検出パラメータを用いて、非ドロップアウト画像から文字枠を検出する（ステップＳ１４）。

次に、文字枠検出部２２は、検出した文字枠のそれぞれについて、スコアを算出する（ステップＳ１５）。

次に、文字枠補正部２３の第１補正部２３１は、検出された文字枠について、隣接する文字枠列の間で、文字枠間における領域の重複を解消する（ステップＳ１６）。このステップの詳細については後述する。

次に、文字枠補正部２３の第２補正部２３２は、第１補正部２３１により補正された文字枠について、文字枠列の内部で、文字枠間における位置およびサイズのバラつき、並びに、領域の重複を解消する（ステップＳ１７）。このステップの詳細については後述する。

次に、文字認識部２４は、本発明の第１の実施の形態と同様にステップＳ７〜Ｓ８を実行する。すなわち、文字認識部２４は、ドロップアウト画像から、文字枠補正部２３によって補正された文字枠にしたがって画像を切り出し、切り出した画像毎に文字を認識する。

次に、文字認識部２４は、文字を認識できなかった文字枠があるか否かを判断する（ステップＳ１８）。

ここで、文字を認識できなかった文字枠がある場合、文字認識部２４は、リトライ回数が閾値未満であるか否かを判断する（ステップＳ１９）。

ここで、リトライ回数が閾値未満である場合、文字認識部２４は、文字枠の再検出を、文字枠検出部２２に要求する。そして、文字枠検出部２２は、検出パラメータを変更する（ステップＳ２０）
そして、文字認識装置２は、ステップＳ１４からの処理を繰り返す。

一方、ステップＳ１８で文字を認識できなかった文字枠がない場合、または、ステップＳ２０でリトライ回数が閾値以上であった場合、文字認識装置２は、動作を終了する。

次に、ステップＳ１６における第１補正部２３１の動作の詳細を、図６を参照して説明する。ここでは、帳票が横書きであり、文字枠として、横方向に一列に並んだ文字枠が定められているものとする。また、ここでは、第１補正部２３１は、帳票における２行目の左側の文字枠から、行内は右方向に、行単位では下方向に、最下行の右側の文字枠まで、この順序で補正処理を行うものとする。

まず、第１補正部２３１は、処理順序において最初の文字枠を選択する（ステップＡ１）。

次に、第１補正部２３１は、この文字枠について、上の行に隣接する文字枠があり、かつ、文字枠の領域が重複しているか否かを判断する（ステップＡ２）。

ここで、上の行に隣接する文字枠があり、文字枠の領域が重複している場合について説明する。この場合、第１補正部２３１は、領域が重複しなくなる位置まで、この文字枠の上端の枠線を下方向に移動し、上の行において隣接する文字枠の下端の枠線を上方向に移動する（ステップＡ３）。

一方、上の行に隣接する文字枠がないか、または、文字枠の領域が重複していない場合、第１補正部２３１は、この文字枠について処理を終了する。

そして、この文字枠が処理順序において最後の文字枠でない場合（ステップＡ４でＮｏ）、第１補正部２３１は、次に処理を行う文字枠を選択する（ステップＡ５）。

そして、第１補正部２３１は、ステップＡ２からの処理を繰り返す。

一方、この文字枠が処理順序において最後の文字枠である場合（ステップＡ４でＹｅｓ）、第１補正部２３１は、処理を終了する。

次に、ステップＳ１７における第２補正部２３２の動作の詳細を、図７を参照して説明する。ここでは、帳票が横書きであり、文字枠として、横方向に一列に並んだ文字枠が定められているものとする。

ここでは、第２補正部２３２は、帳票に含まれる文字枠列のそれぞれについて、ステップＢ１〜Ｂ１０の処理を実行する。

まず、第２補正部２３２は、この文字枠列に含まれる各文字枠について算出されているスコアに基づいて、基準となる文字枠を決定する（ステップＢ１）。

次に、第２補正部２３２は、この文字枠列における一番左側の文字枠を選択する（ステップＢ２）。

次に、第２補正部２３２は、この文字枠の上端の枠線と、基準となる文字枠の上端の枠線との縦位置の差が、閾値以上であるか否かを判断する（ステップＢ３）。

ここで、縦位置の差が閾値未満である場合、第２補正部２３２の動作は、ステップＢ５からの下端の枠線の処理に進む。

一方、縦位置の差が閾値以上である場合、第２補正部２３２は、その差が閾値未満となるよう、この文字枠の上端の枠線を移動する（ステップＢ４）。

次に、第２補正部２３２は、この文字枠の下端の枠線と、基準となる文字枠の下端の枠線との縦位置の差が、閾値以上であるか否かを判断する（ステップＢ５）。

ここで、縦位置の差が閾値未満である場合、第２補正部２３２の動作は、ステップＢ７からの領域の重複の処理に進む。

一方、縦位置の差が閾値以上である場合、第２補正部２３２は、その差が閾値未満となるよう、この文字枠の下端の枠線を移動する（ステップＢ６）。

次に、第２補正部２３２は、この文字枠と、右側に隣接する文字枠との間で、領域の重複があるか否かを判断する（ステップＢ７）。

ここで、領域の重複がない場合、第２補正部２３２の動作は、ステップＢ９に進む。

一方、領域の重複がある場合、第２補正部２３２は、領域が重複しなくなる位置まで、この文字枠の右端の枠線を左側に移動し、右側の文字枠の左端の枠線を右側に移動する（ステップＢ８）。このとき、第２補正部２３２は、この文字枠の幅と、右側の文字枠の幅とが、それぞれ、基準となる文字枠の幅により近づくように、枠線の移動を行う。

そして、この文字枠がこの文字枠列において最も右側の文字枠でない場合（ステップＢ９でＮｏ）、第２補正部２３２は、この文字枠の右側の文字枠を選択する（ステップＢ１０）。

そして、第２補正部２３２は、ステップＢ３からの処理を繰り返す。

一方、この文字枠がこの文字枠列において最も右側の文字枠である場合（ステップＢ９でＹｅｓ）、第２補正部２３２は、この文字枠列について処理を終了する。

帳票に含まれる全ての文字枠列について上述のステップＢ１〜Ｂ１０の処理を完了すると、第２補正部２３２は処理を終了する。

次に、文字認識装置２の動作を具体例で示す。

この具体例では、まず、画像取得部１１は、対象となる帳票について、図８に示す非ドロップアウト画像と、図９に示すドロップアウト画像を取得したものとする（ステップＳ１）。図８および図９に示すように、この非ドロップアウト画像およびドロップアウト画像において、帳票が歪んでいる。

次に、文字枠検出部２２は、図８の非ドロップアウト画像においてエッジ検出を行う。検出されるエッジは、帳票の歪みのため、矩形ではない。そこで、文字枠検出部２２は、検出したエッジを矩形で近似して、図１０に示すように、矩形の帳票領域を取得する（ステップＳ２）。

次に、文字枠検出部２２は、図１０の帳票領域に含まれる所定範囲のキーワード「お振り込み」を認識することにより、この帳票の種類を識別する。そして、文字枠検出部２２は、種類「お振り込み」を表す情報に関連付けてあらかじめ記憶していた帳票パラメータを取得する（ステップＳ１３）。ここでは、帳票パラメータは、帳票領域の中心を基準とした各文字枠の位置、および、各文字枠列を構成する文字枠を特定する情報である。

次に、文字枠検出部２２は、図１０の帳票領域の中心を基準として、帳票パラメータに基づいて、文字枠の仮の位置を決定する（ステップＳ３）。

次に、文字枠検出部２２は、決定した文字枠の仮の位置に基づいて、検出パラメータを用いて、非ドロップアウト画像から文字枠を検出する（ステップＳ１４）。ここでは、図１１に太線で示すように、文字枠が検出されたものとする。

なお、図１１では、検出された文字枠のサイズや位置にバラつきがある。これは、帳票が歪んでいるため、仮の文字枠の枠線の位置から所定範囲において、文字枠以外の線分や他の文字枠の枠線が誤って検出されているケースがあるためである。また、図１１において、文字枠の枠線が、線分等の無い領域に検出されているケースがある。これは、仮の文字枠の枠線の位置から所定範囲において、枠線に相当する線分が検出されず、そのために、仮の文字枠の枠線がそのまま適用されたためである。

次に、文字枠検出部２２は、検出した文字枠のそれぞれについて、スコアを算出したものとする（ステップＳ１５）。

次に、文字枠補正部２３の第１補正部２３１および第２補正部２３２は、ステップＳ１６およびステップＳ１７を実行する。これにより、図１２に示すように、文字枠間の重複が解消されるとともに、文字枠列内における位置およびサイズのバラつきが解消された。

そして、文字認識部２４は、図１３に示すように、ドロップアウト画像から、補正された文字枠にしたがって画像を切り出す。そして、文字認識部２４は、切り出した画像毎に文字を認識する（ステップＳ１７）。

ここでは、文字を認識できなかった文字枠はなかったものとする（ステップＳ１８でＮｏ）。そこで、文字認識装置２は、動作を終了する。

以上で、具体例の説明を終了する。

次に、本発明の第２の実施の形態の効果について述べる。

本発明の第２の実施の形態としての文字認識装置は、読み取り画像において帳票が歪んでいる場合にも、さらに精度よく文字を認識することができる。

その理由について説明する。本実施の形態では、本発明の第１の実施の形態と同様の構成に加えて、文字枠検出部が、検出した文字枠について、実際の文字枠の位置と一致する確からしさを表すスコアを算出する。そして、文字枠補正部において、第１補正部が、隣接する文字枠列の間において、文字枠間の領域の重複を解消するよう文字枠を補正する。また、第２補正部が、それぞれの文字枠列において、スコアに基づいて基準となる文字枠を決定する。そして、第２補正部が、文字枠列において、基準となる文字枠に基づいて、文字枠間での位置およびサイズのばらつき、並びに、領域の重複を解消するよう、文字枠を補正するからである。

これにより、本実施の形態は、非ドロップアウト画像から検出した文字枠が、帳票の歪みに伴い位置がずれている場合や、枠線の一部が検出できていない場合にも、文字枠の補正をさらに精度よく行うことができる。その結果、本実施の形態は、より精度よく文字を認識することができる。

また、本実施の形態は、文字を認識できなかった文字枠がある場合には、文字枠列の単位で、検出パラメータを変更して文字枠の検出からやり直す。このため、本実施の形態は、読み取り画像において帳票が歪んでいる場合にも、最終的に認識できない文字を極力減らすことができる。

なお、本実施の形態において、帳票において横方向に一例に配列された文字列を文字枠列とする例を中心に説明した。ただし、文字枠列を構成する文字枠が配列される方向は、限定されない。文字枠列が横方向以外の方向に一列に配列されている場合、本実施の形態は、上述の説明および図面において用いた上、下、左、右等の方向を表す単語を、適宜、他の方向を表す単語に置き換えることにより、同様に説明可能である。例えば、帳票において縦方向に一例に配列された文字列を文字枠列とする場合、上、下、左、右の単語は、それぞれ、右、左、上、下の単語に置き換えられる。

また、本実施の形態の具体例において、第１補正部が、文字枠を補正する処理順序として、帳票における２行目の左側の文字枠から、行内は右方向に、行単位では下方向に、最下行の右側の文字枠まで、この順序で補正処理を行うものとして説明した。ただし、第１補正部による文字枠の処理順序は、これに限定されない。

また、本実施の形態の具体例において、第１補正部が、文字枠を補正する処理において、選択した文字枠に対して上の行において隣接する文字枠との間で領域の重複を判定する例について説明した。ただし、第１補正部は、選択した文字枠に対して下の行において隣接する文字枠との間で領域の重複を判定してもよい。

また、本実施の形態の具体例において、第２補正部が、最も左の文字枠から順に右方向に順次文字枠を選択して補正する例について説明した。ただし、第２補正部が文字枠列の内部で文字枠を補正する順序は、これに限定されない。

また、上述した本発明の各実施の形態において、帳票は、紙媒体である例を中心に説明したが、紙媒体に限定されない。例えば、帳票は、帳票を表す情報が画面に表示された表示画面であってもよい。また、例えば、帳票は、ナンバープレートやパッケージ基板等のような紙以外の印刷物や刻印物であってもよい。その他、帳票は、読み取り装置によって読み取られることによりコンピュータ装置によって処理可能な画像データとなり得る媒体であれば、他の媒体であってもよい。なお、紙媒体の帳票は、スキャナ装置によって読み取り可能である。また、表示画面やナンバープレート、パッケージ基板等の帳票は、カメラによって読み取り可能である。

また、上述した本発明の各実施の形態において、文字枠は、４本の枠線からなる独立した矩形であるものとして説明した。ただし、文字枠は、独立した矩形に限定されない。例えば、文字枠は、縦方向および横方向に引かれた罫線によって区切られる１文字分の記入スペースであってもよい。その他、文字枠は、１文字分の記入スペースとしてコンピュータ装置により認識可能であれば、どのような図形要素により構成されていてもよい。

また、上述した本発明の各実施の形態において、文字認識装置の各機能ブロックが、メモリに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。

また、上述した本発明の各実施の形態において、文字認識装置の機能ブロックは、複数の装置に分散されて実現されてもよい。

また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した文字認識装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておく。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。

また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。

また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。

１、２ 文字認識装置
１１ 画像取得部
１２、２２ 文字枠検出部
１３、２３ 文字枠補正部
１４、２４ 文字認識部
２３１ 第１補正部
２３２ 第２補正部
１００ コンピュータ装置
５００ 読み取り装置
１００１ ＣＰＵ
１００２ メモリ
１００３ 出力装置
１００４ 入力装置
１００５ 周辺機器接続インタフェース

Claims (6)

1. 文字枠が記載された帳票の読み取り画像として、前記文字枠の色が消去されたドロップアウト画像および前記文字枠の色が消去されていない非ドロップアウト画像を取得する画像取得部と、
   前記非ドロップアウト画像において、検出される帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定し、決定した仮の位置に基づいて、文字枠を検出する文字枠検出部と、
   前記文字枠検出部により検出された文字枠のうち領域が重複している文字枠間において、前記重複を解消するよう前記文字枠を補正するとともに、前記帳票において一列に配列された文字枠のまとまりである文字枠列において、前記文字枠間での位置およびサイズのバラつきを解消するよう前記文字枠を補正する文字枠補正部と、
   前記ドロップアウト画像から、前記文字枠補正部によって補正された文字枠に基づいて画像を切り出し、切り出した画像毎に文字を認識する文字認識部と、
   を備えた文字認識装置。
2. 前記文字枠補正部は、
   前記文字枠検出部によって検出された各文字枠について、隣接する文字枠列の間における前記重複を解消するよう前記文字枠を補正する第１補正部と、
   前記第１補正部によって補正された各文字枠について、前記文字枠列において、前記文字枠間での位置およびサイズのバラつき、並びに、前記文字枠間での前記重複を解消するよう前記文字枠を補正する第２補正部と、
   を有することを特徴とする請求項１に記載の文字認識装置。
3. 前記文字枠検出部は、検出した各文字枠について、実際の文字枠と一致する確からしさを表すスコアを算出し、
   前記文字枠補正部は、前記スコアに基づいて、前記文字枠列において前記文字枠の位置およびサイズのバラつきを解消する際に基準とする文字枠を決定することを特徴とする請求項１または請求項２に記載の文字認識装置。
4. 前記文字枠検出部は、前記文字認識部によって認識できなかった文字が含まれる文字枠列について、前記文字枠を検出する際に用いる検出パラメータを変更して前記文字枠の検出を再度行い、
   前記文字枠補正部は、再度検出された文字枠について前記補正を行い、
   前記文字認識部は、再度検出されて補正された文字枠に基づいて、前記ドロップアウト画像における文字の認識を行うことを特徴とする請求項１から請求項３のいずれか１項に記載の文字認識装置。
5. 文字枠が記載された帳票の読み取り画像として、前記文字枠の色が消去されたドロップアウト画像および前記文字枠の色が消去されていない非ドロップアウト画像を取得し、
   前記非ドロップアウト画像において、検出される帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定し、決定した仮の位置に基づいて、文字枠を検出し、
   検出した文字枠のうち領域が重複している文字枠間において、前記重複を解消するよう前記文字枠を補正するとともに、前記帳票において一列に配列された文字枠のまとまりである文字枠列において、前記文字枠間での位置およびサイズのバラつきを解消するよう前記文字枠を補正し、
   前記ドロップアウト画像から、補正した文字枠に基づいて画像を切り出し、切り出した画像毎に文字を認識する方法。
6. 文字枠が記載された帳票の読み取り画像として、前記文字枠の色が消去されたドロップアウト画像および前記文字枠の色が消去されていない非ドロップアウト画像を取得する画像取得ステップと、
   前記非ドロップアウト画像において、検出される帳票領域および帳票の種類に応じた帳票パラメータに基づいて、文字枠の仮の位置を決定し、決定した仮の位置に基づいて、文字枠を検出する文字枠検出ステップと、
   前記文字枠検出ステップにおいて検出された文字枠のうち領域が重複している文字枠間において、前記重複を解消するよう前記文字枠を補正するとともに、前記帳票において一列に配列された文字枠のまとまりである文字枠列において、前記文字枠間での位置およびサイズのバラつきを解消するよう前記文字枠を補正する文字枠補正ステップと、
   前記ドロップアウト画像から、前記文字枠補正ステップにおいて補正された文字枠に基づいて画像を切り出し、切り出した画像毎に文字を認識する文字認識ステップと、
   をコンピュータ装置に実行させるプログラム。

Images