JP4935459B2 - 文字認識方法、文字認識プログラムおよび文字認識装置 - Google Patents

Description

本発明は、帳票に記入された文字を文字認識する際に、誤認識等を引き起こす、文字認識の対象とならない文字等を消去する技術に関するものである。

文字認識に係る技術は、氏名や住所等が手書きで書き込まれた帳票を、ＯＣＲ（Optical Character Reader）によって読み取り、効率的にデータベースを作成するなどの処理に用いられている。その際に、手書きの文字部分だけを文字認識の対象とするために、文字認識の対象領域を矩形で大まかに読み取って、その読み取った矩形から文字認識に不要な領域を設定した小さな矩形を削除し、文字認識の対象領域を決定する方法が開示されている（例えば、特許文献１）。
特開平１０−２６９３１２号公報

その開示されている内容について、図１０、図１１を用いて説明する。図１０は、帳票の一例を示す図である。図１１の（ａ）は、文字の読取領域を示す図であり、（ｂ）は、文字認識に不要な領域を示す図であり、（ｃ）は、文字認識の対象領域を示す図である。

図１０に示すように、帳票８０１には、氏名や住所等を書き込む欄８０２，８０３が印刷により表示されている。そして、それぞれの欄８０２，８０３には、それぞれ記入する内容を特定するために、「お名前」「ご住所」が印刷により表示されている。

例えば、図１１（ａ）に示すように、「ご住所」欄に文字が書かれる。そして、この「ご住所」欄を、まず、大まかに読み取って、読取領域９０１とする。次に、図１１（ｂ）に示すように、印刷されている「ご住所」という文字は、文字認識には不要であるため、この「ご住所」という文字を含むように削除領域９０２を設定する。そして、図１１（ｃ）に示すように、読取領域９０１から削除領域９０２を削除することによって、文字認識の対象領域として、認識対象領域９０３を決定する方法である。

しかしながら、前述の方法を用いた場合には、削除領域に含まれた手書き文字が削除されてしまい、手書き文字の一部等が欠落してしまうといった問題が懸念される。これらの例を、図１２、図１３を用いて説明する。図１２の（ａ）は、削除領域１００１に記入した文字が入った例を示す図であり、（ｂ）は、認識対象領域１００３では、記入した文字が欠落することを示す図である。図１３の（ａ）は、削除領域１１０１に記入した文字が入り、かつ、印刷文字と記入した文字が重なった例を示す図であり、（ｂ）は、認識対象領域１１０３では、記入した文字が欠落することを示す図である。
例えば、図１２（ａ）に示すように、「ご住所」という印刷文字を削除するために設定した削除領域１００１に、文字の一部が含まれて、図１２（ｂ）に示すように、認識対象領域１００３では、欠けた手書き文字となってしまうという問題がある。
また、図１３（ａ）に示すように、「ご住所」という印刷文字と手書き文字が重なってしまった場合にも、図１３（ｂ）に示すように、認識対象領域１１０３では、欠けた手書き文字となってしまうという問題がある。

そこで、本発明は前述のような問題点に鑑みて、帳票に記入された文字を文字認識する際に、誤認識等を引き起こす、文字認識の対象とならない文字等を消去する技術を提供するものである。

前記した課題を解決するため、本発明の一の手段は、処理部および記憶部を備え、帳票上の所定領域に記載された文字を読み取って、文字認識を行う文字認識装置であって、前記記憶部が、記入者により記載された文字がない状態の原帳票を読み取った参照用画像データ、および文字認識対象となる帳票を読み取った読取画像データを記憶し、前記処理部によって、前記参照用画像データおよび前記読取画像データに対して、文字認識の対象となる矩形の領域および前記読取領域内で文字認識の対象としない矩形の領域が、それぞれ読取領域および削除領域として読み取られ、前記処理部が、前記削除領域内の文字に相当する部分の画素が隣り合って一塊になっている画素の物理量と前記一塊になっている画素の位置とを関連付けて、前記記憶部に記憶し、前記記憶部から読み出した、前記参照用画像データおよび前記読取画像データにおける前記一塊になっている画素の物理量、前記一塊になっている画素の位置、または前記物理量および前記位置の双方のいずれかが一致する前記一塊になっている画素を抽出し、前記読取画像データから、前記一致する前記一塊になっている画素を消去し、前記一致する前記一塊になっている画素を消去した前記読取画像データの前記読取領域を対象として文字認識を行うこと、を特徴とする。

本発明によれば、帳票に記入された文字を文字認識する際に、誤認識等を引き起こす、文字認識の対象とならない文字等を消去することが可能である。

次に、本発明を実施するための最良の形態（以降、「実施形態」と称す）について、適宜図面を参照しながら詳細に説明する。

（実施形態）
本発明の実施形態に係る文字認識装置のハードウェア構成について、図１を用いて説明する。図１は、本発明の実施形態に係る文字認識装置１００のハードウェア構成を示す図である。
文字認識装置１００は、図１に示すように、処理部２００、入出力部３００および記憶部４００によって構成される。

処理部２００は、演算処理を実行するＣＰＵ（Central Processing Unit）２０１と、このＣＰＵ２０１が演算処理に用いる記憶部であるメインメモリ２０２とを備える。メインメモリ２０２は、ＲＡＭ（Random Access Memory）等により実現される。そして、図示しないＲＯＭ（Read Only Memory）やハードディスクなどの記憶部４００に格納されたアプリケーションプログラムがＲＡＭに展開され、ＣＰＵ２０１が、それを実行することにより種々の処理を具現化する。
また、入出力部３００は、画像入力部３０１と入出力インタフェース３０２とを備える。画像入力部３０１は、帳票をスキャナ（ＯＣＲ等）によって読み取って、その読み取った内容を画像データに変換し、処理部２００を介して、記憶部４００に記憶する。入出力インタフェース３０２は、文字認識装置１００に接続されるキーボードやマウス等の入力装置からの入力を受け付け、また、処理部２００によって演算処理される文字認識の結果等の各種データを、出力表示装置３０（図２参照）に出力する。
記憶部４００は、ＣＰＵ２０１が演算処理に用いる各種データや演算結果、または、入出力部３００によって送受信されるデータを記憶する。記憶部４００はハードディスク装置等により実現される。

次に、本発明の実施形態に係る文字認識装置１００の機能について、図２を用いて説明する。図２は、文字認識装置１００を機能展開して示した図である。
文字認識装置１００は、図２に示すように、処理部２００、入出力部３００および記憶部４００によって構成される。

まず、入出力部３００は、帳票１０を読み取って、その読み取った内容を画像データとして取得する画像入力部３０１と、文字認識装置１００に接続される入力装置２０からの入力を受け付け、および処理部２００によって演算処理される文字認識の結果等の各種データを出力表示装置３０に出力する、入出力インタフェース３０２を備える。
なお、以降では、取得した画像データの種類について区別をする必要がある場合には、画像入力部３０１が取得する、記入者によって記入されていない原帳票１０ａに対する画像データを参照用画像データと称し、また、記入者によって記入された記入済帳票１０ｂに対する画像データを読取画像データと称して説明に用いる。

処理部２００は、レイアウト解析部２１０、文字認識部２２０、出力形成部２３０で構成される。
レイアウト解析部２１０は、画像入力部３０１が取得した画像データに対して、文字認識を実行する領域である認識対象領域（図６（ｂ）、図８（ｃ）参照）を作成する。特に、本発明の課題である、誤認識等を引き起こす、文字認識の対象とならない文字等を消去する処理を実行する。
文字認識部２２０は、レイアウト解析部２１０によって認識対象領域と判断された領域内の画像データに対して、文字認識を行う。
出力形成部２３０は、文字認識部２２０によって実行される文字認識の結果を、帳票上の認識対象領域内に記載された文字としてテキストデータ等に形成して、入出力部３００を介して出力表示装置３０に出力する。

レイアウト解析部２１０は、さらに、読取領域矩形座標設定部２１１、削除領域矩形座標設定部２１２、フォーマットＤＢ作成部２１３、フォーマットＤＢ解析部２１４、認識対象領域作成部２１５、ラベリング処理部２１６、ラベル情報外接矩形サイズ比較部２１７およびラベル情報パタンテンプレートマッチング部２１８とで構成される。

読取領域矩形座標設定部２１１は、画像入力部３０１が帳票１０を読み取って取得した画像データに対して、操作者によって入力装置２０を介して指定される、矩形の読取領域の位置（座標）を読み取る。
削除領域矩形座標設定部２１２は、画像入力部３０１が帳票１０を読み取って取得した画像データに対して、操作者によって入力装置２０を介して指定される、矩形の削除領域の位置（座標）を読み取る。

ラベリング処理部２１６は、画像入力部３０１が取得した画像データに対して、４近傍（画素の縦横方向の４方向について隣接関係を調べる）および８近傍（画素の縦横斜めの８方向について隣接関係を調べる）のラベリング処理を行う。ここで、ラベリング処理とは、例えば、白地に黒で書かれた文字に対して、文字に相当する部分の黒画素が隣り合って一塊になっている画素に同じラベルを付けることをいう。そして、ラベリング処理部２１６は、さらに、同じラベルを付された一塊になっている画素に外接する矩形の座標とサイズを読み取る。なお、同じラベルを付された一塊になっている画素に外接する矩形を、ラベル情報外接矩形という。また、ラベル情報外接矩形の領域内でラベルが付された画素の集合をラベル情報パタンという。このラベル情報パタンは、例えば、画素ごとに、輝度、彩度および色相のいずれか一つ、またはそれらの組み合わせ等の物理量によって表現されてもよい。

フォーマットＤＢ作成部２１３は、参照用画像データを対象として、読取領域矩形座標設定部２１１によって読み取られた読取領域の矩形座標、削除領域矩形座標設定部２１２によって読み取られた削除領域の矩形座標、ラベリング処理部２１６によって読み取られたラベル情報外接矩形の座標とサイズ、ラベル情報パタンおよびラベリング処理により付されたラベル番号（ラベル識別情報）とを関連付けて、記憶部４００のフォーマットＤＢ４０１に記憶する。なお、ラベル情報外接矩形の座標とサイズおよびラベル情報パタンをラベル情報と称す。

フォーマットＤＢ解析部２１４は、フォーマットＤＢ作成部２１３がフォーマットＤＢ４０１に記憶した、参照用画像データに係る読取領域の矩形座標、削除領域の矩形座標、ラベル情報外接矩形の座標とサイズ、ラベル情報パタンおよびラベル番号（ラベル識別情報）を読み出して、ラベル情報外接矩形サイズ比較部２１７にそれらのデータを入力する。

ラベル情報外接矩形サイズ比較部２１７は、フォーマットＤＢ解析部２１４から入力される参照用画像データに係るラベル情報と、読取画像データに係るラベル情報とを、ラベル情報外接矩形の座標とサイズおよびラベル情報パタンに関して比較し、両者が一致するラベル情報を抽出する。そして、一致するラベル情報に対応するラベル情報パタンの文字を、読取画像データから消去する。

ラベル情報パタンテンプレートマッチング部２１８は、まず、ラベル情報外接矩形サイズ比較部２１７において不一致とされた、参照用画像データに係るラベル情報を取得する。次に、その不一致とされた参照用画像データに係るラベル情報のラベル情報パタンをテンプレートとして、読取画像データの削除領域に対してテンプレートマッチング処理を実行する。そして、そのテンプレートと一致する箇所を特定し、テンプレートと一致した箇所の読取画像データから、テンプレートのラベル情報パタンの文字を消去する。

認識対象領域作成部２１５は、読取領域矩形座標設定部２１１が読み取った読取領域の矩形座標と、削除領域矩形座標設定部２１２が読み取った削除領域の矩形座標とを用いて、読取領域から削除領域を削除した領域と、ラベル情報パタンテンプレートマッチング部２１８によって作成された削除領域とを足し合わせて、認識対象領域を作成する。または、ラベル情報外接矩形サイズ比較部２１７によって抽出された参照用画像データに係るラベル情報パタンが読取画像データからすべて消去された場合には、読取領域から削除領域を削除した領域と、ラベル情報外接矩形サイズ比較部２１７によって作成された削除領域とを足し合わせて、認識対象領域を作成する。

記憶部４００のフォーマットＤＢ４０１には、画像入力部３０１が取得した帳票１０に対する画像データが記憶される。
また、フォーマットＤＢ作成部２１３が作成した、参照用画像データに係る読取領域の矩形座標、削除領域の矩形座標、ラベル情報外接矩形の座標とサイズおよびラベル情報パタンが、ラベリング処理により付されたラベル番号（ラベル識別情報）と関連付けて記憶される。また、読取画像データに係るラベル情報外接矩形の座標とサイズおよびラベル情報パタンも、ラベリング処理により付されたラベル番号（ラベル識別情報）と関連付けて、記憶される。
さらに、認識対象領域作成部２１５が作成した、認識対象領域の画像データも、記憶される。

次に、文字認識部２２０は、記憶部４００から読み出した認識対象領域の画像データに対して、文字認識を行う。
そして、出力形成部２３０は、文字認識部２２０によって処理された文字認識の結果を、テキストデータ等に形成して、入出力部３００を介して出力表示装置３０に出力する。

次に、レイアウト解析部２１０における処理の流れについて、図３、図４、図５を用いて説明する。図３は、レイアウト解析部２１０における、参照用画像データに対する処理を示す図である。図４は、ラベル情報外接矩形の座標とサイズとラベル情報パタンとラベル番号（ラベル識別情報）とを関連付けたデータベースの一例を示す図である。また、図５は、レイアウト解析部２１０における、読取画像データから文字認識に不要な文字等を消去する処理を示す図である。

レイアウト解析部２１０における処理は、大きく２つのフェーズに分けられる。第１フェーズでは、読取画像データから文字認識に不要な文字を消去するために、参照用画像データを取得して、参照用画像データに含まれる、文字認識に不要な文字を抽出して、記憶部４００に記憶する。第２フェーズは、読取画像データを取得して、読取画像データから、第１フェーズで抽出した文字認識に不要な文字を消去し、認識対象となる画像データを作成し、記憶部４００に記憶する。

図３を用いて、参照用画像文字認識に不要な文字を、参照用画像データから抽出する、第１フェーズの処理の流れについて説明する（適宜図２参照）。
まず、記入者によって記載された文字がない状態の原帳票１０ａを、画像入力部３０１が読み取って、参照用画像データを取得する（ステップＳ３１１）。
次に、参照用画像データは、入力装置２０の表示部に表示され、操作者によって入力装置２０を介して読取領域の矩形が設定され、読取領域矩形座標設定部２１１によって、その読取領域の矩形座標が読み取られる（ステップＳ３１２）。
そして、入力装置２０の表示部に表示された参照用画像データに対して、操作者によって入力装置２０を介して削除領域の矩形が設定され、削除領域矩形座標設定部２１２によって、その削除領域の矩形座標が読み取られる（ステップＳ３１３）。
続いて、ラベリング処理部２１６は、参照用画像データに対して、４近傍および８近傍のラベリング処理を行う（ステップＳ３１４）。また、同じラベルを付された一塊になっている画素に外接するラベル情報外接矩形の座標とサイズを読み取り、ラベル情報外接矩形の領域内でラベルが付された画素の集合であるラベル情報パタンを抽出する（ステップＳ３１５）。
そして、データベースＤＢ作成部２１３が、図４に示すように、読取領域矩形座標設定部２１１によって読み取られた読取領域の矩形座標、削除領域矩形座標設定部２１２によって読み取られた削除領域の矩形座標、ラベリング処理部２１６によって抽出されたラベル情報外接矩形の座標とサイズとラベル情報パタンとラベル番号（ラベル識別情報）とを関連付けたものを、フォーマットＤＢ４０１に記憶する。すなわち、フォーマットＤＢを作成する（ステップＳ３１６）。なお、参照用画像データに係るラベル情報外接矩形の座標とサイズとラベル情報パタンとラベル番号は、請求項に記載の第１のラベル情報である。また、本発明の実施形態では、記入者によって記載された文字がない状態の原帳票１０ａを、画像入力部３０１が読み取って、参照用画像データを取得するステップから説明したが、予め参照用画像データに係るラベル情報外接矩形の座標とサイズとラベル情報パタンとラベル番号をフォーマットＤＢ４０１に記憶しておくことにするようにしてもよい。このようにしておくことにより、複数の同じ読取画像データを取得し処理する場合には、処理する都度、参照用画像データを取得するということを行わなくて済む。

図４に示すように、ラベル情報外接矩形に係るラベル情報は、ラベル番号５０１によって、ラベル情報外接矩形サイズ５０２、ラベル情報外接矩形の座標５０３およびラベル情報パタン５０４が関連付けられて、データベース化される。
なお、ラベル情報外接矩形の座標は、例えば、矩形の四隅のうちのいずれか１点の座標であればよい。また、ラベル情報パタン５０４は、例えば、画素ごとに、輝度、彩度および色相のいずれか一つ、またはそれらの組み合わせ等の物理量によって表現されてもよい。

次に、図５を用いて、読取画像データを取得して、読取画像データから、第１フェーズで抽出した文字認識に不要な文字を消去し、認識対象となる画像データを作成する、第２フェーズの処理の流れについて説明する（適宜図２参照）。
まず、記入者によって記入された記入済帳票１０ｂを、画像入力部３０１が読み取って、読取画像データを取得する（ステップＳ４１１）。
続いて、フォーマットＤＢ解析部２１４が、ステップＳ３１６においてフォーマットＤＢ４０１に記憶された、読取領域の矩形座標、削除領域の矩形座標、参照用画像データの削除領域に係るラベル情報外接矩形の座標とサイズおよびラベル情報パタンとを読み出す（ステップＳ４１２）。
そして、ラベリング処理部２１６は、読取画像データに対して、４近傍および８近傍のラベリング処理を行う（ステップＳ４１３）。また、同じラベルが付された一塊になっている画素に外接するラベル情報外接矩形の座標とサイズを読み取り、ラベル情報外接矩形の領域内でラベルが付された画素の集合であるラベル情報パタンを抽出する（ステップＳ４１４）。そして、読み取り画像データに係るラベル情報外接矩形の座標とサイズとラベル情報パタンとラベル番号は、記憶部４００に記憶される。なお、読み取り画像データに係るラベル情報外接矩形の座標とサイズとラベル情報パタンとラベル番号は、請求項に記載の第２のラベル情報である。
ところで、ステップＳ４１２は、ステップＳ４１３とステップＳ４１４の後に行われてもよい。

次に、ラベル情報外接矩形サイズ比較部２１７は、ステップＳ４１２においてフォーマットＤＢ４０１から読み出された、参照用画像データに係るラベル情報外接矩形（請求項における第１のラベル情報外接矩形）の座標とサイズおよびラベル情報パタンと、ステップＳ４１４において抽出された読取画像データに係るラベル情報外接矩形（請求項における第２のラベル情報外接矩形）の座標とサイズおよびラベル情報パタンとを比較する（ステップＳ４１５）。そして、比較により、両者が一致するラベル情報パタンを読取画像データから消去する（ステップＳ４１６）。
次に、ステップＳ４１６において、すべての参照用画像データに係るラベル情報（請求項における第１のラベル情報）が、読取画像データから消去されたか否かを判定する（ステップＳ４１７）。そして、すべての参照用画像データに係るラベル情報パタンが消去された場合（ステップＳ４１７でＹｅｓ）には、ステップＳ４２０へ進む。また、ステップＳ４１６において、読取画像データから消去されていない参照用画像データに係るラベル情報パタンがある場合（ステップＳ４１７でＮｏ）には、ステップＳ４１８へ進む。

ステップＳ４１８では、ラベル情報パタンテンプレートマッチング部２１８が、ステップＳ４１６において、読取画像データから消去されていない参照用画像データに係るラベル情報パタンを取得する。そして、その消去されていない参照用画像データに係るラベル情報パタンをテンプレートとして、読取画像データの削除領域に対してテンプレートマッチング処理を実行し、そのテンプレートと一致する箇所を特定する。
次に、テンプレートマッチングにより、テンプレートと一致した箇所の読取画像データから、テンプレートのラベル情報パタンの文字を消去する（ステップＳ４１９）。
なお、テンプレートマッチングは、参照用画像データに係るラベル情報パタンをテンプレートとして、読取画像データに係るラベル情報パタンと重なっている部分の類似度等を計算し、類似度が最大になる位置を決定する手法である。例えば、類似度の計算には、画素の振幅の平均時二乗誤差を計算する方法が用いられるが、類否が判断できる方法であれば、別の方法を用いてもよい。

次に、認識対象領域作成部２１５は、読取領域矩形座標設定部２１１が読み取った読取領域の矩形座標と、削除領域矩形座標設定部２１２が読み取った削除領域の矩形座標を用いて、読取領域から削除領域を削除した領域と、ステップＳ４１７でＹｅｓの場合に作成された削除領域、または、ステップＳ４１９で作成された削除領域とを足し合わせて、認識対象領域を作成する（ステップＳ４２０）。

そして、文字認識部２２０は、記憶部４００から読み出した認識対象領域の画像データに対して、文字認識を行う（ステップＳ４２１）。
続けて、出力形成部２３０は、文字認識部２２０によって処理された文字認識の結果を、テキストデータ等に形成して、入出力部３００を介して出力表示装置３０に出力する（ステップＳ４２２）。

ここで、ラベル情報外接矩形サイズ比較部２１７による処理（ステップＳ４１５とステップＳ４１６）について、図６、図７を用いてより詳細に説明する。図６の（ａ）は、削除領域６０１に文字の一部が入り込んだ場合の例を示す図であり、（ｂ）は、ラベル情報外接矩形サイズ比較２１７による処理結果を示す図である。図７の（ａ）は、参照用画像データに係るラベリング処理の結果を示す図であり、（ｂ）は、読取画像データに係るラベリング処理の結果を示す図であり、（ｃ）は、（ａ）と（ｂ）のラベルに係る情報について比較した結果を示す図である。

図６（ａ）に示すように、削除領域６０１に手書き文字の一部が入り込むことが起こる。その場合、読取領域６０２から削除領域６０１を削除すると、手書き文字の一部が欠けてしまう。
そこで、ラベル情報外接矩形サイズ比較部２１７によって、読取領域６０２から、手書き文字が欠けないようにして、「ご住所」の文字を消去した結果が、図６（ｂ）に示される認識対象領域６０３である。

この処理過程について、図７を用いて、より詳細に説明する（適宜図２，３，４参照）。
図７（ａ）は、参照用画像データに係る削除領域６０４を示している。ラベリング処理部２１６におけるラベリング処理（ステップＳ３１４）の結果、ラベル１〜９が抽出され、それぞれのラベルに対して、ラベル情報外接矩形が決定される。
一方、図７（ｂ）は、読取画像データに係る削除領域６０５を示している。ラベリング処理部２１６におけるラベリング処理（ステップＳ４１３）の結果、ラベル１〜１３が抽出され、それぞれのラベルに対して、ラベル情報外接矩形が決定される。

ラベル情報外接矩形サイズ比較部２１７は、図７（ａ）のラベル情報外接矩形の座標とサイズおよびラベル情報パタンと、図７（ｂ）のラベル情報外接矩形の座標とサイズおよびラベル情報パタンとを比較して、完全に一致するか否かを判断する。
その結果が、図７（ｃ）に示されている。図７（ａ）の参照用画像データに係るラベル１〜９は、図７（ｂ）の読取画像データに係るラベルと一致するものが存在すると判断される。そして、一致すると判断された、図７（ａ）のラベル情報パタンが、図７（ｂ）の読取画像データから消去される。
一方、図７（ｂ）のラベル５，１１〜１３（符号６２５，符号６３１〜６３３）は、不一致と判断されるので、消去されずに削除領域に残される。そして、認識対象領域作成部２１５によって、この消去処理が行われた削除領域が、図６（ａ）の削除領域６０１と置き換えられて、図６（ｂ）の認識対象領域６０３が作成される。

別の例として、削除領域に手書き文字が入り込んだ上に、原帳票に印刷されている文字と重なる場合も想定される。その際に、ラベル情報パタンテンプレートマッチング部２１８による処理（ステップＳ４１８とステップＳ４１９）について、図８、図９を用いてより詳細に説明する。図８の（ａ）は、削除領域７０１に文字の一部が入り込んだ場合の例を示す図であり、（ｂ）は、ラベル情報外接矩形サイズ比較部２１７による処理結果を示す図であり、（ｃ）は、ラベル情報パタンテンプレートマッチング部２１８による処理結果を示す図である。図９の（ａ）は、ラベル情報外接矩形サイズ比較部２１７の処理で消去されなかった参照用画像データに係るラベルを示す図であり、（ｂ）は、ラベル情報外接矩形サイズ比較部２１７の処理後の読取画像データに係る削除領域のラベルを示す図であり、（ｃ）は、（ａ）と（ｂ）のラベルに係る情報について比較した結果を示す図である。

図８（ａ）に示すように、削除領域７０１に手書き文字の一部が入り込み、さらに、原帳票に印刷されている文字に重なることが起きる。この図８（ａ）では、「埼」と「ご」が重なっている例を示している。この場合、読取領域７０２から削除領域７０１を削除すると、手書き文字の一部が欠けてしまう。
さらに、図８（ｂ）に示すように、ラベル情報外接矩形サイズ比較部２１７（ステップＳ４１５とステップＳ４１６）では、ラベルが一致しない部分は消去されないため、「ご」の下の部分が消去されずに残される。すなわち、「埼」と「ご」の重なっている部分が消去されない。
そこで、ラベル情報パタンテンプレートマッチング部２１８によって、ラベル情報外接矩形サイズ比較部２１７による処理後の認識対象領域７０３から、「埼」と重なっている「ご」の下の部分を消去した結果が、図８（ｃ）に示される認識対象領域７０５である。

この処理過程について、図９を用いてより詳細に説明する（適宜図２，３，４参照）。
図９（ａ）は、参照用画像データに係る削除領域７０６を示している。ラベル情報外接矩形サイズ比較部２１７におけるラベル情報外接矩形サイズ比較（ステップＳ４１５）の結果、ラベル１（符号７１１）が不一致として残されている。
一方、図９（ｂ）は、読取画像データに係る削除領域７０７を示している。ラベル情報外接矩形サイズ比較部２１７におけるラベル情報パタン消去（ステップＳ４１６）の結果、ラベル４，１０〜１４（符号７２４，符号７３０〜７３３）が残されている。

ラベル情報パタンテンプレートマッチング部２１８は、図９（ａ）のラベル１（符号７１１）のラベル情報パタンをテンプレートとして、読取画像データの削除領域７０７に対してテンプレートマッチング処理を実行し、そのテンプレートと一致する箇所を特定する。その際に、ラベル情報外接矩形の座標を初期値として用いると、演算量が少なくて済む。
その結果が、図９（ｃ）に示されている。図９（ａ）の参照用画像データに係るラベル１は、図９（ｂ）の読取画像データに係るラベル４（符号７２４）の一部に一致すると判断される。そして、一致すると判断された、図９（ａ）のラベル１（符号７１１）のラベル情報パタンが、図９（ｂ）の読取画像データから消去される。
そして、認識対象領域作成部２１５によって、この消去処理がなされた削除領域が、図８（ｂ）の削除領域７０４と置き換えられて、図８（ｃ）の認識対象領域７０５が作成される。

このように、本発明の実施形態によれば、帳票に記入された文字を文字認識する際に、まず、文字認識の対象とならない文字等を含む削除領域を設定することにより、ラベリング処理やテンプレートマッチングの処理を行う演算量を低減することが可能となる。そして、消去すべき文字と記入された文字とが重なっていない場合については、ラベル情報外接矩形サイズ比較部２１７によって、文字認識の対象となる読取画像データから、参照用画像データのラベル情報パタンと一致するラベル情報パタンの文字を消去することによって、誤認識等を引き起こす文字認識の対象とならない文字を消去することが可能となる。 さらに、消去すべき文字と記入された文字とが重なっている場合については、ラベル情報パタンテンプレートマッチング部２１８によって、消去すべき文字に該当する部分が特定され、文字認識の対象とならない文字を消去することが可能となる。なお、本発明の実施形態では削除領域に手書き文字が入り込んだ上に、原帳票に印刷されている文字と重なる場合にラベル情報パタンテンプレートマッチング部２１８による処理を行うように説明したが、ラベル情報外接矩形サイズ比較部２１７の処理を経ずに初めからラベル情報パタンテンプレートマッチング部２１８による処理を行ってもよい。本発明の実施形態のように、ラベル情報外接矩形サイズ比較部２１７の処理を行った後にラベル情報パタンテンプレートマッチング部２１８による処理を行うようにしたことにより、消去すべき文字と記入された文字とが重なっていない場合については、ラベル情報外接矩形サイズ比較部２１７の処理を行うだけでいいので処理時間の高速化を図ることができる。

本発明の実施形態に係る文字認識装置のハードウェア構成を示す図である。 文字認識装置を機能展開して示した図である。 レイアウト解析部における、参照用画像データに対する処理を示す図である。 ラベル情報外接矩形の座標とサイズとラベル情報パタンとラベル番号とを関連付けたデータベースの一例を示す図である。 レイアウト解析部における、読取画像データから文字認識に不要な文字等を消去する処理を示す図である。 （ａ）は、削除領域に文字の一部が入り込んだ場合の例を示す図であり、（ｂ）は、ラベル情報外接矩形サイズ比較による処理結果を示す図である。 参照用画像データに係るラベリング処理の結果を示す図であり、（ｂ）は、読取画像データに係るラベリング処理の結果を示す図であり、（ｃ）は、（ａ）と（ｂ）のラベルに係る情報について比較した結果を示す図である。 （ａ）は、削除領域に文字の一部が入り込んだ場合の例を示す図であり、（ｂ）は、ラベル情報外接矩形サイズ比較部による処理結果を示す図であり、（ｃ）は、ラベル情報パタンテンプレートマッチング部による処理結果を示す図である。 （ａ）は、ラベル情報外接矩形サイズ比較部の処理で消去されなかった参照用画像データに係るラベルを示す図であり、（ｂ）は、ラベル情報外接矩形サイズ比較部の処理後の読取画像データに係る削除領域のラベルを示す図であり、（ｃ）は、（ａ）と（ｂ）のラベルに係る情報について比較した結果を示す図である。 帳票の一例を示す図である。 （ａ）は、文字の読取領域を示す図であり、（ｂ）は、文字認識に不要な領域を示す図であり、（ｃ）は、文字認識の対象領域を示す図である。 （ａ）は、削除領域に記入した文字が入った例を示す図であり、（ｂ）は、認識対象領域では、記入した文字が欠落することを示す図である。 （ａ）は、削除領域に記入した文字が入り、かつ、印刷文字と記入した文字が重なった例を示す図であり、（ｂ）は、認識対象領域では、記入した文字が欠落することを示す図である。

符号の説明

１０ 帳票
１０ａ 原帳票
１０ｂ 記入済帳票
１００ 文字認識装置
２００ 処理部
２１０ レイアウト解析部
２１１ 読取領域矩形座標設定部
２１２ 削除領域矩形座標設定部
２１３ フォーマットＤＢ作成部
２１４ フォーマットＤＢ解析部
２１５ 認識対象領域作成部
２１６ ラベリング処理部
２１７ ラベル情報外接矩形サイズ比較部
２１８ ラベル情報パタンテンプレートマッチング部
３００ 入出力部
４００ 記憶部
４０１ フォーマットＤＢ

Claims (6)

1. 帳票上の所定領域に記載された文字を読み取って、文字認識を行う文字認識装置において用いられる文字認識方法であって、
   前記文字認識装置は、処理部、記憶部および入力部を備え、
   記入者により記載された文字がない状態の原帳票を読み取った参照用画像データおよび文字認識対象となる帳票を読み取った読取画像データに対し、前記入力部によって、文字認識の対象となる矩形の領域が読取領域として設定され、および前記読取領域内で文字認識の対象としない矩形の領域が削除領域として設定され、
   前記処理部は、前記削除領域内の文字に相当する部分の画素が隣り合って一塊になっている画素に同じラベルを付けるラベリング処理を実行し、そのラベリング処理により同じラベルが付された一塊の画素に外接するラベル情報外接矩形とその矩形内でラベルが付された画素を表すラベル情報パタンとを関連付けて、前記参照用画像データに対しては第１のラベル情報として、および前記読取画像データに対しては第２のラベル情報として、前記記憶部に記憶し、
   さらに、前記処理部は、前記記憶部から読み出した、前記第１のラベル情報と前記第２のラベル情報とを比較して、少なくとも両者のラベル情報外接矩形サイズが一致するラベル情報を抽出し、前記読取画像データから、前記一致するラベル情報に対応するラベル情報パタンを消去し、前記一致するラベル情報に対応するラベル情報パタンを消去した前記読取画像データの前記読取領域を対象として文字認識を行うこと、
   を特徴とする文字認識方法。
2. 前記第１のラベル情報と前記第２のラベル情報との比較において、一致しない第１のラベル情報が存在する場合には、
   前記処理部は、その一致しなかった第１のラベル情報に対応するラベル情報パタンをテンプレートとして、前記読取画像データの削除領域に対してテンプレートマッチング処理を実行して、そのテンプレートと一致する箇所を特定し、前記読取画像データの前記テンプレートと一致した箇所から、前記テンプレートのラベル情報パタンを消去し、前記テンプレートのラベル情報パタンを消去した前記読取画像データの前記読取領域を対象として文字認識を行うこと、
   を特徴とする請求項１に記載の文字認識方法。
3. 帳票上の所定領域に記載された文字を読み取って、文字認識を行う文字認識装置において用いられる文字認識方法であって、
   前記文字認識装置は、処理部、記憶部および入力部を備え、
   記入者により記載された文字がない状態の原帳票を読み取った参照用画像データおよび文字認識対象となる帳票を読み取った読取画像データに対し、前記入力部によって、文字認識の対象となる矩形の領域が読取領域として設定され、および前記読取領域内で文字認識の対象としない矩形の領域が削除領域として設定され、
   前記処理部は、前記削除領域内の文字に相当する部分の画素が隣り合って一塊になっている画素に同じラベルを付けるラベリング処理を実行し、そのラベリング処理により同じラベルが付された一塊の画素に外接するラベル情報外接矩形とその矩形内でラベルが付された画素を表すラベル情報パタンとを関連付けて、前記参照用画像データに対しては第１のラベル情報として、および前記読取画像データに対しては第２のラベル情報として、前記記憶部に記憶し、
   さらに、前記処理部は、前記記憶部から読み出した、前記第１のラベル情報と前記第２のラベル情報とを用いて、前記第１のラベル情報に対するラベル情報パタンをテンプレートとして、前記第２のラベル情報に対するラベル情報パタンに対してテンプレートマッチング処理を実行して、そのテンプレートと一致する箇所を特定し、一致した箇所の前記読取画像データから、前記テンプレートのラベル情報パタンを消去し、前記テンプレートのラベル情報パタンを消去した前記読取画像データの前記読取領域を対象として文字認識を行うこと、
   を特徴とする文字認識方法。
4. 帳票上の所定領域に記載された文字を読み取って、処理部、記憶部および入力部を備えるコンピュータに文字認識させる文字認識プログラムであって、
   記入者により記載された文字がない状態の原帳票を読み取った参照用画像データおよび文字認識対象となる帳票を読み取った読取画像データに対し、前記入力部によって、文字認識の対象となる矩形の領域を読取領域として設定させ、および前記読取領域内で文字認識の対象としない矩形の領域を削除領域として設定させ、
   前記処理部に、前記削除領域内の文字に相当する部分の画素が隣り合って一塊になっている画素に同じラベルを付けるラベリング処理を実行させ、そのラベリング処理により同じラベルが付された一塊の画素に外接するラベル情報外接矩形とその矩形内でラベルが付された画素を表すラベル情報パタンとを関連付けて、前記参照用画像データに対しては第１のラベル情報として、および前記読取画像データに対しては第２のラベル情報として、前記記憶部に記憶させ、
   さらに、前記処理部に、前記記憶部から読み出した、前記第１のラベル情報と前記第２のラベル情報とを比較させて、少なくとも両者のラベル情報外接矩形のサイズが一致するラベル情報を抽出させ、前記読取画像データから、前記一致するラベル情報に対応するラベル情報パタンを消去させ、
   前記第１のラベル情報と前記第２のラベル情報との比較において、一致しない第１のラベル情報が存在する場合には、
   前記処理部に、その一致しなかった第１のラベル情報に対応するラベル情報パタンをテンプレートとして、前記読取画像データの削除領域に対してテンプレートマッチング処理を実行させて、そのテンプレートと一致する箇所を特定させ、前記読取画像データの前記テンプレートと一致した箇所から、前記テンプレートのラベル情報パタンを消去させ、前記テンプレートのラベル情報パタンを消去した前記読取画像データの前記読取領域を対象として前記コンピュータに文字認識させること、
   を特徴とする文字認識プログラム。
5. 処理部および記憶部を備え、帳票上の所定領域に記載された文字を読み取って、文字認識を行う文字認識装置であって、
   前記記憶部は、記入者により記載された文字がない状態の原帳票を読み取った参照用画像データ、および文字認識対象となる帳票を読み取った読取画像データを記憶し、
   前記処理部によって、前記参照用画像データおよび前記読取画像データに対して、文字認識の対象となる矩形の領域および前記読取領域内で文字認識の対象としない矩形の領域が、それぞれ読取領域および削除領域として読み取られ、
   前記処理部は、前記削除領域内の文字に相当する部分の画素が隣り合って一塊になっている画素の物理量と前記一塊になっている画素の位置とを関連付けて、前記記憶部に記憶し、
   前記記憶部から読み出した、前記参照用画像データおよび前記読取画像データにおける前記一塊になっている画素の物理量と、前記一塊になっている画素の位置と、前記物理量および前記位置とのいずれかが一致する前記一塊になっている画素を抽出し、前記読取画像データから、前記一致する前記一塊になっている画素を消去し、前記一致する前記一塊になっている画素を消去した前記読取画像データの前記読取領域を対象として文字認識を行うこと、
   を特徴とする文字認識装置。
6. 帳票上の所定領域に記載された文字を読み取って、文字認識を行う文字認識装置であって、
   前記文字認識装置は、処理部、記憶部および入力部を備え、
   記入者により記載された文字がない状態の原帳票を読み取った参照用画像データおよび文字認識対象となる帳票を読み取った読取画像データに対し、前記入力部によって、文字認識の対象となる矩形の領域が読取領域として設定され、および前記読取領域内で文字認識の対象としない矩形の領域が削除領域として設定され、
   前記処理部は、前記削除領域内の文字に相当する部分の画素が隣り合って一塊になっている画素に同じラベルを付けるラベリング処理を実行し、そのラベリング処理により同じラベルが付された一塊の画素に外接するラベル情報外接矩形とその矩形内でラベルが付された画素を表すラベル情報パタンとを関連付けて、前記参照用画像データに対しては第１のラベル情報として、および前記読取画像データに対しては第２のラベル情報として、前記記憶部に記憶し、
   さらに、前記処理部は、前記記憶部から読み出した、前記第１のラベル情報と前記第２のラベル情報とを比較して、少なくとも両者のラベル情報外接矩形のサイズが一致するラベル情報を抽出し、前記読取画像データから、前記一致するラベル情報に対応するラベル情報パタンを消去し、
   前記第１のラベル情報と前記第２のラベル情報との比較において、一致しない第１のラベル情報が存在する場合には、
   前記処理部は、その一致しなかった第１のラベル情報に対応するラベル情報パタンをテンプレートとして、前記読取画像データの削除領域に対してテンプレートマッチング処理を実行して、そのテンプレートと一致する箇所を特定し、前記読取画像データの前記テンプレートと一致した箇所から、前記テンプレートのラベル情報パタンを消去し、前記テンプレートのラベル情報パタンを消去した前記読取画像データの前記読取領域を対象として文字認識を行うこと、
   を特徴とする文字認識装置。

Images