JP4635845B2 - Ｏｃｒ装置、フォームアウト方法及びフォームアウトプログラム - Google Patents

Description

本発明は、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するＯＣＲ装置に関し、より詳しくは、入力された帳票の画像データの中から記入された文字画像のみを抽出し、出力するフォームアウト機能を備えたＯＣＲ装置に関する。

従来、ＯＣＲ技術を応用し、光学的に読み取られた帳票等から記入された文字画像のみを分離抽出する技術（フォームアウト）として、例えば、ドロップアウト処理技術が開発され実用化されている。
ドロップアウト処理技術とは、予め帳票を作成する際に、罫線等のフォームを赤や緑といったカラーで印刷し、文字入力後の帳票からカラー部分の画像を除去して文字画像のみを抽出する技術であり、各種帳票類の読み取り・入力処理に広く活用されている。

しかしながら、従来のドロップアウト方式では、読み取り及び除去が可能なドロップアウトカラーが読み取り装置等によって様々に異なるため、処理可能な色が特定の色に限定されてしまい、汎用性や利便性、経済性等に欠けるという問題があった。
このため、このようなドロップアウト処理を用いない方法として、予め帳票の固定的なフォームを記憶しておき、文字入力後の帳票からこの固定フォームのみを削除して文字画像を抽出する方法が採られるようになった。

ところが、この種の帳票フォームを固定・記憶するフォームアウトの方法では、画像の位置ずれ等があるとフォームアウト処理ができないという事態が生じることがあった。
そこで、これまで、このような帳票フォームを利用したフォームアウト方式を改善する技術として種々の提案がなされてきた。

例えば、特許文献１には、文字が書き込まれたテンプレートから基準テンプレートを除去するための微細位置合わせの方法等が提案されている。
また、特許文献２には、帳票上に特別のマークを設けることなく位置合わせを行う画像位置合わせ方法等が提案されている。
さらに、特許文献３には、黒背景機能なしで、専用マークを用いずに、用紙中の罫線の有無に左右されずに用紙の位置合わせを可能にする用紙位置合わせ装置等が提案されている。

特表平０８−５０４０７６号公報（第１−５頁、第１図） 特開平１０−０９１７８３号公報（第１−３頁、第１図） 特開平１１−００３４３１号公報（第１−５頁、第４図）

しかしながら、上述の特許文献１に提案されている位置合わせの方法等では、参照画像と入力画像の位置合わせの際、画像を縦軸、横軸に投射し、それぞれ黒画素数を比較するようにしているため、縮尺誤差や回転による歪みを発生するコピー機やＦＡＸ等には対応できないという問題が生じた。
また、特許文献２に提案されている画像位置合わせ方法等では、罫線の交差部分（十字点）を検出して位置合わせを行うようにしているため、罫線を含まない帳票ではフォームアウトができないという問題があった。
さらに、上特許文献３に提案されている用紙位置合わせ装置等では、入力画像全体が同一の伸縮率・回転角で変形していることを前提としており、局所的な変形誤差を考慮していなかった。このため、プリンタでの帳票印刷時や、スキャナ装置での搬送時に生じる非線形の歪みには対応できないという問題が発生した。

本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、入力された帳票の読み取り位置指定用マークや罫線の有無、印刷機器によるサイズ誤差、印刷ズレ、入力画像の伸縮、又は局所的な変形等に拘わらず、どのような用紙・帳票類であってもフォームアウトが可能なＯＣＲ装置の提供を目的とする。

上記目的を達成するため、本発明のＯＣＲ装置は、請求項１に記載するように、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するＯＣＲ装置であって、前記光学的読み取り手段によって帳票の画像データを入力する画像入力部と、入力した未記入帳票の画像データを参照画像として記憶する参照画像記憶部と、入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する辞書画像記憶部と、入力した記入済み帳票の画像と前記辞書画像との差分画像を生成する差分画像生成部と、前記差分画像生成部によって生成された差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する回転角・拡大率検出部と、前記回転角・拡大率検出部で検出された回転角及び拡大率によって前記参照画像を変換する参照画像回転・拡大部と、前記参照画像回転・拡大部によって変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する出力画像生成部とを備えた構成としてある。

このような構成からなる本発明のＯＣＲ装置によれば、画像入力部によって入力された記入済み帳票画像の回転角及び拡大率を検出し、検出された回転角及び拡大率によって参照画像を変換させることによって、処理対象となる記入済み帳票画像と参照画像の双方のフォームを一致させるようにしてある。そして、変換された参照画像と記入済み帳票画像との差分画像を生成し、出力することでフォームアウトを実現している。
このため、回転や伸縮によって生じた歪みを検出し、補正することができる。
したがって、画像スキャン時に発生するサイズ誤差（拡大・縮小）、印刷ズレ、入力画面の伸縮等が生じても、これらを補正し、フォームアウト処理を確実に実施することができる。

また、本発明のＯＣＲ装置は、入力された未記入帳票の画像データを一以上の行及び列に分割することにより複数の分割画像を生成する画像分割部と、前記画像分割部によって生成された分割画像を二値化し、二値化して得られた画素のうち一方の画素からなる画像の輪郭長の和を計算する特徴抽出部と、前記画像分割部によって生成された分割画像の中から前記輪郭長の和が最も大きい分割画像を検出する最大特徴領域検出部と、前記最大特徴領域検出部によって検出された分割画像を所定の回転角及び拡大率によって複数の画像データに変換する拡大・回転加工部と、を備え、前記辞書画像記憶部が、前記拡大・回転加工部によって変換された複数の画像データを辞書画像として記憶する構成としてある。

そして、本発明のＯＣＲ装置は、請求項３に記載するように、前記差分画像生成部は、前記記入済み帳票画像をラスタ走査し、所定の画像データを取得するラスタ走査手段と、前記ラスタ走査手段によって取得した画像データから前記辞書画像の領域に相当する領域を抽出する領域抽出手段と、抽出した領域において、前記記入済み帳票画像と前記辞書画像との差分画像を生成する差分画像生成手段とを、備えた構成としてある。

このような構成からなる本発明のＯＣＲ装置によれば、未記入帳票の画像データを複数に分割し、その中でも最も特徴量の大きい分割画像を抽出し、この分割画像を所定の回転角及び拡大率で変換し複数の辞書画像を作成するようにしている。
また、記入済み帳票の画像データ上で、これらすべての辞書画像をラスタ走査し、各位置においてを差分画像を生成するようにしてある。
このため、記入済み帳票画像の回転角及び拡大率の正確な検出につながり、結果、精度の高いフォームアウトが可能となる。

また、本発明のＯＣＲ装置は、前記回転角・拡大率検出部は、前記差分画像生成部によって生成された差分画像を二値化し、二値化して得られた画素のうち一方の画素の合計面積を計算する画素面積計算手段と、前記差分画像生成部によって生成された差分画像の中から前記合計面積が最も小さい差分画像を抽出する差分画像抽出手段と、前記差分画像抽出手段によって抽出された差分画像の生成にかかる辞書画像の回転角及び拡大率を、前記記入済み帳票画像の回転角及び拡大率とする回転角・拡大率決定手段とを備えた構成としてある。

このような構成からなる本発明のＯＣＲ装置によれば、差分画像生成部によって生成された複数の差分画像の中から、差分を表す画素の面積が最も少ない差分画像を抽出するようにしてある。また、その面積が予め定めた閾値以下であることを条件としてある。
このため、記入済み帳票画像の回転角や拡大率の決定に際し、一定以上の精度を保つことが可能となる。
したがって、最終的なフォームアウト出力において、高い品質を維持することができる。

また、本発明のＯＣＲ装置は、前記参照画像回転・拡大部によって変換された参照画像を、一以上の行及び列に分割することによって複数の小領域参照画像を生成する参照画像分割部と、前記小領域参照画像と前記入力済み帳票画像との位置を合わせる位置合わせ部とを備え、前記出力画像生成部は、前記位置合わせ部により小領域ごとの位置合わせが行われた後に、各小領域画像と記入済み帳票画像との差分画像を生成し出力する構成としてある。

特に、前記位置合わせ部は、前記参照画像分割部によって生成された各小領域参照画像ごとに前記記入済み帳票画像を所定の指定位置を基準として重ね合わせる基準位置合わせ手段と、前記指定位置を基準に一定の範囲内で前記各小領域参照画像及び／又は前記記入済み帳票画像を移動させる画像ずらし手段と、前記範囲内で前記各小領域参照画像と記入済み帳票画像との差分画像を生成する小領域差分画像生成手段と、生成された差分画像の中から差分絶対値が最も少ない各差分画像を抽出する小領域差分画像抽出手段と、前記小領域差分画像抽出手段によって抽出された各差分画像の生成に係る各小領域参照画像及び／又は入力済み帳票画像の位置をもって、画像の位置を決定する位置決定手段とを備えた構成としてある。

このような構成からなる本発明のＯＣＲ装置によれば、差分画像の生成の際、記入済み帳票画像と参照画像との位置合わせを小領域単位で行うこととしている。
したがって、局所的な歪みも補正できるため、さらに精度の高いフォームアウトを実現できる。
また、位置合わせのためのマークや罫線等が不要なので、帳票作成の際の制限が無くなり、利便性を向上することができる。

また、本発明のフォームアウト方法は、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するフォームアウト方法であって、未記入帳票の画像データを入力するステップ、入力した未記入帳票の画像データを参照画像として記憶するステップ、入力した未記入帳票の画像データの一部を所定の回転率及び拡大率で変換し、辞書画像として記憶するステップ、記入済み帳票の画像データを入力するステップ、前記記入済み帳票画像と前記辞書画像との差分画像を生成するステップ、前記差分画像に基づいて前記記入済み帳票画像の回転率及び拡大率を検出するステップ、検出された回転率及び拡大率によって前記参照画像を変換するステップ、変換された参照画像と前記未記入帳票画像との差分画像を生成し出力するステップとを有する方法としてある。

このように、本発明は上述した装置発明としてだけでなく、方法発明としても実現化することができる。
これによって、具体的な装置構成に限定されることなく、前記各ステップを備える限り、本発明を実現化することができ、汎用性の高いフォームアウト方法を提供することができる。

また、本発明のフォームアウトプログラムは、光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するためにコンピュータを、前記光学的読み取り手段によって帳票の画像データを入力する手段、入力した未記入帳票の画像データを参照画像として記憶する手段、入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する手段、入力した記入済み帳票の画像データと前記辞書画像との差分画像を生成する手段、前記差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する手段、検出された回転角及び拡大率によって前記参照画像を変換する手段、変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する手段、として機能させるためのプログラムとしてある。

このように本発明はプログラムとしても実現化することができる。
これにより、ＯＣＲ装置のみならずパーソナルコンピュータやスキャナにプログラムをインストールし各々の装置が連携することによって本発明を実現することができ、汎用性，拡張性に優れたフォームアウトプログラムとして提供することができる。

本発明のＯＣＲ装置によれば、入力画像の歪み（サイズ誤差、印刷ズレ、伸縮、スキュー等）に対応できるようになり、確実なフォームアウトが可能となる。
また、局所的な歪みも吸収できるため、精度の高いフォームアウトを実現することができる。
さらに、従来の帳票に必要とされてきた位置合わせのためのマークや罫線が不要となるので、利便性を高めることができる。
これにより、入力された帳票の読み取り位置指定用マークや罫線の有無、印刷機器によるサイズ誤差、印刷ズレ、入力画像の伸縮、又は局所的な変形等に拘わらず、どのような用紙・帳票類であってもフォームアウトが可能な、汎用性，拡張性等に優れ、かつ、信頼性の高いＯＣＲ装置を実現することができる。

以下、本発明のＯＣＲ装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下の実施形態に示す本発明のＯＣＲ装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理・機能を行わせる。すなわち、本発明のＯＣＲ装置における各処理・手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

図１は、本発明の一実施形態に係るＯＣＲ装置の主な構成を示すブロック図である。
本実施形態のＯＣＲ装置１は、入力装置１０、データ処理装置２０及び記憶装置４０から構成される。
以下、本実施形態の主な構成について、各々詳細な説明を行う。

［入力装置１０］
入力装置１０は、画像入力部１１を有する。画像入力部１１は、帳票を光学的に読み取り画像データとして入力するものである。具体的には、スキャナ装置等がこれに相当する。
なお、入力装置１０によって入力された画像データは、データ処理装置２０に出力される。

［データ処理装置２０］
データ処理装置２０は、画像分割部２１、特徴抽出部２２、最大特徴領域検出部２３、拡大・回転加工部２４、差分画像生成部３１、回転角・拡大率検出部３２、参照画像回転・拡大部３３、参照画像分割部３４、位置合わせ部３５、及び出力画像生成部３６を備える。
画像分割部２１は、入力装置１０から与えられた未記入帳票Ａの画像データを複数の小領域に分割するものである。具体的には、画像データを、縦方向（行）及び横方向（列）に一以上分割することによって複数の碁盤目状の分割画像を生成するものである。例えば、２行２列に分割すると、４つの小領域に分かれた分割画像が生成されることとなる。

特徴抽出部２２は、画像分割部２１によって生成された分割画像を二値化し、二値化して得られた二つの画素（白画素及び黒画素）のうち、一方の画素の輪郭追跡処理を行い、その輪郭の長さの和を計算するものである。
例えば、二値化して得られた画素のうち、黒画素の輪郭追跡処理を行う場合、分割画像を走査し、最初に発見された黒画素を追跡開始点として所定方向に輪郭画素（黒画素と白画素の境界部）を追跡していき、再び追跡開始点に戻ったときに一つの輪郭線が形成されるので、この各輪郭線の長さの総和（特徴量）を計算することとなる。
なお、特徴量は、その領域（分割画像）に含まれる罫線、文字、模様等の複雑さを表す指標となるものである。

最大特徴領域検出部２３は、画像分割部２１によって生成された分割画像の中から最も大きな特徴量を有する分割画像を選び出すものである。
そして、拡大・回転加工部２４は、最大特徴領域検出部２３で検出した最も特徴量の大きい小領域の画像データを、回転、拡大（縮小）させるものである。
具体的には、回転角は、−６゜から＋６゜まで１゜刻みの１３通り、拡大率は、−１０％から＋１０％まで２％刻みの１１通りのすべての組み合わせについて加工し、合計１４３通りの加工済み小領域画像データを、辞書画像記憶部４２に記憶する。

差分画像生成部３１は、辞書画像と記入済み帳票Ｂの入力画像との差分画像を生成するものである。詳細には、図２に示すとおり、ラスタ走査手段３１１、領域抽出手段３１２及び差分画像生成手段３１３を有しており、各手段の一連の動作により差分画像生成部３１としての機能を果たすものとなっている。
ラスタ走査手段３１１は、入力装置１０から与えられた記入済み帳票Ｂの画像データ上で、辞書画像記憶部４２に記憶された１４３パターンの辞書画像をラスタ走査するものである。

領域抽出手段３１２は、ラスタ走査手段３１１によって得た画像データにより、記入済み帳票Ｂの画像上における辞書画像領域と同一の領域を抽出するものである。
差分画像生成手段３１３は、領域抽出手段３１２によって得た領域において、各辞書画像パターンごとに差分画像を生成するものである。
なお、差分画像生成部３１によって生成された差分画像は、回転角・拡大率検出部３２に出力される。

回転角・拡大率検出部３２は、記入済み帳票Ｂの入力画像の回転角や拡大率を検出するものである。
具体的には、回転角・拡大率検出部３２は、図３に示すように、画素面積計算手段３２１、差分画像抽出手段３２２及び回転角・拡大率決定手段３２３を有しており、各手段の一連の動作により回転角・拡大率検出部３２としての機能を果たすものとなっている。
画素面積計算手段３２１は、差分画像生成部３１で生成された差分画像を黒画素及び白画素に二値化し、一方の画素（例えば、白画素）の合計面積を計算するものである。これは、差分画像生成に関わった辞書画像と記入済み帳票画像との差異の大きさを測定するためである。

差分画像抽出手段３２２は、画素面積計算手段３２１によって計算された一方の画素の合計面積が最小となるところの差分画像を抽出するものである。
回転角・拡大率決定手段３２３は、差分画像抽出手段３２２によって抽出された差分画像の生成に関わった辞書画像を抽出し、その辞書画像の回転角及び拡大率を記入済み帳票Ｂの入力画像の回転角・拡大率であると判断するものである。
なお、回転角・回転率の判断においては、上記最小面積が、所定の閾値以下であることを限定条件としてもよい。

参照画像回転・拡大部３３は、参照画像記憶部４１に記憶された参照画像の画像データを、回転角・拡大率検出部３２でもとめた回転角及び拡大率で変換するものである。
この変換処理によって、記入済み帳票Ｂの入力画像に生じていた回転や拡大・縮小に係る歪みが、相対的に補正されることとなる。
参照画像分割部３４は、参照画像回転・拡大部３３で変換した参照画像を、複数の小領域に分割するものである。
具体的な処理については、画像分割部２１と同様であり、参照画像を縦方向（行）及び横方向（列）に一以上分割することによって複数の分割画像を生成するものである。

位置合わせ部３５は、記入済み帳票Ｂの入力画像と参照画像分割部３４によって生成された参照画像の分割画像との位置合わせを行うものである。
具体的には、位置合わせ部３５は、図４に示すように、基準位置合わせ手段３５１、画像ずらし手段３５２、小領域差分画像生成手段３５３、小領域差分画像抽出手段３５４及び位置決定手段３５５を有し、各手段の一連の動作により位置合わせ部３５としての機能を果たすものとなっている。

基準位置合わせ手段３５１は、参照画像分割部３４によって生成された各小領域参照画像ごとに記入済み帳票Ｂの入力画像を重ね合わせるものである。具体的には、所定の基準位置（例えば、画像の重心など）に双方の画像の位置を合わせることとなる。
画像ずらし手段３５２は、前記基準位置から一定の範囲内において、各小領域参照画像又は記入済み帳票の入力画像の位置をずらす動作を行う。
このように画像位置の微調整を行うことによって、フォームアウトの精度を高めることができる。

小領域差分画像生成手段３５３は、画像ずらし手段３５２における一定の範囲内で、各小領域参照画像と記入済み帳票画像との差分画像を生成するものである。
小領域差分画像抽出手段３５４は、小領域差分画像生成手段３５３によって生成された差分画像の中から差分絶対値が最も少ない差分画像を各小領域ごとに抽出するものである。
位置決定手段３５５は、上記小領域差分画像抽出手段３５４によって抽出された差分画像の生成に関わった小領域参照画像又は記入済み帳票画像の位置をもって各画像の位置とするものである。
そして、出力画像生成部３６では、上記位置合わせ部３５によって決定した位置にしたがって、各小領域参照画像ごとに記入済み帳票画像との差分画像が生成され、その合成画像が出力されることとなる。

［記憶装置４０］
記憶装置は、参照画像記憶部４１及び辞書画像記憶部４２を有する。
参照画像記憶部４１は、入力装置１０（画像入力部１１）からの未記入帳票Ａの画像を記憶するものである。
一方、辞書画像記憶部４２は、データ処理装置２０によって分割・変換加工された未記入帳票Ａの画像を記憶するものである。

［フォームアウト方法］
次に、以上のような構成からなる一実施形態のＯＣＲ装置における動作フローについて図５及び図６を参照しつつ説明する。
図５は、本発明の一実施形態に係るＯＣＲ装置における辞書画像の生成フローを示したフローチャートである。
また、図６は、本発明の一実施形態に係るＯＣＲ装置における記入済み帳票のフォームアウトフローを示したフローチャートである。

［辞書画像生成］
最初に、本発明の一実施形態に係るＯＣＲ装置における辞書画像の生成フローについて、図５を参照しつつ説明する。
まず、入力装置１０で入力された未記入帳票Ａの画像データは、参照画像記憶部４１とデータ処理装置２０（画像分割部２１）に供給される（ステップＡ１）。
画像分割部２１では、図７に示すように、未記入帳票Ａの画像データの全体又は一部を複数の小領域に分割する（ステップＡ２）。
例えば、縦方向はＭ行、横方向はＮ列（但し、Ｍ、Ｎは自然数）に分割することによって、Ｍ×Ｎ個の碁盤目状の小領域が形成される。

次に、特徴抽出部２２が、ステップＡ２により生成された各分割画像についてそれぞれ特徴となるデータ（特徴量）を抽出する（ステップＡ３）。特徴量とは、小領域に含まれる罫線や文字や模様等の複雑さを表すものであり、具体的には、分割画像を二値化して得た二値の画素（白画素及び黒画素）のうち、例えば黒画素部分の輪郭長の総和を計算することによって求めることができる。
そして、最大特徴領域抽出部２３が、Ｍ×Ｎ個の各分割画像の中から、ステップＡ３で抽出した特徴量が最大であるところの領域（最大特徴領域）を抽出する（ステップＡ４）。すなわち、前記輪郭長が最大であるところの分割画像を抽出する。

次に、拡大・回転加工部２４が、ステップＡ４で抽出した領域の画像を様々な回転角・拡大率で変換加工する（ステップＡ５）。
具体的には、図８に示すように、回転角θは−６゜≦θ≦６゜の範囲で１゜刻み、拡大率Ｒは、０．９０≦Ｒ≦１．１０で０．０２刻みの各組み合わせで変換することにより、１４３パターンの加工画像が生成されることとなる。
ここで、分割画像の回転角及び拡大率について一定の適用範囲を設けたのは、回転角や拡大率の幅を広くとり過ぎると、補正が追いつかず大きな誤差が生じる場合があり、一方、狭すぎると補正の適用範囲が小さくなり本発明の機能を十分に発揮できないためである。

ただし、入力画像の歪みの大小は、入力装置の相違等、ユーザーによって異なることから、回転角、拡大率の範囲やそのパターン数は変更可能としてある。
なお、実際の画像データの変換においては、領域の縦方向をｙ軸、横方向をｘ軸とみたて、もとの画像座標を（ｘ，ｙ）、変換後の画像座標を（ｘ’，ｙ’）とした場合、以下の一次変換式が用いられる。

そして、これら加工された画像データのすべては記憶装置４０に送られ、辞書画像としてメモリー（辞書画像記憶部４２）に記憶される（ステップＡ６）。
以上のステップを通して生成された辞書画像は、後のフォームアウト処理に必要とされるものである。要約すると、これらの辞書画像は、記入済み帳票の入力画像の歪み（回転や拡大・縮小等）を判定するために利用され、結果、確実なフォームアウトを可能とするものである。なお、辞書画像を利用したフォームアウトの詳細については、後述のフォームアウトフローの中で説明する。

［フォームアウト］
次に、本発明の一実施形態に係るＯＣＲ装置における記入済み帳票のフォームアウトフローについて、図６を参照しつつ説明する。
まず、入力装置１０は、記入済み帳票Ｂの画像データを取り込み（ステップＢ１）、データ処理装置２０に出力する。
データ処理装置２０では、図９に示すように、差分画像生成部３１が、入力装置１０からの記入済み帳票Ｂの入力画像上ですべての辞書画像をラスタ走査し、各々差分画像を生成する（ステップＢ２）。
そして、ステップＢ２で生成された各差分画像を利用して、記入済み帳票Ｂの入力画像の回転角・拡大率を検出する（ステップＢ３）。

具体的には、各差分画像を黒画素及び白画素に二値化し、相違部分（例えば、白画素部分）の面積を測定する。次に、この面積が最も小さくなるときの差分画像を抽出する。そして、この差分画像の生成に関わった辞書画像を抽出し、該辞書画像の回転角・拡大率を記入済み帳票画像の回転角・拡大率と判定するものである。
例えば、ここで抽出された差分画像の辞書画像が、未記入帳票画像を回転角５゜、拡大率０．９０で変換されたものである場合には、記入済み帳票の入力画像は、回転角５゜、拡大率０．９０で変形されて入力したものであると判定される。

ここで、辞書画像は、上述の通り、所定の範囲（本実施形態においては、回転角が−６゜から＋６゜、拡大率が０．９０から１．１０の範囲）で変換された画像であるので、ステップＢ３で検出可能な回転角・拡大率も同一の範囲に限られる。
すなわち、上記範囲を超える変形が記入済み帳票の入力画面に生じている場合には、その回転角・拡大率は検出できず、フォームアウト不能を示すエラーコードが出力され、処理は終了する（ステップＢ４ ＮＯ）。
一方、回転角・拡大率が検出された場合は、次のステップ（ステップＢ５）にすすむ（ステップＢ４ ＹＥＳ）。

ステップＢ５では、ステップＢ４で検出された回転角・拡大率によって、参照画像を変換し（ステップＢ５）、Ｍ行Ｎ列（但し、Ｍ、Ｎは自然数）の小領域に分割する（ステップＢ６）。
次に、分割された小領域ごとに、記入済み帳票Ｂの入力画像と分割した参照画像との位置合わせを試みる（ステップＢ７）。

具体的には、図１０で示すように、まず変換・分割した参照画像を、記入済み帳票の入力画像の指定位置（例えば、各画像の重心位置）に合わせた状態を基準として、該参照画像をｘ方向に±Ｋ画素、ｙ方向に±Ｌ画素（但し、Ｋ、Ｌは自然数）の範囲でずらし、各ずらし位置で記入済み帳票画像と該参照画像との差分画像を生成する。
その際、上記参照画像の白紙部分では差分を取らないよう（差分は０（ゼロ）固定）にする。記入済み帳票では、その部分に文字が記入される可能性があるためである。

また、図１１に示すように、各ずらし位置において差分画像から各小領域の差分の絶対値の和（Ｓｕｍ ｉ，ｊ（ｐ，ｑ）） （０≦ｉ≦Ｍ−１，０≦ｊ≦Ｎ−１，−Ｋ≦ｐ≦Ｋ，−Ｌ≦ｑ≦Ｌ）を求める。
そして、各ずらし位置での差分絶対値の和（Ｓｕｍ ｉ，ｊ（ｐ、ｑ））を比較し、小領域（ｉ，ｊ）ごとに、この差分絶対値の和（Ｓｕｍ ｉ，ｊ（ｐ、ｑ））が最小となるずらし位置（ｐ（ｉ，ｊ），ｑ（ｉ，ｊ））を保持する。
具体的には、図１１に示すような式の通りとなる。

このようにして位置ｐ（ｉ，ｊ）、ｑ（ｉ，ｊ）が決まれば（ステップＢ８ ＹＥＳ）、図１２に示す小領域ごとに差分画像を生成し、それらをつなぎ合わせ、全体の差分画像を生成する（ステップＢ９）。
一方、入力画像が、許容範囲外の変形がされたものであったり、参照画像と異なるフォーマット画像等の場合には、位置合わせは失敗と判断され、フォームアウト不能を示すエラーコードが出力され、処理は終了する（ステップＢ８ ＮＯ）。
以上のステップに従ってフォームアウト処理を実施することにより、図１３に示すように、差分画像には読み取り対象となる文字画像のみが抽出される。

以上説明したように、本実施形態のＯＣＲ装置１によれば、画像分割部２１が参照画像を碁盤目状の部分画像に分割し、最大特徴領域検出部２３がその中で最も特徴のある小領域のみを抽出し、拡大・回転加工部２４がその小領域を複数の回転角・拡大率の組み合わせで変換し、回転角・拡大率検出部３２がその各変換パターンと入力画像を重ね合わせることで、帳票の拡大・縮小率及びスキュー角を判定し、補正できるようにしてある。
その結果、出力画像生成部３６によって、確実にフォームアウト出力ができるようにしている。

このため、入力画面のサイズ誤差、印刷ズレ、伸縮等が生じてもこれらの歪みを吸収し、確実にフォームアウト処理を行うことができる。
また、画像を分割し小領域単位で処理を行うことによって、局所的な歪みにも対応できるため、精度の高いフォームアウトを実現することができる。
さらに、従来の帳票に必要とされてきた位置合わせのためのマークや罫線が不要となるので、利便性を高めることができる。
また、従来発生していた罫線除去エラー頻度が低減し、データエントリーの工数削減も可能となる。

以上、本発明のＯＣＲ装置について、好ましい実施形態を示して説明したが、本発明にかかるＯＣＲ装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、本発明のＯＣＲ装置は、辞書画像を生成する際に行う最大特徴領域の変形（回転、拡大）の組み合わせを、任意の範囲やステップに変更してもよい。
また、辞書画像を生成する際、最大特徴領域を加工するときの拡大率を縦方向と横方向とで可変してもよい。
さらに、複数の参照画像を記憶し複数の帳票に対応させる帳票識別機能を備えた構成であってもよい。

本発明は、画像入力手段、データ処理手段、記憶手段を備えたＯＣＲ装置に好適に利用することができる。

本発明の一実施形態に係るＯＣＲ装置の主な構成を示すブロック図である。 本発明の一実施形態に係るＯＣＲ装置を構成するデータ処理装置が備える差分画像生成部の詳細構成を示したブロック図である。 本発明の一実施形態に係るＯＣＲ装置を構成するデータ処理装置が備える回転角・拡大率検出部の詳細構成を示したブロック図である。 本発明の一実施形態に係るＯＣＲ装置を構成するデータ処理装置が備える位置合わせ部の詳細構成を示したブロック図である。 本発明の一実施形態に係るＯＣＲ装置における辞書画像の生成フローを示したフローチャートである。 本発明の一実施形態に係るＯＣＲ装置における記入済み帳票のフォームアウトフローを示したフローチャートである。 本発明の一実施形態に係るＯＣＲ装置により実施される分割後の参照画像及び最大特徴領域を表した図である。 本発明の一実施形態に係るＯＣＲ装置により実施される最大特徴領域の回転・拡大（辞書画像の例）を表した図である。 本発明の一実施形態に係るＯＣＲ装置により実施される記入済み帳票画像上での辞書画像のラスタ走査を表した図である。 本発明の一実施形態に係るＯＣＲ装置により実施される位置合わせにおける画像ずらし手段を表した図である。 本発明の一実施形態に係るＯＣＲ装置により実施される位置合わせにおける各位置での差分絶対値の和を表した図である。 本発明の一実施形態に係るＯＣＲ装置において小領域ごとに差分画像を生成し合成することによって生成された差分画像を示した図である。 本発明の一実施形態に係るＯＣＲ装置におけるフォームアウト実施後の出力画像を示した図である。

符号の説明

１ ＯＣＲ装置
１０ 入力装置
２０ データ処理装置
４０ 記憶装置
Ａ 未記入帳票
Ｂ 記入済み帳票

Claims (8)

1. 光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するＯＣＲ装置であって、
   光学的読み取り手段によって帳票の画像データを入力する画像入力部と、
   入力した未記入帳票の画像データを参照画像として記憶する参照画像記憶部と、
   入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する辞書画像記憶部と、
   入力した記入済み帳票の画像データと前記辞書画像との差分画像を生成する差分画像生成部と、
   前記差分画像生成部によって生成された差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する回転角・拡大率検出部と、
   前記回転角・拡大率検出部で検出された回転角及び拡大率によって前記参照画像を変換する参照画像回転・拡大部と、
   前記参照画像回転・拡大部によって変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する出力画像生成部と、を備えることを特徴とするＯＣＲ装置。
2. 入力された未記入帳票の画像データを一以上の行及び列に分割することにより複数の分割画像を生成する画像分割部と、
   前記画像分割部によって生成された分割画像を二値化し、二値化して得られた画素のうち一方の画素からなる画像の輪郭長の和を計算する特徴抽出部と、
   前記画像分割部によって生成された分割画像の中から前記輪郭長の和が最も大きい分割画像を検出する最大特徴領域検出部と、
   前記最大特徴領域検出部によって検出された分割画像を所定の回転角及び拡大率によって複数の画像データに変換する拡大・回転加工部と、を備え、
   前記辞書画像記憶部が、
   前記拡大・回転加工部によって変換された複数の画像データを辞書画像として記憶することを特徴とする請求項１に記載のＯＣＲ装置。
3. 前記差分画像生成部は、
   前記記入済み帳票画像をラスタ走査し、所定の画像データを取得するラスタ走査手段と、
   前記ラスタ走査手段によって取得した画像データから前記辞書画像の領域に相当する領域を抽出する領域抽出手段と、
   抽出した領域において、前記記入済み帳票画像と前記辞書画像との差分画像を生成する差分画像生成手段と、を備えることを特徴とする請求項１又は２に記載のＯＣＲ装置。
4. 前記回転角・拡大率検出部は、
   前記差分画像生成部によって生成された差分画像を二値化し、二値化して得られた画素のうち一方の画素の合計面積を計算する画素面積計算手段と、
   前記差分画像生成部によって生成された差分画像の中から前記合計面積が最も小さい差分画像を抽出する差分画像抽出手段と、
   前記差分画像抽出手段によって抽出された差分画像の生成にかかる辞書画像の回転角及び拡大率を、前記記入済み帳票画像の回転角及び拡大率とする回転角・拡大率決定手段と、を備えることを特徴とする請求項１乃至３のいずれか一項に記載のＯＣＲ装置。
5. 前記参照画像回転・拡大部によって変換された参照画像を、一以上の行及び列に分割することによって複数の小領域参照画像を生成する参照画像分割部と、
   前記小領域参照画像と前記入力済み帳票画像との位置を合わせる位置合わせ部と、を備え、
   前記出力画像生成部は、前記位置合わせ部により小領域ごとの位置合わせが行われた後に、各小領域画像と記入済み帳票画像との差分画像を生成し出力することを特徴とする請求項１乃至４のいずれか一項に記載のＯＣＲ装置。
6. 前記位置合わせ部は、
   前記参照画像分割部によって生成された各小領域参照画像ごとに前記記入済み帳票画像を所定の指定位置を基準として重ね合わせる基準位置合わせ手段と、
   前記指定位置を基準に一定の範囲内で前記各小領域参照画像及び／又は前記記入済み帳票画像を移動させる画像ずらし手段と、
   前記範囲内で前記各小領域参照画像と記入済み帳票画像との差分画像を生成する小領域差分画像生成手段と、
   生成された差分画像の中から差分絶対値が最も少ない差分画像を小領域ごとに抽出する小領域差分画像抽出手段と、
   前記小領域差分画像抽出手段によって抽出された各差分画像の生成に係る各小領域参照画像及び／又は入力済み帳票画像の位置をもって、画像の位置を決定する位置決定手段と、を備えることを特徴とする請求項５に記載のＯＣＲ装置。
7. 光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するフォームアウト方法であって、
   未記入帳票の画像データを入力するステップ、
   入力した未記入帳票の画像データを参照画像として記憶するステップ、
   入力した未記入帳票の画像データの一部を所定の回転率及び拡大率で変換し、辞書画像として記憶するステップ、
   記入済み帳票の画像データを入力するステップ、
   前記記入済み帳票の画像データと辞書画像との差分画像を生成するステップ、
   前記差分画像に基づいて前記記入済み帳票画像の回転率及び拡大率を検出するステップ、
   検出された回転率及び拡大率によって前記参照画像を変換するステップ、
   変換された参照画像と前記未記入帳票画像との差分画像を生成し出力するステップと、を有することを特徴とするフォームアウト方法。
8. 光学的読み取り手段によって入力された帳票の画像データの中から記入された文字画像を抽出し出力するためにコンピュータを、
   前記光学的読み取り手段によって帳票の画像データを入力する手段、
   入力した未記入帳票の画像データを参照画像として記憶する手段、
   入力した未記入帳票の画像データの一部を所定の回転角及び拡大率で変換し、辞書画像として記憶する手段、
   入力した記入済み帳票の画像データと前記辞書画像との差分画像を生成する手段、
   前記差分画像に基づいて前記記入済み帳票画像の回転角及び拡大率を検出する手段、
   検出された回転角及び拡大率によって前記参照画像を変換する手段、
   変換された参照画像と前記未記入帳票画像との差分画像を生成し出力する手段、
   として機能させるためのフォームアウトプログラム。

Images