JP4269059B2 - 帳票処理プログラム、方法及び装置 - Google Patents

Description

本発明は、文字が手書きで記入された帳票を光学的に読み取って文字を認識する帳票処理プログラム、方法及び装置に関し、特に、帳票の認識不要な部分の色をドロップアウトして読み取った画像を処理する帳票処理プログラム、方法及び装置に関する。

文字枠に必要事項が記入された帳票をスキャナ（光学的読取装置）により読み取って読取画像の文字を認識する処理にあっては、読取画像における文字認識の精度を高めるため、スキャナで読み取る際に、帳票の記入文字以外の色をドロップアウトさせて認識対象となる記入文字のみの認識画像を取得している。

具体的には、黒を使用する記入文字以外のドロップアウトカラーで文字枠や必要事項が印刷された帳票を準備し、次の手順で帳票の文字認識を行う。
（手順１）認識対象となる記入済みの帳票を黒背景付きとしてスキャナで読み取る。このとき光源の色を帳票のドロップアウトカラーに合わせてフィールド枠等の認識に不要な部分をドロップアウトさせる。
（手順２）文字枠画像と認識対象帳票の黒背景から帳票の端を見つけだすことで、認識対象範囲を定め、その範囲内の文字認識を行う。

しかしながら、帳票上のフィールド枠等をドロップアウトして読み取った認識画像を認識結果と共に画面上に並べて表示させて確認する場合、認識画像は手書きされた文字のみのため、書かれている内容がどの項目のものであるかが分からず、内容を確認し誤りがあれば認識結果を修正する作業が困難となる。

図２５は従来の帳票処理の作業画面であり、画面左側にフィールド枠等をドロップアウトして帳票を読み取った手書き文字のみからなる認識画像２００を表示し、右側に認識画像２００の手書文字の認識により作成された所定の書式フォーマットをもった認識結果２０２を表示している。しかしながら、手書文字のみからなる認識画像２００は、フィールド枠等がドロップアウトしているため、手書きされた内容が認識結果２０２の項目に対応するかが分りにくく、内容を確認し誤りがある場合、認識結果を修正する作業を困難にしている。

この問題を解決するため、従来の帳票読み取りにあっては、特殊なＯＣＲ付スキャナを使用し、帳票の１回の読取操作でドロップアウト画像と非ドロップアウト画像を同時に取り込み、非ドロップアウト画像を認識結果と共に画面表示して確認修正が容易にできるようにしている。

特開平６−６８２９９号公報

しかしながら、このような従来のドロップアウト画像と非ドロップアウト画像を同時に取り込む方法にあっては、特殊なＯＣＲ付スキャナを必要とする問題があり、汎用のスキャナが使用できないためにコストアップになるという問題がある。また汎用のスキャナを使用する際には、読取色を替えて同じ帳票を２回読み取る必要があり、スキャナ読取操作に手間と時間がかかる問題がある。

更に、一度読み取ったドロップアウト画像及び非ドロップアウト画像は、認識結果を確認している際に疑問点が出たような場合には、画面上に再現して認識結果に誤りがないか確認する必要があり、このためドロップアウト画像及び非ドロップ画像を保存する必要がある。

しかし、帳票一枚につき２枚分の画像データの保存が必要となり、日常処理として読み取る帳票の数は膨大であるため、全体的にみた画像データの保存量が大幅に増加するという問題がある。特に非ドロップ画像はドロップアウト部分にカラー印刷をしているためにカラー画像となり、ドロップアウト画像がモノクロ画像であるのに比べ、非ドロップアウト画像の保存量は大きく増加する。

本発明は、帳票のドロップアウト部分を予め読み取っておくことで、帳票のドロップアウト画像から記入済み帳票画像を簡単に再現できるようにした帳票処理プログラム、方法及び装置を提供することを目的とする。

本発明は、コンピュータにより実行される帳票処理プログラムを提供する。この帳票処理プログラムは、コンピュータに、
未記入の文字枠を備えた帳票の全ての色をスキャナで読み取って文字枠画像として保存する文字枠画像読取ステップと、
記入済みの帳票の認識不要部分の色をドロップアウトした認識画像をスキャナで読み取って保存する帳票読取ステップと、
認識画像の文字を認識する文字認識ステップと、
文字認識結果と共に、認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップと、
を実行させることを特徴とする。

このような本発明の帳票処理プログラムによれば、記入済みの帳票をドロップアウト読み取りで認識画像を取得して文字認識した場合、予め保存している帳票ドロップアウト部分となる文字枠画像との合成で記入済帳票画像が復元でき、認識画像の文字が帳票のどのフィールドに書かれたものか画面上で対応させることができ、認識結果の確認と修正が簡単且つ確実にできる。

また未記入帳票の非ドロップアウト画像である文字枠画像は、帳票の種類分の画像データを保存するだけで済み、従来のように非ドロップアウト画像として全帳票分のカラー画像データを保存する場合に比べ、画像データの保存量を大幅に低減できる。また帳票読取に使用する光学読取装置としてのスキャナは、読取色を設定可能な汎用のカラースキャナが使用できることから導入が容易でコストダウンになり、更に、記入済帳票の読み取りは１回で良いから作業性が高い。

ここで、合成表示ステップは、認識画像と文字枠画像を重ね合わせるための回転角度θを検出する回転角度検出ステップと、認識画像と文字枠画像の一方を回転角度θだけ回転させた状態で重ね合わせるための平行移動量（ｘ，ｙ）を検出する平行移動量検出ステップと、回転角θと平行移動量（ｘ，ｙ）に基づいて認識画像と文字枠画像との各画素毎に対応関係を求めて画素値を合成する画素合成ステップとを備え、更に、回転角度検出ステップ及び平行移動量検出ステップは、文字枠画像と認識画像で対応している複数のフィールドにおける中心座標位置の関係を利用して回転角度θ及び平行移動量（ｘ，ｙ）を検出することを特徴とする。

具体的に、回転角度検出ステップ及び平行移動量検出ステップは、文字枠画像と認識画像で対応している複数のフィールドにおける中心座標位置の関係を利用して検出した複数の回転角度及び平行移動量のうちの中央値を求める。これによって認識画像と文字枠画像との位置ずれを正確に検出して正しく位置合わせした画像合成ができる。

文字枠画像読取ステップは、種類の異なる複数の帳票から文字枠画像を読み取ると共に、読取画像から認識した種別識別子を付して文字枠画像を保存し、帳票読取ステップは、記入済みの帳票から認識不要部分の色をドロップアウトした認識画像を読み取ると共に、読取画像から認識した種別識別子を付して読取画像を保存し、合成表示ステップは、認識画像の識別子に一致する識別子を持つ文字枠画像を選択して重ね合わせることを特徴とする。このように本発明の帳票処理プログラムは、複数種類の帳票を処理対象とし、種類の異なる手書きによる記入済み帳票が混在した状態で連続的に読み込んでも、種別に対応した文字枠画像との重ね合わせにより記入済み帳票画像を復元できる。

合成表示ステップは、認識結果を修正した後の必要時に、保存されている認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する。このように帳票の読取による認識結果の処理後に、認識結果の内容が問題となった場合は、いつでも記入済帳票画像を再現して内容の照合ができる。

合成表示ステップは、認識画像の画素と文字枠画像の画素が重なる場合は、認識画素の画素値を選択する。このように認識画像としての記入文字を優先させる重ね合わせにより、認識対象となる記入内容の確認が行い易い。

合成表示ステップは、認識画像の濃度と文字枠画像の濃度を予め定めた濃度に固定して合成表示させる。また合成表示ステップは、認識画像の濃度と文字枠画像の濃度を変更して合成表示させる。更に合成表示ステップは、認識画像と文字枠画像の濃度比率（コントラスト）が所定値となるよう濃度値を変更して合成表示させる。このように文字枠画像および認識画像における文字の濃度調節や色の変更を行うことで、記入された文字の視認性を向上できる。合成表示ステップは、前記認識画像を文字枠画像に重ね合わせた合成画像を、前記認識結果の表示画面上に並べて表示させる。

本発明は、帳票処理方法を提供する。この帳票処理方法は、
未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取ステップと、
記入済みの帳票の認識不要部分の色をドロップアウトした認識画像を読み取って保存する帳票読取ステップと、
認識画像の文字を認識する文字認識ステップと、
文字認識結果と共に、認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップと、
を備えたことを特徴とする。

本発明は帳票処理装置を提供する。この帳票処理装置は、未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取部と、記入済みの帳票の認識不要部分の色をドロップアウトした認識画像を読み取って保存する帳票読取部と、認識画像の文字を認識する文字認識部と、文字認識結果と共に認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示部とを備えたことを特徴とする。

なお、本発明の帳票処理方法及び帳票処理装置の詳細は、帳票処理プログラムと基本的に同じになる。

以上説明してきたように本発明によれば、文字記入済みの帳票に対しドロップアウトスキャンを行って認識画像を取得して認識結果を得た場合、予め非ドロップアウト読み取りにより取得されて保存されている文字枠画像との合成で記入済帳票画像を復元して認識結果に並べて画面上に表示することができ、認識結果が読取帳票のどのフィールドに書かれているかの対応関係を明確に認識でき、帳票読取結果の認識と修正作業を簡単且つ確実に行うことができる。

また記入済み帳票の読み取りの際にドロップアウトされる文字枠画像については、読取対象とする帳票の種類分の文字枠画像を保存するだけでよく、ドロップアウトなしの帳票の読取画像を全て保存する場合に比べ、記入済読取帳票の復元に必要とする画像データの保存量を大幅に低減できる。即ち本発明にあっては、カラー画像データとしての保存を必要とする文字枠画像は帳票の種類分で済むことから、日常的に読み取りを行っている記入済帳票の画像データに比べると、例えば数十種類というようにごく少ないカラー画像データの保存で済む。

また文字枠画像との合成で記入済み帳票の復元に使用するドロップアウト読み取りが得られた認識画像はモノクロ画像で済むことから、帳票の数が多くなっても、保存する認識画像の画像データの保存量はカラー画像データを保存するのに比べ保存容量を大幅に節約できる。

また本発明で使用するスキャナとしては、帳票読み取りと同時に非ドロップアウト読取画像とドロップアウト読取画像が同時に得られるような特殊なスキャナを必要とせず、読取色が設定可能な汎用のカラースキャナを使用することができ、導入が容易でコストダウンが図れ、更に文字の重ね合わせに先立ち種類分の帳票の読み取りで文字枠画像を保存する必要があるが、その後は記入済帳票を１回読み取るだけで、保存している文字枠画像との合成により記入済帳票画像が復元できるため、読取作業の作業効率を高めることができる。

更に、帳票の種類ごとに読み込んで保存している文字枠画像と実際の読取処理で読み込んだ記入済帳票の認識画像との間にずれがあっても、２つの画像につき両方の画像のずれに対応した回転角度及び平行移動量を求めて、位置ずれを正確に検出して正しく位置合わせした画像合成ができ、ドロップアウトした認識画像であっても、実際にスキャナで使用した記入済みの帳票と同等の帳票画像を正確に復元することができる。

図１は、本発明による帳票処理の実施形態を示した機能構成のブロック図である。図１において、本発明の帳票処理装置１０はパーソナルコンピュータなどで実現され、帳票の入力デバイスとしてスキャナ（光学的読取装置）１１を接続している。また処理結果を表示するためディスプレイユニット４０を接続する。更に帳票処理装置１０はサーバ１２に対しＬＡＮなどのネットワークを介してクライアントとして接続されており、サーバ１２は帳票処理装置１０の処理結果をデータベース１５に保存するようにしている。

帳票処理装置１０には文字枠画像読取部１４、帳票読取部１６、文字認識部１８、合成表示部２０、書式定義ファイル２２、文字枠画像ファイル２４、認識画像ファイル２６、認識結果ファイル２８、さらにワークメモリとして機能する画像メモリ３８が設けられている。また合成表示部２０には回転角度検出部３０、平行移動量検出部３２、アフィン変換部３４及び濃度調整部３６が設けられている。

文字枠画像読取部１４は、未記入の文字枠による複数フィールドを備えたドロップアウトカラー帳票の全ての色をスキャナ１１で読み取って文字枠画像として文字枠画像ファイル２４に格納する。またこの実施形態にあっては、文字枠画像の読取結果について、帳票のどの部分を文字認識するかを記述している書式定義情報を作成し、書式定義ファイル２２に格納する。

文字枠画像読取部１４が処理する未記入のドロップアウトカラー帳票は、通常、複数種類準備されており、各帳票には予め帳票の種別を示す識別子として種別ＩＤが印刷されている。従って文字枠画像ファイル２４及び書式定義ファイル２２に対する書式定義情報については、それぞれ種別ＩＤをつけて保存している。帳票読取部１６は記入済みの帳票の認識不要部分、すなわち文字枠となるフィールドなどの不要部分の色をドロップアウトした認識画像をスキャナ１１により読み取って、認識画像を認識画像ファイル２６に保存する。

この認識画像ファイル２６への保存は、帳票に記入されている種別ＩＤと帳票毎に設定された帳票ＩＤを付して認識画像を保存する。文字認識部１８は、帳票読取部１６で取得された認識画像の種別ＩＤによって書式定義ファイル２２から読み出された書式定義情報で指定される読取対象領域について手書文字を認識し、文字認識結果により所定の書式フォーマットに従ったドキュメントを作成して、認識結果として認識結果ファイル２８に保存する。

合成表示部２０は、文字認識部１８で生成された文字認識結果の修正時等に、種別ＩＤにより文字枠画像ファイル２４から対応する文字枠画像を読み出し認識画像と重ねあわせた記入済み帳票画像をディスプレイユニット４０に認識画像と並べて表示する。この合成表示部２０における認識画像と文字枠画像の重ね合わせ表示のため、２つの画像のずれを検出して修正するため、回転角度検出部３０、平行移動量検出部３２及びアフィン変換部３４が設けられている。

回転角度検出部３０は認識画像と文字枠画像を重ね合わせるための回転角度（回転ずれ角度）θを検出する。平行移動量検出部３２は例えば文字枠が応に対し認識画像を検出された回転角度θだけ回転させた状態で、両者を重ね合わせるための平行移動量（ｘ，ｙ）を検出する。アフィン変換部３４は回転角度θと平行移動量（ｘ，ｙ）に基づいて、認識画像と文字枠画像との各画素ごとに対応関係を求めて画素値を合成する。

さらに合成表示部２０には濃度調整部３６が設けられ、合成表示された記入済み調整画像において必要に応じて文字枠画像と認識画像の濃度を調整するようにしている。

図１における本発明の帳票処理装置１０は、例えば図２のようなコンピュータのハードウェア資源により実現される。図２のコンピュータにおいて、ＣＰＵ１００のバス１０１にはＲＡＭ１０２、ハードディスクコントローラ（ソフト）１０４、フロッピィディスクドライバ（ソフト）１１０、ＣＤ−ＲＯＭドライバ（ソフト）１１４、マウスコントローラ１１８、キーボードコントローラ１２２、ディスプレイコントローラ１２６、通信用ボード１３０、スキャナドライバ１３６が接続される。

ハードディスクコントローラ１０４はハードディスクドライブ１０６を接続し、本発明の帳票処理を実行するプログラムをローディングしており、コンピュータの起動時にハードディスクドライブ１０６から必要なプログラムを呼び出して、ＲＡＭ１０２上に展開し、ＣＰＵ１００により実行する。フロッピィディスクドライバ１１０にはフロッピィディスクドライブ（ハード）１１２が接続され、フロッピィディスク（Ｒ）に対する読み書きができる。

ＣＤ−ＲＯＭドライバ１１４に対しては、ＣＤドライブ（ハード）１１６が接続され、ＣＤに記憶されたデータやプログラムを読み込むことができる。マウスコントローラ１１８はマウス１２０の入力操作をＣＰＵ１００に伝える。キーボードコントローラ１２２はキーボード１２４の入力操作をＣＰＵ１００に伝える。ディスプレイコントローラ１２６は表示部１２８に対して表示を行う。

通信用ボード１３０はＬＡＮなどの通信回線１３２を使用し、帳票読取により作成されたドキュメントを保存するデータベースサーバを接続し、更に、インターネット等のネットワークを介して外部装置との間で通信を行う。スキャナドライバ１３６はＣＰＵ１００によるプログラムの実行で実現されるソフトウェアとして外部接続されたスキャナ１１を駆動するものであり、フルカラー対応の非ドロップアウト読取と特定のドロップアウトカラーを指定したドロップアウト読取ができる。

図３は、本発明の読取対象となるドロップアウトカラー用紙を使用した未記入の帳票の説明図である。図３において、帳票４２は入力のグレースケールあるいはカラー画像をドロップアウトカラーに指定して印刷されている。以下の実施形態にあっては所定のドロップアウトカラー例えば青を使用して文字枠や必要な項目文字を図示のように示した場合を例にとっている。帳票４２は文字枠として使用されるフィールド４６を複数配置している。

この例ではひとつのフィールド４６に１文字を記入するように帳票４２が作成されている。帳票４２の左上隅には帳票名が表示され、その後ろに種別ＩＤ４４を印刷している。この種別ＩＤ４４として所定の文字列あるいはバーコードなどが使用され、帳票４２におけるドロップアウトカラー以外の色、例えばドロップアウトカラーが「青」であった場合には「黒」を使用して種別ＩＤ４４を印刷している。

図４は、本発明において読取対象とする記入済み帳票４５の説明図である。記入済み帳票４５のフィールド４６には必要に応じて文字が記入されており、文字の記入色はドロップアウトカラーである「青」とは異なる「黒」を使用して記入している。

図５は、文字枠画像読取部１４の機能によりドロップアウト読取により取得された文字枠画像４８の説明図である。文字枠画像４８は図３の未記入の帳票４２をスキャナ１１にセットして全ての色をスキャンするようにして読み取っている。またドロップアウト読取により得られた文字枠画像４８は黒背景付きの画像として読み取られており、文字枠画像４８の黒背景から帳票の端を見つけ出すことで文字の認識対象範囲を定める書式定義情報を生成することができる。

すなわち文字枠画像４８にあっては画像面の各フィールド４６の座標が文字認識対象領域を定める書式定義情報として作成されて、図１の書式定義ファイル２２に種別ＩＤを付して保存される。同時に文字枠画像４８そのものが種別ＩＤを付して文字枠画像ファイル２４に保存される。

図６は、図４の記入済み帳票４５のドロップアウト読取により取得された認識画像５０の説明図である。すなわち記入済み帳票４５を読み取る際に帳票のドロップアウトカラーである例えば「青」にスキャナ１１の光源の色をあわせて読み取ることでフィールド４６やその項目文字を消し去ったモノクロの認識画像５０を取得する。また種別ＩＤについてはドロップアウトカラーを使用していないことから、認識画像５０にそのまま読み取ることができる。

このドロップアウト読取により取得された認識画像５０も黒を背景とした画像として読み取られ、黒背景から帳票の端を見つけ出すことで種別ＩＤ４４で特定された書式定義情報に基づき、文字認識のためのフィールドの座標位置を特定することができる。

図７は、本発明により生成される合成画像５４の説明図である。すなわち図５の文字枠画像４８と図６の認識画像５０を対象に両画像のずれをなくすように回転及び平行移動を行って重ね合わせることにより、手書文字が記入された帳票画像を合成画像５４として復元することができる。

図８は、図３〜図７の各画像を用いた本発明における文字枠画像と読取画像の画像合成処理の説明図である。図８において、未記入の帳票４２はそのままスキャナ１１にセットされて、非ドロップアウト読取５６により文字枠画像４８として読み取られ、その種別ＩＤを付して保存される。一方、記入済み帳票４５はスキャナ１１にセットされて、ドロップアウト読取５８が行われ、フィールドやその項目文字がドロップアウトされた記入文字及び種別ＩＤのみの認識画像５０を得る。

そして認識結果の修正などの際に読取元となった記入済み帳票４５を復元したい場合には、文字枠画像４８と認識画像５０の合成６０により合成画像５４を生成してディスプレイユニット４０上に認識結果と並べて表示させる。

図９は、図１の書式定義ファイル２２の説明図である。書式定義ファイル２２には未記入の帳票の種別ごとに種別ＩＤを付して、書式定義情報を保存している。書式定義情報は帳票のどの部分を文字認識するかを示す情報であり、フィールドＩＤごとにフィールド座標が格納され、さらに後の説明で明らかにする画像ずれを修正するための回転角度及び平行移動量の検出に使用するフィールド中心座標を保存している。

例えば種別ＩＤ「００１」の文字枠画像は、フィールドＩＤに００１〜００４の４フィールドを備えており、例えばフィールドＩＤ＝００１についてフィールド座標「Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４」を格納し、更にフィールド中心座標「Ｐ１０」を格納している。

図１０は、図１の文字枠画像ファイル２４の説明図である。文字枠画像ファイル２４には、帳票の種別を示す種別ＩＤを付して帳票毎に非ドロップアウトカラー読取により読み取られた文字枠画像イメージデータ、具体的には画像を構成する画素データが所定の画像コード形式にしたがって格納されている。この例では文字枠画像はカラー画像であることから、各画素データは例えばＲＧＢ画素データとなる。

図１１は、図１の認識画像ファイル２６の説明図である。認識画像ファイル２６にはスキャナ１１により非ドロップアウト読取により読み取られた認識画像イメージデータ、具体的には画像を構成する画素データが所定の画像コード形式にしたがって帳票ＩＤと種別ＩＤを付して保存されている。帳票ＩＤは入力された記入済み帳票1枚ごとに付された固有の識別子であり、種別ＩＤと同様、帳票に予め非ドロップアウトカラーにより印刷しておくか、あるいは帳票を読み取った際に装置側で順番に帳票ＩＤを識別子として付すかのいずれかでよい。また帳票ＩＤと種別ＩＤを付して格納された認識画像イメージデータは認識画像がモノクロ画像であることから、白黒画素データとなっている。

図１２は、図１の帳票処理装置１０による本発明の帳票処理のフローチャートであり、このフローチャートの処理手順が本発明による帳票処理プログラムの処理内容を表すことになる。この本発明による帳票処理の処理手順は次のようになる。

ステップＳ１：複数種類の未記入の帳票を文字枠画像として読み取って種別ＩＤを付して保存する文字枠画像読取処理を実行する。尚、この際に文字枠画像の読取対象領域を特定する書式定義情報を生成して、同時に保存する。
ステップＳ２：記入済みの帳票をドロップアウト読み取りして種別ＩＤ及び記入文字のみのモノクロ画像としての認識画像を取得し、帳票ＩＤ及び種別ＩＤを付して保存する。
ステップＳ３：ステップＳ２で読み取った認識画像に対し、種別ＩＤにより取得した書式定義情報による文字読取フィールドを対象に、文字認識処理を実行して所定のフォーマットを持ったドキュメントに読み取った文字を配置する文字認識処理を実行する。
ステップＳ４：認識結果の処理要求の有無をチェックし、処理要求があればステップＳ５に進み、処理要求がなければステップＳ７に進む。
ステップＳ５：処理要求の対象となった帳票の種別ＩＤにより文字枠画像を読み出し、現在処理をしている認識画像と合成して重ね合わせる合成表示処理を実行する。
ステップＳ６：合成表示処理により得られた合成画像を認識結果と並べて表示させて認識結果の確認処理を行わせる。
ステップＳ７：記入済みの帳票読取による一連の処理の終了によるログオフを判別すると処理を終了し、処理未終了であればステップＳ２からの処理を繰り返す。

図１３は、図１２における文字枠画像読取処理のフローチャートである。この文字枠画
像読取処理の手順は次のようになる。

ステップＳ１：スキャナ１１に対しフルカラー設定で未記入の帳票を読み取る。
ステップＳ２：読取画像から種別ＩＤを認識する。
ステップＳ３：読取画像から文字枠の位置を示す書式定義情報を生成する。
ステップＳ４：書式定義情報に種別ＩＤを付して書式定義ファイル２２に保存する。
ステップＳ５：文字枠画像に種別ＩＤを付して文字枠画像ファイル２４に保存する。
ステップＳ６：全種類の帳票を処理したか否かチェックし、未処理であればステップＳ１に戻り、全種類の帳票が処理済みであれば処理を終了する。

図１４は、図１２における帳票読取処理のフローチャートであり、次の処理手順となる。

ステップＳ１：スキャナ１１の光源の色を帳票のドロップアウトカラーに設定して記入済みの帳票を読み取る。
ステップＳ２：読取画像から種別ＩＤを認識する。
ステップＳ３：認識画像に種別ＩＤと帳票ＩＤを付して認識画像ファイル２６に保存する。
ステップＳ４：未処理帳票の有無をチェックし、未処理帳票があればステップＳ１に戻り、無ければ処理を終了する。

図１５は、図１２における文字認識処理のフローチャートであり、次の処理手順となる。

ステップＳ１：スキャナ１１から読み取った認識画像を文字認識処理対象として取り込む。
ステップＳ２：種別ＩＤにより書式定義ファイル２２を参照して書式定義情報を取り込む。
ステップＳ３：書式定義情報から認識画像における認識対象のフィールドを設定する。
ステップＳ４：設定フィールドの文字列を認識する。
ステップＳ５：認識した文字列を予め用意された作成ドキュメントの指定位置に配置する。
ステップＳ６：帳票の全フィールドを認識したか否かチェックし、認識していなければステップＳ４に戻り、認識していればステップＳ７に進む。
ステップＳ７：未処理の認識画像の有無をチェックし、未処理認識画像があればステップＳ１に戻り、無ければ処理を終了する。

図１６は、図１２における画像合成処理のフローチャートであり、次の処理手順となる。

ステップＳ１：確認対象となる作成ドキュメントを読み込んで画面表示する。
ステップＳ２：帳票ＩＤに対応する認識画像を認識画像ファイルから読み込む。
ステップＳ３：種別ＩＤに対応する文字枠画像を文字枠画像ファイル２４から読み込む。
ステップＳ４：文字枠画像と認識画像の回転角のずれを検出する回転角度検出処理を実行する。
ステップＳ５：ステップＳ４で検出した回転角度θによる回転ずれを修正した状態で文字枠画像と認識画像のＸ軸及びＹ軸方向のずれを示す平行移動量（ｘ，ｙ）を検出する平行移動量検出処理を実行する。
ステップＳ６：検出された回転角度θと平行移動量（ｘ，ｙ）に基づいて文字枠画像と認識画像と各画素ごとに対応関係を求めるアフィン変換処理を実行する。
ステップＳ７：文字枠画像と認識画像の各対応する画素を重ね合せる画像重ね合せ処理を実行する。

ここで、文字枠画像と認識画像を重ね合せる際の両画像のずれを修正するためのステップＳ４の回転角度検出処理とステップＳ５の平行移動量検出処理の詳細を説明する。図１７は、文字枠画像と認識画像の回転角度のずれを検出したときの説明図である。

図１７（Ａ）は文字枠画像６２であり、この例では４つのフィールド６４−１，６４−２，６４−３，６４−４が配置されており、各フィールドの中心座標はその書式定義情報から中心点Ｏ，Ｐ，Ｑ，Ｒの座標が与えられている。この文字枠画像６２における基準角度θ１として、例えばフィールド６４−１の中心点Ｏと対角位置にあるフィールド６４−３の中心点Ｑを結ぶ直線６６とフィールド６４−１の中心点Ｏを通る垂直基準線６８との角度として求める。

同様に図１７（Ｂ）の認識画像７２についても、基準角度θ１’としてフィールド７４−１の中心点ｏと対角位置にあるフィールド７４−３の中心点ｑを結ぶ直線７６のフィールド７４−１の中心点ｏを通る垂直基準線７８に対する角度として検出する。このような文字枠画像６２及び認識画像７２に対する基準角度θ１，θ１’としては読取対象とする帳票に歪みや伸縮があることを考慮し、文字枠画像６２及び認識画像７２につき複数の基準角度θｍ，θｍ’を求め、それぞれの差（θ'ｍ−θｍ）の差の必要値をとって回転角度θを表現すると次のようになる。

ここで文字枠画像６２及び認識画像７２について求める複数の基準角度について説明する。例えば図１７（Ａ）の文字枠画像６２にあっては基準角度θ１としてフィールド６４−１とフィールド６４−３を結ぶ直線６６の垂直基準線６８に対する角度を求めているが、これに加えフィールド６４−１とフィールド６４−２の中心点Ｏ，Ｐを結ぶ直線の垂直基準線６８に対する角度をθ２として求め、更にフィールド６４−１とフィールド６４−４の中心点Ｏ，Ｒを結ぶ直線の垂直基準線６８に対する角度を基準角度θ３として求める。

また図１７（Ｂ）の認識画像７２についても同様にフィールド７４−１とフィールド７４−３の中心点ｏ，ｑを結ぶ直線７６の垂直基準線７８に対する角度として求めた基準角度θ１’に加え、フィールド７４−１とフィールド７４−２の中心点ｏ，ｐを結ぶ垂直基準線７８に対する角度をθ２’として求め、フィールド７４−１とフィールド７４−４の中心点ｏ，ｒを結ぶ直線の垂直基準線７８に対する角度を基準角度θ３’として検出する。

そして、このような文字枠画像６２及び認識画像７２における３つの基準角度について次のようにして差を求める。
Ｘ１＝（θ１’−θ１）
Ｘ２＝（θ２’−θ２）
Ｘ３＝（θ３’−θ３）
としてそして、３つの角度差の中央値を回転角度θとする。勿論、各画像毎に求める基準角度の数は、３つ以上であれば適宜の数として良い。

図１８は、図１７で検出した回転角度θのずれを補正した後に行う文字枠画像と認識画像の平行移動量のずれを検出処理の説明図である。図１８において、例えば認識画像７２を固定した状態で文字枠画像６２を図１７の処理で求めた回転角度θ分だけフィールド６４−１の中心点Ｏを中心に回転させると、例えばフィールド６４−４はフィールド６４−４’に移動する。

そこで認識画像７２のフィールド７４−４の中心点ｒに対応する回転後の文字枠画像６２におけるフィールド６４−４’の中心Ｒ’とを結ぶベクトル８０につきＸ軸方向及びＹ軸方向の移動距離Ｘ＝（ｘ，ｙ）を求める。この場合についても基準角度の場合と同様に複数のフィールドについて認識画像７２と回転後の文字枠画像６２との間の距離を求め、その中央値を平行移動量とする。ここで認識画像７２と文字枠画像６２の複数フィールドについて求めた距離をｂｍ（但し、ｍは１〜ｎ）とすると＜平行移動量Ｘｍは次式で与えられる。

このようにして文字枠画像６２と認識画像７２におけるずれを補正するための回転角度θ及び平行移動量Ｘ＝（ｘ，ｙ）が検出されたならば、図１６のステップＳ６のアフィン変換処理を行って認識画像７２の任意の画素に対応する文字枠画像６２の画素を求める。

この文字枠画像６２の各画素について各アフィン変換を用いて認識画像７２のどの画素が対応するかは次式で与えられる。

なお、図１８の平行移動量の検出にあっては、文字枠画像６２を、図１７で検出した回転角度θ分だけ回転させているが、逆に文字枠画像６２を固定して認識画像７２側を、検出した回転角θだけ回転した後に、平行移動量を検出するようにしてもよい。

図１９は、図１６のステップＳ７における画像重ね合わせ処理の詳細を示したフローチャートであり、次の処理手順からなる。

ステップＳ１：回転角度θと平行移動量（ｘ，ｙ）の検出に基づき、アフィン変換により、各画素の対応関係が取られた認識画像と文字枠画像を読み込む。
ステップＳ２：認識画像と文字枠画像の濃度を予め定めたデフォルトの濃度に変更する。
ステップＳ３：認識画像の画素を１つ抽出する。
ステップＳ４：認識画像の画素は黒か否かチェックし、黒であればステップＳ５に進み、そうでなければステップＳ６に進む。
ステップＳ５：認識画像の画素が黒の場合、認識画像の画素を合成画像の画素に配置する。
ステップＳ６：認識画像の画素が黒でない場合、文字枠画像の画素を合成画像の画素に配置する。
ステップＳ７：全画素を処理したか否かチェックし、未処理であればステップＳ３に戻り、処理が済めばステップＳ８に進む。
ステップＳ８：濃度変更要求の有無をチェックし、変更要求があればステップＳ９に進み、なければ処理を終了する。
ステップＳ９：文字枠画像と認識画像を、指定された濃度に変更して表示する。

このような図１９の画像重ね合わせ処理にあっては、文字枠画像と認識画像の色を重ねて１つの画像として出力させる場合、単純に両者の画像の色を１対１の割合で重ねると、記入された文字が薄くなり、視認性が低下する。例えば文字枠画像が白で認識画像が黒の場合、１対１の割合で両者を重ねると合成画像の色は灰色となり、視認性が低下する。そこで本発明にあっては、認識画像の文字の記入部分については認識画像の文字の色をそのまま使い、文字の記入のない部分については文字枠画像の色を使うようにしている。

これにより、認識画像に存在する記入文字の部分の視認性を向上することができる。また重ね合わせ後の画像で、より重要な部分は記入された文字などであることから、記入された文字などを際立たせるため、背景となる文字枠部分を薄める必要がある。一方、背景が見づらいような場合には逆に文字を薄くし背景を濃くするような方法が必要である。

本発明にあっては、図１９のステップＳ２に示すように、基本的には認識画像と文字枠画像の濃度を所定のデフォルト濃度として画像の重ね合わせを行い、重ね合わせ後に画面上で見て、例えば記入された文字が見づらい場合には認識画像を濃くし文字枠画像を薄くし、一方、背景が見づらいような場合には文字を薄くして背景を濃くするといった処理を、オペレータからの指示によりできるようにしており、これが図１９のステップＳ８の濃度変更要求に対応するステップＳ９の濃度変更処理となる。ここで、図１９の画像重ね合わせの際に合成画像として出力される色Ｃ_outは次式で定義することができる。

即ち（４）式につき、パラメータとして混合比率αや調整比率βを変更することで、文字枠画像と認識画像の濃度を変更することができる。本発明にあっては、文字が記入された認識画像については、認識画像の濃度を読取画像の濃度に固定し背景となる文字枠画像濃度を必要に応じて変更させるが、基本的には次の設定方法を採用している。
（１）文字枠画像濃度のデフォルト値をそのまま利用する。
（２）重ね合わせ表示後に文字枠画像濃度の濃度値を変えて再表示させる。
（３）文字枠画像濃度に応じて認識画像とのコントラストが所定値となるように、重ね合 わせの文字枠画像濃度を自動的に設定する。

このような文字枠画像濃度の設定方法のうち、文字枠画像濃度と認識画像濃度とのコントラストを所定値になるように文字枠画像濃度を自動設定する方法が、帳票の濃度が特に濃い場合や薄い場合に非常に有効であり、ユーザによる濃度指定が不要となる点で利便性が高い。

図２０は、図１９の画像重ね合わせ処理において文字枠画像の濃度を変えた場合の画像説明図である。図２０（Ａ）は、記入文字となる認識画像と背景となる文字枠画像の濃度を変更せずに読み取りによるデフォルト値のまま重ね合わせた画像である。これに対し図２０（Ｂ）は、文字枠画像の濃度を薄めて重ね合わせた画像であり、これによって認識画像上の記入文字の視認性が向上していることが分かる。

図２１は、図１９の画像重ね合わせ処理における文字枠画像のパレットカラーテーブルに黒を割り当てる処理の説明図である。図１９の画像重ね合わせ処理にあっては、モノクロ画像である認識画像とパレットカラーテーブルで実現されるカラー画像となる文字枠画像を重ねて合成画像を出力している。この場合、合成画像のカラーは文字枠画像のパレットカラーテーブルを依存することになるが、このパレットカラーテーブルには黒が存在していないことが多い。したがって、合成画像における認識画像の部分となる記入文字の黒を表現するため、文字枠画像のパレットカラーテーブルに黒を割り当てなければならない。

このように黒が存在しないパレットカラーテーブルに対する黒の割当は、パレットカラーテーブルの中から最も似ている２つの色の組合わせ、例えば図２１（Ａ）のパレットカラーテーブル８４におけるコード番号２１１のカラーデータＡとコード番号２１２のカラーデータＡ’を見つけ出し、図２１（Ｂ）のように一方のコード番号２１２につき、そのカラーデータを黒に置き換える。このようにコード番号２１２のカラーデータＡ’が黒に置き換えられると、文字枠画像におけるコード番号２１２につき正しいカラーデータＡ’による色が表現できないことから、図２１（Ｃ）のように文字枠画像のカラーデータについてコード変換を行う。

図２１（Ｃ）のコード変換部９０は、文字枠画像データの画素データにおける入力コード８８につき、コード番号「２１２」をコード番号「２１１」に変換して出力コード９２として出力する。即ち、図２１（Ｂ）のようにコード番号２１２を黒に置き換えたことにより、元のコード番号２１２のカラーデータＡ’についてはコード変換部９０により最も近い色であるコード番号２１１のカラーデータＡに変換して出力する。これによって、文字枠画像のパレットカラーテーブルの特定の色に黒に割り当てても、その割当てにより失われた色は最も近い色に変換されることとなり、文字枠画像における色の変化を最小限に抑えることができる。また合成画像にあっては、黒以外にも白を必要とするケースも存在する。

同様に、白についても文字枠画像のパレットカラーテーブルには存在しないことが多いため、黒の場合と同様、黒を割り当てたカラーデータＡ，Ａ’以外に、次に最も近い色のカラーデータＢ，Ｂ’を見つけ、一方のカラーデータＢ’に白を割り当て、カラーデータＢ’については、そのコード番号をコード変換部９０により、近い色のカラーデータＢとなるようにコード変換することで対応する。

図２２は、図１のデータベース１５から帳票画像を復元する帳票確認処理のフローチャートである。即ち、スキャナ１１で記入済みの帳票を読み取って、文字枠画像との合成画像の表示で認識結果を確認し、必要な修正などが済むと、認識結果として作成されたドキュメントはサーバ１２に転送され、データベース１５に保存されている。このように、データベース１５に保存されている認識結果としての作成済ドキュメントについて、後の処理として帳票認識結果を確認している途中で内容的におかしな個所を発見した場合に、元となった帳票画像を復元し、認識結果に誤りがないか否かを確認する認識結果確認処理を行うことになる。

このような認識結果確認処理として図２２の処理手順は次のようになる。

ステップＳ１：データベース１５から帳票認識結果を取得して画面表示する。
ステップＳ２：帳票復元要求の有無をチェックしており、帳票復元要求があればステップＳ３に進み、なければステップＳ４に進む。
ステップＳ３：帳票復元要求に基づき、データベース１５から種別ＩＤによって文字枠画像を取得すると共に、帳票ＩＤにより認識画像を取得し、図１９の画像重ね合わせ処理の手順に従って２つの画像を合成して表示する。但し、この場合にはデータベースに画像ずれを修正するための回転角度θ及び平行移動量（ｘ，ｙ）が保存されていることから、図１７のような回転角度の検出や図１８の平行移動量の検出は不要となる。
ステップＳ４：ログオフの指示があれば処理を終了し、なければステップＳ１に戻る。

図２３は、記入済帳票の読み取りによる認識結果として得られた作成ドキュメントに並べて本発明による合成画像を表示した確認修正のための作業画面の説明図である。図２３において、作業画面９４の右側に作成ドキュメント９８が表示されており、左側に文字枠画像と認識画像の重ね合わせで得られた合成帳票画像９６が表示されている。このためオペレータは、作業画面９４を見て、作成ドキュメント９８の中の文字認識結果として配置された認識結果を左側の合成帳票画像９６の記入内容と対比し、正しい認識結果が得られているかどうかをチェックすることができる。

図２４は図２３の作業画面９４における左側の合成帳票画像を拡大表示させた場合であり、この拡大表示により帳票記入内容の認識が、より明確にできる。

なお本発明の処理対象となる帳票は、文字記入枠としてのフィールドを指定した帳票であれば、そのサイズ、書式などにより限定されず、適宜の帳票処理にそのまま適用することができる。また本発明は、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

本発明の実施形態を示した機能構成のブロック図 本発明が適用されるコンピュータのハードウェア環境の説明図 ドロップアウトカラー用紙を使用した帳票の説明図 読取対象とする記入済帳票の説明図 非ドロップアウト読み取りにより取得された文字枠画像の説明図 ドロップアウト読み取りにより取得された認識画像の説明図 本発明により生成される合成画像の説明図 文字枠画像と読取画像を用いた本発明における画像合成処理の説明図 文字枠画像と読取画像を用いた本発明における画像合成処理の説明図 図１の文字枠画像ファイルの説明図 図１の認識画像ファイルの説明図 本発明による帳票処理のフローチャート 図１２における文字枠画像読取処理のフローチャート 図１２における帳票読取処理のフローチャート 図１２における文字認識処理のフローチャート 図１２における画像合成処理のフローチャート 文字枠画像と認識画像の回転角度のずれを検出する処理の説明図 回転角度のずれを補正した後に行う文字枠画像と認識画像の平行移動量のずれを検出する処理の説明図； 図１６における画像重ね合わせ処理のフローチャート 文字枠画像の濃度を変えた場合の画像説明図 パレットカラーテーブルに黒を割り当てる処理の説明図 データベースから帳票画像を復元する帳票確認処理のフローチャー 図２３は認識結果に並べて本発明による合成画像を並べて表示する確認修正のための作業画面の説明図 図２３の合成画像側を拡大表示した作業画面の説明図 従来の認識画像と認識結果を並べて表示した作業画面の説明図

符号の説明

１０：帳票処理装置
１１：スキャナ（光学的読取装置）
１２：サーバ
１４：文字枠画像読取部
１５：データベース
１６：帳票読取部
１８：文字認識部
２０：合成表示部
２２：書式定義ファイル
２４：文字枠画像ファイル
２６：認識画像ファイル
３０：回転角度検出部
３２：平行移動量検出部
３４：アフィン変換部
３６：濃度調整部
３８：画像メモリ
４０：ディスプレイユニット
４２：帳票
４４：種別ＩＤ
４５：記入済み帳票
４６：フィールド
４８：文字枠画像
５０：認識画像
５０：認識画像
５４：合成画像
５６：非ドロップアウト読取
５８：ドロップアウト読取
７２：認識画像
９４：作業画面
９６：合成帳票画像
９８：作成ドキュメント

Claims (9)

1. コンピュータに、
   未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取ステップと、
   記入済みの帳票の認識不要部分の色をドロップアウトした認識画像を読み取って保存する帳票読取ステップと、
   前記認識画像の文字を認識する文字認識ステップと、
   前記文字認識結果と共に、前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップと、
   を実行させることを特徴とする帳票処理プログラムにおいて、
   前記文字枠画像読取ステップは、種類の異なる複数の帳票から文字枠画像を読み取り、
   文字枠読取画像から文字枠の位置を示す書式定義情報を生成して該書式定義情報を書式定義ファイルに保存すると共に、前記文字枠読取画像から認識した種別識別子を付して前記文字枠読取画像を保存し、
   前記帳票読取ステップは、記入済みの帳票から認識不要部分の色をドロップアウトして得られた記入文字からなる認識画像を前記書式定義情報に基づいて読み取ると共に、帳票読取画像から認識した種別識別子を付して前記帳票読取画像を保存し、
   前記合成表示ステップは、前記認識画像の識別子に一致する識別子を持つ文字枠画像を選択して重ね合わせることを特徴とする帳票処理プログラム。
2. 請求の範囲１の帳票処理プログラムに於いて、前記合成表示ステップは、認識結果を保存した後の必要時に、保存されている前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示することを特徴とする帳票処理プログラム。
3. 請求の範囲１の帳票処理プログラムに於いて、前記合成表示ステップは、認識画像の画素と文字枠画像の画素が重なる場合は、認識画素の画素値を選択することを特徴とする帳票処理プログラム。
4. 請求の範囲１の帳票処理プログラムに於いて、前記合成表示ステップは、認識画像の濃度と文字枠画像の濃度を予め定めた濃度に固定して合成表示させることを特徴とする帳票処理プログラム。
5. 請求の範囲１の帳票処理プログラムに於いて、前記合成表示ステップは、認識画像の濃度と文字枠画像の濃度を変更して合成表示させることを特徴とする帳票処理プログラム。
6. 請求の範囲１の帳票処理プログラムに於いて、前記合成表示ステップは、認識画像と文字枠画像の濃度比率が所定値となるよう濃度値を変更して合成表示させることを特徴とする帳票処理プログラム。
7. 請求の範囲１の帳票処理プログラムに於いて、前記合成表示ステップは、前記認識画像を文字枠画像に重ね合わせた合成画像を、前記認識結果の表示画面上に並べて表示させることを特徴とする帳票処理プログラム。
8. 未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取ステップと、
   記入済みの帳票の認識不要部分の色をドロップアウトした認識画像を読み取って保存する帳票読取ステップと、
   前記認識画像の文字を認識する文字認識ステップと、
   前記文字認識結果と共に、前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップと、
   を実行させることを特徴とする帳票処理方法において、
   前記文字枠画像読取ステップは、種類の異なる複数の帳票から文字枠画像を読み取り、
   文字枠読取画像から文字枠の位置を示す書式定義情報を生成して該書式定義情報を書式定義ファイルに保存すると共に、前記文字枠読取画像から認識した種別識別子を付して前記文字枠読取画像を保存し、
   前記帳票読取ステップは、記入済みの帳票から認識不要部分の色をドロップアウトして 得られた記入文字からなる認識画像を前記書式定義情報に基づいて読み取ると共に、帳票読取画像から認識した種別識別子を付して前記帳票読取画像を保存し、
   前記合成表示ステップは、前記認識画像の識別子に一致する識別子を持つ文字枠画像を選択して重ね合わせることを特徴とする帳票処理方法。
9. 未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取部と、
   記入済みの帳票の認識不要部分の色をドロップアウトした認識画像を読み取って保存する帳票読取部と、
   前記認識画像の文字を認識する文字認識部と、
   前記文字認識結果と共に、前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示部と、
   を備えたことを特徴とする帳票処理装置において、
   前記文字枠画像読取部は、種類の異なる複数の帳票から文字枠画像を読み取り、文字枠読取画像から文字枠の位置を示す書式定義情報を生成して該書式定義情報を書式定義ファイルに保存すると共に、前記文字枠読取画像から認識した種別識別子を付して前記文字枠読取画像を保存し、
   前記帳票読取部は、記入済みの帳票から認識不要部分の色をドロップアウトして得られた記入文字からなる認識画像を前記書式定義情報に基づいて読み取ると共に、帳票読取画像から認識した種別識別子を付して前記帳票読取画像を保存し、
   前記合成表示部は、前記認識画像の識別子に一致する識別子を持つ文字枠画像を選択して重ね合わせることを特徴とする帳票処理装置。

Images