WO2004107257A1

WO2004107257A1 - 帳票処理プログラム、方法及び装置

Info

Publication number: WO2004107257A1
Application number: PCT/JP2003/006828
Authority: WO
Inventors: Jun Miyatake; Yasuhiro Ura
Original assignee: Fujitsu Limited
Priority date: 2003-05-30
Filing date: 2003-05-30
Publication date: 2004-12-09
Also published as: US20060039606A1; JP4269059B2; US7551778B2; JPWO2004107257A1

Abstract

帳票処理プログラムは、コンピュータに、未記入の文字枠を備えた帳票の全ての色をスキャナで読み取って文字枠画像として保存する文字枠画像読取ステップと、記入済みの帳票の認識不要部分の色をドロップアウトした認識画像をスキャナで読み取って保存する帳票読取ステップと、認識画像の文字を認識する文字認識ステップと、文字認識結果の修正時等に、認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップとを実行させる。

Description

明細書帳票処理プログラム、方法及び装置技術分野

本発明は、文字が手書きで記入された帳票を光学的に読み取って文字を認識する帳票処理プログラム、方法及び装置に関し、特に、帳票の認識不要な部分の色をド口ップアゥトして読み取った画像を処理する帳票処理プログラム、方法及び装置に関する。背景技術

文字枠に必要事項が記入された帳票をスキャナ（光学的読取装置）により読み取って読取画像の文字を認識する処理にあっては、読取画像における文字認識の精度を高めるため、スキャナで読み取る際に、帳票の記入文字以外の色をドロップァゥ卜させて認識対象となる記入文字のみの認識画像を取得している。

具体的には、黒を使用する記入文字以外のドロップアゥトカラ一で文字枠や必要事項が印刷された帳票を準備し、次の手順で帳票の文字認識を行う。

(手順 1 ) 認識対象となる記入済みの帳票を黒背景付きとしてスキャナで読み取る。このとき光源の色を帳票のドロップアウトカラーに合わせてフィールド枠等の認識に不要な部分をドロップァゥトさせる。

(手順 2 ) 文字枠画像と認識対象帳票の黒背景から帳票の端を見つけだすことで、認識対象範囲を定め、その範囲内の文字認識を行う。

しかしながら、帳票上のフィールド枠等をドロップアウトして読み取つた認識画像を認識結果と共に画面上に並べて表示させて確認する場合、認識画像は手書きされた文字のみのため、書かれている内容がどの項目のものであるかが分からず、内容を確認し誤りがあれば認識結果を修正する作業が困難となる。図 2 5は従来の帳票処理の作業画面であり、画面左側にフィールド枠等をドロップアゥトして帳票を読取った手書き文字のみからなる認識画像 2 0 0を表示し、右側に認識画像 2 0 0の手書文字の認識により作成された所定の書式フォーマツトをもった認識結果 2 0 2を表示している。しかしながら、手書文字のみからなる認識画像 2 0 0は、フィールド枠等がドロップアウトしているため、手書きされた内容が認識結果 2 0 2 の項目に対応するかが分りにくく、内容を確認し誤りがある場合、認識結果を修正する作業を困難にしている。

この問題を解決するため、従来の帳票読取りにあっては、特殊な O C R付スキャナを使用し、帳票の 1回の読取操作でドロップアウト画像と非ドロップァゥト画像を同時に取り込み、非ドロップァゥト画像を認識結果と共に画面表示して確認修正が容易にできるようにしている。

(特許文献 1 )

特開平 6— 6 8 2 9 9号公報

しかしながら、このような従来のドロップアウト画像と非ドロップァゥト画像を同時に取り込む方法にあっては、特殊な〇 C R付スキャナを必要とする問題があり、汎用のスキャナが使用できないためにコストァップになるという問題がある。また汎用のスキャナを使用する際には、読取色を替えて同じ帳票を 2回読み取る必要があり、スキャナ読取操作に手間と時間がかかる問題がある。

更に、一度読み取ったド口ップアゥト画像及び非ド口ップアゥト画像は、認識結果を確認している際に疑問点が出たような場合には、画面上に再現して認識結果に誤りがないか確認する必要があり、このためドロップアウト画像及び非ドロップ画像を保存する必要がある。しかし、帳票一枚につき 2枚分の画像データの保存が必要となり、日常処理として読み取る帳票の数は膨大であるため、全体的にみた画像データの保存量が大幅に増加するという問題がある。特に非ド口ップ画像はド口ップアゥト部分にカラ一印刷をしているためにカラー画像となり、ドロップァゥト画像がモノク口一画像であるのに比べ、非ド口ップアゥト画像の保発明の開示

本発明は、帳票のドロップアウト部分を予め読取っておくことで、帳票のドロップァゥト画像から記入済み帳票画像を簡単に再現できるようした帳票処理プログラム、方法及び装置を提供することを目的とする。本発明は、コンピュータにより実行される帳票処理プログラムを提供する。この帳票処理プログラムは、コンピュータに、

未記入の文字枠を備えた帳票の全ての色をスキャナで読み取って文字枠画像として保存する文字枠画像読取ステップと、

記入済みの帳票の認識不要部分の色をド口ップアゥトした認識画像をスキャナで読み取って保存する帳票読取ステツプと、

認識画像の文字を認識する文字認識ステップと、

文字認識結果と共に、認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステツプと、

を実行させることを特徴とする。

このような本発明の帳票処理プログラムによれば、記入済みの帳票をドロップァゥト読取りで認識画像を取得して文字認識した場合、予め保存している帳票ドロップアゥト部分となる文字枠画像との合成で記入済帳票画像が復元でき、認識画像の文字が帳票のどのフィールドに書かれたものか画面上で対応させることができ、認識結果の確認と修正が簡単且つ確実にできる。また未記入帳票の非ドロップァゥト画像である文字枠画像は、帳票の種類分の画像データを保存するだけで済み、従来のように非ドロップァゥト画像として全帳票分のカラー画像データを保存する場合に比べ、画像デ一夕の保存量を大幅に低減できる。また帳票読取に使用する光学読取装置としてのスキャナは、読取色を設定可能な汎用のカラ一スキャナが使用できることから導入が容易でコストダウンになり、更に、記入済帳票の読取りは 1回で良いから作業性が高い。

ここで、合成表示ステップは、認識画像と文字枠画像を重ね合わせるための回転角度 0を検出する回転角度検出ステップと、認識画像と文字枠画像の一方を回転角度 0だけ回転させた状態で重ね合わせるための平行移動量（X , y ) を検出する平行移動量検出ステップと、回転角 Sと平行移動量（X , y ) に基づいて認識画像と文字枠画像との各画素毎に対応関係を求めて画素値を合成する画素合成ステップとを備え、更に、回転角度検出ステツプ及び平行移動量検出ステツプは、文字枠画像と認識画像で対応している複数のフィールドにおける中心座標位置の関係を利用して回転角度 0及び平行移動量（X , y ) を検出することを特徴とする。具体的に、回転角度検出ステツプ及び平行移動量検出ステツプは、文字枠画像と認識画像で対応している複数のフィールドにおける中心座標位置の関係を利用して検出した複数の回転角度及び平行移動量のうちの中央値を求める。これによつて認識画像と文字枠画像との位置ずれを正確に検出して正しく位置合わせした画像合成ができる。

文字枠画像読取ステツプは、種類の異なる複数の帳票から文字枠画像を読み取ると共に、読取画像から認識した種別識別子を付して文字枠画像を保存し、帳票読取ステップは、記入済みの帳票から認識不要部分の色をド口ップアゥトした認識画像を読み取ると共に、読取画像から認識した種別識別子を付して読取画像を保存し、合成表示ステップは、認識画像の識別子に一致する識別子を持つ文字枠画像を選択して重ね合わせることを特徴とする。このように本発明の帳票処理プログラムは、複数種類の帳票を処理対象とし、種類の異なる手書きによる記入済み帳票が混在した状態で連続的に読み込んでも、種別に対応した文字枠画像との重ね合わせにより記入済み帳票画像を復元できる。

合成表示ステップは、認識結果を修正した後の必要時に、保存されている認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する。このように帳票の読取による認識結果の処理後に、認識結果の内容が問題となった場合は、いつでも記入済帳票画像を再現して内容の照合ができる。

合成表示ステツプは、認識画像の画素と文字枠画像の画素が重なる場合は、認識画素の画素値を選択する。このように認識画像としての記入文字を優先させる重ね合わせにより、認識対象となる記入内容の確認が行い易い。

合成表示ステツプは、認識画像の濃度と文字枠画像の濃度を予め定めた濃度に固定して合成表示させる。また合成表示ステップは、認識画像の濃度と文字枠画像の濃度を変更して合成表示させる。更に合成表示ステツプは、認識画像と文字枠画像の濃度比率（コントラスト）が所定値となるよう濃度値を変更して合成表示させる。このように文字枠画像および認識画像における文字の濃度調節や色の変更を行うことで、記入された文字の視認性を向上できる。合成表示ステップは、前記認識画像を文字枠画像に重ね合わせた合成画像を、前記認識結果の表示画面上に並ベて表示させる。

本発明は、帳票処理方法を提供する。この帳票処理方法は、

未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取ステップと、

記入済みの帳票の認識不要部分の色をド口ップアゥトした認識画像を読み取って保存する帳票読取ステップと、

認識画像の文字を認識する文字認識ステツプと、

文字認識結果と共に、認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップと、

を備えたことを特徴とする。

本発明は帳票処理装置を提供する。この帳票処理装置は、未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取部と、記入済みの帳票の認識不要部分の色をドロップァゥトレた認識画像を読み取って保存する帳票読取部と、認識画像の文字を認識する文字認識部と、文字認識結果と共に認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示部とを備えたことを特徴とする。

なお、本発明の帳票処理方法及び帳票処理装置の詳細は、帳票処理プログラムと基本的に同じになる。図面の簡単な説明

図 1は本発明の実施形態を示した機能構成のブロック図；

図 2は本発明が適用されるコンピュータのハードウエア環境の説明図；図 3はドロップァゥトカラ一用紙を使用した帳票の説明図；

図 4は読取対象とする記入済帳票の説明図；

図 5は非ドロップァゥト読取りにより取得された文字枠画像の説明図；図 6はドロップアゥト読取りにより取得された認識画像の説明図；図 7は本発明により生成される合成画像の説明図；

図 8は文字枠画像と読取画像を用いた本発明における画像合成処理の説明図；

図 9は図 1の書式定義ファイルの説明図；

図 1 0は図 1の文字枠画像ファイルの説明図；

図 1 1は図 1の認識画像ファイルの説明図；

図 1 2は本発明による帳票処理のフローチャート；

図 1 3は図 1 2における文字枠画像読取処理のフローチャート；図 1 4は図 1 2における帳票読取処理のフローチヤ一ト；

図 1 5は図 1 2における文字認識処理のフローチヤ一ト；

図 1 6は図 1 2における画像合成処理のフローチヤ一ト；

図 1 7は文字枠画像と認識画像の回転角度のずれを検出する処理の説明図；

図 1 8は回転角度のずれを補正した後に行う文字枠画像と認識画像の平行移動量のずれを検出する処理の説明図；

図 1 9は図 1 6における画像重ね合わせ処理のフローチヤ一ト；図 2 0は文字枠画像の濃度を変えた場合の画像説明図；

図 2 1はパレツトカラ一テーブルに黒を割り当てる処理の説明図；図 2 2はデータベースから帳票画像を復元する帳票確認処理のフローチヤー卜図 2 3は認識結果に並べて本発明による合成画像を並べて表示する確認修正のための作業画面の説明図；

図 2 4は図 2 3の合成画像側を拡大表示した作業画面の説明図；図 2 5は従来の認識画像と認識結果を並べて表示した作業画面の説明図；発明を実施するための最良の形態

図 1は、本発明による帳票処理の実施形態を示した機能構成のブロック図である。図 1において、本発明の帳票処理装置 1 0はパーソナルコンピュータなどで実現され、帳票の入力デバイスとしてスキャナ（光学的読取装置） 1 1を接続している。また処理結果を表示するためデイスプレイュニット 4 0を接続する。更に帳票処理装置 1 0はサーバ 1 2に対し L A Nなどのネットワークを介してクライアントとして接続されており、サーバ 1 2は帳票処理装置 1 0の処理結果をデータベース 1 5に保存するようにしている。帳票処理装置 1 0には文字枠画像読取部 1 4、帳票読取部 1 6、文字認識部 1 8、合成表示部 2 0、書式定義ファイル 2 2、文字枠画像ファイル 2 4、認識画像ファイル 2 6、認識結果ファィル 2 8、さらにワークメモリとして機能する画像メモリ 3 8が設けられている。また合成表示部 2 0には回転角度検出部 3 0、平行移動量検出部 3 2、ァフィン変換部 3 4及び濃度調整部 3 6が設けられている。文字枠画像読取部 1 4は、未記入の文字枠による複数フィールドを備えたドロップァゥトカラ一帳票の全ての色をスキャナ 1 1で読取って文字枠画像として文字枠画像ファイル 2 4に格納する。またこの実施形態にあっては、文字枠画像の読取結果について、帳票のどの部分を文字認識するかを記述している書式定義情報を作成し、書式定義ファイル 2 2に格納する。文字枠画像読取部 1 4が処理する未記入のドロップアウトカラー帳票は、通常、複数種類準備されており、各帳票には予め帳票の種別を示す識別子として種別 I Dが印刷されている。従って文字枠画像フアイル 2 4及び書式定義ファイル 2 2に対する書式定義情報については、それぞれ種別 I Dをつけて保存している。帳票読取部 1 6は記入済みの帳票の認識不要部分、すなわち文字枠となるフィ一ルドなどの不要部分の色をドロップァゥトした認識画像をスキャナ 1 1により読取って、認識画像を認識画像ファイル 2 6に保存する。この認識画像ファイル 2 6 への保存は、帳票に記入されている種別 I Dと帳票毎に設定された帳票 I Dを付して認識画像を保存する。文字認識部 1 8は、帳票読取部 1 6 で取得された認識画像の種別 I Dによって書式定義ファイル 2 2から読み出された書式定義情報で指定される読取対象領域について手書文字を認識し、文字認識結果により所定の書式フォ一マツ卜に従ったドキュメントを作成して、認識結果として認識結果ファイル 2 8に保存する。合成表示部 2 0は、文字認識部 1 8で生成された文字認識結果の修正時等に、種別 I Dにより文字枠画像ファイル 2 4から対応する文字枠画像を読み出し認識画像と重ねあわせた記入済み帳票画像をディスプレイュニット 4 0に認識画像と並べて表示する。この合成表示部 2 0における認識画像と文字枠画像の重ね合わせ表示のため、 2つの画像のずれを検出して修正するため、回転角度検出部 3 0、平行移動量検出部 3 2及びァフィン変換部 3 4が設けられている。回転角度検出部 3 0は認識画像と文字枠画像を重ね合わせるための回転角度（回転ずれ角度） 0を検出する。平行移動量検出部 3 2は例えば文字枠が応に対し認識画像を検出された回転角度 0だけ回転させた状態で、両者を重ね合わせるための平行移動量（X , y ) を検出する。ァフィン変換部 3 4は回転角度 0と平行移動量（X , y ) に基づいて、認識画像と文字枠画像との各画素ごとに対応関係を求めて画素値を合成する。さらに合成表示部 2 0には濃度調整部 3 6が設けられ、合成表示された記入済み調整画像において必要に応じて文字枠画像と認識画像の濃度を調整するようにしている。

図 1における本発明の帳票処理装置 1 0は、例えば図 2のようなコンピュー夕のハードウェア資源により実現される。図 2のコンピュータにおいて、 C P U 1 0 0のパス 1 0 1には R A M 1 0 2、ハードディスクコントローラ（ソフト） 1 0 4、フロッピィディスクドライバ（ソフト） 1 1 0、 CD— ROMドライバ（ソフト） 1 1 4、マウスコントローラ 1 1 8、キ一ボードコントローラ 1 2 2、ディスプレイコントローラ 1 2 6、通信用ポード 1 3 0、スキャナドライバ 1 3 6が接続される。ハ一ドディスクコントローラ 1 04はハ一ドディスクドライブ 1 0 6を接続し、本発明の帳票処理を実行するプログラムをローディングしており、コンピュ一夕の起動時に八一ドディスクドライブ 1 0 6から必要なプログラムを呼び出して、 RAM I 0 2上に展開し、 C PU 1 0 0により実行する。フロッピィディスクドライバ 1 1 0にはフロッピィディスクドライブ（ハード） 1 1 2が接続され、フロッピィディスク（R) に対する読み書きができる。 C D— ROMドライバ 1 1 4に対しては、 CDドライブ（ハード） 1 1 6が接続され、 CDに記憶されたデータゃプログラムを読み込むことができる。マウスコント口一ラ 1 1 8はマウス 1 2 0の入力操作を C PU 1 0 0に伝える。キーポ一ドコントローラ 1 2 2 はキーポード 1 24の入力操作を C P U 1 0 0に伝える。ディスプレイコントローラ 1 2 6は表示部 1 2 8に対して表示を行う。通信用ポ一ド 1 3 0は LANなどの通信回線 1 3 2を使用し、帳票読取により作成されたドキュメントを保存するデータベースサーバを接続し、更に、インターネット等のネットワークを介して外部装置との間で通信を行う。スキヤナドライバ 1 3 6は C PU 1 0 0によるプログラムの実行で実現されるソフトウエアとして外部接続されたスキャナ 1 1を駆動するものであり、フルカラ一対応の非ド口ップアゥト読取と特定のド口ップアゥトカラ一を指定したドロップァゥト読取ができる。

図 3は、本発明の読取対象となるドロップアウトカラー用紙を使用した未記入の帳票の説明図である。図 3において、帳票 42は入力のダレ —スケールあるいはカラー画像をドロップァゥトカラ一に指定して印刷されている。以下の実施形態にあっては所定のドロップァゥトカラ一例えば青を使用して文字枠や必要な項目文字を図示のように示した場合を例にとっている。帳票 4 2は文字枠として使用されるフィールド 4 6を複数配置している。この例ではひとつのフィールド 4 6に 1文字を記入するように帳票 4 2が作成されている。帳票 4 2の左上隅には帳票名が表示され、その後ろに種別 I D 4 4を印刷している。この種別 I D 4 4 として所定の文字列あるいはバーコ一ドなどが使用され、帳票 4 2におけるドロップアウトカラー以外の色、例えばドロップアウトカラ一が「青」であった場合には「黒」を使用して種別 I D 4 4を印刷している。図 4は、本発明において読取対象とする記入済み帳票 4 5の説明図である。記入済み帳票 4 5のフィールド 4 6には必要に応じて文字が記入されており、文字の記入色はドロップアウトカラーである「青」とは異なる「黒」を使用して記入している。

図 5は、文字枠画像読取部 1 4の機能によりドロップアウト読取により取得された文字枠画像 4 8の説明図である。文字枠画像 4 8は図 3の未記入の帳票 4 2をスキャナ 1 1にセットして全ての色をスキャンするようにして読取っている。またドロップァゥト読取により得られた文字枠画像 4 8は黒背景付きの画像として読取られており、文字枠画像 4 8 の黒背景から帳票の端を見つけ出すことで文字の認識対象範囲を定める書式定義情報を生成することができる。すなわち文字枠画像 4 8にあつては画像面の各フィールド 4 6の座標が文字認識対象領域を定める書式定義情報として作成されて、図 1の書式定義ファイル 2 2に種別 I Dを付して保存される。同時に文字枠画像 4 8そのものが種別 I Dを付して文字枠画像ファイル 2 4に保存される。

図 6は、図 4の記入済み帳票 4 5のドロップアゥト読取により取得された認識画像 5 0の説明図である。すなわち記入済み帳票 4 5を読取る際に帳票のドロップアウトカラーである例えば「青」にスキャナ 1 1の光源の色をあわせて読取ることでフィールド 4 6やその項目文字を消し去ったモノクロの認識画像 5 0を取得する。また種別 I Dについてはド口ップアゥトカラ一を使用していないことから、認識画像 5 0にそのまま読取ることができる。このドロップァゥト読取により取得された認識画像 5 0も黒を背景とした画像として読取られ、黒背景から帳票の端を見つけ出すことで種別 I D 4 4で特定された書式定義情報に基づき、文字認識のためのフィールドの座標位置を特定することができる。

図 7は、本発明により生成される合成画像 5 4の説明図である。すなわち図 5の文字枠画像 4 8と図 6の認識画像 5.0を対象に両画像のずれをなくすように回転及び平行移動を行って重ね合わせることにより、手書文字が記入された帳票画像を合成画像 5 4として復元することができる。

図 8は、図 3〜図 7の各画像を用いた本発明における文字枠画像と読取画像の画像合成処理の説明図である。図 8において、未記入の帳票 4 2はそのままスキャナ 1 1にセットされて、非ドロップアウト読取 5 6 により文字枠画像 4 8として読取られ、その種別 I Dを付して保存される。一方、記入済み帳票 4 5はスキャナ 1 1にセットされて、ド口ップァゥト読取 5 8が行われ、フィールドやその項目文字がドロップァゥトされた記入文字及び種別 I Dのみの認識画像 5 0を得る。そして認識結果の修正などの際に読取元となった記入済み帳票 4 5を復元したい場合には、文字枠画像 4 8と認識画像 5 0の合成 6 0により合成画像 5 4を生成してディスプレイュニット 4 0上に認識結果と並べて表示させる。図 9は、図 1の書式定義ファイル 2 2の説明図である。書式定義ファィル 2 2には未記入の帳票の種別ごとに種別 I Dを付して、書式定義情報を保存している。書式定義情報は帳票のどの部分を文字認識するかを示す情報であり、フィールド I Dごとにフィールド座標が格納され、さらに後の説明で明らかにする画像ずれを修正するための回転角度及び平行移動量の検出に使用するフィ一ルド中心座標を保存している。例えば種別 I D 「 0 0 1」の文字枠画像は、フィールド I Dに 0 0 ；!〜 0 0 4 の 4フィ一ルドを備えており、例えばフィールド I D == 0 0 1についてフィ一ルド座標「P 1 1 , P 1 2 , P 1 3 , P 1 4」を格納し、更にフィールド中心座標「P 1 0」を格納している。

図 1 0は、図 1の文字枠画像ファイル 2 4の説明図である。文字枠画像ファイル 2 4には、帳票の種別を示す種別 I Dを付して帳票毎に非ド口ップアゥトカラ一読取により読取られた文字枠画像イメージデ一夕、具体的には画像を構成ずる画素データが所定の画像コ一ド形式にしたがつて格納されている。この例では文字枠画像はカラ一画像であることから、各画素データは例えば R G B画素データとなる。

図 1 1は、図 1の認識画像ファイル 2 6の説明図である。認識画像フアイル 2 6にはスキャナ 1 1により非ドロップァゥト読取により読取られた認識画像イメージデータ、具体的には画像を構成する画素データが所定の画像コード形式にしたがって帳票 I Dと種別 I Dを付して保存されている。帳票 I Dは入力された記入済み帳票 1枚ごとに付された固有の識別子であり、種別 I Dと同様、帳票に予め非ドロップアウトカラーにより印刷しておく力あるいは帳票を読取った際に装置側で順番に帳票 I Dを識別子として付すかのいずれかでよい。また帳票 I Dと種別 I Dを付して格納された認識画像イメージデータは認識画像がモノクロ画像であることから、白黒画素データとなっている。

図 1 2は、図 1の帳票処理装置 1 0による本発明の帳票処理のフロ一チャートであり、このフローチャートの処理手順が本発明による帳票処理プログラムの処理内容を表すことになる。この本発明による帳票処理の処理手順は次のようになる。ステップ S 1 ：複数種類の未記入の帳票を文字枠画像として読取って種別 I Dを付して保存する文字枠画像読取処理を実行する。尚、この際に文字枠画像の読取対象領域を特定する書式定義情報を生成して、同時に保存する。

ステップ S 2 ：記入済みの帳票をドロップァゥト読取りして種別 I D及び記入文字のみのモノク口画像としての認識画像を取得し、帳票 I D及び種別 I Dを付して保存する。

ステップ S 3 ：ステップ S 2で読取った認識画像に対し、種別 I Dにより取得した書式定義情報による文字読取フィ一ルドを対象に、文字認識処理を実行して所定のフォ一マツトを持ったドキュメントに読取った文字を配置する文字認識処理を実行する。ステップ S 4 ：認識結果の処理要求の有無をチェックし、処理要求があればステップ S 5に進み、処理要求がなければステップ S 7に進む。ステップ S 5 ：処理要求の対象となった帳票の種別 I Dにより文字枠画像を読み出し、現在処理をしている認識画像と合成して重ね合わせる合成表示処理を実行する。

ステップ S 6 ：合成表示処理により得られた合成画像を認識結果と並べて表示させて認識結果の確認処理を行わせる。

ステップ S 7 ：記入済みの帳票読取による一連の処理の終了によるログオフを判別すると処理を終了し、処理未終了であればステップ S 2からの処理を繰り返す。図 1 3は、図 1 2における文字枠画像読取処理のフローチヤ一トである。この文字枠画像読取処理の手順は次のようになる。ステップ S 1 : スキャナ 1 1に対しフルカラー設定で未記入の帳票を読取る。

ステップ S 2 ：読取画像から種別 I Dを認識する。

ステップ S 3 ：読取画像から文字枠の位置を示す書式定義情報を生成する。

ステップ S 4 ：書式定義情報に種別 I Dを付して書式定義ファイル 2 2 に保存する。

ステップ S 5 ：文字枠画像に種別 I Dを付して文字枠画像ファイル 2 4 に保存する。

ステップ S 6 ：全種類の帳票を処理したか否かチェックし、未処理であればステップ S 1に戻り、全種類の帳票が処理済みであれば処理を終了する。図 1 4は、図 1 2における帳票読取処理のフローチャートであり、次の処理手順となる。ステップ S 1 ：スキャナ 1 1の光源の色を帳票のドロップアウトカラーに設定して記入済みの帳票を読取る。

ステップ S 2 ：読取画像から種別 I Dを認識する。

ステップ S 3 ：認識画像に種別 I Dと帳票 I Dを付して認識画像フアイル 2 6に保存する。

ステップ S 4 ：未処理帳票の有無をチエツクし、未処理帳票があればステツプ S 1に戻り、無ければ処理を終了する。図 1 5は、図 1 2における文字認識処理のフローチャートであり、次の処理手順となる。ステップ S 1 ：スキャナ 1 1から読取った認識画像を文字認識処理対象として取り込む。

ステップ S 2 ：種別 I Dにより書式定義ファイル 2 2を参照して書式定義情報を取り込む。

ステップ S 3 ：書式定義情報から認識画像における認識対象のフィ一ルドを設定する。

ステツプ S 4 ：設定フィ一ルドの文字列を認識する。

ステップ S 5 ：認識した文字列を予め用意された作成ドキュメントの指定位置に配置する。

ステップ S 6 ：帳票の全フィールドを認識したか否かチェックし、認識していなければステツプ S 4に戻り、認識していればステツプ S 7に進む。

ステップ S 7 ：未処理の認識画像の有無をチェックし、未処理認識画像があればステップ S 1に戻り、無ければ処理を終了する。図 1 6は、図 1 2における画像合成処理のフローチャートであり、次の処理手順となる。ステップ S 1 ：確認対象となる作成ドキュメントを読み込んで画面表示する。

ステップ S 2 ：帳票 I Dに対応する認識画像を認識画像ファイルから読み込む。

ステップ S 3 ：種別 I Dに対応する文字枠画像を文字枠画像ファイル 2 4から読み込む。

ステップ S 4 ：文字枠画像と認識画像の回転角のずれを検出する回転角度検出処理を実行する。

ステップ S 5 ：ステップ S 4で検出した回転角度 0による回転ずれを修正した状態で文字枠画像と認識画像の X軸及び Y軸方向のずれを示す平行移動量（x， y ) を検出する平行移動量検出処理を実行する。

ステップ S 6 ：検出された回転角度 0と平行移動量（X , y ) に基づいて文字枠画像と認識画像と各画素ごとに対応関係を求めるァフィン変換処理を実行する。

ステップ S 7 ：文字枠画像と認識画像の各対応する画素を重ね合せる画像重ね合せ処理を実行する。ここで、文字枠画像と認識画像を重ね合せる際の両画像のずれを修正するためのステップ S 4の回転角度検出処理とステツプ S 5の平行移動量検出処理の詳細を説明する。図 1 7は、文字枠画像と認識画像の回転角度のずれを検出したときの説明図である。

図 1 7 ( A ) は文字枠画像 6 2であり、この例では 4つのフィールド 6 4 - 1 , 6 4 - 2 , 6 4 - 3 , 6 4— 4が配置されており、各フィールドの中心座標はその書式定義情報から中心点〇， P , Q , Rの座標が与えられている。この文字枠画像 6 2における基準角度 0 1として、例えばフィールド 6 4— 1の中心点〇と対角位置にあるフィ一ルド 6 4— 3の中心点 Qを結ぶ直線 6 6とフィ一ルド 6 4— 1の中心点 0を通る垂直基準線 6 8との角度として求める。同様に図 1 7 ( B ) の認識画像 7 2についても、基準角度 0 1 ' としてフィ一ルド 7 4— 1の中心点 oと対角位置にあるフィールド 7 4— 3の中心点 Qを結ぶ直線 7 6のフィールド 7 4— 1の中心点 oを通る垂直基準線 7 8に対する角度として検出する。このような文字枠画像 6 2及び認識画像 7 2に対ずる基準角度 0 1 , 0 1 ' としては読取対象とする帳票に歪みや伸縮があることを考慮し、文字枠画像 6 2及び認識画像 7 2にっき複数の基準角度 0 m, Θ m^J を求め、それぞれの差（0 'm— 0 m) の差の必要値をとつて回転角度 6> をこれを表現すると次のようになる。

回転角度 =中央値 ( , z₂… ）但し、 m:要素番号 (1~")

n:要素数

:文字枠画像基準角度

認識画像基準角度ここで文字枠画像 6 2及び認識画像 7 2について求める複数の基準角度について説明する。例えば図 1 7 (A) の文字枠画像 6 2にあっては基準角度 0 1 としてフィ一ルド 6 4— 1 とフィールド 6 4— 3を結ぶ直線 6 6の垂直基準線 6 8に対する角度を求めているが、これに加えフィールド 6 4— 1 とフィールド 6 4— 2の中心点 0， Pを結ぶ直線の垂直基準線 6 8に対する角度を 0 2として求め、更にフィールド 6 4 — 1とフィ一ルド 6 4— 4の中心点〇， Rを結ぶ直線の垂直基準線 6 8に対する角度を基準角度 0 3として求める。また図 1 7 (B ) の認識画像 7 2 についても同様にフィールド 7 4— 1 とフィールド 7 4— 3の中心点 o , Qを結ぶ直線 7 6の垂直基準線 7 8に対する角度として求めた基準角度 θ 1 ' に加え、フィールド 7 4 — 1 とフィールド 7 4 — 2の中心点 o， pを結ぶ垂直基準線 7 8に対する角度を 0 2 ' として求め、フィールド 7 4 - 1とフィールド 7 4— 4の中心点 o , rを結ぶ直線の垂直基準線 7 8に対する角度を基準角度 0 3 ' として検出する。そして、このような文字枠画像 6 2及び認識画像 7 2における 3つの基準角度について次のようにして差を求める。

X 1 = ( 0 1， - Θ 1 )

X 2 = ( θ 2 ' ~ 9 2 )

X 3 = ( θ 3 ' - Θ 3)

としてそして、 3つの角度差の中央値を回転角度 0とする。勿論、各画像毎に求める基準角度の数は、 3つ以上であれば適宜の数として良い。図 1 8は、図 1 7で検出した回転角度 0のずれを補正した後に行う文字枠画像と認識画像の平行移動量のずれを検出処理の説明図である。図 1 8において、例えば認識画像 7 2を固定した状態で文字枠画像 6 2を図 1 7の処理で求めた回転角度 Θ分だけフィ一ルド 6 4 _ 1の中心点〇を中心に回転させると、'例えばフィ一ルド 6 4— 4はフィールド 6 4— 4 ' に移動する。そこで認識画像 7 2のフィールド 7 4— 4の中心点 r に対応する回転後の文字枠画像 6 2におけるフィールド 6 4— 4 ' の中心 R ' とを結ぶベクトル 8 0にっき X軸方向及び Y軸方向の移動距離 X = ( X , y ) を求める。この場合についても基準角度の場合と同様に複数のフィールドについて認識画像 7 2と回転後の文字枠画像 6 2との間の距離を求め、その中央値を平行移動量とする。ここで認識画像 7 2と文字枠画像 6 2の複数フィールドについて求めた距離を bm (伹し、 m は 1〜！ 1 ) とすると <平行移動量 Xmは次式で与えられる。

X_m = (^br_m -^b _m' ) (2 ) 平行移動量 =中央値 (^ , ₂… „ ) 但し、 m:要素番号

n:要素数

：文字枠画像回転後座標

も':認識帳票座標このようにして文字枠画像 6 2と認識画像 7 2におけるずれを補正するための回転角度 0及び平行移動量 X= (x, y)が検出されたならば、図 1 6のステップ S 6のァフィン変換処理を行って認識画像 7 2の任意の画素に対応する文字枠画像 6 2の画素を求める。この文字枠画像 6 2 の各画素について各ァフィン変換を用いて認識画像 7 2のどの画素が対応するかは次式で与えられる。

但し、， y :文字枠画像の任意のピクセル座標

Χ',Υ':認識画像のピクセル座標

Θ：重ね合わせのための回転角度

x, y：重ね合わせのための平行移動量なお、図 1 8の平行移動量の検出にあっては、文字枠画像 6 2を、図 1 7で検出した回転角度 0分だけ回転させているが、逆に文字枠画像 6 2を固定して認識画像 7 2側を、検出した回転角 Θだけ回転した後に、平行移動量を検出するようにしてもよい。

図 1 9は、図 1 6のステップ S 7における画像重ね合わせ処理の詳細を示したフローチャートであり、次の処理手順からなる。ステップ S 1 ：回転角度 0と平行移動量（x， y ) の検出に基づき、ァフィン変換により、各画素の対応関係が取られた認識画像と文字枠画像を読み込む。

ステップ S 2 ：認識画像と文字枠画像の濃度を予め定めたデフォルトの濃度に変更する。

ステップ S 3 ：認識画像の画素を 1つ抽出する。

ステップ S 4 ：認識画像の画素は黒か否かチェックし、黒であればステップ S 5に進み、そうでなければステップ S 6に進む。

ステップ S 5 ：認識画像の画素が黒の場合、認識画像の画素を合成画像の画素に配置する。

ステップ S 6 ：認識画像の画素が黒でない場合、文字枠画像の画素を合成画像の画素に配置する。

ステップ S 7 ：全画素を処理したか否かチェックし、未処理であればステツプ S 3に戻り、処理が済めばステツプ S 8に進む。

ステップ S 8 ：濃度変更要求の有無をチェックし、変更要求があればステツプ S 9に進み、なければ処理を終了する。

ステップ S 9 ：文字枠画像と認識画像を、指定された濃度に変更して表示する。このような図 1 9の画像重ね合わせ処理にあっては、文字枠画像と認識画像の色を重ねて 1つの画像として出力させる場合、単純に両者の画像の色を 1対 1の割合で重ねると、記入された文字が薄くなり、視認性が低下する。例えば文字枠画像が白で認識画像が黒の場合、 1対 1の割合で両者を重ねると合成画像の色は灰色となり、視認性が低下する。そこで本発明にあっては、認識画像の文字の記入部分については認識画像の文字の色をそのまま使い、文字の記入のない部分については文字枠画像の色を使うようにしている。これにより、認識画像に存在する記入文字の部分の視認性を向上することができる。また重ね合わせ後の画像で、より重要な部分は記入された文字などであることから、記入された文字などを際立たせるため、背景となる文字枠部分を薄める必要がある。一方、背景が見づらいような場合には逆に文字を薄くし背景を濃くするような方法が必要である。

本発明にあっては、図 1 9のステップ S 2に示すように、基本的には認識画像と文字枠画像の濃度を所定のデフォルト濃度として画像の重ね合わせを行い、重ね合わせ後に画面上で見て、例えば記入された文字が見づらい場合には認識画像を濃くし文字枠画像を薄くし、一方、背景が見づらいような場合には文字を薄くして背景を濃くするといつた処理を、オペレータからの指示によりできるようにしており、これが図 1 9のステツプ S 8の濃度変更要求に対応するステツプ S 9の濃度変更処理となる。ここで、図 1 9の画像重ね合わせの際に合成画像として出力される色 C。_{u t}は次式で定義することができる。

C_aut = Q- - a)C_in + afiC_bknded (4) 但し、 C_in：対象画像の RGB輝度

(：。 _κί：出力される RGB輝度

C_bUnded： RG輝度の最大値

"： c_inと c_¾1』の混合比率

β RGB輝度の調整比率即ち（4 ) 式につき、パラメータとして混合比率ひや調整比率 ]3を変更することで、文字枠画像と認識画像の濃度を変更することができる。本発明にあっては、文字が記入された認識画像については、認識画像の濃度を読取画像の濃度に固定し背景となる文字枠画像濃度を必要に応じて変更させるが、基本的には次の設定方法を採用している。

( 1 ) 文字枠画像濃度のデフォルト値をそのまま利用する。

( 2 ) 重ね合わせ表示後に文字枠画像濃度の濃度値を変えて再表示させる。

( 3 ) 文字枠画像濃度に応じて認識画像とのコントラストが所定値となるように、重ね合わせの文字枠画像濃度を自動的に設定する。このような文字枠画像濃度の設定方法のうち、文字枠画像濃度と認識画像濃度とのコントラストを所定値になるように文字枠画像濃度を自動設定する方法が、帳票の濃度が特に濃い場合や薄い場合に非常に有効であり、ユーザによる濃度指定が不要となる点で利便性が高い。

図 2 0は、図 1 9の画像重ね合わせ処理において文字枠画像の濃度を変えた場合の画像説明図である。図 2 0 ( A ) は、記入文字となる認識画像と背景となる文字枠画像の濃度を変更せずに読取りによるデフオルト値のまま重ね合わせた画像である。これに対し図 2 0 ( B ) は、文字枠画像の濃度を薄めて重ね合わせた画像であり、これによつて認識画像上の記入文字の視認性が向上していることが分かる。

図 2 1は、図 1 9の画像重ね合わせ処理における文字枠画像のパレツトカラ一テーブルに黒を割り当てる処理の説明図である。図 1 9の画像重ね合わせ処理にあっては、モノクロ画像である認識画像とパレツトカラーテーブルで実現されるカラ一画像となる文字枠画像を重ねて合成画像を出力している。この場合、合成画像のカラーは文字枠画像のパレツトカラ一テーブルを依存することになるが、このパレットカラ一テープルには黒が存在していないことが多い。したがって、合成画像における認識画像の部分となる記入文字の黒を表現するため、文字枠画像のパレットカラ一テーブルに黒を割り当てなければならない。このように黒が存在しないパレッ卜カラ一テーブルに対する黒の割当は、パレットカラ —テーブルの中から最も似ている 2つの色の組合わせ、例えば図 2 1 ( A ) のパレットカラーテーブル 8 4におけるコード番号 2 1 1のカラ —データ Aとコード番号 2 1 2のカラーデータ A，を見つけ出し、図 2 1 ( B ) のように一方のコ一ド番号 2 1 2にっき、そのカラーデータを黒に置き換える。このようにコード番号 2 1 2のカラ一データ A ' が黒に置き換えられると、文字枠画像におけるコード番号 2 1 2にっき正しいカラ一デ一夕 A ' による色が表現できないことから、図 2 1 ( C ) のように文字枠画像のカラ一データについてコード変換を行う。図 2 1 ( C ) のコード変換部 9 0は、文字枠画像デ一夕の画素デ一夕における入力コード 8 8にっき、コ一ド番号「 2 1 2」をコード番号「2 1 1」に変換して出力コード 9 2として出力する。即ち、図 2 1 ( B ) のようにコード番号 2 1 2を黒に置き換えたことにより、元のコード番号 2 1 2のカラーデータ A ' についてはコード変換部 9 0により最も近い色であるコード番号 2 1 1のカラ一データ Aに変換して出力する。これによつて、文字枠画像のパレットカラーテーブルの特定の色に黒に割り当てても、その割当てにより失われた色は最も近い色に変換されることとなり、文字枠画像における色の変化を最小限に抑えることができる。また合成画像にあっては、黒以外にも白を必要とするケースも存在する。同様に、白についても文字枠画像のパレツトカラーテ一ブルには存在しないことが多いため、黒の場合と同様 > 黒を割り当てたカラーデータ A， A，以外に、次に最も近い色のカラーデータ B , B ' を見つけ、一方のカラーデータ B，に白を割り当て、カラーデータ B ' については、そのコード番号をコード変換部 9 0により、近い色のカラ一デ一夕 Bとなるようにコード変換することで対応する。

図 2 2は、図 1のデータベース 1 5から帳票画像を復元する帳票確認処理のフローチャートである。即ち、スキャナ 1 1で記入済みの帳票を読み取って、文字枠画像との合成画像の表示で認識結果を確認し、必要な修正などが済むと、認識結果として作成されたドキュメントはサーバ 1 2に転送され、データベース 1 5に保存されている。このように、デ一夕ベース 1 5に保存されている認識結果としての作成済ドキュメントについて、後の処理として帳票認識結果を確認している途中で内容的におかしな個所を発見した場合に、元となった帳票画像を復元し、認識結果に誤りがないか否かを確認する認識結果確認処理を行うことになる。このような認識結果確認処理として図 2 2の処理手順は次のようになる。ステップ S 1 ：データべ一ス 1 5から帳票認識結果を取得して画面表示する。

ステップ S 2 ：帳票復元要求の有無をチェックしており、帳票復元要求があればステツプ S 3に進み、なければステツプ S 4に進む。

ステップ S 3 ：帳票復元要求に基づき、データべ一ス 1 5から種別 I D によって文字枠画像を取得すると共に、帳票 I Dにより認識画像を取得し、図 1 9の画像重ね合わせ処理の手順に従って 2つの画像を合成して表示する。但し、この場合にはデータベースに画像ずれを修正するための回転角度 0及び平行移動量（x， y ) が保存されていることから、図 1 7のような回転角度の検出や図 1 8の平行移動量の検出は不要となる。ステップ S 4 ：ログオフの指示があれば処理を終了し、なければステツプ S 1に戻る。図 2 3は、記入済帳票の読取りによる認識結果として得られた作成ドキュメントに並べて本発明による合成画像を表示した確認修正のための作業画面の説明図である。図 2 3において、作業画面 9 4の右側に作成ドキュメント 9 8が表示されており、左側に文字枠画像と認識画像の重ね合わせで得られた合成帳票画像 9 6が表示されている。このためオペレ一夕は、作業画面 9 4を見て、作成ドキュメント 9 8の中の文字認識結果として配置された認識結果を左側の合成帳票画像 9 6の記入内容と対比し、正しい認識結果が得られているかどうかをチェックすることができる。

図 2 4は図 2 3の作業画面 9 4における左側の合成帳票画像を拡大表示させた場合であり、この拡大表示により帳票記入内容の認識が、より明確にできる。

なお本発明の処理対象となる帳票は、文字記入枠としてのフィールドを指定した帳票であれば、そのサイズ、書式などにより限定されず、適宜の帳票処理にそのまま適用することができる。また本発明は、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。産業上の利用可能性

以上説明してきたように本発明によれば、文字記入済みの帳票に対しド口ップアゥトスキヤンを行って認識画像を取得して認識結果を得た場合、予め非ドロップアウト読取りにより取得されて保存されている文字枠画像との合成で記入済帳票画像を復元して認識結果に並べて画面上に表示することができ、認識結果が読取帳票のどのフィールドに書かれているかの対応関係を明確に認識でき、帳票読取結果の認識と修正作業を簡単且つ確実に行うことができる。

また記入済み帳票の読取りの際にド口ップアゥトされる文字枠画像については、読取対象とする帳票の種類分の文字枠画像を保存するだけでよく、ドロップァゥトなしの帳票の読取画像を全て保存する場合に比べ、記入済読取帳票の復元に必要とする画像データの保存量を大幅に低減できる。即ち本発明にあっては、カラー画像データとしての保存を必要とする文字枠画像は帳票の種類分で済むことから、日常的に読取りを行つている記入済帳票の画像データに比べると、例えば数十種類というようにごく少ないカラー画像データの保存で済む。

また文字枠画像との合成で記入済み帳票の復元に使用するド口ップアゥト読取りが得られた認識画像はモノクロ画像で済むことから、帳票の数が多くなつても、保存する認識画像の画像データの保存量はカラー画像データを保存するのに比べ保存容量を大幅に節約できる。

また本発明で使用するスキャナとしては、帳票読取りと同時に非ドロップアゥ卜読取画像とドロップァゥト読取画像が同時に得られるような特殊なスキャナを必要とせず、読取色が設定可能な汎用の力ラースキヤナを使用することができ、導入が容易でコストダウンが図れ、更に文字の重ね合わせに先立ち種類分の帳票の読取りで文字枠画像を保存する必要があるが、その後は記入済帳票を 1回読み取るだけで、保存している文字枠画像との合成により記入済帳票画像が復元できるため、読取作業の作業効率を高めることができる。

更に、帳票の種類ごとに読み込んで保存している文字枠画像と実際の読取処理で読み込んだ記入済帳票の認識画像との間にずれがあっても、 2つの画像につき両方の画像のずれに対応した回転角度及び平行移動量を求めて、位置ずれを正確に検出して正しく位置合わせした画像合成ができ、ドロップアウトした認識画像であっても、実際にスキャナで使用した記入済みの帳票と同等の帳票画像を正確に復元することができる。

Claims

請求の範囲

1 . コンピュータに、

未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取ステツプと、

記入済みの帳票の認識不要部分の色をドロップァゥ卜した認識画像を読み取って保存する帳票読取ステツプと、

前記認識画像の文字を認識する文字認識ステップと、

前記文字認識結果と共に、前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステップと、

を実行させることを特徴とする帳票処理プログラム。

2 . 請求の範囲 1の帳票処理プログラムに於いて、前記合成表示ステツプは、

認識画像と文字枠画像を重ね合わせるための回転角度を検出する回転角度検出ステップと、

認識画像と文字枠画像の一方を前記回転角度だけ回転させた状態で重ね合わせるための平行移動量を検出する平行移動量検出ステツプと、前記回転角度と平行移動量に基づいて前記認識画像と文字枠画像との各画素毎に対応関係を求めて画素値を合成する画素合成ステツプと、を備え、

更に、前記回転角度検出ステップ及び平行移動量検出ステップは、文字枠画像と認識画像で対応している複数のフィールドにおける中心座標位置の関係を利用して回転角度及び平行移動量を検出することを特徴とする帳票処理プログラム。

3 . 請求の範囲 2の帳票処理プログラムに於いて、前記回転角度検出ステツプ及び平行移動量検出ステツプは、文字枠画像と認識画像で対応している複数のフィ一ルドにおける中心座標位置の関係を利用して検出した複数の回転角度及び平行移動量のうちの中央値を求めることを特徴とする帳票処理プログラム。

4 . 請求の範囲 1の帳票処理プログラムに於いて、

前記文字枠画像読取ステップは、種類の異なる複数の帳票から文字枠画像を読み取ると共に、読取画像から認識した種別識別子を付して前記文字枠画像を保存し、

前記帳票読取ステップは、記入済みの帳票から認識不要部分の色をド口ップアゥトした認識画像を読み取ると共に、読取画像から認識した種別識別子を付して前記読取画像を保存し、

前記合成表示ステツプは、前記認識画像の識別子に一致する識別子を持つ文字枠画像を選択して重ね合わせることを特徴とする帳票処理プログラム。

5 . 請求の範囲 1の帳票処理プログラムに於いて、前記合成表示ステツプは、認識結果を保存した後の必要時に、保存されている前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示することを特徴とする帳票処理プログラム。

6 . 請求の範囲 1の帳票処理プログラムに於いて、前記合成表示ステツプは、認識画像の画素と文字枠画像の画素が重なる場合は、認識画素の画素値を選択することを特徴とする帳票処理プログラム。

7 . 請求の範囲 1の帳票処理プログラムに於いて、前記合成表示ステツプは、認識画像の濃度と文字枠画像の濃度を予め定めた濃度に固定して合成表示させることを特徴とする帳票処理プログラム。

8 . 請求の範囲 1の帳票処理プログラムに於いて、前記合成表示ステツプは、認識画像の濃度と文字枠画像の濃度を変更して合成表示させることを特徴とする帳票処理プログラム。

9 . 請求の範囲 1の帳票処理プログラムに於いて、前記合成表示ステツプは、認識画像と文字枠画像の濃度比率が所定値となるよう濃度値を変更して合成表示させることを特徴とする帳票処理プログラム。

1 0 . 請求の範囲 1の帳票処理プログラムに於いて、前記合成表示ステップは、前記認識画像を文字枠画像に重ね合わせた合成画像を、前記認識結果の表示画面上に並べて表示させることを特徴とする帳票処理プログラム。

1 1 . 未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取ステツプと、

前記認識画像の文字を認識する文字認識ステップと、

前記文字認識結果と共に、前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示ステツプと、

を備えたことを特徴とする帳票処理方法。

1 2 . 未記入の文字枠を備えた帳票の全ての色を読み取って文字枠画像として保存する文字枠画像読取部と、

記入済みの帳票の認識不要部分の色をド口ップアゥトした認識画像を読み取って保存する帳票読取部と、

前記認識画像の文字を認識する文字認識部と、

前記文字認識結果と共に、前記認識画像を文字枠画像に重ね合わせた記入済み帳票画像を表示する合成表示部と、

を備えたことを特徴とする帳票処理装置。