JP6225096B2 - 帳票読取プログラム、帳票読取方法、および情報処理装置 - Google Patents

Description

帳票読取プログラム、帳票読取方法、および情報処理装置に関する。

近年、金融機関等は、帳票をイメージデータ（以下、帳票イメージ）として取得する際に非接触型スキャナを利用する場合がある。非接触型スキャナは、マット等に載置された帳票を上方から撮影することによって帳票イメージを取得する。そのため、帳票の端部（角）がマットから浮き上がった状態の帳票を非接触型スキャナで撮影すると、帳票イメージが歪む場合があった。そして歪んだ帳票イメージでは、文字認識領域（住所記入欄、氏名記入欄等）の位置（基準点からの座標）が予め設定した位置からずれ、認識精度が低下する場合があった。

このような問題点から、帳票イメージに対して文字認識処理を行う際に、帳票の歪みを検出して、歪みがない頂点から当該頂点周辺の文字認識領域の位置を特定することで歪みのない部分を対象に文字認識処理を行う技術がある。

特開２００７−７９９６６号公報

しかしながら、上記技術は、歪みが所定の基準値以下である場合に歪みがないと判定しているため、基準値の設定の仕方によっては、歪みがないと判定された頂点からの文字認識領域の特定精度が下がり、文字認識精度が低下することがある。

本発明は、この点に鑑みてなされたものであり、帳票の文字認識精度を向上可能な帳票読取プログラム、帳票読取方法、および情報処理装置の提供を目的とする。

上記課題を解決するために、本発明の帳票の文字認識領域内の文字認識を実行する帳票読取プログラムを提供する。帳票読取プログラムは、コンピュータを、帳票から取得した帳票イメージから第１頂点を特定し、第１頂点の歪み具合を表す第１歪み量を抽出する第１抽出手段、文字認識領域の印字ずれの補正に用いる、第１頂点を含む角部に配置された基準マークを、帳票イメージから検出して、基準マークの歪み具合を表す第２歪み量を抽出する第２抽出手段、帳票イメージから第１頂点の歪みを補正した補正後帳票イメージを生成する補正後帳票イメージ生成手段、帳票イメージを補正後帳票イメージに補正した際の第１頂点の第１補正量を取得する取得手段、第１歪み量と、第１補正量と、第２歪み量とに基づいて基準マークの第２補正量を算出する算出手段、第２補正量に基づいて補正後帳票イメージにおける基準マークの位置を特定する特定手段として機能させる。

また、上記課題を解決するために、本発明の帳票の文字認識領域内の文字認識を実行する帳票読取方法を提供する。帳票読取方法は、コンピュータが、帳票から取得した帳票イメージから第１頂点を特定し、第１頂点の歪み具合を表す第１歪み量を抽出し、文字認識領域の印字ずれの補正に用いる、第１頂点を含む角部に配置された基準マークを、帳票イメージから検出して、基準マークの歪み具合を表す第２歪み量を抽出し、帳票イメージから第１頂点の歪みを補正した補正後帳票イメージを生成し、帳票イメージを補正後帳票イメージに補正した際の第１頂点の第１補正量を取得し、第１歪み量と、第１補正量と、第２歪み量とに基づいて基準マークの第２補正量を算出し、第２補正量に基づいて補正後帳票イメージにおける基準マークの位置を特定する処理を実行する。

また、上記課題を解決するために、本発明の帳票の文字認識領域内の文字を認識する情報処理装置を提供する。情報処理装置は、第１抽出部と、第２抽出部と、補正後帳票イメージ生成部と、取得部と、算出部と、特定部とを備える。第１抽出部は、帳票から取得した帳票イメージから第１頂点を特定し、第１頂点の歪み具合を表す第１歪み量を抽出する。第２抽出部は、文字認識領域の印字ずれの補正に用いる、第１頂点を含む角部に配置された基準マークを、帳票イメージから検出して、基準マークの歪み具合を表す第２歪み量を抽出する。補正後帳票イメージ生成部は、帳票イメージから第１頂点の歪みを補正した補正後帳票イメージを生成する。取得部は、帳票イメージを補正後帳票イメージに補正した際の第１頂点の第１補正量を取得する。算出部は、第１歪み量と、第１補正量と、第２歪み量とに基づいて基準マークの第２補正量を算出する。特定部は、第２補正量に基づいて補正後帳票イメージにおける基準マークの位置を特定する。

帳票読取プログラム、帳票読取方法、および情報処理装置によれば、帳票の文字認識精度を向上できる。

第一実施形態における情報処理装置の構成例を示す図である。 第二実施形態における帳票読取システムの概要を示す図である。 第二実施形態における帳票の一例を示す図である。 第二実施形態における帳票イメージの一例を示す図である。 第二実施形態における帳票読取装置のハードウェアの一構成例を示す図である。 第二実施形態における帳票読取装置の機能ブロックを示す図である。 第二実施形態における帳票読取処理のフローチャートである。 第二実施形態における仮想矩形が帳票部に対して傾いている帳票イメージの一例を示す図である。 第二実施形態における仮想矩形が定義矩形とずれている帳票イメージの一例を示す図である。 第二実施形態における歪み補正処理のフローチャートである。 第二実施形態における歪んだ帳票部の補正例である。

以下、実施形態を図面を参照して説明を行う。
［第一実施形態］
第一実施形態について図１を用いて説明する。

図１は、第一実施形態における情報処理装置の構成例を示す図である。情報処理装置１０は、帳票の文字認識領域内の文字を認識する装置である。情報処理装置１０は、帳票をイメージデータ化した帳票イメージ２１に対して文字認識を行うことで帳票の文字認識領域内の文字を認識する。

帳票イメージ２１は、帳票をスキャナ等により撮影したイメージデータであり、撮影する際の帳票の角部の浮き上がりの影響で、角部２１ｂが歪んでいる。角部２１ｂは、基準マーク２１ｃが配置された第１頂点２１ａを含む第１頂点２１ａ周辺の領域であり、帳票の浮き上がった角部に相当する部分である。帳票イメージ２１は、角部２１ｂが歪んでいるため、基準マーク２１ｃおよび第１頂点２１ａが歪んでいる。

基準マーク２１ｃは、帳票の基準マークをイメージデータ化したものである。基準マークは、帳票に印字された文字認識領域の印字ずれの補正に用いる記号である。基準マークは、文字領域に対して形状や印字位置が予め定義されており、帳票に文字認識領域がプリ印字される際に角部に印字される。したがって、帳票の文字認識領域に印字ずれが生じている場合には、基準マークにも同様に印字ずれが生じる。

このため、情報処理装置１０は、基準マーク２１ｃを用いる事で、帳票イメージ２１上で文字認識領域の印字ずれを補正できる。たとえば、情報処理装置１０は、帳票イメージ２１上で基準マーク２１ｃを、定義された印字位置に補正（回転、平行移動）することで、文字認識領域を定義した位置に補正できる。また、情報処理装置１０は、帳票イメージ２１上で文字認識領域を特定する際に、基準マーク２１ｃから相対的に文字認識領域の位置を特定することで、間接的に文字認識領域の印字ずれを補正することもできる。

なお、オペレータは、できるだけ帳票をマット等から浮き上がらないようにマット等に帳票を載置して撮影する。そのため、通常、帳票は、帳票の角部以外が浮き上がっている場合には、オペレータによって載置し直される。

情報処理装置１０は、第１抽出部１１と、第２抽出部１２と、補正後帳票イメージ生成部１３と、取得部１４と、算出部１５と、特定部１６とを備える。
第１抽出部１１は、帳票から取得した帳票イメージ２１から第１頂点２１ａを特定し、第１頂点２１ａの第１歪み量を抽出する。第１歪み量は、第１頂点２１ａの歪み具合を表す情報であり、たとえば、第１頂点２１ａの角度を用いて抽出される。通常、帳票は矩形であるため、第１抽出部１１は、第１頂点２１ａの角度によって、第１頂点２１ａの第１歪み量を抽出できる。第１頂点２１ａの歪み具合は、角部２１ｂに含まれる第１頂点２１ａ周辺の歪み具合であり、たとえば、第１頂点２１ａ周辺の帳票イメージ２１の枠体（角部２１ｂに含まれる帳票イメージ２１の枠体）の歪みである。

第２抽出部１２は、基準マーク２１ｃを、帳票イメージ２１から検出して、基準マーク２１ｃの第２歪み量を抽出する。第２歪み量は、基準マーク２１ｃの歪み具合を表す情報であり、たとえば、検出した基準マーク２１ｃの形状と予め定義されている形状とから抽出される。

補正後帳票イメージ生成部１３は、帳票イメージ２１から第１頂点２１ａの歪みを補正した補正後帳票イメージを生成する。補正後帳票イメージ生成部１３は、帳票イメージ２１が矩形になるように第１頂点２１ａの位置を補正することで補正後帳票イメージを生成する。取得部１４は、帳票イメージ２１を補正後帳票イメージに補正した際の第１頂点２１ａの第１補正量を取得する。

算出部１５は、第１歪み量と、第１補正量と、第２歪み量とに基づいて基準マーク２１ｃの第２補正量を算出する。角部２１ｂの歪み方によっては第１頂点２１ａの歪み具合と基準マーク２１ｃの歪み具合が異なる場合がある。そのため、情報処理装置１０は、第１頂点２１ａと同様に基準マーク２１ｃを第１補正量で補正すると、歪みがない場合の位置と異なる位置に基準マーク２１ｃを補正してしまうことがある。

そこで、算出部１５は、第１歪み量と第２歪み量を用いて、第１補正量を変換することで、第１歪み量（第１頂点２１ａの歪み具合）に応じた第１補正量から第２歪み量（基準マーク２１ｃの歪み具合）に応じた第２補正量を算出する。特定部１６は、第２補正量に基づいて補正後帳票イメージにおける基準マーク２１ｃの位置を特定する。

このように、情報処理装置１０は、第１頂点２１ａを第１頂点２１ａの歪み具合に応じた第１補正量で補正し、基準マーク２１ｃを基準マーク２１ｃの歪み具合に応じた第２補正量で補正するため、角部２１ｂの歪みを適切に補正できる。そのため、角部２１ｂが歪んだ帳票イメージ２１を取得した場合でも、情報処理装置１０は、角部２１ｂの歪みを適切に補正し、歪みを適切に補正した基準マーク２１ｃを用いて、文字認識領域の印字ずれの補正を実行できる。

以上から、情報処理装置１０は、角部２１ｂが歪んだ帳票イメージ２１に対して、角部２１ｂの歪みを適切に補正した後に、さらに、文字認識領域の印字ずれの補正を実行するため、精度よく文字認識を実行できる。

［第二実施形態］
次に第二実施形態の概要について図２を用いて説明する。
図２は、第二実施形態における帳票読取システムの概要を示す図である。帳票読取システム３０は、帳票から帳票イメージを取得して、帳票イメージに対して文字認識を実行することで帳票の記入内容を読取るシステムである。帳票読取システム３０は、銀行等の金融機関で利用され、利用者が帳票に記入した記入内容を文字認識により取得する。

帳票読取システム３０は、帳票読取装置４０と、帳票読取装置４０と接続するオーバーヘッドスキャナ５０とを備える。
オーバーヘッドスキャナ５０は、利用者から受付けた帳票をマット等に載置して、撮影し帳票イメージを取得する。オーバーヘッドスキャナ５０は、取得した帳票イメージを帳票読取装置４０に送信する。帳票イメージは、撮影時に帳票の角部がマット等から浮き上がることで、浮き上がった角部に相当する部分が歪む場合がある。

なお、オペレータは、できるだけ帳票をマット等から浮き上がらないようにマット等に帳票を載置してオーバーヘッドスキャナ５０で撮影する。そのため、帳票は、通常、帳票の角部以外が浮き上がっている場合には、オペレータによって載置し直される。

帳票読取装置４０は、帳票イメージに対して文字認識を実行して帳票の記入内容を読取る装置である。帳票読取装置４０は、帳票イメージに対して歪みの補正と印字ずれの補正を実行した後に、文字認識を実行する。

なお、帳票読取装置４０は、図示しない外部端末からネットワークを介して帳票イメージを取得することもできる。なお、帳票読取装置４０は、情報処理装置１０の一実施形態である。

次に帳票について図３を用いて説明する。図３は、第二実施形態における帳票の一例を示す図である。
図３に示すように帳票６０は、氏名領域６１ａと住所領域６１ｂとトンボ６２ａ、６２ｂ、６２ｃ、６２ｄとを含んで構成される。氏名領域６１ａは、利用者が氏名を記入する領域であり、文字認識領域の一実施形態である。氏名領域６１ａは、角部６３ａ、６３ｂ、６３ｃ、６３ｄを除いた部分に印字される。住所領域６１ｂは、利用者が住所を記入する領域であり、文字認識領域の一実施形態である。住所領域６１ｂは、角部６３ａ、６３ｂ、６３ｃ、６３ｄを除いた部分に印字される。

角部６３ａ、６３ｂ、６３ｃ、６３ｄは、帳票６０の頂点を含む頂点周辺の領域である。なお、角部６３ａ、６３ｂ、６３ｃ、６３ｄは、撮影時にマット等から浮き上がる可能性がある部分である。角部６３ａ、６３ｂ、６３ｃ、６３ｄが浮き上がった状態の帳票６０を、オーバーヘッドスキャナ５０が撮影すると帳票イメージ上の角部６３ａ、６３ｂ、６３ｃ、６３ｄに相当する部分が歪む。

通常、オペレータは、できるだけ帳票６０をマット等から浮き上がらないようにマット等に帳票６０を載置してオーバーヘッドスキャナ５０で撮影する。そのため、帳票６０は、通常、帳票６０の角部６３ａ、６３ｂ、６３ｃ、６３ｄ以外の部分が浮き上がっている場合には、オペレータによって載置し直される。

トンボ６２ａ、６２ｂ、６２ｃ、６２ｄは、印字ずれの補正に用いる記号であり、帳票に氏名領域６１ａおよび住所領域６１ｂがプレ印字される際に、帳票６０の定義された位置に印字される。

トンボ６２ａ、６２ｂ、６２ｃ、６２ｄは、角部６３ａ、６３ｂ、６３ｃ、６３ｄに予め定義された所定の形状で印字される。具体的にはトンボ６２ａ、６２ｂ、６２ｃ、６２ｄの形状は、トンボ６２ａ、６２ｂ、６２ｃ、６２ｄが印字される角部６３ａ、６３ｂ、６３ｃ、６３ｄが含む頂点が成す角と同じ向きに、直角部分を有するＬ字形状である。すなわち、Ｌ字形状を構成する２辺は、帳票の頂点を構成する２辺と平行または垂直な関係であり、なおかつＬ字形状の帳票の内側方向を向いている角（以下、内角）が直角である。

上述したようにトンボ６２ａ、６２ｂ、６２ｃ、６２ｄは、氏名領域６１ａおよび住所領域６１ｂがプレ印字される際に印字されるため、氏名領域６１ａおよび住所領域６１ｂの印字がずれている場合には、同様に印字がずれている。したがって、帳票読取装置４０は、トンボ６２ａ、６２ｂ、６２ｃ、６２ｄの印字ずれによって帳票全体（文字認識領域）の印字ずれを認識可能である。すなわち、帳票読取装置４０は、帳票６０の帳票イメージ上でイメージデータ化したトンボ６２ａ、６２ｂ、６２ｃ、６２ｄを定義した位置に補正（回転、平行移動）することで、帳票イメージ全体の印字ずれを補正できる。

また、トンボ６２ａ、６２ｂ、６２ｃ、６２ｄは、所定の形状で印字されるため、イメージデータ化したトンボ６２ａ、６２ｂ、６２ｃ、６２ｄが歪んだ場合、イメージデータ化したトンボ６２ａ、６２ｂ、６２ｃ、６２ｄの形状から歪み具合を表す歪み量を抽出できる。

特に、各トンボを帳票６０にＬ字形状で印字することによって、各トンボは、対応する頂点周辺の枠体（角部に含まれる部分）と同様の形状になる。これにより、帳票読取装置４０は、イメージデータ化した帳票６０の頂点周辺の枠体（角部に含まれる部分）の歪み具合と、イメージデータ化したトンボの歪み具合とを、同一の基準（直角からの変化量）で評価できる。なお、頂点周辺の枠体の歪み具合は、第１頂点２１ａの歪み具合の一実施形態である。

次に帳票イメージについて図４を用いて説明する。図４は、第二実施形態における帳票イメージの一例を示す図である。
帳票イメージ７０は、図３の帳票６０を角部６３ａが浮き上がった状態で撮影したイメージデータであり、帳票部７１と、背景部７２とを含む。帳票部７１は、帳票に相当する部分（帳票６０をイメージデータ化した部分）である。背景部７２は、帳票を載置したマット等に相当する部分である。

帳票部７１は、トンボ６２ａ、６２ｂ、６２ｃ、６２ｄがイメージデータ化したトンボ７４ａ、７４ｂ、７４ｃ、７４ｄと、氏名領域６１ａおよび住所領域６１ｂがイメージデータ化した氏名領域７３ａおよび住所領域７３ｂを有する。

帳票部７１は、角部７５ａ（帳票６０の角部６３ａをイメージデータ化した部分）が浮き上がりの影響で歪み、角部７５ａ以外（氏名領域７３ａや住所領域７３ｂ等）は歪んでいない。帳票部７１は、角部７５ａの歪みの影響で、帳票部７１の頂点周辺の枠体（角部７５ａに含まれる部分）と、トンボ７４ａが歪んでいる。なお、帳票部７１では、角部７５ａに含まれる頂点が成す角の角度は、トンボ７４ａの内角が成す角度よりも鋭角になっており、角部７５ａの頂点周辺の帳票部７１の枠体がトンボ７４ａよりも歪んでいる。

次に帳票読取装置４０のハードウェア構成について図５を用いて説明する。図５は、第二実施形態における帳票読取装置のハードウェアの一構成例を示す図である。
帳票読取装置４０は、プロセッサ４０１によって装置全体が制御されている。プロセッサ４０１には、バス４０９を介してＲＡＭ（Random Access Memory）４０２と複数の周辺機器が接続されている。プロセッサ４０１は、マルチプロセッサであってもよい。プロセッサ４０１は、たとえばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ４０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ４０２は、帳票読取装置４０の主記憶装置として使用される。ＲＡＭ４０２には、プロセッサ４０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ４０２には、プロセッサ４０１による処理に必要な各種データが格納される。

バス４０９に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）４０３、グラフィック処理装置４０４、入力インタフェース４０５、光学ドライブ装置４０６、機器接続インタフェース４０７およびネットワークインタフェース４０８がある。

ＨＤＤ４０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ４０３は、帳票読取装置４０の補助記憶装置として使用される。ＨＤＤ４０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。

グラフィック処理装置４０４には、モニタ４０４ａが接続されている。グラフィック処理装置４０４は、プロセッサ４０１からの命令に従って、画像をモニタ４０４ａの画面に表示させる。モニタ４０４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。

モニタ４０４ａは、オペレータに対して画像を表示するモニタである。モニタ４０４ａは、たとえば、帳票イメージ等を表示する。
入力インタフェース４０５には、キーボード４０５ａとマウス４０５ｂとが接続されている。入力インタフェース４０５は、キーボード４０５ａやマウス４０５ｂから送られてくる信号をプロセッサ４０１に送信する。なお、マウス４０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置４０６は、レーザ光などを利用して、光ディスク４０６ａに記録されたデータの読み取りを行う。光ディスク４０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク４０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

機器接続インタフェース４０７は、帳票読取装置４０に周辺機器を接続するための通信インタフェースである。たとえば機器接続インタフェース４０７には、メモリ装置４０７ａやメモリリーダライタ４０７ｂやオーバーヘッドスキャナ５０を接続することができる。メモリ装置４０７ａは、機器接続インタフェース４０７との通信機能を搭載した記録媒体である。メモリリーダライタ４０７ｂは、メモリカード４０７ｃへのデータの書き込み、またはメモリカード４０７ｃからのデータの読み出しを行う装置である。メモリカード４０７ｃは、カード型の記録媒体である。

ネットワークインタフェース４０８は、ネットワーク４０８ａに接続されている。ネットワークインタフェース４０８は、ネットワーク４０８ａを介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

以上のようなハードウェア構成によって、第二実施形態の帳票読取装置４０の処理機能を実現することができる。なお、第一実施形態に示した情報処理装置１０も帳票読取装置４０と同様のハードウェアにより処理機能を実現することができる。

帳票読取装置４０は、たとえばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第二実施形態の処理機能を実現する。帳票読取装置４０に実行させる処理を記述したプログラムは、様々な記録媒体に記録しておくことができる。たとえば、帳票読取装置４０に実行させるプログラムをＨＤＤ４０３に格納しておくことができる。プロセッサ４０１は、ＨＤＤ４０３内のプログラムの少なくとも一部をＲＡＭ４０２にロードし、プログラムを実行する。また帳票読取装置４０に実行させるプログラムを、光ディスク４０６ａ、メモリ装置４０７ａ、メモリカード４０７ｃなどの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、たとえばプロセッサ４０１からの制御により、ＨＤＤ４０３にインストールされた後、実行可能となる。またプロセッサ４０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

次に帳票読取装置４０のハードウェア構成について図６を用いて説明する。図６は、第二実施形態における帳票読取装置の機能ブロックを示す図である。
帳票読取装置４０は、制御部４１と、通信部４２と、帳票イメージ取得部４３と、二値化部４４と、帳票フォーマット特定部４５と、歪み補正処理部４６と、印字補正部４７と、文字認識部４８と、を含む。

制御部４１は、帳票読取装置４０が実行する各種処理を制御する。通信部４２は、帳票読取装置４０が実行する各種通信を制御する。帳票イメージ取得部４３は、オーバーヘッドスキャナ５０からオーバーヘッドスキャナ５０が撮影した帳票イメージを取得する。

二値化部４４は、帳票イメージ取得部４３が取得した帳票イメージを二値化する。帳票フォーマット特定部４５は、二値化部４４が二値化した帳票イメージのフォーマットを特定する。帳票のフォーマットは、印字がずれていない場合のトンボの頂点の位置（以下、トンボ定義位置）に関する情報や、印字がずれていない場合の文字認識領域（住所領域や氏名領域）の位置に関する情報を含む。たとえば、帳票フォーマット特定部４５は、二値化された帳票イメージの帳票部の予め決められた所定の位置から識別情報を取得して、取得した識別情報に基づいて帳票のフォーマットを特定する。

歪み補正処理部４６は、二値化部４４が二値化した帳票イメージの帳票部の角部の歪みを検出して、帳票部の角部の歪みを補正する処理部である。歪み補正処理部４６は、頂点情報取得部４６１と、頂点補正部４６２と、頂点補正量取得部４６３と、トンボ情報取得部４６４と、トンボ補正量算出部４６５と、トンボ補正部４６６と、を含む。

なお、頂点情報取得部４６１は、第１抽出部１１の一実施形態である。頂点補正部４６２は、補正後帳票イメージ生成部１３の一実施形態である。頂点補正量取得部４６３は取得部１４の一実施形態である。トンボ情報取得部４６４は、第２抽出部１２の一実施形態である。トンボ補正量算出部４６５は、算出部１５の一実施形態である。トンボ補正部４６６は、特定部１６の一実施形態である。

頂点情報取得部４６１は、帳票部の各頂点の位置を特定し、各頂点が成す角の角度を取得する。頂点補正部４６２は、帳票部の頂点周辺の枠体（角部に含まれる部分）が歪んでいる（頂点が成す角の角度が直角でない）場合に、帳票部が矩形（頂点が成す角が直角）になるように頂点の位置を補正する。頂点補正部４６２は、頂点情報取得部４６１が取得した各頂点が成す角の角度が直角でない場合に、帳票部の頂点周辺の枠体（角部に含まれる部分）が歪んでいると判定する。頂点補正部４６２は、頂点を構成する２辺それぞれの直線部分（帳票の角部の浮き上がりによる影響を受けない帳票部の枠体の中央部分）を用いて頂点を補正する。頂点の補正については、後で図１０、１１を用いて詳細に説明する。

頂点補正量取得部４６３は、頂点が成す角が直角になるように頂点の位置を補正した際の頂点の補正量（以下、頂点補正量）を取得する。トンボ情報取得部４６４は、帳票部の角部からトンボの位置を特定し、特定したトンボの内角の角度を取得する。

トンボ補正量算出部４６５は、トンボ情報取得部４６４が位置を特定したトンボが歪んでいる場合に、補正量（以下、トンボ補正量）を算出する。トンボ補正量算出部４６５は、トンボ情報取得部４６４が位置を特定したトンボの内角が直角（形状が定義された形状）でない場合に、トンボ情報取得部４６４が位置を特定したトンボが歪んでいると判定する。

帳票部の頂点周辺の枠体（角部に含まれる部分）と、当該頂点を含む角部に存在するトンボでは歪み具合が異なる場合がある。したがって、歪み補正処理部４６は、帳票部のトンボの位置を頂点補正量で補正すると、歪みがない場合の位置と異なる位置にトンボを補正してしまうことがある。そこでトンボ補正量算出部４６５は、帳票部の頂点周辺の枠体（角部に含まれる部分）の歪み具合と当該頂点を含む角部のトンボの歪み具合の違いを反映して、頂点補正量をトンボ補正量に変換する補正量変換情報を算出する。

具体的には、トンボ補正量算出部４６５は、頂点情報取得部４６１が取得した帳票部の頂点が成す角の角度（歪み補正前の角度）と、トンボ情報取得部４６４が取得した当該頂点を含む角部のトンボの内角の角度とを用いて補正量変換情報を算出する。補正量変換情報は、帳票部の頂点が成す角の角度（帳票部の頂点周辺の枠体の歪み具合）に対する当該頂点を含む角部のトンボの内角の角度（当該頂点を含む角部のトンボの歪み具合）の変化量である。

たとえば、トンボ補正量算出部４６５は、「Ｓｉｎ（帳票部の頂点が成す角の角度）／Ｓｉｎ（当該頂点を含む角部のトンボの内角の角度）」を補正量変換情報として算出する。

トンボ補正量算出部４６５は、算出した補正量変換情報を用いて頂点補正量を変換してトンボ補正量を算出する。トンボ補正部４６６は、算出したトンボ補正量に基づいて、トンボの補正後の頂点の位置を特定して、トンボの位置を補正する。

印字補正部４７は、帳票部のトンボを用いて、帳票イメージ上で印字のずれを補正する。印字補正部４７は、帳票部のトンボの頂点を結んで仮想矩形を生成し、仮想矩形の帳票部に対する傾きに基づいて帳票イメージ上で印字の傾きを補正する。印字の傾きの補正については、後で図７、８を用いて詳細に説明する。

印字補正部４７は、帳票のフォーマットに基づいてトンボ定義位置を特定し、特定したトンボ定義位置を結んだ定義矩形を生成する。印字補正部４７は、定義矩形と仮想矩形とに基づいて帳票イメージ上で印字の位置ずれを補正する。印字の位置ずれの補正については、後で図７、９を用いて詳細に説明する。

文字認識部４８は、帳票のフォーマットを利用して帳票部の文字認識領域（たとえば、イメージデータ化した氏名領域や住所領域）の位置を特定し、特定した位置に対して文字認識を実行する。

次に帳票読取処理について図７〜９を用いて説明する。図７は、第二実施形態における帳票読取処理のフローチャートである。図８は、第二実施形態における仮想矩形が帳票部に対して傾いている帳票イメージの一例を示す図である。図９は、第二実施形態における仮想矩形が定義矩形とずれている帳票イメージの一例を示す図である。帳票読取装置４０は、オーバーヘッドスキャナ５０から帳票イメージを受信すると帳票読取処理を開始する。

［ステップＳ１１］帳票イメージ取得部４３は、オーバーヘッドスキャナ５０から受信した帳票イメージを取得する。
［ステップＳ１２］二値化部４４は、取得した帳票イメージを二値化する。

［ステップＳ１３］帳票フォーマット特定部４５は、二値化された帳票イメージのフォーマットを特定する。
［ステップＳ１４］歪み補正処理部４６は、帳票イメージの帳票部に対して歪み補正処理を実行する。歪み補正処理は、帳票イメージの帳票部の角部の歪みを検出して、帳票部の角部の歪みを補正する処理である。歪み補正処理については、後で図１０、１１を用いて詳細に説明する。

［ステップＳ１５］印字補正部４７は、帳票部のトンボそれぞれの頂点を結び仮想矩形を生成する。たとえば、印字補正部４７は、図８の帳票イメージ８０に示すように、帳票部８１のトンボ８３ａ、８３ｂ、８３ｃ、８３ｄを結び仮想矩形８４を生成する。

［ステップＳ１６］印字補正部４７は、仮想矩形が帳票部に対して傾いているか否かを判定する。印字補正部４７は、仮想矩形が帳票部に対して傾いていると判定した場合にはステップＳ１７にすすみ、仮想矩形が帳票部に対して傾いていないと判定した場合にはステップＳ１８にすすむ。

印字補正部４７は、図８の帳票イメージ８０に示すように、仮想矩形８４の各辺と、対向する帳票部８１の各辺とが平行でない場合に、仮想矩形８４が帳票部８１に対して傾いていると判定する。なお、氏名領域および住所領域は、トンボを帳票にプレ印字する際に帳票に印字される。したがって、図８のように、氏名領域８２ａおよび住所領域８２ｂは、仮想矩形８４と同様の傾斜で帳票部８１に対して傾いている。

［ステップＳ１７］印字補正部４７は、仮想矩形の斜行を補正することで、帳票イメージ上で印字の傾きを補正する。印字補正部４７は、図８の帳票イメージ８０の仮想矩形８４の各辺が、対向する帳票部８１の各辺と平行となるように回転して印字全体を補正する。氏名領域８２ａおよび住所領域８２ｂは、仮想矩形８４と同様の傾斜で帳票部８１に対して傾いているため、仮想矩形８４の各辺が対向する帳票部８１の各辺と平行になると、氏名領域８２ａおよび住所領域８２ｂの帳票部８１に対する傾きも同時に補正される。

［ステップＳ１８］印字補正部４７は、定義矩形を生成する。印字補正部４７は、図９の帳票イメージ９０に示すように、トンボ定義位置９３ａ、９３ｂ、９３ｃ、９３ｄを結んで定義矩形９５を生成する。なお、トンボ定義位置９３ａ、９３ｂ、９３ｃ、９３ｄは、帳票のフォーマットに記憶された印字ずれがない場合のトンボの頂点の位置である。

［ステップＳ１９］印字補正部４７は、仮想矩形と定義矩形とのずれ量を算出する。印字補正部４７は、図９の帳票イメージ９０に示すように、仮想矩形９２の定義矩形９５からの第１の方向のずれ量と、第２の方向のずれ量を算出する。

なお、氏名領域および住所領域は、トンボを帳票にプレ印字する際に帳票に印字される。したがって、氏名領域９１ａおよび住所領域９１ｂは、仮想矩形９２と定義矩形９５との第１の方向のずれ量と、第２の方向のずれ量と同じだけ定義氏名領域９４ａおよび定義住所領域９４ｂとずれている。

定義氏名領域９４ａは、帳票のフォーマットに記憶された印字ずれがない場合の氏名領域である。定義住所領域９４ｂは、帳票のフォーマットに記憶された印字ずれがない場合の氏名領域である。

［ステップＳ２０］印字補正部４７は、算出したずれ量に基づいて印字の位置ずれを、帳票イメージ上で補正する。印字補正部４７は、図９の帳票イメージ９０の仮想矩形９２が、定義矩形９５と重なるように平行移動して印字全体を補正する。氏名領域９１ａおよび住所領域９１ｂは、仮想矩形９２と定義矩形９５のずれ量と同じだけ定義氏名領域９４ａおよび定義住所領域９４ｂとずれている。したがって、印字補正部４７が仮想矩形９２を定義矩形９５と重なるように印字全体を補正すると、氏名領域９１ａおよび住所領域９１ｂは、定義氏名領域９４ａおよび定義住所領域９４ｂと一致するように補正される。

［ステップＳ２１］文字認識部４８は、補正後の帳票イメージに対して、帳票のフォーマットを用いて文字認識を実行して、帳票読取処理を終了する。
次に歪み補正処理について図１０、図１１を用いて説明する。図１０は、第二実施形態における歪み補正処理のフローチャートである。図１１は、第二実施形態における歪んだ帳票部の補正例である。

歪み補正処理は、帳票部の角部の歪みを補正する処理であり、帳票読取処理のステップＳ１４で行われる処理である。
［ステップＳ３１］頂点情報取得部４６１は、帳票部から頂点の位置を特定する。

［ステップＳ３２］頂点情報取得部４６１は、特定した頂点が成す角の角度を取得する。頂点情報取得部４６１は、図１１の帳票部１００に示すように、頂点１０１が成す角の角度Ａ°を取得する。

［ステップＳ３３］頂点補正部４６２は、帳票部の頂点周辺の枠体（角部に含まれる部分）が歪んでいるか否かを判定する。頂点補正部４６２は、頂点情報取得部４６１が取得した頂点が成す角の角度が直角でない場合には、帳票部の頂点周辺の枠体（角部に含まれる部分）が歪んでいると判定する。

頂点補正部４６２が、帳票部の頂点周辺の枠体（角部に含まれる部分）が歪んでいると判定した場合にはステップＳ３４にすすみ、帳票部の頂点周辺の枠体（角部に含まれる部分）が歪んでいないと判定した場合にはステップＳ３６にすすむ。

［ステップＳ３４］頂点補正部４６２は、頂点の位置を補正する。頂点補正部４６２は、頂点を構成する辺の直線部分（帳票の角部の浮き上がりにより歪みの影響を受けない帳票部の枠体の中央部分）を用いて頂点の位置を補正する。

頂点補正部４６２は、図１１の帳票部１００に示すように、頂点１０１を構成する第１の辺１０２と第２の辺１０３の直線部分を直線状に延伸し、本来あるべき頂点の位置（定義頂点位置１０５）を特定する。第１の辺１０２および第２の辺１０３の直線部分は、帳票の角部の浮き上がりにより影響を受けていない。

そのため、頂点補正部４６２は、第１の辺１０２および第２の辺１０３の直線部分を直線状に延伸することで、歪みがない場合の頂点の位置（定義頂点位置１０５）を特定できる。具体的には、延伸した第１の辺１０２の直線部分と、延伸した第２の辺１０３の直線部分の交点が、歪みがない場合の頂点の位置に形成される。

頂点補正部４６２は、頂点１０１を定義頂点位置１０５に移動させて帳票部１００の頂点１０１周辺の枠体（角部１０４に含まれる部分）の歪みを補正する。
［ステップＳ３５］頂点補正量取得部４６３は、頂点の位置を定義頂点位置に補正した際の頂点補正量を取得する。頂点補正量取得部４６３は、図１１の帳票部１００に示すように、頂点１０１から定義頂点位置１０５までの第１の方向の距離「α」を頂点補正量１０６ａとして取得する。頂点補正量取得部４６３は、頂点１０１から定義頂点位置１０５までの第２の方向の距離「β」を頂点補正量１０６ｂとして取得する。

［ステップＳ３６］トンボ情報取得部４６４は、帳票部の角部からトンボの位置を特定する。トンボ情報取得部４６４は、角部１０４に含まれる頂点１０１周辺の帳票部１００の枠体の歪みを補正する前の帳票部においてトンボの位置を特定する。トンボ情報取得部４６４は、図１１の帳票部１００に示すように、角部１０４からトンボ１０７の位置を特定する。

［ステップＳ３７］トンボ情報取得部４６４は、特定したトンボの内角の角度（形状）を取得する。トンボ情報取得部４６４は、図１１の帳票部１００に示すように、トンボ１０７の角度Ｂ°を取得する。

［ステップＳ３８］トンボ補正量算出部４６５は、トンボ情報取得部４６４が特定したトンボが歪んでいるか否かを判定する。トンボ補正量算出部４６５は、トンボ情報取得部４６４が特定したトンボの内角が直角（定義された形状）でない場合に、トンボが歪んでいると判定する。

トンボ補正量算出部４６５が、トンボ情報取得部４６４が特定したトンボが歪んでいると判定した場合にはステップＳ３９にすすみ、トンボ情報取得部４６４が特定したトンボが歪んでいないと判定した場合にはステップＳ４２にすすむ。

［ステップＳ３９］トンボ補正量算出部４６５は、頂点補正量をトンボ補正量に変換する補正量変換情報を算出する。トンボ補正量算出部４６５は、頂点が成す角の角度（帳票部の頂点周辺の枠体（角部に含まれる部分）の歪み具合を表す情報）と、当該頂点を含む角部のトンボの内角の角度（トンボの歪み具合を表す情報）とを用いて補正量変換情報を算出する。たとえば、トンボ補正量算出部４６５は、図１１の帳票部１００の場合には、「ＳｉｎＢ°／ＳｉｎＡ°」を補正量変換情報として算出する。

［ステップＳ４０］トンボ補正量算出部４６５は、トンボ補正量を算出する。トンボ補正量算出部４６５は、図１１の帳票部１００の場合には、第１の方向の頂点補正量１０６ａを補正量変換情報で変換して第１の方向のトンボ補正量１０８ａを「α×（ＳｉｎＢ°／ＳｉｎＡ°）」と算出する。また、トンボ補正量算出部４６５は、第２の方向の頂点補正量１０６ｂを補正量変換情報で変換して第２の方向のトンボ補正量１０８ｂを「β×（ＳｉｎＢ°／ＳｉｎＡ°）」と算出する。

［ステップＳ４１］トンボ補正部４６６は、算出したトンボ補正量に基づいてトンボの補正後の位置を特定してトンボの位置を（歪みを）補正する。
［ステップＳ４２］トンボ補正部４６６は、全ての頂点で歪み補正を行ったか否かを判定する。トンボ補正部４６６は、全ての頂点で歪み補正を行ったと判定した場合には歪み補正処理を終了し、全ての頂点で歪み補正を行っていないと判定した場合にはステップＳ３１にすすむ。

以上が第二実施形態における帳票読取システム３０である。帳票読取システム３０では、角部が歪んだ帳票部を含む帳票イメージを取得すると、帳票読取装置４０は、当該角部に含まれる頂点周辺の枠体の歪みを、当該頂点を構成する辺の直線部分を用いて枠体の歪みを補正して、補正した際に頂点を移動した補正量を取得する。そして、帳票読取装置４０は、当該角部に含まれる頂点周辺の枠体の歪み具合と、当該角部のトンボの歪み具合との違いを反映して、取得した頂点補正量からトンボ補正量を算出し、当該トンボ補正量により帳票部のトンボの歪みを補正する。その後、帳票読取装置４０は、帳票部のトンボを用いて帳票イメージ上で帳票部の印字ずれ（印字の傾きのずれ、および印字の位置ずれ）を補正する。

以上から、帳票読取装置４０は、角部が歪んだ帳票部を含む帳票イメージに対して、帳票部の角部の歪み方に応じて角部の歪みを適切に補正した後に、さらに、帳票イメージ上で印字ずれの補正を実行するため、精度よく文字認識を実行できる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、帳票読取装置４０が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（可搬型記録媒体を含む）に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ：Flexible Disk）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto Optical disk）などがある。

プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受取ったプログラムにしたがった処理を実行することもできる。

なお、上述の実施の形態は、実施の形態の要旨を逸脱しない範囲内において種々の変更を加えることができる。
さらに、上述の実施の形態は、多数の変形、変更が当業者にとって可能であり、説明した正確な構成および応用例に限定されるものではない。

１０ 情報処理装置
１１ 第１抽出部
１２ 第２抽出部
１３ 補正後帳票イメージ生成部
１４ 取得部
１５ 算出部
１６ 特定部
２１ 帳票イメージ
２１ａ 第１頂点
２１ｂ 角部
２１ｃ 基準マーク

Claims (9)

1. 帳票の文字認識領域内の文字を認識する帳票読取プログラムであって、
   コンピュータを、
   前記帳票から取得した帳票イメージから第１頂点を特定し、前記第１頂点の歪み具合を表す第１歪み量を抽出する第１抽出手段、
   前記文字認識領域の印字ずれの補正に用いる、前記第１頂点を含む角部に配置された基準マークを、前記帳票イメージから検出して、前記基準マークの歪み具合を表す第２歪み量を抽出する第２抽出手段、
   前記帳票イメージから前記第１頂点の歪みを補正した補正後帳票イメージを生成する補正後帳票イメージ生成手段、
   前記帳票イメージを前記補正後帳票イメージに補正した際の前記第１頂点の第１補正量を取得する取得手段、
   前記第１歪み量と、前記第１補正量と、前記第２歪み量とに基づいて前記基準マークの第２補正量を算出する算出手段、
   前記第２補正量に基づいて前記補正後帳票イメージにおける前記基準マークの位置を特定する特定手段、
   として機能させることを特徴とする帳票読取プログラム。
2. 前記基準マークは、前記第１頂点が成す角と同じ向きに、直角部分を有するＬ字形状で前記帳票に印字されていることを特徴とする請求項１に記載の帳票読取プログラム。
3. 前記補正後帳票イメージ生成手段は、前記第１頂点を構成する辺の直線部分を直線上に延伸し、延伸した前記直線部分が交差する交点の位置に前記第１頂点を移動して前記第１頂点の歪みを補正することを特徴とする請求項１に記載の帳票読取プログラム。
4. 前記第１抽出手段は、前記第１頂点が成す角に基づいて前記第１歪み量を抽出し、
   前記第２抽出手段は、前記Ｌ字形状の角の角度に基づいて前記第２歪み量を抽出する、
   ことを特徴とする請求項２に記載の帳票読取プログラム。
5. 前記直線部分は、前記第１頂点を構成する辺の中央部分であることを特徴とする請求項３に記載の帳票読取プログラム。
6. 前記第１補正量は、前記第１頂点の歪み具合に応じた補正量であり、
   前記第２補正量は、前記基準マークの歪み具合に応じた補正量である、
   ことを特徴とする請求項１に記載の帳票読取プログラム。
7. 前記算出手段は、前記第１歪み量に対する前記第２歪み量の変化率を用いて前記第１補正量を変換して、前記第２補正量を算出する、
   ことを特徴とする請求項６に記載の帳票読取プログラム。
8. 帳票の文字認識領域内の文字を認識する帳票読取方法であって、
   コンピュータが、
   前記帳票から取得した帳票イメージから第１頂点を特定し、前記第１頂点の歪み具合を表す第１歪み量を抽出し、
   前記文字認識領域の印字ずれの補正に用いる、前記第１頂点を含む角部に配置された基準マークを、前記帳票イメージから検出して、前記基準マークの歪み具合を表す第２歪み量を抽出し、
   前記帳票イメージから前記第１頂点の歪みを補正した補正後帳票イメージを生成し、
   前記帳票イメージを前記補正後帳票イメージに補正した際の前記第１頂点の第１補正量を取得し、
   前記第１歪み量と、前記第１補正量と、前記第２歪み量とに基づいて前記基準マークの第２補正量を算出し、
   前記第２補正量に基づいて前記補正後帳票イメージにおける前記基準マークの位置を特定する、
   処理を実行することを特徴とする帳票読取方法。
9. 帳票の文字認識領域内の文字を認識する情報処理装置において、
   前記帳票から取得した帳票イメージから第１頂点を特定し、前記第１頂点の歪み具合を表す第１歪み量を抽出する第１抽出部と、
   前記文字認識領域の印字ずれの補正に用いる、前記第１頂点を含む角部に配置された基準マークを、前記帳票イメージから検出して、前記基準マークの歪み具合を表す第２歪み量を抽出する第２抽出部と、
   前記帳票イメージから前記第１頂点の歪みを補正した補正後帳票イメージを生成する補正後帳票イメージ生成部と、
   前記帳票イメージを前記補正後帳票イメージに補正した際の前記第１頂点の第１補正量を取得する取得部と、
   前記第１歪み量と、前記第１補正量と、前記第２歪み量とに基づいて前記基準マークの第２補正量を算出する算出部と、
   前記第２補正量に基づいて前記補正後帳票イメージにおける前記基準マークの位置を特定する特定部と、
   を備えることを特徴とする情報処理装置。

Images