JP7133844B2 - 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム - Google Patents

Description

本発明は、帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラムに関するものである。

ある情報処理システムでは、回答用紙における回答選択肢ごとに設けられたチェックボックスにチェックが回答者によって記入された後、記入済み回答用紙をスキャンして得られた回答用紙の画像データに基づいて、チェックが記入されたチェックボックス（つまり、選択された回答選択肢）が特定される（例えば、特許文献１参照）。

特開２００８－１８６２５７号公報

しかしながら、上述のように、チェックボックスに対して回答者にチェックを記入させることで回答選択肢を選択させる場合、回答用紙の画像内で、正確にチェックボックスの位置を特定する必要があるため、回答用紙を印刷する際にチェックボックスの印刷位置ズレが生じると、スキャンされた回答用紙の画像において正確にチェックボックスが検出されない可能性がある。そのため、回答用紙には、ユーザーが印刷したものではなく、既製品が使用されることが多い。

また、回答選択肢に対して回答者に丸印を記入させることで回答選択肢を選択させる場合、回答者によって記入する丸印の形状が異なるため、スキャンされた回答用紙の画像内で、例えば丸印を検索して丸印が記入された回答選択肢（つまり、回答者が選択した回答選択肢）を正確に特定することは困難である。

本発明は、上記の問題に鑑みてなされたものであり、記入によって回答選択肢を選択させる選択肢リストを含む帳票から記入手続完了後にスキャンされた帳票画像から、選択された回答選択肢を正確に特定する帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラムを得ることを目的とする。

本発明に係る帳票画像処理システムは、記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得する対象帳票画像取得部と、その帳票画像から、記入手続完了後の選択肢リストを含む部分画像を選択肢リスト画像として抽出する選択肢リスト画像抽出部と、その選択肢リスト画像を、選択肢リストにおける複数の回答選択肢に分類し、選択肢リスト画像に対応する回答選択肢を出力する分類器とを備える。この分類器は、学習データで機械学習を施されたものであり、学習データは、選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、その複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示す。ここで、機械学習用選択肢リストは、機械学習用選択肢リスト画像に含まれ、上述の選択肢リスト画像の前記選択肢リストと同一のものである。そして、複数の機械学習用選択肢リスト画像は、（Ａ）いずれかの回答選択肢に対する訂正記入跡を含む選択肢リスト画像、および（Ｂ）いずれかの回答選択肢に対する白色修正跡および当該回答選択肢の復元記入跡を含む選択肢リスト画像のうちの少なくとも一方を含む。

本発明に係る帳票画像処理方法は、記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得するステップと、その帳票画像から、記入手続完了後の選択肢リストを含む部分画像を選択肢リスト画像として抽出するステップと、分類器で、その選択肢リスト画像を、選択肢リストにおける複数の回答選択肢に分類し、選択肢リスト画像に対応する回答選択肢を出力するステップとを備える。そして、その分類器は、学習データで機械学習を施されたものであり、学習データは、選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、その複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示す。ここで、機械学習用選択肢リストは、機械学習用選択肢リスト画像に含まれ、上述の選択肢リスト画像の前記選択肢リストと同一のものである。そして、複数の機械学習用選択肢リスト画像は、（Ａ）いずれかの回答選択肢に対する訂正記入跡を含む選択肢リスト画像、および（Ｂ）いずれかの回答選択肢に対する白色修正跡および当該回答選択肢の復元記入跡を含む選択肢リスト画像のうちの少なくとも一方を含む。

本発明に係る帳票画像処理プログラムは、コンピューターを、上述の対象帳票画像取得部、上述の選択肢リスト画像抽出部、および上述の分類器として機能させる。

本発明によれば、記入によって回答選択肢を選択させる選択肢リストを含む帳票から記入手続完了後にスキャンされた帳票画像から、選択された回答選択肢を正確に特定する帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラムが得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る帳票画像処理システムの構成を示すブロック図である。 図２は、帳票画像からの選択肢リスト画像の抽出を説明する図である。 図３は、図１における分類器２４の機械学習について説明するブロック図である。 図４は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像の一例を示す図である。 図５は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像の別の例を示す図である。 図６は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像のさらに別の例を示す図である。 図７は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像のさらに別の例を示す図である。 図８は、図１に示す帳票画像処理システムの動作について説明するフローチャートである。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る帳票画像処理システムの構成を示すブロック図である。図１に示す帳票画像処理システムは、１台の情報処理装置（コンピューターなど）に実装されているが、そのシステムにおける後述の処理部を、互いにデータ通信可能な複数の情報処理装置に分散させて実装されるようにしてもよい。また、そのような複数の情報処理装置には、特定の演算を並列処理するＧＰＵ（Graphics Processing Unit）が含まれていてもよい。

図１に示すシステムは、記憶装置１、入力装置２、表示装置３、通信装置４、画像読取装置５、および演算処理装置６を備える。

記憶装置１は、フラッシュメモリー、ハードディスクなどの不揮発性の記憶装置であって、各種データやプログラムを格納する。入力装置２および表示装置３は、ユーザーインターフェイスであって、入力装置２は、ユーザー操作を検出し電気信号として出力するキーボード、マウス、タッチパネルなどであり、表示装置３は、ユーザーに対して操作画面などを表示する液晶ディスプレイなどである。

この実施の形態では、記憶装置１に、帳票画像処理プログラム１１が格納されている。記憶装置１には、必要に応じて、１または複数の後述のテンプレートデータが格納される。なお、帳票画像処理プログラム１１は、ＣＤ（Compact Disk）などの可搬性のあるコンピューター読み取り可能な記録媒体に格納されていてもよい。その場合、例えば、その記録媒体から記憶装置１へプログラム１１がインストールされる。また、プログラム１１は、１つのプログラムでも、複数のプログラムの集合体でもよい。

通信装置４は、ネットワークインターフェイス、周辺機器インターフェイス、モデムなどのデータ通信可能な装置であって、必要に応じて、他の装置とデータ通信を行う。

画像読取装置５は、帳票から帳票画像を光学的に読み取り、帳票画像の画像データ（ラスタイメージデータなど）を生成する。例えば、画像読取装置５は、ＵＳＢ（Universal Serial Bus）などの周辺機器インターフェイスで接続されたスキャナー、ネットワークスキャナーなどである。

ここで、帳票とは、所定の記載項目が所定のレイアウトで記載された書類であって、例えば、発注書、納品書、請求書、領収書などを含むが、これらに限らず、アンケート用紙なども含む。帳票のレイアウトは、帳票を使用する企業ごとに異なることが多いが、それぞれの企業は、一定のレイアウトの帳票を使うことが多い。

演算処理装置６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備えるコンピューターであって、プログラムを、ＲＯＭ、記憶装置１などからＲＡＭにロードしＣＰＵで実行することで、各種処理部として動作する。ここでは、プログラム１１を実行することで、演算処理装置６は、テンプレートデータ選択部２１、対象帳票画像取得部２２、選択肢リスト画像抽出部２３、分類器２４、表データ生成部２５、および機械学習処理部３１として動作する。

テンプレートデータ選択部２１は、例えば入力装置２に対するユーザー操作に従って、記憶装置１または図示せぬサーバーに記憶されている１または複数のテンプレートデータから、処理対象の帳票画像に応じた１つのテンプレートデータを選択し読み出す。

なお、テンプレートデータは、帳票画像内で、処理対象となる部分画像を指定するデータである。テンプレートデータは、選択肢リストから選択された回答選択肢を認識させたい帳票（帳票画像）のレイアウトに合わせて予め作成される。

対象帳票画像取得部２２は、記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得する。例えば、対象帳票画像取得部２２は、記憶装置１に格納されている画像データとしての帳票画像を読み出したり、図示せぬサーバーやホスト装置から通信装置４により受信された画像データとしての帳票画像を取得したり、画像読取装置５により帳票から生成された画像データとしての帳票画像を取得したりする。

ここで、「記入手続」とは、帳票が記入者に提示されて記入者に記入の機会を与える手続のことをいう。つまり、通常、記入手続において記入者は、選択肢リストのいずれかの回答選択肢に対して記入を行うが、いずれの回答選択肢にも記入を行わない場合もあり得る。

選択肢リスト画像抽出部２３は、上述の帳票画像から、選択肢リストを含む部分画像を選択肢リスト画像として抽出する。ここでは、選択肢リスト画像は、矩形領域の画像である。

図２は、帳票画像からの選択肢リスト画像の抽出を説明する図である。

この実施の形態では、選択肢リスト画像抽出部２３は、選択されたテンプレートデータに基づいて、図２に示すような帳票画像における選択肢リスト画像４１の位置およびサイズを特定し、その位置およびサイズにより指定される部分画像を選択肢リスト画像４１として抽出する。

なお、例えば、テンプレートデータが、図２に示すような帳票画像の基準点（例えばいずれかの頂点）からのオフセット情報および選択肢リスト画像のサイズを示し、選択肢リスト画像抽出部２３は、そのオフセット情報およびサイズで、帳票画像における選択肢リスト画像４１の位置およびサイズを特定する。

あるいは、例えば、テンプレートデータがサンプル選択肢リスト画像を含み、選択肢リスト画像抽出部２３は、帳票画像において、そのサンプル選択肢リスト画像をキーとして画像検索を行い、所定の類似度以上で検出した部分画像を、選択肢リスト画像として抽出するようにしてもよい。例えば、この類似度は、既存の計算方法（ＳＳＤ（Sum of Squared Difference）法、ＳＡＤ（Sum of Absolute Difference）法、ＮＣＣ（Normalized Cross Correlation）法、ＺＮＣＣ（Zero means Normalized Cross Correlation）法など）で計算される。

図１に戻り、分類器２４は、上述の選択肢リスト画像（入力データ）を、その選択肢リストにおける複数の回答選択肢に分類し、その選択肢リスト画像に対応する回答選択肢（つまり、分類された回答選択肢）（出力データ）を出力する。

この実施の形態では、分類器２４は、既知のサポートベクターマシンまたはディープニューラルネットワーク（例えば畳み込みディープニューラルネットワーク）を有し、そのサポートベクターマシンまたはディープニューラルネットワークで、上述の選択肢リスト画像を回答選択肢に分類する。

なお、分類器２４は、選択肢リスト画像に対して主成分分析を行い、これにより、選択肢リスト画像の画素数より低い所定次元の画像を生成し、生成した低次元の画像をそのサポートベクターマシンやディープニューラルネットワークで上述の回答選択肢に分類するようにしてもよい。

図３は、図１における分類器２４の機械学習について説明するブロック図である。

機械学習処理部３１は、分類器２４の種別（サポートベクターマシン、ディープニューラルネットワークなど）に応じた既知の方法で、予め用意された学習データに基づいて分類器２４の機械学習を実行する。この学習データは、複数の機械学習用選択肢リスト画像と、その複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有する。その複数の機械学習用選択肢リスト画像は、それぞれ、処理対象の選択肢リスト画像と同一の選択肢リストを含み、その複数の機械学習用選択肢リスト画像の一部または全部は、いずれかの選択肢への記入跡を含む。また、そのラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢（つまり、分類結果の正解）を示す。

このように、この分類器２４は、学習データで機械学習を施されたものである。

なお、機械学習処理部３１は、別の情報処理装置に実装し、別の情報処理装置において上述の学習データに基づいて機械学習の処理を実行することで、分類器２４のパラメータの値を導出するようにしてもよく、その場合、当該システムにおける分類器２４に、その導出されたパラメータが適用される。したがって、その場合には、当該システムにおいて機械学習処理部３１が実装されていなくてもよい。

図４は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像の一例を示す図である。

図４に示す機械学習用選択肢リスト画像は、数字の回答選択肢「１」，「２」，「３」を有する選択肢リストの画像である。

図４（Ａ）は、記入手続において記入がなかった機械学習用選択肢リスト画像４１－１を示す。学習データにおいて、これらの機械学習用選択肢リスト画像には、記入選択肢ナシ（つまり、記入者がいずれの回答選択肢にも記入をしなかった場合）に対応する固有のラベル（例えば「－」）が対応付けられる。

図４（Ｂ）は、回答選択肢「１」に記入跡（ここでは丸印）のある機械学習用選択肢リスト画像４１－２，４１－２ａ，４１－２ｂを示す。学習データにおいて、これらの機械学習用選択肢リスト画像には、記入選択肢「１」に対応する固有のラベル（例えば「１」）が対応付けられる。ここで、機械学習用選択肢リスト画像４１－２ａは、誤って記入された回答選択肢「３」に対する二重線での訂正記入を含む。また、機械学習用選択肢リスト画像４１－２ｂは、回答選択肢「２」に対する修正液や修正テープなどでの白色修正および回答選択肢（ここでは「２」という文字）の復元記入を含む。

図４（Ｃ）は、回答選択肢「２」に記入跡（ここでは丸印）のある機械学習用選択肢リスト画像４１－３，４１－３ａ，４１－３ｂを示す。学習データにおいて、これらの機械学習用選択肢リスト画像には、記入選択肢「２」に対応する固有のラベル（例えば「２」）が対応付けられる。ここで、機械学習用選択肢リスト画像４１－３ａは、誤って記入された回答選択肢「１」に対する二重線での訂正記入を含む。また、機械学習用選択肢リスト画像４１－３ｂは、回答選択肢「３」に対する白色修正および回答選択肢（ここでは「３」という文字）の復元記入を含む。

図４（Ｄ）は、回答選択肢「３」に記入跡（ここでは丸印）のある機械学習用選択肢リスト画像４１－４，４１－４ａ，４１－４ｂを示す。学習データにおいて、これらの機械学習用選択肢リスト画像には、記入選択肢「３」に対応する固有のラベル（例えば「３」）が対応付けられる。ここで、機械学習用選択肢リスト画像４１－４ａは、誤って記入された回答選択肢「２」に対する二重線での訂正記入を含む。また、機械学習用選択肢リスト画像４１－４ｂは、回答選択肢「１」に対する白色修正および回答選択肢（ここでは「１」という文字）の復元記入を含む。

図４に示すような複数の機械学習用選択肢リスト画像を使用することで、記入者によって形状、サイズ、位置などが様々に異なる記入跡が学習され、分類対象の選択肢リスト画像が適切に分類されるようになる。特に、チェックボックスなどといった定形な記入対象ではなく、図４に示すような記入対象が文字列であり記入跡が不定形である場合でも、分類対象の選択肢リスト画像が適切に分類される。

また、機械学習用選択肢リスト画像４１－２ａ，４１－３ａ，４１－４ａ，４１－２ｂ，４１－３ｂ，４１－４ｂのように、記入者によって訂正や修正が行われた場合でも、分類対象の選択肢リスト画像が適切に分類されるようになる。

これにより、分類器２４において、図４に示すような機械学習用選択肢リスト画像の選択肢リストと同一の選択肢リストを有する選択肢リスト画像が、記入のあった回答選択肢に応じて分類される。

図５は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像の別の例を示す図である。

図５に示す機械学習用選択肢リスト画像は、職業に関する質問項目の選択肢リスト画像のための機械学習用選択肢リスト画像であって、チェックボックスをそれぞれ付加された回答選択肢「会社員」，「会社役員」，「公務員」，「自営業」，「その他」を有する選択肢リストの画像である。

図５（Ａ）は、記入手続において記入がなかった機械学習用選択肢リスト画像５１－１を示す。学習データにおいて、この機械学習用選択肢リスト画像には、記入選択肢ナシに対応する固有のラベル（例えば「－」）が対応付けられる。図５（Ｂ）は、回答選択肢「会社員」のチェックボックスに記入跡のある機械学習用選択肢リスト画像５１－２を示す。学習データにおいて、これらの機械学習用選択肢リスト画像には、記入選択肢「会社員」に対応する固有のラベル（例えば「１」）が対応付けられる。なお、その他の回答選択肢についても、同様に機械学習用選択肢リスト画像が学習データにおいて用意される。

図５に示すような機械学習用選択肢リスト画像を使用することで、記入者によって様々に異なる記入跡が学習され、分類対象の選択肢リスト画像が適切に分類されるようになる。また、チェックボックスに記入のある回答選択肢が、選択肢リスト画像から、機械学習済みの分類器２４によって特定されるため、チェックボックスの位置に多少のズレ（印刷位置ズレやスキャン位置ズレ）があっても、チェックボックスに記入のあった回答選択肢が特定される。

また、図４の場合と同様にして、図５の場合でも、記入者によって訂正や修正が行われている機械学習用選択肢リスト画像を学習データに含めることで、記入者によって訂正や修正が行われていても、分類対象の選択肢リスト画像が適切に分類されるようになる。

これにより、分類器２４において、図５に示すような機械学習用選択肢リスト画像の選択肢リストと同一の選択肢リストを有する選択肢リスト画像が、記入のあった回答選択肢に応じて分類される。

図６は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像のさらに別の例を示す図である。

図６に示す機械学習用選択肢リスト画像は、頻度に関する質問項目の選択肢リスト画像のための機械学習用選択肢リスト画像であって、文字列の回答選択肢「よくある」，「ときどきある」，「あまりない」，「ない」を有する選択肢リストの画像である。

図６（Ａ）は、記入手続において記入がなかった機械学習用選択肢リスト画像６１－１を示す。学習データにおいて、この機械学習用選択肢リスト画像には、記入選択肢ナシに対応する固有のラベル（例えば「－」）が対応付けられる。

図６（Ｂ）は、いずれかの回答選択肢に記入があった機械学習用選択肢リスト画像６１－２～６１－５を示す。機械学習用選択肢リスト画像６１－２は、回答選択肢「よくある」に記入があった機械学習用選択肢リスト画像である。学習データにおいて、機械学習用選択肢リスト画像６１－２には、記入選択肢「よくある」に対応する固有のラベル（例えば「１」）が対応付けられる。機械学習用選択肢リスト画像６１－３は、回答選択肢「ときどきある」に記入があった機械学習用選択肢リスト画像である。学習データにおいて、機械学習用選択肢リスト画像６１－３には、記入選択肢「ときどきある」に対応する固有のラベル（例えば「２」）が対応付けられる。機械学習用選択肢リスト画像６１－４は、回答選択肢「あまりない」に記入があった機械学習用選択肢リスト画像である。学習データにおいて、機械学習用選択肢リスト画像６１－４には、記入選択肢「あまりない」に対応する固有のラベル（例えば「３」）が対応付けられる。機械学習用選択肢リスト画像６１－５は、回答選択肢「ない」に記入があった機械学習用選択肢リスト画像である。学習データにおいて、機械学習用選択肢リスト画像６１－５には、記入選択肢「ない」に対応する固有のラベル（例えば「４」）が対応付けられる。

なお、図６では、各回答選択肢（分類結果の正解）について、１つの機械学習用選択肢リスト画像が示されているが、通常、複数の機械学習用選択肢リスト画像が学習データに含められる。

図６に示すような機械学習用選択肢リスト画像を使用することで、記入者によって様々に異なる記入跡が学習され、分類対象の選択肢リスト画像が適切に分類されるようになる。図６に示すような記入対象が、異なる長さの文字列である回答選択肢の場合、通常、記入のバラツキが大きくなるが、記入者によって様々に異なる記入跡が学習されることで、分類対象の選択肢リスト画像が適切に分類される。

また、図４の場合と同様にして、図６の場合でも、記入者によって訂正や修正が行われている機械学習用選択肢リスト画像を学習データに含めることで、記入者によって訂正や修正が行われていても、分類対象の選択肢リスト画像が適切に分類されるようになる。

これにより、分類器２４において、図６に示すような機械学習用選択肢リスト画像の選択肢リストと同一の選択肢リストを有する選択肢リスト画像が、記入のあった回答選択肢に応じて分類される。

図７は、図１における分類器２４の機械学習に使用される学習データにおける複数の機械学習用選択肢リスト画像のさらに別の例を示す図である。

図７に示す機械学習用選択肢リスト画像は、来店頻度に関する質問項目の選択肢リスト画像のための機械学習用選択肢リスト画像であって、先頭に配列番号を有する文字列の回答選択肢「１．毎日」，「２．週に２～３回」，「３．月に２～３回」，「４．年に２～３回」，「５．その他」を有する選択肢リストの画像である。

図７（Ａ）は、記入手続において記入がなかった機械学習用選択肢リスト画像７１－１を示す。学習データにおいて、この機械学習用選択肢リスト画像には、記入選択肢ナシに対応する固有のラベル（例えば「－」）が対応付けられる。図７（Ｂ）は、回答選択肢「２．週に２～３回」のチェックボックスに記入があった機械学習用選択肢リスト画像７１－２を示す。学習データにおいて、これらの機械学習用選択肢リスト画像には、記入選択肢「２．週に２～３回」に対応する固有のラベル（例えば「２」）が対応付けられる。なお、その他の回答選択肢についても、同様に機械学習用選択肢リスト画像が学習データにおいて用意される。

図７に示すような機械学習用選択肢リスト画像を使用することで、記入者によって様々に異なる記入跡が学習され、分類対象の選択肢リスト画像が適切に分類されるようになる。特に、先頭に配列番号を有する文字列の回答選択肢の場合、記入者が、（ａ）配列番号に対して記入を行うときと、（ｂ）配列番号以外の文字列部分に対して記入を行うときと、（ｃ）文字列全体に対して記入を行うときとがあるため、それらの記入形態のすべてについての機械学習用選択肢リスト画像が学習データに含められる。

また、図４の場合と同様にして、図７の場合でも、記入者によって訂正や修正が行われている機械学習用選択肢リスト画像を学習データに含めることで、記入者によって訂正や修正が行われていても、分類対象の選択肢リスト画像が適切に分類されるようになる。

これにより、分類器２４において、図７に示すような機械学習用選択肢リスト画像の選択肢リストと同一の選択肢リストを有する選択肢リスト画像が、記入のあった回答選択肢に応じて分類される。

なお、通常、機械学習用選択肢リスト画像は、ユーザーが分類させたい選択肢リストを有する帳票のサンプルをスキャンすることで得られる。そのため、複数の機械学習用選択肢リスト画像の背景濃度は、通常、互いに多少異なるが、複数の学習データに基づく機械学習によって、分類結果に影響しない。同様に、機械学習用選択肢リスト画像の背景にシワなどのノイズがあっても、分類結果に影響しない。

上述の図４（Ａ）、図５（Ａ）、図６（Ａ）および図７（Ａ）に示すように、記入手続において、選択肢リストにおけるいずれの回答選択肢に対しても記入がなされない場合もある。したがって、分類器２４は、上述の選択肢リスト画像を、選択肢リストにおける複数の回答選択肢および記入選択肢ナシに分類し、選択肢リスト画像に対応する回答選択肢または記入選択肢ナシを出力するようにしてもよい。また、その場合、分類器２４の機械学習において、上述のラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢が無いこと、または記入のある回答選択肢を示す。

また、上述の図４（Ｂ）のように、記入者が、ある回答選択肢に対して誤って記入後に別の回答選択肢に対して記入を行う際に、誤って記入した回答選択肢に対して例えば二重線などで訂正記入を行うことがある。そのため、必要に応じて、複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する訂正記入跡を含む選択肢リスト画像を含むようにしてもよい。

さらに、上述の図４（Ｂ）のように、記入者が、ある回答選択肢に対して誤って記入後に別の回答選択肢に対して記入を行う際に、修正液や修正テープなどで白色修正を行い、その上で回答選択肢の復元記入（元々あった回答選択肢を復元するような記入）を行うことがある。そのため、必要に応じて、複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する白色修正跡およびその回答選択肢の復元記入跡を含む選択肢リスト画像を含むようにしてもよい。

図１に戻り、表データ生成部２５は、上述のようにして分類器２４により得られた回答選択肢（あるいはその回答選択肢に対応する文字列）を、選択肢リスト画像に対応する質問項目名とともにテキストデータとして表データに含める。なお、その表データは、所定のデータ形式（例えばＣＳＶ（Character-Separated Values）など）で生成される。

次に、当該実施の形態に係るシステムの動作について説明する。図８は、図１に示す帳票画像処理システムの動作について説明するフローチャートである。

なお、分類器２４は、ユーザー所望の帳票内の選択肢リストに対応する学習データに基づく学習データによって、上述のように予め機械学習される。

まず、テンプレートデータ選択部２１は、保存されているテンプレートデータのリストを表示装置３に表示し、そのリストにおいてユーザー操作により選択されたテンプレートデータを読み出す（ステップＳ１）。

次に、ユーザーは、処理対象の帳票画像を選択し、入力装置２を使用して指定する。例えば、ユーザーは、記入手続完了後の帳票を画像読取装置５にセットし、画像読取装置５に、その帳票から帳票画像をスキャンさせる。あるいは、例えば、ユーザーは、入力装置２を使用して、そのようにスキャンして保存されている帳票画像のリストから処理対象の帳票画像を選択する。対象帳票画像取得部２２は、そのようにしてユーザーにより指定された帳票画像の画像データを取得する（ステップＳ２）。

次に、選択肢リスト画像抽出部２３は、そのテンプレートデータにより指定されている質問項目の選択肢リスト画像を選択し、そのテンプレートデータに基づいて、選択した選択肢リスト画像を帳票画像から抽出する（ステップＳ３）。

分類器２４は、その質問項目（つまり、抽出された選択肢リスト画像）に対応する、機械学習によって得られたパラメータセットのサポートベクターマシンやディープニューラルネットワークで、抽出された選択肢リスト画像を、その質問項目の選択肢リスト（つまり、複数の回答選択肢）内のいずれかの回答選択肢に分類する（ステップＳ４）。

表データ生成部２５は、例えば、その質問項目とその回答選択肢とを示す表データ（一部または全部）を生成する（ステップＳ５）。

そのテンプレートデータに、未処理の質問項目が存在する場合には、ステップＳ３に戻り、未処理の質問項目の１つについて、同様にして、ステップＳ３～Ｓ５の処理が実行され、そのテンプレートデータに、未処理の質問項目が存在しない場合には、当該帳票画像に対する処理を終了する（ステップＳ６）。

以上のように、上記実施の形態によれば、対象帳票画像取得部２２は、記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得する。選択肢リスト画像抽出部２３は、その帳票画像から、記入手続完了後の選択肢リストを含む部分画像を選択肢リスト画像として抽出する。分類器２４は、その選択肢リスト画像を、選択肢リストにおける複数の回答選択肢に分類し、選択肢リスト画像に対応する回答選択肢を出力する。この分類器２４は、学習データで機械学習を施されたものであり、学習データは、選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、その複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示す。

これにより、記入によって回答選択肢を選択させる選択肢リストを含む記入後の帳票からスキャンされた帳票画像から、選択された回答選択肢が正確に特定される。つまり、様々な記入例を示す機械学習用選択肢リスト画像で機械学習された分類器２４によって、実際の様々な記入に対応して、記入のあった回答選択肢が正確に特定される。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態において、選択肢リスト画像には、記入手続完了後の選択肢リスト（元々の選択肢リストと記入跡や修正など）以外のオブジェクト（他の選択肢リスト、その他の関係のない文字や図形など）が含まないようにしてもよい。その場合、同様に、その選択肢リスト画像に対応する機械学習用選択肢リスト画像にも、記入手続完了後の選択肢リスト以外のオブジェクトが含まないようにする。

また、上記実施の形態において、分類器２４がサポートベクターマシンを使用する場合において、選択肢リスト内の回答選択肢の数が３以上であるときには、既知の多クラス分類用のサポートベクターマシンが使用される。

また、上記実施の形態において、テンプレートデータが、種別の異なる複数の選択肢リスト画像を指定している場合、分類器２４は、複数の選択肢リスト画像に対応するパラメータセットを有し、選択肢リスト画像ごとにその選択肢リスト画像に対応するパラメータセットを選択し、選択したパラメータセットで上述の分類を行うようにしてもよい。その場合、例えば図４～図７に示すように種別の異なる複数の選択肢リスト画像のそれぞれに対して機械学習が実行され、そのような複数のパラメータセットが生成される。

さらに、上記実施の形態において、図４～図７に示す質問回答用の選択肢リストでは、記入が１つの回答選択肢に対して行われているが、質問において、複数の回答選択肢への記入が許可されている場合において、複数の回答選択肢への記入が行われるときには、分類器２４が、１つの選択肢リスト画像について、その選択肢リスト画像に対応する複数の回答選択肢を出力するようにしてもよい。その場合、学習データにおけるラベルは、機械学習用選択肢リストにおいて、記入のある複数の回答選択肢を示すようにする。つまり、例えば、選択肢リストの回答選択肢が、「１」，「２」，「３」の３つである場合において、「１」と「２」に記入がされたときには、その選択肢リストの選択肢リスト画像が、回答選択肢「１」と回答選択肢「２」の両方に分類される。あるいは、質問において、複数の回答選択肢への記入が許可されている場合において、複数の回答選択肢への記入が行われるときには、分類器２４が、１つの選択肢リスト画像について、その選択肢リスト画像に対応する回答選択肢として、回答選択肢の組み合わせを出力するようにしてもよい。その場合、学習データにおけるラベルは、機械学習用選択肢リストにおいて、記入のある複数の回答選択肢の組み合わせを示すようにする。つまり、例えば、選択肢リストの回答選択肢が、「１」，「２」，「３」の３つである場合において、「１」と「２」に記入がされたときには、その選択肢リストの選択肢リスト画像が、回答選択肢「１」や回答選択肢「２」ではなく、回答選択肢「１」と回答選択肢「２」の組み合わせに分類される。

本発明は、例えば、帳票画像処理システムに適用可能である。

６ 演算処理装置（コンピューターの一例）
２２ 対象帳票画像取得部
２３ 選択肢リスト画像抽出部
２４ 分類器

Claims (8)

1. 記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得する対象帳票画像取得部と、
   前記帳票画像から、記入手続完了後の前記選択肢リストを含む部分画像を選択肢リスト画像として抽出する選択肢リスト画像抽出部と、
   前記選択肢リスト画像を、前記選択肢リストにおける複数の回答選択肢に分類し、前記選択肢リスト画像に対応する前記回答選択肢を出力する分類器とを備え、
   前記分類器は、学習データで機械学習を施されたものであり、
   前記学習データは、前記選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、前記複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、
   前記ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示し、
   前記機械学習用選択肢リストは、前記機械学習用選択肢リスト画像に含まれ、前記選択肢リスト画像の前記選択肢リストと同一のものであり、
   前記複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する訂正記入跡を含む選択肢リスト画像を含むこと、
   を特徴とする帳票画像処理システム。
2. 記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得する対象帳票画像取得部と、
   前記帳票画像から、記入手続完了後の前記選択肢リストを含む部分画像を選択肢リスト画像として抽出する選択肢リスト画像抽出部と、
   前記選択肢リスト画像を、前記選択肢リストにおける複数の回答選択肢に分類し、前記選択肢リスト画像に対応する前記回答選択肢を出力する分類器とを備え、
   前記分類器は、学習データで機械学習を施されたものであり、
   前記学習データは、前記選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、前記複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、
   前記ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示し、
   前記機械学習用選択肢リストは、前記機械学習用選択肢リスト画像に含まれ、前記選択肢リスト画像の前記選択肢リストと同一のものであり、
   前記複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する白色修正跡および当該回答選択肢の復元記入跡を含む選択肢リスト画像を含むこと、
   を特徴とする帳票画像処理システム。
3. 前記分類器は、前記選択肢リスト画像を、前記選択肢リストにおける複数の回答選択肢および記入選択肢ナシに分類し、前記選択肢リスト画像に対応する前記回答選択肢または前記記入選択肢ナシを出力し、
   前記ラベルは、前記機械学習用選択肢リストにおいて、記入のある回答選択肢が無いこと、または記入のある回答選択肢を示すこと、
   を特徴とする請求項１または請求項２記載の帳票画像処理システム。
4. 前記分類器は、サポートベクターマシンまたはディープニューラルネットワークで、前記選択肢リスト画像を前記回答選択肢に分類することを特徴とする請求項１から請求項３のうちのいずれか１項記載の帳票画像処理システム。
5. 記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得するステップと、
   前記帳票画像から、記入手続完了後の前記選択肢リストを含む部分画像を選択肢リスト画像として抽出するステップと、
   分類器で、前記選択肢リスト画像を、前記選択肢リストにおける複数の回答選択肢に分類し、前記選択肢リスト画像に対応する前記回答選択肢を出力するステップとを備え、
   前記分類器は、学習データで機械学習を施されたものであり、
   前記学習データは、前記選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、前記複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、
   前記ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示し、
   前記機械学習用選択肢リストは、前記機械学習用選択肢リスト画像に含まれ、前記選択肢リスト画像の前記選択肢リストと同一のものであり、
   前記複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する訂正記入跡を含む選択肢リスト画像を含むこと、
   を特徴とする帳票画像処理方法。
6. 記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得するステップと、
   前記帳票画像から、記入手続完了後の前記選択肢リストを含む部分画像を選択肢リスト画像として抽出するステップと、
   分類器で、前記選択肢リスト画像を、前記選択肢リストにおける複数の回答選択肢に分類し、前記選択肢リスト画像に対応する前記回答選択肢を出力するステップとを備え、
   前記分類器は、学習データで機械学習を施されたものであり、
   前記学習データは、前記選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、前記複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、
   前記ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示し、
   前記機械学習用選択肢リストは、前記機械学習用選択肢リスト画像に含まれ、前記選択肢リスト画像の前記選択肢リストと同一のものであり、
   前記複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する白色修正跡および当該回答選択肢の復元記入跡を含む選択肢リスト画像を含むこと、
   を特徴とする帳票画像処理方法。
7. コンピューターを、
   記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得する対象帳票画像取得部、
   前記帳票画像から、記入手続完了後の前記選択肢リストを含む部分画像を選択肢リスト画像として抽出する選択肢リスト画像抽出部、および
   前記選択肢リスト画像を、前記選択肢リストにおける複数の回答選択肢に分類し、前記選択肢リスト画像に対応する前記回答選択肢を出力する分類器として機能させ、
   前記分類器は、学習データで機械学習を施されたものであり、
   前記学習データは、前記選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、前記複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、
   前記ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示し、
   前記機械学習用選択肢リストは、前記機械学習用選択肢リスト画像に含まれ、前記選択肢リスト画像の前記選択肢リストと同一のものであり、
   前記複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する訂正記入跡を含む選択肢リスト画像を含むこと、
   を特徴とする帳票画像処理プログラム。
8. コンピューターを、
   記入手続完了後の選択肢リストを含む帳票からスキャンされた帳票画像を処理対象として取得する対象帳票画像取得部、
   前記帳票画像から、記入手続完了後の前記選択肢リストを含む部分画像を選択肢リスト画像として抽出する選択肢リスト画像抽出部、および
   前記選択肢リスト画像を、前記選択肢リストにおける複数の回答選択肢に分類し、前記選択肢リスト画像に対応する前記回答選択肢を出力する分類器として機能させ、
   前記分類器は、学習データで機械学習を施されたものであり、
   前記学習データは、前記選択肢リスト画像の分類のための複数の機械学習用選択肢リスト画像と、前記複数の機械学習用選択肢リスト画像にそれぞれ対応する複数のラベルとを有し、
   前記ラベルは、機械学習用選択肢リストにおいて、記入のある回答選択肢を示し、
   前記機械学習用選択肢リストは、前記機械学習用選択肢リスト画像に含まれ、前記選択肢リスト画像の前記選択肢リストと同一のものであり、
   前記複数の機械学習用選択肢リスト画像は、いずれかの回答選択肢に対する白色修正跡および当該回答選択肢の復元記入跡を含む選択肢リスト画像を含むこと、
   を特徴とする帳票画像処理プログラム。

Images