JP7255121B2 - レシート処理装置及びレポートの生産方法 - Google Patents

Description

本発明は、レシートに印刷された費用情報を抽出するためのレシート処理装置等に関する。

従来から、レシートに印刷された費用情報を光学的に読み取って認識し、購買履歴を管理する技術が知られており、例えば確定申告や、家計簿の作成等に利用されている。その場合のレシートの読取手法には、片面スキャンを行ってレシートの表面を読み取る手法と、両面スキャンを行って表面の画像を選択的に用いる手法とが挙げられる。そのうちの前者の読取手法では、表面を正しく読み取れるようにユーザーがレシートの表裏を揃えてスキャナー装置にセットする必要があった。

これに対し、後者の読取手法では、表裏を意識せずにレシートをまとめてスキャナー装置にセットできる利点がある。しかし、読み取った表裏２つの面の画像から表面の画像を選択する必要があり、その選択を全てユーザーに任せるのでは手間がかかる。この問題を解決する技術の１つに、白紙の面を裏面と判定する技術がある。例えば、特許文献１には、読み取った画像から文字行が抽出されない場合に、その面を裏面と判定する手法が開示されている（例えば特許文献１を参照）。

特開平１１－２１９４０８号公報

しかしながら、レシートの裏面は白紙とは限らず、例えば販売店舗の情報（販売店舗の店舗名や住所、電話番号、ホームページアドレス等。以下店舗情報という）や広告等が印刷されたものも存在する。そのため、特許文献１の技術を適用して裏面を判定するだけでは、裏面の削除に要するユーザーの手間を低減するには不十分であった。すなわち、本発明が解決しようとする課題は、裏面が白紙ではないレシートを読み取る場合のユーザーの手間を従来技術に比べてさらに低減することができる技術を提供することである。

本発明の一態様は、スキャナー部にレシートの両面スキャンを行わせて、第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを生成させるスキャン制御部と、前記第１の模様と前記第２の模様とのそれぞれに基づいて、前記第１画像と前記第２画像とのそれぞれについて、表面か裏面かを判定する判定部と、前記裏面の画像を破棄する破棄部と、前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを出力する出力部と、を備えるレシート処理装置に関する。

レシートの表面の一例を示す模式図。 図１に示すレシートの裏面の例を示す模式図。 レシートの表面の他の例を示す模式図。 図３に示すレシートの裏面の例を示す模式図。 レシートの表面の他の例を示す模式図。 図５に示すレシートの裏面の例を示す模式図。 破棄実行画面の一例を模式的に示した模式図。 レポート出力画面の一例を模式的に示した模式図。 レシート処理装置の機能構成例を示すブロック図。 表裏識別データのデータ構成例を示す図。 レポート出力処理の流れを示すフローチャート。 一次表裏判定処理の流れを示すフローチャート。 二次表裏判定処理の流れを示すフローチャート。 レシートの表面の他の例を示す模式図。 レシートの裏面の他の例を示す模式図。 レシートの裏面の他の例を示す模式図。

以下、図面を参照して、本発明の好適な実施形態について説明する。なお、以下説明する実施形態によって本発明が限定されるものではなく、本発明を適用可能な形態が以下の実施形態に限定されるものでもない。また、図面の記載において、同一部分には同一の符号を付す。

［原理］
本実施形態のレシート処理装置は、レシートから費用情報を抽出してレポートを出力するレポート出力処理を行う。その大まかな流れを説明すると、レポート出力処理では先ず、レシート処理装置に接続されたスキャナー部であるスキャナー装置にレシートを両面スキャンさせて、スキャナー部にセットされた読取対象のレシートのそれぞれについて第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを取得する。ここで模様という言葉は、文字や記号や図形又はこれらと色彩との結合の総称として用いる。よって、第１の模様とは第１画像に含まれている内容という意味であり、第２の模様とは第２画像に含まれている内容という意味である。なお、理解の混乱を避けるため、以下では適宜、第１画像に含まれる第１の模様のことを単に第１画像ということがあり、第２画像に含まれる第２の模様のことを単に第２画像ということがある。第１画像及び第２画像を取得した後は、第１画像及び第２画像をそれぞれＯＣＲ（Optical Character Recognition/Reader）処理し、当該ＯＣＲ処理による解析結果である文字認識結果に基づきレシートに印刷された費用情報を抽出する費用情報抽出処理を行ってレポートを出力する。

ここで、必要な費用情報はレシートの表面に印刷されており、裏面から読み取った情報は不要である。一方で、レシートは、表裏を揃えてスキャナー部にセットされるとは限らないため、費用情報抽出処理に先立ち、第１画像及び第２画像の何れが表面の画像なのか特定する必要がある。そのための処理として、本実施形態では、所定の判断項目を判断して用い、取得した第１画像及び第２画像の表裏を判定する表裏判定を行う。以下、本実施形態における６つの判断項目を列挙し、図１～図６に例示するレシートを参照して表裏判定の原理を説明する。

（１）白紙項目
レシートの中には、その裏面に、例えば、販売店の店舗名や住所、電話番号、メールアドレス、ホームページのＵＲＬ（Uniform Resource Locator）といった店舗情報、広告、返品時の注意書き等が印刷されたものもあれば、裏面が白紙のものもある。そして、表面には必ず費用情報が記載されることから、読み取った一方の面が白紙であれば、当該白紙の面が裏面である。そこで、本実施形態では、１つ目の判断項目である白紙項目として、第１画像と第２画像との一方が白紙の画像であるか否かを判断する。そして、第１画像と第２画像との一方が白紙の画像である場合に、当該一方の画像を裏面の画像と判定する。この場合は、他方の画像を表面とし、その文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。

なお、裏面が白紙でないレシートの場合、白紙項目については、第１画像及び第２画像の何れも白紙の画像ではないと判断される。よってこの場合、白紙項目の判断結果から裏面の画像は判定されない。

（２）使用色項目
一般に、表面の費用情報は、黒やグレー、暗い青といった無彩色又は低彩度色で印刷される。これに対し、裏面の広告等は、高彩度色のカラーで印刷されたものがある。そこで、２つ目の判断項目である使用色項目として、第１画像と第２画像とに使われている色を判断する。そして、第１画像と第２画像との一方のみが所定の低彩度条件を満たす色のみである場合に、当該一方の画像を表面の画像と判定する。この場合は、当該表面の画像の文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。低彩度条件には、黒やグレー等の無彩色又は低彩度色であって、費用情報の印刷に使用され得る１つ又は複数の色が設定されてもよいし、彩度の数値条件が設定されることとしてもよい。

ただし、表面の記載内容の一部がカラー印刷されたレシートも存在し得る。例えば、表面において店舗名をカラーにしたレシートや、表面に広告を記載し、それをカラーにしたもの等が挙げられる。その場合、使用色項目については、第１画像及び第２画像の何れも低彩度条件を満たす色のみの画像ではないと判断される。よってこの場合、使用色項目の判断結果から表面の画像は判定されない。

（３）数字項目
表面の費用情報は金額情報を含むため、必ず数字が含まれる。一方で、裏面の記載内容には、数字が含まれない場合もあり得る。そこで、３つ目の判断項目である数字項目として、第１画像及び第２画像の文字認識結果から各画像が数字を含むか否かを判断する。より正確には、第１画像に含まれる第１の模様及び第２画像に含まれる第２の模様に数字が含まれるか否かを判断する。そして、第１画像と第２画像との何れか一方のみが数字を含まない画像である場合に、当該一方の画像を裏面の画像と判定する。

例えば、図１に表面を示し、図２に裏面を示すレシートでは、表面である図１の面の記載内容は数字を含む一方、裏面である図２の面の文字は数字を含まない。このようなレシートは、数字項目での判断の結果、図２の面の画像が当該レシートの裏面の画像と判定される。この場合は、他方の画像である図１の面の画像を表面の画像とし、当該表面の画像の文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。

ただし、例えば裏面に販売店舗の住所や電話番号等が記載されたレシート等、裏面の記載内容が数字を含むレシートの場合、数字項目については、第１画像及び第２画像の何れも数字を含む画像と判断される。よってこの場合、数字項目の判断結果から裏面の画像は判定されない。

（４）文字列方向項目
表面の費用情報は、一般に、レシートの長手方向を上下とする横書きで、別の言い方をすると用紙の短手方向に沿った横書きで記載される。これに対し、裏面の広告等は、レシートの短手方向を上下とする横書きで、別の言い方をすると用紙の長手方向に沿った横書きで記載される場合や、当該短手方向を上下とする縦書きで記載される場合もあり得る。また、その他にも、レシートの長手方向や短手方向に対して斜めに文字が配置されて広告等が記載される場合も考えられる。

そこで、４つ目の判断項目である文字列方向項目として、第１画像及び第２画像の文字認識結果から、各画像のそれぞれの模様に含まれる文字の向きを判断する。より詳細には、本実施形態では、文字の上下がレシートの長手方向に沿った文字の向きを０°、文字の上下がレシートの短手方向に沿った文字の向きを９０°とし、文字の向きを文字毎に判断する。そして、第１画像と第２画像との一方のみにおいて全ての文字の向きが所定の不適正方向条件を満たす場合に、当該一方の画像をレシートの裏面の画像と判定する。ここで、不適正方向条件は、本実施形態では、文字の向きとレシートの長手方向との相対角度に基づき定められ、例えば「当該相対角度が２０°以上１６０°以下又は２００°以上３４０°以下であること」等として予め設定しておくことができる。

例えば、図３に表面を示し、図４に裏面を示すレシートでは、裏面である図４の面の記載内容は、レシートの短手方向を上下とする横書きで記載されている。このようなレシートは、文字列方向項目での判断の結果、図４の面の画像が当該レシートの裏面の画像と判定される。この場合は、他方の画像である図３の面の画像を表面の画像とし、当該表面の画像の文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。

（５）繰り返し項目
レシートの裏面の記載態様の１つに、店舗情報や広告等が繰り返し印刷された態様がある。具体的には、その裏面において、店舗情報が所定の間隔をあけて繰り返し印刷されたレシートや、商品の広告であったり、返品時の注意書き等が繰り返し印刷されたレシート等が挙げられる。そこで、５つ目の判断項目である繰り返し項目として、第１画像及び第２画像の文字認識結果から、第１画像に含まれる第１の模様と第２画像に含まれる第２の模様とにおいて同じ文字列である繰り返し印刷体が繰り返されているか否かを判断する。本実施形態では、第１画像内又は第２画像内の１０文字以上で構成される文字列について当該画像内で探索を行い、それと同じ文字列がＮ個以上含まれる場合に、当該画像において当該文字列である繰り返し印刷体が繰り返されていると判断する。本実施形態ではＮ＝２とするが、Ｎは３以上でもよい。そして、第１画像と第２画像との何れか一方のみに繰り返し印刷体が繰り返されている場合に、当該一方の画像を裏面の画像と判定する。

例えば、図５に表面を示し、図６に裏面を示すレシートでは、図６の裏面の画像には、破線Ｐ１１，Ｐ１３，Ｐ１５で囲って示すように、１５文字で構成される同じ文字列「ＸＹＺＳｈｏｐｐｉｎｇＭａｌｌ」が複数個含まれている。図６では３個含まれている。このようなレシートは、繰り返し項目での判断の結果、図６の面の画像が当該レシートの裏面の画像と判定される。この場合は、他方の画像である図５の画像を表面とし、当該表面の画像の文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。

ただし、例えば同じ品目を複数購入した場合に当該品目の文字列が繰り返される等、レシートの表面の記載内容が同じ文字列を複数含む場合もあり得る。その場合、繰り返し項目については、第１画像及び第２画像の何れも繰り返し印刷体が繰り返されていると判断される。よってこの場合、繰り返し項目の判断結果から表面の画像は判定されない。

（６）特定文字列項目
表面の費用情報は、一般に、図１、図３及び図５に示すように、「Ｔａｘ」や「Ｔｏｔａｌ」といった特定の文字列を含む。そこで、６つ目の判断項目である特定文字列項目として、第１画像及び第２画像の文字認識結果から各画像が特定文字列を含むかを判断する。より正確には、第１画像に含まれる第１の模様及び第２画像に含まれる第２の模様に特定文字例が含まれるかを判断する。そして、第１画像と第２画像との何れか一方のみが特定文字列を含む画像である場合に、当該一方の画像を表面の画像と判定する。この場合は、当該表面の画像の文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。特定文字列については、例示した「Ｔａｘ」及び「Ｔｏｔａｌ」の他にも、例えば「Ｃａｒｄ」や「Ｃａｓｈ」「Ｃｈａｎｇｅ」等、レシートの表面に記載され得る文字列を予め設定しておけばよい。

ここで、以上列挙した判断項目のうち、白紙項目及び使用色項目の２項目は、第１画像及び第２画像の画素値から判断することができる。一方、数字項目、文字列方向項目、繰り返し項目及び特定文字列項目の４項目は、第１画像及び第２画像の文字認識結果から判断される。よって、前者の２項目はＯＣＲ処理をしなくても判断が可能であり、その結果表裏が判定されれば、裏面の画像についてＯＣＲ処理は不要となる。これに対し、後者の４項目の判断にあたっては、第１画像及び第２画像の双方についてＯＣＲ処理を行っている。そこで、本実施形態では、ＯＣＲ処理の前に白紙項目及び使用色項目について順番に判断する。そして、何れの判断項目でも表裏が判定されなかった場合に第１画像及び第２画像をＯＣＲ処理し、数字項目、文字列方向項目、繰り返し項目及び特定文字列項目について順番に判断することで、処理負荷の低減を図る。

さて、以上説明した表裏判定では、６つの判断項目全てで表裏の判定がされない事態が生じ得る。また、表裏が判定された場合であっても、誤判定のケースもあり得る。そこで、本実施形態では、読取対象のレシート毎に、その第１画像と第２画像とを、表面の画像か裏面の画像かを識別して表示させることで、当該レシート毎の表裏判定結果をユーザーに提示する。そして、ユーザーによる識別変更操作を受けて表面の画像か裏面の画像かの識別を変更するとともに、破棄実行操作入力がされた場合に、裏面とされた画像を破棄する。

図７は、裏面破棄実行画面の一例を模式的に示した模式図である。図７に示すように、裏面破棄実行画面Ｗ１は、表裏判定結果識別表示部Ｗ１１と、選択レシート面表示部Ｗ１３と、破棄実行ボタンＢ１とを備える。破棄実行ボタンＢ１は、ユーザーが破棄実行操作を入力するためのものであり、例えば、裏面にチェックを入れて破棄実行操作をするよう指示するメッセージとともに画面内に配置される。

表裏判定結果識別表示部Ｗ１１には、レシートに固有の読取番号毎に、その第１画像及び第２画像のサムネイルが並べて表示される。具体的には、表裏判定の結果に基づく表面のサムネイルが向かって左側、裏面のサムネイルが向かって右側に配置され、例えば図７中のサムネイルＴ１１のように、表裏判定で裏面又は表面が判定されたレシートについては、最初から右側のサムネイルに裏面を示すチェックＣ１１が付された状態で表示される。一方、表裏判定の結果、裏面又は表面が判定されなかったレシートについては、例えば第１画像が表面、第２画像が裏面と仮定し、図７中のサムネイルＴ１３のように、左側に第１画像を右側に第２画像を配置し、裏面のチェックＣ１３が未選択の状態で表示される。なお、ここで最初から右側のサムネイルに裏面を示すチェックＣ１１が付された状態で表示されるというのは、新しいレシートがスキャナーで読み込まれ、読み込まれたレシートの画像が表示に追加されると同時に又はユーザーの操作を受け付けないような短時間だけずれて、チェックＣ１１が付されるということである。

この表裏判定結果識別表示部Ｗ１１において、ユーザーは、チェックを選択又は変更することで識別変更操作を入力する。すなわち、ユーザーは、表裏判定結果識別表示部Ｗ１１において裏面が正しくチェックされているかを確認し、誤りがあれば、正しい方のサムネイルにチェックを入れ直す。また、チェックが未選択のレシートについて裏面を選び、チェックを入れる。その際、適宜サムネイルを選択することで、そのレシート面の画像を選択レシート面表示部Ｗ１３に大きく表示させて内容を確認できるようになっている。図７の例ではサムネイルＴ１５が選択されて、選択レシート面表示部Ｗ１３に拡大表示されている。

例えば、サムネイルＴ１３が裏面の画像である場合は、ユーザーは、サムネイルＴ１３にチェックＣ１３を入れる。また、サムネイルＴ１１が裏面ではなく表面の画像である場合は、ユーザーは、サムネイルＴ１１のチェックＣ１１を外し、サムネイルＴ１７にチェックＣ１７を入れる。

そして、ユーザーは、裏面のチェックを確認し、その選択・変更を終えたら、破棄実行ボタンＢ１をクリックする。すると、裏面の画像が全て破棄される。これによれば、費用情報抽出処理の前に表裏判定結果をユーザーに提示し、ユーザーの操作入力に従って当該表裏判定結果を適宜修正した上で、裏面の画像を破棄することができる。よって、ユーザーは、表裏判定の結果自動的に表裏が判定されなかったものについて裏面を選択するとともに、誤判定があれば正しい裏面を選択する操作を行うだけでよい。したがって、両面スキャンで読み取られたレシートの裏面の画像を破棄する際のユーザーの手間を大幅に低減できる。なお、裏面にチェックを入れることとして説明したが、表面にチェックを入れることとして、チェックが入っていない面の画像を破棄するように構成してもよいことは勿論である。

また、以上のようにユーザーの破棄実行操作を受け付けて裏面の破棄を実行した後は、表面の画像の文字認識結果を用いて費用情報抽出処理を行い、レポートを出力する。本実施形態では、ユーザーのレポート出力指示操作が入力された場合に、抽出した費用情報をレシート毎に表示することでレポート出力を行う。

図８は、レポート出力画面の一例を模式的に示した模式図である。図８に示すように、レポート出力画面Ｗ２は、選択レシート表面画像表示部Ｗ２１と、費用情報表示部Ｗ２３とを備える。選択レシート表面画像表示部Ｗ２１には、レポートの出力対象のレシートの表面の画像が表示され、費用情報表示部Ｗ２３には、当該レシートについて抽出された費用情報が表示される。具体的には、例えば、図８に示すように、費用情報は、支払い先を示す「Ｖｅｎｄｏｒ」、税額を示す「ｔａｘ」、合計額を示す「ｔｏｔａｌ」、現金かカードか等の支払い方法を示す「Ｍｅｔｈｏｄ」等の費用項目の情報を含み、費用情報表示部Ｗ２３では、それらの選択や数値入力等による編集も可能となっている。

［機能構成］
図９は、レシート処理装置１０の機能構成例を示すブロック図である。レシート処理装置１０は、例えば、ユーザーが使用するパソコン等のコンピューターであり、レシートの両面スキャンを行って第１画像と第２画像とを取得するためのスキャナー部１００と接続されて構成される。このレシート処理装置１０は、図９に示すように、操作入力部１１０と、出力部としての表示部１３０と、通信部１５０と、演算処理部１７０と、記憶部２００とを備える。なお、レシート処理装置１０がスキャナー部１００を具備することとして説明するが、スキャナー部１００を外付けの別装置と考えて、スキャナー部１００以外の構成をレシート処理装置１０としてもよいことは勿論である。

操作入力部１１０は、ユーザーによる各種操作入力を受け付け、操作入力に応じた操作入力信号を演算処理部１７０へ出力する。ボタンスイッチやレバースイッチ、ダイヤルスイッチ、トラックパッド、マウス等により実現できる。

表示部１３０は、ＬＣＤ（Liquid Crystal Display）等の表示装置によって実現され、演算処理部１７０からの表示信号に基づく各種表示を行う。

通信部１５０は、演算処理部１７０の制御のもと、外部との間でデータを送受するための通信装置である。この通信部１５０の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドル等と呼ばれる充電器と兼用の中間装置を介して接続する形式、無線通信を利用して無線接続する形式等、種々の方式を適用可能である。

演算処理部１７０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）及びこれらの協働などによるプロセッサー、ＩＣメモリー等の電子部品によって実現される。そして、演算処理部１７０は、各機能部との間でデータの入出力制御を行い、所定のプログラムやデータ、操作入力部１１０からの操作入力信号、スキャナー部１００から入力される画像データ等に基づき各種の演算処理を実行する。なお、演算処理部１７０を構成する各部は、専用のモジュール回路等のハードウェアで構成することとしてもよい。

この演算処理部１７０は、スキャン制御部１７１と、解析部としてのＯＣＲ処理部１７３と、表裏判定部１８０と、破棄部１９０と、レポート出力制御部１９５とを含む。

スキャン制御部１７１は、スキャナー部１００にレシートの両面スキャンを行わせて１面の第１画像と２面の第２画像とを生成させ、読取対象のレシート毎に第１画像と第２画像とを取得する。

ＯＣＲ処理部１７３は、第１画像及び第２画像の各画像又はそのうちの表面の画像について、画像解析処理としてＯＣＲ処理を行い、画像内の文字を認識して、より詳細には画像に含まれる模様内の文字を認識して、テキストデータを生成する。

表裏判定部１８０は、上記した白紙項目、使用色項目、数字項目、文字列方向項目、繰り返し項目及び特定文字列項目の６つの項目を順番に判断し、第１画像と第２画像とのうちの何れが裏面なのか、又は何れが表面なのかの表裏判定を行う。より詳細には、白紙項目及び使用色項目の２項目に係る表裏判定は、ＯＣＲ処理の前に順番に行う。一方、数字項目、文字列方向項目、繰り返し項目及び特定文字列項目の４項目に係る表裏判定は、先の２項目で表裏が判定されなかった場合に、ＯＣＲ処理の後で順番に行う。この表裏判定部１８０は、白紙項目を判断する第３判断部としての白紙判断部１８１と、使用色項目を判断する第４判断部としての使用色判断部１８２と、数字項目を判断する数字判断部１８３と、文字列方向項目を判断する第２判断部としての文字列方向判断部１８４と、繰り返し項目を判断する第１判断部としての繰り返し判断部１８５と、特定文字列項目を判断する特定文字列判断部１８６とを備える。

破棄部１９０は、第１の画像と第２の画像とのうちの裏面の画像を破棄する。この破棄部１９０は、画像表示制御部１９１と、識別変更部１９３とを備える。

画像表示制御部１９１は、表裏判定部１８０による表裏判定結果に基づいて、第１画像及び第２画像がそれぞれ表面の画像なのか裏面の画像なのかを識別して表示する制御を行う。

識別変更部１９３は、画像表示制御部１９１による第１画像及び第２画像が表面の画像なのか裏面の画像なのかの識別を、ユーザーの識別変更操作を受け付けて変更する。

レポート出力制御部１９５は、表面の画像の文字認識結果に基づきそのレシートに印刷された費用情報を抽出する費用情報抽出処理を行い、レポートを出力する制御を行う。本実施形態では、費用情報を記載したレポートを表示部１３０に表示する制御を行う。

記憶部２００は、ＩＣメモリーやハードディスク、光学ディスク等の記憶媒体により実現されるものである。この記憶部２００には、レシート処理装置１０を動作させ、レシート処理装置１０が備える種々の機能を実現するためのプログラムや、当該プログラムの実行中に使用されるデータ等が予め記憶され、或いは処理の都度一時的に記憶される。なお、演算処理部１７０と記憶部２００との接続は、装置内の内部バス回路による接続に限らず、ＬＡＮ（Local Area Network）やインターネット等の通信回線で実現してもよい。その場合、記憶部２００は、レシート処理装置１０とは別の外部記憶装置により実現されるとしてもよい。

また、記憶部２００には、レシート処理プログラム２１０と、レシート画像データ２２０と、文字認識結果データ２３０と、表裏識別データ２４０と、レポートデータ２５０とが格納される。

演算処理部１７０は、レシート処理プログラム２１０を読み出して実行することにより、スキャン制御部１７１やＯＣＲ処理部１７３、破棄部１９０、レポート出力制御部１９５等の機能を実現する。なお、これらの機能部を電子回路等のハードウェアで実現する場合には、当該機能を実現させるためのプログラムの一部を省略することができる。

レシート画像データ２２０は、スキャナー部１００にセットされ読取対象とされたレシート毎に、第１画像及び第２画像の画像データを記憶する。例えば、１つのレシート画像データ２２０は、読取番号２２１と、第１画像データ２２３と、第２画像データ２２５とを含む。読取番号２２１は、レシートに固有の番号として当該レシートの読取時に割り振られる。

文字認識結果データ２３０は、読取番号と対応付けて、該当するレシートについてＯＣＲ処理の結果得られた、第１画像及び第２画像の各画像又はそのうちの表面の画像に係るテキストデータを記憶する。

表裏識別データ２４０には、例えば図１０に示すように、読取番号と対応付けて、その第１画像及び第２画像が表面の画像なのか裏面の画像なのかの識別フラグが設定される。この表裏識別データ２４０は、画像表示制御部１９１によって作成され、識別変更部１９３によって適宜書き換えられる。すなわち、画像表示制御部１９１による作成段階の表裏識別データ２４０では、表裏判定部１８０により表裏が判定されなかったレシートの識別フラグは、例えばレコードＲ３のようにブランクとされる。そして、ブランクとされた識別フラグや、表裏判定部１８０による誤った表裏判定結果に基づく識別フラグが、ユーザーの識別変更操作に応じて変更される。

レポートデータ２５０は、読取対象のレシート毎に、その費用情報抽出処理の結果抽出された費用情報を記憶する。例えば、１つのレポートデータ２５０は、読取番号と、費用情報として抽出された「ｔａｘ」や「ｔｏｔａｌ」「Ｍｅｔｈｏｄ」といった各種費用項目の情報を含む。

［処理の流れ］
図１１は、本実施形態のレシート処理装置１０が行うレポート出力処理の流れを示すフローチャートである。ここで説明する処理は、例えば、ユーザーにより読取対象のレシートがスキャナー部１００にセットされ、所定の読み取り開始操作が為されると開始される。なお、本処理は、演算処理部１７０が記憶部２００からレシート処理プログラム２１０を読み出して実行し、レシート処理装置１０の各部を動作させることで実現できる。

図１１に示すように、レポート出力処理では先ず、スキャン制御部１７１がスキャナー部１００にレシートの両面スキャンを行わせて、読取対象のレシート毎に第１画像と第２画像とを取得する（ステップＳ１）。その際、スキャン制御部１７１は、読み取ったレシートに読取番号を割り振る。そして、割り振った読取番号を該当するレシートについて取得した第１画像及び第２画像の画像データと対応付けて、レシート画像データ２２０として記憶部２００に格納する。

全ての読取対象のレシートについて第１画像と第２画像とを取得したならば、一次表裏判定処理を行う（ステップＳ２）。図１２は、一次表裏判定処理の流れを示すフローチャートである。図１２に示すように、一次表裏判定処理では、先ず、読取対象のレシートを順次対象レシートとして、ループＡの処理を実行する（ステップＳ２０１～ステップＳ２１５）。

ループＡでは、表裏判定部１８０が先ず、白紙項目について表裏判定を行う。具体的には、白紙判断部１８１が、第１画像と第２画像との一方が白紙の画像であるか否かを判断する（ステップＳ２０３）。そして、第１画像と第２画像との一方が白紙の画像である場合は（ステップＳ２０５：ＹＥＳ）、当該一方の画像を裏面の画像と判定する（ステップＳ２０７）。

また、ステップＳ２０５が否定された場合は、表裏判定部１８０は、使用色項目について表裏判定を行う。具体的には、使用色判断部１８２が、第１画像と第２画像とに使われている色を判断する（ステップＳ２０９）。そして、第１画像と第２画像との一方のみが所定の低彩度条件を満たす色のみである場合は（ステップＳ２１１：ＹＥＳ）、当該一方の画像を表面の画像と判定する（ステップＳ２１３）。

そして、ループＡの処理を終えたならば、画像表示制御部１９１が、ステップＳ２０７で裏面の画像が判定され、又はステップＳ２１３で表面の画像が判定されたレシートについて第１画像及び第２画像が表面の画像か裏面の画像かの識別フラグを設定して、表裏識別データ２４０に格納する（ステップＳ２１７）。

図１１に戻る。一次表裏判定処理を行ったならば、全ての読取対象のレシートを順次対象レシートとして、ループＢの処理を行う（ステップＳ３～ステップＳ８）。ループＢでは先ず、前段の一次表裏判定処理で対象レシートについて表裏が判定されたか否かを判別する。そして、表裏が判定されている場合には（ステップＳ４：ＹＥＳ）、ＯＣＲ処理部１７３が表面の画像についてＯＣＲ処理を行い（ステップＳ５）、表面の画像に係るテキストデータを生成して対象レシートの文字認識結果データ２３０とし、記憶部２００に格納する。一方、対象レシートについて表裏が判定されていなければ（ステップＳ４：ＮＯ）、ＯＣＲ処理部１７３は、第１画像のＯＣＲ処理（ステップＳ６）と、第２画像のＯＣＲ処理（ステップＳ７）とを順次行って、第１画像及び第２画像に係るテキストデータを生成して対象レシートの文字認識結果データ２３０とし、記憶部２００に格納する。

そして、ループＢの処理を終えたならば、二次表裏判定処理を行う（ステップＳ９）。図１３は、二次表裏判定処理の流れを示すフローチャートである。図１３に示すように、二次表裏判定処理では、先ず、読取対象のレシートのうち、一次表裏判定処理で表裏が判定されなかったレシートを順次対象レシートとして、ループＣの処理を実行する（ステップＳ９０１～ステップＳ９２７）。

ループＣでは、表裏判定部１８０が先ず、数字項目について表裏判定を行う。具体的には、数字判断部１８３が、第１画像及び第２画像の文字認識結果から各画像が数字を含むか否かを判断する（ステップＳ９０３）。そして、第１画像と第２画像との何れか一方のみが数字を含まない画像である場合は（ステップＳ９０５：ＹＥＳ）、当該一方の画像を裏面の画像と判定する（ステップＳ９０７）。

また、ステップＳ９０５が否定された場合は、表裏判定部１８０は、文字列方向項目について表裏判定を行う。具体的には、文字列方向判断部１８４が、第１画像及び第２画像の文字認識結果から、各画像のそれぞれに含まれる文字の向きを判断する（ステップＳＳ９０９）。そして、第１画像と第２画像との一方のみにおいて全ての文字の向きが所定の不適正方向条件を満たす場合は（ステップＳ９１１：ＹＥＳ）、当該一方の画像を裏面の画像と判定する（ステップＳ９１３）。

また、ステップＳ９１１が否定された場合は、表裏判定部１８０は、繰り返し項目について表裏判定を行う。具体的には、繰り返し判断部１８５が、第１画像及び第２画像の文字認識結果から、各画像において１０文字以上の文字列である繰り返し印刷体が繰り返されているか否かを判断する（ステップＳ９１５）。そして、第１画像と第２画像との何れか一方のみに繰り返し印刷体が繰り返されている場合は（ステップＳ９１７：ＹＥＳ）、当該一方の画像を裏面の画像と判定する（ステップＳ９１９）。

また、ステップＳ９１７が否定された場合は、表裏判定部１８０は、特定文字列項目について表裏判定を行う。具体的には、特定文字列判断部１８６が、第１画像及び第２画像の文字認識結果から各画像が特定文字列を含むか否かを判断する（ステップＳ９２１）。そして、第１画像と第２画像との何れか一方のみが特定文字列を含む画像である場合は（ステップＳ９２３：ＹＥＳ）、当該一方の画像を表面の画像と判定する（ステップＳ９２５）。

そして、ループＣの処理を終えたならば、画像表示制御部１９１が、ステップＳ９０７やステップＳ９１３、ステップＳ９１９で裏面の画像が判定され、又はステップＳ９２５で表面の画像が判定されたレシートについて第１画像及び第２画像が表面の画像か裏面の画像かの識別フラグを設定して、表裏識別データ２４０に格納する（ステップＳ９２９）。

図１１に戻る。二次表裏判定処理を行ったならば、続いて、識別画像表示制御部１９１が、表裏識別データ２４０を用いて図７に例示した裏面破棄実行画面Ｗ１を表示部１３０に表示する制御を行い、読取対象のレシート毎に第１画像と第２画像とがそれぞれ表面の画像なのか裏面の画像なのかを識別表示する（ステップＳ１０）。この裏面破棄実行画面Ｗ１においてユーザーの識別変更操作が入力された場合は（ステップＳ１１：ＹＥＳ）、識別変更部１９３が、表面の画像か裏面の画像かの識別を変更して表裏識別データ２４０を更新する（ステップＳ１２）。そして、破棄部１９０は、裏面破棄実行画面Ｗ１においてユーザーの破棄実行操作が入力された場合には（ステップＳ１３：ＹＥＳ）、表裏識別データ２４０に従い裏面の画像を破棄する（ステップＳ１４）。

その後は、レポート出力制御部１９５が費用情報抽出処理を行い、読取対象のレシート毎に、その表面の画像の文字認識結果から費用情報を抽出する（ステップＳ１５）。なお、本実施形態では、白紙項目及び使用色項目に係る判断をＯＣＲ処理の前に行い、当該２項目で表裏が判定されたレシートについては、ステップＳ５で表面の画像のみについてＯＣＲ処理を行っている。そのため、該当するレシートについてステップＳ１２で識別が変更されたときには、ステップＳ１５の処理に先立ち、表面の画像のＯＣＲ処理が必要となる。一方、白紙項目及び使用色項目に係る判断で表裏が判定されず、表裏判定のためにＯＣＲ処理を行っていれば、そこで得られていた文字認識結果のうち、最終的に表であると判定された側の文字認識結果から費用情報を抽出する。ただし、この場合でも改めてＯＣＲ処理を実行するようにしても良い。

そして、レポート出力制御部１９５は、例えばユーザーのレポート出力指示操作を受けて図８に例示したレポート出力画面Ｗ２を表示部１３０に表示する制御を行い、レシート毎の費用情報を表示してレポートの出力を行う（ステップＳ１６）。

以上説明したように、本実施形態によれば、６つの判断項目を順番に判断することでレシートの裏面を自動的に判定でき、両面スキャンで読み取られたレシートの裏面の画像を破棄する際のユーザーの手間を大幅に低減することができる。また、表裏判定に際し、白紙項目及び使用色項目の２項目についてはＯＣＲ処理の前に判断することができる。そして、その結果表裏が判定された場合には表面の画像のみについてＯＣＲ処理を行うことができ、処理負荷の低減が図れる。

［変形例］
なお、本発明を適用可能な形態は上記した実施形態に限定されるものではなく、適宜構成要素の追加・省略・変更・統合・分離を施すことができる。例えば、上記したレシート処理装置のうち、スキャナー部や表示部を別の装置としてもよい。

例えば、上記した実施形態では、文字列方向項目について画像内の文字の向きを判断した結果、第１画像と第２画像との一方のみにおいて全ての文字の向きが所定の不適正方向条件を満たす場合に、当該一方の画像を裏面の画像と判定する例を説明した。これに対し、第１画像と第２画像との一方のみにおいて一部の文字の向きが所定の不適正方向条件を満たす場合に、当該一方の画像を裏面の画像と判定するとしてもよい。

また、第１画像及び第２画像の各画像についてその向きが不適正方向条件を満たす文字の割合を算出し、算出した第１画像及び第２画像に係る割合の一方のみが所定の高割合条件を満たす場合に、当該一方の画像を裏面の画像と判定するとしてもよい。

例えば、レシートには、図１４に表面を示すレシートのように、販売店舗の店舗名等がレシートの短手方向に対して斜めに傾けて記載されたデザインのレシートの他、販売店舗の店舗名等がレシートの長手方向を上下とする縦書きで記載されたレシートや、表面に縦書きの文字を含む広告が記載されたレシート等、表面の一部の文字が不適正方向条件を満たすレシートも存在し得る。また、例えば図１５に裏面を示すレシートのように、不適正方向条件を満たさない文字であるレシートの長手方向を上下とする横書きの文字と、不適正方向条件を満たす文字であるレシートの短手方向を上下とする横書きの文字とが混在したレシート等、裏面の一部の文字が不適正方向条件を満たさないレシートも存在し得る。そのような場合でも、本変形例によれば、表面において不適正方向条件を満たす文字の割合が高割合条件を満たさない程度に低く、且つ、裏面において不適正方向条件を満たす文字の割合が高割合条件を満たす場合には、当該高割合条件を満たす面を自動的にレシートの裏面と判定できる。

具体的には、第１画像及び第２画像のそれぞれについて、当該画像に含まれる文字総数に対する不適正方向条件を満たす文字数の割合を算出する。そして、そのうちの一方のみが高割合条件を満たす場合に、当該高割合条件を満たす面の画像を裏面の画像と判定する。高割合条件は、例えば「算出した割合が７０％以上であること」等として、適宜設定しておけばよい。

また、上記した実施形態では、繰り返し項目について画像内に１０文字以上の文字列である繰り返し印刷体が繰り返されているか否かを判断し、第１画像と第２画像との何れか一方のみに繰り返し印刷体が繰り返されている場合に、当該一方の画像を裏面の画像と判定する例を説明した。これに対し、文字数は限らずに、１行単位で同じ文字列が繰り返されているか否かを判断してもよい。例えば、図２の例では、図２中に破線Ｐ４１，Ｐ４３で囲って示すように、店舗名である文字列「ＡＢＣＤＥＦＧ」で構成された行が複数行（２行）含まれている。この場合は、「ＡＢＣＤＥＦＧ」を繰り返し印刷体として、当該繰り返し印刷体が繰り返されていると判断するとしてもよい。

また、１行の中で同じ文字列が繰り返されているか否かを判断してもよい。例えば、図４において破線Ｐ５で囲った１行に着目すると、当該行には文字列「ＫＥＥＰ ＴＨＩＳ」が複数個（２個）含まれている。この場合は、「ＫＥＥＰ ＴＨＩＳ」を繰り返し印刷体として、当該繰り返し印刷体が繰り返されていると判断するとしてもよい。

また、繰り返し印刷体は文字列に限らず、画像や、文字列と画像の混合体であってもよい。レシートの裏面に印刷される画像の例としては、販売店舗のマーク等が挙げられる。一方、レシートの裏面に印刷される混合体の例としては、販売店舗の店舗情報に、当該販売店舗のマークが付された態様が考えられる。例えば、図１６に裏面を示すレシートには、破線で囲って示す同じ文字列と画像の混合体が複数個含まれている。図１６の例では２個含まれている。

本変形例では、繰り返し印刷体として画像の繰り返しを判断する場合であれば、例えば、第１画像及び第２画像のそれぞれについて、画像解析処理として、ＯＣＲ処理の結果文字認識できない領域を対象としたパターンマッチング処理を行う。そして、パターンマッチング処理の結果、当該文字認識できない領域内で一致する部分画像がＮ個以上検出された場合に、当該部分画像である繰り返し印刷体が繰り返されていると判断する。Ｎは例えば２としてもよいし、３以上としてもよい。また、繰り返し印刷体として混合体の繰り返しを判断する場合には、画像解析処理として、ＯＣＲ処理と、上記パターンマッチング処理とを行う。そして、それらの処理結果を組み合わせることで、混合体の繰り返しを判断することができる。また、ＯＣＲ処理を行わずにパターンマッチング処理のみによって繰り返しの有無を判断しても良い。

また、表裏判定処理のための処理は、上述したものに限られず、別の処理を加えても良いし、上述した処理の一部を省略して行わないようにしても良い。また、順番も上述のものが効率が良いが、複数の処理の順番を変えることも可能であり、一度に複数の処理を並行して行ってそれらの処理結果を総合して表裏を判定してもよい。

また、機械学習によって生産した学習済みモデルを用いて、レシートを読み取った画像を解析し、画像中の文字を含む模様から表裏判定を行う処理を上述した画像解析処理及び表裏判定処理に、追加又は置換しても良い。機械学習の方法は周知の様々な方法を採用できるが、例えば、予め人間が表裏識別をした大量のレシートの表裏の画像を教師データとしてレシート処理装置の設計者が学習させていても良いし、それに加えて、或いはそれに代えて、ユーザーがレシート処理装置で使用したレシートの表裏の画像とユーザーによる表裏の識別の変更を経た表裏識別の最終結果を教師データとして学習するようにしても良い。そして、ユーザーがレシート処理装置で使用したレシートの表裏の画像とユーザーによる表裏の識別の変更を経た表裏識別の最終結果を教師データとして学習する場合には、レシート処理装置自体が学習を行って学習済みモデルを生産しても良いし、レシート処理装置はレシートの表裏の画像と表裏識別の最終結果をサーバー等の外部装置に送信し、外部装置が学習を行って学習済みモデルを生産し、レシート処理装置は外部装置から学習済みモデルを取得するようにしても良い。なお、このように学習に使用する場合には、裏面と判定した画像を削除せずにユーザーが容易に確認できない態様で残しいておいても構わない。

また、裏面と判定した画像は、ユーザーに確認をせずに自動的に削除してしまうことも可能である。特に裏面である可能性が比較的高い場合には、裏面と判定した画像をユーザーに確認をせずに自動的に削除し、裏面である可能性が比較的低い場合には、裏面と判定した画像をユーザーに確認をして、ユーザーの削除指示を受けて削除するようにしても良い。
また、費用情報を記載したレポートの出力は、上記実施形態で説明した表示部１３０に表示する態様に限らず、例えば、出力部としての印刷装置から印刷する態様や、出力部としての記憶部２００にレポートデータ２５０を格納する態様や、外部の装置にレポートデータ２５０を受け取らせる態様を含む。

１０…レシート処理装置、１１０…操作入力部、１３０…表示部、１５０…通信部、１７０…演算処理部、１７１…スキャン制御部、１７３…ＯＣＲ処理部、１８０…表裏判定部、１８１…白紙判断部、１８２…使用色判断部、１８３…数字判断部、１８４…文字列方向判断部、１８５…繰り返し判断部、１８６…特定文字列判断部、１９０…破棄部、１９１…画像表示制御部、１９３…識別変更部、１９５…レポート出力制御部、２００…記憶部、２１０…レシート処理プログラム、２２０…レシート画像データ、２２３…第１画像データ、２２５…第２画像データ、２３０…文字認識結果データ、２４０…表裏識別データ、２５０…レポートデータ

Claims (12)

1. スキャナー部にレシートの両面スキャンを行わせて、第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを生成させるスキャン制御部と、
   前記第１の模様と前記第２の模様とのそれぞれに基づいて、前記第１画像と前記第２画像とのそれぞれについて、表面か裏面かを判定する判定部と、
   前記裏面の画像を破棄する破棄部と、
   前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを出力する出力部と、
   を備え、
   前記判定部は、前記模様の少なくとも一部で繰り返し印刷体が繰り返されているか否かを判断し、前記第１画像と前記第２画像との一方のみに前記繰り返し印刷体が繰り返されていると判断された場合には、当該一方の画像を前記レシートの裏面の画像と判定し、他方の画像を前記レシートの表面の画像と判定する第１判断部と、前記第１画像と前記第２画像とのそれぞれに含まれる文字の向きを判断し、前記第１画像と前記第２画像との一方のみにおいて全ての文字の向きが所定の不適正方向条件を満たす場合には、当該一方の画像を前記レシートの裏面の画像と判定し、他方の画像を前記レシートの表面の画像と判定する第２判断部と、の少なくとも一方を有する、
   レシート処理装置。
2. スキャナー部にレシートの両面スキャンを行わせて、第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを生成させるスキャン制御部と、
   前記第１の模様と前記第２の模様とのそれぞれに基づいて、前記第１画像と前記第２画像とのそれぞれについて、表面か裏面かを判定する判定部と、
   前記裏面の画像を破棄する破棄部と、
   前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを出力する出力部と、
   を備え、
   前記判定部は、前記第１画像と前記第２画像とのそれぞれについて、ＯＣＲ処理によって読み取った文字を用いて表面か裏面かを判定する、
   レシート処理装置。
3. 前記出力部は、表面と判定された画像から前記ＯＣＲ処理によって読み取られた文字列の少なくとも一部を抽出された前記費用情報とする、
   請求項２に記載のレシート処理装置。
4. 前記ＯＣＲ処理の前に、前記第１画像と前記第２画像との一方が白紙の画像であるか否かを判断する第３判断部、
   を更に備え、
   前記破棄部は、前記第１画像と前記第２画像との一方が白紙の画像である場合には、当該一方の画像を前記レシートの裏面の画像として破棄し、
   前記第１画像と前記第２画像との一方が白紙の画像である場合には、前記表面の画像のみについて前記ＯＣＲ処理を行う、
   請求項２又は３に記載のレシート処理装置。
5. 前記ＯＣＲ処理の前に、前記第１画像と前記第２画像とに使われている色を判断する第４判断部、
   を更に備え、
   前記破棄部は、前記第１画像と前記第２画像との一方のみが所定の低彩度条件を満たす色のみである場合には、他方の画像を前記レシートの裏面の画像として破棄し、
   前記第１画像と前記第２画像との一方のみが前記低彩度条件を満たす色のみである場合には、前記表面の画像のみについて前記ＯＣＲ処理を行う、
   請求項２～４のいずれかに記載のレシート処理装置。
6. 前記第１判断部は、前記繰り返し印刷体を構成する文字列を１０文字以上の文字列として、前記繰り返し印刷体が繰り返されているか否かを判断する、
   請求項１に記載のレシート処理装置。
7. 前記不適正方向条件は、少なくとも文字の左右方向と前記レシートの長手方向とが一致する場合に前記不適正方向条件を満たすと判断される条件である、
   請求項１に記載のレシート処理装置。
8. 前記破棄部は、前記第１画像と前記第２画像との一方のみが、前記不適正方向条件を満たす文字の割合が所定の高割合条件を満たす場合には、当該一方の画像を前記レシートの裏面の画像として破棄する、
   請求項７に記載のレシート処理装置。
9. スキャナー部にレシートの両面スキャンを行わせて、第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを生成させるスキャン制御部と、
   前記第１の模様と前記第２の模様とのそれぞれに基づいて、前記第１画像と前記第２画像とのそれぞれについて、表面か裏面かを判定する判定部と、
   前記裏面の画像を破棄する破棄部と、
   前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを出力する出力部と、
   を備え、
   前記破棄部は、
   前記第１画像と前記第２画像とを、前記表面の画像か前記裏面の画像かを識別して表示させる画像表示制御部と、
   ユーザーの操作入力に基づいて、前記表面の画像か前記裏面の画像かの識別を変更する識別変更部と、
   を有し、前記ユーザーの破棄実行操作入力がなされた場合に、前記識別に基づき前記裏面とされた画像の破棄を実行する、
   レシート処理装置。
10. スキャナー部がレシートの両面スキャンを行うことで生成した、第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを取得する取得工程と、
    前記第１の模様と前記第２の模様とのそれぞれに基づいて、前記第１画像と前記第２画像とのそれぞれについて、表面か裏面かを判定する判定工程と、
    前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを生産するレポート工程と、
    を備え、
    前記判定工程は、前記模様の少なくとも一部で繰り返し印刷体が繰り返されているか否かを判断し、前記第１画像と前記第２画像との一方のみに前記繰り返し印刷体が繰り返されていると判断された場合には、当該一方の画像を前記レシートの裏面の画像と判定し、他方の画像を前記レシートの表面の画像と判定する第１判断工程と、前記第１画像と前記第２画像とのそれぞれに含まれる文字の向きを判断し、前記第１画像と前記第２画像との一方のみにおいて全ての文字の向きが所定の不適正方向条件を満たす場合には、当該一方の画像を前記レシートの裏面の画像と判定し、他方の画像を前記レシートの表面の画像と判定する第２判断工程と、の少なくとも一方を有する、
    費用情報のレポートを生産する方法。
11. スキャナー部がレシートの両面スキャンを行うことで生成した、第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを取得する取得工程と、
    前記第１の模様と前記第２の模様とのそれぞれに基づいて、前記第１画像と前記第２画像とのそれぞれについて、表面か裏面かを判定する判定工程と、
    前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを生産するレポート工程と、
    を備え、
    前記判定工程は、前記第１画像と前記第２画像とのそれぞれについて、ＯＣＲ処理によって読み取った文字を用いて表面か裏面かを判定することを含む、
    費用情報のレポートを生産する方法。
12. スキャナー部がレシートの両面スキャンを行うことで生成した、第１の模様を含む１面の画像である第１画像と第２の模様を含む２面の画像である第２画像とを取得する取得工程と、
    前記第１の模様と前記第２の模様とのそれぞれに基づいて、前記第１画像と前記第２画像とのそれぞれについて、表面か裏面かを判定する判定工程と、
    前記裏面の画像を破棄する破棄工程と、
    前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを生産するレポート工程と、
    を備え、
    前記破棄工程は、
    前記第１画像と前記第２画像とを、前記表面の画像か前記裏面の画像かを識別して表示させる画像表示制御工程と、
    ユーザーの操作入力に基づいて、前記表面の画像か前記裏面の画像かの識別を変更する識別変更工程と、
    を有し、前記ユーザーの破棄実行操作入力がなされた場合に、前記識別に基づき前記裏面とされた画像を破棄する工程である、
    費用情報のレポートを生産する方法。

Images