JP7167225B2 - レシート処理システム、レシート処理方法、ならびに、プログラム - Google Patents

Description

本発明は、レシート処理システム、レシート処理方法、ならびに、プログラムに関する。

近年、商品を販売する店舗では、ユーザによる店舗の継続利用を促進するために、例えば、ポイントカードをユーザに配布している。そして、ユーザは、店舗での買い物の際にポイントカードを使用することで、支払額に応じたポイントを獲得でき、また、獲得済のポイントを支払額に充当することも可能となっている。

なお、ユーザがポイントカードを忘れて（家等に置き忘れて）、店舗で買い物してしまった場合には、一般には、ポイントが獲得できないことになる。
それでも、ポイントカードを忘れた場合でも、店舗で発行されたレシートを活用して、ポイントを獲得可能とする技術も知られている。

例えば、特許文献１には、顧客が会員カードを忘れた場合にも、特典の付与が無効とならないようにすることのできる商品販売データ処理装置の発明が開示されている。この発明では、レジでの会計の際に会員カードの顧客コードが読み込まれないと、取引情報を記述した二次元コードを印刷したレシートを顧客に発行する。そして、その顧客が、次回の買い物の際に、このレシートと会員カードとをレジにて提示すると、レシートの二次元コードを読み取って得られた取引情報に応じた特典を、その顧客に付与できるようになっている。

特開２００９－１５７４７４号公報

上述した特許文献１の発明では、取引情報を記述した二次元コードをレシートに印刷する必要があるため、通常の店舗で使用されているような一般的なレジでは対応できない。
なお、一般的なレジでも、二次元コード等の光学コードをレシートに印刷可能ではあるが、固定の光学コードに限られており、例えば、店舗（企業）が開設したホームページのＵＲＬをコード化した光学コードがレシートに印刷されているのが現状である。

ところで、ポイントカードを配布するような店舗では、ＰＯＳ（Point of Sales system）の導入が進んでおり、レシートに印刷された特定情報（例えば、レシート番号）から、そのレシートが発行された取引（決済情報）を特定することも可能となっている。
そのため、一般的なレジで印刷したレシートを用いても、ポイントカードを忘れたユーザにポイントを付与することが可能となる。
例えば、ユーザのスマートフォン等でレシートを撮影し、その撮影画像をサーバに送ってもらうことで、サーバ側でレシートの特定情報を認識し、その特定情報に基づいて取引を特定して、ポイントを付与するという仕組みである。

しかしながら、その場合、レシートが適切に撮影されていないと、その撮影画像から特定情報を認識するのが困難となる。
つまり、一般的にレシートは、長尺であるため、レシート全体が収まるように撮影された撮影画像では、映っているレシート内の文字が粗くなる（小さくぼやける）ため、特定情報が認識できなくなる場合が多い。
また、レシート全体を撮影画像に納めるのではなく、特定情報を含むようにレシートの一部分だけを撮影するように、ユーザに要請するとしても、レシートのレイアウトは、店舗（企業）に応じて異なっているため、ユーザが撮影を誤り、特定情報が含まれていない撮影画像を撮影してしまうことも懸念される。

このような現状から、撮影されたレシートが特定可能となる適切な撮影画像を取得することのできる技術が求められていた。

本発明は、上記実状に鑑みてなされたもので、撮影されたレシートが特定可能となる適切な撮影画像を取得することのできるレシート処理システム、レシート処理方法、ならびに、プログラムを提供することを目的とする。

本発明の第１の観点に係るレシート処理システムは、
端末装置とサーバとが通信可能に接続されたレシート処理システムであって、
前記端末装置は、
撮影されている撮影画像に含まれる光学コードの位置及び大きさについての目標を示すガイド画像を、前記撮影画像とともに表示する表示部と、
前記表示部にて前記光学コードと前記ガイド画像とが相互に重なって一致すると、当該一致した時点における前記撮影画像を、前記サーバへ送信する送信部と、を備え、
前記サーバは、
前記端末装置から送られた前記撮影画像を受信する受信部と、
前記受信部が受信した前記撮影画像から、レシートを特定するための特定情報を認識する認識部と、を備える、
ことを特徴とする。

また、上記観点に係るレシート処理システムにおいて、
前記ガイド画像は、前記光学コードと重なり一致した際に、前記レシートに印刷された前記特定情報が前記撮影画像内に映り込むように、前記位置及び前記大きさが規定されているようにしてもよい。

また、上記観点に係るレシート処理システムにおいて、
前記端末装置は、
前記撮影画像に含まれる前記光学コードを認識するコード認識部と、
前記コード認識部により前記光学コードが認識されて得られた情報に対応した前記ガイド画像を取得する取得部と、を更に備え、
前記表示部は、前記取得部が取得した前記ガイド画像を、前記撮影画像に重畳させて表示するようにしてもよい。

また、上記観点に係るレシート処理システムにおいて、
前記認識部は、前記受信部が受信した前記撮影画像における前記光学コードの位置を基準として定まる所定領域から、前記特徴情報を認識するようにしてもよい。

また、上記観点に係るレシート処理システムにおいて、
前記サーバは、
店舗において決済された取引毎の決済情報をそれぞれ記憶する記憶部と、
前記記憶部に記憶される前記決済情報の中から、前記認識部が認識した前記特定情報に従って、前記レシートが発行された取引に対応する前記決済情報を特定する特定部と、
前記特定部により特定された前記決済情報に従って、前記端末装置のユーザに特典を付与する付与部と、を更に備えるようにしてもよい。

また、上記観点に係るレシート処理システムにおいて、
前記記憶部が記憶する前記決済情報には、商品コードと決済金額とが対応付けられた取引明細が含まれており、
前記付与部は、前記特定部により特定された前記決済情報に含まれる前記取引明細において、前記商品コードに示される商品が対象商品と一致する場合に、対応する前記決済金額に応じた前記特典を前記ユーザに付与するようにしてもよい。
てもよい。

本発明の第２の観点に係るレシート処理方法は、
端末装置とサーバとが通信可能に接続されたシステムにおいて実行されるレシート処理方法であって、
前記端末装置が実行する、
撮影されている撮影画像に含まれる光学コードの位置及び大きさについての目標を示すガイド画像を、前記撮影画像とともに所定の表示部に表示する表示ステップと、
前記表示部にて前記光学コードと前記ガイド画像とが相互に重なって一致すると、当該一致した時点における前記撮影画像を、前記サーバへ送信する送信ステップと、を備え、
前記サーバが実行する、
前記端末装置から送られた前記撮影画像を受信する受信ステップと、
前記受信ステップにて受信した前記撮影画像から、レシートを特定するための特定情報を認識する認識ステップと、を備える、
ことを特徴とする。

本発明の第３の観点に係るプログラムは、
第１のコンピュータに、
撮影されている撮影画像に含まれる光学コードの位置及び大きさについての目標を示すガイド画像を、前記撮影画像とともに所定の表示部に表示する表示手順、
前記表示部にて前記光学コードと前記ガイド画像とが相互に重なって一致すると、当該一致した時点における前記撮影画像を、第２のコンピュータへ送信する送信手順、を実行させ、
前記第２のコンピュータに、
前記第１のコンピュータから送られた前記撮影画像を受信する受信手順、
前記受信手順にて受信した前記撮影画像から、レシートを特定するための特定情報を認識する認識手順、を実行させる、
ことを特徴とする。

上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。
更に、上記プログラムを記録する情報記録媒体は、非一時的な（non-transitory）記録媒体であり、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な（tangible）記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な（transitory）記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な（temporary）記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリである。

本発明によれば、撮影されたレシートが特定可能となる適切な撮影画像を取得することができる。

本実施形態に係るレシート処理システムの全体構成の一例を示すブロック図である。 本実施形態に係るサーバ及び端末装置が実現される典型的な情報処理装置の概要構成の一例を示すブロック図である。 本実施形態に係るサーバの機能構成の一例を示すブロック図である。 ユーザ管理情報の一例を示す模式図である。 決済情報の一例を示す模式図である。 店舗・企業管理情報の一例を示す模式図である。 本実施形態に係る端末装置の機能構成の一例を示すブロック図である。 撮影対象となるレシートの一例を示す模式図である。 レシートが撮影されている撮影画像の一例を示す模式図である。 撮影画像に重畳されるガイド画像の一例を示す模式図である。 記憶部に記憶されるガイド画像情報の一例を示す模式図である。 撮影画像において、光学コードとガイド画像が重なって一致した様子を説明するための模式図である。 サーバに送信される撮影画像の一例を示す模式図である。 端末装置が実行する撮影画像送信処理を説明するためのフローチャートである。 サーバが実行するポイント付与処理を説明するためのフローチャートである。

以下に本発明の実施形態を説明する。本発明の実施形態では、店舗にて発行されたレシートを用いて、ユーザにポイントを付与するためのレシート処理システムを一例として説明するが、このようなポイントを付与するために限られず、後述するように、ユーザの家計簿等を作成するためのレシート処理システムであってもよい。
つまり、以下の実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

（全体構成）
本発明の実施形態に係るレシート処理システム１００は、図１に示すように、サーバ２００と、端末装置３００とが、インターネット９００を介して通信可能に接続されて、構成されている。
なお、図１には、端末装置３００を数台だけ示しているが、発明の理解を容易にするためであり、実際には、レシート処理システム１００を利用するユーザの数に応じて、膨大な数の端末装置３００が含まれているものとする。

サーバ２００は、端末装置３００を使用するユーザのポイントを管理するサーバ装置（サーバ用コンピュータ等）であり、端末装置３００から送られた撮影画像（後述するように、レシートが適切に撮影された撮影画像）を用いて、ユーザにポイントを付与する。

端末装置３００は、例えば、カメラ付きのスマートフォンやタブレット端末等であり、レシート処理システム１００を利用するユーザに使用される。端末装置３００では、例えば、専用のアプリケーションが実行されると、店舗にて発行されたレシートの撮影が可能となる。その際、端末装置３００は、後述するようにガイド画像を表示させ、ユーザがレシートのどの部分を撮影すればよいのかを明示する。そして、ガイド画像に従って、レシートが適切に撮影されると、端末装置３００は、その時点の撮影画像をサーバ２００に送信する。

（情報処理装置の概要構成）
本実施形態に係るサーバ２００及び端末装置３００が実現される典型的な情報処理装置４００について説明する。

情報処理装置４００は、図２に示すように、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、ＮＩＣ（Network Interface Card）４０４と、画像処理部４０５と、音声処理部４０６と、補助記憶部４０７と、インターフェース４０８と、操作ユニット４０９と、表示ユニット４１０と、撮影ユニット４１１と、を備える。

ＣＰＵ ４０１は、情報処理装置４００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。

ＲＯＭ ４０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、補助記憶部４０７に記憶されたプログラムをＲＡＭ ４０３に読み出してＣＰＵ ４０１による当該プログラムの実行が開始される。

ＲＡＭ ４０３は、データやプログラムを一時的に記憶するためのもので、補助記憶部４０７から読み出されたプログラムやデータ、その他、通信に必要なデータ等が保持される。

ＮＩＣ ４０４は、情報処理装置４００をインターネット等のコンピュータ通信網に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ－Ｔ／１００ＢＡＳＥ－Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等から構成される。

画像処理部４０５は、補助記憶部４０７等から読み出された画像データをＣＰＵ ４０１や画像処理部４０５が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部４０５が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され、インターフェース４０８等を介して表示ユニット４１０に出力される。つまり、画像処理部４０５は、ＣＰＵ ４０１の制御の下、情報処理装置４００が行う処理の進行の中で必要となる画像を生成し、その画像を表示ユニット４１０に表示させる。

音声処理部４０６は、補助記憶部４０７等から読み出された音声データを音声信号に変換し、インターフェース４０８を介して所定のスピーカ等に出力する。つまり、音声処理部４０６は、ＣＰＵ ４０１の制御の下、情報処理装置４００が行う処理の進行の中で発生させるべき音声を生成し、その音声をスピーカ等から出力させる。

補助記憶部４０７は、ハードディスク等であり、情報処理装置４００全体の動作制御に必要な各種のプログラムや各種のデータを記憶する。例えば、補助記憶部４０７には、本実施形態に係るサーバ２００及び端末装置３００を実現するためのプログラムが記憶される。そして、ＣＰＵ ４０１の制御によって、補助記憶部４０７は、記憶されたプログラムやデータを適宜読み出し、これらをＲＡＭ ４０３等に一時的に記憶させる。

インターフェース４０８には、操作ユニット４０９、表示ユニット４１０、及び、撮影ユニット４１１が接続される。なお、インターフェース４０８は、この他に接続された外部機器との間で必要な情報を送受信してもよい。

操作ユニット４０９は、例えば、ボタンやタッチパネル（タッチスクリーン）であり、情報処理装置４００を利用するユーザの操作入力を受け付ける。

表示ユニット４１０は、例えば、液晶表示パネル等であり、画像処理部４０５により出力された画像データに応じた画像を描画し、情報処理装置４００のユーザに提示する。

撮影ユニット４１１は、例えば、単焦点のレンズ、及び、所定画素数の撮像素子（ＣＭＯＳやＣＣＤ等）等であり、静止画又は動画を撮影する。

この他に、情報処理装置４００は、補助記憶部４０７の代わりに、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等のドライブユニットを備えるようにしてもよい。この場合、情報処理装置４００は、ドライブユニットに装着されるＤＶＤ－ＲＯＭ等からプログラムやデータを読み出して、上記と同様に動作する。

以下、上記の情報処理装置４００により実現されるサーバ２００及び端末装置３００の機能構成等について、図３～図１３を参照して説明する。情報処理装置４００に電源が投入されると、サーバ２００及び端末装置３００として機能させるプログラムが実行され、本実施形態に係るサーバ２００及び端末装置３００が実現される。

（サーバの機能構成）
図３は、本実施形態に係るサーバ２００の機能構成の一例を示すブロック図である。図示するように、サーバ２００は、受信部２１０と、送信部２２０と、記憶部２３０と、制御部２４０とを備える。

受信部２１０は、端末装置３００から送られる種々の情報を受信する。
例えば、受信部２１０は、端末装置３００から送られた撮影画像を受信する。つまり、端末装置３００にて、レシートが撮影される際に、後述するガイド画像に従って、レシートが適切に撮影されると、その撮影画像が端末装置３００から送られるようになっている。受信部２１０は、このようなレシートが適切に撮影された撮影画像を受信する。なお、上述したように端末装置３００では、専用のアプリケーションが実行されているため、受信部２１０は、撮影画像と共にユーザＩＤも端末装置３００から受信する。
この他にも、受信部２１０は、レシートを発行する各店舗から、若しくは、各店舗が加盟しているＰＯＳ（Point of Sales system）から送られる、レシート発行に伴う決済情報を受信する。

なお、上述したＮＩＣ ４０４等が、このような受信部２１０として機能しうる。

送信部２２０は、必要な情報を端末装置３００へ送信する。
例えば、端末装置３００から送られた撮影画像を処理してユーザにポイントを付与した場合に、送信部２２０は、送信元の端末装置３００へ、ポイントが付与されたことを通知するメッセージ等を送信する。

なお、上述したＮＩＣ ４０４等が、このような送信部２２０として機能しうる。

記憶部２３０は、ユーザにポイントを付与するために必要な種々の情報を記憶する。
例えば、記憶部２３０は、ユーザを管理するためのユーザ管理情報２３１、店舗での決済情報を蓄積する決済情報２３２、及び、店舗等を管理するための店舗・企業情報２３３を記憶する。

ユーザ管理情報２３１には、例えば、図４に示すように、ユーザＩＤ２３１ａ、ユーザ名２３１ｂ、住所２３１ｃ、ポイント値２３１ｄが含まれている。
なお、ポイント値２３１ｄは、ユーザに付与される特典の一例であり、端末装置３００から送られる撮影画像（レシートを適切に撮影した撮影画像）が後述する制御部２４０にて適宜処理された際に、加算される。

また、決済情報２３２には、例えば、図５に示すように、店舗・企業ＩＤ２３２ａ、レシート番号２３２ｂ、取引日時２３２ｃ、及び、取引明細２３２ｄが含まれている。
なお、レシート番号２３２ｂは、店舗にて発行されたレシートを特定するための特定情報の一例である。また、取引明細２３２ｄは、レシートが発行された取引（買い物）における明細であり、商品コード（購入商品のコード）と決済金額（購入商品の金額）とが対応付けられている。また、取引明細２３２ｄには、合計決済金額（ユーザの支払い額）も含まれている。

また、店舗・企業管理情報２３３には、例えば、図６に示すように、店舗・企業ＩＤ２３３ａ、及び、ＵＲＬ（Uniform Resource Locator;）２３３ｂが含まれている。
なお、ＵＲＬ２３３ｂは、発行されたレシートに印刷されている光学コード（一例として、二次元コードやバーコード等）をコード認識することにより得られる（復号される）情報の一例である。

なお、上述した補助記憶部４０７等が、このような記憶部２３０として機能しうる。

図３に戻って、制御部２４０は、サーバ２００全体を制御する。
この制御部２４０は、例えば、認識部２４１、特定部２４２、及び、付与部２４３を含んでいる。

認識部２４１は、受信部２１０が受信した撮影画像から、レシートを特定するための特定情報を認識する。例えば、認識部２４１は、レシートが撮影された撮影画像全体を文字認識し、その中から、レシート番号の値を認識する。後述するように、端末装置３００では、撮影画像内にレシート番号が含まれるように（映り込むように）、適切に撮影されているため、認識部２４１は、撮影画像からレシート番号を認識可能となっている。

特定部２４２は、記憶部２３０に記憶される決済情報の中から、認識部２４１が認識した特定情報に従って、撮影されたレシートが発行された取引に対応する決済情報を特定する。
例えば、特定部２４２は、まず、撮影画像に含まれる光学コードをコード認識して得られた情報（一例として、ＵＲＬ）を基に、レシートを発行した店舗（店舗・企業）を識別する。つまり、特定部２４２は、上述した図６に示す店舗・企業管理情報２３３を参照して、得られたＵＲＬと一致したＵＲＬ２３３ｂに対応する店舗・企業ＩＤ２３３ａを識別する。そして、特定部２４２は、上述した図５に示す決済情報２３２の中から（識別した店舗・企業に対応付けられた決済情報２３２の中から）、認識した特定情報と同じレシート番号２３２ｂを検索し、レシートが発行された取引に対応する決済情報２３２を特定する。

付与部２４３は、特定部２４２によって特定された決済情報に従って、撮影画像の送り元の端末装置３００を使用するユーザに特典を付与する。
例えば、付与部２４３は、特定された決済情報２３２の取引明細２３２ｄにおける合計決済金額に応じたポイントを算出すると、上述した図４に示すユーザ管理情報２３１における対象ユーザのポイント値２３１ｄに算出したポイントを加算する。
なお、ポイント付与が対象商品に限定されている場合に、付与部２４３は、特定された決済情報２３２の取引明細２３２ｄにおける商品コードに示される商品が対象商品と一致する場合に、その商品コードに対応する決済金額に応じたポイントを算出して、対象ユーザのポイント値２３１ｄに加算することになる。

図３に戻って、制御部２４０は、この他にも、店舗、若しくは、ＰＯＳから、新たな決済情報が送られてくると、図５に示す決済情報２３２を適宜更新する。
そして、上述したＣＰＵ ４０１等が、このような制御部２４０として機能しうる。

（端末装置の機能構成）
図７は、本実施形態に係る端末装置３００の機能構成の一例を示すブロック図である。図示するように、端末装置３００は、撮影部３１０と、表示部３２０と、通信部３３０と、記憶部３４０と、制御部３５０とを備える。

撮影部３１０は、例えば、端末装置３００の外側に配置されたカメラであり、ユーザの操作に従って、レシートを撮影する。
例えば、撮影部３１０は、図８に示すようなレシートＲＴを撮影する。このレシートＲＴには、ユーザが買い物した商品及び金額の他に、光学コードＯＣ、及び、特定情報ＴＪが印刷されている。
光学コードＯＣは、二次元コードであり、例えば、レシートＲＴを発行した店舗（この場合、○○商店）のホームページのＵＲＬがコード化されている。
また、特定情報ＴＪは、例えば、レシート番号であり、レシートＲＴを発行した店舗において、重複しない値が採番されている。

なお、上述した撮影ユニット４１１が、このような撮影部３１０として機能しうる。

表示部３２０は、上記の撮影部３１０により撮影された撮影画像を表示する。
例えば、撮影部３１０により、上述した図８に示すレシートＲＴが撮影されている場合に、表示部３２０は、ライブビューとして、図９に示すようなレシートＲＴを含む撮影画像を表示する。つまり、表示部３２０には、撮影中におけるレシートＲＴの撮影画像が、リアルタイムに表示されることになる。
また、表示部３２０は、レシートＲＴを撮影中に、図１０に示すようなガイド画像ＧＤを、撮影画像に重畳させて表示する。
このガイド画像ＧＤは、レシートＲＴ内の光学コードＯＣの位置及び大きさついての目標を規定するための画像であり、表示部３２０における位置が固定して表示される。そして、ユーザには、このガイド画像ＧＤを目標に端末装置３００を操作して、レシートＲＴ内の光学コードＯＣとガイド画像ＧＤがぴったりと重なるように（両者が相互に重なって一致するように）、レシートＲＴを撮影すること求められている（例えば、音声やメッセージで促される）。このガイド画像ＧＤは、光学コードＯＣとぴったりと重なった際に、レシートＲＴ内の特定情報ＴＪが、撮影画像に含まれる（映り込む）ように規定されている。
つまり、表示部３２０は、撮影されている撮影画像に含まれる光学コードＯＣの位置及び大きさについての目標を示すガイド画像ＧＤを、撮影画像とともに表示する。
なお、図１０に示すガイド画像ＧＤは、レシートＲＴに対応して規定されており、他の店舗（企業）で発行されたレシートが撮影される際には、後述するように、そのレシートに対応して規定されたガイド画像ＧＤが、表示部３２０に表示されることになる。

そして、上述した表示ユニット４１０が、このような表示部３２０として機能しうる。

図７に戻って、通信部３３０は、サーバ２００との間で、必要な種々の情報を送受信する。
例えば、通信部３３０は、レシートが適切に撮影された際の撮影画像を、サーバ２００に送信する。また、通信部３３０は、ポイントが加算された旨のメッセージ等を、サーバ２００から受信する。

なお、上述したＮＩＣ ４０４等が、このような通信部３３０として機能しうる。

記憶部３４０は、上述した専用のアプリケーションの他に、必要となる種々の情報を記憶する。
例えば、記憶部３４０は、図１１に示すような複数種類のレシートに対応したガイド画像情報３４１を記憶している。つまり、店舗にて発行されるレシートのレイアウトは、店舗・企業に応じて異なるため、レシートに印刷される光学コードと特定情報との位置関係もそれぞれ異なっている。そのため、各ガイド画像情報３４１には、複数種類のレシートに対応して、ガイド画像ＧＤが表示部３２０に表示される際の位置や大きさが規定されている。つまり、各ガイド画像情報３４１のガイド画像ＧＤは、対応するレシートの光学コードＯＣが、ぴったりと重なった際に、レシート内の特定情報が、撮影画像に含まれるように（映り込むように）規定されている。
記憶部３４０は、このようなガイド画像情報３４１を、例えば、それぞれの店舗・企業ＩＤと対応付けて記憶している。

なお、上述した補助記憶部４０７等が、このような記憶部３４０として機能しうる。

図７に戻って、制御部３５０は、例えば、専用のアプリケーションの実行に伴って、端末装置３００全体を制御する。
この制御部３５０は、例えば、コード認識部３５１、取得部３５２、表示制御部３５３、及び、申請部３５４を含んでいる。

コード認識部３５１は、撮影部３１０によって撮影された撮影画像に含まれる光学コードを認識する。例えば、撮影部３１０によるレシートの撮影が開始されると、コード認識部３５１は、撮影画像から光学コードのコード認識を試みる。そして、コード認識が成功すると、コード認識部３５１は、光学コードから、例えば、ＵＲＬを得る。

取得部３５２は、コード認識部３５１の認識に応じたガイド画像を、記憶部３４０から取得する。例えば、取得部３５２は、コード認識部３５１により光学コードが認識されて得られた情報（例えば、ＵＲＬに対応付けられた店舗・企業ＩＤ）に対応したガイド画像を、上述した図１１に示すようなガイド画像情報３４１の中から取得する。
なお、取得部３５２は、サーバ２００へ、このＵＲＬを送ることにより、サーバ２００からガイド画像を取得する（受信する）ようにしてもよい。

表示制御部３５３は、撮影部３１０によって撮影されている撮影画像を、そのまま、若しくは、表示用に適宜加工して、表示部３２０に表示させる。また、表示制御部３５３は、取得部３５２によってガイド画像が取得されると、そのガイド画像を撮影画像に重畳させて、表示部３２０に表示させる。

申請部３５４は、レシートが適切に撮影された撮影画像を、通信部３３０を制御してサーバ２００に送信することで、ポイント付与をサーバ２００に申請する。
例えば、申請部３５４は、表示部３２０におけるガイド画像と光学コードとの重なり具合を逐次比較しており、図１２に示すように、レシートＲＴに印刷された光学コードＯＣと、ガイド画像ＧＤとがぴったりと重なった（両者が同じ大きさでずれなく重なって一致した）時点の撮影画像を、通信部３３０を制御してサーバ２００に送信する。
つまり、サーバ２００には、図１３に示すような撮影画像ＣＩが送られることになる。この撮影画像ＣＩには、レシートＲＴの光学コードＯＣと、特定情報ＴＪとが、欠けることなく含まれている。

図７に戻って、制御部３５０は、この他にも、レシート撮影中に、ユーザに指示するためのメッセージ等を適宜生成して、表示部３２０に表示させる。

なお、上述したＣＰＵ ４０１等が、このような制御部３５０として機能しうる。

（レシート処理システムの動作）
以下、このような構成のレシート処理システムの動作について、図１４，図１５を参照して説明する。図１４は、端末装置３００が実行する撮影画像送信処理の流れを示すフローチャートである。また、図１５は、サーバ２００が実行するポイント付与処理の流れを示すフローチャートである。

最初に、図１４を参照して、撮影画像送信処理について説明する。この撮影画像送信処理は、例えば、端末装置３００にて専用のアプリケーションが実行されるのに伴って開始される。

まず、端末装置３００は、撮影を開始する（ステップＳ１１）。
すなわち、撮影部３１０は、レシートの撮影を開始する。例えば、撮影部３１０は、図８に示すようなレシートＲＴの撮影を開始する。

端末装置３００は、撮影画像の表示を開始する（ステップＳ１２）。
すなわち、表示部３２０は、撮影部３１０によって撮影されている撮影画像の表示を開始する。例えば、表示部３２０は、図９に示すようなレシートＲＴを含む撮影画像の表示を開始する。

端末装置３００は、光学コードを認識し、対応するガイド画像を取得する（ステップＳ１３）。
すなわち、制御部３５０（コード認識部３５１）は、撮影部３１０に撮影された撮影画像に光学コードが含まれていれば（撮影されていれば）、その光学コードをコード認識する。そして、制御部３５０（取得部３５２）は、光学コードが認識されて得られた情報に対応したガイド画像を、図１１に示すようなガイド画像情報３４１の中から取得する。

端末装置３００は、撮影画像にガイド画像を重畳させる（ステップＳ１４）。
すなわち、制御部３５０（表示制御部３５３）は、上記のステップＳ１３にて取得されたガイド画像を撮影画像に重畳させて、表示部３２０に表示させる。
例えば、表示部３２０は、図１０に示すようなガイド画像ＧＤを、レシートＲＴが撮影されている撮影画像に重畳させて表示する。そのため、ユーザは、ガイド画像ＧＤを目標に端末装置３００を操作して、レシートＲＴ内の光学コードＯＣとガイド画像ＧＤがぴったりと重なるように（両者が相互に重なって一致するように）、レシートＲＴを撮影することになる。

端末装置３００は、光学コードとガイド画像とがぴったりと重なって一致したか否かを判別する（ステップＳ１５）。
端末装置３００は、一致していないと判別すると（ステップＳ１５；Ｎｏ）、そのまま両者が一致するまで待機する。
例えば、制御部３５０（申請部３５４）は、表示部３２０におけるガイド画像と光学コードとの重なり具合を逐次比較しており、図１２に示すように、レシートＲＴに印刷された光学コードＯＣと、ガイド画像ＧＤとがぴったりと重なって一致するまで待機する。

一方、ぴったりと重なって一致したと判別した場合（ステップＳ１５；Ｙｅｓ）に、端末装置３００は、ユーザＩＤと共に、一致した時点の撮影画像をサーバ２００へ送信する（ステップＳ１６）。
例えば、制御部３５０（申請部３５４）は、図１３に示すような撮影画像ＣＩを、サーバ２００へ送信する。この撮影画像ＣＩには、レシートＲＴの光学コードＯＣと、特定情報ＴＪとが、欠けることなく含まれている。

次に、図１５を参照して、ポイント付与処理について説明する。このポイント付与処理は、例えば、上述した図１４の撮影画像送信処理によって、端末装置３００から撮影画像が送信された際に開始される。

まず、サーバ２００は、撮影画像を受信する（ステップＳ２１）。
すなわち、受信部２１０は、端末装置３００から送られた撮影画像（レシートが適切に撮影された撮影画像）を受信する。
例えば、受信部２１０は、図１３に示すような、レシートＲＴの光学コードＯＣと、特定情報ＴＪとが、欠けることなく含まれている撮影画像ＣＩを受信する。

サーバ２００は、撮影画像から特定情報を認識する（ステップＳ２２）。
すなわち、制御部２４０（認識部２４１）は、上記のステップＳ２１にて受信した撮影画像から、レシートを特定するための特定情報を認識する。
例えば、制御部２４０は、図１３に示すような撮影画像ＣＩ全体を文字認識し、その中から、特定情報ＴＪ（一例として、レシート番号）を認識する。

サーバ２００は、撮影画像の光学コードを認識し、店舗・企業ＩＤを得る（ステップＳ２３）。
すなわち、制御部２４０（特定部２４２）は、光学コードをコード認識してＵＲＬを得ると、図６に示す店舗・企業管理情報２３３を参照して、得られたＵＲＬと一致したＵＲＬ２３３ｂに対応付けられた店舗・企業ＩＤ２３３ａを得る。

サーバ２００は、店舗・企業ＩＤ、及び、特定情報に従って、決済情報を特定する（ステップＳ２４）。
すなわち、制御部２４０（特定部２４２）は、図５に示す決済情報２３２の中から（識別した店舗・企業ＩＤに対応付けられた決済情報２３２の中から）、同じ特定情報（レシート番号２３２ｂ）を検索し、レシートが発行された取引に対応する決済情報２３２を特定する。

サーバ２００は、特定した決済情報に応じたポイントを、ユーザに付与する（ステップＳ２５）。
すなわち、制御部２４０（付与部２４３）は、上記のステップＳ２４にて特定された決済情報に従って、撮影画像の送り元の端末装置３００を使用するユーザに特典を付与する。
例えば、制御部２４０は、特定された決済情報２３２の取引明細２３２ｄにおける合計決済金額に応じたポイントを算出すると、図４に示すユーザ管理情報２３１における対象ユーザのポイント値２３１ｄに算出したポイントを加算する。
なお、ポイント付与が対象商品に限定されている場合に、制御部２４０は、特定された決済情報２３２の取引明細２３２ｄにおける商品コードに示される商品が対象商品と一致する場合に、その商品コードに対応する決済金額に応じたポイントを算出して、対象ユーザのポイント値２３１ｄに加算することになる。

これらのような撮影画像送信処理、及び、ポイント付与処理によって、端末装置３００からは、レシートに対応したガイド画像に従ったレシートの撮影画像がサーバ２００へ送られることになり、また、サーバ２００では、受信した撮影画像から確実にレシートを特定して、ユーザにポイントを付与することが可能となる。
つまり、レシートが適切に撮影され、特定情報が含まれる撮影画像だけが端末装置３００からサーバ２００へ送られるため、サーバ２００では、端末装置３００で撮影されたレシートが確実に特定されることになる。

この結果、撮影されたレシートが特定可能となる適切な撮影画像を取得することができる。

（他の実施形態）
上記の実施形態では、サーバ２００の認識部２４１が、撮影画像から特定情報（レシート番号）を認識する際に、撮影画像全体を文字認識する場合について説明したが、光学コードに従って、撮影画像内の一部の領域だけを文字認識し、特定情報を認識するようにしてもよい。
例えば、認識部２４１は、撮影画像における光学コードの位置を基準として定まる所定領域から、特定情報を認識してもよい。つまり、認識部２４１は、光学コードをコード認識して店舗・企業ＩＤを得ると、その店舗・企業ＩＤに応じた所定領域から、特徴情報を認識する。
この場合、文字認識する領域が小さくなるため、処理負荷を抑制できると共に、特定情報を認識するまでの時間も短縮できる。

上記の実施形態では、レシートを特定するための特定情報として、レシート番号を用いる場合について説明したが、他の情報を特定情報として用いてもよい。例えば、レシートに印刷されている日時情報を、特定情報として用いてもよい。
この場合、店舗に配置されたレジが１台等の、小規模な店舗であれば、レシートの特定が誤りなく行われることが期待できる。

上記の実施形態では、図１０等に示すような四角い枠形状のガイド画像ＧＤを一例として説明したが、ガイド画像は、四角い枠形状に限られず、適宜変更可能である。

上記の実施形態では、ユーザにポイントを付与するためのレシート処理システム１００を一例として説明したが、このようなポイントを付与する以外にも適用可能である。例えば、撮影されたレシートを特定して家計簿や経費報告書を作成するためのレシート処理システムにおいても同様に適用可能である。

以上説明したように、本発明によれば、撮影されたレシートが特定可能となる適切な撮影画像を取得することのできるレシート処理システム、レシート処理方法、ならびに、プログラムを提供することができる。

１００ レシート処理システム
２００ サーバ
２１０ 受信部
２２０ 送信部
２３０ 記憶部
２４０ 制御部
２４１ 認識部
２４２ 特定部
２４３ 付与部
３００ 端末装置
３１０ 撮影部
３２０ 表示部
３３０ 通信部
３５０ 制御部
３５１ コード認識部
３５２ 取得部
３５３ 表示制御部
３５４ 申請部
４００ 情報処理装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ ＮＩＣ
４０５ 画像処理部
４０６ 音声処理部
４０７ 補助記憶部
４０８ インターフェース
４０９ 操作ユニット
４１０ 表示ユニット
４１１ 撮影ユニット
９００ インターネット

Claims (8)

1. 端末装置とサーバとが通信可能に接続されたレシート処理システムであって、
   前記端末装置は、
   撮影されている撮影画像に含まれる光学コードの位置及び大きさについての目標を示すガイド画像を、前記撮影画像とともに表示する表示部と、
   前記表示部にて前記光学コードと前記ガイド画像とが相互に重なって一致すると、当該一致した時点における前記撮影画像を、前記サーバへ送信する送信部と、を備え、
   前記サーバは、
   前記端末装置から送られた前記撮影画像を受信する受信部と、
   前記受信部が受信した前記撮影画像から、レシートを特定するための特定情報を認識する認識部と、を備える、
   ことを特徴とするレシート処理システム。
2. 前記ガイド画像は、前記光学コードと重なり一致した際に、前記レシートに印刷された前記特定情報が前記撮影画像内に映り込むように、前記位置及び前記大きさが規定されている、
   ことを特徴とする請求項１に記載のレシート処理システム。
3. 前記端末装置は、
   前記撮影画像に含まれる前記光学コードを認識するコード認識部と、
   前記コード認識部により前記光学コードが認識されて得られた情報に対応した前記ガイド画像を取得する取得部と、を更に備え、
   前記表示部は、前記取得部が取得した前記ガイド画像を、前記撮影画像に重畳させて表示する、
   ことを特徴とする請求項１又は２に記載のレシート処理システム。
4. 前記認識部は、前記受信部が受信した前記撮影画像における前記光学コードの位置を基準として定まる所定領域から、前記特定情報を認識する、
   ことを特徴とする請求項１乃至３の何れか１項に記載のレシート処理システム。
5. 前記サーバは、
   店舗において決済された取引毎の決済情報をそれぞれ記憶する記憶部と、
   前記記憶部に記憶される前記決済情報の中から、前記認識部が認識した前記特定情報に従って、前記レシートが発行された取引に対応する前記決済情報を特定する特定部と、
   前記特定部により特定された前記決済情報に従って、前記端末装置のユーザに特典を付与する付与部と、を更に備える、
   ことを特徴とする請求項１乃至４の何れか１項に記載のレシート処理システム。
6. 前記記憶部が記憶する前記決済情報には、商品コードと決済金額とが対応付けられた取引明細が含まれており、
   前記付与部は、前記特定部により特定された前記決済情報に含まれる前記取引明細において、前記商品コードに示される商品が対象商品と一致する場合に、対応する前記決済金額に応じた前記特典を前記ユーザに付与する、
   ことを特徴とする請求項５に記載のレシート処理システム。
7. 端末装置とサーバとが通信可能に接続されたシステムにおいて実行されるレシート処理方法であって、
   前記端末装置が実行する、
   撮影されている撮影画像に含まれる光学コードの位置及び大きさについての目標を示すガイド画像を、前記撮影画像とともに所定の表示部に表示する表示ステップと、
   前記表示部にて前記光学コードと前記ガイド画像とが相互に重なって一致すると、当該一致した時点における前記撮影画像を、前記サーバへ送信する送信ステップと、を備え、
   前記サーバが実行する、
   前記端末装置から送られた前記撮影画像を受信する受信ステップと、
   前記受信ステップにて受信した前記撮影画像から、レシートを特定するための特定情報を認識する認識ステップと、を備える、
   ことを特徴とするレシート処理方法。
8. 第１のコンピュータに、
   撮影されている撮影画像に含まれる光学コードの位置及び大きさについての目標を示すガイド画像を、前記撮影画像とともに所定の表示部に表示する表示手順、
   前記表示部にて前記光学コードと前記ガイド画像とが相互に重なって一致すると、当該一致した時点における前記撮影画像を、第２のコンピュータへ送信する送信手順、を実行させ、
   前記第２のコンピュータに、
   前記第１のコンピュータから送られた前記撮影画像を受信する受信手順、
   前記受信手順にて受信した前記撮影画像から、レシートを特定するための特定情報を認識する認識手順、を実行させる、
   ことを特徴とするプログラム。

Images