JP6863296B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

コンビニエンスストア、スーパー、その他の店舗等で、金銭登録機（例：ＰＯＳ（Point Of Sale）レジスター）が広く利用されている。従来、会計時における金銭登録機への対象商品の登録作業は、商品各々に付された商品コードを所定のリーダで読み取ったり、金銭登録機が備える操作対象（操作ボタン、タッチパネルディスプレイ装置等）を操作したりすることでなされていた。当該登録作業を効率化できる技術が求められている。関連技術が、特許文献１乃至３に開示されている。

特許文献１には、第１撮像手段と、認識手段と、決定手段とを有する情報処理装置が開示されている。第１撮像手段は、対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する。認識手段は、第１撮像手段による複数の撮像方向の各々で撮像された第１撮像画像の各々から、第１撮像画像に含まれた対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を第１撮像画像毎に認識する。決定手段は、第１撮像画像毎での対象画像の認識結果に基づいて、載置台に載置された対象物の認識結果を決定する。当該発明において、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特許文献２には、表示部と、枠線表示手段と、修正受付手段と、枠線修正手段と、商品認識手段と、出力手段とを有する商品読み取り装置が開示されている。表示部は、撮像手段で撮像された画像を表示する。枠線表示手段は、表示部に表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる。修正受付手段は、枠線の修正指示を受付ける。枠線修正手段は、修正指示に従い、画面上の枠線を修正する。商品認識手段は、枠線内の画像に含まれる商品を認識する。出力手段は、商品認識手段により認識された商品の情報を出力する。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特許文献３には、商品を搬送するベルトコンベア、動作を開始するスタートボタン、作業を指示するディスプレイ装置、商品の高さを計測する高さ計測装置、商品を撮像する撮像装置、高さ計測装置及び撮像装置が商品を検出すると計数する第１のカウンタ、焦点距離等を可変し通過する商品からバーコードを読取ってデコードするバーコードスキャナ、登録処理済みの商品数を計数する第２のカウンタ、撮像装置からの画像を処理して商品の位置、大きさ等を判定し、スキャナの商品データに基づいて登録処理を行い、かつ終了ボタンの操作後、第１、第２のカウンタの計数値が一致したとき登録完了を判断するＰＯＳ端末を含む装置が開示されている。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特開２０１３−５４６７３号公報 特開２０１３−１７５８９０号公報 特開平７−３２０１４６号公報

特許文献１乃至３に開示のように、画像認識技術を利用して商品登録を行うことにより、登録作業の効率化が期待される。

しかし、会計処理時には、登録作業のみならず、支払処理など他の作業も行われる。支払処理においては、支払いのための支払媒体（例：クレジットカード、金券、紙幣、硬貨、プリペイドカード等）の受け渡しや、当該支払媒体を用いた会計装置の操作や、ポイントカードの受け渡しや、当該ポイントカードを用いた会計装置の操作等の作業が行われる。このため、登録作業を効率化できても、依然、会計処理全体での作業の効率化の余地がある。

本発明は、上記問題を解決する手段を提供することを課題とする。

本発明によれば、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも１つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識する媒体認識手段と、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段と、
を有し、
１つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つとが含まれる場合、前記商品認識手段は前記１つの画像内の前記商品を認識し、前記媒体認識手段は前記１つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを載置する場所を示す像を表示させる情報処理装置が提供される。

また、本発明によれば、
コンピュータが、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得工程と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも１つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識する媒体認識工程と、
前記媒体認識工程での認識結果を用いて、支払処理を行う支払処理工程と、
を実行し、
１つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つとが含まれる場合、前記商品認識工程で前記１つの画像内の前記商品を認識し、前記媒体認識工程で前記１つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを載置する場所を示す像を表示させる情報処理方法が提供される。

また、本発明によれば、
コンピュータを、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも１つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識する媒体認識手段、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段、
として機能させ、
前記コンピュータが、
１つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つとが含まれる場合、前記商品認識手段は前記１つの画像内の前記商品を認識し、前記媒体認識手段は前記１つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを載置する場所を示す像を表示させるプログラムが提供される。

本発明によれば、会計処理を効率化する技術が実現される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の装置のハードウエア構成の一例を概念的に示す図である。 本実施形態の会計装置の適用例を説明するための図である。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の特徴量記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の商品情報記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の媒体特徴量記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の会計装置の適用例を説明するための図である。

まず、本実施形態（第１乃至第３の実施形態）の会計装置（情報処理装置）のハードウエア構成の一例について説明する。会計装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

図１は、本実施形態の会計装置のハードウエア構成を例示する図である。当該ハードウエア構成は、レジ端末用途に設計された専用装置を用いて実現されてもよいし、ＰＣ（Personal Computer）や携帯端末などの汎用装置を用いて実現されてもよい。

計算機２００は、バス２０２、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２を有する。バス２０２は、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ２０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ２０８は、ハードディスク、ＳＳＤ（Solid State Drive）、又はメモリカードなどの記憶装置である。また、ストレージ２０８は、ＲＡＭやＲＯＭなどのメモリであってもよい。

入出力インタフェース２１０は、計算機２００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース２１０には、タッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８、プリンタ２２０、撮像装置２３０及びプロジェクタ２４０などが接続される。タッチパネルディスプレイ装置２１４は、例えば商品の金額を手動で入力するために利用される。また、タッチパネルディスプレイ装置２１４は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア２１６は硬貨や紙幣を格納する。釣り銭機２１８は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。プリンタ２２０はレシート等の発行を行う。撮像装置２３０は静止画像及び／又は動画像を撮影する。プロジェクタ２４０は所定の像を投影する。なお計算機２００には、キーボードなど、タッチパネルディスプレイ装置２１４以外の入力インタフェースが接続されていてもよい。

ネットワークインタフェース２１２は、計算機２００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース２１２は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば会計装置を実現する計算機２００は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。

ストレージ２０８は会計装置の各機能（各機能部）を実現するプログラムモジュールを記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ２０４は、上記各モジュールを実行する際、これらのモジュールをメモリ２０６上に読み出してから実行してもよいし、メモリ２０６上に読み出さずに実行してもよい。

会計装置のハードウエア構成は図１に示した構成に限定されない。例えば、各プログラムモジュールはメモリ２０６に格納されてもよい。この場合、計算機２００は、ストレージ２０８を備えていなくてもよい。また計算機２００は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機２００はネットワークインタフェース２１２を有さなくてもよい。また会計装置が代金の支払いの処理に利用されない場合、会計装置はドロア２１６、釣り銭機２１８、及びプリンタ２２０を有さなくてもよい。また、会計装置は撮像装置２３０が撮影した画像を取得できればよく、撮像装置２３０自体を有さなくてもよい。この場合、会計装置は撮像装置２３０と通信可能に構成され、撮像装置２３０から画像データを取得する。また、会計装置はプロジェクタ２４０を有さなくてもよい。

以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。

＜第１の実施形態＞
まず、本実施形態の会計装置の概要について説明する。本実施形態の会計装置は、画像認識技術を用いて、商品登録を行うことができる。すなわち、会計装置は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを解析し、画像に写る１つ又は複数の商品を認識する。当該認識においては、各商品の外観の特徴を用いる。そして、会計装置は、認識した１つ又は複数の商品を、精算対象の商品として登録する。

また、会計装置は、上記画像のデータを解析し、画像に写る支払媒体やポイント蓄積媒体を認識する。さらに、会計装置は、文字認識技術を用いて、認識した媒体が有する文字情報を認識する。そして、会計装置は、支払媒体やポイント蓄積媒体の認識結果、及び、文字認識結果を用いて、支払処理を実行する。

このように、本実施形態の会計装置は、商品登録の効率化のために採用された画像認識技術を用いて、さらに、支払媒体やポイント蓄積媒体、及び、それらが有する文字情報を認識し、認識結果を用いて支払処理を実行する。結果、支払処理の効率化が実現される。

次に、図２を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置１及び処理装置４を有する。会計装置は、さらに、撮像装置３を有してもよい。なお、図において、登録装置１及び処理装置４を分けて記載しているが、これらの装置は、物理的及び／又は論理的に一体になって構成されてもよい。また、撮像装置３及び処理装置４を分けて記載しているが、これらの装置は、物理的及び／又は論理的に一体になって構成されてもよい。

図１のハードウエア構成は、登録装置１及び処理装置４が論理的に一体となって構成される例を示す。登録装置１及び処理装置４が図１に示す計算機２００を備える。そして、登録装置１が図１に示すタッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８及びプリンタ２２０を備える。そして、撮像装置３が図１に示す撮像装置２３０に対応する。

撮像装置３は処理装置４と繋がり、通信可能になっている。また、登録装置１は処理装置４と繋がり、通信可能になっている。通信規格は設計的事項である。有線及び無線いずれで通信を行ってもよい。

撮像装置３は、動画像及び／又は静止画像を撮像する機能を有する。撮像装置３は、動画像のデータを継続的に撮像してもよい。その他、撮像装置３は、間欠的（周期的も含む）に静止画像を撮像してもよい。この場合、撮像装置３は、予め定められた所定のタイミング（例：作業者からの指示があったタイミング）で撮像を行うことができる。

撮像装置３は、例えば、載置台２の載置面を含んで撮像するよう、所定位置に設置される。設置位置は設計的事項である。例えば、撮像装置３は、載置台２の載置面の真上や斜め上方に設置され、当該方向から載置面を撮像してもよい。その他、撮像装置３は、載置台２の載置面上に設置され、横方向から載置面を撮像してもよい。その他、載置台２を透明の部材、及び／又は、透過性を有する半透明の部材を含んで構成し、載置台２の下方に撮像装置３を設置してもよい。この場合、撮像装置３は、載置台２の下側から、載置面を撮像する。

処理装置４は、撮像装置３から画像データを取得する。そして、処理装置４は、画像解析を行い、画像に含まれる商品６を認識する。また、処理装置４は、画像解析により、支払媒体及び／又はポイント蓄積媒体である媒体８を認識する。次いで、処理装置４は、画像解析により、認識した媒体８が有する文字情報を認識する。そして、処理装置４は、認識結果を登録装置１に送信する。

登録装置１は、処理装置４から受信した認識結果を用いて、精算対象の商品６を登録する機能を有する。すなわち、登録装置１は、処理装置４により認識された商品６を登録する。また、登録装置１は、処理装置４から受信した認識結果を用いて、支払処理を実行する機能を有する。すなわち、登録装置１は、処理装置４により認識された媒体８及び当該媒体８が有する文字情報を用いて、支払処理を実行する。

図示する登録装置１は、ディスプレイ装置１０１、ディスプレイ装置１０２、コードリーダ１０３、操作ボタン１０４及びドロア１０５を有する。

ディスプレイ装置１０１は、載置台２よりも手前側（商品登録の作業者側）に向いており、主に、登録作業を行う作業者が視認する。ディスプレイ装置１０１には、会計処理に関する情報や、警告等が表示される。ディスプレイ装置１０１は、タッチパネルディスプレイ装置であってもよい。

ディスプレイ装置１０２は、載置台２よりも向こう側（顧客側）に向いており、主に、買い物客が視認する。ディスプレイ装置１０２には、会計処理に関する情報や、広告等が表示される。ディスプレイ装置１０２は、タッチパネルディスプレイ装置であってもよい。

コードリーダ１０３は、各商品６に付された商品コード（１次元コード、２次元コード等）を読み取る。複数の操作ボタン１０４の各々は、各種商品、数字、各種機能（例：小計等）に対応しており、各々の入力に用いられる。なお、上述の通り、本実施形態では、画像認識技術を用いて、商品登録を行うことができる。このため、コードリーダ１０３や操作ボタン１０４は、補助的に用いられる。ドロア１０５には、お金や金券等が収納される。

なお、登録装置１は、少なくとも精算対象の商品６を登録する機能及び支払処理を実行する機能を備えておればよく、図示する機能の少なくとも一部を備えなくてもよい。

また、図示する登録装置１は、店員に操作されることを前提にした構成となっているが、買い物客に操作されることを前提とした構成となってもよい。

次に、本実施形態の会計装置の構成を詳細に説明する。図３に、本実施形態の会計装置１０の機能ブロック図の一例を示す。図示するように、会計装置１０は、画像データ取得部１１と、商品認識部１２と、登録部１３と、商品特徴量記憶部１４、媒体認識部１５と、媒体特徴量記憶部１６と、支払処理部１７と、文字認識部１８とを有する。

なお、会計装置１０は、商品特徴量記憶部１４及び媒体特徴量記憶部１６の少なくとも一方を有さなくてもよい。この場合、会計装置１０と論理的に分かれた他の装置が、その記憶部（商品特徴量記憶部１４及び媒体特徴量記憶部１６の少なくとも一方）を備える。そして、会計装置１０は、当該他の装置と通信し、その記憶部（商品特徴量記憶部１４及び媒体特徴量記憶部１６）に記憶された情報を取得可能に構成される。

上述の通り、会計装置１０は、図２に示す登録装置１及び処理装置４を有する。画像データ取得部１１は、処理装置４により実現される。商品認識部１２は、処理装置４により実現される。登録部１３は、登録装置１により実現される。商品特徴量記憶部１４は、処理装置４により実現されてもよい。媒体認識部１５は、処理装置４により実現される。媒体特徴量記憶部１６は、処理装置４により実現されてもよい。支払処理部１７は、登録装置１により実現される。文字認識部１８は、処理装置４により実現される。

画像データ取得部１１は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを取得する。画像データ取得部１１は、図２を用いて説明した撮像装置３が撮像した画像データをリアルタイムに取得する。

商品認識部１２は、画像データ取得部１１が取得した画像のデータを用いて、画像に写る１つ又は複数の商品を認識する（認識処理）。商品認識部１２は、フレーム毎に認識処理を行い、各フレーム内で１つ又は複数の商品を認識することができる。

商品認識部１２は、当該認識処理において、複数の商品各々の外観の特徴量が予め登録されている商品特徴量記憶部１４を用いる。図４に、商品特徴量記憶部１４が記憶する情報の一例を模式的に示す。図示する例では、複数の商品各々を識別するための商品ＩＤ（identifier）と、複数の商品各々の外観の特徴量とが対応付けられている。特徴量は、形状、色、色の分布等を例示できるが、これらに限定されない。商品特徴量記憶部１４には、各商品に対応して、複数の方向各々から観察した際の複数の外観各々の特徴量が記憶されてもよい。

商品特徴量記憶部１４及び画像データを用いた商品認識部１２による商品認識のアルゴリズムは設計的事項であり、あらゆる技術を採用できる。例えば、特許文献１乃至３に開示されている技術を採用してもよい。

図３に戻り、登録部１３は、商品認識部１２により認識された１つ又は複数の商品を、精算対象の商品として登録する。例えば、登録部１３は、複数の商品各々の商品情報が予め登録されている商品情報記憶部（不図示）を用いて、商品登録を行ってもよい。

図５に、商品情報記憶部に記憶される商品情報の一例を模式的に示す。図示する商品情報では、商品ＩＤと、各商品の名称と、価格とが互いに対応付けられている。なお、商品情報は、これらの一部を有さなくてもよいし、他の情報を有してもよい。

会計装置１０が、このような商品情報記憶部を備えてもよい。その他、会計装置１０と論理的に分かれた他の装置が、商品情報記憶部を備えてもよい。後者の場合、会計装置１０は、当該他の装置と通信し、商品情報記憶部に記憶された商品情報を取得可能に構成される。

登録部１３は、商品認識部１２により認識された１つ又は複数の商品の商品情報（例：名称、価格等）を、商品情報記憶部から取得する。そして、登録部１３は、取得した商品情報を登録する。

図３に戻り、媒体認識部１５は、画像データ取得部１１が取得した画像のデータを用いて、画像に写る１つ又は複数の媒体（支払媒体及び／又はポイント蓄積媒体）を認識する。

支払媒体は、支払いに利用される媒体であり、例えばクレジットカード、金券、ポイントカード、割引クーポン、紙幣、硬貨、プリペイドカード等が該当する。ポイント蓄積媒体は、支払（例：支払額等）に応じたポイントの蓄積に利用される媒体であり、例えばポイントカード等が該当する。

同種のクレジットカード、同種のポイントカード、同種のプリペイドカード等には同じデザインが視認可能に付されることがある。そして、同種の複数のクレジットカード各々、同種の複数のポイントカード各々、又、同種のプリペイドカード各々には固有の固有情報（例：会員番号）が視認可能に付される。なお、同種のクレジットカード及び同種のポイントカードとは、例えば発行元（会社、自治体等）が同じであるクレジットカードやポイントカード、ポイントの種類が同じであるポイントカード等を意味する。

また、同種の金券には、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されることがある。同種の金券とは、例えば発行元（会社、自治体等）が同じである金券等を意味する。

また、同種の割引クーポンには、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容（割引額、割引率等）が視認可能に付されることがある。同種の割引クーポンとは、例えば発行元（会社、自治体等）が同じである割引クーポン等を意味する。

このため、媒体認識部１５は、支払媒体やポイント蓄積媒体の外観の特徴（例：デザインの特徴）に基づき、各種媒体を認識することができる。媒体認識部１５は、１種類又は複数種類の支払媒体各々の外観の特徴量、及び／又は、１種類又は複数種類のポイント蓄積媒体各々の外観の特徴量が予め登録されている媒体特徴量記憶部１６を用いて、媒体の認識を行う。

図６に、媒体特徴量記憶部１６が記憶する情報の一例を模式的に示す。図では、媒体種と、外観の特徴量と、文字認識処理での認識対象とが互いに対応付けられている。

媒体特徴量記憶部１６には、予め、各店舗で使用可能な各種支払媒体及び／又は各種ポイント蓄積媒体が登録される。媒体種の欄には、各種支払媒体及び各種ポイント蓄積媒体を識別する情報が記載される。クレジットカード、ポイントカード、金券、割引クーポン、プリペイドカード等の各媒体は、発行元（会社、自治体等）やポイントの種類等に応じてさらに細かく分類され、各々特徴量が登録されている。

図示する特徴量の欄には、複数種類の支払媒体各々の外観の特徴量、及び／又は、複数種類のポイント蓄積媒体各々の外観の特徴量が記載される。特徴量は、例えば媒体のデザイン（形状、印刷される模様等）に関するものであり、形状、色、色の分布等を例示できるが、これらに限定されない。

文字認識対象の欄には、以下で説明する文字認識部１８により認識される情報が記載される。文字認識対象は、各種媒体を用いた支払処理に利用される情報であり、例えば、クレジットカード、ポイントカード、プリペイドカード等に付されたカード会員番号や、商品券に記載された金額や、割引クーポンに記載された割引額や有効期限などである。

媒体特徴量記憶部１６及び画像データを用いた媒体認識部１５による媒体認識のアルゴリズムは設計的事項であり、あらゆる技術を採用できる。例えば、商品認識部１２と同様なアルゴリズムであってもよい。

文字認識部１８は、支払媒体及び／又はポイント蓄積媒体が写る画像内のエリアで文字情報を認識する。文字認識部１８は、あらゆる文字認識技術を用いて、文字情報を認識することができる。

例えば、図６に示すように、予め、各種媒体に対応して文字認識対象の情報が登録されている場合、文字認識部１８は、媒体認識部１５による認識結果、及び、当該情報に基づき、文字認識すべき対象を特定することができる。そして、文字認識部１８は、特定した対象に応じて、文字認識処理を実行することができる。

例えば、文字認識対象がＭ桁の数字である場合、文字認識部１８は、「数字」のテンプレートを用いて、画像内からＭ個の数字列を検索する。その他、文字認識対象が金額や割引額である場合、文字認識部１８は、例えば、「円」、「￥」、「＄」等の金額とともに用いられる文字情報のテンプレートを用いて、画像内から当該文字情報を検索する。その後、「数字」のテンプレートを用いて、認識した当該文字情報の前後で数字列（金額）を検索する。また、文字認識対象が有効期限である場合、文字認識部１８は、「期限」等の文字情報のテンプレートを用いて、画像内から当該文字情報を検索する。その後、「数字」のテンプレートを用いて、認識した当該文字情報の付近で数字列（年月日等の有効期限情報）を検索する。

図３に戻り、支払処理部１７は、媒体認識部１５による認識結果、及び、文字認識部１８による認識結果を用いて、支払処理を実行する。以下、支払処理の一例を説明する。

例えば、媒体認識部１５が所定種類のクレジットカードを認識した場合、これに対応するクレジットカード会社を特定できる（例えば、媒体特徴量記憶部１６は、各種クレジットカードと、クレジットカード会社との対応関係を示す情報を予め保持しておいてもよい。）。支払処理部１７は、特定されたクレジットカード会社のシステムに、文字認識部１８が認識した会員番号（所定桁数の数字列）や支払金額等を送信し、決済の承認を求めることができる。

その他、媒体認識部１５が所定種類のポイントカードを認識し、文字認識部１８が会員番号（所定桁数の数字列）を認識した場合、支払処理部１７は、認識されたポイントカードを管理するカード会社のシステムに、認識された会員番号や支払金額等を送信し、ポイントの付与を求めることができる。

その他、媒体認識部１５が所定種類のポイントカードやプリペイドカードを認識し、文字認識部１８が会員番号（所定桁数の数字列）を認識した場合、支払処理部１７は、認識されたポイントカードやプリペイドカードを管理するカード会社のシステムに、認識された会員番号や支払金額等を送信し、蓄積されたポイントや事前になされた入金の残高に基づく支払を求めることができる。

その他、媒体認識部１５が所定種類の商品券を認識し、文字認識部１８が金額を認識した場合、支払処理部１７は、登録されている商品の支払金額合計から当該商品券の金額を差し引き、残金額を算出することができる。その後、ディスプレイ装置１０１やディスプレイ装置１０２を介して、残金額を出力してもよい。

その他、媒体認識部１５が所定種類の割引クーポンを認識し、文字認識部１８が割引額及び有効期限を認識した場合、支払処理部１７は、まず、認識された有効期限と、現在の日時とを比較することで、有効期限内であるか確認することができる。そして、有効期限内である場合、登録されている商品の支払金額合計から当該商品券の金額を差し引き、残金額を算出することができる。その後、ディスプレイ装置１０１やディスプレイ装置１０２を介して、残金額を出力してもよい。一方、有効期限が過ぎている場合、その旨を示す情報を、ディスプレイ装置１０１やディスプレイ装置１０２を介して出力してもよい。

次に、図２の適用例、及び、図７のフローチャートを用いて、本実施形態の会計装置１０の処理の流れの一例を説明する。

まず、買い物客は、店内を回り、購入対象の商品６を買物カゴ５に入れていく。その後、会計処理のため、会計装置１０の場所に移動する。

登録作業を行う店員は、図２に示すように、買物カゴ５に入っていた商品６を、載置台２の載置面上の所定位置に載置する。また、買い物客は、当該載置面上に、媒体８を載置する。これにより、撮像装置３が撮像する撮像画像内に、商品６及び媒体８が写るようになる。

すると、画像データ取得部１１（処理装置４）は、撮像装置３から画像のデータを取得する（Ｓ１０）。

Ｓ１１では、商品認識部１２（処理装置４）は、当該画像のデータを解析し、画像に写る商品６を認識する。また、媒体認識部１５（処理装置４）は、当該画像のデータを解析し、画像に写る媒体８を認識する。商品６及び媒体８は、同じフレームから認識されてもよいし、異なるフレームから認識されてもよい。媒体８が認識された場合、文字認識部１８（処理装置４）は、媒体８が写るエリアを検索し、所定の文字情報を認識する。これら認識結果が、登録装置１に順次送信される。

登録部１３（登録装置１）は、受信した認識結果、具体的には商品認識部１２が認識した商品６を示す情報を受信すると、当該商品６を精算対象として登録する（Ｓ１２）。

購入対象の商品６すべての登録作業が完了すると、店員は、登録装置１を操作するなどして、精算処理や支払処理等を行う。

例えば、店員は、操作ボタン１０４に対して所定の操作（例：「小計」ボタンの押下）を行い、登録作業を完了させる。すると、支払処理部１７（登録装置１）は、受信した認識結果、具体的には媒体認識部１５が認識した媒体８種を示す情報、及び、文字認識部１８が認識した文字情報を用いて、支払処理を実行する（Ｓ１３）。支払処理の具体例は、上述の通りである。

なお、上記例では、Ｓ１０、Ｓ１１、Ｓ１２及びＳ１３をこの順に行う例を説明したが、これに限定されない。例えば、Ｓ１０の後に行われるＳ１１では商品６の認識のみを行い、このようなＳ１１の後のＳ１２で商品登録が行われてもよい。そして、その後に画像データが再び取得され（Ｓ１０）、当該画像データに基づき媒体８の認識が行われてもよい（Ｓ１１）。そして、その後に、Ｓ１３で支払処理がなされてもよい。

以上説明した本実施形態の会計装置１０は、画像認識処理を用いて、商品登録を行うことができる。このため、商品登録の作業の効率化が実現される。

また、本実施形態の会計装置１０は、商品登録の効率化のために採用された画像認識技術を用いて、さらに支払媒体やポイント蓄積媒体の認識、及び、それらが有する文字情報の認識を行う。そして、認識結果を用いて支払処理を実行することができる。結果、支払処理の効率化が実現される。

例えば、本実施形態の会計装置１０は、各種クレジットカードを認識し、さらに、各種クレジットカードに固有の情報（会員番号等）を認識することができる。そして、認識結果を利用して、支払処理を実行することができる。かかる場合、クレジットカードの受け渡しの省略や、カード情報を登録装置１に読み込ませる操作の簡略化等が実現される。結果、支払処理の効率化が実現される。

その他、本実施形態の会計装置１０は、各種ポイントカードを認識し、さらに、各種ポイントカードに固有の情報（会員番号等）を認識することができる。そして、認識結果を利用して、ポイント付与等の支払処理を実行することができる。かかる場合、ポイントカードの受け渡しの省略や、カード情報を登録装置１に読み込ませる操作の簡略化等が実現される。結果、支払処理の効率化が実現される。

その他、本実施形態の会計装置１０は、各種プリペイドカードを認識し、さらに、各種プリペイドカードに固有の情報（会員番号等）を認識することができる。そして、認識結果を利用して、支払処理を実行することができる。かかる場合、プリペイドカードの受け渡しの省略や、カード情報を登録装置１に読み込ませる操作の簡略化等が実現される。結果、支払処理の効率化が実現される。

その他、本実施形態の会計装置１０は、各種商品券を認識し、さらに、認識した商品券の金額を認識することができる。そして、認識結果を利用して、支払額から商品券の金額を差し引いて残金額を算出する等の支払処理を実行することができる。かかる場合、商品券の受け渡しの省略や、店員による商品券の内容（金額等）の確認の省略等が実現される。結果、支払処理の効率化が実現される。

その他、本実施形態の会計装置１０は、各種割引クーポンを認識し、さらに、認識した割引クーポンの内容（割引額、割引率、有効期限等）を認識することができる。そして、認識結果を利用して、有効期限の確認や、支払額から割引額を差し引いて残金額を算出する等の支払処理を実行することができる。かかる場合、割引クーポンの受け渡しの省略や、店員による割引クーポンの内容（割引額、割引率、有効期限等）の確認の省略等が実現される。結果、支払処理の効率化が実現される。

＜第２の実施形態＞
第１の実施形態では、支払媒体やポイント蓄積媒体の認識結果と、文字情報の認識結果とを用いて、支払処理を実行する例を説明した。本実施形態では、文字情報を認識する処理を行わずに、支払処理を実行する例を説明する。

図８に、本実施形態の会計装置１０の機能ブロック図の一例を示す。図示するように、会計装置１０は、画像データ取得部１１と、商品認識部１２と、商品特徴量記憶部１４、媒体認識部１５と、媒体特徴量記憶部１６と、支払処理部１７とを有する。図示しないが、会計装置１０は登録部１３を有してもよい。なお、会計装置１０は、商品特徴量記憶部１４及び媒体特徴量記憶部１６の少なくとも一方を有さなくてもよい。この場合の前提は、第１の実施形態と同様である。

画像データ取得部１１、商品認識部１２、登録部１３及び商品特徴量記憶部１４の構成は、第１の実施形態と同様である。

本実施形態の媒体認識部１５に認識される媒体は、金券、割引クーポン、紙幣、硬貨等である。

例えば、発行元や金額が互いに異なる各種金券には、発行元や金額に応じたデザインが視認可能に付されることがある。すなわち、発行元が同じであっても、金額が異なれば、互いに異なるデザインを付されることがある。本実施形態における同種の金券とは、発行元や金額が同じである金券を意味する。

また、発行元や割引内容（割引額、割引率等）が互いに異なる各種割引クーポンには、発行元や割引内容に応じたデザインが視認可能に付されることがある。すなわち、発行元が同じであっても、割引内容が異なれば、互いに異なるデザインを付されることがある。本実施形態における同種の割引クーポンとは、発行元や割引内容が同じである割引クーポンを意味する。

また、各国で流通している紙幣や硬貨各々には、その額に応じたデザインが視認可能に付される。

このため、媒体認識部１５は、金券、割引クーポン、紙幣及び硬貨等の外観の特徴（例：デザインの特徴）に基づき、各種金、各種割引クーポン、各種紙幣、及び、各種効果を認識することができる。媒体認識部１５は、１種類又は複数種類の金券各々の外観の特徴量、及び／又は、１種類又は複数種類の割引クーポン各々の外観の特徴量、及び／又は、１種類又は複数種類の紙幣の外観の特徴量、及び／又は、１種類又は複数種類の硬貨の外観の特徴量が予め登録されている媒体特徴量記憶部１６を用いて、媒体の認識を行う。

すなわち、媒体認識部１５は、上記媒体特徴量記憶部１６を用いることで、各金額の各金券を認識することができる。また、媒体認識部１５は、上記媒体特徴量記憶部１６を用いることで、各割引内容の各割引クーポンを認識することができる。また、媒体認識部１５は、上記媒体特徴量記憶部１６を用いることで、各金額の各紙幣を認識することができる。また、媒体認識部１５は、上記媒体特徴量記憶部１６を用いることで、各金額の各硬貨を認識することができる。媒体認識部１５及び媒体特徴量記憶部１６のその他の構成は、第１の実施形態と同様である。

支払処理部１７は、媒体認識部１５が認識した各金額の各金券、各割引内容の各割引クーポン、各金額の各紙幣、及び／又は、各金額の各硬貨を用いて、支払処理を実行する。支払処理の内容は、第１の実施形態と同様である。支払処理部１７のその他の構成は、第１の実施形態と同様である。

なお、媒体認識部１５が紙幣や硬貨を認識した場合、支払処理部１７はその合計金額を算出し、算出した合計金額を預かり金額として登録装置１に入力する。

以上説明した本実施形態によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態の場合、文字認識処理なしで、各種金券、各種割引クーポン、各種紙幣、及び／又は、各種硬貨を認識し、支払処理を実行することができる。結果、コンピュータの処理負担の軽減、処理に要する時間の短縮等が実現される。

＜第３の実施形態＞
本実施形態の会計装置１０は、会計処理に関する像を載置台の載置面や商品上に投影する投影装置を含む。

図９を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置１、処理装置４及び投影装置７を有する。会計装置は、さらに、撮像装置３を有してもよい。登録装置１及び撮像装置３の構成は、第１及び第２の実施形態と同様である。

投影装置７は、載置台２の載置面上及び／又は商品６上に、会計処理に関する像を投影する。投影装置７は、このような投影が実現可能な所定位置に設置される。設置位置は設計的事項である。例えば、投影装置７は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置７は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台２を透明の部材で構成し、載置台２の下方に投影装置７を設置してもよい。この場合、投影装置７は、載置台２の下側から、載置台２の載置面上に像を投影する。投影装置７が、図１に示すプロジェクタ２４０を備える。

処理装置４は、投影装置７を制御する。すなわち、処理装置４は、投影する像や投影する位置を示す制御情報を投影装置７に送信する。投影装置７は、当該制御情報に従い、所定の像を載置台２の載置面上や商品６上に投影する。処理装置４のその他の構成は、第１及び第２の実施形態と同様である。

投影装置７により投影される像は、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。

例えば、投影装置７は、図９に示すように、支払媒体やポイント蓄積媒体を載置する場所を示す像７−１を投影してもよい。これにより、買い物客は、これら媒体を載置する場所を容易に認識できる。

また、投影装置７は、文字情報で、当該媒体の載置の案内を投影してもよい。例えば、投影装置７は、図９に示す像７−１に加えて、「ここにクレジットカードやポイントカードを会員番号が上を向くようにおいてください」等の文字情報を載置台２上に投影してもよい。

その他、投影装置７は、画像認識処理で支払処理を実行することの案内情報を投影してもよい。例えば、投影装置７は、載置台２の上にクレジットカードやポイントカードを載置すると、画像認識処理で支払処理が実行されることを示す動画像を投影してもよい。

以上説明した本実施形態によれば、第１及び第２の実施形態と同様な作用効果が実現される。

また、本実施形態によれば、画像認識処理を用いた支払処理の案内情報を、載置台２上に投影できる。このため、買い物客は、当該支払処理の流れや行うべきことを容易に把握できる。特に、支払媒体やポイント蓄積媒体の載置場所を載置台２の載置面上に直接示すことができるので、買い物客は容易に載置場所を把握することができる。

以下、参考形態の例を付記する。
１ 画像のデータを取得する画像データ取得手段と、
商品特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する商品認識手段と、
媒体特徴量記憶手段に登録されている支払媒体、及び／又は、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び／又は前記ポイント蓄積媒体を認識する媒体認識手段と、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段と、
を有する情報処理装置。
２ １に記載の情報処理装置において、
前記支払媒体及び／又は前記ポイント蓄積媒体が写る前記画像内のエリアで文字情報を認識する文字認識手段をさらに有し、
前記支払処理手段は、前記文字認識手段による認識結果を用いて、支払処理を行う情報処理装置。
３ ２に記載の情報処理装置において、
同種の前記支払媒体及び／又は同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々及び／又は同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記支払媒体及び／又は各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
前記媒体認識手段は、前記支払媒体及び／又は前記ポイント蓄積媒体の種類を認識し、
前記文字認識手段は、前記固有情報を認識する情報処理装置。
４ １に記載の情報処理装置において、
前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定額の前記金券を認識する情報処理装置。
５ ２に記載の情報処理装置において、
前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記金券を認識し、
前記文字認識手段は、前記金額を認識する情報処理装置。
６ １に記載の情報処理装置において、
前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定の割引内容の前記割引クーポンを認識する情報処理装置。
７ ２に記載の情報処理装置において、
前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記割引クーポンを認識し、
前記文字認識手段は、前記割引内容を認識する情報処理装置。
８ コンピュータが、
画像のデータを取得する画像データ取得工程と、
商品特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する商品認識工程と、
媒体特徴量記憶手段に登録されている支払媒体、及び／又は、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び／又は前記ポイント蓄積媒体を認識する媒体認識工程と、
前記媒体認識工程での認識結果を用いて、支払処理を行う支払処理工程と、
を実行する情報処理方法。
８−２ ８に記載の情報処理方法において、
前記コンピュータが、前記支払媒体及び／又は前記ポイント蓄積媒体が写る前記画像内のエリアで文字情報を認識する文字認識工程をさらに実行し、
前記支払処理工程では、前記文字認識工程での認識結果を用いて、支払処理を行う情報処理方法。
８−３ ８−２に記載の情報処理方法において、
同種の前記支払媒体及び／又は同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々及び／又は同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記支払媒体及び／又は各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
前記媒体認識工程では、前記支払媒体及び／又は前記ポイント蓄積媒体の種類を認識し、
前記文字認識工程では、前記固有情報を認識する情報処理方法。
８−４ ８に記載の情報処理方法において、
前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識工程では、所定額の前記金券を認識する情報処理方法。
８−５ ８−２に記載の情報処理方法において、
前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識工程では、前記金券を認識し、
前記文字認識工程では、前記金額を認識する情報処理方法。
８−６ ８に記載の情報処理方法において、
前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識工程では、所定の割引内容の前記割引クーポンを認識する情報処理方法。
８−７ ８−２に記載の情報処理方法において、
前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識工程では、前記割引クーポンを認識し、
前記文字認識工程では、前記割引内容を認識する情報処理方法。
９ コンピュータを、
画像のデータを取得する画像データ取得手段、
商品特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する商品認識手段、
媒体特徴量記憶手段に登録されている支払媒体、及び／又は、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び／又は前記ポイント蓄積媒体を認識する媒体認識手段、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段、
として機能させるプログラム。
９−２ ９に記載のプログラムにおいて、
前記コンピュータを、前記支払媒体及び／又は前記ポイント蓄積媒体が写る前記画像内のエリアで文字情報を認識する文字認識手段としてさらに機能させ、
前記支払処理手段は、前記文字認識手段による認識結果を用いて、支払処理を行うプログラム。
９−３ ９−２に記載のプログラムにおいて、
同種の前記支払媒体及び／又は同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々及び／又は同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記支払媒体及び／又は各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
前記媒体認識手段は、前記支払媒体及び／又は前記ポイント蓄積媒体の種類を認識し、
前記文字認識手段は、前記固有情報を認識するプログラム。
９−４ ９に記載のプログラムにおいて、
前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定額の前記金券を認識するプログラム。
９−５ ９−２に記載のプログラムにおいて、
前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記金券を認識し、
前記文字認識手段は、前記金額を認識するプログラム。
９−６ ９に記載のプログラムにおいて、
前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定の割引内容の前記割引クーポンを認識するプログラム。
９−７ ９−２に記載のプログラムにおいて、
前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記割引クーポンを認識し、
前記文字認識手段は、前記割引内容を認識するプログラム。

この出願は、２０１６年１月２１日に出願された日本出願特願２０１６−００９６０３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

1. 載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段と、
   前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
   媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも１つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識する媒体認識手段と、
   前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段と、
   を有し、
   １つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つとが含まれる場合、前記商品認識手段は前記１つの画像内の前記商品を認識し、前記媒体認識手段は前記１つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを載置する場所を示す像を表示させる情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つが写る前記画像内のエリアで文字情報を認識する文字認識手段をさらに有し、
   前記支払処理手段は、前記文字認識手段による認識結果を用いて、支払処理を行う情報処理装置。
3. 請求項２に記載の情報処理装置において、
   同種の前記支払媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々には固有の固有情報が視認可能に付されており、
   前記媒体特徴量記憶手段には、各種前記支払媒体の前記デザインの特徴量が登録され、
   前記媒体認識手段は、前記支払媒体の種類を認識し、
   前記文字認識手段は、前記固有情報を認識する情報処理装置。
4. 請求項２又は３に記載の情報処理装置において、
   同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
   前記媒体特徴量記憶手段には、各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
   前記媒体認識手段は、前記ポイント蓄積媒体の種類を認識し、
   前記文字認識手段は、前記固有情報を認識する情報処理装置。
5. 請求項１に記載の情報処理装置において、
   前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
   前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
   前記媒体認識手段は、所定額の前記金券を認識する情報処理装置。
6. 請求項２に記載の情報処理装置において、
   前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
   前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
   前記媒体認識手段は、前記金券を認識し、
   前記文字認識手段は、前記金額を認識する情報処理装置。
7. 請求項１に記載の情報処理装置において、
   前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
   前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
   前記媒体認識手段は、所定の割引内容の前記割引クーポンを認識する情報処理装置。
8. 請求項２に記載の情報処理装置において、
   前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
   前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
   前記媒体認識手段は、前記割引クーポンを認識し、
   前記文字認識手段は、前記割引内容を認識する情報処理装置。
9. 請求項１から８のいずれか１項に記載の情報処理装置において、
   前記支払媒体及び前記ポイント蓄積媒体の少なくとも一方を載置する場所を示す像はテキストによる指示を含む情報処理装置。
10. 請求項１から９のいずれか１項に記載の情報処理装置において、
    前記支払媒体及び前記ポイント蓄積媒体の少なくとも一方の認識結果に応じて、表示する像を変更する情報処理装置。
11. コンピュータが、
    載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得工程と、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
    媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも１つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識する媒体認識工程と、
    前記媒体認識工程での認識結果を用いて、支払処理を行う支払処理工程と、
    を実行し、
    １つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つとが含まれる場合、前記商品認識工程で前記１つの画像内の前記商品を認識し、前記媒体認識工程で前記１つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを載置する場所を示す像を表示させる情報処理方法。
12. コンピュータを、
    載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
    媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも１つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識する媒体認識手段、
    前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段、
    として機能させ、
    前記コンピュータが、
    １つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つとが含まれる場合、前記商品認識手段は前記１つの画像内の前記商品を認識し、前記媒体認識手段は前記１つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも１つを載置する場所を示す像を表示させるプログラム。

Images