WO2019167272A1

WO2019167272A1 - 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム

Info

Publication number: WO2019167272A1
Application number: PCT/JP2018/008109
Authority: WO
Inventors: 壮馬白石; 岩元　浩太; 秀雄横井; 二徳高田; 恵美北川
Original assignee: 日本電気株式会社
Priority date: 2018-03-02
Filing date: 2018-03-02
Publication date: 2019-09-06
Also published as: JPWO2019167272A1; US11599867B2; JP7006767B2; US20210049574A1

Abstract

画像識別レジシステム（１）は、画像識別レジ装置（１０）、撮像装置（３０）、およびタッチパネルディスプレイ（４０）を含んで構成される。タッチパネルディスプレイ（４０）は、商品の載置面としても利用される。撮像装置（３０）は、タッチパネルディスプレイ（４０）上に載置された商品（Ｐ）を撮影し、その商品（Ｐ）の画像を生成する。画像識別レジ装置（１０）は、タッチパネルディスプレイ（４０）上に載置された商品（Ｐ）の画像を取得する画像取得部（１１０）と、画像に写っている商品を識別する商品識別部（１２０）と、商品の識別結果に応じて、商品の会計処理に必要な入力を受け付けるユーザインタフェースをタッチパネルディスプレイ上に表示させる表示制御部（１３０）と、ユーザインタフェースに対する入力に基づいて処理を実行する処理実行部（１４０）と、を備える。

Description

画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム

　本発明は、店舗での業務を支援する技術に関する。

　下記特許文献１には、処理装置が、商品の載置台に向けられた撮像装置により生成された画像を用いて載置台上に存在する商品を認識し、投影装置が、認識された商品及び／又は載置台の載置面上に会計処理に関する像を投影する技術が開示されている。

国際公開第２０１７／１２６２５３号

　本発明者は、投影装置の代わりにタッチパネルを利用することを検討した。その上で、本発明者は、このタッチパネルを有効利用して、会計処理に用いる装置の操作性を改善することを検討した。

　本発明の目的の一つは、会計処理に用いる装置の操作性を改善する技術を提供することである。

　本発明の画像識別レジ装置は、
　タッチパネルディスプレイ上に載置された商品の画像を取得する画像取得手段と、
　前記画像に写っている商品を識別する商品識別手段と、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させる表示制御手段と、
　前記ユーザインタフェースに対する入力に基づく処理を実行する処理実行手段と、
　を備える。

　本発明の画像識別レジシステムは、
　商品の載置面として利用されるタッチパネルディスプレイと、
　前記商品を撮影して前記商品の画像を生成する撮像装置と、
　前記タッチパネルディスプレイ上に載置された商品の画像を取得する画像取得手段と、
　前記画像に写っている商品を識別する商品識別手段と、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させる表示制御手段と、
　前記ユーザインタフェースに対する入力に基づいて処理を実行する処理実行手段と、
　を備える。

　本発明の会計処理方法は、
　コンピュータが、
　タッチパネルディスプレイ上に載置された商品の画像を取得し、
　前記画像に写っている商品を識別し、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させ、
　前記ユーザインタフェースに対する入力に基づいて処理を実行する、
　ことを含む。

　本発明のプログラムは、コンピュータに上述の会計処理方法を実行させる。

　本発明によれば、会計処理に用いる装置の操作性を改善することができる。

　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

画像識別レジシステムの構成例を示す図である。画像識別レジシステムのハードウエア構成を例示するブロック図である。第１実施形態の画像識別レジシステムにより実行される処理の流れを例示するシーケンス図である。表示制御部により表示される第１のユーザインタフェースの一例を示す図である。表示制御部により表示される支払い処理用画面の一例を示す図である。表示制御部により表示される支払い処理用画面の一例を示す図である。表示制御部により表示される支払い処理用画面の一例を示す図である。第２の具体例における画像識別レジシステムの構成例を示す図である。表示制御部により表示される第２のユーザインタフェースの一例を示す図である。表示制御部により表示される第３のユーザインタフェースの一例を示す図である。表示制御部により表示される第３のユーザインタフェースの一例を示す図である。表示制御部により表示される第３のユーザインタフェースの一例を示す図である。表示制御部により表示される第４のユーザインタフェースの一例を示す図である。表示制御部により表示される第５のユーザインタフェースの一例を示す図である。表示制御部により表示される第５のユーザインタフェースの一例を示す図である。表示制御部により表示される第５のユーザインタフェースの一例を示す図である。表示制御部により表示される第５のユーザインタフェースの一例を示す図である。表示制御部により表示される総合的なユーザインタフェースの一例を示す図である。表示制御部により表示される第６のユーザインタフェースの一例を示す図である。指示オブジェクトの軌跡に応じて実行すべき処理を定義する情報の一例を示す図である。

　以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

　［実施形態］
　〔システム構成例〕
　図１は、画像識別レジシステム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る画像識別レジシステム１は図１に描かれる構成に限定されない。図１に示されるように、画像識別レジシステム１は、画像識別レジ装置１０、撮像装置３０、およびタッチパネルディスプレイ４０を含んで構成される。画像識別レジ装置１０は、図示しない配線等によって撮像装置３０、およびタッチパネルディスプレイ４０と接続されている。

　タッチパネルディスプレイ４０は、様々な画像をその表示面上に表示する。また、タッチパネルディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有する。また、タッチパネルディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。

　図１に示されるように、撮像装置３０は、タッチパネルディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、タッチパネルディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写っている画像を生成する。撮像装置３０により生成された画像は、画像識別レジ装置１０に送信される。

　図１に例示されるように、本実施形態の画像識別レジ装置１０は、画像取得部１１０、商品識別部１２０、表示制御部１３０を、および処理実行部１４０を備える。画像取得部１１０は、撮像装置３０により生成された画像を取得する。商品識別部１２０は、画像取得部１１０により取得された画像に写っている商品を識別する。例えば、商品識別部１２０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。表示制御部１３０は、商品識別部１２０による商品の識別結果に応じて、その商品の会計処理に必要な入力を受け付けるユーザインタフェースをタッチパネルディスプレイ４０上に表示させる。ここで、「商品の会計処理」とは、店舗で商品を購入する際に行われるレジ業務の一連の処理を意味する。処理実行部１４０は、タッチパネルディスプレイ４０上に表示されたユーザインタフェースに対する入力に基づいて処理を実行する。処理実行部１４０の動作の具体的な例については、他の実施形態で説明する。

　〔ハードウエア構成例〕
　画像識別レジシステム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像識別レジシステム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図２は、画像識別レジシステム１のハードウエア構成を例示するブロック図である。

　画像識別レジ装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像識別レジ装置１０の各機能（画像取得部１１０、商品識別部１２０、表示制御部１３０、および処理実行部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

　入出力インタフェース１０５０は、画像識別レジ装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、画像識別レジ装置１０は、撮像装置３０およびタッチパネルディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、タッチパネルディスプレイ４０（およびタッチパネルディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、タッチパネルディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。タッチパネルディスプレイ４０は、タッチ機能付きの表示デバイスである。なお、タッチパネルディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、タッチパネルディスプレイ４０としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（タッチパネルディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して画像識別レジ装置１０と接続されていてもよい。

　ネットワークインタフェース１０６０は、画像識別レジ装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

　図２は、あくまで一例であり、画像識別レジシステム１のハードウエア構成は図２の例に制限されない。例えば、画像識別レジ装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびタッチパネルディスプレイ４０と接続されていてもよい。

　〔処理の流れ〕
　図３を用いて、本実施形態の画像識別レジシステム１により実行される処理の流れを説明する。図３は、第１実施形態の画像識別レジシステム１により実行される処理の流れを例示するシーケンス図である。

　まず、画像取得部１１０は、撮像装置３０により生成された撮影画像を取得する（Ｓ１０２）。例えば、撮像装置３０は、イメージセンサのセンシング結果（撮影画像）を、画像取得部１１０に常時出力している。また、撮像装置３０は、画像取得部１１０の指示に応じて、画像を生成するように構成されていてもよい。そして、商品識別部１２０は、画像取得部１１０により取得された撮影画像の中に商品が存在するか否かを判定する（Ｓ１０４）。例えば、商品識別部１２０は、画像取得部１１０により取得された撮影画像（または撮影画像から抽出される特徴量）を商品識別エンジン（図示せず）に入力して得られる出力結果に基づいて、撮影画像の中に商品が存在するか否かを判定することができる。その他にも、商品識別部１２０は、エッジ特徴量などを用いて撮影画像の中から物体の領域を検出した後、テンプレートマッチングなどを行って当該物体が商品か否かを判定してもよい。

　撮影画像の中に商品が存在しない場合（Ｓ１０４：ＮＯ）、画像取得部１１０は、撮像装置３０により生成される新たな撮影画像を取得し、商品識別部１２０は、その新たな撮影画像の中に商品が存在する否かを判定する。

　一方、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、商品識別部１２０は、商品の識別結果をリストに追加して、例えばメモリ１０３０などに保存する。また、表示制御部１３０は、商品識別部１２０が商品を識別したことに応じて、商品の会計処理で必要な入力を受け付けるためのユーザインタフェースの描画データを生成し、タッチパネルディスプレイ４０に送信する（Ｓ１０６）。タッチパネルディスプレイ４０は、表示制御部１３０から取得した描画データを用いて、ユーザインタフェースをタッチパネルディスプレイ４０上に表示させる（Ｓ１０８）。そして、タッチパネルディスプレイ４０に表示されたユーザインタフェース上で入力が行われた場合（Ｓ１１０）、当該ユーザインタフェースに対して行われた入力の情報が、画像識別レジ装置１０に送信される（Ｓ１１２）。処理実行部１４０は、Ｓ１１２の処理で取得した、ユーザインタフェースに対する入力に応じた処理を特定し、その特定した処理を実行する（Ｓ１１４）。

　以上、本実施形態では、タッチパネルディスプレイ４０上に載置された商品が写る画像を用いてその商品が識別されると、その商品の識別結果に応じてタッチパネルディスプレイ４０上にユーザインタフェースが表示される。このユーザインタフェースは、商品の会計処理に必要な入力を受け付ける。そして、ユーザインタフェースに対して行われた入力に基づいて、処理が実行される。

　これにより、商品の会計処理で必要な入力操作を、タッチパネルディスプレイ４０上で完結させることができる。つまり、商品の会計処理において操作すべき装置をタッチパネルディスプレイ４０からその他の装置に切り替える回数が減る。よって、画像識別レジシステム１の利用者の操作性を改善する効果が見込める。更に、本実施形態のようにタッチパネルディスプレイ４０を有効利用することにより、会計処理における顧客からのアクション（例えば、商品のキャンセル操作など）を画像識別レジシステム１が簡易に取得することができる。

　〔具体例〕
　以下、上述の画像識別レジシステム１による具体的な動作例について説明する。

　＜第１の具体例＞
　本具体例において、表示制御部１３０は、商品代金の支払い処理に進むためのユーザインタフェース（以下、「第１のユーザインタフェース」と表記）を、タッチパネルディスプレイ４０上に表示させる。

　図４は、表示制御部１３０により表示される第１のユーザインタフェースの一例を示す図である。図４の上半分には、タッチパネルディスプレイ４０の表示面上に、商品Ｐが載置されている様子が描かれている。また、図４の下半分には、タッチパネルディスプレイ４０の表示面上に載置された商品Ｐが識別されたことに応じて、タッチパネルディスプレイ４０上に小計ボタンＵＩ１（第１のユーザインタフェース）が表示される様子が描かれている。この場合、以下に示すような処理が実行される。

　まず、商品識別部１２０は、商品Ｐが写る画像を解析することによって、その商品を識別する。すると、表示制御部１３０は、図４の下半部に描かれているように、商品を識別したことを示すマークＭをタッチパネルディスプレイ４０上に表示する。なお、表示制御部１３０は、「撮像装置３０により生成された画像での座標」を「タッチパネルディスプレイ４０の表示面（商品Ｐの載置面）での座標」に変換する変換ルールを予め保持している。そして、表示制御部１３０は、当該変換ルールに基づいて画像内の商品Ｐの位置（座標）をタッチパネルディスプレイ４０の表示面での位置（座標）に変換し、例えば変換した位置を囲むように枠状のマークＭを表示させることができる。また、表示制御部１３０は、商品Ｐが識別されたことに応じて、図示されるような小計ボタンＵＩ１（第１のユーザインタフェース）をタッチパネルディスプレイ４０上に表示させる。表示制御部１３０は、小計ボタンＵＩ１（第１のユーザインタフェース）の表示位置を、商品Ｐの位置に基づいて決定することができる。図４の例では、表示制御部１３０は、商品Ｐの近傍に小計ボタンＵＩ１（第１のユーザインタフェース）を表示させている。この場合、表示制御部１３０は、例えば、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域を小計ボタンＵＩ１（第１のユーザインタフェース）の表示位置として決定することができる。なお、表示制御部１３０は、画像取得部１１０により取得された画像を解析するなどして、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域を特定することができる。

　処理実行部１４０は、小計ボタンＵＩ１（第１のユーザインタフェース）に対する入力（例えば、押下操作）に応じて、商品代金の支払い処理を実行する。例えば、処理実行部１４０は、表示制御部１３０に指示を送信して、図５に示されるような支払い処理用画面Ｓ１をタッチパネルディスプレイ４０上に表示させる。図５は、支払い処理用画面の一例を示す図である。図５には、様々な支払方法（電子マネー、クレジットカード、ロイヤリティプログラムで付与されたポイント、クーポン券や金券、現金）を選択可能な画面Ｓ１が例示されている。顧客は、画面Ｓ１において所望の支払方法を選択して、商品代金の支払いを行うことができる。

　また、処理実行部１４０は、画面Ｓ１においてクレジットカード払いなど、本人認証が必要な支払い方法が選択された場合、本人認証用の情報の入力を受け付ける画面（例：図６、図７）を更に表示させてもよい。図６および図７は、表示制御部１３０により表示される支払い処理用画面の一例を示す図である。図６では、本人認証用の署名の入力を受け付ける入力フォームを有する画面Ｓ２が例示されている。図７では、本人認証用のＰＩＮ（Personal Identification Number）の入力を受け付ける入力フォームを有する画面Ｓ３が例示されている。図６または図７の画面が表示される場合、以下のような処理が実行される。

　まず、図５の画面Ｓ１において「クレジットカード」が選択された後、図示しないカードリーダなどによりクレジットカードが読み込まれる。すると、処理実行部１４０は、表示制御部１３０に指示を送信して、図６に示されるような支払い処理用画面Ｓ２または図７に示されるような支払い処理用画面Ｓ３をタッチパネル上に表示させる。支払い処理用画面Ｓ２が表示された場合、顧客は当該画面上の入力フォームに署名する。これにより、処理実行部１４０は、タッチパネルディスプレイ４０上での署名の軌跡を取得することができる。また、支払い処理用画面Ｓ３が表示された場合、顧客は当該画面上の入力フォームで自身のＰＩＮコードを入力する。これにより、処理実行部１４０はその顧客のＰＩＮコードを取得することができる。そして、処理実行部１４０は、顧客の署名やＰＩＮコードを使って、クレジット決済の処理を完了させることができる。なお、ＰＩＮコードについては秘匿性の高い情報である。そのため、処理実行部１４０は、図７に例示されるような入力フォームを、タッチパネルディスプレイ４０ではなく、図示しない顧客専用のタッチパネルディスプレイなどに表示させてもよい。

　＜第２の具体例＞
　社員食堂などにおいて、社員証といった身分証明書をもって商品の購入者を識別することが行われることもある。本具体例において、画像識別レジシステム１は、図８に示すような構成を有する。

　図８は、第２の具体例における画像識別レジシステム１の構成例を示す図である。図８に示されるように、本具体例において、画像識別レジ装置１０は、購入者情報取得部１５０を更に備える。購入者情報取得部１５０は、購入者識別情報を取得する。購入者識別情報は、商品の購入者を識別可能な情報である。上述の社員食堂のケースでは、例えば、社員証のＩＣタグに記憶された社員番号や、社員証に記載された社員の顔画像などが、購入者識別情報として利用され得る。この場合、購入者情報取得部１５０は、図示しないカードリーダなどを用いて、社員証から社員番号等の購入者識別情報を取得することができる。また、購入者情報取得部１５０は、撮像装置３０あるいは図示しない他の撮像装置を用いて、社員番号や顔画像が印刷された社員証の面を撮影することによって、社員番号や顔画像が写っている画像を取得することができる。処理実行部１４０は、購入者情報取得部１５０により取得された画像を解析することによって、購入者識別情報を取得することができる。例えば、画像に社員番号が含まれている場合、処理実行部１４０は、ＯＣＲ（Optical Character Recognition）技術を用いて、画像から社員番号（購入者識別情報）を読み取ることができる。また、処理実行部１４０は、社員証の顔画像を用いた顔認証を行うことにより、その人物（購入者）を識別する情報を取得することができる。そして、処理実行部１４０は、図５に示されるような第１のユーザインタフェースに対する入力が行われ、かつ、購入者識別情報が取得された場合に、商品代金の支払い処理を実行する。

　なお、本具体例において、他人の社員証などが使ったなりすましを防止する機能を追加してもよい。例えば、処理実行部１４０は、購入者識別情報が取得された場合、表示制御部１３０に指示を送信して、本人認証用情報の入力を受け付けるユーザインタフェース（以下、「第２インタフェース」と表記）をタッチパネルディスプレイ４０上に更に表示させてもよい。

　図９は、表示制御部１３０により表示される第２のユーザインタフェースの一例を示す図である。図９には、第２のユーザインタフェースの具体例として、本人認証用の署名の入力を受け付ける入力フォームＵＩ２－１、および、顧客が予め定めた軌跡パターンを入力させる入力フォームＵＩ２－２が例示されている。処理実行部１４０は、これらの入力フォームに対して入力された、署名や軌跡パターンを予め登録された情報と比較することによって、本人認証を行うことができる。

　＜第３の具体例＞
　本具体例において、表示制御部１３０は、商品代金を購入対象の商品として決定するためのユーザインタフェース（以下、「第３のユーザインタフェース」と表記）を、タッチパネルディスプレイ４０上に表示させる。表示制御部１３０は、例えば、図１０乃至図１２に示されるような第３のユーザインタフェースをタッチパネルディスプレイ４０上に表示させることができる。図１０乃至図１２は、表示制御部１３０により表示される第３のユーザインタフェースの一例を示す図である。

　図１０では、商品Ｐの近傍に登録ボタンＵＩ３－１（第３のインタフェース）が表示されている様子が描かれている。

　また、図１１では、商品Ｐの近傍に、商品識別部１２０による商品の識別結果（ここでは、商品名）を含む選択可能なユーザインタフェースＵＩ３－２（第３のインタフェース）が表示されている様子が描かれている。

　図１０および図１１の場合、例えば以下のような処理が実行される。まず、商品識別部１２０が、画像取得部１１０により取得された画像を用いて、タッチパネルディスプレイ４０上に載置された商品Ｐを識別する。このとき、商品識別部１２０は、画像内での商品Ｐの位置情報を表示制御部１３０に送信する。そして、表示制御部１３０は、上述の変換ルールに基づいて画像内の商品Ｐの位置（座標）をタッチパネルディスプレイ４０の表示面での位置（座標）に変換する。そして、表示制御部１３０は、登録ボタンＵＩ３－１およびユーザインタフェースＵＩ３－２（第３のインタフェース）の表示位置を、商品Ｐの位置に基づいて決定する。例えば、表示制御部１３０は、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域を登録ボタンＵＩ３－１およびユーザインタフェースＵＩ３－２（第３のインタフェース）の表示位置として決定することができる。なお、表示制御部１３０は、画像取得部１１０により取得された画像を解析するなどして、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域を特定することができる。

　また、処理実行部１４０は、登録ボタンＵＩ３－１やユーザインタフェースＵＩ３－２（第３のユーザインタフェース）に対する入力（例えば、押下操作）に応じて、商品識別部１２０により識別された商品を、購入対象の商品として決定する。具体的には、処理実行部１４０は、例えばメモリ１０３０などに保存している購入対象の商品リストに、商品識別部１２０により識別された商品の情報を追加する。また、タッチパネルディスプレイ４０上の商品Ｐが購入対象の商品として登録された場合において、処理実行部１４０は、表示制御部１３０に指示を送信し、購入対象の商品として登録されたこと示す特殊なマークＭを表示させてもよい。例えば、表示制御部１３０は、商品識別部１２０により商品が識別された段階では枠状のマークＭを点滅させておき、購入対象の商品として登録された段階で枠状のマークＭの点滅を止めて常時表示させるようにしてもよい。また、表示制御部１３０は、商品識別部１２０により商品が識別された段階か、購入対象の商品として商品が登録された段階かによって、マークＭの色や表示の濃さなどを変えるように構成されていてもよい。

　なお、商品識別部１２０は画像を用いて商品を識別しているため、その識別結果が一意に定まらない場合もある。例えば、複数の商品が、タッチパネルディスプレイ４０上に載置された商品の候補として識別される場合もある。このような場合において、表示制御部１３０は、図１２に例示されるように、候補として識別された複数の商品のいずれかを選択するためのユーザインタフェースＵＩ３－３をタッチパネルディスプレイ４０上に表示させてもよい。この場合、処理実行部１４０は、ユーザインタフェースＵＩ３－３で選択された商品を、購入対象の商品として決定する。具体的には、処理実行部１４０は、例えばメモリ１０３０などに保存している購入対象の商品リストに、商品識別部１２０により識別された複数の商品のうち、ユーザインタフェースＵＩ３－３上で選択された商品の情報を追加する。

　上述の図１１および図１２の例において、表示制御部１３０は、商品名に加えて（或いは代わりに）、商品識別部１２０により識別された商品の画像を含むユーザインタフェースをタッチパネルディスプレイ４０上に表示させてもよい。なお、ここで表示される「商品識別部１２０により識別された商品の画像」は、画像取得部１１０により取得された画像ではない。「商品識別部１２０により識別された商品の画像」は、例えば、所定の記憶装置（例えば、ストレージデバイス１０４０）に予め登録されている。表示制御部１３０は、商品識別部１２０による商品の識別結果を用いて、ストレージデバイス１０４０などに予め記憶された商品の画像の中から、識別された商品に対応する画像を読み出すことができる。

　＜第４の具体例＞
　本具体例において、表示制御部１３０は、商品識別部１２０の識別結果を訂正するためのユーザインタフェース（以下、「第４のユーザインタフェース」と表記）を、タッチパネルディスプレイ４０上に表示させる。

　図１３は、表示制御部１３０により表示される第４のユーザインタフェースの一例を示す図である。図１３では、商品識別部１２０による商品の識別結果と共に、その識別結果を訂正させるための訂正ボタンを含むユーザインタフェースＵＩ４が例示されている。

　図１３の場合、例えば以下のような処理が実行される。まず、商品識別部１２０が、画像取得部１１０により取得された画像を用いて、タッチパネルディスプレイ４０上に載置された商品Ｐを識別する。このとき、商品識別部１２０は、画像内での商品Ｐの位置情報を表示制御部１３０に送信する。そして、表示制御部１３０は、上述の変換ルールに基づいて画像内の商品Ｐの位置（座標）をタッチパネルディスプレイ４０の表示面での位置（座標）に変換する。そして、表示制御部１３０は、ユーザインタフェースＵＩ４（第４のインタフェース）の表示位置を、商品Ｐの位置に基づいて決定する。例えば、表示制御部１３０は、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域をユーザインタフェースＵＩ４（第４のインタフェース）の表示位置として決定することができる。なお、表示制御部１３０は、画像取得部１１０により取得された画像を解析するなどして、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域を特定することができる。

　処理実行部１４０は、ユーザインタフェースＵＩ４（第４のユーザインタフェース）に対する入力（例えば、訂正ボタンの押下操作）に応じて、商品識別部１２０の識別結果を訂正する処理を実行する。一例として、処理実行部１４０は、表示制御部１３０に指示を送信し、正しい商品名を入力するための入力フォーム（図示せず）をタッチパネルディスプレイ４０上に表示させる。処理実行部１４０は、このように表示された入力フォームに入力された商品名からその商品の情報を取得し、訂正用の情報として表示制御部１３０に送信する。表示制御部１３０は、処理実行部１４０から取得した商品の情報を用いて、タッチパネルディスプレイ４０上の表示を更新（訂正）する。また、他の一例として、処理実行部１４０は、商品識別部１２０に、タッチパネルディスプレイ４０上の商品Ｐの識別処理を再実行させてもよい。このとき、処理実行部１４０は、現状の商品の識別結果が誤っていることを商品識別部１２０に通知する。商品識別部１２０は、処理実行部１４０からの通知に従って今識別されている商品を予め除外した上で、商品の識別処理を再実行する。これにより、誤った識別結果が再度表示されることを防止できる。

　＜第５の具体例＞
　本具体例において、表示制御部１３０は、商品の購入をキャンセルするためのユーザインタフェース（以下、「第５のユーザインタフェース」と表記）を、タッチパネルディスプレイ４０上に表示させる。表示制御部１３０は、例えば、図１４乃至図１６に示されるような第３のユーザインタフェースをタッチパネルディスプレイ４０上に表示させることができる。図１４乃至図１６は、表示制御部１３０により表示される第５のユーザインタフェースの一例を示す図である。

　図１４では、商品Ｐの近傍にキャンセルボタンＵＩ５－１（第５のインタフェース）が表示されている様子が描かれている。

　また、図１５では、商品Ｐの近傍に、商品識別部１２０による商品の識別結果（ここでは、商品名）と共にキャンセルボタンを含むユーザインタフェースＵＩ５－２（第５のインタフェース）が表示されている様子が描かれている。

　図１４および図１５の場合、例えば、以下のような処理が実行される。まず、商品識別部１２０が、画像取得部１１０により取得された画像を用いて、タッチパネルディスプレイ４０上に載置された商品Ｐを識別する。このとき、商品識別部１２０は、画像内での商品Ｐの位置情報を表示制御部１３０に送信する。そして、表示制御部１３０は、上述の変換ルールに基づいて画像内の商品Ｐの位置（座標）をタッチパネルディスプレイ４０の表示面での位置（座標）に変換する。そして、表示制御部１３０は、キャンセルボタンＵＩ５－１およびユーザインタフェースＵＩ５－２（第５のインタフェース）の表示位置を、商品Ｐの位置に基づいて決定する。例えば、表示制御部１３０は、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域をキャンセルボタンＵＩ５－１およびユーザインタフェースＵＩ５－２（第５のインタフェース）の表示位置として決定することができる。なお、表示制御部１３０は、画像取得部１１０により取得された画像を解析するなどして、商品Ｐの位置から所定の距離内であって他の商品や他の表示が存在しない領域を特定することができる。

　また、図１６では、タッチパネルディスプレイ４０上で商品Ｐが載置されている領域に、キャンセルボタンＵ５－３が表示される様子が描かれている。

　図１６の場合、例えば、以下のような処理が実行される。まず、商品識別部１２０が、画像取得部１１０により取得された画像を用いて、タッチパネルディスプレイ４０上に載置された商品Ｐを識別する。このとき、商品識別部１２０は、画像内での商品Ｐの位置情報を表示制御部１３０に送信する。そして、表示制御部１３０は、上述の変換ルールに基づいて画像内の商品Ｐの位置（座標）をタッチパネルディスプレイ４０の表示面での位置（座標）に変換する。そして、表示制御部１３０は、例えば、キャンセルボタンＵＩ５－３を、商品Ｐの位置（商品Ｐの領域）の中央に表示させる。図１６の例では、タッチパネルディスプレイ４０上に商品Ｐが載置されている場合、キャンセルボタンＵ５－３を視認することはできない。この場合、商品Ｐの購入をキャンセルするために顧客が商品Ｐをタッチパネルディスプレイ４０上から取り除くことによって、キャンセルボタンＵ５－３が見えるようになる。

　また、処理実行部１４０は、図１４乃至図１６に例示する第５のユーザインタフェースに対する入力（例えば、押下操作）に応じて、対応する商品の購入をキャンセルする。具体的には、処理実行部１４０は、例えばメモリ１０３０などに保存している商品識別部１２０の識別結果（識別された商品）のリストから、第５のユーザインタフェースの入力が行われた商品の情報を削除する。そして、表示制御部１３０は、商品の情報が削除されたことに応じて、例えば各図に例示されるマークＭの表示を取り消す。

　また、表示制御部１３０は、図１７に示すように、タッチパネルディスプレイ４０上から商品Ｐが取り除かれた（移動された）場合に、第５のユーザインタフェースを表示するように構成されていてもよい。

　図１７は、表示制御部１３０により表示される第５のユーザインタフェースの一例を示す図である。図１７の上半分では、図１０と同様に、商品Ｐの近傍に登録ボタンＵ３－１（第１のユーザインタフェース）が表示されている様子が描かれている。図１７の下半分では、タッチパネルディスプレイ４０上から商品Ｐが取り除かれた場合に、タッチパネルディスプレイ４０の表示がどのように変化するかが描かれている。具体的には、タッチパネルディスプレイ４０上から商品Ｐが取り除かれた場合、表示制御部１３０は、取り除かれた商品Ｐが位置していた領域の近傍に、図に示されるような第５のユーザインタフェースＵ５－４を表示する。ここで、「はい」が押下された場合、上述したように、処理実行部１４０は、商品の購入をキャンセルする処理を実行する。また、ここで「いいえ」が押下された場合、処理実行部１４０は、商品をマークＭの位置に戻すよう促すメッセージを、タッチパネルディスプレイ４０または図示しないスピーカーなどを用いて出力する。

　＜第７の具体例＞
　表示制御部１３０は、第１乃至第６の具体例で示されるユーザインタフェースを組み合わせた総合的なユーザインタフェースをタッチパネルディスプレイ４０上に表示してもよい（例：図１７）。図１８は、表示制御部１３０により表示される総合的なユーザインタフェースの一例を示す図である。図１８の例では、小計ボタン（第１のユーザインタフェース）、登録ボタン（第３のユーザインタフェース）、訂正ボタン（第４のユーザインタフェース）、および、キャンセルボタン（第５のユーザインタフェース）を含む総合的なユーザインタフェースＵＩが例示されている。なお、各ボタンを押下した場合の動作は、各具体例で説明したとおりである。

　＜第８の具体例＞
　本具体例において、表示制御部１３０は、タッチパネルディスプレイ４０上での指示オブジェクトの軌跡を取得するためのユーザインタフェース（以下、「第６のユーザインタフェース」と表記）を、タッチパネルディスプレイ４０上に表示させる。ここで、指示オブジェクトとは、タッチパネルディスプレイ４０でのタッチ操作を行う物体であり、具体的には、人物の指やタッチペンなどである。

　図１９は、表示制御部１３０により表示される第６のユーザインタフェースの一例を示す図である。図１９の例では、第６のユーザインタフェースとして、吹き出し型の入力領域ＵＩ６が表示されている様子が描かれている。顧客や店員は、この入力領域ＵＩ６上で指示オブジェクトを動かして、所定の軌跡を描く。処理実行部１４０は、描かれた軌跡を取得すると、取得した軌跡に応じた処理を実行する。例えば、処理実行部１４０は、図２０に例示されるような情報を参照して、取得した軌跡に応じて実行すべき処理を特定することができる。図２０は、指示オブジェクトの軌跡に応じて実行すべき処理を定義する情報の一例を示す図である。図２０では、指示オブジェクトの軌跡と、実行すべき処理の情報とを対応付けて記憶するテーブルが例示されている。なお、図２０はあくまで一例であり、指示オブジェクトの軌跡に応じて実行すべき処理を定義する情報は図２０に限定されない。例えば、タッチパネルディスプレイ４０で可能な操作（例えば、ダブルタップ操作やスワイプ操作など）に対応する軌跡に応じて実行すべき処理が定義されていてもよい。処理実行部１４０は、まず、入力領域ＵＩ６において描かれた軌跡の形状を判定する。例えば、入力領域において円形（あるいは、円に近い形状）の軌跡が描かれたとする。この場合、処理実行部１４０は、商品識別部１２０により識別された商品（ここでは、商品名が「ＸＸＸ」という商品）を購入対象として登録する。また、例えば、入力領域においてバツ印（あるいは、バツ印に近い形状）の軌跡が描かれたとする。この場合、処理実行部１４０は、商品識別部１２０により識別された商品（ここでは、商品名が「ＸＸＸ」という商品）の購入をキャンセルする処理を実行する。また、例えば、入力領域において三角形（あるいは、三角形に近い形状）の軌跡が描かれたとする。この場合、処理実行部１４０は、商品識別部１２０の識別結果（ここでは、「商品名：ＸＸＸ」という識別結果）を訂正する処理を実行する。また、例えば、入力領域において四角形（あるいは、四角形に近い形状）の軌跡が描かれたとする。この場合、処理実行部１４０は、商品代金の支払い処理を実行する。

　また、図１９に示されるように、表示制御部１３０は、軌跡別に実行される処理を示す情報Ａをタッチパネルディスプレイ４０上に表示してもよい。この情報Ａを表示することで、顧客や店員が、所望の処理を実行するためにどのような軌跡を描けばよいかを容易に把握することができる。

　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

　例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の画像識別レジ装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の画像識別レジ装置１０の機能を持たせることができる。

　また、本発明に係る画像識別レジシステム１において、タッチパネルディスプレイ４０の代わりに、タッチ機能を有さないディスプレイや、投影面に画像を投影するプロジェクターなどが利用されてもよい。この場合、処理実行部１４０は、例えば次のように動作する。処理実行部１４０は、まず、ディスプレイの表示面に表示された画像またはプロジェクターから投影された画像の中の指示オブジェクト（例えばユーザの手や指など）の位置を検出する。なお、処理実行部１４０は、既知の物体認識アルゴリズムを利用して、指示オブジェクトの位置を検出および追跡することができる。そして、処理実行部１４０は、指示オブジェクトの検出位置に基づいて、ディスプレイに表示されたユーザインタフェース（投影面に投影されたユーザインタフェース）に対する入力の有無を判断できる。そして、ディスプレイに表示されたユーザインタフェース（投影面に投影されたユーザインタフェース）に対する入力があった場合、処理実行部１４０は、上述の各実施形態で説明したように、入力に対応する処理を実行する。

　また、上述の説明で用いたシーケンス図では、複数の工程（処理）が順番に記載されているが、それらの工程の実行順序は、その記載の順番に制限されない。図示される工程の実行順序は、内容的に支障のない範囲で変更することができる。

　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
　タッチパネルディスプレイ上に載置された商品の画像を取得する画像取得手段と、
　前記画像に写っている商品を識別する商品識別手段と、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させる表示制御手段と、
　前記ユーザインタフェースに対する入力に基づく処理を実行する処理実行手段と、
　を備える画像識別レジ装置。
２．
　前記表示制御手段は、商品代金の支払い処理に進むための第１のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１．に記載の画像識別レジ装置。
３．
　前記商品の購入者を識別する購入者識別情報を取得する購入者情報取得手段を更に備え、
　前記処理実行手段は、前記第１のユーザインタフェースに対する入力、および、前記購入者識別情報の取得が完了した場合に、前記商品代金の支払い処理を実行する、
　２．に記載の画像識別レジ装置。
４．
　前記表示制御手段は、前記購入者の本人認証用情報の入力を受け付ける第２のユーザインタフェースを、前記購入者識別情報の取得に応じて前記タッチパネルディスプレイ上に表示させる、
　３．に記載の画像識別レジ装置。
５．
　前記表示制御手段は、前記商品を購入対象の商品として決定するための第３のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１．から４．のいずれか１つに記載の画像識別レジ装置。
６．
　前記表示制御手段は、前記商品識別手段による商品の識別結果を含むユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　５．に記載の画像識別レジ装置。
７．
　前記表示制御手段は、前記商品識別手段により複数の商品が候補として識別された場合、当該複数の商品のいずれかを選択するためのユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　６．に記載の画像識別レジ装置。
８．
　前記表示制御手段は、前記商品識別手段の識別結果を訂正するための第４のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１．から７．のいずれか１つに記載の画像識別レジ装置。
９．
　前記表示制御手段は、前記商品の購入をキャンセルするための第５のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１．から８．のいずれか１つに記載の画像識別レジ装置。
１０．
　前記表示制御手段は、前記タッチパネルディスプレイ上での指示オブジェクトの軌跡を取得するための第６のユーザインタフェースを前記タッチパネルディスプレイ上に表示させ、
　前記処理実行手段は、前記第６のユーザインタフェースで取得された前記指示オブジェクトの軌跡に対応する処理を実行する、
　１．に記載の画像識別レジ装置。
１１．
　前記表示制御手段は、前記タッチパネルディスプレイ上に載置された前記商品の位置に基づいて、前記ユーザインタフェースの表示位置を決定する、
　１．から１０．のいずれか１つに記載の画像識別レジ装置。
１２．
　商品の載置面として利用されるタッチパネルディスプレイと、
　前記商品を撮影して前記商品の画像を生成する撮像装置と、
　前記タッチパネルディスプレイ上に載置された商品の画像を取得する画像取得手段と、
　前記画像に写っている商品を識別する商品識別手段と、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させる表示制御手段と、
　前記ユーザインタフェースに対する入力に基づいて処理を実行する処理実行手段と、
　を備える画像識別レジシステム。
１３．
　前記表示制御手段は、商品代金の支払い処理に進むための第１のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１２．に記載の画像識別レジシステム。
１４．
　前記商品の購入者を識別する購入者識別情報を取得する購入者情報取得手段を更に備え、
　前記処理実行手段は、前記第１のユーザインタフェースに対する入力、および、前記購入者識別情報の取得が完了した場合に、前記商品代金の支払い処理を実行する、
　１３．に記載の画像識別レジシステム。
１５．
　前記表示制御手段は、前記購入者の本人認証用情報の入力を受け付ける第２のユーザインタフェースを、前記購入者識別情報の取得に応じて前記タッチパネルディスプレイ上に表示させる、
　１４．に記載の画像識別レジシステム。
１６．
　前記表示制御手段は、前記商品を購入対象の商品として決定するための第３のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１２．から１５．のいずれか１つに記載の画像識別レジシステム。
１７．
　前記表示制御手段は、前記商品識別手段による商品の識別結果を含むユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　１６．に記載の画像識別レジシステム。
１８．
　前記表示制御手段は、前記商品識別手段により複数の商品が候補として識別された場合、当該複数の商品のいずれかを選択するためのユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　１７．に記載の画像識別レジシステム。
１９．
　前記表示制御手段は、前記商品識別手段の識別結果を訂正するための第４のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１２．から１８．のいずれか１つに記載の画像識別レジシステム。
２０．
　前記表示制御手段は、前記商品の購入をキャンセルするための第５のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　１２．から１９．のいずれか１つに記載の画像識別レジシステム。
２１．
　前記表示制御手段は、前記タッチパネルディスプレイ上での指示オブジェクトの軌跡を取得するための第６のユーザインタフェースを前記タッチパネルディスプレイ上に表示させ、
　前記処理実行手段は、前記第６のユーザインタフェースで取得された前記指示オブジェクトの軌跡に対応する処理を実行する、
　１２．に記載の画像識別レジシステム。
２２．
　前記表示制御手段は、前記タッチパネルディスプレイ上に載置された前記商品の位置に基づいて、前記ユーザインタフェースの表示位置を決定する、
　１２．から２１．のいずれか１つに記載の画像識別レジシステム。
２３．
　コンピュータが、
　タッチパネルディスプレイ上に載置された商品の画像を取得し、
　前記画像に写っている商品を識別し、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させ、
　前記ユーザインタフェースに対する入力に基づいて処理を実行する、
　ことを含む会計処理方法。
２４．
　前記コンピュータが、
　商品代金の支払い処理に進むための第１のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　ことを含む２３．に記載の会計処理方法。
２５．
　前記コンピュータが、
　前記商品の購入者を識別する購入者識別情報を取得し、
　前記第１のユーザインタフェースに対する入力、および、前記購入者識別情報の取得が完了した場合に、前記商品代金の支払い処理を実行する、
　ことを含む２４．に記載の会計処理方法。
２６．
　前記コンピュータが、
　前記購入者の本人認証用情報の入力を受け付ける第２のユーザインタフェースを、前記購入者識別情報の取得に応じて前記タッチパネルディスプレイ上に表示させる、
　ことを含む２５．に記載の会計処理方法。
２７．
　前記コンピュータが、
　前記商品を購入対象の商品として決定するための第３のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　ことを含む２３．から２６．のいずれか１つに記載の会計処理方法。
２８．
　前記コンピュータが、
　前記商品の識別結果を含むユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　ことを含む２７．に記載の会計処理方法。
２９．
　前記コンピュータが、
　複数の商品が候補として識別された場合、当該複数の商品のいずれかを選択するためのユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　ことを含む２８．に記載の会計処理方法。
３０．
　前記コンピュータが、
　前記商品の識別結果を訂正するための第４のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　ことを含む２３．から２９．のいずれか１つに記載の会計処理方法。
３１．
　前記コンピュータが、
　前記商品の購入をキャンセルするための第５のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　ことを含む２３．から３０．のいずれか１つに記載の会計処理方法。
３２．
　前記コンピュータが
　前記タッチパネルディスプレイ上での指示オブジェクトの軌跡を取得するための第６のユーザインタフェースを前記タッチパネルディスプレイ上に表示させ、
　前記第６のユーザインタフェースで取得された前記指示オブジェクトの軌跡に対応する処理を実行する、
　ことを含む２３．に記載の会計処理方法。
３３．
　前記コンピュータが、
　前記タッチパネルディスプレイ上に載置された前記商品の位置に基づいて、前記ユーザインタフェースの表示位置を決定する、
　ことを含む２３．から３２．のいずれか１つに記載の会計処理方法。
３４．
　コンピュータに、２３．から３３．のいずれか１つに記載の会計処理方法を実行させるプログラム。

Claims

　タッチパネルディスプレイ上に載置された商品の画像を取得する画像取得手段と、
　前記画像に写っている商品を識別する商品識別手段と、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させる表示制御手段と、
　前記ユーザインタフェースに対する入力に基づく処理を実行する処理実行手段と、
　を備える画像識別レジ装置。
　前記表示制御手段は、商品代金の支払い処理に進むための第１のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　請求項１に記載の画像識別レジ装置。
　前記商品の購入者を識別する購入者識別情報を取得する購入者情報取得手段を更に備え、
　前記処理実行手段は、前記第１のユーザインタフェースに対する入力、および、前記購入者識別情報の取得が完了した場合に、前記商品代金の支払い処理を実行する、
　請求項２に記載の画像識別レジ装置。
　前記表示制御手段は、前記購入者の本人認証用情報の入力を受け付ける第２のユーザインタフェースを、前記購入者識別情報の取得に応じて前記タッチパネルディスプレイ上に表示させる、
　請求項３に記載の画像識別レジ装置。
　前記表示制御手段は、前記商品を購入対象の商品として決定するための第３のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　請求項１から４のいずれか１項に記載の画像識別レジ装置。
　前記表示制御手段は、前記商品識別手段による商品の識別結果を含むユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　請求項５に記載の画像識別レジ装置。
　前記表示制御手段は、前記商品識別手段により複数の商品が候補として識別された場合、当該複数の商品のいずれかを選択するためのユーザインタフェースを、前記第３のユーザインタフェースとして前記タッチパネルディスプレイ上に表示させる、
　請求項６に記載の画像識別レジ装置。
　前記表示制御手段は、前記商品識別手段の識別結果を訂正するための第４のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　請求項１から７のいずれか１項に記載の画像識別レジ装置。
　前記表示制御手段は、前記商品の購入をキャンセルするための第５のユーザインタフェースを、前記タッチパネルディスプレイ上に表示させる、
　請求項１から８のいずれか１項に記載の画像識別レジ装置。
　前記表示制御手段は、前記タッチパネルディスプレイ上での指示オブジェクトの軌跡を取得するための第６のユーザインタフェースを前記タッチパネルディスプレイ上に表示させ、
　前記処理実行手段は、前記第６のユーザインタフェースで取得された前記指示オブジェクトの軌跡に対応する処理を実行する、
　請求項１に記載の画像識別レジ装置。
　前記表示制御手段は、前記タッチパネルディスプレイ上に載置された前記商品の位置に基づいて、前記ユーザインタフェースの表示位置を決定する、
　請求項１から１０のいずれか１項に記載の画像識別レジ装置。
　商品の載置面として利用されるタッチパネルディスプレイと、
　前記商品を撮影して前記商品の画像を生成する撮像装置と、
　前記タッチパネルディスプレイ上に載置された商品の画像を取得する画像取得手段と、
　前記画像に写っている商品を識別する商品識別手段と、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させる表示制御手段と、
　前記ユーザインタフェースに対する入力に基づいて処理を実行する処理実行手段と、
　を備える画像識別レジシステム。
　コンピュータが、
　タッチパネルディスプレイ上に載置された商品の画像を取得し、
　前記画像に写っている商品を識別し、
　前記商品の識別結果に応じて、前記商品の会計処理に必要な入力を受け付けるユーザインタフェースを前記タッチパネルディスプレイ上に表示させ、
　前記ユーザインタフェースに対する入力に基づいて処理を実行する、
　ことを含む会計処理方法。
　コンピュータに、請求項１３に記載の会計処理方法を実行させるプログラム。