JP6983955B2 - Information processing equipment, programs, and information processing methods - Google Patents

Information processing equipment, programs, and information processing methods Download PDF

Info

Publication number
JP6983955B2
JP6983955B2 JP2020120575A JP2020120575A JP6983955B2 JP 6983955 B2 JP6983955 B2 JP 6983955B2 JP 2020120575 A JP2020120575 A JP 2020120575A JP 2020120575 A JP2020120575 A JP 2020120575A JP 6983955 B2 JP6983955 B2 JP 6983955B2
Authority
JP
Japan
Prior art keywords
product
stored
information
storage unit
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020120575A
Other languages
Japanese (ja)
Other versions
JP2020187776A (en
Inventor
顕也 平松
晃子 須崎
剛 五反田
隆司 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019154022A external-priority patent/JP6735888B2/en
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2020120575A priority Critical patent/JP6983955B2/en
Publication of JP2020187776A publication Critical patent/JP2020187776A/en
Application granted granted Critical
Publication of JP6983955B2 publication Critical patent/JP6983955B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、情報処理装置、プログラム、及び情報処理方法に関する。 Embodiments of the present invention relate to information processing devices, programs, and information processing methods .

スーパーマーケット等の小売店では、ＰＯＳ（Point Of Sales）による会計処理の効率化を図るために、顧客により会計処理の作業の一部をさせるチェックアウトシステムが導入されている。例えば、セルフレジ（セルフチェックアウト端末）を設けたセルフチェックアウトシステムが導入されている。セルフレジでは、顧客の操作により商品の商品コード（一般にはバーコード）を読み取らせることで商品登録し、決済処理のための決済情報を生成する登録処理、及び登録処理により生成された決済情報をもとにした代金支払いをする決済処理を実行する。 In retail stores such as supermarkets, in order to improve the efficiency of accounting processing by POS (Point Of Sales), a checkout system is introduced in which a part of the accounting processing work is done by a customer. For example, a self-checkout system provided with a self-checkout (self-checkout terminal) has been introduced. In self-checkout, the product is registered by having the customer read the product code (generally a barcode) of the product, and the registration process that generates the payment information for the payment process, and the payment information generated by the registration process are also included. Execute the payment process to make the payment.

さらに近年では、顧客が店内で商品の買い回りをしている間に、購入予定とする商品について商品登録をするパーソナルチェックアウトシステムも考えられている。このシステムの場合、購入予定としてカートやカゴに入れられた商品と、商品登録された商品とが一致していることが必要となる。 Furthermore, in recent years, a personal check-out system has been considered in which a customer registers a product to be purchased while the customer is buying around the product in the store. In the case of this system, it is necessary that the product put in the cart or basket as a purchase schedule and the product registered as the product match.

特表２０１６−５３２９３２号公報Special Table 2016-523932 Gazette

本発明が解決しようとする課題は、顧客の操作による購入予定とする商品の登録が確実にできるようにするための情報処理装置、プログラム、及び情報処理方法を提供することである。 An object to be solved by the present invention is to provide an information processing device, a program, and an information processing method for surely registering a product to be purchased by a customer's operation.

実施形態によれば、情報処理装置は、店舗のショッピングカートに装着して、商品取引の対象とする商品の登録に使用される。情報処理装置は、第１記憶手段、カメラ、オブジェクト検出手段、第２記憶手段、削除手段、第１出力手段を有する。第１記憶手段は、顧客の操作に応じて商品に関する商品情報を記憶部に記憶させる。カメラは、前記ショッピングカートの商品が載置される底部を撮影範囲に含めて画像を撮影する。オブジェクト検出手段は、前記画像から検出される商品に相当するオブジェクトについて、前記商品が前記撮影範囲に移動された場合に検出される第１オブジェクト、あるいは前記撮影範囲にある商品が前記撮影範囲の外に移動された場合に検出される第２オブジェクトを検出する。第２記憶手段は、前記商品情報が記憶されていない商品に対応する前記第１オブジェクトが検出された場合に、前記第１オブジェクトを前記記憶部に記憶させる。削除手段は、前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品に対応する第２オブジェクトが検出された場合に、前記記憶部から前記第１オブジェクトを削除する。第１出力手段は、前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品情報の記憶の終了が顧客の操作によって指示された場合に、顧客に対して確認を促すメッセージを出力させる。 According to the embodiment, the information processing device is attached to the shopping cart of the store and used for registering the product to be the target of the product transaction. The information processing apparatus includes a first storage means, a camera, an object detection means, a second storage means, a deletion means , and a first output means. The first storage means stores the product information about the product in the storage unit according to the operation of the customer. The camera takes an image including the bottom of the shopping cart on which the product is placed in the shooting range. The object detecting means means that for an object corresponding to a product detected from the image, the first object detected when the product is moved to the shooting range, or the product in the shooting range is outside the shooting range. Detects the second object that is detected when it is moved to. The second storage means stores the first object in the storage unit when the first object corresponding to the product for which the product information is not stored is detected. The deletion means said that when the second object corresponding to the product is detected before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit. The first object is deleted from the storage unit. The first output means is instructed by a customer operation to end the storage of the product information before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit. In that case, a message prompting the customer to confirm is output .

本実施形態のシステムの全体構成を概略的に示したシステム構成図。A system configuration diagram schematically showing the overall configuration of the system of this embodiment. 本実施形態における電子機器の構成を示すブロック図。The block diagram which shows the structure of the electronic device in this embodiment. 本実施形態におけるクリップ端末の使用例を示す図。The figure which shows the use example of the clip terminal in this embodiment. 本実施形態におけるクリップ端末の外観を示す図。The figure which shows the appearance of the clip terminal in this embodiment. 本実施形態における電子機器の動作を説明するためのフローチャート。The flowchart for demonstrating the operation of the electronic device in this embodiment. 本実施形態におけるクリップ端末の動作を説明するためのフローチャート。The flowchart for demonstrating the operation of the clip terminal in this embodiment. 本実施形態におけるクリップ端末の動作を説明するためのフローチャート。The flowchart for demonstrating the operation of the clip terminal in this embodiment. 本実施形態における商品チェックリストの一例を示す図。The figure which shows an example of the product checklist in this embodiment. 本実施形態におけるメッセージの一例を示す図。The figure which shows an example of the message in this embodiment. 本実施形態におけるカメラにより撮影された画像の一例を示す図。The figure which shows an example of the image taken by the camera in this embodiment. 図１０に示す画像から検出された商品に相当するオブジェクトの一例を示す図。The figure which shows an example of the object corresponding to the product detected from the image shown in FIG. 本実施形態における登録位置をもとに確認が必要であるか判定する登録位置判定処理を示すフローチャート。The flowchart which shows the registration position determination process which determines whether confirmation is necessary based on the registration position in this embodiment. 店舗内の商品棚の配置とカートの位置の一例を示す図。The figure which shows an example of the arrangement of product shelves and the position of a cart in a store.

以下、本実施形態について、図面を参照しながら説明する。
図１は、本実施形態のシステムの全体構成を概略的に示したシステム構成図である。図１に示すシステムは、本部に設けられたシステム１０と、複数の店舗のそれぞれに設けられた店舗システム１２とが、専用回線あるいはインターネット等を含むネットワーク１４を介して接続される。 Hereinafter, this embodiment will be described with reference to the drawings.
FIG. 1 is a system configuration diagram schematically showing the overall configuration of the system of the present embodiment. In the system shown in FIG. 1, a system 10 provided at the headquarters and a store system 12 provided at each of a plurality of stores are connected via a dedicated line or a network 14 including the Internet and the like.

本部に設けられたシステム１０は、例えば本部システム１０Ａ、顧客システム１０Ｂ、決済システム１０Ｃ、販促システム１０Ｄなどが設けられ、ＬＡＮ（Local Area Network）等のネットワーク１０Ｅを介して相互に接続される。 The system 10 provided in the headquarters is provided with, for example, a headquarters system 10A, a customer system 10B, a payment system 10C, a sales promotion system 10D, and the like, and is connected to each other via a network 10E such as a LAN (Local Area Network).

本部システム１０Ａは、各店舗に設置された店舗システム等を統括するための処理を実行する。顧客システム１０Ｂは、店舗システムを利用して商品の購入等をする顧客を管理する。決済システム１０Ｃは、店舗システムにおける顧客によるクレジットカード等を利用した決済処理のための処理（個人認証、クレジット決済など）を実行する。販促システム１０Ｄは、店舗システムを通じて、販売促進のための商品の広告や店内案内などの情報を顧客（顧客が使用する電子機器）に対して提供するための管理をする。 The headquarters system 10A executes a process for controlling the store system and the like installed in each store. The customer system 10B manages a customer who purchases a product or the like by using the store system. The payment system 10C executes processing (individual authentication, credit payment, etc.) for payment processing by the customer using a credit card or the like in the store system. The sales promotion system 10D manages to provide information such as advertisements of products for sales promotion and in-store guidance to customers (electronic devices used by customers) through the store system.

店舗に設けられた店舗システム１２は、例えばＰＯＳ（Point Of Sales）システムとして実現される。店舗システム１２は、例えば店舗サーバ２０Ａ、クリップ端末管理サーバ２０Ｂ、複数の会計機２０Ｃ、複数のＰＯＳ端末２０Ｄなどが設けられ、ＬＡＮ等のネットワーク２０Ｅを介して相互に接続される。 The store system 12 provided in the store is realized as, for example, a POS (Point Of Sales) system. The store system 12 is provided with, for example, a store server 20A, a clip terminal management server 20B, a plurality of accounting machines 20C, a plurality of POS terminals 20D, and the like, and is connected to each other via a network 20E such as a LAN.

店舗サーバ２０Ａは、店舗システム１２の全体を制御する。店舗サーバ２０Ａには、店舗内で販売される商品に関するデータ、例えば商品毎の商品コード、商品名、単価、重量、店舗内で販売されている商品位置（商品棚の位置）、商品画像などのデータが記憶されている。登録処理では、商品をスキャンすることにより読み取られた商品コードに対応する商品のデータを店舗サーバ２０Ａから受信して記憶すると共に、決済処理のための決済情報（金額、商品、個数などを含む）を生成することができる。クリップ端末管理サーバ２０Ｂは、顧客の操作により購入予定として電子機器３０を利用して登録処理がされた商品（買上商品）と、購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックするために使用される電子機器５０（後述するクリップ端末）を管理する。会計機２０Ｃは、顧客の操作により電子機器３０を利用して登録処理がされた商品について決済処理を実行する。ＰＯＳ端末２０Ｄは、店員の操作による顧客の買上商品についての登録処理、登録処理により登録された商品についての決済処理等を実行する。 The store server 20A controls the entire store system 12. The store server 20A contains data on products sold in the store, such as product codes, product names, unit prices, weights, product positions sold in the store (positions of product shelves), product images, and the like. The data is stored. In the registration process, the product data corresponding to the product code read by scanning the product is received from the store server 20A and stored, and the payment information for the payment process (including the amount, product, quantity, etc.) is stored. Can be generated. In the clip terminal management server 20B, the product (purchased product) registered using the electronic device 30 as a purchase schedule by the customer's operation and the product put in the cart 60 or the basket as a purchase schedule match. It manages an electronic device 50 (clip terminal described later) used for checking whether or not the product is used. The accounting machine 20C executes a payment process for a product that has been registered using the electronic device 30 by the operation of the customer. The POS terminal 20D executes a registration process for a customer's purchased product by an operation of a clerk, a payment process for a product registered by the registration process, and the like.

また、店内に配線されたネットワーク２０Ｅには、複数のアクセスポイント（基地局）２０Ｆが接続されている。アクセスポイント２０Ｆは、店内で使用される各種の電子機器と、例えば無線ＬＡＮなどにより無線通信をする。店内で使用される電子機器には、例えば顧客が使用する電子機器３０、店員（アテンダント）等が使用する電子機器４０、例えばカート６０に装着した状態で使用される電子機器５０（後述するクリップ端末５０）が含まれる。 Further, a plurality of access points (base stations) 20F are connected to the network 20E wired in the store. The access point 20F wirelessly communicates with various electronic devices used in the store by, for example, a wireless LAN. The electronic devices used in the store include, for example, the electronic device 30 used by the customer, the electronic device 40 used by the clerk (attendant), and the electronic device 50 used in a state of being attached to the cart 60 (clip terminal described later). 50) is included.

電子機器３０，４０は、例えばスマートフォン、タブレット型パーソナルコンピュータ（ＰＣ）などが用いられる。電子機器３０は、店舗システム１２が提供するサービスを利用するためのアプリケーションプログラム（チェックプログラムを含む）に基づいて、購入予定の商品についての登録処理、登録処理がされた商品（買上商品）と購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックする個体チェック処理を、電子機器５０（クリップ端末）と協働して実行する。電子機器４０は、電子機器３０により実行された登録処理を確認するための確認プログラムに基づいて、登録処理により登録された商品情報とカート６０に入れられた商品との一致を店員（アテンダント）が容易に確認できるようにするための確認処理などを実行する。 As the electronic devices 30 and 40, for example, a smartphone, a tablet-type personal computer (PC), or the like is used. The electronic device 30 is purchased with a product (purchased product) that has been registered and registered for the product to be purchased based on an application program (including a check program) for using the service provided by the store system 12. An individual check process for checking whether the product in the cart 60 or the basket as a schedule matches is executed in cooperation with the electronic device 50 (clip terminal). In the electronic device 40, the clerk (attendant) matches the product information registered by the registration process with the product put in the cart 60 based on the confirmation program for confirming the registration process executed by the electronic device 30. Perform confirmation processing so that it can be easily confirmed.

電子機器３０と電子機器５０（クリップ端末５０）とは、クリップ端末管理サーバ２０Ｂ（ネットワーク２０Ｅ）を介して通信しても良いし、直接、近距離無線通信によって通信しても良い。さらに、通信ケーブルを相互に接続して、有線通信をするようにしても良い。 The electronic device 30 and the electronic device 50 (clip terminal 50) may communicate with each other via the clip terminal management server 20B (network 20E), or may directly communicate with each other by short-range wireless communication. Further, communication cables may be connected to each other for wired communication.

図２は、本実施形態における電子機器３０，５０の構成を示すブロック図である。図２に示す電子機器３０は、例えばスマートフォンにより実現されているものとして説明する。また、電子機器５０は、店舗システム１２において個体チェック処理を実行するための専用のクリップ端末５０として構成されているものとする。以下、クリップ端末５０として説明する。なお、クリップ端末５０は、スマートフォンなどのカメラが実装された汎用の機器（コンピュータ）に、チェックプログラムをインストールすることで実現することも可能である。 FIG. 2 is a block diagram showing the configurations of the electronic devices 30 and 50 according to the present embodiment. The electronic device 30 shown in FIG. 2 will be described as being realized by, for example, a smartphone. Further, it is assumed that the electronic device 50 is configured as a dedicated clip terminal 50 for executing the individual check process in the store system 12. Hereinafter, the clip terminal 50 will be described. The clip terminal 50 can also be realized by installing a check program in a general-purpose device (computer) such as a smartphone on which a camera is mounted.

電子機器３０は、プロセッサ３０Ａ、メモリ３０Ｂ、記憶装置３０Ｃ、タッチパネル３０Ｄ、カメラ３０Ｅ、通信モジュール３０Ｆ、及びバッテリ３０Ｇが設けられている。
プロセッサ３０Ａは、メモリ３０Ｂに記録されたプログラムを実行することにより、電子機器３０としての各種処理を実現するために各部を制御する回路である。 The electronic device 30 is provided with a processor 30A, a memory 30B, a storage device 30C, a touch panel 30D, a camera 30E, a communication module 30F, and a battery 30G.
The processor 30A is a circuit that controls each part in order to realize various processes as the electronic device 30 by executing a program recorded in the memory 30B.

メモリ３０Ｂは、プロセッサ３０Ａにより実行されるプログラムの他、プロセッサ３０Ａが各種の処理を実行する上で使用するデータを記録する。メモリ３０Ｂに記録されるプログラムには、例えば、購入予定の商品についての登録処理を実行する登録処理プログラム、登録処理がされた商品（買上商品）と購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックするための個体チェック処理を実行するチェックプログラムが含まれる。メモリ３０Ｂに記憶されるデータには、登録処理において読み取られた商品コードをもとに生成される決済情報、登録処理により登録された商品に関する商品情報などが記憶される。 The memory 30B records not only the program executed by the processor 30A but also the data used by the processor 30A to execute various processes. The programs recorded in the memory 30B include, for example, a registration processing program that executes a registration process for a product to be purchased, a product that has been registered (purchased product), and a product that has been placed in a cart 60 or a basket as a purchase schedule. A check program that executes an individual check process to check whether and match is included. In the data stored in the memory 30B, payment information generated based on the product code read in the registration process, product information related to the product registered in the registration process, and the like are stored.

記憶装置３０Ｃは、ハードディスク（ＨＤＤ（Hard disk drive））装置やＳＳＤ（solid state drive）装置等により実現され、プロセッサ３０Ａが各種の処理を行う上で使用するデータ、あるいはプロセッサ３０Ａでの処理によって生成されたデータを記録する。 The storage device 30C is realized by a hard disk drive (HDD) device, an SSD (solid state drive) device, or the like, and is generated by data used by the processor 30A to perform various processes or by processing by the processor 30A. Record the data that was done.

タッチパネル３０Ｄは、顧客により入力操作がされるデバイスであり、表示デバイス及びタッチセンサを含む。タッチパネル３０Ｄには、プロセッサ３０Ａの処理に伴う、ＧＵＩ（Graphical User Interface）画面などの任意の画面を表示する。
カメラ３０Ｅは、プロセッサ３０Ａの制御のもとで画像を撮影する。 The touch panel 30D is a device for which an input operation is performed by a customer, and includes a display device and a touch sensor. The touch panel 30D displays an arbitrary screen such as a GUI (Graphical User Interface) screen associated with the processing of the processor 30A.
The camera 30E captures an image under the control of the processor 30A.

通信モジュール３０Ｆは、プロセッサ３０Ａの制御のもとで外部の電子機器との通信を制御する。通信モジュール３０Ｆは、アクセスポイント２０Ｆとの無線通信、クリップ端末５０等の他の電子機器との近距離無線通信などの通信を制御することができる。 The communication module 30F controls communication with an external electronic device under the control of the processor 30A. The communication module 30F can control communication such as wireless communication with the access point 20F and short-range wireless communication with other electronic devices such as the clip terminal 50.

クリップ端末５０は、プロセッサ５０Ａ、メモリ５０Ｂ、記憶装置５０Ｃ、タッチパネル５０Ｄ、カメラ５０Ｅ、通信モジュール５０Ｆ、バッテリ５０Ｇ、Ｉ／Ｏインタフェース５０Ｈ、及びリーダライタ５０Ｊが設けられている。 The clip terminal 50 is provided with a processor 50A, a memory 50B, a storage device 50C, a touch panel 50D, a camera 50E, a communication module 50F, a battery 50G, an I / O interface 50H, and a reader / writer 50J.

プロセッサ５０Ａは、メモリ５０Ｂに記録されたプログラムを実行することにより、クリップ端末５０としての各種処理を実現するために各部を制御する回路である。 The processor 50A is a circuit that controls each part in order to realize various processes as a clip terminal 50 by executing a program recorded in the memory 50B.

メモリ５０Ｂは、プロセッサ５０Ａにより実行されるプログラムの他、プロセッサ５０Ａが各種の処理を実行する上で使用するデータを記録する。メモリ５０Ｂに記録されるプログラムには、登録処理がされた商品（買上商品）と購入予定としてカート６０やカゴに入れられた商品とが一致しているかをチェックする個体チェック処理を実現するチェックプログラムが含まれる。チェックプログラムには、カメラ５０Ｅにより撮影された画像から商品に該当するオブジェクトを検出し、商品がカート６０に入れられた、及び商品がカート６０から取り出されたことを検出する画像処理を実現する画像処理プログラムが含まれる。メモリ５０Ｂに記憶されるデータには、電子機器３０の登録処理により登録された商品情報、画像処理により検出されるオブジェクトを管理するオブジェクト管理データ（図１１参照）、カート６０に入れられた商品をチェックするための商品チェックリスト（図８参照）などの各種データが記憶される。 The memory 50B records not only the program executed by the processor 50A but also the data used by the processor 50A to execute various processes. The program recorded in the memory 50B is a check program that realizes an individual check process that checks whether the registered product (purchased product) matches the product placed in the cart 60 or basket as a purchase schedule. Is included. The check program is an image that realizes image processing that detects an object corresponding to a product from an image taken by the camera 50E and detects that the product has been put in the cart 60 and the product has been taken out of the cart 60. A processing program is included. The data stored in the memory 50B includes product information registered by the registration process of the electronic device 30, object management data for managing objects detected by image processing (see FIG. 11), and products stored in the cart 60. Various data such as a product checklist for checking (see FIG. 8) are stored.

記憶装置５０Ｃは、ハードディスク装置（ＨＤＤ（Hard disk drive））やＳＳＤ（solid state drive）装置等により実現され、プロセッサ５０Ａが各種の処理を行う上で使用するデータ、あるいはプロセッサ５０Ａでの処理によって生成されたデータを記録する。 The storage device 50C is realized by a hard disk device (HDD (Hard disk drive)), an SSD (solid state drive) device, or the like, and is generated by data used by the processor 50A to perform various processes or by processing by the processor 50A. Record the data that was done.

タッチパネル５０Ｄは、顧客により入力操作がされるデバイスであり、表示デバイス及びタッチセンサを含む。タッチパネル５０Ｄには、プロセッサ５０Ａの処理に伴う、ＧＵＩ（Graphical User Interface）画面などの任意の画面を表示する。
カメラ５０Ｅは、プロセッサ５０Ａの制御のもとで画像を撮影する。 The touch panel 50D is a device for which an input operation is performed by a customer, and includes a display device and a touch sensor. The touch panel 50D displays an arbitrary screen such as a GUI (Graphical User Interface) screen associated with the processing of the processor 50A.
The camera 50E captures an image under the control of the processor 50A.

通信モジュール５０Ｆは、プロセッサ５０Ａの制御のもとで外部の電子機器との通信を制御する。通信モジュール５０Ｆは、アクセスポイント２０Ｆとの無線通信、電子機器３０等の他の電子機器との近距離無線通信などの通信を制御することができる。 The communication module 50F controls communication with an external electronic device under the control of the processor 50A. The communication module 50F can control communication such as wireless communication with the access point 20F and short-range wireless communication with other electronic devices such as the electronic device 30.

Ｉ／Ｏインタフェース５０Ｈは、外部機器からの信号を入力するためのインタフェースであり、例えばカート６０のカゴ底部６０Ｃに取り付けた重量センサ６０１（計量器、感圧器、重量計など）が接続される。重量センサ６０１は、カート６０に入れられた（載置）商品の重量を検出して検出信号を出力する。 The I / O interface 50H is an interface for inputting a signal from an external device, and is connected to, for example, a weight sensor 601 (measurement instrument, pressure sensitive device, weight scale, etc.) attached to the bottom 60C of the basket of the cart 60. The weight sensor 601 detects the weight of the (placed) product placed in the cart 60 and outputs a detection signal.

リーダライタ５０Ｊは、店舗内で販売される各商品や店舗内の商品棚などに取り付けられたＲＦ（Radio Frequency）タグとの通信をする。リーダライタ５０Ｊによる通信範囲は、例えばカート６０に入れられた商品のＲＦタグと通信可能な範囲、あるいはカート６０を店舗内で移動させることで商品棚に取り付けられたＲＦタグと通信可能な範囲とする。リーダライタ５０Ｊは、カート６０に商品が入れられた、あるいは取り出されたことを検知するために使用する、あるいはクリップ端末５０が装着されたカート６０の店舗内の位置を検出するために使用することができる。 The reader / writer 50J communicates with an RF (Radio Frequency) tag attached to each product sold in the store or a product shelf in the store. The communication range by the reader / writer 50J is, for example, the range in which communication is possible with the RF tag of the product placed in the cart 60, or the range in which communication is possible with the RF tag attached to the product shelf by moving the cart 60 in the store. do. The reader / writer 50J is used to detect that a product has been put in or taken out of the cart 60, or is used to detect the position of the cart 60 in which the clip terminal 50 is mounted in the store. Can be done.

図３は、本実施形態におけるクリップ端末５０の使用例を示す図、図４は、本実施形態におけるクリップ端末５０の外観を示す図である。 FIG. 3 is a diagram showing an example of using the clip terminal 50 in the present embodiment, and FIG. 4 is a diagram showing the appearance of the clip terminal 50 in the present embodiment.

クリップ端末５０は、例えば、店舗内で使用されるカート６０の上部フレーム６０Ｂに装着して使用される。図４に示すように、クリップ端末５０には、クリップ６０ｋが設けられており、任意に着脱可能となっている。従って、店舗に予め用意されている全てのカート６０に予めクリップ端末５０を装着しておく必要がなく、クリップ端末５０を利用した個体チェック処理のサービスを利用する顧客が使用するカート６０のみに、必要に応じてクリップ端末５０を装着すれば良い。このため、個体チェック処理のサービスを実現するために、店舗を改造したり、カート６０を交換したりするなどの大がかりな投資が不要であり、低コストで実現することが可能である。 The clip terminal 50 is used, for example, by being attached to the upper frame 60B of the cart 60 used in the store. As shown in FIG. 4, the clip terminal 50 is provided with a clip 60k, which can be arbitrarily attached and detached. Therefore, it is not necessary to attach the clip terminal 50 to all the carts 60 prepared in advance in the store, and only the cart 60 used by the customer who uses the individual check processing service using the clip terminal 50 can be used. The clip terminal 50 may be attached as needed. Therefore, in order to realize the service of individual check processing, a large-scale investment such as remodeling a store or exchanging a cart 60 is not required, and it can be realized at low cost.

図３に示す例では、カート６０のハンドル６０Ａの側の上部フレーム６０Ｂに装着された例を示している。クリップ端末５０を装着する際には、クリップ端末５０に設けられたカメラ５０Ｅをカゴ底部６０Ｃの方向に向けて、少なくともカート６０に入れられた全ての商品を撮影可能となるように撮影範囲が調整される。カメラ５０Ｅによる撮影範囲は、好ましくは、上部フレーム６０Ｂを含むようにして、カメラ５０Ｅにより撮影された画像において、カゴの内外の領域を明確に区分できるようにする。さらに、カメラ５０Ｅによる撮影範囲は、顧客による商品の出し入れの動作を検出できるように、例えば顧客の腕（手）の動きを撮影可能とすることが望ましい。 In the example shown in FIG. 3, an example mounted on the upper frame 60B on the side of the handle 60A of the cart 60 is shown. When the clip terminal 50 is attached, the shooting range is adjusted so that the camera 50E provided on the clip terminal 50 is directed toward the bottom 60C of the basket and at least all the products in the cart 60 can be photographed. Will be done. The shooting range by the camera 50E preferably includes the upper frame 60B so that the inside and outside regions of the basket can be clearly separated in the image shot by the camera 50E. Further, it is desirable that the shooting range of the camera 50E be capable of shooting, for example, the movement of the customer's arm (hand) so that the movement of the customer in and out of the product can be detected.

また、クリップ端末５０は、図４に示すように、上部フレーム６０Ｂに装着することで、タッチパネル５０Ｄの表示面が顧客側に向くようにする。これにより、カメラ５０Ｅにより撮影された画像や、撮影された画像を利用した個体チェック処理のチェック結果を表す情報（メッセージ等）の確認が容易となる。 Further, as shown in FIG. 4, the clip terminal 50 is attached to the upper frame 60B so that the display surface of the touch panel 50D faces the customer side. This makes it easy to confirm the image taken by the camera 50E and the information (message or the like) representing the check result of the individual check process using the taken image.

次に、本実施形態の店舗システム１２において使用される電子機器３０とクリップ端末５０（電子機器）の動作について説明する。図５は、本実施形態における電子機器３０の動作を説明するためのフローチャートである。図６及び図７は、本実施形態におけるクリップ端末５０の動作を説明するためのフローチャートである。 Next, the operations of the electronic device 30 and the clip terminal 50 (electronic device) used in the store system 12 of the present embodiment will be described. FIG. 5 is a flowchart for explaining the operation of the electronic device 30 in the present embodiment. 6 and 7 are flowcharts for explaining the operation of the clip terminal 50 in the present embodiment.

顧客は電子機器３０を用いて登録処理をする場合、店舗システム１２が提供するサービスを利用するためのアプリケーションプログラム（チェックプログラム）を起動させる。以下、電子機器３０のプロセッサ３０Ａは、アプリケーションに基づいて、以下に説明する登録処理及び個体チェック処理を実行する。 When the customer performs the registration process using the electronic device 30, the customer activates an application program (check program) for using the service provided by the store system 12. Hereinafter, the processor 30A of the electronic device 30 executes the registration process and the individual check process described below based on the application.

まず、電子機器３０は、店舗システム１２に接続するためのログイン処理を実行する（Ａｃｔ１０）。ログイン処理では、顧客の操作により、例えば会員カードに付された会員に固有の会員コードを含むバーコードをカメラ３０Ｅにより読み取らせる（画像撮影）。プロセッサ３０Ａは、カメラ３０Ｅに読み取られたバーコードから会員コードを抽出し、クリップ端末管理サーバ２０Ｂに送信する。クリップ端末管理サーバ２０Ｂは、電子機器３０から受信した会員コードをもとに、顧客システム１０Ｂにおいて管理された会員データと照合して会員認証をする。 First, the electronic device 30 executes a login process for connecting to the store system 12 (Act 10). In the login process, the camera 30E reads, for example, a barcode including a member code unique to the member attached to the membership card by the operation of the customer (image shooting). The processor 30A extracts the member code from the barcode read by the camera 30E and transmits it to the clip terminal management server 20B. The clip terminal management server 20B collates with the member data managed in the customer system 10B based on the member code received from the electronic device 30 to authenticate the member.

電子機器３０は、クリップ端末管理サーバ２０Ｂにより会員認証されたことが通知されると、店舗で利用可能なサービスの選択画面を表示させる。店舗で利用可能なサービスには、購入予定の処理についての登録処理の他、チラシ情報の表示、特売商品の案内表示、店舗案内（マップ）表示、クリップ端末５０の利用などがある。クリップ端末５０を利用することで、例えばカート６０に入れられた商品について登録処理がされていない場合にクリップ端末５０からメッセージが出力される。従って、顧客は、購入予定の商品について登録忘れなどを防ぐことができる。また、顧客により店舗内で買い回りがされている間に、クリップ端末５０により購入予定商品のチェックがされているため、顧客による登録処理が終了した後のアテンダント（店員）による確認作業の負担を軽減することができる。 When the electronic device 30 is notified by the clip terminal management server 20B that the member has been authenticated, the electronic device 30 displays a selection screen of services available in the store. Services that can be used at stores include registration processing for processing of purchase schedules, display of leaflet information, display of information on special sale products, display of store information (map), use of clip terminal 50, and the like. By using the clip terminal 50, for example, a message is output from the clip terminal 50 when the product put in the cart 60 has not been registered. Therefore, the customer can prevent forgetting to register the product to be purchased. In addition, since the clip terminal 50 checks the products to be purchased while the customer is buying around in the store, the attendant (clerk) bears the burden of confirmation work after the registration process by the customer is completed. Can be mitigated.

店舗システム１２は、顧客がクリップ端末５０を利用した場合には、顧客に対して利益（ポイントなど）を提供する（顧客システム１０Ｂにおいて顧客に対する利益を示すデータを記憶する）ことで、顧客に対してクリップ端末５０の利用を促すようにしても良い。 When the customer uses the clip terminal 50, the store system 12 provides profits (points, etc.) to the customer (stores data indicating profits to the customer in the customer system 10B), thereby providing the customer with profits (points, etc.). You may encourage the use of the clip terminal 50.

クリップ端末５０を利用する場合、電子機器３０とクリップ端末５０とが通信可能な状態にする。例えば、顧客が使用するカート６０にクリップ端末５０を装着し（あるいは予めクリップ端末５０が装着されたカート６０を顧客に使用させ）、顧客の電子機器３０とクリップ端末５０とのリンクを設定する。例えば、電子機器３０とクリップ端末５０が近距離無線通信により通信可能となるようにペアリングさせる。あるいは、クリップ端末５０の固有コードを電子機器３０により読み取らせて、電子機器３０からクリップ端末管理サーバ２０Ｂに送信する。クリップ端末管理サーバ２０Ｂは、協働して個体チェック処理を実行する電子機器３０とクリップ端末５０とを判別し、電子機器３０とクリップ端末５０との間でクリップ端末管理サーバ２０Ｂ（ネットワーク２０Ｅ）を介して通信ができるようにする。なお、電子機器３０とクリップ端末５０との接続方法は、他の方法を用いることも可能である。 When the clip terminal 50 is used, the electronic device 30 and the clip terminal 50 are brought into a communicable state. For example, the clip terminal 50 is attached to the cart 60 used by the customer (or the customer is made to use the cart 60 to which the clip terminal 50 is attached in advance), and the link between the customer's electronic device 30 and the clip terminal 50 is set. For example, the electronic device 30 and the clip terminal 50 are paired so that they can communicate with each other by short-range wireless communication. Alternatively, the unique code of the clip terminal 50 is read by the electronic device 30 and transmitted from the electronic device 30 to the clip terminal management server 20B. The clip terminal management server 20B discriminates between the electronic device 30 and the clip terminal 50 that jointly execute the individual check process, and sets the clip terminal management server 20B (network 20E) between the electronic device 30 and the clip terminal 50. Allow communication via. It should be noted that other methods can be used as the connection method between the electronic device 30 and the clip terminal 50.

電子機器３０のプロセッサ３０Ａは、クリップ端末５０と接続されると（Ａｃｔ１１）、商品の登録処理を実行可能な状態にする。また、クリップ端末５０のプロセッサ５０Ａは、電子機器３０と接続される（Ａｃｔ４０）、商品検出処理を開始する。商品検出処理では、カメラ５０Ｅにより撮影された画像から商品に相当するオブジェクトを検出する処理である。プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像から商品等に相当するオブジェクトを既存の画像処理により検出し、それぞれのオブジェクトの位置を記憶しておく。プロセッサ５０Ａは、例えばカートの外部に相当する領域（カート外）から、カートの内部（カート内）に移動するオブジェクトが検出した場合、顧客が商品を出し入れするための動作をしたものと判別する。この動作を検出した前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。また、顧客の動作を検出した場合でも、カート内の商品に相当するオブジェクトの数が変化していない場合には、例えば顧客がカート内の商品を置き直したものと判別する。プロセッサ５０Ａは、置き直されたオブジェクトの位置を記憶しておく。プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像から検出されたオブジェクトを商品チェックリストに記憶させる。 When the processor 30A of the electronic device 30 is connected to the clip terminal 50 (Act 11), the processor 30A of the electronic device 30 is in a state in which the product registration process can be executed. Further, the processor 50A of the clip terminal 50 is connected to the electronic device 30 (Act 40), and starts the product detection process. The product detection process is a process of detecting an object corresponding to a product from an image taken by the camera 50E. The processor 50A detects an object corresponding to a product or the like from an image taken by the camera 50E by existing image processing, and stores the position of each object. When the processor 50A detects an object moving to the inside of the cart (inside the cart) from, for example, an area corresponding to the outside of the cart (outside the cart), the processor 50A determines that the customer has performed an operation for putting in and taking out the product. Based on the changes in the objects existing in the cart before and after detecting this operation, it is detected that the product has been put in or taken out. Further, even when the customer's movement is detected, if the number of objects corresponding to the products in the cart has not changed, it is determined that the customer has replaced the products in the cart, for example. Processor 50A stores the position of the repositioned object. The processor 50A stores the object detected from the image taken by the camera 50E in the product checklist.

図８は、本実施形態における商品チェックリストの一例を示す図である。商品チェックリストでは、図８に示すように、カメラ５０Ｅにより撮影された画像から検出されたオブジェクト（検出オブジェクト）のデータ、及び電子機器３０における登録処理により登録された商品の情報（登録商品）のデータ、登録商品と検出オブジェクトに対応する商品との一致をチェックした結果を示すデータ（チェック結果「ＯＫ」「ＮＧ」）とが対応づけられたデータ（例えばＤ１〜Ｄ４）が記憶される。 FIG. 8 is a diagram showing an example of a product checklist according to the present embodiment. In the product checklist, as shown in FIG. 8, the data of the object (detection object) detected from the image taken by the camera 50E and the information of the product registered by the registration process in the electronic device 30 (registered product). Data (for example, D1 to D4) associated with the data and data indicating the result of checking the match between the registered product and the product corresponding to the detection object (check results “OK” and “NG”) are stored.

顧客は、店内を買い回りしながら購入しようとする商品について、電子機器３０のカメラ３０Ｅを用いて商品に付されたバーコードスキャンさせることにより商品登録する（Ａｃｔ１２）。プロセッサ３０Ａは、カメラ３０Ｅにより撮影された画像からバーコードを検出して、バーコードから商品コードを抽出する。プロセッサ３０Ａは、商品コードに対応する商品の情報を、例えばクリップ端末管理サーバ２０Ｂ（ネットワーク２０Ｅ）を通じて店舗サーバ２０Ａから取得してタッチパネル３０Ｄに表示させる。すなわち、商品スキャンによって読み取られた商品の商品名称、価格、商品画像などを表示して顧客により確認させる。ここで、顧客により商品登録の指示操作（例えばタッチパネル３０Ｄに表示された商品登録のボタンのタッチ）がされると（Ａｃｔ１３、Ｙｅｓ）、プロセッサ３０Ａは、商品スキャンにより読み取られた商品を購入予定の登録商品として記憶する（Ａｃｔ１４）。また、プロセッサ３０Ａは、登録商品の情報をクリップ端末５０に対して送信する（Ａｃｔ１５）。 The customer registers the product to be purchased while buying around the store by scanning the barcode attached to the product using the camera 30E of the electronic device 30 (Act 12). The processor 30A detects a barcode from an image taken by the camera 30E and extracts a product code from the barcode. The processor 30A acquires the product information corresponding to the product code from the store server 20A through, for example, the clip terminal management server 20B (network 20E) and displays it on the touch panel 30D. That is, the product name, price, product image, etc. of the product read by the product scan are displayed and confirmed by the customer. Here, when the customer performs an instruction operation for product registration (for example, touching the product registration button displayed on the touch panel 30D) (Act13, Yes), the processor 30A plans to purchase the product read by the product scan. Store as a registered product (Act14). Further, the processor 30A transmits the information of the registered product to the clip terminal 50 (Act 15).

一方、クリップ端末５０は、電子機器３０から登録商品の情報を受信すると（Ａｃｔ４２、Ｙｅｓ）、登録商品の情報を商品チェックリストに記憶させる（Ａｃｔ４３）。プロセッサ５０Ａは、登録商品の情報を参照して大型商品であることを検出した場合、すなわちカート６０に入れる必要がない（入れられない）商品であることが判別される場合には、商品チェックリストにスキップフラグをセットする（Ａｃｔ４５）。図８に示す例では、データＤ２として、登録商品「商品Ｃ」に対応づけてスキップフラグがセットされている。スキップフラグがセットされた登録商品「商品Ｃ」については、プロセッサ５０Ａは、登録商品とカート６０に入れられた商品との一致をチェックする対象から外す。また、プロセッサ５０Ａは、電子機器３０に対して商品入れ不要通知を送信する（Ａｃｔ５７）。 On the other hand, when the clip terminal 50 receives the information of the registered product from the electronic device 30 (Act 42, Yes), the clip terminal 50 stores the information of the registered product in the product checklist (Act 43). When the processor 50A detects that the product is a large product by referring to the information of the registered product, that is, when it is determined that the product does not need to be added to the cart 60 (cannot be added), the product checklist Set the skip flag to (Act45). In the example shown in FIG. 8, the skip flag is set as the data D2 in association with the registered product “product C”. The processor 50A excludes the registered product "Product C" for which the skip flag is set from the target of checking the match between the registered product and the product placed in the cart 60. Further, the processor 50A transmits a product insertion unnecessary notification to the electronic device 30 (Act 57).

電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品入れ不要通知が受信されると（Ａｃｔ１８、Ｙｅｓ）、タッチパネル３０Ｄにおいて、登録済みの商品の情報（商品名、商品画像、価格など）と共に、顧客に対して商品をカート６０に入れる必要ないことを通知するメッセージを表示させる。なお、商品入れ不要通知のメッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い。 When the processor 30A of the electronic device 30 receives the product insertion unnecessary notification from the clip terminal 50 (Act18, Yes), the customer along with the registered product information (product name, product image, price, etc.) on the touch panel 30D. Is displayed with a message notifying that the product does not need to be added to the cart 60. The message of the product insertion unnecessary notification may be displayed not only on the electronic device 30 but also on the touch panel 50D of the clip terminal 50.

一方、登録商品が大型商品でない場合、プロセッサ５０Ａは、例えば、ネットワーク２０Ｅを通じてクリップ端末管理サーバ２０Ｂから、登録商品を画像処理によって識別するための商品辞書データを取得する。例えば、プロセッサ５０Ａは、登録商品に対応する商品辞書データを記憶していない場合に、クリップ端末管理サーバ２０Ｂに対して、登録商品に対応する商品辞書データの送信要求を出力する。クリップ端末管理サーバ２０Ｂは、クリップ端末５０からの送信要求に応じて、該当する商品の商品辞書データをクリップ端末５０に送信する。なお、電子機器３０とクリップ端末５０とがクリップ端末管理サーバ２０Ｂを介して通信する場合には、クリップ端末管理サーバ２０Ｂは、電子機器３０から登録商品の情報を受信した場合に、登録商品の情報と共に該当する商品の商品辞書データをクリップ端末５０に対して送信するようにしても良い。また、商品辞書データは、予めクリップ端末５０に記憶されていても良い。 On the other hand, when the registered product is not a large product, the processor 50A acquires product dictionary data for identifying the registered product by image processing from the clip terminal management server 20B, for example, through the network 20E. For example, when the processor 50A does not store the product dictionary data corresponding to the registered product, the processor 50A outputs a transmission request of the product dictionary data corresponding to the registered product to the clip terminal management server 20B. The clip terminal management server 20B transmits the product dictionary data of the corresponding product to the clip terminal 50 in response to the transmission request from the clip terminal 50. When the electronic device 30 and the clip terminal 50 communicate with each other via the clip terminal management server 20B, the clip terminal management server 20B receives information on the registered product from the electronic device 30, and information on the registered product. At the same time, the product dictionary data of the corresponding product may be transmitted to the clip terminal 50. Further, the product dictionary data may be stored in the clip terminal 50 in advance.

また、商品チェックリストに登録商品を記憶させると、プロセッサ５０Ａは、この登録商品を記憶させてからの経過時間の計測を開始する。プロセッサ５０Ａは、登録商品に対応する商品がカート６０に入れられたことが確認されるまで、経過時間が予め設定された時間を経過したかを判別する（Ａｃｔ４６）。 Further, when the registered product is stored in the product checklist, the processor 50A starts measuring the elapsed time from storing the registered product. The processor 50A determines whether the elapsed time has elapsed a preset time until it is confirmed that the product corresponding to the registered product has been put in the cart 60 (Act 46).

顧客による購入予定とする商品の扱いは、例えば商品を商品棚等から取り上げて、電子機器３０を用いて商品スキャンをした後、カート６０に載せるといった一連の動作で行われることが多い。従って、商品スキャン（クリップ端末５０での登録商品の記憶）から予め設定された時間を経過した場合には、登録済みの商品のカート６０への入れ忘れの可能性があるため顧客に通知できるようにしている。プロセッサ５０Ａは、登録商品について経過時間が予め設定された時間を経過したことが判別された場合（Ａｃｔ４６、Ｙｅｓ）、電子機器３０に対して商品入れ要求を送信する（Ａｃｔ４７）。 In many cases, a customer handles a product to be purchased by a series of operations such as picking up the product from a product shelf, scanning the product using an electronic device 30, and then placing the product on a cart 60. Therefore, if a preset time has elapsed from the product scan (memory of the registered product in the clip terminal 50), the registered product may be forgotten to be added to the cart 60, so the customer can be notified. ing. When it is determined that the elapsed time of the registered product has elapsed (Act46, Yes), the processor 50A transmits a product insertion request to the electronic device 30 (Act47).

電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品入れ要求が受信されると（Ａｃｔ１８、Ｙｅｓ）、タッチパネル３０Ｄにおいて、登録済みの商品の情報（商品名、商品画像、価格など）と共に、顧客に対して商品をカート６０に入れることを促す商品入れ要求メッセージを表示させる（Ａｃｔ１９）。例えば、図９（Ａ）に示すように、「登録した商品をカートに入れてください。」のメッセージを表示させる。なお、商品入れ要求メッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い。なお、商品入れ要求メッセージの対象とする商品が複数個ある場合には、対象とする複数の商品の情報をリスト化して表示するなどして、対象商品を顧客が確実に認識できるようにしても良い。 When the processor 30A of the electronic device 30 receives the product insertion request from the clip terminal 50 (Act18, Yes), the processor 30A sends the customer with the registered product information (product name, product image, price, etc.) on the touch panel 30D. On the other hand, a product insertion request message prompting the product to be added to the cart 60 is displayed (Act 19). For example, as shown in FIG. 9A, the message "Please add the registered product to the cart" is displayed. The product insertion request message may be displayed not only on the electronic device 30 but also on the touch panel 50D of the clip terminal 50. If there are multiple products that are the target of the product entry request message, information on the multiple target products may be listed and displayed so that the customer can reliably recognize the target product. good.

一方、クリップ端末５０のプロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像に対する画像処理により、顧客が商品を出し入れするための動作をしたと検出された場合に、この動作を検出した前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。なお、プロセッサ５０Ａは、画像をもとに商品の出し入れの動作を検出するだけでなく、この動作を検出したタイミングでの重量センサ６０１により検出される重量の変化と組み合わせて、商品の出し入れを判別することもできる。 On the other hand, when the processor 50A of the clip terminal 50 detects that the customer has performed an operation for putting in and out the product by image processing on the image taken by the camera 50E, the processor 50A is placed in the cart before and after detecting this operation. Detects that a product has been put in or taken out based on changes in existing objects. The processor 50A not only detects the movement of loading and unloading the product based on the image, but also determines the loading and unloading of the product in combination with the change in weight detected by the weight sensor 601 at the timing when this operation is detected. You can also do it.

図１０には、カメラ５０Ｅにより撮影された画像の一例を示している。図１０に示す例では、例えば３個の商品Ａ，Ｂ，Ｅがカート６０に入れられた状態を表している。 FIG. 10 shows an example of an image taken by the camera 50E. In the example shown in FIG. 10, for example, three products A, B, and E are shown in a cart 60.

プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像中からカート６０の上部フレーム６０Ｂの位置及びカゴ底部６０Ｃの領域を検出する。クリップ端末５０がカート６０に固定されているため、基本的に買い回り中においては、画像中の上部フレーム６０Ｂ及びカゴ底部６０Ｃの領域は変動しない。プロセッサ５０Ａは、上部フレーム６０Ｂの位置を基準にして、例えばカートの外部に相当する領域（カート外）から、カートの内部（カート内）に移動するオブジェクトが検出した場合、顧客が商品を出し入れするための動作をしたものと判別する。 The processor 50A detects the position of the upper frame 60B of the cart 60 and the region of the bottom 60C of the basket from the image taken by the camera 50E. Since the clip terminal 50 is fixed to the cart 60, the areas of the upper frame 60B and the basket bottom 60C in the image basically do not change during the purchase. When the processor 50A detects an object moving to the inside of the cart (inside the cart) from an area corresponding to the outside of the cart (outside the cart) with reference to the position of the upper frame 60B, the customer puts in or takes out the product. It is determined that the operation for the purpose has been performed.

また、プロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像から商品等に相当するオブジェクトを既存の画像処理により検出し、それぞれのオブジェクトの位置をオブジェクト管理データとして記憶しておく。 Further, the processor 50A detects an object corresponding to a product or the like from an image taken by the camera 50E by existing image processing, and stores the position of each object as object management data.

図１１には、図１０に示す画像から検出された商品に相当するオブジェクトＯＪ−Ａ，ＯＪ−Ｂ，ＯＪ−Ｅの一例を示している。プロセッサ５０Ａは、顧客により商品の出し入れされた前後のカート内に存在するオブジェクトの変化をもとに、商品が入れられた、あるいは取り出されたことを検出する。 FIG. 11 shows an example of objects OJ-A, OJ-B, and OJ-E corresponding to the goods detected from the image shown in FIG. The processor 50A detects that the product has been put in or taken out based on the change of the objects existing in the cart before and after the product is put in and taken out by the customer.

プロセッサ５０Ａは、商品に相当するオブジェクトが画像から検出されると（Ａｃｔ４８、Ｙｅｓ）、商品チェックリストを参照して、チェック結果「ＮＧ」の登録商品が記憶されているかを判別する。すなわち、電子機器３０により商品登録済みであるが、対応する商品がカート６０に入れられたことが確認されていない商品があるかを判別する。ここで、チェック結果「ＮＧ」の登録商品が記憶されている場合（Ａｃｔ４９、Ｙｅｓ）、プロセッサ５０Ａは、チェック結果「ＮＧ」の登録商品に対応する商品辞書データを用いて、画像から検出されたオブジェクトについて認識処理を実行する（Ａｃｔ５２）。商品辞書データは、例えば商品に付されたバーコード、パッケージのデザインや文字などの特徴をもとに、商品を認識することができるように作成されている。 When the object corresponding to the product is detected from the image (Act48, Yes), the processor 50A refers to the product checklist and determines whether or not the registered product with the check result “NG” is stored. That is, it is determined whether or not there is a product that has been registered by the electronic device 30 but the corresponding product has not been confirmed to be put in the cart 60. Here, when the registered product of the check result "NG" is stored (Act49, Yes), the processor 50A is detected from the image using the product dictionary data corresponding to the registered product of the check result "NG". The recognition process is executed for the object (Act52). The product dictionary data is created so that the product can be recognized based on the characteristics such as the barcode attached to the product, the design of the package, and the characters.

ここで、商品辞書データを用いた認識処理の処理結果をもとに、画像から検出されたオブジェクトが商品辞書データに対応する登録商品であるか判別する。例えば、オブジェクトが表す画像の特徴と商品辞書データが示す特徴とが、予め設定された基準値を越える類似性を示す場合に、商品辞書データに対応する登録商品であると判別する。 Here, based on the processing result of the recognition process using the product dictionary data, it is determined whether the object detected from the image is a registered product corresponding to the product dictionary data. For example, when the feature of the image represented by the object and the feature shown by the product dictionary data show similarity exceeding a preset reference value, it is determined that the product is a registered product corresponding to the product dictionary data.

ここで、登録商品であると判別された場合（Ａｃｔ５３、Ｙｅｓ）、プロセッサ５０Ａは、認識処理に用いた商品辞書データに対応する、先に商品チェックリストに記憶されている登録商品と対応づけて、画像から検出されたオブジェクトを検出オブジェクトとして記憶させる（Ａｃｔ５４）。なお、検出オブジェクトに関係するデータとして認識処理における類似性（類似度）を示すデータなどを記憶させても良い。これにより、商品辞書データに対応する登録商品であると判別されたが、類似度が低いために、決済処理の前にアテンダントに商品の確認を促すことができるようにしておく。 Here, when it is determined that the product is a registered product (Act53, Yes), the processor 50A associates it with the registered product previously stored in the product checklist corresponding to the product dictionary data used for the recognition process. , The object detected from the image is stored as a detection object (Act54). It should be noted that data indicating similarity (similarity) in the recognition process may be stored as data related to the detection object. As a result, it is determined that the product is a registered product corresponding to the product dictionary data, but since the similarity is low, it is possible to prompt the attendant to confirm the product before the payment process.

また、プロセッサ５０Ａは、登録商品と検出オブジェクトの組に対応するチェック結果「ＯＫ」をセットして（Ａｃｔ５５）、登録商品がカート６０に入れられたことが確認済みであることを記憶する。この場合、プロセッサ５０Ａは、電子機器３０に対して商品入れ確認を送信する（Ａｃｔ５６）。 Further, the processor 50A sets the check result "OK" corresponding to the set of the registered product and the detection object (Act55), and stores that it has been confirmed that the registered product has been put in the cart 60. In this case, the processor 50A transmits a product entry confirmation to the electronic device 30 (Act56).

電子機器３０は、クリップ端末５０から商品入れ確認が受信されると（Ａｃｔ２０、Ｙｅｓ）、商品入れ要求メッセージを表示している場合には、このメッセージをタッチパネル３０Ｄから消去する（Ａｃｔ２８）。これにより、登録商品がカート６０に入れられたことが、クリップ端末５０により確認されたことを、顧客に対して通知することができる。 When the product insertion confirmation is received from the clip terminal 50 (Act 20, Yes), the electronic device 30 deletes the product insertion request message from the touch panel 30D (Act 28) when displaying the product insertion request message. As a result, it is possible to notify the customer that the clip terminal 50 has confirmed that the registered product has been put in the cart 60.

なお、商品チェックリストにおいて、チェック結果「ＮＧ」の登録商品が複数個ある場合、プロセッサ５０Ａは、それぞれの登録商品の商品辞書データを用いてオブジェクトに対して認識処理を実行する。また、認識処理により登録商品であると判別されなかったオブジェクトについては（Ａｃｔ５３、Ｎｏ）、プロセッサ５０Ａは、商品が未登録の検出オブジェクトとして、チェック結果「ＮＧ」として商品チェックリストに記憶させる（Ａｃｔ５０）。また、画像からオブジェクトが検出された際に（Ａｃｔ４８、Ｙｅｓ）、チェック結果「ＮＧ」の登録商品が記憶されていない場合（Ａｃｔ４９、Ｎｏ）、プロセッサ５０Ａは、同様にして、商品が未登録の検出オブジェクトとして、チェック結果「ＮＧ」として商品チェックリストに記憶させる（Ａｃｔ５０）。 When there are a plurality of registered products with the check result "NG" in the product checklist, the processor 50A executes the recognition process for the object using the product dictionary data of each registered product. Further, for the object that is not determined to be a registered product by the recognition process (Act53, No), the processor 50A stores the product as an unregistered detection object in the product checklist as a check result "NG" (Act50). ). Further, when the object is detected from the image (Act48, Yes) and the registered product of the check result "NG" is not stored (Act49, No), the processor 50A similarly does not register the product. As a detection object, the check result "NG" is stored in the product checklist (Act50).

図８に示すデータＤ３は、商品Ｃについて電子機器３０において登録済みであるが、チェック結果「ＮＧ」がセットされており、カート６０に商品が入れられたことが確認されていないことを表している。また、データＤ４は、未登録の商品Ｅ，Ｆが先にカート６０に入れられたことにより、オブジェクトＥ，Ｆとしてそれぞれ検出されていることを表している（チェック結果「ＮＧ」）。 The data D3 shown in FIG. 8 indicates that the product C has been registered in the electronic device 30, but the check result “NG” is set, and it has not been confirmed that the product has been put in the cart 60. There is. Further, the data D4 indicates that the unregistered products E and F are detected as objects E and F by being put in the cart 60 first (check result “NG”).

プロセッサ５０Ａは、商品が未登録の検出オブジェクト（チェック結果「ＮＧ」）を商品チェックリストに記憶させた場合（Ａｃｔ５０）、電子機器３０に対して商品登録要求を送信する（Ａｃｔ５１）。電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品登録要求が受信される（Ａｃｔ２１、Ｙｅｓ）、タッチパネル３０Ｄにおいて、顧客に対して商品を登録することを促す商品登録要求メッセージを表示させる。例えば、図９（Ｂ）に示すように、「登録されていない商品がカートにあります。商品を登録してください。」の商品登録要求メッセージを表示させる。なお、商品登録要求メッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い（Ａｃｔ２２）。 When the detection object (check result “NG”) in which the product has not been registered is stored in the product checklist (Act 50), the processor 50A transmits a product registration request to the electronic device 30 (Act 51). The processor 30A of the electronic device 30 receives the product registration request from the clip terminal 50 (Act21, Yes), and causes the touch panel 30D to display a product registration request message urging the customer to register the product. For example, as shown in FIG. 9B, the product registration request message "There is an unregistered product in the cart. Please register the product." Is displayed. The product registration request message may be displayed not only on the electronic device 30 but also on the touch panel 50D of the clip terminal 50 (Act 22).

なお、タッチパネル５０Ｄにおいて表示させた商品登録要求メッセージは、前述したように、商品登録された後、この登録された商品の商品辞書データを用いた認識処理に基づいて、カート６０に商品が入れられていることが確認された場合に（Ａｃｔ４９〜５１）、消去される（Ａｃｔ２０，２８）。 As described above, the product registration request message displayed on the touch panel 50D is loaded into the cart 60 based on the recognition process using the product dictionary data of the registered product after the product is registered. When it is confirmed that the product is used (Act 49 to 51), it is deleted (Act 20, 28).

一方、購入予定として登録済みの商品を返品する場合、顧客は、商品登録時と同様にして、返品対象とする商品について、電子機器３０のカメラ３０Ｅを用いて商品に付されたバーコードスキャンさせる（Ａｃｔ１２）。プロセッサ３０Ａは、カメラ３０Ｅにより撮影された画像からバーコードを検出して、バーコードから商品コードを抽出する。プロセッサ３０Ａは、商品コードに対応する商品の情報（商品名称、価格、商品画像など）をタッチパネル３０Ｄに表示させて、返品対象とする商品を顧客に確認させる。ここで、顧客により商品取消の指示操作（例えばタッチパネル３０Ｄに表示された商品取消のボタンのタッチ）がされると（Ａｃｔ１３、Ｎｏ）、プロセッサ３０Ａは、商品スキャンにより読み取られた商品を購入予定から削除する（Ａｃｔ１６）。また、プロセッサ３０Ａは、取消（返品）の対象とする商品の情報と共に登録取消の通知をクリップ端末５０に対して送信する（Ａｃｔ１７）。 On the other hand, when returning a product that has been registered as a purchase schedule, the customer causes the product to be returned to be scanned with a barcode attached to the product using the camera 30E of the electronic device 30 in the same manner as when the product is registered. (Act12). The processor 30A detects a barcode from an image taken by the camera 30E and extracts a product code from the barcode. The processor 30A displays the product information (product name, price, product image, etc.) corresponding to the product code on the touch panel 30D, and causes the customer to confirm the product to be returned. Here, when the customer gives an instruction operation for canceling the product (for example, touching the button for canceling the product displayed on the touch panel 30D) (Act13, No), the processor 30A plans to purchase the product read by the product scan. Delete (Act16). Further, the processor 30A transmits a notification of registration cancellation to the clip terminal 50 together with information on the product to be canceled (returned) (Act 17).

クリップ端末５０は、電子機器３０から登録取消の通知を受信すると（Ａｃｔ６０、Ｙｅｓ）、取消対象の商品の情報をもとに商品チェックリストから該当する登録商品を判別し（Ａｃｔ６１）、この登録商品の情報を削除する（Ａｃｔ６２）。プロセッサ５０Ａは、電子機器３０に対して取消完了の通知を送信する（Ａｃｔ６３）。電子機器３０は、取消完了の通知を受信した際に（Ａｃｔ２５、Ｙｅｓ）、商品入れ要求メッセージを表示している場合には、商品入れ要求メッセージを消去する（Ａｃｔ２８）。例えば、電子機器３０は、前述したように、商品の登録処理がされた後、商品がカート６０に入れられることなく設定時間が経過した場合に、商品入れ要求メッセージを表示させている。顧客が登録処理をした商品について商品取消の操作をすることで、電子機器３０は、該当する商品についての商品入れ要求メッセージを消去する。 When the clip terminal 50 receives the notification of registration cancellation from the electronic device 30 (Act60, Yes), the clip terminal 50 determines the corresponding registered product from the product checklist based on the information of the product to be canceled (Act61), and this registered product. Information is deleted (Act62). The processor 50A transmits a cancellation completion notification to the electronic device 30 (Act 63). When the electronic device 30 receives the cancellation completion notification (Act 25, Yes) and displays the product insertion request message, the electronic device 30 deletes the product insertion request message (Act 28). For example, as described above, the electronic device 30 displays a product insertion request message when the set time elapses without the product being placed in the cart 60 after the product registration process is performed. By performing the product cancellation operation for the product registered by the customer, the electronic device 30 deletes the product insertion request message for the corresponding product.

なお、カート６０に入れられた商品が顧客により取り出された場合、クリップ端末５０のプロセッサ５０Ａは、カメラ５０Ｅにより撮影された画像をもとに、顧客が商品を出し入れするための動作をしたことを判別し、既存の画像処理により取り出された商品に対応するオブジェクトを検出する。なお、商品が入れられた際にオブジェクトを検出する場合と同様にして、重量センサ６０１により検出される重量の変化と組み合わせて、商品が出されたことを判別することもできる。 When the product put in the cart 60 is taken out by the customer, the processor 50A of the clip terminal 50 performs an operation for the customer to put in and take out the product based on the image taken by the camera 50E. Determine and detect the object corresponding to the product extracted by the existing image processing. It should be noted that, in the same manner as when the object is detected when the product is put in, it is possible to determine that the product has been put out in combination with the change in weight detected by the weight sensor 601.

プロセッサ５０Ａは、オブジェクト（商品）がカート６０の外に出されたことを検出した場合（Ａｃｔ６４、Ｙｅｓ）、この検出されたオブジェクトに対応する登録商品が商品チェックリストに記憶されている（チェック結果「ＯＫ」）かを判別する。ここで、対応する登録商品が記憶されていない場合には（Ａｃｔ６５、Ｎｏ）、プロセッサ５０Ａは、取り出された商品に対応する検出オブジェクトを商品チェックリストから削除する（Ａｃｔ６８）。 When the processor 50A detects that the object (product) has been taken out of the cart 60 (Act64, Yes), the registered product corresponding to the detected object is stored in the product checklist (check result). "OK") is determined. Here, if the corresponding registered product is not stored (Act65, No), the processor 50A deletes the detection object corresponding to the retrieved product from the product checklist (Act68).

一方、対応する登録商品が記憶されている場合には（Ａｃｔ６５、Ｙｅｓ）、プロセッサ５０Ａは、電子機器３０に対して商品取消要求を送信する（Ａｃｔ６６）。また、プロセッサ５０Ａは、取り出された商品に対応する検出オブジェクトについてチェック結果「ＮＧ」をセットする（Ａｃｔ６７）。 On the other hand, when the corresponding registered product is stored (Act65, Yes), the processor 50A transmits a product cancellation request to the electronic device 30 (Act66). Further, the processor 50A sets the check result "NG" for the detection object corresponding to the extracted product (Act67).

電子機器３０のプロセッサ３０Ａは、クリップ端末５０から商品取消要求が受信されると（Ａｃｔ２３、Ｙｅｓ）、タッチパネル３０Ｄにおいて、顧客に対して商品の取消操作を促す商品取消要求メッセージを表示させる（Ａｃｔ２４）。例えば、図９（Ｃ）に示すように、「カートから商品が取り出されました。返品する場合には返品操作をしてください。」の商品取消要求メッセージを表示させる。なお、商品取消要求メッセージは、電子機器３０において表示するだけでなく、クリップ端末５０のタッチパネル５０Ｄにおいて表示させるようにしても良い。 When the product cancellation request is received from the clip terminal 50 (Act23, Yes), the processor 30A of the electronic device 30 causes the touch panel 30D to display a product cancellation request message prompting the customer to cancel the product (Act24). .. For example, as shown in FIG. 9 (C), the product cancellation request message "The product has been taken out from the cart. If you want to return it, please perform the return operation." Is displayed. The product cancellation request message may be displayed not only on the electronic device 30 but also on the touch panel 50D of the clip terminal 50.

なお、カート６０から商品が取り出された場合に、直ちに、商品チェックリストに記憶されたデータを更新しているが、予め決められた設定時間（例えば１０秒）が経過した後に、商品の取消（返品）の可能性が高いものとしてデータを更新するようにしても良い。この場合、商品取消要求メッセージについては、商品の取り出しに応じて、直ちに電子機器３０に表示させるようにしても良いし、設定時間が経過した後に表示させるようにしても良い。 When the product is taken out from the cart 60, the data stored in the product checklist is immediately updated, but the product is canceled after a predetermined set time (for example, 10 seconds) has elapsed. You may try to update the data as if it is likely to be returned. In this case, the product cancellation request message may be displayed on the electronic device 30 immediately according to the removal of the product, or may be displayed after the set time has elapsed.

こうして、顧客は、カート６０にクリップ端末５０を装着し、電子機器３０を利用して登録処理をしながら買い回りをすることで、購入予定の商品について登録忘れ、カート６０への商品の入れ忘れがあっても、電子機器３０に表示されるメッセージにより容易に確認することができる。 In this way, the customer attaches the clip terminal 50 to the cart 60 and buys around while performing the registration process using the electronic device 30, so that the customer forgets to register the product to be purchased and forgets to put the product in the cart 60. Even if there is, it can be easily confirmed by the message displayed on the electronic device 30.

顧客は、購入予定とする商品について登録処理が完了すると、例えば小計ボタンの操作により商品登録の終了を指示する。電子機器３０のプロセッサ３０Ａは、顧客により商品登録の終了が指示されると（Ａｃｔ２６、Ｙｅｓ）、登録された商品の確認画面（商品リスト）を表示させると共に、決済方法（クレジット、現金、口座引き落とし、電子マネーなど）を顧客に指定させる。プロセッサ３０Ａは、登録処理により登録された商品の情報をもとに決済情報を生成する。 When the registration process for the product to be purchased is completed, the customer instructs the end of product registration, for example, by operating the subtotal button. When the customer instructs the end of product registration (Act26, Yes), the processor 30A of the electronic device 30 displays a confirmation screen (product list) of the registered product and a payment method (credit, cash, direct debit). , Electronic money, etc.) to the customer. The processor 30A generates payment information based on the information of the product registered by the registration process.

また、電子機器３０のプロセッサ３０Ａは、クリップ端末５０に対して、登録処理終了の通知を送信する（Ａｃｔ２７）。クリップ端末５０のプロセッサ５０Ａは、電子機器３０から登録処理終了の通知が受信されると（Ａｃｔ６９、Ｙｅｓ）、商品チェックリストのデータを電子機器３０に送信する（Ａｃｔ７０）。このデータには、例えば検出オブジェクトを認識した際の類似度を示すデータなども含まれる。プロセッサ５０Ａは、商品チェックリストのデータを送信後に、商品チェックリストのデータをクリアして処理を終了する（Ａｃｔ７１）。 Further, the processor 30A of the electronic device 30 transmits a notification of the end of the registration process to the clip terminal 50 (Act 27). When the processor 50A of the clip terminal 50 receives the notification of the end of the registration process from the electronic device 30 (Act69, Yes), the processor 50A transmits the data of the product checklist to the electronic device 30 (Act70). This data also includes, for example, data indicating the degree of similarity when the detected object is recognized. After transmitting the product checklist data, the processor 50A clears the product checklist data and ends the process (Act71).

なお、登録処理の終了が指示された場合に、商品チェックリストに記憶されたデータにチェック結果「ＮＧ」のデータが残っている場合には、改めて顧客に対して確認を促すためのメッセージを電子機器３０のタッチパネル３０Ｄ（クリップ端末５０のタッチパネル５０Ｄ）に表示させる。 If the end of the registration process is instructed and the check result "NG" data remains in the data stored in the product checklist, a message for prompting the customer to confirm again is electronically sent. It is displayed on the touch panel 30D of the device 30 (touch panel 50D of the clip terminal 50).

最終の確認の指示が顧客から指示されると、電子機器３０のプロセッサ３０Ａは、決済情報と、商品チェックリストに含まれるアテンダントに確認を促すデータを含むコード（バーコードあるいは２次元コード）をタッチパネル３０Ｄに表示させる。 When the customer gives a final confirmation instruction, the processor 30A of the electronic device 30 touch-panels a code (bar code or two-dimensional code) containing payment information and data for prompting the attendant to confirm the product checklist. Display on 30D.

アテンダントは、電子機器４０のカメラを利用して、電子機器３０のタッチパネル３０Ｄに表示されたコードをスキャンさせる。電子機器４０は、コードに含まれる決済情報、及び確認が必要なデータに応じた確認画面を表示させる。例えば、電子機器４０には、顧客が登録処理をした購入予定の商品の一覧（商品名、価格、小計額などを含む）と商品点数などを表示させる。これにより、アテンダントは、カート６０に入れられた商品と登録商品とが一致しているかを確認することができる。さらに、電子機器４０は、確認が必要なデータをもとに、例えばクリップ端末５０の認識処理において類似度が低かった検出オブジェクトに対応する商品を明示して表示する。これにより、アテンダントに対して、特に確認が必要な商品を容易に認識できるようにして確認作業の負担を軽減することができる。 The attendant uses the camera of the electronic device 40 to scan the code displayed on the touch panel 30D of the electronic device 30. The electronic device 40 displays a confirmation screen corresponding to the payment information included in the code and the data requiring confirmation. For example, the electronic device 40 displays a list of products (including product names, prices, subtotal amounts, etc.) to be purchased that the customer has registered and the number of products. As a result, the attendant can confirm whether the product put in the cart 60 and the registered product match. Further, the electronic device 40 clearly displays the product corresponding to the detection object having a low similarity in the recognition process of the clip terminal 50, for example, based on the data that needs to be confirmed. As a result, the attendant can easily recognize the product that needs to be confirmed, and the burden of the confirmation work can be reduced.

なお、前述した説明では、クリップ端末５０における画像処理を利用した、登録商品とカート６０に入れられた商品の一致をチェックする例について説明しているが、重量センサ６０１により検出される商品の重量も利用して商品をチェックするようにしても良い。例えば、店舗サーバ２０Ａから提供される商品に関するデータには、商品の重量のデータが含まれるため、カート６０に商品が入れられた時に増加した重量が、登録商品の重量と許容範囲内で一致するかに基づいてチェックすることができる。特に、重量によって価格が異なる計量商品については、重量センサ６０１により検出される重量のデータを利用することが正しいチェックをする上で有効である。例えば、重量の少ない商品により登録処理をした後、同じ種類の登録商品よりも重い商品をカート６０に入れる不正などを確認することができる。商品チェックリストには、計量商品がある場合、さらに登録商品の重量とカート６０に入れられた時の重量との差が設定値よりも大きい場合には、確認が必要なことを示すデータを記憶しておく。これにより、前述したように、アテンダントに対して、特に確認が必要であることを認識させることができる。 In the above description, an example of checking the match between the registered product and the product put in the cart 60 by using the image processing in the clip terminal 50 is described, but the weight of the product detected by the weight sensor 601 is described. You may also use to check the product. For example, since the data on the product provided from the store server 20A includes the data on the weight of the product, the weight increased when the product is put in the cart 60 matches the weight of the registered product within an allowable range. You can check based on the data. In particular, for weighing products whose prices differ depending on the weight, it is effective to use the weight data detected by the weight sensor 601 for making a correct check. For example, it is possible to confirm fraudulent use of a product heavier than a registered product of the same type in the cart 60 after the registration process is performed for a product having a light weight. The product checklist stores data indicating that confirmation is required if there are weighing products and if the difference between the weight of the registered product and the weight when placed in the cart 60 is larger than the set value. I will do it. This makes it possible for the attendant to recognize that confirmation is particularly necessary, as described above.

さらに、前述した説明では、登録処理により登録された商品とカート６０に入れられた商品の一致をチェックするとしているが、クリップ端末５０を利用して、その他の商品の登録に関するチェックをすることも可能である。例えば、電子機器３０における商品登録のタイミング、あるいはクリップ端末５０による商品（検出オブジェクト）が検出されたタイミングにおける店舗内の位置と、対象商品が置かれた店舗内の商品棚の位置（商品位置）との差異が、予め設定された判定値より大きい場合に、確認が必要であると判定することも可能である。 Further, in the above-mentioned explanation, it is said that the match between the product registered by the registration process and the product put in the cart 60 is checked, but it is also possible to check the registration of other products by using the clip terminal 50. It is possible. For example, the position in the store at the timing of product registration in the electronic device 30 or the timing when the product (detection object) is detected by the clip terminal 50, and the position of the product shelf in the store where the target product is placed (product position). It is also possible to determine that confirmation is necessary when the difference from the above is larger than the preset determination value.

図１２は、本実施形態における登録位置をもとに確認が必要であるか判定する登録位置判定処理を示すフローチャートである。クリップ端末５０のプロセッサ５０Ａは、チェックプログラムに基づいて登録位置判定処理を実行する。なお、登録位置判定処理は、前述した個体チェック処理と平行して実行されるものとする。 FIG. 12 is a flowchart showing a registration position determination process for determining whether confirmation is necessary based on the registration position in the present embodiment. The processor 50A of the clip terminal 50 executes the registration position determination process based on the check program. The registration position determination process shall be executed in parallel with the individual check process described above.

プロセッサ５０Ａは、電子機器３０から登録処理された商品の商品情報を受信する（Ａｃｔ８０、Ｙｅｓ）、あるいは検出オブジェクトが何れの登録商品に対応するか判別された場合（チェック結果「ＯＫ」）（Ａｃｔ８１、Ｙｅｓ）に、現在位置を検出する（Ａｃｔ８２）。現在位置は、例えばリーダライタ５０Ｊにより店舗内の商品棚のそれぞれに付されたＲＦタグと通信することで検出することができる。 The processor 50A receives the product information of the product registered from the electronic device 30 (Act80, Yes), or determines which registered product the detection object corresponds to (check result "OK") (Act81). , Yes) to detect the current position (Act82). The current position can be detected, for example, by communicating with an RF tag attached to each of the product shelves in the store by a reader / writer 50J.

図１３には、店舗内の商品棚７０−１〜７０−５の配置と、カート６０の位置の一例を示す図である。カート６０に装着されたクリップ端末５０は、リーダライタ５０Ｊによる限られた範囲内での通信により、商品棚７０−５に取り付けられたＲＦタグ７２−５と通信ができた場合に、商品棚７０−５の近くにいると判別することができる。なお、カート６０（クリップ端末５０）の現在位置の検出は、リーダライタ５０Ｊ（ＲＦタグ）を用いる方法だけでなく、通信モジュール５０Ｆと複数のアクセスポイント２０Ｆとの間の電波強度の違い、店舗内を撮影する画像に対するカート６０を検出する画像処理などの方法を用いることが可能である。 FIG. 13 is a diagram showing an example of the arrangement of the product shelves 70-1 to 70-5 in the store and the position of the cart 60. When the clip terminal 50 attached to the cart 60 can communicate with the RF tag 72-5 attached to the product shelf 70-5 by communication within a limited range by the reader / writer 50J, the product shelf 70 can be communicated with. It can be determined that it is near -5. The detection of the current position of the cart 60 (clip terminal 50) is not limited to the method using the reader / writer 50J (RF tag), but also the difference in radio wave strength between the communication module 50F and the plurality of access points 20F, and the inside of the store. It is possible to use a method such as image processing for detecting the cart 60 for the image to be captured.

プロセッサ５０Ａは、現在位置を検出すると、次に登録商品が販売されている商品位置（商品棚の位置）を示すデータを、例えば店舗サーバ２０Ａあるいは電子機器３０を通じて取得する（Ａｃｔ８３）。プロセッサ５０Ａは、現在位置と商品位置（商品棚の位置）との差異が、予め設定された判定値より大きいかを判定する（Ａｃｔ８４）。例えば、図１３に示す商品棚７０−１において配置されている商品７４が、商品棚７０−５の近い位置で登録処理あるいはカート６０に入れられた場合には、通常と異なる動作を顧客がしたものとして確認が必要であると判定する（Ａｃｔ、Ｙｅｓ）。クリップ端末５０は、商品チェックリストの該当する登録商品と検出オブジェクトに対応するデータと対応づけて確認データを記憶させる。これにより、前述したように、アテンダントに対して、特に確認が必要であることを認識させることができる。 When the processor 50A detects the current position, the processor 50A acquires data indicating the next product position (position of the product shelf) on which the registered product is sold, for example, through the store server 20A or the electronic device 30 (Act83). The processor 50A determines whether the difference between the current position and the product position (the position of the product shelf) is larger than the preset determination value (Act 84). For example, when the product 74 arranged on the product shelf 70-1 shown in FIG. 13 is registered or placed in the cart 60 at a position close to the product shelf 70-5, the customer performs an unusual operation. It is determined that confirmation is necessary (Act, Yes). The clip terminal 50 stores confirmation data in association with the data corresponding to the corresponding registered product in the product checklist and the detection object. This makes it possible for the attendant to recognize that confirmation is particularly necessary, as described above.

以上説明した少なくともひとつの実施形態によれば、クリップ端末５０を利用することにより、電子機器３０による登録処理により登録される商品情報と、クリップ端末５０により検出されるカート６０に出し入れされる商品に対応する検出オブジェクトに該当する商品との一致がチェックされる。このチェック結果に応じて、適宜、顧客に確認を促すメッセージを表示させることができるので、顧客の操作による購入予定とする商品の登録が確実にできるようにすることができる。 According to at least one embodiment described above, by using the clip terminal 50, the product information registered by the registration process by the electronic device 30 and the product put in and out of the cart 60 detected by the clip terminal 50 can be obtained. The match with the corresponding product in the corresponding detection object is checked. Since a message prompting the customer to confirm can be displayed as appropriate according to the check result, it is possible to ensure that the product to be purchased can be registered by the customer's operation.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。 Further, the process described in the above-described embodiment is a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, etc., as a program that can be executed by a computer. Can be provided to various devices by writing to. It is also possible to transmit it through a communication medium and provide it to various devices. The computer reads the program recorded on the recording medium or receives the program via the communication medium, and the operation is controlled by the program to execute the above-mentioned processing.

１２…店舗システム、２０Ａ…店舗サーバ、２０Ｂ…クリップ端末管理サーバ、３０，４０…電子機器、５０…クリップ端末（電子機器）、５０Ａ…プロセッサ、５０Ｂ…メモリ、５０Ｃ…記憶装置、５０Ｄ…タッチパネル、５０Ｅ…カメラ、５０Ｆ…通信モジュール、５０Ｊ…リーダライタ、６０…カート、６０１…重量センサ。 12 ... Store system, 20A ... Store server, 20B ... Clip terminal management server, 30, 40 ... Electronic device, 50 ... Clip terminal (electronic device), 50A ... Processor, 50B ... Memory, 50C ... Storage device, 50D ... Touch panel, 50E ... camera, 50F ... communication module, 50J ... reader / writer, 60 ... cart, 601 ... weight sensor.

Claims (9)

店舗のショッピングカートに装着して、商品取引の対象とする商品の登録に使用される情報処理装置であって、
顧客の操作に応じて商品に関する商品情報を記憶部に記憶させる第１記憶手段と、
前記ショッピングカートの商品が載置される底部を撮影範囲に含めて画像を撮影するためのカメラと、
前記画像から検出される商品に相当するオブジェクトについて、前記商品が前記撮影範囲に移動された場合に検出される第１オブジェクト、あるいは前記撮影範囲にある商品が前記撮影範囲の外に移動された場合に検出される第２オブジェクトを検出するオブジェクト検出手段と、
前記商品情報が記憶されていない商品に対応する前記第１オブジェクトが検出された場合に、前記第１オブジェクトを前記記憶部に記憶させる第２記憶手段と、
前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品に対応する第２オブジェクトが検出された場合に、前記記憶部から前記第１オブジェクトを削除する削除手段と、
前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品情報の記憶の終了が顧客の操作によって指示された場合に、顧客に対して確認を促すメッセージを出力させる第１出力手段と、
を有する情報処理装置。 An information processing device that is attached to a store's shopping cart and used to register products that are subject to product transactions.
A first storage means for storing product information about a product in a storage unit according to a customer's operation,
A camera for taking an image including the bottom of the shopping cart on which the product is placed in the shooting range, and
Regarding the object corresponding to the product detected from the image, the first object detected when the product is moved to the shooting range, or the product in the shooting range is moved out of the shooting range. Object detection means for detecting the second object detected in
A second storage means for storing the first object in the storage unit when the first object corresponding to the product for which the product information is not stored is detected.
When the second object corresponding to the product is detected before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit, the storage unit may be used for the product information. Deletion means to delete the first object,
When the end of storage of the product information is instructed by the customer's operation before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit, the customer is instructed. The first output means to output a message prompting confirmation,
Information processing device with. 前記第２オブジェクトが検出された時、前記第２オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶されている場合、顧客に対して前記第２オブジェクトに対応する商品の前記商品情報の削除を促すメッセージを出力させる第２出力手段をさらに有する請求項１記載の情報処理装置。When the second object is detected, if the product information of the product corresponding to the second object is stored in the storage unit, the product information of the product corresponding to the second object is stored for the customer. The information processing apparatus according to claim 1, further comprising a second output means for outputting a message prompting deletion. 前記商品情報をもとに処理の対象としない商品を判別する判別手段をさらに有し、
前記判別手段により判別された商品の前記商品情報について処理の対象外とする、請求項２記載の情報処理装置。 Further, it has a discriminating means for discriminating a product that is not a target of processing based on the product information.
Wherein the target outside the processing for the commodity information of the commodity determined by the determination unit, the information processing apparatus according to claim 2, wherein. 店舗のショッピングカートに装着して、商品取引の対象とする商品の登録に使用されるコンピュータを、
顧客の操作に応じて商品に関する商品情報を記憶部に記憶させる第１記憶手段と、
前記ショッピングカートの商品が載置される底部を撮影範囲に含めてカメラによって撮影された画像から検出される商品に相当するオブジェクトについて、前記商品が前記撮影範囲に移動された場合に検出される第１オブジェクト、あるいは前記撮影範囲にある商品が前記撮影範囲の外に移動された場合に検出される第２オブジェクトを検出するオブジェクト検出手段と、
前記商品情報が記憶されていない商品に対応する前記第１オブジェクトが検出された場合に、前記第１オブジェクトを前記記憶部に記憶させる第２記憶手段と、
前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品に対応する第２オブジェクトが検出された場合に、前記記憶部から前記第１オブジェクトを削除する削除手段と、
前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品情報の記憶の終了が顧客の操作によって指示された場合に、顧客に対して確認を促すメッセージを出力させる第１出力手段として機能させるためのプログラム。 A computer that can be attached to a store's shopping cart and used to register products that are subject to product transactions.
A first storage means for storing product information about a product in a storage unit according to a customer's operation,
An object corresponding to a product detected from an image taken by a camera including the bottom of the shopping cart on which the product is placed is detected when the product is moved to the shooting range. An object detecting means for detecting one object or a second object detected when a product in the shooting range is moved out of the shooting range.
A second storage means for storing the first object in the storage unit when the first object corresponding to the product for which the product information is not stored is detected.
If the second object corresponding to the product is detected before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit, the storage unit may be used for the product information. Deletion means to delete the first object,
When the end of storage of the product information is instructed by the customer's operation before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit, the customer is instructed. A program to function as the first output means to output a message prompting confirmation. 前記第２オブジェクトが検出された時、前記第２オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶されている場合、顧客に対して前記第２オブジェクトに対応する商品の前記商品情報の削除を促すメッセージを出力させる第２出力手段としてさらに機能させるための請求項４記載のプログラム。When the second object is detected, if the product information of the product corresponding to the second object is stored in the storage unit, the product information of the product corresponding to the second object is stored for the customer. The program according to claim 4, further functioning as a second output means for outputting a message prompting deletion. さらに、前記商品情報をもとに処理の対象としない商品を判別する判別手段として機能させ、
前記判別手段により判別された商品の前記商品情報について処理の対象外とする、請求項５記載のプログラム。 Further, it functions as a discriminating means for discriminating products that are not to be processed based on the product information.
To be eligible for processing for the commodity information of the commodity determined by the pre-Symbol judging means, according to claim 5, wherein the program. 店舗のショッピングカートに装着して、商品取引の対象とする商品の登録に使用される情報処理装置における情報処理方法であって、
顧客の操作に応じて商品に関する商品情報を記憶部に記憶させ、
前記ショッピングカートの商品が載置される底部を撮影範囲に含めてカメラによって撮影された画像から検出される商品に相当するオブジェクトについて、前記商品が前記撮影範囲に移動された場合に検出される第１オブジェクト、あるいは前記撮影範囲にある商品が前記撮影範囲の外に移動された場合に検出される第２オブジェクトを検出し、
前記商品情報が記憶されていない商品に対応する前記第１オブジェクトが検出された場合に、前記第１オブジェクトを前記記憶部に記憶させ、
前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品に対応する第２オブジェクトが検出された場合に、前記記憶部から前記第１オブジェクトを削除し、
前記記憶部に記憶された前記第１オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶される前に、前記商品情報の記憶の終了が顧客の操作によって指示された場合に、顧客に対して確認を促すメッセージを出力させる、情報処理方法。 It is an information processing method in an information processing device that is attached to a shopping cart of a store and used to register a product that is the target of a product transaction.
The product information about the product is stored in the storage unit according to the customer's operation.
An object corresponding to a product detected from an image taken by a camera including the bottom of the shopping cart on which the product is placed is detected when the product is moved to the shooting range. Detects one object or the second object that is detected when a product in the shooting range is moved out of the shooting range.
When the first object corresponding to the product for which the product information is not stored is detected, the first object is stored in the storage unit.
When the second object corresponding to the product is detected before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit, the storage unit may be used for the product information. Delete the first object,
When the end of storage of the product information is instructed by the customer's operation before the product information of the product corresponding to the first object stored in the storage unit is stored in the storage unit, the customer is instructed. An information processing method that outputs a message prompting confirmation. 前記第２オブジェクトが検出された時、前記第２オブジェクトに対応する商品の前記商品情報が前記記憶部に記憶されている場合、顧客に対して前記第２オブジェクトに対応する商品の前記商品情報の削除を促すメッセージを出力させる、請求項７記載の情報処理方法。 When the second object is detected, if the product information of the product corresponding to the second object is stored in the storage unit, the product information of the product corresponding to the second object is stored for the customer. The information processing method according to claim 7, wherein a message prompting deletion is output. さらに、前記商品情報をもとに処理の対象としない商品を判別し、
この判別された商品の前記商品情報について処理の対象外とする、請求項８記載の情報処理方法。 Furthermore, based on the product information, a product that is not the target of processing is determined, and the product is determined.
The information processing method according to claim 8, wherein the product information of the determined product is excluded from the processing.
JP2020120575A 2019-08-26 2020-07-14 Information processing equipment, programs, and information processing methods Active JP6983955B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020120575A JP6983955B2 (en) 2019-08-26 2020-07-14 Information processing equipment, programs, and information processing methods

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019154022A JP6735888B2 (en) 2019-08-26 2019-08-26 Product data processing system, product data processing method
JP2020120575A JP6983955B2 (en) 2019-08-26 2020-07-14 Information processing equipment, programs, and information processing methods

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019154022A Division JP6735888B2 (en) 2019-08-26 2019-08-26 Product data processing system, product data processing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020202031A Division JP6874201B2 (en) 2020-12-04 2020-12-04 Electronic devices, electronic device programs

Publications (2)

Publication Number Publication Date
JP2020187776A JP2020187776A (en) 2020-11-19
JP6983955B2 true JP6983955B2 (en) 2021-12-17

Family

ID=79170102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020120575A Active JP6983955B2 (en) 2019-08-26 2020-07-14 Information processing equipment, programs, and information processing methods

Country Status (1)

Country Link
JP (1) JP6983955B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5194048B2 (en) * 2010-04-21 2013-05-08 東芝テック株式会社 Checkout terminal and its control program
JP5670536B2 (en) * 2013-10-21 2015-02-18 東芝テック株式会社 Terminals and programs
JP2015106380A (en) * 2013-12-02 2015-06-08 富士通フロンテック株式会社 Self-checkout terminal

Also Published As

Publication number Publication date
JP2020187776A (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US11948364B2 (en) Portable computing device installed in or mountable to a shopping cart
US20140046831A1 (en) Transaction system and method
JP2013041354A (en) Product sales system, portable terminal, management server, and method and program for controlling product sales system
JP2012178005A (en) Merchandise conveying implement
US20220031093A1 (en) Information processing apparatus and control method thereof
JP2023088960A (en) Information processor and store system
JP7376906B2 (en) Product registration system, program, product registration method, and weighing device
JP2024028307A (en) checkout system
JP6908455B2 (en) Information processing system and program
JP2022141481A (en) Information processing device, program and information processing system
JP4535486B2 (en) Purchased goods storage cart and register system
JP2016071787A (en) Merchandise settlement system and merchandise settlement method
JP6735888B2 (en) Product data processing system, product data processing method
JP6983955B2 (en) Information processing equipment, programs, and information processing methods
JP2020129337A (en) Sales data processing system and program
JP6874201B2 (en) Electronic devices, electronic device programs
JP7208316B2 (en) Check device and check program
JP7270238B2 (en) sales data processor
JP2023026627A (en) Check apparatus and check program
US20220309485A1 (en) Information processing system, information processing method, and non-transitory computer readable medium
JP2020170405A (en) Label issuing device and program
JP2020067944A (en) Information processing device and control program therefor

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R150 Certificate of patent or registration of utility model

Ref document number: 6983955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150