JP6672597B2 - Information processing system, information processing method, and program - Google Patents

Information processing system, information processing method, and program Download PDF

Info

Publication number
JP6672597B2
JP6672597B2 JP2015060694A JP2015060694A JP6672597B2 JP 6672597 B2 JP6672597 B2 JP 6672597B2 JP 2015060694 A JP2015060694 A JP 2015060694A JP 2015060694 A JP2015060694 A JP 2015060694A JP 6672597 B2 JP6672597 B2 JP 6672597B2
Authority
JP
Japan
Prior art keywords
information
settlement
biometric information
customer
payment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015060694A
Other languages
Japanese (ja)
Other versions
JP2016181100A (en
Inventor
和記 土持
和記 土持
秀雄 横井
秀雄 横井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015060694A priority Critical patent/JP6672597B2/en
Publication of JP2016181100A publication Critical patent/JP2016181100A/en
Application granted granted Critical
Publication of JP6672597B2 publication Critical patent/JP6672597B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理システム、商品登録装置、精算装置、情報処理方法、およびプログラムに関し、特に、商品登録処理と精算処理を別々の装置で行う情報処理システム、商品登録装置、精算装置、情報処理方法、およびプログラムに関する。   The present invention relates to an information processing system, a merchandise registration device, a settlement device, an information processing method, and a program, and in particular, an information processing system, a merchandise registration device, a settlement device, and an information processing device that perform merchandise registration processing and settlement processing by separate devices. Methods and programs.

セルフ会計POSシステムの一例が特許文献1に記載されている。特許文献1のシステムは、オペレータがPOSレジ端末で商品バーコードを読み込むのを待っている間に、顧客の顔を撮像し、顔画像を生成する。そして、オペレータが、生成された顔画像が顧客の顔であることを確認して、登録操作を行ってから顔画像に会計情報を紐づけることが記載されている。
特許文献2には、POS(Point Of Sale)端末などの売上データを取引毎に登録処理する売上データ処理装置の一例が記載されている。特許文献2の装置は、商品バーコードを読み込み、レジ端末で締めキーが入力されたときに、顧客の顔を撮像し、撮影画像を生成する。この撮像タイミングは、顧客が支払い金額を確認するときであるため、正面から顧客の顔を撮像できる。そして、この顔画像から顧客を特定し、購買情報を紐づけ、顧客分析に活用することが記載されている。
An example of a self-payment POS system is described in Patent Document 1. The system of Patent Literature 1 captures a customer's face and generates a face image while waiting for the operator to read a product barcode at a POS cashier terminal. Then, it is described that the operator confirms that the generated face image is the face of the customer, performs a registration operation, and then associates the account information with the face image.
Patent Literature 2 discloses an example of a sales data processing device that registers sales data of a POS (Point Of Sale) terminal or the like for each transaction. The apparatus of Patent Document 2 reads a product barcode, captures an image of a customer's face when a closing key is input at a cashier terminal, and generates a captured image. This imaging timing is when the customer confirms the payment amount, so that the customer's face can be imaged from the front. It describes that a customer is specified from the face image, purchase information is linked, and the purchase information is used for customer analysis.

特開2012−248162号公報JP 2012-248162 A 特開2013−200895号公報JP 2013-200895 A

しかしながら、上記特許文献記載の技術においては、オペレータが、撮像画像が顧客の顔画像であることを確認する操作、および、必要に応じて画像を選択する操作を行わなければならないため、顧客を待たせて行っている商品バーコードの読み込み作業に、さらなる負担が増えるという問題点があった。   However, in the technology described in the above patent document, the operator has to wait for the customer because the operator must perform an operation of confirming that the captured image is a face image of the customer and an operation of selecting an image as necessary. However, there is a problem that the burden of reading the barcode of the product that is being performed increases further.

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、オペレータの負荷を低減する情報処理システム、商品登録装置、精算装置、情報処理方法、およびプログラムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an information processing system, a merchandise registration device, a payment device, an information processing method, and a program that reduce the load on an operator. .

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。   In each aspect of the present invention, the following configurations are employed to solve the above-described problems.

第一の側面は、情報処理システムに関する。
第一の側面に係る情報処理システムは、
顧客の生体情報を取得する第1の生体情報取得手段と、
商品登録装置による前記顧客の全ての商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、前記第1の生体情報取得手段により取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録する登録手段と、
精算装置の利用者の生体情報を取得する第2の生体情報取得手段と、
前記精算情報に関連付けられた前記顧客の生体情報と、前記第2の生体情報取得手段により取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得する精算情報取得手段と、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行う精算制御手段と、
を有し、
前記第1の生体情報取得手段は、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顧客の生体情報を取得する。
A first aspect relates to an information processing system.
The information processing system according to the first aspect includes:
First biological information acquisition means for acquiring the biological information of the customer;
At the time when the read end information indicating that the reading of all the product information of the customer by the product registration device is completed is generated, the biometric information of the customer acquired by the first biometric information acquisition unit is replaced with the product. Registration means for registering the merchandise information read by the registration device in association with the settlement information of the merchandise read;
Second biological information acquisition means for acquiring biological information of a user of the settlement apparatus;
The customer's biometric information associated with the settlement information is compared with the user's biometric information acquired by the second biometric information acquisition means, and the customer's biometric information corresponding to the user's biometric information is collated. Settlement information acquisition means for acquiring the settlement information associated with the detected biological information of the customer,
With the payment device, a payment control unit that performs payment processing based on the obtained payment information,
Have a,
The first biometric information acquisition unit includes:
While the product registration device is reading the product information, the biometric information of the customer is acquired .

第二の側面は、少なくとも1つのコンピュータにより実行される情報処理方法に関する。
第二の側面に係る情報処理方法は、
情報処理装置が、
顧客の生体情報を取得し、
商品登録装置による前記顧客の全ての商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録し、
精算装置の利用者の生体情報を取得し、
前記精算情報に関連付けられた前記顧客の生体情報と、取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得し、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行い、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顧客の生体情報を取得する、
ことを含む。
A second aspect relates to an information processing method executed by at least one computer.
The information processing method according to the second aspect,
The information processing device is
Obtain customer biometric information,
At the timing when the read end information indicating that the reading of all the product information of the customer by the product registration device has been completed is generated, the acquired biometric information of the customer is read by the product registration device. Registered in connection with the payment information of the product
Obtain the biometric information of the user of the checkout device,
The biometric information of the customer associated with the settlement information is compared with the obtained biometric information of the user, and the biometric information of the customer corresponding to the biometric information of the user is detected. Obtaining the settlement information associated with the biological information of
Using the settlement apparatus, it has rows settlement processing based on the acquired payment information,
While reading the product information in the product registration device, obtain the biometric information of the customer,
Including.

なお、本発明の他の側面としては、上記第の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、商品登録装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。さらに、このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、精算装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。さらに、このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、サーバ装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。
According to another aspect of the present invention, a program that causes at least one computer to execute the method according to the second aspect may be used, or a computer-readable recording medium that stores such a program. You may. This recording medium includes a non-transitory tangible medium.
The computer program includes computer program code which, when executed by the computer, causes the computer to execute the control method on the product registration device. Further, the computer program includes computer program code which, when executed by the computer, causes the computer to execute the control method on the checkout apparatus. Further, the computer program includes computer program code which, when executed by the computer, causes the computer to execute the control method on a server device.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   Note that any combination of the above-described components and any conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as embodiments of the present invention.

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。   In addition, various components of the present invention do not necessarily need to be individually independent, and a plurality of components are formed as one member, and one component is formed of a plurality of members. Or some component may be a part of another component, or some of the component may overlap with some of the other component.

また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。   Although a plurality of procedures are described in order in the method and the computer program of the present invention, the description order does not limit the order in which the plurality of procedures are executed. For this reason, when implementing the method and computer program of the present invention, the order of the plurality of procedures can be changed within a range that does not hinder the contents.

さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。   Furthermore, the plurality of procedures of the method and computer program of the present invention are not limited to being executed at different timings. Therefore, another procedure may occur during the execution of a certain procedure, or some or all of the execution timing of a certain procedure and the execution timing of another procedure may overlap.

上記各側面によれば、オペレータの負荷を低減する情報処理システム、商品登録装置、精算装置、情報処理方法、およびプログラムを提供することができる。   According to each of the above aspects, it is possible to provide an information processing system, a merchandise registration device, a settlement device, an information processing method, and a program that reduce the load on an operator.

本発明の実施の形態に係る情報処理システムのハードウェア構成例を概念的に示す図である。FIG. 2 is a diagram conceptually illustrating a hardware configuration example of an information processing system according to an embodiment of the present invention. 本実施形態における情報処理システムの構成を論理的に示す機能ブロック図である。FIG. 2 is a functional block diagram logically showing the configuration of the information processing system according to the embodiment. 本実施形態の情報処理システムの各装置の配置の一例を示す図である。It is a figure showing an example of arrangement of each device of an information processing system of this embodiment. 本実施形態の情報処理システムの登録部によって生成される精算情報の構造の一例を示す図である。It is a figure showing an example of the structure of the adjustment information generated by the registration part of the information processing system of this embodiment. 本実施形態における情報処理システムの商品登録装置側の動作例を示すフローチャートである。It is a flow chart which shows an example of operation on the goods registration device side of the information processing system in this embodiment. 本実施形態における情報処理システムの精算装置側の動作例を示すフローチャートである。It is a flowchart which shows the example of an operation | movement by the settlement apparatus side of the information processing system in this embodiment. 本実施形態における情報処理システムの要部構成例を概念的に示す機能ブロック図である。FIG. 2 is a functional block diagram conceptually illustrating a configuration example of a main part of the information processing system according to the embodiment. 本実施形態の情報処理システムの各装置の配置を説明するための図である。It is a figure for explaining arrangement of each device of an information processing system of this embodiment. 本実施形態の情報処理システムの登録部により生成される精算情報の構造の一例を示す図である。It is a figure showing an example of the structure of the adjustment information generated by the registration part of the information processing system of this embodiment. 本実施形態の商品登録装置の論理的な構成を示す機能ブロック図である。It is a functional block diagram showing the logical composition of the goods registration device of this embodiment. 本実施形態における商品登録装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the goods registration apparatus in this embodiment. 本実施形態の精算装置の論理的な構成を示す機能ブロック図である。FIG. 2 is a functional block diagram illustrating a logical configuration of the settlement apparatus according to the embodiment. 本実施形態における精算装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the settlement apparatus in this embodiment. 本実施形態の情報処理システムの構成を概念的に示す機能ブロック図である。FIG. 2 is a functional block diagram conceptually showing a configuration of the information processing system of the embodiment. 本実施形態の情報処理システムのハードウェア構成例を概念的に示す図である。FIG. 1 is a diagram conceptually illustrating a hardware configuration example of an information processing system according to an embodiment. 本実施形態の情報処理システムの各装置の配置の一例を示す図である。It is a figure showing an example of arrangement of each device of an information processing system of this embodiment. 本実施形態の情報処理システムの登録部により生成される精算情報の構造の一例を示す図である。It is a figure showing an example of the structure of the adjustment information generated by the registration part of the information processing system of this embodiment. 本実施形態の情報処理システムにおける精算情報の生成順と処理順が相違する状況を説明するための図である。It is a figure for explaining the situation where the order of generation and the order of processing of settlement information in the information processing system of this embodiment differ.

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same components are denoted by the same reference numerals, and description thereof will not be repeated.

(第1の実施の形態)
[システム構成]
図1は、本発明の実施の形態に係る情報処理システム1のハードウェア構成例を概念的に示す図である。
本実施形態の情報処理システム1は、レジ処理の一部である精算処理を商品登録装置とは別に設けられた精算装置で行うPOSレジシステムである。
本実施形態における情報処理システム1は、商品登録装置10および精算装置20を有する。商品登録装置10は、店員の操作に応じて精算対象の商品を登録する処理を行い、登録された商品の精算情報を精算装置20に送信する。精算装置20は、顧客の操作に伴い、商品登録装置10から受信した精算情報に基づく精算処理を行う。各装置の具体的な処理内容については後述する。
(First Embodiment)
[System configuration]
FIG. 1 is a diagram conceptually illustrating a hardware configuration example of an information processing system 1 according to an embodiment of the present invention.
The information processing system 1 of the present embodiment is a POS cash register system in which a payment process as a part of a cash register process is performed by a payment device provided separately from a product registration device.
The information processing system 1 according to the present embodiment includes a product registration device 10 and a payment device 20. The merchandise registration device 10 performs a process of registering the merchandise to be settled according to the operation of the clerk, and transmits the adjustment information of the registered merchandise to the adjustment device 20. The payment device 20 performs a payment process based on payment information received from the product registration device 10 in response to a customer operation. Specific processing contents of each device will be described later.

商品登録装置10は、CPU(Central Processing Unit)2、メモリ3、通信ユニット4、入出力インタフェース(I/F:InterFace)5等を有する。これら各ハードウェア要素は、たとえば、バス等により接続される。CPU2は、一般的なCPU、特定用途向け集積回路(ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等の少なくとも一つに相当する。メモリ3は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等である。通信ユニット4は、無線および有線の少なくともいずれか一方にて、他の装置(精算装置20等)と通信を行う。本実施形態において、通信ユニット4は、生体情報リーダ8と通信を行い、生体情報リーダ8により読み取られた生体情報を受信する。   The product registration device 10 includes a CPU (Central Processing Unit) 2, a memory 3, a communication unit 4, an input / output interface (I / F: InterFace) 5, and the like. These hardware elements are connected by, for example, a bus. The CPU 2 corresponds to at least one of a general CPU, an application specific integrated circuit (ASIC), a DSP (Digital Signal Processor), a GPU (Graphics Processing Unit), and the like. The memory 3 is a random access memory (RAM), a read only memory (ROM), an auxiliary storage device (such as a hard disk), or the like. The communication unit 4 communicates with another device (such as the settlement apparatus 20) by at least one of wireless and wired. In the present embodiment, the communication unit 4 communicates with the biometric information reader 8 and receives the biometric information read by the biometric information reader 8.

入出力I/F5には、表示装置6、入出力装置7等が接続される。表示装置6は、店員用および顧客用のディスプレイ、タッチパネルの表示部等の少なくとも一つである。入出力装置7は、タッチパネルのセンサ部、キーボード、スキャナ装置、スピーカ等を含む。商品登録装置10の入出力I/F5に接続される入出力装置7は、後述の商品登録装置10で実行される商品読み込み処理を実行するうえで、必要となる装置を含む。入出力I/F5は、CPU2により実行される処理に応じて出力装置に画面表示や音声等を出力する。また、入出力I/F5は、入力装置からの入力信号を受け付ける。
なお、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
The display device 6, the input / output device 7, and the like are connected to the input / output I / F 5. The display device 6 is at least one of a display for a clerk and a customer, a display unit of a touch panel, and the like. The input / output device 7 includes a touch panel sensor unit, a keyboard, a scanner device, a speaker, and the like. The input / output device 7 connected to the input / output I / F 5 of the product registration device 10 includes a device necessary for executing a product reading process performed by the product registration device 10 described later. The input / output I / F 5 outputs a screen display, audio, and the like to an output device in accordance with the processing executed by the CPU 2. The input / output I / F 5 receives an input signal from the input device.
In addition, in each drawing of this specification, the configuration of a portion not related to the essence of the present invention is omitted and is not shown.

商品登録装置10は、このようなハードウェア要素により、店員の商品登録操作、店員の商品登録装置10への指示入力等を受け付け、商品登録処理を行う。店員の商品登録操作には、たとえば、商品に付されたバーコードのスキャン操作、商品価格のキーボード入力等が含まれる。また、本実施形態における商品登録装置10は、精算処理を実行することも排除されない。   The merchandise registration apparatus 10 receives merchandise registration operations by a clerk, input of instructions to the merchandise registration apparatus 10, and the like by such hardware elements, and performs merchandise registration processing. The clerk's product registration operation includes, for example, a scan operation of a barcode attached to the product, a keyboard input of the product price, and the like. Further, the commodity registration device 10 according to the present embodiment does not exclude execution of the settlement process.

精算装置20は、商品登録装置10と同様に、ハードウェア要素として、CPU2、メモリ3、通信ユニット4、入出力I/F5等を有する。精算装置20の入出力I/F5に接続される表示装置6は、精算装置20の利用者用のディスプレイ、タッチパネルの表示部等の少なくとも一つである。入出力装置7は、タッチパネルのセンサ部、釣銭機(紙幣および硬貨)、クレジットカードリーダ、電子マネーリーダ、レシートプリンタ、スピーカ等を含む。精算装置20の入出力I/F5には、商品登録装置10から受信された精算情報に基づく精算処理を完了させるために必要となる表示装置6および入出力装置7が接続される。本実施形態において、精算装置20の通信ユニット4は、商品登録装置10と同様に生体情報リーダ8と通信を行い、生体情報リーダ8により読み取られた生体情報を受信する。   The settlement apparatus 20 has a CPU 2, a memory 3, a communication unit 4, an input / output I / F 5, and the like as hardware elements, like the commodity registration apparatus 10. The display device 6 connected to the input / output I / F 5 of the settlement apparatus 20 is at least one of a display for a user of the settlement apparatus 20 and a display unit of a touch panel. The input / output device 7 includes a sensor unit of a touch panel, a change machine (banknotes and coins), a credit card reader, an electronic money reader, a receipt printer, a speaker, and the like. The input / output I / F 5 of the settlement apparatus 20 is connected to a display device 6 and an input / output device 7 necessary for completing the settlement processing based on the settlement information received from the commodity registration apparatus 10. In the present embodiment, the communication unit 4 of the settlement apparatus 20 communicates with the biometric information reader 8 in the same manner as the product registration apparatus 10, and receives the biometric information read by the biometric information reader 8.

精算装置20は、上述のようなハードウェア要素により、利用者の精算装置20への指示入力、利用者の支払い操作等のユーザ操作を受け付け、精算処理を行う。利用者の支払い操作には、たとえば、硬貨および紙幣の投入操作、釣銭の取り出し操作、クレジットカード支払いの操作、電子マネーの支払いの操作等が含まれる。   The payment device 20 receives a user's instruction input to the payment device 20 and a user operation such as a user's payment operation by the above-described hardware elements, and performs a payment process. The user's payment operation includes, for example, an operation of inserting coins and bills, an operation of taking out change, an operation of paying a credit card, an operation of paying electronic money, and the like.

図1では、商品登録装置10と精算装置20が直接無線通信を行う構成例を示しているが、これに限定されない。図示されないサーバ装置を介して商品登録装置10から精算装置20に精算情報が送受信されてもよい。この構成については後述する。   FIG. 1 shows a configuration example in which the product registration device 10 and the settlement device 20 perform direct wireless communication, but the present invention is not limited to this. Payment information may be transmitted and received from the product registration device 10 to the payment device 20 via a server device (not shown). This configuration will be described later.

情報処理システム1に含まれる各装置のハードウェア構成は、図1の例に制限されない。また、各装置の数、および各装置のハードウェア要素の数も、図1の例に制限されない。また、情報処理システム1は、商品登録装置10と精算装置20の間に介在するサーバ装置を含んでもよい。サーバ装置を含む構成の場合、商品登録装置10はサーバ装置に精算情報を送信し、精算装置20はサーバ装置から精算情報を受信すればよい。また、情報処理システム1は、レジ端末の処理の一部である精算処理を商品登録装置とは別に設けられた精算装置に対する顧客の操作に委ねる運用方法に対応していればよく、POSレジシステムがサポートする具体的な運用方法は制限されない。   The hardware configuration of each device included in the information processing system 1 is not limited to the example in FIG. Further, the number of each device and the number of hardware elements of each device are not limited to the example of FIG. Further, the information processing system 1 may include a server device interposed between the product registration device 10 and the settlement device 20. In the case of a configuration including a server device, the merchandise registration device 10 may transmit the payment information to the server device, and the payment device 20 may receive the payment information from the server device. Further, the information processing system 1 only needs to correspond to an operation method in which a checkout process, which is a part of the process of the cashier terminal, is entrusted to a customer operation on a checkout device provided separately from the product registration device. There is no restriction on the specific operation methods supported by.

[処理構成]
図2は、本実施形態における情報処理システム1の構成を論理的に示す機能ブロック図である。
情報処理システム1は、第1生体情報取得部102と、登録部104と、第2生体情報取得部122と、精算情報取得部124と、精算制御部126と、を含む。
図2の情報処理システム1の各ユニットは、たとえば、図1の商品登録装置10または精算装置20の少なくともいずれかのCPU2によりメモリ3に格納されるプログラム(不図示)が実行されることにより実現される。また、当該プログラムは、たとえば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4を介してインストールされ、メモリ3に格納されてもよい。また、情報処理システム1は、図2に示されていない他の処理部を有してもよい。
[Processing configuration]
FIG. 2 is a functional block diagram logically showing the configuration of the information processing system 1 in the present embodiment.
The information processing system 1 includes a first biometric information acquisition unit 102, a registration unit 104, a second biometric information acquisition unit 122, a settlement information acquisition unit 124, and a settlement control unit 126.
Each unit of the information processing system 1 in FIG. 2 is realized, for example, by executing a program (not shown) stored in the memory 3 by the CPU 2 of at least one of the merchandise registration device 10 and the settlement device 20 in FIG. Is done. The program may be installed from a portable recording medium such as a CD (Compact Disc), a memory card, or another computer on a network via the communication unit 4 and stored in the memory 3. Further, the information processing system 1 may include another processing unit not illustrated in FIG.

本実施形態の情報処理システム1において、第1生体情報取得部102は、顧客の生体情報を取得する。
登録部104は、商品登録装置10による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、第1生体情報取得部102により取得された顧客の生体情報を、商品登録装置10により商品情報が読み込まれた商品の精算情報に関連付けて登録する。
第2生体情報取得部122は、精算装置20の利用者の生体情報を取得する。
精算情報取得部124は、精算情報に関連付けられた顧客の生体情報と、第2生体情報取得部122により取得された利用者の生体情報を照合し、利用者の生体情報に対応する顧客の生体情報を検出し、検出された顧客の生体情報に関連付けられている精算情報を取得する。
精算制御部126は、精算装置20を用いて、取得した精算情報に基づく精算処理を行う。
In the information processing system 1 of the present embodiment, the first biometric information acquisition unit 102 acquires biometric information of a customer.
The registration unit 104 stores the customer biometric information acquired by the first biometric information acquisition unit 102 at the timing when the reading end information indicating that the reading of the product information by the product registration device 10 has been completed is generated. The merchandise information is registered in association with the settlement information of the merchandise from which the merchandise information is read.
The second biometric information acquisition unit 122 acquires biometric information of a user of the settlement apparatus 20.
The settlement information acquisition unit 124 checks the customer's biometric information associated with the settlement information with the user's biometric information acquired by the second biometric information acquisition unit 122, and checks the customer's biometric information corresponding to the user's biometric information. The information is detected, and payment information associated with the detected customer biometric information is obtained.
The settlement controller 126 performs a settlement process based on the acquired settlement information using the settlement device 20.

図2の本実施形態の情報処理システム1の各構成要素は、図1の各装置を構成するコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各実施形態の各装置を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。   Each component of the information processing system 1 of the present embodiment in FIG. 2 is realized by an arbitrary combination of hardware and software of a computer constituting each device in FIG. It will be understood by those skilled in the art that there are various modifications in the method and apparatus for realizing the method. The functional block diagram showing each device of each embodiment described below shows a block of a logical functional unit, not a configuration of a hardware unit.

図2の情報処理システム1の各ユニットの各機能は、たとえば、図1のCPU2によりメモリ3に格納されるプログラムを読み出されて実行されることにより実現される。   Each function of each unit of the information processing system 1 in FIG. 2 is realized by, for example, reading and executing a program stored in the memory 3 by the CPU 2 in FIG.

本実施形態のコンピュータプログラムは、情報処理システム1を構成する少なくとも1つの情報処理装置を実現させるためのコンピュータに、顧客の生体情報を取得する手順、商品登録装置10による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された顧客の生体情報を、商品登録装置10により商品情報が読み込まれた商品の精算情報に関連付けて登録する手順、精算装置20の利用者の生体情報を取得する手順、精算情報に関連付けられた顧客の生体情報と、取得された利用者の生体情報を照合し、利用者の生体情報に対応する顧客の生体情報を検出し、検出された顧客の生体情報に関連付けられている精算情報を取得する手順、精算装置20を用いて、取得した精算情報に基づく精算処理を行う手順、を実行させるように記述されている。   According to the computer program of the present embodiment, the procedure for acquiring the customer's biometric information to the computer for realizing at least one information processing device constituting the information processing system 1 and the reading of the product information by the product registration device 10 are completed. Registering the acquired customer's biometric information in association with the payment information of the product for which the product information has been read by the product registration device 10 at the timing when the read end information indicating that the information has been generated, the user of the payment device 20 The procedure of acquiring the biometric information of the customer, the biometric information of the customer associated with the settlement information and the acquired biometric information of the user are collated, and the biometric information of the customer corresponding to the biometric information of the user is detected and detected. A procedure for acquiring payment information associated with the customer's biometric information, and performing a payment process based on the acquired payment information using the payment apparatus 20. It is described as cormorants procedure is run.

本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。   The computer program of the present embodiment may be recorded on a computer-readable recording medium. The recording medium is not particularly limited, and various forms are conceivable. Further, the program may be loaded from a recording medium to a memory of the computer, or may be downloaded to the computer via a network and loaded into the memory.

コンピュータプログラムを記録する記録媒体は、非一時的な有形のコンピュータが使用可能な媒体を含み、その媒体に、コンピュータが読み取り可能なプログラムコードが埋め込まれる。コンピュータプログラムが、コンピュータ上で実行されたとき、コンピュータに、情報処理装置を実現するための後述する情報処理方法を実行させる。   The recording medium for recording the computer program includes a non-transitory tangible computer usable medium, in which a computer readable program code is embedded. When the computer program is executed on the computer, the computer program causes the computer to execute an information processing method described later for realizing the information processing apparatus.

本発明の情報処理システム1は、図2の構成要素の機能を、商品登録装置10または精算装置20で分担して実現する。さらに、後述するように、サーバ装置(不図示)が、図2の構成要素の少なくとも一部の機能を実現してもよい。例として、商品登録装置10が、第1生体情報取得部102と、登録部104と、を有し、精算装置20が、第2生体情報取得部122と、精算情報取得部124と、精算制御部126と、を有する。   The information processing system 1 of the present invention realizes the functions of the components shown in FIG. Further, as described later, a server device (not shown) may realize at least a part of the functions of the components in FIG. As an example, the product registration device 10 includes a first biometric information acquisition unit 102 and a registration unit 104, and the settlement device 20 includes a second biometric information acquisition unit 122, a settlement information acquisition unit 124, and a settlement control A part 126.

この構成では、本実施形態のコンピュータプログラムは、商品登録装置10または精算装置20を実現させるためのコンピュータによってそれぞれ実行される。
本実施形態において、第1のコンピュータプログラムは、顧客の生体情報を取得する手順、商品登録装置10を実現させるためのコンピュータに、商品登録装置10による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された顧客の生体情報を、商品登録装置10により商品情報が読み込まれた商品の精算情報に関連付けて登録する手順、を実行させるように記述されている。
本実施形態において、第2のコンピュータプログラムは、精算装置20を実現させるためのコンピュータに、精算装置20の利用者の生体情報を取得する手順、精算情報に関連付けられた顧客の生体情報と、取得された利用者の生体情報を照合し、利用者の生体情報に対応する顧客の生体情報を検出し、検出された顧客の生体情報に関連付けられている精算情報を取得する手順、精算装置20を用いて、取得した精算情報に基づく精算処理を行う手順、を実行させるように記述されている。
In this configuration, the computer program of the present embodiment is executed by a computer for realizing the merchandise registration device 10 or the checkout device 20.
In the present embodiment, the first computer program includes a procedure for acquiring the biometric information of the customer, and a computer for realizing the merchandise registration apparatus 10, which completes the reading of the merchandise information by the merchandise registration apparatus 10. At the time when the information is generated, a procedure for registering the acquired customer biometric information in association with the payment information of the product for which the product information has been read by the product registration device 10 is registered.
In the present embodiment, the second computer program is a computer for realizing the checkout device 20, a procedure for acquiring the biometric information of the user of the checkout device 20, the customer's biometric information associated with the checkout information, The procedure for comparing the detected biometric information of the user, detecting the biometric information of the customer corresponding to the biometric information of the user, and acquiring the payment information associated with the detected biometric information of the customer, the payment apparatus 20 To execute a procedure for performing a payment process based on the obtained payment information.

第1生体情報取得部102または第2生体情報取得部122が取得する生体情報は、たとえば、顔画像に基づいて、生成された特徴情報を含む。たとえば、顧客の顔を、撮像装置を用いて撮像して取得される顔画像から各個人を識別可能な特徴情報を抽出し、生体情報とする。   The biological information acquired by the first biological information acquiring unit 102 or the second biological information acquiring unit 122 includes, for example, feature information generated based on a face image. For example, feature information capable of identifying each individual is extracted from a face image obtained by capturing an image of a customer's face using an image capturing device, and is used as biometric information.

生体情報が顔画像の場合、図1の生体情報リーダ8は、撮像装置となる。撮像装置は、CCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの素子を用いたデジタルカメラの機能を実現するユニットである。   When the biometric information is a face image, the biometric information reader 8 in FIG. 1 is an imaging device. The imaging device is a unit that realizes the function of a digital camera using elements such as a charge coupled devices (CCD) image sensor and a complementary metal oxide semiconductor (CMOS) image sensor.

図3は、本実施形態の情報処理システム1の各装置の配置の一例を示す図である。
商品登録装置10(本実施形態の情報処理システム1の各装置の配置の一例を示す図である。図では「POSレジ」と示す)と、精算装置20は、異なるエリアに配置される。商品登録装置10で商品登録された商品を持って顧客は精算装置20まで移動し、精算処理を行う。商品登録装置10と精算装置20は異なるエリアに配置されるが、顧客が商品登録装置10から精算装置20に移動がしやすいように配置されるのが好ましい。また、未精算のまま顧客が店外に出てしまわないように、商品登録装置10から精算装置20への移動ルートは、出口に進めないような工夫がなされているのが好ましい。この工夫の例については、後述する。
FIG. 3 is a diagram illustrating an example of an arrangement of each device of the information processing system 1 according to the present embodiment.
It is a figure showing an example of arrangement of each device of information processing system 1 of this embodiment. It is shown in a figure as "POS cash register.", And settlement device 20 are arranged in different areas. The customer moves to the payment device 20 with the product registered by the product registration device 10 and performs payment processing. The product registration device 10 and the settlement device 20 are arranged in different areas, but are preferably arranged so that customers can easily move from the product registration device 10 to the settlement device 20. In order to prevent the customer from going out of the store without payment, it is preferable that the moving route from the merchandise registration device 10 to the payment device 20 is designed so as not to proceed to the exit. An example of this device will be described later.

本実施形態では、第1生体情報取得部102に生体情報を送信する撮像装置(カメラ8a)は、商品登録装置10で商品登録される商品を購入する顧客の顔が撮像範囲(図中、破線R1で示す領域内)に入るように設置されるとともに、撮像範囲が制御される。また、第2生体情報取得部122に生体情報を送信する撮像装置(カメラ8b)は、精算装置20の利用者の顔が撮像範囲(図中、破線R2で示す領域内)に入るように設置されるとともに、撮像範囲が制御される。
撮像範囲に適切に顧客または利用者を位置させて、撮像精度を上げるために、商品登録装置10または精算装置20の周囲の人物の立ち位置をガイドする方法は、特に限定されず、運用で定められてよい。たとえば、通路を区切ったり、通路の幅を調整したり、音声ガイダンス、掲示または表示等を行ったりして顧客または利用者を誘導すればよい。
In the present embodiment, the imaging device (camera 8a) that transmits the biometric information to the first biometric information acquisition unit 102 is configured such that the face of a customer who purchases a product registered by the product registration device 10 has an imaging range (indicated by a broken line in the figure). R1), and the imaging range is controlled. The imaging device (camera 8b) that transmits the biological information to the second biological information acquisition unit 122 is installed such that the face of the user of the settlement apparatus 20 is within the imaging range (in the area indicated by the broken line R2 in the drawing). And the imaging range is controlled.
A method of guiding the standing position of a person around the merchandise registration device 10 or the settlement device 20 in order to appropriately position the customer or user in the imaging range and increase the imaging accuracy is not particularly limited, and is determined by operation. May be. For example, a customer or a user may be guided by dividing a passage, adjusting the width of the passage, performing voice guidance, posting or displaying, or the like.

第1生体情報取得部102または第2生体情報取得部122は、撮像範囲内に顧客または利用者等の人が進入したことを検知する検知部(不図示)をさらに備えてもよい。検知部の構成は様々考えられ、周知の人感センサ等でもよいし、画像認識処理手段により、撮像画像内の人を検出する構成でもよい。
人の進入が検知されたときに、カメラ8aまたはカメラ8bによる撮像動作を開始してもよい。また、カメラ8aまたはカメラ8bは、常時撮影を行っていてもよく、画像認識処理により、撮像画像内に人が検出され、所定の精度で人の顔を認識できたときに、撮像動作を行う構成としてもよい。
また、第1生体情報取得部102および第2生体情報取得部122は、カメラ8aおよびカメラ8bに対し、焦点合わせ、露出調整、または解像度の変更、あるいは、ライト等の制御を行ってもよい。
The first biometric information acquisition unit 102 or the second biometric information acquisition unit 122 may further include a detection unit (not shown) for detecting that a person such as a customer or a user has entered the imaging range. Various configurations of the detection unit are conceivable, and a known human sensor or the like may be used, or a configuration in which a person in a captured image is detected by the image recognition processing unit may be used.
When the entry of a person is detected, the imaging operation by the camera 8a or the camera 8b may be started. In addition, the camera 8a or the camera 8b may always perform photographing, and performs a photographing operation when a person is detected in the photographed image by the image recognition process and the face of the person can be recognized with predetermined accuracy. It may be configured.
Further, the first biometric information acquisition unit 102 and the second biometric information acquisition unit 122 may perform focusing, exposure adjustment, change of resolution, or control of lights and the like for the cameras 8a and 8b.

図2に戻り、本実施形態において、第1生体情報取得部102および第2生体情報取得部122の少なくとも一方は、撮像装置を用いて撮像された画像から顧客の顔画像の特徴情報を取得してもよい。顧客の顔画像の特徴情報とは、撮像画像内の人物の中から顧客を認識することができる画像の特徴情報である。本実施形態では、顧客の顔画像の特徴情報は、顧客の顔画像から抽出された特徴情報であり、顔画像そのものに比較して情報量が小さい。顔画像の特徴情報の抽出方法および画像特徴情報を用いた顧客の認識処理方法は、公知の技術を用いることができ、詳細な説明は省略する。   Returning to FIG. 2, in the present embodiment, at least one of the first biometric information acquisition unit 102 and the second biometric information acquisition unit 122 acquires the characteristic information of the customer's face image from the image captured using the imaging device. You may. The feature information of the customer's face image is feature information of an image that can recognize the customer from the persons in the captured image. In the present embodiment, the feature information of the customer's face image is feature information extracted from the customer's face image, and has a smaller amount of information than the face image itself. As a method of extracting feature information of a face image and a method of recognizing a customer using the image feature information, a known technique can be used, and a detailed description thereof will be omitted.

本実施形態において、顧客の生体情報は、商品登録装置10から精算装置20に顧客が移動し、精算処理を終了した後は、メモリ3から削除されてよい。すなわち、顧客の生体情報は、比較的短時間の期間だけ記憶されていればよく、長期間記憶しなくてよい。同じ顧客が別日に来店した場合は、その都度、生体情報を取得すればよい。   In the present embodiment, the customer's biometric information may be deleted from the memory 3 after the customer moves from the product registration device 10 to the payment device 20 and ends the payment process. That is, the customer's biometric information need only be stored for a relatively short period of time, and need not be stored for a long period of time. When the same customer comes to the store on another day, the biometric information may be obtained each time.

さらに、本実施形態では、生体情報に基づいて、店舗の利用者全員の中から顧客を特定する必要はなく、商品登録装置10で商品情報の読込が終了したときから、精算装置20で精算処理を行うまでの間、その間の顧客(利用者)が区別できればよい。本実施形態では、個人の特定まで行う必要はないため、生体情報を用いた人物を識別する基準は、他の目的で顧客個人やその属性を特定し、顧客情報として蓄積する場合とは異なってよい。たとえば、本実施形態では、生体情報は、顧客の顔だけではなく、髪型や服装などの特徴情報を含んでもよい。恒久的な顧客の特徴よりも、現時点での顧客の特徴を抽出できればよい。   Further, in the present embodiment, it is not necessary to specify the customer from all the users of the store based on the biometric information, and after the commodity information is read by the commodity registration apparatus 10, the settlement apparatus 20 executes the settlement processing. It is sufficient that the customer (user) during that time can be distinguished. In the present embodiment, since it is not necessary to perform the identification of the individual, the criteria for identifying the person using the biometric information are different from the case where the individual customer and its attributes are identified for other purposes and stored as customer information. Good. For example, in the present embodiment, the biological information may include not only the customer's face but also characteristic information such as a hairstyle and clothes. It suffices if the current customer characteristics can be extracted rather than the permanent customer characteristics.

さらに、第1生体情報取得部102または第2生体情報取得部122が取得する生体情報は、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含んでもよい。   Furthermore, the biometric information obtained by the first biometric information obtaining unit 102 or the second biometric information obtaining unit 122 may include feature information generated based on at least one of a palm print, a fingerprint, a retina, and a vein. .

第1生体情報取得部102と第2生体情報取得部122が取得する生体情報は、同じ種類の特徴情報とする。すなわち、第1生体情報取得部102で、顧客の顔画像に基づいて生成された特徴情報を取得した場合、第2生体情報取得部122でも、精算装置20の利用者の顔画像に基づいて生成された特徴情報を取得する。   The biological information acquired by the first biological information acquiring unit 102 and the second biological information acquiring unit 122 are the same type of characteristic information. That is, when the first biometric information acquisition unit 102 acquires the feature information generated based on the face image of the customer, the second biometric information acquisition unit 122 also generates the feature information based on the face image of the user of the settlement apparatus 20. Obtained feature information.

ただし、第1生体情報取得部102と第2生体情報取得部122で取得される生体情報の種類が異なる構成も排除されない。たとえば、第1生体情報取得部102または第2生体情報取得部122で取得された生体情報を元に、顧客の識別情報をそれぞれ取得できる構成においては、各装置で取得される生体情報が異なってもよい。ただし、この場合、後述する登録部104は、顧客の精算情報に生体情報から取得された顧客の識別情報を関連付けて登録する。そして、第2生体情報取得部122は、取得された生体情報から利用者の識別情報を取得し、精算情報取得部124が、取得された利用者の識別情報と一致する識別情報が関連付けられている精算情報を取得すればよい。   However, a configuration in which the types of biometric information acquired by the first biometric information acquisition unit 102 and the second biometric information acquisition unit 122 are different is not excluded. For example, in a configuration in which the identification information of the customer can be acquired based on the biological information acquired by the first biological information acquiring unit 102 or the second biological information acquiring unit 122, the biological information acquired by each device differs. Is also good. However, in this case, the registration unit 104 described later registers the customer's settlement information in association with the customer's identification information acquired from the biometric information. Then, the second biometric information acquisition unit 122 acquires the identification information of the user from the acquired biometric information, and the settlement information acquisition unit 124 associates the identification information with the acquired identification information of the user. What is necessary is to obtain the settlement information.

第1生体情報取得部102は、顧客が、店員による商品登録装置10での商品登録作業を待っている間に、顧客の生体情報を取得するのが好ましい。
第2生体情報取得部122は、精算装置20の利用者が精算を行う前に、利用者の生体情報を取得する。たとえば、精算装置20の周囲の撮像範囲内に利用者が入ったときにその利用者の顔画像を撮像してもよい。
It is preferable that the first biometric information acquisition unit 102 acquires the biometric information of the customer while the customer is waiting for the product registration operation of the product registration device 10 by the clerk.
The second biometric information acquisition unit 122 acquires the biometric information of the user before the user of the settlement apparatus 20 performs the settlement. For example, when a user enters an imaging range around the settlement apparatus 20, a face image of the user may be captured.

生体情報が掌紋、指紋、静脈等の場合、商品登録装置10または精算装置20に生体情報を送信する生体情報リーダ8の読み取り面上に顧客または利用者が手指等を載せて生体情報を読み取らせる必要がある。そのため、本実施形態では、第1生体情報取得部102または第2生体情報取得部122は、顧客または利用者に対し、生体情報の読み取りを行うための操作や動作を促すメッセージを表示装置6または入出力装置7のスピーカ等から出力(画面表示または音声出力)してもよい。そして、生体情報リーダ8から第1生体情報取得部102または第2生体情報取得部122に読み取った生体情報が送信されてもよい。   When the biometric information is a palm print, a fingerprint, a vein, or the like, the customer or user places his / her finger or the like on the reading surface of the biometric information reader 8 that transmits the biometric information to the merchandise registration device 10 or the settlement apparatus 20 and reads the biometric information. There is a need. Therefore, in the present embodiment, the first biometric information acquisition unit 102 or the second biometric information acquisition unit 122 displays a message urging the customer or user to perform an operation or operation for reading biometric information on the display device 6 or The output (screen display or audio output) may be performed from a speaker or the like of the input / output device 7. Then, the read biometric information may be transmitted from the biometric information reader 8 to the first biometric information acquisition unit 102 or the second biometric information acquisition unit 122.

さらに、第1生体情報取得部102は、商品登録装置10で商品情報の読み込みを行っている間に、顔画像を複数フレーム取得し、読込終了情報が生成されたタイミングで、複数フレームから、顧客の生体情報を生成するための顔画像を選択してもよい。   Further, the first biometric information acquisition unit 102 acquires a plurality of frames of the face image while the merchandise registration device 10 is reading the merchandise information, and outputs the customer image from the plurality of frames at the timing when the read end information is generated. May be selected to generate the biometric information of the face.

読込終了情報とは、オペレータが商品登録装置10を用いて行っている商品情報の読み込みが終了したことを示す情報であり、以下に例示されるが、これらに限定されない。また、以下を少なくともいずれか2つを組み合わせてもよい。
(1)商品情報の読み込みが終了した後、取引を確定し精算情報を生成するための合計ボタン等の操作をオペレータが行ったことを示す情報
(2)各商品の商品情報をバーコードリーダで読み込み、商品情報が生成されたことを示す情報(または生成された商品情報)
(3)重量センサによりカゴの重さを計測し、登録済みの商品が他のカゴに移されて、元のカゴから全ての商品がなくなったことをカゴの重さで検知したときに生成される情報
The read end information is information indicating that the reading of the product information performed by the operator using the product registration device 10 has been completed, and is exemplified below, but is not limited thereto. Further, at least any two of the following may be combined.
(1) After the reading of the product information is completed, information indicating that the operator has performed an operation such as a total button for confirming the transaction and generating the settlement information. (2) The bar code reader reads the product information of each product. Information indicating that product information has been read (or generated product information)
(3) Generated when the weight of the basket is measured by the weight sensor, and the registered goods are moved to another basket and all the goods are removed from the original basket by the weight of the basket. Information

上記(2)の場合、少なくとも一つ以上の読込終了情報が生成されるが、毎回、その時点での精算情報が生成され、合計ボタンの操作を受け付けるまで、上書き更新されてもよい。あるいは、合計ボタンの操作を受け付けたときに最後の精算情報のみを残して他の情報を削除してもよい。   In the case of the above (2), at least one or more read end information is generated. However, each time the settlement information at that time is generated, it may be overwritten and updated until the operation of the total button is received. Alternatively, when the operation of the total button is received, other information may be deleted while leaving only the last settlement information.

第1生体情報取得部102は、図3のカメラ8aから商品情報の読み込みが行われている間に撮像される顔画像を複数フレーム取得してもよい。そして、複数フレームから、顧客の生体情報を生成するための顔画像を選択してもよい。たとえば、画像認識処理で、人物の認識結果の尤度が所定値以上の画像を選択してもよい。また、複数フレームから抽出される特徴情報を組み合わせて人物の認識精度を上げてもよい。このように、複数フレームを利用することで、顧客の認識精度が向上する。   The first biometric information acquisition unit 102 may acquire a plurality of frames of a face image captured while product information is being read from the camera 8a in FIG. Then, a face image for generating customer biometric information may be selected from the plurality of frames. For example, in the image recognition processing, an image in which the likelihood of the person recognition result is equal to or more than a predetermined value may be selected. Further, the recognition accuracy of a person may be increased by combining feature information extracted from a plurality of frames. As described above, by using a plurality of frames, the recognition accuracy of the customer is improved.

商品登録装置10は、商品登録処理を行い、取引毎に精算情報を生成する。精算情報は、精算対象として登録された各商品の情報を含み、精算装置20が精算処理を行う際に利用する情報である。たとえば、精算情報は、精算対象に登録された各商品についての、商品コード、売価情報、販売数量、値引き情報等を含む。商品コードとは、各商品を特定するために予め決められた、文字、数字、記号等から形成される識別データである。商品コードには、たとえば、PLU(Price Look Up)コード、Non−PLUコード等が利用される。精算対象の商品に商品コードが付されていない場合には、商品コードの代わりに部門コード等の他のコードが利用されてもよい。精算情報の具体的内容は制限されない。   The merchandise registration device 10 performs merchandise registration processing and generates settlement information for each transaction. The payment information includes information on each product registered as a payment target and is information used when the payment apparatus 20 performs the payment processing. For example, the payment information includes a product code, selling price information, sales quantity, discount information, and the like for each product registered as a payment target. The product code is identification data formed of characters, numbers, symbols, and the like, which are predetermined to specify each product. As the product code, for example, a PLU (Price Look Up) code, a Non-PLU code, or the like is used. When a product code is not attached to the product to be settled, another code such as a department code may be used instead of the product code. The specific contents of the settlement information are not limited.

たとえば、商品登録装置10は、各商品の商品コードを、タッチパネルユニットを介した商品登録画面に対する操作や、商品に付された商品識別ラベルに対するスキャナ装置またはハンディスキャナを用いたスキャン操作などに基づいて読み込む。商品登録装置10は、このように読み込まれた商品コードに基づいて、商品情報テーブル(図示せず)から各商品に関する商品情報(商品名、売価等)を取得する。商品登録装置10は、このように取得された情報をまとめて精算情報として生成する。   For example, the merchandise registration apparatus 10 changes the merchandise code of each merchandise based on an operation on a merchandise registration screen via a touch panel unit, a scan operation on a merchandise identification label attached to the merchandise using a scanner or a handy scanner, or the like. Read. The product registration device 10 acquires product information (product name, selling price, etc.) for each product from a product information table (not shown) based on the product code thus read. The merchandise registration device 10 collectively generates the information thus obtained as the settlement information.

顧客の全ての商品の情報の読み込みが終了したとき、商品登録装置10は、商品登録画面にて操作ボタンへのタッチ操作などにより、商品情報の読み込みが終了した後、取引を確定する合計ボタン等の操作を受け付ける。本実施形態では、たとえば、合計ボタンの操作に呼応して生成される商品の読み込み終了情報を、登録部104が検出してもよい。   When reading of the information of all the products of the customer is completed, the product registration device 10 finishes reading the product information by touching an operation button on the product registration screen, and then determines a transaction. Accept the operation of. In the present embodiment, for example, the registration unit 104 may detect the read end information of the product generated in response to the operation of the total button.

このように、本実施形態では、商品読み込み終了情報の生成タイミングを、商品登録装置10におけるオペレータによる商品登録処理の中で普通に行われる動作や操作を検出した時としたり、センサによる検知により自動化したりすることができ、そのタイミングで顧客の生体情報と関連付けることができる。顧客の生体情報と精算情報を関連付けるための特別な操作が不要なため、商品登録装置10のオペレータの負荷を低減できる。また、通常の商品登録処理や操作以外の処理や操作を追加せずに実現できるので、顧客を必要以上に持たせることなくスムーズに処理を遂行できる。   As described above, in the present embodiment, the generation timing of the product reading end information is set to a time when an operation or operation normally performed in the product registration process by the operator in the product registration device 10 is detected, or the timing of the automatic generation is detected by the sensor. Can be associated with the customer's biological information at that timing. Since a special operation for associating the customer's biometric information with the settlement information is not required, the load on the operator of the product registration device 10 can be reduced. Further, since the present invention can be realized without adding processes and operations other than the normal product registration process and operations, the processes can be smoothly performed without having more customers than necessary.

登録部104は、商品登録装置10による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、第1生体情報取得部102により取得された顧客の生体情報を、商品登録装置10により商品情報が読み込まれた商品の精算情報に関連付けて登録する。   The registration unit 104 stores the customer biometric information acquired by the first biometric information acquisition unit 102 at the timing when the read end information indicating that the reading of the product information by the product registration device 10 has been completed is generated. The merchandise information is registered in association with the settlement information of the merchandise from which the merchandise information is read.

図4は、登録部104によって生成される精算情報130の構造の一例を示す図である。
本実施形態において、精算情報130は、対応する顧客の生体情報と関連付けて生成される。
なお、精算情報の実体は、上述したように、精算に関する様々な情報が含まれたデータの集合である。また、生体情報の実体も、画像データ、または特徴情報の少なくともいずれか一方を含むデータの集合である。本実施形態における登録部104による、精算情報と生体情報の関連付けは、たとえば、それぞれの情報に付与される識別情報(たとえば、データの集合の配列名等)を少なくとも紐付けて1レコードとすればよい。
登録部104により生成される精算情報130は、図1の通信ユニット4を介して、商品登録装置10から精算装置20に送信される。その間、顧客は、精算装置20に移動する。
FIG. 4 is a diagram illustrating an example of the structure of the settlement information 130 generated by the registration unit 104.
In the present embodiment, the settlement information 130 is generated in association with the corresponding customer's biometric information.
The substance of the settlement information is, as described above, a set of data including various information related to the settlement. The entity of the biological information is also a set of data including at least one of the image data and the feature information. The association between the settlement information and the biological information by the registration unit 104 in the present embodiment may be performed, for example, by associating at least identification information (for example, an array name of a set of data) assigned to each information with one record. Good.
The payment information 130 generated by the registration unit 104 is transmitted from the product registration device 10 to the payment device 20 via the communication unit 4 in FIG. Meanwhile, the customer moves to the checkout device 20.

精算装置20は、商品登録装置10から送信される精算情報130を用いて、精算処理を実行する。
精算処理は、合計金額を顧客に提示する処理、支払い方法を顧客に選択させる処理、選択された支払い方法での支払いを受け付ける処理、釣銭を払い出す処理、レシートを出力する処理、精算完了を提示する処理を含む。当該精算処理は、レシートの要否を顧客に選択させる処理、領収書の発行の要否を顧客に選択させる処理、領収書出力処理、会員カードの読み取り処理等、一般的な精算の流れに沿う他の処理を含んでもよい。
The settlement apparatus 20 performs settlement processing using the settlement information 130 transmitted from the product registration apparatus 10.
The settlement process is a process of presenting the total amount to the customer, a process of allowing the customer to select a payment method, a process of accepting payment with the selected payment method, a process of dispensing change, a process of outputting a receipt, and a completion of settlement. Processing. The payment process follows a general flow of payment, such as a process for allowing a customer to select whether a receipt is required, a process for allowing a customer to determine whether a receipt is required, a receipt output process, a member card reading process, and the like. Other processing may be included.

精算情報取得部124は、商品登録装置10から送信された精算情報130を受信し、記憶部(図1のメモリ3等)に記憶する。そして、顧客は精算装置20周辺に移動する。生体情報リーダ8(図3のカメラ8b)の撮像範囲R2に入った利用者をカメラ8bが撮像し、第2生体情報取得部122に送信する。精算情報取得部124は、第2生体情報取得部122が受信した生体情報(たとえば、利用者の顔画像)と、商品登録装置10から受信した精算情報に紐付けられている生体情報を照合する。そして、精算情報取得部124は、利用者の生体情報に対応する顧客の生体情報を検出し、検出された顧客の生体情報に関連付けられている精算情報を取得する。   The payment information acquisition unit 124 receives the payment information 130 transmitted from the product registration device 10 and stores it in a storage unit (such as the memory 3 in FIG. 1). Then, the customer moves to the vicinity of the settlement apparatus 20. The camera 8b captures an image of a user who has entered the imaging range R2 of the biological information reader 8 (the camera 8b in FIG. 3), and transmits the image to the second biological information acquisition unit 122. The settlement information acquisition unit 124 collates the biological information (for example, a user's face image) received by the second biological information acquisition unit 122 with the biological information linked to the settlement information received from the product registration device 10. . Then, the settlement information acquisition unit 124 detects the customer's biometric information corresponding to the user's biometric information, and acquires the settlement information associated with the detected customer's biometric information.

本システムでは、顧客が商品登録装置10に並び、店員が商品の登録処理を行う。そして、顧客が、商品登録が済んだ商品を持って精算装置20まで移動し精算処理を行う。たとえば、家族で来店しているような場合、商品登録装置10または精算装置20に並ぶ顧客は、一精算処理に対して一人ではなく複数となることが想定される。この場合、商品登録装置10に並んだ顧客と、精算装置20を利用して精算処理を行う顧客が異なることが想定される。たとえば、家族のように複数の人物が一緒に買い物をしているような場合に、レジに荷物を父親が運び、母親が精算を行うというように、異なる人物が商品登録装置10と精算装置20を利用することも考えられる。本明細書では、商品登録装置10による商品登録処理を待っている間に、商品登録装置10の周辺に設けられる第1生体情報取得部102により生体情報が取得される人物を「顧客」と呼び、精算装置20を利用して精算処理を行う人物を「利用者」と読んで区別するが、「顧客」と「利用者」は呼び方が違うだけで同一人物であってもよい。   In the present system, customers are lined up in the merchandise registration device 10, and a clerk performs merchandise registration processing. Then, the customer moves to the payment device 20 with the registered product and performs the payment process. For example, when a family visits a store, it is assumed that the number of customers lined up in the merchandise registration apparatus 10 or the settlement apparatus 20 is not one for one settlement processing but a plurality. In this case, it is assumed that the customers lined up in the merchandise registration device 10 and the customers who perform the payment processing using the payment device 20 are different. For example, when a plurality of persons are shopping together, such as a family, different persons are required to carry goods to the cash register and the mother to pay for the goods. It is also conceivable to use. In this specification, a person whose biometric information is acquired by the first biometric information acquisition unit 102 provided around the product registration device 10 while waiting for the product registration process by the product registration device 10 is called a “customer”. The person who performs the settlement process using the settlement apparatus 20 is read and distinguished as "user", but the "customer" and the "user" may be the same person only by different names.

本実施形態において、第1生体情報取得部102は、複数の顧客の顔画像を生体情報として取得することができる。そして、登録部104は、取得した複数の顧客の顔画像を、精算情報に関連付けて登録する。
一方、精算装置20において、精算情報取得部124が、いずれかの顧客の生体情報が利用者の生体情報と一致した時に、一致した顧客の生体情報に関連付けられている精算情報を取得する。
In the present embodiment, the first biometric information acquisition unit 102 can acquire face images of a plurality of customers as biometric information. Then, the registration unit 104 registers the acquired face images of the customers in association with the settlement information.
On the other hand, in the settlement apparatus 20, the settlement information acquisition unit 124 acquires the settlement information associated with the matched customer biometric information when the biometric information of any customer matches the biometric information of the user.

本実施形態では、商品登録装置10側で連れの人物全員の生体情報を取得し、全ての生体情報を一精算情報に関連付けて登録する。精算装置20側で、利用者の生体情報が複数の生体情報のいずれかと一致した場合に、その精算情報を当該利用者のものとして取得する。   In the present embodiment, the merchandise registration device 10 acquires the biometric information of all the accompanying persons, and registers all the biometric information in association with one settling information. When the user's biometric information matches any of the plurality of pieces of biometric information on the settlement apparatus 20 side, the settlement information is acquired as that of the user.

[動作例]
以下、本実施形態における情報処理システム1の動作例について図5および図6を用いて説明する。図5は、本実施形態における情報処理システム1の商品登録装置10側の動作例を示すフローチャートである。図6は、本実施形態における情報処理システム1の精算装置20側の動作例を示すフローチャートである。図示される各ステップは、たとえば、図1の各処理ユニットにより実行される。図5の商品登録装置10と図6の精算装置20の処理手順の分担は、一例であり、これらに限定されず、これらの手順の順番は内容的に支障のない範囲で変更することができる。さらに、後述する実施形態では、本実施形態の情報処理方法の処理手順の少なくとも一部を、サーバ装置が実現してもよい。
[Operation example]
Hereinafter, an operation example of the information processing system 1 according to the present embodiment will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart illustrating an operation example on the product registration device 10 side of the information processing system 1 according to the present embodiment. FIG. 6 is a flowchart illustrating an operation example of the settlement apparatus 20 of the information processing system 1 according to the present embodiment. Each illustrated step is executed by, for example, each processing unit in FIG. The sharing of the processing procedure between the merchandise registration apparatus 10 in FIG. 5 and the settlement apparatus 20 in FIG. 6 is an example, and the present invention is not limited thereto. The order of these procedures can be changed within a range that does not hinder the contents. . Further, in an embodiment to be described later, at least a part of the processing procedure of the information processing method of the present embodiment may be realized by a server device.

本発明の実施の形態に係る情報処理方法は、少なくとも1つのコンピュータにより実行される。
本実施形態の情報処理方法は、情報処理装置(商品登録装置10または精算装置20)が、顧客の生体情報を取得し(図5のステップS101)、商品登録装置10による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで(図5のステップS103のYES)、取得された顧客の生体情報を、商品登録装置10により商品情報が読み込まれた商品の精算情報に関連付けて登録し(図5のステップS105)、精算装置20の利用者の生体情報を取得し(図6のステップS123)、精算情報に関連付けられた顧客の生体情報と、取得された利用者の生体情報を照合し(図6のステップS125)、利用者の生体情報に対応する前記顧客の生体情報を検出し(図6のステップS127のYES)、検出された顧客の生体情報に関連付けられている精算情報を取得し(図6のステップS128)、精算装置20を用いて、取得した精算情報に基づく精算処理を行う(図6のステップS129)、ことを含む。
The information processing method according to the embodiment of the present invention is executed by at least one computer.
In the information processing method according to the present embodiment, the information processing apparatus (the merchandise registration apparatus 10 or the settlement apparatus 20) acquires the biometric information of the customer (Step S101 in FIG. 5), and the reading of the merchandise information by the merchandise registration apparatus 10 ends. At the timing when the read end information indicating that the reading is completed (YES in step S103 in FIG. 5), the acquired customer biometric information is associated with the payment information of the product from which the product information has been read by the product registration device 10. The registration is performed (step S105 in FIG. 5), the biometric information of the user of the settlement apparatus 20 is acquired (step S123 in FIG. 6), the biometric information of the customer associated with the settlement information, and the acquired biometric information of the user. (Step S125 in FIG. 6), and detects the customer's biometric information corresponding to the user's biometric information (YES in step S127 in FIG. 6). Acquires settlement information associated with the biometric information (step S128 in FIG. 6), using the settlement device 20, performs the settlement processing based on the acquired payment information (step S129 in FIG. 6) includes.

以下、詳細に説明する。
図5において、まず、店員は、商品登録装置10を操作して、顧客がレジに持ってきた商品を登録する作業を行う。このとき、商品登録装置10は、商品登録処理を行う。商品登録処理については、特に限定されず、本明細書では詳細な説明は省略する。商品登録処理が行われている間、第1生体情報取得部102が、顧客の生体情報を取得する(ステップS101)。上述したように、生体情報は、撮像装置による顧客の顔画像でもよいし、生体情報リーダ8により読み取られた他の生体情報でもよい。
The details will be described below.
In FIG. 5, first, the clerk operates the product registration device 10 to perform a work of registering a product brought by a customer to a cash register. At this time, the product registration device 10 performs a product registration process. The product registration process is not particularly limited, and a detailed description thereof will be omitted in this specification. While the product registration process is being performed, the first biometric information acquisition unit 102 acquires the biometric information of the customer (Step S101). As described above, the biometric information may be a face image of a customer using an imaging device or other biometric information read by the biometric information reader 8.

そして、店員により商品情報の読み込み作業が行われ、商品登録装置10により商品情報の読み込みが終了したことを示す読み込み終了情報が生成されたか否かを登録部104が判定する(ステップS103)。読み込み終了情報が生成された場合(ステップS103のYES)、登録部104が、ステップS101で取得した顧客の生体情報と、商品の精算情報を関連付けて登録する(ステップS105)。   Then, the clerk reads the product information, and the registration unit 104 determines whether or not the product registration device 10 has generated reading end information indicating that the reading of the product information has been completed (step S103). When the reading end information is generated (YES in step S103), the registration unit 104 associates and registers the customer's biometric information acquired in step S101 and the payment information of the product (step S105).

ステップS105で登録された精算情報130は、商品登録装置10から精算装置20に通信ユニット4を介して送信される(ステップS107)。そして、図6において、精算装置20では、商品登録装置10から精算情報130が通信ユニット4を介して受信される(ステップS121)。受信した精算情報130は、メモリ3に蓄積される。   The settlement information 130 registered in step S105 is transmitted from the product registration device 10 to the settlement device 20 via the communication unit 4 (step S107). Then, in FIG. 6, in the settlement apparatus 20, the settlement information 130 is received from the commodity registration apparatus 10 via the communication unit 4 (step S121). The received settlement information 130 is stored in the memory 3.

そして、第2生体情報取得部122が、精算装置20の利用者の生体情報を取得する(ステップS123)。たとえば、第2生体情報取得部122は、精算装置20の撮像範囲R2内に入ってきた利用者をカメラ8bにより撮像した利用者の顔画像を取得する。
そして、精算情報取得部124が、ステップS121で受信した精算情報130に関連付けられた顧客の生体情報と、ステップS123で取得した利用者の生体情報を照合する(ステップS125)。利用者の生体情報に対応する顧客の生体情報が検出された場合(ステップS127のYES)、精算制御部126が、検出された顧客の生体情報に関連付けられている精算情報を取得し(ステップS128)、精算装置20を用いて、取得した精算情報に基づく精算処理を実行する(ステップS129)。ステップS127で、一致する生体情報が見つからなかった場合(ステップS127のNO)、精算処理を行わず本処理を終了してもよい。
And the 2nd living body information acquisition part 122 acquires the living body information of the user of the settlement apparatus 20 (step S123). For example, the second biometric information acquisition unit 122 acquires a user's face image obtained by imaging the user who has entered the imaging range R2 of the settlement apparatus 20 with the camera 8b.
Then, the settlement information acquisition unit 124 checks the biometric information of the customer associated with the settlement information 130 received in step S121 with the biometric information of the user acquired in step S123 (step S125). When the customer's biometric information corresponding to the user's biometric information is detected (YES in step S127), the settlement controller 126 acquires the settlement information associated with the detected customer's biometric information (step S128). ), The settlement device 20 executes a settlement process based on the acquired settlement information (step S129). If no matching biometric information is found in step S127 (NO in step S127), the present process may be terminated without performing the settlement process.

本実施形態における情報処理システム1で実行される各処理の実行順序は、図5または図6に示される例に限定されない。各処理の実行順序は、内容的に支障のない範囲で変更することができる。図6のステップS127で生体情報が見つからなかった場合、利用者にもう一度、生体情報の読み取りを行うようにメッセージを出力(画面表示または音声出力)してもよい。または、第2生体情報取得部122が、カメラ8bの焦点合わせ、露出調整、解像度の変更、あるいは、ライト等の制御を行ったり、撮像範囲R2内に入るように、または、画質が向上するように、利用者に立ち位置や顔の向きの変更を指示したり、サングラスや帽子などを外すように指示したりするガイダンスを出力(画面表示または音声出力)したりして、ステップS123に戻ってもよい。   The execution order of each process executed by the information processing system 1 in the present embodiment is not limited to the example illustrated in FIG. 5 or FIG. The execution order of each process can be changed within a range that does not hinder the contents. If no biometric information is found in step S127 of FIG. 6, a message may be output (screen display or voice output) to the user again to read the biometric information. Alternatively, the second biometric information acquisition unit 122 performs focusing, exposure adjustment, change of resolution, or control of light or the like of the camera 8b, so that the image is within the imaging range R2, or image quality is improved. Then, a guidance to instruct the user to change the standing position or the direction of the face or to instruct the user to remove sunglasses, a hat, or the like is output (screen display or audio output), and the process returns to step S123. Is also good.

特に、本実施形態では、第1生体情報取得部102は、読込終了情報が生成される前に顧客の生体情報を生成しており(ステップS101)、登録部104は、読込終了情報が生成されたタイミングで(ステップS103のYES)、顧客の生体情報を精算情報に関連付けて登録する(ステップS105)。   In particular, in the present embodiment, the first biometric information acquisition unit 102 generates the biometric information of the customer before the read end information is generated (Step S101), and the registration unit 104 generates the read end information. At this timing (YES in step S103), the customer's biometric information is registered in association with the settlement information (step S105).

上述したように本実施形態では、商品登録装置10と精算装置20とが別体で設けられ、レジ処理が商品登録装置10での商品登録処理と精算装置20での精算処理とに分離される。商品登録装置10での商品登録処理で生成された精算情報は精算装置20に送られ、顧客は自ら精算装置20を操作することで精算を終える。
従来技術では、商品登録装置10で商品登録処理後に、顧客に精算情報の識別情報を記録した媒体(たとえば、レシート)を渡し、顧客がその媒体を持って精算装置20まで移動し、精算装置20に媒体に記録された識別情報を読み取らせて精算処理を行っていた。そのため、レシートの紛失の恐れや、精算処理時の取り扱いに煩雑さがあった。
As described above, in the present embodiment, the product registration device 10 and the settlement device 20 are provided separately, and the cashier process is separated into the product registration process in the product registration device 10 and the settlement process in the payment device 20. . The settlement information generated by the commodity registration process in the commodity registration apparatus 10 is sent to the settlement apparatus 20, and the customer ends the settlement by operating the settlement apparatus 20 by himself.
In the prior art, after the merchandise registration processing by the merchandise registration apparatus 10, a medium (for example, a receipt) on which identification information of the settlement information is recorded is handed to the customer, and the customer moves to the adjustment apparatus 20 with the medium and moves to the settlement apparatus 20. To read the identification information recorded on the medium to perform the settlement process. For this reason, the receipt may be lost, and handling during the settlement process may be complicated.

本実施形態の情報処理システム1では、第1生体情報取得部102により顧客の生体情報が取得され、商品登録装置10による商品情報の読込終了情報が生成されたタイミングで登録部104により精算情報に顧客の生体情報が関連付けられて登録される。そして、第2生体情報取得部122により、精算装置20の利用者の生体情報が取得され、先に精算情報に関連付けられた顧客の生体情報と照合される。利用者の生体情報に対応する顧客の生体情報が検出されたとき、その顧客の生体情報に関連付けられている精算情報を取得し、取得した精算情報に基づく精算処理を精算制御部126が精算装置20に実行させる。   In the information processing system 1 according to the present embodiment, the biometric information of the customer is acquired by the first biometric information acquisition unit 102, and the registration information is converted into the settlement information by the registration unit 104 at the timing when the product information reading end information is generated by the product registration device 10. The customer's biometric information is registered in association with it. Then, the biometric information of the user of the settlement apparatus 20 is acquired by the second biometric information acquisition unit 122, and is compared with the biometric information of the customer previously associated with the settlement information. When the customer's biometric information corresponding to the user's biometric information is detected, the settlement information associated with the customer's biometric information is acquired, and the settlement control unit 126 performs a settlement process based on the acquired settlement information. 20.

このように、本実施形態の情報処理システム1によれば、商品登録装置10の商品登録処理と精算装置20の精算処理にレジ処理を分離するシステムにおいて、精算情報を記録した媒体(たとえば、レシート)を不要とし、かつ、オペレータは商品登録作業以外の特別な操作を行わずに、顧客の生体情報を取得して、精算情報に関連付けることができるので、オペレータの負荷を低減できるという効果を奏する。   As described above, according to the information processing system 1 of the present embodiment, in the system in which the cash register processing is separated into the merchandise registration processing of the merchandise registration apparatus 10 and the checkout processing of the adjustment apparatus 20, the medium (for example, the receipt) on which the adjustment information is recorded ) Is unnecessary, and the operator can acquire the customer's biometric information and associate it with the settlement information without performing any special operation other than the product registration work, so that the operator's load can be reduced. .

さらに、本実施形態では、生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含み、第1生体情報取得部102により、商品登録装置10で商品情報の読み込みを行っている間に、顔画像が複数フレーム取得され、読込終了情報が生成されたタイミングで、複数フレームから、顧客の生体情報を生成するための顔画像が選択される。
この構成によれば、複数フレームを利用することで、顧客の認識精度が向上する。
Furthermore, in the present embodiment, the biometric information includes feature information generated based on a face image captured using an imaging device, and the first biometric information acquisition unit 102 reads the product information in the product registration device 10. Is performed, a plurality of frames of face images are obtained, and at the timing when the read end information is generated, a face image for generating the biometric information of the customer is selected from the plurality of frames.
According to this configuration, the recognition accuracy of the customer is improved by using a plurality of frames.

さらに、本実施形態では、読込終了情報が生成される前に第1生体情報取得部102により顧客の生体情報が生成され、登録部104により、読込終了情報が生成されたタイミングで顧客の生体情報を精算情報に関連付けて登録される。
この構成によれば、商品情報の読込終了のタイミングで、それ以前に取得してある顧客の生体情報を精算情報に関連付けることができるので、関連付けのための操作が不要なため、オペレータへの負担がないとともに、商品情報の読み込み作業以外の作業で顧客を待たせずに済む。
Furthermore, in the present embodiment, the first biometric information acquisition unit 102 generates the biometric information of the customer before the read end information is generated, and the registration unit 104 generates the biometric information of the customer at the timing when the read end information is generated. Is registered in association with the settlement information.
According to this configuration, the customer's biometric information acquired earlier can be associated with the settlement information at the end of the reading of the merchandise information. And there is no need to wait for the customer for work other than reading the product information.

さらに、本実施形態では、商品登録装置10側で、第1生体情報取得部102により複数の顧客の顔画像が生体情報として取得され、登録部104により、取得した複数の顧客の顔画像が、精算情報に関連付けて登録される。そして、精算装置20側では、精算情報取得部124により、いずれかの顧客の生体情報が利用者の生体情報と一致した時に、一致した顧客の生体情報に関連付けられている精算情報が取得される。
この構成によれば、商品登録装置10側で複数の顧客が存在した場合に、誰かを選択して精算情報に関連付けて登録するのではなく、全員の生体情報を取得して精算情報に関連付けて登録するので、第一にオペレータに負荷がかからない。第二に、登録された複数の顧客の生体情報のうち、少なくともいずれかが精算装置20の利用者の生体情報と一致すれば、対応する顧客の生体情報の精算情報を取得でき、精算を行うことができるので、連れの中で誰でも精算処理を行うことができ、利便性が高い。
Further, in the present embodiment, on the product registration device 10 side, the first biometric information acquisition unit 102 acquires face images of a plurality of customers as biometric information, and the registration unit 104 converts the acquired face images of the plurality of customers into It is registered in association with the settlement information. Then, in the settlement apparatus 20, the settlement information acquisition unit 124 acquires the settlement information associated with the matched customer's biometric information when the biometric information of any customer matches the biometric information of the user. .
According to this configuration, when there are a plurality of customers on the merchandise registration apparatus 10 side, instead of selecting someone and registering it in association with the settlement information, the biometric information of all the members is acquired and associated with the settlement information. Since registration is performed, first, the operator is not burdened. Second, if at least one of the registered biometric information of a plurality of customers matches the biometric information of the user of the settlement apparatus 20, the settlement information of the corresponding customer's biometric information can be acquired and the settlement is performed. Since it is possible, anyone can perform the settlement process while traveling, and the convenience is high.

(第2の実施の形態)
本発明の実施の形態に係る情報処理システム1は、上記実施形態とは、さらに、未精算で退出する顧客を検知する構成を有している点で相違する。
以下、本実施形態における情報処理システム1について、上記実施形態と異なる内容を中心に説明する。以下の説明では、上記実施形態と同様の内容については適宜省略する。
(Second embodiment)
The information processing system 1 according to the embodiment of the present invention is different from the above embodiment in that the information processing system 1 further has a configuration for detecting a customer who leaves due to unpaid settlement.
Hereinafter, the information processing system 1 according to the present embodiment will be described focusing on contents different from the above embodiment. In the following description, the same contents as those in the above embodiment will be appropriately omitted.

[処理構成]
図7は、本実施形態における情報処理システム1の要部構成例を概念的に示す機能ブロック図である。
図7では、図2の上記実施形態の情報処理システム1の構成のうち、説明に必要な構成のみ図示してある。
情報処理システム1は、図2の情報処理システム1の構成に加え、さらに、第3生体情報取得部202と、出力部204と、を備える。
本実施形態では、上記実施形態と組み合わせた構成例について説明するが、後述する他の実施形態の構成と矛盾のない範囲で組み合わせることもできる。
本図の各処理ユニットについても、他の処理ユニットと同様に、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。プログラムについて上述したとおりである。
本実施形態の情報処理システム1は、図7の構成要素の機能を、商品登録装置10または精算装置20で分担して実現してもよいし、図示されないサーバ装置が、少なくとも一部の機能を実現してもよく、特に限定されない。
[Processing configuration]
FIG. 7 is a functional block diagram conceptually illustrating a configuration example of a main part of the information processing system 1 according to the present embodiment.
FIG. 7 shows only the configuration necessary for the description of the configuration of the information processing system 1 according to the embodiment of FIG.
The information processing system 1 further includes a third biological information acquisition unit 202 and an output unit 204 in addition to the configuration of the information processing system 1 in FIG.
In the present embodiment, a configuration example combined with the above-described embodiment will be described. However, the configuration can be combined within a range that does not contradict a configuration of another embodiment described later.
Each processing unit in the figure is also realized by executing a program stored in the memory 3 by the CPU 2 as in the other processing units. The program is as described above.
In the information processing system 1 of the present embodiment, the functions of the components in FIG. 7 may be implemented by the product registration device 10 or the settlement device 20, or a server device (not shown) may perform at least a part of the functions. It may be realized, and there is no particular limitation.

本実施形態において、第3生体情報取得部202は、商品登録装置10および精算装置20が設置されるエリアからの退出者の生体情報を取得する。
出力部204は、未精算の精算情報に関連付けられた顧客の生体情報と、第3生体情報取得部202により取得された退出者の生体情報を照合し、一致した場合に出力を行う。
In the present embodiment, the third biometric information acquisition unit 202 acquires biometric information of a person who has left the area where the product registration device 10 and the settlement device 20 are installed.
The output unit 204 collates the biometric information of the customer associated with the unpaid settlement information with the biometric information of the exited person acquired by the third biometric information acquisition unit 202, and outputs the same if they match.

図8は、本実施形態の情報処理システム1の各装置の配置を説明するための図である。
たとえば、顧客は、図のIN方向から商品登録装置10に並び、商品登録処理が済んだ後、精算装置20の方に移動して並ぶ。このとき、顧客が未精算のまま商品を持って店外へ出てしまわないように、商品登録装置10と精算装置20が設置されているエリアは、たとえば、2つのパーティションP1、P2によって他のエリアと区別され、顧客の移動ルートが形成される。さらに、このエリアからの退出方向(OUT)には、このエリアと他のエリアを隔絶するゲートGが設けられている。
FIG. 8 is a diagram for explaining the arrangement of each device of the information processing system 1 according to the present embodiment.
For example, the customers line up in the merchandise registration device 10 from the IN direction in the figure, and after completing the merchandise registration processing, move to the payment device 20 and line up. At this time, the area in which the product registration device 10 and the payment device 20 are installed is, for example, divided into two partitions P1 and P2 so that the customer does not go out of the store with the product without payment. It is distinguished from the area, and the customer's travel route is formed. Further, a gate G for isolating this area from other areas is provided in the exit direction (OUT) from this area.

図7の出力部204は、このゲートGの開閉を制御する信号を出力してもよい。
出力部204は、退出者の退出経路を閉鎖する制御信号を出力してもよい。
たとえば、通常、ゲートGは開放状態にあり、未精算のままの退出者が検知された場合に、ゲートGを閉鎖するように制御されてもよい。逆に、通常、ゲートGは閉鎖状態にあり、精算済みの利用者がゲートGから退出する場合にのみ、ゲートGが開放されるように制御されてもよい。また、条件により、制御方法を替えてもよい。
The output unit 204 in FIG. 7 may output a signal for controlling the opening and closing of the gate G.
The output unit 204 may output a control signal for closing the exit route of the exit person.
For example, normally, the gate G may be in an open state, and the control may be performed so as to close the gate G when a leaver who remains unpaid is detected. Conversely, normally, the gate G is in a closed state, and it may be controlled so that the gate G is opened only when the user who has settled out of the gate G. Further, the control method may be changed according to conditions.

図7の第3生体情報取得部202は、上記実施形態の第1生体情報取得部102、または第2生体情報取得部122と同様な構成を有する。図8の例では、生体情報は利用者の顔画像であり、第3生体情報取得部202は、生体情報リーダ8(カメラ8c)で撮像される利用者の顔画像、または顔画像の特徴情報を取得する。第3生体情報取得部202に生体情報を送信する撮像装置(カメラ8c)は、商品登録装置10と精算装置20が設置されるエリアからOUT方向に退出する利用者の顔が撮像範囲(図中、破線R3で示す領域内)に入るように設置されるとともに、撮像範囲が制御される。また、第3生体情報取得部202が、カメラ8cの焦点合わせ、露出調整、解像度の変更、あるいは、ライト等の制御を行ってもよい。
商品登録装置10と精算装置20が設置されるエリアからの退出者の退出経路には、ゲートGが開閉制御可能に設置される。ゲートGの制御を出力部204により出力信号に従って行ってもよい。
The third biometric information acquisition unit 202 in FIG. 7 has the same configuration as the first biometric information acquisition unit 102 or the second biometric information acquisition unit 122 of the above embodiment. In the example of FIG. 8, the biometric information is a face image of the user, and the third biometric information acquisition unit 202 determines the face image of the user captured by the biometric information reader 8 (camera 8c) or the feature information of the face image. To get. An imaging device (camera 8c) that transmits biometric information to the third biometric information acquisition unit 202 has an imaging range (in the figure) of the face of a user who exits in the OUT direction from the area where the product registration device 10 and the settlement device 20 are installed. , Within the area indicated by the broken line R3), and the imaging range is controlled. Further, the third biometric information acquisition unit 202 may control the focus of the camera 8c, the exposure adjustment, the change of the resolution, or the control of the light and the like.
A gate G is installed on the exit route of the exiting person from the area where the product registration device 10 and the settlement device 20 are installed so that the gate G can be opened and closed. The control of the gate G may be performed by the output unit 204 according to the output signal.

顔画像以外の生体情報の場合は、通常、ゲートGは閉鎖状態に制御され、利用者が退出前に生体情報リーダ8により生体情報の読み取り動作を行う。そして、第3生体情報取得部202が取得したその生体情報に基づいて、その利用者が未精算でない(精算済み)と判定された場合のみ、ゲートGを開放されように、出力部204の出力に従い制御されればよい。   In the case of biometric information other than a face image, the gate G is normally controlled to be in a closed state, and the biometric information reader 8 reads the biometric information before the user leaves. Then, only when it is determined that the user is not yet settled (is settled) based on the biometric information obtained by the third biometric information obtaining unit 202, the output of the output unit 204 is set so that the gate G is opened. It may be controlled according to the following.

図9は、本実施形態の情報処理システム1の登録部104により生成される精算情報230の構造の一例を示す図である。
本実施形態において、精算情報230は、上記実施形態で登録部104により生成された精算情報130の、対応する顧客の生体情報に、さらに、精算済みフラグが関連付けされる。
精算装置20を用いて精算処理が終了した顧客の精算情報に、精算制御部126が精算済みフラグをセットして関連付ける。商品登録装置10で生成される精算情報は、図4の構造とし、精算制御部126がさらに、精算済みフラグをセットして関連付けてもよいし、図9の構造とし、商品登録装置10で、精算済みフラグをリセットし、精算制御部126が精算済みフラグを精算後にセットしてもよい。
FIG. 9 is a diagram illustrating an example of a structure of the settlement information 230 generated by the registration unit 104 of the information processing system 1 according to the present embodiment.
In the present embodiment, in the settlement information 230, a settlement flag is further associated with the corresponding customer's biometric information in the settlement information 130 generated by the registration unit 104 in the above embodiment.
The settlement control unit 126 sets and associates a settlement completion flag with the settlement information of the customer who has completed the settlement processing using the settlement apparatus 20. The settlement information generated by the commodity registration device 10 has the structure shown in FIG. 4 and the settlement control unit 126 may further set a settlement flag and associate it with the structure shown in FIG. The settlement completion flag may be reset, and the settlement control unit 126 may set the settlement completion flag after the settlement.

また、フラグを使用しない構成も考えられる。たとえば、商品登録装置10から受信し、メモリ3に蓄積される精算情報130を、精算制御部126により精算が完了したら、対応するレコードを削除する構成でも同様の機能を実現できる。精算済みのレコードを削除することで、出力部204は、精算情報130内に、退出者の生体情報と一致する生体情報のレコードが残っているかを調べればよく、生体情報が残っている退出者は未精算であることを検知できる。なお、ここで削除されるのは、本実施形態で使用する精算情報と生体情報を関連付ける情報であり、精算情報の実体データそのものは削除されなくてよい。   A configuration that does not use a flag is also conceivable. For example, the same function can be realized by a configuration in which the settlement information 130 received from the commodity registration device 10 and stored in the memory 3 is deleted when the settlement controller 126 completes the settlement. By deleting the record that has been settled, the output unit 204 only needs to check whether there is a record of biometric information that matches the biometric information of the evacuee in the settlement information 130. Can be detected as unpaid. Note that what is deleted here is information that associates the settlement information and the biological information used in the present embodiment, and the actual data itself of the settlement information does not need to be deleted.

第3生体情報取得部202は、利用者がエリアから退出しようとするとき、ゲートGの周囲を撮像範囲R3とするカメラ8cにより撮像された顔画像を受信する。
出力部204は、図9の精算情報に関連付けられている精算済みフラグがセットされていない未精算の精算情報に関連付けられている生体情報と、第3生体情報取得部202により取得した生体情報を照合する。そして、一致する生体情報が検出された場合、ゲートGを閉鎖する信号を出力する。
When the user intends to leave the area, the third biometric information acquisition unit 202 receives a face image captured by the camera 8c having an imaging range R3 around the gate G.
The output unit 204 outputs the biometric information associated with the unpaid settlement information in which the settlement flag associated with the settlement information in FIG. 9 is not set and the biometric information acquired by the third biometric information acquisition unit 202. Collate. Then, when the matching biological information is detected, a signal for closing the gate G is output.

出力部204は、ゲートGの開閉制御信号ではなく、警報音または音声を出力してもよいし、ランプ等の点灯または点滅制御信号を出力してもよい、店員、警備室または警備員等への通報出力を行ってもよい。これら出力の少なくともいずれかを組み合わせてもよい。   The output unit 204 may output an alarm sound or a voice instead of a gate G opening / closing control signal, or may output a lighting or blinking control signal of a lamp or the like, to a store clerk, a security room, a security guard, or the like. May be output. At least one of these outputs may be combined.

なお、図8のレイアウトは一例に過ぎず、これに限定されない。ゲートGの開閉も回転式でなくてもよく、水平方向にスライドして開閉する形式でもよい。また、門扉の施錠を制御するものでもよい。   Note that the layout in FIG. 8 is merely an example, and the layout is not limited to this. The opening and closing of the gate G may not be of a rotary type, but may be of a type that is opened and closed by sliding in the horizontal direction. Further, the lock of the gate may be controlled.

以上説明したように、本実施形態の情報処理システム1では、第3生体情報取得部202により、商品登録装置10と精算装置20が設置されるエリアからの退出者の生体情報が取得され、出力部204により、未精算の精算情報に関連付けられた顧客の生体情報と、退出者の生体情報が一致した場合に、出力が行われる。さらに、退出者の退出経路を閉鎖する制御も行える。
本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、顧客が故意に、またはうっかり未精算のまま退出することを防止できる。
As described above, in the information processing system 1 of the present embodiment, the third biometric information acquisition unit 202 acquires the biometric information of a person who has exited from the area where the product registration device 10 and the settlement device 20 are installed, and outputs the information. The output is performed by the unit 204 when the biometric information of the customer associated with the unpaid settlement information matches the biometric information of the leaving person. Further, control for closing the exit route of the exit person can be performed.
According to the present embodiment, the same effects as those of the above-described embodiment can be obtained, and furthermore, it is possible to prevent the customer from intentionally or inadvertently leaving the unpaid account.

(第3の実施の形態)
以下、本発明の第3の実施の形態に係る商品登録装置およびその情報処理方法について説明する。また、本実施形態は、この情報処理方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
(Third embodiment)
Hereinafter, a merchandise registration apparatus and an information processing method thereof according to a third embodiment of the present invention will be described. Further, the present embodiment may be a program that causes at least one computer to execute the information processing method, or a recording medium that records such a program and that is readable by at least one computer. .

図10は、本実施形態の商品登録装置300の論理的な構成を示す機能ブロック図である。
本実施形態の商品登録装置300は、顧客の生体情報を取得する生体情報取得部302と、商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、生体情報取得部302により取得された前記顧客の生体情報を、前記商品情報が読み込まれた商品の精算情報に関連付けて登録する登録部304と、を備える。
FIG. 10 is a functional block diagram illustrating a logical configuration of the product registration device 300 according to the present embodiment.
The merchandise registration apparatus 300 according to the present embodiment uses the biometric information acquisition unit 302 that acquires the biometric information of a customer and the biometric information acquisition unit 302 at the timing when the read end information indicating that the reading of the merchandise information has been completed is generated. A registration unit 304 for registering the acquired biometric information of the customer in association with payment information of the product from which the product information has been read.

本実施形態において、商品登録装置300は、上述した情報処理システム1の少なくとも一部の機能を実現する情報処理装置に相当する。本実施形態では、商品登録装置300として説明しているが、所謂POSレジ端末等の商品登録処理に係る基本的な機能を、本発明の情報処理装置は必ずしも備えてなくてもよい。POSレジ端末とは別の情報処理装置により商品登録装置300の機能が実現されてもよい。   In the present embodiment, the product registration device 300 corresponds to an information processing device that realizes at least a part of the functions of the information processing system 1 described above. In the present embodiment, the product registration device 300 is described, but the information processing device of the present invention does not necessarily need to have a basic function related to a product registration process such as a so-called POS register terminal. The function of the merchandise registration device 300 may be realized by an information processing device different from the POS cashier terminal.

生体情報取得部302は、図1の生体情報リーダ8から、顧客の生体情報を受信し、メモリ3に記憶する。生体情報リーダ8が、顧客の生体情報を読み取った時に、商品登録装置300に送信してもよいし、商品登録装置300が生体情報リーダ8にリクエストして、生体情報リーダ8が生体情報を読み取り商品登録装置300に送信してもよい。また、生体情報リーダ8は、自動的に顧客の存在を検出して生体情報の読み取りを開始してもよいし、顧客またはオペレータの操作に従い生体情報の読み取りを開始してもよい。
本発明の生体情報は、撮像装置により撮像される、顧客の顔画像に基づいて生成された特徴情報を含む。さらに、生体情報は、生体情報リーダ8により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む。
生体情報取得部302が生体情報として、顧客の顔画像に基づいて生成された特徴情報を含む場合、生体情報取得部302は、図8のカメラ8aから商品情報の読み込みが行われている間に撮像される顔画像を複数フレーム取得してもよい。そして、複数フレームから、顧客の生体情報を生成するための顔画像を選択してもよい。また、複数フレームから抽出される特徴情報を組み合わせて人物の識別精度を上げてもよい。このように、複数フレームを利用することで、顧客の認識精度が向上する。
The biometric information acquisition unit 302 receives the biometric information of the customer from the biometric information reader 8 of FIG. When the biometric information reader 8 reads the biometric information of the customer, the biometric information reader 8 may transmit the biometric information to the merchandise registration device 300, or may request the biometric information reader 8 to read the biometric information. It may be transmitted to the product registration device 300. Further, the biometric information reader 8 may automatically detect the presence of the customer and start reading the biometric information, or may start reading the biometric information according to the operation of the customer or the operator.
The biological information of the present invention includes feature information generated based on a customer's face image captured by an imaging device. Further, the biological information includes characteristic information generated by the biological information reader 8 and generated based on at least one of a palm print, a fingerprint, a retina, and a vein.
When the biometric information acquisition unit 302 includes, as biometric information, feature information generated based on a customer's face image, the biometric information acquisition unit 302 performs a process while product information is being read from the camera 8a in FIG. A plurality of frames of the captured face image may be obtained. Then, a face image for generating customer biometric information may be selected from the plurality of frames. In addition, the identification information of a person may be improved by combining feature information extracted from a plurality of frames. As described above, by using a plurality of frames, the recognition accuracy of the customer is improved.

登録部304は、商品登録装置300の商品登録処理部(不図示)における商品情報の読み込みが終了したことを示す情報が生成されたタイミングで、精算情報に対応する顧客の生体情報を関連付けて登録する。精算情報は、メモリ3に一時的に記憶され、通信ユニット4を介して精算装置(図10には図示されない)に送信される。
登録部304は、POSレジ端末から商品情報の読み込みが終了したことを示す読込終了情報を受信し、受信したことに呼応して、精算情報に顧客の生体情報を関連付けて登録してもよい。また、精算情報は、商品登録装置300が保持していなくてもよく、POSレジ端末が、商品情報を読み込んで生成された精算情報をメモリに記憶し、登録部304が、メモリにアクセスして精算情報に顧客の生体情報を関連付けて記憶してもよい。
The registration unit 304 associates and registers the customer's biometric information corresponding to the settlement information at a timing at which information indicating that the reading of the product information in the product registration processing unit (not shown) of the product registration device 300 has been completed is generated. I do. The payment information is temporarily stored in the memory 3 and transmitted to a payment device (not shown in FIG. 10) via the communication unit 4.
The registration unit 304 may receive, from the POS register terminal, read end information indicating that the reading of the merchandise information has ended, and register the payment information in association with the customer's biometric information in response to the reception. The payment information may not be held by the product registration device 300, and the POS register terminal reads the product information and stores the generated payment information in a memory, and the registration unit 304 accesses the memory and The customer's biological information may be stored in association with the checkout information.

図10の商品登録装置300の各処理ユニットは、たとえば、図1のCPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、たとえば、CD、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4を介してインストールされ、メモリ3に格納されてもよい。   Each processing unit of the product registration device 300 in FIG. 10 is realized by, for example, executing a program stored in the memory 3 by the CPU 2 in FIG. Further, the program may be installed from a portable recording medium such as a CD, a memory card, or another computer on a network via the communication unit 4 and stored in the memory 3.

本実施形態のコンピュータプログラムは、情報処理システム1の少なくとも一部の機能を実現する商品登録装置300を実現させるためのコンピュータに、顧客の生体情報を取得する手順、商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、生体情報を取得する手順により取得された顧客の生体情報を、商品情報が読み込まれた商品の精算情報に関連付けて登録する手順、を実行させるように記述されている。
上述したように、コンピュータは、POSレジ端末に含まれてもよいし、POSレジ端末に接続される情報処理装置によって実現されてもよい。
The computer program according to the present embodiment is configured such that the computer for realizing the product registration device 300 that realizes at least a part of the functions of the information processing system 1 obtains the customer's biometric information and completes the reading of the product information. At the time when the read end information indicating the information is generated, the customer's biometric information obtained by the biometric information obtaining procedure is registered in association with the payment information of the product from which the product information is read. It has been described.
As described above, the computer may be included in the POS cashier terminal, or may be realized by an information processing device connected to the POS cashier terminal.

このように構成された本実施形態の商品登録装置300の情報処理方法について、以下に説明する。
図11は、本実施形態における商品登録装置300の動作例を示すフローチャートである。図11に示されるように、本実施形態における情報処理方法は、情報処理システム1の少なくとも一部の機能を実現する情報処理装置の情報処理方法であり、前記情報処理装置に相当する商品登録装置300のような少なくとも1つのコンピュータにより実行される。たとえば、図示される各手順は、図10の商品登録装置300が有する各処理ユニットにより実行される。
The information processing method of the product registration device 300 of the present embodiment configured as described above will be described below.
FIG. 11 is a flowchart illustrating an operation example of the product registration device 300 according to the present embodiment. As shown in FIG. 11, the information processing method according to the present embodiment is an information processing method of an information processing device that realizes at least a part of the function of the information processing system 1, and a product registration device corresponding to the information processing device. Executed by at least one computer, such as 300. For example, each illustrated procedure is executed by each processing unit included in the product registration device 300 in FIG.

本実施形態における情報処理方法は、商品登録装置300が、顧客の生体情報を取得し(ステップS301)、商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで(ステップS303のYES)、ステップS301で取得された顧客の生体情報を、商品情報が読み込まれた商品の精算情報に関連付けて登録する(ステップS305)、ことを含む。   In the information processing method according to the present embodiment, the merchandise registration apparatus 300 acquires the biometric information of the customer (Step S301), and generates the read end information indicating that the reading of the merchandise information has been completed (Step S303). YES), and registering the biometric information of the customer obtained in step S301 in association with the settlement information of the product from which the product information has been read (step S305).

より詳細には、商品登録装置300において、生体情報取得部302が、顧客の生体情報を生体情報リーダ8から通信ユニット4を介して受信してメモリ3に記憶する(ステップS301)。そして、登録部304が、商品情報の読み込みが終了したことを示す読込終了情報が生成されか否かを判定する(ステップS303)。読込終了情報が生成された場合(ステップS303のYES)、登録部304が、ステップS301で取得された顧客の生体情報を、商品情報が読み込まれた商品の精算情報に関連付けて登録する(ステップS305)。そして、登録部104が、精算情報を、通信ユニット4を介して精算装置に送信する(ステップS307)。読込終了情報が生成されない場合(ステップS303のNO)、そのまま読込終了情報が生成されるまで待機してもよいし、ステップS101に戻り、生体情報取得部302による顧客の生体情報の取得を続けてもよい(不図示)。   More specifically, in the product registration device 300, the biometric information acquisition unit 302 receives the biometric information of the customer from the biometric information reader 8 via the communication unit 4 and stores it in the memory 3 (step S301). Then, the registration unit 304 determines whether or not read end information indicating that the reading of the merchandise information has been completed is generated (step S303). When the reading end information is generated (YES in step S303), the registration unit 304 registers the customer's biometric information acquired in step S301 in association with the payment information of the product from which the product information is read (step S305). ). Then, the registration unit 104 transmits the payment information to the payment device via the communication unit 4 (Step S307). If the read end information is not generated (NO in step S303), the process may wait until the read end information is generated, or may return to step S101 and continue to acquire the customer's biometric information by the biometric information acquisition unit 302. (Not shown).

本実施形態によれば、上記各実施形態と同様の効果を得ることができる商品登録装置を提供できる。   According to the present embodiment, it is possible to provide a product registration device that can obtain the same effects as the above embodiments.

(第4の実施の形態)
以下、本発明の第4の実施の形態に係る精算装置およびその情報処理方法について説明する。また、本実施形態は、この情報処理方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
(Fourth embodiment)
Hereinafter, a settlement apparatus and an information processing method thereof according to a fourth embodiment of the present invention will be described. Further, the present embodiment may be a program that causes at least one computer to execute the information processing method, or a recording medium that records such a program and that is readable by at least one computer. .

図12は、本実施形態の精算装置400の論理的な構成を示す機能ブロック図である。
本実施形態の精算装置400は、利用者の生体情報を取得する生体情報取得部402と、商品登録装置により商品情報が読み込まれた商品の精算情報に関連付けられた顧客の生体情報と、生体情報取得部402により取得された利用者の生体情報を照合し、利用者の生体情報に対応する顧客の生体情報を検出し、検出された顧客の生体情報に関連付けられている精算情報を取得する精算情報取得部404と、取得した精算情報に基づく精算処理を行う精算制御部406と、を備える。
FIG. 12 is a functional block diagram showing a logical configuration of the settlement apparatus 400 of the present embodiment.
The settlement apparatus 400 according to the present embodiment includes a biometric information acquisition unit 402 that acquires biometric information of a user, biometric information of a customer associated with the payment information of a product whose product information is read by the product registration device, and biometric information. Checking the user's biometric information acquired by the acquisition unit 402, detecting customer's biometric information corresponding to the user's biometric information, and acquiring settlement information associated with the detected customer's biometric information An information acquisition unit 404 and a settlement control unit 406 that performs a settlement process based on the acquired settlement information are provided.

本実施形態において、精算装置400は、上述した情報処理システム1の少なくとも一部の機能を実現する情報処理装置に相当する。本実施形態では、精算装置400として説明しているが、所謂セミセルフPOSレジの精算処理端末等の精算処理に係る基本的な機能を、本発明の情報処理装置は必ずしも備えてなくてもよい。精算処理端末とは別の情報処理装置により精算装置400の機能が実現されてもよい。   In the present embodiment, the settlement apparatus 400 corresponds to an information processing apparatus that implements at least a part of the functions of the information processing system 1 described above. In the present embodiment, the settlement apparatus 400 is described, but the information processing apparatus of the present invention does not necessarily need to have basic functions related to settlement processing such as a settlement terminal of a so-called semi-self POS register. The function of the settlement apparatus 400 may be realized by an information processing device different from the settlement processing terminal.

生体情報取得部402は、図1の生体情報リーダ8から、利用者の生体情報を受信し、メモリ3に記憶する。生体情報リーダ8が利用者の生体情報を読み取った時に、精算装置400に送信してもよいし、精算装置400が生体情報リーダ8にリクエストして、生体情報リーダ8が生体情報を読み取り精算装置400に送信してもよい。また、生体情報リーダ8は、自動的に顧客の存在を検出して生体情報の読み取りを開始してもよいし、顧客またはオペレータの操作に従い生体情報の読み取りを開始してもよい。
本発明の生体情報は、撮像装置により撮像される、顧客の顔画像に基づいて生成された特徴情報を含む。さらに、生体情報は、生体情報リーダ8により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む。
The biological information acquiring unit 402 receives the biological information of the user from the biological information reader 8 of FIG. When the biometric information reader 8 reads the biometric information of the user, the biometric information may be transmitted to the settlement device 400, or the settlement device 400 requests the biometric information reader 8, and the biometric information reader 8 reads the biometric information and reads the biometric information. 400. Further, the biometric information reader 8 may automatically detect the presence of the customer and start reading the biometric information, or may start reading the biometric information according to the operation of the customer or the operator.
The biological information of the present invention includes feature information generated based on a customer's face image captured by an imaging device. Further, the biological information includes characteristic information generated by the biological information reader 8 and generated based on at least one of a palm print, a fingerprint, a retina, and a vein.

また、本実施形態の精算装置400では、生体情報取得部402は、精算装置に関連付けられている生体情報と同じ種類の生体情報を用いるのが好ましいが、異なる構成も排除されない。
また、上記実施形態と同様に、生体情報取得部402が生体情報として、顧客の顔画像に基づいて生成された特徴情報を含む場合、生体情報取得部402は、図8のカメラ8bから、精算装置の前に利用者が立ったときから所定時間の間に撮像される顔画像を複数フレーム取得してもよい。そして、複数フレームから、利用者の生体情報を生成するための顔画像を選択してもよい。また、複数フレームから抽出される特徴情報を組み合わせて人物の識別精度を上げてもよい。このように、複数フレームを利用することで、利用者の認識精度が向上する。
In the settlement apparatus 400 of the present embodiment, it is preferable that the biometric information acquisition unit 402 uses the same type of biometric information as the biometric information associated with the settlement apparatus. However, a different configuration is not excluded.
Further, as in the above embodiment, when the biometric information acquisition unit 402 includes, as biometric information, feature information generated based on a customer's face image, the biometric information acquisition unit 402 uses the camera 8b in FIG. A plurality of face images captured during a predetermined time from when the user stands in front of the apparatus may be acquired. Then, a face image for generating the biometric information of the user may be selected from the plurality of frames. In addition, the identification information of a person may be improved by combining feature information extracted from a plurality of frames. In this way, by using a plurality of frames, the recognition accuracy of the user is improved.

精算情報取得部404は、商品登録装置により商品情報が読み込まれた商品の精算情報を図1の通信ユニット4を介して受信し、メモリ3に記憶する。そして、精算情報取得部404は、生体情報取得部402により利用者の生体情報が取得された後、その生体情報を、精算情報に関連付けられた顧客の生体情報と照合する。そして、精算情報取得部404は、利用者の生体情報に対応する顧客の生体情報を検出する。そして、精算情報取得部404は、検出された顧客の生体情報に関連付けられている精算情報を、利用者の精算情報としてメモリ3から読み出す。   The payment information acquisition unit 404 receives the payment information of the product for which the product information is read by the product registration device via the communication unit 4 in FIG. Then, after the biometric information of the user is obtained by the biometric information obtaining unit 402, the checkout information obtaining unit 404 checks the biometric information against the biometric information of the customer associated with the checkout information. Then, the settlement information acquisition unit 404 detects the customer's biometric information corresponding to the user's biometric information. Then, the payment information acquisition unit 404 reads out the payment information associated with the detected customer biometric information from the memory 3 as the payment information of the user.

精算制御部406は、精算情報取得部404が取得した精算情報に基づく精算処理を行う。ここで、本実施形態の精算装置400が精算処理を実行する機能を有してもよいし、精算処理を行う精算処理端末に精算処理の実行を指示する機能を有していてもよく、精算処理自体を本実施形態の装置が行わなくてもよい。   The settlement controller 406 performs a settlement process based on the settlement information acquired by the settlement information acquisition unit 404. Here, the settlement apparatus 400 of the present embodiment may have a function of executing the settlement processing, or may have a function of instructing the settlement processing terminal that performs the settlement processing to execute the settlement processing. The processing itself need not be performed by the apparatus of the present embodiment.

図12の精算装置400の各処理ユニットは、たとえば、図1のCPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、たとえば、CD、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4を介してインストールされ、メモリ3に格納されてもよい。   Each processing unit of the settlement apparatus 400 in FIG. 12 is realized, for example, by executing a program stored in the memory 3 by the CPU 2 in FIG. Further, the program may be installed from a portable recording medium such as a CD, a memory card, or another computer on a network via the communication unit 4 and stored in the memory 3.

本実施形態のコンピュータプログラムは、情報処理システム1の少なくとも一部の機能を実現する精算装置400を実現させるためのコンピュータに、利用者の生体情報を取得する手順、商品登録装置により商品情報が読み込まれた商品の精算情報に関連付けられた顧客の生体情報と、生体情報を取得する手順により取得された利用者の生体情報を照合する手順、利用者の生体情報に対応する顧客の生体情報を検出する手順、検出された顧客の生体情報に関連付けられている精算情報を取得する手順、精算装置に取得した精算情報に基づく精算処理を行わせる手順、を実行させるように記述されている。
上述したように、コンピュータは、POSレジシステムの精算処理端末に含まれてもよいし、精算処理端末に接続される情報処理装置によって実現されてもよい。
The computer program of the present embodiment includes a computer for realizing the settlement apparatus 400 that realizes at least a part of the functions of the information processing system 1, a procedure for acquiring biometric information of a user, and merchandise information being read by a merchandise registration apparatus. Of comparing the customer's biometric information associated with the payment information of the selected product with the biometric information of the user acquired by the procedure for acquiring the biometric information, and detecting the biometric information of the customer corresponding to the user's biometric information It is described to execute a procedure for performing payment processing, a procedure for obtaining payment information associated with the detected biometric information of the customer, and a procedure for causing the payment apparatus to perform payment processing based on the obtained payment information.
As described above, the computer may be included in the checkout processing terminal of the POS cash register system, or may be realized by an information processing device connected to the checkout processing terminal.

このように構成された本実施形態の精算装置400の情報処理方法について、以下に説明する。
図13は、本実施形態における精算装置400の動作例を示すフローチャートである。図13に示されるように、本実施形態における情報処理方法は、情報処理システム1の少なくとも一部の機能を実現する情報処理装置の情報処理方法であり、前記情報処理装置に相当する精算装置400のような少なくとも1つのコンピュータにより実行される。たとえば、図示される各手順は、図12の精算装置400が有する各処理ユニットにより実行される。
本実施形態のおける情報処理方法は、精算装置400が、利用者の生体情報を取得し(ステップS403)、商品登録装置により商品情報が読み込まれた商品の精算情報に関連付けられた顧客の生体情報と、ステップS403で取得された利用者の生体情報を照合し(ステップS405)、利用者の生体情報に対応する顧客の生体情報を検出し(ステップS407)、検出された顧客の生体情報に関連付けられている精算情報を取得し(ステップS408)、精算装置に、取得した精算情報に基づく精算処理を行わせる(ステップS409)、ことを含む。
The information processing method of the settlement apparatus 400 according to the present embodiment configured as described above will be described below.
FIG. 13 is a flowchart illustrating an operation example of the settlement apparatus 400 according to the present embodiment. As shown in FIG. 13, the information processing method according to the present embodiment is an information processing method of an information processing device that realizes at least a part of the functions of the information processing system 1, and a payment device 400 corresponding to the information processing device. Executed by at least one computer. For example, each illustrated procedure is executed by each processing unit included in the settlement apparatus 400 in FIG.
In the information processing method according to the present embodiment, the checkout apparatus 400 acquires the user's biometric information (step S403), and the customer's biometric information associated with the checkout information of the product whose product information is read by the product registration device. And the biometric information of the user acquired in step S403 (step S405), and detects the biometric information of the customer corresponding to the biometric information of the user (step S407), and associates the biometric information of the detected customer with the biometric information of the customer. Acquiring the settlement information that has been acquired (step S408), and causing the settlement apparatus to perform a settlement process based on the acquired settlement information (step S409).

より詳細には、精算装置400において、まず、精算情報取得部404が、商品登録装置10により商品情報が読み込まれた商品の精算情報を通信ユニット4を介して受信し、メモリ3に記憶する(ステップS401)。生体情報取得部402が、利用者の生体情報を生体情報リーダ8から通信ユニット4を介して受信してメモリ3に記憶する(ステップS403)。そして、精算情報取得部404が、ステップS401で受信した精算情報に関連付けられた顧客の生体情報と、ステップS403で取得された利用者の生体情報を照合する(ステップS405)。そして、その照合結果から、利用者の生体情報に対応する顧客の生体情報が検出された場合(ステップS407のYES)、精算情報取得部404が、検出された顧客の生体情報に関連付けられている精算情報を取得する(ステップS408)。そして、精算制御部406が、精算装置に、取得した精算情報に基づく精算処理を行わせる(ステップS409)。
ステップS407で、利用者の生体情報に対応する顧客の生体情報が検出されなかった場合(ステップS407のNO)、ステップS408とステップS409の精算処理は行わずに本処理を終了する。
More specifically, in the settlement apparatus 400, first, the settlement information acquisition unit 404 receives, via the communication unit 4, the settlement information of the commodity for which the commodity information has been read by the commodity registration apparatus 10, and stores it in the memory 3 ( Step S401). The biological information acquiring unit 402 receives the biological information of the user from the biological information reader 8 via the communication unit 4 and stores the information in the memory 3 (step S403). Then, the settlement information acquisition unit 404 collates the customer's biometric information associated with the settlement information received in step S401 with the user's biometric information acquired in step S403 (step S405). Then, when the biometric information of the customer corresponding to the biometric information of the user is detected from the matching result (YES in step S407), the settlement information acquisition unit 404 is associated with the detected biometric information of the customer. The settlement information is obtained (step S408). Then, the settlement controller 406 causes the settlement device to perform a settlement process based on the acquired settlement information (step S409).
If the customer's biometric information corresponding to the user's biometric information is not detected in step S407 (NO in step S407), the process ends without performing the settlement process in steps S408 and S409.

本実施形態によれば、上記各実施形態と同様の効果を得ることができる精算装置を提供できる。   According to the present embodiment, it is possible to provide a settlement apparatus capable of obtaining the same effects as the above embodiments.

(第5の実施の形態)
以下、本発明の第5の実施の形態に係る情報処理装置およびその情報処理方法について説明する。また、本実施形態は、この情報処理方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
(Fifth embodiment)
Hereinafter, an information processing apparatus and an information processing method according to a fifth embodiment of the present invention will be described. Further, the present embodiment may be a program that causes at least one computer to execute the information processing method, or a recording medium that records such a program and that is readable by at least one computer. .

以下、図14〜図16を用いて、情報処理システム1の構成として、複数の商品登録装置10と、複数の精算装置20と、サーバ装置30とを含む例について説明する。本実施形態は、上記実施形態とは、サーバ装置30を含む点で相違する。   Hereinafter, an example including a plurality of merchandise registration devices 10, a plurality of settlement devices 20, and a server device 30 as a configuration of the information processing system 1 will be described with reference to FIGS. This embodiment is different from the above embodiment in that a server device 30 is included.

図14は、本実施形態の情報処理システム1の構成を概念的に示す機能ブロック図である。
図15は、本実施形態の情報処理システム1のハードウェア構成例を概念的に示す図である。
図16は、本実施形態の情報処理システム1の各装置の配置の一例を示す図である。
FIG. 14 is a functional block diagram conceptually showing the configuration of the information processing system 1 of the present embodiment.
FIG. 15 is a diagram conceptually illustrating a hardware configuration example of the information processing system 1 of the present embodiment.
FIG. 16 is a diagram illustrating an example of an arrangement of each device of the information processing system 1 according to the present embodiment.

図14および図15には、商品登録装置10と精算装置20は1台ずつしか示されていないが、本実施形態の情報処理システム1は、複数の商品登録装置10と、複数の精算装置20を有するものとする。
図14に示すように、本実施形態の情報処理システム1は、第1生体情報取得部102と、登録部104とを有する商品登録装置10と、第2生体情報取得部122と、精算情報取得部124と、精算制御部126と、を有する精算装置20と、精算情報記憶部40に接続されるサーバ装置30と、を含む。
14 and 15, only one product registration device 10 and one payment device 20 are shown, but the information processing system 1 of the present embodiment includes a plurality of product registration devices 10 and a plurality of payment devices 20. Shall be provided.
As shown in FIG. 14, the information processing system 1 of the present embodiment includes a product registration device 10 having a first biometric information acquisition unit 102, a registration unit 104, a second biometric information acquisition unit 122, and a settlement information acquisition The settlement device 20 includes a unit 124 and a settlement control unit 126, and the server device 30 connected to the settlement information storage unit 40.

図15に示すように、商品登録装置10と精算装置20は、図1で説明したハードウェア構成と同じ構成を有するので、説明は省略する。
サーバ装置30は、いわゆるコンピュータであり、図15に示されるように、バスで相互に接続される、CPU2、メモリ3、通信ユニット4、入出力I/F5等を有する。図示されていないが、入出力I/F5には、表示装置や入出力装置が接続されていてもよい。
As shown in FIG. 15, the product registration device 10 and the settlement device 20 have the same configuration as the hardware configuration described with reference to FIG.
The server device 30 is a so-called computer, and includes a CPU 2, a memory 3, a communication unit 4, an input / output I / F 5, and the like, which are interconnected by a bus, as shown in FIG. Although not shown, a display device or an input / output device may be connected to the input / output I / F 5.

本実施形態では、商品登録装置10は、登録部104により生成された精算情報をサーバ装置30に送信する。そして、サーバ装置30は、商品登録装置10から受信した精算情報を精算情報記憶部40に記憶する。サーバ装置30は、精算装置20に精算情報を送信する。精算装置20は、顧客の操作に伴い、サーバ装置30から受信された精算情報に基づく精算処理を行う。
なお、サーバ装置30から精算装置20への精算情報の送信は、サーバ装置30から精算装置20に対して自動的に送信してもよいし、精算装置20からサーバ装置30にリクエストされた時に、サーバ装置30が精算装置20に送信してもよいし、これらを組み合わせてもよい。
In the present embodiment, the product registration device 10 transmits the settlement information generated by the registration unit 104 to the server device 30. Then, the server device 30 stores the payment information received from the product registration device 10 in the payment information storage unit 40. The server device 30 transmits the payment information to the payment device 20. The payment device 20 performs a payment process based on payment information received from the server device 30 in response to a customer operation.
In addition, the transmission of the settlement information from the server device 30 to the settlement device 20 may be automatically transmitted from the server device 30 to the settlement device 20, or when the settlement device 20 requests the server device 30 from the settlement device 20, The server device 30 may transmit the information to the checkout device 20 or a combination thereof.

各装置間の精算情報の送信単位も特に限定されない。精算情報が生成される毎、精算情報の所定レコード数ずつ、一定時間毎、所定の時刻、所定の時間間隔、指定された日時範囲等で、精算情報を個別またはまとめて送信してもよい。また、商品登録装置10からサーバ装置30に送信された精算情報を精算装置20が受信する場合、送信元の商品登録装置10を予めまたは随時指定して受信できてもよい。   The transmission unit of the settlement information between the devices is not particularly limited. Each time the payment information is generated, the payment information may be transmitted individually or collectively at a predetermined number of records of the payment information, at a predetermined time, at a predetermined time, at a predetermined time interval, in a specified date and time range, or the like. When the payment device 20 receives the payment information transmitted from the product registration device 10 to the server device 30, the payment source device may be able to receive the product registration device 10 of the transmission source in advance or at any time.

図16の例では、複数の商品登録装置10と複数の精算装置20は、1対1で顧客が利用するように、エリアを区切っている。また、他の例では、複数の商品登録装置10と複数の精算装置20の台数が異なり、また、同じエリアに多対多で顧客が利用する構成例も考えられる。   In the example of FIG. 16, the plurality of merchandise registration devices 10 and the plurality of settlement devices 20 divide the area so that the customer uses them one-on-one. In another example, the number of the plurality of merchandise registration devices 10 and the number of the plurality of settlement devices 20 may be different, and a configuration example in which a customer uses the same area in many-to-many may be considered.

複数の商品登録装置10で生成された精算情報を、複数の精算装置20のいずれかで利用者が精算処理を行う場合でも、本実施形態ではサーバ装置30で精算情報を一括管理しているので、問題なく精算処理を行うことができる。上述したように、サーバ装置30から精算装置20への精算情報の送信方法や単位は特に限定されない。サーバ装置30が複数の商品登録装置10から受信した精算情報を、各精算装置20にそれぞれ配信してもよいし、各精算装置20からのリクエストに応じて対応する精算情報を送信してもよい。   In the present embodiment, the settlement information is collectively managed by the server device 30 even if the user performs the settlement processing on the settlement information generated by the plurality of merchandise registration devices 10 in any of the plurality of settlement devices 20. , The payment process can be performed without any problem. As described above, the method and unit for transmitting the payment information from the server device 30 to the payment device 20 are not particularly limited. The server device 30 may distribute the payment information received from the plurality of product registration devices 10 to the respective payment devices 20, or may transmit corresponding payment information in response to a request from each payment device 20. .

また、各精算装置20では、まず利用者の生体情報と照合する生体情報があればよいので、商品登録装置10で登録された生体情報に識別情報を付与したものをまず全ての精算装置20に送信しておき、精算装置20における利用者の生体情報の照合に使用し、利用者の生体情報と一致する生体情報が検出された時に、その生体情報の識別情報に基づいて、サーバ装置30に精算情報をリクエストして精算装置20に送信させる構成としてもよい。この構成によれば、精算情報に比較して容量の小さい識別情報を商品登録装置10から各精算装置20に送信することで通信負荷の低減と精算装置20の記憶容量の削減を実現できる。   In addition, since each settlement device 20 only needs to have biometric information to be compared with the biometric information of the user, first, identification information added to the biometric information registered by the product registration device 10 is first sent to all the settlement devices 20. The biometric information is transmitted to the server 30 based on the identification information of the biometric information when the biometric information matching the biometric information of the user is detected. It may be configured to request the payment information and transmit the payment information to the payment apparatus 20. According to this configuration, it is possible to reduce the communication load and the storage capacity of the payment apparatus 20 by transmitting the identification information having a smaller capacity than the payment information from the product registration apparatus 10 to each payment apparatus 20.

図14のサーバ装置30の各処理ユニットは、たとえば、図15のCPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、たとえば、CD、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4を介してインストールされ、メモリ3に格納されてもよい。   Each processing unit of server device 30 in FIG. 14 is realized, for example, by executing a program stored in memory 3 by CPU 2 in FIG. Further, the program may be installed from a portable recording medium such as a CD, a memory card, or another computer on a network via the communication unit 4 and stored in the memory 3.

本実施形態のコンピュータプログラムは、情報処理システム1の少なくとも一部の機能を実現するサーバ装置30を実現させるためのコンピュータに、顧客の生体情報を取得する手順、商品登録装置10による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された顧客の生体情報を、商品登録装置10により商品情報が読み込まれた商品の精算情報に関連付けて登録する手順、精算装置20の利用者の生体情報を取得する手順、精算情報に関連付けられた顧客の生体情報と、取得された利用者の生体情報を照合し、利用者の生体情報に対応する顧客の生体情報を検出し、検出された顧客の生体情報に関連付けられている精算情報を取得する手順、精算装置20を用いて、取得した精算情報に基づく精算処理を行う手順、のうち少なくとも一部を実行させるように記述されている。   The computer program according to the present embodiment includes a computer for realizing a server device 30 that realizes at least a part of the functions of the information processing system 1, a procedure for acquiring biometric information of a customer, and reading of product information by the product registration device 10. Registering the acquired customer's biometric information in association with the payment information of the product from which the product information has been read by the product registration device 10 at the timing when the read end information indicating that the reading has been completed is generated. The procedure of acquiring the biometric information of the user, the biometric information of the customer associated with the settlement information and the acquired biometric information of the user are collated, and the biometric information of the customer corresponding to the biometric information of the user is detected. A procedure for acquiring the settlement information associated with the detected customer biometric information, and a settlement based on the acquired settlement information using the settlement apparatus 20. Procedure for processing is described so as to perform at least some of the.

このように構成された本実施形態のサーバ装置30の情報処理方法は、上記第1の実施形態で図5および図6を用いて説明した方法と同様であるので説明は省略する。   The information processing method of the server device 30 of the present embodiment configured as described above is the same as the method described with reference to FIGS. 5 and 6 in the first embodiment, and a description thereof will be omitted.

本実施形態によれば、上記各実施形態と同様の効果を得ることができる、サーバ装置を含む情報処理装置を提供できる。   According to the present embodiment, it is possible to provide an information processing device including a server device, which can obtain the same effect as the above embodiments.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
<未精算経過時間で警報出力>
上記実施形態では、精算制御部126により精算済みフラグがセットされていない精算情報に関連付けられている生体情報と一致する生体情報を有する退出者を検知する構成について説明した。他の実施形態では、たとえば、商品登録装置10で商品登録処理が終了してから所定時間以上経過しても精算が行われたかった場合に警報出力する構成を有してもよい。
As described above, the embodiments of the present invention have been described with reference to the drawings. However, these are merely examples of the present invention, and various configurations other than the above can be adopted.
<Alarm output at unpaid elapsed time>
In the above-described embodiment, a configuration has been described in which the settlement control unit 126 detects an exited person having biometric information that matches biometric information associated with settlement information for which the settlement completion flag is not set. In another embodiment, for example, a configuration may be adopted in which an alarm is output when it is desired to perform the settlement even if a predetermined time or more has passed after the product registration processing is completed in the product registration device 10.

情報処理システム1は、商品登録装置10により精算情報が生成された後、一定時間が経過しても精算装置20で精算処理が行われなかった場合に、アラームを出力する警報部(不図示)をさらに有してもよい。
警報部は、アラームを出力するだけでなく、出力部204と同様な出力を行ってもよい。
たとえば、未精算の退出者、または、精算装置20に辿り着けない顧客が居る可能性を、周囲に報知するための警報音、または音声を出力してもよいし、退出経路を閉鎖する制御信号を出力してもよいし、ランプ等の点灯または点滅制御信号を出力してもよい、店員、警備員または警備室等への通報出力を行ってもよい。
The information processing system 1 outputs an alarm (not shown) that outputs an alarm when the payment processing is not performed by the payment apparatus 20 even after a certain time has elapsed after the payment information is generated by the product registration apparatus 10. May be further provided.
The alarm unit may output not only an alarm but also the same output as the output unit 204.
For example, an alarm sound or a sound may be output to notify the surroundings that there is an unpaid exit person or a customer who cannot reach the settlement apparatus 20, or a control signal for closing the exit path. May be output, or a lighting or blinking control signal of a lamp or the like may be output, or a notification output to a store clerk, a security guard, a security room, or the like may be performed.

図17は、本実施形態の情報処理システム1の登録部104により生成される精算情報330の構造の一例を示す図である。上記実施形態の図3の精算情報130に、さらに、商品登録処理が終了した時刻等を関連付けて生成する。また、図9の精算情報230の構造にさらに商品登録時刻を関連付けて生成してもよい。商品登録時刻は、上述した、商品情報の読込終了情報が生成される時刻、または精算情報が生成された時刻でもよいし、これらの時刻より前の時刻でもよい。すなわち、商品登録時刻は、顧客の商品読込が開始された時刻から商品の読込や精算情報の生成が終わり、顧客が商品登録装置10の周辺から離れる前までの間であればいつの時点の時刻でもよい。
警報部は、この商品登録時刻から、所定時間が経過しても未精算の精算情報のものがあるか否かを検出し、検出された場合、アラームを出力する。所定時間は、段階的に設け、アラームの出力もレベルに応じて段階的に変えてもよい。たとえば、経過時間が長くなる程、警報レベルが高くなってもよい。あるいは、混雑時と閑散期で所定時間の設定モードを切り替えられてもよく、混雑時モードの時間は、閑散期モードの時間よりも長く設定を変更できてもよい。
FIG. 17 is a diagram illustrating an example of a structure of the adjustment information 330 generated by the registration unit 104 of the information processing system 1 according to the present embodiment. The settlement information 130 of FIG. 3 of the above embodiment is further associated with the time at which the merchandise registration processing is completed, and the like. Further, the product registration time may be generated in association with the structure of the settlement information 230 in FIG. The merchandise registration time may be the time at which the above-described merchandise information reading end information is generated, or the time at which the settlement information is generated, or may be a time before these times. In other words, the merchandise registration time may be any time between the time when the customer starts reading the merchandise and the time when the reading of the merchandise and the generation of the adjustment information are completed and before the customer leaves the periphery of the merchandise registration device 10. Good.
The alarm unit detects whether or not there is any unpaid settlement information even after a predetermined time has elapsed from the commodity registration time, and outputs an alarm when detected. The predetermined time may be provided in stages, and the alarm output may be changed in stages according to the level. For example, the longer the elapsed time, the higher the alarm level may be. Alternatively, the setting mode of the predetermined time may be switched between the congestion period and the off-period, and the setting in the congestion-period mode may be longer than the off-period mode.

この構成によれば、商品登録が済んでから時間が経過しても精算されないことを検知して報知できるので、未精算の退出者、または、精算装置20に辿り着けない顧客が居る可能性を周囲に報知でき、適切な対応が可能になる。   According to this configuration, it is possible to detect and notify that payment has not been made even after a lapse of time since the product registration is completed. Therefore, there is a possibility that there is an unpaid leaver or a customer who cannot reach the payment device 20. It can notify the surroundings and take appropriate measures.

<精算順で監視>
さらなる他の実施形態では、読込終了情報が生成されたタイミング毎に生成される複数の精算情報の順序を示す情報に基づいて、精算装置における精算処理の順序を監視する構成をさらに有する。
本実施形態の情報処理システム1において、登録部104は、読込終了情報が生成されたタイミング毎に生成される複数の精算情報の順序を示す情報を、精算情報毎に対応付けて登録する。
<Monitor in order of payment>
Still another embodiment further includes a configuration for monitoring the order of the settlement processing in the settlement apparatus based on information indicating the order of a plurality of settlement information generated at each timing when the read end information is generated.
In the information processing system 1 according to the present embodiment, the registration unit 104 registers information indicating the order of a plurality of payment information generated at each timing when the read end information is generated, in association with each payment information.

ここで、複数の精算情報の順序を示す情報とは、精算情報が生成された時刻、精算情報が商品登録装置10から精算装置20に送信された時刻、精算情報に順に付与されるシリアル番号等少なくともいずれかであってもよい。あるいは、精算情報が生成または記憶部に記憶された順序であってもよく、記憶部に精算情報がたとえば、最後のレコードに順に追加されていくような構成の場合には、特に順序を示す情報を付与しなくてもよい。
本実施形態の情報処理システム1は、さらに、商品登録装置10による複数の精算情報の生成順と、精算装置20による複数の精算情報の処理順が異なった場合に、アラームを処理する警報部(不図示)を備える。
Here, the information indicating the order of the plurality of settlement information includes a time at which the settlement information is generated, a time at which the settlement information is transmitted from the product registration apparatus 10 to the settlement apparatus 20, a serial number sequentially assigned to the settlement information, and the like. At least one of them may be used. Alternatively, the order in which the settlement information is generated or stored in the storage unit may be used. For example, in the case of a configuration in which the settlement information is sequentially added to the last record, information indicating the order is particularly used. Need not be provided.
The information processing system 1 according to the present embodiment further includes an alarm unit that processes an alarm when the order in which the plurality of payment information is generated by the product registration device 10 and the order in which the plurality of payment information is processed by the payment device 20 are different. (Not shown).

ここで、商品登録装置10による複数の精算情報の生成順は、商品登録装置10で精算情報が生成された時刻の順序でもよいし、精算情報が商品登録装置10から精算装置20に送信された時刻の順序でもよいし、精算情報に付与されたシリアル番号の順序でもよいし、精算情報を蓄積している記憶部のレコードの順序でもよい。
また、精算装置20による複数の精算情報の処理順は、利用者の生体情報を取得した時刻の順序でもよいし、利用者の生体情報から取得された顧客の精算情報を取得した時刻の順序でもよいし、その精算情報に付与されるシリアル番号の順序であってもよいし、顧客の精算情報に基づく精算処理を行った時刻の順序でもよい。
Here, the order of generation of the plurality of settlement information by the product registration device 10 may be the order of the time when the settlement information is generated by the product registration device 10, or the settlement information may be transmitted from the product registration device 10 to the settlement device 20. The order may be the order of the time, the order of the serial numbers assigned to the settlement information, or the order of the records in the storage unit storing the settlement information.
The order of processing the plurality of settlement information by the settlement apparatus 20 may be the order of the time at which the user's biometric information is obtained, or the order of the time at which the customer's settlement information obtained from the user's biometric information is obtained. The order may be the order of the serial numbers assigned to the adjustment information, or the order of the time at which the adjustment processing based on the adjustment information of the customer was performed.

また、商品登録装置10と精算装置20が1対1の構成の場合、商品登録装置10で精算情報が生成された順序と、精算装置20で精算情報が処理された順序で判定できる。
商品登録装置10と精算装置20が複数対複数の構成の場合、時刻情報を用いるのがよい。
When the product registration device 10 and the payment device 20 have a one-to-one configuration, the order in which the payment information is generated by the product registration device 10 and the order in which the payment information is processed by the payment device 20 can be determined.
When the merchandise registration device 10 and the settlement device 20 have a plural-to-multiple configuration, it is preferable to use time information.

出力部204は、たとえば、商品登録装置10による精算情報の生成順と、精算装置20による精算情報の処理順が、異なるか否かを監視する。精算装置20で精算処理される精算情報の順序が、商品登録装置10による精算情報の生成順と異なっていた場合に、警報出力する。順序の相違とは、順番が入れ替わっていたり、シリアル番号が途中で抜けて連番で処理されていなかったりすることを指す。
順序が飛んだ場合、その精算情報の利用者が精算せずに退出した可能性があるからである。
The output unit 204 monitors, for example, whether or not the order in which the payment information is generated by the product registration device 10 and the order in which the payment information is processed by the payment device 20 are different. When the order of the payment information processed by the payment apparatus 20 is different from the order in which the payment information is generated by the commodity registration apparatus 10, an alarm is output. The difference in the order means that the order is changed, or that the serial number is omitted in the middle and is not processed by the serial number.
This is because if the order is skipped, there is a possibility that the user of the payment information has left without performing payment.

たとえば、図18の例では、商品登録装置10により生成された精算情報630の各レコードにシリアル番号が付与されている。また、精算装置20により取得された生体情報640が、取得された順に並んで示されている。なお、精算情報の実体は、複数のフィールドと複数レコードからなるデータの集合であり、生体情報も画像の特徴情報を示すバイナリデータまたはデータの集合であるが、説明を簡単にするために、略号で示してある。   For example, in the example of FIG. 18, a serial number is assigned to each record of the settlement information 630 generated by the product registration device 10. Further, the biological information 640 acquired by the settlement apparatus 20 is shown in order of acquisition. The substance of the settlement information is a set of data consisting of a plurality of fields and a plurality of records, and the biometric information is also a set of binary data or data indicating characteristic information of an image. Indicated by

図18の例では、精算装置20で取得された生体情報640のうち、1番目の生体情報D20001と2番目の生体情報D20002は、それぞれ精算情報630の生体情報D10001と生体情報D10002と一致したため、対応するシリアル番号がそれぞれ00001と00002となり生成順と処理順が一致する。続く、3番目の生体情報D20004が、精算情報630のD10004と一致したため、シリアル番号が00004となり、生成順で3番目となるシリアル番号00003のレコード(図中、一点鎖線で示す)が処理されていないことになり、生成順と処理順が一致しない。この場合、警報部がアラームを出力する。   In the example of FIG. 18, the first biometric information D20001 and the second biometric information D20002 of the biometric information 640 acquired by the settlement apparatus 20 match the biometric information D10001 and the biometric information D10002 of the settlement information 630, respectively. The corresponding serial numbers become 00001 and 00002, respectively, and the order of generation matches the order of processing. Subsequently, the third biometric information D20004 matches D10004 of the settlement information 630, so that the serial number becomes 00004, and the record of the third serial number 00003 in the generation order (indicated by a dashed line in the figure) has been processed. Therefore, the generation order and the processing order do not match. In this case, the alarm unit outputs an alarm.

警報部によるアラーム出力の方法は特に限定されず、様々な方法が考えられる。たとえば、周囲に報知するための警報音、または音声を出力してもよいし、全ての退出経路を閉鎖する制御信号を出力してもよいし、ランプ等の点灯または点滅制御信号を出力してもよい、店員、警備員または警備室等への通報出力を行ってもよい。また、警報が出たことを時刻情報とともに記録してもよい。   The method of alarm output by the alarm unit is not particularly limited, and various methods can be considered. For example, an alarm sound for notifying the surroundings, or a sound may be output, a control signal for closing all exit routes may be output, or a lighting or blinking control signal for a lamp or the like may be output. Alternatively, a notification output to a clerk, security guard, security room, or the like may be performed. Further, the fact that an alarm has been issued may be recorded together with the time information.

この構成によれば、商品登録時の精算情報の生成順と、精算時の精算情報の処理順が異なるときに、直ぐに報知することができるので、たとえば、未精算のまま帰宅してしまう顧客や、精算装置20に辿り着けない顧客の存在を知らせることができ、迅速な対応が可能となる。   According to this configuration, when the order of generation of the settlement information at the time of product registration and the order of processing the settlement information at the time of settlement are different, it is possible to immediately notify the customer. , The presence of a customer who cannot reach the settlement apparatus 20 can be notified, and prompt response can be made.

<精算情報承認操作受付>
さらなる他の実施形態では、上記実施形態の少なくともいずれか1つと同様な構成を有するとともに、さらに、精算装置20で利用者に対応するとして取得された精算情報を、精算前に利用者に提示して承認操作を受け付けて場合に精算処理を行う構成を有する。
本実施形態の情報処理システム1は、さらに、精算処理の前に、精算情報取得部124により取得された精算情報を利用者に提示する提示部(不図示)と、提示した精算情報を承認する利用者の承認操作を受け付ける受付部(不図示)と、を有する。
そして、精算制御部126は、受付部により承認操作を受け付けた場合に、精算処理を行う。
<Accounting information approval operation reception>
In still another embodiment, it has the same configuration as at least one of the above embodiments, and furthermore, presents the settlement information acquired as corresponding to the user by the settlement apparatus 20 to the user before the settlement. A payment process when an approval operation is received.
The information processing system 1 according to the present embodiment further includes a presentation unit (not shown) that presents the settlement information acquired by the settlement information acquisition unit 124 to the user before the settlement process, and approves the presented settlement information. A receiving unit (not shown) that receives a user's approval operation.
Then, the settlement controller 126 performs a settlement process when the accepting unit receives the approval operation.

提示部は、図1の表示装置6に対し、入出力I/F5を介して精算情報を出力して表示させる。なお、レシート等への印字出力する構成も排除されない。精算情報は、全て表示してもよいし、一部を表示してもよい。支払い金額だけを表示したり、購入した商品の名称、個数、単価等の少なくともいずれかを表示したり、セール品の情報だけ表示したり、表示する内容や方法は特に限定されない。また、利用者の操作を受け付けて表示内容を変更できてもよい。たとえば、表示内容や方法を利用者が選択できる構成を有してもよい。
利用者が表示された精算情報を見て、精算内容が自分のものであるか、また、セール品が正しい価格になっているか、個数が間違っていないか等の少なくともいずれかを確認できるとよい。
The presentation unit outputs and displays the settlement information via the input / output I / F 5 on the display device 6 in FIG. Note that a configuration for printing and outputting on a receipt or the like is not excluded. The settlement information may be displayed entirely or partially. There is no particular limitation on the display of only the payment amount, the display of at least one of the name, the number, the unit price, and the like of the purchased products, the display of only information on sale items, and the content and method of display. Further, the display content may be changed by receiving a user operation. For example, a configuration may be provided in which a user can select display contents and a method.
The user should be able to check the displayed payment information and confirm whether the payment details are their own, whether the sale item has the correct price, whether the number is correct, etc. .

承認操作は、たとえば、図1の入出力装置7に利用者が操作を行い、その操作信号が入出力I/F5を介して入力され、受付部が受け付けることができる。また、受付部が利用者による承認操作そのものを受け付けなかった場合であっても、その精算情報に対する支払い処理を利用者が開始したことで、承認操作を受け付けたものとして処理を進めてもよい。   The approval operation can be performed, for example, by the user operating the input / output device 7 of FIG. 1, and the operation signal is input via the input / output I / F 5 and received by the reception unit. Further, even when the accepting unit does not accept the approval operation itself by the user, the process may proceed assuming that the approval operation has been accepted because the user has started the payment process for the settlement information.

この構成によれば、精算内容を確認した上で、利用者が支払いを行うことができる。   According to this configuration, the user can pay after confirming the details of the settlement.

<生体情報の取得時ガイダンス>
さらなる他の実施形態では、第1生体情報取得部102または第2生体情報取得部122において、取得される情報の精度を上げるために、顧客または利用者に対し、生体情報取得を再度行う指示や取得情報の精度を上げるためのガイダンスを出力する指示部(不図示)をさらに備えてもよい。
<Guidance for obtaining biological information>
In still another embodiment, in order to increase the accuracy of the information obtained in the first biometric information acquisition unit 102 or the second biometric information acquisition unit 122, an instruction to obtain biometric information again is given to a customer or a user. An instruction unit (not shown) for outputting guidance for improving the accuracy of the acquired information may be further provided.

指示部は、第1生体情報取得部102または第2生体情報取得部122において、顧客または利用者を識別できる精度の情報が取得できなかったとき、顧客または利用者に対し、もう一度、生体情報を取得するための読み取り操作や動作を促すメッセージを出力表示装置6または入出力装置7のスピーカ等から出力(画面表示または音声出力)する。その際、より精度を向上させるために、たとえば、生体情報が顔画像の場合には、顔が撮像範囲内に入るように、そして、画像が鮮明になるように、顧客や利用者に適切な立ち位置や顔の向きを指示したり、サングラスや帽子などを外すように指示したりするガイダンスを表示装置6または入出力装置7のスピーカ等から出力(画面表示または音声出力)してもよい。   When the first biometric information acquisition unit 102 or the second biometric information acquisition unit 122 fails to acquire information with an accuracy that can identify the customer or the user, the instruction unit sends the biometric information to the customer or the user again. A message prompting a reading operation or an operation to acquire is output (screen display or audio output) from a speaker or the like of the output display device 6 or the input / output device 7. At that time, in order to further improve the accuracy, for example, when the biometric information is a face image, it is appropriate for a customer or a user so that the face is within the imaging range and the image is clear. Guidance for instructing a standing position or face direction, or instructing to remove sunglasses, a hat, or the like, may be output (screen display or audio output) from a speaker or the like of the display device 6 or the input / output device 7.

この構成によれば、生体情報を取得する際に、より高い認識精度で取得することが可能になり、誤認識の発生率を低減できる。   According to this configuration, when acquiring biological information, it is possible to acquire the biological information with higher recognition accuracy, and the occurrence rate of erroneous recognition can be reduced.

<生体情報の変形態様>
上記実施形態では、顧客または利用者の生体情報を用いて、各装置側の利用者を識別する構成について説明した。他の実施形態では、登録部は、生体情報に替えて、または、生体情報と組み合わせて、一意に定めた整理番号を識別情報として生成し、精算情報に識別情報を関連付けて登録してもよい。生成された整理番号(または一意に定められた識別情報)を、商品登録時に顧客の手などの皮膚に、所定の紫外線光等の照射により光かる無色の塗料のスタンプで、店員または顧客自身が押印し、精算装置20側で、第2生体情報取得部122が、光を照射してスタンプされた整理番号を画像として所定のリーダにより読み取り、さらに、OCR(Optical Character Reader)により画像から整理番号を取得してもよい。精算情報取得部124が、第2生体情報取得部122により読み取られた整理番号に対応する精算情報をしてもよい。
<Modification of biological information>
In the above-described embodiment, the configuration in which the user on each device side is identified using the biometric information of the customer or the user has been described. In another embodiment, the registration unit may generate a uniquely determined reference number as identification information instead of or in combination with biometric information, and register the identification information in association with the settlement information. . The salesperson or the customer himself or herself applies the generated reference number (or uniquely defined identification information) to the skin of the customer's hand or the like at the time of product registration with a colorless paint stamp that shines by irradiating predetermined ultraviolet light or the like. On the settlement apparatus 20, the second biometric information acquisition unit 122 reads the reference number stamped by irradiating the light with a predetermined reader as an image, and further reads the reference number from the image using an OCR (Optical Character Reader). May be obtained. The payment information acquisition unit 124 may provide payment information corresponding to the serial number read by the second biological information acquisition unit 122.

この構成によれば、生体情報を取られることを顧客が敬遠するような場合でも本システムを利用できるようになる。また、生体情報と組み合わせることで、顧客と利用者の対応付けの精度を向上できる。あるいは、生体情報による顧客または利用者の認識精度が低くてもよくなり、認識処理の負荷や、装置のコストを削減できる。   According to this configuration, the present system can be used even in a case where a customer avoids obtaining biometric information. In addition, by combining the information with the biological information, the accuracy of associating the customer with the user can be improved. Alternatively, the recognition accuracy of the customer or user by the biometric information may be low, and the load of the recognition processing and the cost of the device can be reduced.

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
As described above, the present invention has been described with reference to the exemplary embodiments and examples. However, the present invention is not limited to the exemplary embodiments and examples. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
In the present invention, when acquiring and using information on a user, this shall be performed legally.

以下、参考形態の例を付記する。
1. 顧客の生体情報を取得する生体情報取得手段と、
商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、前記生体情報取得手段により取得された前記顧客の生体情報を、前記商品情報が読み込まれた商品の精算情報に関連付けて登録する登録手段と、
を備える、
商品登録装置。
2. 前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
1.に記載の商品登録装置。
3. 前記生体情報取得手段は、
前記商品情報の読み込みを行っている間に、前記顔画像を複数フレーム取得し、前記読込終了情報が生成されたタイミングで、前記複数フレームから、前記顧客の生体情報を生成するための前記顔画像を選択する、
2.に記載の商品登録装置。
4. 前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
1.から3.いずれか1つに記載の商品登録装置。
5. 前記生体情報取得手段は、前記読込終了情報が生成される前に前記顧客の生体情報を生成しており、
前記登録手段は、前記読込終了情報が生成されたタイミングで前記顧客の生体情報を前記精算情報に関連付けて登録する、
1.から4.いずれか1つに記載の商品登録装置。
6. 前記生体情報取得手段は、複数の顧客の顔画像を前記生体情報として取得し、
前記登録手段は、取得した複数の顧客の顔画像を、前記精算情報に関連付けて登録する、
1.から5.いずれか1つに記載の商品登録装置。
Hereinafter, examples of the reference embodiment will be additionally described.
1. Biometric information acquisition means for acquiring customer biometric information,
At the timing when the read end information indicating that the reading of the product information is completed is generated, the biometric information of the customer acquired by the biometric information acquisition unit is associated with the settlement information of the product from which the product information is read. Registration means for registering,
Comprising,
Product registration device.
2. The biometric information includes feature information generated based on a face image captured using an imaging device,
1. Item registration device according to.
3. The biological information acquisition means,
The face image for generating the customer biometric information from the plurality of frames at the timing when the face image is acquired in a plurality of frames during the reading of the product information and the read end information is generated. Select the
2. Item registration device according to.
4. The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
1. From 3. The product registration device according to any one of the above.
5. The biometric information acquisition means, the biometric information of the customer is generated before the read end information is generated,
The registration unit registers the customer's biometric information in association with the payment information at a timing at which the read end information is generated,
1. From 4. The product registration device according to any one of the above.
6. The biometric information acquisition unit acquires face images of a plurality of customers as the biometric information,
The registration unit registers the acquired face images of a plurality of customers in association with the adjustment information.
1. To 5. The product registration device according to any one of the above.

7. 利用者の生体情報を取得する生体情報取得手段と、
商品登録装置により商品情報が読み込まれた商品の精算情報に関連付けられた顧客の生体情報と、前記生体情報取得手段により取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得する精算情報取得手段と、
取得した前記精算情報に基づく精算処理を行う精算制御手段と、を備える、
精算装置。
8. 前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
7.に記載の精算装置。
9. 前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
7.または8.に記載の精算装置。
10. 前記精算処理の前に、前記精算情報取得手段により取得された前記精算情報を前記利用者に提示する提示手段と、
提示した前記精算情報を承認する前記利用者の承認操作を受け付ける受付手段と、をさらに備え、
前記精算制御手段は、前記受付手段により前記承認操作を受け付けた場合に、精算処理を行う、
7.から9.いずれか1つに記載の精算装置。
11. 商品登録装置により前記精算情報が生成された後、一定時間が経過しても前記精算処理が行われなかった場合に、アラームを出力する警報手段をさらに備える、
7.から10.いずれか1つに記載の精算装置。
12. 前記商品登録装置による複数の前記精算情報の生成順と、当該精算装置による複数の精算情報の処理順が異なった場合に、アラームを処理する警報手段をさらに備える、
7.から11.いずれか1つに記載の精算装置。
13. 前記精算情報取得手段は、複数の前記顧客の生体情報のうち、いずれかの前記顧客の生体情報が前記利用者の前記生体情報と一致した時に、一致した前記顧客の生体情報に関連付けられている前記精算情報を取得する、
7.から12.いずれか1つに記載の精算装置。
7. Biological information acquisition means for acquiring the biological information of the user,
The biometric information of the customer associated with the payment information of the product for which the product information is read by the product registration device is compared with the biometric information of the user acquired by the biometric information acquisition unit, and the biometric information of the user is compared with the biometric information of the user. Settlement information acquisition means for detecting the corresponding customer's biological information, and acquiring the adjustment information associated with the detected customer's biological information,
And a payment control unit that performs payment processing based on the obtained payment information.
Checkout device.
8. The biometric information includes feature information generated based on a face image captured using an imaging device,
7. The payment device according to 1.
9. The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
7. Or 8. The payment device according to 1.
10. Presentation means for presenting the settlement information acquired by the settlement information acquisition means to the user before the settlement processing,
Accepting means for accepting the user's approval operation to approve the presented settlement information, further comprising:
The settlement control unit performs a settlement process when the approval operation is received by the reception unit.
7. To 9. The settlement apparatus according to any one of the above.
11. After the payment information is generated by the merchandise registration device, if the payment processing is not performed even after a certain period of time, the apparatus further includes an alarm unit that outputs an alarm.
7. To 10. The settlement apparatus according to any one of the above.
12. When the order in which the plurality of payment information is generated by the product registration device and the processing order of the plurality of payment information by the payment device are different, an alarm unit that processes an alarm is further provided.
7. To 11. The settlement apparatus according to any one of the above.
13. The settlement information acquisition unit is associated with the matched customer biometric information when the biometric information of any of the customers matches the biometric information of the user among the biometric information of the plurality of customers. Obtaining the settlement information;
7. To 12. The settlement apparatus according to any one of the above.

14. 情報処理装置が、
顧客の生体情報を取得し、
商品登録装置による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録し、
精算装置の利用者の生体情報を取得し、
前記精算情報に関連付けられた前記顧客の生体情報と、取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得し、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行う、
情報処理装置の情報処理方法。
15. 前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
14.に記載の情報処理方法。
16. 前記情報処理装置が、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顔画像を複数フレーム取得し、前記読込終了情報が生成されたタイミングで、前記複数フレームから、前記顧客の生体情報を生成するための前記顔画像を選択する、
15.に記載の情報処理方法。
17. 前記情報処理装置が、
前記商品登録装置および前記精算装置が設置されるエリアからの退出者の生体情報を取得し、
未精算の前記精算情報に関連付けられた前記顧客の生体情報と、取得された前記退出者の生体情報を照合し、一致した場合に出力を行う、
14.から16.いずれか1つに記載の情報処理方法。
18. 前記情報処理装置が、
退出者の退出経路を閉鎖する制御信号を出力する、
17.に記載の情報処理方法。
19. 前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
14.から18.いずれか1つに記載の情報処理方法。
20. 前記情報処理装置が、
前記読込終了情報が生成される前に前記顧客の生体情報を生成しており、
前記読込終了情報が生成されたタイミングで前記顧客の生体情報を前記精算情報に関連付けて登録する、
14.から19.いずれか1つに記載の情報処理方法。
21. 前記情報処理装置が、
前記精算処理の前に、取得された前記精算情報を前記利用者に提示し、
提示した前記精算情報を承認する前記利用者の承認操作を受け付け、
前記承認操作を受け付けた場合に、精算処理を行う、
14.から20.いずれか1つに記載の情報処理方法。
22. 前記情報処理装置が、
前記商品登録装置により前記精算情報が生成された後、一定時間が経過しても前記精算装置で精算処理が行われなかった場合に、アラームを出力する、
14.から21.いずれか1つに記載の情報処理方法。
23. 前記情報処理装置が、
さらに、前記読込終了情報が生成されたタイミング毎に生成される複数の前記精算情報の順序を示す情報を、前記精算情報毎に対応付けて登録し、
前記商品登録装置による複数の前記精算情報の生成順と、前記精算装置による複数の精算情報の処理順が異なった場合に、アラームを処理する、
14.から22.いずれか1つに記載の情報処理方法。
24. 前記情報処理装置が、
複数の顧客の顔画像を前記生体情報として取得し、
取得した複数の顧客の顔画像を、前記精算情報に関連付けて登録し、
いずれかの前記顧客の生体情報が前記利用者の前記生体情報と一致した時に、一致した前記顧客の生体情報に関連付けられている前記精算情報を取得する、
14.から23.いずれか1つに記載の情報処理方法。
14. The information processing device is
Obtain customer biometric information,
At the timing when the read end information indicating that the reading of the product information by the product registration device is completed is generated, the acquired biometric information of the customer is settled by the product registration device. Register in association with
Obtain the biometric information of the user of the checkout device,
The biometric information of the customer associated with the settlement information is compared with the obtained biometric information of the user, and the biometric information of the customer corresponding to the biometric information of the user is detected. Obtaining the settlement information associated with the biological information of
Using the payment device, perform a payment process based on the obtained payment information,
An information processing method for an information processing device.
15. The biometric information includes feature information generated based on a face image captured using an imaging device,
14. An information processing method according to claim 1.
16. The information processing device,
While the product registration device is reading the product information, the face image is obtained in a plurality of frames, and at the timing when the read end information is generated, the customer biometric information is generated from the plurality of frames. Selecting the face image for
15. An information processing method according to claim 1.
17. The information processing device,
Obtain the biometric information of the person leaving the area where the product registration device and the payment device are installed,
The biometric information of the customer associated with the unpaid settlement information and the acquired biometric information of the leaver are collated and output when they match.
14. From 16. The information processing method according to any one of the above.
18. The information processing device,
Output a control signal to close the exit route of the exit person,
17. An information processing method according to claim 1.
19. The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
14. From 18. The information processing method according to any one of the above.
20. The information processing device,
Generating the biometric information of the customer before the read end information is generated,
Register the biometric information of the customer in association with the payment information at the timing when the read end information is generated,
14. From 19. The information processing method according to any one of the above.
21. The information processing device,
Prior to the settlement process, the acquired settlement information is presented to the user,
Accepting the user's approval operation to approve the presented settlement information,
When the approval operation is received, a settlement process is performed,
14. To 20. The information processing method according to any one of the above.
22. The information processing device,
After the payment information is generated by the merchandise registration device, if a payment process has not been performed by the payment device even after a certain period of time, an alarm is output.
14. To 21. The information processing method according to any one of the above.
23. The information processing device,
Further, information indicating the order of the plurality of payment information generated at each timing when the read end information is generated is registered in association with each payment information,
When the order in which the plurality of payment information is generated by the product registration device and the processing order of the plurality of payment information by the payment device are different, an alarm is processed.
14. To 22. The information processing method according to any one of the above.
24. The information processing device,
Acquiring face images of a plurality of customers as the biological information,
Register the acquired face images of a plurality of customers in association with the settlement information,
When the biometric information of any of the customers matches the biometric information of the user, obtain the payment information associated with the matched biometric information of the customer,
14. To 23. The information processing method according to any one of the above.

25. コンピュータに、
顧客の生体情報を取得する手順、
商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された前記顧客の生体情報を、前記商品情報が読み込まれた商品の精算情報に関連付けて登録する手順、
を実行させるためのプログラム。
26. 前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
25.に記載のプログラム。
27. 前記商品情報の読み込みを行っている間に、前記顔画像を複数フレーム取得し、前記読込終了情報が生成されたタイミングで、前記複数フレームから、前記顧客の生体情報を生成するための前記顔画像を選択する手順をコンピュータに実行させるための、
26.に記載のプログラム。
28. 前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
25.から27.いずれか1つに記載のプログラム。
29. 前記読込終了情報が生成される前に前記顧客の生体情報を生成する手順、
前記読込終了情報が生成されたタイミングで前記顧客の生体情報を前記精算情報に関連付けて登録する手順をコンピュータに実行させるための、
25.から28.いずれか1つに記載のプログラム。
30. 複数の顧客の顔画像を前記生体情報として取得する手順、
取得した複数の顧客の顔画像を、前記精算情報に関連付けて登録する手順をコンピュータに実行させるための、
25.から29.いずれか1つに記載のプログラム。
25. On the computer,
Procedures for acquiring customer biometric information,
At the timing when the read end information indicating that the reading of the product information has been completed is generated, the acquired biometric information of the customer is registered in association with the payment information of the product from which the product information is read, and registered.
A program for executing
26. The biometric information includes feature information generated based on a face image captured using an imaging device,
25. The program described in.
27. The face image for generating the customer biometric information from the plurality of frames at the timing when the face image is acquired in a plurality of frames during the reading of the product information and the read end information is generated. To have your computer perform the steps to select
26. The program described in.
28. The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
25. From 27. The program according to any one of the above.
29. Procedure for generating the customer's biometric information before the read end information is generated,
For causing a computer to execute a procedure for registering the customer's biometric information in association with the adjustment information at the timing when the read end information is generated,
25. From 28. The program according to any one of the above.
30. Procedure for acquiring face images of a plurality of customers as the biometric information,
For causing a computer to execute a procedure of registering the acquired face images of a plurality of customers in association with the adjustment information,
25. From 29. The program according to any one of the above.

31. コンピュータに、
利用者の生体情報を取得する手順、
商品登録装置により商品情報が読み込まれた商品の精算情報に関連付けられた顧客の生体情報と、取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得する手順、
取得した前記精算情報に基づく精算処理を行う手順、
を実行させるためのプログラム。
32. 前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
31.に記載のプログラム。
33. 前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
31.または32.に記載のプログラム。
34. 前記精算処理の前に、取得された前記精算情報を前記利用者に提示する手順、
提示した前記精算情報を承認する前記利用者の承認操作を受け付ける手順、
前記承認操作を受け付けた場合に、精算処理を行う手順、をコンピュータに実行させるための、
31.から33.いずれか1つに記載のプログラム。
35. 商品登録装置により前記精算情報が生成された後、一定時間が経過しても前記精算処理が行われなかった場合に、アラームを出力する手順をコンピュータに実行させるための、
31.から34.いずれか1つに記載のプログラム。
36. 前記商品登録装置による複数の前記精算情報の生成順と、精算装置による複数の精算情報の処理順が異なった場合に、アラームを処理する手順をコンピュータに実行させるための、
31.から35.いずれか1つに記載のプログラム。
37. 複数の前記顧客の生体情報のうち、いずれかの前記顧客の生体情報が前記利用者の前記生体情報と一致した時に、一致した前記顧客の生体情報に関連付けられている前記精算情報を取得する手順をコンピュータに実行させるための、
31.から36.いずれか1つに記載のプログラム。
31. On the computer,
Procedures for acquiring user biometric information,
The biometric information of the customer associated with the payment information of the product whose product information is read by the product registration device is compared with the obtained biometric information of the user, and the biometrics of the customer corresponding to the biometric information of the user are compared. A step of detecting information and obtaining the payment information associated with the detected biological information of the customer;
A procedure for performing a settlement process based on the acquired settlement information,
A program for executing
32. The biometric information includes feature information generated based on a face image captured using an imaging device,
31. The program described in.
33. The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
31. Or 32. The program described in.
34. A procedure for presenting the acquired settlement information to the user before the settlement process,
Accepting the user's approval operation to approve the presented settlement information,
When the approval operation is received, a procedure for performing a settlement process, for causing a computer to execute,
31. From 33. The program according to any one of the above.
35. After the payment information is generated by the merchandise registration apparatus, if the payment processing is not performed even after a lapse of a predetermined time, to cause the computer to execute a procedure for outputting an alarm.
31. From 34. The program according to any one of the above.
36. When the order of generation of the plurality of payment information by the product registration device and the processing order of the plurality of payment information by the payment device are different, to cause a computer to execute a procedure for processing an alarm.
31. To 35. The program according to any one of the above.
37. A step of, when the biometric information of one of the customers matches the biometric information of the user among the plurality of biometric information of the customer, acquiring the payment information associated with the biometric information of the matched customer; To make a computer execute
31. From 36. The program according to any one of the above.

38. コンピュータに、
顧客の生体情報を取得する手順、
商品登録装置による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録する手順、
精算装置の利用者の生体情報を取得する手順、
前記精算情報に関連付けられた前記顧客の生体情報と、取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得する手順、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行う手順、
を実行させるためのプログラム。
39. 前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
38.に記載のプログラム。
40. 前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顔画像を複数フレーム取得し、前記読込終了情報が生成されたタイミングで、前記複数フレームから、前記顧客の生体情報を生成するための前記顔画像を選択する手順をコンピュータに実行させるための、
39.に記載のプログラム。
41. 前記商品登録装置および前記精算装置が設置されるエリアからの退出者の生体情報を取得する手順、
未精算の前記精算情報に関連付けられた前記顧客の生体情報と、取得された前記退出者の生体情報を照合し、一致した場合に出力を行う手順をコンピュータに実行させるための、
38.から40.いずれか1つに記載のプログラム。
42. 退出者の退出経路を閉鎖する制御信号を出力する手順をコンピュータに実行させるための、
41.に記載のプログラム。
43. 前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
38.から42.いずれか1つに記載のプログラム。
44. 前記読込終了情報が生成される前に前記顧客の生体情報を生成する手順、
前記読込終了情報が生成されたタイミングで前記顧客の生体情報を前記精算情報に関連付けて登録する手順をコンピュータに実行させるための、
38.から43.いずれか1つに記載のプログラム。
45. 前記精算処理の前に、取得された前記精算情報を前記利用者に提示する手順、
提示した前記精算情報を承認する前記利用者の承認操作を受け付ける手順、
前記承認操作を受け付けた場合に、精算処理を行う手順をコンピュータに実行させるための、
38.から44.いずれか1つに記載のプログラム。
46. 前記商品登録装置により前記精算情報が生成された後、一定時間が経過しても前記精算装置で精算処理が行われなかった場合に、アラームを出力する手順をコンピュータに実行させるための、
38.から45.いずれか1つに記載のプログラム。
47. さらに、前記読込終了情報が生成されたタイミング毎に生成される複数の前記精算情報の順序を示す情報を、前記精算情報毎に対応付けて登録する手順、
前記商品登録装置による複数の前記精算情報の生成順と、前記精算装置による複数の精算情報の処理順が異なった場合に、アラームを処理する手順をコンピュータに実行させるための、
38.から46.いずれか1つに記載のプログラム。
48. 複数の顧客の顔画像を前記生体情報として取得する手順、
取得した複数の顧客の顔画像を、前記精算情報に関連付けて登録する手順、
いずれかの前記顧客の生体情報が前記利用者の前記生体情報と一致した時に、一致した前記顧客の生体情報に関連付けられている前記精算情報を取得する手順をコンピュータに実行させるための、
38.から47.いずれか1つに記載のプログラム。
49. 顧客の生体情報を取得する第1の生体情報取得手段と、
商品登録装置による商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、前記第1の生体情報取得手段により取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録する登録手段と、
精算装置の利用者の生体情報を取得する第2の生体情報取得手段と、
前記精算情報に関連付けられた前記顧客の生体情報と、前記第2の生体情報取得手段により取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得する精算情報取得手段と、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行う精算制御手段と、を備える、
情報処理システム。
50. 前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
49.に記載の情報処理システム。
51. 前記第1の生体情報取得手段は、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顔画像を複数フレーム取得し、前記読込終了情報が生成されたタイミングで、前記複数フレームから、前記顧客の生体情報を生成するための前記顔画像を選択する、
50.に記載の情報処理システム。
52. 前記商品登録装置および前記精算装置が設置されるエリアからの退出者の生体情報を取得する第3の生体情報取得手段と、
未精算の前記精算情報に関連付けられた前記顧客の生体情報と、前記第3の生体情報取得手段により取得された前記退出者の生体情報を照合し、一致した場合に出力を行う出力手段をさらに備える、
49.から51.いずれか1つに記載の情報処理システム。
53. 前記出力手段は、退出者の退出経路を閉鎖する制御信号を出力する、
52.に記載の情報処理システム。
54. 前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
49.から53.いずれか1つに記載の情報処理システム。
55. 前記第1の生体情報取得手段は、前記読込終了情報が生成される前に前記顧客の生体情報を生成しており、
前記登録手段は、前記読込終了情報が生成されたタイミングで前記顧客の生体情報を前記精算情報に関連付けて登録する、
49.から54.いずれか1つに記載の情報処理システム。
56. 前記精算処理の前に、前記精算情報取得手段により取得された前記精算情報を前記利用者に提示する提示手段と、
提示した前記精算情報を承認する前記利用者の承認操作を受け付ける受付手段と、をさらに備え、
前記精算制御手段は、前記受付手段により前記承認操作を受け付けた場合に、精算処理を行う、
49.から55.いずれか1つに記載の情報処理システム。
57. 前記商品登録装置により前記精算情報が生成された後、一定時間が経過しても前記精算装置で精算処理が行われなかった場合に、アラームを出力する警報手段をさらに備える、
49.から56.いずれか1つに記載の情報処理システム。
58. 前記登録手段は、さらに、前記読込終了情報が生成されたタイミング毎に生成される複数の前記精算情報の順序を示す情報を、前記精算情報毎に対応付けて登録し、
前記商品登録装置による複数の前記精算情報の生成順と、前記精算装置による複数の精算情報の処理順が異なった場合に、アラームを処理する警報手段をさらに備える、
49.から57.いずれか1つに記載の情報処理システム。
59. 前記第1の生体情報取得手段は、複数の顧客の顔画像を前記生体情報として取得し、
前記登録手段は、取得した複数の顧客の顔画像を、前記精算情報に関連付けて登録し、
前記精算情報取得手段は、いずれかの前記顧客の生体情報が前記利用者の前記生体情報と一致した時に、一致した前記顧客の生体情報に関連付けられている前記精算情報を取得する、
49.から58.いずれか1つに記載の情報処理システム。
38. On the computer,
Procedures for acquiring customer biometric information,
At the timing when the read end information indicating that the reading of the product information by the product registration device is completed is generated, the acquired biometric information of the customer is settled by the product registration device. To register in association with,
A procedure for acquiring the biometric information of the user of the checkout device,
The biometric information of the customer associated with the settlement information is compared with the obtained biometric information of the user, and the biometric information of the customer corresponding to the biometric information of the user is detected. A procedure for acquiring the payment information associated with the biological information of
Procedure for performing a payment process based on the obtained payment information using the payment device,
A program for executing
39. The biometric information includes feature information generated based on a face image captured using an imaging device,
38. The program described in.
40. While the product registration device is reading the product information, the face image is obtained in a plurality of frames, and at the timing when the read end information is generated, the customer biometric information is generated from the plurality of frames. For causing a computer to execute a procedure for selecting the face image for
39. The program described in.
41. A procedure for acquiring biometric information of a person leaving the area where the merchandise registration apparatus and the settlement apparatus are installed,
For causing the computer to execute a procedure for comparing the biometric information of the customer associated with the unaccounted settlement information with the acquired biometric information of the leaver, and outputting when matched.
38. From 40. The program according to any one of the above.
42. Causing the computer to execute a step of outputting a control signal for closing the exit path of the exit person,
41. The program described in.
43. The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
38. To 42. The program according to any one of the above.
44. Procedure for generating the customer's biometric information before the read end information is generated,
For causing a computer to execute a procedure for registering the customer's biometric information in association with the adjustment information at the timing when the read end information is generated,
38. To 43. The program according to any one of the above.
45. A procedure for presenting the acquired settlement information to the user before the settlement process,
Accepting the user's approval operation to approve the presented settlement information,
When the approval operation is received, a step of causing a computer to execute a procedure for performing a settlement process is performed.
38. To 44. The program according to any one of the above.
46. After the payment information is generated by the product registration device, if the payment device has not performed the payment process even after a certain period of time, to cause the computer to execute an alarm output procedure,
38. To 45. The program according to any one of the above.
47. A step of registering information indicating an order of the plurality of settlement information generated at each timing when the read end information is generated, in association with each settlement information;
When the order in which the plurality of payment information is generated by the product registration device and the processing order of the plurality of payment information by the payment device are different, a procedure for processing an alarm is performed by a computer.
38. To 46. The program according to any one of the above.
48. Procedure for acquiring face images of a plurality of customers as the biometric information,
Registering the acquired face images of a plurality of customers in association with the payment information;
When the biometric information of any of the customers matches the biometric information of the user, to cause the computer to execute a procedure for acquiring the payment information associated with the matched biometric information of the customer,
38. From 47. The program according to any one of the above.
49. First biological information acquisition means for acquiring the biological information of the customer;
At the timing when the read end information indicating that the reading of the product information by the product registration device is completed is generated, the customer's biometric information acquired by the first biometric information acquisition unit is converted into the product by the product registration device. Registration means for registering the information in association with the payment information of the product from which the information has been read;
Second biological information acquisition means for acquiring biological information of a user of the settlement apparatus;
The customer's biometric information associated with the settlement information is compared with the user's biometric information acquired by the second biometric information acquisition means, and the customer's biometric information corresponding to the user's biometric information is collated. Settlement information acquisition means for acquiring the settlement information associated with the detected biological information of the customer,
With the payment device, comprising: a payment control unit that performs payment processing based on the obtained payment information.
Information processing system.
50. The biometric information includes feature information generated based on a face image captured using an imaging device,
49. An information processing system according to claim 1.
51. The first biometric information acquisition unit includes:
While the product registration device is reading the product information, the face image is obtained in a plurality of frames, and at the timing when the read end information is generated, the customer biometric information is generated from the plurality of frames. Selecting the face image for
50. An information processing system according to claim 1.
52. A third biometric information acquisition unit that acquires biometric information of a person leaving the area where the merchandise registration device and the payment device are installed;
Output means for comparing the biometric information of the customer associated with the unpaid settlement information with the biometric information of the leaving person acquired by the third biometric information acquisition means, and outputting the information when they match. Prepare,
49. To 51. An information processing system according to any one of the above.
53. The output means outputs a control signal for closing the exit path of the exit person,
52. An information processing system according to claim 1.
54. The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
49. To 53. An information processing system according to any one of the above.
55. The first biometric information acquisition unit generates biometric information of the customer before the read end information is generated,
The registration unit registers the customer's biometric information in association with the payment information at a timing at which the read end information is generated,
49. From 54. An information processing system according to any one of the above.
56. Presentation means for presenting the settlement information acquired by the settlement information acquisition means to the user before the settlement processing,
Accepting means for accepting the user's approval operation to approve the presented settlement information, further comprising:
The settlement control unit performs a settlement process when the approval operation is received by the reception unit.
49. To 55. An information processing system according to any one of the above.
57. After the payment information is generated by the merchandise registration device, the payment device further includes an alarm unit that outputs an alarm when the payment process is not performed by the payment device even if a predetermined time has elapsed.
49. From 56. An information processing system according to any one of the above.
58. The registering means further registers information indicating an order of the plurality of settlement information generated at each timing when the read end information is generated, in association with each settlement information,
When the order in which the plurality of payment information is generated by the product registration device and the processing order of the plurality of payment information by the payment device are different, an alarm unit that processes an alarm is further provided.
49. From 57. An information processing system according to any one of the above.
59. The first biometric information acquisition unit acquires face images of a plurality of customers as the biometric information,
The registering means registers the acquired face images of a plurality of customers in association with the settlement information,
The settlement information acquisition unit, when the biometric information of any of the customers matches the biometric information of the user, acquires the settlement information associated with the matched biometric information of the customer,
49. To 58. An information processing system according to any one of the above.

1 情報処理システム
2 CPU
3 メモリ
4 通信ユニット
6 表示装置
6 出力表示装置
7 入出力装置
8 生体情報リーダ
8a、8b、8c カメラ
10 商品登録装置
20 精算装置
30 サーバ装置
40 精算情報記憶部
102 第1生体情報取得部
104 登録部
122 第2生体情報取得部
124 精算情報取得部
126 精算制御部
130 精算情報
202 第3生体情報取得部
204 出力部
230 精算情報
300 商品登録装置
302 生体情報取得部
304 登録部
330 精算情報
400 精算装置
402 生体情報取得部
404 精算情報取得部
406 精算制御部
630 精算情報
640 生体情報
1 information processing system 2 CPU
3 memory 4 communication unit 6 display device 6 output display device 7 input / output device 8 biometric information reader 8a, 8b, 8c camera 10 merchandise registration device 20 payment device 30 server device 40 payment information storage unit 102 first biometric information acquisition unit 104 registration Unit 122 second biometric information acquisition unit 124 settlement information acquisition unit 126 settlement control unit 130 settlement information 202 third biometric information acquisition unit 204 output unit 230 settlement information 300 product registration device 302 biometric information acquisition unit 304 registration unit 330 settlement information 400 settlement Device 402 biometric information acquisition unit 404 settlement information acquisition unit 406 settlement control unit 630 settlement information 640 biometric information

Claims (15)

顧客の生体情報を取得する第1の生体情報取得手段と、
商品登録装置による前記顧客の全ての商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、前記第1の生体情報取得手段により取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録する登録手段と、
精算装置の利用者の生体情報を取得する第2の生体情報取得手段と、
前記精算情報に関連付けられた前記顧客の生体情報と、前記第2の生体情報取得手段により取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得する精算情報取得手段と、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行う精算制御手段と、を備え、
前記第1の生体情報取得手段は、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顧客の生体情報を取得する、情報処理システム。
First biological information acquisition means for acquiring the biological information of the customer;
At the time when the read end information indicating that the reading of all the product information of the customer by the product registration device is completed is generated, the biometric information of the customer acquired by the first biometric information acquisition unit is replaced with the product. Registration means for registering the merchandise information read by the registration device in association with the settlement information of the merchandise read;
Second biological information acquisition means for acquiring biological information of a user of the settlement apparatus;
The customer's biometric information associated with the settlement information is compared with the user's biometric information acquired by the second biometric information acquisition means, and the customer's biometric information corresponding to the user's biometric information is collated. Settlement information acquisition means for acquiring the settlement information associated with the detected biological information of the customer,
With the payment device, including a payment control unit that performs a payment process based on the obtained payment information,
The first biometric information acquisition unit includes:
An information processing system for acquiring biometric information of the customer while the product registration device is reading the product information.
前記生体情報は、撮像装置を用いて撮像された顔画像に基づいて生成された特徴情報を含む、
請求項1に記載の情報処理システム。
The biometric information includes feature information generated based on a face image captured using an imaging device,
The information processing system according to claim 1.
前記第1の生体情報取得手段は、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顔画像を複数フレーム取得し、前記読込終了情報が生成されたタイミングで、前記複数フレームから、前記顧客の生体情報を生成するための前記顔画像を選択する、
請求項2に記載の情報処理システム。
The first biometric information acquisition unit includes:
While the product registration device is reading the product information, the face image is obtained in a plurality of frames, and at the timing when the read end information is generated, the customer biometric information is generated from the plurality of frames. Selecting the face image for
The information processing system according to claim 2.
前記商品登録装置および前記精算装置が設置されるエリアからの退出者の生体情報を取得する第3の生体情報取得手段と、
未精算の前記精算情報に関連付けられた前記顧客の生体情報と、前記第3の生体情報取得手段により取得された前記退出者の生体情報を照合し、一致した場合に出力を行う出力手段をさらに備える、
請求項1から3のいずれか1項に記載の情報処理システム。
A third biometric information acquisition unit that acquires biometric information of a person leaving the area where the merchandise registration device and the payment device are installed;
Output means for comparing the biometric information of the customer associated with the unpaid settlement information with the biometric information of the leaving person acquired by the third biometric information acquisition means, and outputting the information when they match. Prepare,
The information processing system according to claim 1.
前記出力手段は、退出者の退出経路を閉鎖する制御信号を出力する、
請求項4に記載の情報処理システム。
The output means outputs a control signal for closing the exit path of the exit person,
The information processing system according to claim 4.
前記生体情報は、生体情報取得装置により取得される、掌紋、指紋、網膜、および静脈の少なくともいずれか一つに基づいて生成された特徴情報を含む、
請求項1から5のいずれか1項に記載の情報処理システム。
The biometric information is acquired by the biometric information acquisition device, palm print, fingerprint, retina, and includes feature information generated based on at least one of the veins,
The information processing system according to claim 1.
前記第1の生体情報取得手段は、前記読込終了情報が生成される前に前記顧客の生体情報を生成しており、
前記登録手段は、前記読込終了情報が生成されたタイミングで前記顧客の生体情報を前記精算情報に関連付けて登録する、
請求項1から6のいずれか1項に記載の情報処理システム。
The first biometric information acquisition unit generates biometric information of the customer before the read end information is generated,
The registration unit registers the customer's biometric information in association with the payment information at a timing at which the read end information is generated,
The information processing system according to claim 1.
前記精算処理の前に、前記精算情報取得手段により取得された前記精算情報を前記利用者に提示する提示手段と、
提示した前記精算情報を承認する前記利用者の承認操作を受け付ける受付手段と、をさらに備え、
前記精算制御手段は、前記受付手段により前記承認操作を受け付けた場合に、精算処理を行う、
請求項1から7のいずれか1項に記載の情報処理システム。
Presentation means for presenting the settlement information acquired by the settlement information acquisition means to the user before the settlement processing,
Accepting means for accepting the user's approval operation to approve the presented settlement information, further comprising:
The settlement control unit performs a settlement process when the approval operation is received by the reception unit.
The information processing system according to claim 1.
前記商品登録装置により前記精算情報が生成された後、一定時間が経過しても前記精算装置で精算処理が行われなかった場合に、アラームを出力する警報手段をさらに備える、
請求項1から8のいずれか1項に記載の情報処理システム。
After the payment information is generated by the merchandise registration device, the payment device further includes an alarm unit that outputs an alarm when the payment process is not performed by the payment device even if a predetermined time has elapsed.
The information processing system according to claim 1.
前記登録手段は、さらに、前記読込終了情報が生成されたタイミング毎に生成される複数の前記精算情報の順序を示す情報を、前記精算情報毎に対応付けて登録し、
前記商品登録装置による複数の前記精算情報の生成順と、前記精算装置による複数の精算情報の処理順が異なった場合に、アラームを処理する警報手段をさらに備える、
請求項1から9のいずれか1項に記載の情報処理システム。
The registering means further registers information indicating an order of the plurality of settlement information generated at each timing when the read end information is generated, in association with each settlement information,
When the order in which the plurality of payment information is generated by the product registration device and the processing order of the plurality of payment information by the payment device are different, an alarm unit that processes an alarm is further provided.
The information processing system according to claim 1.
前記第1の生体情報取得手段は、複数の顧客の顔画像を前記生体情報として取得し、
前記登録手段は、取得した複数の顧客の顔画像を、前記精算情報に関連付けて登録し、
前記精算情報取得手段は、いずれかの前記顧客の生体情報が前記利用者の前記生体情報と一致した時に、一致した前記顧客の生体情報に関連付けられている前記精算情報を取得する、
請求項1から10のいずれか1項に記載の情報処理システム。
The first biometric information acquisition unit acquires face images of a plurality of customers as the biometric information,
The registering means registers the acquired face images of a plurality of customers in association with the settlement information,
The settlement information acquisition unit, when the biometric information of any of the customers matches the biometric information of the user, acquires the settlement information associated with the matched biometric information of the customer,
The information processing system according to claim 1.
前記読込終了情報は、
前記商品登録装置を用いて行っている前記商品情報の読み込みが終了したことを示し、かつ以下の少なくともいずれか1つ又は双方を含む、請求項1から11のいずれか1項に記載の情報処理システム。
(1)前記商品情報の読み込みが終了した後、取引を確定し前記精算情報を生成するための操作ボタンの操作をオペレータが行ったことを示す情
(2)重量センサによりカゴの重さを計測し、登録済みの商品が他のカゴに移されて、元のカゴから全ての商品がなくなったことをカゴの重さで検知したときに生成される情報
The read end information is
The information processing according to any one of claims 1 to 11, which indicates that reading of the product information performed using the product registration device has been completed, and includes at least one or both of the following. system.
(1) after said reading of the product information is completed, information indicating that the operation of the operation button for generating the adjustment information to confirm the transaction operator performs
(2 ) Generated when the weight of the basket is measured by the weight sensor and the registered product is moved to another basket and all the products are removed from the original basket by the weight of the basket. Information
前記第1の生体情報取得手段または前記第2の生体情報取得手段は、
前記撮像装置の撮像範囲内に前記顧客または前記利用者を含む人が進入したことを検知する検知部を有し、
前記検知部により人の進入が検知されると前記撮像装置の撮像動作を開始する、請求項2、および請求項2を引用する請求項3から12のいずれか1項に記載の情報処理システム。
The first biological information acquiring means or the second biological information acquiring means,
A detection unit that detects that a person including the customer or the user has entered the imaging range of the imaging device,
13. The information processing system according to claim 2, wherein when the detection unit detects the entry of a person, the imaging operation of the imaging device is started. 14.
情報処理装置が、
顧客の生体情報を取得し、
商品登録装置による前記顧客の全ての商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録し、
精算装置の利用者の生体情報を取得し、
前記精算情報に関連付けられた前記顧客の生体情報と、取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得し、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行い、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顧客の生体情報を取得する、
情報処理装置の情報処理方法。
The information processing device is
Obtain customer biometric information,
At the timing when the read end information indicating that the reading of all the product information of the customer by the product registration device has been completed is generated, the acquired biometric information of the customer is read by the product registration device. Registered in connection with the payment information of the product
Obtain the biometric information of the user of the checkout device,
The biometric information of the customer associated with the settlement information is compared with the obtained biometric information of the user, and the biometric information of the customer corresponding to the biometric information of the user is detected. Obtaining the settlement information associated with the biological information of
Using the payment device, perform a payment process based on the obtained payment information,
While reading the product information in the product registration device, obtain the biometric information of the customer,
An information processing method for an information processing device.
コンピュータに、
顧客の生体情報を取得する手順、
商品登録装置による前記顧客の全ての商品情報の読み込みが終了したことを示す読込終了情報が生成されたタイミングで、取得された前記顧客の生体情報を、前記商品登録装置により前記商品情報が読み込まれた商品の精算情報に関連付けて登録する手順、
精算装置の利用者の生体情報を取得する手順、
前記精算情報に関連付けられた前記顧客の生体情報と、取得された前記利用者の生体情報を照合し、前記利用者の生体情報に対応する前記顧客の生体情報を検出し、検出された前記顧客の生体情報に関連付けられている前記精算情報を取得する手順、
前記精算装置を用いて、取得した前記精算情報に基づく精算処理を行う手順、
前記商品登録装置で前記商品情報の読み込みを行っている間に、前記顧客の生体情報を取得する手順、
を実行させるためのプログラム。
On the computer,
Procedures for acquiring customer biometric information,
At the timing when the read end information indicating that the reading of all the product information of the customer by the product registration device has been completed is generated, the acquired biometric information of the customer is read by the product registration device. To register in connection with the payment information of the product,
A procedure for acquiring the biometric information of the user of the checkout device,
The biometric information of the customer associated with the settlement information is compared with the obtained biometric information of the user, and the biometric information of the customer corresponding to the biometric information of the user is detected. A procedure for acquiring the payment information associated with the biological information of
Procedure for performing a payment process based on the obtained payment information using the payment device,
A step of acquiring the customer's biometric information while reading the product information in the product registration device;
A program for executing
JP2015060694A 2015-03-24 2015-03-24 Information processing system, information processing method, and program Active JP6672597B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015060694A JP6672597B2 (en) 2015-03-24 2015-03-24 Information processing system, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015060694A JP6672597B2 (en) 2015-03-24 2015-03-24 Information processing system, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2016181100A JP2016181100A (en) 2016-10-13
JP6672597B2 true JP6672597B2 (en) 2020-03-25

Family

ID=57132730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015060694A Active JP6672597B2 (en) 2015-03-24 2015-03-24 Information processing system, information processing method, and program

Country Status (1)

Country Link
JP (1) JP6672597B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212502A (en) * 2015-04-30 2016-12-15 東芝テック株式会社 Customer management system, customer management apparatus, and customer management method
JP6879541B2 (en) * 2017-02-14 2021-06-02 Necプラットフォームズ株式会社 POS system, settlement method in POS system, and product registration program
JP2018160211A (en) * 2017-03-24 2018-10-11 東芝テック株式会社 Accounting system and program
JP2019079138A (en) * 2017-10-20 2019-05-23 グローリー株式会社 Receipt issuance device, ticket machine, adjustment machine, receipt issuance system, receipt issuance method, and receipt issuance program
JP7228150B2 (en) 2018-03-22 2023-02-24 日本電気株式会社 Information processing system, information processing method and program
JP7309009B2 (en) 2018-05-16 2023-07-14 東芝テック株式会社 Terminal control device and its program and store system
JP7064951B2 (en) * 2018-05-16 2022-05-11 東芝テック株式会社 Terminal control device and its program and store system
JP2021077017A (en) * 2019-11-07 2021-05-20 グローリー株式会社 Payment state presentation system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04284598A (en) * 1991-03-14 1992-10-09 Hitachi Ltd Automatic account settlement system for shop
JP5038284B2 (en) * 2008-11-17 2012-10-03 東芝テック株式会社 Merchandise sales data processing apparatus and computer program
JP5790160B2 (en) * 2011-05-31 2015-10-07 株式会社寺岡精工 Self-accounting POS system and accounting device
JP5961408B2 (en) * 2012-03-05 2016-08-02 グローリー株式会社 Sales management system, sales management apparatus and sales management method
JP6115034B2 (en) * 2012-07-10 2017-04-19 株式会社寺岡精工 POS system, registration device, and program
JP6102591B2 (en) * 2013-07-11 2017-03-29 富士通株式会社 Checkout monitoring apparatus, method and program

Also Published As

Publication number Publication date
JP2016181100A (en) 2016-10-13

Similar Documents

Publication Publication Date Title
JP6672597B2 (en) Information processing system, information processing method, and program
JP7163604B2 (en) Settlement system, settlement method and program
JP6730076B2 (en) Product sales data processing device, product sales data processing system and program
JP2017199234A (en) Monitoring device and program
JP7298865B2 (en) Information processing system, customer identification device, information processing method and program
CN109285019A (en) Image processing apparatus, information processing unit, system and control method
JP2016181101A (en) Information processing system, order reception device, adjustment device, information processing method, and program
CN109754544B (en) Commodity data processing device, commodity data processing system and commodity data processing method
JP7298594B2 (en) Store management device, store management method, and program
JP2016212502A (en) Customer management system, customer management apparatus, and customer management method
JP2015106380A (en) Self-checkout terminal
JP2023088960A (en) Information processor and store system
JP2016110559A (en) Monitoring system
US20220222644A1 (en) Fraud behavior recognition device, control program thereof, and fraud behavior recognition method
JP2023162229A (en) Monitoring device and program
US20230091825A1 (en) Checkout apparatus and checkout method
JP6266501B2 (en) Checkout system and control program
JP7335033B2 (en) Merchandise sales data processing system, settlement device, and program
JP7437017B2 (en) Product sales data processing system, mobile terminal device, and computer
JP2022102144A (en) Commodity sales data processing system and portable terminal device
JP2022045990A (en) Commodity sales data processing system, portable terminal, and program
JP2022098820A (en) Item sales data processing system and program
JP2021179927A (en) Sales system, settlement device and program
JP2022046136A (en) Commodity sales data processing system
JP2016218753A (en) POS system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200217

R150 Certificate of patent or registration of utility model

Ref document number: 6672597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150