JP6839324B1 - Input system, input program and input method - Google Patents
Input system, input program and input method Download PDFInfo
- Publication number
- JP6839324B1 JP6839324B1 JP2020134101A JP2020134101A JP6839324B1 JP 6839324 B1 JP6839324 B1 JP 6839324B1 JP 2020134101 A JP2020134101 A JP 2020134101A JP 2020134101 A JP2020134101 A JP 2020134101A JP 6839324 B1 JP6839324 B1 JP 6839324B1
- Authority
- JP
- Japan
- Prior art keywords
- payment
- user
- reading
- information
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000010586 diagram Methods 0.000 abstract description 10
- 208000015181 infectious disease Diseases 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 208000035473 Communicable disease Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000249 desinfective effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Abstract
【課題】各種の入力操作において、多数のユーザの接触を回避又は削減可能な、新規な入力技術を提供すること。【解決手段】事前に登録されたユーザを認識して決済を行うための入力システムであって、購入商品を特定する商品特定情報の読取を行う読取手段と、決済を行うユーザを撮影する撮影手段と、前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行する決済手段と、を備える。【選択図】図１PROBLEM TO BE SOLVED: To provide a novel input technique capable of avoiding or reducing contact with a large number of users in various input operations. SOLUTION: This is an input system for recognizing a user registered in advance and making a payment, and is a reading means for reading product specific information for specifying a purchased product and a photographing means for photographing a user who makes a payment. When the payment operation by the user is recognized from the user image taken by the photographing means, the operation recognition means for ending the reading by the reading means and the authentication for authenticating the registered user based on the user image. A means and a payment means for executing a payment process for the price of the product based on the registered user information when the payment operation is recognized and the authentication is successful. [Selection diagram] Fig. 1
Description
本発明は、ユーザの接触を回避又は削減するための、入力システム、入力プログラムおよび入力方法に関する。 The present invention relates to input systems, input programs and input methods for avoiding or reducing user contact.
世界的な感染症の流行により、感染症対策に改めて注目が集まっている。例えば店舗での決済を、店員が操作する有人レジから顧客自身で決済装置を操作するセルフレジに置き換えること等、ＩＴ（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）を利用して人と人とが接する機会を減らすことは有効な感染症対策のひとつである。 Due to the worldwide epidemic of infectious diseases, infectious disease countermeasures are drawing attention again. For example, it is effective to reduce the chances of people interacting with each other using IT (Information Technology), such as replacing payments at stores with self-checkouts operated by customers themselves from manned cashiers operated by clerk. It is one of the measures against infectious diseases.
従来から、必要な人員削減や効率化の観点から、ＩＴを利用したレジや窓口業務等の自動化技術が知られている。例えば特許文献１には、顔画像による生体認証を利用した、自動決済の方法が記載されている。特許文献１には、所定のジェスチャによってユーザが明確に顔認証の実行を指示することが記載されている。 Conventionally, automation technology for cash registers and counter operations using IT has been known from the viewpoint of reducing necessary personnel and improving efficiency. For example, Patent Document 1 describes a method of automatic payment using biometric authentication using a face image. Patent Document 1 describes that a user clearly instructs the execution of face recognition by a predetermined gesture.
また特許文献２には、自動販売機を利用した商品購入時の顔認証において、顧客に所定の動作を要望することにより、人以外の情報によって顔認証をしてしまうことを排除することが記載されている。 Further, Patent Document 2 describes that in face recognition when purchasing a product using a vending machine, it is excluded that face recognition is performed by information other than a person by requesting a customer to perform a predetermined operation. Has been done.
一方、不特定多数の人物が触れる物を介して菌やウイルスが広がることによる、接触感染も問題視されている。上述した従来技術では、ユーザ自身で入力を行うことが前提として想定されており、入力の際に多くの人物が同じ部分に触れることになるため、接触感染の予防の観点からは不十分と言える。 On the other hand, contact infections caused by the spread of bacteria and viruses through objects touched by an unspecified number of people are also regarded as a problem. In the above-mentioned conventional technology, it is assumed that the user himself / herself inputs, and many people touch the same part at the time of input, which is insufficient from the viewpoint of preventing contact infection. ..
そこで本発明は、各種の入力操作において、多数のユーザの接触を回避又は削減可能な、新規な入力技術を提供することを課題とする。 Therefore, an object of the present invention is to provide a novel input technique capable of avoiding or reducing contact with a large number of users in various input operations.
上記課題を解決するために、本発明は、事前に登録されたユーザを認識して決済を行うための入力システムであって、購入商品を特定する商品特定情報の読取を行う読取手段と、決済を行うユーザを撮影する撮影手段と、前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行する決済手段と、を備える。 In order to solve the above problems, the present invention is an input system for recognizing a user registered in advance and making a payment, and a reading means for reading the product specific information for specifying the purchased product and payment. Registration based on the user image, the photographing means for photographing the user who performs the operation, the operation recognizing means for terminating the reading by the reading means when the payment operation by the user is recognized from the user image photographed by the photographing means, and the user image. An authentication means that authenticates a completed user, and a payment means that executes a payment process for the price of the product based on the registered user information when the payment operation is recognized and the authentication is successful. , Equipped with.
このような構成とすることで、決済に係る入力を全て、ユーザが装置自体に触れることなく完結できる。従って、ユーザは商品のみに触れれば購入が可能であり、不特定多数の接触による感染リスクの削減が可能となる上に、装置の汚れや消耗を軽減することができる。更に、スキー場や工事現場等、手袋の着用が必要な場面であっても容易に決済が可能であるだけでなく、ユーザ画像に基づいて決済を行うため、財布やスマートフォン等を携帯する必要がなくなり、ユーザの利便性が向上する。 With such a configuration, all input related to payment can be completed without the user touching the device itself. Therefore, the user can purchase by touching only the product, the risk of infection due to contact with an unspecified number of people can be reduced, and the dirt and wear of the device can be reduced. Furthermore, not only can payments be made easily even in situations where gloves need to be worn, such as at ski resorts and construction sites, but also payments are made based on user images, so it is necessary to carry a wallet, smartphone, etc. It disappears and the convenience of the user is improved.
本発明の好ましい形態では、前記動作認識手段は、前記ユーザ画像から、事前に登録されたジェスチャを前記決済動作として認識する。
このような構成とすることで、誤認識を削減する効果が期待できる。
In a preferred embodiment of the present invention, the motion recognizing means recognizes a pre-registered gesture as the settlement motion from the user image.
With such a configuration, the effect of reducing erroneous recognition can be expected.
本発明の好ましい形態では、前記ユーザ情報は、ユーザが所属するグループを特定するグループ特定情報を含み、前記決済手段は、前記グループ特定情報に基づいて前記決済処理を実行する。
このような構成とすることで、例えば、社内の売店等での買い物における決済に本発明を適用し、ユーザが所属するグループを特定して決済を行うことで、給与からの天引きや福利厚生費を利用した支払を実現することができる。
In a preferred embodiment of the present invention, the user information includes group-specific information that identifies a group to which the user belongs, and the payment means executes the payment process based on the group-specific information.
With such a configuration, for example, by applying the present invention to payments for shopping at an in-house shop, etc., and making payments by specifying the group to which the user belongs, deductions from salary and welfare expenses can be made. It is possible to realize payment using.
本発明の好ましい形態では、前記決済手段は、前記グループ特定情報に基づいて事前に登録されるグループ情報を特定し、前記グループ情報において指定された決済方法に従って、前記決済処理を実行する。
このような構成とすることで、グループごとに指定された決済方法により決済を行うことが可能となる。
In a preferred embodiment of the present invention, the payment means identifies group information registered in advance based on the group identification information, and executes the payment process according to the payment method specified in the group information.
With such a configuration, it is possible to make a payment by a payment method designated for each group.
本発明の好ましい形態では、前記読取手段が前記読取を開始した後、所定時間の間連続して前記読取が行われなかった場合に、キャンセル処理を行う手段を更に備える。
このような構成とすることで、ユーザが途中で入力をやめてそのまま去ってしまった場合等に、キャンセルとして扱って次の入力を受け付けることが可能となる。
In a preferred embodiment of the present invention, after the reading means starts the reading, if the reading is not continuously performed for a predetermined time, a means for canceling the reading is further provided.
With such a configuration, when the user stops inputting in the middle and leaves as it is, it is possible to treat it as a cancellation and accept the next input.
本発明の好ましい形態では、前記読取手段が前記読取を開始した後、前記動作認識手段が前記決済動作の認識に失敗した場合に、前記読取を終了して前記決済処理を求める入力を行うための決済表示を行う表示部を更に備える。
このような構成とすることで、何らかの原因でユーザ画像からの決済動作の認識がうまく機能しない場合にも、他の方法でユーザが決済処理を求めることができる。
In a preferred embodiment of the present invention, when the operation recognizing means fails to recognize the payment operation after the reading means starts the reading, the reading is terminated and an input for requesting the payment process is performed. A display unit for displaying payment is further provided.
With such a configuration, even if the recognition of the payment operation from the user image does not work well for some reason, the user can request the payment process by another method.
本発明の好ましい形態では、前記表示部は、前記読取手段が前記読取を開始した後、所定時間の間、前記動作認識手段が前記決済動作を認識しなかった場合に、前記決済動作の認識に失敗したとみなす。 In a preferred embodiment of the present invention, the display unit recognizes the payment operation when the operation recognition means does not recognize the payment operation for a predetermined time after the reading means starts the reading. Consider it a failure.
本発明の好ましい形態では、前記決済表示は、前記ユーザに対して、前回表示されたときとは異なる部分に触れることを求めるものである。
このような構成とすることで、決済動作の認識が失敗する場合であっても、多くのユーザが同じ部分に触れることを避けることができる。
In a preferred embodiment of the present invention, the payment display requires the user to touch a portion different from the previously displayed portion.
With such a configuration, it is possible to prevent many users from touching the same part even when the recognition of the payment operation fails.
上記課題を解決するために、本発明は、事前に登録されたユーザを認識して決済を行うための入力プログラムであって、購入商品を特定する商品特定情報の読取を行う読取手段と、決済を行うユーザを撮影する撮影手段と、前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行する決済手段と、としてコンピュータを機能させる。 In order to solve the above problems, the present invention is an input program for recognizing a pre-registered user and making a payment, and a reading means for reading the product specific information that identifies the purchased product and payment. Registration based on the user image, the photographing means for photographing the user who performs the operation, the operation recognizing means for terminating the reading by the reading means when the payment operation by the user is recognized from the user image photographed by the photographing means, and the user image. An authentication means that authenticates a completed user, and a payment means that executes a payment process for the price of the product based on the registered user information when the payment operation is recognized and the authentication is successful. Make your computer work as.
上記課題を解決するために、本発明は、事前に登録されたユーザを認識して決済を行うための入力方法であって、購入商品を特定する商品特定情報の読取を行うステップと、決済を行うユーザを撮影するステップと、撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取を終了させるステップと、前記ユーザ画像に基づいて、登録済みのユーザの認証を行うステップと、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行するステップと、をコンピュータに実行させる。 In order to solve the above problems, the present invention is an input method for recognizing a pre-registered user and making a payment, and performs a step of reading product specific information that identifies a purchased product and payment. A step of photographing a user to perform, a step of terminating the reading when the payment operation by the user is recognized from the photographed user image, a step of authenticating a registered user based on the user image, and the above-mentioned step. When the payment operation is recognized and the authentication is successful, the computer is made to execute the step of executing the payment process of the price of the product based on the registered user information.
本発明によれば、多数のユーザの接触を回避又は削減可能な、新規な入力技術を提供することができる。 According to the present invention, it is possible to provide a novel input technique capable of avoiding or reducing contact with a large number of users.
以下、図面を用いて、本発明の入力システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。 Hereinafter, the input system of the present invention will be described with reference to the drawings. The embodiments shown below are examples of the present invention, and the present invention is not limited to the following embodiments, and various configurations can be adopted.
例えば、本実施形態では入力システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ−ＲＯＭ等の非一過性の記録媒体であっても良い。 For example, in the present embodiment, the configuration, operation, and the like of the input system will be described, but a method, an apparatus, a computer program, and the like having the same configuration can also exert the same effects. Further, the program may be stored in a recording medium. Using this recording medium, for example, a program can be installed on a computer. Here, the recording medium in which the program is stored may be a non-transient recording medium such as a CD-ROM.
また本実施形態では、顔認証を利用した決済を前提として、決済処理の指示やその他の各種入力においてユーザの接触を回避又は削減するための技術を例示するが、本発明はこれに限られない。例えば、その他の任意の入力において、後述するボタンの表示位置決定を実行することにより、画像による認証を用いないシステムやユーザの接触を前提とする幅広いシステムにおいて、多くのユーザが同じ部分に触れることを防ぐことに利用されてもよい。 Further, in the present embodiment, on the premise of payment using face authentication, a technique for avoiding or reducing user contact in instructions for payment processing and various other inputs is exemplified, but the present invention is not limited to this. .. For example, by executing the display position determination of the button described later in any other input, many users touch the same part in a system that does not use image authentication or a wide range of systems that assume user contact. It may be used to prevent.
本実施形態では、特に社内の売店等、特定のグループに属するユーザに利用される店舗における実施の形態を想定する。従って本実施形態では、入力システムが設置された店舗ごとに、利用グループが決まっており、当該グループに属するユーザとして登録された者が、当該店舗において本発明の入力システムを利用する。 In this embodiment, it is assumed that the embodiment is used by a user belonging to a specific group, such as an in-house shop. Therefore, in the present embodiment, a usage group is determined for each store in which the input system is installed, and a person registered as a user belonging to the group uses the input system of the present invention in the store.
（１）ユーザ画像を用いた決済入力
まず、決済時のユーザを撮影したユーザ画像による決済を行うための入力システムについて、全体の構成を説明する。図１は、本実施形態の入力システムの機能構成を示す図である。
(1) Payment Input Using User Image First, the entire configuration of an input system for making a payment using a user image of a user at the time of payment will be described. FIG. 1 is a diagram showing a functional configuration of the input system of the present embodiment.
本実施形態の入力システムは、読取手段１１と、撮影手段１２と、動作認識手段１３と、認証手段１４と、決済手段１５と、表示部１６と、接触位置記録手段１７と、ボタン表示手段１８と、接触位置リセット手段１９と、を備え、データベースＤＢと相互に通信可能に構成される。 The input system of the present embodiment includes a reading means 11, a photographing means 12, an motion recognition means 13, an authentication means 14, a payment means 15, a display unit 16, a contact position recording means 17, and a button display means 18. And the contact position resetting means 19, and are configured to be able to communicate with each other with the database DB.
入力システムは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークへの接続手段や商品情報の読取を行うための読取装置、撮影装置、ディスプレイ等を含む種々の入出力装置等を備えた、一般的なコンピュータ装置により実現される。本実施形態では、データベースＤＢ等へのアクセスを行うためのネットワークに接続された任意のコンピュータ装置に、バーコードリーダー等の読取装置、カメラ、ディスプレイ（好ましくはタッチパネルディスプレイ）等を接続することで、入力システムが構成される。 The input system includes a computing device such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), a main storage device such as a RAM (Random Access Memory), an HDD (Hard Disk Drive), an SSD (Solid State), and a SSD (Solid State). It is realized by a general computer device provided with an auxiliary storage device such as, a means for connecting to a network, a reading device for reading product information, a photographing device, various input / output devices including a display, and the like. In the present embodiment, a reading device such as a barcode reader, a camera, a display (preferably a touch panel display), or the like is connected to an arbitrary computer device connected to a network for accessing a database DB or the like. The input system is configured.
読取手段１１は、購入商品を特定する商品特定情報の読取を行う。具体的には、例えばバーコードを読み取る為のバーコードリーダーや、画像認識により商品画像や文字を認識して商品を特定するためのカメラ、近距離無線通信により商品特定情報を受信するタグリーダー等が、本発明の読取手段１１として機能する。 The reading means 11 reads the product identification information that identifies the purchased product. Specifically, for example, a barcode reader for reading a barcode, a camera for recognizing a product image or character by image recognition and identifying a product, a tag reader for receiving product identification information by short-range wireless communication, etc. However, it functions as the reading means 11 of the present invention.
撮影手段１２は、決済を行うユーザを撮影してユーザ画像を生成する。本実施形態では、表示部１６の周囲に設置される撮影装置が、撮影手段１２として機能する。撮影手段１２は、決済を行うユーザの顔を撮影し、ユーザ画像を動作認識手段１３、認証手段１４、表示部１６に受け渡す。 The photographing means 12 photographs a user who makes a payment and generates a user image. In the present embodiment, the photographing device installed around the display unit 16 functions as the photographing means 12. The photographing means 12 photographs the face of the user who makes the payment, and delivers the user image to the motion recognition means 13, the authentication means 14, and the display unit 16.
動作認識手段１３は、ユーザ画像から、事前に登録されたジェスチャを決済動作として認識すると、読取手段１１による読取を終了させる。また本実施形態の動作認識手段１３は、決済動作以外に中止動作の認識も行う。中止動作が認識された場合には、それまでに読み取られた商品特定情報がリセットされ、決済が中止される。なお本実施形態では、決済動作としてピースサインのジェスチャが、また中止動作として手のひらを正面に向けるジェスチャが、それぞれ事前に登録される。なお決済動作や中止動作としてはこれに限られず、例えば笑顔等、特定の表情を決済動作又は中止動作としてもよい。また、ジェスチャと表情の両方を条件として決済動作又は中止動作が認識されてもよい。 When the motion recognizing means 13 recognizes the gesture registered in advance from the user image as a settlement motion, the motion recognizing means 13 ends the reading by the reading means 11. Further, the motion recognition means 13 of the present embodiment also recognizes the cancel motion in addition to the settlement motion. When the cancel operation is recognized, the product identification information read up to that point is reset and the settlement is canceled. In the present embodiment, a peace sign gesture is registered in advance as a settlement operation, and a gesture in which the palm is turned to the front as a cancel operation is registered in advance. The settlement operation and the cancellation operation are not limited to this, and a specific facial expression such as a smile may be a settlement operation or a cancellation operation. Further, the settlement operation or the cancellation operation may be recognized on condition of both the gesture and the facial expression.
決済動作や中止動作の認識は、任意の画像認識手法により行われればよい。例えば、各動作を撮影した画像及びその動作の種類を示す情報の組を教師データとして複数入力して、一般的に知られる機械学習の手法を用いて各動作の分類モデルを作成し、当該分類モデルにユーザ画像を入力することにより、決済動作又は中止動作を検出する方法が挙げられる。分類する動作としては、決済動作、中止動作、及びそれ以外、等とすればよい。ここで本実施形態では、一定時間継続して決済動作や中止動作が検出された場合に、動作認識手段１３が当該動作を認識して処理を行う。 The settlement operation and the cancellation operation may be recognized by any image recognition method. For example, a plurality of sets of images showing each motion and a set of information indicating the type of the motion are input as teacher data, a classification model of each motion is created by using a generally known machine learning method, and the classification is performed. A method of detecting a payment operation or a cancellation operation by inputting a user image into the model can be mentioned. The operations to be classified may be a settlement operation, a cancellation operation, and the like. Here, in the present embodiment, when a settlement operation or a cancel operation is continuously detected for a certain period of time, the operation recognition means 13 recognizes the operation and performs processing.
認証手段１４は、ユーザ画像に基づいて、登録済みのユーザの認証を行う。本実施形態では、事前にユーザの顔を撮影した画像がユーザに対応付けて登録され、事前に登録された画像とユーザ画像とを比較することにより、登録済みのユーザの認証が行われる。なおこの他にも、虹彩認証や静脈認証等、任意の方法で登録済みのユーザの認証が行われてよいが、ユーザが装置に触れない方法で認証が行われることが好ましい。 The authentication means 14 authenticates the registered user based on the user image. In the present embodiment, an image of the user's face taken in advance is registered in association with the user, and the registered user is authenticated by comparing the pre-registered image with the user image. In addition to this, the registered user may be authenticated by any method such as iris authentication or vein authentication, but it is preferable that the authentication is performed by a method in which the user does not touch the device.
ユーザ画像の解析処理は入力システムにおいて行われてもよいが、本実施形態では、ユーザの認証用の登録画像を管理する外部のサーバに、認証手段１４がユーザ画像の解析を要求して解析結果を受信し、データベースＤＢに登録されたユーザと照合することによって、登録済みのユーザの認証が行われる。ユーザの認証においては、画像の特徴量抽出により一致を判断する、一般的な顔認証技術を用いることができる。 The user image analysis process may be performed in the input system, but in the present embodiment, the authentication means 14 requests the external server that manages the registered image for user authentication to analyze the user image, and the analysis result. Is received and collated with the user registered in the database DB, so that the registered user is authenticated. In user authentication, a general face authentication technique that determines a match by extracting the feature amount of the image can be used.
決済手段１５は、動作認識手段１３によって決済動作が認識され、かつ、認証手段１４によって登録済みのユーザの認証が成功した場合に、登録済みのユーザの情報に基づいて、商品の代金の決済処理を実行する。また本実施形態では、ユーザ情報はユーザが所属するグループを特定するグループ特定情報と紐づけられ、決済手段１５は、グループ特定情報に基づいて決済処理を実行する。更に、グループ特定情報に基づいて、事前に登録されるグループ情報において指定された決済方法に従って、決済処理が実行されてもよい。 When the payment operation is recognized by the operation recognition means 13 and the authentication of the registered user is successful by the authentication means 14, the payment means 15 setstles the price of the product based on the information of the registered user. To execute. Further, in the present embodiment, the user information is associated with the group specific information that identifies the group to which the user belongs, and the payment means 15 executes the payment process based on the group specific information. Further, based on the group specific information, the settlement process may be executed according to the settlement method specified in the group information registered in advance.
本実施形態では、決済処理として、決済手段１５が、ユーザを特定する情報及び決済の金額を含む取引履歴をデータベースＤＢに記録する。これにより、ユーザ個人や所属するグループへの費用請求を行うことができる。この他に例えば、ユーザ情報としてクレジットカードや銀行口座の支払情報を登録しておき、カード会社や銀行から商品代金の支払を受けるための情報を、外部のサーバ等に送信する処理であってもよい。更に、グループ情報においてグループごとに支払方法を定めておき、当該支払方法に従って、外部のサーバ等に支払の要求が送信されてもよい。 In the present embodiment, as a payment process, the payment means 15 records a transaction history including information identifying a user and a payment amount in a database DB. As a result, it is possible to charge the cost to the individual user or the group to which the user belongs. In addition to this, for example, even if the payment information of a credit card or a bank account is registered as user information and the information for receiving the payment of the product price from the card company or the bank is transmitted to an external server or the like. Good. Further, a payment method may be defined for each group in the group information, and a payment request may be transmitted to an external server or the like according to the payment method.
表示部１６は、入力を行うための各種の情報を表示する。表示部１６は、読取手段１１が読取を開始した後、所定時間動作認識手段１３が決済動作を認識しなかった場合に、読み取りを終了して決済処理を求める入力を行うための決済表示を行う。本実施形態では、表示部１６としてタッチパネルディスプレイが用いられ、決済表示として決済ボタンが表示部１６に表示される。そして、動作認識手段１３による決済ジェスチャの認識の代わりに、決済ボタンを介した入力によりユーザによる指示が受け付けられ、読取手段１１による読取が終了される。 The display unit 16 displays various information for inputting. After the reading means 11 starts reading, the display unit 16 displays the payment for inputting to end the reading and request the payment processing when the operation recognition means 13 does not recognize the payment operation for a predetermined time. .. In the present embodiment, a touch panel display is used as the display unit 16, and a payment button is displayed on the display unit 16 as a payment display. Then, instead of recognizing the payment gesture by the motion recognition means 13, an instruction by the user is received by input via the payment button, and the reading by the reading means 11 is completed.
一方、読取手段１１が読取を開始した後、所定時間読取が行われなかった場合には、入力システムがそれまでに読み取られた商品特定情報をリセットし、決済を中止するキャンセル処理を実行する。この際のキャンセル処理は、動作認識手段１３によって中止動作が認識された場合の処理と同一である。 On the other hand, if reading is not performed for a predetermined time after the reading means 11 starts reading, the input system resets the product identification information read so far and executes a cancel process for canceling the settlement. The cancel process at this time is the same as the process when the cancel operation is recognized by the motion recognition means 13.
接触位置記録手段１７は、表示部１６上でユーザが触れた接触位置を特定して、その接触があった時刻とともにデータベースＤＢに記録する。なお接触があった時刻とは、厳密に接触が行われた時刻と完全に同一でなくてもよく、例えばその接触による入力が行われた時刻や、その接触による入力が行われた決済の実行時刻等、前後の時刻を含む。 The contact position recording means 17 identifies the contact position touched by the user on the display unit 16 and records it in the database DB together with the time of the contact. Note that the time of contact does not have to be exactly the same as the time of contact, for example, the time of input by the contact or the execution of payment by the contact. Includes time before and after, such as time.
接触位置記録手段１７は、例えば表示部１６に備えられた接触センサによって接触位置を特定してもよいし、その他、表示部１６を撮影して得られた画像等の分析によって接触位置を特定してもよい。本実施形態では、表示部１６上にユーザからの入力を受け付ける為のボタンが表示され、当該ボタンを介した入力が行われた場合に、接触位置記録手段１７が当該ボタンの表示位置の中心を接触位置とみなして記録する。この他、接触位置記録手段１７は、表示部１６上の表示内容に関わらず全ての接触位置をセンサ等によって特定し、記録してもよい。 The contact position recording means 17 may specify the contact position by, for example, a contact sensor provided in the display unit 16, or in addition, the contact position is specified by analyzing an image or the like obtained by photographing the display unit 16. You may. In the present embodiment, a button for receiving an input from the user is displayed on the display unit 16, and when the input is performed via the button, the contact position recording means 17 sets the center of the display position of the button. Record as a contact position. In addition, the contact position recording means 17 may identify and record all contact positions by a sensor or the like regardless of the display content on the display unit 16.
ボタン表示手段１８は、接触位置に基づいて、基準時刻以降の接触が最も少ない位置をボタンの表示位置として決定する。ここで本実施形態では、ボタン表示手段１８は、決済表示として表示される決済ボタンの表示位置を決定する。 Based on the contact position, the button display means 18 determines the position with the least contact after the reference time as the button display position. Here, in the present embodiment, the button display means 18 determines the display position of the payment button displayed as the payment display.
接触位置リセット手段１９は、リセット指示を受け付けて、接触位置の記録をリセットする。リセットが行われた場合、ボタン表示手段１８は、リセット後の接触位置に基づいて、接触が少ない位置を表示位置として決定する。なお、本実施形態においては、リセットが行われた時刻を基準時刻とすることで、リセット後の接触位置に基づく表示位置の決定が行われるが、例えばリセット指示により、それ以前の接触位置の記録にリセットフラグを立てたり、接触位置の記録自体を消去したりしてもよい。 The contact position reset means 19 receives the reset instruction and resets the record of the contact position. When the reset is performed, the button display means 18 determines the position with less contact as the display position based on the contact position after the reset. In the present embodiment, the time when the reset is performed is set as the reference time, so that the display position is determined based on the contact position after the reset. For example, the contact position before that is recorded by the reset instruction. The reset flag may be set to, or the contact position record itself may be erased.
図２、図３は、データベースＤＢに登録される情報の一例を示す図である。図２に示すように、データベースＤＢは、ユーザマスタ、グループマスタ、グループユーザマスタを有しており、これらの情報によって、各ユーザの情報と、グループの情報と、各グループに所属するユーザの情報と、が管理される。 2 and 3 are diagrams showing an example of information registered in the database DB. As shown in FIG. 2, the database DB has a user master, a group master, and a group user master, and the information of each user, the information of the group, and the information of the users belonging to each group are based on these information. And are managed.
ユーザマスタはユーザに関するユーザ情報であり、ユーザの識別子でありログイン等に用いられるユーザＩＤと、システム側でユーザを一意に特定するシステムＵＩＤと、ユーザの氏名と、顔認証のための画像解析を実行する外部のサーバにおいて顔認証情報を一意に特定するための顔認証ＩＤと、を有する。このようにユーザＩＤとは別にユーザを一意に特定可能な不変のシステムＵＩＤを用いることで、例えばメールアドレスをユーザＩＤとして用いる場合等、ユーザが自由にユーザＩＤを変更しても容易にユーザを特定できる。更に、各種管理権限等をユーザマスタとして記憶していてもよい。 The user master is user information about the user, a user ID that is an identifier of the user and is used for login, etc., a system UID that uniquely identifies the user on the system side, a user's name, and image analysis for face authentication. It has a face authentication ID for uniquely identifying the face authentication information in the external server to be executed. By using an immutable system UID that can uniquely identify the user separately from the user ID in this way, the user can be easily changed even if the user freely changes the user ID, for example, when an e-mail address is used as the user ID. Can be identified. Further, various management authorities and the like may be stored as a user master.
また、クレジットカードや銀行口座からの引き落としにより決済を行う場合には、更にクレジットカードや銀行口座の情報が支払情報として記憶される。ここでユーザ情報において決済方法を指定する情報を記憶しておき、決済手段１５はユーザ情報における指定に基づいて決済処理を実行してもよい。また必要に応じてログインパスワード等の情報が管理され、ユーザ情報に基づいてシステムへのユーザログインが行われる。 Further, when payment is made by withdrawal from a credit card or bank account, the information of the credit card or bank account is further stored as payment information. Here, the information that specifies the payment method may be stored in the user information, and the payment means 15 may execute the payment process based on the designation in the user information. In addition, information such as a login password is managed as needed, and the user logs in to the system based on the user information.
グループマスタはグループに関するグループ情報であり、グループを一意に特定するグループＩＤと、グループの識別子であるグループコードと、グループの名称を表すグループ名と、グループがシステムの利用を開始した利用開始日と、グループがシステムの利用を終了した、又は終了する予定の利用終了日と、を有する。グループコードは、グループの管理者等が任意に変更可能であるが、グループＩＤは、グループを一意に特定する不変の文字列である。 The group master is group information about a group, and includes a group ID that uniquely identifies the group, a group code that is an identifier of the group, a group name that represents the name of the group, and a start date when the group starts using the system. , Has a usage end date, and which the group has terminated or plans to terminate the use of the system. The group code can be arbitrarily changed by the group administrator or the like, but the group ID is an immutable character string that uniquely identifies the group.
グループユーザマスタは、グループとユーザの対応付けを保持する。グループＩＤと、グループに所属するユーザのシステムＵＩＤと、当該ユーザがグループ内で購入した回数と、当該ユーザがグループ内で購入した総額と、がグループユーザマスタとして記憶される。ここで本実施形態において「グループ内で購入した」とは、当該グループが利用グループとして指定された店舗での購入を意味する。 The group user master maintains the association between groups and users. The group ID, the system UID of the user belonging to the group, the number of times the user purchased in the group, and the total amount purchased by the user in the group are stored as the group user master. Here, in the present embodiment, "purchased within a group" means a purchase at a store designated as a user group by the group.
この他、グループマスタ又はグループユーザマスタにおいて、当該グループにおける決済方法を指定する情報が記憶されていてもよい。また、これらの情報の各レコードにおいて、更にレコードの作成者、作成日時、更新者、更新日時を記録していてもよい。 In addition, the group master or the group user master may store information that specifies a payment method in the group. Further, in each record of the information, the creator, the creation date and time, the updater, and the update date and time of the record may be further recorded.
図３は、取引履歴テーブルとして記憶される情報の一例を示す図である。取引履歴テーブルのレコードは、購入商品ごとに作成される。例えば一度の取引で２種類の商品が購入された場合、２レコード作成される。取引履歴テーブルのレコードは、グループＩＤと、取引日時と、明細ナンバーと、取引が行われた装置のデバイスＩＤと、装置が設置されている売場のフロアＩＤと、取引を行ったユーザを特定するシステムＵＩＤと、商品のＪＡＮコードと、商品名と、商品名カナと、個数と、単価と、購入金額と、税率と、消費税額と、を含んでいる。このように取引履歴が記録されることで、グループごとに各ユーザの購入金額を特定でき、例えば給与からの天引きや福利厚生費としての利用など、グループごとに適した方法でユーザが代金の支払を行うことができる。購入金額及び消費税額としては、対象の購入商品の金額が記録される。即ち、図３に例示した商品と同時に別の商品を購入していた場合でも、取引履歴のレコードは図３の内容となる。 FIG. 3 is a diagram showing an example of information stored as a transaction history table. A record in the transaction history table is created for each purchased product. For example, if two types of products are purchased in one transaction, two records are created. The record in the transaction history table identifies the group ID, the transaction date and time, the detail number, the device ID of the device on which the transaction was made, the floor ID of the sales floor where the device is installed, and the user who made the transaction. It includes the system UID, the JAN code of the product, the product name, the product name Kana, the quantity, the unit price, the purchase price, the tax rate, and the consumption tax amount. By recording the transaction history in this way, the purchase amount of each user can be specified for each group, and the user pays the price by a method suitable for each group, such as deduction from salary or use as welfare expenses. It can be performed. As the purchase amount and the consumption tax amount, the amount of the target purchased product is recorded. That is, even if another product is purchased at the same time as the product illustrated in FIG. 3, the transaction history record has the contents of FIG.
ここで本実施形態では、取引日時としてサーバ側でミリ秒単位のタイムスタンプを記録し、同一時刻の取引履歴のレコードを一度の取引とみなして扱う。これにより、本実施形態の入力システムは、領収書のような形式で一度の取引の情報をまとめて出力することができる。なおこの他、ユーザは、システムにログインすることで、自らのシステムＵＩＤが記録された取引履歴を確認することができ、この取引履歴を領収書として用いることができる。 Here, in the present embodiment, a time stamp in milliseconds is recorded on the server side as the transaction date and time, and the record of the transaction history at the same time is treated as one transaction. As a result, the input system of the present embodiment can collectively output the information of one transaction in the form of a receipt. In addition, the user can check the transaction history in which his / her system UID is recorded by logging in to the system, and this transaction history can be used as a receipt.
図４は、ユーザが商品を購入するための決済に係る処理フローチャートである。商品購入のための入力が開始されると、まずステップＳ１０１において、読取手段１１が読取を開始し、撮影手段１２がユーザの撮影を開始し、商品特定情報の読取又は、決済動作又は中止動作の検出を待機する。 FIG. 4 is a processing flowchart relating to payment for the user to purchase a product. When the input for purchasing the product is started, first, in step S101, the reading means 11 starts reading, the shooting means 12 starts shooting the user, reading the product specific information, or performing the payment operation or the cancel operation. Wait for detection.
図５は、この時に表示部１６に表示される入力画面の一例を示す図である。入力画面Ｗ１は、読取手段１１によって特定された購入待機商品を表示する購入待機商品表示部Ｗ１１と、撮影手段１２によって撮影されたユーザ画像を表示するユーザ画像表示部Ｗ１２を備える。 FIG. 5 is a diagram showing an example of an input screen displayed on the display unit 16 at this time. The input screen W1 includes a purchase waiting product display unit W11 for displaying the purchase waiting product specified by the reading means 11, and a user image display unit W12 for displaying the user image captured by the photographing means 12.
ユーザ画像表示部Ｗ１２は、撮影画像をリアルタイムで表示し、ユーザが自身の画像を確認できる。ここでユーザが理解しやすいよう、ユーザ画像表示部Ｗ１２において左右反転したユーザ画像が表示されてもよい。商品特定情報の読取前には図５（ａ）のように、購入待機商品表示部Ｗ１１において商品特定情報の読取を求める表示が行われ、１以上の購入待機商品がある場合には図５（ｂ）のように、画面の上下に決済動作又は中止動作を求める表示が行われる。 The user image display unit W12 displays the captured image in real time, and the user can confirm his / her own image. Here, a left-right inverted user image may be displayed on the user image display unit W12 so that the user can easily understand it. Before reading the product identification information, as shown in FIG. 5A, a display requesting reading of the product identification information is performed on the purchase waiting product display unit W11, and when there is one or more purchase waiting products, FIG. 5 ( As shown in b), a display requesting a settlement operation or a cancellation operation is performed at the top and bottom of the screen.
ステップＳ１０１において、読取手段１１は、商品特定情報の読取を行う。本実施形態では、バーコードリーダーによって商品のコードを読み取り、商品を特定する。商品特定情報が読み取られた場合、ステップＳ１０２に進んで、読取手段１１が特定した商品を購入待機商品として追加し、合計金額に当該商品の金額を加算する。購入待機商品表示部Ｗ１１には追加後の情報が反映される。そして再びステップＳ１０１に戻り、入力システムは次の商品読取や、動作の検出を待機する。 In step S101, the reading means 11 reads the product specific information. In the present embodiment, the code of the product is read by the barcode reader to identify the product. When the product identification information is read, the process proceeds to step S102, the product specified by the reading means 11 is added as a waiting-for-purchase product, and the price of the product is added to the total price. The added information is reflected in the purchase waiting product display unit W11. Then, the process returns to step S101 again, and the input system waits for the next product reading and operation detection.
ステップＳ１０１において動作認識手段１３が動作を検出すると、決済動作の場合（ステップＳ１０３で「決済動作」）にはステップＳ１０４に進む。ステップＳ１０４では、決済動作が一定時間連続して検出されるか否かを判断する。 When the motion recognition means 13 detects an motion in step S101, the process proceeds to step S104 in the case of a settlement operation (“payment operation” in step S103). In step S104, it is determined whether or not the settlement operation is continuously detected for a certain period of time.
ステップＳ１０４で決済動作が一定時間継続しない場合、ステップＳ１０５で、決済動作の認識がされない状態で一定時間経過したか否かを更に判断する。そして、決済動作の認識がない状態で一定時間経過していない場合にはステップＳ１０１に戻り、一定時間決済動作が認識されていない場合には、ステップＳ１０６に進んで決済ボタンを表示する。 If the payment operation does not continue for a certain period of time in step S104, it is further determined in step S105 whether or not a certain time has elapsed without recognizing the payment operation. Then, if a certain time has not elapsed without recognizing the payment operation, the process returns to step S101, and if the payment operation is not recognized for a certain period of time, the process proceeds to step S106 to display the payment button.
このように本実施形態では、所定時間の間決済動作の認識が行われない場合には、決済動作の認識が何らかの要因で失敗している可能性があるため、ボタンによる入力ができるよう決済ボタンが表示される。特に本実施形態では、予め設定される継続時間に満たない短時間の決済動作が検出された場合に、決済動作が所定時間以上認識されていなければ、決済ボタンを表示する。この際、撮影手段１２によって撮影された画像において、人の顔が検出されていることを更に条件としてもよい。また同様に、所定時間の間商品特定情報の読取が行われない場合や、予め設定される継続時間に満たない短時間の中止動作が検出された場合等に、表示部１６が中止ボタンを表示してもよい。 As described above, in the present embodiment, if the payment operation is not recognized for a predetermined time, the recognition of the payment operation may have failed for some reason, so that the payment button can be input by the button. Is displayed. In particular, in the present embodiment, when a short-time payment operation less than a preset duration is detected and the payment operation is not recognized for a predetermined time or longer, a payment button is displayed. At this time, a further condition may be that a human face is detected in the image taken by the photographing means 12. Similarly, when the product specific information is not read for a predetermined time, or when a short stop operation less than a preset duration is detected, the display unit 16 displays a stop button. You may.
図６は、決済動作認識時の入力画面Ｗ１の一例を示す図である。決済動作が検出されると図６（ａ）のように、入力画面Ｗ１において更に認識表示Ｗ１３が表示される。これにより、ユーザは動作が検出されていることを把握できる。ここで認識表示Ｗ１３は、決済動作が認識されるまでの時間を示すことが好ましい。本実施形態では、連続して決済動作が検出されている時間に応じて認識表示Ｗ１３が変化し、一定時間継続して決済動作が検出されたときに図６（ａ）のように画面上部まで認識表示Ｗ１３が伸びる。これにより、ユーザに決済動作の継続を求めることができる。また決済動作の検出中に、例えば「動かないでください」等のメッセージと共に決済動作が認識されるまでのカウントダウンを認識表示Ｗ１３として表示して、ユーザに決済動作の継続を求めてもよい。 FIG. 6 is a diagram showing an example of the input screen W1 at the time of recognizing the payment operation. When the payment operation is detected, the recognition display W13 is further displayed on the input screen W1 as shown in FIG. 6A. This allows the user to know that the action has been detected. Here, the recognition display W13 preferably indicates the time until the payment operation is recognized. In the present embodiment, the recognition display W13 changes according to the time when the payment operation is continuously detected, and when the payment operation is continuously detected for a certain period of time, up to the upper part of the screen as shown in FIG. 6A. The recognition display W13 is extended. As a result, the user can be requested to continue the payment operation. Further, during the detection of the payment operation, the countdown until the payment operation is recognized may be displayed as the recognition display W13 together with a message such as "Please do not move", and the user may be requested to continue the payment operation.
決済ボタンや中止ボタンを表示する場合、ユーザが当該ボタンに触れるため、同一部分への多数のユーザの接触を避けるために、前回表示されたときとは異なる部分に触れることを求めるが好ましい。例えばボタンの表示位置の候補を複数用意しておき、表示のたびに位置を変更したり、ユーザによる接触位置を記録しておき、接触されていない位置にボタンを表示したりすることが想定される。後者の方法の詳細については、後述する。 When displaying the payment button or the cancel button, since the user touches the button, it is preferable to request that the user touch a part different from the one displayed last time in order to avoid contact of many users with the same part. For example, it is assumed that multiple candidates for the button display position are prepared, the position is changed each time the button is displayed, the contact position by the user is recorded, and the button is displayed at the position where the button is not touched. To. Details of the latter method will be described later.
ステップＳ１０４で、動作認識手段１３が一定時間継続して決済動作を検出した場合、決済動作を認識してステップＳ１０７に進む。このように、一定時間、例えば３秒間の決済動作の継続をユーザに求めることにより、ユーザが偶然一時的に決済動作と似たポーズを取った場合等に、誤って決済が行われてしまうことを防止できる。ステップＳ１０７では、認証手段１４が、ユーザ画像に基づく認証処理を行う。本実施形態では、認証手段１４が事前に登録されるユーザの顔認証情報を管理する外部のサーバに、ユーザ画像の解析を要求する。 When the motion recognizing means 13 continuously detects the settlement operation for a certain period of time in step S104, it recognizes the settlement operation and proceeds to step S107. In this way, by asking the user to continue the payment operation for a certain period of time, for example, 3 seconds, if the user accidentally takes a pose similar to the payment operation temporarily, the payment is mistakenly performed. Can be prevented. In step S107, the authentication means 14 performs an authentication process based on the user image. In the present embodiment, the authentication means 14 requests the external server that manages the face recognition information of the user registered in advance to analyze the user image.
外部のサーバでは事前に登録されるユーザの顔認証情報に基づいてユーザ画像の解析が行われ、ユーザ画像に対応する登録済みのユーザが特定される。そして当該ユーザの顔認証情報を一意に特定するための顔認証ＩＤが入力システムに返され、認証手段１４がこれを受信する。そして、当該顔認証ＩＤを有するユーザ情報をデータベースＤＢから特定することで、決済を行おうとするユーザが特定される。 The external server analyzes the user image based on the user's face authentication information registered in advance, and identifies the registered user corresponding to the user image. Then, the face authentication ID for uniquely identifying the face authentication information of the user is returned to the input system, and the authentication means 14 receives this. Then, by specifying the user information having the face authentication ID from the database DB, the user who intends to make a payment is specified.
そしてステップＳ１０８では、決済手段１５が、特定されたユーザのシステムＵＩＤ及び購入商品等の情報を含む取引履歴をデータベースＤＢに記録することで決済処理が行われ、処理が終了する。 Then, in step S108, the settlement means 15 records the transaction history including the information such as the system UID of the specified user and the purchased product in the database DB, so that the settlement process is performed and the process is completed.
ここで本実施形態では、ユーザ情報が団体特定情報と紐づけられており、ユーザが所属する団体が特定される。これにより、団体情報に基づいた決済を行うことが可能である。例えば、団体情報において給与からの天引きによる支払が指定されている団体のユーザに対しては、購入時点での支払処理は行われず、取引履歴に基づいて別途団体に対する請求情報が生成される。一方、団体情報においてユーザ個人のクレジットカードによる支払が指定されている団体のユーザに対しては、購入時点でクレジットカードによる支払を行わせるために、カード会社等のサーバに対する決済処理要求が行われる。 Here, in the present embodiment, the user information is associated with the group identification information, and the group to which the user belongs is specified. This makes it possible to make payments based on group information. For example, for a user of a group for which payment by deduction from salary is specified in the group information, payment processing at the time of purchase is not performed, and billing information for the group is separately generated based on the transaction history. On the other hand, for a user of a group whose personal credit card payment is specified in the group information, a payment processing request is made to a server such as a card company in order to make the payment by the credit card at the time of purchase. ..
なお、ユーザ画像を解析する外部のサーバにおいて、ユーザ画像に対応する登録済みユーザが特定されない場合や、認証手段１４が受信した顔認証ＩＤを有するユーザ情報が特定されない場合には、決済処理を行わずにその旨を表示部１６に表示することが好ましい。 If the registered user corresponding to the user image is not specified on the external server that analyzes the user image, or if the user information having the face authentication ID received by the authentication means 14 is not specified, the payment process is performed. It is preferable to display the fact on the display unit 16 instead.
図７は、ステップＳ１０７及びステップＳ１０８において表示部１６に表示される画面の一例を示す図である。ステップＳ１０７で顔認証を実行する間や、認証後ステップＳ１０８の決済処理を行う間は、図７（ａ）のように決済のための処理を行っている最中であることを表示することが好ましい。また決済の完了後には図７（ｂ）のように、処理が終了した旨を表示することが好ましい。 FIG. 7 is a diagram showing an example of a screen displayed on the display unit 16 in steps S107 and S108. While performing face recognition in step S107 or performing payment processing in step S108 after authentication, it is possible to display that the processing for payment is being performed as shown in FIG. 7A. preferable. Further, after the settlement is completed, it is preferable to display that the processing is completed as shown in FIG. 7 (b).
またステップＳ１０１で動作認識手段１３が中止動作を検出した場合（ステップＳ１０３で「中止動作」）には、ステップＳ１０９に進んで、ステップＳ１０４と同様に中止動作が一定時間連続して検出されるか否かを判断する。ステップＳ１０９で中止動作が一定時間継続しない場合、ステップＳ１０１に戻って、入力システムは次の商品読取や、動作の検出を再度待機する。このとき、一定時間中止動作が認識されない場合には、表示部１６が中止ボタンを表示してもよい。 If the motion recognizing means 13 detects the canceling motion in step S101 (“stopping motion” in step S103), the process proceeds to step S109 to see if the canceling motion is continuously detected for a certain period of time as in step S104. Judge whether or not. If the stop operation does not continue for a certain period of time in step S109, the process returns to step S101, and the input system waits again for the next product reading or operation detection. At this time, if the stop operation is not recognized for a certain period of time, the display unit 16 may display the stop button.
図８は、中止動作を検出した場合の画面の表示例を示す図である。中止動作が検出されると図８（ａ）のように、決済動作認識時と同様に入力画面Ｗ１において認識表示Ｗ１３が表示される。なお、決済動作の場合と中止動作の場合とで認識表示Ｗ１３の表示の態様を異ならせてもよい。 FIG. 8 is a diagram showing a display example of a screen when a stop operation is detected. When the cancel operation is detected, the recognition display W13 is displayed on the input screen W1 as in the case of recognizing the payment operation, as shown in FIG. 8A. The display mode of the recognition display W13 may be different between the payment operation and the cancel operation.
ステップＳ１０９で、動作認識手段１３が一定時間継続して中止動作を検出した場合、中止動作が認識されステップＳ１１０に進む。ステップＳ１１０では、入力システムが購入待機商品及び金額をリセットするキャンセル処理を実行し、処理を終了する。この際には、図８（ｂ）のように、取引が中止された旨を表示することが好ましい。 When the motion recognition means 13 continuously detects the stop motion for a certain period of time in step S109, the stop motion is recognized and the process proceeds to step S110. In step S110, the input system executes a cancel process for resetting the waiting-for-purchase product and the amount of money, and ends the process. At this time, as shown in FIG. 8B, it is preferable to indicate that the transaction has been canceled.
ここで、ユーザが商品特定情報の読取を行った後、中止動作を行わずに放置してその場を離れてしまう問題が想定される。このような場合にキャンセル扱いとすることができるよう、本実施形態の入力システムは、読取手段１１が読取を開始した後、ステップＳ１０１で商品の読取がない場合、ステップＳ１１１に進み、読取がない状態で一定時間（例えば３０秒）経過したか否かを判断する。 Here, after the user reads the product specific information, it is assumed that the user leaves the place without performing the stop operation. In order to be able to handle the cancellation in such a case, the input system of the present embodiment proceeds to step S111 if there is no reading of the product in step S101 after the reading means 11 starts reading, and there is no reading. It is determined whether or not a certain period of time (for example, 30 seconds) has passed in the state.
ここで一定時間の間連続して読取が行われなかった場合は、ステップＳ１１２に進み、キャンセル処理を行う。この際、撮影手段１２によって撮影された画像において、人の顔が検出されないことを更に条件としてもよい。一方、一定時間経過していない場合には、ステップＳ１０１に戻って引き続き商品の読取や動作の検出を待機する。 If the reading is not performed continuously for a certain period of time, the process proceeds to step S112 and the cancellation process is performed. At this time, a further condition may be that a human face is not detected in the image taken by the photographing means 12. On the other hand, if a certain period of time has not elapsed, the process returns to step S101 and continues to wait for product reading and operation detection.
なお、図４の処理手順は一例であり、処理順序等を任意に変更してよい。例えば、動作認識手段１３による決済動作又は中止動作の認識と、認証手段１４による登録済みのユーザの認証を並行して行ったり、順序を入れ替えたりしてもよい。 The processing procedure shown in FIG. 4 is an example, and the processing order and the like may be arbitrarily changed. For example, the motion recognition means 13 may recognize the settlement operation or the cancel operation, and the authentication means 14 may authenticate the registered user in parallel, or the order may be changed.
以上のように、本実施形態の入力システムによれば、ユーザ画像を利用して顔認証及び決済動作の認識が行われるため、ユーザが装置に触れることなく決済を完結することができる。これにより、接触感染の予防や、接触による装置の消耗を防ぐ効果等が期待される。また本実施形態のように、ユーザ情報を団体情報と対応付け、団体情報に基づく決済処理を行うことにより、団体ごとの要求に応じた決済を行うことが可能になる。 As described above, according to the input system of the present embodiment, since the face authentication and the recognition of the payment operation are performed using the user image, the payment can be completed without the user touching the device. This is expected to have the effect of preventing contact infection and preventing wear of the device due to contact. Further, as in the present embodiment, by associating the user information with the group information and performing the payment processing based on the group information, it is possible to perform the payment according to the request of each group.
（２）ボタンの表示位置決定
次に、例えば上述の決済ボタンや中止ボタンを表示する場合等に、多数のユーザによる同一部分への接触を減らすための、ボタンの表示位置決定に関する処理について図９〜図１１を参照して詳細に説明する。なお上述したとおり、本実施形態は一例にすぎず、タッチパネルディスプレイを利用した任意の入力装置において、本発明を利用することができる。
(2) Determining the display position of the button Next, for example, when displaying the above-mentioned payment button or cancel button, a process relating to determining the display position of the button in order to reduce contact with the same part by a large number of users is shown in FIG. A detailed description will be given with reference to FIG. As described above, the present embodiment is only an example, and the present invention can be used in any input device using a touch panel display.
本実施形態では、入力システムが接触位置記録手段１７及びボタン表示手段１８を備えており、ボタン表示手段１８によって、表示部上で過去に接触が少ない位置を、ボタンの表示位置として決定し、表示部１６において当該表示位置にボタンを表示する。これにより、ユーザによるボタン操作の際に、多数のユーザが表示部１６上の同一部分に触れることを回避又は削減でき、接触感染のリスク低減等の効果が期待される。 In the present embodiment, the input system includes a contact position recording means 17 and a button display means 18, and the button display means 18 determines and displays a position on the display unit where there has been little contact in the past as a button display position. A button is displayed at the display position in the unit 16. As a result, it is possible to avoid or reduce a large number of users from touching the same portion on the display unit 16 when the user operates the button, and it is expected to have an effect of reducing the risk of contact infection.
本実施形態では、データベースＤＢが更に、接触位置を記憶している。図９において、接触位置の記録の一例と、表示部１６上の位置の表現に用いる座標の説明図を示す。本実施形態の接触位置記録手段１７は、表示部１６に備えられたセンサにより、ユーザが触れた位置を特定し、その位置をデータベースＤＢに記録する。本実施形態では、接触位置として、例えば図９下部に示すような座標によって指定される領域と、接触時刻と、が記録される。 In this embodiment, the database DB further stores the contact position. FIG. 9 shows an example of recording the contact position and an explanatory diagram of the coordinates used for expressing the position on the display unit 16. The contact position recording means 17 of the present embodiment identifies a position touched by the user by a sensor provided in the display unit 16 and records the position in the database DB. In the present embodiment, as the contact position, for example, a region designated by coordinates as shown in the lower part of FIG. 9 and a contact time are recorded.
ここで本実施形態の接触位置記録手段１７は、処理負担軽減のために、常に表示部１６全体に対する接触を特定することは行わず、ボタンを介した入力が行われた場合に、当該ボタンの表示位置に対する接触があったものとみなす。なお、表示部１６の全体に対する接触位置を常に監視し、ボタン等の表示に関わらず全ての接触位置を接触位置記録手段１７が特定して記録してもよい。 Here, in order to reduce the processing load, the contact position recording means 17 of the present embodiment does not always specify the contact with the entire display unit 16, and when an input is made via the button, the contact position recording means 17 of the button is used. It is considered that there was contact with the display position. The contact position with respect to the entire display unit 16 may be constantly monitored, and the contact position recording means 17 may specify and record all the contact positions regardless of the display of the button or the like.
なお表示部１６上の位置の表現は任意に設定されてよい。また、複数の領域にまたがる位置に接触があった場合等には、接触位置として複数の領域を記録してもよい。 The expression of the position on the display unit 16 may be arbitrarily set. Further, when there is contact at a position spanning a plurality of regions, a plurality of regions may be recorded as the contact position.
図１０は、ボタン表示手段１８による、ボタンの表示位置の決定に係るフローチャートである。まずステップＳ２１において、データベースＤＢに記録された接触位置の記録の中から、基準時刻以降の接触位置の記録を抽出する。このように基準時刻以降の接触を対象として、当該接触位置を避けて表示位置を決定することで、例えば決まった時刻に装置の消毒を行うことで、装置への接触による接触感染を防止する等の運用が可能となる。 FIG. 10 is a flowchart relating to the determination of the display position of the button by the button display means 18. First, in step S21, the record of the contact position after the reference time is extracted from the record of the contact position recorded in the database DB. In this way, by determining the display position while avoiding the contact position for the contact after the reference time, for example, by disinfecting the device at a fixed time, contact infection due to contact with the device can be prevented. Can be operated.
続いてステップＳ２２〜ステップＳ２５の処理で、対象となる過去の接触位置に基づいて、接触が少ない位置をボタンの表示位置として決定する。なお処理手順は一例であり、接触の少ない位置を特定できる範囲内であれば、任意に変更してよい。 Subsequently, in the processes of steps S22 to S25, a position with less contact is determined as a button display position based on the target past contact position. The processing procedure is an example, and may be arbitrarily changed as long as the position where there is little contact can be specified.
まずステップＳ２２では、ボタンの表示位置の候補の一つに対する接触位置の記録の有無を確認する。接触記録がない場合にはステップＳ２３に進んで、その位置をボタンの表示位置として決定して処理を終了する。一方、その位置に対する接触位置の記録がある場合には、ステップＳ２４に進んで他の表示位置候補の有無を更に確認する。 First, in step S22, it is confirmed whether or not the contact position is recorded with respect to one of the button display position candidates. If there is no contact record, the process proceeds to step S23, the position is determined as the button display position, and the process ends. On the other hand, if there is a record of the contact position with respect to that position, the process proceeds to step S24 to further confirm the presence or absence of other display position candidates.
他の表示位置候補がなければ、ステップＳ２５で、基準時刻以降の接触位置の記録において、最後に接触された時刻が最も古い位置を表示位置として決定して処理を終了する。このように基準時刻以降に接触が記録されていない位置が存在しない場合、複数のユーザが同一部分に触れることになる為、入力システムを使用する店舗の管理者の端末装置等にその旨を通知し、装置の消毒を促してもよい。 If there is no other display position candidate, in step S25, in the recording of the contact position after the reference time, the position with the oldest last contact time is determined as the display position, and the process ends. If there is no position where contact is not recorded after the reference time in this way, multiple users will touch the same part, so notify the terminal device of the store manager who uses the input system to that effect. You may also encourage disinfection of the device.
一方他の表示位置候補がある場合にはステップＳ２６で次の候補に変更してステップＳ２２に戻り、表示位置が決定されるまで処理を繰り返す。これにより、基準時刻以降に接触がない位置がある場合には、その位置が表示位置として決定され、基準時刻以降に接触がない位置がない場合には、基準時刻以降最後に接触された時刻が最も古い位置が表示位置として決定される。 On the other hand, if there is another display position candidate, it is changed to the next candidate in step S26, the process returns to step S22, and the process is repeated until the display position is determined. As a result, if there is a position where there is no contact after the reference time, that position is determined as the display position, and if there is no position where there is no contact after the reference time, the last contact time after the reference time is set. The oldest position is determined as the display position.
また本実施形態では入力システムが接触位置リセット手段１９を備えており、接触位置の記録をリセットすることができる。これにより、例えば装置の消毒を行ったときに店舗の従業員等がリセット指示を入力することで、消毒後の接触を対象として、接触がない位置にボタンを表示することが可能となる。 Further, in the present embodiment, the input system includes the contact position reset means 19, and the record of the contact position can be reset. As a result, for example, when a store employee or the like inputs a reset instruction when the device is disinfected, the button can be displayed at a position where there is no contact for the contact after disinfection.
図１１において具体例を示して説明する。例えば図１１（ａ）のように、ボタンが表示され、接触位置として示した位置に、ユーザが触れたとする。すると接触位置として、ボタンの表示位置の中心であるＷ，１２の座標と、接触時刻が記録される。 A specific example will be described with reference to FIG. For example, as shown in FIG. 11A, it is assumed that the button is displayed and the user touches the position indicated as the contact position. Then, as the contact position, the coordinates of W and 12 which are the centers of the display positions of the buttons and the contact time are recorded.
すると、その次にボタンを表示する場合には、図１１（ｂ）のように、当該接触位置を避けて表示位置が決定される。ここで表示位置としてはボタンの中心座標を示せばよく、図１１（ｂ）の例ではＶ，１２が表示位置となっている。 Then, when the button is displayed next, the display position is determined while avoiding the contact position as shown in FIG. 11B. Here, as the display position, the center coordinates of the button may be shown, and in the example of FIG. 11B, V and 12 are the display positions.
ここで、画面に表示された丸いボタンを操作する場合、その中心付近に触れるユーザが多いことが知られている。従って、図１１（ｂ）では表示領域の端が接触位置と重複しているが、中心はＶ，１２であり、この座標は接触位置として記録されていないため、本実施形態ではこのような場合も許容する。なお、ボタンの表示領域が過去の接触位置を含まないことを条件に表示位置を決定するように変更してもよい。 Here, when operating a round button displayed on the screen, it is known that many users touch the vicinity of the center. Therefore, in FIG. 11B, the edge of the display area overlaps with the contact position, but the center is V, 12, and this coordinate is not recorded as the contact position. Therefore, in this embodiment, such a case occurs. Is also allowed. The display position may be changed on the condition that the display area of the button does not include the past contact position.
なお上述の処理手順は一例であり、任意に処理順序等の設計変更が可能である。例えば本実施形態では基準時刻以降の接触位置を対象として、予め設定される基準時刻以降の接触が最も少ない位置を表示位置として決定するが、現在時刻から所定時間遡った時刻を基準時刻として扱う等の変更が可能である。また、決まった基準時刻を設けず、過去全ての接触位置に基づいて、最も接触の少ない位置をボタンの表示位置として決定する構成としてもよい。 The above-mentioned processing procedure is an example, and the design of the processing order and the like can be arbitrarily changed. For example, in the present embodiment, the contact position after the reference time is targeted, and the position with the least contact after the preset reference time is determined as the display position, but the time retroactive from the current time by a predetermined time is treated as the reference time. Can be changed. Further, the position with the least contact may be determined as the button display position based on all the past contact positions without setting a fixed reference time.
１１ ：読取手段
１２ ：撮影手段
１３ ：動作認識手段
１４ ：認証手段
１５ ：決済手段
１６ ：表示部
１７ ：接触位置記録手段
１８ ：ボタン表示手段
１９ ：接触位置リセット手段
Ｗ１ ：入力画面
Ｗ１１ ：購入待機商品表示部
Ｗ１２ ：ユーザ画像表示部
Ｗ１３ ：認識表示
Ｗ１４ ：決済ボタン
11: Reading means 12: Imaging means 13: Motion recognition means 14: Authentication means 15: Payment means 16: Display unit 17: Contact position recording means 18: Button display means 19: Contact position reset means W1: Input screen W11: Purchase standby Product display unit W12: User image display unit W13: Recognition display W14: Payment button
Claims (10)
購入商品を特定する商品特定情報の読取を行う読取手段と、
決済を行うユーザを撮影する撮影手段と、
前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、
前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、
前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記購入商品の代金の決済処理を実行する決済手段と、
を備える入力システム。 It is an input system for recognizing pre-registered users and making payments.
A reading means for reading product-specific information that identifies the purchased product, and
Shooting means to shoot the user who makes the payment,
When the payment operation by the user is recognized from the user image captured by the photographing means, the operation recognition means for ending the reading by the reading means and the operation recognition means.
An authentication means that authenticates a registered user based on the user image,
When the payment operation is recognized and the authentication is successful, a payment means that executes a payment process for the purchased product based on the registered user information, and a payment means.
Input system with.
前記決済手段は、前記グループ特定情報に基づいて前記決済処理を実行する請求項１又は請求項２に記載の入力システム。 The user information is associated with group identification information that identifies the group to which the user belongs.
The input system according to claim 1 or 2, wherein the settlement means executes the settlement process based on the group specific information.
購入商品を特定する商品特定情報の読取を行う読取手段と、
決済を行うユーザを撮影する撮影手段と、
前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、
前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、
前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記購入商品の代金の決済処理を実行する決済手段と、
としてコンピュータを機能させる入力プログラム。 It is an input program for recognizing pre-registered users and making payments.
A reading means for reading product-specific information that identifies the purchased product, and
Shooting means to shoot the user who makes the payment,
When the payment operation by the user is recognized from the user image captured by the photographing means, the operation recognition means for ending the reading by the reading means and the operation recognition means.
An authentication means that authenticates a registered user based on the user image,
When the payment operation is recognized and the authentication is successful, a payment means that executes a payment process for the purchased product based on the registered user information, and a payment means.
An input program that makes your computer work as.
購入商品を特定する商品特定情報の読取を行うステップと、
決済を行うユーザを撮影するステップと、
撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取を終了させるステップと、
前記ユーザ画像に基づいて、登録済みのユーザの認証を行うステップと、
前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記購入商品の代金の決済処理を実行するステップと、
をコンピュータに実行させる入力方法。
It is an input method for recognizing a pre-registered user and making a payment.
Steps to read product specific information that identifies the purchased product,
The steps to take a picture of the user making the payment,
When the payment operation by the user is recognized from the captured user image, the step of ending the reading and the step of ending the reading.
A step of authenticating a registered user based on the user image, and
When the payment operation is recognized and the authentication is successful, the step of executing the payment process of the price of the purchased product based on the registered user information, and
Input method that causes the computer to execute.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020134101A JP6839324B1 (en) | 2020-08-06 | 2020-08-06 | Input system, input program and input method |
| JP2021020567A JP6934121B1 (en) | 2020-08-06 | 2021-02-12 | Input system, input program and input method |
| CN202110559959.9A CN113435892A (en) | 2020-08-06 | 2021-05-21 | Input system, input program, and input method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020134101A JP6839324B1 (en) | 2020-08-06 | 2020-08-06 | Input system, input program and input method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021020567A Division JP6934121B1 (en) | 2020-08-06 | 2021-02-12 | Input system, input program and input method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6839324B1 true JP6839324B1 (en) | 2021-03-03 |
| JP2022030249A JP2022030249A (en) | 2022-02-18 |
Family
ID=74673669
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020134101A Active JP6839324B1 (en) | 2020-08-06 | 2020-08-06 | Input system, input program and input method |
| JP2021020567A Active JP6934121B1 (en) | 2020-08-06 | 2021-02-12 | Input system, input program and input method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021020567A Active JP6934121B1 (en) | 2020-08-06 | 2021-02-12 | Input system, input program and input method |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP6839324B1 (en) |
| CN (1) | CN113435892A (en) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10328644A (en) * | 1997-06-02 | 1998-12-15 | Mitsubishi Electric Corp | Apparatus and method for providing demolition data on product waste in waste recycling treatment plant |
| JPH1139540A (en) * | 1998-05-18 | 1999-02-12 | Toshiba Corp | Automatic transaction device |
| JP2001306175A (en) * | 2000-04-27 | 2001-11-02 | Nippon Syst Wear Kk | Password input device |
| JP2003141374A (en) * | 2001-08-24 | 2003-05-16 | Maeda Corp | Compound electronic selling system, subsystem, selling method and program |
| JP2006209335A (en) * | 2005-01-26 | 2006-08-10 | Toshiba Corp | Charge settlement system and method |
| JP2013196047A (en) * | 2012-03-15 | 2013-09-30 | Omron Corp | Gesture input apparatus, control program, computer-readable recording medium, electronic device, gesture input system, and control method of gesture input apparatus |
| CN107103503A (en) * | 2017-03-07 | 2017-08-29 | 阿里巴巴集团控股有限公司 | A kind of sequence information determines method and apparatus |
| JP2018526701A (en) * | 2015-05-14 | 2018-09-13 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Augmented reality system and method for tracking biometric data |
| JP2019079174A (en) * | 2017-10-23 | 2019-05-23 | 富士通フロンテック株式会社 | Automatic transaction device and screen display method and information processing system of automatic transaction device |
| JP2020042457A (en) * | 2018-09-07 | 2020-03-19 | 株式会社寺岡精工 | Sales data processing device |
| JP2020098535A (en) * | 2018-12-19 | 2020-06-25 | 株式会社メルカリ | Wearable terminal, information processing terminal, program, and merchandise information display method |
| JP6725951B1 (en) * | 2019-10-09 | 2020-07-22 | 株式会社シンシアージュ | Payment support system |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049848B (en) * | 2012-12-07 | 2018-11-30 | 康佳集团股份有限公司 | A kind of gesture method of payment and smart television based on smart television |
| JP2015148872A (en) * | 2014-02-05 | 2015-08-20 | 株式会社リコー | Control device of touch panel display, and image forming apparatus |
| JP6293076B2 (en) * | 2015-03-02 | 2018-03-14 | 東芝テック株式会社 | Touch panel device, panel management program |
| CN106600855A (en) * | 2016-12-22 | 2017-04-26 | 河南牧业经济学院 | Payment device and method based on face recognition |
| CN106682909A (en) * | 2017-01-04 | 2017-05-17 | 上海量明科技发展有限公司 | Gesture payment method and system |
| CN108171516A (en) * | 2018-01-04 | 2018-06-15 | 广州逗号智能零售有限公司 | The electric paying method and method that a kind of gesture confirms |
| CN108280649A (en) * | 2018-02-24 | 2018-07-13 | 广州逗号智能零售有限公司 | Method of payment and device |
| CN109872160A (en) * | 2019-02-01 | 2019-06-11 | 广州逗号智能科技有限公司 | Electric paying method and device |
-
2020
- 2020-08-06 JP JP2020134101A patent/JP6839324B1/en active Active
-
2021
- 2021-02-12 JP JP2021020567A patent/JP6934121B1/en active Active
- 2021-05-21 CN CN202110559959.9A patent/CN113435892A/en active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10328644A (en) * | 1997-06-02 | 1998-12-15 | Mitsubishi Electric Corp | Apparatus and method for providing demolition data on product waste in waste recycling treatment plant |
| JPH1139540A (en) * | 1998-05-18 | 1999-02-12 | Toshiba Corp | Automatic transaction device |
| JP2001306175A (en) * | 2000-04-27 | 2001-11-02 | Nippon Syst Wear Kk | Password input device |
| JP2003141374A (en) * | 2001-08-24 | 2003-05-16 | Maeda Corp | Compound electronic selling system, subsystem, selling method and program |
| JP2006209335A (en) * | 2005-01-26 | 2006-08-10 | Toshiba Corp | Charge settlement system and method |
| JP2013196047A (en) * | 2012-03-15 | 2013-09-30 | Omron Corp | Gesture input apparatus, control program, computer-readable recording medium, electronic device, gesture input system, and control method of gesture input apparatus |
| JP2018526701A (en) * | 2015-05-14 | 2018-09-13 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Augmented reality system and method for tracking biometric data |
| CN107103503A (en) * | 2017-03-07 | 2017-08-29 | 阿里巴巴集团控股有限公司 | A kind of sequence information determines method and apparatus |
| US20190272581A1 (en) * | 2017-03-07 | 2019-09-05 | Alibaba Group Holding Limited | Order information determination method and apparatus |
| JP2020504359A (en) * | 2017-03-07 | 2020-02-06 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Method and apparatus for determining order information |
| JP2019079174A (en) * | 2017-10-23 | 2019-05-23 | 富士通フロンテック株式会社 | Automatic transaction device and screen display method and information processing system of automatic transaction device |
| JP2020042457A (en) * | 2018-09-07 | 2020-03-19 | 株式会社寺岡精工 | Sales data processing device |
| JP2020098535A (en) * | 2018-12-19 | 2020-06-25 | 株式会社メルカリ | Wearable terminal, information processing terminal, program, and merchandise information display method |
| JP6725951B1 (en) * | 2019-10-09 | 2020-07-22 | 株式会社シンシアージュ | Payment support system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435892A (en) | 2021-09-24 |
| JP2022031099A (en) | 2022-02-18 |
| JP6934121B1 (en) | 2021-09-08 |
| JP2022030249A (en) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3696779A1 (en) | Information processing apparatus | |
| JP2022091841A (en) | Dynamic client checkout experience in automatic shopping environment | |
| TWI690871B (en) | Method and device for realizing offline transaction | |
| JP6992376B2 (en) | Biometric device | |
| US20170011405A1 (en) | Simultaneous multi-factor authentication systems and methods for payment transactions | |
| CN109643419A (en) | The system and method that user is authenticated using biological attribute data | |
| JP7163604B2 (en) | Settlement system, settlement method and program | |
| US11755868B2 (en) | Methods and systems for a combined transaction by an assignee on behalf of one or more users | |
| JP6696684B2 (en) | Information processing system, product registration device, information processing device, information processing method, and program | |
| US11625703B2 (en) | Commodity registration apparatus and method | |
| JP7064951B2 (en) | Terminal control device and its program and store system | |
| JP2006190112A (en) | Electronic settlement system, terminal for individual, terminal for member store, authentication/settlement apparatus, electronic settlement method and electronic settlement program | |
| JP6407772B2 (en) | Input device | |
| US20170116602A1 (en) | Biometric verification systems and methods for payment transactions | |
| JP4972296B2 (en) | Automatic transaction apparatus, transaction approval method using the same, and transaction approval program for automatic transaction apparatus | |
| JP2011014174A (en) | Electronic settlement system, personal terminal, terminal for member store, authentication-settlement device, electronic settlement method, and electronic settlement program | |
| CN111401918A (en) | Store server, store system, store method, readable storage medium, and electronic device | |
| CN108292376A (en) | The system for carrying out crossed card certification using purse transaction certification history | |
| JP6839324B1 (en) | Input system, input program and input method | |
| JP7248444B2 (en) | Information processing device and store system | |
| US11836735B2 (en) | Self-service terminal (SST) item return anti-fraud processing | |
| WO2021066000A1 (en) | Shop system, shop server, and processing method for shop system | |
| JP2008010017A (en) | Automatic transaction system | |
| JP7309009B2 (en) | Terminal control device and its program and store system | |
| WO2022162834A1 (en) | System and product delivery method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200807 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200807 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6839324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |