WO2021100096A1 - キャッシュレス決済システムおよび情報端末 - Google Patents

キャッシュレス決済システムおよび情報端末 Download PDF

Info

Publication number
WO2021100096A1
WO2021100096A1 PCT/JP2019/045134 JP2019045134W WO2021100096A1 WO 2021100096 A1 WO2021100096 A1 WO 2021100096A1 JP 2019045134 W JP2019045134 W JP 2019045134W WO 2021100096 A1 WO2021100096 A1 WO 2021100096A1
Authority
WO
WIPO (PCT)
Prior art keywords
payment
information
cashless
information terminal
image
Prior art date
Application number
PCT/JP2019/045134
Other languages
English (en)
French (fr)
Inventor
橋本 康宣
尚久 高見澤
奥 万寿男
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2019/045134 priority Critical patent/WO2021100096A1/ja
Priority to JP2021558056A priority patent/JPWO2021100096A1/ja
Priority to CN201980102416.5A priority patent/CN114730425A/zh
Priority to US17/777,616 priority patent/US20220414644A1/en
Publication of WO2021100096A1 publication Critical patent/WO2021100096A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327Short range or proximity payments by means of M-devices
    • G06Q20/3276Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/407Cancellation of a transaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/42Confirmation, e.g. check or permission by the legal debtor of payment
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Definitions

  • the present invention relates to a technology of a cashless payment system and an information terminal.
  • Cashless payment is a method that uses a device equipped with an IC chip that has a non-contact / short-range communication function such as NFC (Near Field Communication), or a QR (Quick Response) code (registered trademark) with a camera of an information terminal. There is a method to read the code.
  • the latter method has a store scan method and a user scan method, and has advantages such as being able to retrofit functions to smartphones that have already been sold.
  • the store scan method is a method in which a QR code is displayed on the display screen of the purchaser's smartphone and the equipment on the store side reads the QR code.
  • the user scan method is a method in which the store side posts a QR code and reads the QR code with a camera provided in the smartphone of the user who is the purchaser.
  • the store scan method tends to increase the installation cost of equipment on the store side.
  • the introduction cost of cashless payment is low.
  • the fixed QR code does not include the price information of the product as the coded information, but includes only the information about the store, in other words, the information about the settlement destination and the seller.
  • Patent Document 1 states that, as a technology such as an unmanned sales method that can simplify the user's operation necessary for purchasing a product, the terminal device reads the first identification information and accepts the operation of determining the purchase price of the product. Are listed.
  • Patent Document 1 can be said to be an example of a user scan type cashless payment system that displays a fixed QR code.
  • the purchaser performs the operation of correcting the purchase amount and the basic amount on the smartphone from the seller information read from the QR code, in other words, the store information and the basic amount information acquired from the server, and makes a payment. ..
  • the user needs to perform an input operation or a correction operation regarding the amount of money at the time of cashless payment, and the user feels troublesome such operation.
  • cashless payment it is preferable that the user does not have to take the trouble of operation from the viewpoint of convenience, efficiency, ease of dissemination, and the like.
  • there is room for examination and improvement regarding the time and effort of operation and it is desirable to provide a cashless payment method that can further reduce the operation.
  • Patent Document 1 shows a payment method in an unmanned store with a small variation in the product price, and does not show a payment method in a manned store with a large variation in the product price. It is desirable to provide a cashless payment method that can be suitably applied regardless of store attributes such as manned stores and unmanned stores, from the viewpoint of time and effort of operation.
  • An object of the present invention is to provide a cashless payment technology that enables a suitable cashless payment with less operation by the user who is the purchaser.
  • a typical embodiment of the present invention has the following configuration.
  • a camera used by a user who is a purchaser, an information terminal having a cashless payment function, and a server that executes cashless payment processing are connected by communication, and the user in a store.
  • It is a cashless payment system that performs cashless payment associated with the purchase of goods and services by the information terminal, and the information terminal has a code of payment destination information posted by the store and the goods and services based on the operation of the user.
  • the payment destination information and the payment amount are included.
  • a payment command is issued and transmitted to the server to execute the cashless payment process.
  • suitable cashless payment can be performed with less operation by the user who is the purchaser.
  • the configuration of the cashless payment system according to the first embodiment of the present invention is shown.
  • an example of a display screen of an information terminal is shown.
  • a configuration example of an information terminal is shown.
  • the processing flow by the application of the information terminal is shown.
  • An example of a display screen of an information terminal in the cashless payment system according to the second embodiment of the present invention is shown.
  • the processing flow by the application of the information terminal is shown.
  • the configuration of the cashless payment system according to the third embodiment of the present invention is shown.
  • an example of a display screen of an information terminal is shown.
  • the processing flow by the application of the information terminal is shown.
  • the configuration of the cashless payment system according to the fourth embodiment of the present invention is shown.
  • an example of a display screen of the HMD and the wearable terminal is shown.
  • an example of the appearance configuration of the HMD is shown.
  • a configuration example of the HMD is shown.
  • the processing flow by the HMD application is shown.
  • the configuration of the cashless payment system according to the fifth embodiment of the present invention is shown.
  • An example of an HMD display screen in the cashless payment system according to the sixth embodiment of the present invention is shown.
  • the processing flow by the HMD application is shown.
  • An example of a display screen in the cashless payment system according to the seventh embodiment of the present invention is shown.
  • the processing flow by the application of the information terminal in the cashless payment system of Embodiment 8 of this invention is shown.
  • the processing flow by the application of the information terminal in the cashless payment system of the modification of Embodiments 1 and 8 is shown.
  • the processing flow by the application of the information terminal in the cashless payment system of Embodiment 9 of this invention is shown.
  • an example of a display screen of an information terminal is shown.
  • An example of the display screen of the information terminal in the modified example of the ninth embodiment is shown.
  • the configuration of the cashless payment system according to the tenth embodiment of the present invention is shown.
  • the processing flow by the application of the information terminal is shown.
  • an example of a display screen of an information terminal is shown.
  • the configuration of the cashless payment system according to the eleventh embodiment of the present invention is shown.
  • the information terminal of the first embodiment is an information terminal constituting the cashless payment system of the first embodiment.
  • the store side posts a QR code in which information including payment destination information is coded, for example, in the vicinity of the store terminal, and the payment amount corresponding to the purchase amount of the product or the like. Is displayed on the display device of the store terminal.
  • the user who is the purchaser photographs the QR code and the payment amount with the camera of the information terminal.
  • the cashless payment application of the information terminal recognizes two pieces of information, the payment destination information of the QR code and the payment amount, from the photographed image, the image of the predetermined payment time is displayed on the display screen, and after the payment time expires, It automatically issues a payment command and lets the server perform cashless payment processing.
  • the information terminal displays the payment processing completion confirmation information received from the server on the display screen.
  • the store terminal When the store is a manned store, the store terminal displays the same payment processing completion confirmation information received from the server on the display screen. In the case of a manned store, both the purchaser and the clerk confirm the payment processing completion confirmation information. In the case of an unmanned store, only the purchaser confirms the payment processing completion confirmation information.
  • the cashless payment system of the first embodiment eliminates the trouble of the user's operation in the case of the user scan method, particularly the trouble of inputting and correcting the amount of money, and can realize an easy-to-use and suitable cashless payment.
  • FIG. 1 shows the configuration of the cashless payment system of the first embodiment and the outline of the cashless payment procedure.
  • the cashless payment system includes an information terminal 3 operated by a user who is a purchaser 2 in a store 1, a store terminal 7 operated by a clerk 5 who is a cashier at an accounting desk 13, and a base station 10. It has a network 11 which is a communication network including the Internet and the like, and a server 12 which is a payment application server, and these are appropriately connected by communication.
  • the store 1 indicates a case where the store 1 is a manned store that sells the product 6.
  • the store 1 has a purchaser 2, an information terminal 3, an accounting machine 13, a clerk 5, a store terminal 7, a product 6, and the like.
  • the information terminal 3 and the store terminal 7 may have a plurality of units having the same function.
  • the purchaser 2 is a user who purchases a product 6 or a service or the like in the store 1 and makes a cashless payment using the information terminal 3 in order to pay the purchase price of the product 6.
  • the information terminal 3 is a cashless payment terminal having a cashless payment function carried by a user, for example, a smartphone, but may be another type of device.
  • the application 41 is a cashless payment application having a cashless payment function, and is an application program that performs unique processing while cooperating with the server 12 by communication. The user installs the application 41 on the information terminal 3 in advance.
  • the application 41 may be provided from the server 12.
  • the base station 10 is a mobile communication base station connected to the network 11, and may be a wireless LAN access point or the like.
  • the information terminal 3 and the store terminal 7 can be connected to the network 11 through the base station 10 and can communicate with the server 12.
  • the server 12 is a payment application server that is connected to the network 11 and has a function of performing cashless payment processing in response to a payment command from the application 41 of the information terminal 3. After the cashless payment process is completed, the server 12 transmits the payment process completion confirmation information to the information terminal 3 and the store terminal 7.
  • the application 41 and the store terminal 7 of the information terminal 3 each know the address information for communication with the server 12.
  • the address information may be described in the QR code 8.
  • the signals 4a and 4b are examples of communication signals associated with wireless communication between the information terminal 3 and the base station 10.
  • the signal 4c is an example of a communication signal associated with wireless communication between the store terminal 7 and the base station 10.
  • the signal 4a is a payment command transmitted from the information terminal 3 to the server 12.
  • the signal 4b is payment processing completion confirmation information transmitted from the server 12 to the information terminal 3.
  • the signal 4c is payment processing completion confirmation information transmitted from the server 12 to the store terminal 7.
  • the payment processing completion confirmation information of the signal 4b and the payment processing completion confirmation information of the signal 4c include the same key code (corresponding to the payment completion ID) described later.
  • the server 12 and the information terminal 3 communicate with each other, and the server 12 and the store terminal 7 communicate with each other as necessary for cashless payment. Normally, those communication connections are unnecessary.
  • a form in which communication is not performed between the store terminal 7 and the server 12 is also possible. In this case, the signal 4c of the payment processing completion confirmation information is not transmitted from the server 12 to the store terminal
  • the clerk 5 performs work such as accepting cashless payment associated with the accounting of the product 6 for the purchaser 2 while operating the store terminal 7 at the accounting machine 13.
  • a store terminal 7 is installed in the accounting machine 13.
  • the product 6 may have a tag 6b or the like for management, and the tag 6b describes information such as a product ID and an amount of money in the form of a barcode or the like.
  • the store terminal 7 is a terminal having a payment function including a cashless payment function, in other words, a store-side payment device, and is composed of, for example, a cash register or a POS cash register terminal, but is not limited to this, and is not limited to smartphones having a payment function. It may be composed of a tablet terminal or the like.
  • the payment function of the store terminal 7 is a function of accepting cashless payment from the information terminal 3.
  • the store terminal 7 includes a display device 7b having a display unit (display screen) for displaying information / images toward the purchaser 2. Although not shown, the store terminal 7 also has a display unit (display screen) for displaying information / images toward the clerk 5.
  • the purchase price 9 corresponds to the total price of one or more products 6 purchased by the purchaser 2, that is, the payment price associated with one cashless payment.
  • the purchase price 9 is image information such as a number string that can be understood by a person.
  • QR code 8 is a two-dimensional code posted at at least any position in store 1.
  • the QR code 8 is posted on a part of the surface of the housing of the store terminal 7 facing the purchaser 2 in the form of sticking as a printed matter such as a sticker.
  • the QR code 8 is a coded version of information including the store information of the store 1, in other words, the payment destination information. More specifically, the settlement destination information may be the information of the transfer destination account.
  • a code of another method may be applied.
  • the QR code 8 may be an image displayed on the display screen as another aspect. For example, the image of the QR code 8 may be displayed in parallel with the purchase price 9 on the display screen of the display device 7b having a somewhat large size.
  • a device having an electronic display device such as a tablet terminal may be provided, and the image of the QR code 8 may be displayed on the display screen of the device.
  • the mode of posting the QR code 8 may be any mode in which the camera 30 of the information terminal 3 can capture an image corresponding to the QR code 8.
  • a method is used in which the two elements of the QR code 8 and the purchase price 9 are photographed as one or more still images by the camera 30.
  • the purchaser 2 appropriately presses the shooting button of the camera 30.
  • both the QR code 8 and the purchase price 9 may be included in one image at the same time.
  • the image may be taken so that the QR code 8 is included in the first image, and then the purchase price 9 is included in the second image.
  • the user may adopt either the first method or the second method described above. In the case of a still image, if the QR code 8 or the purchase price 9 cannot be successfully photographed or recognized, the purchaser 2 can redo the photographing operation as appropriate.
  • FIG. 1 the outline of the cashless payment procedure in the first embodiment is as follows. (1) First, in the store 1, the purchaser 2 brings the product 6 to be purchased to the accounting desk 13 and starts the cashless settlement procedure for the purchase of the product 6 with the clerk 5. To do. The clerk 5 on the store 1 side presents the QR code 8 and the purchase amount 9 to the purchaser 2. Specific examples are as follows. The QR code 8 is posted on the store terminal 7 in advance. The clerk 5 scans the tag 6b of the product 6 with, for example, a barcode reader connected to the store terminal 7. As a result, the information of the tag 6b is read, and the information such as the ID and the amount of the product 6 is input to the store terminal 7.
  • the clerk 5 may perform an operation of inputting the amount of money to the store terminal 7.
  • the store terminal 7 displays the purchase amount 9 on the display screen of the display device 7b based on the information such as the input amount.
  • the purchase price 9 is displayed as " ⁇ 12,765".
  • the clerk 5 repeats the same operation for each product 6, and the store terminal 7 corresponds the total amount of the plurality of products 6 to the settlement amount. It is displayed on the display device 7b as the purchase price 9.
  • the purchaser 2 takes a picture of the QR code 8 and the purchase price 9 presented by the camera 30 with the application 41 of the information terminal 3 activated.
  • the application 41 of the information terminal 3 reads and recognizes two pieces of information, the QR code 8 and the purchase price 9, from the captured image.
  • the information terminal 3 grasps at least two pieces of information, the payment destination information from the QR code 8 and the payment amount.
  • the purchaser 2 may take a single still image by the camera 30 so that both the QR code 8 and the purchase price 9 are captured, or the QR code 8 is captured. Each still image of the first image which is a still image and the second image which is a still image showing the purchase price 9 may be taken.
  • the information terminal 3 extracts two pieces of information, a QR code 8 and a purchase price 9, from one or more captured images based on image processing, and includes payment destination information from the QR code 8 by decoding. get information.
  • the information terminal 3 After recognizing the above two pieces of information, the information terminal 3 displays a predetermined settlement time 20 (FIG. 2) described later on the display screen 300. After the settlement time 20 has elapsed, the information terminal 3 automatically issues a settlement command (signal 4a) and transmits it to the server 12 without requiring the operation of the purchaser 2.
  • This payment instruction is an instruction or request for causing the server 12 to execute a cashless payment process.
  • This payment instruction includes information on the purchaser 2 and the information terminal 3, payment destination information, and payment amount information.
  • the server 12 executes the cashless payment process based on the information of the payment command received from the information terminal 3.
  • the cashless payment process includes a process of transferring the payment amount from the account of the purchaser 2 to the account of the store 1.
  • the server 12 notifies the information terminal 3 of the payment completion by transmitting the payment process completion confirmation information for the information terminal 3 as a signal 4b.
  • the server 12 notifies the store terminal 7 of the completion of payment by transmitting the payment processing completion confirmation information for the store terminal 7 as a signal 4c.
  • the payment processing completion confirmation information includes a payment processing completion confirmation message and a key code 25 (FIG. 2) described later, which is a payment completion ID.
  • the information terminal 3 outputs the payment processing completion confirmation information from the server 12 to the purchaser 2, for example, displays it on the display screen 300, and the purchaser 2 confirms the payment processing completion confirmation information.
  • the store terminal 7 outputs the payment processing completion confirmation information from the server 12 to the clerk 5, for example, displays it on the display screen on the clerk 5 side, and the clerk 5 confirms the payment processing completion confirmation information. This completes the cashless payment procedure.
  • the store terminal 7 is configured to have a function of receiving payment processing completion confirmation information from the server 12 and displaying it on the display screen.
  • the store terminal 7 may be configured not to have such a function.
  • the server 12 does not send the payment processing completion confirmation information to the store terminal 7, and the clerk 5 of the store 1 does not confirm the payment processing completion confirmation information.
  • FIG. 2 shows an example of a display screen 300 of the information terminal 3 at the time of a cashless payment procedure based on the configuration of FIG.
  • the information terminal 3 displays a monitor image of the store terminal 7 or the like captured by the camera 30 on the display screen 300.
  • This monitor image is an image whose content changes according to the movement of the camera 30.
  • the information terminal 3 captures a still image at that time in response to an operation in which the purchaser 2 presses the image pickup button.
  • FIG. 2A shows an example of the display screen 300, and includes an example of a still image taken by the camera 30 and an example of image information displayed by superimposition or composition on the still image.
  • the information terminal 3 detects the area 201 corresponding to the QR code 8 in FIG. 1 and the area 202 corresponding to the purchase amount 9 from the captured image by scanning, and the payment destination information and the payment amount from those areas. Recognize.
  • the information terminal 3 may display images such as framing and coloring in the recognized QR code 8 area 201 and the purchase price 9 area 202, respectively.
  • images g1 and g2 such as a broken line frame are displayed by superimposition or composition is shown.
  • the information terminal 3 displays the settlement time 20 on the display screen 300 after recognizing the above two pieces of information.
  • the settlement time 20 is image information as a graphical user interface (GUI) for transmitting to the purchaser 2 the time from immediately after the recognition of the above two pieces of information to the execution of the settlement and the elapsed state thereof.
  • the settlement time 20 is image information representing a time grace period until the issuance of the settlement order.
  • an image having a settlement time of 20 is displayed in the upper area of the display screen 300 by superimposition or composition.
  • the settlement time 20 is an image including a message (“Time to Payment”) indicating the settlement time and a bar 20b indicating the total length and elapsed state of the settlement time.
  • the settlement time 20 is a time with the recognition of the above two pieces of information as the start time and the issuance of the settlement order as the end time, and is set in advance as a predetermined length.
  • the setting of the length of the settlement time 20 is 5 seconds as an example.
  • the length of the settlement time 20 may be displayed as an image on the display screen 300, for example, "5 seconds".
  • the bar 20b is represented by, for example, five blocks corresponding to the length of the settlement time, and the display of one block is updated every second.
  • the elapsed state is, for example, 2 seconds, the colors from the left side to the two blocks are updated from the first color (for example, white) to the second color (for example, black) as shown in the figure. ..
  • the information terminal 3 starts counting the timer corresponding to the settlement time 20 from the time when the two pieces of information are recognized, and updates the display state of the bar 20b according to the passage of time. For example, at the start, all the blocks of the bar 20b are the first color, but at the end, all the blocks of the bar 20b are the second color.
  • the purchaser 2 can grasp the elapsed state until the automatic execution of the cashless payment, can determine whether or not to actually execute the payment, and if necessary during the elapsed time 20. Cancellation operation is also possible.
  • the mode of presenting the settlement time 20 is not limited to the illustrated example, and the image information may be expressed so that the size of the time and the elapsed state can be easily understood by the purchaser 2. Further, the settlement time 20 is not limited to the image display, and an audio output such as a sound effect (for example, a timer count sound effect) may be used in combination.
  • the information terminal 3 automatically issues a payment command and sends it to the server 12 when the payment time 20 has expired.
  • the control including the settlement time 20 it is not necessary for the purchaser 2 to perform any input operation regarding the purchase amount 9, for example, a button input operation by hardware or software. That is, the purchaser 2 can perform cashless payment only by waiting for the payment time 20 after the operation of capturing the above two pieces of information with the camera 30.
  • a predetermined cancellation operation related to cashless settlement is accepted.
  • the predetermined cancel operation is, for example, a shake operation in which the user shakes the information terminal 3.
  • the cancel operation may be an operation of tilting the information terminal 3 to a certain extent or more, an operation of pressing a button by predetermined hardware or software, or the like.
  • the user points the camera 30 in a direction in which the target QR code 8 or the purchase price 9 is not captured, for example, an operation of maintaining a state in which the QR code 8 or the like is not captured for a predetermined time or longer. Good. Any canceling operation can be detected by using the sensor group 31 (FIG. 3) described later.
  • FIG. 2B shows an example of the display screen 300 when the cashless payment process on the server 12 is completed and the payment process completion confirmation information is displayed.
  • the information terminal 3 receives the payment processing completion confirmation information from the server 12, the information terminal 3 displays the message 21 and the key code 25 generated based on the information in the display screen 300.
  • the message 21 is an image of a payment processing completion confirmation message (for example, “Payment Completed”) indicating that the cashless payment process has been completed.
  • the message 21 is displayed by superimposition or composition after erasing the display of the settlement time 20 on the image of the store terminal 7 or the like similar to (A).
  • the key code 25 corresponds to a payment completion ID, and is an ID (identification information) issued for each payment after the completion of cashless payment processing.
  • the key code 25 is composed of four 4-digit character strings (alphanumeric characters) as one set.
  • the key code 25 is superimposed or composited on the lower area of the display screen 300.
  • a key code having the same value is transmitted from the server 12 to both the information terminal 3 and the store terminal 7.
  • the purchaser 2 can confirm the completion of cashless payment by confirming the payment processing completion confirmation information, specifically the message 21 and the key code 25, on the display screen 300 of (B).
  • the application 41 saves the information including the key code 25 as a log in the memory, and the purchaser 2 can later refer to and confirm the payment history including the key code 25 etc. from the log on the screen of the application 41. it can.
  • the clerk 5 confirms the key code of the payment processing completion confirmation information displayed on the display screen of the clerk 5 side of the store terminal 7, and completes the cashless payment for the purchaser 2 in front of him. You can check.
  • the purchaser 2 shows the key code 25 on the screen as shown in (B) to the clerk 5, and the clerk 5 shows the key code 25 on the screen on the information terminal 3 side and the store terminal 7 side.
  • the clerk 5 confirms whether the last four digits of the key codes of both keys match each other.
  • the purchaser 2 and the clerk 5 can confirm the completion of the cashless payment.
  • a predetermined voice output may be used together.
  • FIG. 2C shows another display example relating to the settlement time 20 as a modified example.
  • This example shows a case where the settlement time 20 is displayed in a large size as an image of an expression like a clock 20c on a certain background in the display screen 300.
  • the settlement time 20 has a length of 12 seconds and an elapsed time of 3 seconds.
  • FIG. 2D shows another display example relating to the key code 25 as a modification.
  • the key code 25 is displayed as the key code 25b in the form of a QR code image.
  • This QR code is a coded version of the key code 25.
  • the payment processing completion confirmation information may be provided in the form of a code or the like.
  • the purchaser 2 shows the clerk 5 a screen including the key code 25b.
  • the clerk 5 reads the key code 25b using, for example, a QR code reader (or a camera) connected to the store terminal 7.
  • the store terminal 7 obtains the corresponding key code by recognizing the key code 25b and displays it on the display screen on the clerk 5 side. As a result, the clerk 5 can confirm the completion of the cashless payment from the key code.
  • the store terminal 7 uses a store terminal having a payment function for self-payment by the purchaser 2.
  • the cashless payment procedure may be a procedure until the purchaser 2 confirms the payment processing completion confirmation information on the display screen 300 as shown in FIG. 2 (B) of the information terminal 3.
  • the information terminal 3 and the store terminal 7 store the payment processing completion confirmation information (particularly the key code) received from the server 12 in the memory as a log without displaying it on the display screen. As a result, the purchaser 2 and the clerk 5 can later refer to the key code for confirmation.
  • the information terminal 3 may provide predetermined guidance or the like as a user interface to the purchaser 2 by display or voice at the time of the cashless payment procedure using the application 41.
  • Guidance includes, for example, displaying a message such as "Please take a picture of the QR code” or "Please take a picture of the amount of money” or outputting it by voice.
  • the information terminal 3 first outputs "Please take a picture of the QR code", and the user takes a picture with the camera 30 centering on the QR code 8. At that time, the purchase price 9 in the vicinity of the QR code 8 may be captured together in the captured image.
  • the information terminal 3 When the information terminal 3 can recognize only the QR code 8 from the captured image, the information terminal 3 then outputs "Please shoot the amount of money", and the user shoots with the camera 30 centering on the purchase amount of 9. If both the QR code 8 and the purchase price 9 can be recognized at the same time from one image, the output of the message regarding the price can be omitted.
  • FIG. 3 shows an example of a functional block configuration of the information terminal 3.
  • the information terminal 3 is a smartphone.
  • the information terminal 3 includes a camera 30, a sensor group 31, a graphic processor 32, a touch panel (display device including a display screen 300), a microphone 34A, a speaker 34B, an external interface 35, a communication unit 36, a CPU 37, a RAM 38, a flash ROM 39, and an internal. It has a bus 42 and the like.
  • the sensor group 31 includes, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, and a GPS receiver.
  • the CPU 37 constitutes a processor or controller that controls the entire information terminal 3.
  • the flash ROM 39 stores programs such as the basic operation program 40 and the application (cashless payment application) 41. Each function of the information terminal 3 is realized by the CPU 37, which is a processor, expanding these programs in the RAM 38 and executing processing according to the programs.
  • the flash ROM 39 also stores the process of executing the program process and the data generated as a result.
  • the communication unit 36 has a communication function corresponding to various communication interfaces such as mobile communication, wireless LAN communication, and short-range communication.
  • various communication interfaces such as mobile communication, wireless LAN communication, and short-range communication.
  • Bluetooth (registered trademark) or the like can be used.
  • the external interface 35 has, for example, a USB (registered trademark) interface having a power supply function.
  • the touch panel 33 is a display device having a touch detection function, and displays 300 images drawn by the graphics processor 32 on the display screen.
  • the touch panel 33 receives an input operation such as a touch operation on the display screen 300 by the user, and detects it by a built-in sensor.
  • FIG. 4 shows a processing flow by the application 41 of the information terminal 3.
  • the flow of FIG. 4 has steps S10, S11, ..., S22.
  • step S10 the information terminal 3 starts the application 41 based on the operation of the purchaser 2, logs in to the server 12, and starts the cashless payment procedure.
  • This login is a login for the procedure of cashless payment to the server 12, and includes authentication for enhancing security at the time of payment.
  • the successful authentication for example, face authentication or fingerprint authentication
  • the authentication is regarded as the authenticated state, that is, the confirmed state of being a legitimate user, and this login is performed. May be omitted.
  • a security level may be defined according to the size of the settlement amount 9, and a settlement rule including the necessity of login may be defined according to the security level. For example, if the value of the settlement amount is equal to or more than the specified threshold value based on the preset setting, the login in step S10 is required, and if it is less than the threshold value, the login may be omitted.
  • step S11 the purchaser 2 photographs the QR code 8 and the purchase price 9 by operating the camera 30 as described above. Based on the operation of the purchaser 2, the information terminal 3 captures a photograph taken by the camera 30, particularly one or more still images, acquires captured image data, and stores the captured image data in the RAM 38.
  • step S12 the information terminal 3 scans the captured image, extracts the area of the QR code 8, decodes the QR code 8, and recognizes the payment destination information and the like.
  • step S13 branching is performed according to whether or not the settlement destination information in the QR code 8 is recognized. If the settlement destination information of the QR code 8 is recognized (YES), the process proceeds to step S14, and if not (NO), the process returns to step S11 and repeats the same procedure.
  • the case where there is no recognition (NO) corresponds to the case where the captured image does not include the QR code 8 or the case where the information cannot be extracted or recognized even if the QR code 8 is included.
  • the recognition result such as the settlement destination information of the QR code 8 is held in the RAM 38.
  • step S14 the information terminal 3 extracts the area of the purchase amount 9 by scanning the captured image and recognizes the corresponding payment amount.
  • a technique for recognizing characters from an image can be applied as in the OCR (optical character recognition) technique.
  • the recognition result of the settlement amount is held in the RAM 38.
  • step S15 branching is performed depending on whether or not the settlement amount is recognized. If the settlement amount is recognized (YES), the process proceeds to step S16, and if not (NO), the process returns to step S11 and the same procedure is repeated.
  • step S16 since the settlement destination information and the settlement amount, which are the above two types of information, are in the same state, the information terminal 2 activates the timer for the settlement time 20 as shown in FIG. 2A. At the same time, an image of the settlement time 20 is displayed on the display screen 300.
  • the settlement time 20 can be set to an arbitrary time in advance in the application 41. For example, the settlement time 20 is set to 5 seconds by default, and the increase / decrease can be adjusted by the user setting. The user can set the length of the settlement time 20 to, for example, 10 seconds if he / she wants to make a more careful judgment, and can set it to, for example, 3 seconds if he / she wants to settle more quickly.
  • step S18 the information terminal 3 confirms whether the settlement time 20 has expired by the timer, proceeds to step S19 if it has expired (YES), and proceeds to step S19 if it has not expired (NO).
  • step S17 the information terminal 3 detects and confirms the presence or absence of a predetermined canceling operation during the settlement time 20.
  • This cancel operation is an operation for canceling cashless payment, more specifically, transmission of a payment command.
  • this cancel operation is defined in advance as a shake operation such as shaking the information terminal 3 held by the purchaser 2.
  • the information terminal 3 detects the shake operation by using the sensor group 31 of FIG. When the information terminal 3 detects a shake operation in the middle of the settlement time 20 (YES), the information terminal 3 returns to step S11 and causes the cashless settlement procedure to be restarted from, for example, shooting.
  • step S19 the information terminal 3 issues a payment command accompanied by the information of the purchaser 2 and the information terminal 3, the payment destination information, and the payment amount based on the above two pieces of information, and the server 12 is used as the signal 4a in FIG. Send to.
  • step S20 the information terminal 3 waits for and receives the payment processing completion confirmation information from the server 12, and displays the payment processing completion confirmation information such as the key code 25 of FIG. 2 (B) on the display screen 300. ..
  • Step S21 is a confirmation as to whether or not the procedure for the second and subsequent cashless payments relating to the purchase of another product 6 is repeated in the same manner while the application 41 is running.
  • the information terminal 3 may display a message or button confirming whether or not to continue the payment procedure as guidance on the display screen 300, and may accept the operation by the purchaser 2. If it continues (YES), it returns to step S11 and repeats in the same manner, and if it ends (NO), it proceeds to step S22. In step S22, the information terminal 3 logs out to the server 12 and terminates the application 41.
  • the configuration may be such that the login is performed before the transmission of the settlement command in step S19, instead of the configuration in which the login is first performed in step S10.
  • the purchaser 2 does not need to perform an input operation, a correction operation, a payment execution operation, or the like regarding the purchase price 9 of the product 6, and can preferably perform cashless payment with a small amount of time and effort. It can be carried out.
  • cashless payment can be performed by substantially the same method regardless of the store attributes such as manned stores and unmanned stores.
  • the settlement instruction operation may be used as a predetermined operation so that the settlement command can be immediately transferred without waiting for the elapse of the predetermined settlement time 20.
  • the information terminal 3 displays the settlement time 20 on the display screen 300 ((A) in FIG. 2 and step S16 in FIG. 4), and cancels the operation in the middle of the settlement time 20.
  • the payment instruction operation include an operation of tapping a predetermined portion of the display screen 300 of the information terminal 3, an operation of tapping twice in a row, an operation of pressing the predetermined portion more strongly than a certain level, and the like.
  • the information terminal 3 detects the payment instruction operation, the information terminal 3 ends the payment time 20 at that time and immediately transmits the payment command to the server 12. Such a function is useful when the purchaser 2 wants to make a quick payment.
  • an operation for pausing the lapse of the settlement time 20 may be provided as a predetermined operation specified separately from the cancellation operation.
  • the information terminal 3 detects a predetermined pause operation during the settlement time 20
  • the information terminal 3 suspends the passage of the settlement time 20.
  • the pause operation include an operation of maintaining a touch state with respect to a portion in the display screen 300.
  • the information terminal 3 restarts the lapse of the settlement time 20. This function is useful when the purchaser 2 is at a loss to make a decision.
  • the information terminal 3 determines the length of the settlement time 20 according to the size of the settlement amount 9 recognized in step S14 of FIG. 4, the type of each corresponding product 6, and the like. May be good. For example, at the time of a cashless payment procedure for a certain time, the information terminal 3 is set so that the larger the value of the recognized payment amount 9, the longer the payment time 20 for that time. For example, if the value of the settlement amount 9 is less than the threshold value, it may be set to 5 seconds, and if it is greater than or equal to the threshold value, it may be set to 10 seconds. Alternatively, the length of the settlement time 20 at that time may be calculated by an operation such as multiplication with respect to the recognized settlement amount value. As a result, for example, the larger the payment amount 9, the more careful the purchaser 2 can make. Further, the information terminal 3 may decide whether or not to log in after that according to the size of the payment amount 9 recognized in step S14.
  • the length of the settlement time 20 may be specified for each store 1.
  • the settlement rule information may include a flow rule as shown in FIG. 4, for example.
  • the information terminal 3 grasps the set value of the settlement time 20 in the settlement rule information from the QR code 8 and processes the procedure according to the set value.
  • the form is not limited to the form in which the settlement rule information is directly described in the QR code 8, but also as a form in which the settlement rule information held in the external device such as the server 12 is referred to from the link information and the address information in the QR code 8. May be good.
  • the QR code 8 may describe store attributes such as a manned store / unmanned store as part of the store information.
  • the information terminal 3 grasps the store attribute from the recognition of the QR code 8 and controls to process the procedure according to the store attribute. For example, depending on whether the store 1 is a manned store or an unmanned store, it is possible to automatically control whether or not the above-mentioned payment processing completion confirmation information is displayed.
  • information on equipment and functions provided in the store 1 may be described in the QR code 8. For example, when the store 1 is a manned store, information such as the type, attached equipment (for example, QR code reader, etc.) and functions of the store terminal 7 can be obtained from the QR code 8. The information terminal 3 controls the processing of the procedure according to the obtained information.
  • FIG. 5 shows an example of the display screen 300 of the information terminal 3 in the process of cashless payment in the second embodiment.
  • a method of shooting the two elements of the QR code 8 and the purchase price 9 as a moving image by the camera 30 is used.
  • the purchaser 2 appropriately presses the shooting button of the camera 30.
  • the information terminal 3 captures a moving image or a plurality of continuous still images in the camera 30 using the moving image mode or the continuous time-lapse mode.
  • the QR code 8 and the purchase price 9 of FIG. 1 may be captured in the plurality of images constituting the moving image.
  • the QR code 8 and the purchase price 9 may be captured in the same image at the same time, or may be captured in separate images.
  • the QR code 8 may be captured in the first image earlier in time, and the purchase price 9 may be captured in the second image later. Then, the information terminal 3 recognizes the above-mentioned two pieces of information, the payment destination information and the payment amount, from the image of the moving image.
  • FIG. 5A shows a state in which the region 501 corresponding to the QR code 8 is captured and recognized from the image of the moving image by the camera 30, particularly from the first image, on the display screen 300 of the information terminal 3.
  • the first image corresponds to the image P1 as a monitor image on the display screen 300. Further, in the example of the display screen 300, a framed image g1 indicating that the image has been recognized is displayed.
  • the QR code 8 may be posted in the store 1 at a place / position different from that of the store terminal 7. For example, it may be posted at an arbitrary position in the store 1 where the purchaser 2 wants to be interested. The position may be, for example, next to a new product or a sales product, or, as illustrated in (A), a position near the position where the AED500 related to the safety of the purchaser 2 is arranged.
  • the image of the shooting mode 503 is also superimposed and displayed. This is an image representing a moving motion mode or a continuous time-lapse mode as one of the shooting modes of the camera 30.
  • an image of the store information 504 (for example, the store name) obtained by recognition from the QR code 8 is also superimposed and displayed. The image of the store information 504 can inform the purchaser 2 of the payment destination corresponding to the QR code 8.
  • the display screen 300 of (B) shows a state in which the area 502 corresponding to the purchase price 9 is captured and recognized from the image of the moving image taken by the camera 30, particularly from the second image.
  • the second image corresponds to the image P2 as a monitor image on the display screen 300.
  • the framed image g2 indicating that the purchase price 9 has been recognized is also superimposed and displayed.
  • the image of the settlement time 20 is displayed on a certain background image. Indicates the state. Immediately after the recognition of the two pieces of information, the timer with the settlement time 20 starts counting, as in the first embodiment. Further, in the example of the display screen 300, an image of the store information 504 and an image of the payment amount 24 corresponding to the recognition of the purchase amount 9 are also displayed.
  • the image display of various information on the display screen 300 may be a display by superimposition or composition on the actual photographed image, or may be an independent display on a certain background image as in (C). Similar to the first embodiment, the settlement order is issued when the settlement time 20 expires.
  • the display screen 300 of (D) shows an example of displaying payment processing completion confirmation information according to the completion of cashless payment processing on the server 12.
  • the information terminal 3 receives the notification of the payment processing completion confirmation information from the server 12, the information terminal 3 displays the message 21 and the key code 25 on the display screen 300.
  • the message 21 and the key code 25 are displayed on a certain background.
  • the display of the image of the store information 504 and the payment amount 24 is maintained as it is.
  • the purchaser 2 can confirm the content and completion of the cashless payment.
  • the purchaser 2 shows this screen to the clerk 5, so that the clerk 5 can also confirm the completion of the cashless payment.
  • FIG. 6 shows a processing flow by the application 41 of the information terminal 3 in the second embodiment.
  • the flow of FIG. 6 has step S11B instead of step S11 as a portion mainly different from the flow of FIG.
  • step S11B the information terminal 3 sets the camera 30 in the moving image mode and starts shooting a moving image.
  • the captured image data of the moving image is stored in the RAM 38 of FIG. 3, but is overwritten at regular intervals in consideration of the capacity.
  • step S12 the information terminal 3 scans the image of the moving image at that time and recognizes the payment destination information from the QR code 8.
  • step S13 the information terminal 3 repeats the scan of step S12 until the QR code 8 can be recognized (YES). If the QR code 8 is not shown in the image, or if it is shown but cannot be recognized (S13-NO), the process returns to step S12.
  • the recognition result of the settlement destination information is held in the RAM 38.
  • step S14 the information terminal 3 recognizes the payment amount corresponding to the purchase amount 9 from the image at that time.
  • step S15 the information terminal 3 repeats the scan of step S14 until the payment amount can be recognized (YES). If the purchase price 9 is not shown in the image, or if it is shown but cannot be recognized (S15-NO), the process returns to step S14. The recognition result of the settlement amount is held in the RAM 38.
  • step S16 the payment time 20 is displayed on the display screen 300, and the timer count is started. Subsequent steps are the same as in the first embodiment.
  • the information terminal 3 has two functions, a mode in which payment is made using a still image as in the first embodiment and a mode in which payment is made using a moving image as in the second embodiment. Then, the user can select and use the mode from them according to the settings and the like.
  • the QR code 8 is recognized and the image g1 is displayed for a certain period of time or longer as shown in FIG. 5A, or the state shown in FIG. 5 is maintained.
  • At least one of the condition that the purchase amount 9 is recognized and the image g2 is displayed for a certain period of time or longer as in (B) is defined as one of the conditions for continuing or executing the cashless payment. You may.
  • the information terminal 3 can maintain the state in which the QR code 8 is recognized for a certain period of time or longer, the information terminal 3 shifts to the next procedure of recognizing the purchase price 9.
  • the information terminal 3 shifts to the display of the settlement time 20 when the state in which the purchase amount 9 is recognized can be maintained for a certain period of time or more. Further, for example, after recognizing the purchase amount 9, the information terminal 3 superimposes and displays an image of the settlement time 20 on the image showing the purchase amount 9 (for example, substantially the same as (A) in FIG. 2), and the settlement time. When waiting for 20, the state in which the purchase amount 9 is shown may be maintained. If the purchaser 2 moves the information terminal 3 while waiting for the settlement time 20 and the purchase amount 9 does not appear in the image of the camera 30, the information terminal 3 cancels the state. You may handle it.
  • Embodiment 3 of the present invention will be described with reference to FIGS. 7 to 9.
  • the information terminal 3 of FIG. 3 can be commonly applied.
  • the third embodiment shows the case of payment at an unmanned store or the like.
  • FIG. 7 shows the configuration of the cashless payment system of the third embodiment.
  • the store 1 is a small store or an unmanned store such as a merchandise bargain shop, and equipment such as a store terminal 7 is unnecessary and is not provided.
  • the purchaser 2 makes a self-payment at such a store 1.
  • the purchaser 2 reads information on a plurality of desired products 6 at the store 1 by operating the camera 30.
  • the total of the purchase amount 9 resulting from this is the settlement amount in one cashless payment.
  • Products 6 are lined up on the product shelf 50 of the store 1.
  • the products 61 to 64 are provided with price tags 6b (6b1 to 6b4) on which information such as the amount of money corresponding to the purchase price 9 is described, in the form of sticking a sticker or the like.
  • a QR code 8 is posted on a part of the product shelf 50, for example, a part of the front surface facing the purchaser 2. The position of the QR code 8 is not limited to this.
  • the purchaser 2 photographs the posted QR code 8 with the camera 30 of the information terminal 3.
  • the information terminal 3 obtains payment destination information by recognizing the QR code 8 from the captured image.
  • the purchaser 2 photographs the price tag 6b of one or more desired products 6 among the products 6 on the product shelf 50.
  • This shooting may be a plurality of still image shootings as in the first embodiment, or may be a moving image shooting as in the second embodiment.
  • the purchaser 2 may repeat the shooting of the price tag 6b corresponding to the product 6 a plurality of times, or may be the case when a plurality of price tags 6b are captured in one image. ..
  • the information terminal 3 scans each price tag 6b from the captured image and recognizes the purchase price 9 of each product 6.
  • the information terminal 3 calculates the total of one or more recognized purchase amounts 9 as the settlement amount.
  • the information terminal 3 recognizes the individual product 6 by analyzing the color, shape, etc. from the photographed image, and automatically calculates the purchase price 9 based on the recognized product 6. Good.
  • the information terminal 3 may refer to a product DB in the information terminal 3 or a server or the like on the network 11 to acquire information including the recognized product 6 and its amount.
  • the information terminal 3 After recognizing the two pieces of information, the payment destination information of the QR code 8 and the payment amount of the product 6 to be purchased, the information terminal 3 displays the payment time 20 on the display screen 300, and the payment time 20 expires. After that, a settlement order is issued.
  • FIG. 8 shows an example of the display screen 300 of the information terminal 3 in the process of cashless payment in the third embodiment.
  • the display screen 300 of FIG. 8A shows a state in which the QR code 8 of FIG. 7 is captured and recognized by the camera 30 of the mobile terminal 3.
  • the area 801 corresponding to the QR code 8 of the product shelf 50 is recognized, and the image g1 indicating that the QR code 8 is recognized and the image g1 are displayed.
  • the image of the store information 804 obtained from the QR code 8 is also displayed.
  • the display screen 300 of FIG. 8B shows a state in which the camera 30 of the mobile terminal 3 captures and recognizes the first product to be purchased, for example, the product 61 of FIG. 7 and its price tag 6b1.
  • the area 802 of the purchase price 9 of the price tag 6b1 of the product 61 is recognized, and the image g2 is displayed.
  • the settlement amount (the total amount of the image information 805 representing the purchase amount 9 (for example, ⁇ 220) of one product 61 recognized from the price tag 6b1 and the purchase amount 9 up to that point) ( For example, the image information 806 of ⁇ 220) is superimposed and displayed on the upper area of the display screen 300, for example. Further, in the lower area of the display screen 300, for example, an image 821 having a settlement time of 20 is displayed. This image 821 is an image of the settlement time 20 when cashless payment is performed up to the first product, and as will be described later, the purchase amount 9 of the next second product is recognized before the expiration of the settlement time 20. In that case, the payment is not executed and the display is updated as shown in (C).
  • the display screen 300 of FIG. 8C shows a state in which the camera 30 of the mobile terminal 3 recognizes the second product, for example, the product 64 and its price tag 6b4.
  • the image information 805 of the purchase price 9 (for example, ⁇ 64) of the product 64 and the image information of the total settlement amount (for example, ⁇ 284) at that time are displayed.
  • 806 is superimposed and displayed.
  • the display of the settlement time 20 is updated to be the image 822 in response to the recognition of the purchase amount 9 of the second product.
  • the count of the timer with the settlement time 20 in (B) is reset in response to the recognition of the purchase amount 9 of the second product, and the count of the timer with the settlement time 20 in (C) is started.
  • the settlement time 20 is set to, for example, 10 seconds in consideration of the time allowance for the purchaser 2 to confirm the amount of money and the like.
  • a settlement order is automatically issued.
  • the display screen 300 of FIG. 8D shows a display example at the time of confirming the completion of payment processing.
  • the store information 804 the image information 806 of the payment amount, the message 21 for confirming the completion of the payment processing, and the key code 25 are displayed on a certain background.
  • the purchaser 2 can confirm the content and completion of the cashless payment. In the case of an unmanned store, this completes the cashless payment procedure. In the case of a manned store, the purchaser 2 may show the display screen 300 of (D) to the clerk 5, and the clerk 5 may confirm.
  • FIG. 9 shows the processing flow by the application 41 in the third embodiment.
  • the flow of FIG. 9 has steps S31, S32, and S33 as constituent points different from the above-mentioned flow.
  • step S10 in step S31, the mobile terminal 3 captures, for example, a first image as a picture taken by the camera 30.
  • step S12 the mobile terminal 3 recognizes the payment destination information which is the content of the QR code 8 from the first image.
  • the QR code 8 is recognized (YES)
  • step S32 the mobile terminal 2 captures the second image as a picture taken by the camera 30.
  • the mobile terminal 3 recognizes the purchase price 9 from the second image based on the price tag 6b of the product 6.
  • the mobile terminal 3 calculates and displays the settlement amount based on the total purchase amount 9 of each product 6 up to that point in step S16, and also displays the settlement amount 20. Is displayed and the timer is started.
  • step S17 If the mobile terminal 3 detects a predetermined cancel operation (for example, shake operation) in step S17 (YES), the process returns to step S31.
  • step S18 the mobile terminal 3 confirms whether the timer of the settlement time 20 has expired, and if it is before the expiration (NO), in step S33, confirms whether or not there is a new imaging operation by the camera 30. This is a confirmation corresponding to the case where the purchaser 2 continuously purchases the next product 6 as described above. If there is an imaging operation (YES), the process returns to step S32, and if there is no imaging operation (NO), the process returns to step S17.
  • a predetermined cancel operation for example, shake operation
  • the mobile terminal 3 When returning to step S32, the mobile terminal 3 captures a new image (for example, a third image), and repeats the process of step S14 and subsequent steps in the same manner. In that case, the timer count is reset when the display of the settlement time 20 is updated in step S16. When the timer for the settlement time 20 expires (YES), the mobile terminal 3 issues a settlement command in step S19. Subsequent processing is the same as described above.
  • a new image for example, a third image
  • the equipment on the store 1 side does not require the equipment of the store terminal 7 such as a cash register, and is therefore suitable for application to the store 1 with a small capital investment.
  • the mobile terminal 3 recognizes the payment destination information from the QR code 8 based on the image of the camera 30, then recognizes the barcode from the price tag 6b of the product 6 to be purchased, and obtains information such as the purchase price.
  • the mobile terminal 3 displays information such as the purchase amount and the total settlement amount on the display screen 300. Then, the mobile terminal 3 displays the settlement time 20 and performs the process in the same manner as described above.
  • the settlement time 20 is updated according to the recognition of the purchase amount 9 for each product 6 to be purchased, but the present invention is not limited to this.
  • the information terminal 3 is provided with GUI parts such as buttons for calculating and displaying the total amount, that is, the settlement amount, in the display screen 300.
  • this button is a button for instructing the transition to payment execution.
  • the information terminal 3 displays the settlement time 20 on the display screen 300 for the first time, starts counting the timer, and issues a settlement command after the expiration.
  • the mobile terminal 3 displays a button or the like for issuing a payment command for final confirmation on the display screen 300 after the settlement time 20 has elapsed, and the payment command is given according to the operation of the button or the like. May be issued.
  • FIG. 10 shows the configuration of the cashless payment system of the fourth embodiment.
  • This cashless payment system has two devices constituting the information terminal 3 (cashless payment terminal) of the purchaser 2, of which the HMD3A as the first information terminal and the wearable as the second information terminal. It has a terminal 3B.
  • the HMD3A is a function that can be worn by the purchaser 2 on the head and can display an image corresponding to augmented reality (AR) or the like on a display screen 300A (for example, a see-through type display surface) corresponding to the field of view of the purchaser 2. Is a device with.
  • AR augmented reality
  • the wearable terminal 3B is, for example, a smart watch worn by the purchaser 2 on the wrist, and has a display function capable of displaying an image on the display screen 300B.
  • the wearable terminal 3B can show the above-mentioned payment processing completion confirmation information to the clerk 5 by using the display function.
  • the HMD3A and the wearable terminal 3B are connected by low-power communication / short-range communication using a communication interface such as Bluetooth (registered trademark), and both function in cooperation with each other.
  • the HMD3A includes an application (cashless payment application) 41A, a camera 70, and the like.
  • the wearable terminal 3B may include an application that cooperates with the application 41A.
  • the wearable terminal 3B may be any device having a display function, and may be a smartphone or the like.
  • the purchaser 2 photographs the QR code 8 and the purchase price 9 with the camera 70 of the HMD3A.
  • the HMD3A acquires the payment destination information from the captured image of the camera 70 by recognizing the QR code 8, and acquires the payment amount by recognizing the purchase amount 9.
  • the settlement time 20 is displayed on the display screen 300A, and a settlement command is transmitted to the server 12 when the settlement time 20 expires (signal 4a).
  • the server 12 executes cashless payment processing by using the information of the purchaser 2 and the information terminal 3 (HMD3A), the payment destination information, and the payment amount information in the received payment command.
  • the server 12 transmits the payment processing completion confirmation information to the HMD3A (signal 4b).
  • the server 12 may transmit the payment processing completion confirmation information corresponding to the information terminal 3 side to the store terminal 7 (signal 4c).
  • the HMD3A transfers information such as a key code as a signal 4d to the wearable terminal 3B based on the payment processing completion confirmation information received from the server 12.
  • the wearable terminal 3B displays information such as its key code on the display screen 300B.
  • the purchaser 2 shows the clerk 5 information such as a key code displayed on the display screen 300B of the wearable terminal 3B. As a result, the purchaser 2 and the clerk 5 can confirm the completion of the cashless payment process.
  • FIG. 11 shows an example of a display screen of the HMD 3A and the wearable terminal 3B in the process of cashless payment in the fourth embodiment.
  • FIG. 11A shows an example of the display screen 300A on the HMD3A.
  • the area 1101 of the QR code 8 is recognized from the captured image of the camera 70, the image g1 of the frame or the like is displayed, and the area 1102 of the purchase price 9 is recognized and the frame or the like is recognized.
  • Image g2 of is displayed.
  • an image having a settlement time of 20 is superimposed and displayed on, for example, an upper area according to the recognition of the two pieces of information.
  • the HMD3A issues a settlement command and transmits it to the server 12.
  • FIG. 11B shows an example of a display screen 300A that displays payment processing completion confirmation information in HMD3A.
  • the message 21 and the key code 25 are superimposed and displayed based on the payment processing completion confirmation information received from the server 12.
  • the HMD3A transfers the information including the key code and the payment amount of the payment processing completion confirmation information to the wearable terminal 3B (signal 4d).
  • FIG. 11C shows an example of the display screen 300B of the wearable terminal 3B.
  • the wearable terminal 3B displays the key code 25 and the payment amount 24 on the display screen 300B based on the information received from the HMD3A.
  • the purchaser 2 shows the display screen 300B to the clerk 5.
  • the clerk 5 can also confirm the completion of the cashless payment process.
  • the key code of the payment processing completion confirmation information from the server 12 is displayed on the display device on the clerk 5 side of the store terminal 7, the clerk 5 has the key code and the key of the display screen 300B on the purchaser 2 side. It can be confirmed by comparing with the code 25.
  • the fourth embodiment is applied to an unmanned store, the procedure of showing the display screen 300B of the wearable terminal 3B to the clerk 5 on the store 1 side is omitted.
  • FIG. 12 shows an example of the appearance configuration of the HMD3A.
  • the HMD3A includes a camera 70, a distance measuring device 71, a projection optical system 72 (72a, 72b), a display optical system 73 such as a lens or a screen, a nose pad 74, a controller 75, a speaker 76, a microphone 77, and a frame housing 78 (78a). , 78b, 78c) and the like.
  • a controller 75, a camera 70, a distance measuring device 71, a speaker 76, a microphone 77, and the like are arranged in the frame housing 78 (78a, 78b, 78c). The arrangement does not have to be as shown in FIG.
  • the user attaches the HMD3A to the face by means of the frame housing 78 and the nose pad 74.
  • the camera 70 is attached so as to photograph the front of the user's line of sight.
  • the distance measuring device 71 measures the distance to a real object in the real space captured by the captured image of the camera 70.
  • the distance measuring device 71 may calculate the distance to a feature point such as the contour of a real object by a method like a stereo camera, or irradiate a light ray two-dimensionally like a TOF (Time Of Flight) method. And the distance may be measured.
  • the distance measuring device 71 may be any device that can measure the distance between the HMD3A and the actual object to be photographed.
  • the display unit (display screen 300A) of the HMD3A is composed of a projection optical system 72 and a display optical system 73.
  • the projection optical system 72 (72a, 72b) projects the screen (corresponding virtual image) of a virtual object created by computer graphics or the like onto the display optical system 73 as an image confirmed by the left eye and an image confirmed by the right eye.
  • the purchaser 2 can see the landscape and the real object in front through the display optical system 73, and the screen of the virtual object projected from the projection optical system 72 is displayed in the real space via the display optical system 73. It can be displayed at an arbitrary position that is easy to distinguish from a real object.
  • the HMD3A may display the screen of the virtual object at a selected position by using the measurement rejection information by the distance measuring device 71.
  • the configuration may be such that the ranging device 71 is not provided. In this case, the screen of the virtual object is displayed at a preset position in the real space.
  • the controller 75 takes in the image of the real space taken by the camera 70 and the position data in the real space such as the real object acquired by the distance measuring device 71 and supplies it to the internal memory and the CPU. Further, the controller 75 creates an image projected by the projection optical system 72 and a sound output to the speaker 76.
  • FIG. 13 shows an example of a functional block configuration of HMD3A.
  • the controller 75 of the HMD3A has a communication unit 83, a CPU 84, a RAM 85, an image RAM 86, a flash ROM 87, a distance calculation processing unit 81, a sensor group 82, and the like, and these are connected to the internal bus 80. Further, a camera 70, a distance measuring device 71, a projection optical system 72, a display optical system 73, a speaker 76, a microphone 77, and the like are connected to the internal bus 80.
  • the HMD3A has a built-in sensor group 82 including a gyro sensor, an acceleration sensor, a geomagnetic sensor, a position sensor (GPS receiver), a line-of-sight detection sensor, and the like.
  • the controller 75 controls while using the detection information of the sensor group 82.
  • the projection optical system 72 independently projects the image of the left eye by the left projection optical system 72a and the image of the right eye by the right projection optical system 72b onto the display optical system 73.
  • the projection optical system 72 also projects an image of the left eye and an image of the right eye interleaved by one projector, and the shutter optical system allows the image of the left eye and the image of the right eye to pass through to the respective eyes.
  • the projection optical system 72 may be an optical system using a holographic lens.
  • the communication unit 83 has a plurality of communication functions corresponding to a plurality of communication interfaces such as mobile communication, wireless LAN, and short-range communication.
  • short-range communication for example, Bluetooth (registered trademark) or the like can be applied.
  • the communication unit 83 connects the HMD3A to the network 11 via the base station 10 of FIG. Further, the communication unit 83 performs one-to-one communication with the wearable terminal 3B by Bluetooth communication or the like.
  • the flash ROM 87 includes a basic operation program 88 and an application (cashless payment application) 41A as stored processing programs. Each function of the HMD3A is realized by expanding these programs into the RAM 85 by the CPU 84 and executing processing according to the programs. Further, the flash ROM 87 can store data generated in the process and result of the program processing. Further, the image data transmitted to the projection optical system 72 is stored in the image RAM 86 and read from the image RAM 86.
  • FIG. 14 shows the processing flow of the application 41A according to the fourth embodiment.
  • the HMD3A starts the application 41A and logs in to the server 12.
  • the HMD3A takes a picture (which may be a still image or a moving image) with the camera 70, and captures the taken image in the RAM 85.
  • the HMD3A scans the captured image, recognizes the QR code 8, and acquires the payment destination information. If the QR code 8 cannot be recognized (S53-NO), the process returns to step S51.
  • the QR code 8 can be recognized (S53-YES)
  • the HMD3A scans the captured image and recognizes the payment amount corresponding to the purchase amount 9. If the purchase price cannot be recognized (S55-NO), the process returns to step S51.
  • step S56 the HMD3A displays the settlement time 20 on the display screen 300A and activates the timer. If the HMD3A detects a canceling operation during the settlement time 20 in step S57 (YES), the HMD3A returns to step S51.
  • this canceling operation is, for example, a shake operation in which the purchaser 2 shakes the head (corresponding HMD3A).
  • the shake operation is set in advance in the application 41A as a cancel operation.
  • the HMD3A can detect the shake operation by the sensor group 82.
  • step S58 If the timer for the settlement time 20 expires in step S58 (YES), the HMD3A issues a settlement command and transmits it to the server 12 in step S59.
  • the HMD3A receives the payment processing completion confirmation information from the server 12 in step S60
  • the HMD3A displays the payment processing completion confirmation information on the display screen 300A as in the example of FIG. 11B.
  • step S61 the HMD3A transfers the information including the key code and the payment amount in the payment processing completion confirmation information to the wearable terminal 3B.
  • the wearable terminal 3B displays the key code and the payment amount in the payment processing completion confirmation information on the display screen 300B based on the information received from the HMD3A.
  • step S62 if the procedure is continued (YES), the process returns to step S51, and if the procedure is terminated (NO), the HMD3A logs out from the server 12 and terminates the application 41A in step S62.
  • FIG. 15 shows the configuration of the cashless payment system of the fifth embodiment.
  • the configuration of FIG. 15 is mainly different from the configuration of FIG. 10 in that the purchaser 2 is equipped with the HMD3A but not the wearable terminal 3B. Further, there is a point that the purchaser 2 (or HMD3A) transmits the payment processing completion confirmation information (for example, the key code) to the clerk 5 by the voice signal 1501.
  • the payment processing completion confirmation information for example, the key code
  • FIG. 11 An example of the display screen 300A of the HMD3A in the process of cashless payment in the fifth embodiment is the same as (A) and (B) of FIG. 11 described above.
  • the purchaser 2 utters the key code 25 (for example, (B) in FIG. 11) in the payment processing completion confirmation information obtained from the server 12 on the HMD3A and displayed on the display screen 300A.
  • an audio signal 1501 it is transmitted to the clerk 5.
  • the key code 25 is composed of a plurality of (for example, four) alphanumeric strings as shown in FIG. 11B.
  • the purchaser 2 selects an arbitrary one from a plurality of alphanumeric strings of the key code 25, or selects an alphanumeric string at a predetermined location (for example, the last four digits) and selects the English.
  • the number string is transmitted to the clerk 5 by the voice signal 1501.
  • the clerk 5 confirms the completion of the cashless payment from the alphanumeric string transmitted by the voice signal 1501 and the key code of the payment processing completion confirmation information displayed on the display device on the clerk 5 side of the store terminal 7.
  • the purchaser 2 does not need the wearable terminal 3B, and can perform cashless payment associated with the purchase of the product by HMD3A hands-free, and is related to the store attribute. Cashless payment can be made by almost the same method without using.
  • the HMD3A may use the function to convert the key code 25 in the payment processing completion confirmation information into a voice signal 1501 and output it. In this case, the utterance by the purchaser 2 can be omitted.
  • FIGS. 16 and 17 A sixth embodiment of the present invention will be described with reference to FIGS. 16 and 17.
  • the system of FIG. 1 and the information terminal 3 of FIG. 3 can be generally applied in common.
  • FIG. 16 shows an example of the display screen 300 of the information terminal 3 in the process of cashless payment in the sixth embodiment.
  • the camera 30 of the information terminal 3 captures the store terminal 7 as shown in FIG. 1 and displays it on the display screen 300.
  • the area 1601 of the QR code 8 and the area 1602 of the purchase price 9 are recognized from the captured images, and the images g1 and g2 of the frame and the like are also displayed.
  • the information terminal 3 displays a payment cancellation button 1611 and a payment execution button 1612 as GUI parts on the display screen 300, prompting the purchaser 2 to operate the information terminal 3.
  • the information terminal 3 controls to cancel the payment procedure when the purchaser 2 presses the payment cancellation button 1611.
  • the information terminal 3 When the information terminal 3 receives the operation of pressing the payment execution button 1612 by the purchaser 2, the information terminal 3 issues a payment command and transmits it to the server 12.
  • An example of the display screen 300 for displaying the payment processing completion confirmation information on the information terminal 3 after the payment processing on the server 12 is completed is the same as (B) in FIG.
  • the information terminal 3 after recognizing the two pieces of information, the information terminal 3 omits the display of the payment time 20 and displays the payment execution button 1612 and the like.
  • FIG. 17 shows a processing flow by the application 41 of the information terminal 3 in the sixth embodiment.
  • the flow of FIG. 17 is different from the flow of the first embodiment of FIG. 4, and has steps S601 to S603 instead of the above-mentioned steps S16 to S18.
  • the information terminal 3 displays a pre-settlement screen such as the display screen 300 of FIG. 16 in step S601.
  • step S602 the information terminal 3 returns to step S11 when there is an operation of the payment cancellation button 1611 on the screen before payment (YES).
  • step S603 the information terminal 3 proceeds to step S19 when the payment execution button 1612 is operated (YES), and returns to step S602 when there is no operation (NO).
  • step S19 the information terminal 3 issues a payment order.
  • the purchaser 2 instead of waiting for the settlement time 20, the purchaser 2 performs an input operation such as the settlement execution button 1612, and the same effect as that of the first embodiment can be obtained.
  • the settlement time 20 may be displayed on the display screen 300 of the information terminal 3 as in the first embodiment, and the settlement execution button 1612 or the like may be displayed as shown in FIG. Good.
  • the purchaser 2 can cancel or execute the settlement when the button is operated in the middle of the settlement time 20, and can automatically execute the settlement when the settlement time 20 expires.
  • FIG. 18 shows an example of the display screen 300A of the HMD3A in the process of cashless payment according to the seventh embodiment.
  • the area 1801 of the QR code 8 and the area 1802 of the purchase price 9 are recognized from the images taken by the camera 70, and the images g1 and g2 of the frame and the like are also displayed.
  • the HMD3A displays the "cancel payment with gesture 1" button 1811 and the "execute payment with gesture 2" button 1812 as GUI parts on the display screen 300A, and prompts the purchaser 2 to operate.
  • Predetermined gestures that can be detected by the camera 70 of the HMD3A and the sensor group 82 are defined in advance.
  • the first gesture (“gesture 1”) is an action in which the user places a finger in front of the display screen 300A of the HMD3A and moves the finger to the left
  • the second gesture (“gesture 2”) is a finger. Is an operation to move to the right.
  • the details of these gestures are not limited, and any gesture that can be distinguished and detected by using a camera 70 or the like may be used.
  • the purchaser 2 looks at the display screen 300A and performs an operation related to payment by a predetermined gesture.
  • the purchaser 2 performs "gesture 1" when canceling the payment, and performs "gesture 2" when executing the payment.
  • the HMD3A recognizes the "gesture 1" by the purchaser 2, it updates the display state so as to press the "cancel payment with gesture 1" button 1811, and cancels the payment.
  • the HMD3A recognizes the "gesture 2”
  • it updates the display state so as to press the "execute payment with gesture 2" button 1812, and issues a payment command.
  • the display screen 300A at the time of confirming the completion of payment is, for example, the same as (B) in FIG.
  • the line-of-sight of the purchaser 2 is detected by the line-of-sight sensor, and when a predetermined line-of-sight operation is detected, it is associated with the above-mentioned payment cancellation or payment execution. May be controlled.
  • the line-of-sight operation include an operation in which the line of sight is directed to the left and an operation in which the line of sight is directed to the right.
  • another line-of-sight operation may be an operation of gazing at the "Cancel payment with gesture 1" button 1811 or the like.
  • step S601 the HMD3A displays a pre-settlement screen such as the display screen 300A of FIG.
  • step S602 when the HMD3A detects "gesture 1" corresponding to the "cancel settlement with gesture 1" button 1811 (YES), the process returns to step S11.
  • step S63 the HMD3A proceeds to step S19 when it detects "gesture 2" corresponding to the "gesture 2 settlement execution" button 1812 (YES), and returns to step S602 when it does not detect it (NO).
  • ⁇ Embodiment 8> The cashless payment system and the like according to the eighth embodiment of the present invention will be described with reference to FIG.
  • a method of first recognizing the settlement destination information of the QR code and then recognizing the settlement amount is shown as a temporal order.
  • a method of recognizing the settlement amount first and then recognizing the settlement destination information of the QR code is shown as a temporal order.
  • the environment as shown in FIG. 1 of the first embodiment can be similarly applied.
  • FIG. 19 shows a processing flow by the application 41 of the information terminal 3 in the eighth embodiment.
  • the flow of FIG. 19 has steps S81 to S84 instead of steps S12 to S15 as different from the flow of the second embodiment of FIG. 6, and as shown in the figure, the order of recognizing two pieces of information. Is the opposite.
  • the information terminal 3 starts shooting a moving image by the camera 30 in step S11B.
  • step S81 the information terminal 3 recognizes the payment amount corresponding to the purchase amount 9 by scanning from the first image of the moving image.
  • step S82 the information terminal 3 recognizes the payment destination information of the QR code 8 by scanning from the second image of the moving image.
  • the second image may be the same as the first image. That is, the same determination is established when both the purchase price 9 and the QR code 8 can be recognized from one image.
  • the information terminal 3 After recognizing the above two pieces of information (S84-YES), the information terminal 3 performs the processes after step S16 in the same manner as in the above-described mode.
  • FIG. 20 shows the processing flow of the information terminal 3 in the modified example relating to the first embodiment and the eighth embodiment.
  • This modification can be regarded as a form in which the first embodiment and the eighth embodiment are merged into one. That is, in this modified example, when recognizing two types of information, the QR code 8 and one or more purchase price 9 as shown in FIG. 1, from the image captured by the camera, regardless of the order of recognition. Regardless, the configuration that can be handled in any order is shown.
  • step S11B the information terminal 3 starts shooting a moving image by the camera 30.
  • step S85 the information terminal 3 recognizes the two pieces of information, the QR code 8 and the purchase price 9, in an arbitrary order by scanning from an arbitrary image in the moving image.
  • the information terminal 3 confirms in step S86 whether both of the information can be recognized, and returns to step S85 and repeats until it can be recognized (S86-NO).
  • step S86-YES After recognizing the two pieces of information (S86-YES), the processes after step S16 are performed in the same manner as described above.
  • a ninth embodiment of the present invention will be described with reference to FIGS. 21 to 23.
  • the ninth embodiment is a modification of the first embodiment and the like, and shows a detailed configuration example regarding the recognition process of the purchase price.
  • FIG. 21 shows an example of a processing flow by the application 41 of the information terminal 3 according to the ninth embodiment.
  • This flow shows, in particular, a detailed configuration example relating to the recognition process of the purchase amount in step S14 in the flow of FIG. 4 of the first embodiment.
  • This configuration example can be applied to similar steps in the flow of each embodiment.
  • This configuration example is effective when a character string other than the character string (number string or the like) of the true purchase price 9 is included in the image captured by the camera depending on the environment of the store 1.
  • the display screen 300 of the information terminal 3 of FIG. 22 shows an example of an image when the vicinity of the store terminal 7 in the store 1 is photographed by the camera 30.
  • the character string 2203 for example, the price of the sales product
  • step S14 for recognizing the settlement amount includes steps S91, S92, S93, and S94.
  • step S91 the information terminal 3 scans and detects a character string from the image captured by the camera.
  • the character string of the area 2202 of the purchase price 9 and the character string 2203 of the advertisement material 2200 are detected as candidates.
  • the information terminal 3 searches, for example, in the area in the image captured by the camera while moving a rectangular area having a size smaller than that, and detects a numerical string included in the rectangular area as a candidate character string. To do.
  • the information terminal 3 uses the voice recognition function as an exceptional process to read the number string read out by the clerk 5 or the purchaser 2 by voice for the purchase price. It may be a candidate character string of 9.
  • the information terminal 3 may output guidance to the purchaser 2 or the like so as to read it out by voice when it cannot be recognized from the image.
  • voice recognition separately from image recognition.
  • the present invention is not limited to this, and a form in which voice recognition by voice input may be performed from the beginning in parallel with recognition of the purchase price 9 from the image captured by the camera. If the store 1 is a manned store and the voice information provided by the clerk 5 can be used, it can be used as an auxiliary.
  • Step S92 is a process of evaluating whether or not the candidate character string detected in step S91 corresponds to the true purchase price 9.
  • step S92 includes steps S92A to S92E corresponding to items A to E, for example. Each of these steps is an evaluation processing step for each evaluation item.
  • the information terminal 3 performs evaluation processing for each evaluation item for each candidate character string, and calculates a score which is an evaluation value for each.
  • the number of evaluation items and the processing content thereof are not limited to this, and may be larger or smaller. In addition, as a result of trying the evaluation process, some items may not be evaluated.
  • the evaluation process of item A in step S92A is an evaluation process regarding whether or not there is something like a store terminal 7 (or display device 7b) in the background of the camera-photographed image including the number string (candidate character string) to be evaluated. .. Alternatively, it is an evaluation process relating to the closeness of the distance between the candidate character string and a portion such as the store terminal 7 in the vicinity thereof.
  • the information terminal 3 may use the shape and color data of the store terminal 7 (or the display device 7b, etc.) during this evaluation process. For example, when the store terminal 7 appears in the background of the candidate character string, the score of this item A is increased.
  • the evaluation process of item B in step S92B is an evaluation regarding whether or not there is a specific symbol, for example, a currency symbol (for example, “ ⁇ ” or “yen”) in the image before or after the candidate character string. It is a process.
  • the information terminal 3 performs the evaluation process based on the recognition target format information including the specific symbol set in advance.
  • step S92C when the candidate character strings in the image have a number string read aloud by the clerk 5 or the purchaser 2 and input as a voice recognition result, they are equal to or similar to each other. It is an evaluation process regarding whether or not.
  • the evaluation process of item D in step S92D is an evaluation process regarding whether or not the position of the candidate character string in the image is close to the position of the recognized QR code 8. As shown in FIG. 22, when the purchase price 9 and the QR code 8 are arranged at positions close to each other in the store 1, the evaluation process of this item D is performed. For example, the closer the position of the detected candidate character string to the position of the recognized QR code 8, the higher the score of this item D.
  • the evaluation process of item E in step S92E is an evaluation process regarding whether or not the position of the candidate character string in the image of the camera 30 is close to the center position of the image of the camera 30. The closer to the center, the higher the score of this item E.
  • an overall score in other words, an overall evaluation value is calculated based on the score for each evaluation item for each candidate character string, which is the result of the evaluation in step S92, and the most purchased amount 9 is calculated from the overall score.
  • the information terminal 3 calculates, for example, a score obtained by weighting and adding the scores for each evaluation item for each candidate character string as a total score.
  • the information terminal 3 selects the maximum value from the total scores for each of the obtained candidate character strings that are equal to or higher than the preset minimum total score threshold value, and the corresponding candidate character strings. Is presumed to be the true purchase price of 9. If the total score calculated above is less than the total score threshold, it is determined that the image does not have the true purchase price 9, and the evaluation process from other images is controlled. To.
  • Step S94 is a process of recognizing the settlement amount corresponding to the purchase amount 9 according to the candidate character string of the selection result of step S93.
  • the number string in the area 2202 is recognized as the purchase price 9.
  • FIG. 23 shows an example of the display screen 300 of the information terminal 3 in the modified example of the ninth embodiment.
  • the information terminal 3 purchases some high-ranking candidate character strings (for example, those having a total score threshold value or higher) on the display screen 300 in the order of the total score. It is displayed as an amount candidate list 2300.
  • the image of the purchase price candidate list 2300 is superimposed and displayed in the lower area on the image captured by the camera.
  • the top three candidate character strings are displayed in the order of the overall score.
  • the candidate character string " ⁇ 12,765" having the highest overall score at the top is, for example, in a tentative selection state and is highlighted with an image g23 such as a frame representing it.
  • the second character string " ⁇ 777" and the third character string “36,958" are other character strings shown in the evaluation target image.
  • the purchaser 2 can select and set one character string (for example, " ⁇ 12,765") as the purchase amount 9 from the purchase amount candidate list 2300 by an operation such as a touch operation.
  • the information terminal 3 may display the "next candidate" button 2301 and the “selection” button 2302 as GUI parts in the display screen 300 as shown in the figure.
  • the "next candidate” button 2301 is a button for changing one candidate in the tentatively selected state among the plurality of candidates in the purchase price candidate list 2300 to the next (for example, one lower) candidate. From the bottom candidate, it returns to the top candidate.
  • the "selection" button 2302 is a button for selecting and determining the candidate in the provisionally selected state in the purchase amount candidate list 2300 at that time as the purchase amount 9.
  • the information terminal 3 highlights the areas 2201, 202 of each candidate character string recognized from the camera image by, for example, attaching a frame image in the example of the display screen 300 of FIG. Then, the purchaser 2 selects the portion of the candidate character string that he / she wants to select as the purchase amount 9 from the image of the display screen 300 by an operation such as a touch operation or a gaze. The information terminal 3 determines the candidate character string selected by the purchaser 2 by the operation as the purchase price 9. When trying to recognize the purchase price 9 from the image captured by the camera in the display screen 300 as described above, the portion of the QR code 8 that has been recognized may not be shown in the image.
  • the tenth embodiment shows a configuration example in which a part of communication is performed between the information terminal 3 and the store terminal 7.
  • FIG. 24 shows the configuration of the cashless payment system according to the tenth embodiment. This configuration is similar to that of FIG. 1 in many parts, but a different configuration point is that some information is communicated between the information terminal 3 and the store terminal 7.
  • the information terminal 3 acquires payment amount information from the store terminal 7, for example, by short-range wireless communication.
  • This settlement amount information is information regarding the purchase amount 9 (corresponding settlement amount).
  • the signal 4e and the signal 4f are signal examples at the time of the communication.
  • the signal 4e is a signal for transmitting a request for payment amount information from the information terminal 3 to the store terminal 7, or a signal for transmitting key code information.
  • the signal 4f is a signal when the payment amount information is transmitted from the store terminal 7 to the information terminal 7 as a response.
  • At least the QR code 8 may be captured as the image captured by the camera 30 of the information terminal 3, and the image of the purchase price 9 displayed on the display device 7d is not essential.
  • the information terminal 3 recognizes only the QR code 8 from the image of the camera 30 and obtains the payment destination information.
  • Information for accessing the store terminal 7 from the information terminal 3 by communication (for example, the communication ID of the store terminal 7) may be described in the QR code 8.
  • the information of the above-mentioned key code (for example, the key code 25 of (B) of FIG. 2) is transmitted by the above-mentioned short-range wireless communication. , May be transmitted to the store terminal 7.
  • the store terminal 7 displays the received key code on the display screen on the clerk 55 side.
  • FIG. 25 shows the processing flow of the information terminal 3 according to the tenth embodiment.
  • the flow of FIG. 25 has steps S101, S102, and S103 as different points from the flow of FIG.
  • step S11B the information terminal 3 starts shooting a moving image by the camera 30.
  • step S12 the information terminal 3 recognizes the QR code 8 from the image captured by the camera and obtains the payment destination information and the like.
  • step S101 the information terminal 3 automatically uses the communication ID of the store terminal 7 or the like to perform short-range wireless communication with the store terminal 7. Request a wireless connection by.
  • Bluetooth registered trademark
  • a wireless connection is established between the information terminal 3 and the store terminal 7.
  • the information terminal 3 transmits a request for payment amount information to the store terminal 7 as a signal 4e.
  • the store terminal 7 transmits the settlement amount information including the settlement amount including the total of one or more purchase amounts 9 read by the store terminal 7 to the information terminal 3 as a response signal 4f.
  • the information terminal 3 receives and acquires the payment amount information and grasps it as the payment amount.
  • the information terminal 3 may display information on the payment amount obtained from the store terminal 7 on the display screen 300.
  • the information terminal 3 can recognize the character string of the purchase price 9 displayed on the display device 7b of the store terminal 7 from the captured image of the camera 30, the purchase price 9 is recognized.
  • the image information may be displayed on the display screen 300 by acquiring the character string of.
  • the mode in which this step S102 is omitted may be omitted.
  • step S15 the information terminal 3 confirms whether the payment amount to be used for the cashless payment process has been recognized / acquired, and if it can be recognized / acquired (YES), proceeds to step S16 to recognize / acquire. If it cannot be acquired (NO), the process returns to step S102.
  • the information terminal 3 may compare the payment amount acquired from the store terminal 7 in step S101 with the payment amount acquired from the camera image in step S102 to confirm whether they match. If they do not match, one of the information may be incorrect, so the information terminal 3 may go back to step S102 or step S101, or the first step and start the process again.
  • step S16 the information terminal 3 displays the settlement time 20 on the display screen 300.
  • Steps S17 and S18 are the same processes as described above.
  • the information terminal 3 issues a payment command, receives the payment processing completion confirmation information from the server 12, and displays it on the display screen 300. Further, the information terminal 3 transmits the information including the key code of the payment processing completion confirmation information to the store terminal 7 as a signal 4e.
  • the key code information transmitted to the store terminal 7 may be character information or image information.
  • the store terminal 7 displays the key code obtained from the information terminal 3 on the display screen on the clerk 5 side. As a result, the clerk 5 can confirm the completion of the payment process by looking at the key code.
  • FIG. 26 shows an example of the display screen 300 of the information terminal 3.
  • the example of the display screen 300 of (A) is an example of displaying the payment amount information acquired from the store terminal 7 at the time of step S101.
  • the image 2601 of the payment amount based on the payment amount information acquired from the store terminal 7 is superimposed and displayed on, for example, the lower area on the camera-photographed image showing the QR code 8 and the purchase amount 9 of the display device 7d.
  • the information terminal 3 recognizes the purchase amount 9 in step S102, the recognized character string may be displayed on the display screen 300.
  • the example of the display screen 300 of (B) is an example of displaying the key code 25 of the payment processing completion confirmation information obtained from the server 12, and this key code 25 is transmitted from the information terminal 3 to the store terminal 7.
  • the image of the key code 25 is superimposed and displayed on the image of the inside of the store 1 seen from the camera 30 of the information terminal 3, particularly the state including the purchase price 9 of the store terminal 7 and the display device 7b. ing.
  • the example of the display screen 300 of (C) shows another display example relating to the key code 25.
  • the image example of the display image 300 is an image in which the purchaser 2 takes a picture of himself / herself including the face 2603 of the purchaser 2 himself, and the image of the key code 25 is superimposed and displayed on the image. ..
  • the information terminal 3 transmits key code information including one of the images (B) and (C) to the store terminal 7.
  • the information transmitted from the information terminal 3 to the store terminal 7 may be only the character information or the image information of the key code 25, or the image of the key code 25 may be superimposed on the image taken by the camera. , May be information on those sets.
  • the key code image information such as (B) or (C) When looking at the key code image information such as (B) or (C) from the clerk 5 side, the case where the face 2603 of the purchaser 2 is reflected as shown in (C) is the most likely to be wrong. There are few, and reliable confirmation is possible. However, in the case of a user who is reluctant to provide his / her face image to the store 1 side or a device such as an HMD that cannot take his / her face image, the key code image as shown in (B) may be transmitted. ..
  • the image (B) is an image in a positional relationship in which the store terminal 7 or the clerk 5 is viewed from the position where the purchaser 2 is standing. Therefore, at the time of confirmation, the clerk 5 can confirm from the positional relationship that can be seen from this image that the communication is from the user (purchaser 2) in front of him, that is, that he / she is the correct payment target person.
  • the eleventh embodiment of the present invention will be described with reference to FIG. 27.
  • the eleventh embodiment is a modification of the first embodiment, and shows a case where the arrangement relationship between the QR code 8 and the purchase price 9 is used.
  • FIG. 27 shows an example of the store 1 in the eleventh embodiment.
  • the QR code 8 is not posted on the store terminal 7 on the accounting machine 13, and the QR code 8 is posted on the medium 8b installed near the store terminal 7.
  • the arrangement relationship 2700 of the two elements in the space is defined.
  • the arrangement relationship 2700 is an arrangement relationship in the direction in which the store terminal 7 and the clerk 5 are viewed from the information terminal 3 side of the purchaser 2.
  • such an arrangement relationship 2700 is provided as a condition. In this regard, for example, the following methods can be applied.
  • the arrangement relationship 2700 of the two elements of the QR code 8 and the payment amount is fixedly set in advance. That is, the rule including this arrangement relationship 2700 is similarly applied to all the stores 1 to which this method is applied.
  • the arrangement relationship 2700 between the position L1 of the QR code 8 and the position L2 where the purchase price 9 is displayed is defined.
  • the arrangement relationship 2700 is described as, for example, the arrangement relationship information 2703 which is one item of the settlement rule information 2702 described in the QR code 8.
  • the settlement destination information (store information) 2701 and the settlement rule information 2702 may be described in the QR code 8. That is, the information terminal 3 can obtain the information by the recognition from the QR code 8.
  • the settlement rule information 2702 may be held in the server 12 of FIG. 1 together with the association with the settlement destination information 2701.
  • the payment rule information 2702 is referred to as a rule when the information terminal 3 and the store terminal 7 perform a procedure by this cashless payment method.
  • the placement relationship information 2703 describes the placement relationship between the position L1 of the QR code 8 and the position L2 of the purchase price 9.
  • the position L2 of the purchase price 9 is substantially in the diagonally upper left direction when the position L1 of the QR code 8 (that is, the position recognized in the image) is used as a reference.
  • the distance from the position L1 to the position L2 may be defined as one of the conditions.
  • the condition that the position L2 is within the range 2705 of a predetermined distance from the position L1 is described.
  • the information terminal 3 first recognizes the QR code 8 from the captured image of the camera 30, and obtains the payment destination information 2701 and the like, as in the first embodiment. Next, when the information terminal 3 recognizes the purchase amount 9 from the captured image, the information terminal 3 refers to the arrangement relationship information 2703 of the settlement rule information 2702 and performs the recognition process of the purchase amount 9 according to the provision. For example, the information terminal 3 searches diagonally upward to the left from the position L1 in which the QR code 8 is recognized in the captured image according to the arrangement relationship 2700, and finds a candidate character string corresponding to the purchase price 9. When a plurality of character strings are found in the captured image, the information terminal 3 may select the most probable one by estimating the purchase price 9 in light of the conditions of the arrangement relationship 2700. Good.
  • the provision of the arrangement relationship 2700 is as a condition regarding the position L1 of the QR code 8 based on the position L2 of the purchase amount 9. May be good.
  • the position L2 may be on the upper side with respect to the position L1 of the QR code 8
  • the position L2 may be on the right side with respect to the position L1 of the QR code 8.
  • the character string closest to the position L1 in the range 2705 may be selected, or the character string closest to the i-th position may be selected.
  • a settlement rule including the arrangement relationship 2700 may be set for each store 1.
  • the settlement destination information (store information) 2701 and the settlement rule information 2702 set in the store 1 are acquired from the QR code 8 in the store 1.
  • the information terminal 3 refers to the arrangement-related information 2703 of the settlement rule information 2702.
  • the information terminal 3 may acquire the payment rule information 2702 for the store 1 by communication from the server 12 or the store terminal 7 based on the payment destination information 2701 or the like obtained from the QR code 8.
  • suitable rules can be set for each store 1.
  • different settlement rule information 2702 can be set for each product 6.
  • different settlement rule information 2702 can be set for each type of product 6 and for each high and low purchase price 9.
  • the settlement rule information 2702 can also be a rule regarding the processing flow, and it is possible to set the login necessity and the like and the length of the settlement time 20 according to the required security level.
  • the information terminal 3 since there is a condition of the arrangement relationship 2700 related to the recognition process, the information terminal 3 may be able to more efficiently recognize the purchase price 9 and the like from the captured image. For example, since the number of candidate character strings can be reduced, effects such as speeding up recognition processing and shortening cashless payment can be expected.
  • the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above-described embodiments and can be variously modified without departing from the gist. It is possible to add, delete, replace, and configure various combinations of the components of the embodiment. Some or all of the above-mentioned functions may be implemented by hardware, or may be implemented by software program processing. The programs and data constituting the functions and the like may be stored in a computer-readable storage medium, or may be stored in a device on the communication network. In the embodiment, the case where cashless payment is used for payment of the purchase price of goods at a store has been described, but the present invention is not limited to this, for example, payment at the time of traffic violation, payment at a vending machine, and sales between individuals. It can be applied in various situations such as payment of time.

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Security & Cryptography (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

購入者であるユーザによる操作の手間が少なく好適にキャッシュレス決済が可能である技術を提供する。キャッシュレス決済システムは、購入者であるユーザが使用するカメラおよびキャッシュレス決済機能を持つ情報端末と、キャッシュレス決済処理を実行するサーバとが通信で接続され、店舗でのユーザによる商品やサービスの購入に伴うキャッシュレス決済を行うシステムであって、情報端末は、ユーザの操作に基づいて、店舗が掲示する決済先情報のコードと、商品やサービスの購入金額に対応する決済金額とを、カメラで撮影し、撮影画像に基づいて、決済先情報と決済金額との両方を認識した場合、決済先情報と決済金額とを含む決済命令を発行しサーバに送信してキャッシュレス決済処理を実行させる。

Description

キャッシュレス決済システムおよび情報端末
 本発明は、キャッシュレス決済システムおよび情報端末の技術に関する。
 近年では、店舗において購入者であるユーザが商品やサービス等の購入に伴う決済、言い換えると購入金額の支払いを行う際に、スマートフォン等の情報端末を用いて現金を不要とする決済(キャッシュレス決済と記載する場合がある)を行う場合が増えている。キャッシュレス決済は、NFC(Near Field Communication)等の非接触・近距離通信機能を持つICチップを搭載したデバイスを用いる方式や、情報端末のカメラでQR(Quick Response)コード(登録商標)等のコードを読み取る方式がある。後者の方式は、ストアスキャン方式やユーザスキャン方式があり、既に販売済みのスマートフォンにも機能を後付けできる等の利点がある。
 ストアスキャン方式は、購入者のスマートフォンの表示画面にQRコードを表示し、店舗側の設備がそのQRコードを読み取る方式である。ユーザスキャン方式は、店舗側がQRコードを掲示し、購入者であるユーザのスマートフォンに備えるカメラでそのQRコードを読み取る方式である。ストアスキャン方式は、店舗側の設備の導入コストが比較的多くなりがちである。一方、ユーザスキャン方式では、固定的なQRコードとする場合には、キャッシュレスレス決済の導入コストが低くなる。固定的なQRコードは、コード化される情報として、商品の金額情報を含めず、店舗に関する情報、言い換えると決済先、売主に関する情報のみを含めるものである。
 上記キャッシュレス決済に関する先行技術例として、特開2018-116499号(特許文献1)が挙げられる。特許文献1には、商品購入のために必要なユーザの操作を簡易化できる無人販売方式等の技術として、端末装置は、第1識別情報を読み取り、商品の購入金額の決定操作を受け付ける旨が記載されている。
特開2018-116499号公報
 特許文献1の技術は、固定的なQRコードを表示させるユーザスキャン方式のキャッシュレス決済システムの一例と言える。この技術は、QRコードから読み取った売主情報、言い換えると店舗情報と、サーバより取得する基本金額情報とから、購入者は、スマートフォンで購入金額と基本金額との補正の操作を行い、決済を行う。特許文献1を含む従来技術では、ユーザが、キャッシュレス決済の際に、金額に関する入力操作あるいは補正操作を行う必要があり、ユーザはそのような操作に手間を感じる。キャッシュレス決済の際には、利便性や効率性、普及のしやすさ等の観点から、ユーザによる操作の手間が少ないことが好ましい。従来技術では操作の手間に関して検討や改善の余地があり、操作をさらに低減できるキャッシュレス決済方式の提供が望ましい。
 また、特許文献1の技術は、商品金額のバリエーションが少ない無人店舗での決済方式を示しており、商品金額のバリエーションが大きい有人店舗での決済方式については示していない。操作の手間の観点と共に、有人店舗や無人店舗等の店舗属性に係らずに好適に適用可能であるキャッシュレス決済方式の提供が望ましい。
 本発明の目的は、キャッシュレス決済技術に関して、購入者であるユーザによる操作の手間が少なく好適にキャッシュレス決済が可能である技術を提供することである。
 本発明のうち代表的な実施の形態は、以下に示す構成を有する。実施の形態のキャッシュレス決済システムは、購入者であるユーザが使用するカメラおよびキャッシュレス決済機能を持つ情報端末と、キャッシュレス決済処理を実行するサーバとが通信で接続され、店舗での前記ユーザによる商品やサービスの購入に伴うキャッシュレス決済を行うキャッシュレス決済システムであって、前記情報端末は、前記ユーザの操作に基づいて、前記店舗が掲示する決済先情報のコードと、前記商品やサービスの購入金額に対応する決済金額とを、前記カメラで撮影し、撮影画像に基づいて、前記決済先情報と前記決済金額との両方を認識した場合、前記決済先情報と前記決済金額とを含む決済命令を発行し前記サーバに送信して前記キャッシュレス決済処理を実行させる。
 本発明のうち代表的な実施の形態によれば、キャッシュレス決済技術に関して、購入者であるユーザによる操作の手間が少なく好適なキャッシュレス決済が可能である。
本発明の実施の形態1のキャッシュレス決済システムの構成を示す。 実施の形態1で、情報端末の表示画面例を示す。 実施の形態1で、情報端末の構成例を示す。 実施の形態1で、情報端末のアプリによる処理フローを示す。 本発明の実施の形態2のキャッシュレス決済システムにおける、情報端末の表示画面例を示す。 実施の形態2で、情報端末のアプリによる処理フローを示す。 本発明の実施の形態3のキャッシュレス決済システムの構成を示す。 実施の形態3で、情報端末の表示画面例を示す。 実施の形態3で、情報端末のアプリによる処理フローを示す。 本発明の実施の形態4のキャッシュレス決済システムの構成を示す。 実施の形態4で、HMDおよびウェアラブル端末の表示画面例を示す。 実施の形態4で、HMDの外観構成例を示す。 実施の形態4で、HMDの構成例を示す。 実施の形態4で、HMDのアプリによる処理フローを示す。 本発明の実施の形態5のキャッシュレス決済システムの構成を示す。 本発明の実施の形態6のキャッシュレス決済システムにおける、HMDの表示画面例を示す。 実施の形態6で、HMDのアプリによる処理フローを示す。 本発明の実施の形態7のキャッシュレス決済システムにおける、表示画面例を示す。 本発明の実施の形態8のキャッシュレス決済システムにおける、情報端末のアプリによる処理フローを示す。 実施の形態1,8の変形例のキャッシュレス決済システムにおける、情報端末のアプリによる処理フローを示す。 本発明の実施の形態9のキャッシュレス決済システムにおける、情報端末のアプリによる処理フローを示す。 実施の形態9で、情報端末の表示画面例を示す。 実施の形態9の変形例における情報端末の表示画面例を示す。 本発明の実施の形態10のキャッシュレス決済システムの構成を示す。 実施の形態10で、情報端末のアプリによる処理フローを示す。 実施の形態10で、情報端末の表示画面例を示す。 本発明の実施の形態11のキャッシュレス決済システムの構成を示す。
 以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
 <実施の形態1>
 図1~図4を用いて、本発明の実施の形態1のキャッシュレス決済システム等について説明する。実施の形態1の情報端末は、実施の形態1のキャッシュレス決済システムを構成する情報端末である。
 [概要]
 従来技術例のキャッシュレス決済方式において、例えばユーザスキャン方式の場合、店舗内のストア端末の近傍にはQRコードが掲示され、ストア端末の表示装置には商品等の購入金額(対応する決済金額)が表示される。購入者であるユーザは、スマートフォン等の情報端末のキャッシュレス決済アプリおよびカメラによってQRコードを読み取り、決済金額の入力操作を行って、キャッシュレス決済を行う。
 一方、実施の形態1のキャッシュレス決済システムでは、店舗側は、例えばストア端末の近傍において、決済先情報を含む情報をコード化したQRコードを掲示し、商品等の購入金額に対応する決済金額をストア端末の表示装置に表示する。購入者であるユーザは、情報端末のカメラによってQRコードと決済金額との2つを撮影する。情報端末のキャッシュレス決済アプリは、撮影画像からQRコードの決済先情報と決済金額との2つの情報を認識した場合、所定の決済時間の画像を表示画面に表示し、決済時間の満了後、自動的に決済命令を発行して、サーバにキャッシュレス決済処理を行わせる。情報端末は、サーバから受けた決済処理完了確認情報を表示画面に表示する。また、店舗が有人店舗の場合、ストア端末は、サーバから受けた同様の決済処理完了確認情報を表示画面に表示する。有人店舗の場合、購入者と店員との両者が決済処理完了確認情報を確認する。無人店舗の場合、購入者のみが決済処理完了確認情報を確認する。これにより、実施の形態1のキャッシュレス決済システムは、ユーザスキャン方式の場合におけるユーザの操作の手間、特に金額の入力や補正の手間を不要とし、使い易く好適なキャッシュレス決済が実現できる。
 [1-1:キャッシュレス決済システム]
 図1は、実施の形態1のキャッシュレス決済システムの構成、およびキャッシュレス決済の手続きの概要を示す。図1で、キャッシュレス決済システムは、店舗1内における購入者2であるユーザが操作する情報端末3と、会計机13でレジ係である店員5が操作するストア端末7と、基地局10と、インターネット等を含む通信網であるネットワーク11と、決済アプリサーバであるサーバ12とを有し、これらは適宜に通信で接続される。店舗1は、商品6を販売する有人店舗である場合を示す。店舗1内において、購入者2、情報端末3、会計机13、店員5、ストア端末7、および商品6等を有する。なお、情報端末3やストア端末7は、同様の機能を持つ複数台が存在してもよい。
 購入者2は、店舗1内で商品6あるいはサービス等を購入し、その商品6の購入金額の支払いのために、情報端末3を用いてキャッシュレス決済を行うユーザである。情報端末3は、ユーザが携帯するキャッシュレス決済機能を持つキャッシュレス決済端末であり、例えばスマートフォンであるが、他の種類のデバイスとしてもよい。アプリ41は、キャッシュレス決済機能を持つキャッシュレス決済アプリであり、サーバ12と通信で連携しながら特有の処理を行うアプリケーションプログラムである。ユーザは、予め、情報端末3にアプリ41をインストールする。アプリ41はサーバ12から提供されてもよい。
 基地局10は、ネットワーク11に接続されるモバイル通信基地局であり、無線LANのアクセスポイント等であってもよい。情報端末3やストア端末7は、基地局10を通じてネットワーク11に接続可能であり、サーバ12と通信可能である。サーバ12は、ネットワーク11に接続され、情報端末3のアプリ41からの決済命令に応じてキャッシュレス決済処理を行う機能を有する決済アプリサーバである。サーバ12は、キャッシュレス決済処理の完了後、決済処理完了確認情報を、情報端末3およびストア端末7に送信する。なお、情報端末3のアプリ41およびストア端末7は、それぞれ、サーバ12との通信のためのアドレス情報を知っている。QRコード8内にそのアドレス情報が記述されていてもよい。
 信号4a,4bは、情報端末3と基地局10との間の無線通信に伴う通信信号の例である。信号4cは、ストア端末7と基地局10との間の無線通信に伴う通信信号の例である。例えば、信号4aは、情報端末3からサーバ12へ送信される決済命令である。信号4bは、サーバ12から情報端末3へ送信される決済処理完了確認情報である。信号4cは、サーバ12からストア端末7へ送信される決済処理完了確認情報である。信号4bの決済処理完了確認情報と、信号4cの決済処理完了確認情報とは、同じ後述のキーコード(決済完了IDに相当する)を含む。本構成例では、キャッシュレス決済の必要に応じて、サーバ12と情報端末3とが通信接続し、サーバ12とストア端末7とが通信接続する。通常時にはそれらの通信接続は不要である。なお、変形例として、ストア端末7とサーバ12との間では通信を行わない形態も可能である。この場合、サーバ12からストア端末7への決済処理完了確認情報の信号4cの送信は行われない。
 店員5は、会計机13において、ストア端末7を操作しながら、購入者2に対し、商品6の会計に伴うキャッシュレス決済の受け付け等の作業を行う。会計机13にはストア端末7が設置されている。商品6には、管理用のタグ6b等が付いていてもよく、タグ6bには商品IDや金額等の情報がバーコード等の形式で記載されている。
 ストア端末7は、キャッシュレス決済機能を含む決済機能を持つ端末、言い換えると店舗側決済機器であり、例えばキャッシュレジスタやPOSレジ端末で構成されるが、これに限らず、決済機能を持つスマートフォンやタブレット端末等で構成されてもよい。ストア端末7の決済機能は、情報端末3からのキャッシュレス決済を受け付ける機能である。ストア端末7は、購入者2側に向いて情報・画像を見せるための表示部(表示画面)を持つ表示装置7bを備える。図示しないが、ストア端末7は、店員5側に向いて情報・画像を見せるための表示部(表示画面)も持つ。表示装置7bの表示画面には、商品6の購入金額9等の情報が表示される。購入金額9は、購入者2が購入する1個以上の商品6に関する合計金額、すなわち1回のキャッシュレス決済に伴う決済金額に相当する。購入金額9は、人から見て理解できる数字列等の画像情報である。
 QRコード8は、店舗1内の少なくともいずれかの位置に掲示されている2次元コードである。本例では、ストア端末7の筐体における購入者2に向く側の面の一部に、QRコード8が、シールのような印刷物としての貼り付けの態様で掲示されている。QRコード8は、この店舗1の店舗情報、言い換えると決済先情報、を含む情報がコード化されたものである。決済先情報は、より詳細には、振込先の口座の情報でもよい。QRコード8に限らず、他の方式のコードを適用してもよい。QRコード8は、他の態様として表示画面に表示される画像としてもよい。例えば、ある程度大きいサイズを持つ表示装置7bの表示画面に、購入金額9と共に並列でQRコード8の画像が表示されてもよい。ストア端末7とは別に、タブレット端末等の電子的表示装置を持つデバイスが設けられ、そのデバイスの表示画面にQRコード8の画像が表示されてもよい。QRコード8の掲示の態様は、情報端末3のカメラ30からQRコード8に対応する像を撮影できる態様であればよい。
 実施の形態1の例では、QRコード8と購入金額9との2つの要素について、カメラ30による1枚以上の静止画として撮影する方式を用いる。購入者2は、最低限の操作として、適宜にカメラ30の撮影ボタンを押す。また、撮影の際、第1方式として、1つの画像内にQRコード8と購入金額9との両方が同時に含まれるようにしてもよい。あるいは、第2方式として、まず第1画像内にQRコード8が含まれるように撮影し、次に、第2画像内に購入金額9が含まれるように撮影してもよい。実施の形態1では、ユーザが上記の第1方式と第2の方式のいずれを採用してもよい。静止画の場合、QRコード8や購入金額9がうまく撮影できなかった場合や認識できなかった場合には、購入者2は適宜に撮影操作をやり直しできる。
 [1-2:キャッシュレス決済手続き]
 図1で、実施の形態1でのキャッシュレス決済の手続きの概要は以下の通りである。(1)まず、店舗1内において、購入者2は、購入する商品6を会計机13の所まで持って行き、店員5との間で、商品6の購入に伴うキャシュレス決済の手続きを開始する。店舗1側の店員5は、QRコード8および購入金額9を購入者2に対して提示する。具体例は以下の通りである。QRコード8については予めストア端末7に掲示されている。店員5は、例えばストア端末7に接続されているバーコードリーダ等によって商品6のタグ6bをスキャンする動作を行う。これにより、タグ6bの情報が読み取られ、ストア端末7に、商品6のIDや金額等の情報が入力される。あるいは、タグ6bが無い商品6の場合、店員5がストア端末7に金額を入力する操作を行ってもよい。ストア端末7は、入力された金額等の情報に基づいて、表示装置7bの表示画面に購入金額9を表示する。本例では購入金額9は“¥12,765”と表示されている。なお、購入者2が複数の商品6をまとめて購入する場合、店員5は、商品6毎に同様に動作を繰り返し、ストア端末7は、複数の商品6の合計金額を、決済金額に対応する購入金額9として表示装置7bに表示する。
 (2)購入者2は、情報端末3のアプリ41を起動した状態で、カメラ30によって、提示されているQRコード8と購入金額9との2つを撮影する。これにより、情報端末3のアプリ41は、撮影画像からQRコード8と購入金額9との2つの情報を読み取って認識する。これにより、情報端末3は、少なくとも、QRコード8からの決済先情報と、決済金額との2つの情報を把握する。この際、詳細としては、購入者2は、カメラ30によって、QRコード8と購入金額9との両方が写るように1枚の静止画を撮影してもよいし、あるいは、QRコード8が写った静止画である第1画像と、購入金額9が写った静止画である第2画像との各静止画を撮影してもよい。情報端末3は、1枚以上の撮影画像の中から、画像処理に基づいて、QRコード8と購入金額9との2つの情報を抽出し、QRコード8からは復号化によって決済先情報を含む情報を得る。
 (3)情報端末3は、上記2つの情報の認識後、表示画面300に、後述する所定の決済時間20(図2)を表示する。情報端末3は、決済時間20の経過後、購入者2の操作を必要とせずに、自動的に、決済命令(信号4a)を発行し、サーバ12へ送信する。この決済命令は、サーバ12にキャッシュレス決済処理を実行させるための命令あるいは要求である。この決済命令には、購入者2および情報端末3の情報と、決済先情報と、決済金額情報とを伴う。
 (4)サーバ12は、情報端末3から受け取った決済命令の情報に基づいて、キャッシュレス決済処理を実行する。キャッシュレス決済処理は、具体的には、購入者2の口座から店舗1の口座へ決済金額を振り込ませる処理が挙げられる。サーバ12は、キャッシュレス決済処理の完了に伴い、情報端末3に、情報端末3用の決済処理完了確認情報を信号4bとして送信することで決済完了通知を行う。それと共に、サーバ12は、ストア端末7に、ストア端末7用の決済処理完了確認情報を信号4cとして送信することで決済完了通知を行う。決済処理完了確認情報は、決済処理完了確認メッセージや、決済完了IDである後述のキーコード25(図2)を含む。
 (5)情報端末3は、サーバ12からの決済処理完了確認情報を購入者2に対し出力、例えば表示画面300に表示し、購入者2は、その決済処理完了確認情報を確認する。また、ストア端末7は、サーバ12からの決済処理完了確認情報を店員5に対し出力、例えば店員5側の表示画面に表示し、店員5は、その決済処理完了確認情報を確認する。これにより、キャッシュレス決済の手続きが完了する。
 なお、本例では、ストア端末7は、サーバ12からの決済処理完了確認情報を受信して表示画面に表示する機能を持つ構成とした。変形例として、ストア端末7は、そのような機能を持たない構成としてもよい。この場合、サーバ12はストア端末7へ決済処理完了確認情報を送信せず、店舗1の店員5はその決済処理完了確認情報の確認を行わない。
 [1-3:表示画面]
 図2は、図1の構成に基づいたキャッシュレス決済の手続きの際の情報端末3の表示画面300の例を示す。なお、購入者2の操作に基づいたカメラ30による撮影の際には、情報端末3は、表示画面300に、カメラ30が捉えたストア端末7等が写ったモニタ画像を表示する。このモニタ画像は、カメラ30の動きに応じて内容が変化する画像である。情報端末3は、購入者2が撮像ボタンを押す操作に応じて、その時点での静止画をキャプチャする。
 図2の(A)は、表示画面300の一例を示し、カメラ30の撮影画像である静止画の一例と、その上に重畳や合成で表示される画像情報の一例とを含む。情報端末3は、撮影画像の中から、スキャンによって、図1のQRコード8に対応する領域201と、購入金額9に対応する領域202とを検出し、それらの領域から決済先情報および決済金額を認識する。またこの際、情報端末3は、認識したQRコード8の領域201や購入金額9の領域202に、それぞれ枠取りや色付け等の画像を表示してもよい。本例では、破線枠のような画像g1,g2を重畳や合成で表示する場合を示す。これにより、QRコード8や購入金額9が認識できた状態を、購入者2にわかりやすく伝えることができる。
 さらに、情報端末3は、上記2つの情報の認識後、表示画面300内に、決済時間20を表示する。決済時間20は、上記2つの情報の認識の直後から決済の実行までの時間とその経過状態を、購入者2に対し伝えるための、グラフィカル・ユーザ・インタフェース(GUI)としての画像情報である。言い換えると、決済時間20は、決済命令の発行までの時間的な猶予を表す画像情報である。本例では、表示画面300内の上側の領域に、決済時間20の画像が、重畳や合成によって表示されている。本例では、この決済時間20は、決済時間を表すメッセージ(“Time to Payment”)と、決済時間の全体の長さおよび経過状態を表すバー20bとを含む画像である。決済時間20は、上記2つの情報の認識を開始時点とし、決済命令の発行を終了時点とする時間であり、予め所定の長さとして設定されている。決済時間20の長さの設定は、一例として5秒である。なお、表示画面300内に決済時間20の長さが例えば「5秒」等と画像で表示されてもよい。バー20bは、例えば、決済時間の長さに対応する5本のブロックで表現されており、1秒経過毎に1ブロックの表示が更新される。経過状態が例えば2秒経過である場合には、図示のように例えば左側を起点として2本のブロックまでの色が第1色(例えば白)から第2色(例えば黒)へ更新されている。情報端末3は、2つの情報の認識時点から、決済時間20に対応するタイマのカウントを開始し、時間経過に応じて、バー20bの表示状態を更新する。例えば開始時点ではバー20bの全ブロックが第1色であるが、終了時点ではバー20bの全ブロックが第2色となる。
 購入者2は、決済時間20を見ることで、キャッシュレス決済の自動的な実行までの経過状態を把握でき、本当に決済を実行するかどうかを判断でき、この経過時間20中に必要に応じてキャンセル動作も可能である。決済時間20の提示の態様は、図示の例に限らず可能であり、時間の大きさや経過状態が購入者2にわかりやすく伝わるような表現の画像情報とすればよい。また、決済時間20は、画像表示のみに限らず、効果音(例えばタイマカウント効果音)等の音声出力を併用してもよい。
 情報端末3は、決済時間20が満了した時点で、自動的に決済命令を発行してサーバ12に送信する。この決済時間20を含む制御の際、購入者2が購入金額9に関する何らかの入力操作、例えばハードウェアまたはソフトウェアによるボタンの入力操作等を行うことは不要である。すなわち、購入者2は、カメラ30によって上記2つの情報を撮影する操作さえすれば、後は決済時間20を待機するだけで、キャッシュレス決済を行わせることができる。
 また、上記決済時間20の経過途中では、キャッシュレス決済に関する所定のキャンセル操作を受け付ける。所定のキャンセル操作は、例えばユーザが情報端末3を振るシェイク動作である。他の例では、キャンセル操作は、情報端末3をある程度以上に傾ける動作としてもよいし、所定のハードウェアまたはソフトウェアによるボタンを押す操作等としてもよい。他の例では、キャンセル操作としては、ユーザがカメラ30を対象のQRコード8や購入金額9が写らない方向に向ける動作、例えば所定時間以上QRコード8等が写らない状態を維持する動作としてもよい。いずれのキャンセル動作でも、後述のセンサ群31(図3)を用いて検出できるようにする。
 図2の(B)は、サーバ12でのキャッシュレス決済処理が完了し、決済処理完了確認情報を表示する時の表示画面300の例を示す。情報端末3は、サーバ12からの決済処理完了確認情報を受けると、その情報に基づいて生成したメッセージ21とキーコード25を、表示画面300内に表示する。メッセージ21は、キャッシュレス決済処理が完了したことを表す決済処理完了確認メッセージ(例えば“Payment Completed”)の画像である。本例では、(A)と同様のストア端末7等の画像上に、決済時間20の表示を消去した上で、メッセージ21が重畳や合成で表示されている。キーコード25は、決済完了IDに相当し、キャッシュレス決済処理の完了後にその決済毎に発行されるID(識別情報)である。本例では、キーコード25は、4個の4桁の文字列(英数字)を1セットとして構成されている。本例では、キーコード25は、表示画面300内の下側の領域に重畳や合成で表示されている。サーバ12からは、同じ値を持つキーコードが、情報端末3とストア端末7との両方に送信される。
 購入者2は、(B)の表示画面300で、決済処理完了確認情報、具体的にはメッセージ21およびキーコード25を確認することで、キャッシュレス決済の完了を確認できる。また、アプリ41は、キーコード25を含む情報をログとしてメモリ上に保存し、購入者2は後でアプリ41の画面でそのログからキーコード25等を含む決済履歴を参照し確認することもできる。同様に、店員5は、ストア端末7の店員5側の表示画面に表示される決済処理完了確認情報のキーコード等を確認することで、目の前の購入者2に関するキャッシュレス決済の完了を確認できる。より詳しい手順の例としては、購入者2は、(B)のような画面のキーコード25を店員5に見せ、店員5は、情報端末3側の画面のキーコード25と、ストア端末7側の画面のキーコードとが一致するかを確認する。例えば、店員5は、両者のキーコードのうちの下4桁の文字列同士が一致するかを確認する。これにより、購入者2および店員5は、キャッシュレス決済の完了を確認できる。なお、(B)のような画面で決済処理完了確認情報を出力する際にも、所定の音声出力を併用してもよい。
 図2の(C)は、変形例として、決済時間20に関する他の表示例を示す。本例は、表示画面300内で、一定の背景上に、決済時間20を、時計20cのような表現の画像として大きく表示する場合を示す。本例では、決済時間20の長さが12秒であり、経過時間が3秒である状態を示す。
 図2の(D)は、変形例として、キーコード25に関する他の表示例を示す。(D)の表示画面300では、キーコード25は、キーコード25bとして、QRコードの画像の態様で表示されている。このQRコードは、キーコード25がコード化されたものである。このように、決済処理完了確認情報は、コード等の態様で提供されてもよい。この場合、購入者2は、このキーコード25bを含む画面を店員5に見せる。店員5は、例えばストア端末7に接続されているQRコードリーダ(またはカメラ)を用いて、このキーコード25bを読み取る。ストア端末7は、キーコード25bの認識によって、対応するキーコードを得て、店員5側の表示画面に表示する。これにより、店員5は、そのキーコードからキャッシュレス決済の完了を確認できる。
 なお、実施の形態1におけるキャッシュレス決済方式を、無人店舗に適用する場合、ストア端末7としては、購入者2によるセルフ決済用の決済機能を備えるストア端末を用いる。この場合、キャッシュレス決済の手続きは、購入者2が情報端末3の図2の(B)のような表示画面300の決済処理完了確認情報を確認するまでの手続きとすればよい。またこの場合、店員5による確認は無いので、図2の(B)のような表示画面300でのキーコード25の表示や、対応するストア端末7側でのキーコードの表示を省略してもよい。情報端末3やストア端末7は、サーバ12から受信した決済処理完了確認情報(特にキーコード)を、表示画面に表示せずとも、ログとしてメモリに保存しておく。これにより、購入者2や店員5は、後でそのキーコードを参照して確認を行うことができる。
 なお、情報端末3は、アプリ41を用いたキャッシュレス決済の手続きの際に、購入者2に対するユーザ・インタフェースとして、所定のガイダンス等を、表示や音声によって提供してもよい。ガイダンスは、例えば、「QRコードを撮影してください」、「金額を撮影してください」といったメッセージを表示や音声で出力することが挙げられる。一例としては、情報端末3は、まず「QRコードを撮影してください」と出力し、ユーザがカメラ30でQRコード8を中心にして撮影する。その際、撮影画像内にQRコード8の近傍の購入金額9が一緒に写ってもよい。情報端末3は、その撮影画像からQRコード8のみしか認識できない場合、次に、「金額を撮影してください」と出力し、ユーザがカメラ30で購入金額9を中心にして撮影する。1つの画像からQRコード8と購入金額9との両方が同時に認識できた場合、金額に関するメッセージの出力を省略できる。
 [1-4:情報端末]
 図3は、情報端末3の機能ブロック構成例を示す。本例では、情報端末3はスマートフォンである。情報端末3は、カメラ30、センサ群31、グラフィックプロセッサ32、タッチパネル(表示画面300を含む表示装置)、マイク34A、スピーカ34B、外部インタフェース35、通信部36、CPU37、RAM38、フラッシュROM39、および内部バス42等を有する。センサ群31は、例えば加速度センサ、ジャイロセンサ、地磁気センサ、およびGPS受信器を含む。CPU37は、情報端末3の全体を制御するプロセッサまたはコントローラを構成する。フラッシュROM39には、基本動作プログラム40およびアプリ(キャッシュレス決済アプリ)41等のプログラムが格納されている。プロセッサであるCPU37によって、これらのプログラムがRAM38に展開されてそのプログラムに従った処理が実行されることにより、情報端末3の各機能が実現される。フラッシュROM39には、プログラム処理が実行される過程や結果として発生するデータも格納される。
 通信部36は、モバイル通信、無線LAN通信、近距離通信等の各種の通信インタフェースに対応する通信機能を有する。近距離通信インタフェースの例としては、BlueTooth(登録商標)等を用いることができる。また、外部インタフェース35は、例えば給電機能を有するUSB(登録商標)インタフェースを有する。タッチパネル33は、タッチ検出機能を持つ表示装置であり、グラフィックスプロセッサ32によって描画される画像を表示画面に300表示する。タッチパネル33は、ユーザによる表示画面300に対するタッチ操作等の入力操作を受け付けて、内蔵するセンサによって検出する。
 [1-5:処理フロー]
 図4は、情報端末3のアプリ41による処理フローを示す。図4のフローは、ステップS10,S11,……,S22を有する。まず、ステップS10で、情報端末3は、購入者2の操作に基づいて、アプリ41を起動し、サーバ12に対するログインを行い、キャッシュレス決済の手続きを開始する。
 このログインは、サーバ12へのキャッシュレス決済の手続き用のログインであり、決済時のセキュリティを高めるための認証を含む。なお、情報端末3自体に備える認証(例えば顔認証や指紋認証)が成功してアプリ41が起動されたことを、認証済み、すなわち正規ユーザであることが確認された状態とみなして、このログインを省略する形態としてもよい。また、変形例としては、決済金額9の大きさに応じてセキュリティレベルが規定され、そのセキュリティレベルに応じてログインの要否等を含む決済ルールが規定されてもよい。例えば、予め設定に基づいて、決済金額の値が、規定された閾値以上である場合、ステップS10のログインが必須とされ、閾値未満である場合、そのログインが省略されてもよい。
 ステップS11で、購入者2は、前述のようにカメラ30の操作によってQRコード8と購入金額9を撮影する。情報端末3は、購入者2の操作に基づいて、カメラ30による撮影、特に1枚以上の静止画のキャプチャを行い、撮影画像データを取得してRAM38に記憶する。
 ステップS12で、情報端末3は、撮影画像をスキャンしてQRコード8の領域を抽出し、QRコード8を復号化して決済先情報等を認識する。ステップS13では、QRコード8内の決済先情報の認識の有無に応じて分岐する。QRコード8の決済先情報の認識が有る場合(YES)にはステップS14へ進み、無い場合(NO)にはステップS11へ戻って同様に繰り返す。認識が無い場合(NO)とは、撮影画像にQRコード8が含まれていない場合や、含まれていても情報が抽出や認識できなかった場合が該当する。QRコード8の決済先情報等の認識結果は、RAM38に保持される。
 ステップS14で、情報端末3は、撮影画像のスキャンによって購入金額9の領域を抽出し、対応する決済金額を認識する。この際の処理は、OCR(光学文字認識)技術と同様に画像から文字を認識する技術が適用できる。決済金額の認識結果は、RAM38に保持される。ステップS15では、決済金額の認識の有無に応じて分岐する。決済金額の認識が有る場合(YES)にはステップS16へ進み、無い場合(NO)にはステップS11へ戻って同様に繰り返す。
 ステップS16では、上記2種類の情報である決済先情報と決済金額とが揃った状態であるので、情報端末2は、図2の(A)のような決済時間20のためのタイマを起動させると共に、表示画面300内に決済時間20の画像を表示する。決済時間20は、アプリ41において予め任意の時間に設定できる。例えば、決済時間20はデフォルトでは5秒に設定されており、ユーザ設定によって増減の調整もできる。ユーザは、より慎重に判断したい場合には、決済時間20の長さを例えば10秒等に設定でき、より素早く決済したい場合には、例えば3秒等に設定できる。
 ステップS17後のステップS18では、情報端末3は、上記タイマによって決済時間20が満了したかどうかを確認し、満了(YES)の場合にはステップS19へ進み、満了ではない場合(NO)にはステップS17へ戻る。ステップS17では、情報端末3は、決済時間20の途中に、所定のキャンセル動作の有無を検出、確認する。このキャンセル動作は、キャッシュレス決済、より詳しくは決済命令の送信を、キャンセルするための動作である。本例では、このキャンセル動作は、購入者2が手に持っている情報端末3を振るようなシェイク動作として予め規定されている。情報端末3は、そのシェイク動作を、図3のセンサ群31を用いて検出する。情報端末3は、決済時間20の途中でシェイク動作を検出した場合(YES)にはステップS11に戻り、キャッシュレス決済の手続きを例えば撮影からやり直しさせる。
 ステップS19で、情報端末3は、上記2つの情報に基づいて、購入者2および情報端末3の情報と決済先情報と決済金額とを伴う決済命令を発行し、図1の信号4aとしてサーバ12へ送信する。ステップS20で、情報端末3は、サーバ12からの決済処理完了確認情報を待ち受けて受信し、表示画面300内に決済処理完了確認情報である図2の(B)のキーコード25等を表示する。
 ステップS20までで、1回のキャッシュレス決済の手続きは完了している。ステップS21は、アプリ41を起動したままで別の商品6の購入に関する2回目以降のキャッシュレス決済の手続きを同様に繰り返して継続するかどうかの確認である。ステップS21では、例えば情報端末3は、表示画面300にガイダンスとして決済の手続きを継続するか否かの確認のメッセージやボタンを表示し、購入者2による操作を受け付けてもよい。継続する場合(YES)にはステップS11に戻って同様に繰り返し、終了する場合(NO)にはステップS22に進む。ステップS22では、情報端末3は、サーバ12に対しログアウトを行い、アプリ41を終了させる。
 なお、変形例としては、最初にステップS10でログインを行う構成ではなく、ステップS19の決済命令の送信の前の時点でログインを行う構成としてもよい。
 [1-6:効果等]
 以上のように、実施の形態1によれば、購入者2による商品6の購入金額9に関する入力操作や補正操作、決済実行操作等の操作を必要とせず、少ない手間で好適にキャッシュレス決済を行うことができる。また、実施の形態1によれば、QRコードを用いたユーザスキャン方式の場合に、有人店舗や無人店舗等の店舗属性に係らずに概ね同一方式でキャッシュレス決済を行うことができる。
 実施の形態1等の変形例として以下も可能である。変形例では、所定の決済時間20の経過を待たずとも即時に決済命令に移行できるように、所定の操作として決済指示操作を利用できるようにしてもよい。例えば、情報端末3は、上記2つの情報の認識後、表示画面300に決済時間20を表示し(図2の(A)、図4のステップS16)、その決済時間20の途中で、キャンセル動作だけでなく、決済指示操作を受け付ける。決済指示操作は、例えば、情報端末3の表示画面300等の所定の部位を叩く動作、例えば2回連続で叩く動作や、所定の部位をある程度以上に強く押圧する動作、等が挙げられる。情報端末3は、決済指示操作を検出した場合、その時点で決済時間20を終了させて即時に決済命令をサーバ12に送信する。このような機能は、購入者2が素早く決済したい場合等に有用である。
 変形例として、上記キャンセル動作とは別に規定された所定の動作として、決済時間20の経過の一時停止のための動作を設けてもよい。例えば、情報端末3は、決済時間20の途中に、所定の一時停止動作を検出した場合、決済時間20の経過を一時停止させる。一時停止動作は、例えば表示画面300内の部位に対するタッチ状態を維持する動作が挙げられる。情報端末3は、その一時停止動作が検出されなくなった場合、決済時間20の経過を再開させる。この機能は、購入者2が判断を迷う場合等に有用である。
 また、変形例として、情報端末3は、図4のステップS14で認識される決済金額9の大きさ、あるいは対応する商品6毎の種別等に応じて、決済時間20の長さを決定してもよい。例えば、ある回のキャッシュレス決済の手続きの際に、情報端末3は、認識した決済金額9の値が大きいほど、その回のための決済時間20を長くするように設定する。例えば、決済金額9の値が、閾値未満の場合には5秒と設定され、閾値以上の場合には10秒と設定されてもよい。あるいは、認識した決済金額の値に対し、乗算等の演算によって、その回の決済時間20の長さが算出されてもよい。これにより、例えば決済金額9が大きいほど、購入者2による慎重な判断が可能となる。また、情報端末3は、ステップS14で認識した決済金額9の大きさに応じて、その後のログインの要否を決定してもよい。
 変形例として、決済時間20の長さが、店舗1毎に規定されてもよい。例えば、QRコード8内に、決済先情報だけでなく、その店舗1での決済時間20に関する設定を含む決済ルール情報が記述されていてもよい。決済ルール情報は例えば図4のようなフローの規定を含んでもよい。情報端末3は、QRコード8からその決済ルール情報における決済時間20の設定値等を把握し、それに従って手続きの処理を行う。また、QRコード8内に直接的に決済ルール情報が記述される形態に限らず、QRコード8内のリンク情報やアドレス情報等からサーバ12等の外部装置に持つ決済ルール情報を参照する形態としてもよい。
 変形例として、QRコード8には、店舗情報の一部として、有人店舗/無人店舗等の店舗属性が記述されていてもよい。情報端末3は、QRコード8の認識から店舗属性を把握し、その店舗属性に応じて手続きの処理を行うように制御する。例えば、店舗1が有人店舗か無人店舗かに応じて、前述の決済処理完了確認情報の表示の有無等を自動的に制御できる。また、QRコード8内に、店舗1に備える設備や機能の情報が記述されていてもよい。例えば、店舗1が有人店舗の場合で、ストア端末7における種類や付属設備(例えばQRコードリーダ等)や機能等の情報が、QRコード8から得られる。情報端末3は、得た情報に従って手続きの処理を制御する。
 <実施の形態2>
 図5,図6を用いて、本発明の実施の形態2のキャッシュレス決済システム等について説明する。以下では、実施の形態2等における実施の形態1とは異なる構成部分について説明する。実施の形態2等において、図1のシステムや図3の情報端末における多くの部分は共通に適用できる。
 [2-1:表示画面]
 図5は、実施の形態2でのキャッシュレス決済の過程における情報端末3の表示画面300の例を示す。実施の形態2の例では、QRコード8と購入金額9との2つの要素について、カメラ30による動画として撮影する方式を用いる。購入者2は、最低限の操作として、適宜にカメラ30の撮影ボタンを押す。情報端末3は、購入者2の操作に基づいて、カメラ30において動画モードあるいは連続コマ撮りモードを用いて動画または連続する複数の静止画を撮影する。この際、動画を構成する複数の画像の中に、図1のQRコード8と購入金額9とが捉えられるようにすればよい。同一画像内にQRコード8と購入金額9とが同時に捉えられてもよいし、別々の画像内に捉えられてもよい。動画内において、例えば、時間的に先の第1画像にQRコード8が捉えられ、後の第2画像に購入金額9が捉えられてもよい。そして、情報端末3は、動画の画像から前述の2つの情報である決済先情報と決済金額とを認識する。
 図5の(A)は、情報端末3の表示画面300において、カメラ30による動画の画像から、特に第1画像から、QRコード8に対応する領域501が捉えられ、認識された状態を示す。第1画像は、表示画面300でのモニタ画像としての画像P1と対応する。また、この表示画面300の例では、認識されたことを表す枠付けの画像g1が表示されている。
 実施の形態2で、QRコード8は、店舗1内でストア端末7とは異なる場所・位置に掲示されていてもよい。例えば、店舗1内で購入者2に関心を持ってもらいたい任意の位置に掲示されていてもよい。その位置は、例えば、新商品やセールス商品の隣でもよいし、(A)で例示しているように、購入者2の安全に係るAED500が配置されている位置の近くの位置でもよい。
 また、(A)の表示画面300内では、撮影モード503の画像も重畳表示されている。これは、カメラ30の撮影モードの1つとしての動画モードまたは連続コマ撮りモードを表す画像である。また、この表示画面300内では、QRコード8から認識によって得られた店舗情報504(例えば店舗名)の画像も重畳表示されている。店舗情報504の画像によって、このQRコード8に対応する決済先を、購入者2に伝えることができる。
 (B)の表示画面300は、カメラ30による動画の画像から、特に第2画像から、購入金額9に対応する領域502が捉えられ、認識されている状態を示す。第2画像は、表示画面300でのモニタ画像としての画像P2と対応する。また、この表示画面300の例では、購入金額9が認識できたことを表す枠付けの画像g2も重畳表示されている。
 (C)の表示画面300は、(A)のQRコード8と(B)の購入金額9との2つの情報が認識された後、一定の背景画像上に、決済時間20の画像が表示された状態を示す。実施の形態1と同様に、2つの情報の認識の直後に、決済時間20のタイマのカウントが開始される。また、この表示画面300の例では、店舗情報504の画像や、購入金額9の認識に応じた決済金額24の画像も表示されている。表示画面300での各種情報の画像表示は、実撮影画像上の重畳や合成による表示でもよいし、(C)のように一定の背景画像上の独立した表示としてもよい。実施の形態1と同様に、決済時間20の満了によって決済命令が発行される。
 (D)の表示画面300は、サーバ12でのキャッシュレス決済処理の完了に応じた決済処理完了確認情報を表示する例を示す。情報端末3は、サーバ12からの決済処理完了確認情報の通知を受けると、表示画面300内に、メッセージ21とキーコード25を表示する。この表示画面300の例では、一定の背景上にメッセージ21とキーコード25が表示されている。また、本例では、(C)から、店舗情報504および決済金額24の画像の表示がそのまま維持されている。これにより、購入者2は、キャッシュレス決済の内容および完了を確認できる。購入者2は、この画面を店員5に見せ、これにより、店員5側もキャッシュレス決済の完了を確認できる。
 [2-2:処理フロー]
 図6は、実施の形態2における情報端末3のアプリ41による処理フローを示す。図6のフローは、図4のフローに対し主に異なる部分として、ステップS11の代わりにステップS11Bを有する。ステップS11Bで、情報端末3は、カメラ30を動画モードとして動画の撮影を開始する。動画の撮影画像データは、図3のRAM38に格納されるが、容量を考慮して一定周期で上書きされる。ステップS12で、情報端末3は、その時点の動画の画像をスキャンしてQRコード8から決済先情報を認識する。ステップS13で、情報端末3は、QRコード8が認識できるまで(YES)、ステップS12のスキャンを繰り返す。画像中にQRコード8が写っていない場合や、写っていても認識できなかった場合(S13-NO)にはステップS12に戻る。決済先情報の認識結果は、RAM38に保持される。
 ステップS14で、情報端末3は、その時点の画像から、購入金額9に対応する決済金額を認識する。ステップS15で、情報端末3は、決済金額が認識できるまで(YES)、ステップS14のスキャンを繰り返す。画像中に購入金額9が写っていない場合や写っていても認識できなかった場合(S15-NO)にはステップS14に戻る。決済金額の認識結果は、RAM38に保持される。
 情報端末3は、決済先情報と決済金額との2つの情報が認識できた時点で、ステップS16で、決済時間20を表示画面300に表示し、タイマのカウントを開始させる。以降のステップは、実施の形態1と同様である。
 [2-3:効果等]
 以上のように、実施の形態2によれば、実施の形態1と同様の効果に加え、動画撮影とすることで、複数回の静止画の撮像の操作を簡略化できる。また、動画内に2つの情報を捉えることができればよいので、店舗1内でのQRコード8と購入金額9との掲示の場所・位置に対する自由度も向上できる。
 実施の形態2の変形例として以下も可能である。変形例では、情報端末3は、機能として、実施の形態1のように静止画を用いて決済を行うモードと、実施の形態2のように動画を用いて決済を行うモードとの2つが用意され、ユーザが設定等によってそれらからモードを選択して利用できる。
 変形例として、カメラ30による動画の撮影の際に、例えば図5の(A)のようにQRコード8が認識され画像g1が表示された状態が一定時間以上維持されること、あるいは図5の(B)のように購入金額9が認識されて画像g2が表示された状態が一定時間以上維持されること、の少なくとも一方を、キャッシュレス決済の継続または実行のための条件の1つとして規定してもよい。例えば、情報端末3は、QRコード8が認識された状態が一定時間以上維持できた場合に、次の購入金額9の認識の手順に移行させる。また、情報端末3は、購入金額9が認識された状態が一定時間以上維持できた場合に、決済時間20の表示に移行させる。また、情報端末3は、例えば購入金額9の認識後、その購入金額9が写っている画像上に決済時間20の画像を重畳表示し(例えば図2の(A)と概略同様)、決済時間20の待ちの際に、その購入金額9が写っている状態を維持させてもよい。その決済時間20の待ちの途中で、購入者2が情報端末3を動かして、カメラ30の画像内に購入金額9が写らない状態になった場合、情報端末3は、その状態をキャンセル動作として扱ってもよい。
 <実施の形態3>
 図7~図9を用いて、本発明の実施の形態3について説明する。実施の形態3において、図3の情報端末3は共通に適用できる。実施の形態3では無人店舗等での決済の場合を示す。
 [3-1:キャッシュレス決済システム]
 図7は、実施の形態3のキャッシュレス決済システムの構成を示す。実施の形態3では、店舗1は、小規模な店舗や、例えば商品特売所等の無人店舗であり、ストア端末7等の設備は不要であり設けられていない。実施の形態3では、そのような店舗1で購入者2がセルフ決済を行う。購入者2は、店舗1で所望の複数の商品6の情報をカメラ30の操作によって読み取る。それによる購入金額9の合計が、1回のキャッシュレス決済における決済金額となる。
 店舗1の商品棚50には、商品6(例えば商品61~64)が並んでいる。商品61~64には、購入金額9に対応する金額等の情報が記載された値札6b(6b1~6b4)が、シールの貼り付け等の態様で設けられている。商品棚50の一部、例えば購入者2に向く側の前面の一部には、QRコード8が掲示されている。QRコード8の掲示の位置はこれに限らず可能である。
 購入者2は、掲示されているQRコード8を、情報端末3のカメラ30によって撮影する。情報端末3は、撮影画像からのQRコード8の認識によって決済先情報を得る。次に、購入者2は、商品棚50の商品6のうち、購入する所望の1つ以上の商品6の値札6bを撮影する。この撮影は、実施の形態1と同様に複数回の静止画の撮影としてもよいし、実施の形態2と同様に動画の撮影としてもよい。購入する商品6が複数ある場合、購入者2は、その商品6に対応する値札6bの撮影を複数回繰り返してもよいし、1つの画像内に複数の値札6bが捉えられる場合にはそれでもよい。情報端末3は、撮影画像内から各値札6bをスキャンして各商品6の購入金額9を認識する。情報端末3は、認識した1つ以上の購入金額9の合計を、決済金額として算出する。
 なお、変形例として、情報端末3は、撮影画像から、色や形状等の解析によって、個別の商品6を認識し、その認識した商品6に基づいて、自動的に購入金額9を割り出してもよい。例えば、情報端末3は、情報端末3内またはネットワーク11上のサーバ等にある商品DBを参照し、認識した商品6とその金額を含む情報を取得してもよい。
 情報端末3は、上記のようにQRコード8の決済先情報と購入する商品6の決済金額との2つの情報を認識した後、表示画面300に決済時間20を表示し、決済時間20の満了後、決済命令を発行する。
 [3-2:表示画面]
 図8は、実施の形態3でのキャッシュレス決済の過程における情報端末3の表示画面300の例を示す。本例では、複数回の静止画の撮影の場合を示すが、動画撮影の場合でも同様に実現できる。図8の(A)の表示画面300は、携帯端末3のカメラ30によって図7のQRコード8が捉えられて認識されている状態を示す。この表示画面300では、第1時点で撮影された第1画像において、商品棚50のQRコード8に対応する領域801が認識され、また、QRコード8が認識されたことを表す画像g1や、QRコード8から得られた店舗情報804の画像も表示されている。
 図8の(B)の表示画面300は、携帯端末3のカメラ30によって、購入対象である第1商品、例えば図7の商品61とその値札6b1が捉えられて認識されている状態を示す。この表示画面300では、第2時点で撮影された第2画像において、商品61の値札6b1の購入金額9の領域802が認識されて、画像g2が表示されている。また、この表示画面300では、値札6b1から認識された1個の商品61の購入金額9(例えば¥220)を表す画像情報805と、その時点までの購入金額9の合計金額である決済金額(例えば¥220)の画像情報806とが、例えば表示画面300内の上側の領域に重畳表示されている。また、表示画面300の例えば下側の領域には、決済時間20の画像821が表示されている。この画像821は、第1商品までのキャッシュレス決済を行う場合の決済時間20の画像であり、後述するが、この決済時間20の満了前に次の第2商品の購入金額9の認識がされた場合には、決済実行にはならず、(C)のような表示に更新される。
 図8の(C)の表示画面300は、携帯端末3のカメラ30によって、第2商品、例えば商品64とその値札6b4が認識されている状態を示す。この表示画面300には、第3時点で撮影された第3画像において、商品64の購入金額9(例えば¥64)の画像情報805とその時点の合計の決済金額(例えば¥284)の画像情報806とが重畳表示されている。また、この表示画面300では、第2商品の購入金額9の認識に応じて、決済時間20の表示が更新されて画像822となっている。(B)の決済時間20のタイマのカウントは、第2商品の購入金額9の認識に応じてリセットされ、(C)の決済時間20のタイマのカウントが開始される。本例では、決済時間20は、購入者2による金額等の確認のための時間的余裕を考慮して、例えば10秒として設定されている。決済時間20が満了した時点で、自動的に決済命令が発行される。
 図8の(D)の表示画面300は、決済処理完了確認時の表示例を示す。この表示画面300では、一定の背景上に、店舗情報804、決済金額の画像情報806、決済処理完了確認のためのメッセージ21、およびキーコード25が表示されている。これにより、購入者2は、キャッシュレス決済の内容と完了を確認できる。無人店舗の場合、これでキャッシュレス決済の手続きが完了する。有人店舗の場合、購入者2は(D)の表示画面300を店員5に見せて、店員5が確認を行えばよい。
 [3-3:処理フロー]
 図9は、実施の形態3でのアプリ41による処理フローを示す。図9のフローは、前述のフローに対し異なる構成点としては、ステップS31,S32,S33を有する。ステップS10の後、ステップS31で、携帯端末3は、カメラ30による撮影として、例えば第1画像をキャプチャする。ステップS12で、携帯端末3は、第1画像からQRコード8の内容である決済先情報を認識する。QRコード8が認識された場合(YES)、ステップS32で、携帯端末2は、カメラ30による撮影として、第2画像をキャプチャする。ステップS14で、携帯端末3は、第2画像から商品6の値札6bに基づいて購入金額9を認識する。携帯端末3は、購入金額9が認識された場合(S15-YES)、ステップS16で、その時点までの各商品6の購入金額9の合計による決済金額を算出して表示するとともに、決済時間20を表示してタイマを起動させる。
 ステップS17で、携帯端末3は、所定のキャンセル動作(例えばシェイク動作)を検出した場合(YES)にはステップS31へ戻る。ステップS18で、携帯端末3は、決済時間20のタイマが満了したかを確認し、満了前の場合(NO)、ステップS33で、カメラ30による新たな撮像の動作が有るかどうかを確認する。これは、前述のように購入者2が連続的に次の商品6を購入する場合に対応する確認である。撮像の動作が有る場合(YES)にはステップS32に戻り、無い場合(NO)にはステップS17に戻る。ステップS32に戻った場合、携帯端末3は、新たな画像(例えば第3画像)をキャプチャし、ステップS14以下の処理を同様に繰り返す。その場合、ステップS16での決済時間20の表示の更新の際には、タイマのカウントがリセットされる。決済時間20のタイマが満了した場合(YES)、ステップS19で、携帯端末3は、決済命令を発行する。以降の処理は前述と同様である。
 [3-4:効果等]
 以上のように、実施の形態3によれば、実施の形態1,2と同様の効果に加え、無人店舗等の場合でも有人店舗の場合とほぼ同様の方式でキャッシュレス決済が可能である。実施の形態3では、店舗1側の設備としては、キャッシュレジスタ等のストア端末7の設備を必要とせず、よって、設備投資の少ない店舗1への適用に好適である。
 実施の形態3の変形例として以下も可能である。まず、図7で、店舗1内の商品6に値札6bとして商品管理用のバーコード等が記載されたタグが設けられている場合、以下のように対応できる。携帯端末3は、カメラ30の画像に基づいて、QRコード8から決済先情報を認識した後、購入する商品6の値札6bからバーコードを認識して、購入金額等の情報を得る。携帯端末3は、表示画面300にその購入金額や、合計による決済金額等の情報を表示する。そして、携帯端末3は、決済時間20を表示し、前述と同様に処理を行う。
 実施の形態3では、図8のように購入する商品6毎の購入金額9の認識に応じて決済時間20を更新する構成を示したが、これに限らず可能である。変形例では、情報端末3は、表示画面300内に、合計金額すなわち決済金額を算出および表示させるためのボタン等のGUI部品を設ける。このボタンは、言い換えれば、決済実行へ移行させる指示のためのボタンである。情報端末3は、購入者2がそれらのボタン等を操作した場合、表示画面300にはじめて決済時間20を表示し、タイマのカウントを開始し、満了後に決済命令を発行する。他の変形例としては、携帯端末3は、決済時間20の経過後に、表示画面300に、最終確認用の決済命令発行のためのボタン等を表示し、そのボタン等の操作に応じて決済命令を発行してもよい。
 <実施の形態4>
 図10を用いて、本発明の実施の形態4について説明する。実施の形態4では、情報端末3としてHMD(ヘッドマウントディスプレイ)やウェアラブル端末を用いる場合を示す。
 [4-1:キャッシュレス決済システム]
 図10は、実施の形態4のキャッシュレス決済システムの構成を示す。このキャッシュレス決済システムは、購入者2の情報端末3(キャッシュレス決済端末)を構成する2台のデバイスを有し、それらのうち第1情報端末としてのHMD3Aと、第2情報端末としてのウェアラブル端末3Bとを有する。HMD3Aは、購入者2が頭部に装着し、購入者2の視界に対応させた表示画面300A(例えばシースルー型の表示面)に、拡張現実(AR)等に対応する画像を表示可能な機能を持つデバイスである。ウェアラブル端末3Bは、例えば購入者2が腕部に装着するスマートウォッチであり、表示画面300Bに画像を表示可能である表示機能を有する。ウェアラブル端末3Bは、表示機能を用いて、店員5に対し前述の決済処理完了確認情報を見せることができる。
 HMD3Aとウェアラブル端末3Bは、例えばBluetooth(登録商標)等の通信インタフェースによる低電力通信・近距離通信で接続され、両者が連携して機能する。HMD3Aは、アプリ(キャッシュレス決済アプリ)41Aおよびカメラ70等を備える。ウェアラブル端末3Bは、アプリ41Aと連携するアプリを備えてもよい。ウェアラブル端末3Bは、表示機能を持つデバイスであればよく、他にはスマートフォン等でもよい。
 購入者2は、キャッシュレス決済の際には、HMD3Aのカメラ70によって、QRコード8と購入金額9を撮影する。HMD3Aは、カメラ70の撮影画像から、QRコード8の認識によって決済先情報を取得し、購入金額9の認識によって決済金額を取得する。HMD3Aは、2つの情報を認識すると、表示画面300Aに決済時間20を表示し、決済時間20の満了に応じて決済命令をサーバ12に送信する(信号4a)。サーバ12は、受信した決済命令における、購入者2および情報端末3(HMD3A)の情報と、決済先情報と、決済金額情報とを用いて、キャッシュレス決済処理を実行する。サーバ12は、決済処理完了確認情報をHMD3Aに送信する(信号4b)。サーバ12は、情報端末3側と対応させた決済処理完了確認情報をストア端末7に送信してもよい(信号4c)。
 HMD3Aは、サーバ12から受信した決済処理完了確認情報に基づいて、キーコード等の情報を信号4dとしてウェアラブル端末3Bに転送する。ウェアラブル端末3Bは、そのキーコード等の情報を表示画面300Bに表示する。購入者2は、ウェアラブル端末3Bの表示画面300Bに表示されたキーコード等の情報を店員5に見せる。これにより、購入者2と店員5は、キャッシュレス決済処理の完了が確認できる。
 [4-2:表示画面]
 図11は、実施の形態4でのキャッシュレス決済の過程におけるHMD3Aおよびウェアラブル端末3Bの表示画面例を示す。図11の(A)は、HMD3Aでの表示画面300Aの例を示す。この表示画面300Aでは、カメラ70の撮影画像の中から、QRコード8の領域1101が認識されて、枠等の画像g1が表示され、また、購入金額9の領域1102が認識されて、枠等の画像g2が表示されている。さらに、この表示画面300Aでは、それらの2つの情報の認識に応じて、例えば上側の領域に、決済時間20の画像が重畳表示されている。HMD3Aは、決済時間20が満了した時、決済命令を発行してサーバ12に送信する。
 図11の(B)は、HMD3Aでの決済処理完了確認情報を表示する表示画面300Aの例を示す。この表示画面300Aでは、サーバ12から受け取った決済処理完了確認情報に基づいて、メッセージ21およびキーコード25が重畳表示されている。これにより、購入者2は、キャッシュレス決済処理の完了を確認できる。HMD3Aは、決済処理完了確認情報のうちのキーコードと決済金額とを含む情報をウェアラブル端末3Bに転送する(信号4d)。
 図11の(C)は、ウェアラブル端末3Bの表示画面300Bの例を示す。ウェアラブル端末3Bは、HMD3Aから受信した情報に基づいて、表示画面300Bに、キーコード25と決済金額24とを表示する。購入者2は、この表示画面300Bを店員5に見せる。これにより、店員5もキャッシュレス決済処理の完了を確認できる。ストア端末7の店員5側の表示装置にサーバ12からの決済処理完了確認情報のキーコード等が表示されている場合、店員5は、そのキーコードと、購入者2側の表示画面300Bのキーコード25とを比較して確認ができる。なお、実施の形態4を無人店舗に適用する場合、ウェアラブル端末3Bの表示画面300Bを店舗1側の店員5に見せる手順については省略される。
 [4-3:HMD]
 図12は、HMD3Aの外観構成例を示す。HMD3Aは、カメラ70、測距デバイス71、投影光学系72(72a,72b)、レンズやスクリーン等の表示光学系73、ノーズパッド74、コントローラ75、スピーカ76、マイク77、フレーム筐体78(78a,78b,78c)等を有する。フレーム筐体78(78a,78b,78c)には、コントローラ75、カメラ70、測距デバイス71、スピーカ76、およびマイク77等が配置されている。配置は図12の通りでなくてもよい。ユーザは、フレーム筐体78とノーズパッド74によってHMD3Aを顔部に装着する。
 カメラ70は、ユーザの視線前方を撮影するように取り付けられている。測距デバイス71は、カメラ70の撮影画像が捉える現実空間の現実物体との距離を測定する。測距デバイス71は、現実物体の輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでもよいし、TOF(Time Of Flight)方式のように2次元的に光線を照射して距離を計測するものでもよい。測距デバイス71は、HMD3Aと撮影される現実物体との距離を測定できるものであればよい。
 HMD3Aの表示部(表示画面300A)は、投影光学系72と表示光学系73によって構成されている。投影光学系72(72a,72b)は、コンピュータグラフィックス等で作成した仮想物体の画面(対応する仮想画像)を、左目で確認する画像と右目で確認する画像として、表示光学系73に投影して表示する。購入者2は、前方の風景や現実物体を、表示光学系73を透過して見ることができ、投影光学系72から投影する仮想物体の画面は、表示光学系73を介して、現実空間の現実物体と区別しやすい任意の位置に表示させることができる。HMD3Aは、測距デバイス71による測拒情報を用いて、選択した位置に仮想物体の画面を表示してもよい。なお、測距デバイス71が無い構成でもよい。この場合、仮想物体の画面は、現実空間内のプリセットした位置に表示される。
 コントローラ75は、カメラ70で撮影した現実空間の画像、測距デバイス71で取得した現実物体等の現実空間内の位置データを取り込み、内部のメモリやCPUに供給する。さらに、コントローラ75は、投影光学系72で投影する画像や、スピーカ76に出力する音を作成する。
 図13は、HMD3Aの機能ブロック構成例を示す。HMD3Aのコントローラ75は、通信部83、CPU84、RAM85、画像RAM86、フラッシュROM87、距離算出処理部81、センサ群82等を有し、これらが内部バス80に接続されている。また、内部バス80には、カメラ70、測距デバイス71、投影光学系72、表示光学系73、スピーカ76、マイク77等が接続されている。HMD3Aは、ジャイロセンサ、加速度センサ、地磁気センサ、位置センサ(GPS受信器)、視線検出センサ等を含むセンサ群82を内蔵している。コントローラ75は、センサ群82の検出情報を用いながら制御を行う。
 投影光学系72は、左側の投影光学系72aによる左目の画像と右側の投影光学系72bによる右目の画像とを独立に表示光学系73に投影させる。投影光学系72は、他に、1つのプロジェクタでインタリーブした左目の画像と右目の画像を投影し、シャッタ光学系で、左目の画像と右目の画像をそれぞれの目に透過させるものであってもよい。さらには、投影光学系72は、ホログラフィックレンズを用いた光学系としもよい。
 通信部83は、モバイル通信、無線LAN、近距離通信等の複数の通信インタフェースに対応する複数の通信機能を有する。近距離通信は、例えばBluetooth(登録商標)等を適用できる。通信部83は、HMD3Aを、図1の基地局10を介してネットワーク11に接続する。また、通信部83は、BlueTooth通信等によって、ウェラブル端末3Bとの間で一対一通信を行う。
 フラッシュROM87には、格納されている処理プログラムとして、基本動作プログラム88や、アプリ(キャッシュレス決済アプリ)41Aが含まれる。CPU84によってこれらのプログラムがRAM85に展開されてそのプログラムに従った処理が実行されることで、HMD3Aの各機能が実現される。また、フラッシュROM87には、プログラム処理の過程および結果で発生するデータを格納できる。また、投影光学系72に送出する画像データは、画像RAM86に格納され、画像RAM86から読み出される。
 [4-4:処理フロー]
 図14は、実施の形態4でのアプリ41Aの処理フローを示す。HMD3Aは、ステップS50で、アプリ41Aを起動し、サーバ12にログインする。ステップS51で、HMD3Aは、カメラ70による撮影(なお静止画でも動画でもよい)を行い、撮影画像をRAM85にキャプチャする。ステップS52で、HMD3Aは、撮影画像をスキャンしてQRコード8を認識して決済先情報を取得する。QRコード8の認識ができない場合(S53-NO)にはステップS51に戻る。QRコード8の認識ができた場合(S53-YES)、ステップS54で、HMD3Aは、撮影画像をスキャンして購入金額9に対応する決済金額を認識する。購入金額が認識できない場合(S55-NO)にはステップS51に戻る。
 ステップS56で、HMD3Aは、表示画面300Aに決済時間20を表示し、タイマを起動させる。ステップS57で、HMD3Aは、決済時間20の途中にキャンセル動作を検出した場合(YES)にはステップS51に戻る。実施の形態4では、このキャンセル動作は、例えば、購入者2が頭部(対応するHMD3A)を振るシェイク動作である。アプリ41Aには、予め、そのシェイク動作がキャンセル動作として設定されている。HMD3Aは、センサ群82によってシェイク動作を検出できる。
 ステップS58で、決済時間20のタイマが満了した場合(YES)、ステップS59で、HMD3Aは、決済命令を発行してサーバ12へ送信する。ステップS60で、HMD3Aは、サーバ12からの決済処理完了確認情報を受けると、表示画面300Aに、図11の(B)の例のように、決済処理完了確認情報を表示する。ステップS61では、HMD3Aは、決済処理完了確認情報におけるキーコードと決済金額とを含む情報をウェアラブル端末3Bへ転送する。ウェアラブル端末3Bは、HMD3Aから受信した情報に基づいて、表示画面300Bに、決済処理完了確認情報におけるキーコードと決済金額とを表示する。ステップS62で、手続きを継続する場合(YES)にはステップS51に戻り、終了する場合(NO)には、ステップS62で、HMD3Aは、サーバ12からログアウトして、アプリ41Aを終了させる。
 [4-5:効果等]
 以上のように、実施の形態4によれば、実施の形態1等と同様の効果に加え、購入者2は、図10のような2つのデバイスを用いることで、商品6の購入に伴うキャッシュレス決済をハンズフリーで行うことができる。
 <実施の形態5>
 図15を用いて、本発明の実施の形態5について説明する。実施の形態5では、音声信号を用いる場合を示す。
 [5-1:キャッシュレス決済システム]
 図15は、実施の形態5のキャッシュレス決済システムの構成を示す。図15の構成は、図10の構成と主に異なる点として、購入者2は、HMD3Aを装着しているがウェアラブル端末3Bを装着していない点がある。また、購入者2(またはHMD3A)から、音声信号1501によって、決済処理完了確認情報(例えばキーコード)を店員5に伝える点がある。
 [5-2:表示画面]
 実施の形態5でのキャッシュレス決済の過程におけるHMD3Aの表示画面300Aの例は、前述の図11の(A),(B)と同様である。実施の形態5では、購入者2は、サーバ12からHMD3Aに得て表示画面300Aに表示された決済処理完了確認情報におけるキーコード25(例えば図11の(B))を、購入者2による発声によって、音声信号1501として、店員5に伝える。
 本例では、キーコード25は、図11の(B)のように、複数(例えば4個)の英数字列から構成されている。購入者2は、キーコード25の複数の英数字列の中から、任意の1つを選び、あるいは、予め定められた箇所(例えば最も下の4桁)の英数字列を選び、選んだ英数字列を、音声信号1501によって店員5に伝える。店員5は、音声信号1501によって伝えられた英数字列と、ストア端末7の店員5側の表示装置に表示された決済処理完了確認情報のキーコードとから、キャッシュレス決済の完了を確認する。
 [5-3:処理フロー]
 実施の形態5でのHMD3Aのアプリ41Aによる処理フローは、図4の実施の形態1のフローや図14の実施の形態4のフローと概略同様であるが、異なる点としては以下がある。図14のフローのステップS60の後、ステップS61の代わりに、購入者2は、HMD3Aの表示画面300Aに表示された決済処理完了確認情報におけるキーコード25(例えば図11の(B))を、音声信号1501によって店員5に伝える。
 [5-4:効果等]
 以上のように、実施の形態5によれば、購入者2は、ウェアラブル端末3Bを必要とせず、HMD3Aによって、商品の購入に伴うキャッシュレス決済をハンズフリーで行うことができ、店舗属性に係らずにほぼ同一の方式でキャッシュレス決済を行うことができる。
 実施の形態5の変形例として以下も可能である。HMD3Aが音声合成および音声出力機能を持つ場合、HMD3Aがその機能を用いて、決済処理完了確認情報におけるキーコード25を音声信号1501に変換して出力してもよい。この場合、購入者2による発声を省略できる。
 <実施の形態6>
 図16,図17を用いて、本発明の実施の形態6について説明する。実施の形態6において、図1のシステムや図3の情報端末3等が概ね共通に適用できる。
 [6-1:表示画面]
 図16は、実施の形態6でのキャッシュレス決済の過程における情報端末3の表示画面300の例を示す。情報端末3のカメラ30は、撮像の際、図1のようなストア端末7を捉えて、表示画面300に映し出す。図16の表示画面300では、撮影画像の中からQRコード8の領域1601と購入金額9の領域1602が認識されており、枠等の画像g1,g2も表示されている。さらに、情報端末3は、この表示画面300に、GUI部品として、決済取消ボタン1611と決済実行ボタン1612とを表示し、購入者2に操作を促している。情報端末3は、購入者2による決済取消ボタン1611の押下操作を受けた場合、決済の手続きをキャンセルするように制御する。情報端末3は、購入者2による決済実行ボタン1612の押下操作を受けた場合、決済命令を発行しサーバ12に送信する。サーバ12での決済処理の完了後、情報端末3で決済処理完了確認情報を表示する表示画面300の例は、前述の図2の(B)と同様となる。このように、実施の形態6では、情報端末3は、2つの情報の認識後、前述の決済時間20の表示を省略し、決済実行ボタン1612等を表示する。
 [6-2:フロー]
 図17は、実施の形態6での情報端末3のアプリ41による処理フローを示す。図17のフローは、図4の実施の形態1のフローと異なる点として、前述のステップS16~S18の代わりに、ステップS601~S603を有する。情報端末3は、QRコード8と購入金額9との2つが認識された後(S15-YES)、ステップS601で、図16の表示画面300のような決済前画面を表示する。ステップS602では、情報端末3は、決済前画面での決済取消ボタン1611の操作が有る場合(YES)、ステップS11に戻る。ステップS603では、情報端末3は、決済実行ボタン1612の操作が有る場合(YES)にはステップS19に進み、無い場合(NO)にはステップS602に戻る。ステップS19で、情報端末3は、決済命令を発行する。
 [6-3:効果等]
 以上のように、実施の形態6では、決済時間20を待つことの代わりに、購入者2による決済実行ボタン1612等の入力操作となり、実施の形態1と同様の効果が得られる。なお、実施の形態6の変形例として、情報端末3の表示画面300に、実施の形態1のように決済時間20を表示すると共に、図16のように決済実行ボタン1612等を表示してもよい。この場合、購入者2は、決済時間20の途中でボタンを操作する場合には決済のキャンセルまたは実行が可能であると共に、決済時間20の満了時には自動的に決済の実行が可能である。
 <実施の形態7>
 図18を用いて、本発明の実施の形態7について説明する。実施の形態7では、図10の実施の形態4や図15の実施の形態5と同様に、HMDを用いる。
 [7-1:表示画面]
 図18は、実施の形態7でのキャッシュレス決済の過程におけるHMD3Aの表示画面300Aの例を示す。図18の表示画面300Aは、カメラ70の撮影画像の中からQRコード8の領域1801と購入金額9の領域1802が認識されており、枠等の画像g1,g2も表示されている。さらに、HMD3Aは、表示画面300Aに、GUI部品として、「ジェスチャ1で決済取消」ボタン1811と、「ジェスチャ2で決済実行」ボタン1812とを表示し、購入者2に操作を促す。予め、HMD3Aのカメラ70やセンサ群82(図13)によって検出可能である所定のジェスチャが規定されている。例えば、第1ジェスチャ(「ジェスチャ1」)は、HMD3Aの表示画面300Aの前にユーザが指を置き、その指を左方向に動かす動作であり、第2ジェスチャ(「ジェスチャ2」)は、指を右方向に動かす動作である。これらのジェスチャの詳細については限定せず、カメラ70等を用いて区別して検出できるジェスチャであればよい。
 購入者2は、表示画面300Aを見て、所定のジェスチャによって、決済に係わる操作を行う。購入者2は、決済を取り消す場合には「ジェスチャ1」を行い、実行する場合には「ジェスチャ2」を行う。HMD3Aは、購入者2による「ジェスチャ1」を認識した場合には、「ジェスチャ1で決済取消」ボタン1811を押すように表示状態を更新し、決済をキャンセルする。HMD3Aは、「ジェスチャ2」を認識した場合には、「ジェスチャ2で決済実行」ボタン1812を押すように表示状態を更新し、決済命令を発行する。決済完了確認時の表示画面300Aは、例えば図11の(B)と同様となる。
 変形例として、HMD3Aが視線センサを備える場合には、視線センサによって購入者2の視線を検出し、予め規定された視線操作を検出した場合に、上記のような決済取り消しまたは決済実行と対応付けて制御してもよい。視線操作は、例えば、視線が左を向く操作や右を向く操作が挙げられる。あるいは、他の視線操作は、「ジェスチャ1で決済取消」ボタン1811等を注視する操作としてもよい。
 [7-2:フロー]
 実施の形態7でのHMD3Aのアプリ41Aによる処理フローは、実施の形態6の図17のフローと概略同様であるが、異なる点として、ステップS601~S603は、以下のようなステップとなる。ステップS601で、HMD3Aは、図18の表示画面300Aのような決済前画面を表示する。ステップS602で、HMD3Aは、「ジェスチャ1で決済取消」ボタン1811に対応する「ジェスチャ1」を検出した場合(YES)にはステップS11に戻る。ステップS63で、HMD3Aは、「ジェスチャ2で決済実行」ボタン1812に対応する「ジェスチャ2」を検出した場合(YES)にはステップS19へ進み、検出しない場合(NO)にはステップS602に戻る。
 [7-3:効果等]
 以上のように、実施の形態7によれば、HMDでのジェスチャを用いて、実施の形態6と同様の効果が得られる。
 <実施の形態8>
 図19を用いて、本発明の実施の形態8のキャッシュレス決済システム等について説明する。実施の形態1等では、時間的な順序として、先にQRコードの決済先情報を認識し、後に決済金額を認識する方式を示した。それに対し、実施の形態8では、時間的な順序として、先に決済金額を認識し、後にQRコードの決済先情報を認識する方式を示す。実施の形態8でも、実施の形態1の図1のような環境を同様に適用できる。
 [8-1:処理フロー]
 図19は、実施の形態8での情報端末3のアプリ41による処理フローを示す。本例では、カメラ30による撮影画像として動画を用いる場合を示すが、複数の静止画を用いる場合も同様に可能である。図19のフローは、図6の実施の形態2でのフローに対し、異なる点として、ステップS12~S15の代わりに、ステップS81~S84を有し、図示の通り、2つの情報の認識の順序が逆となっている。情報端末3は、ステップS11Bで、カメラ30による動画の撮影を開始する。情報端末3は、ステップS81で、動画のうちの第1画像からのスキャンによって購入金額9に対応する決済金額を認識する。購入金額9の認識が有る場合(YES)、ステップS82で、情報端末3は、動画のうちの第2画像からのスキャンによってQRコード8の決済先情報を認識する。なお、第2画像が第1画像と同じでもよい。すなわち1枚の画像から購入金額9とQRコード8との両方が認識できる場合にも、同様の判断が成立する。情報端末3は、上記2つの情報の認識後(S84-YES)、ステップS16以降の処理を前述の形態と同様に行う。
 [8-2:効果等]
 以上のように、実施の形態8でも、実施の形態1と同様の効果が得られる。実施の形態8の場合、1つ以上の購入金額9を認識した後、1つのQRコード8を認識すれば、決済時間20の表示へ遷移できる。
 [8-3:変形例]
 図20は、実施の形態1や実施の形態8に関する変形例における情報端末3の処理フローを示す。この変形例は、実施の形態1と実施の形態8を1つに併合した形態と捉えることができる。すなわち、この変形例は、カメラ撮影画像から図1のようなQRコード8と1つ以上の購入金額9との2種類の情報を認識する際に、それらの認識の順序がいずれであっても構わず、任意の順序で対応できるという構成を示す。
 図20のフローは、前述のフローの構成に対し、異なる点として、ステップS85,S86を有する。ステップS11Bで、情報端末3は、カメラ30による動画の撮影を開始する。ステップS85で、情報端末3は、動画のうちの任意の画像からのスキャンによって、QRコード8と購入金額9との2つの情報を、任意の順序で認識する。情報端末3は、ステップS86で、それらの両方の情報が認識できたか確認し、認識できるまで(S86-NO)、ステップS85に戻って繰り返す。2つの情報の認識後(S86-YES)、ステップS16以降の処理が、前述と同様に行われる。
 <実施の形態9>
 図21~図23を用いて、本発明の実施の形態9について説明する。実施の形態9は、実施の形態1等の変形例であり、購入金額の認識処理に関する詳細構成例を示す。
 [9-1:処理フロー]
 図21は、実施の形態9での情報端末3のアプリ41による処理フロー例を示す。このフローは、特に、実施の形態1の図4のフロー中のステップS14の購入金額の認識処理に関する詳細構成例を示す。この構成例は、各実施の形態のフローにおける同様のステップにも適用できる。この構成例は、店舗1の環境等に応じて、カメラ撮像画像内に真の購入金額9の文字列(数字列等)以外の文字列が含まれてしまう場合等に有効である。
 図22の情報端末3の表示画面300は、店舗1内のストア端末7の付近をカメラ30で撮影した場合の画像の一例を示す。本例では、ストア端末7に掲示されているQRコード8や購入金額9の近くに、広告物2200がある。この画像には、QRコード8の領域2201や購入金額9の領域2202だけでなく、広告物2200に記載の文字列2203(例えばセールス商品の金額)が写っている。このような場合に、画像内の複数の文字列から、正しい購入金額9を認識する必要がある。
 図21で、決済金額の認識のステップS14は、ステップS91,S92,S93,S94を有する。ステップS91では、情報端末3は、カメラ撮像画像から、文字列をスキャンして検出する。この際、図22の画像例では、購入金額9の領域2202の文字列と、広告物2200の文字列2203とが、候補として検出されることになる。ステップS91の際、情報端末3は、例えば、カメラ撮影画像内の領域において、それよりも小さいサイズの矩形領域を動かしながら探索して、その矩形領域に含まれる数字列を、候補文字列として検出する。
 なお、情報端末3は、撮影画像から数字列が認識できない場合には、例外的な処理として、音声認識機能を用いることで、店員5または購入者2が音声で読み上げた数字列を、購入金額9の候補文字列としてもよい。例えば、情報端末3は、画像から認識できない場合に、音声で読み上げるように、ガイダンスを購入者2等に出力してもよい。このように、画像認識とは別途に音声認識を利用する形態も可能である。また、それに限らず、カメラ撮影画像からの購入金額9の認識と並列に、最初から音声入力による音声認識を行う形態としてもよい。店舗1が有人店舗である場合で、店員5による音声情報が利用できる場合には、それを補助的に利用できる。
 ステップS92は、ステップS91で検出した候補文字列に関して、真の購入金額9に相当するかどうかを評価する処理のステップである。ステップS92は、詳細には、例えば、項目A~項目Eに対応して、ステップS92A~S92Eを有する。これらの各ステップは、評価項目毎の評価処理のステップである。情報端末3は、候補文字列毎に、評価項目毎の評価処理を行い、それぞれ評価値であるスコアを算出する。評価項目数やその処理内容は、これに限らず、より多くても少なくてもよい。また、評価処理を試みた結果、評価ができなかった項目が生じても構わない。
 ステップS92Aの項目Aの評価処理は、評価対象の数字列(候補文字列)を含むカメラ撮影画像において、背景に、ストア端末7(または表示装置7b)らしきものがあるかどうかに関する評価処理である。あるいは、その候補文字列とその近傍のストア端末7等の部分との距離の近さに関する評価処理である。情報端末3は、この評価処理の際、ストア端末7(または表示装置7b等)の形状や色のデータを用いてもよい。例えば、候補文字列の背景にストア端末7が写っている場合には、この項目Aのスコアが高くされる。
 ステップS92Bの項目Bの評価処理は、画像内で、候補文字列に対し、前後のいずれかに、特定の記号、例えば通貨記号(例えば“¥”や“円”等)があるかどうかに関する評価処理である。情報端末3は、この評価処理の際、予め設定された特定の記号を含む認識対象フォーマット情報に基づいて評価処理を行う。
 ステップS92Cの項目Cの評価処理は、画像内の候補文字列に対し、店員5または購入者2が音声で読み上げて音声認識結果として入力された数字列がある場合に、それらが等しいかまたは類似かどうかに関する評価処理である。
 ステップS92Dの項目Dの評価処理は、画像内の候補文字列の位置が、認識されたQRコード8の位置に対して近いかどうかに関する評価処理である。図22のように、店舗1内で購入金額9とQRコード8とがある程度近い位置に配置されている構成の場合、この項目Dの評価処理が行われる。例えば、検出された候補文字列の位置が、認識されたQRコード8の位置に対して近いほど、この項目Dのスコアが高くされる。
 ステップS92Eの項目Eの評価処理は、カメラ30の画像内における候補文字列の位置が、カメラ30の画像の中心位置に対し近いかどうかに関する評価処理である。中心に近いほど、この項目Eのスコアが高くされる。
 ステップS93は、ステップS92の評価の結果である候補文字列毎の評価項目毎のスコアに基づいて、総合的スコア、言い換えると総合的評価値を計算し、その総合的スコアから、最も購入金額9に相当すると推定される文字列を判断し選択する処理のステップである。ステップS93では、情報端末3は、例えば、候補文字列毎に、評価項目毎のスコアを重み付け加算したスコアを総合的スコアとして算出する。情報端末3は、得られた候補文字列毎の総合的スコアのうち、予め設定された最低限の総合的スコア閾値以上となるものの中から最大値のものを選択し、それに対応する候補文字列を、真の購入金額9と推定されるものとして決定する。なお、上記算出された総合的スコアにおいて、総合的スコア閾値未満のものしか無い場合、その画像には真の購入金額9が無いと判断され、他の画像からの評価処理を行うように制御される。
 ステップS94は、ステップS93の選択結果の候補文字列に従って、購入金額9に対応する決済金額を認識する処理のステップである。図22の例では、ステップS94までの結果、領域2202の数字列が、購入金額9として認識されることになる。
 [9-2:効果等]
 上記のように、実施の形態9によれば、カメラ画像内に複数の文字列が写るような場合でも、自動的に真の購入金額9を認識して、キャッシュレス決済を行うことができる。
 図23は、実施の形態9の変形例における情報端末3の表示画面300の例を示す。情報端末3は、図21の評価処理の結果に基づいて、この表示画面300で、総合的スコアの順序で、上位のいくつかの候補文字列(例えば総合的スコア閾値以上のもの)を、購入金額候補リスト2300として表示する。本例では、カメラ撮影画像上の下側領域に購入金額候補リスト2300の画像が重畳表示されている。本例では、購入金額候補リスト2300において、総合的スコア順に上位の3個の候補文字列が表示されている。1番上にある、総合的スコアが最も高かった候補文字列「¥12,765」は、例えば、仮選択状態とされて、それを表す枠等の画像g23を付けて強調表示されている。2番目の文字列「¥777」や3番目の文字列「36,958」は、評価対象画像に写っていた他の文字列である。購入者2は、この購入金額候補リスト2300中から、タッチ操作等の操作によって、1つの文字列(例えば「¥12,765」)を購入金額9として選択し設定できる。
 また、変形例として、情報端末3は、図示のように、表示画面300内に、GUI部品として、「次候補」ボタン2301や「選択」ボタン2302等を表示してもよい。「次候補」ボタン2301は、購入金額候補リスト2300中の複数の候補のうちの仮選択状態の1つの候補を、次(例えば1つ下)の候補に変更するためのボタンである。なお1番下の候補からは1番上の候補に巡回するように戻る。「選択」ボタン2302は、その時の購入金額候補リスト2300中の仮選択状態の候補を購入金額9として選択・決定するためのボタンである。
 他の変形例として、情報端末3は、図22の表示画面300の例で、カメラ画像から認識した各候補文字列の領域2201,2202を、例えば枠の画像を付ける等して強調表示する。そして、購入者2は、その表示画面300の画像から、自身が購入金額9として選択したい候補文字列の部分を、タッチ操作あるいは注視等の操作によって選択する。情報端末3は、購入者2が操作によって選択した候補文字列を、購入金額9として決定する。なお、上記のように表示画面300内のカメラ撮影画像から購入金額9を認識しようとする際に、一旦認識済みのQRコード8の部分については、その画像内に写っていない状態でもよい。
 <実施の形態10>
 図24~図26を用いて、本発明の実施の形態10について説明する。実施の形態10は、情報端末3とストア端末7との間で一部の通信を行う構成例を示す。
 [10-1:キャッシュレス決済システム]
 図24は、実施の形態10でのキャッシュレス決済システムの構成を示す。この構成は、図1と多くの部分は同様であるが、異なる構成点として、情報端末3とストア端末7との間で一部の情報に関する通信を行う点がある。本例では、情報端末3は、ストア端末7から、例えば近距離無線通信によって決済金額情報を取得する。この決済金額情報は、購入金額9(対応する決済金額)に関する情報である。信号4eおよび信号4fは、その通信の際の信号例である。信号4eは、情報端末3からストア端末7へ決済金額情報の要求を送信する場合の信号や、キーコード情報を送信する場合の信号である。信号4fは、ストア端末7から情報端末7へ応答として決済金額情報を送信する場合の信号である。
 また、実施の形態10では、情報端末3のカメラ30による撮影画像としては、少なくともQRコード8を捉えればよく、表示装置7dに表示された購入金額9の撮影は必須ではない。例えば、情報端末3は、カメラ30の画像からQRコード8のみを認識して決済先情報を得る。なお、QRコード8内に、情報端末3からストア端末7へ通信でアクセスするための情報(例えばストア端末7の通信ID等)が記述されていてもよい。
 また、実施の形態10では、情報端末3での決済処理完了確認情報の表示の際、前述のキーコード(例えば図2の(B)のキーコード25)の情報を、上記近距離無線通信によって、ストア端末7に送信してもよい。ストア端末7は、受信したキーコードを、店員55側の表示画面に表示する。
 [10-2:処理フロー]
 図25は、実施の形態10での情報端末3の処理フローを示す。図25のフローは、図6のフローに対し異なる点としては、ステップS101,S102,S103を有する。例えば、ステップS11Bで、情報端末3は、カメラ30による動画の撮影を開始する。ステップS12で、情報端末3は、カメラ撮影画像からQRコード8を認識し、決済先情報等を得る。QRコード8が認識できた場合(S13-YES)、ステップS101で、情報端末3は、自動的に、ストア端末7の通信ID等を用いて、ストア端末7との間での近距離無線通信による無線接続を要求する。この際の通信は、例えばBluetooth(登録商標)を用いることができる。この無線接続要求に基づいて、情報端末3とストア端末7との間での無線接続が確立される。確立に基づいて、情報端末3は、ストア端末7に、決済金額情報の要求を信号4eとして送信する。ストア端末7は、要求に対し、ストア端末7で読み取った1つ以上の購入金額9の合計による決済金額を含む決済金額情報を、応答の信号4fとして情報端末3へ送信する。情報端末3は、その決済金額情報を受信して取得し、決済金額として把握する。情報端末3は、表示画面300に、ストア端末7から得た決済金額の情報を表示してもよい。
 また、次のステップS102では、情報端末3は、カメラ30の撮影画像から、ストア端末7の表示装置7bに表示されている購入金額9の文字列が認識できた場合には、その購入金額9の文字列も取得して表示画面300内に画像情報を表示してもよい。このステップS102を省略する形態としてもよい。
 その後、ステップS15で、情報端末3は、キャッシュレス決済処理に使用するための決済金額が認識・取得できたかを確認し、認識・取得できた場合(YES)にはステップS16へ進み、認識・取得できない場合(NO)にはステップS102へ戻る。特に、情報端末3は、ステップS101でストア端末7から取得した決済金額と、ステップS102でカメラ画像から取得した決済金額とを比較して一致するか確認してもよい。それらが一致しない場合、一方の情報が誤っている可能性があるので、情報端末3は、ステップS102またはステップS101、あるいは最初の方のステップに戻って、プロセスをやり直してもよい。
 ステップS16では、情報端末3は、決済時間20を表示画面300に表示する。ステップS17,S18は前述と同様の処理である。その後、ステップS103で、情報端末3は、決済命令を発行し、サーバ12からの決済処理完了確認情報を受信して表示画面300に表示する。また、情報端末3は、決済処理完了確認情報のうちのキーコードを含む情報を、信号4eとして、ストア端末7へ送信する。この際、ストア端末7へ送信されるキーコード情報は、文字情報としてもよいし、画像情報としてもよい。ストア端末7は、情報端末3から得たキーコードを店員5側の表示画面に表示する。これにより、店員5は、そのキーコードを見て決済処理完了を確認できる。
 [10-3:表示画面]
 図26は、情報端末3の表示画面300の例を示す。(A)の表示画面300の例は、ステップS101の際にストア端末7から取得した決済金額情報を表示する場合の例である。本例では、QRコード8や表示装置7dの購入金額9が写っているカメラ撮影画像上の例えば下側領域に、ストア端末7から取得した決済金額情報による決済金額の画像2601が重畳表示されている。同様に、情報端末3は、ステップS102で購入金額9を認識した場合には、その認識した文字列を表示画面300に表示してもよい。
 (B)の表示画面300の例は、サーバ12から得た決済処理完了確認情報のうちのキーコード25を表示する例であり、このキーコード25が、情報端末3からストア端末7へ送信するキーコードに相当する。本例では、情報端末3のカメラ30から見える店舗1内の様子、特にストア端末7および表示装置7bの購入金額9を含む様子が撮影された画像上に、キーコード25の画像が重畳表示されている。
 (C)の表示画面300の例は、キーコード25に関する他の表示例を示す。この表示画像300の画像例は、購入者2による自分撮影によって購入者2自身の顔2603を含む様子が撮影された画像であり、その画像上に、キーコード25の画像が重畳表示されている。
 情報端末3は、例えば(B)と(C)とのいずれかの画像を含むキーコード情報をストア端末7へ送信する。なお、上記で、情報端末3からストア端末7に送信する情報は、キーコード25の文字情報または画像情報のみとしてもよいし、カメラ撮影画像にキーコード25の画像を重畳したものとしてもよいし、それらのセットの情報としてもよい。
 店員5側から(B)または(C)のようなキーコード画像情報を見た場合、(C)のように購入者2の顔2603が映っている場合の方が、最も人違いの可能性が少なく、確実な確認が可能である。しかし、自分の顔画像を店舗1側に提供することを嫌がるユーザや、HMDのように自分の顔画像を撮影できないデバイスの場合には、(B)のようなキーコード画像を送信すればよい。(B)の画像は、購入者2が立っている位置からストア端末7または店員5の方を見た位置関係での像である。そのため、店員5は、確認時に、この画像から分かる位置関係から、目の前のユーザ(購入者2)からの通信であること、すなわち正しい決済対象者であることを確認できる。
 <実施の形態11>
 図27を用いて、本発明の実施の形態11について説明する。実施の形態11は、実施の形態1等の変形例であり、QRコード8と購入金額9との配置関係を利用する場合を示す。図27は、実施の形態11における店舗1の例を示す。本例では、会計机13上、ストア端末7にはQRコード8が掲示されておらず、ストア端末7の近くに設置された媒体8bにQRコード8が掲示されている。
 実施の形態11では、キャッシュレス決済の際に使用する、QRコード8と購入金額(対応する決済金額)9との2つの要素について、情報端末3のカメラ30で画像を撮影して認識する際に、予め、空間内での2つの要素の配置関係2700が規定されている。この配置関係2700は、購入者2の情報端末3側からストア端末7や店員5の方を見た方向での配置関係である。実施の形態11では、このような配置関係2700を条件として設ける。これに関して、詳しくは例えば以下のような各方式が適用できる。
 [11-1:第1方式]
 キャッシュレス決済の第1方式におけるルールの1つとして、予め、QRコード8と決済金額との2つの要素の配置関係2700が固定的に設定される。すなわち、この方式の適用対象となる全ての店舗1においては、この配置関係2700を含むルールが同様に適用される。購入者2の情報端末3の特にカメラ30からストア端末7を見る方向での平面視、例えば図27のような平面視を考える。この平面で、QRコード8の位置L1と、購入金額9が表示される位置L2とにおける配置関係2700が規定されている。この配置関係2700は、例えばQRコード8内に記述される決済ルール情報2702のうちの1つの項目である配置関係情報2703として記述される。このように、QRコード8内に、決済先情報(店舗情報)2701と決済ルール情報2702が記述されてもよい。すなわち、情報端末3は、QRコード8からの認識によって、それらの情報が得られる。あるいは、決済ルール情報2702は、決済先情報2701との関連付けと共に、図1のサーバ12に保持されていてもよい。決済ルール情報2702は、情報端末3およびストア端末7がこのキャッシュレス決済方式で手続きを行う際のルールとして参照される。
 配置関係情報2703では、QRコード8の位置L1と購入金額9の位置L2との配置関係が記述されている。図27の例では、QRコード8の位置L1(すなわち画像内で認識された位置)を基準とした場合に、購入金額9の位置L2は、概略的に左斜め上の方向にあることが規定されている。さらに、位置L1から位置L2までの距離についても、条件の1つとして規定されてもよい。例えば、配置関係情報2703において、位置L1から所定の距離の範囲2705内に位置L2があるという条件が記述される。
 情報端末3は、例えば実施の形態1と同様に、カメラ30の撮影画像から、まずQRコード8を認識して決済先情報2701等を得る。次に、情報端末3は、撮影画像から、購入金額9を認識する際に、決済ルール情報2702の配置関係情報2703を参照し、その規定に従って、購入金額9の認識処理を行う。例えば、情報端末3は、撮影画像内におけるQRコード8が認識された位置L1から、配置関係2700に従って、左斜め上方向を探索して、購入金額9に対応する候補文字列を発見する。情報端末3は、撮影画像内から複数の文字列が発見された場合には、配置関係2700の条件と照らして、最も可能性が高いものを購入金額9であると推定して選択してもよい。
 他の例として、実施の形態8のように、先に購入金額9を認識する場合、配置関係2700の規定としては、購入金額9の位置L2を基準としたQRコード8の位置L1に関する条件としてもよい。また、他の条件の例としては、QRコード8の位置L1に対して位置L2が上側にあることや、QRコード8の位置L1に対して位置L2が右側にあること等としてもよい。また、他の条件の例としては、範囲2705内で位置L1から最も近い文字列を選択することや、i番目に近い文字列を選択すること等としてもよい。
 [11-2:第2方式]
 第2方式として、店舗1毎に、配置関係2700を含む決済ルールが設定されてもよい。例えば、店舗1内のQRコード8から、決済先情報(店舗情報)2701と、その店舗1に設定されている決済ルール情報2702とが取得される。情報端末3は、その決済ルール情報2702のうちの配置関係情報2703を参照する。あるいは、情報端末3は、QRコード8から得た決済先情報2701等に基づいて、サーバ12またはストア端末7から通信によって、その店舗1用の決済ルール情報2702を取得してもよい。第2方式の場合、店舗1毎に好適なルールを設定できる。
 変形例としては、商品6毎に異なる決済ルール情報2702を設定することもできる。例えば、商品6の種別毎や購入金額9の高低毎に異なる決済ルール情報2702を設定することもできる。決済ルール情報2702は、前述のように、処理フローに関する規定とすることもでき、必要なセキュリティレベルに応じたログイン要否等の設定や決済時間20の長さの設定等も可能である。
 [11-3:効果等]
 上記のように、実施の形態11では、認識処理に係わる配置関係2700の条件があるので、情報端末3は、撮影画像からより効率的に購入金額9等を認識できる可能性がある。例えば、候補文字列の数が低減できるので、認識処理の高速化、ひいてはキャッシュレス決済の短時間化、等の効果が期待できる。
 以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。実施の形態の構成要素の追加や削除や置換、各種の組合せによる構成が可能である。前述した機能等は、一部または全部をハードウェアで実装してもよいし、ソフトウェアプログラム処理で実装してもよい。機能等を構成するプログラムやデータは、コンピュータ読取可能な記憶媒体に格納されてもよいし、通信網上の装置に格納されてもよい。実施の形態では、キャッシュレス決済を、店舗での商品の購入金額の支払いに利用する場合を説明したが、これに限らず、例えば交通違反時の支払い、自動販売機での支払い、個人間売買時の支払い等、各種の場面での適用が可能である。
 1…店舗、2…購入者(ユーザ)、3…情報端末(キャッシュレス決済端末)、5…店員、6…商品、7…ストア端末、7b…表示装置、8…QRコード、9…購入金額、10…基地局、11…ネットワーク、12…サーバ(決済アプリサーバ)、13…会計机、30…カメラ、41…アプリ(キャッシュレス決済アプリ)。

Claims (17)

  1.  購入者であるユーザが使用するカメラおよびキャッシュレス決済機能を持つ情報端末と、キャッシュレス決済処理を実行するサーバとが、通信で接続され、店舗での前記ユーザによる商品やサービスの購入に伴うキャッシュレス決済を行うキャッシュレス決済システムであって、
     前記情報端末は、前記ユーザの操作に基づいて、前記店舗が掲示する決済先情報のコードと、前記商品やサービスの購入金額に対応する決済金額とを、前記カメラで撮影し、撮影画像に基づいて、前記決済先情報と前記決済金額との両方を認識した場合、前記決済先情報と前記決済金額とを含む決済命令を発行し前記サーバに送信して前記キャッシュレス決済処理を実行させる、
     キャッシュレス決済システム。
  2.  請求項1記載のキャッシュレス決済システムにおいて、
     前記サーバは、前記キャッシュレス決済処理の完了後、決済処理完了確認情報を前記情報端末に送信し、
     前記情報端末は、前記決済処理完了確認情報を前記ユーザに対して出力する、
     キャッシュレス決済システム。
  3.  請求項1記載のキャッシュレス決済システムにおいて、
     前記情報端末は、前記決済先情報と前記決済金額との両方を認識した時点から、設定された長さの決済時間のタイマのカウントを開始させ、前記決済時間の画像を表示画面に表示し、前記決済時間のタイマの満了後、前記決済命令を発行する、
     キャッシュレス決済システム。
  4.  請求項1記載のキャッシュレス決済システムにおいて、
     前記情報端末は、前記コードと前記決済金額とが同時に写っている前記撮影画像に基づいて、前記決済先情報と前記決済金額との両方を認識する、
     キャッシュレス決済システム。
  5.  請求項1記載のキャッシュレス決済システムにおいて、
     前記情報端末は、前記コードが写っている第1画像から前記決済先情報を認識し、次に、前記決済金額が写っている第2画像から前記決済金額を認識する、
     キャッシュレス決済システム。
  6.  請求項1記載のキャッシュレス決済システムにおいて、
     前記情報端末は、前記決済金額が写っている第1画像から前記決済金額を認識し、次に、前記コードが写っている第2画像から前記決済先情報を認識する、
     キャッシュレス決済システム。
  7.  請求項1記載のキャッシュレス決済システムにおいて、
     前記情報端末は、複数の商品やサービスの購入に関する1回のキャッシュレス決済の際、前記撮影画像から個別の商品やサービスの購入金額を認識し、合計としての前記決済金額を表示する毎に、設定された長さの決済時間のタイマのカウントを開始させ、前記決済時間の画像を表示画面に表示し、前記決済時間のタイマの満了後、前記決済命令を発行する、
     キャッシュレス決済システム。
  8.  請求項3記載のキャッシュレス決済システムにおいて、
     前記情報端末は、前記決済時間の途中に、前記ユーザによる所定のキャンセル操作を検出した場合、前記決済命令を発行しない、
     キャッシュレス決済システム。
  9.  請求項2記載のキャッシュレス決済システムにおいて、
     前記情報端末は、ヘッドマウントディスプレイである、
     キャッシュレス決済システム。
  10.  請求項2記載のキャッシュレス決済システムにおいて、
     前記情報端末として、ヘッドマウントディスプレイと、ウェアラブル端末とを有し、
     前記ヘッドマウントディスプレイは、前記決済命令を前記サーバに送信し、
     前記ウェアラブル端末は、前記決済処理完了確認情報を表示する、
     キャッシュレス決済システム。
  11.  請求項9記載のキャッシュレス決済システムにおいて、
     前記ヘッドマウントディスプレイは、前記決済先情報と前記決済金額との両方を認識した後、前記ユーザによる第1ジェスチャを検出した場合、前記決済命令を送信し、第2ジェスチャを検出した場合、前記決済命令を発行しない、
     キャッシュレス決済システム。
  12.  請求項1記載のキャッシュレス決済システムにおいて、
     前記情報端末は、前記撮影画像から前記決済金額を認識する際、前記撮影画像内から抽出された候補文字列毎に、前記決済金額であるかどうかに関する複数の評価項目における評価項目毎の評価点を算出し、複数の評価点から総合的評価点を算出し、前記候補文字列毎の前記総合的評価点のうち閾値以上で最高となる候補文字列を、前記決済金額として選択し、前記閾値以上となる候補文字列が無い場合には、前記決済金額が認識できなかったという結果とする、
     キャッシュレス決済システム。
  13.  請求項1記載のキャッシュレス決済システムにおいて、
     前記情報端末は、前記撮影画像から前記決済金額を認識する際、前記撮影画像内から抽出された候補文字列を表す画像を前記表示画面に表示し、前記ユーザの操作に基づいて、前記候補文字列から選択された候補文字列を、前記決済金額として選択する、
     キャッシュレス決済システム。
  14.  請求項1記載のキャッシュレス決済システムにおいて、
     前記店舗内に、決済機能を持つストア端末を有し、
     前記情報端末は、前記ストア端末と無線通信し、前記ストア端末から前記決済金額に関する決済金額情報を取得し、前記撮影画像から認識した前記決済金額と、前記決済金額情報の決済金額との一致を確認し、前記決済先情報と前記決済金額との両方を認識した場合、前記決済命令を発行する、
     キャッシュレス決済システム。
  15.  請求項2記載のキャッシュレス決済システムにおいて、
     前記店舗内に、決済機能を持つストア端末を有し、
     前記情報端末は、前記ストア端末と無線通信し、前記決済処理完了確認情報のうちの決済完了IDを含むデータを前記ストア端末へ送信する、
     キャッシュレス決済システム。
  16.  請求項1記載のキャッシュレス決済システムにおいて、
     予め、前記購入者から見た場合の前記店舗内における前記コードの掲示の第1位置と前記決済金額の掲示の第2位置との配置関係が規定されており、
     前記情報端末は、前記配置関係の規定に基づいて、前記撮影画像から前記決済先情報と前記決済金額との両方を認識する、
     キャッシュレス決済システム。
  17.  購入者であるユーザが使用するカメラおよびキャッシュレス決済機能を持つ情報端末と、キャッシュレス決済処理を実行するサーバとが通信で接続され、店舗での前記ユーザによる商品やサービスの購入に伴うキャッシュレス決済を行うキャッシュレス決済システムにおける前記情報端末であって、
     前記情報端末は、前記ユーザの操作に基づいて、前記店舗が掲示する決済先情報のコードと、前記商品やサービスの購入金額に対応する決済金額とを、前記カメラで撮影し、撮影画像に基づいて、前記決済先情報と前記決済金額との両方を認識した場合、前記決済先情報と前記決済金額とを含む決済命令を発行し前記サーバに送信して前記キャッシュレス決済処理を実行させる、
     情報端末。
PCT/JP2019/045134 2019-11-18 2019-11-18 キャッシュレス決済システムおよび情報端末 WO2021100096A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/045134 WO2021100096A1 (ja) 2019-11-18 2019-11-18 キャッシュレス決済システムおよび情報端末
JP2021558056A JPWO2021100096A1 (ja) 2019-11-18 2019-11-18
CN201980102416.5A CN114730425A (zh) 2019-11-18 2019-11-18 无现金结算系统以及信息终端
US17/777,616 US20220414644A1 (en) 2019-11-18 2019-11-18 Cashless payment system and information terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/045134 WO2021100096A1 (ja) 2019-11-18 2019-11-18 キャッシュレス決済システムおよび情報端末

Publications (1)

Publication Number Publication Date
WO2021100096A1 true WO2021100096A1 (ja) 2021-05-27

Family

ID=75981512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045134 WO2021100096A1 (ja) 2019-11-18 2019-11-18 キャッシュレス決済システムおよび情報端末

Country Status (4)

Country Link
US (1) US20220414644A1 (ja)
JP (1) JPWO2021100096A1 (ja)
CN (1) CN114730425A (ja)
WO (1) WO2021100096A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072109B1 (ja) 2021-08-31 2022-05-19 Kddi株式会社 決済用プログラム
JP7282228B1 (ja) 2022-03-31 2023-05-26 PayPay株式会社 決済システム、および特典付与方法
WO2024004521A1 (ja) * 2022-06-29 2024-01-04 ソニーグループ株式会社 ヘッドマウントディスプレイ、情報処理装置及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016052379A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、棚札管理システム、制御方法、及びプログラム
US20160350729A1 (en) * 2015-05-27 2016-12-01 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20160371674A1 (en) * 2015-06-17 2016-12-22 Lg Electronics Inc. Mobile terminal for authorizing payment at scheduled time and method for controlling the same
KR20170031722A (ko) * 2014-07-07 2017-03-21 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 방법
JP2018504688A (ja) * 2014-12-22 2018-02-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ヘッドウェアラブルデバイスを含む通信システム
JP6528160B1 (ja) * 2018-07-25 2019-06-12 株式会社サイバーウェア 決済システム
JP6542455B1 (ja) * 2018-10-11 2019-07-10 株式会社メルカリ 情報処理方法、情報処理装置、及びプログラム
JP2019197332A (ja) * 2018-05-08 2019-11-14 株式会社ネットスターズ 決済システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073953B2 (en) * 2002-10-01 2018-09-11 World Award Academy, World Award Foundation, Amobilepay, Inc. Wearable personal digital device for facilitating mobile device payments and personal use
US20150058145A1 (en) * 2013-05-10 2015-02-26 Sergio Luciani Universal check-out system for Mobile Payment Applications/Platforms
US9916010B2 (en) * 2014-05-16 2018-03-13 Visa International Service Association Gesture recognition cloud command platform, system, method, and apparatus
US9747512B2 (en) * 2015-06-25 2017-08-29 Toshiba Tec Kabushiki Kaisha Article recognition apparatus and image processing method for article recognition apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031722A (ko) * 2014-07-07 2017-03-21 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 방법
WO2016052379A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、棚札管理システム、制御方法、及びプログラム
JP2018504688A (ja) * 2014-12-22 2018-02-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ヘッドウェアラブルデバイスを含む通信システム
US20160350729A1 (en) * 2015-05-27 2016-12-01 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20160371674A1 (en) * 2015-06-17 2016-12-22 Lg Electronics Inc. Mobile terminal for authorizing payment at scheduled time and method for controlling the same
JP2019197332A (ja) * 2018-05-08 2019-11-14 株式会社ネットスターズ 決済システム
JP6528160B1 (ja) * 2018-07-25 2019-06-12 株式会社サイバーウェア 決済システム
JP6542455B1 (ja) * 2018-10-11 2019-07-10 株式会社メルカリ 情報処理方法、情報処理装置、及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072109B1 (ja) 2021-08-31 2022-05-19 Kddi株式会社 決済用プログラム
JP2023035808A (ja) * 2021-08-31 2023-03-13 Kddi株式会社 決済用プログラム
JP2023034889A (ja) * 2021-08-31 2023-03-13 Kddi株式会社 決済用プログラム
JP7397121B2 (ja) 2021-08-31 2023-12-12 Kddi株式会社 決済用プログラム
JP7282228B1 (ja) 2022-03-31 2023-05-26 PayPay株式会社 決済システム、および特典付与方法
JP7359981B1 (ja) 2022-03-31 2023-10-11 PayPay株式会社 決済システム、および特典付与方法
JP2023150004A (ja) * 2022-03-31 2023-10-16 PayPay株式会社 決済システム、および特典付与方法
WO2024004521A1 (ja) * 2022-06-29 2024-01-04 ソニーグループ株式会社 ヘッドマウントディスプレイ、情報処理装置及びプログラム

Also Published As

Publication number Publication date
JPWO2021100096A1 (ja) 2021-05-27
US20220414644A1 (en) 2022-12-29
CN114730425A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US11449869B2 (en) Method and system for facilitating payment based on facial recognition
JP4824793B2 (ja) ウエアラブル端末装置及びプログラム
US20210365979A1 (en) Providing Hands-Free Data for Interactions
WO2021100096A1 (ja) キャッシュレス決済システムおよび情報端末
EP2787468B1 (en) Headheld scanner and display
US20140249947A1 (en) Store mobile cloud application system for inventory management and customer order fulfillment and method for retail establishment
US20180197176A1 (en) In-store mobile payment
US20220198412A1 (en) Billing and payment device and unattended store system
JP2006221515A (ja) Posシステム
JP2011048462A (ja) 販売支援装置及びプログラム
CN106709714A (zh) 移动支付方法、客户端及系统
CN106408285A (zh) 基于ar技术的支付方法以及支付系统
JPWO2015159601A1 (ja) 情報処理装置
WO2022079990A1 (ja) 注文システム及び決済システム
CN106897871A (zh) 一种购物方法和计算机可读存储媒体
US20220188796A1 (en) Settlement payment device and unmanned store system
JP7441058B2 (ja) サーバ及びアプリケーションプログラム
KR20220102823A (ko) 인공지능기반 유저 반응형 키오스크 결제 시스템
JP5166365B2 (ja) ウエアラブル端末装置及びプログラム
CN114881631B (zh) 收银系统、电子设备及计算机可读介质
JP6955053B1 (ja) 決済処理方法、決済処理装置及び決済用プログラム
JP6321584B2 (ja) 情報処理装置、販売データ処理装置および情報処理システム
CN112950841A (zh) 一种结合5g微基站信息推送的方法及基于其的智能零售终端
KR20190073625A (ko) 무인 주문 방법 및 무인 주문기
US20230162193A1 (en) Sales support apparatus, sales support method, and nontransitory computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19953542

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021558056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19953542

Country of ref document: EP

Kind code of ref document: A1