WO2021039207A1 - 情報処理装置、決済処理システム、および方法、並びにプログラム - Google Patents

情報処理装置、決済処理システム、および方法、並びにプログラム Download PDF

Info

Publication number
WO2021039207A1
WO2021039207A1 PCT/JP2020/028146 JP2020028146W WO2021039207A1 WO 2021039207 A1 WO2021039207 A1 WO 2021039207A1 JP 2020028146 W JP2020028146 W JP 2020028146W WO 2021039207 A1 WO2021039207 A1 WO 2021039207A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
payment
terminal
utterance
store terminal
Prior art date
Application number
PCT/JP2020/028146
Other languages
English (en)
French (fr)
Inventor
泰正 中津川
篤生 米田
鈴木 孝
Original Assignee
フェリカネットワークス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェリカネットワークス株式会社 filed Critical フェリカネットワークス株式会社
Priority to JP2021542633A priority Critical patent/JPWO2021039207A1/ja
Priority to US17/636,547 priority patent/US20220335434A1/en
Publication of WO2021039207A1 publication Critical patent/WO2021039207A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/22Payment schemes or models
    • G06Q20/227Payment schemes or models characterised in that multiple accounts are available, e.g. to the payer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/326Payment applications installed on the mobile devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327Short range or proximity payments by means of M-devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327Short range or proximity payments by means of M-devices
    • G06Q20/3272Short range or proximity payments by means of M-devices using an audio code
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • This disclosure relates to information processing devices, payment processing systems, methods, and programs. More specifically, the present invention relates to an information processing device, a payment processing system, a method, and a program that enable reliable payment processing.
  • the user terminal and the store terminal perform short-range wireless communication and perform payment processing by contacting or bringing the user terminal such as a smartphone in a pocket or bag to or close to the store terminal of the store. It's being used.
  • the user terminal and the store terminal perform short-range wireless communication and perform payment processing at the timing when the user passes near the store terminal without taking out the user terminal such as a smartphone in a pocket or bag.
  • the system is currently under development and is expected to be widely used in the future.
  • Such a payment processing system is called a tapless payment system.
  • the store terminal can clearly distinguish between the user terminal owned by the user performing payment processing and the other user terminal of another user near the user. You will need it. If this distinction process is incomplete, there is a possibility that the store terminal communicates with another user terminal that does not need to perform the payment process and makes an error such that the payment is made from the user's payment account.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2008-204151
  • a user having a terminal capable of using a plurality of payment means selects and uses one payment means at a certain store, the subsequent selection is made thereafter. It discloses a configuration that automatically selects the payment method that has been used.
  • this document does not show a special configuration for processing such as identity verification, and there is a problem that countermeasures against errors and unauthorized use at the time of settlement are insufficient.
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2010-033143.
  • This document discloses a configuration in which a photographed image of a user is used for analysis of purchased product information according to user attributes. It does not disclose a configuration that uses the user's captured image to prevent errors during tapless payment.
  • the present disclosure has been made in view of the above-mentioned problems, for example, and the user performs short-range wireless communication with the store terminal without taking out the user terminal such as a smartphone in a pocket or bag to perform payment processing. It is an object of the present invention to provide an information processing device, a payment processing system, a method, and a program capable of reliably performing so-called tapless payment.
  • an information processing device a payment processing system, a method, and a program for confirming the payment means used by the user and applying the confirmed payment means to perform tapless payment are provided.
  • an information processing device a payment processing system, which performs error-free tapless payment after clearly distinguishing a user or user terminal to be settled from other users or user terminals. And methods, as well as programs.
  • the first aspect of the disclosure is With the communication department Has a data processing unit
  • the data processing unit A user utterance that specifies the payment method executed by the user is input from the store terminal via the communication unit. It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit. It is in an information processing device that executes communication with the store terminal and performs payment processing in response to a determination of matching.
  • the second aspect of the present disclosure is With Mike
  • the communication unit that communicates with the user terminal and Has a data processing unit
  • the data processing unit Through the microphone, a user utterance that specifies the payment method executed by the user is input, voice recognition processing is executed, and the payment method specified by the user is determined.
  • the user utterance is transmitted to the user terminal via the communication unit, It is in an information processing device that executes a payment process in response to a payment execution notification received from the user terminal when authentication is established based on the user's utterance in the user terminal.
  • the third aspect of the present disclosure is It is a payment processing system that has a user terminal and a store terminal.
  • the store terminal is Through the microphone, the user's utterance that specifies the payment method executed by the user is input, the voice recognition process is executed, the payment method specified by the user is determined, and the payment method specified by the user is determined.
  • the user utterance is transmitted to the user terminal via the communication unit,
  • the user terminal is It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit. In response to the determination that they match, a payment execution notification is sent to the store terminal,
  • the store terminal is It is in a payment processing system that executes payment processing in response to a payment execution notification received from the user terminal.
  • the fourth aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • the data processing department A user utterance that specifies the payment method executed by the user is input from the store terminal via the communication unit. It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit. It is an information processing method that executes communication with the store terminal and performs payment processing in response to a determination of matching.
  • the fifth aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • the data processing department Through the microphone, the user's utterance that specifies the payment method executed by the user is input, the voice recognition process is executed, the payment method specified by the user is determined, and the payment method specified by the user is determined.
  • the user utterance is transmitted to the user terminal via the communication unit, It is an information processing method that executes a payment process in response to a payment execution notification received from the user terminal when authentication is established based on the user's utterance in the user terminal.
  • the sixth aspect of the present disclosure is A program that executes information processing in an information processing device.
  • a user utterance that specifies the payment method executed by the user is input from the store terminal via the communication unit. It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit. It is in a program that executes communication with the store terminal to perform payment processing in response to a determination of matching.
  • the seventh aspect of the present disclosure is A program that executes information processing in an information processing device.
  • the data processing department Through the microphone, the user's utterance that specifies the payment method executed by the user is input, the voice recognition process is executed, and the payment method specified by the user is determined.
  • the user utterance is transmitted to the user terminal via the communication unit, It is a program that executes a payment process in response to a payment execution notification received from the user terminal when authentication is established based on the user's utterance in the user terminal.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a configuration is realized in which the payment means specified by the user is confirmed and the payment accompanied by the communication with the user terminal of the user who performs the payment is surely executed.
  • the store terminal inputs a user utterance that specifies a payment method executed by the user via a microphone, executes voice recognition processing to determine the payment method specified by the user, and determines the payment method specified by the user.
  • the utterance is transmitted to the user terminal via the communication unit.
  • the user terminal determines whether or not the user utterance input from the store terminal matches the registered user utterance for verification stored in the storage unit, and based on the determination that it matches, sends a payment execution notification to the store terminal. Send.
  • the store terminal executes the payment process in response to the payment execution notification received from the user terminal.
  • a configuration is realized in which the payment method specified by the user is confirmed and the payment accompanied by the communication with the user terminal of the user who makes the payment is surely executed. It should be noted that the effects described in the present specification are merely exemplary and not limited, and may have additional effects.
  • FIG. 1 It is a figure which shows the flowchart explaining the sequence of the process which specifies a user terminal and performs gate control using the image taken by a camera and the communication information of a short-range wireless communication part. It is a figure explaining the configuration example of the user terminal used for the processing of this disclosure. It is a figure explaining the configuration example of the store terminal used for the processing of this disclosure. It is a figure explaining the hardware configuration example of the user terminal, the store terminal, and the server used for the processing of this disclosure.
  • Example 1 Example of confirming the payment method used by the user 3.
  • Example 2 Example of a store terminal selects a payment target terminal from a plurality of user terminals.
  • Example 3 Example of performing payment processing in an unmanned store without a clerk 5.
  • Example 4 Regarding an embodiment in which the user speaks about the payment method used to the user terminal instead of the store terminal and performs payment processing.
  • Example 5 Example of performing payment processing by transmitting the utterance data selected by the user from the utterance data specified by a plurality of usage payment methods pre-registered in the user terminal to the store terminal.
  • Example 6 Example of executing face recognition based on a photographed image of a user 8.
  • Example 7) Example of identifying a user or a user terminal that executes payment based on a photographed image of a user (customer) moving in the store and information received from the user terminal.
  • Example 6 Example of performing payment processing by transmitting the utterance data selected by the user from the utterance data specified by a plurality of usage payment methods pre-registered in the user terminal to the store terminal.
  • Example 6) Example of executing face recognition based on a photographed image of a user 8.
  • Example 7) Example of identifying a user or a user terminal that executes payment based on a photographed image of a user (customer) moving in the store and information received from the user terminal.
  • the user terminal and the store terminal perform short-range wireless communication and make a payment at the timing when the user passes near the store terminal without taking out the user terminal such as a smartphone in a pocket or bag.
  • the development of a processing system, a so-called tapless payment system, is progressing, and it is expected that it will be widely used in the future.
  • the store terminal can clearly distinguish between the user terminal owned by the user performing payment processing and the other user terminal of another user near the user. You will need it. If this distinction process is incomplete, there is a possibility that the store terminal communicates with another user terminal that does not need to perform the payment process and makes an error such that the payment is made from the user's payment account.
  • FIG. 1 A specific example of a problem in tapless payment will be described with reference to FIG.
  • a store terminal (cash register) 10 is placed in front of each of the two clerk of the store, and customers who pay the product price are lined up in a line in front of the store terminal (cash register) 10. Indicates the state of being.
  • Each customer holds a user terminal 21 in a pocket or a bag.
  • the store terminal (cash register) 10-1 on the left side of FIG. 1 first communicates with the user terminal 21a of the leading customer A to perform payment processing.
  • the store terminal 10-1 needs to confirm which payment means the user A is trying to make a payment on the user terminal 21a. That is, payment is made using any of these many payment methods such as various types of electronic money, QR code (registered trademark) such as xx pay, code payment such as barcode, credit card, payment bank account, etc. You need to make sure you are going.
  • the short-range wireless communication range of the store terminal (cash register) 10-1 on the left side of FIG. 1 is within the dotted line circle around the store terminal (cash register) 10-1 on the left side shown in FIG.
  • the user terminal 21a of the customer A and the user terminal 21b of the customer B are included in the dotted circle.
  • the store terminal (cash register) 10-1 can communicate (near field wireless communication) with both the user terminal 21a of the customer A and the user terminal 21b of the customer B. Therefore, the store terminal (cash register) 10-1 needs to determine which of the user terminal 21a of the customer A and the user terminal 21b of the customer B is the terminal to perform the payment processing.
  • tapless payment has the following issues, that is, (A) How to confirm the payment method for the user (B) How to distinguish between a user terminal to be settled and another user terminal There are these problems.
  • the present disclosure solves these problems.
  • the configuration and processing of the present disclosure will be described.
  • Example 1 Example of confirming the payment method used by the user. First, as Example 1, an example of confirming the payment means used by the user will be described.
  • FIG. 2 is a diagram illustrating a processing example executed by the store terminal 200, which is an example of the information processing apparatus of the present disclosure.
  • the store terminal (cash register) 200 has a microphone 201.
  • a store terminal 200 is placed in front of a store clerk, and a customer A who is a user who intends to perform tapless payment stands in front of the store terminal 200.
  • Customer A holds a user terminal 100a such as a smartphone.
  • Short-range wireless communication is performed between the store terminal 200 and the user terminal 100a to execute the payment process.
  • the short-range wireless communication executed between the store terminal 200 and the user terminal 100a includes, for example, Bluetooth (registered trademark) (BT) communication, NFC (Near Field Communication) communication, RF (Radio Frequency) communication, and UWB. (Ultra Wide Band) Short-range wireless communication such as communication.
  • Bluetooth registered trademark
  • NFC Near Field Communication
  • RF Radio Frequency
  • UWB Ultra Wide Band
  • the payment process by the store terminal 200 of the present disclosure is performed in the order of steps S01 to S06 shown in FIG. The processing of each step will be described below.
  • Step S01 First, customer A speaks a payment method. As an example, it is assumed that customer A utters "with XX pay”.
  • Step S02 The store terminal 200 inputs the utterance "XX pay" of the customer A through the microphone 201, and in step S02, the data processing unit in the store terminal 200 executes the voice analysis of the input utterance to perform the settlement process. It is determined that the user, that is, the payment means that the customer A wants to use is [XX Pay].
  • Step S03 Next, in step S03, the store terminal 200 transmits the utterance voice “with XX pay” of the customer A to the user terminal 100a using short-range wireless communication.
  • step S04 the user terminal 100a compares the received user voice received from the store terminal 200 with the registered user voice registered in advance in the user terminal 100a, and determines whether or not the received user voice is the person's voice. To judge.
  • the utterance voice "XX pay" of the customer A is registered in advance in the user terminal 100a. This is registered by the user in advance as collation voice data. The details of this process will be described later.
  • step S04 when the user terminal 100a confirms that the received user voice received from the store terminal 200 and the registered user voice registered in advance in the user terminal 100a match, the user voice received from the store terminal 200 is the person's voice. Is determined to be. In this case, the process of step S05 or less is executed. If the match is not confirmed, an error notification is sent from the user terminal 100a to the store terminal 200, and the process of step S05 or lower is not executed.
  • Step S05 In step S04, when the user terminal 100a confirms that the received user voice received from the store terminal 200 and the registered user voice registered in advance in the user terminal 100a match, the user voice received from the store terminal 200 is the person's voice. Is determined, and the process of step S05 or lower is executed.
  • the user terminal 100a executes the payment process in step S05. Specifically, the account information of the user (customer A) required for the payment processing is transmitted to the store terminal 200. The transmitted information is different depending on the payment method used by the user (customer A).
  • Step S06 the store terminal 200 executes a payment process according to the user account information received from the user terminal 100a.
  • the store terminal 200 can confirm the payment method to be used by the user (customer A) and perform the payment process to which the confirmed payment method is applied.
  • the user utterance specifying the payment means performed in step S01 is fed back input from the store terminal 200 to the user terminal 100a, and this input utterance and the input utterance are combined.
  • the collation process with the registered user utterance registered in advance in the user terminal 100a is executed.
  • the subsequent settlement process is performed.
  • the collation data is recorded in the storage unit of the user terminal 100.
  • FIG. 3 shows the user 20 on the left side and the user terminal 100 owned by the user 20 on the right side.
  • the user 20 makes a user utterance "with xx pay", which is a payment means designated utterance, to the user terminal 100 in S11.
  • the user terminal 100 inputs the user utterance "in xx pay” via the microphone and stores it in the storage unit (memory). That is, it is registered as collation data.
  • the user 20 makes another payment first-stage designated utterance, the user utterance "by yy pay", to the user terminal 100 in S13.
  • the user terminal 100 inputs the user utterance "by pay” via the microphone and stores it in the storage unit (memory). That is, it is registered as collation data.
  • the user 20 makes another payment first-stage designated utterance, the user utterance "with zz pay", to the user terminal 100 in S15.
  • the user terminal 100 inputs the user utterance "with zz pay” via the microphone and stores it in the storage unit (memory). That is, it is registered as collation data.
  • xx pay, yy pay, and zz pay are all payment methods that the user 20 may use.
  • the example of registration of collation data shown in FIG. 3 is an example.
  • a user who is another payment first-stage utterance such as "pay with xx card” or "please use yy credit”.
  • the utterance may be registered as collation data.
  • FIGS. 4 and 5 show the user 20, the user terminal 100 owned by the user 20, the store terminal 200, and the store clerk 30 in which the store terminal 200 is located.
  • the processes are performed in the order of steps S100 to S115 shown in FIGS. 4 and 5.
  • the processing of each step will be described in sequence.
  • Step S100 First, in step S100, a communication session is established between the store terminal 200 and the user terminal 100. That is, when the user terminal 100 approaches the store terminal 200 and reaches a position where short-range wireless communication is possible, a communication session is established between the two terminals and the communication is set to the communicable state.
  • the short-range wireless communication executed between the store terminal 200 and the user terminal 100 includes, for example, Bluetooth (registered trademark) (BT) communication, NFC (Near Field Communication) communication, and RF (Radio).
  • BT registered trademark
  • NFC Near Field Communication
  • RF Radio
  • Step S101 Next, the clerk inputs the payment amount into the store terminal 200.
  • the payment amount input is described here as being executed by the clerk 30, the process may be such that the user 20 causes the scanner connected to the store terminal 200 to read the tag of the product. Further, the store terminal 200 may receive the data transmitted from the RFID tag attached to the product and automatically calculate the settlement amount.
  • Step S102 the clerk 30 inquires the user 20 about the payment method (payment method). That is, ask a question. It should be noted that the inquiry of the payment means may also be made by using the voice output by the store terminal 200.
  • Step S103 Next, in step S103, the user 20 speaks the payment means. For example, say "with xx pay”. The user 20 makes the same utterance as the collation data registered in the user terminal 100.
  • Step S104 the store terminal 200 records the user utterance "in xx pay" input via the microphone in the storage unit, and further executes voice recognition. By this voice recognition, it is confirmed that the user 20 is requesting the payment using [xx pay].
  • Step S105 Next, in step S105, the store terminal 200 activates a payment application (application program) for performing the payment means requested by the user.
  • a payment application application program
  • Step S106 the store terminal 200 transmits the voice data of the user utterance "xx pay" recorded in the storage unit in step S104 to the user terminal 100 by using short-range wireless communication.
  • step S107 the user terminal 100 compares the voice data of the user utterance "xx pay" received from the store terminal 200 in step S106 with the voice data of the user utterance "xx pay" registered in the user terminal 100 in advance. Then, it is determined whether or not the audio data match. In addition, when determining whether or not there is a match, it is not limited to an exact match, and it is determined that the difference is within a predetermined error range.
  • Step S108 If the user terminal 100 determines in step S107 that the received user utterance "xx pay” from the store terminal 200 and the registered user utterance "xx pay" registered in the user terminal 100 match, in step S108, Move to payment processing.
  • step S107 If the match between the two utterances is not confirmed in step S107, the user terminal 100 executes an error notification to the store terminal 200, and does not execute the subsequent processes in step S109 and subsequent steps. However, also in this case, the process of requesting the user 20 to confirm the payment intention may be executed again. This processing sequence will be described later.
  • Step S109 When it is determined in step S107 that the two utterances match, and it is confirmed in step S103 that the utterance made by the user 20 is the utterance of the user 20 himself / herself, the user terminal 100 responds to the store terminal 200 in step S109. And notify that payment is possible.
  • Step S110 Next, the store terminal 200 notifies the user terminal 100 of the payment amount in step S110.
  • step S110b the user 20 may be requested to confirm the payment intention. Specifically, when the payment amount is notified in step S110, the display data as shown in FIG. 6 is transmitted from the store terminal 200 to the user terminal 100 and displayed on the user terminal 100.
  • FIG. 6 shows two examples of user intention confirmation display data.
  • FIG. 6 (1) shows that the power button 101 is operated when the user intends to pay.
  • the notification data of the intention to pay is transmitted from the user terminal 100 to the store terminal 200 according to the operation.
  • FIG. 6 (2) shows the user to perform an operation of touching the fingerprint sensor when the user intends to pay.
  • the user touches the fingerprint sensor first, in the user terminal 100, a collation process with the fingerprint data recorded in the storage unit of the user terminal 100 is performed.
  • the collation is successful, the notification data of the intention to pay is transmitted from the user terminal 100 to the store terminal 200.
  • a payment application for code payment such as a QR code (registered trademark) compatible with xx pay.
  • step S111 the user terminal 100 transmits the account information of the user 20 required for the payment process to the store terminal 200.
  • the transmitted information is different depending on the payment method used by the user 20.
  • Step S112 the store terminal 200 executes a payment process according to the user account information received from the user terminal 100.
  • Step S113 Next, in step S113, the store terminal 200 transmits a payment completion notification to the user terminal 100.
  • Step S114 the user terminal 100 displays the payment completion notification received from the store terminal 200. For example, the data shown in FIG. 7 is displayed.
  • step S115 the user terminal 100 sets the user terminal 100 to the initial state. That is, it is set to the non-executable state of payment processing.
  • the store terminal 200 confirms that the payment means that the user 20 is trying to execute using the user terminal 100 is "xx pay", and applies the confirmed payment means "xx pay”. Settlement processing can be performed.
  • the user utterance performed in step S103 is transmitted from the store terminal 200 to the user terminal 100 in step S106, and the user terminal 100 receives the received utterance.
  • the collation process with the registered user utterance registered in advance in the user terminal 100 is executed.
  • the settlement process is performed when the match between the input utterance and the registered utterance is confirmed.
  • the above-mentioned processing can be executed only by the payment processing execution user (customer) himself / herself, and if a spoofing processing is performed by another person, the payment will not be executed, and a safer payment processing will be realized.
  • step S107 if the matching of the two utterances is not confirmed in the collation process of the user utterances in step S107, the user 20 may be requested to confirm the payment intention again.
  • This processing sequence will be described with reference to FIG.
  • step S108b corresponding to step S108 shown in FIG. 5, the user terminal 100 fails to collate the user utterance received from the store terminal 200 with the registered user utterance recorded in advance in the user terminal 100. It is a sequence diagram explaining an example of the subsequent processing to be executed when it is done. The processing of step S108b and the following will be described.
  • Step S108b when the user terminal 100 cannot confirm the match between the received user utterance "xx pay" from the store terminal 200 and the registered user utterance "xx pay" registered in the user terminal 100, step S108b.
  • the processing of S121 or less is executed.
  • Step S121 the user terminal 100 transmits the identity verification failure notification to the store terminal 200 in step S121.
  • Step S122 The store terminal 200 receives notification data for notifying the user that the identity verification process based on the user utterance collation process on the user terminal 100 has failed in step S122 in response to the reception of the identity verification failure notification from the user terminal 100. Is transmitted to the user terminal 100.
  • Step S123 The user terminal 100 displays the notification data received from the store terminal 200, that is, the notification data that the identity verification process based on the user utterance collation process has failed, on the user terminal 100. Specifically, for example, the display data as shown in FIG. 9 is displayed on the user terminal 100.
  • FIG. 9 shows two display data examples for confirming the user's payment intention together with the notification data that the identity verification process based on the user utterance collation process has failed.
  • FIG. 9 (1) shows that the power button 101 is operated when the user intends to pay.
  • the notification data of the intention to pay is transmitted from the user terminal 100 to the store terminal 200 according to the operation.
  • FIG. 9 (2) shows the user perform an operation of touching the fingerprint sensor when the user intends to pay.
  • the user touches the fingerprint sensor first, in the user terminal 100, a collation process with the fingerprint data recorded in the storage unit of the user terminal 100 is performed.
  • the collation is successful, the notification data of the intention to pay is transmitted from the user terminal 100 to the store terminal 200.
  • Steps S124 to S125 When the user performs an operation indicating a payment intention in step S124 with respect to the display data displayed on the user terminal 100 in step S123, notification data of the payment intention based on this operation information is transmitted from the user terminal 100 to the store terminal 200. Will be sent to. These processes are executed by an application in the user terminal 100, for example, a payment application corresponding to xx pay.
  • step S110 shown in FIG. 5 normal payment processing is executed. Specifically, the processes after step S110 shown in FIG. 5 are executed.
  • the store terminal executes short-range wireless communication with the user terminal to perform payment processing.
  • the store terminal communicates in parallel with the plurality of user terminals, and which user terminal of the plurality of user terminals is used. It is necessary to perform processing to determine whether the terminal performs payment processing.
  • FIG. 10 is a diagram illustrating a processing example executed by the store terminal 200, which is the information processing device of the present disclosure.
  • the store terminal (cash register) 200 has a microphone 201.
  • a store terminal 200 is placed in front of a store clerk, and a user a (customer A) 20a who intends to perform tapless payment stands in front of the store terminal 200.
  • the user a (customer A) 20a holds a user terminal 100a such as a smartphone.
  • the payment process is executed by performing short-range wireless communication between the store terminal 200 and the user terminal 100a.
  • the store terminal 200 in addition to the user terminal 100a of the user a (customer A) 20a, the user terminal 100b of the user b (customer B) 20b and the user c ( Customer C) There is also a user terminal 100c of 20c.
  • the store terminal 200 communicates with these three user terminals a, b, and c in parallel.
  • the store terminal 200 needs to select a user terminal to execute payment processing from these three user terminals a, b, and c, and perform payment processing.
  • the payment process by the store terminal 200 of the present disclosure is performed in the order of steps S01 to S06 shown in FIG. The processing of each step will be described below.
  • Step S01 First, the user a (customer A) 20a speaks the payment means. As an example, it is assumed that the user a (customer A) 20a utters "with XX pay".
  • Step S02 The store terminal 200 inputs the utterance "with XX pay" of the user a (customer A) 20a via the microphone 201, and in step S02, the data processing unit in the store terminal 200 executes the voice analysis of the input utterance. It is determined that the payment means to be used by the user who intends to perform the payment processing, that is, the user a (customer A) 20a is [XX pay].
  • Step S03 the store terminal 200 broadcasts the utterance voice “with XX pay” of the user a (customer A) 20a to the user terminal in the short-range wireless communication possible area by using the short-range wireless communication. To do.
  • the user terminal 100b of the user b (customer B) 20b and the user c (customer C) 20c in addition to the user terminal 100a of the user a (customer A) 20a, the user terminal 100b of the user b (customer B) 20b and the user c (customer C) 20c.
  • a user terminal 100c also exists, and the store terminal 200 transmits the utterance voice “with XX pay” of the user a (customer A) 20a to these three user terminals a, b, and c using short-range wireless communication.
  • each user terminal a to c compares the received user voice received from the store terminal 200 with the registered user voice registered in advance in the user terminal, and whether the received user voice is the person's voice. Execute the process of determining whether or not.
  • step S04 when the user terminal 100a confirms that the received user voice received from the store terminal 200 and the registered user voice registered in advance in the user terminal 100a match, the user voice received from the store terminal 200 is the person's voice. Is determined to be. In this case, the process of step S05 or less is executed. If the match is not confirmed, an error notification is sent from the user terminal 100a to the store terminal 200, and the process of step S05 or lower is not executed.
  • Step S05-1 In step S04, when only one user terminal a, 100a determines that the received user voice is the voice of the person himself / herself, the payment process is executed on the user terminals a, 100a. For example, a process of transmitting user account information from the user terminals a and 100a to the store terminal 200 is executed.
  • Step S05-2 when the plurality of user terminals determine that the received user voice is the voice of the person himself / herself, the store terminal 200 executes the user intention confirmation notification to the plurality of user terminals to confirm the user intention. Have the user account information sent from the user terminal that has been cleared.
  • This step S05-2 is a process assuming such an erroneous determination.
  • step S04 when an erroneous determination occurs in step S04 and the plurality of user terminals determine that the received user voice is the voice of the person himself / herself, the store terminal 200 notifies the plurality of user terminals of the user intention confirmation. To have the user account information sent from the user terminal for which the user's intention has been confirmed. The specific sequence of this process will be described later.
  • Step S06 Next, in step S06, the store terminal 200 executes a payment process according to the user account information received from the user terminal 100.
  • the store terminal 200 can discriminate and select a user terminal to execute one payment process from a plurality of user terminals, communicate with the selected user terminal, and perform the payment process. ..
  • FIGS. 11 to 13 show from the left. Users a, 20a, User terminals c, 100c owned by user 20c, User terminals b, 100b owned by user 20b, User terminals a, 100a owned by user 20a, Store terminal 200, Clerk 30 of the store where the store terminal 200 is located, These are shown. The processes are performed in the order of steps S200 to S216 shown in FIGS. 11 to 13. Hereinafter, the processing of each step will be described in sequence.
  • Step S200 First, in step S200, a communication session is established between the store terminal 200 and the user terminals a to c and 100a to c. That is, when the user terminals a to c and 100a to c enter the short-range wireless communication possible area of the store terminal 200 and reach a position where short-range wireless communication is possible, between the store terminal 200 and the user terminals a to c and 100a to c. A communication session is established with, and the communication is enabled.
  • the short-range wireless communication executed between the store terminal 200 and the user terminals a to c and 100a to c includes, for example, Bluetooth (registered trademark) (BT) communication and NFC (Near Field Communication). ) Communication, RF (Radio Frequency) communication, UWB (Ultra Wide Band) communication, and other short-range wireless communication.
  • Bluetooth registered trademark
  • NFC Near Field Communication
  • RF Radio Frequency
  • UWB Ultra Wide Band
  • Step S201 Next, the clerk inputs the payment amount into the store terminal 200.
  • the payment amount input is described here as being executed by the clerk 30, the process may be such that the user 20 causes the scanner connected to the store terminal 200 to read the tag of the product. Further, the store terminal 200 may receive the data transmitted from the RFID tag attached to the product and automatically calculate the settlement amount.
  • Step S202 the clerk 30 inquires the user 20 about the payment method (payment method). That is, ask a question. It should be noted that the inquiry of the payment means may also be made by using the voice output by the store terminal 200.
  • Step S203 Next, in step S203, the users a and 20a speak the payment means. For example, say "with xx pay”. The users a and 20a make the same utterances as the collation data registered in the user terminals a and 100a.
  • Step S204 the store terminal 200 records the user utterance "in xx pay" input via the microphone in the storage unit, and further executes voice recognition. By this voice recognition, it is confirmed that the users a and 20a are requesting the payment using [xx pay].
  • Step S205 Next, in step S205, the store terminal 200 activates a payment application (application program) for performing the payment means requested by the users a and 20a.
  • a payment application application program
  • Step S206 the store terminal 200 broadcasts and transmits the voice data of the user utterance "xx pay" recorded in the storage unit in step S204. This transmission data is received by three user terminals a to c and 100a to c in the short-range wireless communication possible area of the store terminal 200.
  • Step S207 the three user terminals a to c and 100a to c that have received the voice data of the user utterance "xx pay" of the users a and 20a from the store terminal 200 are in step S207 from the store terminal 200 in step S206.
  • the received user utterance "with xx pay” is compared with the collation user utterances registered in advance in the three user terminals a to c and 100a to c, respectively, and it is determined whether or not the voice data match.
  • determining whether or not there is a match it is not limited to an exact match, and it is determined that the difference is within a predetermined error range.
  • Step S207 only the user terminals a and 100a of the users a and 20a agree with the received user utterance "xx pay" from the store terminal 200 and the registered user utterance "xx pay" registered in the user terminals a and 100a. Then, it is determined. In this case, only the user terminals a and 100a of the users a and 20a shift to the payment process in step S208.
  • step S209 the user terminals a and 100a notify the store terminal 200 that payment is possible.
  • Step S210 The utterances of the user terminals b and c other than the user terminals a and 100a of the users a and 20a are determined to be inconsistent in the utterance collation process in step S107. As a result, these user terminals b and c give an error notification to the store terminal 200 in step S210.
  • Step S211 Next, the store terminal 200 notifies the user terminals a and 100a of the payment amount in step S211.
  • the users a and 20a may be requested to confirm their intention to pay.
  • the store terminal 200 transmits the display data as shown in FIG. 6 described above to the user terminals a and 100a, and displays the display data on the user terminals a and 100a. Let me.
  • Step S212 the user terminals a and 100a transmit the account information and the like of the users a and 100a required for the payment process to the store terminal 200.
  • the transmitted information is different depending on the payment means used by the users a and 100a.
  • Step S213 the store terminal 200 executes a payment process according to the user account information received from the user terminals a and 100a.
  • Step S214 Next, in step S214, the store terminal 200 transmits a payment completion notification to the user terminals a and 100a.
  • Step S215 the user terminals a and 100a display the payment completion notification received from the store terminal 200. For example, the data shown in FIG. 7 described above is displayed.
  • Step S216 the user terminals a and 100a set the user terminals a and 100a in the initial state. That is, it is set to the non-executable state of payment processing.
  • the store terminal 200 determines one user terminal to be settled from among a plurality of user terminals even if there are a plurality of user terminals in the short-range wireless communication possible area of the store terminal 200. It is possible to perform correct payment processing by selecting and communicating with the selected user terminal.
  • the user utterance collation process is executed on each user terminal.
  • One user terminal that has been collated in this collation process is selected as the user terminal that executes the correct settlement process.
  • step S05-2 the collation process based on the spoken voice data does not always obtain 100% correct results, and may make an erroneous judgment. is there. In such a case, the confirmation process for the user will be performed again. A sequence involving confirmation processing for the user will be described with reference to FIGS. 14 to 15.
  • step S207 show the following sequence of the utterance voice data collation process in step S207 described above in FIG. 14 to 15 are processing sequences when the user terminals b and 100b make an erroneous determination in the collation processing of the spoken voice data in step S207.
  • the user terminals b and 100b say that the user utterance made in step S203, that is, the user utterance transmitted from the store terminal 200 in step S206 matches the collation registration data pre-registered in the user terminals b and 100b. This is a processing sequence when an erroneous judgment is made. The processing of each step of step S221 or less following step S207 will be described.
  • Step S221 to S222 In step S221, when the user terminals a and 100a of the users a and 20a match the received user utterance "xx pay" from the store terminal 200 and the registered user utterance "xx pay" registered in the user terminals a and 100a. judge.
  • the user terminals b and 100b of the users b and 20b also determine that the received user utterance "xx pay" from the store terminal 200 and the registered user utterance "xx pay" registered in the user terminals b and 100b match. To do. This determination is an erroneous determination.
  • the process of notifying the store terminal 200 that the two user terminals, the user terminals a and 100a of the users a and 20a and the user terminals b and 100b of the users b and 20b can pay in step S222. Will be done.
  • Step S223 The user terminal c determines that the utterances do not match in the utterance collation process in step S207, and the user terminal c notifies the store terminal 200 of an error in step S223.
  • Steps S224 to S225 When the store terminal 200 receives the payment enablement notification based on the establishment of the utterance voice collation from the plurality of user terminals in step S222, the store terminal 200 notifies the plurality of terminals of the payment continuation confirmation request in step S224.
  • This payment continuation confirmation request notification is a notification that causes each user terminal to display display data for confirming the payment intention of the user.
  • each user terminal that has received the payment continuation confirmation request notification from the store terminal 200 displays the display data for confirming the user's intention on each user terminal.
  • the display data as shown in FIG. 6 described above is the user terminals a, 100a, and the user terminals b. It is displayed on 100b.
  • Step S226) The users a and 20a perform an operation indicating that they are willing to pay for the display data for confirming the user's intention displayed on the user terminals a and 100a. On the other hand, the users b and 20b do not perform an operation indicating that they are willing to pay for the display data for confirming the user's intention displayed on the user terminals b and 100b.
  • step S226 only the user terminals a and 100a notify the store terminal 200 that they are willing to pay.
  • Step S227 the store terminal 200 notifies only the user terminals a and 100a of the users a and 20a of the payment amount.
  • the user enters the payer entry area identification mark 220 and performs payment processing only when he / she makes a payment.
  • a plurality of user terminals do not exist in the short-range wireless communication possible area of the store terminal 200, and the store terminal 200 is surely one user terminal, that is, one that performs payment processing. It is possible to communicate with the user terminal of the user and perform proper payment processing.
  • Example 3 Example of performing payment processing in an unmanned store without a clerk
  • Example 3 an example in which payment processing is performed in an unmanned store without a clerk will be described.
  • Step S250 First, in step S250, a communication session is established between the store terminal 200 and the user terminal 100. That is, when the user terminal 100 approaches the store terminal 200 and reaches a position where short-range wireless communication is possible, a communication session is established between the two terminals and the communication is set to the communicable state.
  • Step S251 the user 20 causes the scanner connected to the store terminal 200 to read the tag of the product, and inputs the payment amount to the store terminal 200.
  • the store terminal 200 may receive the data transmitted from the RFID tag attached to the product and automatically calculate the settlement amount.
  • Step S252 the store terminal 200 inquires the user 20 about the payment method (payment means) via the speaker of the store terminal 200. That is, ask a question.
  • the voice data for this inquiry is recorded in advance in the storage unit of the store terminal 200.
  • Step S253 Next, in step S253, the user 20 speaks the payment means. For example, say "with xx pay”. The user 20 makes the same utterance as the collation data registered in the user terminal 100.
  • Step S254 the store terminal 200 records the user utterance "in xx pay" input via the microphone in the storage unit, and further executes voice recognition. By this voice recognition, it is confirmed that the user 20 is requesting the payment using [xx pay].
  • Step S255 Next, in step S255, the store terminal 200 activates a payment application (application program) for performing the payment means requested by the user.
  • a payment application application program
  • Step S256 the store terminal 200 transmits the voice data of the user utterance "xx pay" recorded in the storage unit in step S254 to the user terminal 100 by using short-range wireless communication.
  • Step S257) the user terminal 100 compares the voice data of the user utterance "xx pay" received from the store terminal 200 in step S256 with the voice data of the user utterance "xx pay" registered in the user terminal 100 in advance. Then, it is determined whether or not the audio data match. In addition, when determining whether or not there is a match, it is not limited to an exact match, and it is determined that the difference is within a predetermined error range.
  • Step S258 If the user terminal 100 determines in step S257 that the received user utterance "xx pay" from the store terminal 200 and the registered user utterance "xx pay" registered in the user terminal 100 match, in step S258, Move to payment processing.
  • step S257 If the match between the two utterances is not confirmed in step S257, the user terminal 100 executes an error notification to the store terminal 200, and does not execute the subsequent processes in step S259 and subsequent steps.
  • Step S259 When it is determined in step S257 that the two utterances match, and it is confirmed in step S253 that the utterance made by the user 20 is the utterance of the user 20 himself / herself, the user terminal 100 tells the store terminal 200 in step S259. And notify that payment is possible.
  • Step S260 Next, the store terminal 200 notifies the user terminal 100 of the payment amount in step S260.
  • step S260b the user 20 may be requested to confirm the payment intention.
  • the store terminal 200 transmits the display data for confirming the payment intention of the user described above with reference to FIG. 6 to the user terminal 100, and the user terminal. Display at 100.
  • Step S261 Next, in step S261, the user terminal 100 transmits the account information and the like of the user 20 required for the payment process to the store terminal 200.
  • the transmitted information is different depending on the payment method used by the user 20.
  • Step S262 the store terminal 200 executes a payment process according to the user account information received from the user terminal 100.
  • Step S263 Next, in step S263, the store terminal 200 transmits a payment completion notification to the user terminal 100.
  • Step S264 the user terminal 100 displays the payment completion notification received from the store terminal 200. For example, the data as described above with reference to FIG. 7 is displayed.
  • step S265 the user terminal 100 sets the user terminal 100 to the initial state. That is, it is set to the non-executable state of payment processing.
  • the store terminal 200 confirms that the payment means that the user 20 is trying to execute using the user terminal 100 is "xx pay” even when there is no clerk, and the confirmed payment means "xx". It is possible to perform payment processing to which "pay” is applied.
  • the user utterance made in step S253 is transmitted from the store terminal 200 to the user terminal 100 in step S256, and the user terminal 100 receives the received utterance.
  • the collation process with the registered user utterance registered in advance in the user terminal 100 is executed.
  • the settlement process is performed when the match between the input utterance and the registered utterance is confirmed.
  • the above-mentioned processing can be executed only by the payment processing execution user (customer) himself / herself, and if a spoofing processing is performed by another person, the payment will not be executed, and a safer payment processing will be realized.
  • the user speaks to the store terminal about the payment method used and performs payment processing.
  • the fourth embodiment described below is an embodiment in which the user speaks about the payment means used to the user terminal instead of the store terminal and performs the payment processing.
  • FIG. 19 is a diagram illustrating an outline of the process of the fourth embodiment.
  • the display data shown in FIG. 19 (Sa) is displayed on the user terminal 100.
  • FIG. 19 shows an example of a smartphone and a smart watch side by side as an example of the user terminal 100.
  • step Sa is an example of display data that requests the user to speak the payment method (payment means) to be used.
  • the user confirms this display data and makes an utterance such as "by yy pay".
  • an utterance such as "by yy pay”.
  • it is necessary that the collation data has been registered in the user terminal in advance.
  • the user utterance made to the user terminal is input to the data processing unit in the user terminal via the microphone of the user terminal.
  • the payment amount information is transmitted from the store terminal to the user terminal, and the payment information shown in FIG. 19C is displayed on the user terminal.
  • FIGS. 20 and 21 show the user 20, the user terminal 100 owned by the user 20, the store terminal 200, and the store clerk 30 in which the store terminal 200 is located.
  • the processes are performed in the order of steps S300 to S312 shown in FIGS. 20 and 21.
  • the processing of each step will be described in sequence.
  • Step S300 First, in step S300, a communication session is established between the store terminal 200 and the user terminal 100. That is, when the user terminal 100 approaches the store terminal 200 and reaches a position where short-range wireless communication is possible, a communication session is established between the two terminals and the communication is set to the communicable state.
  • the short-range wireless communication executed between the store terminal 200 and the user terminal 100 includes, for example, Bluetooth (registered trademark) (BT) communication, NFC (Near Field Communication) communication, and RF (Radio).
  • BT registered trademark
  • NFC Near Field Communication
  • RF Radio
  • Step S301 the clerk inputs the payment amount into the store terminal 200.
  • the payment amount input is described here as being executed by the clerk 30, the process may be such that the user 20 causes the scanner connected to the store terminal 200 to read the tag of the product. Further, the store terminal 200 may receive the data transmitted from the RFID tag attached to the product and automatically calculate the settlement amount.
  • Step S302 the store terminal 200 notifies the user 20 of the payment amount and inquires the user 20 about the payment method (payment means). That is, ask a question.
  • Step S303 Next, in step S303, the user 20 speaks to the user terminal 100 as a payment means.
  • the payment application is started on the user terminal 100, and the screen shown in FIG. 19 (step Sa) is displayed first.
  • the user may activate the payment application and display the screen shown in FIG. 19 (step Sa).
  • step S303 the user 20 utters a payment means, for example, "by yy pay" to the user terminal 100.
  • the user 20 makes the same utterance as the collation data registered in the user terminal 100.
  • Step S304 the user terminal 100 records the user utterance "in xx pay" input via the microphone in the storage unit, and further executes voice recognition. By this voice recognition, it is confirmed that the user 20 requests the payment using [yy pay].
  • Step S305 the user terminal 100 receives voice data of the user utterance "yy pay" input through the microphone in steps S303 to S304 and the user utterance "yy pay" registered in the user terminal 100 in advance. Are compared to determine whether or not the audio data match. In addition, when determining whether or not there is a match, it is not limited to an exact match, and it is determined that the difference is within a predetermined error range.
  • Step S306 If the user terminal 100 determines in step S306 that the user utterance "y pay" input via the microphone and the registered user utterance "yy pay" registered in the user terminal 100 match, in step S306, Move to payment processing.
  • step S305 If the match between the two utterances is not confirmed in step S305, the user terminal 100 executes an error notification to the store terminal 200, and does not execute the subsequent processing in step S307 or less.
  • Step S307 When it is determined in step S305 that the two utterances match, and it is confirmed in step S303 that the utterance made by the user 20 is the utterance of the user 20 himself / herself, the user terminal 100 responds to the store terminal 200 in step S307. And notify that payment is possible.
  • the notification also includes a payment instrument (payment instrument) and information required for payment processing, such as user account information.
  • the transmitted information is different depending on the payment method used by the user 20.
  • Step S308 the store terminal 200 activates a payment application (application program) for performing the payment means requested by the user.
  • a payment application application program
  • step S309 the store terminal 200 executes the payment process according to the user account information received from the user terminal 100.
  • Step S310 Next, in step S310, the store terminal 200 transmits a payment completion notification to the user terminal 100.
  • step S311 the user terminal 100 displays the payment completion notification received from the store terminal 200. For example, the data shown in FIG. 7 described above is displayed.
  • Step S312 the user terminal 100 sets the user terminal 100 to the initial state. That is, it is set to the non-executable state of payment processing.
  • the store terminal 200 confirms that the payment means that the user 20 is trying to execute using the user terminal 100 is "yy pay", and applies the confirmed payment means "yy pay”. Settlement processing can be performed.
  • the user utterance made in step S303 is directly input to the user terminal 100 in the confirmation process of the payment means.
  • the user terminal 100 executes a collation process between the input utterance and the registered user utterance registered in advance in the user terminal 100. In this collation process, when the match between the input utterance and the registered utterance is confirmed, the settlement process is performed.
  • This utterance collation process is a process for confirming that the utterance is the utterance of the user (customer) who executes the payment process, and if a spoofing process is performed by another person, the payment will not be executed, and the payment process is safe. Is realized.
  • Example 5 Example of performing payment processing by transmitting utterance data selected by the user from a plurality of usage payment means designated utterance data pre-registered in the user terminal to the store terminal]
  • Example 6 Example of performing payment processing by transmitting utterance data selected by the user from a plurality of usage payment means designated utterance data pre-registered in the user terminal to the store terminal.
  • FIG. 22 is a diagram illustrating an outline of the process of the fifth embodiment.
  • the display data shown in FIG. 20 (Sa) is displayed on the user terminal 100.
  • FIG. 22 also shows an example of a smartphone and a smart watch side by side as an example of the user terminal 100.
  • the display data shown in FIG. 22 is an example of display data that requests the user to select a payment method (payment means) to be used.
  • the user confirms this display data and selects, for example, "yy pay" as the payment means.
  • the payment means displayed on the user terminal here is a payment means in which user-spoken voice data for designating the payment means is pre-registered in the user terminal.
  • step Sb the data processing unit of the user terminal 100 acquires the pre-registered user utterance data "yy pay" corresponding to the user's selected "yy pay” from the storage unit and stores the store terminal. Send to 200.
  • the payment amount information is transmitted from the store terminal to the user terminal, and the payment information shown in FIG. 22C is displayed on the user terminal.
  • FIGS. 23 and 24 show the user 20, the user terminal 100 owned by the user 20, the store terminal 200, and the store clerk 30 in which the store terminal 200 is located.
  • the processes are performed in the order of steps S320 to S333 shown in FIGS. 23 and 24.
  • the processing of each step will be described in sequence.
  • Step S320 First, in step S320, a communication session is established between the store terminal 200 and the user terminal 100. That is, when the user terminal 100 approaches the store terminal 200 and reaches a position where short-range wireless communication is possible, a communication session is established between the two terminals and the communication is set to the communicable state.
  • the short-range wireless communication executed between the store terminal 200 and the user terminal 100 includes, for example, Bluetooth (registered trademark) (BT) communication, NFC (Near Field Communication) communication, and RF (Radio).
  • BT registered trademark
  • NFC Near Field Communication
  • RF Radio
  • Step S321) the clerk inputs the payment amount into the store terminal 200.
  • the payment amount input is described here as being executed by the clerk 30, the process may be such that the user 20 causes the scanner connected to the store terminal 200 to read the tag of the product. Further, the store terminal 200 may receive the data transmitted from the RFID tag attached to the product and automatically calculate the settlement amount.
  • Step S322 the store terminal 200 notifies the user 20 of the payment amount and inquires the user 20 about the payment method (payment means). That is, ask a question.
  • Step S323 Next, in step S323, the user 20 selects a payment means for the user terminal 100.
  • the payment application is started on the user terminal 100, and the screen shown in FIG. 22 (step Sa) is displayed first.
  • the user may activate the payment application and display the screen shown in FIG. 22 (step Sa).
  • step S323 the user 20 selects one from a plurality of payment methods displayed on the user terminal 100. For example, select "yy pay”.
  • Step S324 the user terminal 100 acquires the pre-registered user utterance data "yy pay" corresponding to the user's selected "yy pay” from the storage unit in the data processing unit of the user terminal 100. And sends it to the store terminal 200.
  • Step S325 the store terminal 200 records the user utterance "by pay" received from the user terminal 100 in the storage unit, and further executes voice recognition. By this voice recognition, it is confirmed that the user 20 requests the payment using [yy pay].
  • Step S326 the store terminal 200 activates a payment application (application program) for performing the payment means requested by the user 20.
  • a payment application application program
  • Step S327 the store terminal 200 transmits the voice data of the user utterance “by pay” recorded in the storage unit in step S325 to the user terminal 100 by using short-range wireless communication.
  • step S328 the user terminal 100 compares the voice data of the user utterance "yy pay" received from the store terminal 200 in step S327 with the voice data of the user utterance "yy pay" registered in the user terminal 100 in advance. Then, it is determined whether or not the audio data match. In addition, when determining whether or not there is a match, it is not limited to an exact match, and it is determined that the difference is within a predetermined error range.
  • Step S329) If the user terminal 100 determines in step S328 that the received user utterance "yy pay" from the store terminal 200 and the registered user utterance "yyx pay" registered in the user terminal 100 match, in step S329, The user terminal 100 notifies the store terminal 200 that payment is possible.
  • the notification also includes a payment instrument (payment instrument) and information required for payment processing, such as user account information.
  • the transmitted information is different depending on the payment method used by the user 20.
  • Step S330 the store terminal 200 executes a payment process according to the user account information received from the user terminal 100.
  • Step S331 Next, in step S331, the store terminal 200 transmits a payment completion notification to the user terminal 100.
  • Step S332 the user terminal 100 displays the payment completion notification received from the store terminal 200. For example, the data shown in FIG. 7 described above is displayed.
  • step S333 the user terminal 100 sets the user terminal 100 to the initial state. That is, it is set to the non-executable state of payment processing.
  • the store terminal 200 confirms that the payment means that the user 20 is trying to execute using the user terminal 100 is "yy pay", and applies the confirmed payment means "yy pay”. Settlement processing can be performed.
  • Example 6 Example of executing face recognition based on a photographed image of a user
  • Example 6 an example in which a user's face image is photographed and face authentication based on the photographed image is executed will be described.
  • FIG. 25 is a diagram illustrating a processing example of the sixth embodiment.
  • the store terminal (cash register) 200 has a camera 202 for taking an image in addition to the microphone 201.
  • a store terminal 200 is placed in front of a store clerk, and a user a (customer A) 20a who is a user who makes a payment stands in front of the store terminal 200.
  • Users a and 20a hold a user terminal 100a such as a smartphone.
  • Short-range wireless communication is performed between the store terminal 200 and the user terminal 100a to execute the payment process.
  • the short-range wireless communication executed between the store terminal 200 and the user terminal 100a includes, for example, Bluetooth (registered trademark) (BT) communication, NFC (Near Field Communication) communication, RF (Radio Frequency) communication, and UWB. (Ultra Wide Band) Short-range wireless communication such as communication.
  • Bluetooth registered trademark
  • NFC Near Field Communication
  • RF Radio Frequency
  • UWB Ultra Wide Band
  • the payment process by the store terminal 200 of the present disclosure is performed in the order of steps S01 to S07 shown in FIG. The processing of each step will be described below.
  • Step S01 First, the users a and 20a speak the payment means. As an example, it is assumed that the users a and 20a utter "with XX pay".
  • Step S02 The store terminal 200 inputs the utterances "XX pay" of the users a and 20a via the microphone 201, and in step S02, the data processing unit in the store terminal 200 executes voice analysis of the input utterances and performs payment processing. It is determined that the user who wants to perform, that is, the payment means that the users a and 20a want to use is [XX Pay].
  • Step S03 Next, in step S03, the store terminal 200 uses the camera 202 to capture facial images of the users a and 20a.
  • Step S04 Next, in step S04, the store terminal 200 transmits the facial images of the users a and 20a to the user terminal 100a using short-range wireless communication.
  • step S05 the user terminal 100a compares the user face photographed image received from the store terminal 200 with the registered user face image registered in advance in the user terminal 100a, and the user face photographed image received from the store terminal 200. Is determined whether or not the person in the above is the same person as the person in the face image of the users a and 20a who are the owners of the user terminal 100a.
  • the person in the user face photographed image received from the store terminal 200 is the user terminal 100a. It is determined that the person is the person in the face image of the users a and 20a who are the owners of. In this case, the process of step S06 or less is executed.
  • the user terminal 100a if it cannot be determined that the person in the user face photographed image received from the store terminal 200 is the same person as the person in the face image of the users a and 20a who are the owners of the user terminal 100a, the user terminal 100a , Notify the store terminal 200 of the error. In this case, the settlement process is not executed. However, after that, the payment intention confirmation processing may be performed on the users a and 20a, and if the intention is confirmed, the payment processing may be performed.
  • Step S06 In step S05, when it is determined that the person in the user face photographed image received from the store terminal 200 is the same person as the person in the face image of users a and 20a who are the owners of the user terminal 100a, the process of step S06 or less. Is executed.
  • the user terminal 100a executes the payment process in step S06. Specifically, the account information and the like of the users a and 20a required for the payment processing are transmitted to the store terminal 200.
  • the transmitted information is different depending on the payment means used by the users a and 20a.
  • Step S07 the store terminal 200 executes a payment process according to the user account information received from the user terminal 100a.
  • whether or not the users a and 20a who intend to execute the payment process are the true owners of the user terminal 100a used for the payment process is determined by using the face image registered in advance in the user terminal 100a. It is a configuration that performs the process of confirming. With this configuration, for example, even if a user other than the users a and 20a tries to take out and use the user terminal 100a, payment cannot be made and unauthorized use of the terminal can be prevented.
  • FIGS. 26 and 27 show the user 20, the user terminal 100 owned by the user 20, the store terminal 200, and the store clerk 30 in which the store terminal 200 is located, from the left.
  • the processes are performed in the order of steps S400 to S416 shown in FIGS. 26 and 27.
  • the processing of each step will be described in sequence.
  • Step S400 First, in step S400, a communication session is established between the store terminal 200 and the user terminal 100. That is, when the user terminal 100 approaches the store terminal 200 and reaches a position where short-range wireless communication is possible, a communication session is established between the two terminals and the communication is set to the communicable state.
  • the short-range wireless communication executed between the store terminal 200 and the user terminal 100 includes, for example, Bluetooth (registered trademark) (BT) communication, NFC (Near Field Communication) communication, and RF (Radio).
  • BT registered trademark
  • NFC Near Field Communication
  • RF Radio
  • Step S401 the clerk inputs the payment amount into the store terminal 200.
  • the payment amount input is described here as being executed by the clerk 30, the process may be such that the user 20 causes the scanner connected to the store terminal 200 to read the tag of the product. Further, the store terminal 200 may receive the data transmitted from the RFID tag attached to the product and automatically calculate the settlement amount.
  • Step S402 the clerk 30 inquires the user 20 about the payment method (payment method). That is, ask a question. It should be noted that the inquiry of the payment means may also be made by using the voice output by the store terminal 200.
  • step S103 the user 20 speaks the payment means. For example, say "with xx pay”.
  • the user 20 makes the same utterance as the collation data registered in the user terminal 100.
  • Step S404 the store terminal 200 records the user utterance "in xx pay" input via the microphone in the storage unit, and further executes voice recognition. By this voice recognition, it is confirmed that the user 20 is requesting the payment using [xx pay].
  • Step S405 the store terminal 200 activates a payment application (application program) for performing the payment means requested by the user.
  • a payment application application program
  • Step S406 the store terminal 200 uses the camera 202 to capture a face image of the user 20.
  • step S407 the store terminal 200 transmits the user's face image to the user terminal 100 using short-range wireless communication.
  • step S408 the user terminal 100 compares the user face photographed image received from the store terminal 200 with the registered user face image registered in advance in the user terminal 100, and the user face photographed image received from the store terminal 200. Is the same person as the person in the face image of the user 20 who is the owner of the user terminal 100.
  • the person in the user face photographed image received from the store terminal 200 is the user terminal 100. It is determined that the person is the person in the face image of the user 20 who is the owner of the user 20. In this case, the process of step S409 or less is executed.
  • the user terminal 100 is in the store. Notify the terminal 200 of the error. In this case, the settlement process is not executed.
  • the user 20 may be configured to perform the payment intention confirmation process, and when the intention is confirmed, the payment process may be performed.
  • Step S409 If it is determined in step S408 that the person in the user face photographed image received from the store terminal 200 is the same person as the person in the face image of the user 20 who is the owner of the user terminal 100, the payment process is performed in step S409. Transition.
  • step S410 the user terminal 100 notifies the store terminal 200 that payment is possible.
  • Step S411) the store terminal 200 notifies the user terminal 100 of the payment amount in step S411.
  • step S411b the user 20 may be requested to confirm the payment intention.
  • the store terminal 200 transmits the display data as described above to the user terminal 100, for example, with reference to FIG. 6, and causes the user terminal 100 to display the display data. ..
  • Step S412 the user terminal 100 transmits the account information and the like of the user 20 required for the payment process to the store terminal 200.
  • the transmitted information is different depending on the payment method used by the user 20.
  • Step S413 the store terminal 200 executes a payment process according to the user account information received from the user terminal 100.
  • Step S414 the store terminal 200 transmits a payment completion notification to the user terminal 100.
  • step S415 the user terminal 100 displays the payment completion notification received from the store terminal 200. For example, the data as described above with reference to FIG. 7 is displayed.
  • step S416 the user terminal 100 sets the user terminal 100 to the initial state. That is, it is set to the non-executable state of payment processing.
  • the payment means is confirmed based on the user's utterance of the user 20 who intends to execute the payment processing, and whether or not the user is the true owner of the user terminal 100a used for the payment processing is confirmed by the user. It is a configuration that performs a process of confirming using a face image registered in advance in the terminal 100a. With this configuration, it is possible to surely confirm the payment means and confirm the true owner of the user terminal, and it is possible to prevent erroneous payment processing and fraudulent payment.
  • FIG. 28 shows one store.
  • the lower center of FIG. 28 is the entrance / exit of the store, and users (customers) enter and exit.
  • the store terminal 200 executes short-range wireless communication with the user terminal owned by the user (customer) to perform payment processing.
  • the store terminal 200 is wired or wirelessly connected to cameras and short-range wireless communication units provided at a plurality of locations in the store.
  • the store terminal 200 inputs images taken by cameras provided at a plurality of locations in the store. Further, the store terminal 200 inputs information transmitted and received to and from the user terminal owned by the user (customer) by the short-range wireless communication units provided at a plurality of locations in the store.
  • the store terminal 200 analyzes the captured image of the camera and the communication information of the short-range wireless communication unit, and generates the correspondence data between the user (customer) and the user terminal. Specifically, the user attribute information such as the gender, age, clothes, and belongings of the user (customer) is analyzed based on the image taken by the camera. Further, the identification information (user terminal ID) of the user terminal is acquired based on the transmission / reception information between the short-range wireless communication unit and the user terminal held by the user (customer).
  • the correspondence data (user attribute user terminal correspondence data) between the user attribute information of each user and the identification information (user terminal ID) of the user terminal is generated.
  • a specific example of generated data is shown in FIG.
  • the data shown in FIG. 29 includes user attribute information (gender, age, clothes, belongings) for each user (customer) in the store taken by the camera, and an identifier (for example, a smartphone ID) of the user terminal owned by the user.
  • Correspondence data user attribute user terminal correspondence data associated with.
  • the store terminal 200 generates this corresponding data (user attribute user terminal compatible data) based on the image captured by the camera and the communication data of the short-range wireless communication unit, and stores it in the storage unit.
  • the store terminal 200 is an image taken by a camera that captures the front of the store terminal 200, for example, a camera 5 shown in FIG. 28.
  • Get user attributes (gender, age, clothes, belongings) from.
  • the store terminal 200 selects an entry having a user attribute matching the acquired user attribute from the corresponding data (user attribute user terminal corresponding data) stored in the storage unit. Further, the user terminal identification information (smartphone ID) recorded in the selected entry is acquired.
  • the user terminal of the user who performs the payment process is specified, and the store terminal 200 can execute the payment process by communicating with the specified user terminal.
  • the generation processing of the corresponding data (user attribute user terminal corresponding data), the recording processing for the storage unit, the user attribute analysis processing based on the captured image near the store terminal 200, the search processing of the corresponding data based on the analysis result, etc. It may be configured to be executed on an external server other than the terminal 200.
  • the external server has a configuration that can communicate with the store terminal, the camera in the store, and the short-range wireless communication unit, and the external server acquires the image taken by the camera and the transmission / reception data of the short-range wireless communication unit, analyzes it, and responds.
  • Data (user attribute user terminal compatible data) is generated and stored in the storage unit in the server. Further, the external server may execute the user attribute analysis process based on the captured image near the store terminal 200 and the search process of the corresponding data based on the analysis result, and notify the store terminal 200 of the user terminal identification information obtained from the search result. Good.
  • FIG. 30 shows a state in which two customers 1 and 2 enter the store and pass through an image capturing area by the camera 1 and a communicable area of the short-range wireless communication unit 1.
  • the analysis data shown in FIG. 31 is generated based on the captured image of the camera 1 and the communication information of the short-range wireless communication unit 1.
  • the analysis data shown in FIG. 31 is generated at the store terminal 200 or an external server.
  • FIG. 31 (1) is analysis data generated based on the captured image of the camera 1.
  • User attributes (gender, age, clothes, belongings) for each of user 1 (customer 1) and user 2 (customer 2) are recorded in the storage unit as analysis data.
  • the storage unit is a storage unit in the store terminal or an external server. Since FIG. 31 (1) is analysis data generated based on the captured image of the camera 1, the user terminal identification information remains unknown.
  • FIG. 31 (2) is analysis data generated based on the communication information of the short-range wireless communication unit 1.
  • the short-range wireless communication unit 1 can communicate with the user terminal 1 of the user 1 (customer 1) and the user terminal 2 of the user 2 (customer 2), and analyze the terminal identification information of the two user terminals. .. However, it is not possible to analyze whether these two user terminals are user 1 (customer 1) or user 2 (customer 2).
  • the analysis data is generated based on the analysis data generated based on the captured image of the camera 1 shown in FIG. 31 (1) and the communication information of the short-range wireless communication unit 1 shown in FIG. 31 (2).
  • the analysis data is generated individually, and each entry of these two analysis data is in an unlinked state.
  • Temporary ID1 and temporary ID2 are set in the two entries of the analysis data generated based on the captured image of the camera 1 shown in FIG. 31 (1), and the communication information of the short-range wireless communication unit 1 shown in FIG. 31 (2). It is confirmed that the two entries of the analysis data generated based on the above correspond to either the temporary ID1 or the temporary ID2. That is, it has not been possible to analyze whether the identification information (1234, 5678) of the two user terminals shown in FIG. 31 (2) is the terminal of user 1 (customer 1) or user 2 (customer 2), respectively. It is in a state.
  • the state shown in FIG. 32 is a state in which the user 1 (customer 1) is photographed by the camera 3 and the short-range wireless communication unit 3 can communicate with the user terminal 1 owned by the user 1 (customer 1).
  • the user 2 (customer 2) is photographed by the camera 1, and the short-range wireless communication unit 1 is in a state where it can communicate with the user terminal 2 owned by the user 2 (customer 2).
  • the user attributes (gender, age, clothes, belongings) obtained from the image taken by the camera 3 and the user terminal identifier (smartphone ID) analyzed from the communication information of the short-range wireless communication unit 3 are 1: 1. Can be associated with. Similarly, the user attributes (gender, age, clothes, belongings) obtained from the image taken by the camera 1 and the user terminal identifier (smartphone ID) analyzed from the communication information of the short-range wireless communication unit 1 are also 1: 1. Can be associated.
  • each entry of the analysis data (1) generated based on the captured images of the camera 1 and the camera 3 shown in FIG. 33 is generated based on (2) the communication information of the short-range wireless communication units 1 and 3. It becomes possible to record the user terminal identifier recorded in the analysis data, and the user attribute user terminal corresponding data is completed.
  • FIG. 34 shows a state in which the user 1 (customer 1) stands in front of the store terminal 200 and is about to perform payment processing. However, the user 2 (customer 2) is also nearby, and the store terminal 200 can communicate with the user terminal 1 of the user 1 (customer 1) and the user terminal 2 of the user 2 (customer 2). It is in a state of being.
  • the store terminal 200 or an external server performs image analysis of the camera 5 that takes a picture in front of the store terminal 200.
  • image analysis it is determined that the user who stands in front of the store terminal 200 and is trying to perform payment processing is user 1 (customer 1). Further, the identifier of the user terminal 1 of the user 1 (customer 1) is acquired from the previously generated user attribute user terminal correspondence data.
  • the store terminal 200 acquires the identifier of the user terminal 1 in the communication of the user 1 (customer 1) with the user terminal 1, and obtains the identifier of the user terminal 2 in the communication of the user 2 (customer 2) with the user terminal 2. get.
  • the user 1 (customer 1) is the user who stands in front of the store terminal 200 and is trying to perform payment processing. Based on this result, as shown in FIG. 35, it can be determined that the user 1 (customer 1) is the payment target person among the two users. Based on this result, the store terminal 200 continues communication with the user terminal 1 of the user 1 (customer 1) from the two user terminals in the communication state, and communicates with the user terminal 2 of the user 2 (customer 2). Stop communication. After that, the store terminal 200 communicates with the user terminal 1 of the user 1 (customer 1) who is continuing the communication, and executes the payment process.
  • the identifier of the user terminal owned by each user is acquired based on the information acquired by the plurality of cameras and the plurality of short-range wireless communication units provided in the store.
  • the payment processing of each user it is possible to specify the user terminal held by the user and perform the payment processing without error by communicating with the user terminal.
  • FIG. 36 shows gates 1 to 3.
  • a user (customer) who intends to pass through the gate proceeds in the direction of the gate from the upper right of the figure along the arrow and passes through the gate.
  • a plurality of cameras and a plurality of short-range wireless communication units are provided on this passage.
  • the plurality of short-range wireless communication units communicate with user terminals such as smartphones held by users (customers) walking in the aisle.
  • the image captured by the camera and the communication data of the short-range wireless communication unit are transmitted to a server that performs gate control processing and analyzed.
  • a user attribute user terminal in which the same user attributes (gender, age, clothes, belongings) as described above with reference to FIG. 29 and others are associated with the user terminal identifier (smartphone ID).
  • Corresponding data is generated and stored in the storage unit.
  • the server manages the user terminal ID and the commuter pass information corresponding to the ID, or the data corresponding to the balance information, in addition to the above-mentioned user attribute user terminal corresponding data. Holds data.
  • the server that performs the gate control process controls the opening and closing of the gate based on the user management data and the user attribute user terminal correspondence data. A specific example will be described with reference to FIG. 37.
  • step S01 the server acquires user attribute information (gender, age, clothes, belongings) and user terminal identification information (smartphone ID). These are acquired based on the image taken by the camera and the communication information of the short-range wireless communication unit.
  • step S02 the server refers to the user terminal ID and the commuter pass information corresponding to the ID, or the user management data which is the correspondence data with the balance information, and the commuter pass information of the user 1 (customer 1). Or get the balance information.
  • step S03 the server determines that the user 1 (customer 1) is eligible to pass through the gate based on the commuter pass information or the balance information of the user 1 (customer 1), and allows the user 1 (customer 1) to pass through the gate. Judgment processing is performed.
  • step S04 the server confirms that the user 1 (customer 1) has approached the gate, and controls to open the gate.
  • gate opening / closing control can be performed smoothly and without errors. It becomes possible to execute.
  • step S05 of FIG. 38 by installing a short-range wireless communication unit at a position after passing through the gate and setting it to be able to communicate with the user terminal, a periodical record recorded on the user terminal after passing through the gate is performed. It is also possible to perform a writing process for updating the ticket information or the balance information.
  • the processing of each step of the flow will be described in sequence.
  • the process according to the flow shown in FIG. 39 is a process executed for each short-range wireless communication unit, and the server performs a process according to the flow shown in FIG. 39 for a plurality of short-range wireless communication units. Are executed in parallel.
  • Step S501 First, the server, which is a gate control device, detects a user terminal capable of communicating with a certain short-range wireless communication unit in step S501.
  • Step S502 the server, which is the gate control device, determines whether or not there is only one user terminal capable of communicating with one short-range wireless communication unit. If there is only one, the process proceeds to step S505. If there are a plurality, the process proceeds to step S503.
  • Step S503 When it is determined in step S502 that there are a plurality of user terminals capable of communicating with one short-range wireless communication unit, the server, which is the gate control device, executes the process of step S503.
  • step S503 the server identifies the user terminal identification information of the gate intruder based on the camera captured image of the gate intruder.
  • Step S504 the server determines whether or not the gate intruder's user terminal identification process has succeeded. If successful, the process proceeds to step S505. If it fails, the process proceeds to step S507.
  • Step S505 to S507 If it is determined in step S502 that only one user terminal can communicate with one short-range wireless communication unit, or if the gate intruder's user terminal identification process is successful in step S504, step S505 Execute the processing of.
  • step 505 the server determines whether or not the user is a user who is allowed to pass through the gate, based on the user terminal identification information. This is executed with reference to the user terminal ID and the commuter pass information corresponding to the ID, or the user management data which is the correspondence data with the balance information described above.
  • step S506 If it is determined that the user is a user who is allowed to pass through the gate, the process proceeds to step S506, and the gate is opened to allow the user to pass through. On the other hand, if it is determined that the user is not a user who is allowed to pass through the gate, the process proceeds to step S507, the gate is closed, and an error sound is output.
  • step S507 is also executed when the user terminal identification process of the gate intruder fails in step S504.
  • gate opening / closing control can be performed smoothly and without errors. It becomes possible to execute.
  • the user terminal 100 is, for example, a smartphone (smartphone), and has, for example, the configuration shown in FIG. 40.
  • the user terminal 100 includes a control unit (data processing unit) 101, an operation unit 102, a display unit 103, a secure element 104, a storage unit (memory) 105, a clock 106, a first communication unit 110, and a first. It has two communication units 120.
  • the first communication unit 110 includes a Wi-Fi communication unit 111 and other communication units 112.
  • the second communication unit 120 includes NFC-CLF121, Bluetooth (registered trademark) communication unit 122, and other communication units 123.
  • the control unit (data processing unit) 101 executes control of the processing executed by the user terminal 100. Specifically, it executes communication control processing, payment processing, user utterance collation processing, image collation processing, and the like with a store terminal and a short-range wireless communication unit.
  • the control program, application, etc. executed by the control unit (data processing unit) 101 are stored in the storage unit (memory) 105.
  • the control unit (data processing unit) 101 has a processor such as a CPU having a program execution function.
  • the operation unit 102 is an operation unit that can be operated by the user, and includes various switches as well as a touch panel and the like on the display unit 103. The user can input various information via the operation unit 102.
  • the display unit 103 is, for example, a display unit of a liquid crystal display or the like, and is used for displaying execution information of various applications.
  • the secure element 104 is an IC chip configured as an element having a secure memory and a memory control unit.
  • a cashless payment function providing application or the like is stored in the secure memory in the secure element 104.
  • the storage unit (memory) 105 records control programs, applications, ID information, user account information, and the like executed by the control unit 101.
  • the clock 106 is clock information, and clock information is output to each processing unit.
  • the first communication unit 110 is composed of a Wi-Fi communication unit 111 and other communication units 112, and is used for communication with an external device such as a server, a PC, a smartphone, a wearable device, or the like.
  • the other communication unit 112 is a communication unit having a long-distance communication function such as a telephone line and the Internet.
  • the second communication unit 120 includes an NFC-CLF 121, a Bluetooth (registered trademark) communication unit 122, and other communication units 123, and performs communication processing with, for example, a store terminal 200 or a short-range wireless communication unit.
  • the other communication unit 123 is a communication unit that performs short-range wireless communication such as an RF communication unit and UWB (Ultra Wide Band) communication.
  • NFC-CLF121 is NFC (Near Field Communication) -CLF (Contactless Front End) and is a kind of IC chip for short-range communication.
  • FIG. 41 is a block diagram showing a configuration example of the store terminal 200.
  • the store terminal 200 has a control unit (data processing unit) 251 and a communication unit 252, a short-range wireless communication unit 253, an input unit (microphone, camera, operation unit, etc.) 254, an output unit 255, and a storage unit (memory) 256. ..
  • the control unit (data processing unit) 251 performs overall control of the processing executed by the store terminal 200. Specifically, processing such as payment processing and communication control is executed. The execution program of these processes is stored in the storage unit (memory) 255.
  • the control unit (data processing unit) 251 has a processor such as a CPU having a program execution function.
  • the communication unit 252 executes communication with, for example, an external server.
  • the external server is various servers such as a payment server and a user information management server.
  • the short-range wireless communication unit 253 is a communication unit that performs short-range wireless communication with a user terminal.
  • the input unit (microphone, camera, operation unit, etc.) 254 can input images taken by an externally mounted camera, input communication data from the short-range wireless communication unit, and further input data and operation information by the user. It is an input unit, and is also used for inputting a payment amount, for example.
  • the output unit 255 is composed of, for example, a display unit, a voice output unit, and the like, and displays a payment amount, outputs various messages, warnings, and the like.
  • the storage unit (memory) 256 records a program executed by the control unit (data processing unit) 251 and parameters applied to the program execution. Further, it is also used as an information recording area such as a store terminal ID, store terminal information, and payment amount.
  • FIG. 42 is a diagram showing an example of a hardware configuration that can be used as a user terminal 100, a store terminal 200, and a server.
  • the CPU (Central Processing Unit) 301 functions as a control unit or a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 302 or the storage unit 308. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301. These CPU 301, ROM 302, and RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to the input / output interface 305 via the bus 304, and the input / output interface 305 is connected to an input unit 306 including various switches, a keyboard, a mouse, a microphone, and an output unit 307 including a display and a speaker. There is.
  • the CPU 301 executes various processes in response to a command input from the input unit 306, and outputs the process results to, for example, the output unit 307.
  • the storage unit 308 connected to the input / output interface 305 is composed of, for example, a flash memory, a hard disk, etc., and stores a program executed by the CPU 301 and various data.
  • the communication unit 309 has different configurations required for each of the user terminal 100, the store terminal 200, and the server.
  • the user terminal 100 and the store terminal 200 have a communication unit capable of executing both short-range wireless communication and long-range communication.
  • the server does not need a short-range wireless communication function, and may be configured to enable long-distance communication.
  • the drive 310 connected to the input / output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • a removable media 311 and a drive 310 are not indispensable configurations.
  • the technology disclosed in the present specification can have the following configuration.
  • (1) Communication section and Has a data processing unit The data processing unit
  • a user utterance that specifies the payment method executed by the user is input from the store terminal via the communication unit. It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit.
  • An information processing device that executes communication with the store terminal and performs payment processing in response to a determination of matching.
  • the data processing unit When it is determined that the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit.
  • the information processing device according to (1) or (2), which transmits information required for payment processing to the store terminal.
  • the data processing unit When an inquiry for confirming the user's intention to execute payment processing is received from the store terminal, the user intention confirmation data is displayed on the display unit.
  • the information processing device according to any one of (1) to (4), which transmits a notification indicating that the user has an intention to execute payment processing to the store terminal when an input indicating an intention to execute payment processing is made by the user.
  • the data processing unit Enter the user utterance that specifies the payment method executed by the user through the microphone, It is determined whether or not the user utterance input through the microphone matches the collation registered user utterance stored in the storage unit.
  • the information processing device according to any one of (1) to (5), which executes communication with the store terminal and performs payment processing according to a determination of matching.
  • the data processing unit Enter the user's payment method selection information for multiple payment methods displayed on the display,
  • the information processing device according to any one of (1) to (6), wherein a user utterance that specifies a payment method selected by the user is selected from the registered user utterances stored in the storage unit and transmitted to the store terminal.
  • the data processing unit The user image is input from the store terminal in which the user image is taken by the camera via the communication unit. It is determined whether or not the person in the user image input from the store terminal matches the person in the registered user image for collation stored in the storage unit.
  • the information processing device according to any one of (1) to (7), which executes communication with the store terminal and performs payment processing according to a determination of matching.
  • the payment execution notification from the user terminal is When the user terminal determines whether or not the user utterance received from the information processing device matches the registered user utterance pre-registered in the storage unit of the user terminal, and if the determination is obtained that the user utterance matches.
  • the data processing unit is When an authentication error notification is received from the user terminal
  • the information processing device according to (9) or (10), which transmits an inquiry confirming a user's intention to execute payment processing to the user terminal.
  • the data processing unit The information processing device according to (11), which executes a payment process when a notification indicating that the user intends to execute the payment process is received from the user terminal.
  • the data processing unit is The user image taken by the camera is transmitted to the user terminal via the communication unit, and the user image is transmitted to the user terminal.
  • the information processing apparatus according to any one of (9) to (12), which executes a payment process in response to a payment execution notification received from the user terminal when authentication is established based on the user image on the user terminal.
  • a payment processing system having a user terminal and a store terminal.
  • the store terminal is Through the microphone, the user's utterance that specifies the payment method executed by the user is input, the voice recognition process is executed, the payment method specified by the user is determined, and the payment method specified by the user is determined.
  • the user utterance is transmitted to the user terminal via the communication unit,
  • the user terminal is It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit. In response to the determination that they match, a payment execution notification is sent to the store terminal,
  • the store terminal is A payment processing system that executes payment processing in response to a payment execution notification received from the user terminal.
  • the user terminal is If it is not determined that the user utterance input from the store terminal matches the registered user utterance for verification stored in the storage unit, an authentication error notification is transmitted to the store terminal.
  • the store terminal is When the authentication error notification is received from the user terminal, The payment processing system according to (14), which sends an inquiry confirming a user's intention to execute payment processing to the user terminal.
  • the store terminal is The payment processing system according to (15), which executes payment processing when a notification indicating that the user intends to execute payment processing is received from the user terminal.
  • the data processing department A user utterance that specifies the payment method executed by the user is input from the store terminal via the communication unit. It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit. An information processing method that executes communication with the store terminal to perform payment processing in response to a determination of a match.
  • An information processing method executed in an information processing device The data processing department Through the microphone, the user's utterance that specifies the payment method executed by the user is input, the voice recognition process is executed, the payment method specified by the user is determined, and the payment method specified by the user is determined.
  • the user utterance is transmitted to the user terminal via the communication unit, An information processing method that executes a payment process in response to a payment execution notification received from the user terminal when authentication is established based on the user's utterance in the user terminal.
  • a program that executes information processing in an information processing device In the data processing department A user utterance that specifies the payment method executed by the user is input from the store terminal via the communication unit. It is determined whether or not the user utterance input from the store terminal matches the collation registered user utterance stored in the storage unit. A program that executes communication with the store terminal to perform payment processing in response to a determination of a match.
  • a program that executes information processing in an information processing device In the data processing department Through the microphone, the user's utterance that specifies the payment method executed by the user is input, the voice recognition process is executed, and the payment method specified by the user is determined. The user utterance is transmitted to the user terminal via the communication unit, A program that executes payment processing in response to a payment execution notification received from the user terminal when authentication is established based on the user's utterance on the user terminal.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program can be pre-recorded on a recording medium.
  • the program can be received via a network such as LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually depending on the processing capacity of the device that executes the processes or if necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a configuration is realized in which the payment method specified by the user is confirmed and the payment involving communication with the user terminal of the user who performs the payment is surely executed.
  • the store terminal inputs a user utterance that specifies a payment method executed by the user via a microphone, executes voice recognition processing to determine the payment method specified by the user, and determines the payment method specified by the user.
  • the utterance is transmitted to the user terminal via the communication unit.
  • the user terminal determines whether or not the user utterance input from the store terminal matches the registered user utterance for verification stored in the storage unit, and based on the determination that it matches, sends a payment execution notification to the store terminal. Send.
  • the store terminal executes the payment process in response to the payment execution notification received from the user terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Finance (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

ユーザの指定する決済手段を確認し、決済を行うユーザのユーザ端末との通信を伴う決済を確実に実行する構成を提供する。店舗端末はマイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、ユーザ発話を、通信部を介してユーザ端末に送信する。ユーザ端末は、店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、一致するとの判定に基づいて、支払い実行通知を店舗端末に送信する。店舗端末は、ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する。

Description

情報処理装置、決済処理システム、および方法、並びにプログラム
 本開示は、情報処理装置、決済処理システム、および方法、並びにプログラムに関する。さらに詳細には、確実な決済処理を可能とした情報処理装置、決済処理システム、および方法、並びにプログラムに関する。
 近年、キャッシュレス決済処理システムの普及、進化が急速に進み、ユーザの所有するスマホ(スマートフォン)等のユーザ端末と店舗に設置された店舗端末(レジスタ)との通信を行うことで決済処理を可能としたシステムの利用が進んでいる。
 現在は、ユーザがポケットやバッグに入れたスマホ等のユーザ端末を店舗の店舗端末に接触、あるいは近づけることで、ユーザ端末と店舗端末とが近距離無線通信を行い、決済処理を行うシステムが多く利用されている。
 さらに、ユーザがポケットやバッグに入れたスマホ等のユーザ端末を取り出すことなく、ユーザが店舗端末の近くを通りすぎるタイミングで、ユーザ端末と店舗端末とが近距離無線通信を行い、決済処理を行うシステムについても、現在、開発が進んでおり、今後、多く利用されることになることが予測される。
 このような決済処理システムは、タップレス決済システムと呼ばれる。
 しかし、タップレス決済システムを利用した決済手段は、多種多様である。すなわち、様々な種類の電子マネー、xxペイ等のQRコード(登録商標)やバーコード等のコード決済、クレジットカード、決済銀行口座等、多くの決済手段がある。支払いを行うユーザによって、利用する決済手段は異なる。
 従って、店舗端末は、ユーザがどの決済手段を利用して決済を行うかを確認することが必要となる。
 また、タップレス決済システムを利用した決済処理を行う場合、店舗端末は、決済処理を行うユーザの所有するユーザ端末と、そのユーザの近くにいる他ユーザの他ユーザ端末とを明確に区別することが必要となる。
 この区別処理が不完全な場合、店舗端末が、決済処理を行う必要のない他ユーザ端末と通信して、そのユーザの決済口座から決済してしまうといったエラーを発生させる可能性がある。
 このように、タップレス決済を行うためには、ユーザに対する決済手段の確認処理や、決済処理対象のユーザ端末と他のユーザ端末との判別処理を確実に行う必要がある。
 これらの処理をどのように行うかについては、有効な具体策がないのが現状である。
 なお、例えば特許文献1(特開2008-204151号公報)は、複数の決済手段が利用可能な端末を有するユーザが、ある店舗で1つの決済手段を選択して利用した場合、その後は、選択した決済手段を自動選択する構成を開示している。
 しかし、この文献には、本人確認等の処理について特段の構成が示されておらず、決済時のエラーや不正利用についての対策が不十分であるという問題がある。
 また、例えば店舗端末(POS)に装着されたカメラによってユーザの顔画像を撮影し、撮影画像から得られるユーザ情報を売り上げ履歴と対応付けてDB(データベース)に記録する構成を開示した従来技術として特許文献2(特開2010-033143号公報)がある。
 この文献は、ユーザ属性に応じた購入商品情報の解析にユーザの撮影画像を用いる構成を開示している。ユーザの撮影画像をタップレス決済時のエラー防止に利用する構成を開示しているものではない。
特開2008-204151号公報 特開2010-033143号公報
 本開示は、例えば、上述の問題点に鑑みてなされたものであり、ユーザがポケットやバッグに入れたスマホ等のユーザ端末を取り出すことなく、店舗端末と近距離無線通信を行い、決済処理を行うシステム、いわゆるタップレス決済を確実に行うことを可能とした情報処理装置、決済処理システム、および方法、並びにプログラムを提供することを目的とする。
 本開示の一実施例においては、ユーザが利用する決済手段を確認して、確認された決済手段を適用してタップレス決済を行う情報処理装置、決済処理システム、および方法、並びにプログラムを提供する。
 また、本開示の一実施例においては、決済対象となるユーザやユーザ端末を、その他のユーザやユーザ端末と明確に区別した上で、エラーの無いタップレス決済を行う情報処理装置、決済処理システム、および方法、並びにプログラムを提供する。
 本開示の第1の側面は、
 通信部と、
 データ処理部を有し、
 前記データ処理部は、
 ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力し、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う情報処理装置にある。
 さらに、本開示の第2の側面は、
 マイクと、
 ユーザ端末との通信を行う通信部と、
 データ処理部を有し、
 前記データ処理部は、
 前記マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
 前記ユーザ発話を、前記通信部を介して前記ユーザ端末に送信し、
 前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する情報処理装置にある。
 さらに、本開示の第3の側面は、
 ユーザ端末と店舗端末を有する決済処理システムであり、
 前記店舗端末は、
 マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
 前記ユーザ発話を、前記通信部を介して前記ユーザ端末に送信し、
 前記ユーザ端末は、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
 一致するとの判定に応じて、支払い実行通知を前記店舗端末に送信し、
 前記店舗端末は、
 前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する決済処理システムにある。
 さらに、本開示の第4の側面は、
 情報処理装置において実行する情報処理方法であり、
 データ処理部が、
 ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力し、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う情報処理方法にある。
 さらに、本開示の第5の側面は、
 情報処理装置において実行する情報処理方法であり、
 データ処理部が、
 マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
 前記ユーザ発話を、通信部を介してユーザ端末に送信し、
 前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する情報処理方法にある。
 さらに、本開示の第6の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 データ処理部に、
 ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力させ、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定させ、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行わせるプログラムにある。
 さらに、本開示の第7の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 データ処理部に、
 マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力させ、音声認識処理を実行してユーザの指定する決済手段を判断させるとともに、
 前記ユーザ発話を、通信部を介してユーザ端末に送信させ、
 前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、ユーザの指定する決済手段を確認し、決済を行うユーザのユーザ端末との通信を伴う決済を確実に実行する構成が実現される。
 具体的には、例えば、店舗端末はマイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、ユーザ発話を、通信部を介してユーザ端末に送信する。ユーザ端末は、店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、一致するとの判定に基づいて、支払い実行通知を店舗端末に送信する。店舗端末は、ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する。
 本構成により、ユーザの指定する決済手段を確認し、決済を行うユーザのユーザ端末との通信を伴う決済を確実に実行する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
タップレス決済の概要と問題点について説明する図である。 本開示の情報処理装置の一例である店舗端末が実行する処理例を説明する図である。 ユーザがユーザ端末に決済手段に関するユーザ発話を事前登録する処理シーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 ユーザ意思確認用表示データの具体例について説明する図である。 決済完了通知の表示データ例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 ユーザ発話照合処理に基づく本人確認処理が失敗したことの通知データに併せてユーザの支払い意思を確認する表示データの例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 支払者立ち入り領域識別マークについて説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスとユーザ端末の表示データの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスとユーザ端末の表示データの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 決済処理のシーケンスの一例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用して決済対象となるユーザ端末を特定する実施例について説明する図である。 ユーザ属性ユーザ端末対応データの一例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用して決済対象となるユーザ端末を特定する実施例について説明する図である。 ユーザ属性ユーザ端末対応データの一例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用して決済対象となるユーザ端末を特定する実施例について説明する図である。 ユーザ属性ユーザ端末対応データの一例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用して決済対象となるユーザ端末を特定する実施例について説明する図である。 ユーザ属性ユーザ端末対応データの一例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用してユーザ端末を特定してゲート制御を行う実施例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用してユーザ端末を特定してゲート制御を行う実施例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用してユーザ端末を特定してゲート制御を行う実施例について説明する図である。 カメラ撮影画像と近距離無線通信部の通信情報を利用してユーザ端末を特定してゲート制御を行う処理のシーケンスについて説明するフローチャートを示す図である。 本開示の処理に利用されるユーザ端末の構成例について説明する図である。 本開示の処理に利用される店舗端末の構成例について説明する図である。 本開示の処理に利用されるユーザ端末、店舗端末、サーバのハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、決済処理システム、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.タップレス決済システムの概要と問題点について
 2.(実施例1)ユーザが利用する決済手段の確認を行う実施例について
 3.(実施例2)店舗端末が複数のユーザ端末から決済対象端末を選択する実施例について
 4.(実施例3)店員のいない無人店舗で決済処理を行う実施例について
 5.(実施例4)ユーザが店舗端末ではなく、ユーザ端末に利用決済手段についての発話を行って決済処理を行う実施例について
 6.(実施例5)ユーザ端末に事前登録された複数の利用決済手段指定発話データからユーザが選択した発話データを店舗端末に送信して決済処理を行う実施例について
 7.(実施例6)ユーザの撮影画像に基づく顔認証を実行する実施例について
 8.(実施例7)店内を移動するユーザ(客)の撮影画像と、ユーザ端末からの受信情報に基づいて決済を実行するユーザやユーザ端末を特定する実施例について
 9.各装置の構成例について
 10.本開示の構成のまとめ
  [1.タップレス決済システムの概要と問題点について]
 まず、タップレス決済システムの概要と問題点について説明する。
 前述したように、ユーザがポケットやバッグに入れたスマホ等のユーザ端末を取り出すことなく、ユーザが店舗端末の近くを通りすぎるタイミングで、ユーザ端末と店舗端末とが近距離無線通信を行い、決済処理を行うシステム、いわゆるタップレス決済システムの開発が進んでおり、今後、多く利用されることになることが予測される。
 しかし、タップレス決済システムを利用した決済手段は、多種多様である。すなわち、様々な種類の電子マネー、xxペイ等のQRコード(登録商標)やバーコード等のコード決済、クレジットカード、決済銀行口座等、多くの決済手段がある。支払いを行うユーザによって、利用する決済手段は異なる。
 従って、店舗端末は、ユーザがどの決済手段を利用して決済を行うかを確認することが必要となる。
 また、タップレス決済システムを利用した決済処理を行う場合、店舗端末は、決済処理を行うユーザの所有するユーザ端末と、そのユーザの近くにいる他ユーザの他ユーザ端末とを明確に区別することが必要となる。
 この区別処理が不完全な場合、店舗端末が、決済処理を行う必要のない他ユーザ端末と通信して、そのユーザの決済口座から決済してしまうといったエラーを発生させる可能性がある。
 図1を参照して、タップレス決済における問題の具体例について説明する。図1には、店舗の2人の店員の前に各々店舗端末(レジ)10が置かれており、店舗端末(レジ)10の前に商品代金を支払う客が、それぞれ列を作って並んでいる状態を示している。
 客は、各々ポケットやバッグの中にユーザ端末21を保持している。
 タップレス決済を行う場合、店舗端末(レジ)10と支払い対象者(=決済対象者)のユーザ端末とが通信を行う必要がある。
 図1に示す例では、図1左側の店舗端末(レジ)10-1は、まず、先頭の客Aのユーザ端末21aと通信を行って決済処理を行う。この場合、店舗端末10-1は、ユーザAが、ユーザ端末21aでどの決済手段を利用して決済しようとしているかを確認する必要がある。
 すなわち、様々な種類の電子マネー、xxペイ等のQRコード(登録商標)やバーコード等のコード決済、クレジットカード、決済銀行口座等、これら多くの決済手段のどの決済手段を利用して決済を行おうとしているかを確認することが必要となる。
 また、図1左側の店舗端末(レジ)10-1の近距離無線通信範囲は、図1に示す左側の店舗端末(レジ)10-1の周囲の点線円内である。
 この点線円内には、客Aのユーザ端末21aと、客Bのユーザ端末21bが含まれる。
 この場合、店舗端末(レジ)10-1は、客Aのユーザ端末21aと、客Bのユーザ端末21bの双方と通信(近距離無線通信)が可能になる。
 従って、店舗端末(レジ)10-1は、客Aのユーザ端末21aと、客Bのユーザ端末21bのどちらが決済処理を行うべき端末であるかを判別することが必要となる。
 このように、タップレス決済には、以下の課題、すなわち、
 (a)ユーザに対する決済手段の確認処理をどのように行うか、
 (b)決済処理対象のユーザ端末と他のユーザ端末との判別をどのように行うか
 これらの課題がある。
 本開示は、これらの課題を解決するものである。
 以下、本開示の構成と処理について説明する。
  [2.(実施例1)ユーザが利用する決済手段の確認を行う実施例について]
 まず、実施例1として、ユーザが利用する決済手段の確認を行う実施例について説明する。
 図2は、本開示の情報処理装置の一例である店舗端末200が実行する処理例を説明する図である。
 店舗端末(レジ)200は、マイク201を有している。
 図2において、店員の前に店舗端末200が置かれ、その前にタップレス決済を行おうとするユーザである客Aが立っている。
 客Aは、スマホ等のユーザ端末100aを保持している。
 店舗端末200とユーザ端末100aとの間で近距離無線通信を行って決済処理が実行される。
 なお、店舗端末200とユーザ端末100aとの間で実行される近距離無線通信は、例えば、ブルートゥース(登録商標)(BT)通信、NFC(Near Field Communication)通信、RF(Radio Frequency)通信、UWB(Ultra Wide Band)通信等の近距離無線通信である。
 本開示の店舗端末200による決済処理は、図2に示すステップS01~S06の順に従って行われる。以下、各ステップの処理について説明する。
  (ステップS01)
 まず、客Aが決済手段を発話する。
 一例として、客Aが、「XXペイで」と発話したものとする。
  (ステップS02)
 店舗端末200は、マイク201を介して客Aの発話「XXペイで」を入力し、ステップS02において、店舗端末200内のデータ処理部が入力発話の音声解析を実行し、決済処理を行おうとするユーザ、すなわち客Aが利用したい決済手段が[XXペイ]であると判定する。
  (ステップS03)
 次に、ステップS03において、店舗端末200は、近距離無線通信を用いて客Aの発話音声「XXペイで」を、ユーザ端末100aに送信する。
  (ステップS04)
 次に、ユーザ端末100aは、ステップS04において、店舗端末200から受信した受信ユーザ音声と、ユーザ端末100aに予め登録された登録ユーザ音声を比較し、受信ユーザ音声が本人の音声であるか否かを判定する。
 なお、ユーザ端末100aには、客Aの発話音声「XXペイで」が、予め登録されている。これは、照合用音声データとして事前にユーザが登録する。
 この処理の詳細については後述する。
 ステップS04において、ユーザ端末100aが、店舗端末200から受信した受信ユーザ音声と、ユーザ端末100aに予め登録された登録ユーザ音声の一致を確認した場合、店舗端末200から受信したユーザ音声が本人の音声であると判定する。
 この場合は、ステップS05以下の処理を実行する。
 一致確認がなされなかった場合は、ユーザ端末100aから店舗端末200に対してエラー通知が行われ、ステップS05以下の処理は実行されない。
  (ステップS05)
 ステップS04において、ユーザ端末100aが、店舗端末200から受信した受信ユーザ音声と、ユーザ端末100aに予め登録された登録ユーザ音声の一致を確認した場合、店舗端末200から受信したユーザ音声が本人の音声であると判定され、ステップS05以下の処理が実行される。
 この場合、ユーザ端末100aは、ステップS05において、支払い処理を実行する。具体的には、店舗端末200に対して、決済処理に必要となるユーザ(客A)のアカウント情報等を送信する。
 なお、送信情報は、ユーザ(客A)の利用する決済手段に応じて異なる情報となる。
  (ステップS06)
 次に、ステップS06において、店舗端末200は、ユーザ端末100aから受信したユーザアカウント情報に従った決済処理を実行する。
 これら一連の処理により、店舗端末200は、ユーザ(客A)の利用しようとする決済手段を確認し、確認した決済手段を適用した決済処理を行うことができる。
 なお、上述した説明から理解されるように、本実施例においては、ステップS01で行われた決済手段を指定するユーザ発話を店舗端末200からユーザ端末100aにフィードバック入力して、この入力発話と、ユーザ端末100aに予め登録された登録ユーザ発話との照合処理が実行される。
 この照合処理において、入力発話と登録発話の一致が確認された場合に、その後の決済処理を行う構成としている。
 この処理を行うことで、決済処理を実行するユーザ(客A)の決済手段の確認が確実に実行される。
 次に、図3以下を参照して、本実施例1の処理シーケンスについて説明する。
 まず、図3を参照して、ユーザ20がユーザ端末100に、決済手段に関するユーザ発話を事前登録する処理シーケンスについて説明する。
 これは、ユーザ20が決済処理(支払い処理)に利用する決済手段に関する発話を事前にユーザ端末100に登録しておく処理である。すなわち、照合用データの事前登録処理である。
 照合用データは、ユーザ端末100の記憶部に記録される。
 図3には、左側にユーザ20、右側にユーザ20の所有するユーザ端末100を示している。
 ユーザ20は、ユーザ端末100に対して、S11において、決済手段指定発話であるユーザ発話「xxペイで」を行う。
 ステップS12において、ユーザ端末100は、ユーザ発話「xxペイで」を、マイクを介して入力し、記憶部(メモリ)に格納する。すなわち照合用データとして登録する。
 さらに、ユーザ20は、ユーザ端末100に対して、S13において、別の決済初段指定発話であるユーザ発話「yyペイで」を行う。
 ステップS14において、ユーザ端末100は、ユーザ発話「yyペイで」を、マイクを介して入力し、記憶部(メモリ)に格納する。すなわち照合用データとして登録する。
 さらに、ユーザ20は、ユーザ端末100に対して、S15において、別の決済初段指定発話であるユーザ発話「zzペイで」を行う。
 ステップS16において、ユーザ端末100は、ユーザ発話「zzペイで」を、マイクを介して入力し、記憶部(メモリ)に格納する。すなわち照合用データとして登録する。
 xxペイ、yyペイ、zzペイは、いずれもユーザ20が利用する可能性のある決済手段である。
 なお、図3に示す照合用データの登録例は、一例であり、例えばこの他に、「xxカードで支払います」や、「yyクレジットでお願いします」といった別の決済初段指定発話であるユーザ発話を照合用データとして登録してもよい。
 図3に示すシーケンスに従って、支払い手段に関する照合用データをユーザ端末100に登録した後、先に図2を参照して説明した実際の決済処理が可能となる。
 この決済処理のシーケンスについて図4、図5を参照して説明する。
 図4、図5には、左からユーザ20、ユーザ20の所有するユーザ端末100、店舗端末200、店舗端末200の置いてある店の店員30を示している。
 図4、図5に示すステップS100~S115の順に処理が行われる。
 以下、各ステップの処理について、順次、説明する。
  (ステップS100)
 まず、ステップS100において、店舗端末200とユーザ端末100間で通信セッションが確立される。すなわち、ユーザ端末100が店舗端末200に近づいて近距離無線通信が可能な位置になると、2つの端末間で通信セッションが確立され、通信可能状態に設定される。
 なお、前述したように、店舗端末200とユーザ端末100との間で実行される近距離無線通信は、例えば、ブルートゥース(登録商標)(BT)通信、NFC(Near Field Communication)通信、RF(Radio Frequency)通信、UWB(Ultra Wide Band)通信等の近距離無線通信である。
  (ステップS101)
 次に、店員が支払い金額を店舗端末200に入力する。
 なお、ここでは、支払い金額入力を店員30が実行するものとして説明するが、例えばユーザ20が商品のタグを店舗端末200に接続されたスキャナに読み取らせるといった処理でもよい。また、商品に装着されたRFIDタグから送信されるデータを店舗端末200が受信して清算金額を自動算出する構成としてもよい。
  (ステップS102)
 次に、店員30が、支払い方法(決済手段)をユーザ20に問い合わせる。すなわち質問する。
 なお、この支払い手段の問い合わせも店舗端末200が出力する音声を用いて行う構成としてもよい。
  (ステップS103)
 次に、ステップS103において、ユーザ20が、支払い手段の発話を行う。例えば「xxペイで」と発話する。ユーザ20は、ユーザ端末100に登録した照合用データと同じ発話を行う。
  (ステップS104)
 次に、店舗端末200は、ステップS104において、マイクを介して入力したユーザ発話「xxペイで」を記憶部に記録し、さらに音声認識を実行する。
 この音声認識により、ユーザ20が、[xxペイ]を利用した決済を要求していることを確認する。
  (ステップS105)
 次に、店舗端末200は、ステップS105において、ユーザの要求した決済手段を行うための決済アプリ(アプリケーションプログラム)を起動する。
  (ステップS106)
 次に、店舗端末200は、ステップS106において、ステップS104で記憶部に記録したユーザ発話「xxペイで」の音声データをユーザ端末100に近距離無線通信を用いて送信する。
  (ステップS107)
 次に、ユーザ端末100は、ステップS107において、ステップS106で店舗端末200から受信したユーザ発話「xxペイで」と、予めユーザ端末100に登録済みのユーザ発話「xxペイで」の音声データを比較し、音声データが一致するか否かを判定する。
 なお、一致するか否かの判定に際しては、完全一致に限らず、差分が予め既定した誤差範囲内の場合は一致すると判定する。
  (ステップS108)
 ユーザ端末100は、ステップS107で、店舗端末200からの受信ユーザ発話「xxペイで」と、ユーザ端末100に登録された登録ユーザ発話「xxペイで」が一致すると判定した場合、ステップS108において、支払い処理に移行する。
 なお、ステップS107で2つの発話の一致が確認されなかった場合は、ユーザ端末100は店舗端末200に対してエラー通知を実行し、その後のステップS109以下の処理は実行しない。
 ただし、この場合も、ユーザ20に、再度、支払い意思の確認を求める処理を実行してもよい。この処理シーケンスについては後段で説明する。
  (ステップS109)
 ステップS107で2つの発話が一致と判定され、ステップS103でユーザ20が行った発話がユーザ20本人の発話であることが確認されると、ステップS109において、ユーザ端末100は、店舗端末200に対して、支払い可能であることを通知する。
  (ステップS110)
 次に、店舗端末200は、ステップS110において、ユーザ端末100に支払い金額を通知する。
 なお、この時点で、(ステップS110b)の処理として、ユーザ20に、支払い意思の確認を求める処理を行ってもよい。
 具体的には、ステップS110の支払い金額通知に際して、店舗端末200からユーザ端末100に対して、図6に示すような表示データを送信して、ユーザ端末100に表示させる。
 図6には、2つのユーザ意思確認用表示データ例を示している。
 図6(1)は、ユーザに支払い意思がある場合、電源ボタン101を操作させるものである。ユーザが電源ボタン101を操作すると、操作に応じて支払い意思ありの通知データがユーザ端末100から店舗端末200に送信される。
 図6(2)は、ユーザに支払い意思がある場合、指紋センサに触れる操作を行わせるものである。ユーザが指紋センサに触れると、まず、ユーザ端末100内で、ユーザ端末100の記憶部に記録された指紋データとの照合処理が行われる。照合が成立した場合、支払い意思ありの通知データがユーザ端末100から店舗端末200に送信される。
 なお、これらの処理は、ユーザ端末100内のアプリケーション、例えばxxペイ対応のQRコード(登録商標)等のコード決済の決済アプリケーションによって実行される。
  (ステップS111)
 次に、ユーザ端末100は、ステップS111において、店舗端末200に対して、決済処理に必要となるユーザ20のアカウント情報等を送信する。
 なお、送信情報は、ユーザ20の利用する決済手段に応じて異なる情報となる。
  (ステップS112)
 次に、ステップS112において、店舗端末200は、ユーザ端末100から受信したユーザアカウント情報に従った決済処理を実行する。
  (ステップS113)
 次に、ステップS113において、店舗端末200は、ユーザ端末100に決済完了通知を送信する。
  (ステップS114)
 次に、ステップS114において、ユーザ端末100は、店舗端末200から受信した決済完了通知を表示する。
 例えば、図7に示すようなデータが表示される。
  (ステップS115)
 次に、ステップS115において、ユーザ端末100は、ユーザ端末100を初期状態に設定する。すなわち、支払い処理の実行不可状態に設定する。
 これら一連の処理により、店舗端末200は、ユーザ20がユーザ端末100を利用して実行しようとしている決済手段が「xxペイ」であることを確認し、確認した決済手段「xxペイ」を適用した決済処理を行うことができる。
 上述した説明から理解されるように、決済手段の確認処理に際して、ステップS103で行われたユーザ発話がステップS106で店舗端末200からユーザ端末100に送信され、ユーザ端末100が、この受信発話と、ユーザ端末100に予め登録済みの登録ユーザ発話との照合処理を実行する。
 この照合処理において、入力発話と登録発話の一致が確認された場合に決済処理を行う構成としている。
 上述した処理は、決済処理実行ユーザ(客)本人のみが実行可能であり、他人によるなりすまし的な処理が行われた場合は決済が実行されないことになり、より安全な決済処理が実現される。
 なお、先に説明したようにステップS107におけるユーザ発話の照合処理において、2つの発話の一致が確認されなかった場合、ユーザ20に、再度、支払い意思の確認を求める処理を実行してもよい。この処理シーケンスについて、図8を参照して説明する。
 図8には、図5に示すステップS108に相当するステップS108bにおいて、ユーザ端末100が、店舗端末200から受信したユーザ発話と、ユーザ端末100に予め記録された登録ユーザ発話との照合処理に失敗した場合に実行するその後の処理の一例を説明するシーケンス図である。
 ステップS108b以下の処理について説明する。
  (ステップS108b)
 ユーザ端末100は、ステップS108bにおいて、店舗端末200からの受信ユーザ発話「xxペイで」と、ユーザ端末100に登録された登録ユーザ発話「xxペイで」との一致が確認できなかった場合、ステップS121以下の処理を実行する。
  (ステップS121)
 この場合、ユーザ端末100は、ステップS121において、店舗端末200に本人確認失敗通知を送信する。
  (ステップS122)
 店舗端末200は、ユーザ端末100からの本人確認失敗通知の受信に応じて、ステップS122において、ユーザ端末100におけるユーザ発話照合処理に基づく本人確認処理が失敗したことをユーザに通知するための通知データをユーザ端末100に送信する。
  (ステップS123)
 ユーザ端末100は、店舗端末200から受信した通知データ、すなわち、ユーザ発話照合処理に基づく本人確認処理が失敗したことの通知データをユーザ端末100に表示する。
 具体的には、例えば、図9に示すような表示データがユーザ端末100に表示される。
 図9には、ユーザ発話照合処理に基づく本人確認処理が失敗したことの通知データに併せてユーザの支払い意思を確認する2つの表示データ例を示している。
 図9(1)は、ユーザに支払い意思がある場合、電源ボタン101を操作させるものである。ユーザが電源ボタン101を操作すると、操作に応じて支払い意思ありの通知データがユーザ端末100から店舗端末200に送信される。
 図9(2)は、ユーザに支払い意思がある場合、指紋センサに触れる操作を行わせるものである。ユーザが指紋センサに触れると、まず、ユーザ端末100内で、ユーザ端末100の記憶部に記録された指紋データとの照合処理が行われる。照合が成立した場合、支払い意思ありの通知データがユーザ端末100から店舗端末200に送信される。
 なお、これらの処理は、ユーザ端末100内のアプリケーション、例えばxxペイ対応のQRコード(登録商標)等、コード決済対応の決済アプリケーションによって実行される。
  (ステップS124~S125)
 ステップS123でユーザ端末100に表示された表示データに対して、ステップS124でユーザが支払い意思を示す操作を行うと、この操作情報に基づく支払い意思ありの通知データが、ユーザ端末100から店舗端末200に送信される。
 これらの処理は、ユーザ端末100内のアプリケーション、例えばxxペイ対応の決済アプリケーションによって実行される。
 その後は、通常の決済処理が実行される。具体的には、図5に示すステップS110以降の処理が実行される。
  [3.(実施例2)店舗端末が複数のユーザ端末から決済対象端末を選択する実施例について]
 次に、実施例2として、店舗端末が複数のユーザ端末から決済対象端末を選択する実施例について説明する。
 先に図1を参照して説明したように、店舗端末は、ユーザ端末との近距離無線通信を実行して決済処理を行う。
 しかし、店舗端末との近距離通信可能範囲に複数の異なるユーザ端末が存在すると、店舗端末は、これら複数のユーザ端末と並列して通信を行ってしまい、その複数のユーザ端末のどのユーザ端末が決済処理を行う端末であるかを判別する処理を行う必要がある。
 図10は、本開示の情報処理装置である店舗端末200が実行する処理例を説明する図である。
 店舗端末(レジ)200は、マイク201を有している。
 図10において、店員の前に店舗端末200が置かれ、その前にタップレス決済を行おうとするユーザa(客A)20aが立っている。
 ユーザa(客A)20aは、スマホ等のユーザ端末100aを保持している。
 店舗端末200とユーザ端末100aとの間で近距離無線通信を行って決済処理が実行される。
 しかし、図10に点線円で示す店舗端末200の近距離通信可能領域には、ユーザa(客A)20aのユーザ端末100aの他、ユーザb(客B)20bのユーザ端末100b、ユーザc(客C)20cのユーザ端末100cも存在する。
 この結果、店舗端末200は、これら3台のユーザ端末a,b,cと並行に通信を行うことになる。
 店舗端末200は、これら3台のユーザ端末a,b,cから、決済処理を実行するーザ端末を選択して、決済処理を行う必要がある。
 本開示の店舗端末200による決済処理は、図10に示すステップS01~S06の順に従って行われる。以下、各ステップの処理について説明する。
  (ステップS01)
 まず、ユーザa(客A)20aが決済手段を発話する。
 一例として、ユーザa(客A)20aが、「XXペイで」と発話したものとする。
  (ステップS02)
 店舗端末200は、マイク201を介してユーザa(客A)20aの発話「XXペイで」を入力し、ステップS02において、店舗端末200内のデータ処理部が入力発話の音声解析を実行し、決済処理を行おうとするユーザ、すなわちユーザa(客A)20aが利用したい決済手段が[XXペイ]であると判定する。
  (ステップS03)
 次に、ステップS03において、店舗端末200は、近距離無線通信を用いてユーザa(客A)20aの発話音声「XXペイで」を、近距離無線通信可能領域内にあるユーザ端末にブロードキャスト送信する。
 図10に示す例では、近距離無線通信可能領域内に、ユーザa(客A)20aのユーザ端末100aの他、ユーザb(客B)20bのユーザ端末100b、ユーザc(客C)20cのユーザ端末100cも存在し、店舗端末200は、近距離無線通信を用いてユーザa(客A)20aの発話音声「XXペイで」をこれら3台のユーザ端末a,b,cに送信する。
  (ステップS04)
 次に、ステップS04において、各ユーザ端末a~cは、店舗端末200から受信した受信ユーザ音声と、ユーザ端末に予め登録された登録ユーザ音声を比較し、受信ユーザ音声が本人の音声であるか否かを判定する処理を実行する。
 なお、ユーザ端末a~cの各々には、それぞれの端末所有者の発話音声が、予め登録されている。これは、先に図3を参照して説明したシーケンスに従って、各ユーザが事前に端末に登録した照合用データである。
 ステップS04において、ユーザ端末100aが、店舗端末200から受信した受信ユーザ音声と、ユーザ端末100aに予め登録された登録ユーザ音声の一致を確認した場合、店舗端末200から受信したユーザ音声が本人の音声であると判定する。
 この場合は、ステップS05以下の処理を実行する。
 一致確認がなされなかった場合は、ユーザ端末100aから店舗端末200に対してエラー通知が行われ、ステップS05以下の処理は実行されない。
  (ステップS05-1)
 ステップS04において、1台のユーザ端末a,100aのみが、受信ユーザ音声が本人の音声であると判定した場合、そのユーザ端末a,100aにおいて支払い処理が実行される。例えば、ユーザ端末a,100aから店舗端末200にユーザアカウント情報を送信する処理等が実行される。
  (ステップS05-2)
 一方、ステップS04において、複数のユーザ端末が、受信ユーザ音声が本人の音声であると判定した場合、店舗端末200は、その複数ユーザ端末に対して、ユーザ意思確認通知を実行し、ユーザ意思確認がなされたユーザ端末からユーザアカウント情報を送信してもらう。
 ユーザ発話音声に基づく照合処理では、誤判定の発生する可能性も少なくない。従って、本人の声でない発話を本人の声であると判定したしまう可能性もある。
 このステップS05-2は、このような誤判定を想定した処理である。
 このように、ステップS04において誤判定が発生し、複数のユーザ端末が、受信ユーザ音声が本人の音声であると判定した場合、店舗端末200は、その複数ユーザ端末に対して、ユーザ意思確認通知を実行し、ユーザ意思確認がなされたユーザ端末からユーザアカウント情報を送信してもらう。
 この処理の具体的シーケンスについては後述する。
  (ステップS06)
 次に、ステップS06において、店舗端末200は、ユーザ端末100から受信したユーザアカウント情報に従った決済処理を実行する。
 これら一連の処理により、店舗端末200は、複数のユーザ端末から、1つの決済処理を実行するユーザ端末を判別して選択し、選択したユーザ端末との通信を行って決済処理を行うことができる。
 次に、図11~図13を参照して、本実施例2の詳細処理シーケンスについて説明する。
 図11~図13には、左から、
 ユーザa,20a、
 ユーザ20cの所有するユーザ端末c,100c、
 ユーザ20bの所有するユーザ端末b,100b、
 ユーザ20aの所有するユーザ端末a,100a、
 店舗端末200、
 店舗端末200の置いてある店の店員30、
 これらを示している。
 図11~図13に示すステップS200~S216の順に処理が行われる。
 以下、各ステップの処理について、順次、説明する。
  (ステップS200)
 まず、ステップS200において、店舗端末200とユーザ端末a~c,100a~c間で通信セッションが確立される。すなわち、ユーザ端末a~c,100a~cが店舗端末200の近距離無線通信可能領域に入り、近距離無線通信が可能な位置になると、店舗端末200とユーザ端末a~c,100a~c間で通信セッションが確立され、通信可能状態に設定される。
 なお、前述したように、店舗端末200とユーザ端末a~c,100a~cとの間で実行される近距離無線通信は、例えば、ブルートゥース(登録商標)(BT)通信、NFC(Near Field Communication)通信、RF(Radio Frequency)通信、UWB(Ultra Wide Band)通信等の近距離無線通信である。
  (ステップS201)
 次に、店員が支払い金額を店舗端末200に入力する。
 なお、ここでは、支払い金額入力を店員30が実行するものとして説明するが、例えばユーザ20が商品のタグを店舗端末200に接続されたスキャナに読み取らせるといった処理でもよい。また、商品に装着されたRFIDタグから送信されるデータを店舗端末200が受信して清算金額を自動算出する構成としてもよい。
  (ステップS202)
 次に、店員30が、支払い方法(決済手段)をユーザ20に問い合わせる。すなわち質問する。
 なお、この支払い手段の問い合わせも店舗端末200が出力する音声を用いて行う構成としてもよい。
  (ステップS203)
 次に、ステップS203において、ユーザa,20aが、支払い手段の発話を行う。例えば「xxペイで」と発話する。ユーザa,20aは、ユーザ端末a,100aに登録した照合用データと同じ発話を行う。
  (ステップS204)
 次に、店舗端末200は、ステップS204において、マイクを介して入力したユーザ発話「xxペイで」を記憶部に記録し、さらに音声認識を実行する。
 この音声認識により、ユーザa,20aが、[xxペイ]を利用した決済を要求していることを確認する。
  (ステップS205)
 次に、店舗端末200は、ステップS205において、ユーザa,20aの要求した決済手段を行うための決済アプリ(アプリケーションプログラム)を起動する。
  (ステップS206)
 次に、店舗端末200は、ステップS206において、ステップS204で記憶部に記録したユーザa,20aのユーザ発話「xxペイで」の音声データを、ブロードキャスト送信する。
 この送信データは、店舗端末200の近距離無線通信可能領域にある3台のユーザ端末a~c,100a~cが受信する。
  (ステップS207)
 次に、店舗端末200からユーザa,20aのユーザ発話「xxペイで」の音声データを受信した3台のユーザ端末a~c,100a~cは、ステップS207において、ステップS206で店舗端末200から受信したユーザ発話「xxペイで」と、予め3台のユーザ端末a~c,100a~cにそれぞれ登録済みの照合用ユーザ発話と比較し、音声データが一致するか否かを判定する。
 なお、一致するか否かの判定に際しては、完全一致に限らず、差分が予め既定した誤差範囲内の場合は一致すると判定する。
  (ステップS208~S209)
 ステップS207では、ユーザa,20aのユーザ端末a,100aのみが店舗端末200からの受信ユーザ発話「xxペイで」と、ユーザ端末a,100aに登録された登録ユーザ発話「xxペイで」が一致すると判定したとする。この場合、ユーザa,20aのユーザ端末a,100aのみが、ステップS208において、支払い処理に移行する。
 この場合、ステップS209において、ユーザ端末a,100aは、店舗端末200に対して、支払い可能であることを通知する。
  (ステップS210)
 ユーザa,20aのユーザ端末a,100a以外のユーザ端末b,cは、ステップS107での発話照合処理において発話が不一致と判定される。この結果、これらユーザ端末b,cは、ステップS210において、店舗端末200に対してエラー通知を行う。
  (ステップS211)
 次に、店舗端末200は、ステップS211において、ユーザ端末a,100aに支払い金額を通知する。
 なお、この時点で、(ステップS211b)の処理として、ユーザa,20aに、支払い意思の確認を求める処理を行ってもよい。
 具体的には、ステップS211の支払い金額通知に際して、店舗端末200からユーザ端末a,100aに対して、先に説明した図6に示すような表示データを送信して、ユーザ端末a,100aに表示させる。
  (ステップS212)
 次に、ユーザ端末a,100aは、ステップS212において、店舗端末200に対して、決済処理に必要となるユーザa,100aのアカウント情報等を送信する。
 なお、送信情報は、ユーザa,100aの利用する決済手段に応じて異なる情報となる。
  (ステップS213)
 次に、ステップS213において、店舗端末200は、ユーザ端末a,100aから受信したユーザアカウント情報に従った決済処理を実行する。
  (ステップS214)
 次に、ステップS214において、店舗端末200は、ユーザ端末a,100aに決済完了通知を送信する。
  (ステップS215)
 次に、ステップS215において、ユーザ端末a,100aは、店舗端末200から受信した決済完了通知を表示する。
 例えば、先に説明した図7に示すようなデータが表示される。
  (ステップS216)
 次に、ステップS216において、ユーザ端末a,100aは、ユーザ端末a,100aを初期状態に設定する。すなわち、支払い処理の実行不可状態に設定する。
 これら一連の処理により、店舗端末200は、店舗端末200の近距離無線通信可能領域に複数のユーザ端末が存在する場合でも、その中から決済処理を行う対象となる1つのユーザ端末を判別して選択し、選択したユーザ端末との間の通信を行って、正しい決済処理を行うことができる。
 上述した説明から理解されるように、決済端末の判別処理では、各ユーザ端末でユーザ発話の照合処理を実行する。
 この照合処理において照合成立となった1つのユーザ端末が、正しい決済処理を実行するユーザ端末として選択される。
 ただし、先に図10の(ステップS05-2)で説明したように、発話音声データに基づく照合処理は、必ずしも100%正しい結果が得られるとは限らず、誤った判定を行ってしまう場合もある。
 このような場合は、改めて、ユーザに対する確認処理を行うことになる。
 このユーザに対する確認処理を伴うシーケンスについて、図14~図15を参照して説明する。
 図14~図15には、先に図12で説明したステップS207における発話音声データの照合処理以下のシーケンスを示している。
 図14~図15は、ステップS207の発話音声データの照合処理において、ユーザ端末b,100bが誤判定を行ってしまった場合の処理シーケンスである。
 ユーザ端末b,100bが、ステップS203で行われたユーザ発話、すなわち、ステップS206で店舗端末200から送信されたユーザ発話が、ユーザ端末b,100bに事前登録された照合用登録データと一致するとの誤判定を行った場合の処理シーケンスである。
 ステップS207の次のステップS221以下の各ステップの処理について説明する。
  (ステップS221~S222)
 ステップS221では、ユーザa,20aのユーザ端末a,100aが店舗端末200からの受信ユーザ発話「xxペイで」と、ユーザ端末a,100aに登録された登録ユーザ発話「xxペイで」が一致すると判定する。
 さらに、ユーザb,20bのユーザ端末b,100bも、店舗端末200からの受信ユーザ発話「xxペイで」と、ユーザ端末b,100bに登録された登録ユーザ発話「xxペイで」が一致すると判定する。この判定は誤判定である。
 この場合、ユーザa,20aのユーザ端末a,100aと、ユーザb,20bのユーザ端末b,100bの2台のユーザ端末が、ステップS222において、支払い可能であることを店舗端末200に通知する処理を行うことになる。
  (ステップS223)
 ユーザ端末cは、ステップS207での発話照合処理において発話不一致と判定し、ユーザ端末cは、ステップS223において、店舗端末200に対してエラー通知を行う。
  (ステップS224~S225)
 店舗端末200は、ステップS222で、複数のユーザ端末から発話音声照合成立に基づく支払い可能通知を受領すると、ステップS224において、これらの複数端末に対して、支払い継続確認要求通知を行う。この支払い継続確認要求通知はユーザの支払い意思を確認するための表示データを各ユーザ端末に表示させる処理を行わせる通知である。
 ステップS225において、店舗端末200から、支払い継続確認要求通知を受領した各ユーザ端末は、ユーザの意思確認のための表示データを各ユーザ端末に表示する。
 具体的には、先に説明した図6に示すような表示データが、ユーザ端末a,100a、ユーザ端末b.100bに表示される。
  (ステップS226)
 ユーザa,20aは、ユーザ端末a,100aに表示されたユーザ意思確認用の表示データに対して支払い意思ありを示す操作を行う。
 一方、ユーザb,20bは、ユーザ端末b,100bに表示されたユーザ意思確認用の表示データに対して支払い意思ありを示す操作は行わない。
 この結果、ステップS226において、ユーザ端末a,100aのみから店舗端末200に対して支払い意思ありの通知がなされる。
  (ステップS227)
 次に、ステップS227において、店舗端末200は、ユーザa,20aのユーザ端末a,100aのみに対して、支払い金額通知を行う。
 その後は、図13を参照して説明したステップS212以下と同様の処理が実行される。
 このように、本開示の処理では、ユーザ端末においてユーザ発話音声に基づく誤った判定が実行された場合でもユーザの意思確認を行うことで、的違いのない正しい決済処理を行うことが可能となる。
 なお、店舗端末200の近距離無線通信可能領域に複数のユーザ端末が存在しないようにすれば、上記のような問題、すなわち、店舗端末200が複数のユーザ端末と同時接続されてしまうといった問題の発生を防止することができる。
 このための構成として、例えば図16に示すような支払者立ち入り領域識別マーク220を店舗端末200の近距離無線通信可能領域に併せて設定する構成とすることが有効である。
 ユーザは、自分が支払いを行う場合に限り、支払者立ち入り領域識別マーク220に入り、決済処理を行う。
 このような構成とすれば、店舗端末200の近距離無線通信可能領域に複数のユーザ端末が存在することがなくなり、店舗端末200は、確実に1台のユーザ端末、すなわち決済処理を行う1台のユーザ端末と通信を行い、ただしい決済処理を行うことが可能となる。
  [4.(実施例3)店員のいない無人店舗で決済処理を行う実施例について]
 次に、実施例3として、店員のいない無人店舗で決済処理を行う実施例について説明する。
 本実施例3の処理シーケンスについて、図17、図18を参照して説明する。
 図17、図18には、左からユーザ20、ユーザ20の所有するユーザ端末100、店舗端末200を示している。
 図17、図18に示すステップS250~S265の順に処理が行われる。
 以下、各ステップの処理について、順次、説明する。
  (ステップS250)
 まず、ステップS250において、店舗端末200とユーザ端末100間で通信セッションが確立される。すなわち、ユーザ端末100が店舗端末200に近づいて近距離無線通信が可能な位置になると、2つの端末間で通信セッションが確立され、通信可能状態に設定される。
  (ステップS251)
 次に、ユーザ20が商品のタグを店舗端末200に接続されたスキャナに読み取らせて、支払い金額を店舗端末200に入力する。
 なお、商品に装着されたRFIDタグから送信されるデータを店舗端末200が受信して清算金額を自動算出する構成としてもよい。
  (ステップS252)
 次に、店舗端末200のスピーカを介して、店舗端末200が支払い方法(決済手段)をユーザ20に問い合わせる。すなわち質問する。この問い合わせ用の音声データは、店舗端末200の記憶部に予め記録されている。
  (ステップS253)
 次に、ステップS253において、ユーザ20が、支払い手段の発話を行う。例えば「xxペイで」と発話する。ユーザ20は、ユーザ端末100に登録した照合用データと同じ発話を行う。
  (ステップS254)
 次に、店舗端末200は、ステップS254において、マイクを介して入力したユーザ発話「xxペイで」を記憶部に記録し、さらに音声認識を実行する。
 この音声認識により、ユーザ20が、[xxペイ]を利用した決済を要求していることを確認する。
  (ステップS255)
 次に、店舗端末200は、ステップS255において、ユーザの要求した決済手段を行うための決済アプリ(アプリケーションプログラム)を起動する。
  (ステップS256)
 次に、店舗端末200は、ステップS256において、ステップS254で記憶部に記録したユーザ発話「xxペイで」の音声データをユーザ端末100に近距離無線通信を用いて送信する。
  (ステップS257)
 次に、ユーザ端末100は、ステップS257において、ステップS256で店舗端末200から受信したユーザ発話「xxペイで」と、予めユーザ端末100に登録済みのユーザ発話「xxペイで」の音声データを比較し、音声データが一致するか否かを判定する。
 なお、一致するか否かの判定に際しては、完全一致に限らず、差分が予め既定した誤差範囲内の場合は一致すると判定する。
  (ステップS258)
 ユーザ端末100は、ステップS257で、店舗端末200からの受信ユーザ発話「xxペイで」と、ユーザ端末100に登録された登録ユーザ発話「xxペイで」が一致すると判定した場合、ステップS258において、支払い処理に移行する。
 なお、ステップS257で2つの発話の一致が確認されなかった場合は、ユーザ端末100は店舗端末200に対してエラー通知を実行し、その後のステップS259以下の処理は実行しない。
  (ステップS259)
 ステップS257で2つの発話が一致と判定され、ステップS253でユーザ20が行った発話がユーザ20本人の発話であることが確認されると、ステップS259において、ユーザ端末100は、店舗端末200に対して、支払い可能であることを通知する。
  (ステップS260)
 次に、店舗端末200は、ステップS260において、ユーザ端末100に支払い金額を通知する。
 なお、この時点で、(ステップS260b)の処理として、ユーザ20に、支払い意思の確認を求める処理を行ってもよい。
 具体的には、ステップS260の支払い金額通知に際して、店舗端末200からユーザ端末100に対して、先に図6を参照して説明したユーザの支払い意思確認用の表示データを送信して、ユーザ端末100に表示させる。
  (ステップS261)
 次に、ユーザ端末100は、ステップS261において、店舗端末200に対して、決済処理に必要となるユーザ20のアカウント情報等を送信する。
 なお、送信情報は、ユーザ20の利用する決済手段に応じて異なる情報となる。
  (ステップS262)
 次に、ステップS262において、店舗端末200は、ユーザ端末100から受信したユーザアカウント情報に従った決済処理を実行する。
  (ステップS263)
 次に、ステップS263において、店舗端末200は、ユーザ端末100に決済完了通知を送信する。
  (ステップS264)
 次に、ステップS264において、ユーザ端末100は、店舗端末200から受信した決済完了通知を表示する。
 例えば、先に図7を参照して説明したようなデータが表示される。
  (ステップS265)
 次に、ステップS265において、ユーザ端末100は、ユーザ端末100を初期状態に設定する。すなわち、支払い処理の実行不可状態に設定する。
 これら一連の処理により、店舗端末200は、店員がいない場合でもユーザ20がユーザ端末100を利用して実行しようとしている決済手段が「xxペイ」であることを確認し、確認した決済手段「xxペイ」を適用した決済処理を行うことができる。
 上述した説明から理解されるように、決済手段の確認処理に際して、ステップS253で行われたユーザ発話がステップS256で店舗端末200からユーザ端末100に送信され、ユーザ端末100が、この受信発話と、ユーザ端末100に予め登録済みの登録ユーザ発話との照合処理を実行する。
 この照合処理において、入力発話と登録発話の一致が確認された場合に決済処理を行う構成としている。
 上述した処理は、決済処理実行ユーザ(客)本人のみが実行可能であり、他人によるなりすまし的な処理が行われた場合は決済が実行されないことになり、より安全な決済処理が実現される。
  [5.(実施例4)ユーザが店舗端末ではなく、ユーザ端末に利用決済手段についての発話を行って決済処理を行う実施例について]
 次に、実施例4として、ユーザが店舗端末ではなく、ユーザ端末に利用決済手段についての発話を行って決済処理を行う実施例について説明する。
 上述した実施例では、ユーザが店舗端末に対して利用決済手段についての発話を行って決済処理を行う実施例であった。以下において説明する実施例4は、ユーザが店舗端末ではなくユーザ端末に利用決済手段についての発話を行って決済処理を行う実施例である。
 図19は、この実施例4の処理の概要を説明する図である。
 まず、決済処理の開始時に、ユーザ端末100には、図19(Sa)に示す表示データが表示される。
 なお、図19にはユーザ端末100の例としてスマホとスマートウォッチの例を並べて示している。
 図19(ステップSa)に示す表示データは、ユーザに対して、利用する支払い方法(決済手段)の発話を要求する表示データの例である。
 ユーザは、この表示データを確認して、例えば「yyペイで」といった発話を行う。
 なお、ユーザ発話は、照合用データが事前にユーザ端末に登録済みであることが
必要である。
 ユーザ端末に対して行われたユーザ発話は、ユーザ端末のマイクを介してユーザ端末内のデータ処理部に入力される。
 図19(ステップSb)において、ユーザ端末内のデータ処理部は入力されたユーザ発話が、ユーザ端末内の記憶部に格納された照合用の登録発話と一致するか否かを判定する。
 一致することが確認されると、ユーザ端末は店舗端末に対して支払い処理を行うことを通知する。
 この通知の際に、利用する決済手段の情報、例えば決済手段=[yyペイ]であるとの決済手段情報も通知する。
 その後、店舗端末から、支払い金額情報がユーザ端末に送信され、図19(c)に示す決済情報がユーザ端末に表示される。
 図20、図21を参照して、この実施例4の具体的シーケンスについて説明する。
 図20、図21には、左からユーザ20、ユーザ20の所有するユーザ端末100、店舗端末200、店舗端末200の置いてある店の店員30を示している。
 図20、図21に示すステップS300~S312の順に処理が行われる。
 以下、各ステップの処理について、順次、説明する。
  (ステップS300)
 まず、ステップS300において、店舗端末200とユーザ端末100間で通信セッションが確立される。すなわち、ユーザ端末100が店舗端末200に近づいて近距離無線通信が可能な位置になると、2つの端末間で通信セッションが確立され、通信可能状態に設定される。
 なお、前述したように、店舗端末200とユーザ端末100との間で実行される近距離無線通信は、例えば、ブルートゥース(登録商標)(BT)通信、NFC(Near Field Communication)通信、RF(Radio Frequency)通信、UWB(Ultra Wide Band)通信等の近距離無線通信である。
  (ステップS301)
 次に、店員が支払い金額を店舗端末200に入力する。
 なお、ここでは、支払い金額入力を店員30が実行するものとして説明するが、例えばユーザ20が商品のタグを店舗端末200に接続されたスキャナに読み取らせるといった処理でもよい。また、商品に装着されたRFIDタグから送信されるデータを店舗端末200が受信して清算金額を自動算出する構成としてもよい。
  (ステップS302)
 次に、店舗端末200が、ユーザ20に対して支払い金額を通知し、支払い方法(決済手段)をユーザ20に問い合わせる。すなわち質問する。
  (ステップS303)
 次に、ステップS303において、ユーザ20が、ユーザ端末100に対して支払い手段の発話を行う。
 なお、ステップS300の通信セッション確立時にユーザ端末100において決済アプリが起動され、先に図19(ステップSa)に示す画面が表示される。
 あるいはユーザが決済アプリを起動して、図19(ステップSa)に示す画面を表示してもよい。
 ステップS303において、ユーザ20は、ユーザ端末100に対して支払い手段の発話、例えば「yyペイで」を発話する。
 ユーザ20は、ユーザ端末100に登録した照合用データと同じ発話を行う。
  (ステップS304)
 次に、ユーザ端末100は、ステップS304において、マイクを介して入力したユーザ発話「xxペイで」を記憶部に記録し、さらに音声認識を実行する。
 この音声認識により、ユーザ20が、[yyペイ]を利用した決済を要求していることを確認する。
  (ステップS305)
 次に、ユーザ端末100は、ステップS305において、ステップS303~S304でマイクを介して入力したユーザ発話「yyペイで」と、予めユーザ端末100に登録済みのユーザ発話「yyペイで」の音声データを比較し、音声データが一致するか否かを判定する。
 なお、一致するか否かの判定に際しては、完全一致に限らず、差分が予め既定した誤差範囲内の場合は一致すると判定する。
  (ステップS306)
 ユーザ端末100は、ステップS306で、マイクを介して入力したユーザ発話「yyペイで」と、ユーザ端末100に登録された登録ユーザ発話「yyペイで」が一致すると判定した場合、ステップS306において、支払い処理に移行する。
 なお、ステップS305で2つの発話の一致が確認されなかった場合は、ユーザ端末100は店舗端末200に対してエラー通知を実行し、その後のステップS307以下の処理は実行しない。
  (ステップS307)
 ステップS305で2つの発話が一致と判定され、ステップS303でユーザ20が行った発話がユーザ20本人の発話であることが確認されると、ステップS307において、ユーザ端末100は、店舗端末200に対して、支払い可能であることを通知する。
 この通知には、支払い手段(決済手段)と、決済処理に必要となる情報、例えば、ユーザアカウント情報も含まれる。
 なお、送信情報は、ユーザ20の利用する決済手段に応じて異なる情報となる。
  (ステップS308)
 次に、店舗端末200は、ステップS308において、ユーザの要求した決済手段を行うための決済アプリ(アプリケーションプログラム)を起動する。
  (ステップS309)
 次に、店舗端末200は、ステップS309において、ユーザ端末100から受信したユーザアカウント情報に従った決済処理を実行する。
  (ステップS310)
 次に、ステップS310において、店舗端末200は、ユーザ端末100に決済完了通知を送信する。
  (ステップS311)
 次に、ステップS311において、ユーザ端末100は、店舗端末200から受信した決済完了通知を表示する。
 例えば、先に説明した図7に示すようなデータが表示される。
  (ステップS312)
 次に、ステップS312において、ユーザ端末100は、ユーザ端末100を初期状態に設定する。すなわち、支払い処理の実行不可状態に設定する。
 これら一連の処理により、店舗端末200は、ユーザ20がユーザ端末100を利用して実行しようとしている決済手段が「yyペイ」であることを確認し、確認した決済手段「yyペイ」を適用した決済処理を行うことができる。
 上述した説明から理解されるように、本実施例では、決済手段の確認処理に際して、ステップS303で行われたユーザ発話が直接ユーザ端末100に入力される。
 ユーザ端末100が、この入力発話と、ユーザ端末100に予め登録済みの登録ユーザ発話との照合処理を実行する。
 この照合処理において、入力発話と登録発話の一致が確認された場合に決済処理を行う。
 この発話照合処理は、決済処理実行ユーザ(客)本人の発話であることを確認する処理であり、他人によるなりすまし的な処理が行われた場合は決済が実行されないことになり、安全な決済処理が実現される。
  [6.(実施例5)ユーザ端末に事前登録された複数の利用決済手段指定発話データからユーザが選択した発話データを店舗端末に送信して決済処理を行う実施例について]
 次に、実施例5として、ユーザ端末に事前登録された複数の利用決済手段指定発話データからユーザが選択した発話データを店舗端末に送信して決済処理を行う実施例について説明する。
 図22は、この実施例5の処理の概要を説明する図である。
 まず、決済処理の開始時に、ユーザ端末100には、図20(Sa)に示す表示データが表示される。
 なお、図22にも図19と同様、ユーザ端末100の例としてスマホとスマートウォッチの例を並べて示している。
 図22(ステップSa)に示す表示データは、ユーザに対して、利用する支払い方法(決済手段)の選択を要求する表示データの例である。
 ユーザは、この表示データを確認して、例えば決済手段として「yyペイ」を選択する。
 なお、ここでユーザ端末に表示される決済手段は、いずれもユーザ端末に決済手段を指定するユーザ発話音声データが事前登録された決済手段である。
 次に、(ステップSb)において、ユーザ端末100のデータ処理部は、ユーザの選択した「yyペイ」に対応する事前登録済みのユーザ発話データ「yyペイで」を記憶部から取得して店舗端末200に送信する。
 その後、店舗端末から、支払い金額情報がユーザ端末に送信され、図22(c)に示す決済情報がユーザ端末に表示される。
 図23、図24を参照して、この実施例4の具体的シーケンスについて説明する。
 図23、図24には、左からユーザ20、ユーザ20の所有するユーザ端末100、店舗端末200、店舗端末200の置いてある店の店員30を示している。
 図23、図24に示すステップS320~S333の順に処理が行われる。
 以下、各ステップの処理について、順次、説明する。
  (ステップS320)
 まず、ステップS320において、店舗端末200とユーザ端末100間で通信セッションが確立される。すなわち、ユーザ端末100が店舗端末200に近づいて近距離無線通信が可能な位置になると、2つの端末間で通信セッションが確立され、通信可能状態に設定される。
 なお、前述したように、店舗端末200とユーザ端末100との間で実行される近距離無線通信は、例えば、ブルートゥース(登録商標)(BT)通信、NFC(Near Field Communication)通信、RF(Radio Frequency)通信、UWB(Ultra Wide Band)通信等の近距離無線通信である。
  (ステップS321)
 次に、店員が支払い金額を店舗端末200に入力する。
 なお、ここでは、支払い金額入力を店員30が実行するものとして説明するが、例えばユーザ20が商品のタグを店舗端末200に接続されたスキャナに読み取らせるといった処理でもよい。また、商品に装着されたRFIDタグから送信されるデータを店舗端末200が受信して清算金額を自動算出する構成としてもよい。
  (ステップS322)
 次に、店舗端末200が、ユーザ20に対して支払い金額を通知し、支払い方法(決済手段)をユーザ20に問い合わせる。すなわち質問する。
  (ステップS323)
 次に、ステップS323において、ユーザ20が、ユーザ端末100に対して支払い手段の選択を行う。
 なお、ステップS300の通信セッション確立時にユーザ端末100において決済アプリが起動され、先に図22(ステップSa)に示す画面が表示される。
 あるいはユーザが決済アプリを起動して、図22(ステップSa)に示す画面を表示してもよい。
 ステップS323において、ユーザ20は、ユーザ端末100に表示された複数の支払い手段から1つを選択する。例えば「yyペイ」を選択する。
  (ステップS324)
 次に、ユーザ端末100は、ステップS324において、ユーザ端末100のデータ処理部は、ユーザの選択した「yyペイ」に対応する事前登録済みのユーザ発話データ「yyペイで」を記憶部から取得して店舗端末200に送信する。
  (ステップS325)
 次に、店舗端末200は、ステップS325において、ユーザ端末100からを受信したユーザ発話「yyペイで」を記憶部に記録し、さらに音声認識を実行する。
 この音声認識により、ユーザ20が、[yyペイ]を利用した決済を要求していることを確認する。
  (ステップS326)
 次に、店舗端末200は、ステップS326において、ユーザ20の要求した決済手段を行うための決済アプリ(アプリケーションプログラム)を起動する。
  (ステップS327)
 次に、店舗端末200は、ステップS327において、ステップS325で記憶部に記録したユーザ発話「yyペイで」の音声データをユーザ端末100に近距離無線通信を用いて送信する。
  (ステップS328)
 次に、ユーザ端末100は、ステップS328において、ステップS327で店舗端末200から受信したユーザ発話「yyペイで」と、予めユーザ端末100に登録済みのユーザ発話「yyペイで」の音声データを比較し、音声データが一致するか否かを判定する。
 なお、一致するか否かの判定に際しては、完全一致に限らず、差分が予め既定した誤差範囲内の場合は一致すると判定する。
  (ステップS329)
 ユーザ端末100は、ステップS328で、店舗端末200からの受信ユーザ発話「yyペイで」と、ユーザ端末100に登録された登録ユーザ発話「yyxペイで」が一致すると判定した場合、ステップS329において、ユーザ端末100は、店舗端末200に対して、支払い可能であることを通知する。
 この通知には、支払い手段(決済手段)と、決済処理に必要となる情報、例えば、ユーザアカウント情報も含まれる。
 なお、送信情報は、ユーザ20の利用する決済手段に応じて異なる情報となる。
  (ステップS330)
 次に、店舗端末200は、ステップS330において、ユーザ端末100から受信したユーザアカウント情報に従った決済処理を実行する。
  (ステップS331)
 次に、ステップS331において、店舗端末200は、ユーザ端末100に決済完了通知を送信する。
  (ステップS332)
 次に、ステップS332において、ユーザ端末100は、店舗端末200から受信した決済完了通知を表示する。
 例えば、先に説明した図7に示すようなデータが表示される。
  (ステップS333)
 次に、ステップS333において、ユーザ端末100は、ユーザ端末100を初期状態に設定する。すなわち、支払い処理の実行不可状態に設定する。
 これら一連の処理により、店舗端末200は、ユーザ20がユーザ端末100を利用して実行しようとしている決済手段が「yyペイ」であることを確認し、確認した決済手段「yyペイ」を適用した決済処理を行うことができる。
 上述した説明から理解されるように、本実施例では、新たなユーザ発話は行わず、ユーザ端末に事前登録済みのユーザ発話のみを利用した本人確認を実行している。子処理を行うことで、例えば風邪をひいて声が出にくい場合などにおいても、事前登録済みの発話データを用いた決済処理を行うことができる。
  [7.(実施例6)ユーザの撮影画像に基づく顔認証を実行する実施例について]
 次に、実施例6として、ユーザの顔画像を撮影して撮影画像に基づく顔認証を実行する実施例について説明する。
 図25は、本実施例6の処理例を説明する図である。
 店舗端末(レジ)200は、マイク201の他、画像撮影用のカメラ202を有している。
 図25において、店員の前に店舗端末200が置かれ、その前に決済を行うユーザであるユーザa(客A)20aが立っている。
 ユーザa,20aは、スマホ等のユーザ端末100aを保持している。
 店舗端末200とユーザ端末100aとの間で近距離無線通信を行って決済処理が実行される。
 なお、店舗端末200とユーザ端末100aとの間で実行される近距離無線通信は、例えば、ブルートゥース(登録商標)(BT)通信、NFC(Near Field Communication)通信、RF(Radio Frequency)通信、UWB(Ultra Wide Band)通信等の近距離無線通信である。
 本開示の店舗端末200による決済処理は、図25に示すステップS01~S07の順に従って行われる。以下、各ステップの処理について説明する。
  (ステップS01)
 まず、ユーザa,20aが決済手段を発話する。
 一例として、ユーザa,20aが、「XXペイで」と発話したものとする。
  (ステップS02)
 店舗端末200は、マイク201を介してユーザa,20aの発話「XXペイで」を入力し、ステップS02において、店舗端末200内のデータ処理部が入力発話の音声解析を実行し、決済処理を行おうとするユーザ、すなわちユーザa,20aが利用したい決済手段が[XXペイ]であると判定する。
  (ステップS03)
 次に、ステップS03において、店舗端末200は、カメラ202を用いてユーザa,20aの顔画像を撮影する。
  (ステップS04)
 次に、ステップS04において、店舗端末200は、近距離無線通信を用いてユーザa,20aの顔画像を、ユーザ端末100aに送信する。
  (ステップS05)
 次に、ユーザ端末100aは、ステップS05において、店舗端末200から受信したユーザ顔撮影画像と、ユーザ端末100aに予め登録された登録ユーザ顔画像を比較し、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100aの所有者であるユーザa,20aの顔画像の人物と同一人物であるか否かを判定する。
 店舗端末200から受信したユーザ顔撮影画像と、登録ユーザ顔画像とが類似度が高く、同一人物であると判定できる場合は、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100aの所有者であるユーザa,20aの顔画像の人物であると判定する。
 この場合は、ステップS06以下の処理を実行する。
 一方、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100aの所有者であるユーザa,20aの顔画像の人物と同一人物であると判定できなかった場合は、ユーザ端末100aは、店舗端末200にエラーを通知する。この場合は、決済処理は実行されない。
 ただし、その後、ユーザa,20aに支払い意思の確認処理を行って、意思が確認された場合は決済処理を行う構成としてもよい。
  (ステップS06)
 ステップS05において、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100aの所有者であるユーザa,20aの顔画像の人物と同一人物であると判定した場合、ステップS06以下の処理が実行される。
 この場合、ユーザ端末100aは、ステップS06において、支払い処理を実行する。具体的には、店舗端末200に対して、決済処理に必要となるユーザa,20aのアカウント情報等を送信する。
 なお、送信情報は、ユーザa,20aの利用する決済手段に応じて異なる情報となる。
  (ステップS07)
 次に、ステップS07において、店舗端末200は、ユーザ端末100aから受信したユーザアカウント情報に従った決済処理を実行する。
 本実施例は、決済処理を実行しようとするユーザa,20aが、決済処理に利用するユーザ端末100aの真の所有者であるか否かを、ユーザ端末100aに予め登録済みの顔画像を用いて確認する処理を行う構成である。
 この構成により、例えばユーザa,20a以外の他のユーザがユーザ端末100aを持ち出して利用しようとしても決済を行うことができず、端末の不正利用を防止することができる。
 次に、図26、図27を参照して、本実施例6の処理シーケンスについて説明する。
 図26、図27には、左からユーザ20、ユーザ20の所有するユーザ端末100、店舗端末200、店舗端末200の置いてある店の店員30を示している。
 図26、図27に示すステップS400~S416の順に処理が行われる。
 以下、各ステップの処理について、順次、説明する。
  (ステップS400)
 まず、ステップS400において、店舗端末200とユーザ端末100間で通信セッションが確立される。すなわち、ユーザ端末100が店舗端末200に近づいて近距離無線通信が可能な位置になると、2つの端末間で通信セッションが確立され、通信可能状態に設定される。
 なお、前述したように、店舗端末200とユーザ端末100との間で実行される近距離無線通信は、例えば、ブルートゥース(登録商標)(BT)通信、NFC(Near Field Communication)通信、RF(Radio Frequency)通信、UWB(Ultra Wide Band)通信等の近距離無線通信である。
  (ステップS401)
 次に、店員が支払い金額を店舗端末200に入力する。
 なお、ここでは、支払い金額入力を店員30が実行するものとして説明するが、例えばユーザ20が商品のタグを店舗端末200に接続されたスキャナに読み取らせるといった処理でもよい。また、商品に装着されたRFIDタグから送信されるデータを店舗端末200が受信して清算金額を自動算出する構成としてもよい。
  (ステップS402)
 次に、店員30が、支払い方法(決済手段)をユーザ20に問い合わせる。すなわち質問する。
 なお、この支払い手段の問い合わせも店舗端末200が出力する音声を用いて行う構成としてもよい。
  (ステップS403)
 次に、ステップS103において、ユーザ20が、支払い手段の発話を行う。例えば「xxペイで」と発話する。ユーザ20は、ユーザ端末100に登録した照合用データと同じ発話を行う。
  (ステップS404)
 次に、店舗端末200は、ステップS404において、マイクを介して入力したユーザ発話「xxペイで」を記憶部に記録し、さらに音声認識を実行する。
 この音声認識により、ユーザ20が、[xxペイ]を利用した決済を要求していることを確認する。
  (ステップS405)
 次に、店舗端末200は、ステップS405において、ユーザの要求した決済手段を行うための決済アプリ(アプリケーションプログラム)を起動する。
  (ステップS406)
 次に、ステップS406において、店舗端末200は、カメラ202を用いてユーザ20の顔画像を撮影する。
  (ステップS407)
 次に、ステップS407において、店舗端末200は、近距離無線通信を用いてユーザの顔画像を、ユーザ端末100に送信する。
  (ステップS408)
 次に、ユーザ端末100は、ステップS408において、店舗端末200から受信したユーザ顔撮影画像と、ユーザ端末100に予め登録された登録ユーザ顔画像を比較し、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100の所有者であるユーザ20の顔画像の人物と同一人物であるか否かを判定する。
 店舗端末200から受信したユーザ顔撮影画像と、登録ユーザ顔画像とが類似度が高く、同一人物であると判定できる場合は、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100の所有者であるユーザ20の顔画像の人物であると判定する。
 この場合は、ステップS409以下の処理を実行する。
 一方、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100の所有者であるユーザ20の顔画像の人物と同一人物であると判定できなかった場合は、ユーザ端末100は、店舗端末200にエラーを通知する。この場合は、決済処理は実行されない。
 ただし、その後、ユーザ20に支払い意思の確認処理を行って、意思が確認された場合は決済処理を行う構成としてもよい。
  (ステップS409)
 ステップS408において、店舗端末200から受信したユーザ顔撮影画像の人物が、ユーザ端末100の所有者であるユーザ20の顔画像の人物と同一人物であると判定した場合、ステップS409において、支払い処理に移行する。
  (ステップS410)
 ステップS410において、ユーザ端末100は、店舗端末200に対して、支払い可能であることを通知する。
  (ステップS411)
 次に、店舗端末200は、ステップS411において、ユーザ端末100に支払い金額を通知する。
 なお、この時点で、(ステップS411b)の処理として、ユーザ20に、支払い意思の確認を求める処理を行ってもよい。
 具体的には、ステップS411の支払い金額通知に際して、店舗端末200からユーザ端末100に対して、例えば先に図6を参照して説明したような表示データを送信して、ユーザ端末100に表示させる。
  (ステップS412)
 次に、ユーザ端末100は、ステップS412において、店舗端末200に対して、決済処理に必要となるユーザ20のアカウント情報等を送信する。
 なお、送信情報は、ユーザ20の利用する決済手段に応じて異なる情報となる。
  (ステップS413)
 次に、ステップS413において、店舗端末200は、ユーザ端末100から受信したユーザアカウント情報に従った決済処理を実行する。
  (ステップS414)
 次に、ステップS414において、店舗端末200は、ユーザ端末100に決済完了通知を送信する。
  (ステップS415)
 次に、ステップS415において、ユーザ端末100は、店舗端末200から受信した決済完了通知を表示する。
 例えば、先に図7を参照して説明したようなデータが表示される。
  (ステップS416)
 次に、ステップS416において、ユーザ端末100は、ユーザ端末100を初期状態に設定する。すなわち、支払い処理の実行不可状態に設定する。
 本実施例は、決済処理を実行しようとするユーザ20のユーザ発話に基づいて、決済手段を確認し、さらに、決済処理に利用するユーザ端末100aの真の所有者であるか否かを、ユーザ端末100aに予め登録済みの顔画像を用いて確認する処理を行う構成である。
 この構成により、決済手段の確実な確認と、ユーザ端末の真の所有者の確認が可能となり、誤った決済処理や不正決済を防止することができる。
  [8.(実施例7)店内を移動するユーザ(客)の撮影画像と、ユーザ端末からの受信情報に基づいて決済を実行するユーザやユーザ端末を特定する実施例について]
 次に、実施例7として、店内を移動するユーザ(客)の撮影画像と、ユーザ端末からの受信情報に基づいて決済を実行するユーザやユーザ端末を特定する実施例について説明する。
 図28以下を参照して本実施例について説明する。
 図28は、1つの店舗を示している。図28下部中央が店の出入り口であり、ユーザ(客)が出入りする。
 図28上部に店員がおり、その前に店舗端末(レジ)200が置かれている。店舗端末200は、ユーザ(客)の持つユーザ端末と近距離無線通信を実行して決済処理を行う。
 店舗には、多くのユーザ(客)が来店し、決済処理を行うことになる。本実施例では、店舗端末200は、店舗内の複数個所に設けられたカメラ、近距離無線通信部と有線接続または無線接続されている。
 店舗端末200は、店舗内の複数個所に設けられたカメラの撮影画像を入力する。さらに、店舗端末200は、店舗内の複数個所に設けられた近距離無線通信部がユーザ(客)の持つユーザ端末と送受信した情報を入力する。
 店舗端末200は、カメラの撮影画像や、近距離無線通信部の通信情報を解析し、ユーザ(客)とユーザ端末の対応データを生成する。
 具体的には、カメラ撮影画像に基づいて、ユーザ(客)の性別、年齢、服装、持ち物等のユーザ属性情報を解析する。
 さらに、近距離無線通信部とユーザ(客)の持つユーザ端末との送受信情報に基づいて、ユーザ端末の識別情報(ユーザ端末ID)を取得する。
 最終的に、各ユーザのユーザ属性情報と、ユーザ端末の識別情報(ユーザ端末ID)との対応データ(ユーザ属性ユーザ端末対応データ)を生成する。
 具体的な生成データ例を図29に示す。
 図29に示すデータは、カメラによって撮影された店舗内のユーザ(客)単位のユーザ属性情報(性別、年齢、服装、持ち物)と、そのユーザの所有するユーザ端末の識別子(例えばスマホID)とを対応づけた対応データ(ユーザ属性ユーザ端末対応データ)である。
 店舗端末200が、カメラ撮影画像と、近距離無線通信部の通信データに基づいて、この対応データ(ユーザ属性ユーザ端末対応データ)を生成して記憶部に格納する。
 例えばあるユーザ(客)が店舗端末200の前に進み、決済を実行しようとした場合、店舗端末200は、店舗端末200の前を撮影するカメラ、例えば図28に示すカメラ5によって撮影された画像からユーザ属性(性別、年齢、服装、持ち物)を取得する。
 次に、店舗端末200は、記憶部に格納されている対応データ(ユーザ属性ユーザ端末対応データ)から、取得したユーザ属性に一致するユーザ属性を持つエントリを選択する。
 さらに、選択したエントリに記録されたユーザ端末識別情報(スマホID)を取得する。
 これらの処理により、決済処理を行うユーザのユーザ端末を特定し、店舗端末200は、特定したユーザ端末との通信を行うことで、決済処理を実行することができる。
 なお、対応データ(ユーザ属性ユーザ端末対応データ)の生成処理や記憶部に対する記録処理、さらに店舗端末200付近の撮影画像に基づくユーザ属性解析処理、解析結果に基づく対応データの検索処理等は、店舗端末200以外の外部サーバにおいて実行する構成としてもよい。
 外部サーバが、店舗端末や店舗内のカメラ、近距離無線通信部と通信可能な構成を有し、外部サーバがカメラ撮影画像と近距離無線通信部の送受信データを取得して解析を行い、対応データ(ユーザ属性ユーザ端末対応データ)を生成してサーバ内の記憶部に格納する。さらに外部サーバが店舗端末200付近の撮影画像に基づくユーザ属性解析処理、解析結果に基づく対応データの検索処理を実行し、検索結果から得られるユーザ端末識別情報を店舗端末200に通知する構成としてもよい。
 図30以下を参照して本実施例の具体的処理シーケンスについて説明する。
 図30は、店舗内に2人の客1、客2が入り、カメラ1による画像撮影領域と、近距離無線通信部1の通信可能領域を通過した状態を示している。
 この状態において、カメラ1の撮影画像と、近距離無線通信部1の通信情報に基づいて、図31に示す解析データが生成される。
 なお、図31に示す解析データは、店舗端末200、または外部サーバにおいて生成される。
 図31(1)は、カメラ1の撮影画像に基づいて生成される解析データである。
 ユーザ1(客1)とユーザ2(客2)の各々についてのユーザ属性(性別、年齢、服装、持ち物)が解析データとして記憶部に記録される。記憶部は、店舗端末内または外部サーバ内の記憶部である。
 図31(1)は、カメラ1の撮影画像に基づいて生成される解析データであるのでユーザ端末識別情報は不明のままである。
 図31(2)は、近距離無線通信部1の通信情報に基づいて生成される解析データである。
 近距離無線通信部1は、ユーザ1(客1)のユーザ端末1と、ユーザ2(客2)のユーザ端末2と通信を行い、2台のユーザ端末の端末識別情報を解析することができる。ただし、これら2台のユーザ端末がユーザ1(客1)、ユーザ2(客2)のどちらの端末であるかについては解析できない。
 すなわち、この時点では、図31(1)に示すカメラ1の撮影画像に基づいて生成される解析データと、図31(2)に示す近距離無線通信部1の通信情報に基づいて生成される解析データはそれぞれ個別に生成され、これらの2つの解析データの各エントリは、紐づけされていない状態である。
 図31(1)に示すカメラ1の撮影画像に基づいて生成される解析データの2つのエントリに仮ID1、仮ID2を設定し、図31(2)に示す近距離無線通信部1の通信情報に基づいて生成される解析データの2つのエントリは、いずれも仮ID1、または仮ID2のいずれかに対応することが確認されている状態となる。
 すなわち、図31(2)に示す2つのユーザ端末の識別情報(1234,5678)がそれぞれ、ユーザ1(客1)、ユーザ2(客2)のどちらの端末であるかについては解析できていない状態である。
 次に、ユーザ1(客1)、ユーザ2(客2)が店舗内を歩き、図32に示す位置に進む。
 図32に示す状態は、ユーザ1(客1)は、カメラ3によって撮影され、近距離無線通信部3が、ユーザ1(客1)の所有するユーザ端末1と通信可能な状態である。
 ユーザ2(客2)は、カメラ1によって撮影され、近距離無線通信部1が、ユーザ2(客2)の所有するユーザ端末2と通信可能な状態である。
 この状態では、カメラ3による撮影画像から得られるユーザ属性(性別、年齢、服装、持ち物)と、近距離無線通信部3の通信情報から解析されるユーザ端末の識別子(スマホID)を1対1で対応づけることができる。
 同様に、カメラ1による撮影画像から得られるユーザ属性(性別、年齢、服装、持ち物)と、近距離無線通信部1の通信情報から解析されるユーザ端末の識別子(スマホID)も1対1で対応づけることができる。
 この結果、図33に示すように、(1)カメラ1とカメラ3の撮影画像に基づいて生成される解析データに含まれる2つのエントリと、(2)近距離無線通信部1,3の通信情報に基づいて生成される解析データに含まれる2つのエントリを個別に対応付けることが可能となる。
 結果として、図33に示す(1)カメラ1とカメラ3の撮影画像に基づいて生成される解析データの各エントリに、(2)近距離無線通信部1,3の通信情報に基づいて生成される解析データに記録されたユーザ端末識別子を記録することが可能となり、ユーザ属性ユーザ端末対応データが完成する。
 図34は、ユーザ1(客1)が、店舗端末200の前に立ち、支払い処理を行おうとしている状態である。
 ただし、ユーザ2(客2)も近くにおり、店舗端末200は、ユーザ1(客1)のユーザ端末1と、ユーザ2(客2)のユーザ端末2の2つのユーザ端末との通信が可能な状態にある。
 このとき、店舗端末200、あるいは外部サーバが、店舗端末200の前を撮影するカメラ5の画像解析を行う。この画像解析により、店舗端末200の前に立ち、支払い処理を行おうとしているユーザがユーザ1(客1)であることを判別する。
 さらに、先に生成済みのユーザ属性ユーザ端末対応データから、ユーザ1(客1)のユーザ端末1の識別子を取得する。
 店舗端末200は、ユーザ1(客1)のユーザ端末1との通信において、ユーザ端末1の識別子を取得し、ユーザ2(客2)のユーザ端末2との通信において、ユーザ端末2の識別子を取得する。
 現在、店舗端末200の前に立ち、支払い処理を行おうとしているユーザがユーザ1(客1)であることが判明している。この結果に基づいて、図35に示すように、2人のユーザ中、ユーザ1(客1)が決済対象者であると判定することができる。
 この結果に基づいて、店舗端末200は、通信状態にある2つのユーザ端末から、ユーザ1(客1)のユーザ端末1との通信を継続し、ユーザ2(客2)のユーザ端末2との通信を停止する。
 その後、店舗端末200は、通信継続中のユーザ1(客1)のユーザ端末1との通信を行い、決済処理を実行する。
 このように、本実施例では、店舗内に備えられた複数のカメラと複数の近距離無線通信部によって取得される情報に基づいて、各ユーザが保有しているユーザ端末の識別子を取得し、各ユーザの決済処理において、そのユーザの保持すユーザ端末を特定してそのユーザ端末との通信により、間違いのない決済処理を行うことが可能となる。
 この実施例6は、複数のカメラと複数の近距離無線通信部の取得情報の解析により、個々のユーザの保持するユーザ端末を特定することを可能とした実施例である。
 この処理は、店舗内の決済処理に限らず、例えば駅の改札ゲート、空港やビルのゲート等のゲート開閉制御にも応用することができる。
 図36以下を参照して、ゲート制御の具体例について説明する。図36にはゲート1~3を示している。ゲートを通過しようとするユーザ(客)は、図の右上から矢印に沿ってゲート方向に進み、ゲートを通過する。
 この通路上に複数のカメラ、複数の近距離無線通信部が設けられている。
 複数のカメラは通路を歩くユーザ(客)の画像を撮影する。複数の近距離無線通信部は、通路を歩くユーザ(客)の保持するスマホ等のユーザ端末と通信を行う。
 カメラ撮影画像と、近距離無線通信部の通信データは、ゲート制御処理を行うサーバに送信され、解析される。この解析結果に基づいて、先に図29他を参照して説明したと同様のユーザ属性(性別、年齢、服装、持ち物)と、ユーザ端末の識別子(スマホID)を対応付けたユーザ属性ユーザ端末対応データが生成され、記憶部に格納される。
 なお、例えば、ゲートが駅の改札である場合、サーバは、上記のユーザ属性ユーザ端末対応データ以外に、ユーザ端末IDとそのID対応の定期券情報、あるいは残高情報との対応データであるユーザ管理データを保持している。
 ゲート制御処理を行うサーバは、このユーザ管理データと、ユーザ属性ユーザ端末対応データに基づいてゲートの開閉制御を行う。
 具体例について、図37を参照して説明する。
 ユーザ1(客1)が通路右上から侵入し、ゲート1に向かって進むものとする。
 図に示す(S01)~(S04)の処理が、サーバにおいて順次実行される。
 まず、ステップS01において、サーバは、ユーザ属性情報(性別、年齢、服装、持ち物)と、ユーザ端末識別情報(スマホID)を取得する。これらはカメラ撮影画像と近距離無線通信部の通信情報に基づいて取得される。
 次に、ステップS02において、サーバは、ユーザ端末IDとそのID対応の定期券情報、あるいは残高情報との対応データであるユーザ管理データを参照して、ユーザ1(客1)の定期券情報、あるいは残高情報を取得する。
 次に、ステップS03において、サーバは、ユーザ1(客1)の定期券情報、あるいは残高情報に基づいて、ユーザ1(客1)がゲートを通過する資格があると判定し、ゲート通過の許容判定処理を行う。
 次に、ステップS04において、サーバは、ユーザ1(客1)がゲートに近づいたことを確認し、ゲートを開ける制御を行う。
 このように、ユーザ属性(性別、年齢、服装、持ち物)と、ユーザ端末の識別子(スマホID)を対応付けたユーザ属性ユーザ端末対応データを利用することで、ゲートの開閉制御をスムーズにエラー無く実行することが可能となる。
 なお、図38のステップS05に示すように、ゲート通過後の位置に近距離無線通信部を設置し、ユーザ端末と通信可能な設定とすることで、ゲート通過後に、ユーザ端末に記録された定期券情報、あるいは残高情報を更新する書き込み処理を行うことも可能である。
 ゲート制御装置として機能するサーバにおいて実行するゲート制御のシーケンスの一例について、図39に示すフローチャートを参照して説明する。
 フローの各ステップの処理について、順次、説明する。
 なお、図39に示すフローに従った処理は、1つの近距離無線通信部ごとに実行される処理であり、サーバは、複数の近距離無線通信部について、図39に示すフローに従った処理を並列に実行する。
  (ステップS501)
 まず、ゲート制御装置であるサーバは、ステップS501において、ある1つの近距離無線通信部と通信可能となったユーザ端末を検出する。
  (ステップS502)
 次に、ゲート制御装置であるサーバは、ステップS502において、1つの近距離無線通信部と通信可能となったユーザ端末が1つのみであるか否かを判定する。
 1つのみである場合は、ステップS505に進む。
 複数ある場合は、ステップS503に進む。
  (ステップS503)
 ステップS502において、1つの近距離無線通信部と通信可能となったユーザ端末が複数あると判定した場合、ゲート制御装置であるサーバは、ステップS503の処理を実行する。
 サーバは、ステップS503において、ゲート侵入部のカメラ撮影画像に基づいてゲート侵入者のユーザ端末識別情報を特定する。
  (ステップS504)
 次に、サーバは、ゲート侵入者のユーザ端末特定処理に成功したか否かを判定する。
 成功した場合は、ステップS505に進む。
 失敗した場合は、ステップS507に進む。
  (ステップS505~S507)
 ステップS502において、1つの近距離無線通信部と通信可能となったユーザ端末が1つのみであると判定した場合、あるいはステップS504において、ゲート侵入者のユーザ端末特定処理に成功した場合、ステップS505の処理を実行する。
 サーバはステップ505において、ユーザ端末識別情報に基づいて、ユーザがゲートの通過が許容されるユーザであるか否かを判定する。これは、先に説明したユーザ端末IDとそのID対応の定期券情報、あるいは残高情報との対応データであるユーザ管理データを参照して実行する。
 ユーザがゲートの通過が許容されるユーザであると判定した場合はステップS506に進み、ゲートを開けてユーザを通過させる。
 一方、ユーザがゲートの通過が許容されるユーザでないと判定した場合はステップS507に進み、ゲートを閉じてエラー音を出力する。
 なお、ステップS507の処理は、ステップS504において、ゲート侵入者のユーザ端末特定処理に失敗した場合にも実行される。
 このように、ユーザ属性(性別、年齢、服装、持ち物)と、ユーザ端末の識別子(スマホID)を対応付けたユーザ属性ユーザ端末対応データを利用することで、ゲートの開閉制御をスムーズにエラー無く実行することが可能となる。
 なお、ここまで、複数の実施例について説明してきたが、これら複数の実施例は個別に実行してもよいが、任意の複数の実施例を組み合わせて実行することも可能である。
  [9.各装置の構成例について]
 次に、本開示の決済処理システムにおいて用いられる各情報処理装置、すなわちユーザ端末100、店舗端末200、サーバの具体的な装置構成例について説明する。
 まず、図40を参照してユーザ端末100の装置構成例について説明する。
 ユーザ端末100は例えばスマホ(スマートフォン)であり、例えば図40に示す構成を有する。
 図40に示すように、ユーザ端末100は、制御部(データ処理部)101、操作部102、表示部103、セキュアエレメント104、記憶部(メモリ)105、クロック106、第1通信部110、第2通信部120を有する。
 第1通信部110にはWi-Fi通信部111、その他の通信部112が含まれる。第2通信部120には、NFC-CLF121、ブルートゥース(登録商標)通信部122、その他の通信部123が含まれる。
 制御部(データ処理部)101は、ユーザ端末100において実行する処理の制御を実行する。具体的には、店舗端末や近距離無線通信部との通信制御処理、決済処理、ユーザ発話の照合処理、画像照合処理等を実行する。
 なお、制御部(データ処理部)101の実行する制御プログラム、アプリケーション等は、記憶部(メモリ)105に格納されている。
 制御部(データ処理部)101は、プログラム実行機能を有するCPU等のプロセッサを有している。
 操作部102は、ユーザによる操作可能な操作部であり、各種スイッチの他、表示部103上のタッチパネル等も含まれる。ユーザは操作部102を介して様々な情報を入力することができる。
 表示部103は、例えば液晶ディスプレイ等の表示部であり、様々なアプリケーションの実行情報等の表示に利用される。
 セキュアエレメント104は、セキュアメモリおよびメモリ制御部を有するエレメントとして構成されるICチップである。セキュアエレメント104内のセキュアメモリにはキャッシュレス決済機能提供アプリ等が格納される。
 記憶部(メモリ)105は、制御部101の実行する制御プログラム、アプリケーション、ID情報、ユーザアカウント情報等が記録される。
 クロック106は時計情報であり、各処理部にクロック情報を出力する。
 第1通信部110は、Wi-Fi通信部111、その他の通信部112によって構成され、外部装置、例えばサーバ、PC、スマホ、ウェアラブル機器等との通信に利用される。その他の通信部112は、電話回線、インターネット等、遠距離通信機能を有する通信部である。
 第2通信部120は、NFC-CLF121、ブルートゥース(登録商標)通信部122、その他の通信部123が含まれ、例えば店舗端末200や近距離無線通信部との通信処理を行う。その他の通信部123は、RF通信部、UWB(Ultra Wide Band)通信等、近距離無線通信を行う通信部である。
 NFC-CLF121は、NFC(Near Field Communication)-CLF(Contactless Front End)であり近距離通信のためのICチップの一種である。
 次に、図41を参照して店舗端末200の構成例について説明する。
 図41は、店舗端末200の一構成例を示すブロック図である。
 店舗端末200は、制御部(データ処理部)251、通信部252、近距離無線通信部253、入力部(マイク、カメラ、操作部等)254、出力部255、記憶部(メモリ)256を有する。
 制御部(データ処理部)251は、店舗端末200において実行する処理の全体的制御を行う。
 具体的には、決済処理、通信制御等の処理を実行する。なお、これらの処理の実行プログラムは記憶部(メモリ)255に格納されている。制御部(データ処理部)251はプログラム実行機能を有するCPU等のプロセッサを有している。
 通信部252は、例えば外部サーバとの通信を実行する。外部サーバは例えば決済サーバ、ユーザ情報管理サーバ等の様々なサーバである。
 近距離無線通信部253は、ユーザ端末との近距離無線通信を行う通信部である。
 入力部(マイク、カメラ、操作部等)254は、外部に装着されたカメラの撮影画像の入力、近距離無線通信部からの通信データの入力、さらにユーザによるデータ入力、操作情報の入力が可能な入力部であり、例えば決済金額の入力等にも利用される。
 出力部255は、例えば、表示部、音声出力部等によって構成され、決済金額の表示、各種メッセージ、警告等の出力が行われる。
 記憶部(メモリ)256は、制御部(データ処理部)251において実行するプログラム、プログラム実行に適用するパラメータ等が記録される。
 さらに、店舗端末ID、店舗端末情報、決済金額等の情報記録領域としても利用される。
 次に、ユーザ端末100、店舗端末200、サーバとして利用可能なハードウェア構成例について説明する。
 図42は、ユーザ端末100、店舗端末200、サーバとして利用可能なハードウェア構成の一例を示す図である。
 図42に示すハードウェア構成について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。CPU301は、入力部306から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばフラッシュメモリ、ハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。
 通信部309は、ユーザ端末100、店舗端末200、サーバ各々において必要な構成が異なる。
 ユーザ端末100や店舗端末200は、近距離無線通信、遠距離通信、双方が実行可能な通信部を有する。
 サーバは、近距離無線通信機能は不要であり、遠距離通信が可能な構成であればよい。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
 ただし、店舗端末200は、このようなリムーバブルメディア311やドライブ310は必須構成ではない。
  [10.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 通信部と、
 データ処理部を有し、
 前記データ処理部は、
 ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力し、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う情報処理装置。
 (2) 前記記憶部には、照合用のユーザ発話として、1つ以上の決済手段を指定するユーザ発話が格納されている(1)に記載の情報処理装置。
 (3) 前記データ処理部は、
 前記店舗端末からの入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致すると判定した場合、
 決済処理に必要となる情報を前記店舗端末に送信する(1)または(2)に記載の情報処理装置。
 (4) 前記データ処理部は、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するとの判定がなされなかった場合、
 前記店舗端末にエラー通知を行う(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記データ処理部は、
 前記店舗端末からユーザの決済処理実行意思を確認する問い合わせを受信した場合、ユーザ意思確認用データを表示部に表示し、
 ユーザによる決済処理実行意思を示す入力がなされた場合、ユーザが決済処理実行意思を有することを示す通知を前記店舗端末に送信する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記データ処理部は、
 ユーザによって実行された決済手段を指定するユーザ発話を、マイクを介して入力し、
 前記マイクを介して入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記データ処理部は、
 表示部に表示された複数の決済手段に対するユーザの決済手段選択情報を入力し、
 記憶部に格納された登録ユーザ発話から、ユーザが選択した決済手段を指定するユーザ発話を選択して、前記店舗端末に送信する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記データ処理部は、
 ユーザ画像をカメラで撮影した店舗端末から、前記ユーザ画像を、前記通信部を介して入力し、
 前記店舗端末から入力したユーザ画像の人物と、記憶部に格納された照合用の登録ユーザ画像の人物とが一致するか否かを判定し、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う(1)~(7)いずれかに記載の情報処理装置。
 (9) マイクと、
 ユーザ端末との通信を行う通信部と、
 データ処理部を有し、
 前記データ処理部は、
 前記マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
 前記ユーザ発話を、前記通信部を介して前記ユーザ端末に送信し、
 前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する情報処理装置。
 (10) 前記ユーザ端末からの前記支払い実行通知は、
 前記ユーザ端末が、前記情報処理装置から受信する前記ユーザ発話が前記ユーザ端末の記憶部に事前登録された登録ユーザ発話に一致するか否かを判定し、一致するとの判定が得られた場合に前記情報処理装置に送信する通知である(9)に記載の情報処理装置。
 (11) 前記データ処理部は、
 前記ユーザ端末から、認証エラー通知を受信した場合、
 ユーザの決済処理実行意思を確認する問い合わせを、前記ユーザ端末に送信する(9)または(10)に記載の情報処理装置。
 (12) 前記データ処理部は、
 前記ユーザ端末から、ユーザの決済処理実行意思があることを示す通知を受信した場合、決済処理を実行する(11)に記載の情報処理装置。
 (13) 前記データ処理部は、
 ユーザ画像をカメラで撮影したユーザ画像を、前記通信部を介して前記ユーザ端末に送信し、
 前記ユーザ端末における前記ユーザ画像に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する(9)~(12)いずれかに記載の情報処理装置。
 (14) ユーザ端末と店舗端末を有する決済処理システムであり、
 前記店舗端末は、
 マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
 前記ユーザ発話を、前記通信部を介して前記ユーザ端末に送信し、
 前記ユーザ端末は、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
 一致するとの判定に応じて、支払い実行通知を前記店舗端末に送信し、
 前記店舗端末は、
 前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する決済処理システム。
 (15) 前記ユーザ端末は、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するとの判定が得られなかった場合、認証エラー通知を前記店舗端末に送信し、
 前記店舗端末は、
 前記ユーザ端末から前記認証エラー通知を受信した場合、
 ユーザの決済処理実行意思を確認する問い合わせを、前記ユーザ端末に送信する(14)に記載の決済処理システム。
 (16) 前記店舗端末は、
 前記ユーザ端末から、ユーザの決済処理実行意思があることを示す通知を受信した場合、決済処理を実行する(15)に記載の決済処理システム。
 (17) 情報処理装置末において実行する情報処理方法であり、
 データ処理部が、
 ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力し、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う情報処理方法。
 (18) 情報処理装置において実行する情報処理方法であり、
 データ処理部が、
 マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
 前記ユーザ発話を、通信部を介してユーザ端末に送信し、
 前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する情報処理方法。
 (19) 情報処理装置において情報処理を実行させるプログラムであり、
 データ処理部に、
 ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力させ、
 前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定させ、
 一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行わせるプログラム。
 (20) 情報処理装置において情報処理を実行させるプログラムであり、
 データ処理部に、
 マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力させ、音声認識処理を実行してユーザの指定する決済手段を判断させるとともに、
 前記ユーザ発話を、通信部を介してユーザ端末に送信させ、
 前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、ユーザの指定する決済手段を確認し、決済を行うユーザのユーザ端末との通信を伴う決済を確実に実行する構成が実現される。
 具体的には、例えば、店舗端末はマイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、ユーザ発話を、通信部を介してユーザ端末に送信する。ユーザ端末は、店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、一致するとの判定に基づいて、支払い実行通知を店舗端末に送信する。店舗端末は、ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する。
 本構成により、ユーザの指定する決済手段を確認し、決済を行うユーザのユーザ端末との通信を伴う決済を確実に実行する構成が実現される。
  10 店舗端末
  20 ユーザ
  21 ユーザ端末
  30 店員
 100 ユーザ端末
 101 制御部(データ処理部)
 102 操作部
 103 表示部
 104 セキュアエレメント
 105 記憶部(メモリ)
 106 クロック
 110 第1通信部
 111 Wi-Fi通信部
 112 その他の通信部
 120 第2通信部
 121 NFC-CLF
 122 ブルートゥース(登録商標)通信部
 123 その他の通信部
 200 店舗端末
 201 マイク
 202 カメラ
 220 支払者立ち入り領域識別マーク
 250 店舗端末本体部
 251 制御部(データ処理部)
 252 通信部
 253 近距離無線通信部
 254 入力部(マイク、カメラ、操作部等)
 255 出力部
 256 記憶部(メモリ)
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア

Claims (20)

  1.  通信部と、
     データ処理部を有し、
     前記データ処理部は、
     ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力し、
     前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
     一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う情報処理装置。
  2.  前記記憶部には、照合用のユーザ発話として、1つ以上の決済手段を指定するユーザ発話が格納されている請求項1に記載の情報処理装置。
  3.  前記データ処理部は、
     前記店舗端末からの入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致すると判定した場合、
     決済処理に必要となる情報を前記店舗端末に送信する請求項1に記載の情報処理装置。
  4.  前記データ処理部は、
     前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するとの判定がなされなかった場合、
     前記店舗端末にエラー通知を行う請求項1に記載の情報処理装置。
  5.  前記データ処理部は、
     前記店舗端末からユーザの決済処理実行意思を確認する問い合わせを受信した場合、ユーザ意思確認用データを表示部に表示し、
     ユーザによる決済処理実行意思を示す入力がなされた場合、ユーザが決済処理実行意思を有することを示す通知を前記店舗端末に送信する請求項1に記載の情報処理装置。
  6.  前記データ処理部は、
     ユーザによって実行された決済手段を指定するユーザ発話を、マイクを介して入力し、
     前記マイクを介して入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
     一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う請求項1に記載の情報処理装置。
  7.  前記データ処理部は、
     表示部に表示された複数の決済手段に対するユーザの決済手段選択情報を入力し、
     記憶部に格納された登録ユーザ発話から、ユーザが選択した決済手段を指定するユーザ発話を選択して、前記店舗端末に送信する請求項1に記載の情報処理装置。
  8.  前記データ処理部は、
     ユーザ画像をカメラで撮影した店舗端末から、前記ユーザ画像を、前記通信部を介して入力し、
     前記店舗端末から入力したユーザ画像の人物と、記憶部に格納された照合用の登録ユーザ画像の人物とが一致するか否かを判定し、
     一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う請求項1に記載の情報処理装置。
  9.  マイクと、
     ユーザ端末との通信を行う通信部と、
     データ処理部を有し、
     前記データ処理部は、
     前記マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
     前記ユーザ発話を、前記通信部を介して前記ユーザ端末に送信し、
     前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する情報処理装置。
  10.  前記ユーザ端末からの前記支払い実行通知は、
     前記ユーザ端末が、前記情報処理装置から受信する前記ユーザ発話が前記ユーザ端末の記憶部に事前登録された登録ユーザ発話に一致するか否かを判定し、一致するとの判定が得られた場合に前記情報処理装置に送信する通知である請求項9に記載の情報処理装置。
  11.  前記データ処理部は、
     前記ユーザ端末から、認証エラー通知を受信した場合、
     ユーザの決済処理実行意思を確認する問い合わせを、前記ユーザ端末に送信する請求項9に記載の情報処理装置。
  12.  前記データ処理部は、
     前記ユーザ端末から、ユーザの決済処理実行意思があることを示す通知を受信した場合、決済処理を実行する請求項11に記載の情報処理装置。
  13.  前記データ処理部は、
     ユーザ画像をカメラで撮影したユーザ画像を、前記通信部を介して前記ユーザ端末に送信し、
     前記ユーザ端末における前記ユーザ画像に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する請求項9に記載の情報処理装置。
  14.  ユーザ端末と店舗端末を有する決済処理システムであり、
     前記店舗端末は、
     マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
     前記ユーザ発話を、前記通信部を介して前記ユーザ端末に送信し、
     前記ユーザ端末は、
     前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
     一致するとの判定に応じて、支払い実行通知を前記店舗端末に送信し、
     前記店舗端末は、
     前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する決済処理システム。
  15.  前記ユーザ端末は、
     前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するとの判定が得られなかった場合、認証エラー通知を前記店舗端末に送信し、
     前記店舗端末は、
     前記ユーザ端末から前記認証エラー通知を受信した場合、
     ユーザの決済処理実行意思を確認する問い合わせを、前記ユーザ端末に送信する請求項14に記載の決済処理システム。
  16.  前記店舗端末は、
     前記ユーザ端末から、ユーザの決済処理実行意思があることを示す通知を受信した場合、決済処理を実行する請求項15に記載の決済処理システム。
  17.  情報処理装置末において実行する情報処理方法であり、
     データ処理部が、
     ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力し、
     前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定し、
     一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行う情報処理方法。
  18.  情報処理装置において実行する情報処理方法であり、
     データ処理部が、
     マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力し、音声認識処理を実行してユーザの指定する決済手段を判断するとともに、
     前記ユーザ発話を、通信部を介してユーザ端末に送信し、
     前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行する情報処理方法。
  19.  情報処理装置において情報処理を実行させるプログラムであり、
     データ処理部に、
     ユーザによって実行された決済手段を指定するユーザ発話を店舗端末から前記通信部を介して入力させ、
     前記店舗端末から入力したユーザ発話が、記憶部に格納された照合用の登録ユーザ発話に一致するか否かを判定させ、
     一致するとの判定に応じて、前記店舗端末との通信を実行して決済処理を行わせるプログラム。
  20.  情報処理装置において情報処理を実行させるプログラムであり、
     データ処理部に、
     マイクを介して、ユーザによって実行された決済手段を指定するユーザ発話を入力させ、音声認識処理を実行してユーザの指定する決済手段を判断させるとともに、
     前記ユーザ発話を、通信部を介してユーザ端末に送信させ、
     前記ユーザ端末における前記ユーザ発話に基づく認証成立時に前記ユーザ端末から受信する支払い実行通知に応じて決済処理を実行させるプログラム。
PCT/JP2020/028146 2019-08-29 2020-07-20 情報処理装置、決済処理システム、および方法、並びにプログラム WO2021039207A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021542633A JPWO2021039207A1 (ja) 2019-08-29 2020-07-20
US17/636,547 US20220335434A1 (en) 2019-08-29 2020-07-20 Information processing device, settlement processing system, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-157148 2019-08-29
JP2019157148 2019-08-29

Publications (1)

Publication Number Publication Date
WO2021039207A1 true WO2021039207A1 (ja) 2021-03-04

Family

ID=74684664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028146 WO2021039207A1 (ja) 2019-08-29 2020-07-20 情報処理装置、決済処理システム、および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20220335434A1 (ja)
JP (1) JPWO2021039207A1 (ja)
WO (1) WO2021039207A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164040A (ja) * 2002-11-08 2004-06-10 Nec Fielding Ltd 決済システム、決済方法、声紋認証サーバ装置及びプログラム
JP2013246580A (ja) * 2012-05-24 2013-12-09 Japan Research Institute Ltd 与信審査システム、与信審査方法、及び店舗端末

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460591A (zh) * 2017-02-22 2018-08-28 阿里巴巴集团控股有限公司 支付处理方法及装置、交易方法和移动设备
CN109146450A (zh) * 2017-06-16 2019-01-04 阿里巴巴集团控股有限公司 支付方法、客户端、电子设备、存储介质和服务器
US11176543B2 (en) * 2018-09-22 2021-11-16 Mastercard International Incorporated Voice currency token based electronic payment transactions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164040A (ja) * 2002-11-08 2004-06-10 Nec Fielding Ltd 決済システム、決済方法、声紋認証サーバ装置及びプログラム
JP2013246580A (ja) * 2012-05-24 2013-12-09 Japan Research Institute Ltd 与信審査システム、与信審査方法、及び店舗端末

Also Published As

Publication number Publication date
US20220335434A1 (en) 2022-10-20
JPWO2021039207A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
CN109215254B (zh) 实体店铺应用系统、用户信息处理方法及装置
CN110998626B (zh) 提供免提数据用于交互
AU2015301819B2 (en) Biometric payment in transit systems
US10810590B2 (en) Payment facilitation method and system
CN106605253A (zh) 安全无卡取款
US20230342451A1 (en) Information processing device
KR101431710B1 (ko) 고객인식 결제 서비스 제공 방법 및 시스템
US20220215393A1 (en) Real-time updating of a security model
KR20150012613A (ko) 일회용카드 발급 시스템 및 그 방법
JP7180869B2 (ja) 自動販売機決済システム、自動販売機、顔認証サーバ、自動販売機決済方法及びプログラム
KR20190142065A (ko) 드라이브스루 결제 서비스 제공 시스템 및 방법
WO2021039207A1 (ja) 情報処理装置、決済処理システム、および方法、並びにプログラム
JP7239149B2 (ja) 自動販売機決済システム、自動販売機、自動販売機決済方法及びプログラム
JP7043368B2 (ja) 承認端末、決済システム及び決済方法
KR102503891B1 (ko) 결제를 위한 인증방법 및 시스템
US20210407218A1 (en) Parking management system, parking management device, and computer-readable recording medium
US11625707B1 (en) Mitigating near-field-communication (NFC) antenna interference
KR20210002144A (ko) 주문 내역 기반 인기 상품 정보 출력 방법
CN109118242B (zh) 一种账户创建方法及其装置、电子设备
US20240202695A1 (en) Payment method and payment system using user terminal or dedicated terminal installed in product transfer means
US12039517B1 (en) Mitigating near-field-communication (NFC) antenna interference
US11755306B2 (en) Integrated entity resource distribution device set-up and delivery platform
KR20210002143A (ko) 매장장치를 이용한 인기 상품 정보 출력 방법
US20230334495A1 (en) Local transaction authorization using biometric information provided by a user device
KR20210000786A (ko) 인기 상품 정보 출력을 위한 주문처리장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858878

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021542633

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858878

Country of ref document: EP

Kind code of ref document: A1