WO2022190164A1 - 決済システム、決済方法、及びコンピュータプログラム - Google Patents

決済システム、決済方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2022190164A1
WO2022190164A1 PCT/JP2021/008957 JP2021008957W WO2022190164A1 WO 2022190164 A1 WO2022190164 A1 WO 2022190164A1 JP 2021008957 W JP2021008957 W JP 2021008957W WO 2022190164 A1 WO2022190164 A1 WO 2022190164A1
Authority
WO
WIPO (PCT)
Prior art keywords
customer
product
payment
camera
image
Prior art date
Application number
PCT/JP2021/008957
Other languages
English (en)
French (fr)
Inventor
俊亘 小勝
亮磨 大網
秀和 田中
ゆり子 山崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/640,602 priority Critical patent/US20230196364A1/en
Priority to PCT/JP2021/008957 priority patent/WO2022190164A1/ja
Priority to JP2023504886A priority patent/JPWO2022190164A1/ja
Priority to EP21930023.3A priority patent/EP4307196A4/en
Priority to CN202180095390.3A priority patent/CN116997918A/zh
Publication of WO2022190164A1 publication Critical patent/WO2022190164A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/42—Confirmation, e.g. check or permission by the legal debtor of payment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures

Definitions

  • This disclosure relates to the technical field of payment systems, payment methods, and computer programs for product payment processing.
  • an authentication device capable of authenticating a target person such as a person
  • an authentication device that performs authentication processing using a plurality of biometric information (that is, composite biometric authentication or multimodal biometric authentication) is known.
  • Japanese Patent Laid-Open No. 2002-100001 discloses a technique of performing authentication processing by fusing outputs from a plurality of biometric authentication devices.
  • Japanese Patent Laid-Open No. 2002-200002 discloses a technique of performing weighted addition of authentication levels of two authentication methods and performing identity verification based on the resulting authentication level.
  • This disclosure has been made, for example, in view of the above cited documents, and aims to provide a payment system, a payment method, and a computer program that can appropriately execute product payment processing.
  • One aspect of the disclosed payment system includes product reading means for reading a product, product information acquisition means for acquiring product information related to the read product, and confirmation information for confirming the customer's intention to pay for the product.
  • confirmation information output means for outputting a confirmation information output means for receiving input from the customer for the confirmation information; face acquisition means for acquiring the customer's face image; iris acquisition means for acquiring the customer's iris image; payment processing means for executing payment processing for the product based on the input from the customer and at least one of the face image and the iris image;
  • One aspect of the settlement method disclosed in this disclosure reads a product, acquires product information related to the read product, outputs confirmation information for confirming the customer's intention to make a payment for the product, and outputs the confirmation information to the confirmation information.
  • receiving an input from a customer obtaining a facial image of the customer, obtaining an iris image of the customer, and producing the product based on the input from the customer and at least one of the facial image and the iris image payment processing.
  • One aspect of the computer program disclosed herein reads a product, acquires product information related to the read product, outputs confirmation information for confirming the customer's intention to pay for the product, and outputs the confirmation information to the confirmation information.
  • receiving an input from a customer obtaining a facial image of the customer, obtaining an iris image of the customer, and producing the product based on the input from the customer and at least one of the facial image and the iris image operate the computer to perform the payment processing of
  • FIG. 1 is a block diagram showing the hardware configuration of a settlement system according to a first embodiment
  • FIG. 1 is a block diagram showing a functional configuration of a settlement system according to a first embodiment
  • FIG. It is a flow chart which shows a flow of operation of a settlement system concerning a 1st embodiment.
  • FIG. 11 is a schematic diagram (part 1) showing the configuration of a camera according to the second embodiment
  • FIG. 11 is a schematic diagram (part 2) showing the configuration of the camera according to the second embodiment
  • 4 is a plan view showing the relationship between the imaging range of the face camera and the imaging range of the iris camera
  • FIG. It is a schematic diagram showing an example of a visible light filter provided in the illumination unit.
  • FIG. 1 is a block diagram showing the hardware configuration of a settlement system according to a first embodiment
  • FIG. 1 is a block diagram showing a functional configuration of a settlement system according to a first embodiment
  • FIG. It is a flow chart which shows a flow of operation of a settlement system
  • FIG. 4 is a schematic diagram showing a configuration in which a motor is fixed to a fixing portion outside the device;
  • FIG. 11 is a conceptual diagram showing driving directions of a camera according to the second embodiment; 9 is a flow chart showing the flow of operations of a camera according to the second embodiment;
  • FIG. 4 is a conceptual diagram showing an example of a method of adjusting an imaging range based on face position;
  • FIG. 11 is a block diagram showing a functional configuration of a settlement system according to a third embodiment;
  • FIG. FIG. 4 is a conceptual diagram showing a display example when reading a product; It is a block diagram showing a functional configuration of a settlement system according to a fourth embodiment.
  • FIG. 12 is a block diagram showing a functional configuration of a settlement system according to a fifth embodiment
  • FIG. FIG. 4 is a conceptual diagram showing a display example of a gaze area
  • FIG. 10 is a conceptual diagram showing a display example of a gaze area considering the position of the camera
  • FIG. 12 is a block diagram showing a functional configuration of a settlement system according to a sixth embodiment
  • FIG. FIG. 4 is a conceptual diagram showing a display example of a frame that gradually converges on a region of interest
  • FIG. 21 is a block diagram showing a functional configuration of a settlement system according to a seventh embodiment
  • FIG. 10 is a conceptual diagram showing a display example in which the color of the gaze area is gradually changed toward the outside of the screen;
  • FIG. 22 is a block diagram showing a functional configuration of a settlement system according to an eighth embodiment;
  • FIG. FIG. 14 is a flow chart showing the flow of operations of a settlement system according to an eighth embodiment;
  • FIG. FIG. 10 is a conceptual diagram showing a display example when final confirmation of payment intention is made;
  • FIG. 10 is a conceptual diagram showing a display example when the distance to the camera is set within the proper range;
  • FIG. 10 is a conceptual diagram showing a display example for notifying a line-of-sight direction when performing iris authentication;
  • FIG. 4 is a conceptual diagram showing a display example for prompting removal of a wearable item;
  • FIG. 10 is a conceptual diagram showing a display example for notifying the user to open their eyes; It is a schematic diagram showing a modification of the camera.
  • FIG. 7 is a conceptual diagram showing a display example of a cancel button;
  • FIG. 11 is a conceptual diagram showing a display example after cancellation;
  • FIG. 11 is a conceptual diagram showing a display example of a number change button; It is a conceptual diagram which shows the example of a display of an amount change button.
  • FIG. 10 is a conceptual diagram showing a display example when there are products that require age confirmation;
  • FIG. 1 is a block diagram showing the hardware configuration of the payment system according to the first embodiment.
  • the payment system 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device 14. Payment system 10 may further comprise an input device 15 , an output device 16 and a camera 20 . Processor 11 , RAM 12 , ROM 13 , storage device 14 , input device 15 , output device 16 and camera 20 are connected via data bus 17 .
  • the processor 11 reads a computer program.
  • processor 11 is configured to read a computer program stored in at least one of RAM 12, ROM 13 and storage device .
  • the processor 11 may read a computer program stored in a computer-readable recording medium using a recording medium reader (not shown).
  • the processor 11 may acquire (that is, read) a computer program from a device (not shown) arranged outside the payment system 10 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15 and the output device 16 by executing the read computer program.
  • the processor 11 implements functional blocks for executing processing related to product settlement.
  • processor 11 one of CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), DSP (Demand-Side Platform), ASIC (Application Specific) integrated circuit is used. may be used, or a plurality of them may be used in parallel.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • DSP Demand-Side Platform
  • ASIC Application Specific integrated circuit
  • the RAM 12 temporarily stores computer programs executed by the processor 11.
  • the RAM 12 temporarily stores data temporarily used by the processor 11 while the processor 11 is executing the computer program.
  • the RAM 12 may be, for example, a D-RAM (Dynamic RAM).
  • the ROM 13 stores computer programs executed by the processor 11 .
  • the ROM 13 may also store other fixed data.
  • the ROM 13 may be, for example, a P-ROM (Programmable ROM).
  • the storage device 14 stores data that the payment system 10 saves over the long term.
  • Storage device 14 may act as a temporary storage device for processor 11 .
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives input instructions from users of the payment system 10 .
  • Input device 15 may include, for example, at least one of a keyboard, mouse, and touch panel.
  • the output device 16 is a device that outputs information about the payment system 10 to the outside.
  • output device 16 may be a display device (eg, display) capable of displaying information about payment system 10 .
  • the camera 20 is a camera capable of imaging the iris and face of a living body.
  • Camera 20 may be configured, for example, as a near-infrared camera.
  • the camera 20 may be arranged at a position such that its imaging range includes the periphery of the living body's face.
  • the camera 20 may be a camera that captures still images, or may be a camera that captures moving images. Also, as will be described later, there may be two cameras instead of one. One is a visible light camera and the other is a near-infrared camera.
  • the camera may be capable of capturing an image of the iris. Alternatively, both may be near-infrared cameras, or both may be visible light cameras.
  • FIG. 2 is a block diagram showing the functional configuration of the payment system according to the first embodiment.
  • the payment system 10 includes a product reading unit 110, a product information acquisition unit 120, a confirmation information output unit 130, an input It comprises a reception unit 140 , a face image acquisition unit 150 , an iris image acquisition unit 160 and a payment processing unit 170 .
  • Product reading unit 110, product information acquisition unit 120, confirmation information output unit 130, input reception unit 140, face image acquisition unit 150, iris image acquisition unit 160, and payment processing unit 170 are each implemented in processor 11 described above, for example. may be Further, the product reading section 110, the facial image acquisition section 150, and the iris image acquisition section 160 may be configured to include the camera 20 described above.
  • the input reception unit 140 may be configured including the input device 15 and the camera 20 described above.
  • the confirmation information output unit 130 may be configured including the output device 16 described above (more specifically, a display device such as a display).
  • the product reading unit 110 is configured to be able to read products.
  • the product reading unit 110 may be configured to read the product by acquiring an image of the product using the camera 20 .
  • the product reading unit 110 may be configured to be able to read products using various readers and scanners (for example, barcode scanners, etc.).
  • the merchandise reading unit 110 may be configured to be able to read merchandise placed at a predetermined position, or may be configured to be able to read merchandise held by a customer.
  • the product information acquisition unit 120 is configured to be able to acquire product information related to products read by the product reading unit 110 .
  • product information include bar code information, price, product name, stock quantity, and the like.
  • the product information acquisition unit 120 may read and acquire product information from a database or the like in which product information is stored in advance.
  • the confirmation information output unit 130 is configured to be capable of outputting confirmation information for confirming the customer's payment intention (that is, whether or not there is an intention to purchase the product) for the product read by the product reading unit 110.
  • the confirmation information output unit 130 may be configured to output image information using, for example, a display device.
  • the confirmation information output unit 130 may be configured to output audio information using a speaker or the like. A specific example of the confirmation information will be described in detail in another embodiment described later.
  • the input reception unit 140 is configured to be able to receive input from the customer with respect to the confirmation information (in other words, information regarding the intention of payment).
  • the input reception unit 140 may receive input from the customer using, for example, a camera.
  • the input reception unit 140 may receive input from the customer using the input device 15, for example. A specific method of receiving input from the customer will be described in detail in other embodiments described later.
  • the facial image acquisition unit 150 is configured to be able to acquire the customer's facial image.
  • a face image is an image including a customer's face, and is typically an image captured so that the entire face is included. Moreover, the face image may be an image including parts other than the customer's face.
  • the face image acquiring section 150 may acquire an image captured by the camera 20 as a face image.
  • the iris image acquisition unit 160 is configured to be able to acquire a customer's iris image.
  • the iris image is an image including the customer's iris, and is typically a high-definition image to the extent that the pattern of the iris can be seen.
  • the iris facial image may be an image including portions other than the customer's iris.
  • the iris image acquisition section 160 may acquire an image captured by the camera 20 as an iris image.
  • camera 20 may include a plurality of cameras that capture each of the face image and iris image described above. A specific example of such a camera 20 will be described in detail in another embodiment described later.
  • the payment processing unit 170 is configured to be able to execute payment processing for products read by the product reading unit 110 . Based on the input from the customer received by the input receiving unit 140 and at least one of the face image obtained by the face image obtaining unit 150 and the iris image obtained by the iris image obtaining unit 160, the payment processing unit 170 Execute payment processing.
  • the settlement processing unit 170 may determine whether or not to execute settlement processing based on the input from the customer received by the input receiving unit 140, for example.
  • the payment processing unit 170 also performs authentication processing (that is, identity verification) based on at least one of the face image acquired by the face image acquisition unit 150 and the iris image acquired by the iris image acquisition unit 160. good too.
  • the database of the payment service may store customer's biometric information (for example, information on the face image, iris image, etc. used in the authentication process) and information on the financial institution in association with each other. In this case, in the settlement process after the authentication process, the settlement amount is withdrawn from the bank account of the customer specified in the authentication process.
  • the customer's biometric information may be credit card information, electronic payment service account information (in this case, withdrawal from the charged balance), mobile phone number, etc. ( In this case, it may be stored in association with the billing that is combined with the usage fee of the mobile phone.
  • a screen for selecting a payment method based on line-of-sight direction estimation is displayed, as described in another embodiment below.
  • the user may be allowed to select a payment method.
  • FIG. 3 is a flow chart showing the operation flow of the payment system according to the first embodiment.
  • the product reading unit 110 first reads the product (step S101). Then, the product information acquisition unit 120 acquires the product information of the product read by the product reading unit 110 (step S102). Note that the processes of steps S101 and S102 described above may be collectively executed for a plurality of products.
  • the confirmation information output unit 130 outputs confirmation information for confirming the intention of payment (step S103). Then, based on the input from the customer, the input reception unit 140 determines whether or not the customer has an intention to make a payment using biometric authentication (step S104). The intention to make a payment determined here may be, for example, to confirm whether or not the products read are correct (for example, whether there are any missing products, or whether unnecessary products have been read, etc.). Note that the input receiving unit 140 may determine that there is an intention to make a payment when there is an input from the customer, and may determine that there is no intention to make a payment when there is no input from the customer.
  • step S104 If it is determined that the customer has no intention of making a payment using biometric authentication (step S104: NO), the series of processes ends. That is, the settlement processing unit 170 determines that the customer does not intend to purchase the product using biometric authentication, and terminates the operation without executing settlement processing. In this case, the customer either cancels the payment or uses a means other than biometric authentication.
  • the facial image acquiring unit 150 acquires the customer's facial image (step S105).
  • the iris image acquisition unit 160 acquires the customer's iris image (step S106).
  • step S107 the payment processing unit 170 executes customer authentication processing based on at least one of the acquired face image and iris image.
  • the authentication processing using the face image and the iris image existing techniques can be appropriately adopted, so detailed description thereof will be omitted here. Further, step S105 and step S106 may be performed at the same time.
  • step S107: NO If the customer authentication process is not successful (step S107: NO), the series of processes ends. That is, the payment processing unit 170 determines that the customer is not the real customer (for example, the customer is impersonated), and terminates the operation without executing the payment processing. Alternatively, it may be possible to confirm with the customer whether or not to perform payment by biometric authentication again. On the other hand, if the customer authentication process is successful (step S107: YES), the payment processing unit 170 executes the product payment process using the product information (step S108).
  • the process of confirming the payment intention (that is, step S104) is executed after reading the product (that is, after step S101), but it may be executed before reading the product. .
  • the process of confirming the payment intention may be executed after the authentication process (that is, after step S107).
  • the process of confirming the payment intention may be executed in a plurality of stages. For example, as in the example described above, after performing the process of confirming the payment intention before the authentication process, the process of confirming the payment intention again may be performed after the authentication process.
  • the contents may be different from each other.
  • confirmation of payment intention before authentication processing confirms whether or not the product read is correct as described above
  • confirmation of payment intention after authentication processing confirms whether the authentication result of biometric authentication is correct. It may be a thing to confirm with the customer himself/herself whether or not.
  • settlement processing may be automatically performed at the same time as identity verification, or the customer may be allowed to select a settlement method after identity verification. For example, the customer may be asked to choose whether to use the payment method associated with the biometric information or another method.
  • the product payment process is performed. executed. In this way, it is possible to avoid execution of inappropriate payment processing. For example, it is possible to prevent the payment processing from being executed even though the customer does not intend to make the payment, or the payment processing from being executed by someone pretending to be the customer.
  • FIG. 4 to 11 A settlement system 10 according to the second embodiment will be described with reference to FIGS. 4 to 11.
  • FIG. The second embodiment describes in detail the camera 20 used in the settlement system 10, and the overall system configuration and operation flow are the same as in the first embodiment (see FIGS. 1 to 3). can be Therefore, in the following description, descriptions of portions that overlap with the already described first embodiment will be omitted as appropriate.
  • FIG. 4 is a schematic diagram (part 1) showing the configuration of the camera according to the second embodiment.
  • FIG. 5 is a schematic diagram (part 2) showing the configuration of the camera according to the second embodiment.
  • FIG. 6 is a plan view showing the relationship between the imaging range of the face camera and the imaging range of the iris camera.
  • FIG. 7 is a schematic diagram showing an example of a visible light filter provided in the illumination section.
  • FIG. 8 is a schematic diagram showing a configuration in which the motor is fixed to a fixed portion outside the device.
  • FIG. 9 is a conceptual diagram showing driving directions of the camera according to the second embodiment.
  • FIG. 4 is a view of the authentication imaging device viewed from the front side (in other words, the imaging target side), and FIG. 5 is a view of the authentication imaging device viewed from the rear side (that is, the side opposite to FIG. 1). It is a diagram.
  • the cameras 20 included in the payment system 10 include an iris camera 210, a face camera 220, an illumination unit 230, a holding unit 250, an air cooling fan 260, and a motor 270 .
  • the face camera 220 is configured as a visible light camera for capturing a face image used for face authentication.
  • the iris camera 210 is configured as a near-infrared camera for capturing an iris image used for iris authentication, and has a narrower imaging range (also referred to as a field of view) compared to the face camera 220 .
  • the face camera 220 and the iris camera 210 are arranged so that their imaging ranges overlap. For example, they are adjusted so that the imaging range of the iris camera 210 is positioned near the center of the imaging range of the face camera 220 (FIG. 6).
  • Face camera 220 and iris camera 210 are integrally configured as camera unit 225 .
  • the face camera 220 and the iris camera 210 are fixed to the holding portion 250 and can be integrally driven by a motor 270 which will be described later.
  • the illumination unit 230 is configured to be able to emit illumination light (that is, near-infrared light) that assists the iris camera 210 in imaging.
  • the illumination section 230 may be provided with a visible light cut filter that transmits illumination light (that is, near-infrared light) and has a low visible light transmittance.
  • the visible light cut filter is provided so as to cover at least a part (preferably the whole) of the light source of the illumination section 230 (see FIG. 7). In this case, it is possible to reduce the amount of visible light that escapes from the lighting section 230 to the outside of the camera 20 (in other words, to the imaging subject side). As a result, it is possible to make it difficult to recognize the existence of the lighting section 230 from the outside of the camera 20 .
  • the illumination unit 230 is fixed to the holding unit 250 together with the face camera 220 and the iris camera 210, and can be driven integrally with the face camera 220 and the iris camera 210 by a motor 270, which will be described later
  • the air cooling fan 260 is a fan that blows air to cool the camera 20 .
  • Air cooling fan 260 may or may not be fixed to holding portion 250 .
  • air cooling fan 260 may be driven integrally with face camera 220, iris camera 210, and lighting unit 230, or may be configured not to be driven integrally (in this case, air cooling
  • the fan 260 may be fixed to a fixing member other than the holding portion 250 (for example, a member outside the device). Note that the cooling fan 260 may be omitted if cooling is not required.
  • the motor 270 is connected to the camera unit 225 (in other words, the facial camera 220 and the iris camera 210), and rotates the facial camera 220, the iris camera 210, and the lighting unit 230 in the vertical direction (see the arrows in the figure). ) can be integrally driven. Specifically, when the motor 270 is driven, the facial camera 220 and the iris camera 210 are coaxially rotated, and the imaging ranges of the facial camera 220 and the iris camera 210 are vertically changed by the same angle. It should be noted that the driving direction of the motors here is merely an example, and the face camera 220, the iris camera 210, and the illumination unit 230 may be driven in directions other than the vertical direction. Also, motor 270 may have multiple drive shafts to achieve more complex movements.
  • the motor 270 may or may not be fixed to the holding portion 250. If the motor 270 is not fixed to the holding part 250, the motor 270 itself does not move even if the motor 270 is driven, and the face camera 220, the iris camera 210, and the illumination part 230 fixed to the holding part 250 move. In this case, the motor 270 may be fixed to the housing 280 or the like, for example. On the other hand, when the motor 270 is fixed to the holding portion 250, the motor 270 itself moves together with the face camera 220, the iris camera 210, and the illumination portion 230 fixed to the holding portion 250 (in this case, the motor The drive shaft only needs to be connected to the outside of the device). In this case, the drive shaft of the motor 270 may be fixed, for example, to a fixing portion 275 outside the device (see FIG. 8).
  • the face camera 220, the iris camera 210, the illumination section 230, the holding section 250, the cooling fan 260, and the motor 270 are arranged inside a cylindrical housing 280.
  • the drive by the motor 270 is a rotational movement about the central axis of the housing 280 (that is, the cylindrical central axis).
  • the face camera 220 and the iris camera 210 can be driven smoothly inside the housing 280 .
  • the housing 280 itself does not move.
  • This configuration is realized by, for example, a tilt mechanism. In this way, it is possible to make it difficult for the person to be imaged to recognize the movement inside the housing 280 .
  • At least part of the housing 280 (specifically, the part covering the face camera 220 and the iris camera 210) is made of a material that has a high transmittance to light from the outside and a low transmittance to light from the inside.
  • the housing 280 may be configured as, for example, a half mirror or a smoked mirror.
  • at least a part of the housing 280 functions as a cover portion that adjusts the transmittance, so that the movement of the face camera 220 and the iris camera 210 is difficult to recognize from the outside without degrading the image quality of the captured image. can do.
  • the drive of the motor 270 is controlled by the drive control section 290.
  • the drive control unit 290 calculates the drive amount of the motor 270 (in other words, the amount of movement of the imaging ranges of the face camera 220 and the iris camera 210) and controls the drive of the motor 270.
  • FIG. A specific control method for motor 270 by drive control unit 290 will be described in detail later.
  • the drive control unit 290 may be provided outside the housing 280 or may be provided inside the housing 280 .
  • FIG. 10 is a flow chart showing the operation flow of the camera according to the second embodiment.
  • FIG. 11 is a conceptual diagram showing an example of an imaging range adjustment method based on the face position.
  • the face camera 220 first detects whether or not there is a customer to be imaged (step S201).
  • the presence of the customer may be detected, for example, by a sensor (not shown) or the like, or may be detected by the face camera 220 itself. Alternatively, the presence of the customer may be detected when the customer operates the device. Note that if the customer is not detected (step S201: NO), subsequent processing is omitted, and the series of operations ends. In this case, the process of step S201 may be executed again after a predetermined period of time has elapsed.
  • the face camera 220 captures the customer's facial image (step S202).
  • the position of the customer's face changes depending on the customer's height, standing position, etc.
  • the imaging range of the face camera 220 is set relatively wide, the customer's face image can be captured without adjusting the imaging range. can do.
  • the customer may be guided to the imaging range using a display unit or the like (not shown).
  • the drive control unit 290 can be used as an iris camera. After changing the imaging range of 210, the face camera 220 may capture the face image again.
  • the drive control unit 290 acquires the facial image from the facial camera 220 and detects the customer's facial position (also called facial area) from the facial image (step S203). That is, it detects where the customer's face is located in the imaging range of the face camera 220 . It should be noted that existing techniques can be appropriately adopted for a specific detection method of the face position, so detailed description thereof will be omitted here.
  • the drive control unit 290 estimates the customer's iris position (also called eye region) based on the detected customer's face position (step S204). This estimation can be realized, for example, by pre-storing the relationship between the customer's face position and iris position. For example, the drive control unit 290 estimates that an eye region exists near the center of the detected face region (see FIG. 11a). Alternatively, the eyes may be detected directly from the image based on the position of the face.
  • the drive control unit 290 calculates the driving amount of the motor 270 so that the customer's iris is within the imaging range of the iris camera 210 (step S205). In other words, it calculates how much the imaging range of the iris camera 210 needs to be moved so that the customer's iris falls within the imaging range of the iris camera 210 .
  • the drive control unit 290 controls the drive of the motor 270 based on the calculated drive amount of the motor 270 (step S206).
  • the imaging range of the iris camera 210 is changed, and the iris camera 210 can reliably capture the customer's iris image. More specifically, the estimated eye region falls within the imaging range of the iris camera 210 (see FIG. 11b).
  • the iris camera 210 takes an iris image of the customer (step S207). Since the lighting unit 230 is also driven together with the iris camera 210 (that is, the position irradiated with the lighting is also moved according to the imaging range of the iris camera 210), an iris image with better quality can be captured. .
  • the face camera 220 may capture the face image again after the driving control unit 290 changes the imaging range of the iris camera 210 . Since the iris camera 210 is driven integrally with the face camera 220, if the imaging range of the iris camera 210 is changed, the imaging range of the face camera 220 is also changed to a more appropriate position. Therefore, by capturing the face image again at this timing, the customer's face image can be captured more appropriately. In this way, for example, even if the face image captured in step S202 is an image that cannot be used for face authentication (for example, an image in which only a part of the face is captured), the face camera 220 can capture the image after adjustment. Face authentication can be reliably executed using a face image.
  • the face camera 220 that captures face images and the iris camera 210 that captures iris images are integrally driven. In this way, it is possible to appropriately capture (acquire) the face image and iris image of the customer using the payment system 10 .
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS. 12 and 13.
  • FIG. 12 A settlement system 10 according to the third embodiment will be described with reference to FIGS
  • FIG. 12 is a block diagram showing the functional configuration of the payment system according to the third embodiment.
  • the same reference numerals are given to the same elements as those shown in FIG. 2, and the illustration of the elements shown in FIG. 2 that are less relevant to the present embodiment is omitted. is doing.
  • the product reading unit 110 and the face image acquisition unit 150 are configured to be able to acquire the image captured by the face camera 220. That is, each of the product reading unit 110 and the facial image acquisition unit 150 is configured to be able to acquire an image from one common camera.
  • the product reading unit 110 is configured to be able to read the product from the image captured by the face camera 220.
  • the product reading unit 110 performs object recognition on an image containing a product captured by a face camera (hereinafter referred to as a “product image” as appropriate), and recognizes that an object detected from the product image is a product.
  • a product image an image containing a product captured by a face camera
  • the existing technique can be suitably adopted about the specific method of object recognition, detailed description shall be abbreviate
  • the product image captured by the face camera 220 does not have to include the customer's face. That is, the face camera 220 in this case may function as a camera that preferentially captures an image of the product that the customer is about to purchase rather than the customer's face.
  • the face camera 220 is configured to be drivable by the drive control section 290 in order to reliably capture an image of the product. Specifically, the face camera 220 is configured to be able to move its imaging range so that the product fits within the imaging range.
  • the drive control unit 290 may drive the face camera 220 vertically as described in the second embodiment (for example, see FIG. 9) to capture an image of the product.
  • FIG. 13 is a conceptual diagram showing a display example when reading a product. Note that FIG. 13 shows a display example when the face camera 220 is driven in the vertical direction.
  • the product image captured by the face camera 220 is displayed to the customer so that the tilt angle of the face camera 220 can be understood.
  • the image captured by the face camera 220 is displayed in the area corresponding to the tilt position on the display unit.
  • the “captured image display area” in the drawing is an area where the product image captured by the face camera 220 is displayed on the display unit.
  • the “drivable area” is an area indicating an area in which the face camera 220 can be driven (in other words, an area in which the imaging range of the face camera 220 can be moved).
  • the "information display area” is an area in which other various types of information can be displayed.
  • the captured image display area is displayed in the middle of the drivable area. That is, the image is displayed so that there are drivable areas above and below the captured image display area.
  • the captured image display area is the maximum of the drivable area. displayed at the top. That is, the image is displayed so that the drivable area exists only below the captured image display area.
  • the customer can intuitively know the shooting status of the product image, and for example, it is possible to prompt the customer to move the position of the product. For example, even though the tilt position of the face camera 220 is at the upper limit, if the product does not fit within the imaging range, the position of the product may need to be moved slightly downward in order to properly capture the product image. desired. In such a situation, if the above-described display is given to the customer, it is expected that the customer will voluntarily move the product downward. In addition to the above display examples, for example, a message such as "Please move the product to the lower side" may be displayed.
  • the product is read using an image captured by the face camera 220.
  • the camera 220 is driven so as to image the product. In this way, if the face camera 220 is used for reading products, it is not necessary to separately provide a device for reading products. Also, by driving the face camera 220 when capturing a product image, it is possible to reliably capture an image that includes the product (even if the imaging range is normally set assuming the position of the face). is.
  • FIG. 14 A settlement system 10 according to the fourth embodiment will be described with reference to FIGS. 14 and 15.
  • FIG. 14 It should be noted that the fourth embodiment may differ from the first to third embodiments described above only in a part of the configuration and operation, and the other parts may be the same as those of the first to third embodiments. Therefore, hereinafter, descriptions of portions that overlap with the already described embodiments will be omitted as appropriate.
  • FIG. 14 is a block diagram showing the functional configuration of a payment system according to the fourth embodiment.
  • symbol is attached
  • the payment system 10 includes processing blocks for realizing the functions thereof, including a product reading unit 110, a product information acquisition unit 120, a confirmation information output unit 130, an input It comprises a reception unit 140 , a face image acquisition unit 150 , an iris image acquisition unit 160 and a payment processing unit 170 .
  • the input reception unit 140 according to the fourth embodiment includes a line-of-sight direction estimation unit 141 .
  • the line-of-sight direction estimating section 141 is configured to be able to estimate the line-of-sight direction of the customer using at least one of the facial image acquired by the face image and the iris image acquired by the iris image acquiring section 160 .
  • the line-of-sight direction estimator 141 estimates the line-of-sight direction, it is desirable to adjust the position of the camera so that the center of the coordinate system of the camera 20 coincides with the line-of-sight position (center of both eyes) of the customer.
  • the method of estimating the line-of-sight direction from the face image and the iris image an existing technique can be appropriately adopted, so detailed description thereof will be omitted here.
  • the input reception unit 140 receives information about the customer's line-of-sight direction estimated by the line-of-sight direction estimation unit 141 as an input from the customer indicating the payment intention.
  • the input reception unit 140 receives information that the line-of-sight direction is in a predetermined direction (for example, the right direction with respect to the front of the customer) as information that the customer has an intention to make a payment, and receives information in a direction other than the predetermined direction (for example, The information that the customer has no intention of making a payment may be accepted as the information that the customer has no intention of making a payment.
  • a predetermined direction for example, the right direction with respect to the front of the customer
  • the information that the customer has no intention of making a payment may be accepted as the information that the customer has no intention of making a payment.
  • the input reception unit 140 may receive information regarding the line-of-sight direction as an input from the customer when the line-of-sight direction of the customer is maintained for a predetermined time. For example, if the line-of-sight direction of the customer is maintained in the same direction for a predetermined period of time (for example, several seconds), information on the line-of-sight direction may be accepted as an input from the customer.
  • the predetermined time may be a preset fixed value, or may be a value that varies depending on the situation.
  • a predetermined range may be provided in the predetermined direction.
  • the range of 90 degrees to the right from the customer's front direction may be defined as the "right direction”.
  • the numerical value is not limited to this, and the direction may be left, up, or down.
  • the state may be such that "the line-of-sight direction is maintained in the same direction".
  • the degree of difficulty in estimating the line-of-sight direction changes depending on the tilt angle of the camera. For example, the more the tilt angle of the camera 20 deviates from the horizontal, the more likely it is that the camera 20 does not face the customer's face, making it difficult to estimate the line-of-sight direction. Also, when the camera 20 looks down from above, it is difficult to estimate the line-of-sight direction because the eyes tend to look down. In such a case, the input reception unit 140 may change the above-described predetermined time according to the difficulty of determining the line-of-sight direction (that is, the tilt angle of the camera 20).
  • the input reception unit changes the threshold for determining the line-of-sight direction of the customer (for example, the threshold for the angle of the line-of-sight direction) according to the difficulty of determining the line-of-sight direction (that is, the tilt angle of the camera 20).
  • the larger the tilt angle the larger the threshold for determining the line-of-sight direction may be changed (that is, unless the line-of-sight direction is swung greatly, it is not recognized that the user is facing that direction).
  • the method or algorithm used for line-of-sight estimation may be changed depending on the tilt angle. For example, in the case of a deep learning-based estimation method, a line-of-sight estimation engine trained for each tilt angle may be constructed and used by switching according to the tilt angle.
  • the line-of-sight direction estimation unit 141 cannot normally estimate the line-of-sight direction (for example, if the line-of-sight angle does not exceed the threshold), the customer may be guided to swing the line of sight more. For example, when a line-of-sight position marker (a pointer indicating where the user is looking) is displayed on the display device, the sensitivity to changes in line-of-sight angle may be reduced so that the marker does not move unless the line of sight is greatly moved. Alternatively, a voice, a message, or the like may be output so as to swing the line of sight.
  • a line-of-sight position marker a pointer indicating where the user is looking
  • FIG. 15 is a flow chart showing the operation flow of the payment system according to the fourth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the product reading unit 110 first reads the product (step S101). Then, the product information acquisition unit 120 acquires the product information of the product read by the product reading unit 110 (step S102).
  • the confirmation information output unit 130 outputs confirmation information for confirming the intention of payment (step S103).
  • Confirmation of payment intention includes, for example, confirmation of whether the product list (for example, at least one of the amount, product name, quantity, etc.) is correct.
  • the face image acquisition unit 150 and the iris image acquisition unit 160 acquires a face image and an iris image for estimating the line-of-sight direction of the customer (step S401).
  • the line-of-sight direction estimation unit 141 estimates the line-of-sight direction of the customer based on at least one of the acquired face image and iris image (step S402).
  • the input reception unit 140 determines whether the customer intends to make a payment by biometric authentication based on the customer's gaze direction (step S104). If it is determined that the customer does not intend to make payment by biometric authentication (step S104: NO), the series of processes ends. On the other hand, if it is determined that the customer intends to make a payment by biometric authentication (step S104: YES), the facial image acquiring unit 150 acquires the customer's facial image (step S105). Also, the iris image acquisition unit 160 acquires the customer's iris image (step S106). It should be noted that if the acquired face image and iris image are used when estimating the line-of-sight direction, the processing of steps S105 and S106 described above may be omitted.
  • the payment processing unit 170 executes customer authentication processing based on at least one of the acquired face image and iris image (step S107). If the customer authentication process is not successful (step S107: NO), the series of processes ends. On the other hand, if the customer authentication process is successful (step S107: YES), the payment processing unit 170 executes the product payment process using the product information (step S108).
  • step S104 information may be output for the customer to select whether to make a payment using biometric authentication or a payment method other than biometric authentication.
  • the guidance “Would you like to make payment by biometric authentication?” and “Yes” and “No” buttons may be displayed. If the customer selects "yes", the process proceeds to S105. If “No” is selected here, a screen may be displayed to select another payment method (for example, cash, electronic money, credit card, etc.).
  • a selection screen including payment by biometric authentication and payment other than biometric authentication at least one button of "credit card” may be displayed.
  • the confirmation information for confirming the intention of payment may include information for allowing the customer to select whether the payment is to be made by biometric authentication or by a method other than biometric authentication.
  • step S107 YES and step S108
  • information indicating whether to execute the settlement process may be output.
  • a screen for asking the customer whether or not to execute the settlement process is displayed.
  • This screen display may include at least one of the payment amount, the customer's personal ID, and the customer's name, or may display only information for confirming whether or not to execute payment processing.
  • Information for confirming whether or not to execute payment processing is, for example, a confirmation button and a return button. screen).
  • a button for canceling the payment process may be displayed.
  • the customer's payment intention is determined based on the customer's line-of-sight direction. In this way, the customer's intention to pay can be determined without touching and operating the device. Therefore, even if the customer's hands are full with goods, for example, it is possible to appropriately determine the customer's intention to make a payment.
  • FIG. 16 to 18 A settlement system 10 according to the fifth embodiment will be described with reference to FIGS. 16 to 18.
  • FIG. The fifth embodiment may differ from the above-described fourth embodiment only in a part of configuration and operation, and the other parts may be the same as those of the first to fourth embodiments. Therefore, hereinafter, descriptions of portions that overlap with the already described embodiments will be omitted as appropriate.
  • FIG. 16 is a block diagram showing the functional configuration of the payment system according to the fifth embodiment.
  • symbol is attached
  • the payment system 10 includes a product reading unit 110, a product information acquisition unit 120, a confirmation information output unit 130, an input It comprises a reception unit 140 , a face image acquisition unit 150 , an iris image acquisition unit 160 and a payment processing unit 170 .
  • An input reception unit 140 according to the fifth embodiment includes a line-of-sight direction estimation unit 141 as in the fourth embodiment.
  • the confirmation information output section 130 includes a gaze area display section 131 .
  • the gaze area display unit 131 is configured to be able to display the gaze area as confirmation information for confirming the customer's intention to make a payment.
  • the gaze area display unit 131 may display the gaze area on, for example, a display, which is the output device 16 (see FIG. 1).
  • the fixation area is an area displayed to encourage the customer to move in the line-of-sight direction.
  • the attention area may be displayed as at least one area corresponding to the payment intention, but a plurality of attention areas may be displayed.
  • only one gaze area corresponding to the line-of-sight direction when there is a payment intention may be displayed, or the first gaze area corresponding to the line-of-sight direction when there is a payment intention and the first gaze area corresponding to the line-of-sight direction when there is no payment intention may be displayed.
  • a second gaze region corresponding to the line-of-sight direction may also be displayed.
  • FIG. 17 is a conceptual diagram showing a display example of a gaze area.
  • FIG. 18 is a conceptual diagram showing a display example of the gaze area considering the position of the camera.
  • the gaze areas may be displayed as the left half and right half areas of the display.
  • the left half of the display is an area corresponding to the line of sight when the customer has the intention to make a payment. An input that there is is accepted.
  • the right half of the display is an area corresponding to the line of sight when the customer does not intend to make a payment. will be accepted.
  • the gaze area may be displayed on a portion of the display. Specifically, it may be displayed as an area like a button.
  • the display position of the gaze area may be determined by the position of the camera 20. Specifically, it may be displayed on the side closer to the camera 20 on the display.
  • the camera 20 is arranged below the display. In such cases, the gaze area may be located on the underside of the display.
  • the camera 20 is arranged above the display. In such cases, the gaze area may be located on the top side of the display.
  • a gaze area is displayed for confirming the customer's payment intention.
  • the customer can be urged to look at the attention area, so it is possible to appropriately determine the customer's payment intention from the customer's line-of-sight direction.
  • FIG. 19 A settlement system 10 according to the sixth embodiment will be described with reference to FIGS. 19 and 20.
  • FIG. The sixth embodiment may differ from the above-described fifth embodiment only in a part of configuration and operation, and the other parts may be the same as those of the first to fifth embodiments. Therefore, hereinafter, descriptions of portions that overlap with the already described embodiments will be omitted as appropriate.
  • FIG. 19 is a block diagram showing the functional configuration of a payment system according to the sixth embodiment.
  • symbol is attached
  • the payment system 10 includes a product reading unit 110, a product information acquisition unit 120, a confirmation information output unit 130, an input It comprises a reception unit 140 , a face image acquisition unit 150 , an iris image acquisition unit 160 and a payment processing unit 170 .
  • An input receiving unit 140 according to the sixth embodiment includes a line-of-sight direction estimating unit 141, as in the fourth and fifth embodiments.
  • the confirmation information output section 130 further includes a frame display section 132 in addition to the gaze area display section 131 described in the fifth embodiment.
  • the frame display unit 132 is configured to be able to display a frame that gradually converges from the outside of the gaze area toward the outline of the gaze area according to the time that the customer gazes at the gaze area. For example, the frame display unit 132 may start displaying the frame at the timing when it can be determined that the line-of-sight direction of the customer is directed to one gaze area. The frame display unit 132 may stop displaying the frame when the size of the frame becomes the same as (overlaps with) the outline of the attention area, or when the size of the frame becomes the same as the outline of the attention area ( (overlapping) frames may continue to be displayed as they are.
  • the speed at which the frame converges may be a preset value, or may be a value that changes according to the customer's line of sight. For example, if the customer's line of sight is moving in the direction of the attention area, the frame will converge relatively quickly. can be Also, the speed at which the frame is moved may not be constant, and may be changed on the way. For example, the frame may be moved quickly at the beginning of convergence, and the moving speed may be decreased as the focus area is approached. As a result, it is possible to make the customer quickly recognize the gaze area, and to effectively impress the customer that it is necessary to continue to gaze at the gaze area stably for a while.
  • FIG. 20 is a conceptual diagram showing a display example of a frame that gradually converges on the gaze area.
  • information related to the product and payment is displayed near the center of the display. Also, at the lower left of the display, there is displayed a "cancel" button that is to be watched when there is no payment intention. At the bottom right of the display, a button labeled "Payment” is displayed, which the user will pay attention to when he/she intends to make a payment. That is, in this case, the button becomes the gaze area. In such a situation, when the customer gazes at the payment button, a frame larger than the payment button is first displayed outside the payment button. Then, as the customer continues to gaze at the payment button, the frames gradually converge toward the payment button.
  • the frame shrinks toward the payment button. Then, it stops while overlapping the outline of the payment button, and continues to display the frame for a certain period of time. It should be noted that if the customer changes the line-of-sight direction on the way, the display of the frame may be stopped. Also, when the customer's line of sight moves to another attention area, a new frame may be displayed outside the other attention area. For example, if a customer who has been gazing at the payment button begins to gaze at the cancel button halfway through, the frame displayed on the payment button side may disappear and a new frame may be displayed on the cancel button side. .
  • the frame may gradually increase in size toward the original size. Furthermore, in this case, when the line-of-sight direction returns to the payment button again, the frame may stop increasing at the timing when the line-of-sight direction returns, and the frame may gradually become smaller toward the payment button again. Also, the color of the frame may be changed depending on whether the pay button is gazed at or the stop button is gazed at. For example, when the user gazes at the payment button, the frame may be displayed in green, and when the user gazes at the cancel button, the frame may be displayed in orange.
  • the display of this embodiment may be displayed when confirming the payment intention in S104 of FIG. May be displayed when outputting.
  • a frame that gradually converges on the attention area is provided. If a frame is displayed on the side of the gazed area, the customer himself/herself can know how the line-of-sight direction is recognized. In addition, as the frame gradually converges toward the outline of the attention area, the customer's line of sight is directed more towards the attention area. For example, even if the line-of-sight direction is slightly swung to the gaze area side at first, the frame gradually converges, so that the line-of-sight direction can be induced to swing largely to the gaze area side. Therefore, it becomes possible to determine the line-of-sight direction of the customer more appropriately.
  • FIG. 21 and 22 A settlement system 10 according to the seventh embodiment will be described with reference to FIGS. 21 and 22.
  • FIG. The seventh embodiment may differ from the above-described fifth and sixth embodiments only in a part of configuration and operation, and the other parts may be the same as those of the first to sixth embodiments. Therefore, hereinafter, descriptions of portions that overlap with the already described embodiments will be omitted as appropriate.
  • FIG. 21 is a block diagram showing the functional configuration of a payment system according to the seventh embodiment.
  • symbol is attached
  • the settlement system 10 includes processing blocks for realizing the functions thereof, including a product reading unit 110, a product information acquisition unit 120, a confirmation information output unit 130, an input It comprises a reception unit 140 , a face image acquisition unit 150 , an iris image acquisition unit 160 and a payment processing unit 170 .
  • An input receiving unit 140 according to the seventh embodiment includes a line-of-sight direction estimating unit 141 as in the fourth to sixth embodiments.
  • the confirmation information output unit 130 further includes an area color changing unit 133 in addition to the gaze area display unit 131 described in the fifth embodiment.
  • the area color changing unit 133 can gradually change the color of the gaze area toward the outside of the screen (in other words, the side opposite to other gaze areas) according to the time the customer gazes at the gaze area. is configured to In addition, it is preferable that the color after the change is a color that the customer can easily recognize that the color has changed.
  • the color after change may be, for example, a conspicuous color such as red or yellow, or may be a complementary color of the color before change.
  • the area color changing unit 133 may start changing the color of the gaze area at the timing when it can be determined that the line of sight of the customer is directed to one gaze area, for example.
  • the speed at which the color of the gaze area is changed may be a preset value, or may be a value that changes according to the direction of the customer's line of sight. For example, if the customer is moving their gaze toward the gaze area, the color will change relatively quickly, and if the customer is moving their gaze toward the gaze area, the color will change relatively slowly.
  • the speed at which the color is changed may not be constant, and may be changed in the middle. For example, the color changing speed may be increased at first, and the changing speed may be decreased gradually. As a result, it is possible to make the customer quickly recognize the gaze area, and to effectively impress the customer that it is necessary to continue to gaze at the gaze area stably for a while.
  • FIG. 22 is a conceptual diagram showing a display example in which the color of the gaze area is gradually changed toward the outside of the screen.
  • information related to the product and payment is displayed near the center of the display. Also, at the lower left of the display, there is displayed a "cancel" button that is to be watched when there is no payment intention. At the bottom right of the display, a button labeled "Payment” is displayed, which the user will pay attention to when he/she intends to make a payment. In this situation, when the customer gazes at the payment button, the color of the gaze area is gradually changed from the screen inner portion of the payment button (that is, the left end portion of the payment button).
  • the color of the gaze area changes toward the outside of the screen, and finally the color of all the payment buttons changes.
  • the meter is displayed to accumulate. Note that if the customer changes the direction of the line of sight on the way, the color change may be stopped. When the color change is aborted, the color of the gaze area may return to the color before the change. In addition, when the customer's line of sight direction shifts to another gaze area, the color of the other gaze area may be changed. For example, if a customer who continues to gaze at the payment button starts to gaze at the stop button halfway through, the payment button may return to its original color, and the color of the stop button may be changed again.
  • the color of the gaze area may be changed toward the inside of the screen. Furthermore, in this case, when the line-of-sight direction returns to the payment button again, the inward color change may be stopped at the timing when the line-of-sight direction returns, and the outward color may be changed again. Also, the color to be changed may be changed depending on whether the pay button is gazed at or the cancel button is gazed at. For example, the color may be changed to green when the user gazes at the payment button, and the color may be changed to orange when the user gazes at the cancel button.
  • the color change of the gaze area described above may be executed in combination with the frame display (see FIG. 20) described in the sixth embodiment. For example, after the frame displayed by the frame display unit 132 converges on the focused area, the color change by the area color change unit 133 may be started.
  • the display of this embodiment may be displayed when confirming the payment intention in S104 of FIG. May be displayed when outputting.
  • the color of the gaze area gradually changes toward the outside of the screen in the payment system 10 according to the sixth embodiment.
  • the customer's line of sight is directed to the outside of the screen (in other words, to the side opposite to other gaze areas).
  • the gradual change in the color of the gaze area can guide the user to swing the line-of-sight direction greatly toward the gaze area. Therefore, it becomes possible to determine the line-of-sight direction of the customer more appropriately.
  • FIG. 8 A settlement system 10 according to the eighth embodiment will be described with reference to FIGS. 23 and 24.
  • FIG. The settlement system 10 according to the eighth embodiment differs from the above-described first to seventh embodiments only in a part of the configuration and operation, and other parts are the same as those in the first to seventh embodiments. can be Therefore, hereinafter, descriptions of portions that overlap with the already described embodiments will be omitted as appropriate.
  • FIG. 23 is a block diagram showing the functional configuration of a payment system according to the eighth embodiment.
  • symbol is attached
  • the payment system 10 includes processing blocks for realizing the functions thereof, including a product reading unit 110, a product information acquisition unit 120, a confirmation information output unit 130, an input It comprises a reception unit 140 , a face image acquisition unit 150 , an iris image acquisition unit 160 , a payment processing unit 170 and a biometric determination unit 180 .
  • the payment system 10 according to the eighth embodiment further includes a biometric determining section 180 in addition to the configuration of the first embodiment (see FIG. 2).
  • the living body determination unit 180 may be implemented, for example, in the processor 11 (see FIG. 1) described above.
  • the biometric determination unit 180 is configured to be able to determine the customer's biometric-likeness based on the movement of the customer's line of sight estimated from the iris image acquired by the iris image acquisition unit 160 .
  • the “living body-likeness” is the degree of possibility that the customer is a living body.
  • the biometric determining unit 180 may determine the bio-likeness based on whether or not the movement of the customer's line of sight is similar to that of a living body (in other words, a movement that cannot be reproduced by spoofing). Also, the biometric determination unit 180 may perform biometric determination using other information (for example, information obtained from the customer's face image, etc.) in addition to the movement of the customer's line of sight.
  • the determination result of the biometric determination unit 180 is configured to be output to the payment processing unit 170 .
  • the payment processing unit 170 is configured to change the mode of authentication processing based on the determination result (that is, the customer's biometric likelihood) in the biometric determination unit 180 . Specifically, the payment processing unit 170 is configured to change the mode of authentication processing depending on whether or not the biometric-likeness is higher than a predetermined threshold.
  • the "predetermined threshold value” here is a threshold value for determining whether or not the customer is a living body (for example, not impersonating) as to whether or not it is highly likely to be a living body. is obtained and set in advance. Changes in the authentication process according to biometric-likeness will be described in detail below.
  • FIG. 24 is a flow chart showing the operation flow of the payment system according to the eighth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the product reading unit 110 first reads the product (step S101). Then, the product information acquisition unit 120 acquires the product information of the product read by the product reading unit 110 (step S102).
  • the confirmation information output unit 130 outputs confirmation information for confirming the intention of payment (step S103). Then, based on the input from the customer, the input reception unit 140 determines whether or not the customer has an intention to make a payment using biometric authentication (step S104).
  • step S104 If it is determined that the customer has no intention of making a payment using biometric authentication (step S104: NO), the series of processes ends. On the other hand, when it is determined that the customer has an intention to settle the account using biometric authentication (step S104: YES), the facial image acquiring unit 150 acquires the customer's facial image (step S105). Also, the iris image acquisition unit 160 acquires the customer's iris image (step S106).
  • the living body determination unit 180 determines whether the customer is living body based on the movement of the line of sight estimated from the iris image (step S801). Then, if the customer's bio-likeness is higher than the predetermined threshold (step S801: YES), the payment processing unit 170 performs authentication based on the face image acquired by the face image acquiring unit 150 (step S802). On the other hand, if the customer's bio-likeness is lower than the predetermined threshold (step S801: NO), the payment processing unit 170 retrieves the face image acquired by the face image acquisition unit 150 and the iris image acquired by the iris image acquisition unit 160. Authentication is performed based on (step S803).
  • step S107 NO
  • the series of processing ends.
  • step S107: YES the payment processing unit 170 executes product payment processing using the product information (step S108). Note that although the case of using face authentication in step S802 has been described in this figure, iris authentication may be performed instead of face authentication.
  • biometric determination is performed based on the line-of-sight direction of the customer, and different authentication processes are executed according to the determination result.
  • biometric-likeness is high, it is possible to simplify the authentication process and reduce the processing load while executing the payment process.
  • a more stringent authentication process can be performed to prevent fraudulent payment processing due to impersonation or the like.
  • FIG. 25 is a conceptual diagram showing an example of display for final confirmation of payment intention.
  • FIG. 26 is a conceptual diagram showing a display example when the distance between the customer and the camera is set to the appropriate range.
  • FIG. 27 is a conceptual diagram showing a display example for notifying the line-of-sight direction when performing iris authentication.
  • FIG. 28 is a conceptual diagram showing a display example for prompting removal of the wearable item.
  • FIG. 29 is a conceptual diagram showing a display example for notifying to open your eyes.
  • the payment system 10 displays the attention area to confirm the customer's payment intention, and then confirms the payment intention again before actually executing the payment process.
  • the attention area when confirming the final intention of payment, the attention area may be displayed in the same manner as when confirming the intention of payment for the first time.
  • the attention area when confirming the final payment intention may be displayed so that the position of each area is reversed compared to when the payment intention is first confirmed.
  • a "Yes (i.e., willing to pay)" button is displayed on the left side
  • a "No (i.e., no intention to pay)" button is displayed on the right side.
  • confirmation may be performed by a different method (that is, other than the line-of-sight direction) from when confirming the intention to make a payment first.
  • the payment intention may be confirmed by shaking the head vertically or horizontally (or tilting the head sideways).
  • the face camera 220 detects the orientation of the face in addition to the position of the face, and determines how the orientation changes in time series to determine the motion.
  • a display may be provided to adjust the distance between the face camera 220 and the customer. Specifically, an indicator showing the relationship between the customer's current position and the appropriate range may be displayed. The indicator shows the result of estimating the distance between the customer and the camera, indicating that the distance is smaller as it goes upwards and larger as it goes downwards. Then, the part corresponding to the estimated distance in the indicator is highlighted (for example, it becomes brighter, the width becomes slightly wider, or it blinks). For example, in the example shown in FIG. 26(a), the face camera 220 is too close to the customer, and the customer's face protrudes from the frame in which the face should be placed.
  • the display indicating the current position of the indicator is displayed above the appropriate range.
  • a message may be displayed to the customer to "Please step down".
  • the face camera 220 is too far from the customer, and the customer's face is considerably smaller than the frame in which the face should be placed.
  • the display indicating the current position of the indicator is displayed below the appropriate range.
  • a message may be displayed to the customer to "please approach”.
  • the display indicating the current position of the indicator is displayed within the proper range.
  • a message may also be displayed to the customer to "keep that position". Such a display prompts the customer to move his or her standing position, making it possible to pick up a face image at an appropriate distance.
  • the color of the indicator may be changed depending on whether it is within the appropriate range or out of the range. For example, the indicator may be displayed in green in the proper range and in orange otherwise.
  • the distance between the customer and the camera may be measured using a distance sensor, or may be estimated from the image taken by the camera. In the latter case, estimation may be made based on the distance between feature points of the face and the size of the partial region. For example, the distance between the camera and the customer may be estimated based on the distance between the eyes, or the distance between the camera and the customer may be estimated from the size of the detected iris.
  • a display may be provided to appropriately guide the customer's line of sight direction.
  • a mark for example, a mark such as a double circle in the figure
  • the double circle increases in size, decreases in size, and fluctuates (oscillates) periodically.
  • a message such as "Look here" may be displayed. By doing so, it is possible to prompt the customer to move the line-of-sight direction to an appropriate direction and to fix the line-of-sight direction as it is.
  • the speed at which the size is vibrated may be changed according to the direction of the line of sight. For example, the closer the line of sight is to the center of the double circle, the slower the speed, and if the line of sight deviates, the speed of vibration may be increased. As a result, it is possible to provide feedback to the customer as to whether or not the direction of the line of sight is appropriate, and guide the line of sight to a more appropriate direction.
  • the speed may be changed according to the distance between the customer and the iris camera 210 . That is, when the distance is too close or too far, the speed of vibration may be increased, and when appropriate, the speed of vibration may be decreased. As a result, it is possible to give feedback to the customer as to whether the distance to the camera is appropriate or not, so that the iris can be photographed at a more appropriate position.
  • a display prompting the customer to remove the attachment may be provided.
  • a message and an image prompting the customer to remove the glasses may be displayed.
  • a message and an image prompting the customer to remove the sunglasses may be displayed.
  • a message and an image prompting the customer to remove the mask may be displayed.
  • Such a display may be always performed when the customer's image is captured, or may be performed only when the corresponding wearing object is detected from the customer's image.
  • a display may be provided to encourage the customer to open their eyes.
  • an animation may be displayed in which closed eyes gradually open.
  • the animation shifts to the eye-opened state step by step.
  • the eye open animation the eye opening speed is accelerated and stopped when the maximum state is reached. This makes it possible to more effectively make the customer aware of opening their eyes.
  • a message such as "Please open your eyes carefully” may be displayed. By performing such a display, the customer can be conscious of keeping their eyes open, and it is possible to pick up an appropriate iris image.
  • the speed of the animation of gradually opening the eyes may be changed according to the degree of eye opening detected. For example, if the method for determining the degree of eye opening determines that the degree of eye opening is small, the opening of the eyes may be emphasized by increasing the speed of the eye-opening animation. Also, the animation may be repeatedly displayed. For example, multiple iterations during iris acquisition and matching can induce the customer to open their eyes more.
  • FIG. 30 is a schematic diagram showing a modification of the camera.
  • the same symbols are attached to the same components as those shown in FIG.
  • the camera 20 may be configured with a scanner 300 as shown in FIG.
  • the scanner 300 is a scanner capable of reading products, and is configured as a bar code scanner, for example. In this case, for example, if the product is placed below the camera 20, the scanner 300 reads the product. At this time, the camera 20 may be driven by the drive control unit 290 so that the scanner 300 can appropriately read the product (that is, the scanner 300 may be driven to change the scanning position). .
  • the scanner 300 may be a scanner that reads an electronic tag that is attached to or attached to a product.
  • FIG. 31 is a conceptual diagram showing a display example of a cancel button.
  • FIG. 32 is a conceptual diagram showing a display example after cancellation.
  • FIG. 33 is a conceptual diagram showing a display example of the number change button.
  • FIG. 34 is a conceptual diagram showing a display example of an amount change button.
  • FIG. 35 is a conceptual diagram showing a display example when there are products that require age confirmation.
  • a "cancel” button (a button to cancel the purchase) may be displayed next to the product information indicating the read product.
  • the color of the cancel button gradually changes as described in the seventh embodiment (see FIG. 22).
  • the color of the cancel button changes completely, the purchase of the product is canceled.
  • the canceled product is deleted from the product list.
  • the canceled product may be grayed out without being deleted. If grayed out, a "repurchase (cancel cancellation)" button may be displayed instead of the cancel button. As with the cancel button described above, the repurchase button allows the customer to cancel the cancellation (return to a purchaseable state) by paying attention to it. It should be noted that the repurchase button may also be displayed in such a way that the color gradually changes in the same manner as the cancel button.
  • the total amount before cancellation may be displayed in addition to the total amount after cancellation. That is, the total amounts before and after cancellation may be displayed side by side for comparison. Alternatively, in addition to the total amount after cancellation, the difference between the amount before cancellation may be displayed.
  • a "Change Quantity” button may be displayed next to the product you are about to purchase.
  • the number change button is a button that allows the customer to change the number of products by paying attention to it. Specifically, when the customer gazes at the quantity change button, the color of the quantity change button gradually changes in the same manner as the cancel button described above. Then, when the color of the change quantity button changes, the display of the quantity column changes (for example, the number blinks, the background color of the number changes, the column becomes blank, etc.), indicating that the quantity can be changed.
  • the quantity of the product is changed.
  • the quantity increases when the right arrow is watched, and the quantity decreases when the left arrow is watched.
  • This arrow may be displayed at the same time that the color of the cancel button finishes changing, or as shown in FIG. After a lapse of time (for example, after 1 second has passed), the display of the arrow may be started.
  • the quantity may change from 1 to 2 to 3 every second as the player continues to watch the quantity column.
  • blinking the right eye may increase the quantity by 1 for each blink
  • blinking the left eye may decrease the quantity by 1 for each blink.
  • the quantity may be incremented by 1 for each shake of the head to the right, and decremented by 1 for each shake of the head to the left.
  • Blinking and shaking the head are the opposite of the above (if you blink with your right eye, the quantity decreases by 1 for each blink, and if you blink with your left eye, the quantity increases by 1 for each blink. Alternatively, turn your head to the right). Shaking the head decreases the quantity by 1 each time the head is shaken, and shaking the head to the left increases the quantity by 1 each time the head is shaken).
  • the quantity change button may change to a "confirm" button while the quantity is being changed.
  • the customer gazes at the confirmation button after changing the quantity the changed quantity is confirmed and the total price is changed (the total price may be changed each time the quantity is changed).
  • a "change amount” button may be displayed on the screen showing the read product information. If there is a discrepancy in the read product information (for example, if there is a discrepancy between the read product and the product name displayed), the price change button will change the price displayed on the leaflet or on the price tag inside the store. This button is used when there is a discrepancy, etc.), and the customer can request a change in the amount by paying attention to it.
  • a process of calling a member of staff (such as a store clerk) is executed. At this time, as shown in FIG. 35(b), a message such as "A staff member is being called. Please wait for a while" may be displayed.
  • a display may be made to indicate that age verification is required. Specifically, "unnecessary/not yet/completed" for age confirmation may be displayed on the payment screen. At this time, the customer may be notified to prompt an action to confirm the age. For example, as shown in the example of FIG. 35(a), a message such as "There are products that require age verification. Please hold your ID over the camera.”
  • buttons described in FIGS. 31 to 35 are only examples. Therefore, the arrangement position, size, and the like of each button described above are not particularly limited. It should be noted that these buttons may not only be displayed in one type, but may also be displayed in a combination of multiple types.
  • a processing method of recording a program for operating the configuration of each embodiment so as to realize the functions of each embodiment described above on a recording medium, reading the program recorded on the recording medium as a code, and executing it on a computer is also implemented. Included in the category of form. That is, a computer-readable recording medium is also included in the scope of each embodiment. In addition to the recording medium on which the above program is recorded, the program itself is also included in each embodiment.
  • a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, magnetic tape, non-volatile memory card, and ROM can be used as recording media.
  • the program recorded on the recording medium alone executes the process, but also the one that operates on the OS and executes the process in cooperation with other software and functions of the expansion board. included in the category of
  • the payment system described in appendix 1 includes product reading means for reading a product, product information acquisition means for acquiring product information related to the read product, and output of confirmation information for confirming the customer's intention to pay for the product.
  • confirmation information output means for receiving input from the customer with respect to the confirmation information; face acquisition means for acquiring the face image of the customer; iris acquisition means for acquiring the iris image of the customer; and payment processing means for executing payment processing for the product based on an input from and at least one of the face image and the iris image.
  • the face obtaining means and the iris obtaining means obtain the face image and the iris image from a face camera and an iris camera that are integrally driven.
  • the described payment system In the payment system according to appendix 2, the face obtaining means and the iris obtaining means obtain the face image and the iris image from a face camera and an iris camera that are integrally driven. The described payment system.
  • the product reading means reads the product using a face camera for acquiring the face image, and the face camera scans the product in at least one direction. 3.
  • the confirmation information output means displays at least one attention area corresponding to the payment intention, and the reception means corresponds to the attention area that the customer is paying attention to.
  • the payment system according to appendix 4 wherein information is accepted as input from the customer.
  • the confirmation information output means displays a frame that gradually converges from outside the gaze area toward the gaze area according to the time that the customer gazes at the gaze area.
  • appendix 7 The payment system according to appendix 7 is characterized in that the confirmation information output means gradually changes the color of the gaze area toward the outside of the screen according to the time the customer gazes at the gaze area.
  • the payment system according to appendix 8 further comprises biometric determination means for determining the biometric-likeness of the customer based on the movement of the customer's line of sight estimated from the iris image, and the payment processing means determines the biometric-likeness of the customer. If it is higher than a predetermined threshold, it is determined whether or not to execute the settlement process based on the face image, and if the bio-likeness is lower than the predetermined threshold, it is determined based on the face image and the iris image. 8. The settlement system according to any one of claims 1 to 7, wherein it is determined whether or not to execute the settlement process.
  • the payment method described in Supplementary Note 9 reads a product, acquires product information related to the read product, outputs confirmation information for confirming the customer's intention to make a payment for the product, and receives confirmation from the customer in response to the confirmation information. to obtain the customer's face image, to obtain the customer's iris image, and to make payment for the product based on the input from the customer and at least one of the face image and the iris image.
  • a settlement method characterized by executing processing.
  • appendix 10 The computer program according to appendix 10 reads a product, acquires product information related to the read product, outputs confirmation information for confirming the customer's intention to pay for the product, and receives confirmation from the customer in response to the confirmation information. to obtain the customer's face image, to obtain the customer's iris image, and to make payment for the product based on the input from the customer and at least one of the face image and the iris image.
  • a computer program characterized by causing a computer to perform a process.
  • a recording medium according to appendix 11 is a recording medium characterized by recording the computer program according to appendix 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Abstract

決済システム（１０）は、商品を読み取る商品読取手段（１１０）と、読み取った商品に関する商品情報を取得する商品情報取得手段（１２０）と、記商品の決済の意思を顧客に確認するための確認情報を出力する確認情報出力手段（１３０）と、確認情報に対する顧客からの入力を受け付ける受付手段（１４０）と、顧客の顔画像を取得する顔取得手段（１５０）と、顧客の虹彩画像を取得する虹彩取得手段（１６０）と、顧客からの入力と、顔画像及び虹彩画像の少なくとも一方と、に基づいて、商品の決済処理を実行する決済処理手段（１７０）とを備える。このような決済システムによれば、商品の決済処理を適切に実行することが可能である。

Description

決済システム、決済方法、及びコンピュータプログラム
　この開示は、商品の決済処理を行う決済システム、決済方法、及びコンピュータプログラムの技術分野に関する。
　人物等の対象者を認証可能な認証装置の一例として、複数の生体情報を用いた認証処理（即ち、複合型の生体認証、或いはマルチモーダル生体認証）を行う認証装置が知られている。例えば特許文献１では、複数の生体認証器からの出力を融合して認証処理を行う技術が開示されている。特許文献２では、２つの認証方法の認証度を重み付け加算し、その結果として得られた認証度に基づいて本人確認を行う技術が開示されている。
特開２０１８－１０６２５号公報 特開２００９－２３７６４３号公報
　この開示は、例えば上記各引用文献に鑑みてなされたものであり、商品の決済処理を適切に実行することが可能な決済システム、決済方法、及びコンピュータプログラムを提供することを目的とする。
　この開示の決済システムの一の態様は、商品を読み取る商品読取手段と、読み取った前記商品に関する商品情報を取得する商品情報取得手段と、前記商品の決済の意思を顧客に確認するための確認情報を出力する確認情報出力手段と、前記確認情報に対する前記顧客からの入力を受け付ける受付手段と、前記顧客の顔画像を取得する顔取得手段と、前記顧客の虹彩画像を取得する虹彩取得手段と、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する決済処理手段とを備える。
　この開示の決済方法の一の態様は、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する。
　この開示のコンピュータプログラムの一の態様は、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行するようにコンピュータを動作させる。
第１実施形態に係る決済システムのハードウェア構成を示すブロック図である。 第１実施形態に係る決済システムの機能的構成を示すブロック図である。 第１実施形態に係る決済システムの動作の流れを示すフローチャートである。 第２実施形態に係るカメラの構成を示す概略図（その１）である。 第２実施形態に係るカメラの構成を示す概略図（その２）である。 顔カメラの撮像範囲と虹彩カメラの撮像範囲との関係を示す平面図である。 照明部に設けられる可視光フィルタの一例を示す概略図である。 モータが装置外部の固定部に固定される構成を示す概略図である。 第２実施形態に係るカメラの駆動方向を示す概念図である。 第２実施形態に係るカメラの動作の流れを示すフローチャートである。 顔位置に基づく撮像範囲の調整方法の一例を示す概念図である。 第３実施形態に係る決済システムの機能的構成を示すブロック図である。 商品を読み取る際の表示例を示す概念図である。 第４実施形態に係る決済システムの機能的構成を示すブロック図である 第４実施形態に係る決済システムの動作の流れを示すフローチャートである。 第５実施形態に係る決済システムの機能的構成を示すブロック図である。 注視領域の表示例を示す概念図である。 カメラの位置を考慮した注視領域の表示例を示す概念図である。 第６実施形態に係る決済システムの機能的構成を示すブロック図である。 注視領域に徐々に収束する枠の表示例を示す概念図である。 第７実施形態に係る決済システムの機能的構成を示すブロック図である。 注視領域の色を画面外側に向けて徐々に変化させる表示例を示す概念図である。 第８実施形態に係る決済システムの機能的構成を示すブロック図である。 第８実施形態に係る決済システムの動作の流れを示すフローチャートである。 決済意思の最終確認をする際の表示例を示す概念図である。 カメラとの距離を適正範囲にする際の表示例を示す概念図である。 虹彩認証する際の視線方向を通知するための表示例を示す概念図である。 装着物の取り外しを促すための表示例を示す概念図である。 目を開くように通知するための表示例を示す概念図である。 カメラの変形例を示す概略図である。 キャンセルボタンの表示例を示す概念図である。 キャンセル後の表示例を示す概念図である。 個数変更ボタンの表示例を示す概念図である。 金額変更ボタンの表示例を示す概念図である。 年齢確認が必要な商品がある場合の表示例を示す概念図である。
　以下、図面を参照しながら、決済システム、決済方法、及びコンピュータプログラムの実施形態について説明する。
　＜第１実施形態＞
　第１実施形態に係る決済システムについて、図１から図３を参照して説明する。
　（ハードウェア構成）
　まず、図１を参照しながら、第１実施形態に係る決済システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る決済システムのハードウェア構成を示すブロック図である。
　図１に示すように、第１実施形態に係る決済システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。決済システム１０は更に、入力装置１５と、出力装置１６と、カメラ２０とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６と、カメラ２０とは、データバス１７を介して接続されている。
　プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、決済システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、商品の決済に関する処理を実行するための機能ブロックが実現される。また、プロセッサ１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ　Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。
　ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）であってもよい。
　ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）であってもよい。
　記憶装置１４は、決済システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１５は、決済システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
　出力装置１６は、決済システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、決済システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。
　カメラ２０は、生体の虹彩や顔を撮像可能なカメラである。カメラ２０は、例えば近赤外線カメラとして構成されてよい。カメラ２０は、その撮像範囲に生体の顔周辺が含まれるような位置に配置されていればよい。カメラ２０は、静止画を撮像するカメラであってもよいし、動画を撮像するカメラであってもよい。また、カメラは後述するように、１台だけでなく２台あってもよい。そして、一台は可視光のカメラで、もう一台は近赤外のカメラというように、撮像する光の波長帯が異なっており、可視光のカメラで顔が撮像可能であり、近赤外のカメラで虹彩が撮像可能になっていてもよい。あるいは、両方とも近赤外のカメラであってもよいし、両方とも可視光カメラであってもよい。
　（機能的構成）
　次に、図２を参照しながら、第１実施形態に係る決済システム１０の機能的構成について説明する。図２は、第１実施形態に係る決済システムの機能的構成を示すブロック図である。
　図２に示すように、第１実施形態に係る決済システム１０は、その機能を実現するための処理ブロックとして、商品読取部１１０と、商品情報取得部１２０と、確認情報出力部１３０と、入力受付部１４０と、顔画像取得部１５０と、虹彩画像取得部１６０と、決済処理部１７０とを備えて構成されている。商品読取部１１０、商品情報取得部１２０、確認情報出力部１３０、入力受付部１４０、顔画像取得部１５０、虹彩画像取得部１６０、及び決済処理部１７０の各々は、例えば上述したプロセッサ１１において実現されてよい。また、商品読取部１１０、顔画像取得部１５０、及び虹彩画像取得部１６０は、上述したカメラ２０を含んで構成されてよい。入力受付部１４０は、上述した入力装置１５やカメラ２０を含んで構成されてよい。確認情報出力部１３０は、上述した出力装置１６（より具体的には、ディスプレイ等の表示装置）を含んで構成されてよい。
　商品読取部１１０は、商品を読み取り可能に構成されている。例えば、商品読取部１１０は、カメラ２０を用いて商品の画像を取得することで、商品を読取り可能に構成されてよい。或いは、商品読取部１１０は、各種リーダやスキャナ（例えば、バーコードスキャナ等）を用いて商品を読取り可能に構成されてもよい。商品読取部１１０は、所定の位置に置かれた商品を読取り可能に構成されてもよいし、顧客が持ったままの商品を読取り可能に構成されてもよい。
　商品情報取得部１２０は、商品読取部１１０で読み取った商品に関する商品情報を取得可能に構成されている。商品情報の一例としては、例えば、バーコード情報、価格、品名、在庫数等が挙げられる。商品情報取得部１２０は、予め商品情報が記憶されたデータベース等から商品情報を読み出して取得してよい。
　確認情報出力部１３０は、商品読取部１１０で読み取った商品について、顧客の決済意思（即ち、その商品を購入する意思があるか否か）を確認するための確認情報を出力可能に構成されている。確認情報出力部１３０は、例えば表示装置等を用いて画像情報を出力するように構成されてもよい。確認情報出力部１３０は、例えばスピーカ等を用いて音声情報を出力するように構成されてもよい。確認情報の具体例については、後述する他の実施形態において詳しく説明する。
　入力受付部１４０は、確認情報に対する顧客からの入力（言い換えれば、決済の意思に関する情報）を受付可能に構成されている。入力受付部１４０は、例えばカメラを用いて顧客からの入力を受け付けてもよい。入力受付部１４０は、例えば入力装置１５を用いて顧客からの入力を受け付けてもよい。顧客からの入力を受け付ける具体的な方法については、後述する他の実施形態において詳しく説明する。
　顔画像取得部１５０は、顧客の顔画像を取得可能に構成されている。顔画像は、顧客の顔を含む画像であり、典型的には顔全体が収まるように撮像された画像である。また、顔画像は、顧客の顔以外の部分を含む画像であってもよい。顔画像取得部１５０は、カメラ２０で撮像された画像を、顔画像として取得してよい。
　虹彩画像取得部１６０は、顧客の虹彩画像を取得可能に構成されている。虹彩画像は、顧客の虹彩を含む画像であり、典型的には虹彩の模様が分かる程度に高精細な画像である。また、虹彩顔画像は、顧客の虹彩以外の部分を含む画像であってもよい。虹彩画像取得部１６０は、カメラ２０で撮像された画像を、虹彩画像として取得してよい。この場合、カメラ２０は、上述した顔画像及び虹彩画像の各々を撮像する複数のカメラを備えていてよい。このようなカメラ２０の具体例については、後述する他の実施形態で詳しく説明する。
　決済処理部１７０は、商品読取部１１０で読み取った商品の決済処理を実行可能に構成されている。決済処理部１７０は、入力受付部１４０で受け付けた顧客からの入力と、顔画像取得部１５０で取得された顔画像及び虹彩画像取得部１６０で取得された虹彩画像の少なくとも一方とに基づいて、決済処理を実行する。決済処理部１７０は、例えば入力受付部１４０で受け付けた顧客からの入力に基づいて、決済処理を実行するか否かを判定してもよい。また、決済処理部１７０は、顔画像取得部１５０で取得された顔画像及び虹彩画像取得部１６０で取得された虹彩画像の少なくとも一方とに基づいて、認証処理（即ち、本人確認）を行ってもよい。なお、決済サービスのデータベースには、顧客の生体情報（例えば、認証処理に用いた顔画像や虹彩画像等に関する情報）と、金融機関の情報とが関連づいて記憶されていてもよい。この場合、認証処理後の決済処理では、認証処理で特定した顧客の金融機関の口座から決済金額が引き落とされる。また、顧客の生体情報が、上述した金融機関の情報に代えて、クレジットカードの情報、電子決済サービスのアカウント情報（この場合、チャージされている残高からの引き落とし）、携帯電話の電話番号等（この場合、携帯電話の使用料と合算されての請求）に関連づいて記憶されてもよい。更に、これらのうち複数の決済方法が顧客の生体情報に関連づいている場合には、後述する他の実施形態で説明するように、決済方法を視線方向推定により選択させる画面を表示して、決済方法をユーザに選択させてもよい。
　（動作の流れ）
　次に、図３を参照しながら、第１実施形態に係る決済システム１０の動作の流れについて説明する。図３は、第１実施形態に係る決済システムの動作の流れを示すフローチャートである。
　図３に示すように、第１実施形態に係る決済システム１０が動作する際には、まず商品読取部１１０が商品を読み取る（ステップＳ１０１）。そして、商品情報取得部１２０が、商品読取部１１０で読み取った商品の商品情報を取得する（ステップＳ１０２）。なお、上述したステップＳ１０１及びステップＳ１０２の処理は、複数の商品について、まとめて実行されてもよい。
　続いて、確認情報出力部１３０が、決済の意思を確認するための確認情報を出力する（ステップＳ１０３）。そして、入力受付部１４０は、顧客からの入力に基づいて、顧客に生体認証を用いた決済の意思があるか否かを判定する（ステップＳ１０４）。ここで判定される決済の意思は、例えば読みとった商品が正しいか否か（例えば、足りない商品がないか、或いは不要な商品が読み取られていなか等）を確認するものであってよい。なお、入力受付部１４０は、顧客からの入力があった場合に決済の意思があると判定し、顧客からの入力がなかった場合に決済の意思がないと判定してもよい。
　顧客に生体認証を用いた決済の意思がないと判定された場合（ステップＳ１０４：ＮＯ）、一連の処理は終了する。即ち、決済処理部１７０は、顧客に生体認証を用いて商品を購入する意思がないと判断し、決済処理を実行せずに動作を終了する。この場合は、顧客は決済を中止するか、あるいは、生体認証以外の手段で決済する。一方で、顧客に生体認証を用いた決済の意思があると判定された場合（ステップＳ１０４：ＹＥＳ）、顔画像取得部１５０が顧客の顔画像を取得する（ステップＳ１０５）。また、虹彩画像取得部１６０が顧客の虹彩画像を取得する（ステップＳ１０６）。そして、決済処理部１７０は、取得した顔画像及び虹彩画像の少なくとも一方に基づいて、顧客の認証処理を実行する（ステップＳ１０７）。なお、顔画像及び虹彩画像を用いた認証処理については、既存の技術を適宜採用することができるため、ここでの詳しい説明は省略する。また、ステップＳ１０５とステップＳ１０６は同時に行ってもよい。
　顧客の認証処理が成功しなかった場合（ステップＳ１０７：ＮＯ）、一連の処理は終了する。即ち、決済処理部１７０は、顧客が本人ではない（例えば、なりすましである）と判断し、決済処理を実行せずに動作を終了する。あるいは、再度生体認証による決済を行うかどうか顧客に確認するようにしてもよい。一方で、顧客の認証処理が成功した場合（ステップＳ１０７：ＹＥＳ）、決済処理部１７０は、商品情報を用いて商品の決済処理を実行する（ステップＳ１０８）。
　なお、上述した例では、決済意思を確認する処理（即ち、ステップＳ１０４）を、商品を読み取った後に（即ち、ステップＳ１０１の後に）実行しているが、商品を読み取る前に実行してもよい。また、決済意思を確認する処理を、認証処理の後に（即ち、ステップＳ１０７の後に）実行してもよい。また、決済意思を確認する処理は、複数段階で実行されてもよい。例えば、上述した例のように認証処理の前に決済意思を確認する処理を行った後、認証処理の後に再び決済意思を確認する処理を行ってもよい。認証処理の前後で決済意思を確認する場合、その内容は、互いに異なるものであってもよい。例えば、認証処理前の決済意思確認が、上述したように、読み取った商品が正しいか否かを確認するものである一方で、認証処理後の決済意思確認は、生体認証の認証結果が正しいか否かを顧客本人に確認するものであってよい。この場合、本人確認と同時に自動的に決済処理が行われるようにしてもよいし、本人確認後に決済方法を顧客に選択してもらうようにしてもよい。例えば、生体情報と紐付けられた決済方法で決済するのか、それとも他の方法で決済するのかを顧客に選択してもらうようにしてもよい。
　（技術的効果）
　次に、第１実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図１から図３で説明したように、第１実施形態に係る決済システム１０では、顧客の生体認証による決済意思が確認され、且つ、顧客の認証処理が成功した場合に、商品の決済処理が実行される。このようにすれば、不適切な決済処理が実行されてしまうことを回避可能である。例えば、顧客に決済の意思がないにもかかわらず決済処理が実行されてしまったり、顧客になりすました他人によって決済処理が実行されてしまったりすることを回避できる。
　＜第２実施形態＞
　第２実施形態に係る決済システム１０について、図４から図１１を参照して説明する。なお、第２実施形態は、決済システム１０で用いられるカメラ２０について詳しく説明するものであり、システム全体の構成や動作の流れ等については、第１実施形態（図１から図３参照）と同一であってよい。このため、以下では、すでに説明した第１実施形態と重複する部分について適宜説明を省略するものとする。
　（カメラの構成）
　第２実施形態に係る決済システムで用いられるカメラ２０の構成について、図４から図９を参照しながら説明する。図４は、第２実施形態に係るカメラの構成を示す概略図（その１）である。図５は、第２実施形態に係るカメラの構成を示す概略図（その２）である。図６は、顔カメラの撮像範囲と虹彩カメラの撮像範囲との関係を示す平面図である。図７は、照明部に設けられる可視光フィルタの一例を示す概略図である。図８は、モータが装置外部の固定部に固定される構成を示す概略図である。図９は、第２実施形態に係るカメラの駆動方向を示す概念図である。なお、図４から図９では、説明の便宜上、主な構成要素のみを図示し、本実施形態に関連の薄い構成要素についての図示を省略している。図４は、認証用撮像装置を前面側（言い換えれば、撮像対象者側）から見た図であり、図５は、認証用撮像装置を後面側（即ち、図１とは反対側）から見た図である。
　図４及び図５に示すように、第２実施形態に係る決済システム１０が備えるカメラ２０は、虹彩カメラ２１０と、顔カメラ２２０と、照明部２３０と、保持部２５０と、空冷ファン２６０と、モータ２７０とを備えている。
　顔カメラ２２０は、顔認証に用いる顔画像を撮像するための可視光カメラとして構成されている。虹彩カメラ２１０は、虹彩認証に用いる虹彩画像を撮像するための近赤外カメラとして構成されており、顔カメラ２２０と比較すると撮像範囲（視野とも呼ぶ）が狭い。顔カメラ２２０と虹彩カメラ２１０とは、撮像範囲が重なるように配置されており、例えば、顔カメラ２２０の撮像範囲の中心付近に虹彩カメラ２１０の撮像範囲が位置するように調整されている（図６参照）。顔カメラ２２０及び虹彩カメラ２１０は、カメラユニット２２５として一体的に構成されている。顔カメラ２２０及び虹彩カメラ２１０は、保持部２５０に固定されており、後述するモータ２７０によって一体的に駆動可能とされている。
　照明部２３０は、虹彩カメラ２１０の撮像を補助する照明光（即ち、近赤外光）を照射可能に構成されている。なお、照明部２３０には、照明光（即ち、近赤外光）を透過する一方で、可視光の透過率が低い可視光カットフィルタが設けられていてもよい。可視光カットフィルタは、照明部２３０の光源の少なくとも一部（望ましくは全体）を覆うように設けられる（図７参照）。この場合、照明部２３０側から、カメラ２０の外部（言い換えれば、撮像対象者側）に抜けていく可視光を少なくすることができる。この結果、カメラ２０の外部から、照明部２３０の存在を認識し難くすることができる。照明部２３０は、顔カメラ２２０及び虹彩カメラ２１０と共に保持部２５０に固定されており、後述するモータ２７０によって、顔カメラ２２０及び虹彩カメラ２１０と一体的に駆動可能とされている。
　空冷ファン２６０は、カメラ２０を冷却するために送風を行うファンである。空冷ファン２６０は、保持部２５０に固定されていてもよいし、固定されていなくともよい。言い換えれば、空冷ファン２６０は、顔カメラ２２０、虹彩カメラ２１０、及び照明部２３０と一体的に駆動可能とされてもよいし、一体的に駆動されないように構成されてもよい（この場合、空冷ファン２６０は、保持部２５０以外の固定部材（例えば、装置外部の部材）に固定されていればよい）。なお、冷却が不要な場合には、空冷ファン２６０はなくてもよい。
　モータ２７０は、カメラユニット２２５（言い換えれば、顔カメラ２２０及び虹彩カメラ２１０）に連結されており、顔カメラ２２０、虹彩カメラ２１０、及び照明部２３０の各々の向きを上下方向（図中の矢印参照）に一体的に駆動することが可能である。具体的には、モータ２７０が駆動すると、顔カメラ２２０及び虹彩カメラ２１０が同軸上で回転するように駆動され、顔カメラ２２０及び虹彩カメラ２１０の撮像範囲が上下方向に同じ角度だけ変更される。なお、ここでのモータの駆動方向はあくまで一例であり、顔カメラ２２０、虹彩カメラ２１０、及び照明部２３０は、上下方向以外の方向に駆動されてもよい。また、モータ２７０が複数の駆動軸を有することで、より複雑な動きが実現されてもよい。
　モータ２７０は、保持部２５０に固定されていてもよいし、固定されていなくともよい。モータ２７０が保持部２５０に固定されていない場合、モータ２７０が駆動してもモータ２７０自身は動かず、保持部２５０に固定された、顔カメラ２２０、虹彩カメラ２１０、及び照明部２３０が動く。この場合、モータ２７０は、例えば筐体２８０等に固定されていればよい。一方で、モータ２７０が保持部２５０に固定されている場合、保持部２５０に固定された、顔カメラ２２０、虹彩カメラ２１０、及び照明部２３０と一緒にモータ２７０自身も動く（この場合、モータの駆動軸は装置外部と連結されていればよい）。この場合、モータ２７０の駆動軸は、例えば装置外部の固定部２７５に固定されていればよい（図８参照）。
　図９に示すように、顔カメラ２２０、虹彩カメラ２１０、照明部２３０、保持部２５０、空冷ファン２６０、及びモータ２７０は、円筒形の筐体２８０の内部に配置される。そして特に、図９に示すように、モータ２７０による駆動は、筐体２８０の中心軸（即ち、円筒形の中心軸）を回転軸とする回転動作である。このようにすれば、顔カメラ２２０及び虹彩カメラ２１０を筐体２８０内部でスムーズに駆動することができる。なお、モータ２７０が駆動されても、筐体２８０の内部の顔カメラ２２０や虹彩カメラ２１０が動くのみで、筐体２８０自身は動かない。この構成は、例えば、チルト機構によって実現される。このようにすれば、撮像対象者に筐体２８０の内部での動きを認識し難くすることができる。
　筐体２８０の少なくとも一部（具体的には、顔カメラ２２０及び虹彩カメラ２１０を覆う部分）は、外部からの光に対する透過率が高く、内部からの光に対する透過率が低い材料で形成されていてもよい。具体的には、筐体２８０は、例えばハーフミラーやスモークミラーとして構成されていてもよい。このように、筐体２８０の少なくとも一部が透過率を調整するカバー部として機能することで、撮像画像の画質を悪化させることなく、顔カメラ２２０や虹彩カメラ２１０の動きを外部から認識し難くすることができる。
　モータ２７０の駆動は、駆動制御部２９０によって制御されている。駆動制御部２９０は、モータ２７０の駆動量（言い換えれば、顔カメラ２２０及び虹彩カメラ２１０の撮像範囲の移動量）を演算して、モータ２７０の駆動を制御する。駆動制御部２９０によるモータ２７０の具体的な制御方法については、後に詳述する。駆動制御部２９０は、筐体２８０の外部に設けられていてもよいし、筐体２８０の内部に設けられていてもよい。
　（撮像時の動作）
　次に、第２実施形態に係る決済システム１０が備えるカメラ２０の動作の流れについて、図１０及び図１１を参照しながら説明する。図１０は、第２実施形態に係るカメラの動作の流れを示すフローチャートである。図１１は、顔位置に基づく撮像範囲の調整方法の一例を示す概念図である。
　図１０に示すように、第２実施形態に係るカメラ２０の動作時には、まず撮像対象者となる顧客が存在しているか否かを顔カメラ２２０が検出する（ステップＳ２０１）。顧客の存在は、例えば図示せぬセンサ等で検出されてもよいし、顔カメラ２２０自体で検出されてもよい。或いは、顧客による装置の操作があった場合に、顧客の存在が検出されるようにしてもよい。なお、顧客が検出されない場合（ステップＳ２０１：ＮＯ）、以降の処理は省略され、一連の動作は終了することになる。この場合、所定期間経過後に、再びステップＳ２０１の処理が実行されるようにしてもよい。
　顧客が検出された場合（ステップＳ２０１：ＹＥＳ）、顔カメラ２２０が顧客の顔画像を撮像する（ステップＳ２０２）。なお、顧客の身長や立ち位置等によって顧客の顔の位置は変化するが、顔カメラ２２０の撮像範囲は比較的広く設定されているため、特に撮像範囲を調整せずとも顧客の顔画像を撮像することができる。ただし、顧客が検出されているにもかかわらず、その顔画像を正常に撮像できない場合、図示せぬ表示部等を用いて、顧客を撮像範囲に誘導するようにしてもよい。或いは、顔全体が撮像されていなくとも、部分的に撮像されている場合であれば（即ち、顔画像から顔位置が検出できるのであれば）、後述するように、駆動制御部２９０が虹彩カメラ２１０の撮像範囲を変更した後で、顔カメラ２２０は再び顔画像を撮像するようにしてもよい。
　顔カメラ２２０により顔画像が撮像されると、駆動制御部２９０は、顔カメラ２２０から、顔画像を取得し、顔画像から顧客の顔位置（顔領域とも呼ぶ）を検出する（ステップＳ２０３）。即ち、顧客の顔が、顔カメラ２２０の撮像範囲のどの位置に存在しているかを検出する。なお、顔位置の具体的な検出方法については、既存の手法を適宜採用することができるため、ここでの詳細な説明は省略する。
　続いて、駆動制御部２９０は、検出した顧客の顔位置に基づいて、顧客の虹彩位置（目領域とも呼ぶ）を推定する（ステップＳ２０４）。ここでの推定は、例えば顧客の顔位置と虹彩位置との関係を予め記憶しておくことで実現できる。例えば、駆動制御部２９０は、検出された顔領域の中心付近に目領域が存在すると推定する（図１１ａ参照）。あるいは、顔の位置に基づいて、画像から目を直接検出するようにしてもよい。顧客の虹彩位置が推定されると、駆動制御部２９０は、顧客の虹彩が虹彩カメラ２１０の撮像範囲内に収まるようにするため、モータ２７０の駆動量を演算する（ステップＳ２０５）。言い換えれば、どれだけ虹彩カメラ２１０の撮像範囲を移動させれば、顧客の虹彩が虹彩カメラ２１０の撮像範囲内に収まるかを演算する。
　続いて、駆動制御部２９０は、演算したモータ２７０の駆動量に基づいて、モータ２７０の駆動を制御する（ステップＳ２０６）。これにより、虹彩カメラ２１０の撮像範囲が変更され、虹彩カメラ２１０で確実に顧客の虹彩画像を撮像できる状態となる。より具体的には、虹彩カメラ２１０の撮像範囲内に推定された目領域が収まる状態となる（図１１ｂ参照）。そして、その状態で、虹彩カメラ２１０が顧客の虹彩画像を撮像する（ステップＳ２０７）。なお、虹彩カメラ２１０と共に照明部２３０も駆動されている（即ち、虹彩カメラ２１０の撮像範囲に合わせて照明が照射される位置も移動する）ため、より画質のよい虹彩画像を撮像することができる。
　なお、駆動制御部２９０が虹彩カメラ２１０の撮像範囲を変更した後に、顔カメラ２２０は顔画像を再度撮像するようにしてもよい。虹彩カメラ２１０は顔カメラ２２０と一体的に駆動されるため、虹彩カメラ２１０の撮像範囲を変更した状態であれば、顔カメラ２２０の撮像範囲もより適切な位置へと変更されている。よって、このタイミングで再び顔画像を撮像すれことで、より適切に顧客の顔画像を撮像できる。このようにすれば、例えばステップＳ２０２で撮像した顔画像が顔認証に利用できない画像（例えば、顔の一部しか撮像されていない画像等）であったとしても、調整後に顔カメラ２２０が撮像した顔画像を用いて確実に顔認証を実行することができる。
　（技術的効果）
　次に、第２実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図４から図１１で説明したように、第２実施形態に係る決済システム１０では、顔画像を撮像する顔カメラ２２０と、虹彩画像を撮像する虹彩カメラ２１０とが一体的に駆動される。このようにすれば、決済システム１０を利用する顧客の顔画像及び虹彩画像を適切に撮像（取得）することが可能となる。
　＜第３実施形態＞
　第３実施形態に係る決済システム１０について、図１２及び図１３を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分について適宜説明を省略するものとする。
　（機能的構成）
　まず、図１２を参照しながら、第３実施形態に係る決済システム１０の機能的構成について説明する。図１２は、第３実施形態に係る決済システムの機能的構成を示すブロック図である。なお、図１２では、図２で示した構成要素と同様の要素に同一の符号を付しており、図２で示した構成要素のうち本実施形態との関連が薄いものについては図示を省略している。
　図１２に示すように、第３実施形態に係る決済システム１０では、商品読取部１１０及び顔画像取得部１５０が、顔カメラ２２０で撮像された画像を取得可能に構成されている。即ち、商品読取部１１０及び顔画像取得部１５０の各々が、共通する１つのカメラから画像を取得可能に構成されている。
　第３実施形態に係る商品読取部１１０は、顔カメラ２２０で撮像された画像から商品を読取り可能に構成されている。例えば、商品読取部１１０は、顔カメラで撮像された商品を含む画像（以下、適宜「商品画像」と称する）について物体認識を行い、商品画像から検出された物体が商品であると認識する。なお、物体認識の具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略するものとする。
　顔カメラ２２０が撮像する商品画像には、顧客の顔は含まれていなくともよい。即ち、この場合の顔カメラ２２０は、顧客の顔ではなく、顧客が購入しようとしている商品を優先的に撮像するカメラとして機能してよい。顔カメラ２２０は、商品を確実に撮像するために、駆動制御部２９０によって駆動可能に構成されている。具体的には、顔カメラ２２０は、撮像範囲に商品が収まるように、撮像範囲を移動可能に構成されている。駆動制御部２９０は、例えば第２実施形態で説明したように顔カメラ２２０を上下方向に駆動して（例えば、図９参照）、商品を撮像するようにしてよい。
　（顔カメラを駆動する際の表示例）
　次に、図１３を参照しながら、顔カメラ２２０を駆動する際の表示例（顧客への提示例）について説明する。図１３は、商品を読み取る際の表示例を示す概念図である。なお、図１３では、顔カメラ２２０が上下方向に駆動する場合の表示例を示している。
　図１３に示すように、駆動制御部２９０が顔カメラ２２０を駆動する際には、顔カメラ２２０のチルト角が分かるように、顔カメラ２２０で撮像された商品画像を顧客に対して表示するようにしてもよい。すなわち、表示部において、チルト位置に対応した領域に顔カメラ２２０により撮影された画像を表示する。なお、図中の「撮像画像表示領域」は、顔カメラ２２０で撮像された商品画像が表示部において表示される領域である。「駆動可能領域」は、顔カメラ２２０を駆動可能な領域（言い換えれば、顔カメラ２２０の撮像範囲を動かせる領域）を示す領域である。「情報表示領域」は、その他の各種情報を表示可能な領域であり、例えば商品情報や決済に関する情報等が適宜表示されてよい。
　図１３（ａ）に示すように、顔カメラ２２０のチルト位置が真ん中の場合（言い換えれば、上にも下にも動かせる場合）、撮像画像表示領域は、駆動可能領域の真ん中に表示される。即ち、撮像画像表示領域の上側にも下側にも駆動可能領域が存在するように表示される。一方、図１３（ｂ）に示すように、顔カメラ２２０のチルト位置が上限の場合（言い換えれば、それ以上、上方向に動かせない場合）の場合、撮像画像表示領域は、駆動可能領域の最上部に表示される。即ち、撮像画像表示領域の下側にしか駆動可能領域が存在しないように表示される。
　上記のような表示を行うことで、顧客が商品画像の撮像状況を直感的に知ることができ、例えば顧客に対して商品の位置の移動を促すことが可能となる。例えば、顔カメラ２２０のチルト位置が上限であるにもかかわらず、商品が撮像範囲に収まっていない場合、商品画像を適切に撮像するためには、もう少し商品の位置を下側に移動させることが望まれる。このような状況において、上述した表示を顧客に対して行えば、顧客が自発的に商品を下方向に移動させることが期待される。なお、上記の表示例に加えて、例えば「商品を下側に移動させてください」等のメッセージを表示するようにしてもよい。
　（技術的効果）
　次に、第３実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図１２及び図１３で説明したように、第３実施形態に係る決済システム１０では、商品の読取りが顔カメラ２２０で撮像された画像を用いて行われ、その画像を撮像する際には、顔カメラ２２０が商品を撮像できるように駆動される。このように、顔カメラ２２０を商品の読取りに用いれば、商品を読み取るための装置を別途設ける必要がなくなる。また、商品画像を撮像する際に顔カメラ２２０を駆動することで、（通常は顔の位置を想定した撮像範囲が設定されていたとしても）確実に商品が含まれる画像を撮像することが可能である。
　＜第４実施形態＞
　第４実施形態に係る決済システム１０について、図１４及び図１５を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第３実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図１４を参照しながら、第４実施形態に係る決済システム１０の機能的構成について説明する。図１４は、第４実施形態に係る決済システムの機能的構成を示すブロック図である。なお、図１４では、図２で示した構成要素と同様の要素に同一の符号を付している。
　図１４に示すように、第４実施形態に係る決済システム１０は、その機能を実現するための処理ブロックとして、商品読取部１１０と、商品情報取得部１２０と、確認情報出力部１３０と、入力受付部１４０と、顔画像取得部１５０と、虹彩画像取得部１６０と、決済処理部１７０とを備えて構成されている。そして特に、第４実施形態に係る入力受付部１４０は、視線方向推定部１４１を備えている。
　視線方向推定部１４１は、顔画像で取得された顔画像及び虹彩画像取得部１６０で取得された虹彩画像の少なくとも一方を用いて、顧客の視線方向を推定可能に構成されている。視線方向推定部１４１が視線方向を推定する際には、カメラ２０の座標系の中心が顧客の目線位置（両目の中心）となるようにカメラの位置を調整するのが望ましい。なお、顔画像及び虹彩画像から視線方向を推定する手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。第４実施形態に係る入力受付部１４０は、視線方向推定部１４１で推定された顧客の視線方向に関する情報を、決済意思を示す顧客からの入力として受け付ける。
　入力受付部１４０は、例えば視線方向が所定の方向（例えば、顧客の正面に対して右方向）である情報を、顧客に決済意思があるという情報として受け付け、所定の方向以外の方向（例えば、顧客の正面に対して左方向）であるという情報を、顧客に決済意思がないという情報として受け付けてもよい。
　また、入力受付部１４０は、顧客の視線方向が所定時間維持されている場合に、視線方向に関する情報を顧客からの入力として受け付けるようにしてもよい。例えば、顧客の視線方向が同じ方向のまま所定時間（例えば、数秒程度）維持されている場合には、その視線方向に関する情報を、顧客からの入力として受け付けるようにしてよい。なお、所定時間は、予め設定された固定の値であってもよいし、状況に応じて変動する値であってもよい。例えば、顧客の視線方向が所定方向に大きく傾いている場合は所定時間を短め（例えば、２秒）に設定し、所定方向に小さく傾いている場合は所定時間を長め（例えば、４秒）に設定してもよい。また、所定方向には所定の範囲を設けてもよい。例えば、顧客の正面方向から正面方向に対して右に９０度の範囲をすべて「右方向」としてもよい。ただし、数値はこれに限定されず、また、方向は左、上、下のいずれかでもよい。さらに、この場合、顧客の視線方向が移動したとしても、この範囲内での視線方向の移動であるならば「視線方向が同じ方向のまま維持されている」状態としてもよい。
　なお、上述した第２及び第３実施形態のように、カメラ２０を駆動させる場合（即ち、カメラの撮像範囲を変更する場合）、カメラのチルト角によって視線方向を推定する難易度が変化する。例えば、カメラ２０のチルト角が水平からずれている割合が高いほど、カメラ２０と顧客の顔とが正対していない可能性が高くなり、視線方向が推定しにくくなる。また、カメラ２０が上から見下ろすような場合は、伏し目がちになったりすることで、視線方向が推定しにくくなる。このような場合、入力受付部１４０は、視線方向の判定しにくさ（即ち、カメラ２０のチルト角）に応じて、上述した所定時間を変更するようにしてもよい。例えば、チルト角が大きいほど、所定時間を長く設定するようにしてよい。或いは、入力受付部は、視線方向の判定しにくさ（即ち、カメラ２０のチルト角）に応じて、顧客の視線方向を判定する閾値（例えば、視線方向の角度に対する閾値）を変更するようにしてもよい。例えば、チルト角が大きいほど、視線方向を判定する閾値を大きく変更する（即ち、大きく視線方向を振らないと、その方向を向いていると認識されない）ようにしてもよい。あるいは、チルト角によって視線推定に用いる方式、アルゴリズムを変えるようにしてもよい。例えば、深層学習ベースの推定方式の場合、チルト角ごとに学習させた視線推定エンジンを構築し、チルト角に応じて切り替えて用いるようにしてもよい。
　視線方向推定部１４１で視線方向を正常に推定できない場合（例えば、視線の角度が閾値を超えない場合）、顧客に対してより大きく視線を振るように誘導してもよい。例えば、表示装置に視線位置マーカ（どこを見ているのかを示すポインタ）を表示する際に、視線を大きく動かさないとマーカが動かないように、視線の角度変化に対する感度を下げてもよい。或いは、大きく視線を振るように音声やメッセージ等を出力してもよい。
　（動作の流れ）
　次に、図１５を参照しながら、第４実施形態に係る決済システム１０の動作の流れについて説明する。図１５は、第４実施形態に係る決済システムの動作の流れを示すフローチャートである。なお、図１５では、図３に示した処理と同様の処理に同一の符号を付している。
　図１５に示すように、第４実施形態に係る決済システム１０が動作する際には、まず商品読取部１１０が商品を読み取る（ステップＳ１０１）。そして、商品情報取得部１２０が、商品読取部１１０で読み取った商品の商品情報を取得する（ステップＳ１０２）。
　続いて、確認情報出力部１３０が、決済の意思を確認するための確認情報を出力する（ステップＳ１０３）。なお、決済の意思を確認とは、例えば商品リストが正しいかどうか（例えば、金額、商品名、数量などのうち少なくとも一つ）が正しいかどうかの確認を含む。ここで第４実施形態では特に、顔画像取得部１５０及び虹彩画像取得部１６０の少なくとも一方が、顧客の視線方向を推定するための顔画像及び虹彩画像を取得する（ステップＳ４０１）。そして、視線方向推定部１４１が、取得された顔画像及び虹彩画像の少なくとも一方に基づいて、顧客の視線方向を推定する（ステップＳ４０２）。
　続いて、入力受付部１４０が、顧客の視線方向に基づいて、顧客に生体認証による決済の意思があるか否かを判定する（ステップＳ１０４）。顧客に生体認証による決済の意思がないと判定された場合（ステップＳ１０４：ＮＯ）、一連の処理は終了する。一方で、顧客に生体認証による決済の意思があると判定された場合（ステップＳ１０４：ＹＥＳ）、顔画像取得部１５０が顧客の顔画像を取得する（ステップＳ１０５）。また、虹彩画像取得部１６０が顧客の虹彩画像を取得する（ステップＳ１０６）。なお、視線方向を推定する際に取得した顔画像及び虹彩画像を流用する場合には、上述したステップＳ１０５及びＳ１０６の処理は省略されてもよい。
　続いて、決済処理部１７０が、取得した顔画像及び虹彩画像の少なくとも一方に基づいて、顧客の認証処理を実行する（ステップＳ１０７）。顧客の認証処理が成功しなかった場合（ステップＳ１０７：ＮＯ）、一連の処理は終了する。一方で、顧客の認証処理が成功した場合（ステップＳ１０７：ＹＥＳ）、決済処理部１７０は、商品情報を用いて商品の決済処理を実行する（ステップＳ１０８）。
　ステップＳ１０４：ＹＥＳのあとに、生体認証による決済を行うか生体認証以外の決済を行うかを顧客に選択させるための情報を出力してもよい。例えば、「生体認証による決済を行いますか」というガイダンスと「はい」「いいえ」のボタンを表視してもよい。顧客が「はい」を選択した場合、Ｓ１０５の処理に移る。ここで、「いいえ」を選択した場合は、他の決済方法（例えば、現金、電子マネー、クレジットカードなど）を選択させる画面を表示してもよい。また、「生体認証による決済を行いますか」というガイダンスとともに生体認証による決済と生体認証以外の決済とを含めた選択画面（例えば、「生体認証」のボタンと、「現金」「電子マネー」「クレジットカード」のうち少なくとも一つのボタン）を表示してもよい。また、決済の意思を確認するための確認情報に、生体認証による決済を行うか生体認証以外の決済を行うかを顧客に選択させるための情報を含めて出力してもよい。
　なお、ステップＳ１０７：ＹＥＳとステップＳ１０８の間で、決済処理を実行するか否かを示す情報を出力してもよい。例えば、顧客の認証処理が成功した場合、決済処理を実行するか否かを顧客に確認する画面を表示する。この画面表示は、決済金額、顧客の個人ＩＤ、及び顧客の氏名のうち少なくとも一つを含んでいてもよいし、決済処理実行するか否かを確認するための情報のみを表示してもよい。決済処理実行するか否かを確認するための情報は、例えば、確定ボタンと戻るボタンであり、顧客からの入力に応じて決済処理を実行するか、前の処理の画面（例えば、読み込んだ商品の一覧を表示する画面）に戻る。ここで、戻るボタンに代えて、または加えて、決済処理をキャンセルするボタンを表示してもよい。
　（技術的効果）
　次に、第４実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図１４及び図１５で説明したように、第４実施形態に係る決済システム１０では、顧客の視線方向に基づいて、顧客の決済意思が判定される。このようにすれば、顧客が装置に触れて操作を行わずとも、決済意思を判定することができる。よって、例えば商品を持っていることで顧客の手がふさがっている場合であっても、適切に決済意思を判定することが可能となる。
　＜第５実施形態＞
　第５実施形態に係る決済システム１０について、図１６から図１８を参照して説明する。なお、第５実施形態は、上述した第４実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図１６を参照しながら、第５実施形態に係る決済システム１０の機能的構成について説明する。図１６は、第５実施形態に係る決済システムの機能的構成を示すブロック図である。なお、図１６では、図１４で示した構成要素と同様の要素に同一の符号を付している。
　図１６に示すように、第５実施形態に係る決済システム１０は、その機能を実現するための処理ブロックとして、商品読取部１１０と、商品情報取得部１２０と、確認情報出力部１３０と、入力受付部１４０と、顔画像取得部１５０と、虹彩画像取得部１６０と、決済処理部１７０とを備えて構成されている。第５実施形態に係る入力受付部１４０は、第４実施形態と同様に、視線方向推定部１４１を備えている。そして第５実施形態では特に、確認情報出力部１３０が、注視領域表示部１３１を備えている。
　注視領域表示部１３１は、顧客に決済意思を確認するための確認情報として、注視領域を表示可能に構成されている。注視領域表示部１３１は、例えば出力装置１６（図１参照）であるディスプレイ等に注視領域を表示すればよい。注視領域は、顧客に視線方向の移動を促すために表示される領域である。注視領域は、決済意思に対応する少なくとも１つの領域として表示されればよいが、複数の注視領域が表示されてもよい。例えば、決済意思がある場合の視線方向に対応する１つの注視領域のみが表示されてもよいし、決済意思がある場合の視線方向に対応する第１の注視領域と、決済意思がない場合の視線方向に対応する第２の注視領域とが表示されてもよい。
　（注視領域の表示例）
　次に、図１７及び図１８を参照しながら、上述した注視領域表示部１３１による注視領域の表示例について具体的に説明する。図１７は、注視領域の表示例を示す概念図である。図１８は、カメラの位置を考慮した注視領域の表示例を示す概念図である。
　図１７（ａ）に示すように、注視領域は、ディスプレイの左半分及び右半分の領域として表示されてよい。具体的には、ディスプレイの左半分は、決済意思がある場合の視線方向に対応する領域であり、顧客が画面の左半分を見ると（即ち、視線を左方向に振ると）、決済意思があるという入力が受け付けられることになる。一方、ディスプレイの右半分は、決済意思がない場合の視線方向に対応する領域であり、顧客が画面の右半分を見ると（即ち、視線を右方向に振ると）、決済意思がないという入力が受け付けられることになる。図１７（ｂ）に示すように、注視領域はディスプレイの一部に表示されるものであってもよい。具体的には、ボタンのような領域として表示されてもよい。
　図１８に示すように、注視領域の表示位置は、カメラ２０の位置によって決定されてもよい。具体的には、ディスプレイにおけるカメラ２０に近い側に表示されてもよい。例えば、図１８（ａ）に示す例では、カメラ２０がディスプレイの下側に配置されている。このような場合、注視領域は、ディスプレイの下側に配置されてよい。一方、図１８（ｂ）に示す例では、カメラ２０がディスプレイの上側に配置されている。このような場合、注視領域は、ディスプレイの上側に配置されてよい。上述したように注視領域を配置することで、カメラ２０で撮像した画像から、視線方向を判定しやすくなる。具体的には、注視領域を注視した場合に、カメラ２０に対する視線位置の角度がより大きくなるため、視線方向が右側によっているか又は左側によっているかを判定しやすくなる。
　（技術的効果）
　次に、第５実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図１６から図１８で説明したように、第５実施形態に係る決済システム１０では、顧客の決済意思を確認するための注視領域が表示される。このようにすれば、顧客に注視領域を見るように促すことができるため、顧客の視線方向から適切に決済意思を判定することが可能となる。 
　＜第６実施形態＞
　第６実施形態に係る決済システム１０について、図１９及び図２０を参照して説明する。なお、第６実施形態は、上述した第５実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第５実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図１９を参照しながら、第６実施形態に係る決済システム１０の機能的構成について説明する。図１９は、第６実施形態に係る決済システムの機能的構成を示すブロック図である。なお、図１９では、図１６で示した構成要素と同様の要素に同一の符号を付している。
　図１９に示すように、第６実施形態に係る決済システム１０は、その機能を実現するための処理ブロックとして、商品読取部１１０と、商品情報取得部１２０と、確認情報出力部１３０と、入力受付部１４０と、顔画像取得部１５０と、虹彩画像取得部１６０と、決済処理部１７０とを備えて構成されている。第６実施形態に係る入力受付部１４０は、第４及び第５実施形態と同様に、視線方向推定部１４１を備えている。そして第６実施形態では特に、確認情報出力部１３０が、第５実施形態で説明した注視領域表示部１３１に加えて、枠表示部１３２を更に備えている。
　枠表示部１３２は、顧客が注視領域を注視している時間に応じて、注視領域の外側から注視領域の輪郭に向けて徐々に収束する枠を表示可能に構成されている。枠表示部１３２は、例えば顧客の視線方向が１つの注視領域に向いていると判断できたタイミングで、枠の表示を開始してよい。枠表示部１３２は、枠の大きさが注視領域の輪郭と同じになった（重なった）タイミングで、枠の表示を終了してもよいし、注視領域の輪郭と同じ大きさになった（重なった）枠をそのまま表示し続けてもよい。なお、枠が収束するスピードは予め設定された値であってもよいし、顧客の視線方向に応じて変化する値であってもよい。例えば、顧客が注視領域の方向に大きく視線を振っている場合は比較的早く枠が収束するようにし、顧客が注視領域の方向に小さく視線を振っている場合は比較的遅く枠が収束するようにしてもよい。また、枠を動かす速度は一定でなくてもよく、途中で変えてもよい。例えば、収束のし始めは枠を早く動かし、注視領域に近づくにつれ、動かす速度を下げるようにしてもよい。これにより、注視領域を素早く認知させることができるとともに、注視領域をしばらく安定して注視し続ける必要があることを顧客に効果的に印象付けることができる。
　（枠の表示例）
　次に、図２０を参照しながら、上述した枠表示部１３２による枠の表示例について具体的に説明する。図２０は、注視領域に徐々に収束する枠の表示例を示す概念図である。
　図２０に示す例では、ディスプレイの中央付近に商品や決済に関する情報（例えば、読み取った商品の名称、個数、価格等）が表示されている。また、ディスプレイの左下には、決済意思がない場合に注視することになる「中止」というボタンが表示されている。ディスプレイの右下には、決済意思がある場合に注視することになる「支払い」というボタンが表示されている。すなわち、この場合は、ボタンが注視領域となる。このような状況において、顧客が支払いボタンを注視すると、まず支払いボタンより外側に支払いボタンより大きな枠が表示される。そして、顧客が支払いボタンを注視し続けると、枠は徐々に支払いボタンに向けて収束していく。即ち、顧客が支払いボタンを注視し続けている間は、枠が支払いボタンに向けて小さくなっていく。そして、支払いボタンの輪郭に重なった状態で止まり、枠を一定時間表示し続ける。なお、顧客が途中で視線方向を変えた場合、枠の表示は中止されてよい。また、顧客の視線方向が別の注視領域にうつった場合には、別の注視領域の外側に新たに枠を表示してもよい。例えば、支払いボタンを注視し続けていた顧客が、途中で中止ボタンを注視するようになった場合、支払いボタン側に表示されていた枠は消え、新たに中止ボタン側に枠が表示されてよい。なお、顧客が途中で視線方向を変えた場合、枠が元の大きさに向けて徐々に大きくなってもよい。さらにこの場合、再度支払いボタンに視線方向が戻ったら、視線方向が戻ったタイミングで大きくなることを中止し、再度支払いボタンに向けて枠が徐々に小さくなってもよい。また、枠の色は、支払いボタンを注視した場合と、中止ボタンを注視した場合とで変えてもよい。例えば、支払いボタン側を注視した場合は緑色で枠を表示し、中止ボタン側を注視した場合はオレンジ色で枠を表示してもよい。
　なお、当該実施形態の表示は、図１５のＳ１０４の決済意思確認の際に表示されてもよいし、ステップＳ１０７：ＹＥＳとステップＳ１０８の間で、決済処理を実行するか否かを示す情報を出力する場合に表示してもよい。
　（技術的効果）
　次に、第６実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図１９及び図２０で説明したように、第６実施形態に係る決済システム１０では、注視領域に徐々に収束する枠がされる。注視している領域側に枠を表示すれば、どのように視線方向が認識されているのかを顧客自身が知ることができる。また、枠が徐々に注視領域の輪郭に向けて収束していくことにより、顧客の視線がより注視領域に向けられることになる。例えば、最初は注視領域側に視線方向を小さく振っていた場合でも、枠が徐々に収束することで、注視領域側に視線方向を大きく振るように誘導することができる。よって、顧客の視線方向をより適切に判定することが可能となる。 
　＜第７実施形態＞
　第７実施形態に係る決済システム１０について、図２１及び図２２を参照して説明する。なお、第７実施形態は、上述した第５及び第６実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第６実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図２１を参照しながら、第７実施形態に係る決済システム１０の機能的構成について説明する。図２１は、第７実施形態に係る決済システムの機能的構成を示すブロック図である。なお、図２１では、図１６で示した構成要素と同様の要素に同一の符号を付している。
　図２１に示すように、第７実施形態に係る決済システム１０は、その機能を実現するための処理ブロックとして、商品読取部１１０と、商品情報取得部１２０と、確認情報出力部１３０と、入力受付部１４０と、顔画像取得部１５０と、虹彩画像取得部１６０と、決済処理部１７０とを備えて構成されている。第７実施形態に係る入力受付部１４０は、第４から第６実施形態と同様に、視線方向推定部１４１を備えている。そして第７実施形態では特に、確認情報出力部１３０が、第５実施形態で説明した注視領域表示部１３１に加えて、領域色変更部１３３を更に備えている。
　領域色変更部１３３は、顧客が注視領域を注視している時間に応じて、画面の外側（言い換えれば、他の注視領域とは反対側）に向けて、注視領域の色を徐々に変更可能に構成されている。なお、変更後の色は、色が変わっていることが顧客にとって認識しやすい色であることが好ましい。変更後の色は、例えば赤や黄色等の目立つ色であってもよいし、変更前の色の補色等であってもよい。領域色変更部１３３は、例えば顧客の視線方向が１つの注視領域に向いていると判断できたタイミングで、注視領域の色変更を開始してよい。なお、注視領域の色を変更するスピードは予め設定された値であってもよいし、顧客の視線方向に応じて変化する値であってもよい。例えば、顧客が注視領域の方向に大きく視線を振っている場合は比較的早く色が変化するようにし、顧客が注視領域の方向に小さく視線を振っている場合は比較的遅く色が変化するようにしてもよい。また、色を変化させる速度は一定でなくてもよく、途中で変えてもよい。例えば、最初は色を変更するスピードを大きめにしておき、徐々に変更するスピードを下げるようにしてもよい。これにより、注視領域を素早く認知させることができるとともに、注視領域をしばらく安定して注視し続ける必要があることを顧客に効果的に印象付けることができる。
　（色変更の例）
　次に、図２２を参照しながら、上述した領域色変更部１３３による注視領域の色変更について具体的に説明する。図２２は、注視領域の色を画面外側に向けて徐々に変化させる表示例を示す概念図である。
　図２２に示す例では、図２０と同様に、ディスプレイの中央付近に商品や決済に関する情報（例えば、読み取った商品の名称、個数、価格等）が表示されている。また、ディスプレイの左下には、決済意思がない場合に注視することになる「中止」というボタンが表示されている。ディスプレイの右下には、決済意思がある場合に注視することになる「支払い」というボタンが表示されている。このような状況において、顧客が支払いボタンを注視すると、支払いボタンの画面内側部分（即ち、支払いボタンの左端部分）から徐々に注視領域の色が変更される。そして、顧客が支払いボタンを注視し続けると、画面外側に向けて注視領域の色が変化していき、最終的には支払いボタン全部の色が変更される。即ち、顧客が支払いボタンを注視し続けることで、メータが貯まっていくような表示が行われることになる。なお、顧客が途中で視線方向を変えた場合、色の変更は中止されてよい。色の変更が中止された場合、注視領域の色は変更前の色に戻ってもよい。また、顧客の視線方向が別の注視領域にうつった場合には、別の注視領域の色が変更されてよい。例えば、支払いボタンを注視し続けていた顧客が、途中で中止ボタンを注視するようになった場合、支払いボタンは元の色に戻り、新たに中止ボタンの色変更が開始されてよい。なお、顧客が途中で視線方向を変えた場合、画面内側に向けて注視領域の色が変更するようにしてもよい。さらにこの場合、再度支払いボタンに視線方向が戻ったら、視線方向が戻ったタイミングで内側に向けて色が変更することを中止し、再度外側に向けて色が変更されてもよい。また、変更する色は、支払いボタンを注視した場合と、中止ボタンを注視した場合とで変えてもよい。例えば、支払いボタン側を注視した場合は緑色に変更するようにし、中止ボタン側を注視した場合はオレンジ色に変更するようにしてもよい。
　なお、上述した注視領域の色変更は、第６実施形態で説明した枠表示（図２０参照）と組み合わせて実行されてもよい。例えば、枠表示部１３２によって表示される枠が注視領域に収束した後に、領域色変更部１３３による色変更が開始されてよい。
　なお、当該実施形態の表示は、図１５のＳ１０４の決済意思確認の際に表示されてもよいし、ステップＳ１０７：ＹＥＳとステップＳ１０８の間で、決済処理を実行するか否かを示す情報を出力する場合に表示してもよい。
　（技術的効果）
　次に、第７実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図２１及び図２２で説明したように、第７実施形態に係る決済システム１０では、第６実施形態に係る決済システム１０では、注視領域の色が画面外側に向けて徐々に変更される。このようすれば、顧客の視線がより画面外側（言い換えれば、他の注視領域とは反対側）に向けられることになる。例えば、最初は注視領域側に視線方向を小さく振っていた場合でも、注視領域の色が徐々に変化することで、注視領域側に視線方向を大きく振るように誘導することができる。よって、顧客の視線方向をより適切に判定することが可能となる。 
　＜第８実施形態＞
　第８実施形態に係る決済システム１０について、図２３及び図２４を参照して説明する。なお、第８実施形態に係る決済システム１０は、上述した第１から第７実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第７実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図２３を参照しながら、第８実施形態に係る決済システム１０の機能的構成について説明する。図２３は、第８実施形態に係る決済システムの機能的構成を示すブロック図である。なお、図２３では、図２で示した構成要素と同様の要素に同一の符号を付している。
　図２３に示すように、第８実施形態に係る決済システム１０は、その機能を実現するための処理ブロックとして、商品読取部１１０と、商品情報取得部１２０と、確認情報出力部１３０と、入力受付部１４０と、顔画像取得部１５０と、虹彩画像取得部１６０と、決済処理部１７０と、生体判定部１８０とを備えて構成されている。即ち、第８実施形態に係る決済システム１０は、第１実施形態の構成（図２参照）に加えて、生体判定部１８０を更に備えている。生体判定部１８０は、例えば上述したプロセッサ１１（図１参照）において実現されてよい。
　生体判定部１８０は、虹彩画像取得部１６０で取得された虹彩画像から推定した顧客の視線の動きに基づいて、顧客の生体らしさを判定可能に構成されている。ここでの「生体らしさ」とは、顧客が生体である可能性を示す度合いである。生体判定部１８０は、顧客の視線の動きが生体と同様の動き（言い換えれば、なりすましでは再現できないような動き）であるか否かによって、生体らしさを判定してもよい。また、生体判定部１８０は、顧客の視線の動きに加えて、他の情報（例えば、顧客の顔画像から得られる情報等）を用いて、生体判定を行ってもよい。生体判定部１８０の判定結果は、決済処理部１７０に出力される構成となっている。
　第８実施形態に係る決済処理部１７０は、生体判定部１８０における判定結果（即ち、顧客の生体らしさ）に基づいて、認証処理の態様を変更するように構成されている。具体的には、決済処理部１７０は、生体らしさが所定閾値よりも高いか否かによって、認証処理の態様を変更するように構成されている。ここでの「所定閾値」は、顧客が生体である（例えば、なりすましでない）と判定できる程度に生体らしさ高いか否かを判定するための閾値であり、事前の実験やシミュレーション等によって適切な値を求めて、予め設定しておけばよい。生体らしさに応じた認証処理の変化については、以下で詳しく説明する。
　（動作の流れ）
　次に、図２４を参照しながら、第８実施形態に係る決済システム１０の動作の流れについて説明する。図２４は、第８実施形態に係る決済システムの動作の流れを示すフローチャートである。なお、図２４では、図３に示した処理と同様の処理に同一の符号を付している。
　図２４に示すように、第８実施形態に係る決済システム１０が動作する際には、まず商品読取部１１０が商品を読み取る（ステップＳ１０１）。そして、商品情報取得部１２０が、商品読取部１１０で読み取った商品の商品情報を取得する（ステップＳ１０２）。
　続いて、確認情報出力部１３０が、決済の意思を確認するための確認情報を出力する（ステップＳ１０３）。そして、入力受付部１４０は、顧客からの入力に基づいて、顧客に生体認証を用いた決済の意思があるか否かを判定する（ステップＳ１０４）。
　顧客に生体認証を用いた決済の意思がないと判定された場合（ステップＳ１０４：ＮＯ）、一連の処理は終了する。一方で、顧客に生体認証を用いた決済の意思があると判定された場合（ステップＳ１０４：ＹＥＳ）、顔画像取得部１５０が顧客の顔画像を取得する（ステップＳ１０５）。また、虹彩画像取得部１６０が顧客の虹彩画像を取得する（ステップＳ１０６）。
　ここで特に、生体判定部１８０が、虹彩画像から推定される視線の動きに基づいて、顧客の生体らしさを判定する（ステップＳ８０１）。そして、顧客の生体らしさが所定閾値よりも高い場合（ステップＳ８０１：ＹＥＳ）、決済処理部１７０は、顔画像取得部１５０で取得された顔画像に基づいて認証を行う（ステップＳ８０２）。一方で、顧客の生体らしさが所定閾値よりも低い場合（ステップＳ８０１：ＮＯ）、決済処理部１７０は、顔画像取得部１５０で取得された顔画像及び虹彩画像取得部１６０で取得された虹彩画像に基づいて認証を行う（ステップＳ８０３）。
　ステップＳ８０２（即ち、顔認証のみ）、又はステップＳ８０３（即ち、顔認証及び虹彩認証）の結果、顧客の認証が成功しなかった場合（ステップＳ１０７：ＮＯ）、一連の処理は終了する。一方で、顧客の認証が成功した場合（ステップＳ１０７：ＹＥＳ）、決済処理部１７０は、商品情報を用いて商品の決済処理を実行する（ステップＳ１０８）。なお、この図ではステップＳ８０２で顔認証を用いる場合について述べたが、顔認証のかわりに虹彩認証を行うようにしてもよい。
　（技術的効果）
　次に、第８実施形態に係る決済システム１０によって得られる技術的効果について説明する。
　図２３及び図２４で説明したように、第８実施形態に係る決済システム１０では、顧客の視線方向に基づく生体判定が行われ、その判定結果に応じて異なる認証処理が実行される。このようにすれば、顧客の生体らしさが高い場合には、認証処理を簡略化して処理負荷を減らしつつ決済処理を実行することが可能となる。また、顧客の生体らしさが低い場合には、より厳重な認証処理を実行して、なりすまし等による不正な決済処理が実行されてしまうことを防止できる。
　＜その他の表示例＞
　上述した第１から第８実施形態に係る決済システム１０に適用可能な他の表示例について、図２５から図２８を参照して説明する。図２５は、決済意思の最終確認をする際の表示例を示す概念図である。図２６は、顧客とカメラとの距離を適正範囲にする際の表示例を示す概念図である。図２７は、虹彩認証する際の視線方向を通知するための表示例を示す概念図である。図２８は、装着物の取り外しを促すための表示例を示す概念図である。図２９は、目を開くように通知するための表示例を示す概念図である。
　図２５に示すように、本実施形態に係る決済システム１０は、注視領域を表示して顧客の決済意思を確認した後、実際に決済処理を実行する前に、再び決済意思を確認するようにしてもよい。この場合、最終的な決済意思を確認する際にも、最初に決済意思を確認した際と同様に注視領域を表示してよい。そして特に、最終的な決済意思を確認する際の注視領域は、最初に決済意思を確認した際と比べて、各領域の位置が反対になるように表示されてよい。図２５に示す例では、最初の決済意思を確認する際に、「はい（即ち、決済意思あり）」のボタンが左側、「いいえ（即ち、決済意思なし）」のボタンが右側に表示されている。そして、最終的な決済意思を確認する際には、「はい（即ち、決済意思あり）」のボタンが右側、「いいえ（即ち、決済意思なし）」のボタンが左側に表示されている。このようにすれば、顧客は決済意思の確認が求められる度に視線方向を動かすことになり、例えばなんとなく視線方向を変えないままでいる場合には、決済処理が実行されない。よって、顧客の意思に反した決済が行われてしまうことを効果的に抑制できる。
　なお、最終的に決済意思を確認する際には、最初に決済意思を確認した際とは別の方法（即ち、視線方向以外で）確認が行われてよい。例えば、最終的に決済意思を確認する際には、首を縦に振る又は横に振る（或いは、首をよこにかしげる）ことで、決済意思が確認されてよい。この場合は、顔カメラ２２０により顔の位置に加えて顔の向きを検出し、その向きが時系列にどのように変化したかを判定することによって、動作を判定する。
　図２６に示すように、顔カメラ２２０で顧客の顔画像を撮像する場合、顔カメラ２２０と顧客との距離を適正にするための表示が行われてよい。具体的には、顧客の現在位置と適正範囲との関係を示すインジゲータが表示されてよい。インジケータには、顧客とカメラとの距離を推定した結果が示されており、上側に行くほど距離が小さく、下側に行くほど距離が大きいことを示している。そして、インジケータ内で推定した距離に相当する部分が強調表示される（例えば明るくなったり、横幅が少し広くなったり、点滅したりする）ようになっている。例えば、図２６（ａ）に示す例では、顔カメラ２２０と顧客とが近づきすぎて、顔を収めるべき枠から顧客の顔がはみ出てしまっている。このような場合には、インジゲータの現在位置を示す表示が、適正範囲よりも上側に表示される。また、顧客に対して「下がってください」というメッセージが表示されてもよい。図２６（ｂ）に示す例では、顔カメラ２２０と顧客とが離れすぎて、顔を収めるべき枠よりも顧客の顔がかなり小さくなってしまっている。このような場合には、インジゲータの現在位置を示す表示が、適正範囲よりも下側に表示される。また、顧客に対して「近づいてください」というメッセージが表示されてもよい。図２６（ｃ）に示す例では、顔カメラ２２０と顧客とが適正範囲にあるため、顔を収めるべき枠に顧客の顔がちょうど収まっている。このような場合には、インジゲータの現在位置を示す表示が、適正範囲内に表示される。また、顧客に対して「その位置をキープしてください」というメッセージが表示されてもよい。このような表示を行えば、顧客に対して立ち位置の移動を促し、適切な距離で顔画像の撮像を行うことが可能となる。なお、インジケータの色は適正範囲かそれ以外かで色を変えるようにしてもよい。例えば、適正範囲では緑色でインジケータを表示し、それ以外ではオレンジ色でインジケータを表示するようにしてもよい。
　なお、顧客とカメラの距離は、距離センサを用いて測定してもよいし、カメラによって撮影された画像から推定するようになっていてもよい。後者の場合には、顔の特徴点間の距離や部分領域の大きさに基づいて推定するようになっていてもよい。例えば、目間距離に基づいて、カメラと顧客の距離を推定するようになっていてもよいし、検知された虹彩の大きさからカメラと顧客の距離を推定するようになっていてもよい。
　図２７に示すように、虹彩カメラ２１０で顧客の虹彩画像を撮像する場合、顧客の視線方向を適正に誘導するための表示が行われてもよい。具体的には、顧客が注視すべき方向を示すマーク（例えば、図中の二重円のようなマーク）が表示されてよい。ここで、二重円は、サイズが大きくなったり、小さくなったり、周期的に変動（振動）するようになっている。これにより、顧客の視線をその方向に向けさせることができる。また、マークに加えて、「ここを見てください」等のメッセージが表示されてもよい。このようにすれば、視線方向を適正方向に移動させ、そのまま視線方向を固定することを顧客に対して促すことができる。よって、適切な虹彩画像を撮像することが可能となる。また、視線の向きに応じてサイズを振動させる速度を変化させてもよい。例えば、視線が二重円の中央に近いほど速度を緩め、ずれている場合には振動させる速度を速めるようにしてもよい。これにより、視線の向きが適正かどうか、顧客にフィードバックすることができ、より適正な方向に視線を誘導することができる。あるいは、顧客と虹彩カメラ２１０との距離に応じて速度を変えてもよい。すなわち、距離が近すぎたり、遠すぎたりする場合には、振動させる速度を速めるようにし、適正な場合は振動させる速度を遅くしてもよい。これにより、カメラとの距離が適正かどうか、顧客にフィードバックすることができ、より適正な位置で虹彩を撮影できるようになる。
　図２８に示すように、顧客の顔画像又は虹彩画像を撮像する際には、顧客に装着物を取り外すように促す表示が行われてよい。例えば、図２８（ａ）に示すように、顧客に対して眼鏡を外すことを促すメッセージ及び画像が表示されてよい。図２８（ｂ）に示すように、顧客に対してサングラスを外すことを促すメッセージ及び画像が表示されてよい。図２８（ｃ）に示すように、顧客に対してマスクを外すことを促すメッセージ及び画像が表示されてよい。このような表示は、顧客の画像を撮像する際に常に実行されるようにしてもよいし、顧客の画像から該当する装着物が検出された場合にのみ実行されるようにしてもよい。装着物の取り外しを促すことにより、顔認証や虹彩認証を実行しやすい画像を取得することが可能となる。
　図２９に示すように、虹彩カメラ２１０で顧客の虹彩画像を撮像する場合、顧客に対して目を開くよう促すための表示が行われてもよい。具体的には、閉じていた目が少しずつ開いていくようなアニメーションが表示されてもよい。この際、最初の半分だけ開いた状態の絵で少し停止させた後、段階的に目を開いた状態のアニメーションに移行する。目を開いた状態のアニメーションでは目を開く速度を加速するようにし、最大の状態になったところで停止する。これにより、顧客に対し、目を開くことをより効果的に意識づけることができる。また、このようなアニメーションに加えて、「目をよく開いてください」等のメッセージが表示されてもよい。このような表示を行えば、顧客に対して目をしっかりと開くように意識させることができ、適切な虹彩画像を撮像することが可能となる。なお、目を段階的に開くアニメーションの速度を、検知された目の開き具合によって変えるようにしてもよい。例えば、目の開き度合いを判定する方式によって目の開き具合が小さいと判定された場合には、目を開くアニメーションの速度を上げることによって、より目を開くことを強調させるようにしてもよい。また、アニメーションは繰り返し表示するようにしてよい。例えば、虹彩を取得して照合している間、複数回繰り返すことによって、より目を開くように顧客を誘導することが可能となる。
　＜カメラの変形例＞
　第２実施形態で詳しく説明したカメラ２０の変形例について、図３０を参照して説明する。図３０は、カメラの変形例を示す概略図である。なお、図３０では、図９で示した構成要素と同様のものに同一の符号を付している。
　図３０に示すように、カメラ２０は、スキャナ３００を備えて構成されてよい。スキャナ３００は、商品を読み取り可能なスキャナであり、例えばバーコードスキャナとして構成されている。この場合、例えばカメラ２０の下部に商品を配置すると、スキャナ３００によって商品の読み取りが実行される。この際、スキャナ３００による商品の読み取りが適切に行えるように、駆動制御部２９０によってカメラ２０が駆動されてもよい（すなわち、スキャナ３００による走査位置が変化するような駆動が行われてもよい）。なお、スキャナ３００は商品に添付、または貼り付けられている電子タグを読み取るスキャナでもよい。
　＜決済に関する表示例＞
　決済における表示例について、図３１から図３５を参照して説明する。図３１は、キャンセルボタンの表示例を示す概念図である。図３２は、キャンセル後の表示例を示す概念図である。図３３は、個数変更ボタンの表示例を示す概念図である。図３４は、金額変更ボタンの表示例を示す概念図である。図３５は、年齢確認が必要な商品がある場合の表示例を示す概念図である。
　図３１に示すように、読み取った商品を示す商品情報の横には、「キャンセル」ボタン（購入を取り消すボタン）が表示されてもよい。この場合、例えば、顧客がキャンセルボタンを注視すると、第７実施形態で説明したように（図２２参照）、キャンセルボタンの色が徐々に変わっていく。そして、キャンセルボタンの色がすべて変化すると、その商品の購入がキャンセルされる。キャンセルされた商品については、商品一覧から削除される。
　図３２（ａ）に示すように、キャンセルされた商品は、削除されずにグレーアウトされてよい。グレーアウトされる場合、キャンセルボタンの代わりに「再購入（キャンセル取り消し）」ボタンが表示されてよい。再購入ボタンは、上述したキャンセルボタンと同様に顧客が注視することで、キャンセルを取り消すことができる（再び購入可能な状態に戻すことができる）。なお、再購入ボタンについても、キャンセルボタンと同様に、色が徐々に変化するような表示を行ってもよい。
　図３２（ｂ）に示すように、商品がキャンセルされた場合には、キャンセル後の合計金額に加えて、キャンセル前の合計金額が表示されてもよい。すなわち、キャンセル前後の合計金額を並べて表示し、比較できるようにしてもよい。あるいは、キャンセル後の合計金額に加えて、キャンセル前との差額を表示するようにしてもよい。
　図３３に示すように、自動販売機等の決済後に商品を自動で受け取れるようなシステムの場合（自動販売機自体に決済端末が組み込まれていてもよいし、自動販売機の横に決済端末が設置されていてもよい）、購入しようとしている商品の横に「個数変更」ボタンを表示してもよい。個数変更ボタンは、顧客が注視することで、商品の個数を変更することができるボタンである。具体的には、顧客が個数変更ボタンを注視すると、上述したキャンセルボタンと同様に、個数変更ボタンの色が徐々に変わっていく。そして、個数変更ボタンの色がすべて変化すると、数量の欄の表示が変更（例えば、数字が点滅、数字の背景色が変わる、空欄になる、等）され、数量が変更可能となったことを顧客に知らせる。この状態で、顧客が数量を変更する動作を行うと、商品の数量が変更される。例えば、図３３に示す例のように、数字の左右に矢印を表示した場合、右の矢印を注視すると数量が増加し、左の矢印を注視すると数量が減少する。なお、この矢印は、キャンセルボタンの色が変化し終わると同時に表示されてもよいし、図３３に示すようにキャンセルボタンの色が変化し終わり、数量の欄が変更可能になってから所定時間経過後（例えば、１秒経過後）に矢印の表示を開始してもよい。あるいは、数量の欄を注視し続けると、１秒ごとに数量が１→２→３と変わるようにしてもよい。あるいは、右目で瞬きすると瞬き１回ごとに数量が１増加し、左目で瞬きすると瞬き１回ごとに数量が１減少するようにしてもよい。あるいは、首を右に振ると１回振るごとに数量が１増加し、首を左に振ると１回振るごとに数量が１減少するようにしてもよい。また、上記の数量の欄を注視し続ける場合と、瞬きする場合と、首を振る場合は、数量の欄の左右の矢印を表示しなくてもよい。瞬きや首を振る動作は、上記と左右が逆（右目で瞬きすると瞬き１回ごとに数量が１減少し、左目で瞬きすると瞬き１回ごとに数量が１増加する。あるいは、首を右に振ると１回振るごとに数量が１減少し、首を左に振ると１回振るごとに数量が１増加する）でもよい。なお、数量変更中は、個数変更ボタンが「確定」ボタンに変化してよい。この場合、数量を変更後、顧客が確定ボタンを注視すると、変更した数量が確定し、合計金額が変更される（なお、合計金額は、数量を変更するたびに変更されてもよい）。
　図３４（ａ）に示すように、読み取った商品情報を示す画面上には、「金額変更」ボタンが表示されてよい。金額変更ボタンは、読み取った商品情報に齟齬がある場合（例えば読み取った商品と表示される商品名とに齟齬がある場合、チラシや店内の値札に表示されている金額と表示されている金額とに齟齬がある場合等）に使用するボタンであり、顧客が注視することで金額の変更を要求することができる。顧客から金額の変更が要求されると、係員（店員等）に呼び出しをかける処理が実行される。この際、図３５（ｂ）に示すように「係員を呼び出しています。しばらくお待ち下さい」等のメッセージが表示されてよい。
　図３５（ａ）に示すように、年齢確認が必要な商品を購入する場合、商品を読み取った際に、年齢確認が必要なことが分かるような表示を行ってもよい。具体的には、決済画面で年齢確認の「不要／未／済」を表示してよい。この際、顧客に対して、年齢を確認する動作を促す通知を行ってもよい。例えば、図３５（ａ）の例に示すように「年齢確認が必要な商品があります。カメラに身分証をかざしてください」等の表示を行ってよい。
　図３５（ｂ）に示すように、顧客の年齢確認が完了すると、表示されていた「未」が「済」に変更される。この際、「年齢確認が正常に完了しました」等のメッセージを表示してもよい。なお、年齢確認が「未」の商品がある場合には、決済処理が行えないようにしてもよい。例えば、支払いボタン（図２０や図２２等を参照）への入力を不可（受け付けなくする、ボタンを非表示にする、グレーアウトする等）としてもよい。
　なお、図３１から図３５で説明した表示は、あくまで一例である。よって、上述した各ボタンの配置位置やサイズ等については、特に限定されるものではない。なお、これらのボタンは、１種類のみの表示だけではなく、複数種類を組みわせて表示してもよい。
　上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う決済システム、決済方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。
　＜付記＞
　以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　付記１に記載の決済システムは、商品を読み取る商品読取手段と、読み取った前記商品に関する商品情報を取得する商品情報取得手段と、前記商品の決済の意思を顧客に確認するための確認情報を出力する確認情報出力手段と、前記確認情報に対する前記顧客からの入力を受け付ける受付手段と、前記顧客の顔画像を取得する顔取得手段と、前記顧客の虹彩画像を取得する虹彩取得手段と、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する決済処理手段とを備えることを特徴とする決済システムである。
　（付記２）
　付記２に記載の決済システムは、前記顔取得手段及び前記虹彩取得手段は、一体的に駆動する顔カメラ及び虹彩カメラから、前記顔画像及び前記虹彩画像を取得することを特徴とする付記１に記載の決済システムである。
　（付記３）
　付記３に記載の決済システムは、前記商品読取手段は、前記顔取得手段が前記顔画像を取得する顔カメラを用いて前記商品を読み取り、前記顔カメラは、前記商品を読み取る際に少なくとも１方向に駆動して撮像範囲を変更することを特徴とする付記１又は２に記載の決済システムである。
　（付記４）
　前記推定手段は、前記受付手段は、前記顔画像及び前記虹彩画像の少なくとも一方から推定した前記顧客の視線方向に基づいて、前記顧客からの入力を受け付けることを特徴とする付記１から３のいずれか一項に記載の決済システムである。
　（付記５）
　付記５に記載の決済システムは、前記確認情報出力手段は、前記決済の意思に対応する少なくとも１つの注視領域を表示させ、前記受付手段は、前記顧客が注視している前記注視領域に対応する情報を、前記顧客からの入力として受け付けることを特徴とする付記４に記載の決済システムである。
　（付記６）
　付記６に記載の決済システムは、前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の外側から前記注視領域に向けて徐々に収束する枠を表示させることを特徴とする付記５に記載の決済システムである。
　（付記７）
　付記７に記載の決済システムは、前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の色を画面外側に向けて徐々に変化させることを特徴とする付記５又は６に記載の決済システムである。
　（付記８）
　付記８に記載の決済システムは、前記虹彩画像から推定した前記顧客の視線の動きに基づいて、前記顧客の生体らしさを判定する生体判定手段を更に備え、前記決済処理手段は、前記生体らしさが所定閾値より高い場合には、前記顔画像に基づいて前記決済処理を実行するか否かを判定し、前記生体らしさが前記所定閾値より低い場合には、前記顔画像及び前記虹彩画像に基づいて前記決済処理を実行するか否かを判定することを特徴とする請求項１から７のいずれか一項に記載の決済システムである。
　（付記９）
　付記９に記載の決済方法は、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行することを特徴とする決済方法である。
　（付記１０）
　付記１０に記載のコンピュータプログラムは、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
　（付記１１）
　付記１１に記載の記録媒体は、付記１０に記載のコンピュータプログラムを記録していることを特徴とする記録媒体である。
　１０　決済システム
　１１　プロセッサ
　２０　カメラ
　１１０　商品読取部
　１２０　商品情報取得部
　１３０　確認情報出力部
　１３１　注視領域表示部
　１３２　枠表示部
　１３３　領域色変更部
　１４０　入力受付部
　１４１　視線方向推定部
　１５０　顔画像取得部
　１６０　虹彩画像取得部
　１７０　決済処理部
　１８０　生体判定部
　２１０　虹彩カメラ
　２２０　顔カメラ
　２２５　カメラユニット
　２３０　照明部
　２３５　可視光フィルタ
　２５０　保持部
　２６０　空冷ファン
　２７０　モータ
　２７５　固定部
　２８０　筐体
　２９０　駆動制御部
　３００　スキャナ

Claims (10)

  1. 　商品を読み取る商品読取手段と、
    　読み取った前記商品に関する商品情報を取得する商品情報取得手段と、
    　前記商品の決済の意思を顧客に確認するための確認情報を出力する確認情報出力手段と、
    　前記確認情報に対する前記顧客からの入力を受け付ける受付手段と、
    　前記顧客の顔画像を取得する顔取得手段と、
    　前記顧客の虹彩画像を取得する虹彩取得手段と、
    　前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する決済処理手段と
    　を備えることを特徴とする決済システム。
  2. 　前記顔取得手段及び前記虹彩取得手段は、一体的に駆動する顔カメラ及び虹彩カメラから、前記顔画像及び前記虹彩画像を取得することを特徴とする請求項１に記載の決済システム。
  3. 　前記商品読取手段は、前記顔取得手段が前記顔画像を取得する顔カメラを用いて前記商品を読み取り、
    　前記顔カメラは、前記商品を読み取る際に少なくとも１方向に駆動して撮像範囲を変更する
    　ことを特徴とする請求項１又は２に記載の決済システム。
  4. 　前記受付手段は、前記顔画像及び前記虹彩画像の少なくとも一方から推定した前記顧客の視線方向に基づいて、前記顧客からの入力を受け付けることを特徴とする請求項１から３のいずれか一項に記載の決済システム。
  5. 　前記確認情報出力手段は、前記決済の意思に対応する少なくとも１つの注視領域を表示させ、
    　前記受付手段は、前記顧客が注視している前記注視領域に対応する情報を、前記顧客からの入力として受け付ける
    　ことを特徴とする請求項４に記載の決済システム。
  6. 　前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の外側から前記注視領域に向けて徐々に収束する枠を表示させることを特徴とする請求項５に記載の決済システム。
  7. 　前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の色を画面外側に向けて徐々に変化させることを特徴とする請求項５又は６に記載の決済システム。
  8. 　前記虹彩画像から推定した前記顧客の視線の動きに基づいて、前記顧客の生体らしさを判定する生体判定手段を更に備え、
    　前記決済処理手段は、前記生体らしさが所定閾値より高い場合には、前記顔画像に基づいて前記決済処理を実行するか否かを判定し、前記生体らしさが前記所定閾値より低い場合には、前記顔画像及び前記虹彩画像に基づいて前記決済処理を実行するか否かを判定する
    　ことを特徴とする請求項１から７のいずれか一項に記載の決済システム。
  9. 　商品を読み取り、
    　読み取った前記商品に関する商品情報を取得し、
    　前記商品の決済の意思を顧客に確認するための確認情報を出力し、
    　前記確認情報に対する前記顧客からの入力を受け付け、
    　前記顧客の顔画像を取得し、
    　前記顧客の虹彩画像を取得し、
    　前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する
    　ことを特徴とする決済方法。
  10. 　商品を読み取り、
    　読み取った前記商品に関する商品情報を取得し、
    　前記商品の決済の意思を顧客に確認するための確認情報を出力し、
    　前記確認情報に対する前記顧客からの入力を受け付け、
    　前記顧客の顔画像を取得し、
    　前記顧客の虹彩画像を取得し、
    　前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する
    　ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
PCT/JP2021/008957 2021-03-08 2021-03-08 決済システム、決済方法、及びコンピュータプログラム WO2022190164A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/640,602 US20230196364A1 (en) 2021-03-08 2021-03-08 Payment system, payment method, and computer program
PCT/JP2021/008957 WO2022190164A1 (ja) 2021-03-08 2021-03-08 決済システム、決済方法、及びコンピュータプログラム
JP2023504886A JPWO2022190164A1 (ja) 2021-03-08 2021-03-08
EP21930023.3A EP4307196A4 (en) 2021-03-08 2021-03-08 PAYMENT SYSTEM, PAYMENT METHOD AND COMPUTER PROGRAM
CN202180095390.3A CN116997918A (zh) 2021-03-08 2021-03-08 支付系统、支付方法和计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008957 WO2022190164A1 (ja) 2021-03-08 2021-03-08 決済システム、決済方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2022190164A1 true WO2022190164A1 (ja) 2022-09-15

Family

ID=83227501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008957 WO2022190164A1 (ja) 2021-03-08 2021-03-08 決済システム、決済方法、及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20230196364A1 (ja)
EP (1) EP4307196A4 (ja)
JP (1) JPWO2022190164A1 (ja)
CN (1) CN116997918A (ja)
WO (1) WO2022190164A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230035711A1 (en) * 2021-07-31 2023-02-02 Qualcomm Incorporated Satellite signal environment determination and/or position estimate selection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2009104426A (ja) * 2007-10-24 2009-05-14 Advanced Telecommunication Research Institute International インタラクティブ看板システム
JP2009237643A (ja) 2008-03-26 2009-10-15 Nec Corp 認証システム、認証方法および認証用プログラム
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
JP2018010625A (ja) 2016-07-11 2018-01-18 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 複数の生体認証器を用いたユーザ認証方法及びその装置
US20200057847A1 (en) * 2017-03-10 2020-02-20 Crucialtec Co.Ltd Contactless multiple body part recognition method and multiple body part recognition device, using multiple biometric data
JP2020166642A (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090157481A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a cohort-linked avatar attribute
KR101542124B1 (ko) * 2011-04-13 2015-08-13 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 동적 광고 컨텐츠 선택
GB2497553B (en) * 2011-12-13 2018-05-16 Irisguard Inc Improvements relating to iris cameras
US20140002352A1 (en) * 2012-05-09 2014-01-02 Michal Jacob Eye tracking based selective accentuation of portions of a display
US9449221B2 (en) * 2014-03-25 2016-09-20 Wipro Limited System and method for determining the characteristics of human personality and providing real-time recommendations
CN105100633A (zh) * 2014-05-22 2015-11-25 宁波舜宇光电信息有限公司 虹膜识别应用中的补光方法及装置
US9741026B1 (en) * 2014-09-30 2017-08-22 Square, Inc. Payment by use of identifier
KR102460459B1 (ko) * 2015-02-27 2022-10-28 삼성전자주식회사 전자 장치를 이용한 카드 서비스 방법 및 장치
TWI607336B (zh) * 2015-07-08 2017-12-01 台灣色彩與影像科技股份有限公司 區域的監控方法
US10044712B2 (en) * 2016-05-31 2018-08-07 Microsoft Technology Licensing, Llc Authentication based on gaze and physiological response to stimuli
CN109376666B (zh) * 2018-10-29 2022-01-25 百度在线网络技术（北京）有限公司 一种商品售卖方法、装置、售卖机及存储介质
JP7445856B2 (ja) * 2019-09-30 2024-03-08 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識システムおよび物体認識方法
JP2021163235A (ja) * 2020-03-31 2021-10-11 富士通株式会社 情報処理方法、情報処理システム、情報処理装置及び情報処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2009104426A (ja) * 2007-10-24 2009-05-14 Advanced Telecommunication Research Institute International インタラクティブ看板システム
JP2009237643A (ja) 2008-03-26 2009-10-15 Nec Corp 認証システム、認証方法および認証用プログラム
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
JP2018010625A (ja) 2016-07-11 2018-01-18 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 複数の生体認証器を用いたユーザ認証方法及びその装置
US20200057847A1 (en) * 2017-03-10 2020-02-20 Crucialtec Co.Ltd Contactless multiple body part recognition method and multiple body part recognition device, using multiple biometric data
JP2020166642A (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OTSUNA, RYOMA: "High-precision biometric authentication technology that can authenticate face and iris with one action", RESEARCH AND DEVELOPMENT (R&D) - INTRODUCTION OF RESEARCH ACTIVITIES - TECHNOLOGY LIST, JP, pages 1 - 3, XP009539945, Retrieved from the Internet <URL:https://jpn.nec.com/rd/technologies/202004/index.html> [retrieved on 20210601] *
See also references of EP4307196A4
YAGI, DAISUKE; SHIMIZU, ATSUSHI; MATSUMOTO, KAZUNORI: "1K2-3 Research of Personal Authentication System using Gaze Data Mining", THE 30TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY OF ARTIFICIAL INTELLIGENCE (JSAI), vol. 30, 9 June 2016 (2016-06-09), pages 1 - 4, XP009540755 *

Also Published As

Publication number Publication date
EP4307196A4 (en) 2024-05-08
JPWO2022190164A1 (ja) 2022-09-15
CN116997918A (zh) 2023-11-03
US20230196364A1 (en) 2023-06-22
EP4307196A1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
JP5548042B2 (ja) ユーザ端末装置及びショッピングシステム
US11157606B2 (en) Facial recognition authentication system including path parameters
KR102441716B1 (ko) 경로 파라미터들을 포함하는 안면 인식 인증 시스템
JP3642336B2 (ja) 目画像撮像装置
JP2012022589A (ja) 商品選択支援方法
JP2020003873A (ja) 生体認証プログラム、生体認証方法
WO2022190164A1 (ja) 決済システム、決済方法、及びコンピュータプログラム
US20230073410A1 (en) Facial recognition and/or authentication system with monitored and/or controlled camera cycling
JP2018073265A (ja) 自動販売機、その制御方法、およびプログラム
WO2021245823A1 (ja) 情報取得装置、情報取得方法及び記憶媒体
WO2021090354A1 (ja) 虹彩認証装置及び虹彩認証方法
JP2024003669A (ja) プログラム、情報端末、システム
JP2015228096A (ja) 電子機器
JP2012113437A (ja) 自動券売機
WO2020261423A1 (ja) 認証システム、認証方法、制御装置、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930023

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023504886

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180095390.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021930023

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021930023

Country of ref document: EP

Effective date: 20231009