WO2021192102A1 - 認証制御装置、認証システム、認証制御方法及び記録媒体 - Google Patents

認証制御装置、認証システム、認証制御方法及び記録媒体 Download PDF

Info

Publication number
WO2021192102A1
WO2021192102A1 PCT/JP2020/013384 JP2020013384W WO2021192102A1 WO 2021192102 A1 WO2021192102 A1 WO 2021192102A1 JP 2020013384 W JP2020013384 W JP 2020013384W WO 2021192102 A1 WO2021192102 A1 WO 2021192102A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
user
image
input
face
Prior art date
Application number
PCT/JP2020/013384
Other languages
English (en)
French (fr)
Inventor
樹輝 阿久津
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/013384 priority Critical patent/WO2021192102A1/ja
Publication of WO2021192102A1 publication Critical patent/WO2021192102A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to an authentication control device, an authentication system, an authentication control method, and a recording medium.
  • Patent Document 1 describes a system that performs normal payment processing if authentication (verification) using identification information is successful even when face recognition fails.
  • Patent Document 1 there is no proposal to improve the authentication accuracy of a user who is performing an input operation by hand with respect to the input means.
  • An object of the present disclosure is to provide an authentication control device, an authentication system, an authentication control method, and a recording medium capable of improving the authentication accuracy of a user who is manually performing an input operation on an input means in view of the above-mentioned problems. To do.
  • the authentication control device captures a photographing control means for causing a camera to take an image including a user who is performing an input operation with a finger on the input means, and the image taken by the camera.
  • An authentication device that executes authentication using the image acquisition means to be acquired and the feature points of the body part between the fingers and the face of the user's body part included in the image acquired by the image acquisition means. It is provided with an authentication control means for executing authentication using feature points.
  • the authentication system includes an input means, a photographing control means for causing an image including a user who is performing an input operation on the input means by a finger, and an image taken by the camera.
  • the authentication control method includes a photographing control step in which an image including a user who is performing an input operation by a finger on an input means is photographed by a camera, and the image captured by the camera.
  • An authentication device that executes authentication using the image acquisition step to be acquired and the feature points of the body part between the fingers and the face of the user's body part included in the image acquired by the image acquisition means. It includes an authentication control step for executing authentication using feature points.
  • the recording medium is a photographing control process in which an electronic device provided with at least one processor is made to take an image including a user who is performing an input operation with a finger on an input means by a camera.
  • the image acquired by the image acquisition process is applied to an authentication device that executes an image acquisition process for acquiring the image taken by the camera and authentication using feature points of a body part between a finger and a face.
  • It is a computer-readable recording medium that records a program for executing an authentication control process for executing authentication using the feature points of the body part of the user included in the above.
  • an authentication control device an authentication system, an authentication control method, and a recording medium capable of improving the authentication accuracy of a user who is manually performing an input operation on an input means.
  • FIG. 1 is a schematic configuration diagram of the authentication control device 20.
  • the authentication control device 20 includes a photographing control means 22b for causing the camera 31 to take an image including a user who is performing an input operation with a finger on the input means 33, and the above-mentioned image taken by the camera 31.
  • the user's image acquired by the image acquisition means 22c is included in the image acquisition means 22c and the authentication device 10 that executes the authentication using the feature points of the body part between the fingers and the face. It is provided with an authentication control means 22d for executing authentication using the feature points of the body part.
  • FIG. 2 is a flowchart of an example of the operation of the authentication control device 20.
  • the photographing control means 22b causes the camera 31 to take an image including a user who is performing an input operation with a finger on the input means 33 (step S1).
  • the image acquisition means 22c acquires the image captured by the camera 31 (step S2).
  • the authentication control means 22d attaches the authentication device 10 that executes the authentication using the feature points of the body part between the finger and the face to the user, which is included in the image acquired by the image acquisition means 22c. Authentication using the feature points of the body part is executed (step S3).
  • the feature points of the body part are defined.
  • the authentication used it is possible to improve the authentication accuracy of the user who is manually performing the input operation on the input means 33.
  • the body part between the fingers and the face is different for each user.
  • the distance between the wrist and the elbow, the distance between the elbow and the shoulder, the distance between the shoulder and the neck, and the like are different for each user.
  • the shape of the body part between the fingers and the face becomes a shape unique to each user. For example, some users perform input operations with their elbows bent significantly, while others perform input operations with almost no elbows bent. Therefore, the input means is performed by performing authentication using the feature points of the body part (the feature points of the body part between the finger and the face of the user who is performing the input operation with the finger on the input means 33). It is possible to improve the authentication accuracy of the user U who is performing an input operation with his / her finger on 33.
  • the photographing control unit will be used as the photographing control means 22b.
  • an imaging control unit 22b an image acquisition unit is used as the image acquisition means 22c.
  • the authentication control unit is used as the authentication control means 22d.
  • a payment terminal is used as the information processing device 30.
  • a touch panel is used as the input means 33.
  • a touch panel 33 is used as the input means 33.
  • FIG. 3 is a block diagram showing the configuration of the authentication system 1 according to the second embodiment.
  • the authentication system 1 includes an authentication device 10, an authentication control device 20, and a payment terminal 30 that can communicate with each other via a network NW (for example, the Internet).
  • NW for example, the Internet
  • FIG. 4 is a schematic configuration diagram of the authentication device 10.
  • the authentication device 10 includes a storage unit 11, a control unit 12, a memory 13, and a communication unit 14.
  • the storage unit 11 is, for example, a non-volatile storage unit such as a hard disk device or a ROM.
  • the program 11a and the facial / physical information DB 11b are stored in the storage unit 11.
  • Program 11a is a program executed by the control unit 12 (processor).
  • the control unit 12 processor
  • the facial / physical information DB 11b the user ID (plurality), the facial feature information of the user, and the physical feature information are stored (registered) in association with each other.
  • control unit 12 includes a processor.
  • the processor is, for example, a CPU (Central Processing Unit). There may be one processor or multiple processors.
  • the processor executes the image acquisition unit 12a, the face detection unit 12b, the face feature point extraction unit 12c, the registration unit 12d, and the authentication unit 12e.
  • Functions as a body feature point extraction unit 12f Some or all of these may be implemented in hardware.
  • the image acquisition unit 12a acquires an image including the user. This image includes the face of a user who is performing an input operation with fingers on the touch panel 33 of the payment terminal 30, and a body part between the user's fingers and face. For example, the image acquisition unit 12a acquires an image received by the communication unit 14.
  • the images received by the communication unit 14 include a registration image transmitted from a user terminal (not shown) and an authentication (verification) image transmitted from the authentication control device 20.
  • the face detection unit 12b detects a face region from the image acquired by the image acquisition unit 12a and outputs it to the face feature point extraction unit 12c.
  • the face feature point extraction unit 12c extracts feature points (for example, facial feature points such as eyes, nose, and mouth edge) from the face region detected by the face detection unit 12b.
  • feature points for example, facial feature points such as eyes, nose, and mouth edge
  • the face feature point extraction unit 12c When the image acquired by the image acquisition unit 12a is an image for registration, the face feature point extraction unit 12c outputs the face feature information to the registration unit 12d.
  • the facial feature information is a set of extracted facial feature points.
  • the face feature point extraction unit 12c outputs the face feature information to the authentication unit 12e.
  • the registration unit 12d newly issues a user ID when registering facial feature information and physical feature information.
  • the registration unit 12d registers the issued user ID in the face / body information DB 11b in association with the face feature information and the body feature information extracted from the image for registration.
  • the authentication unit 12e collates the face feature information extracted from the face region detected from the authentication image with the face feature information in the face / body information DB 11b. Further, the authentication unit 12e collates the physical feature information extracted from the image for authentication with the physical feature information in the facial physical information DB 11b. The authentication unit 12e returns to the authentication control device 20 whether or not the face feature information and the body feature information match. Whether or not the facial feature information and the physical feature information match depends on the success or failure of the authentication.
  • the body feature point extraction unit 12f extracts the feature points of the user's body part included in the image from the image acquired by the image acquisition unit 12a.
  • the extracted feature points of the body part are the feature points of the body part between the finger and the face of the user who is performing an input operation with the finger on the touch panel 33 of the payment terminal 30 (hereinafter, simply the body part). It is called a feature point).
  • the feature points of the body part can be extracted by an existing technique (for example, OpenPose (registered trademark)) for extracting (detecting) the feature points of the skeleton.
  • the feature points of the extracted body parts include, for example, fingers, wrists, elbows, shoulders, neck, and face (nose, ears, eyes).
  • the authentication target person (with respect to the touch panel 33 of the payment terminal 30) is referred to by referring to the distance between the camera 31 and the person and the presence or absence of finger contact with the touch panel 33. Identify the user who is performing the input operation with his / her fingers.
  • FIG. 13 is an example of a captured image (hereinafter referred to as a captured image I) acquired by the image acquisition unit 22c.
  • FIG. 14 is an example of the feature points of the body part extracted from the captured image I of FIG. In FIG. 14, the feature points of the body parts from which the reference numerals P1 to P5 are extracted are shown.
  • the face F of the user U and the body part C of the user U performing the input operation with the fingers on the touch panel 33 of the payment terminal 30 are included in the captured image I (see FIG. 13), it is shown in FIG.
  • the feature points of the body part C of the user U for example, wrist P1, elbow P2, shoulder P3, neck P4, face P5
  • the extracted feature points of the body part may or may not be displayed in the captured image.
  • the body feature point extraction unit 12f When the image acquired by the image acquisition unit 12a is an image for registration, the body feature point extraction unit 12f outputs the body feature information to the registration unit 12d.
  • the body feature information is a set of feature points of the extracted body part.
  • the body feature point extraction unit 12f outputs the body feature information to the authentication unit 12e.
  • the communication unit 14 is a communication device that communicates with the authentication control device 20 via the network NW.
  • FIG. 5 is a flowchart of an example of the operation of the authentication device 10 (face / body information registration process).
  • the authentication device 10 acquires an image (image for registration) including the user included in the facial / physical information registration request (step S10).
  • the authentication device 10 (communication unit 14) receives the facial / physical information registration request from the user terminal (not shown) or the payment terminal 30 via the network NW.
  • the authentication device 10 (face detection unit 12b) detects the face area from the image (image for registration) acquired in step S10 (step S11).
  • the authentication device 10 (face feature point extraction unit 12c) extracts facial feature points from the face region detected in step S11 (step S12), and outputs face feature information to the registration unit 12d.
  • the authentication device 10 (registration unit 12d) issues a user ID and registers the face feature information extracted in step S12 in the face / body information DB 11b in association with the user ID (step S13).
  • the authentication device 10 may receive face feature information from a face recognition terminal or the like and register it in the face / body information DB 11b in association with the user ID.
  • the authentication device 10 uses the image (image for registration) acquired in step S10 to capture the feature points (of the payment terminal 30) of the user's body part included in the image.
  • the feature points of the body part between the finger and the face of the user who is performing the input operation with the finger on the touch panel 33) are extracted (step S14), and the body feature information is output to the registration unit 12d.
  • the authentication device 10 registers the body feature information extracted in step S14 in the face / body information DB 11b in association with the user ID (step S15).
  • the authentication device 10 may receive body feature information from a face recognition terminal or the like and register it in the face / body information DB 11b in association with the user ID.
  • the steps S10 to S15 are not limited to this order. For example, steps S14 to S15 may be executed before steps S11 to S13.
  • FIG. 6 is a flowchart of an example of the operation (authentication processing) of the authentication device 10.
  • the authentication device 10 acquires an image (image for authentication) including the user included in the authentication request (step S20).
  • the authentication device 10 receives an authentication request from the authentication control device 20 via the network NW.
  • the authentication device 10 face detection unit 12b) detects the face region from the image (image for authentication) acquired in step S20 (step S21).
  • the face feature point extraction unit 12c extracts facial feature points from the face region detected in step S21 (step S22).
  • the authentication device 10 may receive face feature information from the authentication control device 20.
  • the authentication device 10 uses the image (image for authentication) acquired in step S20 to show the feature points (of the payment terminal 30) of the user's body part included in the image.
  • the feature points of the body part between the finger and the face of the user who is performing the input operation with the finger on the touch panel 33) are extracted (step S23).
  • the image for detecting the face region and the image for extracting the feature points of the body part may be the same or different.
  • the authentication device 10 applies the extracted face feature information (face feature points extracted in step S22) and body feature information (body part feature points extracted in step S23) to the face. It is collated with the physical information DB 11b (step S24).
  • the authentication unit 12e identifies the user ID of the user whose face feature information and the body feature information match (step S26), and the authentication is successful.
  • the specified user ID is returned to the authentication control device 20 (step S27).
  • the authentication unit 12e returns to the authentication control device 20 that the authentication has failed (step S28).
  • FIG. 7 is a schematic configuration diagram of the authentication control device 20.
  • the authentication control device 20 is an information processing device that performs authentication control processing, and is, for example, a server device realized by a computer.
  • the authentication control device 20 includes a storage unit 21, a control unit 22, a memory 23, and a communication unit 24.
  • the storage unit 21 is a non-volatile storage unit such as a hard disk device or a ROM.
  • the program 21a and the personal authentication information 21b are stored in the storage unit 21.
  • Program 21a is a program executed by the control unit 22 (processor).
  • the personal authentication information 21b is information in which the user ID (plurality) and the authentication information of the user are associated with each other.
  • the authentication information is, for example, a PIN (Personal Identification Number).
  • the authentication information is referred to as a registered PIN.
  • the PIN can be called, for example, PIN information or a PIN code.
  • a PIN is a simple code having about 10 digits or less, which is composed of a combination of a plurality of elements (for example, numbers, letters, and symbols).
  • One user ID is assigned to one user.
  • one PIN is assigned to a plurality of users.
  • One PIN may be assigned to one user.
  • control unit 22 includes a processor.
  • the processor is, for example, a CPU (Central Processing Unit). There may be one processor or multiple processors.
  • the processor executes the display control unit 22a, the photographing control unit 22b, the image acquisition unit 22c, the authentication control unit 22d, and the authentication result acquisition unit. It functions as 22e, an authentication information acquisition unit 22f, a collation unit 22g, and a processing control unit 22h. Some or all of these may be implemented in hardware.
  • the display control unit 22a displays, for example, the PIN input reception screen G1 (authentication information input screen, see FIG. 8) on the display surface of the display unit 32 of the payment terminal 30. Specifically, the display control unit 22a transmits a screen display instruction for displaying the PIN input reception screen G1 to the payment terminal 30 via the communication unit 24. When displaying another screen, for example, the payment execution inquiry screen G2 (see FIG. 11), the same screen display instruction is transmitted to the payment terminal 30 via the communication unit 24.
  • the PIN input reception screen G1 and the payment execution inquiry screen G2 will be described later.
  • the photographing control unit 22b activates the camera 31 of the payment terminal 30 in response to the input operation of the user U on the touch panel 33 of the payment terminal 30, and the user U (the user U performing the input operation on the touch panel 33 by fingers). An image including the face and the body part between the finger and the face of the user U) is taken. Specifically, the shooting control unit 22b communicates when the communication unit 24 receives an input start detection notification (notification that the user U has started inputting a PIN) transmitted from the payment terminal 30. The shooting instruction is transmitted to the payment terminal 30 via the unit 24.
  • the image acquisition unit 22c acquires an image (hereinafter, also referred to as a photographed image) photographed by the camera 31 activated by the image capture control unit 22b. Specifically, the communication unit 24 receives the captured image transmitted from the payment terminal 30, and the image acquisition unit 22c acquires the captured image received by the communication unit 24.
  • the authentication control unit 22d causes the authentication device 10 to execute the authentication of the user U included in the captured image acquired by the image acquisition unit 22c (face authentication and authentication using the feature points of the body part). Specifically, the authentication control unit 22d transmits the captured image acquired by the image acquisition unit 22c to the authentication device 10 via the communication unit 24. Even if the face area (or the feature points of the user U's face extracted from the face area) and the feature points of the body part of the user U are transmitted to the authentication device 10 instead of the captured image. good.
  • the authentication result acquisition unit 22e acquires the result of the authentication executed by the authentication device 10. Specifically, the communication unit 24 receives the authentication result transmitted from the authentication device 10, and the authentication result acquisition unit 22e acquires the authentication result received by the communication unit 24.
  • the authentication information acquisition unit 22f acquires a PIN (hereinafter referred to as an input PIN) input via the touch panel 33 of the payment terminal 30. Specifically, the communication unit 24 receives the input PIN transmitted from the payment terminal 30, and the authentication information acquisition unit 22f acquires the input PIN received by the communication unit 24.
  • a PIN hereinafter referred to as an input PIN
  • the collation unit 22g collates the input PIN acquired by the authentication information acquisition unit 22f with the registered PIN (see FIG. 7) stored in the storage unit 21.
  • the processing control unit 22h causes the payment terminal 30 that executes the payment processing to execute the payment processing. Specifically, the payment processing control unit 22h transmits a payment processing instruction to the payment terminal 30 via the communication unit 24.
  • the settlement process is an example of the predetermined process of the present invention.
  • FIG. 8 is an external view of the payment terminal 30, and FIG. 9 is a schematic configuration diagram.
  • the payment terminal 30 is an information processing device including a camera 31, a display unit 32, a touch panel 33, a storage unit 34, a control unit 35, a memory 36, and a communication unit 37.
  • the payment terminal 30 is installed in a store, for example.
  • the authentication device 10 and the authentication control device 20 may be installed in the same store or in a place remote from the store.
  • the payment terminal 30 executes face authentication, authentication using the feature points of the body part, and PIN verification (three-factor authentication) before the payment process. Then, when the face authentication is successful, the authentication using the feature points of the body part is successful, and the PIN verification results match, the payment terminal 30 performs the payment process. Since publicly known technology can be used for the processing before and after the three-factor authentication such as the input (reading) of the purchased product and the payment processing itself, detailed description thereof will be omitted.
  • the camera 31 captures an image including the user U (the face of the user U who is performing an input operation with the fingers on the touch panel 33 and the body part between the fingers and the face of the user U).
  • the camera 31 is the face of the user U who is inputting the PIN via the touch panel 33, that is, the display surface of the display unit 32 on which the PIN input reception screen G1 is displayed (and its display surface).
  • it is attached to the upper part of the frame of the display unit 32 so that the face of the user U facing the camera 31) arranged in the vicinity can be photographed from the front or substantially from the front.
  • the display unit 32 is, for example, a display such as a display with a touch panel.
  • a display with a touch panel is also called a touch screen display.
  • the PIN input reception screen G1 is displayed on the display surface of the display unit 32.
  • the PIN input reception screen G1 includes an image g symbolizing each element constituting the PIN, which the finger of the user U should follow via the touch panel 33.
  • Each image g is displayed on the display surface of the display unit 32 in a state of being arranged in a predetermined pattern. For example, the image g is displayed in a state of being arranged in a 3 ⁇ 3 grid pattern (see FIG. 8).
  • the touch panel 33 is an input device operated by the user U.
  • the touch panel 33 is arranged so as to cover the display surface of the display unit 32.
  • the touch panel 33 is used, for example, to input the PIN by the finger of the user U.
  • the user U inputs the PIN by moving the finger in contact with the touch panel 33 on the touch panel 33 and tracing (via) the image g corresponding to the elements constituting the PIN in order from the beginning of the PIN. do.
  • the PIN is a simple code having a number of digits of about 10 digits or less composed of a combination of a plurality of elements (for example, numbers, letters, symbols), and the number of fingers is counted so as to follow the corresponding image g. Since the PIN can be input only by moving the user U times, the burden of the user U's PIN input is reduced.
  • the PIN may be input by tapping a software keyboard (not shown) displayed on the display surface of the display unit 32 via the touch panel 33, or a physical keyboard (not shown) arranged in the vicinity of the display unit 32. It may be input via).
  • the storage unit 34 is a non-volatile storage unit such as a hard disk device or a ROM.
  • the program 34a is stored in the storage unit 34.
  • Program 34a is a program executed by the control unit 35 (processor).
  • control unit 35 includes a processor.
  • the processor is, for example, a CPU (Central Processing Unit). There may be one processor or multiple processors.
  • the processor functions as a display control unit 35a, an input state detection unit 35b, a shooting control unit 35c, and a payment processing unit 35d by executing a program 34a read from the storage unit 34 into the memory 36 (for example, RAM). Some or all of these may be implemented in hardware.
  • the communication unit 37 When the communication unit 37 receives a screen display instruction (screen display instruction for displaying the PIN input reception screen G1) transmitted from the authentication control device 20, for example, the display control unit 35a is displayed on the display surface of the display unit 32.
  • the PIN input reception screen G1 (see FIG. 8) is displayed.
  • the PIN input reception screen G1 may be displayed based on the information stored in the storage unit 34 of the payment terminal 30 in advance, or may be displayed based on the information received from the authentication control device 20 together with the screen display instruction. May be good.
  • the input state detection unit 35b detects the input state of the PIN.
  • the PIN input state detected by the input state detection unit 35b is, for example, a PIN input start and a PIN input end.
  • the shooting control unit 35c activates the camera 31 and performs a user U (a user performing an input operation on the touch panel 33 by fingers). An image including the face of U and the body part between the finger and face of the user U) is taken.
  • the camera 31 is activated by supplying power to the camera 31 or shifting the camera 31 from the sleep state to the normal state.
  • the shooting control unit 35c stops the activation of the camera 31 when the shooting is completed. For example, the activation of the camera 31 is stopped by stopping the power supply to the camera 31 or putting the camera 31 into the sleep state.
  • the payment processing unit 35d executes the payment processing when, for example, the communication unit 37 receives the payment processing instruction transmitted from the authentication control device 20. That is, the payment process is completed based on the payment information associated with the authenticated user U.
  • the communication unit 37 is a communication device that communicates with the authentication control device 20 via the network NW.
  • FIG. 10 is a sequence diagram of the authentication system 1 (first operation example).
  • the authentication control device 20 transmits a screen display instruction for displaying the PIN input reception screen G1 to the payment terminal 30 via the communication unit 24 (step). S10).
  • the payment terminal 30 displays the PIN input reception screen G1 (see FIG. 8) on the display surface of the display unit 32. Display (step S11).
  • the payment terminal 30 activates the camera 31 in response to the input operation of the user U on the touch panel 33, and the face of the user U (the face of the user U performing the input operation on the touch panel 33 by fingers and the user U). An image including the body part between the fingers and the face) is taken (steps S12 to S16).
  • the user U starts inputting the PIN assigned to himself / herself via the touch panel 33 (step S12). For example, the user U moves a finger in contact with the touch panel 33 on the touch panel 33, and traces (vias) the image g corresponding to the elements constituting the PIN in order from the beginning of the PIN. Enter.
  • the payment terminal 30 (input state detection unit 35b) detects the start of PIN input.
  • the payment terminal 30 transmits an input start detection notification to the authentication control device 20 (step S13).
  • the authentication control device 20 (shooting control unit 22b) transmits a shooting instruction to the payment terminal 30 via the communication unit 24 ( Step S14).
  • the payment terminal 30 (shooting control unit 35c) activates the camera 31 (step S15) and inputs a PIN via the touch panel 33.
  • An image including the user U (the face of the user U who is performing an input operation with the finger on the touch panel 33 and the body part between the finger and the face of the user U) is taken (step S16).
  • the number of shots may be one or a plurality.
  • the shooting control unit 35c stops the activation of the camera 31 when the shooting is completed.
  • the payment terminal 30 activates the camera 31 in response to the input operation of the user U on the touch panel 33, and the user U (the face of the user U who is performing the input operation on the touch panel 33 by fingers and the user concerned). An image including the body part between U's fingers and face) is taken.
  • the payment terminal 30 (communication unit 37) transmits the captured image captured in step S16 to the authentication control device 20 (step S17).
  • the shooting control unit 35c may end the shooting of the camera 31 at the timing when the shot image is transmitted (or may stop the activation of the camera 31).
  • the authentication control device 20 receives the captured image transmitted in step S17, and the image acquisition unit 22c acquires the captured image received by the communication unit 24.
  • the authentication control device 20 (authentication control unit 22d) communicates an authentication request requesting authentication of the user U (authentication using face authentication and feature points of the body part) included in the acquired captured image. It is transmitted to the authentication device 10 via the unit 24 (step S18).
  • This authentication request includes the captured image obtained above.
  • step S19 when the communication unit 14 receives the authentication request transmitted in step S18, the authentication device 10 executes an authentication process (see FIG. 6) (step S19).
  • the authentication device 10 (authentication unit 12e) transmits the authentication result to the authentication control device 20 of the authentication request transmission source via the communication unit 14 (step S20).
  • the authentication control device 20 As an authentication result, it is assumed that the authentication is successful and the user ID of the authenticated user U is transmitted to the authentication control device 20.
  • the authentication control device 20 receives the authentication result and the user ID transmitted in step S20, and the authentication result acquisition unit 22e acquires the authentication result received by the communication unit 24.
  • the payment terminal 30 transmits the input PIN to the authentication control device 20 (step S22).
  • the authentication control device 20 receives the input PIN transmitted in step S22, and the authentication information acquisition unit 22f acquires the input PIN received by the communication unit 24.
  • This PIN verification is a process of collating the input PIN acquired by the authentication information acquisition unit 22f with the registered PIN stored in the storage unit 21 (the registered PIN associated with the acquired user ID). Is.
  • the authentication control device 20 (communication unit 24) has succeeded in authentication (the result of the authentication acquired by the authentication result acquisition unit 22e is that the authentication has been successful), and the result of the PIN verification in step S23 is If they match, the payment processing instruction is transmitted to the payment terminal 30 via the communication unit 24 (step S24).
  • the payment terminal 30 displays a payment execution inquiry screen (see FIG. 11) as to whether or not to execute payment. It is displayed on the display surface of the display unit 32 (step S25).
  • FIG. 11 is an example of the settlement execution inquiry screen G2.
  • the payment terminal 30 performs the payment processing. Is executed (step S27).
  • the shooting control unit 35c may end the shooting of the camera 31 (or may stop the activation of the camera 31) at the timing when the user U taps the payment button B via the touch panel 33.
  • step S24 to S27 No processing is performed.
  • the display unit 32 displays, for example, that the authentication has failed.
  • the feature points of the body part detected in the authentication process (for example, wrist P1, elbow P2, shoulder P3, neck P4, face P5 in FIG. 14). ) Is superimposed on the authentication target person (the user who is performing the input operation on the touch panel 33 of the payment terminal 30 by fingers) in the image taken in step S16, and the touch panel screen (display unit covered by the touch panel 33) is superimposed. It may be displayed on the display surface of 32) (see FIG. 14). At that time, if a third party other than the authentication target person lined up behind the authentication target person is reflected in the image taken in step S16 (not shown), the body part of the third party. The feature points may not be displayed.
  • step S19 if a third party other than the authentication target person lined up behind the authentication target person is reflected in the image taken in step S16 (not shown), it is detected in the authentication process (step S19).
  • the feature points of the body part may be superimposed on the authentication target person and the third party in the image taken in step S16 and displayed on the touch panel screen. At that time, the feature points of the body part superimposed on the recognition target person may be highlighted (the feature points of the body part superimposed on the third party may not be highlighted).
  • the color of the feature points of the body part superimposed on the authentication target person in the image taken in step S16 may be changed and displayed on the touch panel screen. good.
  • the face authentication (step S19) is performed before the PIN verification (step S23), so that the face authentication can be performed quickly. Can be done. (We can respond quickly.)
  • the operation of the authentication system 1 having the above configuration (second operation example) will be described.
  • FIG. 12 is a sequence diagram of the authentication system 1 (second operation example).
  • the authentication process is executed using the face feature information and the body feature information of all the user IDs registered in the face / body information DB 11b
  • the face / body Of the user IDs registered in the information DB 11b the authentication process is executed using the face feature information and the body feature information of the user ID to which the input PIN is associated. Since the processes of steps S10 to S17, S21, and S22 are the same as those of the first operation example, the same reference numerals are given and the description thereof will be omitted. Hereinafter, steps S30 to S37 after step S22 will be mainly described.
  • the authentication control device 20 receives the captured image transmitted in step S17, and the image acquisition unit 22c acquires the captured image received by the communication unit 24. Further, the authentication control device 20 (communication unit 24) receives the input PIN transmitted in step S22, and the authentication information acquisition unit 22f acquires the input PIN received by the communication unit 24.
  • the authentication control device 20 executes PIN verification (step S30).
  • PIN verification the input PIN acquired by the authentication information acquisition unit 22f is collated with the registered PIN (all PINs) stored in the storage unit 21, and is acquired from the storage unit 21 by the authentication information acquisition unit 22f. This is a process of extracting the user ID associated with the input PIN.
  • the authentication control device 20 authenticates the user U included in the acquired captured image (face authentication and body part).
  • An authentication request requesting (authentication using feature points) is transmitted to the authentication device 10 via the communication unit 24 (step S31). This authentication request includes the captured image obtained above and the user ID extracted in step S30.
  • step S32 when the communication unit 14 receives the authentication request transmitted in step S31, the authentication device 10 executes an authentication process (see FIG. 6) (step S32). At that time, the authentication device 10 does not have the face feature information and the body feature information of all the user IDs (for example, for 1000 people), but the face feature information and the body of the user IDs (for example, for 100 people) extracted in step S30. Execute the authentication process using the feature information.
  • the authentication device 10 (authentication unit 12e) transmits the authentication result to the authentication control device 20 of the authentication request transmission source (step S33).
  • the authentication result the fact that the authentication is successful is transmitted to the authentication control device 20.
  • the authentication control device 20 receives the authentication result transmitted in step S33, and the authentication result acquisition unit 22e acquires the authentication result received by the communication unit 24.
  • the authentication control device 20 (communication unit 24) transmits a payment processing instruction to the payment terminal 30 when the result of the acquired authentication is that the authentication is successful (step S34).
  • step S34 when the payment terminal 30 (display control unit 35a) receives the payment processing instruction transmitted in step S34, the payment terminal 30 (see FIG. 11) displays a payment execution inquiry screen (see FIG. 11) on the display unit 32 as to whether or not to execute payment. Display (step S35).
  • step S37 when the user U inputs the payment execution, for example, when the user U taps the payment button B in the payment execution inquiry screen (see FIG. 11) via the touch panel 33, the payment terminal 30 performs the payment process. Execute (step S37).
  • steps S34 to S34 to The process of S37 is not executed.
  • the display unit 32 displays, for example, that the authentication has failed.
  • step S30 after narrowing down by PIN verification (step S30) (for example, in the above example, after narrowing down from 1000 to 100 people). ), Authentication (step S32) can be performed, so that the authentication accuracy can be improved.
  • the feature points of the body part detected in the authentication process (for example, wrist P1, elbow P2, shoulder P3, neck P4, face P5 in FIG. 14). ) Is superimposed on the authentication target person (the user who is performing the input operation on the touch panel 33 of the payment terminal 30 by fingers) in the image taken in step S16, and the touch panel screen (display unit covered by the touch panel 33) is superimposed. It may be displayed on the display surface of 32) (see FIG. 14). At that time, if a third party other than the authentication target person lined up behind the authentication target person is reflected in the image taken in step S16 (not shown), the body part of the third party. The feature points may not be displayed.
  • step S32 if a third party other than the authentication target person lined up behind the authentication target person is reflected in the image taken in step S16 (not shown), it is detected in the authentication process (step S32).
  • the feature points of the body part may be superimposed on the authentication target person and the third party in the image taken in step S16 and displayed on the touch panel screen. At that time, the feature points of the body part superimposed on the recognition target person may be highlighted (the feature points of the body part superimposed on the third party may not be highlighted).
  • the color of the feature points of the body part superimposed on the authentication target person in the image taken in step S16 may be changed and displayed on the touch panel screen. good.
  • the feature points of the body part are used. By executing the authentication, it is possible to improve the authentication accuracy of the user U who is manually performing an input operation on the input means 33.
  • the body part between the fingers and the face is different for each user.
  • the distance and angle between the wrist and the elbow, the distance and angle between the elbow and the shoulder, the distance and the angle between the shoulder and the neck, and the like differ from user to user.
  • the shape of the body part between the fingers and the face becomes a shape peculiar to each user. For example, some users perform input operations with their elbows bent significantly, while others perform input operations with almost no elbows bent.
  • the touch panel 33 is subjected to the authentication.
  • the second embodiment in addition to face authentication and PIN verification, authentication using the feature points of the body part (three-factor authentication) is performed. Therefore, face authentication is performed without performing authentication using the feature points of the body part. And, as compared with the case of performing PIN verification (two-factor authentication), it is possible to improve the authentication accuracy of the user U who is performing an input operation with his / her fingers on the touch panel 33.
  • the camera 31 is activated at an appropriate timing according to the user's input operation to the touch panel 33 (for example, the timing when the user U starts the PIN input via the touch panel 33) to activate the user U. You can take a picture of your face. As a result, the power consumption can be reduced as compared with the case where the camera 31 is always activated. Further, if the camera 31 is always activated, a third party other than the person to be authenticated (for example, a third party crossing the shooting range of the camera 31) is more likely to be reflected, which is not preferable from the viewpoint of privacy protection. By activating the camera 31 at an appropriate timing (that is, at a timing when authentication is required) according to the user's input operation to the touch panel 33 as in the second embodiment, a third party other than the authentication target person is reflected. Can be suppressed.
  • the touch panel since the face of the user U is photographed at the timing corresponding to the user's input operation to the touch panel 33 (for example, the timing when the user U starts the PIN input via the touch panel 33), the touch panel is used. It faces the face of the user U who is inputting the PIN via 33, that is, the display surface of the display unit 32 (and the camera 31 arranged in the vicinity thereof) on which the PIN input reception screen G1 is displayed (gaze).
  • the face of the user U can be photographed from the front or almost from the front. That is, the face of the user U can be photographed at an angle suitable for face recognition. This can be expected to improve the authentication accuracy of face recognition.
  • the camera 31 is activated at an appropriate timing according to the user's input operation to the touch panel 33 (for example, the timing when the user U starts the PIN input via the touch panel 33) to activate the user U. You can take a picture of your face. As a result, the power consumption can be reduced as compared with the case where the camera 31 is always activated. Further, when the camera 31 is always activated, a third party other than the authentication target person (for example, a third party other than the authentication target person lined up behind the authentication target person or a third party crossing the shooting range of the camera 31).
  • the camera 31 is at an appropriate timing (that is, at the timing when authentication is required) according to the user's input operation to the touch panel 33 as in the second embodiment. By activating, it is possible to suppress the reflection of a third party other than the person to be authenticated.
  • verification by face recognition may be omitted. That is, when the authentication by the authentication device 10 (authentication using the feature points of the body part) is successful and the verification results by the collation unit 22g match (that is, when the two-factor authentication is successful), the settlement process is executed. You may. Further, for example, face recognition and collation by the collation unit 22g may be omitted. That is, the settlement process may be executed when the authentication by the authentication device 10 (authentication using the feature points of the body part) is successful (that is, when the one-element authentication is successful). Further, for example, the collation by the collation unit 22g may be omitted. That is, the settlement process may be executed when the authentication by the authentication device 10 (face authentication, authentication using the feature points of the body part) is successful (that is, when the two-factor authentication is successful).
  • the camera 31 may be attached anywhere as long as it is possible to take a picture at an angle suitable for face recognition and recognition using the feature points of the body part.
  • the camera 31 may be attached to the left portion or the right portion of the frame of the display unit 32.
  • it may be attached to a structure (for example, a wall or a pillar) installed in the vicinity of the payment terminal 30 or other places.
  • this predetermined process may be a process of opening a gate or a door through which the user U passes, or another process.
  • the timing corresponding to the user's input operation to the touch panel 33 is the timing at which the user U starts the PIN input via the touch panel 33.
  • the example is described, but the present invention is not limited to this.
  • the timing corresponding to the user's input operation on the touch panel 33 may be any timing after the start of the PIN input and before the end of the PIN input. ..
  • the face of the user U who is inputting the PIN via the touch panel 33 that is, the display surface of the display unit 32 on which the PIN input reception screen G1 is displayed (and the camera 31 arranged in the vicinity thereof).
  • the face of the user U facing (looking at) can be photographed from the front or almost from the front. That is, the face of the user U can be photographed at an angle suitable for face recognition. This can be expected to improve the authentication accuracy of face recognition.
  • the timing corresponding to the user's input operation to the touch panel 33 may be the timing at which the user U finishes the PIN input or a timing after that.
  • the authentication system 1 is composed of an authentication device 10, an authentication control device 20, and a payment terminal 30 capable of communicating with each other via a network NW (for example, the Internet) has been described. Not exclusively.
  • NW for example, the Internet
  • the configuration or function of all or part of the authentication device 10 and the authentication control device 20 may be added to the payment terminal 30. Further, the configuration or function of all or a part of the payment terminal 30 and the authentication device 10 may be added to the authentication control device 20.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)).
  • a semiconductor memory for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory)
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • An imaging control means that allows the camera to capture an image including a user who is performing an input operation with a finger on the input means.
  • An image acquisition means for acquiring the image taken by the camera, and
  • An authentication device that executes authentication using the feature points of the body part between the finger and the face is authenticated using the feature points of the body part of the user included in the image acquired by the image acquisition means.
  • An authentication control device including an authentication control means to be executed.
  • Appendix 2 The authentication control device according to Appendix 1, wherein the authentication control means further causes the authentication device to execute face recognition of the user included in the image acquired by the image acquisition means.
  • the input means is an input means for causing the user to input the authentication information assigned to the user.
  • An authentication information acquisition means for acquiring the authentication information input via the input means, and an authentication information acquisition means.
  • a collation means for collating the authentication information acquired by the authentication information acquisition means with the registered authentication information, When the authentication using the feature points of the body part of the user by the authentication device and the face authentication are successful and the collation results by the collation means match, the predetermined process is applied to the processing means for executing the predetermined process.
  • the authentication control device according to Appendix 2, further comprising a process control means to be executed.
  • Appendix 4 The authentication control device according to Appendix 3, wherein the predetermined process is a settlement process and a process of opening a gate or door through which the user passes.
  • Appendix 6 The authentication control device according to Appendix 5, wherein the input means is a touch panel arranged so as to cover the display surface of the display unit.
  • the display surface of the display unit further includes a display control unit that displays an authentication information input screen including an image symbolizing each element constituting the authentication information that the user's finger should follow via the touch panel.
  • the authentication control device according to 6.
  • (Appendix 9) Input means and An imaging control means for causing the camera to capture an image including a user who is performing an input operation with a finger on the input means.
  • An image acquisition means for acquiring the image taken by the camera, and
  • An authentication means that executes authentication using the feature points of the body part between the finger and the face performing the input operation on the input means of the user included in the image acquired by the image acquisition means. And, an authentication system with.
  • Appendix 10 It is equipped with an information processing device, an authentication control device, and an authentication device that can communicate with each other via a network.
  • the input means is provided in the information processing apparatus.
  • the photographing control means is provided in the authentication control device.
  • An authentication device that executes authentication using the feature points of the body part between the finger and the face is authenticated using the feature points of the body part of the user included in the image acquired by the image acquisition step.
  • An authentication control method comprising an authentication control step to be executed.
  • Authentication system 10 Authentication device 11 Storage unit 11a Program 11b Face and body information DB 12 Control unit 12a Image acquisition unit 12b Face detection unit 12c Face feature point extraction unit 12d Registration unit 12e Authentication unit 13 Memory 14 Communication unit 20 Authentication control device 21 Storage unit 21a Program 21b Personal authentication information 21b2 Authentication information 22 Control unit 22a Display control Unit 22b Imaging control unit (imaging control means) 22c Image acquisition unit (image acquisition means) 22d Authentication control unit (authentication control means) 22e Authentication information acquisition department (authentication result acquisition department) 22g Verification unit 22h Completion processing unit 23 Memory 24 Communication unit 30 Payment terminal (information processing device) 31 Camera 32 Display 33 Touch panel (input means) 34 Storage unit 34a Program 35 Control unit 35a Display control unit 35b Input status detection unit 35c Shooting control unit 35d Payment processing unit 36 Memory 37 Communication unit B Payment button G1 PIN input reception screen G2 Inquiry screen NW network g Image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本開示にかかる認証制御装置（２０）は、入力手段３３に対して手指により入力操作を行っているユーザを含む画像をカメラ（３１）により撮影させる撮影制御手段（２２ｂ）と、カメラ（３１）により撮影された前記画像を取得する画像取得手段（２２ｃ）と、手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置（１０）に、画像取得手段（２２ｃ）により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御手段（２２ｄ）と、を備える。

Description

認証制御装置、認証システム、認証制御方法及び記録媒体
　本開示は、認証制御装置、認証システム、認証制御方法及び記録媒体に関する。
　認証対象者の顔をカメラで撮影した画像から抽出される顔情報による顔認証と認証対象者が入力する識別情報による認証（照合）とを並行して実施し、顔認証が成功した場合に通常の決済処理を実行し、顔認証が失敗した場合であっても識別情報による認証（照合）が成功すれば、通常の決済処理を行うシステムが例えば特許文献１に記載されている。
特開２０１９－３６８８８号公報
　しかしながら、特許文献１に記載のシステムにおいては、入力手段に対して手指により入力操作を行っているユーザの認証精度を向上させることについては全く提案されていない。
　本開示の目的は、上述した課題を鑑み、入力手段に対して手指により入力操作を行っているユーザの認証精度を向上させることができる認証制御装置、認証システム、認証制御方法及び記録媒体を提供することにある。
　本開示の第１の態様にかかる認証制御装置は、入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御手段と、前記カメラにより撮影された前記画像を取得する画像取得手段と、手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得手段により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御手段と、を備える。
　本開示の第２の態様にかかる認証システムは、入力手段と、前記入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御手段と、前記カメラにより撮影された前記画像を取得する画像取得手段と、前記画像取得手段により取得された画像に含まれる前記ユーザの前記入力手段に対して前記入力操作を行っている前記手指と顔との間の身体部分の特徴点を用いた認証を実行する認証手段と、を備える。
　本開示の第３の態様にかかる認証制御方法は、入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御ステップと、前記カメラにより撮影された前記画像を取得する画像取得ステップと、手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得手段により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御ステップと、を備える。
　本開示の第４の態様にかかる記録媒体は、少なくとも１つのプロセッサを備えた電子デバイスに、入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御処理と、前記カメラにより撮影された前記画像を取得する画像取得処理と、手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得処理により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御処理と、を実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体である。
　本発明により、入力手段に対して手指により入力操作を行っているユーザの認証精度を向上させることができる認証制御装置、認証システム、認証制御方法及び記録媒体を提供することができる。
認証制御装置２０の概略構成図である。 認証制御装置２０の動作の一例のフローチャートである。 実施形態２にかかる認証システムの構成を示すブロック図である。 認証装置１０の概略構成図である。 認証装置１０の動作（顔情報登録処理）の一例のフローチャートである。 認証装置１０の動作（顔認証処理）の一例のフローチャートである。 認証制御装置２０の概略構成図である。 決済端末３０の外観図である。 決済端末３０の概略構成図である。 認証システム１（第１動作例）のシーケンス図である。 決済実行問い合わせ画面Ｇ２の一例である。 認証システム１（第２動作例）のシーケンス図である。 画像取得部２２ｃにより取得される撮影画像Ｉの一例である。 図１３の撮影画像Ｉから抽出される身体部分の特徴点の一例である。
　（実施形態１）
　まず、図１を用いて、実施形態１の認証システムを構成する認証制御装置２０の構成例について説明する。
　図１は、認証制御装置２０の概略構成図である。
　図１に示すように、認証制御装置２０は、入力手段３３に対して手指により入力操作を行っているユーザを含む画像をカメラ３１により撮影させる撮影制御手段２２ｂと、カメラ３１により撮影された前記画像を取得する画像取得手段２２ｃと、手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置１０に、画像取得手段２２ｃにより取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御手段２２ｄと、を備えている。
　次に、上記構成の認証制御装置２０の動作の一例について説明する。
　図２は、認証制御装置２０の動作の一例のフローチャートである。
　まず、撮影制御手段２２ｂが、入力手段３３に対して手指により入力操作を行っているユーザを含む画像をカメラ３１により撮影させる（ステップＳ１）。
　次に、画像取得手段２２ｃが、カメラ３１により撮影された前記画像を取得する（ステップＳ２）。
　次に、認証制御手段２２ｄが、手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置１０に、画像取得手段２２ｃにより取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる（ステップＳ３）。
　以上説明したように、実施形態１によれば、身体部分の特徴点（入力手段３３に対して手指により入力操作を行っているユーザの当該手指と顔との間の身体部分の特徴点）を用いた認証を実行することにより、入力手段３３に対して手指により入力操作を行っているユーザの認証精度を向上させることができる。
　すなわち、手指と顔との間の身体部分は、ユーザごとに異なる。例えば、手首と肘との間の距離、肘と肩との間の距離、肩と首との間の距離等は、ユーザごとに異なる。また、ユーザが入力手段３３に対して手指により入力操作を行っている際、当該手指と顔との間の身体部分の形状は、ユーザごとに固有の形状となる。例えば、肘を大きく曲げて入力操作を行うユーザもいれば、肘をほとんど曲げずに入力操作を行うユーザもいる。したがって、身体部分の特徴点（入力手段３３に対して手指により入力操作を行っているユーザの当該手指と顔との間の身体部分の特徴点）を用いた認証を実行することにより、入力手段３３に対して手指により入力操作を行っているユーザＵの認証精度を向上させることができる。
　（実施形態２）
　以下、本発明の実施形態２として、認証システム１について詳細に説明する。以下、撮影制御手段２２ｂとして撮影制御部を用いる。以下、撮影制御部２２ｂと記載する。また、画像取得手段２２ｃとして画像取得部を用いる。以下、画像取得部２２ｃと記載する。また、認証制御手段２２ｄとして認証制御部を用いる。以下、認証制御部２２ｄと記載する。また、情報処理装置３０として決済端末を用いる。以下、決済端末３０と記載する。また、入力手段３３としてタッチパネルを用いる。以下、タッチパネル３３と記載する。
　図３は、実施形態２にかかる認証システム１の構成を示すブロック図である。
　認証システム１は、ネットワークＮＷ（例えば、インターネット）を介して互いに通信可能な認証装置１０、認証制御装置２０、決済端末３０を備えている。
　まず、認証装置１０の構成例について説明する。
　図４は、認証装置１０の概略構成図である。
　図４に示すように、認証装置１０は、記憶部１１と、制御部１２と、メモリ１３と、通信部１４と、を備えている。
　記憶部１１は、例えば、ハードディスク装置やＲＯＭ等の不揮発性の記憶部である。記憶部１１には、プログラム１１ａ、顔身体情報ＤＢ１１ｂが記憶されている。
　プログラム１１ａは、制御部１２（プロセッサ）により実行されるプログラムである。顔身体情報ＤＢ１１ｂには、ユーザＩＤ（複数）と当該ユーザの顔特徴情報と身体特徴情報とが対応付けて記憶（登録）されている。
　制御部１２は、図示しないが、プロセッサを備えている。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサは、１つの場合もあるし、複数の場合もある。プロセッサは、記憶部１１からメモリ１３（例えば、ＲＡＭ）に読み込まれたプログラム１１ａを実行することで、画像取得部１２ａ、顔検出部１２ｂ、顔特徴点抽出部１２ｃ、登録部１２ｄ、認証部１２ｅ、身体特徴点抽出部１２ｆとして機能する。これらの一部又は全部は、ハードウェアで実現してもよい。
　画像取得部１２ａは、ユーザを含む画像を取得する。この画像は、決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザの顔及び当該ユーザの手指と顔との間の身体部分を含む。例えば、画像取得部１２ａは、通信部１４が受信する画像を取得する。通信部１４が受信する画像には、ユーザ端末（図示せず）から送信される登録用の画像や認証制御装置２０から送信される認証（照合）用の画像がある。
　顔検出部１２ｂは、画像取得部１２ａにより取得された画像から顔領域を検出し、顔特徴点抽出部１２ｃに出力する。
　顔特徴点抽出部１２ｃは、顔検出部１２ｂにより検出された顔領域から特徴点（例えば、目、鼻、口端等の顔の特徴点）を抽出する。
　画像取得部１２ａにより取得された画像が登録用の画像である場合、顔特徴点抽出部１２ｃは、登録部１２ｄに顔特徴情報を出力する。ここで、顔特徴情報は、抽出した顔の特徴点の集合である。一方、画像取得部１２ａにより取得された画像が認証用の画像である場合、顔特徴点抽出部１２ｃは、認証部１２ｅに顔特徴情報を出力する。
　登録部１２ｄは、顔特徴情報、身体特徴情報の登録に際して、ユーザＩＤを新規に発行する。登録部１２ｄは、発行したユーザＩＤと、登録用の画像から抽出した顔特徴情報、身体特徴情報とを対応付けて顔身体情報ＤＢ１１ｂに登録する。
　認証部１２ｅは、認証用の画像から検出された顔領域から抽出された顔特徴情報と、顔身体情報ＤＢ１１ｂ内の顔特徴情報との照合を行う。また、認証部１２ｅは、認証用の画像から抽出された身体特徴情報と、顔身体情報ＤＢ１１ｂ内の身体特徴情報との照合を行う。認証部１２ｅは、顔特徴情報及び身体特徴情報の一致の有無を認証制御装置２０に返信する。顔特徴情報及び身体特徴情報の一致の有無は、認証の成否に対応する。
　身体特徴点抽出部１２ｆは、画像取得部１２ａにより取得された画像から、当該画像に含まれているユーザの身体部分の特徴点を抽出する。この抽出される身体部分の特徴点は、決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザの当該手指と顔との間の身体部分の特徴点（以下、単に身体部分の特徴点と呼ぶ）である。この身体部分の特徴点は、骨格の特徴点を抽出（検出）する既存技術（例えば、ＯｐｅｎＰｏｓｅ（登録商標））により抽出することができる。抽出される身体部分の特徴点としては、例えば、指、手首、肘、肩、首、顔（鼻、耳、目）がある。なお、複数のユーザの身体部分の特徴点が抽出された場合、カメラ３１と人物との距離やタッチパネル３３への手指の接触有無を参照して認証対象者（決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザ）を特定する。
　抽出される身体部分の特徴点の一例について説明する。図１３は、画像取得部２２ｃにより取得される撮影画像（以下、撮影画像Ｉと呼ぶ）の一例である。図１４は、図１３の撮影画像Ｉから抽出される身体部分の特徴点の一例である。図１４中、符号Ｐ１～Ｐ５が抽出される身体部分の特徴点を表す。
　決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザＵの顔Ｆ及び当該ユーザＵの身体部分Ｃが撮影画像Ｉ（図１３参照）に含まれている場合、図１４に示すように、ユーザＵの身体部分Ｃの特徴点（例えば、手首Ｐ１、肘Ｐ２、肩Ｐ３、首Ｐ４、顔Ｐ５）が抽出される。なお、抽出された身体部分の特徴点は、撮影画像に表示してもよいし、表示しなくてもよい。
　画像取得部１２ａにより取得された画像が登録用の画像である場合、身体特徴点抽出部１２ｆは、登録部１２ｄに身体特徴情報を出力する。ここで、身体特徴情報は、抽出した身体部分の特徴点の集合である。一方、画像取得部１２ａにより取得された画像が認証用の画像である場合、身体特徴点抽出部１２ｆは、認証部１２ｅに身体特徴情報を出力する。
　通信部１４は、認証制御装置２０との間でネットワークＮＷを介して通信する通信装置である。
　次に、認証装置１０の動作（顔身体情報登録処理）の一例について説明する。
　図５は、認証装置１０の動作（顔身体情報登録処理）の一例のフローチャートである。
　まず、認証装置１０（画像取得部１２ａ）は、顔身体情報登録要求に含まれるユーザを含む画像（登録用の画像）を取得する（ステップＳ１０）。例えば、認証装置１０（通信部１４）は、顔身体情報登録要求を、ユーザ端末（図示せず）や決済端末３０からネットワークＮＷを介して受信する。
　次に、認証装置１０（顔検出部１２ｂ）は、ステップＳ１０で取得された画像（登録用の画像）から顔領域を検出する（ステップＳ１１）。次に、認証装置１０（顔特徴点抽出部１２ｃ）は、ステップＳ１１で検出した顔領域から顔の特徴点を抽出し（ステップＳ１２）、登録部１２ｄに顔特徴情報を出力する。次に、認証装置１０（登録部１２ｄ）は、ユーザＩＤを発行し、ステップＳ１２で抽出された顔特徴情報を当該ユーザＩＤに対応付けて顔身体情報ＤＢ１１ｂに登録する（ステップＳ１３）。なお、認証装置１０は、顔認証端末等から顔特徴情報を受信し、ユーザＩＤと対応付けて顔身体情報ＤＢ１１ｂに登録してもよい。
　次に、認証装置１０（身体特徴点抽出部１２ｆ）は、ステップＳ１０で取得された画像（登録用の画像）から、当該画像に含まれているユーザの身体部分の特徴点（決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザの当該手指と顔との間の身体部分の特徴点）を抽出し（ステップＳ１４）、登録部１２ｄに身体特徴情報を出力する。次に、認証装置１０（登録部１２ｄ）は、ステップＳ１４で抽出された身体特徴情報をユーザＩＤに対応付けて顔身体情報ＤＢ１１ｂに登録する（ステップＳ１５）。なお、認証装置１０は、顔認証端末等から身体特徴情報を受信し、ユーザＩＤと対応付けて顔身体情報ＤＢ１１ｂに登録してもよい。なお、ステップＳ１０～Ｓ１５は、この順に限られない。例えば、ステップＳ１４～Ｓ１５は、ステップＳ１１～Ｓ１３の前に実行してもよい。
　次に、認証装置１０の動作（認証処理）の一例について説明する。
　図６は、認証装置１０の動作（認証処理）の一例のフローチャートである。
　まず、認証装置１０（画像取得部１２ａ）は、認証要求に含まれるユーザを含む画像（認証用の画像）を取得する（ステップＳ２０）。例えば、認証装置１０（通信部１４）は、認証要求を、認証制御装置２０からネットワークＮＷを介して受信する。次に、認証装置１０（顔検出部１２ｂ）は、ステップＳ２０で取得された画像（認証用の画像）から顔領域を検出する（ステップＳ２１）。次に、顔特徴点抽出部１２ｃは、ステップＳ２１で検出された顔領域から顔の特徴点を抽出する（ステップＳ２２）。または、認証装置１０は、認証制御装置２０から顔特徴情報を受信してもよい。次に、認証装置１０（身体特徴点抽出部１２ｆ）は、ステップＳ２０で取得された画像（認証用の画像）から、当該画像に含まれているユーザの身体部分の特徴点（決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザの当該手指と顔との間の身体部分の特徴点）を抽出する（ステップＳ２３）。なお、顔領域を検出する画像と身体部分の特徴点を抽出する画像は同じであってもよいし異なっていてもよい。
　次に、認証装置１０（認証部１２ｅ）は、抽出した顔特徴情報（ステップＳ２２で抽出された顔の特徴点）及び身体特徴情報（ステップＳ２３で抽出された身体部分の特徴点）を、顔身体情報ＤＢ１１ｂと照合する（ステップＳ２４）。顔特徴情報及び身体特徴情報が一致した場合（ステップＳ２５：Ｙｅｓ）、認証部１２ｅは、顔特徴情報及び身体特徴情報が一致したユーザのユーザＩＤを特定し（ステップＳ２６）、認証が成功した旨と特定したユーザＩＤとを認証制御装置２０に返信する（ステップＳ２７）。一致する顔特徴情報及び身体特徴情報が存在しない場合（ステップＳ２５：Ｎｏ）、認証部１２ｅは、認証が失敗した旨を認証制御装置２０に返信する（ステップＳ２８）。
　次に、認証制御装置２０の構成例について説明する。
　図７は、認証制御装置２０の概略構成図である。
　認証制御装置２０は、認証制御処理を行う情報処理装置であり、例えば、コンピュータにより実現されるサーバ装置である。
　図７に示すように、認証制御装置２０は、記憶部２１、制御部２２、メモリ２３及び通信部２４を備えている。
　記憶部２１は、ハードディスク装置やＲＯＭ等の不揮発性の記憶部である。記憶部２１には、プログラム２１ａ、個人認証情報２１ｂが記憶されている。
　プログラム２１ａは、制御部２２（プロセッサ）により実行されるプログラムである。個人認証情報２１ｂは、ユーザＩＤ（複数）と当該ユーザの認証情報とを対応付けた情報である。認証情報は、例えば、ＰＩＮ（Personal Identification Number）である。以下、認証情報を、登録済みＰＩＮと呼ぶ。ＰＩＮは、例えば、ＰＩＮ情報やＰＩＮコードと呼ぶことができる。ＰＩＮは、複数の要素（例えば、数字、文字、記号）の組み合わせで構成される１０桁程度又はそれ以下の桁数の簡易なコードである。ユーザＩＤは、一人のユーザに１つ割り当てられている。これに対して、ＰＩＮは、複数のユーザに一つ割り当てられている。なお、ＰＩＮは、一人のユーザに１つ割り当てられていてもよい。
　制御部２２は、図示しないが、プロセッサを備えている。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサは、１つの場合もあるし、複数の場合もある。プロセッサは、記憶部２１からメモリ２３（例えば、ＲＡＭ）に読み込まれたプログラム２１ａを実行することで、表示制御部２２ａ、撮影制御部２２ｂ、画像取得部２２ｃ、認証制御部２２ｄ、認証結果取得部２２ｅ、認証情報取得部２２ｆ、照合部２２ｇ、処理制御部２２ｈとして機能する。これらの一部又は全部は、ハードウェアで実現してもよい。
　表示制御部２２ａは、例えば、決済端末３０の表示部３２の表示面にＰＩＮ入力受付画面Ｇ１（認証情報入力画面。図８参照）を表示させる。具体的には、表示制御部２２ａは、ＰＩＮ入力受付画面Ｇ１を表示させるための画面表示指示を、通信部２４を介して決済端末３０に送信する。他の画面、例えば、決済実行問い合わせ画面Ｇ２（図１１参照）を表示させる場合も同様の画面表示指示を、通信部２４を介して決済端末３０に送信する。ＰＩＮ入力受付画面Ｇ１、決済実行問い合わせ画面Ｇ２については後述する。
　撮影制御部２２ｂは、決済端末３０のタッチパネル３３に対するユーザＵの入力操作に応じて決済端末３０のカメラ３１を起動させてユーザＵ（タッチパネル３３に対して手指により入力操作を行っているユーザＵの顔及び当該ユーザＵの手指と顔との間の身体部分）を含む画像を撮影させる。具体的には、撮影制御部２２ｂは、決済端末３０から送信される入力開始検出通知（ユーザＵがＰＩＮの入力を開始したことを検出した旨の通知）を通信部２４が受信した場合、通信部２４を介して撮影指示を決済端末３０に送信する。
　画像取得部２２ｃは、撮影制御部２２ｂにより起動されたカメラ３１により撮影された画像（以下、撮影画像とも呼ぶ）を取得する。具体的には、決済端末３０から送信される撮影画像を通信部２４が受信し、画像取得部２２ｃは、この通信部２４が受信した撮影画像を取得する。
　認証制御部２２ｄは、認証装置１０に、画像取得部２２ｃにより取得された撮影画像に含まれるユーザＵの認証（顔認証及び身体部分の特徴点を用いた認証）を実行させる。具体的には、認証制御部２２ｄは、画像取得部２２ｃにより取得された撮影画像を、通信部２４を介して認証装置１０に送信する。なお、撮影画像に代えて、撮影画像から検出される顔領域（又は顔領域から抽出されるユーザＵの顔の特徴点）及びユーザＵの身体部分の特徴点を認証装置１０に送信してもよい。
　認証結果取得部２２ｅは、認証装置１０により実行された認証の結果を取得する。具体的には、認証装置１０から送信される認証の結果を通信部２４が受信し、認証結果取得部２２ｅは、この通信部２４が受信した認証の結果を取得する。
　認証情報取得部２２ｆは、決済端末３０のタッチパネル３３を介して入力されたＰＩＮ（以下、入力ＰＩＮと呼ぶ）を取得する。具体的には、決済端末３０から送信される入力ＰＩＮを通信部２４が受信し、認証情報取得部２２ｆは、この通信部２４が受信した入力ＰＩＮを取得する。
　照合部２２ｇは、認証情報取得部２２ｆにより取得された入力ＰＩＮと記憶部２１に記憶されている登録済みＰＩＮ（図７参照）とを照合する。
　処理制御部２２ｈは、認証装置１０による認証が成功し、かつ、照合部２２ｇによる照合結果が一致する場合、決済処理を実行する決済端末３０に決済処理を実行させる。具体的には、決済処理制御部２２ｈは、決済処理指示を、通信部２４を介して決済端末３０に送信する。決済処理が本発明の所定処理の一例である。
　次に、決済端末３０の構成例について説明する。
　図８は決済端末３０の外観図、図９は概略構成図である。
　図８、図９に示すように、決済端末３０は、カメラ３１、表示部３２、タッチパネル３３、記憶部３４、制御部３５、メモリ３６、通信部３７を備える情報処理装置である。決済端末３０は、例えば、店舗に設置されている。なお、認証装置１０、認証制御装置２０は、同じ店舗に設置されていてもよいし、店舗から遠隔の地に設置されていてもよい。
　決済端末３０は、決済処理の前に顔認証、身体部分の特徴点を用いた認証及びＰＩＮ照合（三要素認証）を実行する。そして、決済端末３０は、顔認証が成功し、身体部分の特徴点を用いた認証が成功し、かつ、ＰＩＮ照合の結果が一致する場合、決済処理を行う。なお、購入商品の入力（読取）や決済処理そのものといった三要素認証の前後の処理については、公知技術を用いることができるため、詳細な説明を省略する。
　カメラ３１は、ユーザＵ（タッチパネル３３に対して手指により入力操作を行っているユーザＵの顔及び当該ユーザＵの手指と顔との間の身体部分）を含む画像を撮影する。例えば、カメラ３１は、図８に示すように、タッチパネル３３を介してＰＩＮを入力しているユーザＵの顔、すなわち、ＰＩＮ入力受付画面Ｇ１が表示されている表示部３２の表示面（及びその近傍に配置されたカメラ３１）を向いているユーザＵの顔を正面又は概ね正面から撮影することができるように、例えば、表示部３２のフレームのうち上部に取り付けられている。
　表示部３２は、例えば、タッチパネル付きディスプレイ等のディスプレイである。タッチパネル付きディスプレイは、タッチスクリーンディスプレイとも呼ばれる。表示部３２の表示面には、例えば、ＰＩＮ入力受付画面Ｇ１が表示される。図８に示すように、ＰＩＮ入力受付画面Ｇ１は、ユーザＵの手指がタッチパネル３３を介して辿るべき、ＰＩＮを構成する各々の要素を象徴する画像ｇを含む。各々の画像ｇは、所定パターンで配置された状態で表示部３２の表示面に表示される。例えば、画像ｇは、３×３の格子状のパターンで配置された状態で表示される（図８参照）。
　タッチパネル３３は、ユーザＵが操作する入力装置である。タッチパネル３３は、表示部３２の表示面を覆った状態で配置されている。タッチパネル３３は、例えば、ＰＩＮをユーザＵの手指により入力させるために用いられる。ユーザＵは、タッチパネル３３に接触させた状態の手指をタッチパネル３３上で移動させ、ＰＩＮを構成する要素に対応する画像ｇを、ＰＩＮの先頭から順番に辿る（経由する）ことで、ＰＩＮを入力する。その際、ＰＩＮは複数の要素（例えば、数字、文字、記号）の組み合わせで構成される１０桁程度又はそれ以下の桁数の簡易なコードであり、該当の画像ｇを辿るように手指を数回移動させるだけでＰＩＮ入力できるため、ユーザＵのＰＩＮ入力の負担が軽減される。
　なお、ＰＩＮは、表示部３２の表示面に表示されるソフトウェアキーボード（図示せず）をタッチパネル３３介してタップすることで入力してもよいし、表示部３２近傍に配置された物理キーボード（図示せず）を介して入力してもよい。
　記憶部３４は、ハードディスク装置やＲＯＭ等の不揮発性の記憶部である。記憶部３４には、プログラム３４ａが記憶されている。
　プログラム３４ａは、制御部３５（プロセッサ）により実行されるプログラムである。
　制御部３５は、図示しないが、プロセッサを備えている。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサは、１つの場合もあるし、複数の場合もある。プロセッサは、記憶部３４からメモリ３６（例えば、ＲＡＭ）に読み込まれたプログラム３４ａを実行することで、表示制御部３５ａ、入力状態検出部３５ｂ、撮影制御部３５ｃ、決済処理部３５ｄとして機能する。これらの一部又は全部は、ハードウェアで実現してもよい。
　表示制御部３５ａは、例えば、認証制御装置２０から送信される画面表示指示（ＰＩＮ入力受付画面Ｇ１を表示させるための画面表示指示）を通信部３７が受信した場合、表示部３２の表示面にＰＩＮ入力受付画面Ｇ１（図８参照）を表示する。なお、ＰＩＮ入力受付画面Ｇ１は、予め決済端末３０の記憶部３４に格納された情報に基づいて表示してもよいし、画面表示指示と共に認証制御装置２０から受信した情報に基づいて表示してもよい。
　入力状態検出部３５ｂは、ＰＩＮの入力状態を検出する。入力状態検出部３５ｂにより検出されるＰＩＮの入力状態は、例えば、ＰＩＮの入力開始、ＰＩＮの入力終了である。
　撮影制御部３５ｃは、例えば、認証制御装置２０から送信される撮影指示を通信部３７が受信した場合、カメラ３１を起動させてユーザＵ（タッチパネル３３に対して手指により入力操作を行っているユーザＵの顔及び当該ユーザＵの手指と顔との間の身体部分）を含む画像を撮影する。例えば、カメラ３１に電源を供給すること又はカメラ３１をスリープ状態から通常状態へ移行させることで、カメラ３１を起動させる。一方、撮影制御部３５ｃは、撮影が終了した場合、カメラ３１の起動を停止する。例えば、カメラ３１への電源供給を停止すること又はカメラ３１をスリープ状態へ移行させることで、カメラ３１の起動を停止する。
　決済処理部３５ｄは、例えば、認証制御装置２０から送信される決済処理指示を通信部３７が受信した場合、決済処理を実行する。つまり、認証されたユーザＵに対応付けられた決済情報をもとに、支払い処理を完了させる。
　通信部３７は、認証制御装置２０との間でネットワークＮＷを介して通信する通信装置である。
　次に、上記構成の認証システム１の動作の一例（第１動作例）について説明する。
　図１０は、認証システム１（第１動作例）のシーケンス図である。
　図１０に示すように、まず、認証制御装置２０（表示制御部２２ａ）は、ＰＩＮ入力受付画面Ｇ１を表示させるための画面表示指示を、通信部２４を介して決済端末３０に送信する（ステップＳ１０）。
　次に、決済端末３０（表示制御部３５ａ）は、ステップＳ１０で送信される画面表示指示を通信部３７が受信した場合、表示部３２の表示面にＰＩＮ入力受付画面Ｇ１（図８参照）を表示する（ステップＳ１１）。
　次に、決済端末３０は、タッチパネル３３に対するユーザＵの入力操作に応じてカメラ３１を起動させてユーザＵ（タッチパネル３３に対して手指により入力操作を行っているユーザＵの顔及び当該ユーザＵの手指と顔との間の身体部分）を含む画像を撮影する（ステップＳ１２～Ｓ１６）。
　具体的には、まず、ユーザＵは、タッチパネル３３を介して自己に割り当てられているＰＩＮの入力を開始する（ステップＳ１２）。例えば、ユーザＵは、タッチパネル３３に接触させた状態の手指をタッチパネル３３上で移動させ、ＰＩＮを構成する要素に対応する画像ｇを、ＰＩＮの先頭から順番に辿る（経由する）ことで、ＰＩＮを入力する。決済端末３０（入力状態検出部３５ｂ）は、ＰＩＮの入力開始を検出する。
　次に、決済端末３０（通信部３７）は、入力状態検出部３５ｂがＰＩＮの入力開始を検出した場合、入力開始検出通知を認証制御装置２０に送信する（ステップＳ１３）。
　次に、認証制御装置２０（撮影制御部２２ｂ）は、ステップＳ１３で送信される入力開始検出通知を通信部２４が受信した場合、通信部２４を介して撮影指示を決済端末３０に送信する（ステップＳ１４）。
　次に、決済端末３０（撮影制御部３５ｃ）は、ステップＳ１４で送信される撮影指示を通信部３７が受信した場合、カメラ３１を起動させて（ステップＳ１５）タッチパネル３３を介してＰＩＮを入力しているユーザＵ（タッチパネル３３に対して手指により入力操作を行っているユーザＵの顔及び当該ユーザＵの手指と顔との間の身体部分）を含む画像を撮影する（ステップＳ１６）。撮影枚数は、一枚でもよいし、複数枚でもよい。撮影制御部３５ｃは、撮影が終了した場合、カメラ３１の起動を停止する。
　以上のように、決済端末３０は、タッチパネル３３に対するユーザＵの入力操作に応じてカメラ３１を起動させてユーザＵ（タッチパネル３３に対して手指により入力操作を行っているユーザＵの顔及び当該ユーザＵの手指と顔との間の身体部分）を含む画像を撮影する。
　次に、決済端末３０（通信部３７）は、ステップＳ１６で撮影された撮影画像を認証制御装置２０に送信する（ステップＳ１７）。その際、撮影制御部３５ｃは、撮影画像が送信されたタイミングでカメラ３１の撮影を終了してもよい（又はカメラ３１の起動を停止してもよい）。
　次に、認証制御装置２０（通信部２４）はステップＳ１７で送信される撮影画像を受信し、画像取得部２２ｃは、この通信部２４が受信した撮影画像を取得する。
　次に、認証制御装置２０（認証制御部２２ｄ）は、この取得された撮影画像に含まれるユーザＵの認証（顔認証及び身体部分の特徴点を用いた認証）を要求する認証要求を、通信部２４を介して認証装置１０に送信する（ステップＳ１８）。この認証要求は、上記取得された撮影画像を含む。
　次に、認証装置１０は、ステップＳ１８で送信される認証要求を通信部１４が受信した場合、認証処理（図６参照）を実行する（ステップＳ１９）。
　次に、認証装置１０（認証部１２ｅ）は、認証結果を、通信部１４を介して認証要求送信元の認証制御装置２０に送信する（ステップＳ２０）。ここでは、認証結果として、認証が成功した旨及び認証したユーザＵのユーザＩＤを認証制御装置２０に送信したとする。
　次に、認証制御装置２０（通信部２４）はステップＳ２０で送信される認証の結果及びユーザＩＤを受信し、認証結果取得部２２ｅは、この通信部２４が受信した認証の結果を取得する。
　決済端末３０（通信部３７）は、入力状態検出部３５ｂがＰＩＮの入力終了を検出した場合、入力ＰＩＮを認証制御装置２０に送信する（ステップＳ２２）。認証制御装置２０（通信部２４）はステップＳ２２で送信される入力ＰＩＮを受信し、認証情報取得部２２ｆは、この通信部２４が受信した入力ＰＩＮを取得する。
　次に、認証制御装置２０（照合部２２ｇ）は、ＰＩＮ照合を実行する（ステップＳ２３）。このＰＩＮ照合は、認証情報取得部２２ｆにより取得された入力ＰＩＮと記憶部２１に記憶されている登録済みＰＩＮ（上記取得されたユーザＩＤが対応付けられている登録済みＰＩＮ）とを照合する処理である。
　次に、認証制御装置２０（通信部２４）は、認証が成功し（認証結果取得部２２ｅが取得した認証の結果が、認証が成功した旨で）、かつ、ステップＳ２３のＰＩＮ照合の結果が一致した場合、決済処理指示を、通信部２４を介して決済端末３０に送信する（ステップＳ２４）。
　次に、決済端末３０（表示制御部３５ａ）は、ステップＳ２４で送信される決済処理指示を通信部３７が受信した場合、決済を実行するか否かの決済実行問い合わせ画面（図１１参照）を表示部３２の表示面に表示する（ステップＳ２５）。図１１は、決済実行問い合わせ画面Ｇ２の一例である。
　次に、ユーザＵが決済実行を入力した場合、例えば、ユーザＵが決済実行問い合わせ画面中の決済ボタンＢをタッチパネル３３を介してタップした場合、決済端末３０（決済処理部３５ｄ）は、決済処理を実行する（ステップＳ２７）。その際、撮影制御部３５ｃは、ユーザＵが決済ボタンＢをタッチパネル３３を介してタップしたタイミングでカメラ３１の撮影を終了してもよい（又はカメラ３１の起動を停止してもよい）。
　なお、認証が失敗した場合（認証結果取得部２２ｅが取得した認証の結果が、認証が失敗した旨である場合）、又は、ステップＳ２３のＰＩＮ照合の結果が一致しない場合、ステップＳ２４～Ｓ２７の処理は実行されない。この場合、表示部３２には、例えば、認証が失敗した旨が表示される。
　なお、ステップＳ１９～Ｓ２４の処理を実行する過程において、認証処理（ステップＳ１９）で検出される身体部分の特徴点（例えば、図１４中の手首Ｐ１、肘Ｐ２、肩Ｐ３、首Ｐ４、顔Ｐ５）を、ステップＳ１６で撮影された画像中の認証対象者（決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザ）に重畳させてタッチパネル画面（タッチパネル３３により覆われた表示部３２の表示面）に表示させてもよい（図１４参照）。その際、ステップＳ１６で撮影された画像中に、認証対象者の後方に並んでいる認証対象者以外の第三者が写り込んでいる場合（図示せず）、当該第三者の身体部分の特徴点は、表示させないようにしてもよい。または、ステップＳ１６で撮影された画像中に、認証対象者の後方に並んでいる認証対象者以外の第三者が写り込んでいる場合（図示せず）、認証処理（ステップＳ１９）で検出される身体部分の特徴点をステップＳ１６で撮影された画像中の認証対象者及び第三者に重畳させてタッチパネル画面に表示させてもよい。その際、認識対象者に重畳される身体部分の特徴点を強調表示させてもよい（第三者に重畳される身体部分の特徴点は強調表示させなくてよい）。さらに、認証処理（ステップＳ１９）の認証が成功した場合、ステップＳ１６で撮影された画像中の認証対象者に重畳されている身体部分の特徴点の色を変更させてタッチパネル画面に表示させてもよい。
　以上説明したように、認証システム１の動作の一例（第１動作例）によれば、ＰＩＮ照合（ステップＳ２３）より先に顔認証（ステップＳ１９）を行うので、顔認証を迅速に実施することができる。（早く対応できる。）
　次に、上記構成の認証システム１の動作の一例（第２動作例）について説明する。
　図１２は、認証システム１（第２動作例）のシーケンス図である。
　上記第１動作例では、顔身体情報ＤＢ１１ｂに登録されている全てのユーザＩＤの顔特徴情報及び身体特徴情報を用いて認証処理が実行されたのに対して、第２動作例では、顔身体情報ＤＢ１１ｂに登録されているユーザＩＤのうち、入力ＰＩＮが対応づけられているユーザＩＤの顔特徴情報及び身体特徴情報を用いて認証処理が実行される。ステップＳ１０～Ｓ１７、Ｓ２１、Ｓ２２の処理は、上記第１動作例と同じであるため、同一の符号を付して説明を省略する。以下、ステップＳ２２以降のステップＳ３０～Ｓ３７を中心に説明する。
　まず、前提として、認証制御装置２０（通信部２４）はステップＳ１７で送信される撮影画像を受信し、画像取得部２２ｃは、この通信部２４が受信した撮影画像を取得する。また、認証制御装置２０（通信部２４）はステップＳ２２で送信される入力ＰＩＮを受信し、認証情報取得部２２ｆは、この通信部２４が受信した入力ＰＩＮを取得する。
　次に、認証制御装置２０（照合部２２ｇ）は、ＰＩＮ照合を実行する（ステップＳ３０）。このＰＩＮ照合は、認証情報取得部２２ｆにより取得された入力ＰＩＮと記憶部２１に記憶されている登録済みＰＩＮ（全ＰＩＮ）とを照合し、記憶部２１から、認証情報取得部２２ｆにより取得された入力ＰＩＮが対応づけられているユーザＩＤを抽出する処理である。
　次に、認証制御装置２０（認証制御部２２ｄ）は、ステップＳ３０のＰＩＮ照合の結果ユーザＩＤが抽出された場合、上記取得された撮影画像に含まれるユーザＵの認証（顔認証及び身体部分の特徴点を用いた認証）を要求する認証要求を、通信部２４を介して認証装置１０に送信する（ステップＳ３１）。この認証要求は、上記取得された撮影画像及びステップＳ３０で抽出されたユーザＩＤを含む。
　次に、認証装置１０は、ステップＳ３１で送信される認証要求を通信部１４が受信した場合、認証処理（図６参照）を実行する（ステップＳ３２）。その際、認証装置１０は、全ユーザＩＤ（例えば、１０００名分）の顔特徴情報及び身体特徴情報ではなく、ステップＳ３０で抽出されたユーザＩＤ（例えば、１００名分）の顔特徴情報及び身体特徴情報を用いて認証処理を実行する。
　次に、認証装置１０（認証部１２ｅ）は、認証結果を認証要求送信元の認証制御装置２０に送信する（ステップＳ３３）。ここでは、認証結果として、認証が成功した旨を認証制御装置２０に送信したとする。
　次に、認証制御装置２０（通信部２４）は、ステップＳ３３で送信される認証の結果を受信し、認証結果取得部２２ｅは、この通信部２４が受信した認証の結果を取得する。
　次に、認証制御装置２０（通信部２４）は、この取得された認証の結果が認証が成功した旨である場合、決済端末３０に決済処理指示を送信する（ステップＳ３４）。
　次に、決済端末３０（表示制御部３５ａ）は、ステップＳ３４で送信される決済処理指示を受信した場合、決済を実行するか否かの決済実行問い合わせ画面（図１１参照）を表示部３２に表示する（ステップＳ３５）。
　次に、ユーザＵが決済実行を入力した場合、例えば、ユーザＵが決済実行問い合わせ画面（図１１参照）中の決済ボタンＢをタッチパネル３３を介してタップした場合、決済端末３０は、決済処理を実行する（ステップＳ３７）。
　なお、ステップＳ３０のＰＩＮ照合の結果ユーザＩＤが抽出されない場合、又は、認証が失敗した場合（認証結果取得部２２ｅが取得した認証の結果が、認証が失敗した旨である場合）、ステップＳ３４～Ｓ３７の処理は実行されない。この場合、表示部３２には、例えば、認証が失敗した旨が表示される。
　以上説明したように、認証システム１の動作の一例（第２動作例）によれば、ＰＩＮ照合（ステップＳ３０）により絞り込んだ上で（例えば、上記例では１０００名から１００名に絞り込んだ上で）、認証（ステップＳ３２）を実施できるため認証精度を向上することができる。
　なお、ステップＳ３２～Ｓ３４の処理を実行する過程において、認証処理（ステップＳ３２）で検出される身体部分の特徴点（例えば、図１４中の手首Ｐ１、肘Ｐ２、肩Ｐ３、首Ｐ４、顔Ｐ５）を、ステップＳ１６で撮影された画像中の認証対象者（決済端末３０のタッチパネル３３に対して手指により入力操作を行っているユーザ）に重畳させてタッチパネル画面（タッチパネル３３により覆われた表示部３２の表示面）に表示させてもよい（図１４参照）。その際、ステップＳ１６で撮影された画像中に、認証対象者の後方に並んでいる認証対象者以外の第三者が写り込んでいる場合（図示せず）、当該第三者の身体部分の特徴点は、表示させないようにしてもよい。または、ステップＳ１６で撮影された画像中に、認証対象者の後方に並んでいる認証対象者以外の第三者が写り込んでいる場合（図示せず）、認証処理（ステップＳ３２）で検出される身体部分の特徴点をステップＳ１６で撮影された画像中の認証対象者及び第三者に重畳させてタッチパネル画面に表示させてもよい。その際、認識対象者に重畳される身体部分の特徴点を強調表示させてもよい（第三者に重畳される身体部分の特徴点は強調表示させなくてよい）。さらに、認証処理（ステップＳ３２）の認証が成功した場合、ステップＳ１６で撮影された画像中の認証対象者に重畳されている身体部分の特徴点の色を変更させてタッチパネル画面に表示させてもよい。
　以上説明したように、実施形態２によれば、身体部分の特徴点（タッチパネル３３に対して手指により入力操作を行っているユーザの当該手指と顔との間の身体部分の特徴点）を用いた認証を実行することにより、入力手段３３に対して手指により入力操作を行っているユーザＵの認証精度を向上させることができる。
　すなわち、手指と顔との間の身体部分は、ユーザごとに異なる。例えば、手首と肘との間の距離や角度、肘と肩との間の距離や角度、肩と首との間の距離や角度等は、ユーザごとに異なる。また、ユーザＵがタッチパネル３３に対して手指により入力操作を行っている際、当該手指と顔との間の身体部分の形状は、ユーザごとに固有の形状となる。例えば、肘を大きく曲げて入力操作を行うユーザもいれば、肘をほとんど曲げずに入力操作を行うユーザもいる。したがって、身体部分の特徴点（タッチパネル３３に対して手指により入力操作を行っているユーザの当該手指と顔との間の身体部分の特徴点）を用いた認証を実行することにより、タッチパネル３３に対して手指により入力操作を行っているユーザＵの認証精度を向上させることができる。
　また、実施形態２によれば、顔認証及びＰＩＮ照合に加え、身体部分の特徴点を用いた認証（三要素認証）を行うため、身体部分の特徴点を用いた認証を行わず、顔認証及びＰＩＮ照合（二要素認証）を行う場合と比べ、タッチパネル３３に対して手指により入力操作を行っているユーザＵの認証精度を向上させることができる。
　また、実施形態２によれば、タッチパネル３３に対するユーザの入力操作に応じた適切なタイミング（例えば、ユーザＵがタッチパネル３３を介してＰＩＮの入力を開始したタイミング）でカメラ３１を起動させてユーザＵの顔を撮影することができる。これにより、カメラ３１を常時起動させている場合と比べ、消費電力の削減が可能となる。また、カメラ３１を常時起動させていると、認証対象者以外の第三者（例えば、カメラ３１の撮影範囲を横切る第三者）が映り込む機会が増えるためプライバシー保護の観点から好ましくないが、実施形態２のようにタッチパネル３３に対するユーザの入力操作に応じた適切なタイミングで（つまり、認証が必要なタイミングで）カメラ３１を起動することにより、認証対象者以外の第三者が映り込むのを抑制することができる。
　また、実施形態２によれば、タッチパネル３３に対するユーザの入力操作に応じたタイミング（例えば、ユーザＵがタッチパネル３３を介してＰＩＮの入力を開始したタイミング）でユーザＵの顔を撮影するため、タッチパネル３３を介してＰＩＮを入力しているユーザＵの顔、すなわち、ＰＩＮ入力受付画面Ｇ１が表示されている表示部３２の表示面（及びその近傍に配置されたカメラ３１）を向いている（注視している）ユーザＵの顔を正面又は概ね正面から撮影することができる。つまり、ユーザＵの顔を顔認証に適した角度で撮影することができる。これにより、顔認証の認証精度の向上を期待できる。
　また、実施形態２によれば、タッチパネル３３に対するユーザの入力操作に応じた適切なタイミング（例えば、ユーザＵがタッチパネル３３を介してＰＩＮの入力を開始したタイミング）でカメラ３１を起動させてユーザＵの顔を撮影することができる。これにより、カメラ３１を常時起動させている場合と比べ、消費電力の削減が可能となる。また、カメラ３１を常時起動させていると、認証対象者以外の第三者（例えば、認証対象者の後方に並んでいる認証対象者以外の第三者やカメラ３１の撮影範囲を横切る第三者）が映り込む機会が増えるためプライバシー保護の観点から好ましくないが、実施形態２のようにタッチパネル３３に対するユーザの入力操作に応じた適切なタイミングで（つまり、認証が必要なタイミングで）カメラ３１を起動することにより、認証対象者以外の第三者が映り込むのを抑制することができる。
　次に、変形例について説明する。
　上記実施形態２では、認証装置１０による認証（顔認証、身体部分の特徴点を用いた認証）が成功し、かつ、照合部２２ｇによる照合結果が一致する場合（つまり、三要素認証が成功した場合）に決済処理を実行する例について説明したが、これに限らない。
　例えば、顔認証による照合は省略してもよい。すなわち、認証装置１０による認証（身体部分の特徴点を用いた認証）が成功し、かつ、照合部２２ｇによる照合結果が一致する場合（つまり、二要素認証が成功した場合）に決済処理を実行してもよい。また例えば、顔認証及び照合部２２ｇによる照合は省略してもよい。すなわち、認証装置１０による認証（身体部分の特徴点を用いた認証）が成功した場合（つまり、一要素認証が成功した場合）に決済処理を実行してもよい。また例えば、照合部２２ｇによる照合は省略してもよい。すなわち、認証装置１０による認証（顔認証、身体部分の特徴点を用いた認証）が成功した場合（つまり、二要素認証が成功した場合）に決済処理を実行してもよい。
　また、上記実施形態２では、カメラ３１を表示部３２のフレームのうち上部に取り付けた例（図８参照）について説明したが、これに限らない。すなわち、顔認証及び身体部分の特徴点を用いた認証に適した角度で撮影することができるのであれば、カメラ３１は、どこに取り付けてもよい。例えば、表示部３２のフレームのうち左部又は右部に取り付けてもよい。または、決済端末３０の近傍に設置された構造物（例えば、壁や柱）やその他の箇所に取り付けてもよい。
　また、上記実施形態２では、認証が成功した場合（例えば、三要素認証が成功した場合）に実行される所定処理が決済処理である例について説明したが、これに限らない。例えば、この所定処理は、ユーザＵが通過するゲート又はドアを開く処理、その他の処理であってもよい。
　また、上記実施形態２では、タッチパネル３３に対するユーザの入力操作に応じたタイミング（カメラ３１を起動させてユーザＵを撮影するタイミング）が、ユーザＵがタッチパネル３３を介してＰＩＮの入力を開始したタイミングである例について説明したが、これに限らない。例えば、タッチパネル３３に対するユーザの入力操作に応じたタイミング（カメラ３１を起動させてユーザＵを撮影するタイミング）は、ＰＩＮの入力開始後、ＰＩＮの入力終了前のいずれかのタイミングであってもよい。
　このようにすれば、タッチパネル３３を介してＰＩＮを入力しているユーザＵの顔、すなわち、ＰＩＮ入力受付画面Ｇ１が表示されている表示部３２の表示面（及びその近傍に配置されたカメラ３１）を向いている（注視している）ユーザＵの顔を正面又は概ね正面から撮影することができる。つまり、ユーザＵの顔を顔認証に適した角度で撮影することができる。これにより、顔認証の認証精度の向上を期待できる。
　また、タッチパネル３３に対するユーザの入力操作に応じたタイミング（カメラ３１を起動させてユーザＵを撮影するタイミング）は、ユーザＵがＰＩＮの入力を終了したタイミング又はそれ以降のタイミングであってもよい。
　また、上記実施形態２では、認証システム１を、ネットワークＮＷ（例えば、インターネット）を介して互いに通信可能な認証装置１０、認証制御装置２０、決済端末３０により構成した例について説明したが、これに限らない。
　例えば、決済端末３０に、認証装置１０、認証制御装置２０の全部又は一部の構成又は機能を追加してもよい。また、認証制御装置２０に、決済端末３０、認証装置１０の全部又は一部の構成又は機能を追加してもよい。
　上記実施形態１、２において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　上記実施形態で示した数値は全て例示であり、これと異なる適宜の数値を用いることができるのは無論である。
　上記実施形態はあらゆる点で単なる例示にすぎない。上記実施形態の記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御手段と、
　前記カメラにより撮影された前記画像を取得する画像取得手段と、
　手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得手段により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御手段と、を備える認証制御装置。
　（付記２）
　前記認証制御手段は、さらに、前記認証装置に、前記画像取得手段により取得された前記画像に含まれる前記ユーザの顔認証を実行させる付記１に記載の認証制御装置。
　（付記３）
　前記入力手段は、前記ユーザに割り当てられた認証情報を前記ユーザに入力させる入力手段であり、
　さらに、
　前記入力手段を介して入力された前記認証情報を取得する認証情報取得手段と、
　前記認証情報取得手段により取得された前記認証情報と登録済み認証情報とを照合する照合手段と、
　前記認証装置による前記ユーザの前記身体部分の特徴点を用いた認証及び前記顔認証が成功し、かつ、前記照合手段による照合結果が一致する場合、所定処理を実行する処理手段に前記所定処理を実行させる処理制御手段と、を備える付記２に記載の認証制御装置。
　（付記４）
　前記所定処理は、決済処理、前記ユーザが通過するゲート又はドアを開く処理である付記３に記載の認証制御装置。
　（付記５）
　前記入力手段は、認証情報を前記ユーザの手指により入力させる入力手段である付記１から４のいずれか１項に記載の認証制御装置。
　（付記６）
　前記入力手段は、表示部の表示面を覆った状態で配置されたタッチパネルである付記５に記載の認証制御装置。
　（付記７）
　前記表示部の表示面に、前記ユーザの手指が前記タッチパネルを介して辿るべき、前記認証情報を構成する各々の要素を象徴する画像を含む認証情報入力画面を表示させる表示制御部をさらに備える付記６に記載の認証制御装置。
　（付記８）
　前記カメラは、前記入力手段を介して前記認証情報を入力している前記ユーザの顔を正面から撮影するように配置されている付記５から７のいずれか１項に記載の認証制御装置。
　（付記９）
　入力手段と、
　前記入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御手段と、
　前記カメラにより撮影された前記画像を取得する画像取得手段と、
　前記画像取得手段により取得された画像に含まれる前記ユーザの前記入力手段に対して前記入力操作を行っている前記手指と顔との間の身体部分の特徴点を用いた認証を実行する認証手段と、を備える認証システム。
　（付記１０）
　ネットワークを介して互いに通信可能な情報処理装置、認証制御装置及び認証装置を備え、
　前記入力手段は、前記情報処理装置に設けられ、
　前記撮影制御手段は、前記認証制御装置に設けられ、
　前記画像取得手段及び前記認証手段は、前記認証装置に設けられている付記９に記載の認証システム。
　（付記１１）
　入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御ステップと、
　前記カメラにより撮影された前記画像を取得する画像取得ステップと、
　手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得ステップにより取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御ステップと、を備える認証制御方法。
　（付記１２）
　少なくとも１つのプロセッサを備えた電子デバイスに、
　入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御処理と、
　前記カメラにより撮影された前記画像を取得する画像取得処理と、
　手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得処理により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御処理と、を実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
１　認証システム
１０　認証装置
１１　記憶部
１１ａ　プログラム
１１ｂ　顔身体情報ＤＢ
１２　制御部
１２ａ　画像取得部
１２ｂ　顔検出部
１２ｃ　顔特徴点抽出部
１２ｄ　登録部
１２ｅ　認証部
１３　メモリ
１４　通信部
２０　認証制御装置
２１　記憶部
２１ａ　プログラム
２１ｂ　個人認証情報
２１ｂ２　認証情報
２２　制御部
２２ａ　表示制御部
２２ｂ　撮影制御部（撮影制御手段）
２２ｃ　画像取得部（画像取得手段）
２２ｄ　認証制御部（認証制御手段）
２２ｅ　認証情報取得部（認証結果取得部）
２２ｇ　照合部
２２ｈ　完了処理部
２３　メモリ
２４　通信部
３０　決済端末（情報処理装置）
３１　カメラ
３２　表示部
３３　タッチパネル（入力手段）
３４　記憶部
３４ａ　プログラム
３５　制御部
３５ａ　表示制御部
３５ｂ　入力状態検出部
３５ｃ　撮影制御部
３５ｄ　決済処理部
３６　メモリ
３７　通信部
Ｂ　決済ボタン
Ｇ１　ＰＩＮ入力受付画面
Ｇ２　問い合わせ画面
ＮＷ　ネットワーク
ｇ　画像

Claims (12)

  1. 　入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御手段と、
    　前記カメラにより撮影された前記画像を取得する画像取得手段と、
    　手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得手段により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御手段と、を備える認証制御装置。
  2. 　前記認証制御手段は、さらに、前記認証装置に、前記画像取得手段により取得された前記画像に含まれる前記ユーザの顔認証を実行させる請求項１に記載の認証制御装置。
  3. 　前記入力手段は、前記ユーザに割り当てられた認証情報を前記ユーザに入力させる入力手段であり、
    　さらに、
    　前記入力手段を介して入力された前記認証情報を取得する認証情報取得手段と、
    　前記認証情報取得手段により取得された前記認証情報と登録済み認証情報とを照合する照合手段と、
    　前記認証装置による前記ユーザの前記身体部分の特徴点を用いた認証及び前記顔認証が成功し、かつ、前記照合手段による照合結果が一致する場合、所定処理を実行する処理手段に前記所定処理を実行させる処理制御手段と、を備える請求項２に記載の認証制御装置。
  4. 　前記所定処理は、決済処理、前記ユーザが通過するゲート又はドアを開く処理である請求項３に記載の認証制御装置。
  5. 　前記入力手段は、認証情報を前記ユーザの手指により入力させる入力手段である請求項１から４のいずれか１項に記載の認証制御装置。
  6. 　前記入力手段は、表示部の表示面を覆った状態で配置されたタッチパネルである請求項５に記載の認証制御装置。
  7. 　前記表示部の表示面に、前記ユーザの手指が前記タッチパネルを介して辿るべき、前記認証情報を構成する各々の要素を象徴する画像を含む認証情報入力画面を表示させる表示制御部をさらに備える請求項６に記載の認証制御装置。
  8. 　前記カメラは、前記入力手段を介して前記認証情報を入力している前記ユーザの顔を正面から撮影するように配置されている請求項５から７のいずれか１項に記載の認証制御装置。
  9. 　入力手段と、
    　前記入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御手段と、
    　前記カメラにより撮影された前記画像を取得する画像取得手段と、
    　前記画像取得手段により取得された画像に含まれる前記ユーザの前記入力手段に対して前記入力操作を行っている前記手指と顔との間の身体部分の特徴点を用いた認証を実行する認証手段と、を備える認証システム。
  10. 　ネットワークを介して互いに通信可能な情報処理装置、認証制御装置及び認証装置を備え、
    　前記入力手段は、前記情報処理装置に設けられ、
    　前記撮影制御手段は、前記認証制御装置に設けられ、
    　前記画像取得手段及び前記認証手段は、前記認証装置に設けられている請求項９に記載の認証システム。
  11. 　入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御ステップと、
    　前記カメラにより撮影された前記画像を取得する画像取得ステップと、
    　手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得ステップにより取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御ステップと、を備える認証制御方法。
  12. 　少なくとも１つのプロセッサを備えた電子デバイスに、
    　入力手段に対して手指により入力操作を行っているユーザを含む画像をカメラにより撮影させる撮影制御処理と、
    　前記カメラにより撮影された前記画像を取得する画像取得処理と、
    　手指と顔との間の身体部分の特徴点を用いた認証を実行する認証装置に、前記画像取得処理により取得された前記画像に含まれる前記ユーザの前記身体部分の特徴点を用いた認証を実行させる認証制御処理と、を実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
PCT/JP2020/013384 2020-03-25 2020-03-25 認証制御装置、認証システム、認証制御方法及び記録媒体 WO2021192102A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013384 WO2021192102A1 (ja) 2020-03-25 2020-03-25 認証制御装置、認証システム、認証制御方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013384 WO2021192102A1 (ja) 2020-03-25 2020-03-25 認証制御装置、認証システム、認証制御方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2021192102A1 true WO2021192102A1 (ja) 2021-09-30

Family

ID=77891050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013384 WO2021192102A1 (ja) 2020-03-25 2020-03-25 認証制御装置、認証システム、認証制御方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2021192102A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム
JP2012133565A (ja) * 2010-12-21 2012-07-12 Nec Corp 認証処理装置、認証処理方法、及びプログラム
JP2019066918A (ja) * 2017-09-28 2019-04-25 株式会社日本総合研究所 認証システム、物品及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム
JP2012133565A (ja) * 2010-12-21 2012-07-12 Nec Corp 認証処理装置、認証処理方法、及びプログラム
JP2019066918A (ja) * 2017-09-28 2019-04-25 株式会社日本総合研究所 認証システム、物品及びプログラム

Similar Documents

Publication Publication Date Title
JP5169257B2 (ja) 自動取引装置および自動取引システム
US20160132670A1 (en) Systems and methods for authenticating user identity based on user-defined image data
US20210279319A1 (en) Systems and methods for executing electronic transactions using secure identity data
US20210029112A1 (en) Taptic authentication system and method
JP2007257221A (ja) 顔認識システム
WO2022059081A1 (ja) 入力制御装置、入力システム、入力制御方法及び非一時的なコンピュータ可読媒体
EP3786820B1 (en) Authentication system, authentication device, authentication method, and program
WO2021192101A1 (ja) 認証制御装置、情報処理装置、認証システム、認証制御方法及び記録媒体
WO2021192061A1 (ja) 認証制御装置、認証システム、認証制御方法及び記録媒体
WO2021192102A1 (ja) 認証制御装置、認証システム、認証制御方法及び記録媒体
JP6584855B2 (ja) 入力支援装置、入力支援方法及びプログラム
WO2021199176A1 (ja) 認証制御装置、認証システム、認証制御方法及び記録媒体
TWI771819B (zh) 認證系統、認證裝置、認證方法、及程式產品
US11678142B1 (en) Systems and methods for fraud prevention
TWM626411U (zh) 無卡式金融交易系統及主機伺服器
JP6891356B1 (ja) 認証システム、認証装置、認証方法、及びプログラム
CN116226817A (zh) 身份识别方法、装置、计算机设备和存储介质
JP2022117025A (ja) 本人確認方法、プログラム、及び情報システム
US20200034847A1 (en) Arrangement and method for facilitating a transaction
JP7509216B2 (ja) 入力制御装置、入力システム、入力制御方法及び入力制御プログラム
WO2023199455A1 (ja) 特定システム、入退場管理システム、及びｐｏｓシステム
US20240152590A1 (en) Server device, authentication terminal, system, control method of server device, and storage medium
US20230308435A1 (en) Authentication system, authentication terminal, method for controlling authentication system, method for controlling authentication terminal, and storage medium
JP2015225486A (ja) 生体情報登録システムおよび情報取得装置
JP2023156968A (ja) 特定システム、入退場管理システム、及びｐｏｓシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927344

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927344

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP