WO2022180988A1 - 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 - Google Patents

情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022180988A1
WO2022180988A1 PCT/JP2021/045845 JP2021045845W WO2022180988A1 WO 2022180988 A1 WO2022180988 A1 WO 2022180988A1 JP 2021045845 W JP2021045845 W JP 2021045845W WO 2022180988 A1 WO2022180988 A1 WO 2022180988A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
registration
appearance
authentication
person
Prior art date
Application number
PCT/JP2021/045845
Other languages
English (en)
French (fr)
Inventor
浩志 長田
統 坂口
智賢 新谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022530938A priority Critical patent/JP7124994B1/ja
Priority to US18/276,185 priority patent/US20240104987A1/en
Priority to JP2022126320A priority patent/JP7211548B2/ja
Publication of WO2022180988A1 publication Critical patent/WO2022180988A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Definitions

  • the present disclosure relates to an information processing device, an information processing system, an information processing method, and a non-transitory computer-readable medium.
  • Patent Document 1 face identification is performed from a face image of an authentication subject, a password generated based on the movement of the lips of the authentication subject is recognized, and the face identification result and the password recognition result are combined.
  • An information processing apparatus that performs personal authentication based on the information is disclosed.
  • Japanese Patent Application Laid-Open No. 2002-200001 discloses an image forming apparatus that performs face recognition and gesture recognition, performs authentication based on the face recognition result and the gesture recognition result, and starts security printing when the authentication is successful.
  • Patent Literatures 1 and 2 if the authentication operation is performed in a place where there are people around, such as an entrance/exit gate, there is a possibility that the authentication operation will be known to the surroundings. Also, in such a case, if image recognition of multiple elements is performed in a state where there are people around, there is a possibility of erroneous authentication.
  • An object of the present disclosure is to provide an information processing device, an information processing system, an information processing method, and a non-temporary computer-readable medium that suitably implement multi-factor authentication using image recognition in view of the above-described problems. .
  • An information processing device includes: For each person to be registered, the first appearance information for registration is registered in association with the face information for registration, and if a predetermined condition is satisfied, the first appearance information for registration associated with the face information for registration is registered. a renewing registration means; Acquisition means for acquiring captured image data of a person to be authenticated; a first determination result indicating whether or not the face information for authentication generated based on the captured image data corresponds to the face information for registration; and authentication generated based on the captured image data. authentication control means for performing personal authentication of the person to be authenticated based on a second determination result indicating whether or not the first appearance information corresponds to the first appearance information for registration; Gate control means for permitting passage through a gate when the personal authentication is successful.
  • An information processing system includes: an authentication terminal that generates a captured image of a person to be authenticated; and an information processing device communicably connected to the authentication terminal.
  • the information processing device is For each person to be registered, the first appearance information for registration is registered in association with the face information for registration, and if a predetermined condition is satisfied, the first appearance information for registration associated with the face information for registration is registered.
  • a renewing registration means an acquisition means for acquiring photographed image data of the person to be authenticated; a first determination result indicating whether or not the face information for authentication generated based on the captured image data corresponds to the face information for registration; and authentication generated based on the captured image data.
  • authentication control means for performing personal authentication of the person to be authenticated based on a second determination result indicating whether or not the first appearance information corresponds to the first appearance information for registration; Gate control means for permitting passage through a gate when the personal authentication is successful.
  • An information processing method includes: registering first appearance information for registration in association with face information for registration for each person to be registered; a step of obtaining captured image data of a person to be authenticated; a first determination result indicating whether or not the face information for authentication generated based on the captured image data corresponds to the face information for registration; and authentication generated based on the captured image data. performing personal authentication of the person to be authenticated based on a second determination result indicating whether or not the first appearance information corresponds to the first appearance information for registration; permitting passage through a gate if the personal authentication is successful; and updating the first appearance information for registration associated with the face information for registration for each person to be registered if a predetermined condition is satisfied.
  • a non-transitory computer-readable medium comprising: to the computer, a process of registering the first appearance information for registration in association with the face information for registration for each person to be registered; a process of acquiring captured image data of a person to be authenticated; a first determination result indicating whether or not the face information for authentication generated based on the captured image data corresponds to the face information for registration; and authentication generated based on the captured image data.
  • an information processing device an information processing system, an information processing method, and a non-temporary computer-readable medium that suitably implement multi-factor authentication using image recognition.
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus according to a first embodiment
  • FIG. 3 is a diagram showing the flow of an information processing method according to the first embodiment
  • FIG. 2 is a block diagram showing the overall configuration of an information processing system according to a second embodiment
  • FIG. 2 is a block diagram showing the configuration of a face authentication device according to a second embodiment
  • FIG. 9 is a flowchart showing the flow of face information registration processing according to the second embodiment
  • 9 is a flow chart showing the flow of face authentication processing according to the second embodiment
  • 2 is a block diagram showing the configuration of an appearance authentication device according to a second embodiment
  • FIG. 9 is a flowchart showing the flow of appearance authentication processing according to the second embodiment
  • FIG. 9 is a block diagram showing the configuration of an authentication terminal according to the second embodiment
  • FIG. FIG. 8 is a block diagram showing the configuration of a user terminal according to the second embodiment
  • FIG. 2 is a block diagram showing the configuration of an information processing apparatus according to a second embodiment
  • FIG. FIG. 10 is a diagram illustrating an example of a data structure of registration history information according to the second embodiment
  • FIG. 10 is a diagram illustrating an example of a data structure of authentication history information according to the second embodiment
  • FIG. 9 is a flowchart showing the flow of registration processing according to the second embodiment
  • 9 is a flowchart showing the flow of personal authentication processing according to the second embodiment
  • 9 is a flowchart showing the flow of appearance information update processing according to the second embodiment
  • FIG. 12 is a sequence diagram showing the flow of registration processing according to the second embodiment;
  • FIG. 10 is a diagram showing an example of display on a user terminal according to the second embodiment;
  • FIG. FIG. 11 is a sequence diagram showing the flow of personal authentication processing according to the second embodiment;
  • FIG. 11 is a diagram for explaining an example of personal authentication processing according to the second embodiment;
  • FIG. FIG. 11 is a diagram for explaining an example of personal authentication processing according to the second embodiment;
  • FIG. FIG. 11 is a diagram for explaining an example of personal authentication processing according to the second embodiment;
  • FIG. FIG. 11 is a sequence diagram showing the flow of update processing according to the second embodiment;
  • FIG. 10 is a diagram showing an example of display on a user terminal according to the second embodiment;
  • FIG. 11 is a block diagram showing the configuration of an appearance authentication device according to a third embodiment
  • FIG. 14 is a flowchart showing the flow of appearance authentication processing according to the third embodiment
  • FIG. 13 is a diagram illustrating an example of a data structure of registration history information according to the third embodiment
  • FIG. 11 is a flow chart showing the flow of element number addition processing according to the third embodiment
  • 10 is a flow chart showing the flow of personal authentication processing according to the third embodiment
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus 10 according to the first embodiment.
  • the information processing device 10 is an information processing device that performs multi-factor authentication.
  • the information processing device 10 is connected to a network (not shown).
  • a network may be wired or wireless.
  • a gate driving device (not shown) that opens and closes the gate
  • an authentication terminal (not shown) that is installed near the gate, photographs the person to be authenticated, and generates a photographed image are connected to the network.
  • the information processing device 10 is communicably connected to the gate driving device and the authentication terminal via the network.
  • the captured image includes at least the face area of the subject.
  • the information processing device 10 includes a registration unit 11, an acquisition unit 12, an authentication control unit 13, and a gate control unit 14.
  • the registration unit 11 is also called registration means.
  • the registration unit 11 registers appearance information for registration in association with face information for registration for each person to be registered.
  • the appearance information is also called first appearance information, and is information indicating the appearance of the subject at the time of authentication. It is preferable that the appearance of the appearance information can be easily changed by the subject according to his/her will.
  • the appearance information may be motion information indicating gestures (movements) of the subject at the time of authentication, or clothing information indicating the attire of the subject at the time of authentication.
  • the registration unit 11 updates the appearance information for registration associated with the face information for registration when a predetermined condition is satisfied for each person to be registered.
  • the acquisition unit 12 is also called acquisition means.
  • the acquiring unit 12 acquires photographed image data of a person to be authenticated from the authentication terminal via the network.
  • the acquisition unit 12 then supplies the captured image data to the authentication control unit 13 .
  • the authentication control unit 13 is also called authentication control means.
  • the authentication control unit 13 performs personal authentication of the person to be authenticated based on the first and second determination results based on the captured image data.
  • the first determination result indicates whether or not the face information for authentication generated based on the captured image data corresponds to the face information for registration. Therefore, the first determination result is sometimes called a face authentication result or a face determination result.
  • the second determination result indicates whether or not the appearance information for authentication generated based on the photographed image data corresponds to the appearance information for registration. Therefore, the second determination result is sometimes called an appearance authentication result or an appearance determination result.
  • the authentication control unit 13 supplies the result of personal authentication to the gate control unit 14 .
  • the gate control unit 14 is also called gate control means.
  • the gate control unit 14 permits the person to be authenticated to pass through the gate when the personal authentication is successful. For example, when the personal authentication is successful, the gate control unit 14 transmits a control signal for opening the gate to the gate driving device via the network. Further, for example, when the personal authentication fails, the gate control unit 14 transmits a control signal to close the gate to the gate driving device via the network. Further, for example, when the personal authentication is successful, the gate control unit 14 transmits a control signal to the gate driving device via the network to output (for example, display or audio output) permission to pass through the gate. Further, for example, when the personal authentication fails, the gate control unit 14 transmits a control signal to the gate driving device via the network to output a restriction on passage through the gate.
  • FIG. 2 is a diagram showing the flow of the information processing method according to the first embodiment.
  • the registration unit 11 registers appearance information of a person to be registered in association with face information of the person to be registered (S10).
  • the acquiring unit 12 acquires captured image data of the person to be authenticated from the authentication terminal via the network (S11).
  • the authentication control unit 13 performs personal authentication based on the face authentication result and appearance authentication result (S12), and determines whether or not the personal authentication is successful (S13). Specifically, the authentication control unit 13 determines that personal authentication is successful when face authentication is successful and appearance authentication is successful. On the other hand, the authentication control unit 13 determines that personal authentication has failed when either one fails.
  • the gate control unit 14 permits the person to be authenticated to pass through the gate (S14), and advances the process to step S15.
  • the process proceeds to step S15.
  • the registration unit 11 determines whether or not a predetermined condition is satisfied (S15). When determining that the predetermined condition is satisfied (Yes in S15), the registration unit 11 updates the appearance information associated with the face information of the person to be registered to new appearance information (S16).
  • the information processing apparatus 10 performs multi-factor authentication including face authentication and appearance authentication using image recognition, and updates appearance information related to appearance authentication when predetermined conditions are satisfied. Therefore, it is possible to improve the security level by reducing the risk of leakage of personal information such as appearance information while improving authentication accuracy by multi-factor authentication. This is particularly effective when performing personal authentication in a place where there are people around. Accordingly, the information processing apparatus 10 can suitably perform multi-factor authentication using image recognition.
  • the information processing apparatus 10 includes a processor, a memory, and a storage device (not shown). Further, the storage device stores a computer program in which the processing of the information processing method according to the present embodiment is implemented. Then, the processor loads the computer program from the storage device into the memory and executes the computer program. Thereby, the processor implements the functions of the registration unit 11 , the acquisition unit 12 , the authentication control unit 13 , and the gate control unit 14 .
  • the registration unit 11, the acquisition unit 12, the authentication control unit 13, and the gate control unit 14 may each be realized by dedicated hardware.
  • part or all of each component of each device may be realized by general-purpose or dedicated circuitry, processors, etc., or combinations thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • each component of the information processing device 10 when part or all of each component of the information processing device 10 is realized by a plurality of information processing devices, circuits, etc., the plurality of information processing devices, circuits, etc. may be centrally arranged, They may be distributed.
  • the information processing device, circuits, and the like may be implemented as a form in which each is connected via a communication network, such as a client-server system, a cloud computing system, or the like.
  • the functions of the information processing device 10 may be provided in a SaaS (Software as a Service) format.
  • FIG. 3 is a block diagram showing the overall configuration of an information processing system 1000 according to the second embodiment.
  • the information processing system 1000 is a computer system that permits or restricts a user U, who is a person to be authenticated, from passing through a gate through multi-factor authentication using image recognition.
  • the information processing system 1000 includes a face authentication device 100, an appearance authentication device 200, an information processing device 300, authentication terminals 400-1 to 400-n (where n is a natural number equal to or greater than 1), a user terminal 500, and a gate driving device. 600-1 to 600-n.
  • Each device and terminal are connected to each other via a network N.
  • the network N is a wired or wireless communication line.
  • Each of the authentication terminals 400-1 to 400-n is installed near the gates A1, A2, .
  • a gate is an entrance/exit gate.
  • the gate may function, for example, as a station ticket gate, a theme park entrance/exit gate, or an event venue entrance/exit gate.
  • the authentication terminals 400-1 to 400-n are preferably installed so that at least the face of the user U can be photographed by walk-through.
  • Each of gate drivers 600-1 to 600-n controls opening and closing of gates A1, A2, . . . An.
  • each of the gate drivers 600-1 to 600-n outputs that the user U is permitted or restricted from passing through the gates A1, A2, . . . An. . . , 400-n may be simply referred to as the authentication terminal 400 below. . . 600-n may be simply referred to as the gate driver 600 when they are referred to without distinguishing between them.
  • User U who is a person to be registered, uses the user terminal 500 to register for use of the service in advance, and registers his/her own face information. Further, each user U registers the appearance information in advance or the appearance information is automatically registered. Appearance information is, as described above, motion information indicating the user U's motion or clothing information indicating the user's U clothing. For example, if the appearance information is motion information, the user U performs a predetermined motion when entering at the gate A1. Then, personal authentication is performed by image recognition, and if the personal authentication is successful, the user U can pass through the gate A1. Further, the user U performs a predetermined action when exiting at the gate A2.
  • the face authentication device 100 is an information processing device that stores facial feature information of a plurality of persons. In addition, in response to a face authentication request received from the outside, the face authentication device 100 compares the face image or face feature information included in the request with the face feature information of each user, and obtains a matching result (face authentication result). to the requester.
  • FIG. 4 is a block diagram showing the configuration of the face authentication device 100 according to the second embodiment.
  • the face authentication device 100 includes a face information DB (DataBase) 110 , a face detection section 120 , a feature point extraction section 130 , a registration section 140 and an authentication section 150 .
  • the face information DB 110 associates and stores a user ID 111 and face feature information 112 of the user ID.
  • the facial feature information 112 is a set of feature points extracted from a facial image, and is an example of facial information.
  • the face authentication device 100 may delete the face feature information 112 in the face feature DB 110 in response to a request from the registered user of the face feature information 112 .
  • the face authentication device 100 may delete the facial feature information 112 after a certain period of time has passed since it was registered.
  • the face detection unit 120 detects a face area included in a registered image for registering face information, and supplies it to the feature point extraction unit 130 .
  • the feature point extraction unit 130 extracts feature points from the face area detected by the face detection unit 120 and supplies face feature information to the registration unit 140 . Further, the feature point extraction unit 130 extracts feature points included in the facial image received from the information processing device 300 and supplies facial feature information to the authentication unit 150 .
  • the registration unit 140 newly issues a user ID 111 when registering facial feature information.
  • the registration unit 140 associates the issued user ID 111 with the facial feature information 112 extracted from the registered image and registers them in the facial information DB 110 .
  • the authentication unit 150 performs face authentication using the facial feature information 112 . Specifically, the authentication unit 150 collates the facial feature information extracted from the facial image with the facial feature information 112 in the facial information DB 110 .
  • the authentication unit 150 replies to the information processing device 300 whether or not the facial feature information matches. Whether the facial feature information matches or not corresponds to the success or failure of the authentication. Note that matching of facial feature information (matching) means a case where the degree of matching is equal to or greater than a predetermined value.
  • FIG. 5 is a flowchart showing the flow of face information registration processing according to the second embodiment.
  • the face authentication device 100 acquires the registered image of the user U included in the face information registration request (S21).
  • the face authentication device 100 receives a face information registration request from the user terminal 500 via the network N.
  • the face information registration request source is not limited to this, and may be the information processing apparatus 300 that receives the use registration request from the user terminal 500 .
  • face detection section 120 detects a face area included in the registered image (S22).
  • the feature point extraction unit 130 extracts feature points from the face area detected in step S22, and supplies face feature information to the registration unit 140 (S23).
  • the registration unit 140 issues the user ID 111, associates the user ID 111 with the facial feature information 112, and registers them in the facial information DB 110 (S24).
  • the face authentication device 100 may receive the face feature information 112 from the face information registration requester, associate it with the user ID 111 , and register it in the face information DB 110 .
  • FIG. 6 is a flow chart showing the flow of face authentication processing by the face authentication device 100 according to the second embodiment.
  • the feature point extraction unit 130 acquires facial feature information for authentication (S31).
  • the face authentication device 100 receives a face authentication request from the information processing device 300 via the network N, and extracts facial feature information from the captured image included in the face authentication request in steps S21 to S23.
  • the face authentication device 100 may receive facial feature information from the information processing device 300 .
  • the authentication unit 150 collates the acquired facial feature information with the facial feature information 112 of the facial information DB 110 (S32).
  • the authentication unit 150 identifies the user ID 111 of the user whose facial feature information matches (S34). . Then, the authenticating unit 150 sends back to the information processing apparatus 300 the fact that the face authentication was successful and the specified user ID 111 as the face authentication result (S35). At this time, if there are a plurality of user IDs 111 whose matching degree of facial feature information is equal to or greater than a predetermined value, the authentication unit 150 includes information indicating that the face authentication was successful and the plurality of user IDs 111 in the face authentication result. It replies to the information processing device 300 .
  • the face authentication result may include information specifying the detected face area, for example, position information of the face area in the captured image. If there is no matching facial feature information (No in S33), the authentication unit 150 returns a face authentication result to the information processing apparatus 300 to the effect that the face authentication has failed (S36).
  • the authentication unit 150 does not need to attempt matching with all the facial feature information 112 in the facial information DB 110.
  • the authentication unit 150 may preferentially attempt matching with facial feature information registered during the period from the day the face authentication request is received until several days before. This can improve matching speed. Also, if the preferential collation fails, it is preferable to collate with all the remaining facial feature information.
  • the appearance authentication device 200 is an information processing device that stores appearance feature information of each appearance (each action and each clothing). In addition, in response to an appearance authentication request received from the outside, the appearance authentication device 200 compares the human image or appearance feature information included in the request with the stored appearance feature information, and obtains a matching result (appearance authentication result ) to the requester.
  • FIG. 7 is a block diagram showing the configuration of the appearance authentication device 200 according to the second embodiment.
  • Appearance authentication device 200 includes appearance information DB 210 , detection unit 220 , feature point extraction unit 230 , registration unit 240 , and authentication unit 250 .
  • the appearance information DB 210 associates and stores an appearance ID 211 and the appearance feature information 212 of the appearance ID.
  • Appearance ID 211 is information for identifying an appearance to be authenticated.
  • Appearance feature information 212 is a set of feature points extracted from a person image having an appearance corresponding to the appearance ID. Appearance ID 211 and appearance feature information 212 may be referred to as appearance information.
  • the detection unit 220 detects a sample image for registering appearance information and a human area included in a photographed image acquired from the information processing device 300 and supplies it to the feature point extraction unit 230 .
  • the feature point extraction unit 230 extracts feature points from the human region detected by the detection unit 220 and supplies appearance feature information to the registration unit 240 . Further, the feature point extraction unit 230 extracts feature points included in the captured image received from the information processing device 300 and supplies appearance feature information to the authentication unit 250 .
  • the registration unit 240 newly issues an appearance ID 211 when registering appearance feature information.
  • the registration unit 240 associates the issued appearance ID 211 with the appearance characteristic information 212 extracted from the sample image and registers them in the appearance information DB 210 .
  • the authentication unit 250 performs appearance authentication using the appearance feature information 212 . Specifically, the authentication unit 250 acquires the appearance ID registered by the user U as an authentication target from the information processing device 300, and the appearance characteristic information 212 stored in the appearance information DB 210 in association with the acquired appearance ID. and the appearance feature information extracted from the photographed image.
  • the authentication unit 250 replies to the information processing apparatus 300 whether or not the appearance feature information matches. Whether the appearance feature information matches or not corresponds to the success or failure of the authentication. Note that matching of the appearance feature information (matching) means that the degree of matching is equal to or greater than a predetermined value.
  • FIG. 8 is a flowchart showing the flow of appearance authentication processing according to the second embodiment.
  • the detection unit 220 acquires an appearance authentication request from the information processing device 300 via the network N (S51).
  • the appearance authentication request includes a photographed image of the user U and an appearance ID registered as an authentication target by the user U whose face authentication has succeeded.
  • the appearance authentication request may also include information specifying the face area of the user U whose face authentication has succeeded.
  • the detection unit 220 identifies the person area included in the captured image as the detection area (S52). For example, the detection unit 220 may identify a predetermined area of the person area as the detection area according to the acquired appearance ID.
  • the detection unit 220 detects an area corresponding to the face area of the user U, for example, an area within a predetermined distance (predetermined number of pixels) from the face area. may be identified as the detection region.
  • the feature point extraction unit 230 extracts appearance feature information from the detection area (S53).
  • the appearance authentication device 200 may receive the appearance feature information from the information processing device 300, in which case the processing of S51 to S53 is omitted.
  • the authentication unit 250 collates the acquired appearance feature information with the appearance feature information 212 associated with the acquired appearance ID in the appearance information DB 210 (S54). If the appearance feature information matches, that is, if the degree of matching of the appearance feature information is equal to or greater than a predetermined value (Yes in S55), the authentication unit 250 returns to the information processing device 300 that the appearance authentication has succeeded (S56). ). At this time, the authentication unit 250 may additionally transmit the appearance ID and the user ID to the information processing device 300 . On the other hand, if the appearance feature information does not match (No in S55), the authentication unit 250 returns to the information processing apparatus 300 that the appearance authentication has failed (S57).
  • Each of the authentication terminals 400-1, 400-2, . . . 400-n is an information terminal including a camera and a display device.
  • the authentication terminal 400 captures an authentication image used for user U's personal authentication. For example, the authentication terminal 400 uses captured images of the user U captured at each of the installed gates as images for authentication. Authentication terminal 400 transmits a personal authentication request including an image for authentication to information processing apparatus 300 via network N. FIG. At this time, the authentication terminal 400 may include in the personal authentication request a gate ID that identifies the gate where the authentication terminal 400 is installed. Also, the authentication terminal 400 may include the photographing time in the personal authentication request. The authentication terminal 400 may receive the personal authentication result from the information processing device 300 via the network N, and may display the information on the screen as necessary.
  • FIG. 9 is a block diagram showing the configuration of the authentication terminal 400 according to the second embodiment.
  • Authentication terminal 400 includes camera 410 , storage unit 420 , communication unit 430 , display unit 440 , and control unit 450 .
  • the camera 410 is a photographing device that takes pictures under the control of the control unit 450 .
  • Storage unit 420 is a storage device that stores a program for realizing each function of authentication terminal 400 .
  • a communication unit 430 is a communication interface with the network N.
  • FIG. Display unit 440 is a display device. The display unit 440 may be configured integrally with an input unit (not shown). As an example, display unit 440 is a touch panel.
  • the control unit 450 controls hardware of the authentication terminal 400 .
  • the control unit 450 includes an imaging control unit 451 , an authentication control unit 453 and a display control unit 454 . Note that the display unit 440 and the display control unit 454 are not essential.
  • the imaging control unit 451 controls the camera 410 to capture an authentication image of the user U.
  • the authentication image is an image including at least the face area of the user.
  • the imaging control unit 451 also supplies the authentication image to the authentication control unit 453 .
  • the authentication control unit 453 transmits a personal authentication request including an authentication image to the information processing device 300 via the network N, and receives a personal authentication result.
  • the authentication control section 453 may then supply the personal authentication result to the display control section 454 .
  • the display control unit 454 may display on the display unit 440 the display content corresponding to the personal authentication result.
  • a user terminal 500 is an information terminal used by a user U.
  • the user terminal 500 is, for example, a mobile phone terminal, a smart phone, a tablet terminal, a PC (Personal Computer) equipped with or connected to a camera, or the like.
  • the user terminal 500 is associated with the user U's user ID.
  • the user terminal 500 is an information terminal that can be specified by the user ID in the information processing device 300 .
  • the user terminal 500 is a terminal logged in by the user U with his own user ID.
  • the user terminal 500 transmits a service usage registration request to the information processing device 300 via the network N. Also, the user terminal 500 transmits a registered image used for face authentication of the user U to the face authentication device 100, and makes a face information registration request. Note that the user terminal 500 may send facial feature information extracted from the registered image to the face authentication device 100 to request face information registration. The user terminal 500 may transmit the registered image and facial feature information to the face authentication device 100 via the information processing device 300 . In addition, the user terminal 500 transmits the attribute information of the user U and appearance information for registration to the information processing apparatus 300 via the network N at the time of service usage registration or the like.
  • FIG. 10 is a block diagram showing the configuration of the user terminal 500 according to the second embodiment.
  • User terminal 500 includes camera 510 , storage unit 520 , communication unit 530 , display unit 540 , control unit 550 , and input unit 560 .
  • the camera 510 is an image capturing device that performs image capturing under the control of the control unit 550 .
  • the storage unit 520 is a storage device in which programs for realizing each function of the user terminal 500 are stored.
  • a communication unit 530 is a communication interface with the network N.
  • FIG. Display unit 540 is a display device.
  • Input unit 560 is an input device that receives an input.
  • the display unit 540 and the input unit 560 may be configured integrally. As an example, the display unit 540 and the input unit 560 are touch panels.
  • the control unit 550 controls hardware of the user terminal 500 .
  • the control unit 550 includes an imaging control unit 551 , a registration unit 552 , an acquisition unit 553 and a display control unit 554 .
  • the photographing control unit 551 controls the camera 510 to photograph a registered image of the user U.
  • the imaging control section 551 outputs the registration image to the registration section 552 .
  • the registration unit 552 transmits a face information registration request including the registered image to the face authentication device 100 via the network N.
  • the registration unit 552 may transmit the face information registration request to the information processing apparatus 300 via the network N.
  • the registration unit 552 transmits a service usage registration request to the information processing apparatus 300 via the network N.
  • the registration unit 552 may transmit the user attribute information received by the input unit 560 to the information processing apparatus 300 via the network N at the time of registration for use. The user attribute information may be included in the usage registration request.
  • the acquisition unit 553 acquires one or a plurality of pieces of appearance information (appearance IDs) set for the user U from the information processing device 300 via the network N, and outputs them to the display control unit 554 .
  • the display control section 554 displays the appearance information on the display section 540 . Note that when the acquisition unit 553 acquires a plurality of pieces of appearance information from the information processing device 300, the display control unit 554 displays the plurality of pieces of appearance information on the display unit 540 so that the user U can select them.
  • the registration unit 552 transmits the appearance ID selected by the user U received from the user U by the input unit 560 to the information processing apparatus 300 via the network N.
  • the information processing device 300 is an information processing device that performs personal authentication using a captured image of the user U at the gate A1 or the like, and permits or restricts the user U from passing through the gate.
  • the information processing apparatus 300 may be made redundant by a plurality of servers, and each functional block may be realized by a plurality of computers.
  • FIG. 11 is a block diagram showing the configuration of the information processing device 300 according to the second embodiment.
  • the information processing device 300 includes a storage section 310 , a memory 320 , a communication section 330 and a control section 340 .
  • the storage unit 310 is a storage device such as a hard disk or flash memory.
  • Storage unit 310 stores program 311 , registration history information 313 , authentication history information 314 , gate information 315 , and appearance-related information 316 .
  • a program 311 is a computer program in which the processing of the information processing method according to the second embodiment is implemented.
  • the registration history information 313 is history information of registration of user attribute information and appearance information (appearance ID).
  • FIG. 12 is a diagram showing an example of the data structure of the registration history information 313 according to the second embodiment.
  • the registration history information 313 is information in which a user ID, registration or update date and time, user attribute information, appearance group ID, and appearance ID for registration are associated with each other.
  • the user ID is information for identifying the user U, and is a user ID notified when face information is registered in the face authentication device 100 .
  • the user attribute information may include at least one of the area where the user U resides, the nearest station, the station to be used, and the route to be used. User attribute information may also include the purpose of use.
  • the purpose of use may be railway use/theme park use/event venue use, or commuter pass use/one-day ticket use/one-time use.
  • the user attribute information may include personal settlement information such as user U's name, address, contact information, and credit card information.
  • the appearance group ID is an ID for identifying an appearance group, and is also called appearance information.
  • An appearance group includes a plurality of appearance IDs, and is also called an appearance information group.
  • the appearance ID is one appearance ID for registration selected by the user U from among the appearance IDs included in the appearance group to which the user belongs.
  • the appearance ID is also called action ID, and may be, for example, "raise left hand", “raise right hand", or "touch ear ⁇ nose ⁇ mouth in order".
  • the appearance ID is also called a clothing ID. Or "I wear a red wristband on my right hand”.
  • Appearance ID for registration that is, appearance information for registration, is associated with facial feature information 112 (face information for registration) of face information DB 110 of face authentication device 100 via user ID.
  • the registration history information 313 in this figure is configured such that each user U is associated with one appearance information for registration. you can For example, the user U may set different external appearance information for registration for each station to be used. In addition, the user U may set different appearance information for registration for each purpose of use.
  • the authentication history information 314 is personal authentication history information at the gate.
  • FIG. 13 is a diagram showing an example of the data structure of the authentication history information 314 according to the second embodiment.
  • the authentication history information 314 is information in which a user ID, shooting date and time, and gate ID are associated with each other.
  • the user ID is a user ID for which face authentication was successful in personal authentication.
  • the shooting date and time may be the date and time when personal authentication is performed.
  • the gate ID is information that identifies the gate through which the user U plans to pass at the time of personal authentication.
  • Gate information 315 is information in which gate ID 3151 and gate attribute information 3152 are associated with each other.
  • the gate attribute information 3152 is attribute information of the gate, and may include facility type where the gate is installed and point information where the gate is installed. For example, when a gate functions as a ticket gate of a station, the facility type may be "railway" and the point information may be "Shinjuku Station". When the gate functions as an entrance/exit gate of a theme park, the facility type may be "theme park” and the point information may be "main gate”. Note that the location information may include position information indicated by longitude and latitude.
  • the appearance related information 316 is information in which the appearance group ID 3162 and the appearance ID 3161 are associated with each other.
  • Appearance group ID 3162 is composed of a plurality of appearance IDs 3161 . Therefore, appearance group ID 3162 is associated with a plurality of appearance IDs 3161 .
  • the memory 320 is a volatile storage device such as RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 340 operates.
  • a communication unit 330 is a communication interface with the network N. FIG.
  • the control unit 340 is a processor that controls each component of the information processing device 300, that is, a control device.
  • the control unit 340 loads the program 311 from the storage unit 310 into the memory 320 and executes the program 311 .
  • the control unit 340 implements the functions of the registration unit 341 , the acquisition unit 342 , the authentication control unit 343 , and the gate control unit 344 .
  • the registration unit 341 is an example of the registration unit 11 described above.
  • the registration unit 341 registers the user ID in the storage unit 310 as the user ID of the registration history information 313 .
  • the registration unit 341 registers the acquired user attribute information in the storage unit 310 as user attribute information of the registration history information 313 in association with the user ID.
  • the registration unit 341 sets, for the registered user U, an appearance group, that is, a plurality of appearance IDs serving as choices of appearance information for registration.
  • Setting an appearance group may mean selecting one appearance group from predetermined appearance groups.
  • setting an appearance group may include setting a plurality of appearance IDs as options, configuring an appearance group so as to include these, and issuing an appearance group ID.
  • the registration unit 341 registers an appearance group ID 3162 and an appearance ID 3161 as the appearance related information 316 .
  • the registration unit 341 outputs the appearance ID included in the appearance group to the user terminal 500 via the network N.
  • the registration unit 341 causes the display unit 540 of the user terminal 500 to display each appearance ID included in the appearance group for each user U so that the user U can select it.
  • the registration unit 341 registers the set appearance group ID and the appearance ID selected by the user U as the registration history information 313 .
  • the registration unit 341 may set appearance groups for each user U based on user attribute information registered in the registration history information 313 . For example, if a station with a predetermined number of visitors or more is included in the planned use stations, the registration unit 341 may set the appearance group so as to include appearance IDs indicating complicated appearances. Complex appearances include actions that combine multiple single actions, such as "touching the ears, nose, and mouth in order", and clothes that combine multiple items, such as "wearing red clothes with a yellow wristband". can be Alternatively, in this case, the registration unit 341 sets the appearance ID so that the number of appearance IDs included as options is a predetermined number, compared to the case where the stations with a predetermined number of visitors or more are not included in the stations to be used.
  • the registration unit 341 identifies the gate that the user U is scheduled to use based on the area of residence, and if the predicted number of users of the identified gate is equal to or greater than a predetermined number, the registration unit 341 performs a complicated operation in the same manner as described above.
  • Appearance groups may be configured to include appearance IDs that indicate appearances. Also, as in the above case, the appearance group may be configured by increasing the number of appearance IDs included as options compared to the case where the predicted number of users is less than the predetermined number.
  • the registration unit 341 identifies the gate that the user U plans to use based on the purpose of use, and sets the appearance group in the same manner as for the residence area described above.
  • You may The gate that the user U plans to use is a gate having gate attribute information in line with the purpose of use.
  • the registration unit 341 increases the number of appearance IDs included as options by a predetermined number compared to the case of "theme park use” to form an appearance group.
  • the registration unit 341 predicts the number of expected visitors based on the event type of the event venue, Appearance groups may be set in a method.
  • the appearance group may be set according to the scheduled date and time.
  • the registration unit 341 may include an appearance ID indicating a more complex appearance than during other time periods or on weekdays, or include it as an option.
  • Appearance groups may be configured by increasing the number of appearance IDs.
  • the registration unit 341 may configure and set the appearance group as described above and register the appearance ID in response to registering the user attribute information at the timing of the event reservation. In this way, erroneous authentication can be avoided by complicating the appearance or increasing variations even at gates with a large number of users. Therefore, authentication accuracy can be improved.
  • the registration unit 341 registers the appearance ID for registration of the user U as a similar user U. may be set to be different from the registration appearance ID. Further, in this case, the registration unit 341 sets the appearance group of the user U to a group different from that of the similar user U, and makes the user U select an appearance ID from the appearance group, thereby making the appearance ID for registration different. You may do so. That is, the registration unit 341 sets appearance IDs presented as options to the user U to be different from appearance IDs presented to similar users U, and allows the user U to select from the set appearance IDs.
  • the degree of similarity may be calculated based on the facial feature information 112 stored in the facial information DB 110 of the face authentication device 100.
  • FIG. The similarity calculation may be performed by the face authentication device 100 , and the registration unit 341 may acquire, via the network N, user IDs whose similarity is equal to or greater than a predetermined threshold from the face authentication device 100 .
  • the registration unit 341 may acquire, via the network N, user IDs whose similarity is equal to or greater than a predetermined threshold from the face authentication device 100 .
  • the registration unit 341 updates the appearance information for registration, that is, the appearance ID of the registration history information 313 when a predetermined update condition is satisfied.
  • Updating the appearance information for registration means that the registration unit 341 changes the appearance group of the registration history information 313 for the user U who satisfies a predetermined update condition, and sets the appearance ID for registration to the appearance group after the change. It refers to updating to the Appearance ID selected from among.
  • changing the appearance group may include changing the appearance group of the registration history information 313 to an appearance group including an appearance ID indicating a complicated appearance for the user U who has satisfied a predetermined update condition. .
  • Changing the appearance group means that the appearance group of the registration history information 313 is changed to an appearance group having more appearance IDs included as options than the set appearance group for the user U who satisfies a predetermined update condition. May include changing.
  • updating the appearance information for registration may include outputting appearance IDs included in the changed appearance group to the user terminal 500 and accepting selection of the changed appearance ID from the user U.
  • Updating the appearance information for registration may include adding a new record to the registration history information 313 and recording the changed appearance ID selected by the user U in the added record.
  • the predetermined update condition may be that the user U has passed through the gate. That is, the registration unit 341 updates the appearance ID of the registration history information 313 according to the user U passing through the gate and entering or exiting.
  • the action for authentication is changed each time one enters or exits.
  • the operation when passing through the next gate will be different from the operation when passing through the gate immediately before, so the security level of personal authentication can be improved. can be done.
  • the appearance information for registration is updated not only each time the gate is passed but also when the same appearance information is used at the time of authentication (for example, the same operation is performed at the time of authentication) to pass through the gate a predetermined number of times. good.
  • the predetermined renewal condition may be that a predetermined period of time has elapsed since the date of registration or the date of the previous update. That is, the registration unit 341 may update the appearance information for registration for each user U when a predetermined period of time has passed since the date of registration or the date of the previous update.
  • the predetermined period of time may be, for example, one day, one week, or one month.
  • the registration unit 341 may update the appearance information for registration of the user U at a predetermined time every day.
  • the registration unit 341 receives a user attribute information update request from the user terminal 500
  • the registration unit 341 updates the user attribute information of the registration history information 313, and based on the updated user attribute information, registers appearance information. You may update.
  • the registration unit 341 may update the appearance information for registration in response to the change in the type of gate that the user U plans to use due to the update of the user attribute information. For example, when the type of gate is changed, when the purpose of use is changed from a theme park to a railway, or when the boarding and alighting stations are different from usual. This improves the security level of personal authentication. Further, for example, when the predicted number of users of the gate that the user U plans to use changes by a predetermined number or more due to updating of the user attribute information, the registration unit 341 updates the appearance information for registration of the user U. good.
  • the predetermined update condition may be that the failure rate of personal authentication has reached or exceeded a predetermined threshold. That is, the registration unit 341 may update the appearance information for registration of the user U when the failure rate of the user U is equal to or higher than the predetermined threshold. Note that the registration unit 341 may update the appearance information for registration of the user U when the failure rate of face authentication exceeds a predetermined threshold instead of the failure rate of personal authentication. In this case, there is a possibility that face authentication has failed because the face is similar to that of another user U. Therefore, the registration unit 341 identifies a similar user whose face information for registration is similar to the user U, and sets the appearance ID for registration of the user U such that the similar user and the appearance ID for registration are different. You can (update) it. Identification of similar users is the same as described above. Also, the setting (updating) of the appearance ID for registration is the same as described above, and includes changing the appearance group. Thereby, authentication accuracy can be improved.
  • the information processing apparatus 300 identifies a user ID by a predetermined method in response to personal authentication failure. For example, if the personal authentication fails, the user U presents an IC card, bar code, or the like to have the authentication terminal 400 read the user ID. The authentication terminal 400 transmits the acquired user ID and gate ID to the information processing device 300 via the network N.
  • the information processing apparatus 300 records in the authentication history information 314 that personal authentication has failed in association with the user ID.
  • the information processing apparatus 300 may record, in the authentication history information 314, a failure reason indicating which authentication failed based on the face authentication result and the appearance authentication result.
  • the information processing apparatus 300 uses the authentication history information 314 to calculate the personal authentication failure rate and the failure rate for each authentication method for each user U, and records them in the storage unit 310 in association with the user ID.
  • the acquisition unit 342 is an example of the acquisition unit 12 described above. Acquisition unit 342 acquires a personal authentication request including captured image data from authentication terminal 400 via network N and communication unit 330 .
  • the captured image data may be a captured image of a still image, or may be a moving image including a plurality of captured images (frames). In particular, when the appearance information for registration is motion information, the captured image data may be moving images.
  • the acquisition unit 342 supplies the acquired captured image data to the authentication control unit 343 .
  • the authentication control unit 343 is an example of the authentication control unit 13 described above.
  • the authentication control unit 343 controls face authentication for the face area of the user U included in the captured image of the captured image data. That is, the authentication control unit 343 controls face authentication for the face area of the user U included in the captured image of the captured image data captured at each gate. That is, the authentication control unit 343 causes the face authentication device 100 to perform face authentication on the captured image acquired from the authentication terminal 400 .
  • the authentication control unit 343 transmits a face authentication request including the acquired photographed image data, gate ID, and photographing date and time to the face authentication device 100 via the network N.
  • the authentication control unit 343 may include part of the captured images (frames) included in the captured image data in the face authentication request, or may include all the frames in the face authentication request. may At this time, facial feature information for authentication is generated for each of the plurality of frames.
  • the authentication control unit 343 may detect the face area of the user U from the captured image included in the captured image data, and include the image of the face area in the face authentication request. Also, the authentication control unit 343 may extract facial feature information from the face area and include the facial feature information in the face authentication request. The authentication control unit 343 then receives the face authentication result from the face authentication device 100 .
  • the authentication control unit 343 refers to the registration history information 313 and acquires the appearance ID recorded in the latest record for the user ID included in the face authentication result.
  • the authentication control unit 343 controls appearance authentication for the detection area of the user U included in the captured image of the captured image data. For example, an appearance authentication request including captured image data and an appearance ID is transmitted to the appearance authentication device 200 via the network N.
  • FIG. when the captured image data is a moving image, the authentication control unit 343 may include part of the frames included in the captured image data in the appearance authentication request, or may include all the frames in the appearance authentication request. .
  • the authentication control unit 343 may include frames included in the captured image data in the appearance authentication request, excluding frames for which face authentication has failed.
  • the authentication control unit 343 When the appearance ID indicates an action, particularly a plurality of actions, the authentication control unit 343 includes a plurality of frames in the appearance authentication request. At this time, appearance information for authentication is generated for each of the plurality of frames. Further, when the face area for face authentication can be specified, the authentication control unit 343 may include information specifying the face area in the appearance authentication request. In this case, the authentication control unit 343 may detect the detection area corresponding to the appearance ID of the user U from the captured image based on the face area, and include the image of the detection area in the appearance authentication request. The authentication control unit 343 then receives the appearance authentication result from the appearance authentication device 200 .
  • the authentication control unit 343 performs personal authentication based on the results of face authentication and appearance authentication. For example, the authentication control unit 343 determines that personal authentication is successful when face authentication is successful and appearance authentication is successful. The authentication control unit 343 determines that personal authentication has failed in cases other than the above cases. The authentication control section 343 supplies the personal authentication result to the gate control section 344 .
  • the gate control unit 344 is an example of the gate control unit 14 described above.
  • the gate control unit 344 transmits a control signal for opening the gate to the gate driving device 600 that controls the gate at the shooting location of the user U.
  • the gate control unit 344 transmits a control signal for closing the gate to the gate driving device that controls the gate at the photographing location of the user U.
  • the control signal transmitted from the gate control unit 344 to the gate driving device 600 is to cause the gate driving device 600 to output that personal authentication has succeeded or failed instead of the control signal for opening or closing the gate. may be a control signal.
  • FIG. 14 is a flowchart showing the flow of registration processing according to the second embodiment.
  • the registration unit 341 of the information processing device 300 receives a service usage registration request from the user terminal 500 via the network N (S401). Note that, at this time, the registration unit 341 requests the face authentication device 100 via the network N to register the face information in the face information DB 110 when the photographed image is received in addition to the use registration request.
  • the registration unit 341 acquires the user ID from the face authentication device 100 via the network N (S402). Then, the registration unit 341 acquires the attribute information of the user U via the network N from the user terminal 500 that made the request (S403). Then, the registration unit 341 registers the attribute information of the user U as the user attribute information of the registration history information 313 in association with the user ID (S404). Subsequently, the registration unit 341 sets appearance groups based on the user attribute information (S405). Then, the registration unit 341 refers to the appearance related information 316 and acquires an appearance ID included in the appearance group.
  • the registration unit 341 transmits a plurality of appearance IDs included in the appearance group to the user terminal 500, and causes the user terminal 500 to display the appearance IDs in a selectable manner (S406).
  • the registration unit 341 acquires the selected appearance ID from the user terminal 500 (S407 ).
  • the registration unit 341 registers the registration date and time, the appearance group ID, and the selected appearance ID in the registration history information 313 in association with the user ID (S408).
  • FIG. 15 is a flowchart showing the flow of personal authentication processing according to the second embodiment.
  • the authentication control unit 343 acquires captured image data from the authentication terminal 400 via the network N (S411).
  • the authentication control unit 343 transmits a face authentication request to the face authentication device 100 via the network N (S412).
  • the authentication control unit 343 uses the captured image data acquired in step S411, a part of the captured image included in the captured image data, the face area extracted from the captured image, or the facial feature information extracted from the face area. Include at least one in your face authentication request.
  • the authentication control unit 343 receives the face authentication result from the face authentication device 100 via the network N (S413).
  • the face authentication result includes information identifying the user ID and the face area, indicating that the face authentication is successful, and includes information indicating that the face authentication is unsuccessful.
  • the face authentication result may include a plurality of user IDs, and in that case, the face authentication result includes information specifying the face area corresponding to each user ID.
  • the authentication control unit 343 determines whether or not there is a user ID for which face authentication has succeeded (S414). If there is no user ID for which face authentication has succeeded (No in S414), the authentication control unit 343 determines that the personal authentication has failed, and through the network N, the gate driving device 600 corresponding to the authentication terminal 400 of the photographing source. (S415). The authentication control unit 343 then terminates the process.
  • the authentication control unit 343 identifies the user ID for which face authentication has succeeded (S416). Specifically, the authentication control unit 343 extracts the user ID included in the face authentication result. Below, when there are multiple user IDs included in the face authentication result, steps S417 to S419 are executed for each user ID.
  • step S417 the authentication control unit 343 acquires the appearance ID included in the latest registration history information 313 of the extracted user ID. Then, in step S418, the authentication control unit 343 transmits an appearance authentication request to the appearance authentication device 200 via the network N (S418). At this time, the authentication control unit 343 uses the captured image data acquired in step S411, a part of the captured image included in the captured image data, the detection area extracted from the captured image, or at least the appearance feature information extracted from the detection area. Include either in the appearance authentication request. In addition to this, the authentication control unit 343 may include information specifying the face area in the appearance authentication request. The authentication control unit 343 then receives the appearance authentication result from the appearance authentication device 200 via the network N (S419). The appearance authentication result includes information indicating that the appearance authentication has succeeded or failed. Also, the appearance authentication result may include the user ID when the appearance authentication is successful.
  • the authentication control unit 343 determines whether or not there is a user ID for which appearance authentication has succeeded (S420). If there is no user ID for which the appearance authentication has succeeded (No in S420), the authentication control unit 343 determines that the personal authentication has failed. (S415). The authentication control unit 343 then terminates the process. On the other hand, if there is a user ID for which appearance authentication has succeeded (Yes in S420), the authentication control unit 343 determines that the personal authentication has succeeded, and gates the gate driving device 600 corresponding to the authentication terminal 400 of the image capturing source. is transmitted (S421). Then, in step S ⁇ b>422 , the authentication control unit 343 registers the user ID, shooting date and time, gate ID, authentication result, and failure reason as the authentication history information 314 .
  • FIG. 16 is a flowchart showing the flow of appearance information update processing according to the second embodiment.
  • the registration unit 341 executes appearance information update processing shown in steps S432 to S435.
  • the registration unit 341 changes the appearance group for the user U whose appearance information is to be updated (S432).
  • the registration unit 341 refers to the appearance related information 316 and acquires appearance IDs included in the changed appearance group.
  • the registration unit 341 transmits the appearance IDs included in the appearance group to the user terminal 500, and causes the user terminal 500 to display the appearance IDs in a selectable manner (S433).
  • the registration unit 341 acquires the selected appearance ID from the user terminal 500 (S434). Then, the registration unit 341 updates the appearance group ID and the appearance ID of the registration history information 313 to the changed appearance group ID and the newly selected appearance ID (S435).
  • an appearance group is called an action group
  • an appearance ID is called an action ID
  • an appearance authentication is called an action authentication.
  • FIG. 17 is a sequence diagram illustrating a flow of registration processing according to the second embodiment.
  • the user terminal 500 transmits a service use registration request to the information processing apparatus 300 (S500).
  • the user terminal 500 photographs the user U (S501), and transmits a face information registration request including the photographed image to the face authentication device 100 via the network N (S502).
  • the face authentication device 100 registers face information (face feature information) of the user U based on the captured image included in the received face information registration request (S503).
  • the face authentication device 100 notifies the information processing device 300 of the user ID via the network N (S504).
  • the user terminal 500 transmits the user attribute information to the information processing device 300 via the network N (S505).
  • the information processing apparatus 300 associates the notified user ID and user attribute information with each other and registers them in the registration history information 313 (S506).
  • the information processing apparatus 300 then sets an action group for the user U (S507).
  • the information processing apparatus 300 transmits a plurality of action IDs included in the action group to the user terminal 500 via the network N (S508).
  • the user terminal 500 that has received the action ID displays the action ID (S509).
  • FIG. 18 is a diagram showing an example of display on the user terminal 500 according to the second embodiment.
  • actions 1 and 2 are displayed in a selectable manner along with the message "Please select an action for today."
  • Action 1 has an action ID of "raise right hand”
  • action 2 has an action ID of "raise left hand”.
  • the user U has selected action 2 .
  • the user terminal 500 receives an action ID selection operation from the user U (S510), and transmits the selected action ID to the information processing apparatus 300 via the network N (S511). Then, the information processing apparatus 300 associates the user ID with the date and time of registration, the action group, and the action ID, and registers them as the registration history information 313 (S512).
  • FIG. 19 is a sequence diagram showing the flow of personal authentication processing according to the second embodiment.
  • authentication terminal 400-1 captures an image of user U (S520), and transmits captured image data and a gate ID to information processing apparatus 300 via network N (S521).
  • the information processing device 300 transmits a face authentication request for the face area of the user U in the received captured image to the face authentication device 100 via the network N (S522).
  • the face authentication device 100 performs face authentication on the face area of the user U in the captured image included in the received face authentication request (S523).
  • the face authentication device 100 transmits the fact that the face authentication was successful and the face authentication result including the user ID to the information processing device 300 via the network N (S524).
  • the information processing apparatus 300 that has received the face authentication result acquires the action ID corresponding to the user ID included in the face authentication result from the registration history information 313 (S525). Subsequently, the information processing device 300 transmits a motion authentication request including the motion ID and the captured image data to the appearance authentication device 200 via the network N (S526). Then, the appearance authentication device 200 performs operation authentication for the detection area of the user U in the photographed image data included in the received operation authentication request (S527). Here, it is assumed that there is a user ID for which operation authentication has succeeded. The appearance authentication device 200 transmits the operation authentication result including the fact that the operation authentication was successful to the information processing device 300 via the network N (S528).
  • the information processing device 300 that has received the operation authentication result determines that the personal authentication has succeeded, and transmits an opening control signal to the gate driving device 600 that controls the gate A1 (S529). This opens the gate A1 (S530).
  • the information processing device 300 also registers the authentication history information 314 (S531). Then, the user U passes through (enters) the gate A1 and moves to the gate A2.
  • the information processing apparatus 300 may determine that personal authentication has succeeded only when both face authentication and motion authentication are successful in the same captured image (frame). Specifically, when the facial feature information for authentication and the action feature information for authentication are generated based on the same frame included in the captured image data, and both the face authentication and the action authentication are successful, the information processing apparatus 300 determines that personal authentication has succeeded.
  • FIG. 20 is a diagram for explaining an example of personal authentication processing according to the second embodiment.
  • the captured image data included in the face authentication request includes captured images 800-1 to 800-3 captured at different timings.
  • face authentication device 100 detects user U1 included in captured images 800-1 to 800-3 and identifies the user ID of user U1.
  • information processing apparatus 300 transmits an operation authentication request to appearance authentication apparatus 200 for photographed images 800-1 and 800-2.
  • This action authentication request includes an action ID for registration of user U1 identified by face authentication and information specifying the face area of user U1 for each of photographed images 800-1 and 800-2. good.
  • Appearance authentication device 200 specifies a detection area near the face area of user U1 for each of captured images 800-1 and 800-2, and determines whether the detection area corresponds to a predetermined action ID. .
  • appearance authentication apparatus 200 determines that only photographed image 800-2 corresponds to the predetermined action ID.
  • the appearance authentication device 200 transmits to the information processing device 300 an operation authentication result indicating that the operation authentication was successful.
  • the information processing apparatus 300 that has received the operation authentication result determines that the personal authentication of the user U1 has succeeded. Note that in the captured image 800-2, the face area of user U2 is detected in addition to user U1. Therefore, appearance authentication device 200 also performs operation authentication for user U2 with respect to photographed image 800-2.
  • the user U2 in the captured image 800-2 cannot specify the detection area, and the operation authentication fails. Note that even if the detection area is specified for user U2 in the captured image 800-2 and the motion corresponds to the motion ID for registration of user U1, it does not correspond to the motion ID for registration of user U2. If not, the appearance authentication device 200 may fail the operation authentication.
  • FIG. 21 is a diagram for explaining an example of personal authentication processing according to the second embodiment;
  • the captured image data included in the face authentication request includes captured images 810-1 to 810-3.
  • the face recognition is successful in the captured image 810-1, and is unsuccessful in the captured images 810-2 and 810-3.
  • information processing apparatus 300 calculates the movement distance from the shooting interval (frame rate) between shot image 810-1 and shot image 810-2, and user U1 in shot image 810-1 moves from shot image 810 to shot image 810. -2 is determined to be the same person as user U1.
  • information processing apparatus 300 also transmits an operation authentication request to appearance authentication apparatus 200 for photographed image 800-2.
  • This action authentication request may include an action ID for registration of user U1 identified by face authentication of photographed image 810-1, and information specifying the face area of user U1 in photographed image 810-2.
  • Appearance authentication device 200 performs motion authentication on captured image 800-2, and determines whether or not the detection area corresponds to the motion ID included in the motion authentication request.
  • appearance authentication apparatus 200 determines that the detection area of captured image 800-2 corresponds to the action ID included in the action authentication request.
  • the appearance authentication device 200 transmits to the information processing device 300 an operation authentication result indicating that the operation authentication was successful. Accordingly, the information processing apparatus 300 determines that personal authentication has succeeded.
  • personal authentication can be performed appropriately by determining whether or not personal authentication is successful based on the combination of face authentication results and motion authentication results in multiple frames in the same captured image data. For example, when performing personal authentication by walk-through, even if part of the subject is not clearly captured in some frames, personal authentication can be properly performed. In addition, since the detection area of the motion authentication is determined based on the face area of the user U who has once succeeded in face authentication and is determined to be the same person, it is possible to mis-authenticate even in a situation where there are people around. less likely to occur.
  • FIG. 22 is a diagram for explaining an example of personal authentication processing according to the second embodiment
  • the action ID for registration of user U1 indicates a first individual action ⁇ second individual action ⁇ third individual action.
  • the captured image data included in the face authentication request includes captured images 820-1 to 820-3.
  • a captured image 820-1 is a frame (first frame) in which face authentication has succeeded and authentication of the first individual action has succeeded.
  • a captured image 820-2 is a frame (second frame) in which face authentication has succeeded and authentication of the second individual action has succeeded.
  • a captured image 820-3 is a frame (third frame) in which face authentication has succeeded and authentication of the third individual action has succeeded.
  • the information processing apparatus 300 may determine that personal authentication has succeeded when the captured image data includes the first to third frames. When the order of the individual operations is determined as in this example, the information processing apparatus 300 performs personal authentication when the photographing order is the first frame, the second frame, and the third frame. It can be judged as successful.
  • FIG. 23 is a sequence diagram showing the flow of update processing according to the second embodiment.
  • the information processing apparatus 300 changes the action group for the user U when a predetermined update condition is satisfied (S540).
  • the information processing apparatus 300 then transmits the action IDs included in the action IDs included in the changed action group to the user terminal 500 via the network N (S541).
  • the user terminal 500 that has received the action ID displays the action ID (S542).
  • FIG. 24 is a diagram showing an example of display on the user terminal 500 according to the second embodiment.
  • a message "please change the action” may be displayed as shown in the figure.
  • a screen similar to that of FIG. 18 may be displayed on the display unit 540 of the user terminal 500 .
  • the user terminal 500 accepts an action ID selection operation from the user U (S543), and transmits the selected action ID to the information processing apparatus 300 via the network N (S544). Then, the information processing apparatus 300 newly registers, as the registration history information 313, information in which the user ID, the update date/time, the action group, and the action ID are associated with each other, and updates the registration history information 313 (S545). Then, when the user U moves to the gate A2, the same processing as that shown in steps S520 to S531 of FIG. 19 is performed.
  • the information processing apparatus 300 performs multi-factor authentication including face authentication and appearance authentication using image recognition, and if a predetermined update condition is satisfied, the information processing apparatus 300 performs registration authentication used for appearance authentication. Update the appearance information of the . Therefore, it is possible to increase the security level by reducing the risk of personal information such as appearance information being leaked and abused, while improving the accuracy of authentication through multi-factor authentication. This is particularly effective when personal authentication is performed at a station ticket gate or a theme park entrance/exit gate where there are people around. By changing the appearance information update mode according to the type of update condition, appropriate personal authentication can be performed according to the situation.
  • the information processing apparatus 300 performs personal authentication based on the face authentication result and the first appearance authentication result. That is, personal authentication was two-factor authentication.
  • the information processing apparatus 300 can perform personal authentication based on the face authentication result and multiple appearance authentication results.
  • a maximum of two types of appearance authentication can be implemented in personal authentication, that is, a maximum of three factor authentication is possible.
  • the number of types (number of elements) of appearance authentication is not limited to this.
  • the type of appearance authentication (type of element) is the type of appearance information to be authenticated, and includes, for example, actions and clothes.
  • FIG. 25 is a block diagram showing the configuration of an appearance authentication device 200a according to the third embodiment.
  • Appearance authentication device 200 a basically has the same configuration and functions as appearance authentication device 200 .
  • the appearance authentication device 200a has a first appearance information DB 210-1 and a second appearance information DB 210-2 instead of the appearance information DB 210.
  • FIG. The first appearance information DB 210-1 and the second appearance information DB 210-2 may have the same data structure as that of the appearance information DB 210, but different types of elements.
  • the first appearance information DB 210-1 stores motion information
  • the second appearance information DB 210-2 stores clothing information.
  • first appearance information DB 210-1 stores first appearance ID 211-1 and corresponding first appearance feature information 212-1 as operation information.
  • the second appearance information DB 210-2 also stores a second appearance ID 211-2 and corresponding second appearance feature information 212-2 as clothing information.
  • the appearance authentication device 200a also includes a detection unit 220a, a feature point extraction unit 230a, a registration unit 240a, and an authentication unit 250a.
  • the detection unit 220 a , the feature point extraction unit 230 a , the registration unit 240 a and the authentication unit 250 a function basically in the same manner as the detection unit 220 , the feature point extraction unit 230 , the registration unit 240 and the authentication unit 250 .
  • the registration unit 240a registers the appearance ID and the appearance feature information in the appearance information DB 210 corresponding to the element type.
  • the appearance authentication device 200a When the appearance authentication device 200a receives an appearance authentication request including information indicating the element type from the information processing device 300, the detection unit 220a, the feature point extraction unit 230a, and the authentication unit 250a store the appearance information DB 210 corresponding to the element type. is used to perform the various processes described above.
  • FIG. 26 is a flowchart showing the flow of appearance authentication processing according to the third embodiment.
  • the detection unit 220a acquires an appearance authentication request from the information processing device 300 via the network N (S51a).
  • the appearance authentication request includes the photographed image data and the appearance ID for registration for each element type of the user U specified by the face authentication.
  • the appearance authentication device 200a repeats the processing of steps S52a to S57a corresponding to steps S52 to S57 in FIG. 8 for each element type.
  • the authentication unit 250a may transmit to the information processing apparatus 300 the fact that the appearance authentication has succeeded and the appearance ID in association with the user ID.
  • FIG. 27 is a diagram showing an example of the data structure of the registration history information 313 according to the third embodiment.
  • Appearance information can be recorded for each element type in the registration history information 313 of the storage unit 310 of the information processing apparatus 300 according to the third embodiment. That is, in the registration history information 313, fields of appearance group ID and appearance ID are set for each element type.
  • the registration unit 341 of the information processing device 300 sets the number of element types, that is, the number of elements and the element type for each user U, and stores the appearance group ID and the appearance ID corresponding to the set element type in the registration history. Record in information 313 . For example, for user U1, motion information (first appearance information) and clothing information (second appearance information) are registered as appearance information.
  • the authentication control unit 343 performs personal authentication of the user U1 based on the second appearance authentication result in addition to the face authentication result and the first appearance authentication result.
  • first appearance information is registered as appearance information. Therefore, the authentication control unit 343 performs personal authentication of the user U2 based on the face authentication result and the first appearance authentication result.
  • the registration unit 341 of the information processing apparatus 300 satisfies the predetermined element number addition condition, the registration unit 341 selects an element type different from appearance information for registration already registered for the user U. , adding a predetermined number of appearance information. For example, when each user U satisfies a predetermined element number addition condition, the registration unit 341 adds second appearance information for registration of an element type different from the first appearance information for registration for that user U. sign up.
  • the predetermined element number addition condition may be that the predicted number of users of the gate that the user U is to use is equal to or greater than a predetermined number.
  • the predetermined factor number addition condition may be that the personal authentication failure rate of the user U is equal to or higher than a predetermined threshold.
  • the information processing apparatus 300 may notify the user U's user terminal 500 that appearance information will be additionally registered when a predetermined element number addition condition is satisfied.
  • the registration unit 341 deletes a predetermined number of pieces of appearance information from among a plurality of pieces of appearance information for registration registered for the user U when a predetermined number-of-elements reduction condition is satisfied. For example, if each user U satisfies a predetermined number-of-elements reduction condition, the registration unit 341 deletes one of the first appearance information and the second appearance information for registration registered for the user U. do.
  • the predetermined number-of-elements reduction condition may be that the predicted number of users of the gate used by the user U is less than a predetermined number.
  • the predetermined number-of-elements reduction condition may be that the personal authentication failure rate of the user U is less than a predetermined threshold.
  • the registration unit 341 may delete all appearance information for registration registered for each user U when a predetermined number-of-elements reduction condition is satisfied for each user U. That is, when the user U who satisfies the predetermined number-of-elements reduction condition passes through the gate, appearance authentication may be omitted and only face authentication may be requested. Therefore, the information processing apparatus 300 may notify the user U's user terminal 500 that appearance authentication is omitted when a predetermined element number reduction condition is satisfied.
  • FIG. 28 is a flowchart showing the flow of the number-of-elements addition process according to the third embodiment. If the above-described condition for adding the number of elements is satisfied (Yes in S601), the registration unit 341 executes the processes after step S602. In step S602, the registration unit 341 determines the number of elements to be added and the element type to be added. Next, the registration unit 341 repeats the processing shown in steps S603 to S606 for each element type to be added. The processing shown in steps S603 to S606 is the same as the processing shown in steps S432 to S435 in FIG. 16, so description thereof will be omitted.
  • FIG. 29 is a flowchart showing the flow of personal authentication processing according to the third embodiment.
  • the steps shown in FIG. 29 include steps S417a-420a instead of steps S417-420 of FIG.
  • Authentication control unit 343 refers to the latest registration history information 313 of the user U in response to identifying the user ID that has succeeded in face authentication (S416), and for each element type of appearance ID for registration, step The processing shown in S417a to S419a is repeated. Steps S417a-419a correspond to steps S417-419. Then, the authentication control unit 343 determines whether or not there is a user ID for which appearance authentication has succeeded corresponding to all the element types for which appearance IDs for registration are registered (S420a). If there is a user ID (Yes in S420a), the authentication control unit 343 advances the process to step S421; otherwise (No in S420a), the process advances to step S415. The rest is the same as in FIG.
  • Embodiment 3 when the conditions are met, the number of elements for appearance authentication is changed, so appropriate authentication accuracy, authentication speed, and security level can be ensured according to the situation.
  • the registration unit 341 of the information processing apparatus 300 sets an appearance group for the user U at the time of registration or update, and selects appearance information for registration from a plurality of pieces of appearance information.
  • the registration unit 341 may automatically set appearance information for registration for the user U at the time of registration or update. In other words, the user U does not have to be able to select appearance information for registration.
  • the information processing apparatus 300 transmits the automatically set appearance information for registration to the user terminal 500, and displays the appearance information for registration along with the message "Please perform this action" on the display unit 540 of the user terminal 500.
  • the registration unit 341 may register or update the appearance information of the user U based on the photographed image of the user U taken for registering the appearance information.
  • a camera is installed at the entrance of the user U, and when the user U goes out, the user U's clothes are photographed, and the photographed image is transmitted to the information processing apparatus 300 .
  • the information processing apparatus 300 estimates clothing information of the user U based on the captured image and registers it in the registration history information 313 .
  • the information processing device 300 may notify the user terminal 500 of appearance information for registration. For example, the information processing device 300 acquires the position information of the user terminal 500 at predetermined intervals, and when the distance between the user terminal 500 and an arbitrary gate becomes less than the predetermined distance, the user U approaches the arbitrary gate. It can be judged that The location information of the user terminal 500 is, for example, GPS information acquired from a GPS (Global Positioning System) receiver. Further, when the distance between the user terminal 500 and an arbitrary gate becomes less than a predetermined distance, the user terminal 500 requests the information processing device 300 to update appearance information for registration, and the information processing device 300 , may obtain updated appearance information for registration.
  • GPS Global Positioning System
  • the information processing device 300 when the user U approaches the gate to be used or the station or event venue where the gate to be used is installed, the information processing device 300 notifies the user terminal 500 of appearance information for registration. good. For example, when the distance between the user terminal 500 and the gate, station, or event venue to be used is less than a predetermined distance, the information processing device 300 determines that the user U has approached the gate to be used. good.
  • the user U may transmit a registration request or update request for appearance information for registration to the information processing apparatus 300 via the user terminal 500 .
  • the information processing apparatus 300 registers or updates the appearance information related to the registration request or the update request as appearance information for registration of the user U in response to the appearance information registration request or update request. Note that when the information processing apparatus 300 registers or updates the appearance information for registration of the user U in response to a request for registering or updating the appearance information, the information processing apparatus 300 does not allow another user U having similar or the same appearance information for registration to exist. When doing so, the appearance information for registration may be updated to different appearance information.
  • the information processing apparatus 300 determines whether or not there is a user with similar appearance information for registration. Then, when there is a user with similar appearance information for registration, or when there are a predetermined number or more of users with similar appearance information, the information processing apparatus 300 treats the appearance information different from the appearance information for registration as “similar clothing (or actions). There are a number of users who want to wear this. Please change to this outfit (or action)." At this time, the information processing apparatus 300 may automatically update the appearance information to be displayed as the appearance information for registration, or may update it in response to receiving a message indicating acceptance from the user terminal 500 . .
  • the above-described update of appearance information for registration is performed when there is a user U with similar face information for registration, or when there is a user U with similar face information for registration, and the appearance information for registration is updated. The same is true when there is another user U with similar or same information.
  • the information processing apparatus 300 determines whether there is a user whose face information for registration is similar and whose appearance information for registration is similar. determine whether or not Then, the information processing apparatus 300 determines appearance information different from appearance information for registration of a user whose face information for registration is similar to "There is a user with a similar face and similar clothes (or actions).
  • This clothes (or Please change to operation)." is displayed on the user terminal 500 together with a message indicating the reason. Further, in this case, the information processing apparatus 300 updates the appearance information for registration of the user U to the appearance information of the element type of the appearance information for registration different from that of the user to whom at least one of the face information for registration and appearance information for registration is similar. You may For example, when there is another user whose clothing information is similar to that of the user U, the information processing apparatus 300 updates appearance information for registration to motion information. At this time, the information processing apparatus 300 outputs a message saying, "There is a user who has a similar face and uses clothing information for authentication. Please change the element used for authentication from clothing to this action.” Operation information is displayed on the user terminal 500 .
  • the information processing device 300 may store points in association with each user U in cooperation with a point system. Points can be used at stores and transportation facilities, and can be exchanged for goods or applied to payment, for example. Then, the information processing apparatus 300 may add a predetermined amount of points for the user U when the personal authentication of the user U is successful at the gate. Further, the information processing apparatus 300 adds a predetermined amount of points of the user U when the user U has previously registered appearance information (pre-registration) and the user U has successfully authenticated himself/herself at the gate. good. Pre-registration is performed when the user U has requested registration of appearance information for registration in advance and the appearance information for registration has been registered, or when the information processing apparatus 300 requests the user U to register in advance.
  • the information processing apparatus 300 adds a predetermined amount more points to the user U when the user U has pre-registered and the user U has been successfully authenticated at the gate, compared to when the user U has not been pre-registered. You may By providing incentives in this way, use of the service can be promoted. Note that the incentive is not limited to points, and may be any privilege.
  • the face authentication device 100 and the appearance authentication devices 200 and 200a are connected to the information processing device 300 via the network N.
  • part or all of the functions of the face authentication device 100 and appearance authentication device 200 may be included in the information processing device 300 . Therefore, at least one of face information registration processing, face authentication processing, and appearance authentication processing may be performed in the information processing device 300 .
  • the information processing device used the face authentication result as the first determination result.
  • the information processing device may use other biometric authentication results instead of or in addition to the face authentication results.
  • the other biometric authentication is biometric authentication using biometric information that can be acquired by a camera, and may be, for example, iris authentication, palm authentication, fingerprint authentication, human type authentication, or skeleton authentication.
  • biometric authentication using a QR code (registered trademark) printed on a card hung around the neck may be used.
  • the “face authentication” in the above description is replaced with “biometric authentication”
  • the “face information” or “facial feature information” is replaced with “biometric information” or “biometric feature information”
  • the “face image” is replaced with “biometric authentication”.
  • image” and “face authentication device” may be read as “biometric authentication device”.
  • the hardware configuration has been described, but the configuration is not limited to this.
  • the present disclosure can also implement arbitrary processing by causing a CPU to execute a computer program.
  • the program includes instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • an authentication control unit that performs personal authentication of the person to be authenticated based on a second determination result indicating whether or not the first appearance information corresponds to the first appearance information for registration; and a gate control unit that permits passage through a gate when the personal authentication is successful.
  • Appendix 2 The information processing apparatus according to appendix 1, wherein the first appearance information is motion information indicating motion or clothing information indicating clothing.
  • Appendix 3 The first appearance information is motion information,
  • the captured image data includes a plurality of frames, The information processing apparatus according to appendix 1 or 2, wherein the face information for authentication and the first appearance information for authentication are generated based on the same frame included in the captured image data.
  • the registration unit updates the first appearance information for registration associated with the face information for registration in response to a change in the type of gate scheduled to be used by the person to be registered. or the information processing device according to claim 1. (Appendix 5) 5.
  • Information processing equipment (Appendix 6)
  • the registration unit provides first appearance information for registration associated with face information for registration of the person to be registered.
  • the information processing device according to any one of appendices 1 to 5.
  • the registration unit updates the first appearance information for registration associated with the face information for registration of the person to be registered for whom the personal authentication failure rate is equal to or greater than a predetermined threshold.
  • the information processing device according to any one of .
  • (Appendix 8) 8. The information according to any one of appendices 1 to 7, wherein the registration unit updates the first appearance information for registration associated with the face information for registration for each person to be registered when a predetermined period of time has elapsed. processing equipment.
  • (Appendix 9) 9. The information processing apparatus according to any one of appendices 1 to 8, wherein the registration unit sets first appearance information for registration for each person to be registered based on the attribute information of the person to be registered.
  • the registration unit For each registered person, when the similarity of face information for registration with another registered person is equal to or greater than a predetermined threshold, the registration unit registers the first appearance information for registration of the registered person as 10.
  • the information processing apparatus according to any one of appendices 1 to 9, wherein the first appearance information is set to be different from the first appearance information for registration corresponding to the other person to be registered.
  • the registration unit setting a first appearance information group composed of a plurality of first appearance information for each registered person; Registering the first appearance information selected from the first appearance information group as the first appearance information for registration in association with the face information for registration, changing a first appearance information group composed of a plurality of first appearance information for a person to be registered who satisfies the predetermined condition;
  • the information processing apparatus according to any one of appendices 1 to 10, wherein the first appearance information for registration is updated to the first appearance information selected from the changed first appearance information group.
  • the registration unit registers the first appearance information group corresponding to the registration target person who satisfies the predetermined condition as a first appearance information group in which the number of included first appearance information is larger than the set first appearance information group.
  • Change to appearance information group The information processing apparatus according to appendices 1 to 11, wherein the first appearance information for registration is updated to the first appearance information selected from the changed first appearance information group.
  • (Appendix 13) 13 Information according to appendix 11 or 12, wherein the registration unit displays each piece of first appearance information included in the first appearance information group on a terminal used by the person to be registered so that the person to be registered can select. processing equipment.
  • the registration unit For each person to be registered, if the registration unit satisfies a predetermined condition, the registration unit associates the face information for registration with the person to be registered, and second appearance information for registration that is different from the first appearance information for registration is associated with the person to be registered. Additional registration of appearance information, In addition to the first determination result and the second determination result, the authentication control unit is configured such that the second appearance information for authentication generated based on the photographed image data is the second appearance information for registration. 14.
  • the information processing apparatus according to any one of appendices 1 to 13, wherein personal authentication of the person to be authenticated is performed based on a third determination result indicating whether or not it corresponds to the above.
  • the registration unit associates the face information for registration with the person to be registered, and stores the first face information for registration. 15.
  • the registration unit associates the second appearance information for registration, which is different from the first appearance information for registration, with the face information for registration for a person to be registered whose personal authentication failure rate is equal to or higher than a predetermined threshold. 16.
  • an authentication terminal that generates a captured image of a person to be authenticated; an information processing device communicably connected to the authentication terminal, The information processing device is For each person to be registered, the first appearance information for registration is registered in association with the face information for registration, and if a predetermined condition is satisfied, the first appearance information for registration associated with the face information for registration is registered. an updating registry; an acquisition unit that acquires photographed image data obtained by photographing the person to be authenticated; a first determination result indicating whether or not the face information for authentication generated based on the captured image data corresponds to the face information for registration; and authentication generated based on the captured image data.
  • an authentication control unit that performs personal authentication of the person to be authenticated based on a second determination result indicating whether or not the first appearance information corresponds to the first appearance information for registration;
  • An information processing system comprising: a gate control unit that permits passage through a gate when the personal authentication is successful.
  • the first appearance information is motion information
  • the captured image data includes a plurality of frames, 18.
  • Appendix 20 to the computer, a process of registering the first appearance information for registration in association with the face information for registration for each person to be registered; a process of acquiring captured image data of a person to be authenticated; a first determination result indicating whether or not the face information for authentication generated based on the captured image data corresponds to the face information for registration; and authentication generated based on the captured image data.
  • the information processing device and information processing system according to this embodiment can be used, for example, to manage the entry and exit of people at the entrance/exit gate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理装置(10)は、登録部(11)と、取得部(12)と、認証制御部(13)と、ゲート制御部(14)とを備える。登録部(11)は、各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する。取得部(12)は、認証対象者を撮影した撮影画像データを取得する。認証制御部(13)は、第1の判定結果と第2の判定結果とに基づいて、認証対象者の個人認証を行う。第1の判定結果は、撮影画像データに基づいて生成される認証用の顔情報が、登録用の顔情報に対応するか否かを示す。第2の判定結果は、撮影画像データに基づいて生成される認証用の第1外観情報が、登録用の第1外観情報に対応するか否かを示す。ゲート制御部(14)は、個人認証に成功した場合、ゲートの通過を許可する。

Description

情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
 本開示は、情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体に関する。
 近年、画像認識技術が発達し、画像認識による認証が注目されている。ここで、ユーザの利便性を確保しつつ、認証精度を担保するために、画像認識による多要素認証が提案されている。例えば、特許文献1には、認証対象者の顔画像から顔識別を行うとともに、認証対象者の唇の動きに基づいて発生されたパスワードを認識し、顔識別の結果とパスワードの認識結果とに基づいて個人認証を行う情報処理装置が開示されている。また特許文献2には、顔認識及びジェスチャ認識を行い、顔認識結果及びジェスチャ認識結果に基づいて認証を行い、認証に成功した場合、セキュリティ印刷を開始する画像形成装置が開示されている。
特開2011-203992号公報 特開2016-018264号公報
 しかし、上述の特許文献1及び2に記載の技術では、入退場ゲート等の、周囲に人がいる場所で認証動作を行うと、周囲に認証動作が知られてしまう可能性がある。また、このような場合、周囲に人がいる状態で複数要素の画像認識を行うと、誤認証を引き起こす可能性がある。
 本開示の目的は、上述した課題に鑑み、画像認識を用いた多要素認証を好適に実施する情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供することにある。
 本開示の一態様にかかる情報処理装置は、
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録手段と、
 認証対象者を撮影した撮影画像データを取得する取得手段と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御手段と、
 前記個人認証に成功した場合、ゲートの通過を許可するゲート制御手段と
 を備える。
 本開示の一態様にかかる情報処理システムは、
 認証対象者を撮影した撮影画像を生成する認証端末と、
 前記認証端末と通信可能に接続される情報処理装置と
 を備える。
 前記情報処理装置は、
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録手段と、
 前記認証対象者を撮影した撮影画像データを取得する取得手段と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御手段と、
 前記個人認証に成功した場合、ゲートの通過を許可するゲート制御手段と
 を有する。
 本開示の一態様にかかる情報処理方法は、
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する段階と、
 認証対象者を撮影した撮影画像データを取得する段階と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う段階と、
 前記個人認証に成功した場合、ゲートの通過を許可する段階と、
 各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する段階と
 を備える。
 本開示の一態様にかかる非一時的なコンピュータ可読媒体は、
 コンピュータに、
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する処理と、
 認証対象者を撮影した撮影画像データを取得する処理と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う処理と、
 前記個人認証に成功した場合、ゲートの通過を許可する処理と、
 各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する処理と
 を実行させるプログラムが格納される。
 本開示により、画像認識を用いた多要素認証を好適に実施する情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供できる。
実施形態1にかかる情報処理装置の構成を示すブロック図である。 実施形態1にかかる情報処理方法の流れを示す図である。 実施形態2にかかる情報処理システムの全体構成を示すブロック図である。 実施形態2にかかる顔認証装置の構成を示すブロック図である。 実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。 実施形態2にかかる顔認証処理の流れを示すフローチャートである。 実施形態2にかかる外観認証装置の構成を示すブロック図である。 実施形態2にかかる外観認証処理の流れを示すフローチャートである。 実施形態2にかかる認証端末の構成を示すブロック図である。 実施形態2にかかるユーザ端末の構成を示すブロック図である。 実施形態2にかかる情報処理装置の構成を示すブロック図である。 実施形態2にかかる登録履歴情報のデータ構造の一例を示す図である。 実施形態2にかかる認証履歴情報のデータ構造の一例を示す図である。 実施形態2にかかる登録処理の流れを示すフローチャートである。 実施形態2にかかる個人認証処理の流れを示すフローチャートである。 実施形態2にかかる外観情報更新処理の流れを示すフローチャートである。 実施形態2にかかる登録処理の流れを示すシーケンス図である。 実施形態2にかかるユーザ端末の表示の一例を示す図である。 実施形態2にかかる個人認証処理の流れを示すシーケンス図である。 実施形態2にかかる個人認証処理の一例を説明するための図である。 実施形態2にかかる個人認証処理の一例を説明するための図である。 実施形態2にかかる個人認証処理の一例を説明するための図である。 実施形態2にかかる更新処理の流れを示すシーケンス図である。 実施形態2にかかるユーザ端末の表示の一例を示す図である。 実施形態3にかかる外観認証装置の構成を示すブロック図である。 実施形態3にかかる外観認証処理の流れを示すフローチャートである。 実施形態3にかかる登録履歴情報のデータ構造の一例を示す図である。 実施形態3にかかる要素数追加処理の流れを示すフローチャートである。 実施形態3にかかる個人認証処理の流れを示すフローチャートである。
 以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
 <実施形態1>
 まず、本開示の実施形態1について説明する。図1は、実施形態1にかかる情報処理装置10の構成を示すブロック図である。情報処理装置10は、多要素認証を実施する情報処理装置である。ここで、情報処理装置10は、ネットワーク(不図示)に接続される。ネットワークは、有線であっても無線であってもよい。また、当該ネットワークには、ゲートを開閉するゲート駆動装置(不図示)と、ゲートの近傍に設置され、認証対象者を撮影し、撮影画像を生成する認証端末(不図示)と、が接続されている。つまり、情報処理装置10は、ネットワークを介してゲート駆動装置及び認証端末と通信可能に接続される。尚、撮影画像は、少なくとも対象者の顔領域を含む。
 情報処理装置10は、登録部11と、取得部12と、認証制御部13と、ゲート制御部14とを備える。
 登録部11は、登録手段とも呼ばれる。登録部11は、各登録対象者について、登録用の顔情報に対応付けて登録用の外観情報を登録する。ここで、外観情報は、第1外観情報とも呼ばれ、認証時の対象者の外観を示す情報である。外観情報の外観は、対象者が自己の意思により容易に変更可能であることが好ましい。例えば、外観情報は、認証時の対象者のジェスチャ(動作)を示す動作情報、又は認証時の対象者の服装を示す服装情報であってよい。そして登録部11は、各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の外観情報を更新する。
 取得部12は、取得手段とも呼ばれる。取得部12は、認証端末からネットワークを介して、認証対象者を撮影した撮影画像データを取得する。そして取得部12は、認証制御部13に撮影画像データを供給する。
 認証制御部13は、認証制御手段とも呼ばれる。認証制御部13は、撮影画像データに基づく第1及び第2の判定結果に基づいて、認証対象者の個人認証を行う。ここで、第1の判定結果は、撮影画像データに基づいて生成される認証用の顔情報が、登録用の顔情報に対応するか否かを示す。したがって、第1の判定結果は、顔認証結果又は顔判定結果と呼ばれることがある。第2の判定結果は、撮影画像データに基づいて生成される認証用の外観情報が、登録用の外観情報に対応するか否かを示す。したがって、第2の判定結果は、外観認証結果又は外観判定結果と呼ばれることがある。認証制御部13は、個人認証の結果をゲート制御部14に供給する。
 ゲート制御部14は、ゲート制御手段とも呼ばれる。ゲート制御部14は、個人認証が成功した場合、認証対象者に対してゲートの通過を許可する。例えばゲート制御部14は、個人認証に成功した場合、ネットワークを介して、ゲート駆動装置に、ゲートを開放する旨の制御信号を送信する。また、例えば、ゲート制御部14は、個人認証が失敗した場合、ネットワークを介して、ゲート駆動装置に、ゲートを閉鎖する旨の制御信号を送信する。また、例えばゲート制御部14は、個人認証が成功した場合、ネットワークを介して、ゲート駆動装置に、ゲートの通過を許可する旨を出力(例えば、表示又は音声出力)させる制御信号を送信する。また、例えばゲート制御部14は、個人認証が失敗した場合、ネットワークを介して、ゲート駆動装置に、ゲートの通過を制限する旨を出力させる制御信号を送信する。
 図2は、実施形態1にかかる情報処理方法の流れを示す図である。まず、登録部11は、登録対象者の外観情報を、その登録対象者の顔情報に対応付けて登録する(S10)。続いて、取得部12は、認証対象者を撮影した撮影画像データを、認証端末からネットワークを介して取得する(S11)。続いて、認証制御部13は、顔認証結果及び外観認証結果に基づいて、個人認証を実施し(S12)、個人認証に成功したか否かを判定する(S13)。具体的には、認証制御部13は、顔認証に成功し、かつ外観認証に成功した場合、個人認証に成功したと判定する。一方、認証制御部13は、いずれか一方が失敗した場合、個人認証が失敗したと判定する。認証制御部13が個人認証に成功したと判定した場合(S13でYes)、ゲート制御部14は、認証対象者に対してゲートの通過を許可し(S14)、処理をステップS15に進める。一方、認証制御部13が個人認証に失敗したと判定した場合(S13でNo)、処理をステップS15に進める。ステップS15において、登録部11は、所定条件を満たしたか否かを判定する(S15)。登録部11は、所定条件を満たしたと判定した場合(S15でYes)、登録対象者の顔情報に対応付けられた外観情報を、新たな外観情報に更新する(S16)。
 このように、実施形態1にかかる情報処理装置10は、画像認識を用いて顔認証及び外観認証の多要素認証を実施し、所定条件を満たした場合、外観認証に係る外観情報を更新する。したがって、多要素認証により認証精度を高めつつ、外観情報という個人情報が漏洩した場合のリスクを軽減してセキュリティレベルを高めることができる。これは、周囲に人がいる場所で個人認証を行う場合に特に効果を奏する。これにより、情報処理装置10は、画像認識を用いた多要素認証を好適に実施できる。
 尚、情報処理装置10は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる情報処理方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、登録部11、取得部12、認証制御部13、及びゲート制御部14の機能を実現する。
 または、登録部11、取得部12、認証制御部13、及びゲート制御部14は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
 また、情報処理装置10の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置10の機能がSaaS(Software as a Service)形式で提供されてもよい。
 <実施形態2>
 次に、本開示の実施形態2について説明する。図3は、実施形態2にかかる情報処理システム1000の全体構成を示すブロック図である。情報処理システム1000は、画像認識を用いた多要素認証により、認証対象者であるユーザUに対して、ゲートの通過を許可又は制限するコンピュータシステムである。情報処理システム1000は、顔認証装置100と、外観認証装置200と、情報処理装置300と、認証端末400-1~400-n(nは1以上の自然数)、ユーザ端末500、及びゲート駆動装置600-1~600-nを備える。各装置及び端末は、ネットワークNを介して互いに接続されている。ここで、ネットワークNは、有線又は無線の通信回線である。
 認証端末400-1~400-nのそれぞれは、ゲートA1、A2、…Anの近傍に設置され、ゲートを通過しようとするユーザUの少なくとも顔を撮影できるように設置されている。ゲートは、入退場ゲートである。ゲートは、例えば駅の改札や、テーマパークの入退場ゲート、又はイベント会場の入退場ゲートとして機能してよい。ゲートA1、A2、…Anのうち一部が、駅の改札として機能し、一部がテーマパークの入場ゲートとして機能してもよい。ゲートが駅の改札として機能する場合、それらのゲートは互いに異なる駅に設置されていてもよいし、同じ駅に設置されているゲートがあってもよい。尚、認証端末400-1~400-nは、ユーザUの少なくとも顔を、ウォークスルーで撮影できるように設置されていることが好ましい。ゲート駆動装置600-1~600-nのそれぞれは、ゲートA1、A2、…Anの開閉を制御する。あるいは、ゲート駆動装置600-1~600-nのそれぞれは、ユーザUの、ゲートA1、A2、…Anの通過を許可若しくは制限する旨を出力する。以下では、認証端末400-1、400-2、…400-nを区別せずに言及する場合、単に認証端末400と呼ぶことがある。また、ゲート駆動装置600-1、600-2、…600-nを区別せずに言及する場合、単にゲート駆動装置600と呼ぶことがある。
 登録対象者であるユーザUは、ユーザ端末500により、事前にサービスの利用登録をし、自身の顔情報を登録する。また各ユーザUは、事前に外観情報を登録するか、自動で外観情報が登録されている。外観情報は、上述の通り、ユーザUの動作を示す動作情報、又はユーザUの服装を示す服装情報である。例えば外観情報が動作情報である場合、ユーザUは、ゲートA1において入場する場合に、所定の動作をする。そして画像認識による個人認証がなされ、個人認証が成功した場合、ユーザUは、ゲートA1を通過することができる。またユーザUは、ゲートA2において退場する場合に、所定の動作をする。そして画像認識による個人認証がなされ、個人認証が成功した場合、ユーザUは、ゲートA2を通過することができる。尚、上記個人認証によるユーザUの入退場は記録されており、これによりユーザUは、磁気カード、ICカードやバーコードを提示しなくても、交通運賃の支払いや入場料の支払いが自動で行われるようになっていてよい。
 ここで、顔認証装置100は、複数の人物の顔特徴情報を記憶する情報処理装置である。また、顔認証装置100は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行い、照合結果(顔認証結果)を要求元へ返信する。
 図4は、実施形態2にかかる顔認証装置100の構成を示すブロック図である。顔認証装置100は、顔情報DB(DataBase)110と、顔検出部120と、特徴点抽出部130と、登録部140と、認証部150とを備える。顔情報DB110は、ユーザID111と当該ユーザIDの顔特徴情報112とを対応付けて記憶する。顔特徴情報112は、顔画像から抽出された特徴点の集合であり、顔情報の一例である。尚、顔認証装置100は、顔特徴情報112の登録ユーザからの要望に応じて、顔特徴DB110内の顔特徴情報112を削除してもよい。または、顔認証装置100は、顔特徴情報112の登録から一定期間経過後に削除してもよい。
 顔検出部120は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部130に供給する。特徴点抽出部130は、顔検出部120が検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を供給する。また、特徴点抽出部130は、情報処理装置300から受信した顔画像に含まれる特徴点を抽出し、認証部150に顔特徴情報を供給する。
 登録部140は、顔特徴情報の登録に際して、ユーザID111を新規に発行する。登録部140は、発行したユーザID111と、登録画像から抽出した顔特徴情報112とを対応付けて顔情報DB110へ登録する。認証部150は、顔特徴情報112を用いた顔認証を行う。具体的には、認証部150は、顔画像から抽出された顔特徴情報と、顔情報DB110内の顔特徴情報112との照合を行う。認証部150は、顔特徴情報の一致の有無を情報処理装置300に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する(一致有)とは、一致度が所定値以上である場合をいうものとする。
 図5は、実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。まず、顔認証装置100は、顔情報登録要求に含まれるユーザUの登録画像を取得する(S21)。例えば、顔認証装置100は、顔情報登録要求を、ユーザ端末500からネットワークNを介して受け付ける。尚、顔情報登録要求元は、これに限らず、ユーザ端末500から利用登録要求を受けた情報処理装置300であってもよい。次に、顔検出部120は、登録画像に含まれる顔領域を検出する(S22)。次に、特徴点抽出部130は、ステップS22で検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を供給する(S23)。最後に、登録部140は、ユーザID111を発行し、当該ユーザID111と顔特徴情報112とを対応付けて顔情報DB110に登録する(S24)。なお、顔認証装置100は、顔情報登録要求元から顔特徴情報112を受信し、ユーザID111と対応付けて顔情報DB110に登録してもよい。
 図6は、実施形態2にかかる顔認証装置100による顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部130は、認証用の顔特徴情報を取得する(S31)。例えば、顔認証装置100は、情報処理装置300からネットワークNを介して顔認証要求を受信し、顔認証要求に含まれる撮影画像からステップS21からS23のように顔特徴情報を抽出する。または、顔認証装置100は、情報処理装置300から顔特徴情報を受信してもよい。次に、認証部150は、取得した顔特徴情報を、顔情報DB110の顔特徴情報112と照合する(S32)。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合(S33でYes)、認証部150は、顔特徴情報が一致したユーザのユーザID111を特定する(S34)。そして認証部150は、顔認証に成功した旨と特定したユーザID111とを、顔認証結果として情報処理装置300に返信する(S35)。このとき認証部150は、顔特徴情報の一致度が所定値以上であるユーザID111が複数存在する場合、顔認証に成功した旨と、当該複数のユーザID111とを、顔認証結果に含めて、情報処理装置300に返信する。尚、顔認証結果には、検出された顔領域を特定する情報、例えば撮影画像中の顔領域の位置情報を、含めてもよい。一致する顔特徴情報が存在しない場合(S33でNo)、認証部150は、顔認証に失敗した旨を、顔認証結果として情報処理装置300に返信する(S36)。
 尚、ステップS32において、認証部150は、顔情報DB110内の全ての顔特徴情報112との照合を試みる必要はない。例えば、認証部150は、顔認証要求を受け付けた当日から数日前までの期間に登録が行われた顔特徴情報と優先的に照合を試みるとよい。これにより、照合速度が向上し得る。また、上記優先的な照合に失敗した場合、残り全ての顔特徴情報と照合を行うようにするとよい。
 図3に戻り説明を続ける。外観認証装置200は、各外観(各動作や各服装)の外観特徴情報を記憶する情報処理装置である。また、外観認証装置200は、外部から受信した外観認証要求に応じて、当該要求に含まれる人物画像又は外観特徴情報について、記憶している外観特徴情報と照合を行い、照合結果(外観認証結果)を要求元へ返信する。
 図7は、実施形態2にかかる外観認証装置200の構成を示すブロック図である。外観認証装置200は、外観情報DB210と、検出部220と、特徴点抽出部230と、登録部240と、認証部250とを備える。外観情報DB210は、外観ID211と当該外観IDの外観特徴情報212とを対応付けて記憶する。外観ID211は、認証対象の外観を識別する情報である。外観特徴情報212は、外観IDに対応する外観を有する人物画像から抽出された特徴点の集合である。外観ID211及び外観特徴情報212は、外観情報と呼ばれることがある。
 検出部220は、外観情報を登録するためのサンプル画像や、情報処理装置300から取得した撮影画像に含まれる人物領域を検出し、特徴点抽出部230に供給する。特徴点抽出部230は、検出部220が検出した人物領域から特徴点を抽出し、登録部240に外観特徴情報を供給する。また、特徴点抽出部230は、情報処理装置300から受信した撮影画像に含まれる特徴点を抽出し、認証部250に外観特徴情報を供給する。
 登録部240は、外観特徴情報の登録に際して、外観ID211を新規に発行する。登録部240は、発行した外観ID211と、サンプル画像から抽出した外観特徴情報212とを対応付けて外観情報DB210へ登録する。認証部250は、外観特徴情報212を用いた外観認証を行う。具体的には、認証部250は、情報処理装置300からユーザUが認証対象として登録している外観IDを取得し、取得した外観IDに対応付けて外観情報DB210に記憶される外観特徴情報212と、撮影画像から抽出された外観特徴情報との照合を行う。認証部250は、外観特徴情報の一致の有無を情報処理装置300に返信する。外観特徴情報の一致の有無は、認証の成否に対応する。尚、外観特徴情報が一致する(一致有)とは、一致度が所定値以上である場合をいうものとする。
 図8は、実施形態2にかかる外観認証処理の流れを示すフローチャートである。まず、検出部220は、情報処理装置300からネットワークNを介して外観認証要求を取得する(S51)。外観認証要求には、ユーザUを撮影した撮影画像と、顔認証に成功したユーザUが認証対象として登録している外観IDとが含まれる。また外観認証要求には、顔認証に成功したユーザUの顔領域を特定する情報が含まれていてもよい。そして検出部220は、撮影画像に含まれる人物領域を、検出領域として特定する(S52)。例えば、検出部220は、取得した外観IDに応じて、人物領域のうち予め定められた領域を、検出領域として特定してもよい。また検出部220は、外観認証要求にユーザUの顔領域を特定する情報が含まれている場合、ユーザUの顔領域に対応する領域、例えば顔領域から所定距離(所定画素数)以内の領域を、検出領域として特定してもよい。これにより、撮影画像に複数の人物が写っている場合も、顔認証に成功した人物の外観を特定できるため、誤認証を回避できる。そして特徴点抽出部230は、検出領域から外観特徴情報を抽出する(S53)。または、外観認証装置200は、情報処理装置300から外観特徴情報を受信してもよく、この場合はS51~53の処理が省略される。次に認証部250は、取得した外観特徴情報を、外観情報DB210内で、取得した外観IDに対応付けられた外観特徴情報212と照合する(S54)。外観特徴情報が一致した場合、つまり、外観特徴情報の一致度が所定値以上である場合(S55でYes)、認証部250は、外観認証に成功した旨を情報処理装置300に返信する(S56)。このとき認証部250は、これに加えて外観ID及びユーザIDを情報処理装置300に送信してよい。一方、外観特徴情報が一致しない場合(S55でNo)、認証部250は、外観認証に失敗した旨を情報処理装置300に返信する(S57)。
 図3に戻り説明を続ける。認証端末400-1、400-2、・・・400-nのそれぞれは、カメラと表示装置を含む情報端末である。
 認証端末400は、ユーザUの個人認証に用いる認証用の画像を撮影する。例えば、認証端末400は、設置された各ゲートにおいてユーザUを撮影した撮影画像を認証用の画像とする。認証端末400は、認証用の画像を含めた個人認証要求をネットワークNを介して情報処理装置300へ送信する。このとき、認証端末400は、自身の設置先のゲートを識別するゲートIDを個人認証要求に含めてよい。また、認証端末400は、撮影時刻を個人認証要求に含めてもよい。尚、認証端末400は、情報処理装置300からネットワークNを介して個人認証結果を受信してよく、必要に応じてこれらの情報を画面に表示してもよい。
 次に、認証端末400について詳細に説明する。図9は、実施形態2にかかる認証端末400の構成を示すブロック図である。認証端末400は、カメラ410と、記憶部420と、通信部430と、表示部440と、制御部450とを備える。
 カメラ410は、制御部450の制御に応じて撮影を行う撮影装置である。記憶部420は、認証端末400の各機能を実現するためのプログラムが格納される記憶装置である。通信部430は、ネットワークNとの通信インタフェースである。表示部440は、表示装置である。表示部440は、入力部(不図示)と一体的に構成されていてもよい。一例として、表示部440は、タッチパネルである。制御部450は、認証端末400が有するハードウェアの制御を行う。制御部450は、撮影制御部451と、認証制御部453と、表示制御部454とを備える。尚、表示部440及び表示制御部454は必須ではない。
 撮影制御部451は、カメラ410を制御し、ユーザUの認証用画像を撮影する。認証用画像は、少なくとも当該ユーザの顔領域を含む画像である。また、撮影制御部451は、認証用画像を認証制御部453へ供給する。
 認証制御部453は、認証用画像を含む個人認証要求をネットワークNを介して情報処理装置300へ送信し、個人認証結果を受信する。そして認証制御部453は、個人認証結果を表示制御部454へ供給してよい。表示制御部454は、個人認証結果に応じた表示内容を表示部440へ表示してよい。
 図3に戻り、説明を続ける。ユーザ端末500は、ユーザUが使用する情報端末である。ユーザ端末500は、例えば、携帯電話端末、スマートフォン、タブレット端末、カメラを搭載又は接続したPC(Personal Computer)等である。ユーザ端末500は、ユーザUのユーザIDと対応付けられている。つまり、ユーザ端末500は、情報処理装置300においてユーザIDにより特定可能な情報端末である。例えば、ユーザ端末500は、ユーザUが自身のユーザIDによりログイン済みの端末である。
 ユーザ端末500は、サービスの利用登録要求を、ネットワークNを介して情報処理装置300に送信する。またユーザ端末500は、ユーザUの顔認証に用いる登録画像を顔認証装置100に送信し、顔情報登録要求を行う。なお、ユーザ端末500は、登録画像から抽出された顔特徴情報を顔認証装置100に送信し、顔情報登録要求を行ってもよい。ユーザ端末500は、登録画像や顔特徴情報を、情報処理装置300を介して顔認証装置100に送信してもよい。また、ユーザ端末500は、サービスの利用登録時等に、ユーザUの属性情報や登録用の外観情報を、ネットワークNを介して情報処理装置300に送信する。
 次に、ユーザ端末500について詳細に説明する。図10は、本実施形態2にかかるユーザ端末500の構成を示すブロック図である。ユーザ端末500は、カメラ510と、記憶部520と、通信部530と、表示部540と、制御部550と、入力部560とを備える。
 カメラ510は、制御部550の制御に応じて撮影を行う撮影装置である。記憶部520は、ユーザ端末500の各機能を実現するためのプログラムが格納される記憶装置である。通信部530は、ネットワークNとの通信インタフェースである。表示部540は、表示装置である。入力部560は、入力を受け付ける入力装置である。表示部540及び入力部560は、一体的に構成されていてもよい。一例として、表示部540及び入力部560は、タッチパネルである。制御部550は、ユーザ端末500が有するハードウェアの制御を行う。制御部550は、撮影制御部551と、登録部552と、取得部553と、表示制御部554とを備える。
 撮影制御部551は、カメラ510を制御し、ユーザUの登録画像を撮影する。撮影制御部551は、登録画像を登録部552へ出力する。
 登録部552は、登録画像を含む顔情報登録要求をネットワークNを介して顔認証装置100へ送信する。尚、登録部552は、上記顔情報登録要求をネットワークNを介して情報処理装置300へ送信してもよい。また、登録部552は、サービスの利用登録要求をネットワークNを介して情報処理装置300に送信する。尚、登録部552は、利用登録時に、入力部560で受け付けたユーザ属性情報を、ネットワークNを介して情報処理装置300に送信してよい。ユーザ属性情報は、利用登録要求に含まれていてもよい。
 取得部553は、ネットワークNを介して情報処理装置300から、ユーザUに対して設定された1又は複数の外観情報(外観ID)を取得し、表示制御部554に出力する。表示制御部554は、外観情報を、表示部540に表示する。尚、取得部553が情報処理装置300から複数の外観情報を取得した場合、表示制御部554は、複数の外観情報をユーザUが選択可能に、表示部540に表示する。この場合、登録部552は、ユーザUから入力部560で受け付けた、ユーザUにより選択された外観IDを、ネットワークNを介して情報処理装置300に送信する。
 図3に戻り説明を続ける。情報処理装置300は、ユーザUのゲートA1等における撮影画像を用いて、個人認証を実施し、ユーザUに対してゲートの通過を許可又は制限する情報処理装置である。情報処理装置300は、複数台のサーバに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。
 次に、情報処理装置300について詳細に説明する。図11は、実施形態2にかかる情報処理装置300の構成を示すブロック図である。情報処理装置300は、記憶部310と、メモリ320と、通信部330と、制御部340とを備える。記憶部310は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部310は、プログラム311と、登録履歴情報313と、認証履歴情報314と、ゲート情報315と、外観関連情報316とを記憶する。プログラム311は、本実施形態2にかかる情報処理方法の処理が実装されたコンピュータプログラムである。
 登録履歴情報313は、ユーザ属性情報及び外観情報(外観ID)の登録の履歴情報である。
 ここで、図12は、実施形態2にかかる登録履歴情報313のデータ構造の一例を示す図である。本図に示すように、例えば登録履歴情報313は、ユーザIDと、登録又は更新日時と、ユーザ属性情報と、外観グループIDと、登録用の外観IDとを対応付けた情報である。ユーザIDは、ユーザUを識別する情報であり、顔認証装置100において顔情報が登録された場合に通知されるユーザIDである。ユーザ属性情報は、ユーザUの在住地域、最寄り駅、利用予定駅、及び利用予定沿線のうち少なくとも1つを含んでよい。またユーザ属性情報は、利用目的を含んでよい。一例として利用目的は、鉄道利用/テーマパーク利用/イベント会場利用、あるいは定期券利用/一日乗車券利用/都度利用であってよい。尚、ユーザ属性情報は、ユーザUの氏名、住所、連絡先及びクレジットカード情報といった決済個人情報を含んでもよい。外観グループIDは、外観グループを識別するIDであり、外観情報とも呼ばれる。外観グループは、複数の外観IDを含んで構成され、外観情報群とも呼ばれる。外観IDは、所属先の外観グループに含まれる外観IDのうち、ユーザUから選択された1の登録用の外観IDである。外観の種別が動作である場合、外観IDは動作IDとも呼ばれ、例えば「左手を挙げる」、「右手を挙げる」又は「耳→鼻→口の順に触る」であってよい。また外観の種別が服装である場合、外観IDは服装IDとも呼ばれ、例えば「赤色の服を着用している」、「青色の荷物を所持している」、「帽子を着用している」又は「右手に赤色リストバンドを着用している」であってよい。登録用の外観ID、つまり登録用の外観情報は、ユーザIDを介して、顔認証装置100の顔情報DB110の顔特徴情報112(登録用の顔情報)と対応付けられている。尚、本図の登録履歴情報313は、各ユーザUが1の登録用の外観情報に対応付けられるように構成されているが、ユーザUが、利用シーン毎に、異なる外観情報に対応付けられてよい。例えば、ユーザUは、利用予定駅毎に、異なる登録用の外観情報が設定されていてよい。またユーザUは、利用目的毎に、異なる登録用の外観情報が設定されていてもよい。
 認証履歴情報314は、ゲートにおける個人認証の履歴情報である。図13は、実施形態2にかかる認証履歴情報314のデータ構造の一例を示す図である。本図に示すように、例えば認証履歴情報314は、ユーザIDと、撮影日時と、ゲートIDとを対応付けた情報である。ユーザIDは、個人認証のうち、顔認証に成功したユーザIDである。撮影日時は、個人認証が行われた日時であってもよい。ゲートIDは、個人認証時にユーザUが通過を予定しているゲートを識別する情報である。
 図11に戻り、説明を続ける。ゲート情報315は、ゲートID3151と、ゲート属性情報3152とを対応付けた情報である。ゲート属性情報3152は、ゲートの属性情報であり、ゲートが設置される施設種別及びゲートが設置される地点情報を含んでよい。例えばゲートが駅の改札として機能する場合、施設種別は「鉄道」であり、地点情報は「新宿駅」であってよい。またゲートがテーマパークの入退場ゲートとして機能する場合、施設種別は「テーマパーク」であり、地点情報は「メインゲート」であってよい。尚、地点情報は、経度及び緯度で示される位置情報を含んでいてもよい。
 外観関連情報316は、外観グループID3162と、外観ID3161とを対応付けた情報である。外観グループID3162は、複数の外観ID3161から構成される。したがって、外観グループID3162は、複数の外観ID3161と対応付けられている。
 メモリ320は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部340の動作時に一時的に情報を保持するための記憶領域である。通信部330は、ネットワークNとの通信インタフェースである。
 制御部340は、情報処理装置300の各構成を制御するプロセッサつまり制御装置である。制御部340は、記憶部310からプログラム311をメモリ320へ読み込ませ、プログラム311を実行する。これにより、制御部340は、登録部341、取得部342、認証制御部343、及びゲート制御部344の機能を実現する。
 登録部341は、上述した登録部11の一例である。登録部341は、サービスの利用登録時に顔認証装置100によってユーザUの顔情報が登録され、ユーザIDが通知された場合、ユーザIDを登録履歴情報313のユーザIDとして、記憶部310に登録する。また登録部341は、ユーザ端末500からユーザ属性情報を取得した場合、取得したユーザ属性情報を、登録履歴情報313のユーザ属性情報として、ユーザIDに対応付けて記憶部310に登録する。
 そして、登録部341は、登録されたユーザUに対して、外観グループ、つまり登録用の外観情報の選択肢となる複数の外観IDを設定する。外観グループを設定するとは、予め定められた外観グループの中から1の外観グループを選択することであってよい。また外観グループを設定するとは、選択肢となる複数の外観IDを設定し、これらを含むように外観グループを構成し、外観グループIDを発行することを含んでもよい。登録部341は、新たに外観グループを構成した場合、外観関連情報316として、外観グループID3162と、外観ID3161とを登録する。そして、登録部341は、ユーザ端末500に対して、外観グループに含まれる外観IDを、ネットワークNを介して出力する。このとき登録部341は、各ユーザUについて、外観グループに含まれる各外観IDを、ユーザ端末500の表示部540に、ユーザUが選択可能に表示させる。そして、登録部341は、ユーザ端末500から、ユーザUが選択した外観IDを受信した場合、設定した外観グループIDと、ユーザUにより選択された外観IDとを、登録履歴情報313として登録する。
 ここで、登録部341は、各ユーザUについて、登録履歴情報313に登録されているユーザ属性情報に基づいて、外観グループを設定してよい。例えば、入場者数が所定数以上の駅が利用予定駅に含まれている場合、登録部341は、複雑な外観を示す外観IDを含むように外観グループを設定してよい。複雑な外観とは、「耳→鼻→口の順に触る」といった、単一動作を複数組み合わせた動作や、「赤色の服に黄色のリストバンドを着用する」といった、複数のアイテムを組み合わせた服装であってよい。あるいは、この場合、登録部341は、選択肢として含まれる外観IDの数が、入場者が所定数以上である駅が利用予定駅に含まれていない場合と比べて、所定数多くなるように、外観グループを構成してもよい。また例えば、登録部341は、在住地域に基づいて、ユーザUが利用する予定のゲートを特定し、特定されたゲートの利用者予測数が所定数以上である場合、上述と同様に、複雑な外観を示す外観IDを含むように外観グループを設定してもよい。また上述と同様に、利用者予測数が所定数未満である場合と比べて、選択肢として含まれる外観IDの数を増やして外観グループを構成してもよい。また、登録部341は、ユーザ属性情報に利用目的が含まれている場合、利用目的に基づいてユーザUが利用する予定のゲートを特定し、上述した在住地域と同様の方法で外観グループを設定してもよい。ユーザUが利用する予定のゲートは、利用目的に沿ったゲート属性情報を有するゲートである。一例として、登録部341は、利用目的が「鉄道利用」である場合、「テーマパーク利用」の場合と比べて、選択肢として含まれる外観IDの数を所定数増やして外観グループを構成する。また一例として、登録部341は、利用目的が「イベント会場利用」である場合、そのイベント会場のイベント種別に基づいて入場予定者数を予測し、入場予定者数に応じて、上述と同様の方法で外観グループを設定してもよい。尚、ユーザUがイベント会場を利用する予定日時がユーザ属性情報として登録されている場合は、予定日時に応じて、外観グループを設定してもよい。一例として、登録部341は、予定日時が休日の混み合う時間帯である場合は、それ以外の時間帯や平日に比べて、複雑な外観を示す外観IDを含むように、又は選択肢として含まれる外観IDの数を増やして外観グループを構成してよい。例えば登録部341は、イベント予約のタイミングでユーザ属性情報を登録したことに応じて、上述のように外観グループを構成及び設定し、外観IDを登録してよい。このように、利用者数が多いゲートにおいても、外観を複雑化、又はバリエーションを増やすことで、誤認証を回避できる。したがって、認証精度を向上させることができる。
 また、登録部341は、各ユーザUについて、他のユーザUとの間の登録用の顔情報の類似度が所定閾値以上である場合、ユーザUの登録用の外観IDを、類似するユーザUの登録用の外観IDと異なるものに設定してよい。またこの場合、登録部341は、そのユーザUの外観グループを、類似するユーザUと異なるグループに設定し、外観グループから外観IDをユーザUに選択させることで、登録用の外観IDを異ならせるようにしてもよい。つまり登録部341は、ユーザUに対して、選択肢として提示される外観IDを、類似するユーザUに提示される外観IDと異なるものに設定し、設定された外観IDからユーザUに選択させる。類似度は、顔認証装置100の顔情報DB110に記憶されている顔特徴情報112に基づいて算出されてよい。類似度の算出は顔認証装置100が実施し、登録部341は、顔認証装置100から、類似度が所定閾値以上のユーザIDを、ネットワークNを介して取得してよい。このように顔の構造が似ている場合は顔認証で複数のユーザUが特定されることがあるが、認証対象となる外観が明確に異なれば、特定されたどのユーザUが認証対象者かを外観認証でより明確に区別することができる。したがって誤認証を回避し、認証精度を向上させることができる。
 そして、登録部341は、所定の更新条件を満たした場合、登録用の外観情報、すなわち登録履歴情報313の外観IDを更新する。登録用の外観情報を更新するとは、登録部341が、所定の更新条件を満たしたユーザUについて、登録履歴情報313の外観グループを変更し、登録用の外観IDを、変更後の外観グループの中から選択された外観IDに更新することを指す。ここで、外観グループを変更するとは、所定の更新条件を満たしたユーザUについて、登録履歴情報313の外観グループを、複雑な外観を示す外観IDを含んだ外観グループに変更することを含んでよい。また外観グループを変更するとは、所定の更新条件を満たしたユーザUについて、登録履歴情報313の外観グループを、選択肢として含まれる外観IDの数が、設定されている外観グループよりも多い外観グループに変更することを含んでよい。尚、登録用の外観情報を更新するとは、変更後の外観グループに含まれる外観IDを、ユーザ端末500に出力し、ユーザUから変更後の外観IDの選択を受け付けることを含んでよい。そして登録用の外観情報を更新するとは、登録履歴情報313に新たなレコードを追加し、追加したレコードに、ユーザUから選択された変更後の外観IDを記録することを含んでよい。ここで、所定の更新条件とは、ユーザUがゲートを通過したことであってよい。つまり、登録部341は、ユーザUがゲートを通過し、入場又は退場したことに応じて、登録履歴情報313の外観IDを更新する。例えば外観の種別が動作である場合、入退場毎に認証のための動作が変更される。これにより、ゲート通過時に認証のための動作を他人に知られた場合でも、次にゲートを通過する際の動作は直前のゲート通過時の動作とは異なるため、個人認証のセキュリティレベルを高めることができる。尚、登録用の外観情報の更新は、ゲート通過毎に限らず、認証時に同一の外観情報を用いて(例えば、認証時に同じ動作を行って)所定回数ゲートを通過した場合に行われてもよい。
 また、所定の更新条件とは、登録日時又は前回の更新日時から所定期間を経過したことであってよい。つまり、登録部341は、登録日時又は前回の更新日時から所定期間経過した場合、各ユーザUについて、登録用の外観情報を更新してよい。所定期間とは、例えば1日、1週間又は1か月であってよい。尚、登録部341は、毎日所定時刻に、ユーザUについて、登録用の外観情報を更新してもよい。また登録部341は、ユーザ属性情報の更新要求を、ユーザ端末500から受信した場合、登録履歴情報313のユーザ属性情報を更新し、更新後のユーザ属性情報に基づいて、登録用の外観情報を更新してもよい。例えば登録部341は、ユーザ属性情報の更新により、ユーザUが利用する予定のゲートの種別が変更したことに応じて、登録用の外観情報を更新してよい。一例として、ゲートの種別が変更した場合とは、利用目的がテーマパークから鉄道に変更した場合や、乗降駅が普段と異なる場合が挙げられる。これにより、個人認証のセキュリティレベルが向上する。また、例えば登録部341は、ユーザ属性情報の更新により、ユーザUが利用する予定のゲートの利用者予測数が所定数以上変化した場合、そのユーザUの、登録用の外観情報を更新してよい。一例として、利用する予定のゲートの利用者予測数が所定数以上変化する場合とは、そのゲートの近くで大きなイベントが開催されることにより、普段よりも利用客が増加する場合が挙げられる。これにより、個人認証のセキュリティレベルを向上させつつ、誤認証を回避することができる。
 また、所定の更新条件とは、個人認証の失敗率が所定閾値以上となったことであってもよい。つまり、登録部341は、ユーザUの失敗率が所定閾値以上である場合、そのユーザUの、登録用の外観情報を更新してよい。尚、登録部341は、個人認証の失敗率に代えて、顔認証の失敗率が所定閾値以上になった場合に、そのユーザUの、登録用の外観情報を更新してもよい。この場合は、他のユーザUと顔が類似していることにより顔認証に失敗している可能性がある。したがって、登録部341は、ユーザUと、登録用の顔情報が類似している類似ユーザを特定し、類似ユーザと登録用の外観IDが異なるように、ユーザUの登録用の外観IDを設定(更新)してよい。類似ユーザの特定については、前述と同様である。また、登録用の外観IDの設定(更新)については、前述と同様であり、外観グループを変更することを含む。これにより、認証精度を高めることができる。
 ここで、ユーザUの失敗率の算出方法の一例について説明する。まず、情報処理装置300は、個人認証が失敗したことに応じて、所定の方法で、ユーザIDを特定する。例えば、個人認証が失敗した場合、ユーザUはICカードやバーコード等を提示し、認証端末400にユーザIDを読み取らせる。認証端末400は、取得したユーザIDと、ゲートIDとを、ネットワークNを介して情報処理装置300に送信する。次に、情報処理装置300は、認証履歴情報314に、ユーザIDに対応付けて、個人認証が失敗した旨を記録する。尚、情報処理装置300は、顔認証結果及び外観認証結果に基づいて、いずれの認証に失敗したかを示す失敗理由を、認証履歴情報314に記録してもよい。そして情報処理装置300は、認証履歴情報314を用いて、各ユーザUについて個人認証の失敗率や認証方式ごとの失敗率を算出し、ユーザIDに対応付けて記憶部310に記録する。
 取得部342は、上述した取得部12の一例である。取得部342は、認証端末400からネットワークNを介して、通信部330を経由して撮影画像データを含む個人認証要求を取得する。撮影画像データは、静止画の撮影画像であってもよいし、複数の撮影画像(フレーム)を含む動画であってもよい。特に、登録用の外観情報が動作情報である場合、撮影画像データは動画であってよい。取得部342は、取得した撮影画像データを、認証制御部343に供給する。
 認証制御部343は、上述した認証制御部13の一例である。認証制御部343は、撮影画像データの撮影画像に含まれるユーザUの顔領域に対する顔認証を制御する。つまり、認証制御部343は、各ゲートで撮影された撮影画像データの撮影画像に含まれるユーザUの顔領域に対する顔認証を制御する。すなわち、認証制御部343は、認証端末400から取得した撮影画像について、顔認証装置100に対して顔認証を行わせる。例えば、認証制御部343は、取得した撮影画像データ、ゲートID及び撮影日時を含めた顔認証要求を、ネットワークNを介して顔認証装置100へ送信する。尚、撮影画像データが動画である場合、認証制御部343は、撮影画像データに含まれる一部の撮影画像(フレーム)を顔認証要求に含めてよいし、全部のフレームを顔認証要求に含めてもよい。このとき、複数のフレームの各々について、認証用の顔特徴情報が生成される。尚、認証制御部343は、撮影画像データに含まれる撮影画像からユーザUの顔領域を検出し、顔領域の画像を顔認証要求に含めてもよい。また、認証制御部343は、顔領域から顔特徴情報を抽出し、顔特徴情報を顔認証要求に含めてもよい。そして認証制御部343は、顔認証装置100から顔認証結果を受信する。
 そして認証制御部343は、顔認証が成功した場合、登録履歴情報313を参照し、顔認証結果に含まれるユーザIDの、最新のレコードに記録された外観IDを取得する。そして認証制御部343は、撮影画像データの撮影画像に含まれるユーザUの検出領域に対する外観認証を制御する。例えば、撮影画像データ及び外観IDを含めた外観認証要求を、ネットワークNを介して外観認証装置200に送信する。ここでも、撮影画像データが動画である場合、認証制御部343は、撮影画像データに含まれる一部のフレームを外観認証要求に含めてよいし、全部のフレームを外観認証要求に含めてもよい。また認証制御部343は、撮影画像データに含まれるフレームのうち、顔認証に失敗したフレームを除いて外観認証要求に含めてもよい。尚、外観IDが、動作、特に複数の動作を示すものである場合、認証制御部343は、複数のフレームを外観認証要求に含める。このとき、複数のフレームの各々について、認証用の外観情報が生成される。また、認証制御部343は、顔認証にかかる顔領域が特定できる場合は、顔領域を特定する情報を外観認証要求に含めてもよい。尚、この場合は、認証制御部343は、撮影画像からユーザUの外観IDに対応する検出領域を顔領域に基づいて検出し、検出領域の画像を外観認証要求に含めてもよい。そして認証制御部343は、外観認証装置200から外観認証結果を受信する。
 認証制御部343は、顔認証結果及び外観認証結果に基づいて、個人認証を実施する。例えば認証制御部343は、顔認証に成功し、かつ外観認証に成功した場合に、個人認証に成功したと判定する。認証制御部343は、上記の場合以外で、個人認証に失敗したと判定する。認証制御部343は、個人認証結果を、ゲート制御部344に供給する。
 ゲート制御部344は、上述のゲート制御部14の一例である。ゲート制御部344は、個人認証結果が成功を示す場合、ユーザUの撮影地点のゲートを制御するゲート駆動装置600に、ゲートを開放する旨の制御信号を送信する。一方、ゲート制御部344は、個人認証結果が失敗を示す場合、ユーザUの撮影地点のゲートを制御するゲート駆動装置に、ゲートを閉鎖する旨の制御信号を送信する。尚、ゲート制御部344がゲート駆動装置600に送信する制御信号は、ゲートを開放する又は閉鎖する旨の制御信号に代えて、個人認証に成功又は失敗したことをゲート駆動装置600に出力させるための制御信号であってもよい。
 図14は、実施形態2にかかる登録処理の流れを示すフローチャートである。まず、情報処理装置300の登録部341は、ネットワークNを介して、ユーザ端末500から、サービスの利用登録要求を受信する(S401)。尚、このとき登録部341は、利用登録要求に加えて撮影画像を受信した場合、ネットワークNを介して顔認証装置100に顔情報DB110への顔情報の登録を要求する。
 続いて登録部341は、顔認証装置100からネットワークNを介してユーザIDを取得する(S402)。そして登録部341は、要求元のユーザ端末500から、ネットワークNを介してユーザUの属性情報を取得する(S403)。そして登録部341は、ユーザUの属性情報を、登録履歴情報313のユーザ属性情報として、ユーザIDに対応付けて登録する(S404)。続いて、登録部341は、ユーザ属性情報に基づいて外観グループを設定する(S405)。そして登録部341は、外観関連情報316を参照し、外観グループに含まれる外観IDを取得する。続いて、登録部341は、ユーザ端末500に対して、外観グループに含まれる複数の外観IDを送信し、ユーザ端末500に外観IDを選択可能に表示させる(S406)。ユーザUが、ユーザ端末500の表示部540に表示された複数の外観IDのうち、1の外観IDを選択した場合、登録部341は、選択された外観IDをユーザ端末500から取得する(S407)。そして登録部341は、登録履歴情報313に、登録日時、外観グループID、及び選択された外観IDを、ユーザIDに対応付けて登録する(S408)。
 図15は、実施形態2にかかる個人認証処理の流れを示すフローチャートである。まず、認証制御部343は、認証端末400からネットワークNを介して撮影画像データを取得する(S411)。次に認証制御部343は、顔認証装置100に対してネットワークNを介して顔認証要求を送信する(S412)。このとき、認証制御部343は、ステップS411で取得した撮影画像データ、撮影画像データに含まれる一部の撮影画像、撮影画像から抽出した顔領域、又は、当該顔領域から抽出した顔特徴情報の少なくともいずれかを顔認証要求に含める。そして、認証制御部343は、顔認証装置100からネットワークNを介して顔認証結果を受信する(S413)。顔認証結果は、顔認証に成功した場合、その旨、ユーザID及び顔領域を特定する情報を含み、顔認証に失敗した場合、その旨を含む。尚、顔認証結果には複数のユーザIDが含まれている場合があり、その場合は、顔認証結果に、各ユーザIDに対応する、顔領域を特定する情報が含まれる。
 認証制御部343は、顔認証に成功したユーザIDがあるか否かを判定する(S414)。顔認証に成功したユーザIDがない場合(S414でNo)、認証制御部343は、個人認証に失敗したと判定し、ネットワークNを介して、撮影元の認証端末400に対応するゲート駆動装置600に対してゲートを閉鎖する制御信号を送信する(S415)。そして認証制御部343は、処理を終了する。
 一方、顔認証に成功したユーザIDがあると判定した場合(S414でYes)、認証制御部343は、顔認証に成功したユーザIDを特定する(S416)。具体的には、認証制御部343は、顔認証結果に含まれるユーザIDを抽出する。以下では、顔認証結果に含まれるユーザIDが複数ある場合、ユーザID毎にステップS417~419を実行する。
 ステップS417において、認証制御部343は、抽出したユーザIDの、最新の登録履歴情報313に含まれる外観IDを取得する。そしてステップS418において、認証制御部343は、外観認証装置200に対して、ネットワークNを介して外観認証要求を送信する(S418)。このとき認証制御部343は、ステップS411で取得した撮影画像データ、撮影画像データに含まれる一部の撮影画像、撮影画像から抽出した検出領域、又は、当該検出領域から抽出した外観特徴情報の少なくともいずれかを、外観認証要求に含める。尚、認証制御部343は、これに加えて、顔領域を特定する情報を、外観認証要求に含めてよい。そして認証制御部343は、外観認証装置200からネットワークNを介して、外観認証結果を受信する(S419)。外観認証結果は、外観認証に成功した又は失敗した旨を含む。また外観認証結果は、外観認証に成功した場合は、ユーザIDを含んでもよい。
 認証制御部343は、外観認証に成功したユーザIDがあるか否かを判定する(S420)。外観認証に成功したユーザIDがない場合(S420でNo)、認証制御部343は、個人認証に失敗したと判定し、ネットワークNを介して、撮影元の認証端末400に対応するゲート駆動装置600に対してゲートを閉鎖する制御信号を送信する(S415)。そして認証制御部343は、処理を終了する。一方、外観認証に成功したユーザIDがある場合(S420でYes)、認証制御部343は、個人認証に成功したと判定し、撮影元の認証端末400に対応するゲート駆動装置600に対してゲートを開放する制御信号を送信する(S421)。そして、ステップS422において、認証制御部343は、認証履歴情報314として、ユーザID、撮影日時、ゲートID、認証結果及び失敗理由を登録する。
 図16は、実施形態2にかかる外観情報更新処理の流れを示すフローチャートである。登録部341は、上述した所定の更新条件を満たした場合(S431でYes)、ステップS432~435に示す外観情報更新処理を実行する。まず、登録部341は、外観情報を更新する対象のユーザUに対して、外観グループを変更する(S432)。そして登録部341は、外観関連情報316を参照し、変更後の外観グループに含まれる外観IDを取得する。次に登録部341は、ユーザ端末500に対して、外観グループに含まれる外観IDを送信し、ユーザ端末500に外観IDを選択可能に表示させる(S433)。ユーザUが、ユーザ端末500の表示部540に表示された外観IDのうち、1の外観IDを選択した場合、登録部341は、選択された外観IDをユーザ端末500から取得する(S434)。そして登録部341は、登録履歴情報313の外観グループID及び外観IDを、変更後の外観グループID及び新たに選択された外観IDに更新する(S435)。
 次に、外観の種別が動作である場合の処理の一例を、図17~24を用いて説明する。図17~24において、外観グループは、動作グループと呼ばれ、外観IDは動作IDと呼ばれ、外観認証は動作認証と呼ばれる。
 図17は、実施形態2にかかる登録処理の流れを示すシーケンス図である。
 まずユーザ端末500は、情報処理装置300にサービスの利用登録要求を送信する(S500)。また、ユーザ端末500は、ユーザUを撮影し(S501)、撮影画像を含む顔情報登録要求を、ネットワークNを介して顔認証装置100へ送信する(S502)。そして、顔認証装置100は、受信した顔情報登録要求に含まれる撮影画像に基づいて、ユーザUの顔情報(顔特徴情報)を登録する(S503)。そして、顔認証装置100は、ユーザIDをネットワークNを介して情報処理装置300に通知する(S504)。また、ユーザ端末500は、ユーザ属性情報をネットワークNを介して情報処理装置300に送信する(S505)。情報処理装置300は、通知されたユーザID及びユーザ属性情報を、互いに対応付けて登録履歴情報313に登録する(S506)。そして情報処理装置300は、ユーザUに対して動作グループを設定する(S507)。情報処理装置300は、動作グループに含まれる複数の動作IDを、ネットワークNを介してユーザ端末500に送信する(S508)。動作IDを受信したユーザ端末500は、動作IDを表示する(S509)。
 ここで、図18は、実施形態2にかかるユーザ端末500の表示の一例を示す図である。ユーザ端末500の表示部540には、「本日の動作を選んでください」というメッセージとともに、動作1~2が選択可能に表示されている。動作1は、「右手を挙げる」という動作IDであり、動作2は、「左手を挙げる」という動作IDである。本図では、ユーザUは、動作2を選択している。
 図17に戻り、説明を続ける。ユーザ端末500は、ユーザUからの動作IDの選択操作を受け付け(S510)、選択された動作IDを、ネットワークNを介して情報処理装置300に送信する(S511)。そして情報処理装置300は、ユーザIDと、登録日時、動作グループ、及び動作IDとを対応付けて、登録履歴情報313として登録する(S512)。
 図19は、実施形態2にかかる個人認証処理の流れを示すシーケンス図である。まずゲートA1において、認証端末400-1は、ユーザUを撮影し(S520)、撮影画像データ及びゲートIDを、ネットワークNを介して情報処理装置300に送信する(S521)。情報処理装置300は、受信した撮影画像内のユーザUの顔領域に対する顔認証要求を、ネットワークNを介して顔認証装置100へ送信する(S522)。そして、顔認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S523)。ここでは、顔認証に成功したユーザIDがあったものとする。顔認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して情報処理装置300へ送信する(S524)。
 顔認証結果を受信した情報処理装置300は、顔認証結果に含まれるユーザIDに対応する動作IDを、登録履歴情報313から取得する(S525)。続いて情報処理装置300は、動作ID及び撮影画像データを含めた動作認証要求を、ネットワークNを介して外観認証装置200に送信する(S526)。そして、外観認証装置200は、受信した動作認証要求に含まれる撮影画像データ内のユーザUの検出領域について動作認証を行う(S527)。ここでは、動作認証に成功したユーザIDがあったものとする。外観認証装置200は、動作認証に成功した旨を含めた動作認証結果を、ネットワークNを介して情報処理装置300へ送信する(S528)。動作認証結果を受信した情報処理装置300は、個人認証が成功したと判定し、ゲートA1を制御するゲート駆動装置600に対して開放制御信号を送信する(S529)。これによりゲートA1が開放する(S530)。また、情報処理装置300は、認証履歴情報314を登録する(S531)。そしてユーザUは、ゲートA1を通過(入場)し、ゲートA2に移動する。
 尚、情報処理装置300は、同一の撮影画像(フレーム)で顔認証及び動作認証の両方が成功した場合にのみ、個人認証に成功したと判定してよい。具体的には、認証用の顔特徴情報及び認証用の動作特徴情報が、撮影画像データに含まれる同一のフレームに基づいて生成され、顔認証及び動作認証がいずれも成功した場合、情報処理装置300は、個人認証に成功したと判定する。
 図20は、実施形態2にかかる個人認証処理の一例を説明するための図である。図20に示すように、顔認証要求に含まれる撮影画像データには、撮影タイミングが異なる撮影画像800-1~3が含まれている。まず顔認証装置100は、撮影画像800-1~3に含まれるユーザU1を検出し、ユーザU1のユーザIDを特定する。ここでは、撮影画像800-1及び800-2について、顔認証が成功したとする。したがって、情報処理装置300は、撮影画像800-1及び800-2について、外観認証装置200に対して動作認証要求を送信する。この動作認証要求には、撮影画像800-1、800-2の各々について、顔認証により特定されたユーザU1の登録用の動作IDと、ユーザU1の顔領域を特定する情報とが含まれてよい。そして外観認証装置200は、撮影画像800-1及び800-2の各々について、ユーザU1の顔領域近傍の検出領域を特定し、検出領域が、所定の動作IDに対応するか否かを判定する。ここで、外観認証装置200は、撮影画像800-2についてのみ、所定の動作IDに対応すると判定したとする。この場合、外観認証装置200は、動作認証に成功した旨の動作認証結果を、情報処理装置300に送信する。動作認証結果を受信した情報処理装置300は、ユーザU1について個人認証が成功したと判定する。尚、撮影画像800-2には、ユーザU1の他に、ユーザU2の顔領域が検出される。したがって、外観認証装置200は、撮影画像800-2については、ユーザU2に対しても動作認証を実施する。しかし撮影画像800-2におけるユーザU2は、検出領域を特定することができず、動作認証は失敗となる。尚、仮に撮影画像800-2におけるユーザU2に対して検出領域が特定され、動作がユーザU1の登録用の動作IDに対応していたとしても、ユーザU2の登録用の動作IDに対応していなければ、外観認証装置200は、動作認証を失敗としてよい。
 このように同一のフレームで顔認証及び動作認証の両方が成功した場合にのみ、個人認証が成功したと判定することで、個人認証のセキュリティレベルを向上させ、適切に個人認証を実施することができる。尚、顔認証が成功した顔領域に基づいて動作認証の検出領域が定められるため、周囲に人がいる状況下でも、誤認証を生じにくい。
 これに代えて、情報処理装置300は、同じ撮影画像データ中で、顔認証が成功したフレームと、動作認証が成功したフレームとが異なっている場合でも、個人認証が成功したと判定してもよい。図21は、実施形態2にかかる個人認証処理の一例を説明するための図である。図21に示すように、顔認証要求に含まれる撮影画像データには、撮影画像810-1~3が含まれている。そして撮影画像810-1では、顔認証に成功し、撮影画像810-2及び810-3では、顔認証に失敗している。ここで、情報処理装置300は、撮影画像810-1と撮影画像810-2との間の撮影間隔(フレームレート)から移動距離を計算し、撮影画像810-1におけるユーザU1が、撮影画像810-2におけるユーザU1と同一人物であると判定する。したがって、情報処理装置300は、撮影画像800-2についても、外観認証装置200に対して動作認証要求を送信する。この動作認証要求には、撮影画像810-1の顔認証により特定されたユーザU1の登録用の動作IDと、撮影画像810-2におけるユーザU1の顔領域を特定する情報とが含まれてよい。外観認証装置200は、撮影画像800-2について動作認証を実施し、検出領域が動作認証要求に含まれる動作IDに対応するか否かを判定する。ここでは、外観認証装置200が、撮影画像800-2の検出領域が動作認証要求に含まれる動作IDに対応すると判定したとする。この場合、外観認証装置200は、動作認証が成功した旨の動作認証結果を、情報処理装置300に送信する。これにより情報処理装置300は、個人認証が成功したと判定する。
 このように、同じ撮影画像データ中の複数のフレームにおける顔認証結果及び動作認証結果の組み合わせで、個人認証が成功するか否かを判定することで、適切に個人認証が実施できる。例えばウォークスルーで個人認証を行う場合において、一部のフレームにおいて被写体の一部が明瞭にとらえられなかった場合でも、適切に個人認証が実施できる。尚、一度顔認証に成功したユーザUがトラッキングされ、同一人物であると判定されたユーザUの顔領域に基づいて動作認証の検出領域が定められるため、周囲に人がいる状況下でも誤認証を生じにくい。
 また、動作IDが複数の動作(個別動作と呼ぶ)の組み合わせを示すものである場合、撮影画像データに、顔認証に成功し、かつ個別動作認証に成功したフレームが個別動作毎に存在するときに、情報処理装置300は、個人認証が成功したと判定してよい。図22は、実施形態2にかかる個人認証処理の一例を説明するための図である。
 例えばユーザU1の登録用の動作IDは、第1の個別動作→第2の個別動作→第3の個別動作を示すものとする。図22に示すように、顔認証要求に含まれる撮影画像データには、撮影画像820-1~3が含まれている。撮影画像820-1は、顔認証に成功し、かつ第1の個別動作の認証に成功したフレーム(第1のフレーム)である。撮影画像820-2は、顔認証に成功し、かつ第2の個別動作の認証に成功したフレーム(第2のフレーム)である。また撮影画像820-3は、顔認証に成功し、かつ第3の個別動作の認証に成功したフレーム(第3のフレーム)である。情報処理装置300は、撮影画像データに第1~第3のフレームが含まれていた場合、個人認証が成功したと判定してよい。尚、情報処理装置300は、本例のように個別動作の順番が決まっている場合、撮影順番が第1のフレーム→第2のフレーム→第3のフレームの順である場合に、個人認証が成功したと判定してよい。
 図23は、実施形態2にかかる更新処理の流れを示すシーケンス図である。情報処理装置300は、所定の更新条件を満たした場合、ユーザUに対して動作グループを変更する(S540)。そして情報処理装置300は、変更後の動作グループに含まれる動作IDに含まれる動作IDを、ネットワークNを介してユーザ端末500に送信する(S541)。動作IDを受信したユーザ端末500は、動作IDを表示する(S542)。
 ここで、図24は、実施形態2にかかるユーザ端末500の表示の一例を示す図である。例えば、ユーザ端末500の表示部540には、動作IDが表示される前に、本図に示すように、「動作を変更してください」というメッセージが表示されてよい。そしてその後、ユーザ端末500の表示部540には、図18と同様の画面が表示されてよい。
 図23に戻り、説明を続ける。ユーザ端末500は、ユーザUからの動作IDの選択操作を受け付け(S543)、選択された動作IDを、ネットワークNを介して情報処理装置300に送信する(S544)。そして情報処理装置300は、ユーザIDと、更新日時、動作グループ、及び動作IDとを対応付けた情報を登録履歴情報313として新たに登録し、登録履歴情報313を更新する(S545)。そしてユーザUがゲートA2に移動した場合、図19のステップS520~531に示す処理と同様の処理が行われる。
 このように実施形態2によれば、情報処理装置300は、画像認識を用いて顔認証及び外観認証の多要素認証を実施し、所定の更新条件を満たした場合、外観認証に使用する登録用の外観情報を更新する。したがって、多要素認証により認証精度を高めつつ、外観情報という個人情報が漏洩して悪用されるリスクを軽減してセキュリティレベルを高めることができる。これは、周囲に人がいる駅の改札やテーマパークの入退場ゲートで個人認証を行う場合に、特に効果を奏する。尚、更新条件の種別に応じて外観情報の更新態様を変えることで、状況に応じて適切な個人認証を実施できる。
 <実施形態3>
 次に、本開示の実施形態3について説明する。実施形態2では、情報処理装置300は、顔認証結果及び1の外観認証結果に基づいて、個人認証を実施した。すなわち、個人認証は、2要素認証であった。しかし実施形態3では、情報処理装置300は、顔認証結果及び複数の外観認証結果に基づいて、個人認証を実施することができる。以下では、個人認証において最大2種類の外観認証が実施可能であるとして、つまり、最大3要素認証が可能であるとして、説明する。しかし外観認証の種別数(要素数)はこれに限らない。外観認証の種別(要素の種別)は、認証対象となる外観情報の種別であり、例えば動作や服装が挙げられる。
 図25は、実施形態3にかかる外観認証装置200aの構成を示すブロック図である。外観認証装置200aは、外観認証装置200と基本的に同様の構成及び機能を有する。ただし外観認証装置200aは、外観情報DB210に代えて、第1外観情報DB210-1及び第2外観情報DB210-2を有する。第1外観情報DB210-1及び第2外観情報DB210-2は、外観情報DB210と同様のデータ構造を有してよいが、互いに要素の種別が異なる。例えば第1外観情報DB210-1は、動作情報を格納し、第2外観情報DB210-2は、服装情報を記憶する。具体的には、第1外観情報DB210-1は、動作情報として、第1外観ID211-1と、これに対応する第1外観特徴情報212-1とを記憶する。また、第2外観情報DB210-2は、服装情報として、第2外観ID211-2と、これに対応する第2外観特徴情報212-2とを記憶する。
 また外観認証装置200aは、検出部220a、特徴点抽出部230a、登録部240a及び認証部250aを備える。検出部220a、特徴点抽出部230a、登録部240a及び認証部250aは、検出部220、特徴点抽出部230、登録部240及び認証部250と基本的に同様に機能する。ただし、登録部240aは、要素種別に対応する外観情報DB210に、外観IDと外観特徴情報とを登録する。また外観認証装置200aが情報処理装置300から、要素種別を示す情報を含む外観認証要求を受信した場合、検出部220a、特徴点抽出部230a及び認証部250aは、要素種別に対応する外観情報DB210を用いて、前述した各種処理を実行する。
 図26は、実施形態3にかかる外観認証処理の流れを示すフローチャートである。まず、検出部220aは、情報処理装置300からネットワークNを介して外観認証要求を取得する(S51a)。このとき外観認証要求は、撮影画像データと、顔認証により特定されたユーザUの、要素種別毎の登録用の外観IDとが含まれる。そして外観認証装置200aは、要素種別毎に、図8のステップS52~57に対応するステップS52a~57aの処理を繰り返す。尚、ステップS56aにおいては、認証部250aは、ユーザIDに対応付けて、外観認証に成功した旨と、外観IDとを情報処理装置300に送信してよい。
 図27は、実施形態3にかかる登録履歴情報313のデータ構造の一例を示す図である。実施形態3にかかる情報処理装置300の記憶部310の登録履歴情報313には、要素種別毎に、外観情報が記録可能になっている。つまり、登録履歴情報313には、要素種別毎に外観グループID及び外観IDのフィールドが設定されている。情報処理装置300の登録部341は、要素種別数、つまり要素数と、その要素種別とを、ユーザUごとに設定し、設定された要素種別に応じた外観グループID及び外観IDを、登録履歴情報313に記録する。例えばユーザU1には、外観情報として、動作情報(第1外観情報)及び服装情報(第2外観情報)が登録されている。したがって、認証制御部343は、顔認証結果及び第1外観認証結果に加えて、第2外観認証結果に基づいて、ユーザU1の個人認証を行う。一方、ユーザU2には、外観情報として動作情報(第1外観情報)のみが登録されている。したがって、認証制御部343は、顔認証結果及び第1外観認証結果に基づいて、ユーザU2の個人認証を行う。
 ここで、実施形態3にかかる情報処理装置300の登録部341は、所定の要素数追加条件を満たす場合、そのユーザUに対して既に登録されている登録用の外観情報とは異なる要素種別の、所定数の外観情報を追加する。例えば登録部341は、各ユーザUについて、所定の要素数追加条件を満たす場合、そのユーザUに対して、登録用の第1外観情報とは異なる要素種別の登録用の第2外観情報を追加登録する。所定の要素数追加条件とは、ユーザUが利用する予定のゲートの利用者予測数が所定数以上であることであってよい。あるいは、所定の要素数追加条件とは、ユーザUの個人認証の失敗率が所定閾値以上であることであってよい。情報処理装置300は、所定の要素数追加条件を満たす場合、ユーザUのユーザ端末500に対して、外観情報の追加登録をする旨を通知してよい。
 尚、登録部341は、所定の要素数削減条件を満たす場合、そのユーザUに対して登録されている登録用の複数の外観情報の中から、所定数の外観情報を削除する。例えば登録部341は、各ユーザUについて、所定の要素数削減条件を満たす場合、そのユーザUに対して登録されている登録用の第1外観情報及び第2外観情報のうち、いずれかを削除する。所定の要素数削減条件とは、ユーザUが利用するゲートの利用者予測数が所定数未満であることであってよい。あるいは、所定の要素数削減条件とは、ユーザUの個人認証の失敗率が所定閾値未満であることであってよい。尚、登録部341は、各ユーザUについて、所定の要素数削減条件を満たす場合、そのユーザUに対して登録されている登録用の外観情報の全てを削除してよい。つまり、所定の要素数削減条件を満たすユーザUがゲートを通過する場合は、外観認証が省略され、顔認証のみが要求されてよい。したがって情報処理装置300は、所定の要素数削減条件を満たす場合、ユーザUのユーザ端末500に対して、外観認証が省略される旨を通知してよい。
 図28は、実施形態3にかかる要素数追加処理の流れを示すフローチャートである。登録部341は、上述した要素数追加条件を満たした場合(S601でYes)、ステップS602以降の処理を実行する。ステップS602において、登録部341は、追加要素数と、追加する要素種別とを決定する。次に、登録部341は、追加する要素種別毎に、ステップS603~606に示す処理を繰り返す。ステップS603~606に示す処理は、図16のステップS432~435に示す処理と同様であるため、説明を省略する。
 図29は、実施形態3にかかる個人認証処理の流れを示すフローチャートである。図29に示すステップは、図15のステップS417~420に代えて、ステップS417a~420aを含む。
 認証制御部343は、顔認証に成功したユーザIDを特定したことに応じて(S416)、そのユーザUの最新の登録履歴情報313を参照し、登録用の外観IDの要素種別毎に、ステップS417a~419aに示す処理を繰り返す。ステップS417a~419aは、ステップS417~419に対応する。そして認証制御部343は、登録用の外観IDが登録されている全要素種別に対応する外観認証に成功したユーザIDがあるか否かを判定する(S420a)。認証制御部343は、ユーザIDがある場合(S420aでYes)、処理をステップS421に進め、そうでない場合(S420aでNo)、処理をステップS415に進める。以降は、図15と同様である。
 このように、実施形態3によれば、条件を満たした場合、外観認証の要素数を変更するため、状況に応じて適切な認証精度、認証速度及びセキュリティレベルを担保することができる。
 なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態2~3では、情報処理装置300の登録部341は、登録時又は更新時に、ユーザUに対して外観グループを設定し、複数の外観情報の中から登録用の外観情報を選択させた。しかしこれに代えて、登録部341は、登録時又は更新時に、ユーザUに対して登録用の外観情報を自動設定してよい。つまり、ユーザUが登録用の外観情報を選択可能としなくてよい。そして、情報処理装置300は、ユーザ端末500に対して、自動設定した登録用の外観情報を送信し、ユーザ端末500の表示部540に「この動作をしてください」というメッセージとともに登録用の外観情報を表示させてよい。またこれに代えて、登録部341は、外観情報を登録するために撮影されたユーザUの撮影画像に基づいて、ユーザUの外観情報を登録又は更新してもよい。一例として、ユーザUの玄関先にカメラを設置しておき、ユーザUが出かける場合にユーザUの服装を撮影し、撮影画像を情報処理装置300に送信する。情報処理装置300は、撮影画像に基づいて、ユーザUの服装情報を推定し、これを登録履歴情報313に登録する。
 また、ユーザUが任意のゲートに近づいた場合に、情報処理装置300は、ユーザ端末500に対して登録用の外観情報を通知してよい。例えば情報処理装置300は、ユーザ端末500の位置情報を所定間隔で取得し、ユーザ端末500と任意のゲートとの間の距離が所定距離未満となった場合に、ユーザUが任意のゲートに近づいたと判定してよい。ユーザ端末500の位置情報は、一例としてGPS(Global Positioning System)受信機から取得したGPS情報である。また、ユーザ端末500が、自己と任意のゲートとの間の距離が所定距離未満となった場合に、情報処理装置300に対して登録用の外観情報の更新を要求し、情報処理装置300から、更新された登録用の外観情報を取得してよい。また、ユーザUは、利用予定のゲート又は利用予定のゲートが設置された駅やイベント会場に近づいた場合に、情報処理装置300は、ユーザ端末500に対して登録用の外観情報を通知してよい。例えば情報処理装置300は、ユーザ端末500と、利用予定のゲート又は駅やイベント会場と、の間の距離が所定距離未満となった場合に、ユーザUが利用予定のゲートに近づいたと判定してよい。
 また、ユーザUがユーザ端末500を介して、情報処理装置300に対して、登録用の外観情報の登録要求又は更新要求を送信してもよい。情報処理装置300は、外観情報の登録要求又は更新要求に応じて、登録要求又は更新要求に係る外観情報を、ユーザUの登録用の外観情報として登録又は更新する。尚、情報処理装置300は、外観情報の登録要求又は更新要求に応じてユーザUの登録用の外観情報を登録又は更新した場合、登録用の外観情報が類似する又は同じ他のユーザUが存在するとき、登録用の外観情報を異なる外観情報に更新してよい。例えば、情報処理装置300は、ユーザUの登録要求に応じて登録用の外観情報を登録した場合、登録用の外観情報が類似するユーザがいるか否かを判定する。そして情報処理装置300は、登録用の外観情報が類似するユーザがいる場合又は類似するユーザが所定数以上である場合、登録用の外観情報と異なる外観情報を、「服装(又は動作)が類似するユーザが複数人います。この服装(又は動作)に変更してください。」という理由を示すメッセージとともにユーザ端末500に表示させる。このとき情報処理装置300は、表示にかかる外観情報を、登録用の外観情報として自動更新してもよいし、ユーザ端末500から承諾の旨のメッセージを受信したことに応じて更新してもよい。上述の登録用の外観情報の更新は、登録用の顔情報が類似するユーザUが存在する場合や、登録用の顔情報が類似するユーザUが存在する場合であって、かつ登録用の外観情報が類似する又は同じ他のユーザUが存在する場合でも同様である。例えば、情報処理装置300は、ユーザUの登録要求に応じて登録用の外観情報を登録した場合、登録用の顔情報が類似するユーザであって、登録用の外観情報が類似するユーザがいるか否かを判定する。そして情報処理装置300は、登録用の顔情報が類似するユーザの登録用の外観情報と異なる外観情報を、「類似する顔で、服装(又は動作)が類似するユーザがいます。この服装(又は動作)に変更してください。」という理由を示すメッセージとともにユーザ端末500に表示させる。またこの場合、情報処理装置300は、ユーザUの登録用の外観情報を、登録用の顔情報及び外観情報の少なくとも一方が類似するユーザと異なる登録用の外観情報の要素種別の外観情報に更新してもよい。例えば、情報処理装置300は、ユーザUと服装情報が類似する他のユーザがいる場合、登録用の外観情報を動作情報に更新させる。このとき情報処理装置300は、「類似する顔で、服装情報を認証時に使用しているユーザがいます。認証時に使用する要素を、服装から、この動作に変更してください。」というメッセージとともに、動作情報をユーザ端末500に表示させる。
 尚、情報処理装置300は、ポイントシステムと連携し、各ユーザUに対応付けて、ポイントを記憶してよい。ポイントは、店舗や交通機関において利用可能であり、例えば商品に交換したり、代金に充当可能である。そして情報処理装置300は、ユーザUがゲートにおいて個人認証が成功した場合、そのユーザUのポイントを、所定量加算してよい。また情報処理装置300は、ユーザUが事前に外観情報を登録しており(事前登録)、ユーザUがゲートにおいて個人認証が成功した場合に、そのユーザUのポイントを、所定量加算してもよい。事前登録は、ユーザUが、自ら事前に登録用の外観情報の登録要求をし、そして登録用の外観情報が登録されていた場合、及び情報処理装置300が事前にユーザUに登録を要求し、そしてユーザUが登録用の外観情報を情報処理装置300に提供した場合を含んでよい。また、情報処理装置300は、ユーザUが事前登録し、かつユーザUがゲートにおいて個人認証が成功した場合に、そのユーザUのポイントを、事前登録されていなかった場合と比べて所定量多く加算してもよい。このようにインセンティブを与えることにより、サービスの利用を促進できる。尚、インセンティブは、ポイントに限らず、任意の特典であってよい。
 また、上述の実施形態2~3では、顔認証装置100及び外観認証装置200,200aは、情報処理装置300とネットワークNを介して接続されていた。しかしこれに代えて、顔認証装置100及び外観認証装置200の機能の一部又は全部は、情報処理装置300に含まれていてもよい。したがって、顔情報登録処理、顔認証処理及び外観認証処理の少なくとも1つは、情報処理装置300において行われてよい。
 上述の実施形態1~3では、情報処理装置は、第1の判定結果として、顔認証結果を用いた。しかし情報処理装置は、顔認証結果に代えて又は加えて、その他の生体認証結果を用いてもよい。この場合、その他の生体認証は、カメラで取得可能な生体情報を用いた生体認証であり、例えば虹彩認証、手のひら認証、指紋認証、人型認証又は骨格認証であってよい。また、例えば首にぶら下げたカードに記載されたQRコード(登録商標)による生体認証などであってもよい。この場合、上述の説明の「顔認証」は、「生体認証」と、「顔情報」又は「顔特徴情報」は、「生体情報」又は「生体特徴情報」と、「顔画像」は「生体画像」と、「顔認証装置」は「生体認証装置」と、読み替えられてよい。
 尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
 上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
   (付記1)
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録部と、
 認証対象者を撮影した撮影画像データを取得する取得部と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御部と、
 前記個人認証に成功した場合、ゲートの通過を許可するゲート制御部と
 を備える情報処理装置。
   (付記2)
 前記第1外観情報は、動作を示す動作情報又は服装を示す服装情報である
 付記1に記載の情報処理装置。
   (付記3)
 前記第1外観情報は、動作情報であり、
 前記撮影画像データは、複数のフレームを含み、
 前記認証用の顔情報及び前記認証用の第1外観情報は、前記撮影画像データに含まれる同一のフレームに基づいて生成される
 付記1または2に記載の情報処理装置。
   (付記4)
 前記登録部は、登録対象者が利用する予定のゲートの種別が変更したことに応じて、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
 付記1から3のいずれか一項に記載の情報処理装置。
   (付記5)
 前記登録部は、登録対象者がゲートを通過したことに応じて、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
 付記1から4のいずれか一項に記載の情報処理装置。
   (付記6)
 前記登録部は、登録対象者が利用する予定のゲートの利用者予測数が所定数以上変化した場合、その登録対象者の、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
 付記1から5のいずれか一項に記載の情報処理装置。
   (付記7)
 前記登録部は、個人認証の失敗率が所定閾値以上である登録対象者について、その登録対象者の登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
 付記1から6のいずれか一項に記載の情報処理装置。
   (付記8)
 前記登録部は、所定期間経過した場合、各登録対象者について、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
 付記1から7のいずれか一項に記載の情報処理装置。
   (付記9)
 前記登録部は、各登録対象者について、登録対象者の属性情報に基づいて、登録用の第1外観情報を設定する
 付記1から8のいずれか一項に記載の情報処理装置。
   (付記10)
 前記登録部は、各登録対象者について、他の登録対象者との間の登録用の顔情報の類似度が所定閾値以上である場合、その登録対象者の登録用の第1外観情報を、前記他の登録対象者に対応する登録用の第1外観情報と異なる第1外観情報に設定する
 付記1から9のいずれか一項に記載の情報処理装置。
   (付記11)
 前記登録部は、
 各登録対象者について、複数の第1外観情報から構成される第1外観情報群を設定し、
 前記第1外観情報群から選択された第1外観情報を、登録用の第1外観情報として、登録用の顔情報に対応付けて登録し、
 前記所定条件を満たした登録対象者について、複数の第1外観情報から構成される第1外観情報群を変更し、
 前記登録用の第1外観情報を、変更した前記第1外観情報群から選択された第1外観情報に更新する
 付記1から10のいずれか一項に記載の情報処理装置。
   (付記12)
 前記登録部は、前記所定条件を満たした登録対象者に対応する前記第1外観情報群を、含まれる第1外観情報の数が、設定されている前記第1外観情報群よりも多い第1外観情報群に変更し、
 前記登録用の第1外観情報を、変更した前記第1外観情報群から選択された第1外観情報に更新する
 付記1から11に記載の情報処理装置。
   (付記13)
 前記登録部は、前記第1外観情報群に含まれる第1外観情報の各々を、前記登録対象者の使用する端末に、前記登録対象者が選択可能に表示させる
 付記11または12に記載の情報処理装置。
   (付記14)
 前記登録部は、各登録対象者について、所定条件を満たす場合、その登録対象者に対して、登録用の顔情報に対応付けて、登録用の第1外観情報とは異なる登録用の第2外観情報を追加登録し、
 前記認証制御部は、前記第1の判定結果及び前記第2の判定結果に加えて、前記撮影画像データに基づいて生成される認証用の第2外観情報が、前記登録用の第2外観情報に対応するか否かを示す第3の判定結果に基づいて、前記認証対象者の個人認証を行う
 付記1から13のいずれか一項に記載の情報処理装置。
   (付記15)
 前記登録部は、登録対象者が利用する予定のゲートの利用者予測数が所定数以上である場合、その登録対象者に対して、登録用の顔情報に対応付けて、登録用の第1外観情報とは異なる登録用の第2外観情報を追加登録する
 付記14に記載の情報処理装置。
   (付記16)
 前記登録部は、個人認証の失敗率が所定閾値以上の登録対象者に対して、登録用の第1外観情報とは異なる登録用の第2外観情報を、登録用の顔情報に対応付けて追加登録する
 付記14又は15に記載の情報処理装置。
   (付記17)
 認証対象者を撮影した撮影画像を生成する認証端末と、
 前記認証端末と通信可能に接続される情報処理装置と
 を備え、
 前記情報処理装置は、
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録部と、
 前記認証対象者を撮影した撮影画像データを取得する取得部と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御部と、
 前記個人認証に成功した場合、ゲートの通過を許可するゲート制御部と
 を有する
 情報処理システム。
   (付記18)
 前記第1外観情報は、動作情報であり、
 前記撮影画像データは、複数のフレームを含み、
 前記認証用の顔情報及び前記認証用の第1外観情報は、前記撮影画像データに含まれる同一のフレームに基づいて生成される
 付記17に記載の情報処理システム。
   (付記19)
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する段階と、
 認証対象者を撮影した撮影画像データを取得する段階と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う段階と、
 前記個人認証に成功した場合、ゲートの通過を許可する段階と、
 各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する段階と
 を備える情報処理方法。
   (付記20)
 コンピュータに、
 各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する処理と、
 認証対象者を撮影した撮影画像データを取得する処理と、
 前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う処理と、
 前記個人認証に成功した場合、ゲートの通過を許可する処理と、
 各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する処理と
 を実行させるためのプログラム。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2021年2月25日に出願された日本出願特願2021-029274を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本実施形態にかかる情報処理装置及び情報処理システムは、例えば入退場ゲートにおける人の出入りを管理するために利用可能である。
 10 情報処理装置
 11 登録部
 12 取得部
 13 認証制御部
 14 ゲート制御部
 100 顔認証装置
 110 顔情報DB
 111 ユーザID
 112 顔特徴情報
 120 顔検出部
 130 特徴点抽出部
 140 登録部
 150 認証部
 200,200a 外観認証装置
 210 外観情報DB
 210-1 第1外観情報DB
 210-2 第2外観情報DB
 211 外観ID
 211-1 第1外観ID
 211-2 第2外観ID
 212 外観特徴情報
 212-1 第1外観特徴情報
 212-2 第2外観特徴情報
 220,220a 検出部
 230,230a 特徴点抽出部
 240,240a 登録部
 250,250a 認証部
 300 情報処理装置
 310 記憶部
 311 プログラム
 313 登録履歴情報
 314 認証履歴情報
 315 ゲート情報
 3151 ゲートID
 3152 ゲート属性情報
 316 外観関連情報
 3161 外観ID
 3162 外観グループID
 320 メモリ
 330 通信部
 340 制御部
 341 登録部
 342 取得部
 343 認証制御部
 344 ゲート制御部
 400 認証端末
 410 カメラ
 420 記憶部
 430 通信部
 440 表示部
 450 制御部
 451 撮影制御部
 453 認証制御部
 454 表示制御部
 500 ユーザ端末
 510 カメラ
 520 記憶部
 530 通信部
 540 表示部
 550 制御部
 551 撮影制御部
 552 登録部
 553 取得部
 554 表示制御部
 560 入力部
 600 ゲート駆動装置
 800,810,820 撮影画像
 1000 情報処理システム
 N ネットワーク
 U ユーザ

Claims (20)

  1.  各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録手段と、
     認証対象者を撮影した撮影画像データを取得する取得手段と、
     前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御手段と、
     前記個人認証に成功した場合、ゲートの通過を許可するゲート制御手段と
     を備える情報処理装置。
  2.  前記第1外観情報は、動作を示す動作情報又は服装を示す服装情報である
     請求項1に記載の情報処理装置。
  3.  前記第1外観情報は、動作情報であり、
     前記撮影画像データは、複数のフレームを含み、
     前記認証用の顔情報及び前記認証用の第1外観情報は、前記撮影画像データに含まれる同一のフレームに基づいて生成される
     請求項1または2に記載の情報処理装置。
  4.  前記登録手段は、登録対象者が利用する予定のゲートの種別が変更したことに応じて、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
     請求項1から3のいずれか一項に記載の情報処理装置。
  5.  前記登録手段は、登録対象者がゲートを通過したことに応じて、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
     請求項1から4のいずれか一項に記載の情報処理装置。
  6.  前記登録手段は、登録対象者が利用する予定のゲートの利用者予測数が所定数以上変化した場合、その登録対象者の、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
     請求項1から5のいずれか一項に記載の情報処理装置。
  7.  前記登録手段は、個人認証の失敗率が所定閾値以上である登録対象者について、その登録対象者の登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
     請求項1から6のいずれか一項に記載の情報処理装置。
  8.  前記登録手段は、所定期間経過した場合、各登録対象者について、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
     請求項1から7のいずれか一項に記載の情報処理装置。
  9.  前記登録手段は、各登録対象者について、登録対象者の属性情報に基づいて、登録用の第1外観情報を設定する
     請求項1から8のいずれか一項に記載の情報処理装置。
  10.  前記登録手段は、各登録対象者について、他の登録対象者との間の登録用の顔情報の類似度が所定閾値以上である場合、その登録対象者の登録用の第1外観情報を、前記他の登録対象者に対応する登録用の第1外観情報と異なる第1外観情報に設定する
     請求項1から9のいずれか一項に記載の情報処理装置。
  11.  前記登録手段は、
     各登録対象者について、複数の第1外観情報から構成される第1外観情報群を設定し、
     前記第1外観情報群から選択された第1外観情報を、登録用の第1外観情報として、登録用の顔情報に対応付けて登録し、
     前記所定条件を満たした登録対象者について、複数の第1外観情報から構成される第1外観情報群を変更し、
     前記登録用の第1外観情報を、変更した前記第1外観情報群から選択された第1外観情報に更新する
     請求項1から10のいずれか一項に記載の情報処理装置。
  12.  前記登録手段は、
     前記所定条件を満たした登録対象者に対応する前記第1外観情報群を、含まれる第1外観情報の数が、設定されている前記第1外観情報群よりも多い第1外観情報群に変更し、
     前記登録用の第1外観情報を、変更した前記第1外観情報群から選択された第1外観情報に更新する
     請求項11に記載の情報処理装置。
  13.  前記登録手段は、前記第1外観情報群に含まれる第1外観情報の各々を、前記登録対象者の使用する端末に、前記登録対象者が選択可能に表示させる
     請求項11または12に記載の情報処理装置。
  14.  前記登録手段は、各登録対象者について、所定条件を満たす場合、その登録対象者に対して、登録用の顔情報に対応付けて、登録用の第1外観情報とは異なる登録用の第2外観情報を追加登録し、
     前記認証制御手段は、前記第1の判定結果及び前記第2の判定結果に加えて、前記撮影画像データに基づいて生成される認証用の第2外観情報が、前記登録用の第2外観情報に対応するか否かを示す第3の判定結果に基づいて、前記認証対象者の個人認証を行う
     請求項1から13のいずれか一項に記載の情報処理装置。
  15.  前記登録手段は、登録対象者が利用する予定のゲートの利用者予測数が所定数以上である場合、その登録対象者に対して、登録用の顔情報に対応付けて、登録用の第1外観情報とは異なる登録用の第2外観情報を追加登録する
     請求項14に記載の情報処理装置。
  16.  前記登録手段は、個人認証の失敗率が所定閾値以上の登録対象者に対して、登録用の第1外観情報とは異なる登録用の第2外観情報を、登録用の顔情報に対応付けて追加登録する
     請求項14または15に記載の情報処理装置。
  17.  認証対象者を撮影した撮影画像を生成する認証端末と、
     前記認証端末と通信可能に接続される情報処理装置と
     を備え、
     前記情報処理装置は、
     各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録手段と、
     前記認証対象者を撮影した撮影画像データを取得する取得手段と、
     前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御手段と、
     前記個人認証に成功した場合、ゲートの通過を許可するゲート制御手段と
     を有する
     情報処理システム。
  18.  前記第1外観情報は、動作情報であり、
     前記撮影画像データは、複数のフレームを含み、
     前記認証用の顔情報及び前記認証用の第1外観情報は、前記撮影画像データに含まれる同一のフレームに基づいて生成される
     請求項17に記載の情報処理システム。
  19.  各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する段階と、
     認証対象者を撮影した撮影画像データを取得する段階と、
     前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う段階と、
     前記個人認証に成功した場合、ゲートの通過を許可する段階と、
     各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する段階と
     を備える情報処理方法。
  20.  コンピュータに、
     各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する処理と、
     認証対象者を撮影した撮影画像データを取得する処理と、
     前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う処理と、
     前記個人認証に成功した場合、ゲートの通過を許可する処理と、
     各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する処理と
     を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/045845 2021-02-25 2021-12-13 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 WO2022180988A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022530938A JP7124994B1 (ja) 2021-02-25 2021-12-13 方法、プログラム、及び情報処理装置
US18/276,185 US20240104987A1 (en) 2021-02-25 2021-12-13 Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable medium
JP2022126320A JP7211548B2 (ja) 2021-02-25 2022-08-08 プログラム、方法、及び情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021029274 2021-02-25
JP2021-029274 2021-02-25

Publications (1)

Publication Number Publication Date
WO2022180988A1 true WO2022180988A1 (ja) 2022-09-01

Family

ID=83048010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045845 WO2022180988A1 (ja) 2021-02-25 2021-12-13 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
JP (1) JP2023036971A (ja)
WO (1) WO2022180988A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203992A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2019067075A (ja) * 2017-09-29 2019-04-25 株式会社セガゲームス 生体認証装置
WO2020261545A1 (ja) * 2019-06-28 2020-12-30 楽天株式会社 認証システム、認証装置、認証方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203992A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2019067075A (ja) * 2017-09-29 2019-04-25 株式会社セガゲームス 生体認証装置
WO2020261545A1 (ja) * 2019-06-28 2020-12-30 楽天株式会社 認証システム、認証装置、認証方法、及びプログラム

Also Published As

Publication number Publication date
JP2023036971A (ja) 2023-03-14

Similar Documents

Publication Publication Date Title
US20230401916A1 (en) Information processing apparatus, information processing system, and information processing method
JPWO2017146161A1 (ja) 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
JP6865321B1 (ja) 入退場管理装置、入退場管理方法、入退場管理プログラム、および入退場管理システム
TW202040454A (zh) 認證系統、認證終端、使用者終端、認證方法、及程式產品
JP6927099B2 (ja) 自動改札機、改札処理方法、及びプログラム
JP7211548B2 (ja) プログラム、方法、及び情報処理装置
US11468722B2 (en) Information processing apparatus, information processing system, and information processing method
JP2024043539A (ja) チケット発券システム、検札装置、およびプログラム
JP2019159985A (ja) 生体認証システム、生体認証装置、自動改札機、生体認証方法、及びプログラム
JP6933316B1 (ja) 情報処理装置、情報処理システム、情報処理方法、情報端末及びプログラム
US20230259962A1 (en) Information processing device, face authentication promotion system, information processing method, non-transitory computer readable medium storing program
WO2022180988A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP2021051596A (ja) 検出プログラム、装置、及び方法
KR102632212B1 (ko) 얼굴 인식을 이용하여 차량 정보를 관리하는 전자 장치 및 그 동작 방법
CN112385180A (zh) 基于交易时间戳将身份和易于获得的个人标识符信息进行匹配的系统和方法
US20230237862A1 (en) Passage permit device, system, method, and non-transitory computer readable medium storing program
US20140074521A1 (en) Admission system
US20230086771A1 (en) Data management system, data management method, and data management program
JP7014334B1 (ja) 情報処理装置、情報処理システム、情報処理方法、情報端末及びプログラム
JP7485042B2 (ja) 情報処理装置、顔認証促進システム、情報処理方法、プログラム
US20240126850A1 (en) Authentication system, authentication method and program
JP7255712B2 (ja) 情報処理装置、情報処理方法、情報端末及びプログラム
JP7345067B2 (ja) 認証システム、認証方法、及びプログラム
WO2023176167A1 (ja) 登録装置、登録方法及びプログラム
US20240194013A1 (en) System, gate device, control method for gate device, and storage medium

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022530938

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21928081

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18276185

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21928081

Country of ref document: EP

Kind code of ref document: A1