WO2024252460A1 - 情報処理システム、情報処理方法及び記録媒体 - Google Patents

情報処理システム、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2024252460A1
WO2024252460A1 PCT/JP2023/020801 JP2023020801W WO2024252460A1 WO 2024252460 A1 WO2024252460 A1 WO 2024252460A1 JP 2023020801 W JP2023020801 W JP 2023020801W WO 2024252460 A1 WO2024252460 A1 WO 2024252460A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
biometric authentication
tracking
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/020801
Other languages
English (en)
French (fr)
Inventor
彰斗 菅
和史 宮城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/020801 priority Critical patent/WO2024252460A1/ja
Priority to JP2025525436A priority patent/JPWO2024252460A1/ja
Publication of WO2024252460A1 publication Critical patent/WO2024252460A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • This disclosure relates to the technical fields of information processing systems, information processing methods, and recording media.
  • Patent Document 1 As an example of this type of system, a system has been proposed that extracts a facial image from an image captured by a camera and estimates the person corresponding to the extracted facial image based on past information (see Patent Document 1).
  • the objective of this disclosure is to provide an information processing system, an information processing method, and a recording medium that aim to improve upon the technology described in prior art documents.
  • the information processing system includes an image acquisition means for acquiring an image including a biometric authentication area, an estimation means for estimating at least one of a facial orientation and a traveling direction of a first object included in the image based on the image, and a determination means for determining a priority indicating a degree of priority for biometric authentication related to the first object based on at least one of the facial orientation and the traveling direction.
  • the information processing method obtains an image including a biometric authentication area, estimates at least one of the facial orientation and traveling direction of a first object included in the image based on the image, and determines a priority indicating the degree of priority of biometric authentication related to the first object based on at least one of the facial orientation and traveling direction.
  • the recording medium has recorded thereon a computer program for causing a computer to execute an information processing method for acquiring an image including a biometric authentication area, estimating at least one of the facial orientation and traveling direction of a first object contained in the image based on the image, and determining a priority indicating the degree of priority of biometric authentication related to the first object based on at least one of the facial orientation and traveling direction.
  • FIG. 2 is a diagram showing an example of a biometric authentication area and its surrounding area.
  • FIG. 1 illustrates an example of an information processing system. 4 is a flowchart showing an operation of the information processing device.
  • FIG. 13 is a diagram illustrating another example of an information processing system.
  • FIG. 13 is a diagram for explaining a target tracking process.
  • FIG. 13 is a diagram illustrating an example of an ID correspondence table.
  • FIG. 13 is a diagram showing another example of the biometric authentication area and its surrounding area.
  • the biometric authentication area will be described with reference to FIG. 1.
  • the shaded area is a restricted entry area RA where only authorized subjects can enter.
  • the restricted entry area RA may be, for example, at least one of the following: the area inside the ticket gates of a train station, a security zone in an office building, the area inside the entrance gate of a theme park, and an event venue.
  • An "authorized subject” may mean a subject who has been successfully authenticated by biometric authentication. However, an "authorized subject” may also include a person who is not a subject of biometric authentication (e.g., a person other than a user such as an employee or worker).
  • the biometric authentication may include at least one of face authentication and iris authentication.
  • the concept of a "subject” is not limited to humans, but includes animals such as dogs and snakes, and moving objects such as robots.
  • a biometric authentication area BA is set around the entrance to the restricted entry area RA to identify subjects who are allowed to enter the restricted entry area RA using biometric authentication.
  • the biometric authentication area BA is a virtual area. For this reason, it is not necessary to have a mark indicating the biometric authentication area BA, for example, drawn around the entrance to the restricted entry area RA. However, a mark indicating the biometric authentication area BA, for example, may be drawn around the entrance to the restricted entry area RA.
  • the shape, size and setting position of the biometric authentication area BA shown in Figure 1 are merely examples and are not limited to these.
  • the camera CAM is installed so that it can capture an image of the biometric authentication area BA.
  • the camera CAM does not have to be installed so that the entire biometric authentication area BA is included within its angle of view.
  • the camera CAM may be installed so that it can capture an image of at least a part of the biometric authentication area BA.
  • the camera CAM may be installed at a position that does not impede the passage of a subject entering the entrance restriction area RA (for example, a position higher than the head).
  • the camera CAM may be a high-resolution camera such as a 4K resolution camera.
  • another camera that can capture an image of the biometric authentication area BA may be installed.
  • biometric authentication performed using an image including the biometric authentication area BA, generated by the camera CAM capturing an image of the biometric authentication area BA may be walk-through biometric authentication in which a subject (e.g., at least one of subjects P1 and P2) moving within the biometric authentication area BA is biometrically authenticated while moving within the biometric authentication area BA.
  • a subject e.g., at least one of subjects P1 and P2
  • the subject does not need to stop for biometric authentication, allowing for smooth entry of the subject into the restricted entry area RA.
  • the biometric authentication of a subject must be completed before the subject passes through the biometric authentication area BA.
  • the size of the biometric authentication area BA is set, for example, so that the time it takes for a subject to pass through the biometric authentication area BA is sufficiently longer than the processing time required for biometric authentication.
  • biometric authentication when biometric authentication is performed using an image including the biometric authentication area BA, in addition to the object heading toward the restricted entry area RA, an object passing, for example, around the entrance to the restricted entry area RA will also be treated as a subject of biometric authentication (i.e., an authenticated person).
  • biometric authentication being performed on an object that is not originally a subject of biometric authentication, for example, passing around the entrance to the restricted entry area RA, the processing load of the device performing the biometric authentication may increase.
  • the information processing system 1 includes an information processing device 10.
  • the information processing system 1 may further include a camera CAM.
  • the information processing device 10 includes an image acquisition unit 11, an estimation unit 12, and a determination unit 13.
  • the image acquisition unit 11 acquires an image including a biometric authentication area BA, for example, from the camera CAM.
  • the estimation unit 12 estimates at least one of the facial orientation or traveling direction of a target (i.e., a person to be authenticated) included in the image acquired by the image acquisition unit 11.
  • the estimation unit 12 may detect, for example, the direction in which the toes of the target included in the image are pointing, and estimate the traveling direction of the target based on the direction in which the toes are pointing.
  • the estimation unit 12 may estimate the traveling direction of the target included in the image, for example, based on two or more images that are consecutive in time.
  • the estimation unit 12 may estimate the traveling direction of the target included in the image, for example, based on the transition of the distance between the camera CAM and the target.
  • the distance between the camera CAM and the target may be estimated using various sensors, such as a distance sensor.
  • the distance between the camera CAM and the target may be estimated, for example, from the transition of the size of the target's face or body in the image, the transition of the distance between the target's eyes, etc. Note that various existing aspects can be applied to the method of estimating the facial orientation of the target from the image, and detailed explanations thereof will be omitted.
  • the determination unit 13 determines a priority indicating the degree of priority of biometric authentication for a target based on at least one of the facial orientation and traveling direction of the target estimated by the estimation unit 12.
  • the determination unit 13 may, for example, give a higher priority to a target whose face is facing the entrance restriction area RA than to a target whose face is facing in a direction different from the entrance restriction area RA.
  • the determination unit 13 may, for example, give a higher priority to a target the smaller the difference (e.g., angle) between the direction in which the face of a target faces the entrance restriction area RA and the direction in which the face of the target is actually facing.
  • the determination unit 13 may give a higher priority to an object whose direction of travel is a direction approaching the entry restriction area RA than to an object whose direction of travel is a direction different from the direction of approaching the entry restriction area RA.
  • the determination unit 13 may give a higher priority to an object the smaller the difference (e.g., angle) between the direction in which an object moves toward the entry restriction area RA and the actual direction of travel of the object.
  • the image acquisition unit 11 acquires an image including a biometric authentication area BA (step S101).
  • the estimation unit 12 estimates at least one of the facial orientation and traveling direction of the target (i.e., the person to be authenticated) included in the image based on the image acquired in the processing of step S101 (step S102).
  • the determination unit 13 determines a priority indicating the degree of priority of biometric authentication related to the target based on at least one of the facial orientation and traveling direction estimated in the processing of step S102 (step S103).
  • the information processing system 1 performs an information processing method in which an image including a biometric authentication area (e.g., biometric authentication area BA) is acquired, and based on the image, at least one of the facial orientation and traveling direction of a subject included in the image is estimated, and a priority indicating the degree of priority of biometric authentication related to the subject is determined based on at least one of the facial orientation and traveling direction.
  • a biometric authentication area e.g., biometric authentication area BA
  • the information processing device 10 of the information processing system 1 may be realized by a computer reading a computer program recorded on a recording medium.
  • the recording medium has recorded thereon a computer program for causing a computer to execute an information processing method for acquiring an image including a biometric authentication area (e.g., biometric authentication area BA), estimating at least one of the facial orientation and moving direction of a subject included in the image based on the image, and determining a priority indicating the degree of priority of biometric authentication related to the subject based on at least one of the facial orientation and moving direction.
  • a biometric authentication area e.g., biometric authentication area BA
  • the device performing biometric authentication may determine (or select) the subject (i.e., the person to be authenticated) for biometric authentication based on the priority determined by the determination unit 13.
  • the device performing biometric authentication may perform biometric authentication of the subject P1 before biometric authentication of the subject P2.
  • the device performing biometric authentication may not perform biometric authentication for a subject whose priority is lower than a predetermined value.
  • the device performing biometric authentication may perform biometric authentication only for the subject P1 and not for the subject P2. In this way, the priority is determined by the determination unit 13, so that an increase in the processing load of the device performing biometric authentication can be suppressed.
  • the device performing biometric authentication may be a device different from the information processing device 10, or may be the information processing device 10.
  • Second Embodiment A second embodiment of an information processing system, an information processing method, and a recording medium will be described with reference to FIG. 1 as well as FIG. 4 to FIG. 6.
  • the second embodiment is different from the first embodiment in that the information processing system 1 includes an information processing device 20 instead of or in addition to the information processing device 10.
  • Other aspects of the second embodiment may be the same as those of the first embodiment.
  • descriptions that overlap with the descriptions of the first embodiment will be omitted as appropriate.
  • face authentication is given as an example of biometric authentication.
  • iris authentication may be performed, for example, instead of face authentication.
  • face authentication and iris authentication may be performed (i.e., multimodal biometric authentication may be performed).
  • the information processing device 20 includes a calculation device 21, a storage device 22, and a communication device 23.
  • the information processing device 20 may further include an input device 24 and an output device 25.
  • the information processing device 20 may include a face information database 26 (hereinafter, appropriately referred to as "face information DB 26"). It is to be noted that the information processing device 20 does not need to include at least one of the input device 24 and the output device 25.
  • face information DB 26 face information database 26
  • the calculation device 21, the storage device 22, the communication device 23, the input device 24, the output device 25, and the face information DB 26 may be connected via a data bus 27.
  • Facial information DB26 stores information about subjects who wish to use information processing system 1 (e.g., subjects who wish to enter entrance restricted area RA). Subjects whose information is registered in facial information DB26 are referred to as "registrants" as appropriate. In facial information DB26, authentication IDs are registered as identification information for identifying each of the multiple registrants. Information about each of the multiple registrants is linked to the authentication ID and registered in facial information DB26.
  • the facial information may be, for example, a feature amount indicating the facial characteristics of a registrant, or information for identifying the feature amount (for example, a file name).
  • the facial information may be, for example, a facial image including the face of a registrant, or information for identifying the facial image (for example, a file name).
  • the computing device 21 may include, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), a TPU (Tensor Processing Unit), and a quantum processor.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field Programmable Gate Array
  • TPU Torsor Processing Unit
  • quantum processor a quantum processor
  • the storage device 22 may include, for example, at least one of a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk device, an optical magnetic disk device, an SSD (Solid State Drive), and an optical disk array.
  • the storage device 22 may include a non-transient recording medium.
  • the storage device 22 is capable of storing desired data.
  • the storage device 22 may temporarily store a computer program executed by the arithmetic device 21.
  • the storage device 22 may temporarily store data that is temporarily used by the arithmetic device 21 when the arithmetic device 21 is executing a computer program.
  • the communication device 23 may be capable of communicating with devices external to the information processing device 20. Note that the communication device 23 may perform wired communication or wireless communication.
  • the input device 24 is a device capable of accepting information input to the information processing device 20 from the outside.
  • the input device 24 may include an operating device (e.g., a keyboard, a mouse, a touch panel, etc.) that can be operated by an operator of the information processing device 20.
  • the input device 24 may include a recording medium reading device that can read information recorded on a recording medium that is detachable from the information processing device 20, such as a USB (Universal Serial Bus) memory.
  • the communication device 23 may function as an input device.
  • the output device 25 is a device capable of outputting information to the outside of the information processing device 20.
  • the output device 25 may output visual information such as characters and images, auditory information such as voice, or tactile information such as vibration, as the above information.
  • the output device 25 may include at least one of a display, a speaker, a printer, and a vibration motor, for example.
  • the output device 25 may be capable of outputting information to a recording medium that is detachable from the information processing device 20, such as a USB memory. Note that when the information processing device 20 outputs information via the communication device 23, the communication device 23 may function as an output device.
  • the computing device 21 may have an image acquisition unit 211, a tracking unit 212, an estimation unit 213, a determination unit 214, a face authentication unit 215, and a warning unit 216 as functional blocks realized logically or as processing circuits realized physically.
  • At least one of the image acquisition unit 211, the tracking unit 212, the estimation unit 213, the determination unit 214, the face authentication unit 215, and the warning unit 216 may be realized in a form that mixes logical functional blocks and physical processing circuits (i.e., hardware).
  • the image acquisition unit 211, the tracking unit 212, the estimation unit 213, the determination unit 214, the face authentication unit 215, and the warning unit 216 are functional blocks
  • at least some of the image acquisition unit 211, the tracking unit 212, the estimation unit 213, the determination unit 214, the face authentication unit 215, and the warning unit 216 may be realized by the calculation device 21 executing a predetermined computer program.
  • the arithmetic device 21 may obtain (in other words, read) the above-mentioned specific computer program from the storage device 22.
  • the arithmetic device 21 may read the above-mentioned specific computer program stored in a computer-readable and non-transient recording medium using a recording medium reading device (not shown) provided in the information processing device 20.
  • the arithmetic device 21 may obtain (in other words, download or read) the above-mentioned specific computer program from a device (not shown) external to the information processing device 20 via the communication device 23.
  • the recording medium for recording the above-mentioned specific computer program executed by the arithmetic device 21 may be at least one of an optical disk, a magnetic medium, a magneto-optical disk, a semiconductor memory, and any other medium capable of storing a program.
  • the "image acquisition unit 211", "estimation unit 213" and “determination unit 214" are components corresponding to the “image acquisition unit 11", “estimation unit 12" and “determination unit 13" in the first embodiment described above, respectively.
  • the information processing device 20 performs face authentication of the target based on an image captured by the camera CAM (i.e., an image including the biometric authentication area BA).
  • the information processing device 20 may perform face authentication of the target while the target is passing through the biometric authentication area BA.
  • the information processing device 20 may be a device capable of performing walk-through face authentication.
  • the image acquisition unit 211 acquires an image including the biometric authentication area BA captured by the camera CAM.
  • the tracking unit 212 uses the image acquired by the image acquisition unit 211 to perform tracking processing of one or more targets (i.e., persons to be authenticated) passing through the biometric authentication area BA.
  • targets i.e., persons to be authenticated
  • FIG. 5 a case where the tracking unit 212 performs tracking processing of target P1 passing through the biometric authentication area BA will be described with reference to FIG. 5.
  • Images IMG1, IMG2, and IMG3 shown in FIG. 5 are images including target P1 corresponding to the person to be authenticated (in other words, images in which target P1 appears).
  • Image IMG1 is an image generated by camera CAM capturing an image of biometric authentication area BA at time t1.
  • Image IMG2 is an image generated by camera CAM capturing an image of biometric authentication area BA at time t2, which is later than time t1.
  • Image IMG3 is an image generated by camera CAM capturing an image of biometric authentication area BA at time t3, which is later than time t2.
  • Each of images IMG1, IMG2, and IMG3 may be an image corresponding to one frame of a video.
  • image IMG2 does not have to be an image corresponding to the frame immediately following the frame corresponding to image IMG1.
  • image IMG2 may be an image corresponding to a frame that is two or more frames later than the frame corresponding to image IMG1.
  • image IMG3 does not have to be an image corresponding to the frame immediately following the frame corresponding to image IMG2.
  • image IMG3 may be an image corresponding to a frame that is two or more frames later than the frame corresponding to image IMG2.
  • the tracking unit 212 detects the head of the target P1 contained in the image IMG1 from the image IMG1. Note that since the method of detecting a person's head from an image is an application of existing technology, a detailed explanation is omitted.
  • the tracking unit 212 sets an area including the head of the target P1 as the tracking area TA1 based on the detected head of the target P1. Note that the tracking unit 212 may detect the upper body or the entire body of the target P1 contained in the image IMG1.
  • the tracking unit 212 may set an area including the upper body or the entire body of the target P1 as the target tracking area TA1 based on the detected upper body or the entire body of the target P1.
  • the tracking unit 212 sets the tracking area TA1, it sets a tracking ID, which is identification information for identifying the target P1 related to the tracking area TA1, to the target P1.
  • the tracking unit 212 calculates the position of the target P1 (for example, the position of the feet of the target P1) based on the tracking area TA1. Note that since existing technology can be applied to the method of calculating the position of the subject contained in the image from the image, a detailed explanation is omitted.
  • the tracking unit 212 links the tracking ID and the position of the target P1 to each other and registers them in the ID correspondence table 221 stored in the storage device 22.
  • the ID correspondence table 221 will be described with reference to FIG. 6.
  • the tracking ID, tracking position e.g., the position of the feet of the target P1
  • authentication ID e.g., the authentication ID
  • authentication time e.g., the time of the target P1
  • priority may be linked to each other.
  • the "position of the target P1" described above is an example of a tracking position.
  • the tracking unit 212 determines whether or not the face of the target P1 is reflected in the tracking area TA1. In other words, the tracking unit 212 performs face detection on the tracking area TA1. When it is determined that the face of the target P1 is reflected in the tracking area TA1, the tracking unit 212 generates a face image including the face area of the target P1. The tracking unit 212 links the generated face image with the tracking ID related to the target P1 and transmits it to the face authentication unit 215. Note that when it is determined that the face of the target P1 is not reflected in the tracking area TA1, the tracking unit 212 does not need to generate a face image.
  • the tracking unit 212 may use images IMG2 and IMG1 to identify target P1 contained in image IMG2. Identifying target P1 contained in image IMG2 is synonymous with associating target P1 contained in image IMG1 with target P1 contained in image IMG2. For this reason, at least one of a matching method and an optical flow method relating to association between images can be applied to identify target P1 contained in image IMG2. Note that since various existing aspects can be applied to each of the matching method and optical flow method, detailed explanations thereof will be omitted.
  • the tracking unit 212 detects the head of target P1. Based on the detected head of target P1, the tracking unit 212 sets an area including the head of target P1 as tracking area TA2. Since target P1 included in image IMG1 and target P1 included in image IMG2 are the same target, the tracking ID of target P1 related to tracking area TA2 is the same as the tracking ID of target P1 related to tracking area TA1. The tracking unit 212 calculates the position of target P1 based on tracking area TA2. Note that the tracking unit 212 may detect the upper body or the entire body of target P1 included in image IMG2. Based on the detected upper body or entire body of target P1, the tracking unit 212 may set an area including the upper body or entire body of target P1 as target tracking area TA2.
  • the tracking unit 212 links the position of the target P1 to the tracking ID related to the target P1 and registers it in the ID correspondence table 221. In this case, since the position of the target P1 calculated based on the tracking area TA1 is registered in the ID correspondence table 221, the tracking unit 212 registers the position of the target P1 calculated based on the tracking area TA2 in the ID correspondence table 221, thereby updating the position of the target P1.
  • the tracking unit 212 judges whether or not the face of the target P1 is reflected in the tracking area TA2. In other words, the tracking unit 212 performs face detection on the tracking area TA2. When it is judged that the face of the target P1 is reflected in the tracking area TA2, the tracking unit 212 generates a face image including the face area of the target P1. The tracking unit 212 links the generated face image with the tracking ID related to the target P1 and transmits it to the face authentication unit 215. Note that, when it is judged that the face of the target P1 is not reflected in the tracking area TA2, the tracking unit 212 does not need to generate a face image.
  • the tracking unit 212 does not need to generate a face image.
  • the tracking unit 212 may use the image IMG3 and the image IMG2 to identify the target P1 included in the image IMG3.
  • the tracking unit 212 detects the head of the target P1.
  • the tracking unit 212 sets an area including the head of the target P1 as a tracking area TA3 based on the detected head of the target P1. Since the target P1 included in the image IMG2 and the target P1 included in the image IMG3 are the same target, the tracking ID of the target P1 related to the tracking area TA3 is the same as the tracking ID of the target P1 related to the tracking area TA2.
  • the tracking unit 212 calculates the position of the target P1 based on the tracking area TA3.
  • the tracking unit 212 may detect the upper body or the entire body of the target P1 included in the image IMG3. The tracking unit 212 may set an area including the upper body or the entire body of the target P1 as the target tracking area TA3 based on the detected upper body or the entire body of the target P1.
  • the tracking unit 212 links the position of the target P1 to the tracking ID related to the target P1 and registers it in the ID correspondence table 221. In this case, since the position of the target P1 calculated based on the tracking area TA2 is registered in the ID correspondence table 221, the tracking unit 212 registers the position of the target P1 calculated based on the tracking area TA3 in the ID correspondence table 221, thereby updating the position of the target P1.
  • the tracking unit 212 judges whether or not the face of the target P1 is reflected in the tracking area TA3. In other words, the tracking unit 212 performs face detection on the tracking area TA3. When it is judged that the face of the target P1 is reflected in the tracking area TA3, the tracking unit 212 generates a face image including the face area of the target P1. The tracking unit 212 links the generated face image with the tracking ID related to the target P1 and transmits it to the face authentication unit 215. Note that, when it is judged that the face of the target P1 is not reflected in the tracking area TA3, the tracking unit 212 does not need to generate a face image.
  • the tracking unit 212 does not need to generate a face image.
  • the tracking unit 212 may perform the following process. After tracking of the target P1 is interrupted, the tracking unit 212 may determine whether a new target has been detected from an image acquired by the image acquisition unit 211 (for example, an image captured by the camera CAM). A "new target” refers to a target for which a tracking ID has not been set.
  • the tracking unit 212 may determine whether or not target P1 and the new target are the same target by comparing the features of the tracking area (e.g., at least one of tracking areas TA1, TA2, and TA3) related to target P1 with the features of the tracking area related to the new target. If it is determined that target P1 and the new target are the same target, the tracking unit 212 may set the tracking ID related to target P1 to the new target. As a result, the tracking unit 212 can track target P1 again.
  • the features of the tracking area e.g., at least one of tracking areas TA1, TA2, and TA3
  • the feature amount may be a feature amount relating to the target's head, a feature amount relating to the target's upper body, or a feature amount relating to the target's entire body.
  • the tracking area e.g., at least one of tracking areas TA1, TA2, and TA3
  • the feature amount may be obtained, for example, by Person Re-Identification technology.
  • the tracking unit 212 may repeat the above-mentioned process until the target P1 passes through the biometric authentication area BA.
  • the tracking unit 212 may perform the above-mentioned process for all targets that pass through the biometric authentication area BA.
  • the estimation unit 213 uses the image acquired by the image acquisition unit 211 to estimate at least one of the facial orientation and the traveling direction of one or more targets (i.e., the person to be authenticated) passing through the biometric authentication area BA. For example, the estimation unit 213 may estimate the traveling direction of each target based on the tracking position registered in the ID correspondence table 221. For example, the estimation unit 213 may detect the direction in which the toes of the target included in the image acquired by the image acquisition unit 211 are pointing, and estimate the traveling direction of the target based on the direction in which the toes are pointing. For example, the estimation unit 213 may estimate the traveling direction of the target included in the image based on two or more images acquired by the image acquisition unit 211 that are consecutive in time.
  • the estimation unit 213 may estimate the traveling direction of the target included in the image based on, for example, the change in the distance between the camera CAM and the target. Note that various existing aspects can be applied to the method of estimating the facial orientation of the target from the image, so detailed explanations thereof will be omitted.
  • the determination unit 214 determines a priority indicating the degree of priority of face recognition for a target based on at least one of the facial orientation and traveling direction of the target estimated by the estimation unit 213.
  • the determination unit 214 registers the determined priority in the ID correspondence table 221.
  • the estimation unit 213 may estimate at least one of the facial orientation and traveling direction of the target detected by the tracking unit 212 (in other words, the target for which a tracking area is set).
  • the determination unit 214 may determine a priority for the target detected by the tracking unit 212 (in other words, the target for which a tracking area is set) based on the estimation result of the estimation unit 213. With this configuration, the priority can be linked to the tracking ID and registered in the ID correspondence table 221.
  • the determination unit 214 may, for example, give a higher priority to an object whose face is facing the entrance restriction area RA than to an object whose face is facing in a direction different from the entrance restriction area RA.
  • the determination unit 214 may, for example, give a higher priority to an object the smaller the difference (e.g., angle) between the direction in which the face of an object faces the entrance restriction area RA and the direction in which the face of the object is actually facing.
  • the determination unit 214 may set a higher priority for an object whose direction of travel is a direction approaching the entry restricted area RA than a priority for an object whose direction of travel is a direction different from the direction of approaching the entry restricted area RA. For example, the determination unit 214 may set a higher priority for an object as the difference (e.g., angle) between the direction in which an object moves toward the entry restricted area RA and the actual direction of travel of the object becomes smaller.
  • the facial authentication unit 215 uses the image acquired by the image acquisition unit 211 to perform facial authentication processing of one or more targets passing through the biometric authentication area BA. Specifically, the facial authentication unit 215 performs facial authentication processing using the facial image transmitted from the tracking unit 212. For example, the facial authentication unit 215 may calculate facial feature amounts indicating features related to the face of the target P1 from the facial image. The facial authentication unit 215 may calculate a matching score from the calculated facial feature amounts and facial feature amounts based on the facial information of a registrant registered in the face information DB26.
  • the face authentication unit 215 determines that face authentication has been successful. In this case, one registrant who corresponds to the target (e.g., target P1) indicated by the face image sent from the tracking unit 212 is identified from among the multiple registrants registered in the face information DB 26. On the other hand, if the calculated matching score is less than the predetermined threshold, the face authentication unit 215 determines that face authentication has failed. In this case, it is highly likely that the person who corresponds to the target (e.g., target P1) indicated by the face image sent from the tracking unit 212 is not registered in the face information DB 26. Note that if the calculated matching score and the predetermined threshold are "equal,” either case can be included.
  • the face authentication unit 215 links the authentication ID indicating the registrant registered in the face information DB 26 corresponding to the target (e.g., target P1) indicated by the face image transmitted from the tracking unit 212 to the tracking ID linked to the face image, and registers it in the ID correspondence table 221.
  • the face authentication unit 215 may register the authentication time, which is the time when the face authentication process was performed, in the ID correspondence table 221. Note that if the authentication time has already been registered in the ID correspondence table 221 (i.e., if face authentication has been successful in the past), the face authentication unit 215 may update the authentication time registered in the ID correspondence table 221.
  • the face authentication unit 215 may register information indicating that there is no corresponding person (e.g., "N/A (Not Applicable)" in the ID correspondence table 221 by linking it to the tracking ID linked to the face image transmitted from the tracking unit 212.
  • N/A Not Applicable
  • the ID correspondence table 221 when a tracking ID is linked to a specific authentication ID, it indicates that a registrant corresponding to the target for which the tracking ID is set is registered in the face information DB 26.
  • a tracking ID is linked to the character string "N/A"
  • it indicates that a person corresponding to the target for which the tracking ID is set is not registered in the face information DB 26.
  • a tracking ID is not linked to an authentication ID (i.e., when the authentication ID field is blank), it indicates that face recognition processing has never been performed.
  • the face authentication unit 215 may determine (or select) the target for face authentication based on the priority registered in the ID correspondence table 221. For example, if the priority associated with the first tracking ID is higher than the priority associated with the second tracking ID, the face authentication unit 215 may perform face authentication using the face image associated with the first tracking ID (i.e., the face image sent from the tracking unit 212 to the face authentication unit 215) before face authentication using the face image associated with the second tracking ID. In other words, the face authentication unit 215 may determine the order in which to perform face authentication based on the priority. For example, if the priority is lower than a predetermined value, the face authentication unit 215 may not need to perform face authentication on the target related to the tracking ID associated with that priority.
  • the warning unit 216 based on the ID correspondence table 221, identifies at least one of the following targets: targets for which face authentication has failed (e.g., targets associated with a tracking ID linked to the character string "N/A") and targets for which face authentication has not been performed (i.e., targets associated with a tracking ID for which the authentication ID column in the ID correspondence table 221 is blank).
  • targets for which face authentication has failed e.g., targets associated with a tracking ID linked to the character string "N/A”
  • targets for which face authentication has not been performed i.e., targets associated with a tracking ID for which the authentication ID column in the ID correspondence table 221 is blank.
  • a target associated with a tracking ID linked to a character string "N/A” may be referred to as an "unregistered person” since no corresponding target is registered in face information DB 26.
  • a target for which face authentication has not been performed may be referred to as an "unauthenticated person.”
  • the warning unit 216 may generate warning information indicating at least one of an unregistered person and an unauthenticated person.
  • the warning unit 216 may transmit the generated warning information to the output device 25.
  • the output device 25 may notify, for example, a security guard, a station attendant, etc., of the presence of at least one of an unregistered person and an unauthenticated person.
  • the face authentication unit 215 determines the order of face authentication based on the priority, so that face authentication of an object for which face authentication is highly necessary (e.g., an object moving toward the entrance restriction area RA) can be prioritized over face authentication of an object for which face authentication is less necessary (e.g., an object moving in a direction different from the entrance restriction area RA).
  • FIG. 7 A third embodiment of an information processing system, an information processing method, and a recording medium will be described with reference to FIG. 7 in addition to FIG. 4 to FIG. 6.
  • the third embodiment differs from the first and second embodiments in that the information processing system 1 includes a light irradiation device L (see FIG. 7).
  • Other aspects of the third embodiment may be similar to the first and second embodiments. Note that, for the third embodiment, descriptions that overlap with the descriptions of the first and second embodiments will be omitted as appropriate.
  • the warning unit 216 of the information processing device 20 may identify at least one of an unregistered person and an unauthenticated person based on the ID correspondence table 221.
  • the warning unit 216 may generate warning information related to a warning to at least one of an unregistered person and an unauthenticated person.
  • the warning unit 216 may transmit the generated warning information to the output device 25.
  • the output device 25 may issue a warning to at least one of an unregistered person and an unauthenticated person.
  • the warning unit 216 may generate warning information for, for example, staff or security guards, in addition to at least one of an unregistered person and an unauthenticated person.
  • the output device 25 may issue a warning to, for example, staff or security guards, in addition to at least one of an unregistered person and an unauthenticated person.
  • the warning unit 216 may identify the position of at least one of the unregistered person and the unauthenticated person based on a tracking position linked to a tracking ID related to at least one of the unregistered person and the unauthenticated person in the ID correspondence table 221.
  • the warning unit 216 may generate warning information for displaying at least one of text and an image indicating a warning near the identified position (for example, at the feet of at least one of the unauthenticated person and the unregistered person).
  • the warning unit 216 may transmit the generated warning information to the light irradiation device L.
  • the light irradiation device L may display (or project) at least one of text and an image indicating a warning at the feet of at least one of the unauthenticated person and the unregistered person.
  • the person to whom the warning is to be issued is an unregistered person, then at least one of text and an image indicating a message such as "Please register your face” may be displayed (or projected) as the warning. If the person to whom the warning is to be issued is an unauthenticated person, then at least one of text and an image indicating a message such as "Please look at the camera” may be displayed (or projected) as the warning.
  • the light irradiation device L may be installed near the lens of the camera CAM.
  • the warning unit 216 may identify the position of at least one of the unregistered person and the unauthenticated person based on the tracking position linked to the tracking ID related to at least one of the unregistered person and the unauthenticated person in the ID correspondence table 221.
  • the warning unit 216 may control the light irradiation device L to irradiate light toward the identified position (for example, toward the face of at least one of the unregistered person and the unauthenticated person). In this case, it can be expected that at least one of the unregistered person and the unauthenticated person will turn their face toward the light source (i.e., the light irradiation device L) due to the irradiation of light.
  • the warning unit 216 issues a warning to at least one of an unregistered person and an unauthenticated person.
  • a warning is issued to an unregistered person, it is possible to recognize that the unregistered person cannot enter the admission restricted area RA. As a result, it is possible to prevent the unregistered person from entering the admission restricted area RA. Alternatively, it is expected that the unregistered person will take the necessary procedures to enter the admission restricted area RA.
  • a warning is issued to an unauthenticated person, it is expected that the unauthenticated person will turn their face towards the camera CAM. As a result, it is expected that facial authentication will be performed on the unauthenticated person.
  • warning text and images is displayed, for example, at the feet of at least one of the unregistered and unauthenticated persons, it is possible to make, for example, security guards, station staff, etc. aware of the presence of at least one of the unregistered and unauthenticated persons.
  • light is shone on the face of at least one of the unregistered and unauthenticated persons, it is possible to make, for example, security guards, station staff, etc. aware of the presence of at least one of the unregistered and unauthenticated persons.
  • the warning unit 216 may issue a warning only to at least one of the unregistered and unauthenticated individuals associated with a tracking ID that is linked to a priority higher than a predetermined value. In other words, the warning unit 216 may not issue a warning to at least one of the unregistered and unauthenticated individuals associated with a tracking ID that is linked to a priority lower than a predetermined value.
  • the fourth embodiment differs from the first to third embodiments in that the information processing system 1 has information relating to suspicious targets (so-called blacklist). Other aspects of the fourth embodiment may be similar to the first to third embodiments. Note that, for the fourth embodiment, explanations that overlap with the explanations of the first to third embodiments will be omitted as appropriate.
  • information related to the suspicious object may be included in the face information DB 26.
  • a flag indicating that the suspicious object is a suspicious object may be linked to the authentication ID related to the suspicious object.
  • information related to the suspicious object may be registered in a database different from the face information DB 26. In the following description, it is assumed that information related to the suspicious object is included in the face information DB 26.
  • the warning unit 216 of the information processing device 20 may acquire an authentication ID for a registered user corresponding to a target identified by the face authentication unit 215 based on the ID correspondence table 221.
  • the warning unit 216 may refer to the face information DB 26 to determine whether or not a flag indicating that the acquired authentication ID is a target requiring caution is linked to the acquired authentication ID.
  • the warning unit 216 may determine that the subject (i.e., the subject corresponding to the registrant related to the authentication ID) is a suspicious subject. In this case, the warning unit 216 may obtain the position of the suspicious subject (e.g., the "tracking position" registered in the ID correspondence table 221) from the ID correspondence table 221 based on the authentication ID or tracking ID related to the suspicious subject.
  • the subject i.e., the subject corresponding to the registrant related to the authentication ID
  • the warning unit 216 may obtain the position of the suspicious subject (e.g., the "tracking position" registered in the ID correspondence table 221) from the ID correspondence table 221 based on the authentication ID or tracking ID related to the suspicious subject.
  • the warning unit 216 may control the light irradiation device L to irradiate light toward the position of the target requiring attention or near the position (e.g., toward the face of the target).
  • the light irradiation device L may irradiate light of a warning color, such as red or yellow.
  • the warning unit 216 may further generate warning information indicating the target requiring attention.
  • the warning unit 216 may transmit the generated warning information to the output device 25.
  • the output device 25 may notify, for example, a security guard, station staff, etc., of the presence of the target requiring attention.
  • the output device 25 may further emit a warning sound.
  • the warning unit 216 does not need to control the light irradiation device L or generate warning information.
  • An image acquisition means for acquiring an image including a biometric authentication area; an estimation means for estimating at least one of a facial orientation and a traveling direction of a first object included in the image based on the image; a determination means for determining a priority level indicating a degree of priority of biometric authentication related to the first object based on at least one of the face direction and the traveling direction;
  • An information processing system comprising:
  • (Appendix 2) a biometric authentication unit that performs biometric authentication of the first target based on the image;
  • a tracking means for tracking at least the first object The information processing system according to claim 1 or 2, wherein the estimation means estimates a traveling direction of the first object based on a tracking result of the first object by the tracking means.
  • Appendix 4 The information processing system according to any one of appendices 1 to 3, further comprising a warning means for identifying at least one of a plurality of targets including the first target, which targets have not been biometrically authenticated, and which targets have no corresponding registered person, and for issuing a warning to the identified at least one of the targets.
  • (Appendix 7) Acquire an image including a biometric authentication region; estimating at least one of a facial orientation and a traveling direction of a first object included in the image based on the image; determining a priority indicating a degree of priority of biometric authentication related to the first target based on at least one of the face direction and the traveling direction.
  • Appendix 8 On the computer, Acquire an image including a biometric authentication region; estimating at least one of a facial orientation and a traveling direction of a first object included in the image based on the image; A recording medium having a computer program recorded thereon for executing an information processing method for determining a priority level indicating a degree of priority of biometric authentication related to the first target based on at least one of the facial orientation and the traveling direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理システムは、生体認証領域を含む画像を取得する画像取得手段と、画像に基づいて、画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定する推定手段と、顔向き及び進行方向の少なくとも一方に基づいて、第1対象に係る生体認証の優先の程度を示す優先度を決定する決定手段と、を備える。

Description

情報処理システム、情報処理方法及び記録媒体
 この開示は、情報処理システム、情報処理方法及び記録媒体の技術分野に関する。
 この種のシステムとして、例えば、カメラにより撮像された画像から顔画像を抽出し、過去情報に基づいて、抽出された顔画像に対応する人物を推定するシステムが提案されている(特許文献1参照)。その他、この開示に関連する先行技術文献として、特許文献2乃至4が挙げられる。
特開2006-221355号公報 特開2008-198159号公報 特開2015-114917号公報 特開2018-055250号公報
 この開示は、先行技術文献に記載された技術の改良を目的とする情報処理システム、情報処理方法及び記録媒体を提供することを課題とする。
 情報処理システムは、生体認証領域を含む画像を取得する画像取得手段と、前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定する推定手段と、前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する決定手段と、を備える。
 情報処理方法は、生体認証領域を含む画像を取得し、前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定し、前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する。
 記録媒体は、コンピュータに、生体認証領域を含む画像を取得し、前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定し、前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する情報処理方法を実行させるためのコンピュータプログラムが記録されている。
生体認証領域とその周辺の領域の一例を示す図である。 情報処理システムの一例を示す図である。 情報処理装置の動作を示すフローチャートである。 情報処理システムの他の例を示す図である。 対象の追跡処理を説明するための図である。 ID対応テーブルの一例を示す図である。 生体認証領域とその周辺の領域の他の例を示す図である。
 <第1実施形態>
 情報処理システム、情報処理方法及び記録媒体に係る第1実施形態について図1乃至図3を参照して説明する。以下では、情報処理システム1を用いて、情報処理システム、情報処理方法及び記録媒体に係る第1実施形態を説明する。
 図1を参照して生体認証領域について説明する。図1において、網掛けが施されている領域は、許可された対象だけが入場可能な入場制限領域RAである。入場制限領域RAは、例えば、鉄道駅の改札内領域、オフィスビルのセキュリティゾーン、テーマパークの入場ゲート内領域及びイベント会場の少なくとも一つであってよい。尚、「許可された対象」は、生体認証に成功した対象を意味してよい。ただし、「許可された対象」には、生体認証の対象ではない者(例えば職員や作業員等の利用者とは異なる者)が含まれていてもよい。尚、生体認証には、顔認証及び虹彩認証の少なくとも一方が含まれていてよい。尚、「対象」は、人間に限らず、犬や蛇等の動物、ロボット等の移動物体を含む概念である。
 入場制限領域RAの入口の周囲には、入場制限領域RAに入場可能な対象を、生体認証を用いて識別するための生体認証領域BAが設定されている。尚、生体認証領域BAは、仮想的な領域である。このため、入場制限領域RAの入口の周囲には、例えば、生体認証領域BAを示すマーク等が描かれていなくてよい。ただし、入場制限領域RAの入口の周囲には、例えば、生体認証領域BAを示すマーク等が描かれていてもよい。尚、図1に示す生体認証領域BAの形状、大きさ及び設定位置は一例であり、これに限定されるものではない。
 カメラCAMは、生体認証領域BAを撮像可能に設置されている。尚、カメラCAMは、その画角内に生体認証領域BAの全てが含まれるように設置されていなくてもよい。言い換えれば、カメラCAMは、生体認証領域BAの少なくとも一部を撮像可能に設置されていてよい。カメラCAMは、入場制限領域RAに入場する対象の通過に支障のない位置(例えば、頭部よりも高い位置)に設置されていてよい。尚、カメラCAMは、4K解像度のカメラ等の高解像度のカメラであってよい。尚、カメラCAMに加えて、生体認証領域BAを撮像可能な他のカメラが設置されていてもよい。
 例えばカメラCAMが生体認証領域BAを撮像することにより生成された、生体認証領域BAを含む画像を用いて行われる生体認証は、生体認証領域BA内を移動する対象(例えば、対象P1及びP2の少なくとも一方)が、生体認証領域BA内を移動している間に生体認証が行われるウォークスルー生体認証であってよい。ウォークスルー生体認証では、生体認証のために対象(例えば、対象P1及びP2の少なくとも一方)が立ち止まる必要がないので、対象の入場制限領域RAへのスムーズな入場が可能である。
 その一方で、ウォークスルー生体認証では、対象が生体認証領域BAを通過する前に、該対象の生体認証を完了させる必要がある。このため、生体認証領域BAの大きさは、例えば、対象が生体認証領域BAを通過するために要する時間が、生体認証に要する処理時間よりも十分に長くなるように設定される。すると、入場制限領域RAに入場しようとする対象だけでなく、例えば入場制限領域RAの入口の周囲を通過する対象も、生体認証領域BA内を移動する可能性がある。
 この場合、上述したように、生体認証領域BAを含む画像を用いて生体認証が行われると、入場制限領域RAに向かう対象に加えて、例えば入場制限領域RAの入口の周囲を通過する対象も、生体認証の対象(即ち、被認証者)として扱われることになる。本来生体認証の対象ではない、例えば入場制限領域RAの入口の周囲を通過する対象について生体認証が行われる結果、生体認証を行う装置の処理負荷が増加する可能性がある。
 情報処理システム1は、情報処理装置10を備える。情報処理システム1は更に、カメラCAMを備えていてよい。図2において、情報処理装置10は、画像取得部11、推定部12及び決定部13を備える。
 画像取得部11は、例えばカメラCAMから、生体認証領域BAを含む画像を取得する。推定部12は、画像取得部11により取得された画像に含まれる対象(即ち、被認証者)の顔向き又は進行方向の少なくとも一方を推定する。推定部12は、例えば画像に含まれる対象の爪先が向いている方向を検出して、該爪先が向いている方向に基づいて該対象の進行方向を推定してもよい。推定部12は、例えば時間的に連続する2以上の画像に基づいて、画像に含まれる対象の進行方向を推定してもよい。推定部12は、例えばカメラCAMと対象との間の距離の推移に基づいて、画像に含まれれる対象の進行方向を推定してもよい。尚、カメラCAMと対象との間の距離は、例えば距離センサ等の各種センサを用いて推定されてよい。カメラCAMと対象との間の距離は、例えば、画像における対象の顔や体の大きさの推移や、対象の目間距離の推移等から推定されてもよい。尚、画像から対象の顔向きを推定する方法には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。
 決定部13は、推定部12により推定された対象の顔向き及び進行方向の少なくとも一方に基づいて、該対象に係る生体認証の優先の程度を示す優先度を決定する。決定部13は、例えば、顔が入場制限領域RAに向いている対象に係る優先度を、顔が入場制限領域RAとは異なる方向に向いている対象に係る優先度よりも高くしてよい。決定部13は、例えば、一の対象の顔が入場制限領域RAを向く場合の方向と、一の対象の顔が実際に向いている方向との差分(例えば、角度)が小さくなるほど、一の対象に係る優先度を高くしてよい。
 決定部13は、進行方向が入場制限領域RAに近づく方向である対象に係る優先度を、進行方向が入場制限領域RAに近づく方向とは異なる方向である対象に係る優先度よりも高くしてよい。決定部13は、例えば、一の対象が入場制限領域RAに向かう場合の方向と、一の対象の実際の進行方向との差分(例えば、角度)が小さくなるほど、一の対象に係る優先度を高くしてよい。
 情報処理装置10の動作について図3のフローチャートを参照して説明を加える。図3において、画像取得部11は、生体認証領域BAを含む画像を取得する(ステップS101)。推定部12は、ステップS101の処理において取得された画像に基づいて、画像に含まれる対象(即ち、被認証者)の顔向き及び進行方向の少なくとも一方を推定する(ステップS102)。決定部13は、ステップS102の処理において推定された顔向き及び進行方向の少なくとも一方に基づいて、対象に係る生体認証の優先の程度を示す優先度を決定する(ステップS103)。
 上述したように、情報処理システム1では、生体認証領域(例えば、生体認証領域BA)を含む画像を取得し、画像に基づいて、画像に含まれる対象の顔向き及び進行方向の少なくとも一方を推定し、顔向き及び進行方向の少なくとも一方に基づいて、対象に係る生体認証の優先の程度を示す優先度を決定する情報処理方法が行われる。
 情報処理システム1の情報処理装置10は、コンピュータが記録媒体に記録されたコンピュータプログラムを読み込むことによって実現されてよい。この場合、記録媒体には、コンピュータに、生体認証領域(例えば、生体認証領域BA)を含む画像を取得し、画像に基づいて、画像に含まれる対象の顔向き及び進行方向の少なくとも一方を推定し、顔向き及び進行方向の少なくとも一方に基づいて、対象に係る生体認証の優先の程度を示す優先度を決定する情報処理方法を実行させるためのコンピュータプログラムが記録されている、と言える。
 (技術的効果)
 例えば図1において、対象P1が矢印a1に沿って入場制限領域RAに向かっているとともに、対象P2が矢印a2に沿って生体認証領域BAを通過する場合、情報処理装置10の決定部13は、対象P1に係る優先度を対象P2に係る優先度よりも高くしてよい。
 生体認証を行う装置が、決定部13により決定された優先度に基づいて、生体認証を行う対象(即ち、被認証者)を決定(又は選択)してよい。この場合、生体認証を行う装置は、対象P1の生体認証を、対象P2の生体認証よりも先に行ってよい。例えば、生体認証を行う装置は、優先度が所定値より低い対象について生体認証を行わなくてもよい。例えば、対象P1に係る優先度が所定値より高い一方で、対象P2に係る優先度が所定値より低い場合、生体認証を行う装置は、対象P1の生体認証だけを行い、対象P2の生体認証は行わなくてもよい。このように、決定部13により優先度が決定されることによって、生体認証を行う装置の処理負荷が増加することを抑制することができる。尚、生体認証を行う装置は、情報処理装置10とは異なる装置であってもよいし、情報処理装置10であってもよい。
 <第2実施形態>
 情報処理システム、情報処理方法及び記録媒体に係る第2実施形態について図1に加えて、図4乃至図6を参照して説明する。第2実施形態では、情報処理システム1が、情報処理装置10に代えて又は加えて、情報処理装置20を備える点で、上述した第1実施形態と異なる。第2実施形態に係るその他の点については第1実施形態と同様であってよい。尚、第2実施形態について、上述した第1実施形態の説明と重複する説明を適宜省略する。尚、第2実施形態では、生体認証の一例として顔認証を挙げる。ただし、第2実施形態では、顔認証に代えて、例えば虹彩認証が行われてもよい。或いは、第2実施形態では、顔認証及び虹彩認証が行われてもよい(即ち、マルチモーダル生体認証が行われてもよい)。
 (情報処理装置の構成)
 図4において、情報処理装置20は、演算装置21、記憶装置22及び通信装置23を備える。情報処理装置20は更に、入力装置24及び出力装置25を備えていてよい。情報処理装置20は、顔情報データベース26(以降、適宜“顔情報DB26”と表記する)を備えていてよい。尚、情報処理装置20は、入力装置24及び出力装置25の少なくとも一方を備えていなくてもよい。情報処理装置20において、演算装置21、記憶装置22、通信装置23、入力装置24、出力装置25及び顔情報DB26は、データバス27を介して接続されていてよい。
 尚、顔情報DB26には、情報処理システム1の利用を希望する対象(例えば、入場制限領域RAへの入場を希望する対象)に係る情報が登録されている。顔情報DB26に情報が登録されている対象を、適宜「登録者」と称する。顔情報DB26には、複数の登録者を夫々識別するための識別情報としての認証IDが登録されている。複数の登録者各々の情報は、認証IDに紐づけられて顔情報DB26に登録されている。
 顔情報DB26には、各登録者の顔情報が認証IDに紐づけられて登録されている。顔情報は、例えば、一の登録者の顔の特徴を示す特徴量そのものであってもよいし、該特徴量を特定するための情報(例えば、ファイル名)であってよい。或いは、顔情報は、例えば、一の登録者の顔を含む顔画像そのものであってもよいし、該顔画像を特定するための情報(例えば、ファイル名)であってよい。
 演算装置21は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、TPU(TensorProcessingUnit)、及び、量子プロセッサのうち少なくとも一つを含んでよい。
 記憶装置22は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)、及び、光ディスクアレイのうち少なくとも一つを含んでよい。つまり、記憶装置22は、一時的でない記録媒体を含んでよい。記憶装置22は、所望のデータを記憶可能である。例えば、記憶装置22は、演算装置21が実行するコンピュータプログラムを一時的に記憶していてよい。記憶装置22は、演算装置21がコンピュータプログラムを実行している場合に演算装置21が一時的に使用するデータを一時的に記憶してよい。
 通信装置23は、情報処理装置20の外部の装置と通信可能であってもよい。尚、通信装置23は、有線通信を行ってもよいし、無線通信を行ってもよい。
 入力装置24は、外部から情報処理装置20に対する情報の入力を受け付け可能な装置である。入力装置24は、情報処理装置20のオペレータが操作可能な操作装置(例えば、キーボード、マウス、タッチパネル等)を含んでよい。入力装置24は、例えばUSB(Universal Serial Bus)メモリ等の、情報処理装置20に着脱可能な記録媒体に記録されている情報を読み取り可能な記録媒体読取装置を含んでよい。尚、情報処理装置20に、通信装置23を介して情報が入力される場合(言い換えれば、情報処理装置20が通信装置23を介して情報を取得する場合)、通信装置23は入力装置として機能してよい。
 出力装置25は、情報処理装置20の外部に対して情報を出力可能な装置である。出力装置25は、上記情報として、文字や画像等の視覚情報を出力してもよいし、音声等の聴覚情報を出力してもよいし、振動等の触覚情報を出力してもよい。出力装置25は、例えば、ディスプレイ、スピーカ、プリンタ及び振動モータの少なくとも一つを含んでいてよい。出力装置25は、例えばUSBメモリ等の、情報処理装置20に着脱可能な記録媒体に情報を出力可能であってもよい。尚、情報処理装置20が通信装置23を介して情報を出力する場合、通信装置23は出力装置として機能してよい。
 演算装置21は、論理的に実現される機能ブロックとして、又は、物理的に実現される処理回路として、画像取得部211、追跡部212、推定部213、決定部214、顔認証部215及び警告部216を有していてよい。
 尚、画像取得部211、追跡部212、推定部213、決定部214、顔認証部215及び警告部216の少なくとも一つは、論理的な機能ブロックと、物理的な処理回路(即ち、ハードウェア)とが混在する形式で実現されてよい。画像取得部211、追跡部212、推定部213、決定部214、顔認証部215及び警告部216の少なくとも一部が機能ブロックである場合、画像取得部211、追跡部212、推定部213、決定部214、顔認証部215及び警告部216の少なくとも一部は、演算装置21が所定のコンピュータプログラムを実行することにより実現されてよい。
 演算装置21は、上記所定のコンピュータプログラムを、記憶装置22から取得してよい(言い換えれば、読み込んでよい)。演算装置21は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶している上記所定のコンピュータプログラムを、情報処理装置20が備える図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置21は、通信装置23を介して、情報処理装置20の外部の図示しない装置から上記所定のコンピュータプログラムを取得してもよい(言い換えれば、ダウンロードしてもよい又は読み込んでもよい)。尚、演算装置21が実行する上記所定のコンピュータプログラムを記録する記録媒体としては、光ディスク、磁気媒体、光磁気ディスク、半導体メモリ、及び、その他プログラムを格納可能な任意の媒体の少なくとも一つが用いられてよい。
 尚、「画像取得部211」、「推定部213」及び「決定部214」は、夫々、上述した第1実施形態における「画像取得部11」、「推定部12」及び「決定部13」に対応する構成要素である。
 (情報処理装置の動作)
 情報処理装置20は、カメラCAMが撮像した画像(即ち、生体認証領域BAを含む画像)に基づいて、対象の顔認証を行う。情報処理装置20は、対象が生体認証領域BAを通過している間に、該対象の顔認証を行ってよい。つまり、情報処理装置20は、ウォークスルー顔認証を行うことが可能な装置であってよい。
 画像取得部211は、カメラCAMが撮像した、生体認証領域BAを含む画像を取得する。追跡部212は、画像取得部211により取得された画像を用いて、生体認証領域BAを通過する一又は複数の対象(即ち、被認証者)の追跡処理を行う。追跡部212が行う追跡処理の具体例として、追跡部212が、生体認証領域BAを通過する対象P1の追跡処理を行う場合について図5を参照して説明する。
 図5に示す、画像IMG1、IMG2及びIMG3は、被認証者に相当する対象P1を含む画像(言い換えれば、対象P1が写り込んでいる画像)である。画像IMG1は、時刻t1に、カメラCAMが生体認証領域BAを撮像することにより生成された画像である。画像IMG2は、時刻t1よりも後の時刻t2に、カメラCAMが生体認証領域BAを撮像することにより生成された画像である。画像IMG3は、時刻t2よりも後の時刻t3に、カメラCAMが生体認証領域BAを撮像することにより生成された画像である。
 画像IMG1、IMG2及びIMG3各々は、動画の1フレームに相当する画像であってもよい。この場合、画像IMG2は、画像IMG1に相当するフレームの直後のフレームに相当する画像でなくてもよい。つまり、画像IMG2は、画像IMG1に相当するフレームよりも2フレーム以上後のフレームに相当する画像であってもよい。同様に、画像IMG3は、画像IMG2に相当するフレームの直後のフレームに相当する画像でなくてもよい。つまり、画像IMG3は、画像IMG2に相当するフレームよりも2フレーム以上後のフレームに相当する画像であってもよい。
 追跡部212は、画像IMG1から、画像IMG1に含まれる対象P1の頭部を検出する。尚、画像から人の頭部を検出する方法には、既存技術を適用であるので、その詳細についての説明は省略する。追跡部212は、検出された対象P1の頭部に基づいて、対象P1の頭部を含む領域を追跡領域TA1として設定する。尚、追跡部212は、画像IMG1に含まれる対象P1の上半身又は全身を検出してもよい。追跡部212は、検出された対象P1の上半身又は全身に基づいて、対象P1の上半身又は全身を含む領域を対象追跡領域TA1として設定してよい。
 追跡部212は、追跡領域TA1を設定した場合、追跡領域TA1に係る対象P1を識別するための識別情報である追跡IDを、対象P1に設定する。追跡部212は、追跡領域TA1に基づいて、対象P1の位置(例えば、対象P1の足元の位置)を算出する。尚、画像から、該画像に含まれる被写体の位置を算出する方法には、既存技術を適用可能であるので、その詳細についての説明は省略する。追跡部212は、追跡IDと対象P1の位置とを互いに紐づけて、記憶装置22に記憶されているID対応テーブル221に登録する。
 ここで、ID対応テーブル221について図6を参照して説明を加える。図6に示すように、ID対応テーブル221では、追跡ID、追跡位置(例えば、対象P1の足元の位置)、認証ID、認証時刻及び優先度が互いに紐づけられていてよい。尚、上述した「対象P1の位置」は、追跡位置の一例である。
 追跡領域TA1が設定された場合、追跡部212は、追跡領域TA1に対象P1の顔が写り込んでいるか否かを判定する。言い換えれば、追跡部212は、追跡領域TA1について顔検出を行う。追跡領域TA1に対象P1の顔が写り込んでいると判定された場合、追跡部212は、対象P1の顔領域を含む顔画像を生成する。追跡部212は、該生成された顔画像を、対象P1に係る追跡IDと紐づけて、顔認証部215に送信する。尚、追跡領域TA1に対象P1の顔が写り込んでいないと判定された場合、追跡部212は、顔画像を生成しなくてよい。
 追跡部212は、画像IMG2と、画像IMG1とを用いて、画像IMG2に含まれる対象P1を特定してよい。画像IMG2に含まれる対象P1を特定することは、画像IMG1に含まれる対象P1と画像IMG2に含まれる対象P1との対応付けを行うことと同義である。このため、画像IMG2に含まれる対象P1の特定には、画像間の対応付けに係るマッチング方式及びオプティカルフロー方式の少なくとも一方の手法を適用可能である。尚、マッチング方式及びオプティカルフロー方式各々には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。
 画像IMG2に含まれる対象P1が特定された場合、追跡部212は、対象P1の頭部を検出する。追跡部212は、検出された対象P1の頭部に基づいて、対象P1の頭部を含む領域を追跡領域TA2として設定する。画像IMG1に含まれる対象P1と画像IMG2に含まれる対象P1とは同一の対象であるので、追跡領域TA2に係る対象P1の追跡IDは、追跡領域TA1に係る対象P1の追跡IDと同一である。追跡部212は、追跡領域TA2に基づいて、対象P1の位置を算出する。尚、追跡部212は、画像IMG2に含まれる対象P1の上半身又は全身を検出してもよい。追跡部212は、検出された対象P1の上半身又は全身に基づいて、対象P1の上半身又は全身を含む領域を対象追跡領域TA2として設定してよい。
 追跡部212は、対象P1の位置を、対象P1に係る追跡IDに紐づけてID対応テーブル221に登録する。この場合、ID対応テーブル221には、追跡領域TA1に基づいて算出された対象P1の位置が登録されているので、追跡部212が、追跡領域TA2に基づいて算出された対象P1の位置をID対応テーブル221に登録することにより、対象P1の位置が更新される。
 追跡領域TA2が設定された場合、追跡部212は、追跡領域TA2に対象P1の顔が写り込んでいるか否かを判定する。言い換えれば、追跡部212は、追跡領域TA2について顔検出を行う。追跡領域TA2に対象P1の顔が写り込んでいると判定された場合、追跡部212は、対象P1の顔領域を含む顔画像を生成する。追跡部212は、該生成された顔画像を、対象P1に係る追跡IDと紐づけて、顔認証部215に送信する。尚、追跡領域TA2に対象P1の顔が写り込んでいないと判定された場合、追跡部212は、顔画像を生成しなくてよい。尚、追跡領域TA2に対象P1の顔が写り込んでいると判定された場合であっても、ID対応テーブル221において、対象P1に係る追跡IDと、認証IDとが紐づけられている場合(即ち、既に顔認証が成功している場合)、追跡部212は、顔画像を生成しなくてよい。
 追跡部212は、画像IMG3と、画像IMG2とを用いて、画像IMG3に含まれる対象P1を特定してよい。画像IMG3に含まれる対象P1が特定された場合、追跡部212は、対象P1の頭部を検出する。追跡部212は、検出された対象P1の頭部に基づいて、対象P1の頭部を含む領域を追跡領域TA3として設定する。画像IMG2に含まれる対象P1と画像IMG3に含まれる対象P1とは同一の対象であるので、追跡領域TA3に係る対象P1の追跡IDは、追跡領域TA2に係る対象P1の追跡IDと同一である。追跡部212は、追跡領域TA3に基づいて、対象P1の位置を算出する。尚、追跡部212は、画像IMG3に含まれる対象P1の上半身又は全身を検出してもよい。追跡部212は、検出された対象P1の上半身又は全身に基づいて、対象P1の上半身又は全身を含む領域を対象追跡領域TA3として設定してよい。
 追跡部212は、対象P1の位置を、対象P1に係る追跡IDに紐づけてID対応テーブル221に登録する。この場合、ID対応テーブル221には、追跡領域TA2に基づいて算出された対象P1の位置が登録されているので、追跡部212が、追跡領域TA3に基づいて算出された対象P1の位置をID対応テーブル221に登録することにより、対象P1の位置が更新される。
 追跡領域TA3が設定された場合、追跡部212は、追跡領域TA3に対象P1の顔が写り込んでいるか否かを判定する。言い換えれば、追跡部212は、追跡領域TA3について顔検出を行う。追跡領域TA3に対象P1の顔が写り込んでいると判定された場合、追跡部212は、対象P1の顔領域を含む顔画像を生成する。追跡部212は、該生成された顔画像を、対象P1に係る追跡IDと紐づけて、顔認証部215に送信する。尚、追跡領域TA3に対象P1の顔が写り込んでいないと判定された場合、追跡部212は、顔画像を生成しなくてよい。尚、追跡領域TA3に対象P1の顔が写り込んでいると判定された場合であっても、ID対応テーブル221において、対象P1に係る追跡IDと、認証IDとが紐づけられている場合(即ち、既に顔認証が成功している場合)、追跡部212は、顔画像を生成しなくてよい。
 ところで、例えば対象P1の頭部が他人の陰に隠れてしまうこと等に起因して、追跡部212が対象P1を追跡し続けることが困難になることがある。追跡部212は、対象P1の追跡が途切れた場合、次のような処理を行ってもよい。追跡部212は、対象P1の追跡が途切れた後に、画像取得部211により取得された画像(例えば、カメラCAMが撮像した画像)から、新たな対象が検出されたか否かを判定してよい。「新たな対象」は、追跡IDが設定されていない対象を意味する。
 新たな対象が検出された場合、追跡部212は、対象P1に係る追跡領域(例えば、追跡領域TA1、TA2及びTA3の少なくとも一つ)の特徴量と、新たな対象に係る追跡領域の特徴量とを比較することにより、対象P1と新たな対象とが同一対象であるか否かを判定してよい。対象P1と新たな対象とが同一対象であると判定された場合、追跡部212は、新たな対象に、対象P1に係る追跡IDを設定してよい。この結果、追跡部212は、対象P1を再度追跡することができる。
 尚、特徴量は、対象の頭部に係る特徴量であってもよいし、対象の上半身に係る特徴量であってもよいし、対象の全身に係る特徴量であってもよい。つまり、追跡領域(例えば、追跡領域TA1、TA2及びTA3の少なくとも一つ)には、対象の頭部が含まれていてもよいし、対象の上半身が含まれていてもよいし、対象の全身が含まれていてもよい。尚、特徴量は、例えばPerson Re-Identification技術により求められてもよい。
 追跡部212は、対象P1が生体認証領域BAを通過するまで、上述した処理を繰り返し行ってよい。追跡部212は、生体認証領域BAを通過する全ての対象に対して、上述した処理を行ってよい。
 推定部213は、画像取得部211により取得された画像を用いて、生体認証領域BAを通過する一又は複数の対象(即ち、被認証者)の顔向き及び進行方向の少なくとも一方を推定する。例えば、推定部213は、ID対応テーブル221に登録されている追跡位置に基づいて、各対象の進行方向を推定してよい。例えば、推定部213は、画像取得部211により取得された画像に含まれる対象の爪先が向いている方向を検出して、該爪先が向いている方向に基づいて該対象の進行方向を推定してもよい。例えば、推定部213は、画像取得部211により取得された時間的に連続する2以上の画像に基づいて、画像に含まれる対象の進行方向を推定してもよい。推定部213は、例えばカメラCAMと対象との間の距離の推移に基づいて、画像に含まれれる対象の進行方向を推定してもよい。尚、画像から対象の顔向きを推定する方法には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。
 決定部214は、推定部213により推定された対象の顔向き及び進行方向の少なくとも一方に基づいて、該対象に係る顔認証の優先の程度を示す優先度を決定する。決定部214は、決定された優先度をID対応テーブル221に登録する。尚、推定部213は、追跡部212により検出された対象(言い換えれば、追跡領域が設定された対象)の顔向き及び進行方向の少なくとも一方を推定してよい。決定部214は、推定部213の推定結果に基づいて、追跡部212により検出された対象(言い換えれば、追跡領域が設定された対象)に係る優先度を決定してよい。このように構成すれば、優先度を追跡IDに紐づけてID対応テーブル221に登録することができる。
 決定部214は、例えば、顔が入場制限領域RAに向いている対象に係る優先度を、顔が入場制限領域RAとは異なる方向に向いている対象に係る優先度よりも高くしてよい。決定部214は、例えば、一の対象の顔が入場制限領域RAを向く場合の方向と、一の対象の顔が実際に向いている方向との差分(例えば、角度)が小さくなるほど、一の対象に係る優先度を高くしてよい。
 決定部214は、進行方向が入場制限領域RAに近づく方向である対象に係る優先度を、進行方向が入場制限領域RAに近づく方向とは異なる方向である対象に係る優先度よりも高くしてよい。決定部214は、例えば、一の対象が入場制限領域RAに向かう場合の方向と、一の対象の実際の進行方向との差分(例えば、角度)が小さくなるほど、一の対象に係る優先度を高くしてよい。
 顔認証部215は、画像取得部211により取得された画像を用いて、生体認証領域BAを通過する一又は複数の対象の顔認証処理を行う。具体的には、顔認証部215は、追跡部212から送信された顔画像を用いて顔認証処理を行う。例えば、顔認証部215は、上記顔画像から対象P1の顔に係る特徴を示す顔特徴量を算出してよい。顔認証部215は、算出された顔特徴量と、顔情報DB26に登録されている一の登録者の顔情報に基づく顔特徴量とから、照合スコアを算出してよい。
 算出された照合スコアが所定の閾値より大きい場合、顔認証部215は、顔認証に成功したと判定する。この場合、顔情報DB26に登録されている複数の登録者のなかから、追跡部212から送信された顔画像により示される対象(例えば、対象P1)に該当する一の登録者が特定される。他方で、算出された照合スコアが所定の閾値より小さい場合、顔認証部215は、顔認証に失敗したと判定する。この場合、追跡部212から送信された顔画像により示される対象(例えば、対象P1)に該当する人は、顔情報DB26に登録されていない可能性が高い。尚、算出された照合スコアと所定の閾値とが「等しい」場合は、どちらかの場合に含めて扱えばよい。
 顔認証に成功した場合、顔認証部215は、追跡部212から送信された顔画像により示される対象(例えば、対象P1)に該当する、顔情報DB26に登録されている登録者を示す認証IDを、上記顔画像に紐づけられた追跡IDに紐づけて、ID対応テーブル221に登録する。顔認証部215は、認証IDに加えて、顔認証処理を行った時刻である認証時刻を、ID対応テーブル221に登録してよい。尚、ID対応テーブル221に認証時刻が既に登録されている場合(即ち、過去に顔認証が成功している場合)、顔認証部215は、ID対応テーブル221に登録されている認証時刻を更新してよい。顔認証に失敗した場合、顔認証部215は、該当者がいないことを示す情報(例えば、“N/A(Not Applicable)”)を、追跡部212から送信された顔画像に紐づけられた追跡IDに紐づけて、ID対応テーブル221に登録してよい。
 従って、ID対応テーブル221において、追跡IDが、具体的な認証IDと紐づけられている場合、追跡IDが設定された対象に該当する登録者が顔情報DB26に登録されていることを示している。追跡IDが、「N/A」という文字列と紐づけられている場合、追跡IDが設定された対象に該当する者が顔情報DB26に登録されていないことを示している。追跡IDが、認証IDと紐づけられていない場合(即ち、認証ID欄が空欄である場合)、顔認証処理が1度も行われていないことを示している。
 顔認証部215は特に、ID対応テーブル221に登録されている優先度に基づいて、顔認証を行う対象を決定(又は選択)してよい。例えば、第1の追跡IDに紐づけられている優先度が、第2の追跡IDに紐づけられている優先度よりも高い場合、顔認証部215は、第1の追跡IDに紐づけられている顔画像(即ち、追跡部212から顔認証部215に送信された顔画像)を用いた顔認証を、第2の追跡IDに紐づけられている顔画像を用いた顔認証よりも先に行ってよい。つまり、顔認証部215は、優先度に基づいて顔認証を行う順番を決定してよい。例えば、顔認証部215は、優先度が所定値より低い場合、該優先度に紐づけられている追跡IDに係る対象の顔認証を行わなくてもよい。
 警告部216は、ID対応テーブル221に基づいて、顔認証に失敗した対象(例えば“N/A”という文字列に紐づけられている追跡IDに係る対象)、及び、顔認証が行われていない対象(即ち、ID対応テーブル221の認証IDの欄が空欄である追跡IDに係る対象)の少なくとも一方の対象を特定する。
 ここで、例えば“N/A”という文字列に紐づけられている追跡IDに係る対象は、顔情報DB26に対応する対象が登録されていないので、「未登録者」と称されてもよい。顔認証が行われていない対象は、「未認証者」と称されてもよい。
 警告部216は、未登録者及び未認証者の少なくとも一方を示す警告情報を生成してよい。警告部216は、該生成された警告情報を出力装置25に送信してよい。この結果、出力装置25は、例えば警備員、駅係員等に、未登録者及び未認証者の少なくとも一方の存在を報知してよい。
 (技術的効果)
 第2実施形態に係る情報処理システム1によれば、上述した第1実施形態に係る情報処理システム1と同様に、顔認証に係る処理負荷が増加することを抑制することができる。特に、顔認証部215が、優先度に基づいて顔認証を行う順番を決定することによって、顔認証を行う必要性の高い対象(例えば、入場制限領域RAに向かう対象)の顔認証を、顔認証を行う必要性の低い対象(例えば、入場制限領域RAとは異なる方向に移動する対象)の顔認証よりも優先して行うことができる。
 <第3実施形態>
 情報処理システム、情報処理方法及び記録媒体に係る第3実施形態について図4乃至図6に加えて図7を参照して説明する。第3実施形態では、情報処理システム1が、光照射装置L(図7参照)を備える点で、上述した第1実施形態及び第2実施形態と異なる。第3実施形態に係るその他の点については第1実施形態及び第2実施形態と同様であってよい。尚、第3実施形態について、上述した第1実施形態及び第2実施形態の説明と重複する説明を適宜省略する。
 情報処理装置20の警告部216は、ID対応テーブル221に基づいて、未登録者及び未認証者の少なくとも一方を特定してよい。警告部216は、未登録者及び未認証者の少なくとも一方に対する警告に係る警告情報を生成してよい。警告部216は、該生成された警告情報を出力装置25に送信してよい。この結果、出力装置25は、未登録者及び未認証者の少なくとも一方に対して警告を発してよい。尚、警告部216は、未登録者及び未認証者の少なくとも一方に加えて、例えば職員や警備員等に対する警告情報を生成してよい。この場合、出力装置25は、未登録者及び未認証者の少なくとも一方に加えて、例えば職員や警備員等に対して警告を発してよい。
 例えば、警告部216は、ID対応テーブル221において、未登録者及び未認証者の少なくとも一方に係る追跡IDに紐づけられている追跡位置に基づいて、未登録者及び未認証者の少なくとも一方の位置を特定してよい。警告部216は、上記特定された位置の近傍(例えば、未認証者及び未登録者の少なくとも一方の足元)に、警告を示す文字及び画像の少なくとも一方を表示するための警告情報を生成してよい。警告部216は、該生成された警告情報を光照射装置Lに送信してよい。この結果、光照射装置Lは、未認証者及び未登録者の少なくとも一方の足元に、警告を示す文字及び画像の少なくとも一方を表示(又は、投影)してよい。
 尚、警告を行う対象が未登録者である場合、例えば「顔登録を行ってください」というメッセージを示す文字及び画像の少なくとも一方が、警告として表示(又は投影)されてよい。警告を行う対象が未認証者である場合、例えば「カメラを見てください」というメッセージを示す文字及び画像の少なくとも一方が、警告として表示(又は投影)されてよい。
 図7に示すように、光照射装置Lは、カメラCAMのレンズ近傍に設置されていてよい。例えば、警告部216は、ID対応テーブル221において、未登録者及び未認証者の少なくとも一方に係る追跡IDに紐づけられている追跡位置に基づいて、未登録者及び未認証者の少なくとも一方の位置を特定してよい。警告部216は、上記特定された位置に向けて(例えば、未登録者及び未認証者の少なくとも一方の顔に向けて)光を照射するように光照射装置Lを制御してもよい。この場合、光の照射に起因して、未登録者及び未認証者の少なくとも一方が光源(即ち、光照射装置L)の方に顔を向けることが期待できる。
 (技術的効果)
 第3実施形態に係る情報処理システム1では、警告部216が、未登録者及び未認証者の少なくとも一方に対して警告を発する。未登録者に対して警告が発せられた場合、未登録者が入場制限領域RAに入場できないことを認識することができる。この結果、未登録者が、入場制限領域RAに入場することを抑制することができる。或いは、未登録者が、入場制限領域RAに入場するために必要な手続きを行うことが期待できる。未認証者に対して警告が発せられた場合、未認証者がカメラCAMに顔を向けることが期待できる。この結果、未認証者について顔認証が行われることが期待できる。
 更に、警告を示す文字及び画像の少なくとも一方が、例えば未登録者及び未認証者の少なくとも一方の足元に表示されれば、例えば警備員、駅係員等に、未登録者及び未認証者の少なくとも一方の存在を気づかせることができる。同様に、例えば未登録者及び未認証者の少なくとも一方の顔に光が照射されれば、例えば警備員、駅係員等に、未登録者及び未認証者の少なくとも一方の存在を気づかせることができる。
 尚、警告部216は、未登録者及び未認証者のうち、所定値より高い優先度に紐づけられている追跡IDに係る未登録者及び未認証者の少なくとも一方にだけ警告を発してよい。言い換えれば、警告部216は、未登録者及び未認証者のうち、所定値より低い優先度に紐づけられている追跡IDに係る未登録者及び未認証者の少なくとも一方には警告を発しなくてもよい。
 <第4実施形態>
 情報処理システム、情報処理方法及び記録媒体に係る第4実施形態について説明する。第4実施形態では、情報処理システム1が、要注意対象に係る情報(いわゆるブラックリスト)を有している点で、上述した第1実施形態乃至第3実施形態と異なる。第4実施形態に係るその他の点については第1実施形態乃至第3実施形態と同様であってよい。尚、第4実施形態について、上述した第1実施形態乃至第3実施形態の説明と重複する説明を適宜省略する。
 第4実施形態において、要注意対象に係る情報は、顔情報DB26に含まれていてもよい。この場合、要注意対象に係る認証IDに、要注意対象であることを示すフラグが紐づけられていてよい。或いは、要注意対象に係る情報は、顔情報DB26とは異なるデータベースに登録されていてもよい。以下の説明では、要注意対象に係る情報が顔情報DB26に含まれているものとする。
 情報処理装置20の警告部216は、ID対応テーブル221に基づいて、顔認証部215により特定された、対象に対応する登録者に係る認証IDを取得してよい。警告部216は、顔情報DB26を参照して、取得された認証IDに、要注意対象であることを示すフラグが紐づけられているか否かを判定してよい。
 認証IDに要注意対象であることを示すフラグが紐づけられていると判定された場合、警告部216は、上記対象(即ち、上記認証IDに係る登録者に対応する対象)が要注意対象であると判定してよい。この場合、警告部216は、要注意対象である対象に係る認証ID又は追跡IDに基づいて、ID対応テーブル221から、要注意対象である対象者の位置(例えば、ID対応テーブル221に登録されている“追跡位置”)を取得してよい。
 警告部216は、要注意対象である対象の位置又は該位置の近傍に向けて(例えば、対象の顔に向けて)光を照射するように光照射装置Lを制御してもよい。尚、光照射装置Lは、例えば赤色、黄色等の警告色の光を照射してよい。警告部216は更に、要注意対象である対象を示す警告情報を生成してよい。警告部216は、該生成された警告情報を出力装置25に送信してよい。この結果、出力装置25は、例えば警備員、駅係員等に、要注意対象である対象の存在を報知してよい。出力装置25は更に、警告音を発してもよい。
 尚、認証IDに要注意対象であることを示すフラグが紐づけられていないと判定された場合、警告部216は、光照射装置Lの制御も、警告情報の生成もしなくてよい。
 (技術的効果)
 第4実施形態に係る情報処理システム1では、要注意対象に対して光が照射されてよい。この結果、要注意対象が光に照らされることが期待できる。光に照らされた要注意対象は、その周囲の対象に比べて目立つので、要注意対象の存在を、例えば警備員、駅係員等に気づかせることができる。また、警告部216は警告情報を生成してよい。この場合も、例えば警備員、駅係員等に要注意対象の存在を気づかせることができる。このように、第4実施形態に係る情報処理システム1によれば、例えば警備員、駅係員等に要注意対象の存在を気づかせることができる。この結果、例えば警備員、駅係員等が要注意対象に適切な対応をとることができる。
 <付記>
 以上に説明した実施形態に関して、更に以下の付記を開示する。
 (付記1)
 生体認証領域を含む画像を取得する画像取得手段と、
 前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定する推定手段と、
 前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する決定手段と、
 を備える情報処理システム。
 (付記2)
 前記画像に基づいて、前記第1対象の生体認証を行う生体認証手段を備え、
 前記生体認証手段は、前記第1対象に係る優先度が、前記第1対象とは異なる第2対象に係る優先度よりも高い場合、前記第1対象の生体認証を、前記第2対象の生体認証より先に行う
 付記1に記載の情報処理システム。
 (付記3)
 少なくとも前記第1対象を追跡する追跡手段を備え、
 前記推定手段は、前記追跡手段による前記第1対象の追跡結果に基づいて、前記第1対象の進行方向を推定する
 付記1又は2に記載の情報処理システム。
 (付記4)
 前記第1対象を含む複数の対象のうち、生体認証が行われていない対象と、該当する登録者がいない対象との少なくとも一方の対象を特定して、前記特定された少なくとも一方の対象に対して警告を発する警告手段を備える
 付記1乃至3のいずれか一項に記載の情報処理システム。
 (付記5)
 前記警告手段は、前記少なくとも一方の対象の足元に、前記警告を示す文字及び画像の少なくとも一方を表示する
 付記4に記載の情報処理システム。
 (付記6)
 前記警告手段は、前記少なくとも一方の対象が前記生体認証領域を撮像する撮像装置に顔を向けるように、前記少なくとも一方の対象に対して光を照射する
 付記4又は5に記載の情報処理システム。
 (付記7)
 生体認証領域を含む画像を取得し、
 前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定し、
 前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する
 情報処理方法。
 (付記8)
 コンピュータに、
 生体認証領域を含む画像を取得し、
 前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定し、
 前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する
 情報処理方法を実行させるためのコンピュータプログラムが記録されている記録媒体。
 この開示は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理システム、情報処理方法及び記録媒体もまたこの開示の技術的範囲に含まれるものである。
 1 情報処理システム
 10、20 情報処理装置
 11、211 画像取得部
 12、213 推定部
 13、214 決定部
 26 顔情報データベース
 212 追跡部
 215 顔認証部
 216 警告部

Claims (8)

  1.  生体認証領域を含む画像を取得する画像取得手段と、
     前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定する推定手段と、
     前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する決定手段と、
     を備える情報処理システム。
  2.  前記画像に基づいて、前記第1対象の生体認証を行う生体認証手段を備え、
     前記生体認証手段は、前記第1対象に係る優先度が、前記第1対象とは異なる第2対象に係る優先度よりも高い場合、前記第1対象の生体認証を、前記第2対象の生体認証より先に行う
     請求項1に記載の情報処理システム。
  3.  少なくとも前記第1対象を追跡する追跡手段を備え、
     前記推定手段は、前記追跡手段による前記第1対象の追跡結果に基づいて、前記第1対象の進行方向を推定する
     請求項1又は2に記載の情報処理システム。
  4.  前記第1対象を含む複数の対象のうち、生体認証が行われていない対象と、該当する登録者がいない対象との少なくとも一方の対象を特定して、前記特定された少なくとも一方の対象に対して警告を発する警告手段を備える
     請求項1乃至3のいずれか一項に記載の情報処理システム。
  5.  前記警告手段は、前記少なくとも一方の対象の足元に、前記警告を示す文字及び画像の少なくとも一方を表示する
     請求項4に記載の情報処理システム。
  6.  前記警告手段は、前記少なくとも一方の対象が前記生体認証領域を撮像する撮像装置に顔を向けるように、前記少なくとも一方の対象に対して光を照射する
     請求項4又は5に記載の情報処理システム。
  7.  生体認証領域を含む画像を取得し、
     前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定し、
     前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する
     情報処理方法。
  8.  コンピュータに、
     生体認証領域を含む画像を取得し、
     前記画像に基づいて、前記画像に含まれる第1対象の顔向き及び進行方向の少なくとも一方を推定し、
     前記顔向き及び前記進行方向の少なくとも一方に基づいて、前記第1対象に係る生体認証の優先の程度を示す優先度を決定する
     情報処理方法を実行させるためのコンピュータプログラムが記録されている記録媒体。
PCT/JP2023/020801 2023-06-05 2023-06-05 情報処理システム、情報処理方法及び記録媒体 Ceased WO2024252460A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/020801 WO2024252460A1 (ja) 2023-06-05 2023-06-05 情報処理システム、情報処理方法及び記録媒体
JP2025525436A JPWO2024252460A1 (ja) 2023-06-05 2023-06-05

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/020801 WO2024252460A1 (ja) 2023-06-05 2023-06-05 情報処理システム、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2024252460A1 true WO2024252460A1 (ja) 2024-12-12

Family

ID=93795253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020801 Ceased WO2024252460A1 (ja) 2023-06-05 2023-06-05 情報処理システム、情報処理方法及び記録媒体

Country Status (2)

Country Link
JP (1) JPWO2024252460A1 (ja)
WO (1) WO2024252460A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017167973A (ja) * 2016-03-17 2017-09-21 株式会社東芝 撮像支援装置、方法及びプログラム
WO2018181968A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 顔認証システム、装置、方法、プログラム
WO2022003853A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 認証制御装置、認証制御システム、認証制御方法及び非一時的なコンピュータ可読媒体
WO2023281909A1 (ja) * 2021-07-09 2023-01-12 パナソニックIpマネジメント株式会社 通知装置および通知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017167973A (ja) * 2016-03-17 2017-09-21 株式会社東芝 撮像支援装置、方法及びプログラム
WO2018181968A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 顔認証システム、装置、方法、プログラム
WO2022003853A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 認証制御装置、認証制御システム、認証制御方法及び非一時的なコンピュータ可読媒体
WO2023281909A1 (ja) * 2021-07-09 2023-01-12 パナソニックIpマネジメント株式会社 通知装置および通知方法

Also Published As

Publication number Publication date
JPWO2024252460A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
JP6148065B2 (ja) 顔認証システム
JP6148064B2 (ja) 顔認証システム
JP7400975B2 (ja) 顔認証方法
JP7658440B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP4123567A1 (en) Gate device, authentication system, gate control method, and storage medium
US20170357855A1 (en) Information processing apparatus, information processing method, and storage medium
JP7779337B2 (ja) 表示制御装置、表示制御方法、及び、コンピュータプログラム
WO2019151116A1 (ja) 情報処理装置
JP2007156541A (ja) 人物認識装置、人物認識方法および入退場管理システム
JP7468779B2 (ja) 情報処理装置、情報処理方法、及び記憶媒体
WO2021060256A1 (ja) 顔認証装置、顔認証方法、及びコンピュータ読み取り可能な記録媒体
JP7767259B2 (ja) 通行管理プログラム、通行管理方法、および通行管理装置
JP2020063659A (ja) 情報処理システム
US12118820B2 (en) Information processing system, information processing method, and storage medium for anonymized person detection
WO2023145059A1 (ja) 入場管理装置、入場管理方法およびプログラム記憶媒体
WO2024084596A1 (ja) 情報処理装置、情報処理制御方法及び記録媒体
WO2024111119A1 (ja) 認証システム、認証方法及び記録媒体
US20240161563A1 (en) Gate device, gate device control method, and computer-readable medium
JP7858580B2 (ja) 通行管理プログラム、通行管理方法、及び通行管理装置
US20250363847A1 (en) Information processing apparatus, information processing method, and non-transitory recording medium
WO2024201579A1 (ja) 情報処理システム、情報処理方法及び記録媒体
JP7516297B2 (ja) 画像照合装置、画像照合方法、およびプログラム
JP7601237B2 (ja) 生体認証制御ユニット、システム、生体認証制御ユニットの制御方法及びプログラム
JP2025098702A (ja) 入退場の管理方法及び管理装置
WO2024084595A1 (ja) 情報処理装置、情報処理制御方法及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940568

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525436

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE