WO2023242948A1 - 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体 - Google Patents

認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023242948A1
WO2023242948A1 PCT/JP2022/023776 JP2022023776W WO2023242948A1 WO 2023242948 A1 WO2023242948 A1 WO 2023242948A1 JP 2022023776 W JP2022023776 W JP 2022023776W WO 2023242948 A1 WO2023242948 A1 WO 2023242948A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
authentication
camera
gate
Prior art date
Application number
PCT/JP2022/023776
Other languages
English (en)
French (fr)
Inventor
政義 山浦
智弘 波多江
佳奈子 丸崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/023776 priority Critical patent/WO2023242948A1/ja
Publication of WO2023242948A1 publication Critical patent/WO2023242948A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present disclosure relates to an authentication device, an authentication system, an authentication method, and a non-transitory computer-readable medium.
  • a method has been proposed to determine whether entry is possible using so-called walk-through authentication, which performs biometric authentication on people approaching the gate.
  • walk-through authentication which performs biometric authentication on people approaching the gate.
  • feature information candidates are selected using feature information extracted from biometric information acquired at a first point, and the selected candidates and the An authentication system has been disclosed that performs authentication processing using acquired biometric information.
  • the purpose of the present disclosure is to provide an authentication device, an authentication system, an authentication method, and a non-temporary computer-readable medium that can accurately identify a person to be authenticated and perform authentication processing. be.
  • An authentication device is a detection unit that detects a person from each of a first image and a second image, and each of the first image and the second image is arranged at a predetermined distance in the width direction of a gate.
  • a detection means wherein each of a first camera and a second camera arranged at a distance of object specifying means for specifying a person closest to the gate as an authentication target person from at least one of the person detected from the first image and the person detected from the second image based on the parallax between the two images; , and authentication means for controlling biometric authentication for the person to be authenticated.
  • An authentication system includes a first camera and a second camera that are spaced apart from each other by a predetermined distance in the width direction of a gate, and an authentication device.
  • the authentication device is a detection unit that detects a person from each of the first image and the second image, and each of the first image and the second image is configured such that each of the first camera and the second camera a detection means, which is an image taken of a photographing area within a predetermined range with the gate as a reference; and a person detected from the first image based on the parallax between the first image and the second image;
  • the apparatus includes an object specifying means for specifying at least one of the persons detected from the second image as the person closest to the gate as the person to be authenticated, and an authentication means for controlling biometric authentication for the person to be authenticated.
  • An authentication method is to detect a person from each of a first image and a second image, and each of the first image and the second image is separated by a predetermined distance in the width direction of the gate.
  • a first camera and a second camera which are arranged separately, each capture an image of a photographing area within a predetermined range based on the gate, and detect the first image and the second camera. identifying the person closest to the gate as the person to be authenticated from at least one of the person detected from the first image and the person detected from the second image based on the parallax between the two images;
  • the method also includes controlling biometric authentication for a person to be authenticated.
  • a non-transitory computer-readable medium performs a process of detecting a person from each of a first image and a second image, and each of the first image and the second image is configured to detect a person in a width direction of a gate.
  • Detection processing in which a first camera and a second camera arranged at a predetermined distance apart from each other are images of a photographing area within a predetermined range with the gate as a reference; and the first image. and a target for identifying the person closest to the gate as the authentication target person from at least one of the person detected from the first image and the person detected from the second image based on the parallax of the second image.
  • a program for causing a computer to execute a specific process and an authentication process for controlling biometric authentication for the person to be authenticated is stored.
  • an authentication device an authentication system, an authentication method, and a non-temporary computer-readable medium that can accurately identify a person to be authenticated and perform authentication processing.
  • FIG. 1 is a block diagram showing the configuration of an authentication device according to a first embodiment.
  • FIG. 3 is a flowchart illustrating an example of the flow of an authentication method according to the first embodiment.
  • FIG. 2 is a block diagram showing the overall configuration of an authentication system according to a second embodiment.
  • FIG. 2 is a block diagram showing the configuration of an authentication terminal according to a second embodiment together with a first camera and a second camera.
  • FIG. 2 is a block diagram showing the configuration of an authentication device according to a second embodiment.
  • 7 is a flowchart showing the flow of face information registration processing according to the second embodiment.
  • 7 is a flowchart showing the flow of authentication processing according to the second embodiment.
  • 7 is a diagram showing a first image taken by a first camera according to a second embodiment.
  • FIG. 7 is a diagram showing a second image taken by a second camera according to the second embodiment.
  • FIG. 7 is a diagram for explaining an example of a position calculation method according to the second embodiment.
  • 7 is a flowchart showing the flow of face matching processing according to the second embodiment.
  • FIG. 7 is a diagram for explaining an example of a position calculation method according to a modification of the second embodiment.
  • FIG. 1 is a block diagram showing the configuration of an authentication device 10 according to the first embodiment.
  • the authentication device 10 is one or more devices that recognize the person closest to the gate among the people scheduled to enter the gate as the person to be authenticated for biometric authentication.
  • the distance from the gate to the person can be estimated based on the size of the face and other parts of the person included in the photographed image and the size of the whole body, but since there are individual differences in the size of such parts and height, Difficult to accurately determine distance.
  • the authentication device 10 determines the distance from the gate to the person based on the parallax between the two cameras.
  • a first camera and a second camera are arranged near the gate.
  • the first camera and the second camera are placed apart from each other by a predetermined distance in the width direction of the passage within the gate, that is, in the direction orthogonal to the advancing direction of the approaching person.
  • the authentication device 10 includes a detection section 13, a target identification section 14, and an authentication section 15.
  • the detection unit 13 is also referred to as detection means.
  • the detection unit 13 detects a person from each of the first image and the second image.
  • the first image is an image generated by the first camera photographing a predetermined range of photographing area based on the gate.
  • the second image is an image generated by the second camera photographing a predetermined range of photographing area based on the gate.
  • the target specifying unit 14 is also referred to as target specifying means.
  • the object identification unit 14 authenticates the person closest to the gate from at least one of the person detected from the first image and the person detected from the second image based on the parallax between the first image and the second image. Identify as a target person.
  • the authentication unit 15 is also referred to as authentication means.
  • the authentication unit 15 controls biometric authentication for the identified person to be authenticated.
  • the biometric authentication is face authentication, iris authentication, gait authentication, or other biometric authentication. Therefore, the biometric information is face information, iris information, gait information, or other biometric information.
  • the biometric information is facial information, but the biometric information is not limited to this. In the following, facial information will be used as a general term for facial images and facial feature information extracted from facial images. Controlling biometric authentication may mean that the authentication device 10 performs biometric authentication. Alternatively, the authentication device 10 may request biometric authentication from another device (not shown) and receive the biometric authentication result from that device.
  • FIG. 2 is a flowchart showing an example of the flow of the authentication method according to the first embodiment.
  • the authentication device 10 acquires a first image taken by the first camera and a second image taken by the second camera (S10).
  • the authentication device 10 may directly acquire the first image and the second image from the first camera and the second camera.
  • the authentication device 10 may receive the first image and the second image from the authentication terminal, or A cutout image of a human region or a face region included in each of the first image and the second image may be received from the user.
  • the detection unit 13 detects a person from each of the first image and the second image by image recognition (S11).
  • the target identifying unit 14 identifies the person closest to the gate as the person to be authenticated based on the parallax between the first image and the second image (S12).
  • the authentication unit 15 controls biometric authentication for the identified person to be authenticated (S13).
  • the authentication unit 15 may perform face authentication by extracting a feature amount from the face area of the identified person to be authenticated, and comparing the feature amount with a pre-registered feature amount.
  • the authentication unit 15 outputs the authentication result (S14).
  • the authentication device 10 in biometric authentication when passing through a gate, it is possible to accurately capture the person to be authenticated and perform authentication processing using the parallax between the two cameras.
  • blind spots can be reduced by using two cameras. For example, even if a person enters from the side in front of the gate, the authentication device 10 can detect the person closest to the gate relatively easily before reaching the gate. This avoids delays in authentication timing.
  • Embodiment 2 is a specific example of Embodiment 1.
  • FIG. 3 is a block diagram showing the overall configuration of the authentication system 1 according to the second embodiment. The authentication system 1 is used to pass through the gate 60 using face authentication.
  • the authentication system 1 includes an authentication device 10a, an authentication terminal 40, a gate 60, a first camera 410, and a second camera 412.
  • the authentication device 10a and the authentication terminal 40 are communicably connected via a network N.
  • Network N is a wired or wireless communication network.
  • the gate 60 may be a ticket gate at a station, a gate at an airport, a gate at a concert hall, an amusement park, or the like.
  • the gate 60 includes a first gate body 61 and a second gate body 62.
  • the first gate main body 61 and the second gate main body 62 are separated from each other by a predetermined distance in a direction perpendicular to the direction of travel of passersby.
  • Two cameras (a first camera 410 and a second camera 412) are provided on the first gate body 61 and the second gate body 62, respectively.
  • the first camera 410 and the second camera 412 are spaced apart from each other by a predetermined distance in a direction perpendicular to the direction of travel of the passerby.
  • the first camera 410 and the second camera 412 constantly photograph the vicinity of the gate 60 and generate a first image and a second image, respectively. Then, the authentication terminal 40 and the authentication device 10 cooperate to identify the person to be authenticated from the person included in the first image and the second image using parallax, and perform face authentication on the person to be authenticated. The gate 60 is then opened or closed based on the result of face authentication.
  • first camera 410 and the second camera 412 are disposed on the first gate body 61 and the second gate body 62, respectively; It may be arranged regardless of the position of 62.
  • the distance between the first camera 410 and the second camera 412 is preferably 0.5 m or more and 1.5 m or less, and more preferably 0.7 m or more and 1.0 m or less.
  • the distance is 0.5 m or more and 1.5 m or less, it is possible to maintain parallax while ensuring a wide common area of the fields of view of the two cameras, thereby improving the accuracy of identifying the person to be authenticated.
  • the distance is 0.7 m or more and 1.0 m or less, the balance between the common field of view of the camera and the parallax becomes more suitable, so that the identification accuracy of the person to be authenticated is further improved.
  • opening or closing the gate 60 means rotating or sliding the flap 63 to the open or closed state.
  • opening or closing the gate 60 may mean unlocking or locking the flap 63, or may simply mean displaying or outputting a voice indicating whether or not passage is permitted.
  • the flap 63 in the gate 60 is not essential.
  • the authentication terminal 40 is a terminal device connected to the first camera 410 and the second camera 412.
  • the authentication terminal 40 acquires a first image and a second image from a first camera 410 and a second camera 412.
  • the authentication terminal 40 transmits the first image and the second image to the authentication device 10a, and requests the authentication device 10a to perform face authentication.
  • the authentication terminal 40 receives the face authentication result from the authentication device 10a, and controls the opening and closing of the gate 60 based on the face authentication result.
  • the gate 60 and the authentication terminal 40 may be configured as separate devices or may be configured integrally. Further, the gate 60 does not need to have an opening/closing mechanism.
  • the gate 60 may have a pole type instead of having a structure in which the main body is separated into two parts, or may be simply a passage. In this case, the authentication terminal 40 may output whether or not passage is permitted instead of controlling the opening and closing of the gate 60.
  • the authentication device 10a is a specific example of the authentication device 10 of the first embodiment.
  • the authentication device 10a In response to receiving a request for face authentication from the authentication terminal 40, the authentication device 10a identifies the person closest to the gate as the person to be authenticated based on the first image and the second image. The authentication device 10a then performs face authentication on the face area of the person to be authenticated, and transmits the result of the face authentication to the authentication terminal 40.
  • FIG. 4 is a block diagram showing the configuration of the authentication terminal 40 according to the second embodiment together with a first camera 410 and a second camera 412.
  • Authentication terminal 40 includes a storage section 420, a communication section 430, a display section 440, and a control section 460.
  • the storage unit 420 is a storage device that stores programs for realizing each function of the authentication terminal 40.
  • the communication unit 430 is a communication interface with the network N.
  • Display unit 440 is a display device.
  • the control unit 460 controls the hardware included in the authentication terminal 40.
  • the control unit 460 receives the first image and the second image from the first camera 410 and the second camera 412 via the communication unit 430, and transmits the first image and the second image to the authentication device 10a.
  • the control unit 460 may constantly receive supplies from the first camera 410 and the second camera 412.
  • the control unit 460 controls the first camera 410 and the second camera 412 so that the first camera 410 and the second camera 412 photograph a predetermined range of areas based on the gate 60 at approximately the same timing.
  • a first image and a second image may be acquired accordingly. Photographing at substantially the same timing may mean that the photographing timings are the same, or that the difference in photographing timing is less than a predetermined time.
  • the control unit 460 controls opening and closing of the gate 60 based on the result of the face authentication.
  • FIG. 5 is a block diagram showing the configuration of the authentication device 10 according to the second embodiment.
  • the authentication device 10 includes a storage section 100, a memory 110, a communication section 120, an input section 130, and a control section 140.
  • the storage unit 100 is a storage device such as a hard disk or flash memory.
  • the storage unit 100 stores a program 101 and a face information DB 102.
  • the program 101 is a computer program in which processing by the authentication device 10a is implemented.
  • the face information DB 102 stores a user ID that identifies a user and facial feature information of the user in association with each other.
  • Facial feature information is a set of feature points extracted from a facial image.
  • the memory 110 is a volatile storage device such as a RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 140 operates.
  • the communication unit 120 is a communication interface with the network N.
  • the input unit 130 is an input device. Note that the input unit 130 is not essential in the authentication device 10a.
  • the control unit 140 is a processor, that is, a control device that controls each component of the authentication device 10a.
  • the control unit 140 loads the program 101 from the storage unit 100 into the memory 110 and executes the program 101. Thereby, the control unit 140 realizes the functions of the registration unit 141, the acquisition unit 142, the detection unit 143, the target identification unit 144, and the authentication unit 145.
  • the registration unit 141 is also referred to as registration means.
  • the registration unit 141 issues a new user ID when registering face information. Further, the registration unit 141 detects a face area from the registered image for face information registration, extracts feature amounts from the face area, and generates face feature information. The registration unit 141 associates the issued user ID with the facial feature information for registration extracted from the registered image and registers it in the facial information DB 102.
  • the acquisition unit 142 is also referred to as acquisition means.
  • the acquisition unit 142 receives and acquires the first image and the second image from the authentication terminal 40 via the communication unit 120.
  • the acquisition unit 142 supplies the received first image and second image to the detection unit 143.
  • the detection unit 143 is an example of the detection unit 13 of the first embodiment.
  • the detection unit 143 detects a face area of a person from each of the first image and second image received from the authentication terminal 40, and supplies each face area to the target identification unit 144.
  • the detection unit 143 detects a face area for each person and supplies the face area to the target identification unit 144.
  • the target specifying unit 144 is an example of the target specifying unit 14 of the first embodiment.
  • the target specifying unit 144 specifies the face area of the same person included in the first image and the second image, based on the face area of each person acquired from the detecting unit 143.
  • the first image and the second image at this time are images taken at approximately the same timing.
  • the object specifying unit 144 measures the distance between the person who is estimated to be the same person in the first image and the second image and the gate based on the parallax between the first camera 410 and the second camera 412. do.
  • the parallax may be calculated based on the position of the person's face area in the first image and the position of the person's face area in the second image.
  • the target identifying unit 144 identifies the person closest to the gate as the person to be authenticated based on the calculated parallax.
  • the target specifying unit 144 supplies the authentication target person's face area included in the first image or the second image to the authentication unit 145.
  • the authentication unit 145 is an example of the authentication unit 15 of the first embodiment.
  • the authentication unit 145 extracts feature points from the facial area acquired from the target specifying unit 144, and uses this as facial feature information for authentication.
  • the authentication unit 145 then performs face authentication using facial feature information. Specifically, the authentication unit 145 compares the facial feature information extracted from the face area of the person to be authenticated with the facial feature information in the facial information DB 102. Thereby, the authentication unit 145 identifies the user ID with matching facial feature information. Note that the facial feature information matches (match exists) when the matching degree is equal to or higher than a predetermined value.
  • Authentication unit 145 transmits the face authentication result to authentication terminal 40 via communication unit 120.
  • FIG. 6 is a flowchart showing the flow of face information registration processing according to the second embodiment.
  • the registration unit 141 of the authentication device 10 acquires the user's registered image included in the face registration request (S21). For example, the registration unit 141 receives a face registration request via the network N from a user terminal (not shown) used by a user. Next, the registration unit 141 detects a face area included in the registered image (S22). Next, the registration unit 141 extracts feature points from the face area detected in step S22, and uses this as facial feature information (S23). Finally, the registration unit 141 issues a user ID and registers the user ID and facial feature information in association with each other in the facial information DB 102 (S24). Note that the authentication device 10 may receive facial feature information from a face registration request source, and register it in the facial information DB 102 in association with the user ID.
  • FIG. 7 is a flowchart showing the flow of authentication processing according to the second embodiment.
  • the optical axes of the first camera 410 and the second camera 412 are approximately parallel to the traveling direction of the passerby, that is, parallel stereo viewing.
  • the acquisition unit 142 receives and acquires the first image and the second image from the authentication terminal 40 via the communication unit 120 (S31).
  • the detection unit 143 detects the face area of the person from each of the first image and the second image (S32).
  • the target specifying unit 144 estimates the correspondence between the persons detected in both the first image and the second image (S33).
  • FIG. 8 is a diagram showing a first image 500 taken by the first camera 410 according to the second embodiment.
  • FIG. 9 is a diagram showing a second image 502 taken by the second camera 412 according to the second embodiment.
  • the detection unit 143 detects human face areas PA1, PA2, and PA3 from the first image 500.
  • the detection unit 143 also detects the face areas PB1, PB2, and PB3 of the person from the second image 502.
  • the target specifying unit 144 searches for the same person in the first image and the second image using various methods, and estimates the correspondence between the persons detected in both images. Examples of methods for searching for the same person include methods 1 and 2 below.
  • the target identification unit 144 identifies the same person included in the first image 500 and the second image 502 based on the positional relationship between the people included in the first image 500 and the positional relationship between the people included in the second image 502. may be estimated.
  • the direction from the lower end to the upper end of each of the first image 500 and the second image 502 is defined as the +v direction, and the direction from the left end to the right end is defined as the +u direction.
  • the object specifying unit 144 can specify that PA1, PA2, and PA3 are lined up in the order of +v in the first image 500, and that PB1, PB2, and PB3 are lined up in the order of +v in the second image 502. .
  • the target specifying unit 144 can estimate that PA1 and PB1, PA2 and PB2, and PA3 and PB3, which are in the same order in the +v direction, are face areas of the same person.
  • the target specifying unit 144 estimates the same person based on the order in the +v direction, but in addition to or in place of this, it may estimate based on the order in the +u direction. This makes it easy to search for the same person.
  • the target specifying unit 144 may extract the feature amount of the face region of each person included in the first image 500 and the feature amount of the face region of each person included in the second image 502. Then, the target specifying unit 144 selects the first image 500 and the second image 502 based on the difference in the feature amount of the face area between each person included in the first image 500 and each person included in the second image 502. You can search for the same person included in This makes it possible to easily search for the same person and to smoothly carry out subsequent authentication processing.
  • the target specifying unit 144 associates the facial regions of the people estimated to be the same person using method 1 or 2 described above, and proceeds to the next step.
  • the target specifying unit 144 calculates the position of each person based on the parallax between the first image 500 and the second image 502 (S34).
  • FIG. 10 is a diagram for explaining an example of the position calculation method according to the second embodiment.
  • the principle of triangulation is used to calculate the position.
  • the width direction of the passage inside the gate 60 is assumed to be the x-axis direction, and the direction of movement of passersby is assumed to be the y-axis direction.
  • the x-axis direction and the y-axis direction are orthogonal to each other.
  • the distance between the first camera 410 and the second camera 412 in the x-axis direction is L [m].
  • the directions of the optical axes OA1 and OA2 of the first camera 410 and the second camera 412 are substantially parallel to the y-axis direction.
  • Point P in the figure indicates a feature point of the target person, and the coordinates of point P are expressed as (x p , y p ).
  • a point P in real space is projected onto a point M1 (u 1 , v 1 ) in the first image 500.
  • the point P in real space is projected onto the point M2 (u 2 , v 2 ) in the second image 502 .
  • the target specifying unit 144 can calculate the positions of all the people commonly included in the first image 500 and the second image 502 by repeating the process of calculating parallax and the process of calculating the coordinates of that person for each person. Note that the target specifying unit 144 does not necessarily need to calculate the positions of all the users. For example, the target specifying unit 144 may omit calculating the position of a person whose face area is smaller than or equal to a predetermined size. This makes processing more efficient.
  • the target specifying unit 144 specifies the person closest to the gate 60 as the person to be authenticated based on the calculated position of the person (S35). Then, the target specifying unit 144 supplies information on the facial area of the specified authentication subject to the authentication unit 145.
  • the authentication unit 145 performs face verification based on information on the face area of the person to be authenticated (S36). Thereby, the authentication unit 145 obtains a face authentication result. At this time, the authentication unit 145 may perform face matching on both the face area of the authentication subject included in the first image and the face area of the authentication subject included in the second image, or may perform face matching on either one of them. Face matching may also be performed. The authentication unit 145 then transmits the face authentication result to the authentication terminal 40 (S37).
  • FIG. 11 is a flowchart showing the flow of the face matching process (S36 in FIG. 7) according to the second embodiment.
  • the authentication unit 145 extracts facial feature information from the facial area of the person to be authenticated (S41).
  • the authentication unit 145 compares the extracted facial feature information with the facial feature information in the facial information DB 102 (S42). If the matching degree of the facial feature information is equal to or greater than the predetermined value (Yes in S43), the authentication unit 145 determines that face authentication has been successful (S44). On the other hand, if the matching degree of the facial feature information is less than the predetermined value (No in S43), the authentication unit 145 determines that face authentication has failed (S45).
  • the target identification unit 144 identified the person closest to the gate 60 as the person to be authenticated, but instead, the person closest to the gate 60 and who entered the predetermined passage area was identified as the person to be authenticated. May be specified.
  • the target specifying unit 144 may select the person closest to the gate 60 and who has entered within a predetermined distance from the gate 60 as the person to be authenticated. This makes it possible to reduce the number of verification processes that do not contribute to the determination of passing through the gate 60, and to enable efficient authentication.
  • the angle between the optical axis of the first camera 410 and the optical axis of the second camera 412 may be less than 90 degrees. That is, the first camera 410 and the second camera 412 may be arranged such that the optical axis of the first camera 410 and the optical axis of the second camera 412 approach each other toward the front center.
  • FIG. 12 is a diagram for explaining an example of a method for calculating the position of point P in the case of such stereoscopic viewing.
  • the optical axis OA1 of the first camera 410 and the optical axis OA2 of the second camera 412 face toward the front center. Therefore, the common field of view can be made wider than in the case of FIG.
  • point P in real space is projected to point M1 (u 1 , v 1 ) in the first image 500
  • point P in real space is projected to point M2 (u 2 , v 2 ) in the second image 502. be done.
  • the object specifying unit 144 may transform the projection plane (the first image 500 and the second image 502) using a rotation matrix so that the optical axes OA1 and OA2 become parallel. Then, the target specifying unit 144 may calculate the coordinates (x p , y p ) of the point P using the coordinate information of the transformed points M1 and M2 and the principle of triangulation.
  • the object specifying unit 144 can use a method similar to the method of searching for the same person described in FIG. 10. . That is, when it is found that the point P in the real space is projected onto the point M1 (u 1 , v 1 ) in the first image 500, the target specifying unit 144 may limit the search range to the line LN2.
  • the target specifying unit 144 may limit the search range to the line LN1. This makes it possible to efficiently search for the same person.
  • the authentication system 1 has the same effects as the first embodiment. Particularly when the passerby is a child or in a wheelchair, it is difficult to measure the distance between the passerby and the gate using image processing, but in the second embodiment, the distance is measured using parallax. , measurement accuracy is improved.
  • the present disclosure is not limited to the above embodiments, and can be modified as appropriate without departing from the spirit.
  • the authentication device 10a and the authentication terminal 40 are separate devices, but they may be configured as the same device.
  • the first camera 410 and the second camera 412 may take images in response to the presence of a person near the gate 60 being detected by the human sensor. Further, the authentication terminal 40 may transmit a face authentication request to the authentication device 10a in response to detecting that a person is included in the first image and the second image using image recognition or a human sensor.
  • the present disclosure can implement arbitrary processing by causing a processor to execute a computer program.
  • the program includes instructions (or software code) that, when loaded into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored on a non-transitory computer readable medium or a tangible storage medium.
  • computer readable or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD - Including ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or a communication medium.
  • transitory computer-readable or communication media includes electrical, optical, acoustic, or other forms of propagating signals.
  • Detection means for detecting a person from each of a first image and a second image, wherein each of the first image and the second image includes a first camera arranged at a predetermined distance apart in the width direction of the gate; Detecting means, each of which is an image of a photographing area within a predetermined range based on the gate; Based on the parallax between the first image and the second image, the person closest to the gate is selected from at least one of the person detected from the first image and the person detected from the second image as the person to be authenticated.
  • An authentication device comprising: authentication means for controlling biometric authentication for the person to be authenticated.
  • the authentication device according to supplementary note 1, wherein the target specifying means specifies a person who is closest to the gate and has entered a predetermined passage area as the person to be authenticated.
  • the object specifying means determines the parallax between the first camera and the second camera with respect to a person who is presumed to be the same person included in a first image and a second image that have the same photographing timing or a difference in photographing timing that is less than a predetermined time.
  • the authentication device according to supplementary note 1 or 2, which measures the distance between the person and the gate based on.
  • the target specifying means identifies the first image and the second image based on the feature amount of the face area of each person included in the first image and the feature amount of the face area of each person included in the second image.
  • the authentication device according to appendix 3, which estimates the same person included in two images.
  • the target identifying means is configured to identify the same person included in the first image and the second image based on the positional relationship between the people included in the first image and the positional relationship between the people included in the second image.
  • the authentication device described in Appendix 3 that estimates a person.
  • the first camera generates a first image by photographing a photographing area within a predetermined range with the gate as a reference; the second camera generates a second image by photographing a photographing area within a predetermined range with the gate as a reference;
  • the authentication device includes: Detection means for detecting a person from each of the first image and the second image; Based on the parallax between the first image and the second image, the person closest to the gate is selected from at least one of the person detected from the first image and the person detected from the second image as the person to be authenticated.
  • An authentication system comprising: an authentication means for controlling biometric authentication for the person to be authenticated.
  • Appendix 7) The authentication system according to appendix 6, wherein the predetermined distance is 0.5 m or more and 1.5 m or less.
  • Appendix 8) The authentication system according to appendix 6, wherein the angle between the optical axis of the first camera and the optical axis of the second camera is less than 90 degrees.
  • Appendix 9) Authentication that acquires the first image and the second image from each of the first camera and the second camera, transmits the first image and the second image to the authentication device, and receives a face authentication result from the authentication device.
  • Authentication System 10 10a Authentication Device 13 Detection Unit 14 Target Specification Unit 15 Authentication Unit 100 Storage Unit 101 Program 102 Face Information DB 110 memory 120 communication section 130 input section 140 control section 141 registration section 142 acquisition section 143 detection section 144 target identification section 145 authentication section 40 authentication terminal 410 first camera 412 second camera 420 storage section 430 communication section 440 display section 460 control section 60 Gate 61 First Gate Body 62 Second Gate Body 63 Flap 64 Reading Unit 500 First Image 502 Second Image N Network

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Collating Specific Patterns (AREA)

Abstract

認証装置は、第1画像及び第2画像の各々から人物を検出する検出部であって、第1画像及び第2画像の各々は、ゲート(60)の幅方向において所定距離だけ離隔して配置された第1カメラ(410)及び第2カメラ(412)の各々が、ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出部と、第1画像及び第2画像の視差に基づいて、第1画像から検出される人物及び第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定部と、認証対象者に対する生体認証を制御する認証部とを備える。

Description

認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体
 本開示は、認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体に関する。
 ゲートに近づいてくる者に対して生体認証をする、いわゆるウォークスルー認証により、進入可否を判定する方法が提案されている。例えば特許文献1には、移動する被認証体について、第1の地点で取得した生体情報から抽出した特徴情報を用いて特徴情報の候補を選択し、選択した候補と、駅の改札の手前で取得された生体情報とを用いて認証処理を行う認証システムが開示されている。
国際公開第2020/084748号公報
 ウォークスルー認証においては複数の人物が撮影画像に映り込むことがあり、撮影画像から認証対象者を正確に捉えることが求められている。
 本開示の目的は、上述した課題に鑑み、認証対象者を精度よく捉えて認証処理を行うことが可能な認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体を提供することにある。
 本開示の一態様にかかる認証装置は、第1画像及び第2画像の各々から人物を検出する検出手段であって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出手段と、前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定手段と、前記認証対象者に対する生体認証を制御する認証手段とを備える。
 本開示の一態様にかかる認証システムは、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラと、認証装置とを備える。前記認証装置は、前記第1画像及び第2画像の各々から人物を検出する検出手段であって、前記第1画像及び第2画像の各々は、前記第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出手段と、前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定手段と、前記認証対象者に対する生体認証を制御する認証手段とを有する。
 本開示の一態様にかかる認証方法は、第1画像及び第2画像の各々から人物を検出することであって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出することと、前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定することと、前記認証対象者に対する生体認証を制御することとを備える。
 本開示の一態様にかかる非一時的なコンピュータ可読媒体は、第1画像及び第2画像の各々から人物を検出処理であって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出処理と、前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定処理と、前記認証対象者に対する生体認証を制御する認証処理とをコンピュータに実行させるためのプログラムが格納される。
 本開示により、認証対象者を精度よく捉えて認証処理を行うことが可能な認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体を提供できる。
実施形態1にかかる認証装置の構成を示すブロック図である。 実施形態1にかかる認証方法の流れの一例を示すフローチャートである。 実施形態2にかかる認証システムの全体構成を示すブロック図である。 実施形態2にかかる認証端末の構成を、第1カメラ及び第2カメラとともに示すブロック図である。 実施形態2にかかる認証装置の構成を示すブロック図である。 実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。 実施形態2にかかる認証処理の流れを示すフローチャートである。 実施形態2にかかる第1カメラが撮影した第1画像を示す図である。 実施形態2にかかる第2カメラが撮影した第2画像を示す図である。 実施形態2にかかる位置の算出方法の一例を説明するための図である。 実施形態2にかかる顔照合処理の流れを示すフローチャートである。 実施形態2の変形例にかかる位置の算出方法の一例を説明するための図である。
 以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
 <実施形態1>
 次に本開示の実施形態1について説明する。図1は、実施形態1にかかる認証装置10の構成を示すブロック図である。認証装置10は、ゲートに進入する予定の人物のうちゲートに最も近い人物を、生体認証の認証対象者として捉える1又は複数の装置である。
 ゲートから人物までの距離は、撮影画像に含まれる人物の顔領域等の部位の大きさや全身領域の大きさにより推定し得るが、このような部位の大きさや背丈には個人差があるため、距離を正確に把握することが難しい。本実施形態1では、認証装置10は、2つのカメラの視差によりゲートから人物までの距離を把握する。
 ゲート付近には第1カメラ及び第2カメラ(不図示)が配設される。第1カメラ及び第2カメラは、ゲート内の通路の幅方向、つまり近づいてくる者の進行方向と直交する方向において所定距離だけ離隔して配置されている。
 認証装置10は、検出部13と、対象特定部14と、認証部15とを備える。
 検出部13は、検出手段とも称する。検出部13は、第1画像及び第2画像の各々から人物を検出する。第1画像は、第1カメラがゲートを基準とする所定範囲の撮影領域を撮影することにより生成された画像である。第2画像は、第2カメラが、ゲートを基準とする所定範囲の撮影領域を撮影することにより生成した画像である。
 対象特定部14は、対象特定手段とも称する。対象特定部14は、第1画像及び第2画像の視差に基づいて、第1画像から検出される人物及び第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する。
 認証部15は、認証手段とも称する。認証部15は、特定した認証対象者に対する生体認証を制御する。
 ここで生体認証は、顔認証、虹彩認証、歩容認証又はその他の生体認証である。したがって生体情報は、顔情報、虹彩情報、歩容情報又はその他の生体情報である。以下の説明では、生体情報は顔情報であるとするがこれに限らない。以下では顔情報は、顔画像及び顔画像から抽出された顔特徴情報の総称として用いられる。生体認証を制御するとは、認証装置10が生体認証を実施することであってよい。あるいは認証装置10が他の装置(不図示)に対して生体認証を要求して生体認証結果をその装置から受信することであってもよい。
 図2は、実施形態1にかかる認証方法の流れの一例を示すフローチャートである。まず認証装置10は、第1カメラが撮影した第1画像と、第2カメラが撮影した第2画像とを取得する(S10)。例えば認証装置10が第1カメラ及び第2カメラに接続されている場合、認証装置10は第1カメラ及び第2カメラから直接第1画像及び第2画像を取得してよい。第1カメラ及び第2カメラに他の認証端末(不図示)が接続している場合、認証装置10は、当該認証端末から第1画像及び第2画像を受信してもよいし、当該認証端末から第1画像及び第2画像の各々に含まれる人物領域や顔領域の切出し画像を受信してもよい。
 次に検出部13は、第1画像及び第2画像の各々から画像認識により人物を検出する(S11)。次に対象特定部14は、第1画像と第2画像との間の視差に基づいて、最もゲートに近い人物を認証対象者として特定する(S12)。
 次に認証部15は、特定した認証対象者に対する生体認証を制御する(S13)。例えば認証部15は、特定した認証対象者の顔領域から特徴量を抽出し、当該特徴量と予め登録されている特徴量とを照合することで、顔認証を実施してよい。
 そして認証部15は認証結果を出力する(S14)。
 このように実施形態1にかかる認証装置10によれば、ゲート通過の際の生体認証において、2つのカメラの視差により認証対象者を精度よく捉えて認証処理を行うことが可能となる。
 尚、2つのカメラを用いることで死角を減らすことができる。例えばゲート手前の側方から人物が進入した場合にも、認証装置10は、ゲートに最接近している人物がゲートに到達する前に比較的余裕をもって捉えることができる。これにより認証タイミングの遅延を回避できる。
 <実施形態2>
 次に本開示の実施形態2について説明する。実施形態2は、実施形態1の具体例である。図3は、実施形態2にかかる認証システム1の全体構成を示すブロック図である。認証システム1は、顔認証を利用してゲート60を通過するために用いられる。
 認証システム1は、認証装置10aと、認証端末40と、ゲート60と、第1カメラ410及び第2カメラ412とを備える。認証装置10a及び認証端末40はネットワークNを介して通信可能に接続されている。ネットワークNは、有線又は無線の通信ネットワークである。
 ゲート60は、駅の改札、空港のゲート、又はコンサートホールや遊園地のゲート等であってよい。ゲート60は、第1のゲート本体61と、第2のゲート本体62とを備える。
 第1のゲート本体61及び第2のゲート本体62は、通行者の進行方向に対して直交する方向に所定の間隔をあけて離隔している。第1のゲート本体61及び第2のゲート本体62上には2つのカメラ(第1カメラ410,第2カメラ412)がそれぞれ配設される。つまり第1カメラ410及び第2カメラ412は、通行者の進行方向に対して直交する方向に所定の間隔をあけて離隔している。
 第1カメラ410及び第2カメラ412はゲート60付近を常時撮影し、それぞれ第1画像及び第2画像を生成する。そして認証端末40及び認証装置10が連携して、第1画像及び第2画像に含まれる人物から視差を用いて認証対象者を特定し、認証対象者について顔認証を行うようになっている。そしてゲート60は、顔認証の結果に基づいて開放又は閉鎖する。
 尚、第1カメラ410及び第2カメラ412はそれぞれ、第1のゲート本体61及び第2のゲート本体62の上に配設されるとしたが、第1のゲート本体61及び第2のゲート本体62の位置に関わらず配設されてもよい。第1カメラ410と第2カメラ412との間の距離は、0.5m以上1.5m以下であることが好ましく、0.7m以上1.0m以下であることがより好ましい。上記距離が0.5m以上1.5m以下である場合、2つのカメラの視野の共通領域を広く確保しつつ視差を保つことできるため認証対象者の特定精度が向上する。また上記距離が0.7m以上1.0m以下である場合、カメラの視野の共通領域と視差とのバランスがより好適になるため認証対象者の特定精度がさらに向上する。
 ここでゲート60を開放又は閉鎖するとは、フラップ63を開状態又は閉状態に回転又は摺動させることを意味する。しかしゲート60を開放又は閉鎖するとは、フラップ63を解錠又は施錠することであってもよいし、単に通過許否を表示又は音声出力することであってよい。尚、ゲート60においてフラップ63は必須ではない。
 認証端末40は、第1カメラ410及び第2カメラ412に接続される端末装置である。認証端末40は、第1カメラ410及び第2カメラ412から第1画像及び第2画像を取得する。認証端末40は、第1画像及び第2画像を認証装置10aに送信し、認証装置10aに対して顔認証を要求する。認証端末40は、認証装置10aからの顔認証の結果を受信し、顔認証の結果に基づいてゲート60の開閉を制御する。
 尚、ゲート60と認証端末40とは、別個の装置として構成されてもよいし、一体的に構成されてもよい。またゲート60は開閉機構を有さなくてよい。例えばゲート60は、本体が2つに分離した構成ではなくポール型であってもよいし、単に通路であってもよい。この場合、認証端末40は、ゲート60の開閉を制御する代わりに通過許否を出力してよい。
 認証装置10aは、実施形態1の認証装置10の具体例である。認証装置10aは、認証端末40から顔認証の要求を受信したことに応じて、第1画像及び第2画像に基づいて最もゲートに近い人物を認証対象者として特定する。そして認証装置10aは、認証対象者の顔領域について顔認証を実行し、顔認証の結果を認証端末40に送信する。
 図4は、実施形態2にかかる認証端末40の構成を第1カメラ410及び第2カメラ412とともに示すブロック図である。認証端末40は、記憶部420と、通信部430と、表示部440と、制御部460とを備える。
 記憶部420は、認証端末40の各機能を実現するためのプログラムが格納される記憶装置である。通信部430は、ネットワークNとの通信インタフェースである。表示部440は、表示装置である。制御部460は、認証端末40が有するハードウェアの制御を行う。
 例えば制御部460は、通信部430を介して第1カメラ410及び第2カメラ412から第1画像及び第2画像の供給を受け、第1画像及び第2画像を認証装置10aに送信する。このとき制御部460は、第1カメラ410及び第2カメラ412から常時供給を受けてもよい。しかし制御部460は、第1カメラ410及び第2カメラ412がゲート60を基準とする所定範囲の領域を略同じタイミングで撮影するように第1カメラ410及び第2カメラ412を制御し、撮影に応じて第1画像及び第2画像を取得してもよい。略同じタイミングで撮影するとは、撮影タイミングが同じ、又は撮影タイミングの差が所定時間未満であってよい。また制御部460は、通信部430が認証装置10aから顔認証の結果を受信したことに応じて、顔認証の結果に基づいてゲート60の開閉を制御する。
 図5は、実施形態2にかかる認証装置10の構成を示すブロック図である。認証装置10は、記憶部100と、メモリ110と、通信部120と、入力部130と、制御部140とを備える。
 記憶部100は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部100は、プログラム101及び顔情報DB102を記憶する。プログラム101は、認証装置10aによる処理が実装されたコンピュータプログラムである。
 顔情報DB102は、ユーザを識別するユーザIDと当該ユーザの顔特徴情報とを対応付けて記憶する。顔特徴情報は、顔画像から抽出された特徴点の集合である。
 メモリ110は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部140の動作時に一時的に情報を保持するための記憶領域である。通信部120は、ネットワークNとの通信インタフェースである。入力部130は入力装置である。尚、認証装置10aにおいて入力部130は必須ではない。
 制御部140は、認証装置10aの各構成を制御するプロセッサつまり制御装置である。制御部140は、記憶部100からプログラム101をメモリ110へ読み込ませ、プログラム101を実行する。これにより制御部140は、登録部141、取得部142、検出部143、対象特定部144、及び認証部145の機能を実現する。
 登録部141は、登録手段とも称する。登録部141は、顔情報の登録に際して、ユーザIDを新規に発行する。また登録部141は、顔情報登録用の登録画像から顔領域を検出し、顔領域から特徴量を抽出し、顔特徴情報を生成する。登録部141は、発行したーザIDと、登録画像から抽出した登録用の顔特徴情報とを対応付けて顔情報DB102へ登録する。
 取得部142は、取得手段とも称する。取得部142は、通信部120を介して、第1画像及び第2画像を認証端末40から受信し、取得する。取得部142は、受信した第1画像及び第2画像を検出部143に供給する。
 検出部143は、実施形態1の検出部13の一例である。検出部143は、認証端末40から受信した第1画像及び第2画像の各々から人物の顔領域を検出し、各顔領域を対象特定部144に供給する。第1画像又は第2画像に複数の人物が含まれている場合は、検出部143は、各人物について顔領域を検出して対象特定部144に供給する。
 対象特定部144は、実施形態1の対象特定部14の一例である。まず対象特定部144は、検出部143から取得した各人物の顔領域に基づいて、第1画像及び第2画像に含まれる同一人物の顔領域を特定する。このときの第1画像及び第2画像は、略同じタイミングで撮影された画像である。次に対象特定部144は、第1画像及び第2画像において、同一人物と推定される人物について、第1カメラ410及び第2カメラ412の視差に基づいて、その人物とゲートとの距離を測定する。視差は、第1画像中のその人物の顔領域の位置と第2画像中のその人物の顔領域の位置とに基づいて算出されてよい。そして対象特定部144は、算出した視差に基づいて、最もゲートに近い人物を認証対象者として特定する。対象特定部144は、第1画像又は第2画像に含まれる認証対象者の顔領域を認証部145に供給する。
 認証部145は、実施形態1の認証部15の一例である。認証部145は、対象特定部144から取得した顔領域から特徴点を抽出し、これを認証用の顔特徴情報とする。そして認証部145は顔特徴情報を用いた顔認証を行う。具体的には、認証部145は、認証対象者の顔領域から抽出された顔特徴情報と、顔情報DB102内の顔特徴情報との照合を行う。これにより認証部145は、顔特徴情報が一致したユーザIDを特定する。尚、顔特徴情報が一致する(一致有)とは、一致度が所定値以上である場合をいうものとする。認証部145は、顔認証の結果を、通信部120を介して認証端末40に送信する。
 図6は、実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。まず、認証装置10の登録部141は、顔登録要求に含まれるユーザの登録画像を取得する(S21)。例えば登録部141は、顔登録要求を、ユーザが使用するユーザ端末(不図示)からネットワークNを介して受け付ける。次に登録部141は、登録画像に含まれる顔領域を検出する(S22)。次に登録部141は、ステップS22で検出した顔領域から特徴点を抽出し、これを顔特徴情報とする(S23)。最後に登録部141は、ユーザIDを発行し、当該ユーザIDと顔特徴情報とを対応付けて顔情報DB102に登録する(S24)。尚、認証装置10は、顔登録要求元から顔特徴情報を受信し、ユーザIDと対応付けて顔情報DB102に登録してもよい。
 図7は、実施形態2にかかる認証処理の流れを示すフローチャートである。以下では第1カメラ410及び第2カメラ412の光軸が通行者の進行方向と略平行である、つまり平行ステレオ視の場合について説明する。
 まず取得部142は、通信部120を介して、第1画像及び第2画像を認証端末40から受信し、取得する(S31)。次に検出部143は、第1画像及び第2画像の各々から人物の顔領域を検出する(S32)。そして対象特定部144は、第1画像及び第2画像の双方で検出された人物の対応関係を推定する(S33)。
 ここで図8~図9を用いて、S32~S33に示す処理を具体的に説明する。図8は、実施形態2にかかる第1カメラ410が撮影した第1画像500を示す図である。図9は、実施形態2にかかる第2カメラ412が撮影した第2画像502を示す図である。
 例えば検出部143は、第1画像500から、人物の顔領域PA1,PA2,PA3を検出する。また検出部143は、第2画像502から、人物の顔領域PB1,PB2,PB3を検出する。
 次にS33において、対象特定部144は、種々の方法を用いて第1画像及び第2画像において同一人物を探索し、双方で検出された人物の対応関係を推定する。同一人物を探索する方法は、例えば以下の方法1~方法2が挙げられる。
 (方法1)
 対象特定部144は第1画像500に含まれる人物同士の位置関係と、第2画像502に含まれる人物同士の位置関係とに基づいて、第1画像500及び第2画像502に含まれる同一人物を推定してよい。第1画像500及び第2画像502の各々の下端から上端に向かう方向を+v方向とし、左端から右端に向かう方向を+u方向とする。このとき対象特定部144は、第1画像500の+v方向においてPA1,PA2,PA3の順に並んでおり、第2画像502の+v方向においてPB1,PB2,PB3の順に並んでいることを特定し得る。これにより対象特定部144は、+v方向における順番が同じPA1とPB1、PA2とPB2、PA3とPB3が同一人物の顔領域であることを推定できる。上述の例では対象特定部144が+v方向における順番に基づいて同一人物を推定したが、これに加えて又はこれに代えて+u方向における順番に基づいて推定してもよい。これにより容易に同一人物を探索できる。
 (方法2)
 対象特定部144は、第1画像500に含まれる各人物の顔領域の特徴量と、第2画像502に含まれる各人物の顔領域の特徴量とを抽出してよい。そして対象特定部144は、第1画像500に含まれる各人物と第2画像502に含まれる各人物との間の顔領域の特徴量の差分に基づいて、第1画像500及び第2画像502に含まれる同一人物を探索してよい。これにより容易に同一人物を探索できるとともに、後続の認証処理を円滑に実施できる。
 対象特定部144は、上述の方法1又は2により同一人物と推定した人物の顔領域を互いに対応付けて、次のステップに処理を進める。
 図7に戻り説明を続ける。対象特定部144は、各人物について、第1画像500及び第2画像502の間の視差に基づいて各人物の位置を算出する(S34)。
 ここで図10を用いて、S34に示す処理を具体的に説明する。図10は、実施形態2にかかる位置の算出方法の一例を説明するための図である。位置の算出には、三角測量の原理が用いられる。
 ここでゲート60内の通路の幅方向をx軸方向、通行者の進行方向をy軸方向とする。x軸方向及びy軸方向は、互いに直交する。x軸方向における第1カメラ410及び第2カメラ412の間の距離はL[m]である。第1カメラ410及び第2カメラ412の光軸OA1,OA2の方向は、y軸方向と略平行である。図中の点Pは対象となる人物の特徴点を示し、点Pの座標は(x,y)で表される。
 第1カメラ410が対象となる人物を撮影した場合、実空間の点Pが第1画像500において点M1(u,v)に投影される。また第2カメラ412が対象となる人物を撮影した場合、実空間の点Pが第2画像502において点M2(u,v)に投影される。
 S34においてまず対象特定部144は、左右のカメラの視差Dを算出する。具体的に対象特定部144は、以下の式を用いて視差Dを算出してよい。
 D=|u-u
 そして対象特定部144は、点Pの実空間における座標(x,y)を、視差D、左右のカメラ間の距離L及び焦点距離fを用いて算出する。具体的には対象特定部144は、以下の式を用いて座標(x,y)を算出してよい。
 x=L/D
 y=(f×L)/D
 対象特定部144は、人物ごとに視差の算出処理及びその人物の座標の算出処理を繰り返すことで、第1画像500及び第2画像502に共通して含まれる人物全員の位置を算出できる。尚、対象特定部144は、必ずしも全員について位置を算出しなくてもよい。例えば対象特定部144は、顔領域の大きさが所定サイズ以下の人物については位置の算出を省略してもよい。これにより処理が効率化する。
 図7に戻り説明を続ける。対象特定部144は、算出した人物の位置に基づいて、最もゲート60に近い人物を認証対象者として特定する(S35)。そして対象特定部144は、特定した認証対象者の顔領域の情報を認証部145に供給する。
 認証部145は、認証対象者の顔領域の情報に基づいて顔照合を行う(S36)。これにより認証部145は顔認証結果を得る。尚、このとき認証部145は、第1画像に含まれる認証対象者の顔領域及び第2画像に含まれる認証対象者の顔領域の両方について顔照合を行ってもよいし、いずれか一方について顔照合を行ってもよい。そして認証部145は顔認証結果を認証端末40に送信する(S37)。
 図11は、実施形態2にかかる顔照合処理(図7のS36)の流れを示すフローチャートである。まず認証部145は、認証対象者の顔領域から顔特徴情報を抽出する(S41)。次に認証部145は、抽出した顔特徴情報と、顔情報DB102の顔特徴情報とを照合する(S42)。顔特徴情報の一致度が所定値以上である場合(S43でYes)、認証部145は、顔認証に成功したと判定する(S44)。一方、顔特徴情報の一致度が所定値未満である場合(S43でNo)、認証部145は、顔認証に失敗したと判定する(S45)。
 尚、S33において同一人物を探索する方法として方法1~2を挙げたが、これに限らない。図10に示すように、例えば実空間内の点Pが第1画像500において点M1(u,v)に投影されることが分かった場合、第2画像502においてはv=vである線LN2上のどこかに投影される。したがって対象特定部144は、探索範囲を線LN2上に限定することで、同一人物を効率的に探索できる。また反対に、実空間内の点Pが第2画像502において点M2(u,v)に投影されることが分かった場合、第1画像500においてはv=vである線LN1上のどこかに投影される。したがって対象特定部144は、探索範囲を線LN1上に限定することで、同一人物を効率的に探索できる。
 またS35において対象特定部144は最もゲート60に近い人物を認証対象者として特定したが、これに代えて最もゲート60に近く、かつ予め定められた通過領域内に侵入した人物を認証対象者として特定してもよい。例えば対象特定部144は、最もゲート60に近い人物であって、ゲート60から所定距離以内に侵入した人物を認証対象者としてよい。これによりゲート60の通過判定に寄与しない照合処理の数を減らすことができ、効率的な認証が可能となる。
 また図7及び図10では平行ステレオ視の場合について説明したが、第1カメラ410の光軸と第2カメラ412の光軸との間の角度は90度未満であってもよい。つまり第1カメラ410の光軸と第2カメラ412の光軸とが前方中央に向かって近接するように、第1カメラ410及び第2カメラ412が配設されていてよい。
 図12は、このような立体視の場合の点Pの位置の算出方法の一例を説明するための図である。第1カメラ410の光軸OA1と第2カメラ412の光軸OA2とが前方中央を向いている。したがって図10の場合と比べて視野の共通領域を広くすることができる。
 この場合も、実空間の点Pが第1画像500において点M1(u,v)に投影され、実空間の点Pが第2画像502において点M2(u,v)に投影される。この場合、対象特定部144は光軸OA1,OA2が平行になるように回転行列を用いて投影面(第1画像500及び第2画像502)を変換してよい。そして対象特定部144は、変換後の点M1,M2の座標情報と三角測量の原理とを用いて点Pの座標(x,y)を算出してよい。
 ここで図12において、2つのカメラは互いに異なる位置にあるため、一方のカメラから他方のカメラを見ることができ、相手方のカメラは点E1,E2に投影される。図12においては、線LN1は点E1と点M1とを通り、線LN2は点E2と点M2とを通る。線LN1,線LN2はエピポーラ線と称される。
 2つのカメラが同じ人物の顔領域を捕捉する場合、顔領域は互いのエピポーラ線上に乗る。このため、S33において例示した方法1~2を用いなくても2つのカメラの位置関係が分かれば、対象特定部144は図10で記載した同一人物の探索方法と同様の方法を用いることができる。すなわち実空間内の点Pが第1画像500において点M1(u,v)に投影されることが分かった場合、対象特定部144は探索範囲を線LN2に限定してよい。また実空間内の点Pが第2画像502において点M2(u,v)に投影されることが分かった場合、対象特定部144は探索範囲を線LN1に限定してよい。これにより同一人物を効率的に探索できる。
 このように実施形態2にかかる認証システム1は、実施形態1と同様の効果を奏する。特に通行者が子どもや車いすに乗っている場合は、通行者とゲートとの距離を画像処理により測定することが困難であったが、本実施形態2では視差を利用して距離を測定するため、測定精度が向上する。
 尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば上述の実施形態2では、認証装置10aと認証端末40とを別個の装置であるとしたが、同一の装置で構成されていてもよい。
 また第1カメラ410及び第2カメラ412は、人感センサがゲート60付近に人がいることを検知したことに応じて撮影するとしてもよい。また認証端末40は、画像認識や人感センサにより第1画像及び第2画像に人物が含まれることを検知したことに応じて、認証装置10aに顔認証要求を送信してもよい。
 本開示は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することが可能である。
 上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
   (付記1)
 第1画像及び第2画像の各々から人物を検出する検出手段であって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出手段と、
 前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定手段と、
 前記認証対象者に対する生体認証を制御する認証手段と
 を備える認証装置。
   (付記2)
 前記対象特定手段は、前記最もゲートに近い人物であって、予め定められた通過領域内に進入した人物を、前記認証対象者として特定する
 付記1に記載の認証装置。
   (付記3)
 前記対象特定手段は、撮影タイミングが同じ、又は撮影タイミングの差が所定時間未満の第1画像及び第2画像に含まれる同一人物と推定される人物について、前記第1カメラ及び第2カメラの視差に基づいて、その人物と前記ゲートとの距離を測定する
 付記1又は2に記載の認証装置。
   (付記4)
 前記対象特定手段は、前記第1画像に含まれる各人物の顔領域の特徴量と、前記第2画像に含まれる各人物の顔領域の特徴量とに基づいて、前記第1画像及び前記第2画像に含まれる同一人物を推定する
 付記3に記載の認証装置。
   (付記5)
 前記対象特定手段は、前記第1画像に含まれる人物同士の位置関係と、前記第2画像に含まれる人物同士の位置関係とに基づいて、前記第1画像及び前記第2画像に含まれる同一人物を推定する
 付記3に記載の認証装置。
   (付記6)
 ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラと、
 認証装置とを備え、
 前記第1カメラは、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影することにより第1画像を生成し、
 前記第2カメラは、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影することにより第2画像を生成し、
 前記認証装置は、
 第1画像及び第2画像の各々から人物を検出する検出手段と、
 前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定手段と、
 前記認証対象者に対する生体認証を制御する認証手段と
 を有する、認証システム。
   (付記7)
 前記所定距離は、0.5m以上1.5m以下である
 付記6に記載の認証システム。
   (付記8)
 前記第1カメラの光軸と、前記第2カメラの光軸との間の角度は、90度未満である、付記6に記載の認証システム。
   (付記9)
 前記第1カメラ及び第2カメラの各々から前記第1画像及び第2画像を取得し、前記第1画像及び第2画像を前記認証装置に送信し、前記認証装置から顔認証結果を受信する認証端末をさらに備える
 付記6又は7に記載の認証システム。
   (付記10)
 第1画像及び第2画像の各々から人物を検出することであって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出することと、
 前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定することと、
 前記認証対象者に対する生体認証を制御することと
 を備える認証方法。
   (付記11)
 第1画像及び第2画像の各々から人物を検出処理であって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出処理と、
 前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定処理と、
 前記認証対象者に対する生体認証を制御する認証処理と
 をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
 1 認証システム
 10,10a 認証装置
 13 検出部
 14 対象特定部
 15 認証部
 100 記憶部
 101 プログラム
 102 顔情報DB
 110 メモリ
 120 通信部
 130 入力部
 140 制御部
 141 登録部
 142 取得部
 143 検出部
 144 対象特定部
 145 認証部
 40 認証端末
 410 第1カメラ
 412 第2カメラ
 420 記憶部
 430 通信部
 440 表示部
 460 制御部
 60 ゲート
 61 第1のゲート本体
 62 第2のゲート本体
 63 フラップ
 64 読取部
 500 第1画像
 502 第2画像
 N ネットワーク

Claims (11)

  1.  第1画像及び第2画像の各々から人物を検出する検出手段であって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出手段と、
     前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定手段と、
     前記認証対象者に対する生体認証を制御する認証手段と
     を備える認証装置。
  2.  前記対象特定手段は、前記最もゲートに近い人物であって、予め定められた通過領域内に進入した人物を、前記認証対象者として特定する
     請求項1に記載の認証装置。
  3.  前記対象特定手段は、撮影タイミングが同じ、又は撮影タイミングの差が所定時間未満の第1画像及び第2画像に含まれる同一人物と推定される人物について、前記第1カメラ及び第2カメラの視差に基づいて、その人物と前記ゲートとの距離を測定する
     請求項1又は2に記載の認証装置。
  4.  前記対象特定手段は、前記第1画像に含まれる各人物の顔領域の特徴量と、前記第2画像に含まれる各人物の顔領域の特徴量とに基づいて、前記第1画像及び前記第2画像に含まれる同一人物を推定する
     請求項3に記載の認証装置。
  5.  前記対象特定手段は、前記第1画像に含まれる人物同士の位置関係と、前記第2画像に含まれる人物同士の位置関係とに基づいて、前記第1画像及び前記第2画像に含まれる同一人物を推定する
     請求項3に記載の認証装置。
  6.  ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラと、
     認証装置とを備え、
     前記第1カメラは、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影することにより第1画像を生成し、
     前記第2カメラは、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影することにより第2画像を生成し、
     前記認証装置は、
     第1画像及び第2画像の各々から人物を検出する検出手段と、
     前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定手段と、
     前記認証対象者に対する生体認証を制御する認証手段と
     を有する、認証システム。
  7.  前記所定距離は、0.5m以上1.5m以下である、
     請求項6に記載の認証システム。
  8.  前記第1カメラの光軸と、前記第2カメラの光軸との間の角度は、90度未満である、
     請求項6に記載の認証システム。
  9.  前記第1カメラ及び第2カメラの各々から前記第1画像及び第2画像を取得し、前記第1画像及び第2画像を前記認証装置に送信し、前記認証装置から顔認証結果を受信する認証端末をさらに備える
     請求項6又は7に記載の認証システム。
  10.  第1画像及び第2画像の各々から人物を検出することであって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出することと、
     前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定することと、
     前記認証対象者に対する生体認証を制御することと
     を備える認証方法。
  11.  第1画像及び第2画像の各々から人物を検出処理であって、前記第1画像及び第2画像の各々は、ゲートの幅方向において所定距離だけ離隔して配置された第1カメラ及び第2カメラの各々が、前記ゲートを基準として予め定められた範囲内の撮影領域を撮影した画像である、検出処理と、
     前記第1画像及び前記第2画像の視差に基づいて、前記第1画像から検出される人物及び前記第2画像から検出される人物のうち少なくともいずれかから、最もゲートに近い人物を認証対象者として特定する対象特定処理と、
     前記認証対象者に対する生体認証を制御する認証処理と
     をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2022/023776 2022-06-14 2022-06-14 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体 WO2023242948A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023776 WO2023242948A1 (ja) 2022-06-14 2022-06-14 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023776 WO2023242948A1 (ja) 2022-06-14 2022-06-14 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023242948A1 true WO2023242948A1 (ja) 2023-12-21

Family

ID=89192674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023776 WO2023242948A1 (ja) 2022-06-14 2022-06-14 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023242948A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279455A (ja) * 2001-03-21 2002-09-27 Toshiba Corp 自動改札機
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP2007148987A (ja) * 2005-11-30 2007-06-14 Toshiba Corp 顔認証システムおよび入退場管理システム
US20170053435A1 (en) * 2015-08-17 2017-02-23 Cubic Corporation 3d face reconstruction from gate camera
JP2019149061A (ja) * 2018-02-28 2019-09-05 パナソニックIpマネジメント株式会社 施設内監視システムおよび施設内監視方法
JP2021018548A (ja) * 2019-07-18 2021-02-15 日本信号株式会社 ゲート装置
WO2021186628A1 (ja) * 2020-03-18 2021-09-23 日本電気株式会社 ゲート装置、認証システム、ゲート制御方法及び記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279455A (ja) * 2001-03-21 2002-09-27 Toshiba Corp 自動改札機
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP2007148987A (ja) * 2005-11-30 2007-06-14 Toshiba Corp 顔認証システムおよび入退場管理システム
US20170053435A1 (en) * 2015-08-17 2017-02-23 Cubic Corporation 3d face reconstruction from gate camera
JP2019149061A (ja) * 2018-02-28 2019-09-05 パナソニックIpマネジメント株式会社 施設内監視システムおよび施設内監視方法
JP2021018548A (ja) * 2019-07-18 2021-02-15 日本信号株式会社 ゲート装置
WO2021186628A1 (ja) * 2020-03-18 2021-09-23 日本電気株式会社 ゲート装置、認証システム、ゲート制御方法及び記憶媒体

Similar Documents

Publication Publication Date Title
US11023757B2 (en) Method and apparatus with liveness verification
JP2007516503A (ja) 3次元モデリングを使用した顔識別認証
CN110503760B (zh) 门禁控制方法及门禁系统
JPWO2010050206A1 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
JP6601513B2 (ja) 情報処理装置
KR101821144B1 (ko) 깊이정보 기반의 안면인식 출입통제시스템
TW201727537A (zh) 人臉識別系統及人臉識別方法
US20150161435A1 (en) Frontal face detection apparatus and method using facial pose
WO2019216091A1 (ja) 顔認証装置、顔認証方法および顔認証システム
US20230368583A1 (en) Authentication device, authentication method, and recording medium
US20180276452A1 (en) Face authentication device having database with small storage capacity
JP2000005150A (ja) 虹彩撮像装置及び、その虹彩撮像方法
JP2009003866A (ja) 顔認証装置
JP7396375B2 (ja) ゲートシステム、ゲート装置、その制御方法、およびプログラム
JP2013167986A (ja) 画像認識システム、画像認識方法
KR102550673B1 (ko) 방문객 출입 통계 분석 방법 및 장치
JP5606948B2 (ja) 顔画像認証装置
WO2023242948A1 (ja) 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体
JP2017044778A (ja) 認証装置
JP2020077399A (ja) 情報処理装置
JP7400975B2 (ja) 顔認証方法
KR101470939B1 (ko) 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법
US20220406094A1 (en) Authentication apparatus, authentication method and recording medium
WO2019151116A1 (ja) 情報処理装置
JP2005140754A (ja) 人物検知方法、監視システム、およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946768

Country of ref document: EP

Kind code of ref document: A1