WO2021166064A1 - ゲート装置 - Google Patents

ゲート装置 Download PDF

Info

Publication number
WO2021166064A1
WO2021166064A1 PCT/JP2020/006212 JP2020006212W WO2021166064A1 WO 2021166064 A1 WO2021166064 A1 WO 2021166064A1 JP 2020006212 W JP2020006212 W JP 2020006212W WO 2021166064 A1 WO2021166064 A1 WO 2021166064A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
gate device
gate
illumination
passport
Prior art date
Application number
PCT/JP2020/006212
Other languages
English (en)
French (fr)
Inventor
富美 入江
義崇 吉村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022501433A priority Critical patent/JP7276591B2/ja
Priority to EP20920152.4A priority patent/EP4108859A4/en
Priority to US17/796,985 priority patent/US11947244B2/en
Priority to PCT/JP2020/006212 priority patent/WO2021166064A1/ja
Publication of WO2021166064A1 publication Critical patent/WO2021166064A1/ja
Priority to US18/383,138 priority patent/US20240053657A1/en
Priority to US18/383,504 priority patent/US20240053658A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G03B15/07—Arrangements of lamps in studios
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/10—Movable barriers with registering means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/10—Movable barriers with registering means
    • G07C9/15—Movable barriers with registering means with arrangements to prevent the passage of more than one individual at a time
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/27—Individual registration on entry or exit involving the use of a pass with central registration

Definitions

  • the present invention relates to a gate device.
  • Non-Patent Document 1 immigration is examined by comparing the pre-registered biological information with the biological information acquired by the gate device.
  • Non-Patent Document 1 Like the gate device disclosed in Non-Patent Document 1 above, the use of face recognition has begun in various procedures at airports and the like.
  • the terminal needs to acquire the face image of the user in front of him. At that time, the level required for the quality of the image (face image) acquired by the face recognition terminal is high. That is, in order to realize highly accurate collation, it is necessary to use high quality images on both the collation side and the registration side.
  • an image whose brightness varies depending on the time of day when the user is photographed is not suitable for authentication.
  • the main object of the present invention is to provide a gate device that contributes to the acquisition of biometric information suitable for authentication purposes.
  • a support portion extending vertically upward from the main body, a first illumination installed on a ceiling portion attached to the support portion, and a first illumination installed on the support portion to acquire biometric information of a user.
  • the camera device is provided with a camera device for acquiring the biometric information of the user when the first illumination is irradiating light.
  • a gate device that contributes to acquiring biometric information suitable for authentication use is provided.
  • the effect of the present invention is not limited to the above. According to the present invention, other effects may be produced in place of or in combination with the effect.
  • the gate device 100 includes a support portion 101, a first illumination 102, and a camera device 103 (see the cross-sectional view of the gate device 100 shown in FIG. 1).
  • the support portion 101 is a member that extends upward in the vertical direction from the main body of the gate device 100.
  • the first lighting 102 is lighting installed on the ceiling portion attached to the support portion 101.
  • the camera device 103 is a device installed on a support portion for acquiring biometric information of a user. The camera device 103 acquires the biometric information of the user when the first illumination 102 is irradiating the light (while the first illumination is irradiating the light).
  • the first lighting 102 is installed so as to illuminate the user. Specifically, the first lighting 102 is attached to the ceiling of the gate device 100. This ceiling portion blocks light such as outside light, and creates an environment suitable for acquiring user's biological information (for example, face image, iris image) regardless of time zone or the like. As a result, biometric information suitable for the authentication application is acquired.
  • biological information for example, face image, iris image
  • FIG. 2 is a diagram showing an example of a schematic configuration of an immigration inspection system according to the first embodiment.
  • the immigration system includes a plurality of gate devices 10-1 to 10-3 and a server device 20.
  • the term "gate device 10" is simply used.
  • FIG. 2 shows three gate devices 10, it goes without saying that the purpose is not to limit the number of gate devices 10 included in the system.
  • the immigration system may include at least one gate device 10.
  • the gate device 10 and the server device 20 are configured to be able to communicate with each other by a wired or wireless communication means.
  • the server device 20 may be installed in the same airport as the gate device 10, or may be installed on a network (cloud).
  • the gate device 10 is a device that automatically performs an examination procedure regarding immigration of a user.
  • the gate device 10 includes a gate configured to be openable and closable.
  • the gate device 10 opens the gate and passes the user when it is determined that the person standing in front of the device has passed the immigration examination and the person has the correct passport. Allow. In this way, the gate device 10 controls the gate according to the result of the immigration inspection of the user.
  • the server device 20 is a device for realizing immigration examination by the gate device 10.
  • the server device 20 stores information about users who can use the gate device 10 (hereinafter, referred to as gate user information).
  • a user who wishes to have an automatic examination by the gate device 10 needs to register the system in advance. For example, the user goes to the passport issuing office and submits the passport to the staff in charge.
  • the staff in charge examines whether the user who provided the passport is truly the holder of the passport.
  • the staff in charge who determines that the user is the holder of the correct passport acquires the fingerprint image of the user. Specifically, a fingerprint image is acquired using a fingerprint scanner or the like. The fingerprint image is input to the server device 20.
  • the server device 20 adds the acquired fingerprint image to the database (hereinafter referred to as the registrant database).
  • the fingerprint image to be registered may be a fingerprint image collected from at least one finger. Further, in addition to the fingerprint image of the user who has passed the examination, other information (for example, name, passport number) may be registered in the registrant database in association with the fingerprint image. Alternatively, the feature amount (type, position, etc. of the feature point) required for the collation process using the fingerprint image may be registered in the registrant database in association with the fingerprint image.
  • the gate device 10 acquires a fingerprint image of the user and transmits an examination request including the acquired fingerprint image to the server device 20.
  • the server device 20 performs a collation process (1 to N collation; N is a positive integer, the same applies hereinafter) using the acquired fingerprint image and a plurality of fingerprint images registered in the registrant database. If the fingerprint image substantially matching the acquired fingerprint image is registered in the registrant database, the server device 20 sets the examination result to "immigration permit".
  • the server device 20 sets the examination result to "immigration prohibited” if the fingerprint image that substantially matches the acquired fingerprint image is not registered in the registrant database.
  • the server device 20 returns the examination result to the gate device 10 which is the transmission source of the examination request.
  • the gate device 10 determines whether or not the user in front of the user has the correct passport (passport of the user himself / herself) after receiving the examination result or transmitting the examination request. Specifically, the gate device 10 instructs the user to open the passport and place it on the scanner.
  • the gate device 10 uses the card reader function of the scanner to read a face image or the like from an IC (Integrated Circuit) chip of a passport.
  • the gate device 10 acquires a user's face image using a camera device.
  • the gate device 10 generates a feature amount (hereinafter, referred to as a face feature amount) from each of the two face images, and determines whether or not the two feature amounts substantially match. That is, the gate device 10 performs one-to-one matching using the facial feature amount obtained by photographing the user in front of the face and the facial feature amount obtained from the IC chip of the passport.
  • the gate device 10 opens the gate and allows the user to pass when the one-to-one verification is successful and the examination result by the server device 20 is "immigration permit".
  • FIG. 3 is a diagram showing an example of a processing configuration (processing module) of the server device 20 according to the first embodiment.
  • the server device 20 includes a communication control unit 201, a fingerprint image registration unit 202, an examination unit 203, and a storage unit 204.
  • the communication control unit 201 is a means for controlling communication with other devices. Specifically, the communication control unit 201 receives data (packets) from the gate device 10. Further, the communication control unit 201 transmits data to the gate device 10.
  • the fingerprint image registration unit 202 is a means for registering the acquired fingerprint image in the registrant database built in the storage unit 204. Any method can be used to acquire the fingerprint image.
  • the staff in charge may input the fingerprint image into the server device 20 at the passport issuance window.
  • the staff in charge operates the fingerprint scanner to acquire the fingerprint image of the user.
  • the staff in charge operates the terminal (computer installed at the issuing window) and transmits the acquired fingerprint image to the server device 20.
  • the read data may be input to the server device 20 via an external storage device such as a USB (Universal Serial Bus) memory.
  • USB Universal Serial Bus
  • the examination unit 203 is a means for processing the examination request transmitted by the gate device 10. Specifically, the examination unit 203 sets the fingerprint image (biological information) included in the examination request as the collation target, and performs the collation process with the fingerprint image registered in the registered user database.
  • the examination unit 203 sets the fingerprint image extracted from the examination request as the collation target, and executes one-to-N collation with a plurality of fingerprint images registered in the registrant database.
  • the examination unit 203 calculates a score (similarity) between the fingerprint image to be collated and each of the plurality of fingerprint images on the registration side.
  • the examination unit 203 extracts feature points (end points, branch points) from the fingerprint images of each of the collation side and the registration side.
  • the examination unit 203 calculates a score indicating the similarity between the two fingerprint images based on the extracted feature points and the like. Specifically, the examination unit 203 matches the core regions (center regions of fingerprints) of the two fingerprint images, and determines the position and number of feature points as seen from the core region, the number of core wires existing between the feature points, and the like. The above score is calculated based on this. The higher the score, the higher the similarity between the two fingerprint images.
  • processing for extracting the feature points from the fingerprint image and the processing for calculating the score from the feature points can use existing techniques and are obvious to those skilled in the art, so further description will be omitted. ..
  • the examination unit 203 determines whether or not at least one fingerprint image having a score of a predetermined value or more with the fingerprint image to be collated exists among the plurality of fingerprint images registered in the registrant database. ..
  • the examination department 203 sets the examination result to "immigration permit” if a fingerprint image having the above score equal to or higher than a predetermined value exists in the registrant database.
  • the examination unit 203 sets the examination result to "immigration prohibited” if the fingerprint image whose score is equal to or higher than the predetermined value does not exist in the registrant database.
  • the examination unit 203 transmits the examination result to the gate device 10 from which the examination request is transmitted.
  • the storage unit 204 stores various information necessary for the operation of the server device 20.
  • a registrant database is constructed in the storage unit 204.
  • FIG. 4 is a diagram showing an example of the hardware configuration of the server device 20 according to the first embodiment.
  • the server device 20 can be configured by an information processing device (so-called computer), and includes the configuration illustrated in FIG.
  • the server device 20 includes a processor 211, a memory 212, an input / output interface 213, a communication interface 214, and the like.
  • the components such as the processor 211 are connected by an internal bus or the like so that they can communicate with each other.
  • the configuration shown in FIG. 4 does not mean to limit the hardware configuration of the server device 20.
  • the server device 20 may include hardware (not shown) or may not include an input / output interface 213 if necessary.
  • the number of processors 211 and the like included in the server device 20 is not limited to the example of FIG. 4, and for example, a plurality of processors 211 may be included in the server device 20.
  • the processor 211 is, for example, a programmable device such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor). Alternatively, the processor 211 may be a device such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). The processor 211 executes various programs including an operating system (OS).
  • OS operating system
  • the memory 212 is a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), an HDD (HardDiskDrive), an SSD (SolidStateDrive), or the like.
  • the memory 212 stores an OS program, an application program, and various data.
  • the input / output interface 213 is an interface of a display device or an input device (not shown).
  • the display device is, for example, a liquid crystal display or the like.
  • the input device is, for example, a device that accepts user operations such as a keyboard and a mouse.
  • Communication interface 214 is a circuit, module, etc. that communicates with other devices.
  • the communication interface 214 includes a NIC (Network Interface Card) and the like.
  • the function of the server device 20 is realized by various processing modules.
  • the processing module is realized, for example, by the processor 211 executing a program stored in the memory 212.
  • the program can also be recorded on a computer-readable storage medium.
  • the storage medium may be a non-transient such as a semiconductor memory, a hard disk, a magnetic recording medium, or an optical recording medium. That is, the present invention can also be embodied as a computer program product.
  • the program can be downloaded via a network or updated using a storage medium in which the program is stored.
  • the processing module may be realized by a semiconductor chip.
  • FIG. 5 is a diagram showing an example of the appearance of the gate device 10 according to the first embodiment.
  • the gate device 10 is a device that automatically examines the user for immigration.
  • the gate device 10 When the gate device 10 detects the presence of a user in front of its own device, the gate device 10 displays an operation procedure or the like required for the user when automatically performing immigration inspection on the display 401.
  • the gate device 10 instructs the user to place a finger (a predetermined finger; a finger corresponding to the fingerprint image registered in the registrant database) on the scanner 402.
  • the gate device 10 controls the scanner 402 to take an image of the placed finger.
  • the gate device 10 transmits an examination request including the obtained fingerprint image to the server device 20.
  • the gate device 10 When the acquisition of the fingerprint image is completed, the gate device 10 notifies the user that the face is to be photographed, and controls the camera device 403 to image the user. At that time, the gate device 10 controls the luminosity of the upper lighting 404 and the lower lighting 405 mounted on the upper and lower sides.
  • the upper lighting 404 is installed on the ceiling portion 407 attached to the support portion 406 extending vertically upward from the main body of the gate device 10. More specifically, the upper lighting 404 is installed so as to be embedded inside the ceiling portion 407. As shown in FIG. 5, by widening the structure of the support portion 406, the display 401 and the camera device 403 can be attached to the support portion 406.
  • the lower lighting 405 is installed so as to be embedded in the main body of the gate device 10.
  • the "main body" of the gate device 10 is a structure that forms the center of the gate device 10, and is a member that comes into contact with the floor and has a gate 408 and a support portion 406 attached.
  • FIG. 6 is a diagram schematically showing a cross section between A and A shown in FIG. Note that FIG. 6 illustrates the users (examination subjects) of the gate device 10 for easy understanding.
  • the upper lighting 404 is installed so that the user is irradiated with light from above the user.
  • the lower lighting 405 is arranged so that the user is irradiated with light from below the user (more accurately, below the user's face).
  • the upper illumination 404 may be installed on the support portion 406.
  • the upper illumination 404 may be installed on the support portion 406 and attached so as to irradiate the ceiling portion 407 with light.
  • a reflector for example, a mirror
  • the upper illumination 404 may be installed so as to irradiate the light in the direction of the ceiling portion 407, and the gate device 10 may include a reflector for reflecting the light emitted from the upper illumination 404.
  • the lower lighting 405 may be installed below the support portion 406.
  • the lower illumination 405 may be installed so as to irradiate a mirror attached to the main body of the gate device 10 with light. In this case, the light emitted from the lower illumination 405 is reflected by the mirror, and the reflected light is emitted from below the user.
  • the lower illumination 405 may be installed so as to irradiate the light in the direction of the main body of the gate device 10, and the gate device 10 may include a reflector for reflecting the light emitted from the lower illumination 405. ..
  • the gate device 10 controls the luminosity of the above two lights so that a face image suitable for the matching process using the face image described later can be obtained. Details regarding the control of lighting by the gate device 10 will be described later.
  • the gate device 10 extracts the face area from the image and acquires the face image.
  • the gate device 10 instructs the user to open a page showing a photograph of his / her passport and place the opened passport on the scanner 402.
  • the gate device 10 reads the information (hereinafter referred to as MRZ information) described in the machine-readable zone (MRZ) of the passport.
  • the gate device 10 acquires a face image stored in the IC chip of the passport using the MRZ information.
  • the gate device 10 executes collation (one-to-one collation) using the face image acquired from the camera device 403 and the face image acquired from the IC chip of the passport. If the matching is successful (if the two facial images substantially match), the gate device 10 determines that the user has the correct passport. On the other hand, if the matching fails (if the two face images are different), the gate device 10 determines that the user does not have the correct passport.
  • the gate device 10 opens the gate 408 when it is determined that the examination result from the server device 20 is "immigration permit" and the user has the correct passport, and the user (examination target person) Allows passage.
  • the gate device 10 keeps the gate 408 closed and determines in advance.
  • the message or the like is displayed on the display 401.
  • the gate device 10 displays a display toward a manned examination booth, or gives an instruction to redo the operation related to the automatic examination.
  • FIG. 7 is an example of a front view schematically showing the luggage storage space 430 included in the gate device 10.
  • FIG. 7 is a view when the user visually recognizes the luggage storage 430 from the direction of walking toward the gate device 10.
  • the gate device 10 When operating the gate device 10, the user places baggage in the top plate area 431 or the side portion 432 of the luggage storage area 430.
  • the gate device 10 detects whether or not an object exists in the top plate region 431 or the side portion 432.
  • the gate device 10 detects an object placed in the top plate region 431 by using means such as a weight sensor and a pressure sensor.
  • the gate device 10 detects an object placed on the side portion 432 by analyzing an image obtained from a distance sensor or a camera using infrared rays.
  • the method of detecting an object by the gate device 10 is an example, and it is sufficient that the gate device 10 can detect an object placed in the luggage storage area 430 by using an arbitrary method or means.
  • the detection area of the object (user's luggage) by the gate device 10 is not limited to the top plate area 431 and the side portion 432, and the area where the user may place the luggage is set as the detection area. That is, the gate device 10 not only detects the presence of an object located on the upper side or the side of the luggage storage 430 in the vertical direction, but also detects the presence or absence of an object in a place where the user may place the luggage.
  • the gate device 10 When the gate device 10 detects the presence of an object in the luggage storage area 430, the gate device 10 sets the "baggage detection flag” to “1". If no object is detected from the luggage storage area 430, the gate device 10 clears the "baggage detection flag” to "0".
  • the gate device 10 will notify the user if the baggage detection flag is set to "1" when the immigration inspection of the examinee is completed (the examination result is received and the passport possession determination is completed). Notify (warn) that you have forgotten to remove your luggage.
  • the gate device 10 may display a message regarding the above warning on the display 401, or may give a warning by voice or the like.
  • the gate device 10 makes it one of the conditions for opening the gate 408 that the baggage detection flag is cleared to "0". Even if the user does not notice the display or voice related to the forgotten baggage, the gate 408 does not open, so that the user is prevented from proceeding to the next procedure with the baggage left behind.
  • FIG. 8 is a diagram showing an example of the hardware configuration of the gate device 10 according to the first embodiment.
  • the gate device 10 includes a processor 311 and a memory 312 and a communication interface 313. Further, the gate device 10 includes a display 401, a scanner 402, a camera device 403, an upper lighting 404, a lower lighting 405, a gate 408, and an object detector 409.
  • the components such as the processor 311 are connected by an internal bus or the like so that they can communicate with each other. Note that FIG. 8 shows only the components connected (electrically connected) to the processor 311. In FIG. 8, the support portion 406, the ceiling portion 407, and the luggage storage space 430 are not shown. Further, as shown in FIG.
  • the main body of the gate device, the support portion 406, and the ceiling portion 407 form a U-shape. More specifically, the main body of the gate device 10 (the housing that supports the support portion 406) and the ceiling portion 407 face each other. The main body and the ceiling portion 407 are connected by a support portion 406. With such a configuration of the gate device 10, a U-shape (a shape in which the left and right sides of the character "c" are inverted) is formed by the main body, the support portion 406, and the ceiling portion 407.
  • the processor 311 and the memory 312 and the communication interface 313 can have the same contents as the corresponding elements of the server device 20 described with reference to FIG. 4, so detailed description thereof will be omitted.
  • the display 401 is a device for outputting information (for example, a liquid crystal monitor or the like).
  • the scanner 402 is a device that reads MRZ information from a passport and acquires a fingerprint image of a user.
  • the scanner 402 also has a function of accessing the IC chip mounted on the passport.
  • the scanner 402 can be installed at any location. However, the scanner 402 is preferably installed in a place where the user can easily place his / her passport or finger on the device.
  • the scanner 402 has a function as a card reader for accessing the IC chip, a function as a passport scanner for reading MRZ information from the passport, and a function as a fingerprint scanner for acquiring a fingerprint image from a finger.
  • these functions may be separated, and a card reader, a passport scanner, and a fingerprint scanner may be provided in the gate device 10.
  • the camera device 403 is, for example, a digital camera installed so as to be able to photograph the front of the gate device 10.
  • the camera device 403 can be installed at any location.
  • the camera device 403 may be installed in the main body of the gate device 10, or may be installed in a place away from the gate device 10.
  • the camera device 403 may be installed in any place as long as it can photograph a user (particularly, the user's face) standing in front of the gate device 10.
  • the upper lighting 404 is a light source installed so as to irradiate light from above the user.
  • the lower lighting 405 is a light source installed so as to irradiate light from below the user.
  • the upper illumination 404 and the lower illumination 405 are configured so that their luminosity can be controlled.
  • the illuminance radiated to the user changes. That is, by changing the luminous intensity of the upper lighting 404 and the lower lighting 405, the brightness of the user as seen from the camera device 403 changes.
  • Any light source whose luminous intensity can be changed can be used for the upper illumination 404 and the lower illumination 405.
  • an LED Light Emitting Diode
  • the luminous intensity can be changed by controlling the current flowing through the LED.
  • the gate 408 shifts from the closed state during standby, which blocks the user's passage, to the open state, which allows the user to pass.
  • the method of the gate 408 is not particularly limited, and is, for example, a flapper gate that opens and closes a flapper provided from one side or both sides of the passage, a turnstile gate in which three bars rotate, and the like.
  • the object detector 409 is a device for detecting an object placed in the luggage storage area 430. As described above, a weight sensor, a distance sensor, or the like can be used for the object detector 409.
  • the function of the gate device 10 is realized by various processing modules as in the server device 20.
  • the processing module is realized, for example, by the processor 311 executing a program stored in the memory 312.
  • FIG. 9 is a diagram showing an example of a processing configuration (processing module) of the gate device 10 according to the first embodiment.
  • the gate device 10 includes a communication control unit 301, a fingerprint image acquisition unit 302, an examination request unit 303, a face image acquisition unit 304, a passport possession determination unit 305, a luggage detection unit 306, and a luggage misplacement warning unit 307. , A gate control unit 308 and a storage unit 309.
  • the communication control unit 301 is a means for controlling communication with other devices. Specifically, the communication control unit 301 receives data (packets) from the server device 20. Further, the communication control unit 301 transmits data to the server device 20.
  • the fingerprint image acquisition unit 302 is a means for acquiring a fingerprint image of a user standing in front of the gate device 10.
  • the fingerprint image acquisition unit 302 controls the scanner 402 to acquire the fingerprint image of the user.
  • the fingerprint image acquisition unit 302 delivers the acquired fingerprint image to the examination request unit 303.
  • the examination request unit 303 is a means for requesting the server device 20 to examine the immigration of the person to be examined (the user standing in front of the gate device 10). Specifically, the examination request unit 303 generates an examination request including the acquired fingerprint image (biological information), and transmits the generated examination request to the server device 20 via the communication control unit 301.
  • the examination request unit 303 generates an examination request including an identifier of its own device (hereinafter referred to as a gate identifier), a fingerprint image, and the like (see FIG. 10).
  • a gate identifier an identifier of its own device
  • a fingerprint image an image
  • FIG. 10 a fingerprint image
  • the gate identifier a MAC (Media Access Control) address or an IP (Internet Protocol) address of the gate device 10 can be used.
  • the examination request unit 303 receives the response from the server device 20 to the examination request via the communication control unit 301.
  • the examination request unit 303 delivers the response from the server device 20 (examination result; entry / exit permission or entry / exit non-permission) to the baggage misplacement warning unit 307 and the gate control unit 308.
  • the face image acquisition unit 304 is a means for acquiring a face image (biological information) of a user standing in front of the gate device 10. For example, the face image acquisition unit 304 controls the camera device 403 to acquire the user's face image. The face image acquisition unit 304 delivers the acquired face image to the passport possession determination unit 305.
  • the gate device 10 controls the luminosity of the upper illumination 404 and the lower illumination 405 when imaging the user.
  • the face image acquisition unit 304 controls the luminosity of the upper illumination 404 and the lower illumination 405 so that the illuminance of the light radiated to the user's face at the time of shooting by the user is substantially uniform. do.
  • the face image acquisition unit 304 may control the luminous intensity of either the upper illumination 404 or the lower illumination 405 as long as the uniformity can be realized.
  • the face image acquisition unit 304 includes a function as a lighting control unit that controls at least two or more lights, and a function as an acquisition unit that acquires biometric information of the user.
  • the face image acquisition unit 304 determines the luminosity of the upper illumination 404 and the lower illumination 405 according to the physical characteristics of the user (photographed person). For example, the face image acquisition unit 304 makes the luminous intensity of the lower illumination 405 relatively higher than the luminous intensity of the upper illumination 404 in the case of a tall user (when the height is higher than the first threshold value). On the contrary, in the case of a short user (when the height is lower than the second threshold value), the face image acquisition unit 304 makes the luminous intensity of the upper illumination 404 relatively higher than the luminous intensity of the lower illumination 405.
  • the face image acquisition unit 304 sets the luminosity of the two lights to be the same when the height of the user is within a range determined from the first and second threshold values (when the user is of an average height). You may.
  • the face image acquisition unit 304 controls the luminosity of the two lights as described above so that the illuminance of the light radiated to the user at the time of shooting by the user becomes uniform.
  • the face image acquisition unit 304 measures the height of the user when the illuminance is made uniform. After that, the face image acquisition unit 304 refers to the table information in which the height and the luminosity of the two light sources are predetermined. The face image acquisition unit 304 controls the upper illumination 404 and the lower illumination 405 so as to obtain the luminous intensity obtained from the table information.
  • FIG. 11 is a diagram showing an example of table information in which the height and the luminosity of the two light sources are determined.
  • the face image acquisition unit 304 acquires the luminosity of each of the upper illumination 404 and the lower illumination 405 based on the height of the user.
  • the face image acquisition unit 304 controls the current flowing through each of the upper illumination 404 and the lower illumination 405 so that the light according to the acquired luminous intensity is irradiated.
  • the face image acquisition unit 304 may use table information or a function (a function that outputs the current value when the luminous intensity is input) in which these relationships are predetermined.
  • the current value of the light source is variable, the resistance value connected between the light source and the power supply may be changed, or applied to the light source using PWM (Pulse Width Modulation) technology or the like.
  • the voltage to be generated may be changed.
  • the face image acquisition unit 304 acquires the height of the user by any method.
  • a plurality of sensors for example, an infrared distance sensor
  • a plurality of sensors are arranged in the vertical direction on the support portion 406 of the gate device 10. More specifically, a plurality of sensors are arranged in the vertical direction at predetermined intervals.
  • the face image acquisition unit 304 monitors the output of each of the plurality of sensors, and measures the height of the user from the difference in the output value (voltage value in the case of the infrared distance sensor) of each sensor. That is, if the user's height is short, the number of sensors that respond to the user is small, and if the user's height is high, the number of sensors that respond to the user is large.
  • the face image acquisition unit 304 identifies the height of the user according to the output change of the sensor due to the difference in the height of the user. That is, the face image acquisition unit 304 specifies the height of the user according to the position of the sensor that reacts according to the height of the user.
  • the face image acquisition unit 304 may identify the height of the user by imaging the user and analyzing the obtained image prior to the acquisition of the face image for authentication (verification). At that time, the luminosity of the upper illumination 404 and the lower illumination 405 is set to an initial value (default value).
  • the face image acquisition unit 304 When the face image acquisition unit 304 acquires an image for height identification, the face image acquisition unit 304 extracts a face area from the image. The face image acquisition unit 304 identifies (estimates) the height of the user according to the position of the extracted face image in the height-specific image. Specifically, when the face image is located above the original image, the face image acquisition unit 304 highly estimates the height of the user. On the other hand, when the face image is located below the original image, the face image acquisition unit 304 estimates the height of the user to be low.
  • a learning model obtained by machine learning may be used to identify the height of the user.
  • a learning model is generated by preparing a large number of teacher data using an image of a user and the height of the user as labels.
  • the face image acquisition unit 304 may input an image for height identification into the generated learning model and acquire the height.
  • Any algorithm such as support vector machine, boosting or neural network can be used to generate the training model. Since a known technique can be used for the algorithm such as the support vector machine, the description thereof will be omitted.
  • the gate device 10 may control the luminous intensity of the upper lighting 404 and the lower lighting 405 based on the face detection and the output value of the sensor by image processing without specifying the height of the user.
  • the passport possession determination unit 305 is a means for determining whether or not the user has the correct passport.
  • the passport possession determination unit 305 controls the scanner 402 to acquire MRZ information described in the machine reading area of the passport.
  • the passport possession determination unit 305 reads out the information stored in the IC chip using the acquired MRZ information.
  • the passport possession determination unit 305 decodes the information read from the IC chip using the MRZ information acquired from the scanner 402, and acquires the face image stored in the IC chip.
  • the passport possession determination unit 305 extracts feature points from each of the face image acquired from the face image acquisition unit 304 and the face image acquired from the IC chip. Since an existing technique can be used for the feature point extraction process, a detailed description thereof will be omitted. For example, the passport possession determination unit 305 extracts eyes, nose, mouth, etc. as feature points from the face image. After that, the passport possession determination unit 305 calculates the position of each feature point and the distance between each feature point as a feature amount, and generates a feature vector (vector information that characterizes the face image) composed of a plurality of feature amounts.
  • a feature vector vector information that characterizes the face image
  • the passport possession determination unit 305 calculates the similarity between the two features (feature vectors). For the similarity, a chi-square distance, an Euclidean distance, or the like can be used. The farther the distance is, the lower the similarity is, and the shorter the distance is, the higher the similarity is.
  • the passport possession determination unit 305 determines that the verification was successful when the calculated similarity is equal to or greater than a predetermined value. That is, the passport possession determination unit 305 determines that the two face images are images of the same person's face when the calculated similarity is equal to or higher than a predetermined value.
  • the passport possession determination unit 305 determines that the user standing in front of him / her has the correct passport when the one-to-one verification is successful.
  • the passport possession determination unit 305 notifies the baggage misplacement warning unit 307 and the gate control unit 308 of the determination result (whether or not the user possesses the correct passport).
  • the cargo detection unit 306 is a means for detecting whether or not an object exists in the cargo storage area 430.
  • the baggage detection unit 306 monitors the output of the object detector 409, and when the detector (object detection sensor) detects the presence of an object, sets the “baggage detection flag” to “1”. Further, the baggage detection unit 306 clears the "baggage detection flag” to "0" when the existence of the object cannot be detected from the output of the object detector 409.
  • the luggage storage misplacement warning unit 307 is a means for giving a warning regarding luggage storage misplacement when an object exists in the luggage storage space 430. More specifically, when the user determines that the luggage has been left behind in the luggage storage 430, the luggage storage warning unit 307 gives a warning to that effect.
  • the luggage misplaced warning unit 307 confirms the luggage detection flag at the timing when the immigration inspection by the gate device 10 is completed.
  • the baggage misplacement warning unit 307 receives the examination result from the server device 20 via the communication control unit 301, and receives the determination result from the passport possession determination unit 305. Judge as "the end of”. The luggage misplaced warning unit 307 confirms the luggage detection flag at the timing when the two results (examination result and determination result) are gathered.
  • the baggage misplacement warning unit 307 determines that the user has misplaced the baggage and warns to that effect. For example, the luggage misplacement warning unit 307 displays the display as shown in FIG. 12 on the display 401. Alternatively, the luggage misplacement warning unit 307 may output a voice indicating that the user has misplaced the luggage from the speaker. Alternatively, the luggage misplacement warning unit 307 may notify the terminal possessed by the user that the user has misplaced the luggage.
  • the gate control unit 308 is a means for controlling the gate 408 included in the gate device 10.
  • the gate control unit 308 controls the gate 408 so that the examinee can pass through at least when there is no object in the luggage storage area 430.
  • the gate control unit 308 controls the gate 408 so that the person to be examined cannot pass through when an object (cargo) exists in the luggage storage area 430.
  • the gate control unit 308 opens the gate 408 when the three conditions are met. More specifically, the gate control unit 308 opens the gate 408 when the examination result of the server device 20 is "immigration permit", the passport possession determination result is "passport possession”, and the baggage detection flag is "0". .. As a general rule, the gate control unit 308 does not open the gate 408 unless the above three conditions are satisfied.
  • the gate control unit 308 closes the gate 408 after a user who is permitted to pass through the gate 408 (a user who has passed immigration) passes through the gate 408.
  • the storage unit 309 is a means for storing information necessary for the operation of the gate device 10.
  • FIG. 13 is a sequence diagram showing an example of the operation of the immigration inspection system according to the first embodiment. Note that FIG. 13 is a sequence diagram showing an example of system operation on the boarding date of the user. Prior to the operation of FIG. 13, it is assumed that the user's "gate user information (fingerprint image)" is registered in the server device 20 in advance.
  • the gate device 10 acquires a fingerprint image of the user (step S01).
  • the gate device 10 transmits an examination request including a fingerprint image to the server device 20 (step S02).
  • the server device 20 sets the acquired fingerprint image on the collation side (authenticated side) and the fingerprint image stored in the registrant database on the registration side, and executes one-to-N collation (step S03).
  • the server device 20 transmits the examination result (entry / exit permit, immigration / non-permission) obtained by the above 1-to-N verification to the gate device 10 of the transmission source of the examination request (step S04).
  • the gate device 10 acquires the fingerprint image of the person to be examined. After that, the gate device 10 requests the immigration examination of the person to be examined by transmitting the examination request including the acquired fingerprint image to the server device that stores the fingerprint image of the user who is permitted to enter and leave the country. ..
  • the server device 20 determines the examination result by collation (1 to N collation) using the fingerprint image registered in advance, and transmits the examination result to the gate device 10.
  • the gate device 10 photographs the user and acquires a face image, and at the same time, reads out the face image from the IC chip of the passport (acquisition of face image; step S05).
  • the gate device 10 estimates the height of the user and controls two light sources so that the luminous intensity is suitable for the height of the user.
  • the gate device 10 performs one-to-one collation using two face images to determine whether or not the user has a correct passport (step S06).
  • the gate device 10 controls the camera device 403 to acquire the first facial image of the examinee.
  • the gate device 10 acquires the second face image stored in the passport possessed by the examinee, and collates the first and second face images, so that the examinee possesses the correct passport. Judge whether or not it is done.
  • the gate device 10 detects whether or not the cargo is placed in the cargo storage area 430 in parallel with the operations of steps S01 to S06. Specifically, the gate device 10 monitors the output of the object detector 409 and detects the state of the cargo storage 430. When the cargo is placed in the cargo storage area 430, the cargo detection flag is set to "1". When the luggage is removed from the luggage storage 430, the luggage detection flag is cleared to "0".
  • the gate device 10 confirms whether or not the baggage detection flag is set to "1" at the timing when the immigration inspection is completed (the timing when the examination result is received from the server device 20 and the passport possession determination is completed). (Step S07).
  • step S07 If the cargo detection flag is set to "1" (step S07, Yes branch), the gate device 10 warns about the misplaced cargo (step S08).
  • the gate device 10 when the gate device 10 receives the examination result from the server device 20 and an object exists in the luggage storage area 430 at the timing when the determination regarding the possession of the passport is completed, the gate device 10 gives a warning regarding the forgetting to store the luggage. At that time, the gate device 10 sets the cargo detection flag when the object exists in the luggage storage 430, and clears the luggage detection flag when the object does not exist in the luggage storage 430. The gate device 10 controls the baggage detection flag, receives the examination result from the server device 20, and confirms the baggage detection flag at the timing when the determination regarding possession of the passport is completed to determine whether or not the baggage has been left behind. do.
  • the gate device 10 continues to monitor the luggage storage 430 and detects whether or not the luggage has been removed from the luggage storage 430. That is, the gate device 10 continues to monitor the cargo detection flag (step S09).
  • the gate device 10 is set when the baggage detection flag is cleared to "0" (step S09, Yes branch), the examination result by the server device 20 is "immigration permit", and the user "has the correct passport".
  • Gate 408 is opened (step S10).
  • the gate device 10 is said to be passable by the examinee when the examination result from the server device 20 is an immigration permit, the examinee has the correct passport, and there is no object in the luggage storage 430.
  • the gate 408 is controlled so as to be. In other words, the gate device 10 prevents the examinee from passing if the examination result from the server device 20 is "immigration prohibited” or if the examinee does not have the correct passport. Control the gate 408.
  • the gate device 10 makes a collation request (examination request) using biological information (fingerprint image) to the server device 20, and the collation result (examination) is performed from the server device 20. Result) is received. Further, the gate device 10 controls two light sources so that the illuminance of the light radiated to the user's face becomes uniform, and acquires a face image. The gate device 10 collates the acquired face image with the face image read from the IC chip of the passport, and collates whether or not the user has the correct passport. When the gate device 10 determines that the examinee has left the luggage in the luggage storage area 430, the gate device 10 gives a warning to that effect. Further, the gate device 10 does not open the gate 408 unless the user moves the luggage from the luggage storage 430, even if the examination regarding the entry and exit of the user has been completed. As a result, it is possible to prevent the user from leaving the luggage behind.
  • the gate device 10 can obtain a face image suitable for face matching by controlling two light sources (upper stage illumination 404 and lower stage illumination 405) according to the height of the user. can. That is, the gate device 10 can obtain a high-quality image (face image) regardless of the height of the user by optimally controlling the luminosity of different illuminations. More specifically, the gate device 10 changes the luminous intensity of the light emitted from each of the small upper stage illumination 404 and the lower stage illumination 405 so that the illuminance of the light radiated to the user becomes uniform. As a result, the brightness of the light applied to the face or the like does not vary depending on the location, and biometric information suitable for the authentication application is acquired.
  • the upper lighting 404 is attached to the ceiling portion 407.
  • the roofed lighting (upper lighting 404 embedded in the ceiling 407) blocks light such as outside light.
  • the gate device 10 can create an environment suitable for acquiring the user's face image regardless of the time zone or the like. That is, by providing the gate device 10 with the lighting with a roof, it is possible to suppress a decrease in the accuracy of face recognition due to disturbance.
  • the lighting with a loop is suspended by the support portion 406, and by forming the support portion 406 into a thick flat plate shape, the display 401 can be installed on the support portion 406 or wiring can be passed through the inside. can.
  • the configuration, operation, and the like of the immigration inspection system described in the above embodiment are examples, and are not intended to limit the configuration and the like of the system.
  • the control relating to the two light sources can also be applied when the iris image is acquired for the authentication purpose or the fingerprint image is acquired for the authentication purpose. That is, when acquiring an iris image or a fingerprint image, the two light sources may be controlled so that the luminosity of the light applied to the eye region or the finger becomes uniform.
  • the server device 20 may be realized by the gate device 10.
  • a registrant database may be constructed in the gate device 10, and the gate device 10 may use the database to perform an examination regarding the immigration of the examinee.
  • the registrant database included in the server device 20 may be built on another database server.
  • the fingerprint image acquired by the gate device 10 is used to identify a user who has completed immigration inspection in advance, but even if the user is used to confirm that the user is not a criminal or the like. good.
  • the server device 20 may perform collation using the acquired fingerprint image and the fingerprint image stored in the blacklist that collects the fingerprints of criminals.
  • biometric information such as the fingerprint image is stored in the server device 20
  • other biometric information may be stored in the server device 20.
  • a face image, voiceprint information, iris information, and the like and their feature amounts may be stored as biological information.
  • biometric information other than the face image can be obtained from the passport, it may be determined whether or not the examinee has the correct passport using the biometric information other than the face image.
  • the form of data transmission / reception between the gate device 10 and the server device 20 is not particularly limited, but the data transmitted / received between these devices may be encrypted.
  • the fingerprint image is personal information, and in order to appropriately protect the personal information, it is desirable that encrypted data be transmitted and received.
  • the gate device 10 may transmit a digitally signed examination request to the server device 20.
  • the server device 20 may process the acquired examination request when the verification of the digital signature is successful. In this way, the server device 20 may be able to verify the validity of the gate device 10 which is the source of the examination request by verifying the digital signature.
  • each of the upper lighting 404 and the lower lighting 405 is composed of one light source
  • one of the upper lighting 404 and the lower lighting 405 is composed of a plurality of light sources.
  • the face image acquisition unit 304 may change the luminosity of the upper illumination 404 and the lower illumination 405 by controlling the number of light sources to be turned on among the plurality of light sources. That is, the gate device 10 may control the luminous intensity of the light emitted to the user's face by digital control for a plurality of light sources.
  • the middle stage illumination may be installed between the upper stage illumination 404 and the lower stage illumination 405, and the luminosity of the middle stage illumination may be controlled.
  • the face image acquisition unit 304 may control the luminosity of the three light sources according to the height of the user. That is, the gate device 10 may control the luminosity of the plurality of light sources so that the illuminance in the user becomes uniform.
  • the luminous intensity of the light emitted from a plurality of light sources is controlled based on the height of the user
  • the luminous intensity may be controlled based on other information.
  • the luminosity of the light source may be controlled depending on the length of the hair and whether or not the glasses are worn.
  • the luminous intensity of the light source may be controlled by comprehensively considering a plurality of factors (height, presence / absence of glasses).
  • the luminosity of the light emitted from the two light sources may be different between the user who is tall and wears spectacles and the user who is short and wears spectacles. Whether or not the user wears eyeglasses can be determined by using a learning model obtained by image processing using a template or machine learning.
  • the gate device 10 may analyze the captured face image and control the luminosity of the two light sources based on the analysis result of the face image. For example, the gate device 10 (face image acquisition unit 304) divides the face image into a plurality of regions, and calculates the average value of the brightness of the pixels constituting the divided small regions. The gate device 10 controls two light sources so that the calculated average value is equal to or more than a predetermined value and the variation in brightness (for example, dispersion value, standard deviation) of each small region is smaller than the threshold value. May be good. That is, the gate device 10 may feed back the analysis result of the captured face image to the control of the two configurations to acquire the face image so that the brightness becomes uniform.
  • the gate device 10 may feed back the analysis result of the captured face image to the control of the two configurations to acquire the face image so that the brightness becomes uniform.
  • the gate device 10 may determine the content of the warning regarding misplaced luggage using the information obtained from the passport.
  • the baggage misplacement warning unit 307 may change the content and expression method of the message based on the information obtained from the MRZ of the passport or the IC chip.
  • the luggage misplaced warning unit 307 may generate a warning message using the user's name. For example, if the user's name is "Taro", the baggage misplacement warning unit 307 may output a warning message such as "Taro-san, the baggage is misplaced”.
  • the luggage misplaced warning unit 307 may switch the language of the warning message according to the nationality of the user. For example, if the user has Japanese nationality, a warning message in Japanese may be output, and if the user has Chinese nationality, a warning message in Chinese may be output (displayed on the display 401 and voice output from the speaker).
  • the luggage misplaced warning unit 307 may generate warning messages in a plurality of languages. For example, the baggage misplacement warning unit 307 may generate a warning message by fixing the first language to "English" and setting the second language to a language according to nationality.
  • the luggage misplacement warning unit 307 warns of the luggage misplacement by voice
  • the above warning may be given by using a highly directional parametric speaker or the like.
  • a parametric speaker or the like it is possible to reliably notify the user of the warning message.
  • each embodiment may be used alone or in combination. For example, it is possible to replace a part of the configuration of the embodiment with the configuration of another embodiment, or to add the configuration of another embodiment to the configuration of the embodiment. Further, it is possible to add, delete, or replace a part of the configuration of the embodiment with another configuration.
  • the present invention is suitably applicable to an airport immigration system and the like.
  • [Appendix 1] A support that extends vertically upward from the main body, The first lighting installed on the ceiling attached to the support and A camera device installed on the support part for acquiring biometric information of the user, With The camera device is a gate device that acquires biometric information of the user when the first illumination irradiates light.
  • [Appendix 2] The gate device according to Appendix 1, wherein the first illumination is embedded inside the ceiling portion.
  • Appendix 3 The gate device according to Appendix 1 or 2, wherein the first illumination is installed on the ceiling so as to irradiate light from above the user.
  • the first lighting is installed in the support portion instead of the ceiling portion, and is installed so as to irradiate light in the direction of the ceiling portion.
  • the gate device according to Appendix 4 further comprising a second illumination installed so as to irradiate light from below the user.
  • the second illumination is installed so as to irradiate light in the direction of the main body.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

認証用途に適した生体情報を取得するゲート装置を提供する。ゲート装置は、支持部と、第１の照明と、カメラ装置と、を備える。支持部は、ゲート装置の本体から鉛直方向上向きに延びる部材である。第１の照明は、支持部に取り付けられた天井部に設置された照明である。カメラ装置は、支持部に設置され、利用者の生体情報を取得するための装置である。カメラ装置は、第１の照明１０２が光を照射している際に利用者の生体情報を取得する。

Description

ゲート装置
　本発明は、ゲート装置に関する。
　空港において出入国審査が行われる。当該出入国審査の担当官は、パスポートに貼付された顔写真と面前の人物の顔を比較し、パスポートの顔画像と面前の人物の顔が一致しない場合に当該人物の出入国を許可しない。
　近年、上記出入国審査を自動的に行う装置が導入されている。例えば、非特許文献１に開示されたゲート装置において、事前登録された生体情報とゲート装置が取得した生体情報の比較により出入国が審査される。
法務省、「自動化ゲートの運用について（お知らせ）」、[online]、［２０１９年１２月検索］、インターネット＜ＵＲＬ：http://www.moj.go.jp/nyuukokukanri/kouhou/nyuukokukanri01_00111.html＞
　上記非特許文献１に開示されたゲート装置のように、空港等の各種手続きにおいて顔認証の利用が始まっている。
　顔認証システムでは、端末が面前の利用者の顔画像を取得する必要がある。その際、顔認証端末が取得する画像（顔画像）の品質に要求されるレベルは高い。即ち、高精度な照合を実現するためには、照合側、登録側共に品質の高い画像を用いる必要がある。
　例えば、利用者を撮影する時間帯等によって明るさが異なるような画像は認証用途には不適である。
　本発明は、認証用途に適した生体情報を取得することに寄与する、ゲート装置を提供することを主たる目的とする。
　本発明によれば、本体から鉛直方向上向きに延びる支持部と、前記支持部に取り付けられた天井部に設置された第１の照明と、前記支持部に設置され、利用者の生体情報を取得するためのカメラ装置と、を備え、前記カメラ装置は前記第１の照明が光を照射している際に前記利用者の生体情報を取得する、ゲート装置が提供される。
　本発明によれば、認証用途に適した生体情報を取得することに寄与する、ゲート装置が提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第１の実施形態に係る出入国審査システムの概略構成の一例を示す図である。 第１の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第１の実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。 第１の実施形態に係るゲート装置の外観の一例を示す図である。 第１の実施形態に係るゲート装置の断面を模式的に示す図である。 第１の実施形態に係るゲート装置が備える荷物置き場を模式的に図示した正面図の一例である。 第１の実施形態に係るゲート装置のハードウェア構成の一例を示す図である。 第１の実施形態に係るゲート装置の処理構成の一例を示す図である。 審査要求の一例を示す図である。 身長と２つの光源の光度を定めたテーブル情報の一例を示す図である。 荷物置き忘れに関する警告メッセージの一例を示す図である。 第１の実施形態に係る出入国審査システムの動作の一例を示すシーケンス図である。
　はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
　一実施形態に係るゲート装置１００は、支持部１０１と、第１の照明１０２と、カメラ装置１０３と、を備える（図１に示すゲート装置１００の断面図を参照）。支持部１０１は、ゲート装置１００の本体から鉛直方向上向きに延びる部材である。第１の照明１０２は、支持部１０１に取り付けられた天井部に設置された照明である。カメラ装置１０３は、支持部に設置され、利用者の生体情報を取得するための装置である。カメラ装置１０３は、第１の照明１０２が光を照射している際に（第１の照明が光を照射している間に）利用者の生体情報を取得する。
　上記ゲート装置１００において、例えば、第１の照明１０２は利用者を照らすように設置される。具体的には、当該第１の照明１０２は、ゲート装置１００の天井部に取り付けられている。この天井部が、例えば、外光等の光を遮り、時間帯等によらず利用者の生体情報（例えば、顔画像、虹彩画像）を取得するのに適した環境を作り出す。その結果、認証用途に適した生体情報が取得される。
　以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
［第１の実施形態］
　第１の実施形態について、図面を用いてより詳細に説明する。
［システム構成］
　図２は、第１の実施形態に係る出入国審査システムの概略構成の一例を示す図である。図２を参照すると、出入国審査システムには、複数のゲート装置１０－１～１０－３と、サーバ装置２０と、が含まれる。なお、以降の説明において、ゲート装置１０－１～１０－３を区別する特段の理由がない場合には単に「ゲート装置１０」と表記する。また、図２には３台のゲート装置１０を図示しているが、システムに含まれるゲート装置１０の台数を限定する趣旨ではないことは勿論である。出入国審査システムには、少なくとも１台以上のゲート装置１０が含まれていればよい。
　ゲート装置１０とサーバ装置２０は、有線又は無線の通信手段により相互に通信可能に構成されている。サーバ装置２０は、ゲート装置１０と同じ空港内に設置されていてもよいし、ネットワーク（クラウド）上に設置されていてもよい。
　ゲート装置１０は、利用者の出入国に関する審査手続きを自動的に行う装置である。ゲート装置１０は、開閉可能に構成されたゲートを備えている。ゲート装置１０は、自装置の面前に立つ人物が出入国の審査を通過し、且つ、当該人物が正しい旅券（パスポート）を所持していると判断した場合に、ゲートを開門して利用者の通過を許可する。このように、ゲート装置１０は、利用者の出入国審査の結果に応じてゲートを制御する。
　サーバ装置２０は、上記ゲート装置１０による出入国の審査を実現するための装置である。サーバ装置２０は、ゲート装置１０を利用可能な利用者に関する情報（以下、ゲート利用者情報と表記する）を記憶する。
　ゲート装置１０による自動審査を希望する利用者は、事前にシステム登録を行う必要がある。例えば、利用者は、パスポートの発行所等に赴きパスポートを担当職員に提出する。担当職員は、パスポートを提供した利用者が真にパスポートの所持者であるか否かを審査する。審査の結果、利用者は正しいパスポートの所持者であると判断した担当職員は、当該利用者の指紋画像を取得する。具体的には、指紋スキャナ等を利用して指紋画像が取得される。当該指紋画像はサーバ装置２０に入力される。
　サーバ装置２０は、取得した指紋画像をデータベース（以下、登録者データベースと表記する）に追加する。登録する指紋画像は少なくとも１以上の指から採取された指紋画像であればよい。さらに、登録者データベースには審査を通過した利用者の指紋画像に加え、他の情報（例えば、氏名、パスポート番号）が指紋画像と関連付けられて登録されていてもよい。あるいは、登録者データベースには、指紋画像を用いた照合処理に必要となる特徴量（特徴点の種類、位置等）が指紋画像と対応付けて登録されていてもよい。
［システム動作概略］
　続いて、図２を参照しつつ、第１の実施形態に係る出入国審査システムの概略動作について説明する。
　利用者は、ゲート装置１０の前に到達すると、ゲート装置１０の指示に従い指をスキャナの上に置く。ゲート装置１０は、利用者の指紋画像を取得し、当該取得した指紋画像を含む審査要求をサーバ装置２０に送信する。
　サーバ装置２０は、取得した指紋画像と登録者データベースに登録された複数の指紋画像を用いた照合処理（１対Ｎ照合；Ｎは正の整数、以下同じ）を行う。サーバ装置２０は、取得した指紋画像と実質的に一致する指紋画像が登録者データベースに登録されていれば、審査結果を「出入国許可」に設定する。
　対して、サーバ装置２０は、取得した指紋画像と実質的に一致する指紋画像が登録者データベースに登録されていなければ、審査結果を「出入国不許可」に設定する。サーバ装置２０は、審査結果を審査要求の送信元であるゲート装置１０に返信する。
　ゲート装置１０は、審査結果を受信した後、又は、審査要求を送信した後に、面前の利用者が正しいパスポート（利用者本人のパスポート）を所持しているか否かを判定する。具体的には、ゲート装置１０は、利用者に対してパスポートを開いてスキャナに置くことを指示する。ゲート装置１０は、スキャナのカードリーダ機能を用いてパスポートのＩＣ（Integrated Circuit）チップから顔画像等を読み出す。ゲート装置１０は、カメラ装置を用いて利用者の顔画像を取得する。ゲート装置１０は、２つの顔画像それぞれから特徴量（以下、顔特徴量と表記する）を生成し、２つの特徴量が実質的に一致するか否かの判定を行う。即ち、ゲート装置１０は、面前の利用者を撮影することで得られる顔特徴量とパスポートのＩＣチップから得られる顔特徴量を用いた１対１照合を行う。
　ゲート装置１０は、１対１照合に成功し、且つ、サーバ装置２０による審査結果が「出入国許可」である場合に、ゲートを開き利用者が通行可能とする。
　続いて、第１の実施形態に係る出入国審査システムに含まれる各装置の詳細について説明する。
［サーバ装置］
　図３は、第１の実施形態に係るサーバ装置２０の処理構成（処理モジュール）の一例を示す図である。図３を参照すると、サーバ装置２０は、通信制御部２０１と、指紋画像登録部２０２と、審査部２０３と、記憶部２０４と、を含む。
　通信制御部２０１は、他の装置との間の通信を制御する手段である。具体的には、通信制御部２０１は、ゲート装置１０からデータ（パケット）を受信する。また、通信制御部２０１は、ゲート装置１０に向けてデータを送信する。
　指紋画像登録部２０２は、取得した指紋画像を記憶部２０４に構築された登録者データベースに登録する手段である。なお、指紋画像の取得には任意の方法を用いることができる。
　例えば、パスポートの発行窓口において担当職員が指紋画像をサーバ装置２０に入力してもよい。具体的には、担当職員が指紋スキャナを操作し、利用者の指紋画像を取得する。担当職員は、端末（発行窓口に設置されたコンピュータ）を操作し、上記取得した指紋画像をサーバ装置２０に送信する。あるいは、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置を介して上記読み取られたデータがサーバ装置２０に入力されてもよい。
　審査部２０３は、ゲート装置１０が送信する審査要求を処理する手段である。具体的には、審査部２０３は、審査要求に含まれる指紋画像（生体情報）を照合対象に設定し、登録利用者データベースに登録された指紋画像との間で照合処理を行う。
　より具体的には、審査部２０３は、審査要求から取り出した指紋画像を照合対象に設定し、登録者データベースに登録されている複数の指紋画像との間で１対Ｎ照合を実行する。審査部２０３は、照合対象の指紋画像と登録側の複数の指紋画像それぞれとの間のスコア（類似度）を計算する。
　審査部２０３は、照合側、登録側それぞれの指紋画像から特徴点（端点、分岐点）を抽出する。審査部２０３は、抽出した特徴点等に基づいて２つの指紋画像の類似度を示すスコアを算出する。具体的には、審査部２０３は、２つの指紋画像のコア領域（指紋の中心領域）を一致させ、コア領域からみた特徴点の位置や数、特徴点の間に存在する芯線の数等に基づいて上記スコアを算出する。スコアが高いほど２つの指紋画像の類似度は高いことを示す。
　なお、指紋画像から特徴点を抽出する際の処理や特徴点からスコアを算出する際の処理は既存の技術を使用することができ、且つ、当業者にとって明らかであるので更なる説明を省略する。
　審査部２０３は、登録者データベースに登録された複数の指紋画像のうち、照合対象の指紋画像との間のスコアが所定の値以上の指紋画像が少なくとも１つ以上存在するか否かを判定する。
　審査部２０３は、上記スコアが所定の値以上の指紋画像が登録者データベースに存在すれば、審査結果を「出入国許可」に設定する。対して、審査部２０３は、上記スコアが所定の値以上の指紋画像が登録者データベースに存在しなければ、審査結果を「出入国不許可」に設定する。審査部２０３は、審査結果を審査要求の送信元のゲート装置１０に送信する。
　記憶部２０４は、サーバ装置２０の動作に必要な各種情報を記憶する。また、記憶部２０４に登録者データベースが構築される。
　図４は、第１の実施形態に係るサーバ装置２０のハードウェア構成の一例を示す図である。サーバ装置２０は、情報処理装置（所謂、コンピュータ）により構成可能であり、図４に例示する構成を備える。例えば、サーバ装置２０は、プロセッサ２１１、メモリ２１２、入出力インターフェイス２１３及び通信インターフェイス２１４等を備える。上記プロセッサ２１１等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。
　但し、図４に示す構成は、サーバ装置２０のハードウェア構成を限定する趣旨ではない。サーバ装置２０は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス２１３を備えていなくともよい。また、サーバ装置２０に含まれるプロセッサ２１１等の数も図４の例示に限定する趣旨ではなく、例えば、複数のプロセッサ２１１がサーバ装置２０に含まれていてもよい。
　プロセッサ２１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）等のプログラマブルなデバイスである。あるいは、プロセッサ２１１は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスであってもよい。プロセッサ２１１は、オペレーティングシステム（ＯＳ；Operating System）を含む各種プログラムを実行する。
　メモリ２１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。メモリ２１２は、ＯＳプログラム、アプリケーションプログラム、各種データを格納する。
　入出力インターフェイス２１３は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
　通信インターフェイス２１４は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス２１４は、ＮＩＣ（Network Interface Card）等を備える。
　サーバ装置２０の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ２１２に格納されたプログラムをプロセッサ２１１が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transitory）なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
［ゲート装置］
　図５は、第１の実施形態に係るゲート装置１０の外観の一例を示す図である。上述のように、ゲート装置１０は、利用者に出入国に関する審査を自動的に行う装置である。
　ゲート装置１０は、自装置の前に利用者の存在を検出すると、ディスプレイ４０１に出入国審査を自動的に行う際に利用者に対して要求する操作手順等を表示する。
　ゲート装置１０は、利用者に対して、指（予め定められた指；登録者データベースに登録された指紋画像に対応する指）をスキャナ４０２に置くように指示する。ゲート装置１０は、スキャナ４０２を制御し置かれた指を撮像する。ゲート装置１０は、得られた指紋画像を含む審査要求をサーバ装置２０に送信する。
　指紋画像の取得が終了すると、ゲート装置１０は、利用者に対して顔を撮影する旨を通知すると共に、カメラ装置４０３を制御して利用者を撮像する。その際、ゲート装置１０は、上下に取り付けられた上段照明４０４と下段照明４０５の光度を制御する。
　上段照明４０４は、ゲート装置１０の本体から鉛直方向上向きに延びる支持部４０６に取り付けられた天井部４０７に設置されている。より具体的には、上段照明４０４は天井部４０７の内部に埋め込まれるように設置されている。なお、図５に示すように、支持部４０６の構造を幅広とすることで、ディスプレイ４０１やカメラ装置４０３を当該支持部４０６に取り付けることが可能となる。
　下段照明４０５は、ゲート装置１０の本体に埋め込まれるように設置されている。なお、ゲート装置１０の「本体」とは、ゲート装置１０の中心をなす構造体であり、床と接触し、ゲート４０８や支持部４０６が取り付けられた部材である。
　図６は、図５に示すＡ－Ａ間の断面を模式的に示す図である。なお、図６には理解の容易のためにゲート装置１０の利用者（審査対象者）を図示している。図６に示すように、上段照明４０４は利用者の上方から当該利用者に光が照射されるように設置されている。また、下段照明４０５は利用者の下方（より正確には利用者の顔の下方）から当該利用者に光が照射されるように配置されている。
　なお、図６に示す２つの照明の配置は例示であって種々の変形が考えられる。例えば、上段照明４０４は支持部４０６に設置されていてもよい。あるいは、上段照明４０４が支持部４０６に設置され、天井部４０７に向けて光を照射するように取り付けられていてもよい。この場合、天井部４０７に反射板（例えば、鏡）を配置し、上段照明４０４から照射された光が鏡で反射し、反射光が利用者の上方より照射されてもよい。このように、上段照明４０４は天井部４０７の方向に光を照射するように設置され、ゲート装置１０は、上段照明４０４から照射された光を反射する反射板を備えていてもよい。
　同様に、下段照明４０５は支持部４０６の下方に設置されていてもよい。あるいは、下段照明４０５は、ゲート装置１０の本体に取り付けられた鏡に光を照射するように設置されていてもよい。この場合、下段照明４０５から照射された光は鏡で反射し、反射光が利用者の下方より照射されることになる。このように、下段照明４０５は、ゲート装置１０の本体の方向に光を照射するように設置され、ゲート装置１０は、下段照明４０５から照射された光を反射する反射板を備えていてもよい。
　ゲート装置１０は、後述する顔画像を用いた照合処理に適した顔画像が取得できるように上記２つの照明の光度を制御する。ゲート装置１０による照明の制御に関する詳細は後述する。
　利用者の撮像を終えると、ゲート装置１０は、画像から顔領域を抽出し、顔画像を取得する。
　また、ゲート装置１０は、利用者に対して、所持するパスポートの顔写真が写ったページを開き、当該開かれたパスポートをスキャナ４０２に置くように指示する。ゲート装置１０は、パスポートの機械読取領域（Machine Readable Zone；ＭＲＺ）に記載された情報（以下、ＭＲＺ情報）を読み取る。ゲート装置１０は、当該ＭＲＺ情報を用いてパスポートのＩＣチップに格納された顔画像を取得する。
　ゲート装置１０は、カメラ装置４０３から取得した顔画像とパスポートのＩＣチップから取得した顔画像を用いた照合（１対１照合）を実行する。ゲート装置１０は、当該照合に成功すれば（２つの顔画像が実質的に一致すれば）、利用者は正しいパスポートを所持していると判定する。対して、ゲート装置１０は、当該照合に失敗すれば（２つの顔画像が異なれば）、利用者は正しいパスポートを所持していないと判定する。
　ゲート装置１０は、サーバ装置２０からの審査結果が「出入国許可」、且つ、利用者が正しいパスポートを所持していると判定された場合に、ゲート４０８を開き、利用者（審査対象者）の通行を可能とする。
　サーバ装置２０からの審査結果が「出入国不許可」又は利用者が「正しいパスポートを所持していない」と判定された場合には、ゲート装置１０は、ゲート４０８を閉じたままとし、事前に定めたメッセージ等をディスプレイ４０１に表示する。例えば、ゲート装置１０は、有人の審査ブースに向かうような表示をしたり、自動審査に係る操作のやり直しを指示したりする。
　ゲート装置１０は、荷物置き場４３０の状態を監視する。図７は、ゲート装置１０が備える荷物置き場４３０を模式的に図示した正面図の一例である。図７は、利用者がゲート装置１０に向かって歩いて来る方向から荷物置き場４３０を視認した際の図である。
　利用者は、ゲート装置１０を操作する際、手荷物を荷物置き場４３０の天板領域４３１や側部４３２に置く。ゲート装置１０は、天板領域４３１や側部４３２に物体が存在するか否かを検出する。例えば、ゲート装置１０は、重量センサ、圧力センサ等の手段を用いて天板領域４３１に置かれた物体を検出する。あるいは、ゲート装置１０は、赤外線を使った距離センサやカメラから得られる画像を解析することで側部４３２に置かれた物体を検出する。
　なお、上記ゲート装置１０による物体の検出方法は例示であって、ゲート装置１０は任意の方法、手段を用いて荷物置き場４３０に置かれた物体を検出できればよい。また、ゲート装置１０による物体（利用者の荷物）の検出領域は天板領域４３１や側部４３２に限定されず、利用者が荷物を置く可能性のある領域が検出領域に設定される。即ち、ゲート装置１０は、荷物置き場４３０の鉛直方向上側又は側部に位置する物体の存在を検出するだけでなく、利用者が荷物を置く可能性のある場所における物体の有無を検出する。
　ゲート装置１０は、荷物置き場４３０に物体の存在を検出すると、「荷物検出フラグ」を「１」にセットする。ゲート装置１０は、荷物置き場４３０から物体が検出されなければ、「荷物検出フラグ」を「０」にクリアする。
　ゲート装置１０は、審査対象者の出入国審査が終了した時点（審査結果の受信、且つ、パスポート所持の判定が終了）で、荷物検出フラグが「１」に設定されていれば、利用者に対して荷物の取り忘れを通知（警告）する。例えば、ゲート装置１０は、ディスプレイ４０１に上記警告に関するメッセージを表示してもよいし、音声等で警告してもよい。
　また、ゲート装置１０は、ゲート４０８の開閉制御に関し、荷物検出フラグが「０」にクリアされていることを、ゲート４０８を開ける条件の１つとする。利用者が上記荷物取り忘れに係る表示や音声に気が付かなかったとしても、ゲート４０８が開かないので利用者が荷物を置き忘れたまま次の手続きに進むことが防止される。
　図８は、第１の実施形態に係るゲート装置１０のハードウェア構成の一例を示す図である。図８を参照すると、ゲート装置１０は、プロセッサ３１１と、メモリ３１２と、通信インターフェイス３１３と、を備える。さらに、ゲート装置１０は、ディスプレイ４０１と、スキャナ４０２と、カメラ装置４０３と、上段照明４０４と、下段照明４０５と、ゲート４０８と、物体検出器４０９と、を備える。上記プロセッサ３１１等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。なお、図８には、プロセッサ３１１に接続（電気的に接続）される構成要素に限り図示している。図８には、支持部４０６、天井部４０７、荷物置き場４３０の図示を省略している。また、図５に示すように、ゲート装置の本体、支持部４０６及び天井部４０７はコの字形状を形成する。より詳細には、ゲート装置１０の本体（支持部４０６を支える筐体）と天井部４０７は向かい合って対向している。本体と天井部４０７は支持部４０６により接続されている。ゲート装置１０をこのような構成とすることで、本体、支持部４０６及び天井部４０７によりコの字形状（文字「ｃ」の左右が反転された形状）が形成される。
　なお、プロセッサ３１１、メモリ３１２及び通信インターフェイス３１３に関しては、図４を用いて説明したサーバ装置２０の対応する要素と同一の内容とすることができるので詳細な説明を省略する。
　ディスプレイ４０１は、情報を出力するための装置（例えば、液晶モニタ等）である。
　スキャナ４０２は、パスポートからＭＲＺ情報を読み取ったり利用者の指紋画像を取得したりする装置である。また、スキャナ４０２は、パスポートに搭載されたＩＣチップにアクセスする機能も備える。スキャナ４０２は任意の場所に設置することができる。ただし、スキャナ４０２は、利用者がパスポートや指を容易に当該装置に置くことができる場所に設置されるのが好ましい。なお、本願開示では、スキャナ４０２は、ＩＣチップにアクセスするカードリーダとしての機能と、パスポートからＭＲＺ情報を読み出すパスポートスキャナとしての機能と、指から指紋画像を取得する指紋スキャナとして機能と、を有する場合について説明する。しかし、これらの機能が分離され、カードリーダ、パスポートスキャナ、指紋スキャナのそれぞれがゲート装置１０に設けられていてもよい。
　カメラ装置４０３は、例えば、ゲート装置１０の前方を撮影可能に設置されたデジタルカメラである。カメラ装置４０３は任意の場所に設置することができる。例えば、カメラ装置４０３はゲート装置１０の本体に設置されていてもよいし、ゲート装置１０から離れた場所に設置されていてもよい。カメラ装置４０３は、ゲート装置１０の面前に立つ利用者（特に、利用者の顔）を撮影可能であれば、どのような場所に設置されていてもよい。
　上述のように、上段照明４０４は利用者の上方から光を照射するように設置された光源である。また、下段照明４０５は利用者の下方から光を照射するように設置された光源である。上段照明４０４及び下段照明４０５は、その光度が制御可能に構成されている。上段照明４０４及び下段照明４０５の光度が可変されることで、利用者に照射される照度が変化する。即ち、上段照明４０４及び下段照明４０５の光度が変化することで、カメラ装置４０３からみた利用者の輝度が変化する。なお、上段照明４０４及び下段照明４０５には、光度を変更可能な任意の光源を用いることができる。例えば、ＬＥＤ（Light Emitting Diode）を上段照明４０４、下段照明４０５として用いることができる。光源にＬＥＤを用いる場合、当該ＬＥＤに流れる電流を制御することで光度を変更することができる。
　ゲート４０８は、利用者が出入国審査を通過した場合に、利用者の通行を遮る待機時の閉鎖状態から利用者の通行を許可する開放状態に移行する。ゲート４０８の方式は、特に限定されるものではなく、例えば、通路の片側又は両側から設けられたフラッパーが開閉するフラッパーゲート、３本バーが回転するターンスタイルゲート等である。
　物体検出器４０９は、荷物置き場４３０に置かれた物体を検出するためのデバイスである。上述のように、物体検出器４０９には重量センサや距離センサ等を用いることができる。
　ゲート装置１０の機能は、サーバ装置２０と同様に、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ３１２に格納されたプログラムをプロセッサ３１１が実行することで実現される。
　図９は、第１の実施形態に係るゲート装置１０の処理構成（処理モジュール）の一例を示す図である。ゲート装置１０は、通信制御部３０１と、指紋画像取得部３０２と、審査要求部３０３と、顔画像取得部３０４と、パスポート所持判定部３０５と、荷物検出部３０６と、荷物置き忘れ警告部３０７と、ゲート制御部３０８と、記憶部３０９と、を備える。
　通信制御部３０１は、他の装置との間の通信を制御する手段である。具体的には、通信制御部３０１は、サーバ装置２０からデータ（パケット）を受信する。また、通信制御部３０１は、サーバ装置２０に向けてデータを送信する。
　指紋画像取得部３０２は、ゲート装置１０の面前に立つ利用者の指紋画像を取得する手段である。指紋画像取得部３０２は、スキャナ４０２を制御し、利用者の指紋画像を取得する。指紋画像取得部３０２は、取得した指紋画像を審査要求部３０３に引き渡す。
　審査要求部３０３は、審査対象者（ゲート装置１０の面前に立つ利用者）の出入国に関する審査をサーバ装置２０に要求する手段である。具体的には、審査要求部３０３は、取得した指紋画像（生体情報）を含む審査要求を生成し、通信制御部３０１を介して当該生成した審査請求をサーバ装置２０に送信する。
　例えば、審査要求部３０３は、自装置の識別子（以下、ゲート識別子と表記する）、指紋画像等を含む審査要求を生成する（図１０参照）。なお、ゲート識別子には、ゲート装置１０のMAC（Media Access Control）アドレスやIP（Internet Protocol）アドレスを用いることができる。
　審査要求部３０３は、通信制御部３０１を介して審査要求に対するサーバ装置２０からの応答を受信する。審査要求部３０３は、サーバ装置２０からの応答（審査結果；出入国許可、又は、出入国不許可）を荷物置き忘れ警告部３０７とゲート制御部３０８に引き渡す。
　顔画像取得部３０４は、ゲート装置１０の面前に立つ利用者の顔画像（生体情報）を取得する手段である。例えば、顔画像取得部３０４は、カメラ装置４０３を制御し、利用者の顔画像を取得する。顔画像取得部３０４は、取得した顔画像をパスポート所持判定部３０５に引き渡す。
　上述のように、ゲート装置１０は、利用者を撮像する際、上段照明４０４と下段照明４０５の光度を制御する。具体的には、顔画像取得部３０４は、利用者の撮影時における当該利用者の顔に照射された光の照度が実質的に均一となるように上段照明４０４、下段照明４０５の光度を制御する。なお、顔画像取得部３０４は、上記均一化を実現することができれば、上段照明４０４及び下段照明４０５のいずれか一方の光度を制御してもよい。顔画像取得部３０４は、少なくとも２以上の照明を制御する照明制御部としての機能と、利用者の生体情報を取得する取得部としての機能と、を備える。
　例えば、顔画像取得部３０４は、利用者（被撮影者）の身体的特徴に応じて上段照明４０４と下段照明４０５の光度を決定する。例えば、顔画像取得部３０４は、身長の高い利用者の場合（身長が第１の閾値より高い場合）には、下段照明４０５の光度を上段照明４０４の光度よりも相対的に高くする。逆に、顔画像取得部３０４は、身長の低い利用者の場合（身長が第２の閾値より低い場合）には、上段照明４０４の光度を下段照明４０５の光度よりも相対的に高くする。なお、顔画像取得部３０４は、利用者の身長が第１及び第２の閾値から定まる範囲である場合（利用者が平均的な身長の場合）には、２つの照明の光度を同一に設定してもよい。顔画像取得部３０４は、上記のように２つの照明の光度を制御することで、利用者の撮影時における当該利用者に照射された光の照度が均一となるようにする。
　上記照度の均一化に際し、顔画像取得部３０４は利用者の身長を計測する。その後、顔画像取得部３０４は、身長と２つの光源の光度を予め定めたテーブル情報を参照する。顔画像取得部３０４は、当該テーブル情報から得られた光度となるように上段照明４０４、下段照明４０５を制御する。
　図１１は、身長と２つの光源の光度を定めたテーブル情報の一例を示す図である。顔画像取得部３０４は、利用者の身長に基づいて上段照明４０４、下段照明４０５それぞれの光度を取得する。顔画像取得部３０４は、取得した光度による光が照射されるように、上段照明４０４、下段照明４０５それぞれに流れる電流を制御する。なお、光度から電流値を決定する際、顔画像取得部３０４は、これらの関係を予め定めたテーブル情報や関数（光度を入力すると電流値が出力される関数）を使用すればよい。また、光源の電流値を可変する場合には、光源と電源の間に接続された抵抗値を変更してもよいし、ＰＷＭ（Pulse Width Modulation：パルス幅変調）技術等を用いて光源に印加される電圧を変更してもよい。
　なお、顔画像取得部３０４は、任意の方法で利用者の身長を取得する。例えば、ゲート装置１０の支持部４０６に複数のセンサ（例えば、赤外線距離センサ）を鉛直方向に配置する。より具体的には、複数のセンサが所定の間隔で鉛直方向に配置される。顔画像取得部３０４は、当該複数のセンサそれぞれの出力を監視し、各センサの出力値（赤外線距離センサの場合には電圧値）の相違から利用者の身長を計測する。即ち、利用者の身長が低ければ利用者に反応するセンサの数が少なく、利用者の身長が高ければ反応するセンサの数が多くなる。顔画像取得部３０４は、利用者の身長の相違に起因するセンサの出力変化に応じて利用者の身長を特定する。即ち、顔画像取得部３０４は、利用者の身長に応じて反応するセンサの位置に応じて利用者の身長を特定する。
　あるいは、顔画像取得部３０４は、認証（照合）用の顔画像取得に先立ち、利用者を撮像し、得られる画像を解析することで利用者の身長を特定してもよい。なお、その際の上段照明４０４や下段照明４０５の光度は初期値（デフォルト値）に設定される。
　顔画像取得部３０４は、身長特定用の画像を取得すると、当該画像から顔領域を抽出する。顔画像取得部３０４は、抽出した顔画像の上記身長特定用の画像における位置に応じて利用者の身長を特定（推定）する。具体的には、顔画像取得部３０４は、オリジナル画像の上側に顔画像が位置している場合には、当該利用者の身長を高く推定する。対して、顔画像取得部３０４は、オリジナル画像の下側に顔画像が位置している場合には、当該利用者の身長を低く推定する。
　あるいは、利用者の身長の特定において機械学習により得られた学習モデルが使用されてもよい。例えば、利用者が写る画像と当該利用者の身長をラベルとする教師データを多数用意し、学習モデルを生成する。顔画像取得部３０４は、当該生成された学習モデルに身長特定用の画像を入力し、身長を取得してもよい。学習モデルの生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。
　上記説明したように、ゲート装置１０は、利用者の身長を特定せず、画像処理により顔検出やセンサの出力値に基づいて、上段照明４０４、下段照明４０５の光度を制御してもよい。
　パスポート所持判定部３０５は、利用者が正しいパスポートを所持しているか否かを判定する手段である。パスポート所持判定部３０５は、スキャナ４０２を制御してパスポートの機械読取領域に記載されたＭＲＺ情報を取得する。パスポート所持判定部３０５は、当該取得したＭＲＺ情報を用いてＩＣチップに記憶された情報を読み出す。
　ここで、下記参考文献１の「ＩＣ旅券の安全対策」に記載されたように、パスポートのＩＣチップに格納された情報は、同じパスポートに記載されたＭＲＺ情報をパスワードとして暗号化（変換）されている。
＜参考文献１＞
https://www.mofa.go.jp/mofaj/toko/passport/ic_faq.html#11
　パスポート所持判定部３０５は、スキャナ４０２から取得したＭＲＺ情報を用いてＩＣチップから読み出した情報を復号し、当該ＩＣチップに格納された顔画像を取得する。
　パスポート所持判定部３０５は、顔画像取得部３０４から取得した顔画像とＩＣチップから取得した顔画像それぞれから特徴点を抽出する。なお、特徴点の抽出処理に関しては既存の技術を用いることができるのでその詳細な説明を省略する。例えば、パスポート所持判定部３０５は、顔画像から目、鼻、口等を特徴点として抽出する。その後、パスポート所持判定部３０５は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算し、複数の特徴量からなる特徴ベクトル（顔画像を特徴づけるベクトル情報）を生成する。
　パスポート所持判定部３０５は、２つの特徴量（特徴ベクトル）の類似度を計算する。当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。なお、距離が離れているほど類似度は低く、距離が近いほど類似度が高い。
　パスポート所持判定部３０５は、上記計算された類似度が所定の値以上である場合に、照合に成功したと判断する。即ち、パスポート所持判定部３０５は、上記計算された類似度が所定の値以上である場合に、２つの顔画像は同一人物の顔を撮像した画像であると判断する。
　パスポート所持判定部３０５は、１対１照合に成功した場合に、面前に立つ利用者は正しいパスポートを所持していると判定する。パスポート所持判定部３０５は、判定結果（利用者は正しいパスポートを所持しているか否か）を荷物置き忘れ警告部３０７とゲート制御部３０８に通知する。
　荷物検出部３０６は、荷物置き場４３０に物体が存在するか否かの検出を行う手段である。荷物検出部３０６は、物体検出器４０９の出力を監視し、当該検出器（物体検出センサ）が物体の存在を感知した場合に、「荷物検出フラグ」を「１」にセットする。また、荷物検出部３０６は、物体検出器４０９の出力から物体の存在が感知できなくなった場合に、「荷物検出フラグ」を「０」にクリアする。
　荷物置き忘れ警告部３０７は、荷物置き場４３０に物体が存在する場合に、荷物置き忘れに関する警告を行う手段である。より具体的には、荷物置き忘れ警告部３０７は、利用者が荷物を荷物置き場４３０に置き忘れていると判断した際、その旨の警告を行う。荷物置き忘れ警告部３０７は、ゲート装置１０による出入国審査が終了したタイミングにて荷物検出フラグを確認する。
　より具体的には、荷物置き忘れ警告部３０７は、通信制御部３０１を介してサーバ装置２０から審査結果を受信し、且つ、パスポート所持判定部３０５から判定結果を受信している状況を「出入国審査の終了」と判断する。荷物置き忘れ警告部３０７は、２つの結果（審査結果、判定結果）が揃ったタイミングにて荷物検出フラグを確認する。
　荷物置き忘れ警告部３０７は、上記タイミングで荷物検出フラグが「１」であれば、利用者が荷物を置き忘れていると判断し、その旨を警告する。例えば、荷物置き忘れ警告部３０７は、図１２に示すような表示をディスプレイ４０１に行う。あるいは、荷物置き忘れ警告部３０７は、利用者が荷物を置き忘れている旨の音声をスピーカから出力してもよい。あるいは、荷物置き忘れ警告部３０７は、利用者が荷物を置き忘れている旨を利用者が所持する端末に通知してもよい。
　ゲート制御部３０８は、ゲート装置１０が備えるゲート４０８を制御する手段である。ゲート制御部３０８は、少なくとも荷物置き場４３０に物体が存在しない場合に、審査対象者が通行可能となるようにゲート４０８を制御する。換言すれば、ゲート制御部３０８は、荷物置き場４３０に物体（荷物）が存在する場合、審査対象者が通行できないようにゲート４０８を制御する。
　具体的には、ゲート制御部３０８は、３つの条件が揃っている場合にゲート４０８を開門する。より詳細には、ゲート制御部３０８は、サーバ装置２０の審査結果が「出入国許可」、パスポート所持判定結果が「パスポート所持」及び荷物検出フラグが「０」である場合に、ゲート４０８を開門する。ゲート制御部３０８は、原則として、上記３つの条件が満たされなければゲート４０８を開門しない。
　ゲート制御部３０８は、ゲート４０８の通行が許可された利用者（出入国審査を通過した利用者）がゲート４０８を通過した後に当該ゲート４０８を閉門する。
　記憶部３０９は、ゲート装置１０の動作に必要な情報を記憶する手段である。
［出入国審査システムの動作］
　次に、第１の実施形態に係る出入国審査システムの動作について説明する。
　図１３は、第１の実施形態に係る出入国審査システムの動作の一例を示すシーケンス図である。なお、図１３は、利用者の搭乗日におけるシステム動作の一例を示すシーケンス図である。図１３の動作に先立ち、利用者の「ゲート利用者情報（指紋画像）」は予めサーバ装置２０に登録されているものとする。
　事前にシステムの利用登録を行った利用者は、ゲート装置１０の前に移動する。ゲート装置１０は、当該利用者の指紋画像を取得する（ステップＳ０１）。
　ゲート装置１０は、指紋画像を含む審査要求をサーバ装置２０に送信する（ステップＳ０２）。
　サーバ装置２０は、取得した指紋画像を照合側（被認証側）、登録者データベースに記憶された指紋画像を登録側にそれぞれ設定し、１対Ｎ照合を実行する（ステップＳ０３）。
　サーバ装置２０は、上記１対Ｎ照合により得られる審査結果（出入国許可、出入国不許可）を審査要求の送信元のゲート装置１０に送信する（ステップＳ０４）。
　このように、ゲート装置１０は、審査対象者の指紋画像を取得する。その後、ゲート装置１０は、出入国が許可された利用者の指紋画像を記憶するサーバ装置に、当該取得された指紋画像を含む審査要求を送信することで審査対象者の入出国に関する審査を要求する。サーバ装置２０は、事前に登録された指紋画像を用いた照合（１対Ｎ照合）により審査結果を決定し、当該審査結果をゲート装置１０に送信する。
　ゲート装置１０は、利用者を撮影し顔画像を取得すると共に、パスポートのＩＣチップから顔画像を読み出す（顔画像の取得；ステップＳ０５）。利用者を撮影する際、ゲート装置１０は当該利用者の身長を推定し、利用者の身長に適した光度となるように２つの光源を制御する。
　ゲート装置１０は、２つの顔画像を用いた１対１照合を行い利用者が正しいパスポートを所持しているか否かを判定する（ステップＳ０６）。ゲート装置１０は、カメラ装置４０３を制御して審査対象者の第１の顔画像を取得する。その後、ゲート装置１０は、審査対象者が所持するパスポートに記憶された第２の顔画像を取得し、第１及び第２の顔画像の照合を行うことで、審査対象者が正しいパスポートを所持しているか否かを判定する。
　ゲート装置１０は、上記ステップＳ０１～Ｓ０６の動作と並行して荷物置き場４３０に荷物が置かれているか否かを検出する。具体的には、ゲート装置１０は、物体検出器４０９の出力を監視し、荷物置き場４３０の状態を検出する。荷物が荷物置き場４３０に置かれている場合には、荷物検出フラグが「１」にセットされる。荷物が荷物置き場４３０から取り除かれた場合には、荷物検出フラグが「０」にクリアされる。
　ゲート装置１０は、出入国審査が終了したタイミング（サーバ装置２０から審査結果を受信し、パスポートの所持判定が終了したタイミング）にて荷物検出フラグが「１」にセットされているか否かを確認する（ステップＳ０７）。
　荷物検出フラグが「１」にセットされていれば（ステップＳ０７、Ｙｅｓ分岐）、ゲート装置１０は、荷物置き忘れに関する警告を行う（ステップＳ０８）。
　このように、ゲート装置１０は、サーバ装置２０から審査結果を受信し、且つ、パスポート所持に関する判定が終了したタイミングにおいて荷物置き場４３０に物体が存在する場合に、荷物置き忘れに関する警告を行う。その際、ゲート装置１０は、荷物置き場４３０に物体が存在する場合に荷物検出フラグをセットし、荷物置き場４３０に物体が存在しない場合に荷物検出フラグをクリアする。ゲート装置１０は、上記荷物検出フラグの制御を行うと共に、サーバ装置２０から審査結果を受信し、且つ、パスポート所持に関する判定が終了したタイミングで荷物検出フラグを確認することで荷物置き忘れの有無を判定する。
　ゲート装置１０は、荷物置き場４３０の監視を続け荷物置き場４３０から荷物が取り除かれたか否かを検出する。つまり、ゲート装置１０は、荷物検出フラグの監視を続ける（ステップＳ０９）。
　ゲート装置１０は、荷物検出フラグが「０」にクリアされ（ステップＳ０９、Ｙｅｓ分岐）、サーバ装置２０による審査結果が「出入国許可」且つ利用者が「正しいパスポートを所持している」場合に、ゲート４０８を開門する（ステップＳ１０）。このように、ゲート装置１０は、サーバ装置２０からの審査結果が出入国許可であり、審査対象者が正しいパスポートを所持し、荷物置き場４３０に物体が存在しない場合に、審査対象者が通行可能となるようにゲート４０８を制御する。換言すれば、ゲート装置１０は、サーバ装置２０からの審査結果が「出入国不許可」である場合、又は、審査対象者が正しいパスポートを所持していない場合、当該審査対象者が通行できないようにゲート４０８を制御する。
　以上のように、第１の実施形態に係るゲート装置１０は、生体情報（指紋画像）を用いた照合要求（審査要求）をサーバ装置２０に対して行い、当該サーバ装置２０から照合結果（審査結果）を受信する。また、ゲート装置１０は、利用者の顔に照射された光の照度が均一となるように２つの光源を制御し顔画像を取得する。ゲート装置１０は、当該取得された顔画像とパスポートのＩＣチップから読み出した顔画像の照合を行い、利用者が正しいパスポートを所持しているか否かの照合を行う。ゲート装置１０は、審査対象者が荷物を荷物置き場４３０に置き忘れていると判断した場合、その旨の警告を行う。さらに、ゲート装置１０は、利用者が荷物置き場４３０から荷物を移動させないと、当該利用者の出入国に関する審査が終了していてもゲート４０８を開門しない。その結果、利用者が荷物を置き忘れてしまうことを防止できる。
　また、第１の実施形態に係るゲート装置１０は、利用者の身長に応じて２つの光源（上段照明４０４、下段照明４０５）を制御することで、顔照合に適した顔画像を得ることができる。即ち、ゲート装置１０は、異なる照明の光度を最適に制御することで、利用者の身長によらず高品質な画像（顔画像）を得ることができる。より具体的には、ゲート装置１０は、利用者に照射された光の照度が均一となるように少上段照明４０４、下段照明４０５のそれぞれから照射される光の光度を変更する。その結果、顔等に照射された光の輝度が場所によってばらつく等の事態が発生せず、認証用途に適した生体情報が取得される。
　また、第１の実施形態に係るゲート装置１０は、上段照明４０４が天井部４０７に取り付けられている。このルーフ付き照明（天井部４０７に埋め込まれた上段照明４０４）が外光等の光を遮る。その結果、ゲート装置１０は、時間帯等によらず利用者の顔画像を取得するのに適した環境を作り出すことができる。即ち、ゲート装置１０は、ルーフ付き照明を備えることで外乱による顔認証の精度低下を抑制することができる。また、当該ループ付き照明は支持部４０６により吊り下げられ、当該支持部４０６を厚みのある平板形状とすることで、当該支持部４０６にディスプレイ４０１を設置したり内部に配線を通したりすることができる。
［変形例］
　なお、上記実施形態にて説明した出入国審査システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。例えば、上記実施形態では、ゲート装置１０が顔画像に係る生体情報を取得する際に、上段照明４０４、下段照明４０５の光度を制御する場合について説明した。しかし、虹彩画像を認証用途で取得する場合や指紋画像を認証用途で取得する場合にも、２つの光源に関する制御は適用可能である。即ち、虹彩画像や指紋画像の取得に際し、目の領域や指に照射される光の光度が均一となるように２つの光源が制御されてもよい。
　例えば、サーバ装置２０の持つ機能の全部又は一部がゲート装置１０にて実現されてもよい。例えば、ゲート装置１０に登録者データベースが構築され、ゲート装置１０が当該データベースを用いて審査対象者の出入国に関する審査を行ってもよい。あるいは、サーバ装置２０が備える登録者データベースは他のデータベースサーバに構築されていてもよい。
　上記実施形態では、利用者から取得した指紋画像がサーバ装置２０に登録されているか否かの判定を行った後、利用者が正しいパスポートを所持しているか否かの判定を行っている。しかし、これら２つの判定は並行して実施されてもよいし、実行の順序が逆であってもよい。つまり、正しいパスポートを所持しているか否かの判定後、指紋画像がサーバ装置２０に登録されているか否かの判定が行われてもよい。
　上記実施形態では、ゲート装置１０が取得した指紋画像は、出入国審査を事前に済ませた利用者の特定に利用されているが、利用者が犯罪者等に該当しないことの確認に利用されてもよい。例えば、サーバ装置２０は、取得した指紋画像と、犯罪者の指紋を集めたブラックリストに格納された指紋画像と、を用いた照合を行ってもよい。
　上記実施形態では、サーバ装置２０に指紋画像という生体情報が記憶される場合について説明したが、他の生体情報がサーバ装置２０に記憶されていてもよい。例えば、顔画像、声紋情報、虹彩情報等やこれらの特徴量が生体情報として記憶されていてもよい。同様に、パスポートから顔画像以外の生体情報が取得できる場合には、当該顔画像以外の生体情報を用いて審査対象者が正しいパスポートを所持しているか否かの判定が行われてもよい。
　ゲート装置１０とサーバ装置２０の間のデータ送受信の形態は特に限定されないが、これら装置間で送受信されるデータは暗号化されていてもよい。指紋画像は個人情報であり当該個人情報を適切に保護するためには、暗号化されたデータが送受信されることが望ましい。また、ゲート装置１０は、デジタル署名付きの審査要求をサーバ装置２０に送信してもよい。サーバ装置２０は、当該デジタル署名の検証に成功した場合に、取得した審査要求を処理してもよい。このように、サーバ装置２０は、デジタル署名を検証することで審査要求の送信元であるゲート装置１０の正当性を検証可能としてもよい。
　上記実施形態では、パスポートのＩＣチップからＭＲＺ情報を用いて情報を取得する場合について説明したが、当該本願開示の手法は他の方法にも適用可能である。つまり、パスポートに類似するカード等に搭載されたＩＣチップから情報を読み出す際にＭＲＺ情報に相当する情報が用いられてもよい。
　上記実施形態では、上段照明４０４及び下段照明４０５のそれぞれは１つの光源から構成されている場合について説明したが、上段照明４０４及び下段照明４０５のうちいずれか一方は複数の光源から構成されていてもよい。この場合、顔画像取得部３０４は、複数の光源のうち点灯する光源の数を制御することで上段照明４０４、下段照明４０５の光度を変更してもよい。即ち、ゲート装置１０は、複数の光源を対象にしたデジタル制御により利用者の顔に照射される光の光度を制御してもよい。
　上記実施形態では、２つの光源（上段照明４０４、下段照明４０５）がゲート装置１０に取り付けられている場合について説明したが、上記２つの光源に加え中段照明がゲート装置１０に取り付けられていてもよい。つまり、上段照明４０４と下段照明４０５の間に中段照明が設置され、当該中段照明の光度が制御されてもよい。この場合、顔画像取得部３０４は、利用者の身長に応じて３つの光源の光度を制御してもよい。即ち、ゲート装置１０は、複数の光源の光度を制御し、利用者における照度が均一となるようにすればよい。
　上記実施形態では、利用者の身長に基づき複数の光源から照射される光の光度を制御する場合について説明したが、他の情報に基づいて上記光度の制御が行われてもよい。例えば、頭髪の長さや眼鏡を装着しているか否かに応じて、光源の光度が制御されてもよい。あるいは、複数の要素（身長、眼鏡の有無）が総合的に勘案されて光源の光度が制御されてもよい。具体的には、高身長で眼鏡を装着している利用者と低身長で眼鏡を装着している利用者では、２つの光源から照射される光の光度が異なっていてもよい。なお、利用者が眼鏡を装着しているか否かは、テンプレートを用いた画像処理や機械学習により得られた学習モデルを使って判断できる。
　ゲート装置１０は、撮像した顔画像を解析し、当該顔画像の解析結果に基づいて２つの光源の光度を制御してもよい。例えば、ゲート装置１０（顔画像取得部３０４）は、顔画像を複数の領域に分割し、当該分割された小領域を構成する画素の輝度の平均値を計算する。ゲート装置１０は、計算された平均値が、所定の値以上、且つ、各小領域の輝度のばらつき（例えば、分散値、標準偏差）が閾値よりも小さくなるように２つの光源を制御してもよい。即ち、ゲート装置１０は、撮像した顔画像の解析結果を２つの構成の制御にフィードバックし、輝度が均一となるような顔画像を取得してもよい。
　ゲート装置１０は、パスポートから得られる情報を用いて荷物置き忘れに関する警告の内容を決定してもよい。具体的には、荷物置き忘れ警告部３０７は、パスポートのＭＲＺやＩＣチップから得られる情報に基づいてメッセージの内容や表現方法を変更してもよい。例えば、荷物置き忘れ警告部３０７は、利用者の氏名を使って警告メッセージを生成してもよい。例えば、利用者の名前が「太郎」であれば、荷物置き忘れ警告部３０７は、「太郎さん、荷物を置き忘れています」といった内容の警告メッセージを出力してもよい。
　あるいは、荷物置き忘れ警告部３０７は、利用者の国籍に応じて警告メッセージの言語を切り替えてもよい。例えば、利用者が日本国籍を有すれば日本語、利用者が中国国籍を有すれば中国語の警告メッセージを出力（ディスプレイ４０１に表示、スピーカから音声を出力）してもよい。あるいは、荷物置き忘れ警告部３０７は、複数の言語による警告メッセージを生成してもよい。例えば、荷物置き忘れ警告部３０７は、第１言語は「英語」に固定し、第２言語を国籍に応じた言語に設定して警告メッセージを生成してもよい。
　荷物置き忘れ警告部３０７は、音声により荷物の置き忘れを警告する際、指向性の強いパラメトリックスピーカー等を用いて上記警告を行ってもよい。パラメトリックスピーカー等を用いることで、警告メッセージを利用者に確実に通知することが可能となる。
　上記説明で用いた流れ図（フローチャート、シーケンス図）では、複数の工程（処理）が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
　上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
　上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、空港の出入国審査システムなどに好適に適用可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　本体から鉛直方向上向きに延びる支持部と、
　前記支持部に取り付けられた天井部に設置された第１の照明と、
　前記支持部に設置され、利用者の生体情報を取得するためのカメラ装置と、
　を備え、
　前記カメラ装置は前記第１の照明が光を照射している際に前記利用者の生体情報を取得する、ゲート装置。
［付記２］
　前記第１の照明は、前記天井部の内部に埋め込まれている、付記１に記載のゲート装置。
［付記３］
　前記第１の照明は、利用者の上方から光を照射するように前記天井部に設置されている、付記１又は２に記載のゲート装置。
［付記４］
　前記第１の照明は、前記天井部に代えて前記支持部に設置され、且つ、前記天井部の方向に光を照射するように設置され、
　前記第１の照明から照射された光を反射する、第１の反射板をさらに備える、付記１乃至３のいずれか一に記載のゲート装置。
［付記５］
　前記利用者の下方から光を照射するように設置された第２の照明をさらに備える、付記４に記載のゲート装置。
［付記６］
　前記第２の照明は、前記本体の方向に光を照射するように設置され、
　前記第２の照明から照射された光を反射する、第２の反射板をさらに備える、付記５に記載のゲート装置。
［付記７］
　前記本体に取り付けられたスキャナと、
　前記支持部に取り付けられたディスプレイと、
　をさらに備える、付記１乃至６のいずれか一に記載のゲート装置。
［付記８］
　前記本体と前記天井部は対向し、前記本体と前記天井部は前記支持部により接続され、前記本体、前記支持部及び前記天井部はコの字形状を形成する、付記１乃至７のいずれか一に記載のゲート装置。
［付記９］
　少なくとも前記第１の照明の光度を制御する、照明制御部をさらに備える、付記１乃至８のいずれか一に記載のゲート装置。
　なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
１０、１０－１～１０－３、１００　ゲート装置
２０　サーバ装置
１０１、４０６　支持部
１０２　第１の照明
１０３、４０３　カメラ装置
２０１、３０１　通信制御部
２０２　指紋画像登録部
２０３　審査部
２０４、３０９　記憶部
２１１、３１１　プロセッサ
２１２、３１２　メモリ
２１３　入出力インターフェイス
２１４、３１３　通信インターフェイス
３０２　指紋画像取得部
３０３　審査要求部
３０４　顔画像取得部
３０５　パスポート所持判定部
３０６　荷物検出部
３０７　荷物置き忘れ警告部
３０８　ゲート制御部
４０１　ディスプレイ
４０２　スキャナ
４０４　上段照明
４０５　下段照明
４０７　天井部
４０８　ゲート
４０９　物体検出器
４３０　荷物置き場
４３１　天板領域
４３２　側部

Claims (9)

  1. 　本体から鉛直方向上向きに延びる支持部と、
    　前記支持部に取り付けられた天井部に設置された第１の照明と、
    　前記支持部に設置され、利用者の生体情報を取得するためのカメラ装置と、
    　を備え、
    　前記カメラ装置は前記第１の照明が光を照射している際に前記利用者の生体情報を取得する、ゲート装置。
  2. 　前記第１の照明は、前記天井部の内部に埋め込まれている、請求項１に記載のゲート装置。
  3. 　前記第１の照明は、利用者の上方から光を照射するように前記天井部に設置されている、請求項１又は２に記載のゲート装置。
  4. 　前記第１の照明は、前記天井部に代えて前記支持部に設置され、且つ、前記天井部の方向に光を照射するように設置され、
    　前記第１の照明から照射された光を反射する、第１の反射板をさらに備える、請求項１乃至３のいずれか一項に記載のゲート装置。
  5. 　前記利用者の下方から光を照射するように設置された第２の照明をさらに備える、請求項４に記載のゲート装置。
  6. 　前記第２の照明は、前記本体の方向に光を照射するように設置され、
    　前記第２の照明から照射された光を反射する、第２の反射板をさらに備える、請求項５に記載のゲート装置。
  7. 　前記本体に取り付けられたスキャナと、
    　前記支持部に取り付けられたディスプレイと、
    　をさらに備える、請求項１乃至６のいずれか一項に記載のゲート装置。
  8. 　前記本体と前記天井部は対向し、前記本体と前記天井部は前記支持部により接続され、前記本体、前記支持部及び前記天井部はコの字形状を形成する、請求項１乃至７のいずれか一項に記載のゲート装置。
  9. 　少なくとも前記第１の照明の光度を制御する、照明制御部をさらに備える、請求項１乃至８のいずれか一項に記載のゲート装置。
PCT/JP2020/006212 2020-02-18 2020-02-18 ゲート装置 WO2021166064A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2022501433A JP7276591B2 (ja) 2020-02-18 2020-02-18 ゲート装置
EP20920152.4A EP4108859A4 (en) 2020-02-18 2020-02-18 DOOR DEVICE
US17/796,985 US11947244B2 (en) 2020-02-18 2020-02-18 Gate apparatus
PCT/JP2020/006212 WO2021166064A1 (ja) 2020-02-18 2020-02-18 ゲート装置
US18/383,138 US20240053657A1 (en) 2020-02-18 2023-10-24 Gate apparatus
US18/383,504 US20240053658A1 (en) 2020-02-18 2023-10-25 Gate apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/006212 WO2021166064A1 (ja) 2020-02-18 2020-02-18 ゲート装置

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US17/796,985 A-371-Of-International US11947244B2 (en) 2020-02-18 2020-02-18 Gate apparatus
US18/383,138 Continuation US20240053657A1 (en) 2020-02-18 2023-10-24 Gate apparatus
US18/383,504 Continuation US20240053658A1 (en) 2020-02-18 2023-10-25 Gate apparatus

Publications (1)

Publication Number Publication Date
WO2021166064A1 true WO2021166064A1 (ja) 2021-08-26

Family

ID=77390602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006212 WO2021166064A1 (ja) 2020-02-18 2020-02-18 ゲート装置

Country Status (4)

Country Link
US (3) US11947244B2 (ja)
EP (1) EP4108859A4 (ja)
JP (1) JP7276591B2 (ja)
WO (1) WO2021166064A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053268A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 システム、認証端末、認証端末の制御方法及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005241839A (ja) * 2004-02-25 2005-09-08 Make Softwear:Kk 写真自動販売機、写真自動販売機の制御方法、および写真自動販売機の制御プログラム
JP2009211556A (ja) * 2008-03-05 2009-09-17 Fujitsu Ltd 生体認証装置
JP2018109935A (ja) * 2016-12-28 2018-07-12 グローリー株式会社 顔照合装置及び顔照合方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068420A1 (en) * 2003-09-30 2005-03-31 Duggan Charles F. All in one capture station for creating identification documents
WO2009104380A1 (ja) * 2008-02-22 2009-08-27 グローリー株式会社 ゲート装置
US8657190B2 (en) * 2009-01-07 2014-02-25 Magnetic Autocontrol Gmbh Apparatus for a checkpoint
US8674805B2 (en) * 2009-07-02 2014-03-18 Mountain Pass Systems, Llc Access control system and method using radio-frequency identification and imaging
JPWO2015136938A1 (ja) * 2014-03-14 2017-04-06 株式会社東芝 情報処理方法および情報処理システム
AU2015253071A1 (en) * 2014-04-30 2016-11-10 Cubic Corporation Adaptive gate walkway floor display
JP2017027492A (ja) * 2015-07-27 2017-02-02 パナソニックＩｐマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
WO2017146160A1 (ja) 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合方法、及び記録媒体
EP3522118A4 (en) * 2016-09-30 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. GATE DEVICE
JP7220373B2 (ja) * 2018-06-28 2023-02-10 パナソニックＩｐマネジメント株式会社 ゲート装置及びシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005241839A (ja) * 2004-02-25 2005-09-08 Make Softwear:Kk 写真自動販売機、写真自動販売機の制御方法、および写真自動販売機の制御プログラム
JP2009211556A (ja) * 2008-03-05 2009-09-17 Fujitsu Ltd 生体認証装置
JP2018109935A (ja) * 2016-12-28 2018-07-12 グローリー株式会社 顔照合装置及び顔照合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"How to use an automated gate (notice", MINISTRY OF JUSTICE, December 2019 (2019-12-01), Retrieved from the Internet <URL:http://www.moj.go.jp/nyuukokukanri/kouhou/nyuukokukanri01_00111.html>
See also references of EP4108859A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053268A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 システム、認証端末、認証端末の制御方法及び記憶媒体

Also Published As

Publication number Publication date
US11947244B2 (en) 2024-04-02
JPWO2021166064A1 (ja) 2021-08-26
JP7276591B2 (ja) 2023-05-18
US20230053965A1 (en) 2023-02-23
US20240053658A1 (en) 2024-02-15
EP4108859A1 (en) 2022-12-28
US20240053657A1 (en) 2024-02-15
EP4108859A4 (en) 2023-04-12

Similar Documents

Publication Publication Date Title
US20170070501A1 (en) Information processing method and information processing system
JP2023099564A (ja) ゲート装置、ゲート装置の制御方法及びプログラム
US20130088685A1 (en) Iris Cameras
US11756338B2 (en) Authentication device, authentication method, and recording medium
JPWO2020075307A1 (ja) 装置、方法及びプログラム
US20190035042A1 (en) Method and System for Implementing User Biometrics as a Boarding Pass for Public Transportation
EP2624205A1 (en) Registration program, registration device, and registration method
JP7006804B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20240053657A1 (en) Gate apparatus
KR20200080533A (ko) 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법
JP2018055231A (ja) 生体認証装置
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
US9946929B2 (en) Method of detecting boundaries of the human eye
WO2021166061A1 (ja) ゲート装置、ゲート装置の制御方法及び記憶媒体
JP2023126272A (ja) 処理装置、処理装置の制御方法及びプログラム
JP2023138550A (ja) ゲート装置、出入国審査システム、ゲート装置の制御方法及びプログラム
CN108734835A (zh) 一种门禁验证方法及其系统
WO2021166059A1 (ja) ゲート装置、ゲート装置の制御方法及び記憶媒体
US20240194011A1 (en) Authentication of a user for access
Živković Application for student attendance based on face recognition
WO2021166066A1 (ja) ゲート装置、管理サーバ、出入国審査システム及び出入国審査方法
KR102530141B1 (ko) 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치
WO2023156313A1 (en) Authentication of a user for access

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20920152

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501433

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020920152

Country of ref document: EP

Effective date: 20220919