JP7276591B2 - ゲート装置 - Google Patents

ゲート装置 Download PDF

Info

Publication number
JP7276591B2
JP7276591B2 JP2022501433A JP2022501433A JP7276591B2 JP 7276591 B2 JP7276591 B2 JP 7276591B2 JP 2022501433 A JP2022501433 A JP 2022501433A JP 2022501433 A JP2022501433 A JP 2022501433A JP 7276591 B2 JP7276591 B2 JP 7276591B2
Authority
JP
Japan
Prior art keywords
user
gate device
lighting
gate
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022501433A
Other languages
English (en)
Other versions
JPWO2021166064A1 (ja
Inventor
富美 入江
義崇 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021166064A1 publication Critical patent/JPWO2021166064A1/ja
Application granted granted Critical
Publication of JP7276591B2 publication Critical patent/JP7276591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/06Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G03B15/07Arrangements of lamps in studios
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/10Movable barriers with registering means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/10Movable barriers with registering means
    • G07C9/15Movable barriers with registering means with arrangements to prevent the passage of more than one individual at a time
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/27Individual registration on entry or exit involving the use of a pass with central registration

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、ゲート装置に関する。
空港において出入国審査が行われる。当該出入国審査の担当官は、パスポートに貼付された顔写真と面前の人物の顔を比較し、パスポートの顔画像と面前の人物の顔が一致しない場合に当該人物の出入国を許可しない。
近年、上記出入国審査を自動的に行う装置が導入されている。例えば、非特許文献1に開示されたゲート装置において、事前登録された生体情報とゲート装置が取得した生体情報の比較により出入国が審査される。
法務省、「自動化ゲートの運用について(お知らせ)」、[online]、[2019年12月検索]、インターネット<URL:http://www.moj.go.jp/nyuukokukanri/kouhou/nyuukokukanri01_00111.html>
上記非特許文献1に開示されたゲート装置のように、空港等の各種手続きにおいて顔認証の利用が始まっている。
顔認証システムでは、端末が面前の利用者の顔画像を取得する必要がある。その際、顔認証端末が取得する画像(顔画像)の品質に要求されるレベルは高い。即ち、高精度な照合を実現するためには、照合側、登録側共に品質の高い画像を用いる必要がある。
例えば、利用者を撮影する時間帯等によって明るさが異なるような画像は認証用途には不適である。
本発明は、認証用途に適した生体情報を取得することに寄与する、ゲート装置を提供することを主たる目的とする。
本発明によれば、本体から鉛直方向上向きに延びる支持部と、前記支持部に取り付けられた天井部に設置された第1の照明と、前記支持部に設置され、利用者の生体情報を取得するためのカメラ装置と、を備え、前記カメラ装置は前記第1の照明が光を照射している際に前記利用者の生体情報を取得する、ゲート装置が提供される。
本発明によれば、認証用途に適した生体情報を取得することに寄与する、ゲート装置が提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第1の実施形態に係る出入国審査システムの概略構成の一例を示す図である。 第1の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第1の実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。 第1の実施形態に係るゲート装置の外観の一例を示す図である。 第1の実施形態に係るゲート装置の断面を模式的に示す図である。 第1の実施形態に係るゲート装置が備える荷物置き場を模式的に図示した正面図の一例である。 第1の実施形態に係るゲート装置のハードウェア構成の一例を示す図である。 第1の実施形態に係るゲート装置の処理構成の一例を示す図である。 審査要求の一例を示す図である。 身長と2つの光源の光度を定めたテーブル情報の一例を示す図である。 荷物置き忘れに関する警告メッセージの一例を示す図である。 第1の実施形態に係る出入国審査システムの動作の一例を示すシーケンス図である。
はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
一実施形態に係るゲート装置100は、支持部101と、第1の照明102と、カメラ装置103と、を備える(図1に示すゲート装置100の断面図を参照)。支持部101は、ゲート装置100の本体から鉛直方向上向きに延びる部材である。第1の照明102は、支持部101に取り付けられた天井部に設置された照明である。カメラ装置103は、支持部に設置され、利用者の生体情報を取得するための装置である。カメラ装置103は、第1の照明102が光を照射している際に(第1の照明が光を照射している間に)利用者の生体情報を取得する。
上記ゲート装置100において、例えば、第1の照明102は利用者を照らすように設置される。具体的には、当該第1の照明102は、ゲート装置100の天井部に取り付けられている。この天井部が、例えば、外光等の光を遮り、時間帯等によらず利用者の生体情報(例えば、顔画像、虹彩画像)を取得するのに適した環境を作り出す。その結果、認証用途に適した生体情報が取得される。
以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
[システム構成]
図2は、第1の実施形態に係る出入国審査システムの概略構成の一例を示す図である。図2を参照すると、出入国審査システムには、複数のゲート装置10-1~10-3と、サーバ装置20と、が含まれる。なお、以降の説明において、ゲート装置10-1~10-3を区別する特段の理由がない場合には単に「ゲート装置10」と表記する。また、図2には3台のゲート装置10を図示しているが、システムに含まれるゲート装置10の台数を限定する趣旨ではないことは勿論である。出入国審査システムには、少なくとも1台以上のゲート装置10が含まれていればよい。
ゲート装置10とサーバ装置20は、有線又は無線の通信手段により相互に通信可能に構成されている。サーバ装置20は、ゲート装置10と同じ空港内に設置されていてもよいし、ネットワーク(クラウド)上に設置されていてもよい。
ゲート装置10は、利用者の出入国に関する審査手続きを自動的に行う装置である。ゲート装置10は、開閉可能に構成されたゲートを備えている。ゲート装置10は、自装置の面前に立つ人物が出入国の審査を通過し、且つ、当該人物が正しい旅券(パスポート)を所持していると判断した場合に、ゲートを開門して利用者の通過を許可する。このように、ゲート装置10は、利用者の出入国審査の結果に応じてゲートを制御する。
サーバ装置20は、上記ゲート装置10による出入国の審査を実現するための装置である。サーバ装置20は、ゲート装置10を利用可能な利用者に関する情報(以下、ゲート利用者情報と表記する)を記憶する。
ゲート装置10による自動審査を希望する利用者は、事前にシステム登録を行う必要がある。例えば、利用者は、パスポートの発行所等に赴きパスポートを担当職員に提出する。担当職員は、パスポートを提供した利用者が真にパスポートの所持者であるか否かを審査する。審査の結果、利用者は正しいパスポートの所持者であると判断した担当職員は、当該利用者の指紋画像を取得する。具体的には、指紋スキャナ等を利用して指紋画像が取得される。当該指紋画像はサーバ装置20に入力される。
サーバ装置20は、取得した指紋画像をデータベース(以下、登録者データベースと表記する)に追加する。登録する指紋画像は少なくとも1以上の指から採取された指紋画像であればよい。さらに、登録者データベースには審査を通過した利用者の指紋画像に加え、他の情報(例えば、氏名、パスポート番号)が指紋画像と関連付けられて登録されていてもよい。あるいは、登録者データベースには、指紋画像を用いた照合処理に必要となる特徴量(特徴点の種類、位置等)が指紋画像と対応付けて登録されていてもよい。
[システム動作概略]
続いて、図2を参照しつつ、第1の実施形態に係る出入国審査システムの概略動作について説明する。
利用者は、ゲート装置10の前に到達すると、ゲート装置10の指示に従い指をスキャナの上に置く。ゲート装置10は、利用者の指紋画像を取得し、当該取得した指紋画像を含む審査要求をサーバ装置20に送信する。
サーバ装置20は、取得した指紋画像と登録者データベースに登録された複数の指紋画像を用いた照合処理(1対N照合;Nは正の整数、以下同じ)を行う。サーバ装置20は、取得した指紋画像と実質的に一致する指紋画像が登録者データベースに登録されていれば、審査結果を「出入国許可」に設定する。
対して、サーバ装置20は、取得した指紋画像と実質的に一致する指紋画像が登録者データベースに登録されていなければ、審査結果を「出入国不許可」に設定する。サーバ装置20は、審査結果を審査要求の送信元であるゲート装置10に返信する。
ゲート装置10は、審査結果を受信した後、又は、審査要求を送信した後に、面前の利用者が正しいパスポート(利用者本人のパスポート)を所持しているか否かを判定する。具体的には、ゲート装置10は、利用者に対してパスポートを開いてスキャナに置くことを指示する。ゲート装置10は、スキャナのカードリーダ機能を用いてパスポートのIC(Integrated Circuit)チップから顔画像等を読み出す。ゲート装置10は、カメラ装置を用いて利用者の顔画像を取得する。ゲート装置10は、2つの顔画像それぞれから特徴量(以下、顔特徴量と表記する)を生成し、2つの特徴量が実質的に一致するか否かの判定を行う。即ち、ゲート装置10は、面前の利用者を撮影することで得られる顔特徴量とパスポートのICチップから得られる顔特徴量を用いた1対1照合を行う。
ゲート装置10は、1対1照合に成功し、且つ、サーバ装置20による審査結果が「出入国許可」である場合に、ゲートを開き利用者が通行可能とする。
続いて、第1の実施形態に係る出入国審査システムに含まれる各装置の詳細について説明する。
[サーバ装置]
図3は、第1の実施形態に係るサーバ装置20の処理構成(処理モジュール)の一例を示す図である。図3を参照すると、サーバ装置20は、通信制御部201と、指紋画像登録部202と、審査部203と、記憶部204と、を含む。
通信制御部201は、他の装置との間の通信を制御する手段である。具体的には、通信制御部201は、ゲート装置10からデータ(パケット)を受信する。また、通信制御部201は、ゲート装置10に向けてデータを送信する。
指紋画像登録部202は、取得した指紋画像を記憶部204に構築された登録者データベースに登録する手段である。なお、指紋画像の取得には任意の方法を用いることができる。
例えば、パスポートの発行窓口において担当職員が指紋画像をサーバ装置20に入力してもよい。具体的には、担当職員が指紋スキャナを操作し、利用者の指紋画像を取得する。担当職員は、端末(発行窓口に設置されたコンピュータ)を操作し、上記取得した指紋画像をサーバ装置20に送信する。あるいは、USB(Universal Serial Bus)メモリ等の外部記憶装置を介して上記読み取られたデータがサーバ装置20に入力されてもよい。
審査部203は、ゲート装置10が送信する審査要求を処理する手段である。具体的には、審査部203は、審査要求に含まれる指紋画像(生体情報)を照合対象に設定し、登録利用者データベースに登録された指紋画像との間で照合処理を行う。
より具体的には、審査部203は、審査要求から取り出した指紋画像を照合対象に設定し、登録者データベースに登録されている複数の指紋画像との間で1対N照合を実行する。審査部203は、照合対象の指紋画像と登録側の複数の指紋画像それぞれとの間のスコア(類似度)を計算する。
審査部203は、照合側、登録側それぞれの指紋画像から特徴点(端点、分岐点)を抽出する。審査部203は、抽出した特徴点等に基づいて2つの指紋画像の類似度を示すスコアを算出する。具体的には、審査部203は、2つの指紋画像のコア領域(指紋の中心領域)を一致させ、コア領域からみた特徴点の位置や数、特徴点の間に存在する芯線の数等に基づいて上記スコアを算出する。スコアが高いほど2つの指紋画像の類似度は高いことを示す。
なお、指紋画像から特徴点を抽出する際の処理や特徴点からスコアを算出する際の処理は既存の技術を使用することができ、且つ、当業者にとって明らかであるので更なる説明を省略する。
審査部203は、登録者データベースに登録された複数の指紋画像のうち、照合対象の指紋画像との間のスコアが所定の値以上の指紋画像が少なくとも1つ以上存在するか否かを判定する。
審査部203は、上記スコアが所定の値以上の指紋画像が登録者データベースに存在すれば、審査結果を「出入国許可」に設定する。対して、審査部203は、上記スコアが所定の値以上の指紋画像が登録者データベースに存在しなければ、審査結果を「出入国不許可」に設定する。審査部203は、審査結果を審査要求の送信元のゲート装置10に送信する。
記憶部204は、サーバ装置20の動作に必要な各種情報を記憶する。また、記憶部204に登録者データベースが構築される。
図4は、第1の実施形態に係るサーバ装置20のハードウェア構成の一例を示す図である。サーバ装置20は、情報処理装置(所謂、コンピュータ)により構成可能であり、図4に例示する構成を備える。例えば、サーバ装置20は、プロセッサ211、メモリ212、入出力インターフェイス213及び通信インターフェイス214等を備える。上記プロセッサ211等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。
但し、図4に示す構成は、サーバ装置20のハードウェア構成を限定する趣旨ではない。サーバ装置20は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス213を備えていなくともよい。また、サーバ装置20に含まれるプロセッサ211等の数も図4の例示に限定する趣旨ではなく、例えば、複数のプロセッサ211がサーバ装置20に含まれていてもよい。
プロセッサ211は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ211は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ211は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
メモリ212は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ212は、OSプログラム、アプリケーションプログラム、各種データを格納する。
入出力インターフェイス213は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
通信インターフェイス214は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス214は、NIC(Network Interface Card)等を備える。
サーバ装置20の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ212に格納されたプログラムをプロセッサ211が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
[ゲート装置]
図5は、第1の実施形態に係るゲート装置10の外観の一例を示す図である。上述のように、ゲート装置10は、利用者に出入国に関する審査を自動的に行う装置である。
ゲート装置10は、自装置の前に利用者の存在を検出すると、ディスプレイ401に出入国審査を自動的に行う際に利用者に対して要求する操作手順等を表示する。
ゲート装置10は、利用者に対して、指(予め定められた指;登録者データベースに登録された指紋画像に対応する指)をスキャナ402に置くように指示する。ゲート装置10は、スキャナ402を制御し置かれた指を撮像する。ゲート装置10は、得られた指紋画像を含む審査要求をサーバ装置20に送信する。
指紋画像の取得が終了すると、ゲート装置10は、利用者に対して顔を撮影する旨を通知すると共に、カメラ装置403を制御して利用者を撮像する。その際、ゲート装置10は、上下に取り付けられた上段照明404と下段照明405の光度を制御する。
上段照明404は、ゲート装置10の本体から鉛直方向上向きに延びる支持部406に取り付けられた天井部407に設置されている。より具体的には、上段照明404は天井部407の内部に埋め込まれるように設置されている。なお、図5に示すように、支持部406の構造を幅広とすることで、ディスプレイ401やカメラ装置403を当該支持部406に取り付けることが可能となる。
下段照明405は、ゲート装置10の本体に埋め込まれるように設置されている。なお、ゲート装置10の「本体」とは、ゲート装置10の中心をなす構造体であり、床と接触し、ゲート408や支持部406が取り付けられた部材である。
図6は、図5に示すA-A間の断面を模式的に示す図である。なお、図6には理解の容易のためにゲート装置10の利用者(審査対象者)を図示している。図6に示すように、上段照明404は利用者の上方から当該利用者に光が照射されるように設置されている。また、下段照明405は利用者の下方(より正確には利用者の顔の下方)から当該利用者に光が照射されるように配置されている。
なお、図6に示す2つの照明の配置は例示であって種々の変形が考えられる。例えば、上段照明404は支持部406に設置されていてもよい。あるいは、上段照明404が支持部406に設置され、天井部407に向けて光を照射するように取り付けられていてもよい。この場合、天井部407に反射板(例えば、鏡)を配置し、上段照明404から照射された光が鏡で反射し、反射光が利用者の上方より照射されてもよい。このように、上段照明404は天井部407の方向に光を照射するように設置され、ゲート装置10は、上段照明404から照射された光を反射する反射板を備えていてもよい。
同様に、下段照明405は支持部406の下方に設置されていてもよい。あるいは、下段照明405は、ゲート装置10の本体に取り付けられた鏡に光を照射するように設置されていてもよい。この場合、下段照明405から照射された光は鏡で反射し、反射光が利用者の下方より照射されることになる。このように、下段照明405は、ゲート装置10の本体の方向に光を照射するように設置され、ゲート装置10は、下段照明405から照射された光を反射する反射板を備えていてもよい。
ゲート装置10は、後述する顔画像を用いた照合処理に適した顔画像が取得できるように上記2つの照明の光度を制御する。ゲート装置10による照明の制御に関する詳細は後述する。
利用者の撮像を終えると、ゲート装置10は、画像から顔領域を抽出し、顔画像を取得する。
また、ゲート装置10は、利用者に対して、所持するパスポートの顔写真が写ったページを開き、当該開かれたパスポートをスキャナ402に置くように指示する。ゲート装置10は、パスポートの機械読取領域(Machine Readable Zone;MRZ)に記載された情報(以下、MRZ情報)を読み取る。ゲート装置10は、当該MRZ情報を用いてパスポートのICチップに格納された顔画像を取得する。
ゲート装置10は、カメラ装置403から取得した顔画像とパスポートのICチップから取得した顔画像を用いた照合(1対1照合)を実行する。ゲート装置10は、当該照合に成功すれば(2つの顔画像が実質的に一致すれば)、利用者は正しいパスポートを所持していると判定する。対して、ゲート装置10は、当該照合に失敗すれば(2つの顔画像が異なれば)、利用者は正しいパスポートを所持していないと判定する。
ゲート装置10は、サーバ装置20からの審査結果が「出入国許可」、且つ、利用者が正しいパスポートを所持していると判定された場合に、ゲート408を開き、利用者(審査対象者)の通行を可能とする。
サーバ装置20からの審査結果が「出入国不許可」又は利用者が「正しいパスポートを所持していない」と判定された場合には、ゲート装置10は、ゲート408を閉じたままとし、事前に定めたメッセージ等をディスプレイ401に表示する。例えば、ゲート装置10は、有人の審査ブースに向かうような表示をしたり、自動審査に係る操作のやり直しを指示したりする。
ゲート装置10は、荷物置き場430の状態を監視する。図7は、ゲート装置10が備える荷物置き場430を模式的に図示した正面図の一例である。図7は、利用者がゲート装置10に向かって歩いて来る方向から荷物置き場430を視認した際の図である。
利用者は、ゲート装置10を操作する際、手荷物を荷物置き場430の天板領域431や側部432に置く。ゲート装置10は、天板領域431や側部432に物体が存在するか否かを検出する。例えば、ゲート装置10は、重量センサ、圧力センサ等の手段を用いて天板領域431に置かれた物体を検出する。あるいは、ゲート装置10は、赤外線を使った距離センサやカメラから得られる画像を解析することで側部432に置かれた物体を検出する。
なお、上記ゲート装置10による物体の検出方法は例示であって、ゲート装置10は任意の方法、手段を用いて荷物置き場430に置かれた物体を検出できればよい。また、ゲート装置10による物体(利用者の荷物)の検出領域は天板領域431や側部432に限定されず、利用者が荷物を置く可能性のある領域が検出領域に設定される。即ち、ゲート装置10は、荷物置き場430の鉛直方向上側又は側部に位置する物体の存在を検出するだけでなく、利用者が荷物を置く可能性のある場所における物体の有無を検出する。
ゲート装置10は、荷物置き場430に物体の存在を検出すると、「荷物検出フラグ」を「1」にセットする。ゲート装置10は、荷物置き場430から物体が検出されなければ、「荷物検出フラグ」を「0」にクリアする。
ゲート装置10は、審査対象者の出入国審査が終了した時点(審査結果の受信、且つ、パスポート所持の判定が終了)で、荷物検出フラグが「1」に設定されていれば、利用者に対して荷物の取り忘れを通知(警告)する。例えば、ゲート装置10は、ディスプレイ401に上記警告に関するメッセージを表示してもよいし、音声等で警告してもよい。
また、ゲート装置10は、ゲート408の開閉制御に関し、荷物検出フラグが「0」にクリアされていることを、ゲート408を開ける条件の1つとする。利用者が上記荷物取り忘れに係る表示や音声に気が付かなかったとしても、ゲート408が開かないので利用者が荷物を置き忘れたまま次の手続きに進むことが防止される。
図8は、第1の実施形態に係るゲート装置10のハードウェア構成の一例を示す図である。図8を参照すると、ゲート装置10は、プロセッサ311と、メモリ312と、通信インターフェイス313と、を備える。さらに、ゲート装置10は、ディスプレイ401と、スキャナ402と、カメラ装置403と、上段照明404と、下段照明405と、ゲート408と、物体検出器409と、を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。なお、図8には、プロセッサ311に接続(電気的に接続)される構成要素に限り図示している。図8には、支持部406、天井部407、荷物置き場430の図示を省略している。また、図5に示すように、ゲート装置の本体、支持部406及び天井部407はコの字形状を形成する。より詳細には、ゲート装置10の本体(支持部406を支える筐体)と天井部407は向かい合って対向している。本体と天井部407は支持部406により接続されている。ゲート装置10をこのような構成とすることで、本体、支持部406及び天井部407によりコの字形状(文字「c」の左右が反転された形状)が形成される。
なお、プロセッサ311、メモリ312及び通信インターフェイス313に関しては、図4を用いて説明したサーバ装置20の対応する要素と同一の内容とすることができるので詳細な説明を省略する。
ディスプレイ401は、情報を出力するための装置(例えば、液晶モニタ等)である。
スキャナ402は、パスポートからMRZ情報を読み取ったり利用者の指紋画像を取得したりする装置である。また、スキャナ402は、パスポートに搭載されたICチップにアクセスする機能も備える。スキャナ402は任意の場所に設置することができる。ただし、スキャナ402は、利用者がパスポートや指を容易に当該装置に置くことができる場所に設置されるのが好ましい。なお、本願開示では、スキャナ402は、ICチップにアクセスするカードリーダとしての機能と、パスポートからMRZ情報を読み出すパスポートスキャナとしての機能と、指から指紋画像を取得する指紋スキャナとして機能と、を有する場合について説明する。しかし、これらの機能が分離され、カードリーダ、パスポートスキャナ、指紋スキャナのそれぞれがゲート装置10に設けられていてもよい。
カメラ装置403は、例えば、ゲート装置10の前方を撮影可能に設置されたデジタルカメラである。カメラ装置403は任意の場所に設置することができる。例えば、カメラ装置403はゲート装置10の本体に設置されていてもよいし、ゲート装置10から離れた場所に設置されていてもよい。カメラ装置403は、ゲート装置10の面前に立つ利用者(特に、利用者の顔)を撮影可能であれば、どのような場所に設置されていてもよい。
上述のように、上段照明404は利用者の上方から光を照射するように設置された光源である。また、下段照明405は利用者の下方から光を照射するように設置された光源である。上段照明404及び下段照明405は、その光度が制御可能に構成されている。上段照明404及び下段照明405の光度が可変されることで、利用者に照射される照度が変化する。即ち、上段照明404及び下段照明405の光度が変化することで、カメラ装置403からみた利用者の輝度が変化する。なお、上段照明404及び下段照明405には、光度を変更可能な任意の光源を用いることができる。例えば、LED(Light Emitting Diode)を上段照明404、下段照明405として用いることができる。光源にLEDを用いる場合、当該LEDに流れる電流を制御することで光度を変更することができる。
ゲート408は、利用者が出入国審査を通過した場合に、利用者の通行を遮る待機時の閉鎖状態から利用者の通行を許可する開放状態に移行する。ゲート408の方式は、特に限定されるものではなく、例えば、通路の片側又は両側から設けられたフラッパーが開閉するフラッパーゲート、3本バーが回転するターンスタイルゲート等である。
物体検出器409は、荷物置き場430に置かれた物体を検出するためのデバイスである。上述のように、物体検出器409には重量センサや距離センサ等を用いることができる。
ゲート装置10の機能は、サーバ装置20と同様に、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。
図9は、第1の実施形態に係るゲート装置10の処理構成(処理モジュール)の一例を示す図である。ゲート装置10は、通信制御部301と、指紋画像取得部302と、審査要求部303と、顔画像取得部304と、パスポート所持判定部305と、荷物検出部306と、荷物置き忘れ警告部307と、ゲート制御部308と、記憶部309と、を備える。
通信制御部301は、他の装置との間の通信を制御する手段である。具体的には、通信制御部301は、サーバ装置20からデータ(パケット)を受信する。また、通信制御部301は、サーバ装置20に向けてデータを送信する。
指紋画像取得部302は、ゲート装置10の面前に立つ利用者の指紋画像を取得する手段である。指紋画像取得部302は、スキャナ402を制御し、利用者の指紋画像を取得する。指紋画像取得部302は、取得した指紋画像を審査要求部303に引き渡す。
審査要求部303は、審査対象者(ゲート装置10の面前に立つ利用者)の出入国に関する審査をサーバ装置20に要求する手段である。具体的には、審査要求部303は、取得した指紋画像(生体情報)を含む審査要求を生成し、通信制御部301を介して当該生成した審査請求をサーバ装置20に送信する。
例えば、審査要求部303は、自装置の識別子(以下、ゲート識別子と表記する)、指紋画像等を含む審査要求を生成する(図10参照)。なお、ゲート識別子には、ゲート装置10のMAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスを用いることができる。
審査要求部303は、通信制御部301を介して審査要求に対するサーバ装置20からの応答を受信する。審査要求部303は、サーバ装置20からの応答(審査結果;出入国許可、又は、出入国不許可)を荷物置き忘れ警告部307とゲート制御部308に引き渡す。
顔画像取得部304は、ゲート装置10の面前に立つ利用者の顔画像(生体情報)を取得する手段である。例えば、顔画像取得部304は、カメラ装置403を制御し、利用者の顔画像を取得する。顔画像取得部304は、取得した顔画像をパスポート所持判定部305に引き渡す。
上述のように、ゲート装置10は、利用者を撮像する際、上段照明404と下段照明405の光度を制御する。具体的には、顔画像取得部304は、利用者の撮影時における当該利用者の顔に照射された光の照度が実質的に均一となるように上段照明404、下段照明405の光度を制御する。なお、顔画像取得部304は、上記均一化を実現することができれば、上段照明404及び下段照明405のいずれか一方の光度を制御してもよい。顔画像取得部304は、少なくとも2以上の照明を制御する照明制御部としての機能と、利用者の生体情報を取得する取得部としての機能と、を備える。
例えば、顔画像取得部304は、利用者(被撮影者)の身体的特徴に応じて上段照明404と下段照明405の光度を決定する。例えば、顔画像取得部304は、身長の高い利用者の場合(身長が第1の閾値より高い場合)には、下段照明405の光度を上段照明404の光度よりも相対的に高くする。逆に、顔画像取得部304は、身長の低い利用者の場合(身長が第2の閾値より低い場合)には、上段照明404の光度を下段照明405の光度よりも相対的に高くする。なお、顔画像取得部304は、利用者の身長が第1及び第2の閾値から定まる範囲である場合(利用者が平均的な身長の場合)には、2つの照明の光度を同一に設定してもよい。顔画像取得部304は、上記のように2つの照明の光度を制御することで、利用者の撮影時における当該利用者に照射された光の照度が均一となるようにする。
上記照度の均一化に際し、顔画像取得部304は利用者の身長を計測する。その後、顔画像取得部304は、身長と2つの光源の光度を予め定めたテーブル情報を参照する。顔画像取得部304は、当該テーブル情報から得られた光度となるように上段照明404、下段照明405を制御する。
図11は、身長と2つの光源の光度を定めたテーブル情報の一例を示す図である。顔画像取得部304は、利用者の身長に基づいて上段照明404、下段照明405それぞれの光度を取得する。顔画像取得部304は、取得した光度による光が照射されるように、上段照明404、下段照明405それぞれに流れる電流を制御する。なお、光度から電流値を決定する際、顔画像取得部304は、これらの関係を予め定めたテーブル情報や関数(光度を入力すると電流値が出力される関数)を使用すればよい。また、光源の電流値を可変する場合には、光源と電源の間に接続された抵抗値を変更してもよいし、PWM(Pulse Width Modulation:パルス幅変調)技術等を用いて光源に印加される電圧を変更してもよい。
なお、顔画像取得部304は、任意の方法で利用者の身長を取得する。例えば、ゲート装置10の支持部406に複数のセンサ(例えば、赤外線距離センサ)を鉛直方向に配置する。より具体的には、複数のセンサが所定の間隔で鉛直方向に配置される。顔画像取得部304は、当該複数のセンサそれぞれの出力を監視し、各センサの出力値(赤外線距離センサの場合には電圧値)の相違から利用者の身長を計測する。即ち、利用者の身長が低ければ利用者に反応するセンサの数が少なく、利用者の身長が高ければ反応するセンサの数が多くなる。顔画像取得部304は、利用者の身長の相違に起因するセンサの出力変化に応じて利用者の身長を特定する。即ち、顔画像取得部304は、利用者の身長に応じて反応するセンサの位置に応じて利用者の身長を特定する。
あるいは、顔画像取得部304は、認証(照合)用の顔画像取得に先立ち、利用者を撮像し、得られる画像を解析することで利用者の身長を特定してもよい。なお、その際の上段照明404や下段照明405の光度は初期値(デフォルト値)に設定される。
顔画像取得部304は、身長特定用の画像を取得すると、当該画像から顔領域を抽出する。顔画像取得部304は、抽出した顔画像の上記身長特定用の画像における位置に応じて利用者の身長を特定(推定)する。具体的には、顔画像取得部304は、オリジナル画像の上側に顔画像が位置している場合には、当該利用者の身長を高く推定する。対して、顔画像取得部304は、オリジナル画像の下側に顔画像が位置している場合には、当該利用者の身長を低く推定する。
あるいは、利用者の身長の特定において機械学習により得られた学習モデルが使用されてもよい。例えば、利用者が写る画像と当該利用者の身長をラベルとする教師データを多数用意し、学習モデルを生成する。顔画像取得部304は、当該生成された学習モデルに身長特定用の画像を入力し、身長を取得してもよい。学習モデルの生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。
上記説明したように、ゲート装置10は、利用者の身長を特定せず、画像処理により顔検出やセンサの出力値に基づいて、上段照明404、下段照明405の光度を制御してもよい。
パスポート所持判定部305は、利用者が正しいパスポートを所持しているか否かを判定する手段である。パスポート所持判定部305は、スキャナ402を制御してパスポートの機械読取領域に記載されたMRZ情報を取得する。パスポート所持判定部305は、当該取得したMRZ情報を用いてICチップに記憶された情報を読み出す。
ここで、下記参考文献1の「IC旅券の安全対策」に記載されたように、パスポートのICチップに格納された情報は、同じパスポートに記載されたMRZ情報をパスワードとして暗号化(変換)されている。
<参考文献1>
https://www.mofa.go.jp/mofaj/toko/passport/ic_faq.html#11
パスポート所持判定部305は、スキャナ402から取得したMRZ情報を用いてICチップから読み出した情報を復号し、当該ICチップに格納された顔画像を取得する。
パスポート所持判定部305は、顔画像取得部304から取得した顔画像とICチップから取得した顔画像それぞれから特徴点を抽出する。なお、特徴点の抽出処理に関しては既存の技術を用いることができるのでその詳細な説明を省略する。例えば、パスポート所持判定部305は、顔画像から目、鼻、口等を特徴点として抽出する。その後、パスポート所持判定部305は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算し、複数の特徴量からなる特徴ベクトル(顔画像を特徴づけるベクトル情報)を生成する。
パスポート所持判定部305は、2つの特徴量(特徴ベクトル)の類似度を計算する。当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。なお、距離が離れているほど類似度は低く、距離が近いほど類似度が高い。
パスポート所持判定部305は、上記計算された類似度が所定の値以上である場合に、照合に成功したと判断する。即ち、パスポート所持判定部305は、上記計算された類似度が所定の値以上である場合に、2つの顔画像は同一人物の顔を撮像した画像であると判断する。
パスポート所持判定部305は、1対1照合に成功した場合に、面前に立つ利用者は正しいパスポートを所持していると判定する。パスポート所持判定部305は、判定結果(利用者は正しいパスポートを所持しているか否か)を荷物置き忘れ警告部307とゲート制御部308に通知する。
荷物検出部306は、荷物置き場430に物体が存在するか否かの検出を行う手段である。荷物検出部306は、物体検出器409の出力を監視し、当該検出器(物体検出センサ)が物体の存在を感知した場合に、「荷物検出フラグ」を「1」にセットする。また、荷物検出部306は、物体検出器409の出力から物体の存在が感知できなくなった場合に、「荷物検出フラグ」を「0」にクリアする。
荷物置き忘れ警告部307は、荷物置き場430に物体が存在する場合に、荷物置き忘れに関する警告を行う手段である。より具体的には、荷物置き忘れ警告部307は、利用者が荷物を荷物置き場430に置き忘れていると判断した際、その旨の警告を行う。荷物置き忘れ警告部307は、ゲート装置10による出入国審査が終了したタイミングにて荷物検出フラグを確認する。
より具体的には、荷物置き忘れ警告部307は、通信制御部301を介してサーバ装置20から審査結果を受信し、且つ、パスポート所持判定部305から判定結果を受信している状況を「出入国審査の終了」と判断する。荷物置き忘れ警告部307は、2つの結果(審査結果、判定結果)が揃ったタイミングにて荷物検出フラグを確認する。
荷物置き忘れ警告部307は、上記タイミングで荷物検出フラグが「1」であれば、利用者が荷物を置き忘れていると判断し、その旨を警告する。例えば、荷物置き忘れ警告部307は、図12に示すような表示をディスプレイ401に行う。あるいは、荷物置き忘れ警告部307は、利用者が荷物を置き忘れている旨の音声をスピーカから出力してもよい。あるいは、荷物置き忘れ警告部307は、利用者が荷物を置き忘れている旨を利用者が所持する端末に通知してもよい。
ゲート制御部308は、ゲート装置10が備えるゲート408を制御する手段である。ゲート制御部308は、少なくとも荷物置き場430に物体が存在しない場合に、審査対象者が通行可能となるようにゲート408を制御する。換言すれば、ゲート制御部308は、荷物置き場430に物体(荷物)が存在する場合、審査対象者が通行できないようにゲート408を制御する。
具体的には、ゲート制御部308は、3つの条件が揃っている場合にゲート408を開門する。より詳細には、ゲート制御部308は、サーバ装置20の審査結果が「出入国許可」、パスポート所持判定結果が「パスポート所持」及び荷物検出フラグが「0」である場合に、ゲート408を開門する。ゲート制御部308は、原則として、上記3つの条件が満たされなければゲート408を開門しない。
ゲート制御部308は、ゲート408の通行が許可された利用者(出入国審査を通過した利用者)がゲート408を通過した後に当該ゲート408を閉門する。
記憶部309は、ゲート装置10の動作に必要な情報を記憶する手段である。
[出入国審査システムの動作]
次に、第1の実施形態に係る出入国審査システムの動作について説明する。
図13は、第1の実施形態に係る出入国審査システムの動作の一例を示すシーケンス図である。なお、図13は、利用者の搭乗日におけるシステム動作の一例を示すシーケンス図である。図13の動作に先立ち、利用者の「ゲート利用者情報(指紋画像)」は予めサーバ装置20に登録されているものとする。
事前にシステムの利用登録を行った利用者は、ゲート装置10の前に移動する。ゲート装置10は、当該利用者の指紋画像を取得する(ステップS01)。
ゲート装置10は、指紋画像を含む審査要求をサーバ装置20に送信する(ステップS02)。
サーバ装置20は、取得した指紋画像を照合側(被認証側)、登録者データベースに記憶された指紋画像を登録側にそれぞれ設定し、1対N照合を実行する(ステップS03)。
サーバ装置20は、上記1対N照合により得られる審査結果(出入国許可、出入国不許可)を審査要求の送信元のゲート装置10に送信する(ステップS04)。
このように、ゲート装置10は、審査対象者の指紋画像を取得する。その後、ゲート装置10は、出入国が許可された利用者の指紋画像を記憶するサーバ装置に、当該取得された指紋画像を含む審査要求を送信することで審査対象者の入出国に関する審査を要求する。サーバ装置20は、事前に登録された指紋画像を用いた照合(1対N照合)により審査結果を決定し、当該審査結果をゲート装置10に送信する。
ゲート装置10は、利用者を撮影し顔画像を取得すると共に、パスポートのICチップから顔画像を読み出す(顔画像の取得;ステップS05)。利用者を撮影する際、ゲート装置10は当該利用者の身長を推定し、利用者の身長に適した光度となるように2つの光源を制御する。
ゲート装置10は、2つの顔画像を用いた1対1照合を行い利用者が正しいパスポートを所持しているか否かを判定する(ステップS06)。ゲート装置10は、カメラ装置403を制御して審査対象者の第1の顔画像を取得する。その後、ゲート装置10は、審査対象者が所持するパスポートに記憶された第2の顔画像を取得し、第1及び第2の顔画像の照合を行うことで、審査対象者が正しいパスポートを所持しているか否かを判定する。
ゲート装置10は、上記ステップS01~S06の動作と並行して荷物置き場430に荷物が置かれているか否かを検出する。具体的には、ゲート装置10は、物体検出器409の出力を監視し、荷物置き場430の状態を検出する。荷物が荷物置き場430に置かれている場合には、荷物検出フラグが「1」にセットされる。荷物が荷物置き場430から取り除かれた場合には、荷物検出フラグが「0」にクリアされる。
ゲート装置10は、出入国審査が終了したタイミング(サーバ装置20から審査結果を受信し、パスポートの所持判定が終了したタイミング)にて荷物検出フラグが「1」にセットされているか否かを確認する(ステップS07)。
荷物検出フラグが「1」にセットされていれば(ステップS07、Yes分岐)、ゲート装置10は、荷物置き忘れに関する警告を行う(ステップS08)。
このように、ゲート装置10は、サーバ装置20から審査結果を受信し、且つ、パスポート所持に関する判定が終了したタイミングにおいて荷物置き場430に物体が存在する場合に、荷物置き忘れに関する警告を行う。その際、ゲート装置10は、荷物置き場430に物体が存在する場合に荷物検出フラグをセットし、荷物置き場430に物体が存在しない場合に荷物検出フラグをクリアする。ゲート装置10は、上記荷物検出フラグの制御を行うと共に、サーバ装置20から審査結果を受信し、且つ、パスポート所持に関する判定が終了したタイミングで荷物検出フラグを確認することで荷物置き忘れの有無を判定する。
ゲート装置10は、荷物置き場430の監視を続け荷物置き場430から荷物が取り除かれたか否かを検出する。つまり、ゲート装置10は、荷物検出フラグの監視を続ける(ステップS09)。
ゲート装置10は、荷物検出フラグが「0」にクリアされ(ステップS09、Yes分岐)、サーバ装置20による審査結果が「出入国許可」且つ利用者が「正しいパスポートを所持している」場合に、ゲート408を開門する(ステップS10)。このように、ゲート装置10は、サーバ装置20からの審査結果が出入国許可であり、審査対象者が正しいパスポートを所持し、荷物置き場430に物体が存在しない場合に、審査対象者が通行可能となるようにゲート408を制御する。換言すれば、ゲート装置10は、サーバ装置20からの審査結果が「出入国不許可」である場合、又は、審査対象者が正しいパスポートを所持していない場合、当該審査対象者が通行できないようにゲート408を制御する。
以上のように、第1の実施形態に係るゲート装置10は、生体情報(指紋画像)を用いた照合要求(審査要求)をサーバ装置20に対して行い、当該サーバ装置20から照合結果(審査結果)を受信する。また、ゲート装置10は、利用者の顔に照射された光の照度が均一となるように2つの光源を制御し顔画像を取得する。ゲート装置10は、当該取得された顔画像とパスポートのICチップから読み出した顔画像の照合を行い、利用者が正しいパスポートを所持しているか否かの照合を行う。ゲート装置10は、審査対象者が荷物を荷物置き場430に置き忘れていると判断した場合、その旨の警告を行う。さらに、ゲート装置10は、利用者が荷物置き場430から荷物を移動させないと、当該利用者の出入国に関する審査が終了していてもゲート408を開門しない。その結果、利用者が荷物を置き忘れてしまうことを防止できる。
また、第1の実施形態に係るゲート装置10は、利用者の身長に応じて2つの光源(上段照明404、下段照明405)を制御することで、顔照合に適した顔画像を得ることができる。即ち、ゲート装置10は、異なる照明の光度を最適に制御することで、利用者の身長によらず高品質な画像(顔画像)を得ることができる。より具体的には、ゲート装置10は、利用者に照射された光の照度が均一となるように少上段照明404、下段照明405のそれぞれから照射される光の光度を変更する。その結果、顔等に照射された光の輝度が場所によってばらつく等の事態が発生せず、認証用途に適した生体情報が取得される。
また、第1の実施形態に係るゲート装置10は、上段照明404が天井部407に取り付けられている。このルーフ付き照明(天井部407に埋め込まれた上段照明404)が外光等の光を遮る。その結果、ゲート装置10は、時間帯等によらず利用者の顔画像を取得するのに適した環境を作り出すことができる。即ち、ゲート装置10は、ルーフ付き照明を備えることで外乱による顔認証の精度低下を抑制することができる。また、当該ループ付き照明は支持部406により吊り下げられ、当該支持部406を厚みのある平板形状とすることで、当該支持部406にディスプレイ401を設置したり内部に配線を通したりすることができる。
[変形例]
なお、上記実施形態にて説明した出入国審査システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。例えば、上記実施形態では、ゲート装置10が顔画像に係る生体情報を取得する際に、上段照明404、下段照明405の光度を制御する場合について説明した。しかし、虹彩画像を認証用途で取得する場合や指紋画像を認証用途で取得する場合にも、2つの光源に関する制御は適用可能である。即ち、虹彩画像や指紋画像の取得に際し、目の領域や指に照射される光の光度が均一となるように2つの光源が制御されてもよい。
例えば、サーバ装置20の持つ機能の全部又は一部がゲート装置10にて実現されてもよい。例えば、ゲート装置10に登録者データベースが構築され、ゲート装置10が当該データベースを用いて審査対象者の出入国に関する審査を行ってもよい。あるいは、サーバ装置20が備える登録者データベースは他のデータベースサーバに構築されていてもよい。
上記実施形態では、利用者から取得した指紋画像がサーバ装置20に登録されているか否かの判定を行った後、利用者が正しいパスポートを所持しているか否かの判定を行っている。しかし、これら2つの判定は並行して実施されてもよいし、実行の順序が逆であってもよい。つまり、正しいパスポートを所持しているか否かの判定後、指紋画像がサーバ装置20に登録されているか否かの判定が行われてもよい。
上記実施形態では、ゲート装置10が取得した指紋画像は、出入国審査を事前に済ませた利用者の特定に利用されているが、利用者が犯罪者等に該当しないことの確認に利用されてもよい。例えば、サーバ装置20は、取得した指紋画像と、犯罪者の指紋を集めたブラックリストに格納された指紋画像と、を用いた照合を行ってもよい。
上記実施形態では、サーバ装置20に指紋画像という生体情報が記憶される場合について説明したが、他の生体情報がサーバ装置20に記憶されていてもよい。例えば、顔画像、声紋情報、虹彩情報等やこれらの特徴量が生体情報として記憶されていてもよい。同様に、パスポートから顔画像以外の生体情報が取得できる場合には、当該顔画像以外の生体情報を用いて審査対象者が正しいパスポートを所持しているか否かの判定が行われてもよい。
ゲート装置10とサーバ装置20の間のデータ送受信の形態は特に限定されないが、これら装置間で送受信されるデータは暗号化されていてもよい。指紋画像は個人情報であり当該個人情報を適切に保護するためには、暗号化されたデータが送受信されることが望ましい。また、ゲート装置10は、デジタル署名付きの審査要求をサーバ装置20に送信してもよい。サーバ装置20は、当該デジタル署名の検証に成功した場合に、取得した審査要求を処理してもよい。このように、サーバ装置20は、デジタル署名を検証することで審査要求の送信元であるゲート装置10の正当性を検証可能としてもよい。
上記実施形態では、パスポートのICチップからMRZ情報を用いて情報を取得する場合について説明したが、当該本願開示の手法は他の方法にも適用可能である。つまり、パスポートに類似するカード等に搭載されたICチップから情報を読み出す際にMRZ情報に相当する情報が用いられてもよい。
上記実施形態では、上段照明404及び下段照明405のそれぞれは1つの光源から構成されている場合について説明したが、上段照明404及び下段照明405のうちいずれか一方は複数の光源から構成されていてもよい。この場合、顔画像取得部304は、複数の光源のうち点灯する光源の数を制御することで上段照明404、下段照明405の光度を変更してもよい。即ち、ゲート装置10は、複数の光源を対象にしたデジタル制御により利用者の顔に照射される光の光度を制御してもよい。
上記実施形態では、2つの光源(上段照明404、下段照明405)がゲート装置10に取り付けられている場合について説明したが、上記2つの光源に加え中段照明がゲート装置10に取り付けられていてもよい。つまり、上段照明404と下段照明405の間に中段照明が設置され、当該中段照明の光度が制御されてもよい。この場合、顔画像取得部304は、利用者の身長に応じて3つの光源の光度を制御してもよい。即ち、ゲート装置10は、複数の光源の光度を制御し、利用者における照度が均一となるようにすればよい。
上記実施形態では、利用者の身長に基づき複数の光源から照射される光の光度を制御する場合について説明したが、他の情報に基づいて上記光度の制御が行われてもよい。例えば、頭髪の長さや眼鏡を装着しているか否かに応じて、光源の光度が制御されてもよい。あるいは、複数の要素(身長、眼鏡の有無)が総合的に勘案されて光源の光度が制御されてもよい。具体的には、高身長で眼鏡を装着している利用者と低身長で眼鏡を装着している利用者では、2つの光源から照射される光の光度が異なっていてもよい。なお、利用者が眼鏡を装着しているか否かは、テンプレートを用いた画像処理や機械学習により得られた学習モデルを使って判断できる。
ゲート装置10は、撮像した顔画像を解析し、当該顔画像の解析結果に基づいて2つの光源の光度を制御してもよい。例えば、ゲート装置10(顔画像取得部304)は、顔画像を複数の領域に分割し、当該分割された小領域を構成する画素の輝度の平均値を計算する。ゲート装置10は、計算された平均値が、所定の値以上、且つ、各小領域の輝度のばらつき(例えば、分散値、標準偏差)が閾値よりも小さくなるように2つの光源を制御してもよい。即ち、ゲート装置10は、撮像した顔画像の解析結果を2つの構成の制御にフィードバックし、輝度が均一となるような顔画像を取得してもよい。
ゲート装置10は、パスポートから得られる情報を用いて荷物置き忘れに関する警告の内容を決定してもよい。具体的には、荷物置き忘れ警告部307は、パスポートのMRZやICチップから得られる情報に基づいてメッセージの内容や表現方法を変更してもよい。例えば、荷物置き忘れ警告部307は、利用者の氏名を使って警告メッセージを生成してもよい。例えば、利用者の名前が「太郎」であれば、荷物置き忘れ警告部307は、「太郎さん、荷物を置き忘れています」といった内容の警告メッセージを出力してもよい。
あるいは、荷物置き忘れ警告部307は、利用者の国籍に応じて警告メッセージの言語を切り替えてもよい。例えば、利用者が日本国籍を有すれば日本語、利用者が中国国籍を有すれば中国語の警告メッセージを出力(ディスプレイ401に表示、スピーカから音声を出力)してもよい。あるいは、荷物置き忘れ警告部307は、複数の言語による警告メッセージを生成してもよい。例えば、荷物置き忘れ警告部307は、第1言語は「英語」に固定し、第2言語を国籍に応じた言語に設定して警告メッセージを生成してもよい。
荷物置き忘れ警告部307は、音声により荷物の置き忘れを警告する際、指向性の強いパラメトリックスピーカー等を用いて上記警告を行ってもよい。パラメトリックスピーカー等を用いることで、警告メッセージを利用者に確実に通知することが可能となる。
上記説明で用いた流れ図(フローチャート、シーケンス図)では、複数の工程(処理)が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、空港の出入国審査システムなどに好適に適用可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
本体から鉛直方向上向きに延びる支持部と、
前記支持部に取り付けられた天井部に設置された第1の照明と、
前記支持部に設置され、利用者の生体情報を取得するためのカメラ装置と、
を備え、
前記カメラ装置は前記第1の照明が光を照射している際に前記利用者の生体情報を取得する、ゲート装置。
[付記2]
前記第1の照明は、前記天井部の内部に埋め込まれている、付記1に記載のゲート装置。
[付記3]
前記第1の照明は、利用者の上方から光を照射するように前記天井部に設置されている、付記1又は2に記載のゲート装置。
[付記4]
前記第1の照明は、前記天井部に代えて前記支持部に設置され、且つ、前記天井部の方向に光を照射するように設置され、
前記第1の照明から照射された光を反射する、第1の反射板をさらに備える、付記1乃至3のいずれか一に記載のゲート装置。
[付記5]
前記利用者の下方から光を照射するように設置された第2の照明をさらに備える、付記4に記載のゲート装置。
[付記6]
前記第2の照明は、前記本体の方向に光を照射するように設置され、
前記第2の照明から照射された光を反射する、第2の反射板をさらに備える、付記5に記載のゲート装置。
[付記7]
前記本体に取り付けられたスキャナと、
前記支持部に取り付けられたディスプレイと、
をさらに備える、付記1乃至6のいずれか一に記載のゲート装置。
[付記8]
前記本体と前記天井部は対向し、前記本体と前記天井部は前記支持部により接続され、前記本体、前記支持部及び前記天井部はコの字形状を形成する、付記1乃至7のいずれか一に記載のゲート装置。
[付記9]
少なくとも前記第1の照明の光度を制御する、照明制御部をさらに備える、付記1乃至8のいずれか一に記載のゲート装置。
なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
10、10-1~10-3、100 ゲート装置
20 サーバ装置
101、406 支持部
102 第1の照明
103、403 カメラ装置
201、301 通信制御部
202 指紋画像登録部
203 審査部
204、309 記憶部
211、311 プロセッサ
212、312 メモリ
213 入出力インターフェイス
214、313 通信インターフェイス
302 指紋画像取得部
303 審査要求部
304 顔画像取得部
305 パスポート所持判定部
306 荷物検出部
307 荷物置き忘れ警告部
308 ゲート制御部
401 ディスプレイ
402 スキャナ
404 上段照明
405 下段照明
407 天井部
408 ゲート
409 物体検出器
430 荷物置き場
431 天板領域
432 側部

Claims (12)

  1. 本体から鉛直方向上向きに延びる支持部と、
    前記支持部に取り付けられた天井部に設置された第1の照明と、
    利用者の下方から光を照射するように設置された第2の照明と、
    前記支持部に設置され、前記利用者の生体情報を取得するためのカメラ装置と、
    前記第1及び第2の照明の光度を制御する、照明制御部と、
    を備え、
    前記照明制御部は、前記利用者の身長に応じて、前記第1及び第2の照明を制御し、
    前記カメラ装置は前記第1及び第2の照明が光を照射している際に前記利用者の生体情報を取得する、ゲート装置。
  2. 前記第1の照明は、前記天井部の内部に埋め込まれている、請求項1に記載のゲート装置。
  3. 前記第1の照明は、利用者の上方から光を照射するように前記天井部に設置されている、請求項1又は2に記載のゲート装置。
  4. 前記第1の照明は、前記天井部に代えて前記支持部に設置され、且つ、前記天井部の方向に光を照射するように設置され、前記第1の照明から照射された光を反射する、第1の反射板をさらに備える、請求項1乃至3のいずれか一項に記載のゲート装置。
  5. 前記第2の照明は、前記本体の方向に光を照射するように設置され、
    前記第2の照明から照射された光を反射する、第2の反射板をさらに備える、請求項4に記載のゲート装置。
  6. 前記本体に取り付けられたスキャナと、
    前記支持部に取り付けられたディスプレイと、
    をさらに備える、請求項1乃至5のいずれか一項に記載のゲート装置。
  7. 前記本体と前記天井部は対向し、前記本体と前記天井部は前記支持部により接続され、前記本体、前記支持部及び前記天井部はコの字形状を形成する、請求項1乃至6のいずれか一項に記載のゲート装置。
  8. 前記本体の鉛直方向に所定の間隔で配置された、複数のセンサそれぞれの出力を監視し、前記複数のセンサそれぞれの出力値の相違に基づいて前記利用者の身長を計測する、計測部をさらに備える、請求項1に記載のゲート装置。
  9. 前記利用者を撮像することで身長特定用の画像を取得し、前記身長特定用の画像における顔画像位置に応じて前記利用者の身長を特定する、特定部をさらに備える、請求項1に記載のゲート装置。
  10. 前記照明制御部は、前記利用者の身長が第1の閾値よりも高い場合には、前記第2の照明の光度を前記第1の照明の光度よりも相対的に高くなるように、前記第1及び第2の照明の光度を制御する、請求項8又は9に記載のゲート装置。
  11. 前記照明制御部は、前記利用者の身長が第2の閾値よりも低い場合には、前記第1の照明の光度を前記第2の照明の光度よりも相対的に高くなるように、前記第1及び第2の照明の光度を制御する、請求項8乃至10のいずれか一項に記載のゲート装置。
  12. 前記照明制御部は、前記利用者が眼鏡を装着しているか否かに応じて、前記1及び第2の照明を制御する、請求項11に記載のゲート装置。
JP2022501433A 2020-02-18 2020-02-18 ゲート装置 Active JP7276591B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/006212 WO2021166064A1 (ja) 2020-02-18 2020-02-18 ゲート装置

Publications (2)

Publication Number Publication Date
JPWO2021166064A1 JPWO2021166064A1 (ja) 2021-08-26
JP7276591B2 true JP7276591B2 (ja) 2023-05-18

Family

ID=77390602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022501433A Active JP7276591B2 (ja) 2020-02-18 2020-02-18 ゲート装置

Country Status (4)

Country Link
US (3) US11947244B2 (ja)
EP (1) EP4108859A4 (ja)
JP (1) JP7276591B2 (ja)
WO (1) WO2021166064A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053268A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 システム、認証端末、認証端末の制御方法及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005241839A (ja) 2004-02-25 2005-09-08 Make Softwear:Kk 写真自動販売機、写真自動販売機の制御方法、および写真自動販売機の制御プログラム
JP2009211556A (ja) 2008-03-05 2009-09-17 Fujitsu Ltd 生体認証装置
JP2018109935A (ja) 2016-12-28 2018-07-12 グローリー株式会社 顔照合装置及び顔照合方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068420A1 (en) * 2003-09-30 2005-03-31 Duggan Charles F. All in one capture station for creating identification documents
US20110167727A1 (en) * 2008-02-22 2011-07-14 Glory Ltd. Gate apparatus
US8657190B2 (en) * 2009-01-07 2014-02-25 Magnetic Autocontrol Gmbh Apparatus for a checkpoint
US8674805B2 (en) * 2009-07-02 2014-03-18 Mountain Pass Systems, Llc Access control system and method using radio-frequency identification and imaging
WO2015136938A1 (ja) * 2014-03-14 2015-09-17 株式会社 東芝 情報処理方法および情報処理システム
US9582941B2 (en) * 2014-04-30 2017-02-28 Cubic Corporation Adaptive gate walkway floor display
JP2017027492A (ja) 2015-07-27 2017-02-02 パナソニックIpマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
JP6787391B2 (ja) 2016-02-26 2020-11-18 日本電気株式会社 顔照合システム、顔照合方法、及びプログラム
JP6464365B2 (ja) * 2016-09-30 2019-02-06 パナソニックIpマネジメント株式会社 ゲート装置
JP7220373B2 (ja) * 2018-06-28 2023-02-10 パナソニックIpマネジメント株式会社 ゲート装置及びシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005241839A (ja) 2004-02-25 2005-09-08 Make Softwear:Kk 写真自動販売機、写真自動販売機の制御方法、および写真自動販売機の制御プログラム
JP2009211556A (ja) 2008-03-05 2009-09-17 Fujitsu Ltd 生体認証装置
JP2018109935A (ja) 2016-12-28 2018-07-12 グローリー株式会社 顔照合装置及び顔照合方法

Also Published As

Publication number Publication date
JPWO2021166064A1 (ja) 2021-08-26
US11947244B2 (en) 2024-04-02
WO2021166064A1 (ja) 2021-08-26
US20230053965A1 (en) 2023-02-23
US20240053657A1 (en) 2024-02-15
EP4108859A4 (en) 2023-04-12
EP4108859A1 (en) 2022-12-28
US20240053658A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
JP2023099564A (ja) ゲート装置、ゲート装置の制御方法及びプログラム
CN107438854B (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法
US5991429A (en) Facial recognition system for security access and identification
US20130088685A1 (en) Iris Cameras
EP3118810A1 (en) Information processing method and information processing system
US9336438B2 (en) Iris cameras
KR102317180B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
JP2000259814A (ja) 画像処理装置及びその方法
US20210144009A1 (en) Device with biometric system
US20240053658A1 (en) Gate apparatus
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
US20210406567A1 (en) Authentication device, authentication method, and recording medium
KR20140107946A (ko) 인증 장치 및 그 인증 방법
KR20160028538A (ko) 탑승자 생체인식 및 이동통신단말기의 인증을 이용한 장애인전용 주차 관리시스템
JP7388530B2 (ja) ゲート装置、ゲート装置の制御方法及びプログラム
JP2023138550A (ja) ゲート装置、出入国審査システム、ゲート装置の制御方法及びプログラム
KR20220059417A (ko) 홍채 인식을 위한 컴팩트 시스템 및 방법
JP7287566B2 (ja) ゲート装置、ゲート装置の制御方法及びプログラム
KR102530141B1 (ko) 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치
JP7311019B2 (ja) ゲート装置、ゲート装置の制御方法及びプログラム
KR101410892B1 (ko) 홍채 이미지 추출 방법과 조도 및 홍채 컬러에 따른 홍채 오인식률 개선 방법
RU2791821C1 (ru) Биометрическая идентификационная система и способ биометрической идентификации
JP7265232B2 (ja) ゲート装置、管理サーバ、出入国審査システム及び出入国審査方法
WO2023229498A1 (en) Biometric identification system and method for biometric identification
KR20210135315A (ko) 안면 인식을 위한 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151