JP7327650B2 - ゲート装置、認証システム、ゲート装置の制御方法及びプログラム - Google Patents

ゲート装置、認証システム、ゲート装置の制御方法及びプログラム Download PDF

Info

Publication number
JP7327650B2
JP7327650B2 JP2022508711A JP2022508711A JP7327650B2 JP 7327650 B2 JP7327650 B2 JP 7327650B2 JP 2022508711 A JP2022508711 A JP 2022508711A JP 2022508711 A JP2022508711 A JP 2022508711A JP 7327650 B2 JP7327650 B2 JP 7327650B2
Authority
JP
Japan
Prior art keywords
image
authentication
user
camera
gate device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022508711A
Other languages
English (en)
Other versions
JPWO2021186626A1 (ja
JPWO2021186626A5 (ja
Inventor
淳一 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021186626A1 publication Critical patent/JPWO2021186626A1/ja
Publication of JPWO2021186626A5 publication Critical patent/JPWO2021186626A5/ja
Priority to JP2023122944A priority Critical patent/JP2023153176A/ja
Application granted granted Critical
Publication of JP7327650B2 publication Critical patent/JP7327650B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B49/00Electric permutation locks; Circuits therefor ; Mechanical aspects of electronic locks; Mechanical keys therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/10Movable barriers with registering means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

本発明は、ゲート装置、認証システム、ゲート装置の制御方法及び記憶媒体に関する。
顔認証を用いたサービスの普及が始まっている(特許文献1~3参照)。例えば、空港における各種手続き(例えば、チェックイン、荷物預け入れ、セキュリティチェック等)に顔認証の適用が始まっている。顔認証を用いたサービスはゲート装置を用いて提供されることが多い。
特開2006-236244号公報 特開2018-128970号公報 特開2018-109935号公報
上述のように、空港等において顔認証を用いたサービスの提供が始まっている。例えば、空港の保安検査場において顔認証を用いたセキュリティチェックが行われる。ここで、既存空港の機器設置スペースには制限があり、上記顔認証対応のゲート装置は狭い空間に設置されることが多い。
そのため、ゲート装置が画像(顔領域を含む画像)を取得した際、当該画像に最前列の利用者(認証対象の利用者)だけでなく、後ろの利用者の顔画像まで含まれる場合がある。即ち、顔認証対応のゲート装置が狭い空間に設置されるため、ゲート装置に並ぶ利用者同士の距離が短く複数の人物が同一画像に写ってしまうことがある。
この場合、ゲート装置は、複数の顔画像から1つの顔画像を選択し、当該選択した顔画像を認証対象に設定する必要がある。例えば、ゲート装置は、複数の顔画像それぞれについて面積(サイズ)を算出し、面積の一番大きい顔画像を認証対象に設定するといった対応が考えられる。当該対応は、ゲート装置の最前列に並ぶ利用者の顔画像は、後ろに並ぶ利用者の顔画像よりも大きいという前提に基づく。しかし、顔の大きさは個人差が大きく、上記対応(顔画像の面積による認証対象の決定)では、最前列に並ぶ利用者の後ろに並ぶ利用者が認証対象に設定されてしまうことがある。
本発明は、認証対象の利用者を正確に決定することに寄与する、ゲート装置、認証システム、ゲート装置の制御方法及び記憶媒体を提供することを主たる目的とする。
本発明の第1の視点によれば、上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する、取得部と、前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定する、設定部と、前記認証対象者の認証結果に基づいてゲートを制御する、ゲート制御部と、を備える、ゲート装置が提供される。
本発明の第2の視点によれば、複数のシステム利用者それぞれの生体情報を記憶し、前記複数の生体情報を利用した認証処理を実行する、サーバ装置と、前記サーバ装置と接続されたゲート装置と、を含み、前記ゲート装置は、上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する、取得部と、前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定する、設定部と、前記認証対象者の認証を前記サーバ装置に要求する、認証要求部と、前記認証対象者の認証結果に基づいてゲートを制御する、ゲート制御部と、を備える、認証システムが提供される。
本発明の第3の視点によれば、ゲート装置において、上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得し、前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定し、前記認証対象者の認証結果に基づいてゲートを制御する、ゲート装置の制御方法が提供される。
本発明の第4の視点によれば、ゲート装置に搭載されたコンピュータに、上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する処理と、前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定する処理と、前記認証対象者の認証結果に基づいてゲートを制御する処理と、を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体が提供される。
本発明の各視点によれば、認証対象の利用者を正確に決定することに寄与する、ゲート装置、認証システム、ゲート装置の制御方法及び記憶媒体が提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第1の実施形態に係る認証システムの概略構成の一例を示す図である。 第1の実施形態に係るゲート装置の外観の一例を示す図である。 第1の実施形態に係るゲート装置の平面図の一例を示す図である。 第1の実施形態に係るゲート装置の処理構成の一例を示す図である。 第1の実施形態に係る生体情報取得部の動作を説明するための図である。 第1の実施形態に係る認証対象設定部の動作の一例を示すフローチャートである。 第1の実施形態に係る認証対象設定部の動作を説明するための図である。 第1の実施形態に係る認証対象設定部の動作を説明するための図である。 第1の実施形態に係る認証対象設定部の動作を説明するための図である。 第1の実施形態に係る認証対象設定部の前後関係特定処理の一例を示すフローチャートである。 第1の実施形態に係る認証対象設定部の動作を説明するための図である。 第1の実施形態に係る認証対象設定部の動作を説明するための図である。 カメラ設置面と対象物の間の距離と共通領域における対象物の位置の対応関係を示すグラフの一例を示す図である。 認証要求の一例を示す図である。 第1の実施形態に係るゲート装置の動作の一例を示すフローチャートである。 第1の実施形態に係るサーバ装置の処理構成の一例を示す図である。 利用者データベースの一例を示す図である。 第1の実施形態に係る認証システムの動作の一例を示すシーケンス図である。 利用者の実際の位置と画像に写る利用者の位置の関係を説明するための図である。 第2の実施形態に係る認証対象設定部の動作の一例を示すフローチャートである。 ゲート装置のハードウェア構成の一例を示す図である。
はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
一実施形態に係るゲート装置100は、取得部101と、設定部102と、ゲート制御部103と、を備える(図1参照)。取得部101は、上段カメラと上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する。設定部102は、上段画像及び下段画像の両方に複数の利用者が写っている場合、複数の利用者それぞれとカメラ設置面までの距離を算出することで複数の利用者のなかから最前列の利用者を特定し、特定された利用者を認証対象者に設定する。ゲート制御部103は、認証対象者の認証結果に基づいてゲートを制御する。
ゲート装置100は、2つのカメラ(上段カメラ、下段カメラ)から画像を取得する。ゲート装置100は、画像に複数の利用者が写っている場合、認証対象者の特定を行う。ゲート装置100は、例えば、上段画像及び下段画像における対象物(2枚の画像に共通して写る利用者)の視差を利用して、各利用者とカメラ設置面までの距離を算出する。ゲート装置100は、算出された距離に基づき自装置に最も近い利用者を特定し、当該特定された利用者を認証対象者に設定する。このように、ゲート装置100は、個人差の大きい顔領域の大きさによらず、最前列の利用者を特定するので、認証対象となる利用者を正確に定めることができる。
以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、第1の実施形態に係る認証システムの概略構成の一例を示す図である。図2を参照すると、認証システムは、複数のゲート装置10-1~10-3と、サーバ装置20と、を含む。
以降の説明において、ゲート装置10-1~10-3を区別する特段の理由がない場合には、単に「ゲート装置10」と表記する。他の構成要素についても同様に、ハイフンで区切られた左側の符号を使用し、当該構成要素を代表して表記する。
図2に示す構成は例示であって、ゲート装置10の台数等を限定する趣旨ではない。認証システムは、少なくとも1台以上のゲート装置10を含んでいればよい。
ゲート装置10とサーバ装置20は、有線又は無線の通信手段により通信が可能に構成されている。サーバ装置20は、ゲート装置10と同じ建物内に設置されていてもよいし、ネットワーク(クラウド)上に設置されていてもよい。
ゲート装置10は、例えば、空港や駅に設置される装置である。ゲート装置10は、利用者の通行を制御する。ゲート装置10は、サーバ装置20による認証が成功した利用者(以下、認証成功者と表記する)の通行を許可する。ゲート装置10は、サーバ装置20による認証が行われていない利用者や認証に失敗した利用者の通行を許可しない。
サーバ装置20は、認証処理を行う装置である。具体的には、サーバ装置20は、ゲート装置10を通過できる利用者(システム利用者)の生体情報を記憶する。サーバ装置20は、ゲート装置10から取得した生体情報と予め記憶された生体情報を用いた認証処理を実行し、認証結果(認証成功、認証失敗)をゲート装置10に通知する。
ゲート装置10は、認証成功者が自装置の内部エリア(ゲート装置10の本体により囲まれたエリア)に進入した場合にゲートを開き認証成功者の通行を許可する。
利用者の生体情報には、例えば、顔、虹彩の模様(パターン)といった個人に固有な身体的特徴から計算されるデータ(特徴量)が例示される。あるいは、利用者の生体情報は、顔画像、虹彩画像等の画像データであってもよい。利用者の生体情報は、利用者の身体的特徴を情報として含むものであればよい。
続いて、第1の実施形態に係る認証システムに含まれる各装置の詳細について説明する。以降の説明では、生体情報として利用者の「顔画像」を例にとり説明を行う。
[ゲート装置]
図3は、第1の実施形態に係るゲート装置10の外観の一例を示す図である。
図3を参照すると、ゲート装置10は、顔認証モジュール11を備えている。顔認証モジュール11は、ゲート装置10の本体に取り付けられている。顔認証モジュール11は、2つのカメラ(上段カメラ12-1、下段カメラ12-2)を備える。なお、ゲート装置10の「本体」とは、ゲート装置10の中心をなす構造体であり、床と接触し、顔認証モジュール等が取り付けられた部材である。
顔認証モジュール11は、利用者がゲート装置10に向かって歩いてくる方向に対して所定の角度傾けて設置されている。図4は、ゲート装置10の上方から当該装置を見下ろした場合を示す図(平面図)である。
図4に示すように、顔認証モジュール11は、利用者の進行方向(ゲート17に対して垂直な方向)に対して角度θ傾けて設置されている。なお、角度θは、上段カメラ12-1、下段カメラ12-2が認証エリア内の利用者Uを撮像可能となるように選択(調整)される。
角度θを小さくするとゲート装置10の近傍しか撮像できず、顔画像を用いた認証処理が終了する前に利用者がゲート装置10の内部(内部エリア)に進入する可能性がある。この場合、利用者は認証処理が終了するまで立ち止まって待機する必要があり快適なウォークスルーが実現できているとは言えない。対して、角度θを大きくするとゲート装置10の遠方まで撮像できるようになる。この場合、快適なウォークスルーの実現には有利であるが、自装置に向かって歩いていない利用者まで認証してしまう可能性がある。例えば、図2の例では、ゲート装置10-1に向かって歩いていない利用者をゲート装置10-1が撮像し、サーバ装置20に認証を要求してしまう。このように、角度θが大きすぎると、無駄な認証処理が発生する可能性がある。システムの管理者、運用者は、上記のような顔認証モジュール11の設定角度θに起因する利害得失を考慮し、最適な角度を決定するのが望ましい。なお、発明者らが鋭意検討した結果、角度θは30~60度の範囲から選択されるのが望ましいことが判明した。
図3、図4では顔認証モジュール11は利用者の進行方向に対して右側に設置された例を図示しているが、顔認証モジュール11の設置位置が右側に限定されないのは勿論である。顔認証モジュール11は、利用者の進行方向に対して左側に設置されていてもよい。図3、図4では、顔認証モジュール11はゲート装置10の本体に直接設置されている例を図示しているが、顔認証モジュール11はゲート装置10の本体から離れて設置されていてもよい。あるいは、ゲート装置10が天井部(ルーフ;図示せず)等を備える場合には、当該天井部に顔認証モジュール11が設置されてもよい。顔認証モジュール11は、利用者の進行方向に対して所定の角度傾けて設置されていればよい。
上段カメラ12-1は、顔認証モジュール11の鉛直方向上側に取り付けられている。下段カメラ12-2は、顔認証モジュール11の鉛直方向下側に取り付けられている。即ち、図3に示すように、下段カメラ12-2は、上段カメラ12-1よりも鉛直方向下側に設置されている。
顔認証モジュールの表面(カメラ設置面)において、2つのカメラの垂直方向(鉛直方向)の位置は上述のように異なるが、水平方向(水平方向の位置)に関しては同じ位置に取り付けられている。同様に、2つのカメラの奥行方向に関しても、2つのカメラは同じ表面(カメラ設置面)に取り付けられている。なお、「2つのカメラの水平方向の位置が同じ」の意味は、2つのカメラの水平方向の位置が厳密に一致することを意味せず、多少のずれを許容するものである。即ち、2つのカメラの水平方向の位置は実質的に同じであればよい。
上段カメラ12-1と下段カメラ12-2は実質的に同じ性能を有するカメラが用いられ、画角や焦点距離等のパラメータは実質的に同じである。上記のような2つのカメラの設置方法等により、2つのカメラから得られる画像は高さ方向の撮影範囲は異なるが水平方向の撮影範囲は実質的に同じものとなる。
ゲート装置10が備える2つのカメラ(上段カメラ12-1、下段カメラ12-2)は、低身長から高身長までの人物(被写体)を漏れなく認証するために設けられている。上段カメラ12-1は、高身長な認証対象者の顔画像を取得するために設置されている。下段カメラ12-2は、低身長な認証対象者の顔画像を取得するために設置されている。
これらのカメラにより、高身長な認証対象者の顔画像は上段カメラ12-1、低身長な認証対象者の顔画像は下段カメラ12-2により取得される。中身長な認証対象者の顔画像は、上段カメラ12-1、下段カメラ12-2の両方から取得される。大半の利用者は、中身長に分類され、上段カメラ12-1又は下段カメラ12-2のいずれか一方のカメラから顔画像が取得されるのは稀である。
上段カメラ12-1、下段カメラ12-2は互いに連動して動作する。具体的には、2台のカメラは実質的に同じタイミングにて利用者を撮像する。
図3に示すように、顔認証モジュール11は、調光用のLED(Light Emitting Diode)(図示せず)、ディスプレイ13を備える。ゲート装置10は、調光用のLEDを用いて利用者の顔画像取得時における環境(利用者に照射される光)を制御する。ゲート装置10は、ディスプレイ13を用いて、利用者に対して必要なメッセージ等を通知する。例えば、ゲート装置10は、サーバ装置20による認証結果(認証成功、認証失敗)に関する表示を行う。
ゲート装置10は、ディスプレイ14を備える。ゲート装置10は、ディスプレイ14を用いて、利用者に対して必要なメッセージ等を通知する。例えば、ゲート装置10は、サーバ装置20による認証結果(認証成功、認証失敗)に関する表示を行う。あるいは、ゲート装置10は、スピーカー(図示せず)を用いて必要なメッセージを利用者に通知してもよい。
ゲート装置10は、エリアセンサ15を備える。エリアセンサ15は、ゲート装置10の前方に設定された所定エリア(図3にて点線で囲まれたエリア)に人が存在するか否かを検出するためのセンサである。エリアセンサ15は、赤外線を利用したセンサ(所謂、人感センサ)を用いて構成することができる。
ゲート装置10は、エリアセンサ15からの検出信号に基づき上記所定エリアに人が存在することを確認すると、2つのカメラ(上段カメラ12-1、下段カメラ12-2)を制御し、2枚の画像(画像データ)を取得する。以降の説明において、エリアセンサ15が人の存在を検出するエリアを「認証エリア」と表記する。ゲート装置10は、認証エリアに利用者が存在することを検出すると、当該認証エリアに所在する利用者を撮像する。
ゲート装置10は、ゲート内センサ16を備える。ゲート内センサ16は、自装置(ゲート装置10)の内部に人が進入したことを検出するためのセンサである。ゲート内センサ16には、例えば、光の送信デバイスと受信デバイスにより構成されたセンサ(所謂、光を用いた通過センサ)を利用できる。例えば、光の送信デバイスと受信デバイスのそれぞれが対向するように設置される(本体の内壁に2つのデバイスが設置される)。送信デバイスは、光を常時送信し、受信デバイスは、当該送信された光を受信する。ゲート装置10は、受信デバイスが光を受信できなかった場合に、ゲート装置10の内部に人が進入したと判定する。なお、図3では、ゲート内センサ16を構成する2つのデバイスのうち一方のデバイスを図示している。ゲート内センサ16は、人の進行方向に略等間隔に複数対設けられても良い。
ゲート装置10は、ゲート17を備える。ゲート装置10は、認証エリアに利用者が存在することを確認すると、利用者の顔画像を取得する。ゲート装置10は、取得した画像から特徴量(生体情報)を生成し、当該生成した特徴量を含む認証要求をサーバ装置20に送信する。ゲート装置10は、認証成功者が自装置の内部エリアに進入した場合に、ゲート17を開く。ゲート装置10は、認証成功者がゲート17を通過した後に、ゲート17を閉じる。
ゲート17の方式は、特に限定されるものではなく、例えば、通路の片側又は両側から設けられたフラッパーが開閉するフラッパーゲート、3本バーが回転するターンスタイルゲート等である。
図5は、第1の実施形態に係るゲート装置10の処理構成(処理モジュール)の一例を示す図である。図5を参照すると、ゲート装置10は、通信制御部201と、利用者検出部202と、生体情報取得部203と、認証対象設定部204と、認証要求部205と、進入者判定部206と、ゲート制御部207と、メッセージ出力部208と、記憶部209と、を含む。
通信制御部201は、他の装置との間の通信を制御する手段である。具体的には、通信制御部201は、サーバ装置20からデータ(パケット)を受信する。また、通信制御部201は、サーバ装置20に向けてデータを送信する。通信制御部201は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部201は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部201を介して他の装置とデータの送受信を行う。
利用者検出部202は、認証エリアに所在する利用者を検出する手段である。利用者検出部202は、エリアセンサ15からの検出信号に基づき認証エリアに存在する利用者を検出する。利用者検出部202は、エリアセンサ15の出力が「認証エリアに利用者あり」を示す場合、その旨を生体情報取得部203に通知する。
生体情報取得部203は、認証エリアに存在する利用者の生体情報を取得する手段である。生体情報取得部203は、利用者検出部202から「認証エリアに利用者あり」に係る通知を取得すると、2台のカメラ(上段カメラ12-1、下段カメラ12-2)を制御し、認証エリアに所在する利用者を撮像する。
生体情報取得部203は、2台のカメラそれぞれから画像を取得する。上述のように、上段カメラ12-1は顔認証モジュール11の上側に取り付けられている。そのため、上段カメラ12-1から得られる画像(以下、上段画像と表記する)には認証エリアの上側が含まれる。例えば、認証エリアに中身長な利用者が位置していると図6(a)の破線で囲まれた上段画像が得られる。
対して、下段カメラ12-2は顔認証モジュール11の下側に取り付けられている。そのため、下段カメラ12-2から得られる画像(以下、下段画像と表記する)には認証エリアの下側が含まれる。例えば、中身長な利用者が認証エリアに位置していると図6(b)の破線で囲まれた下段画像が得られる。
上段画像及び下段画像には共通する領域が含まれる。図6の例では、図6(c)の一点鎖線で示される領域が上段画像及び下段画像に共通する領域となる。以下の説明において、上段画像及び下段画像に共通する領域を「共通領域」と表記する。
生体情報取得部203は、上段カメラ12-1、下段カメラ12-2が撮像した2つの画像(上段画像、下段画像)を認証対象設定部204に引き渡す。
認証対象設定部204は、画像に写る利用者から認証対象となる利用者(認証対象者)を設定(決定)する手段である。認証エリアに複数の利用者が存在する場合には、認証対象設定部204は、当該複数の利用者から1人の利用者を選択し、「認証対象者」に設定する。図7に示すフローチャートを参照し、認証対象設定部204の動作を説明する。
認証対象設定部204は、顔画像を抽出する(ステップS101)。認証対象設定部204は、上段画像から顔画像を抽出する。認証対象設定部204は、下段画像から顔画像を抽出する。認証対象設定部204は、種々の方法を用いて画像から顔画像を抽出する。例えば、認証対象設定部204は、CNN(Convolutional Neural Network)により学習された学習モデルを用いて、画像データの中から顔画像(顔領域)を抽出する。あるいは、認証対象設定部204は、テンプレートマッチング等の手法を用いて顔画像を抽出してもよい。
認証対象設定部204は、2つの画像における顔画像の分布状況を判定する(ステップS102)。認証対象設定部204は、顔画像が上段画像又は下段画像に限り含まれるのか、顔画像が上段画像及び下段画像の両方に含まれるのか判定する。前者の場合、ステップS103以降の処理が実行される。後者の場合、ステップS110以降の処理が実行される。
上記ステップS102が実行され、顔画像が上段画像又は下段画像に分布していることが判明した場合には、認証対象設定部204は、上段画像又は下段画像に限り含まれる顔画像が1つか否かを判定する(ステップS103)。
認証対象設定部204は、1つの顔画像が上段画像又は下段画像に含まれる場合(ステップS103、Yes分岐)、当該顔画像を認証対象に設定する(ステップS104)。
例えば、図8(a)に示すように、高身長な認証対象者の顔画像は上段画像に限り含まれる。また、図8(b)に示すように、低身長な認証対象者の顔画像は下段画像に限り含まれる。図8に示すような場合には、認証対象設定部204は上段画像に含まれる顔画像や下段画像に含まれる顔画像を認証対象(認証対象者の顔画像)に設定する。なお、図8を含む図面において、上段画像と下段画像の区別を容易とするため、各画像の範囲を水平方向に移動して表記している。
認証対象設定部204は、2以上の顔画像が上段画像又は下段画像に含まれる場合(ステップS103、No分岐)、エラーを設定する(ステップS105)。
例えば、図9(a)や図9(b)に示すように、複数の顔画像が上段画像又は下段画像に限り含まれる場合に、エラーが設定される。図9に示すような場合には、複数の顔画像のいずれを認証対象に設定するか決定することは困難なためである。但し、図9に示す状況が発生することは稀である。このような状況が発生した場合には、ゲート装置10は、利用者に対して認証エリアからでるように指示する等の対応を行う。
上述のように、顔画像が上段画像及び下段画像のそれぞれに分布している場合、図7に示すステップS110以降の処理が実行される。
認証対象設定部204は、上段画像及び下段画像のそれぞれに1つずつ顔画像が含まれるか否かを判定する(ステップS110)。
具体的には、認証対象設定部204は、図10(a)のような状況が発生しているのか、図10(b)のような状況が発生しているのか判定する。
上段画像及び下段画像のそれぞれに1つずつ顔画像が含まれる場合(ステップS110、Yes分岐)、認証対象設定部204は、上段画像又は下段画像のいずれか一方に含まれる顔画像を認証対象に設定する(ステップS111)。図10(a)の例では、上段画像又は下段画像のいずれか一方から抽出された顔画像が認証対象に設定される。
上段画像及び下段画像のそれぞれに2以上の顔画像が含まれる場合(ステップS110、No分岐)、認証対象設定部204は、各利用者の前後関係を特定する(ステップS112)。図10(b)の例では、利用者U1と利用者U2のいずれが前を歩いているか特定(判定)される。前後関係の特定処理に関する詳細は後述する。
認証対象設定部204は、複数の利用者(認証エリアに存在する複数の利用者)のうち最前列(一番前)の利用者を認証対象に設定する(ステップS113)。図10(b)の例では、利用者U1が利用者U2の前を歩いている場合(利用者U1の方が利用者U2よりもゲート装置10に近い場合)、利用者U1の顔画像が認証対象に設定される。
このように、認証対象設定部204は、上段画像及び下段画像の両方に1人の利用者が写っている場合、当該1人の利用者を認証対象者に設定する。また、認証対象設定部204は、上段画像及び下段画像のいずれか一方に1人の利用者が写っている場合、当該1人の利用者を認証対象者に設定する。
なお、認証対象設定部204は、ステップS111にて認証対象を設定する前に、上段画像及び下段画像のそれぞれに写る利用者が同一人物か否かを確認するのが望ましい。具体的には、認証対象設定部204は、2つの顔画像それぞれから特徴量を計算する。認証対象設定部204は、2つの特徴量が実質的に一致するか否かを判定する。認証対象設定部204は、2つの特徴量(特徴ベクトル)間の類似度を計算する。認証対象設定部204は、計算した類似度が所定の値以上であれば2つの特徴量は実質的に一致すると判定する。即ち、認証対象設定部204は、上段顔画像及び下段顔画像のそれぞれから生成された特徴量を用いた1対1照合により2つの顔画像が同一人物の顔画像であるか否かを判定する。2つの特徴量が一致しない場合、認証対象設定部204は、エラーを設定してもよい。つまり、上段画像及び下段画像のそれぞれに1つの顔画像が含まれ、各顔画像が同一人物の顔画像ではないという状況は、通常、発生しない。そのため、当該状況はエラーに設定されるのが適当である。
また、認証エリアに高身長な認証対象者と低身長な認証対象者が1人ずつ存在する場合、ステップS112に係る処理が実行される。しかし、この場合、上段画像と下段画像に共通する領域がないのでステップS112による前後関係が特定できない。そのため、上記のような状況が発生した場合には、認証対象設定部204はエラーを設定する。
続いて、図7のステップS112に係る処理(前後関係の特定処理)について説明する。図11は、認証対象設定部204の前後関係特定処理の一例を示すフローチャートである。
認証対象設定部204は、2枚の画像(上段画像、下段画像)の共通領域に「距離測定帯」を設定する(ステップS201)。例えば、図12に示す上段画像と下段画像が得られている場合には、灰色に着色された領域が「距離測定帯」に設定される。図12に示すように、距離測定帯は上段画像の下側に設定されるのが望ましい。距離測定帯は、共通領域において2以上の利用者が同時に写る領域に設定される。極端な例では、上段画像の最下段に距離測定帯が設定されてもよいし、共通領域の全てが距離測定帯に設定されてもよい。認証対象設定部204は、上段画像及び下段画像の全部又は一部を距離測定帯に設定する。
認証対象設定部204は、距離測定帯(上段画像と下段画像に共通する共通領域の全部又は一部)に写る対象物についてカメラ設置面までの距離を算出する(ステップS202)。具体的には、認証対象設定部204は、距離測定帯に含まれる各小領域についてカメラ(上段カメラ12-1、下段カメラ12-2)設置面までの距離を計算する。認証対象設定部204は、2つの画像の視差(上段画像、下段画像のずれ)を利用し、各小領域(対象物)とカメラ設置面までの距離を計算する。
認証対象設定部204は、距離測定帯に含まれる対象物に関する上段画像と下段画像の間のずれ量(視差)を算出する。認証対象設定部204は、当該算出された視差を用いて対象物とカメラ設置面までの距離を算出する。即ち、認証対象設定部204は、所謂、ステレオ法を用いてカメラ設置面と対象物(距離測定帯の小領域)までの距離を計算する。ステレオ法を用いた距離の計算は当業者にとって明らかであり詳細な説明は省略するが、認証対象設定部204は以下のような方法によりカメラ設置面と対象物の間の距離を計算する。
認証対象設定部204は、距離測定帯を複数の小領域に分割する。例えば、認証対象設定部204は、1つの領域のサイズがA1×A2画素となるように距離測定帯を分割する。認証対象設定部204は、小領域(対象物)とカメラ設置面の間の距離Dを、下記の式(1)により計算する。
[数1]
D=B×f/Z
・・・(1)
式(1)において、Bは上段カメラ12-1と下段カメラ12-2の間の距離(カメラ間隔)である。fは2つのカメラの焦点距離である。Zは視差(ずれ量)である。式(1)に示されるパラメータの関係を図示すると図13のとおりとなる。
式(1)においてカメラ間隔Bや焦点距離fは、2つのカメラの設置や選択に応じて予め定まる値である。そのため、認証対象設定部204は、視差Zを求めることで距離Dを計算できる。
認証対象設定部204は、基準となるカメラ(図13では下段カメラ12-2)の画像(距離測定帯)の中の1つの小領域に対して、参照カメラ(上段カメラ12-1)の共通領域帯をなす小領域のうちパターンが一致する領域を探索する。例えば、認証対象設定部204は、各小領域についてシティブロック距離を計算し、当該距離が最も短い領域を上記パターンが一致する領域として選択する。認証対象設定部204は、基準カメラ側の小領域と上記のように選択された参照カメラ側の小領域のずれを視差Zとして計算する。
例えば、図12に示す距離測定帯に含まれる対象物とカメラ設置面までの距離Dを計算し、対象物の位置(水平方向の位置)をX軸、計算された距離DをY軸に設定すると、図14に示すようなグラフが得られる。
認証対象設定部204は、図14に示すような波形を得るために、計算された距離Dに対して所定のデータ処理等を実施するのが望ましい。例えば、認証対象設定部204は、画像に含まれるノイズに起因する高周波成分(距離Dの高周波成分)を除去するため、計算された距離Dに対して低域通過フィルタ(LPF;Low Pass Filter)を適用してもよい。あるいは、認証対象設定部204は、距離Dの変動が所定の範囲に収まっている場合、当該距離Dの各値を所定の値(例えば、変動値の平均値)に収束させる処理を実行してもよい。
図14に示すように、複数の利用者が上段カメラ12-1、下段カメラ12-2により撮像されると、2枚の画像に写る人物の数に応じたピークが現れる。図12、図14の例では、2つのピークが現れる。
認証対象設定部204は、各ピークが現れる位置(X座標)を特定する(ステップS203)。図14の例では、座標X1、X2が特定される。即ち、認証対象設定部204は、対象物の位置(画像における対象物の位置)と対象物のカメラ設置面までの距離(例えば、上記位置と距離の関係を示す図14のグラフ)において、複数の利用者の数に応じたピークを特定(探索)する。
認証対象設定部204は、任意の方法を用いて距離Dのピークを特定する。例えば、認証対象設定部204は、距離Dに関するデータ間の差分を計算し、計算された差分が正から負に代わるポイントをピークとする。認証対象設定部204は、上述のフィルタリング処理や収束処理を適用した後のデータからピークの特定をするのが望ましい。
認証対象設定部204は、最小のピーク値に対応するX座標を選択する(ステップS204)。当該選択されたX座標の鉛直方向上側に位置する利用者(顔画像)が認証エリアの最前列の人物として特定される。図12、図14の例では、座標X1の上方に位置する利用者U1が最前列の利用者として特定される。即ち、認証対象設定部204は、特定された複数のピークのうち最小のピーク値に対応する位置の利用者を最前列の利用者として扱う。
認証対象設定部204は、最前列の利用者の顔画像を認証対象に設定する(図7のステップS113)。このように、上段画像及び下段画像の両方に複数の利用者が写っている場合、認証対象設定部204は、複数の利用者それぞれとカメラ設置面までの距離を算出することで複数の利用者のなかから最前列の利用者を特定する。認証対象設定部204は、特定された利用者を認証対象者に設定する。
認証対象設定部204は、認証対象者の顔画像(生体情報)を認証要求部205に引き渡す。
認証要求部205は、認証対象者の認証をサーバ装置20に要求する手段である。認証要求部205は、生体情報取得部203から取得した顔画像から特徴量(複数の特徴量からなる特徴ベクトル)を生成する。認証要求部205は、当該生成された特徴量(生体情報)を含む認証要求をサーバ装置20に送信する。
なお、認証要求部205による特徴量の生成処理に関しては既存の技術を用いることができるのでその詳細な説明を省略する。例えば、認証要求部205は、顔画像から目、鼻、口等を特徴点として抽出する。その後、認証要求部205は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算し、複数の特徴量からなる特徴ベクトル(顔画像を特徴づけるベクトル情報)を生成する。
認証要求部205は、自装置の識別子(以下、ゲート識別子と表記する)、特徴量等を含む認証要求を生成する(図15参照)。なお、ゲート識別子には、ゲート装置10のMAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスを用いることができる。
認証要求部205は、認証要求をサーバ装置20に送信する際、当該要求に含まれる特徴量を進入者判定部206に引き渡す。
認証要求部205は、認証要求に対するサーバ装置20からの応答を受信する。認証要求部205は、サーバ装置20からの応答(認証成功、認証失敗)をゲート制御部207に引き渡す。
進入者判定部206は、自装置(ゲート装置10)への進入者を検出するためのゲート内センサ16を用いて進入者を検出すると共に、進入者と認証対象者が同一人物か否かを判定する手段である。進入者判定部206は、ゲート内センサ16の出力を監視(ポーリング)する。ゲート内センサ16の出力が「内部に進入者あり」を示す場合、進入者判定部206は、当該進入者と認証対象者が一致するか否かを判定する。具体的には、進入者判定部206は、生体情報取得部203と同様に、少なくとも1台のカメラを制御し、顔画像を取得する。進入者判定部206は、得られた顔画像から特徴量(進入者の特徴量)を計算する。
進入者判定部206は、当該計算した特徴量(進入者の特徴量)と認証要求部205から取得した特徴量(認証対象者の特徴量)が実質的に一致するか否かを判定する。具体的には、進入者判定部206は、上記2つの特徴量間の類似度を計算する。当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。なお、距離が離れているほど類似度は低く、距離が近いほど類似度が高い。進入者判定部206は、類似度が所定の値以上の場合に、2つの特徴量は実質的に一致(進入者と認証対象者は同一人物)と判定する。
このように、進入者判定部206は、光を用いた通過センサ(ゲート内センサ16)からの検出信号に基づき進入者を検出する。その後、進入者判定部206は、2つの特徴量(進入者の特徴量、認証対象者の特徴量)を用いた1対1照合を実施する。当該1対1照合(進入者の生体情報と認証対象者の生体情報を用いた1対1照合)により、進入者と認証対象者が同一人物か否かが判定される。
進入者判定部206は、進入者と認証対象者が同一人物であると判定した場合、その旨をゲート制御部207に通知する。
ゲート制御部207は、ゲート装置10が備えるゲート17を制御する手段である。ゲート制御部207は、認証対象者の認証結果に基づきゲート17を制御する。ゲート制御部207は、サーバ装置20の認証結果が「認証成功」、且つ、進入者と認証対象者が同一人物である場合に、ゲート17を開く。換言すれば、ゲート制御部207は、上記条件(認証成功、進入者と認証対象者が同一人物)が満たされなければ原則としてゲート17を開くことはない。ゲート制御部207は、距離センサ等を用いて通行が許可された利用者がゲート17を通過した後にゲート17を閉じる。
メッセージ出力部208は、利用者(認証対象者、認証成功者等)に通知するメッセージを出力する手段である。メッセージ出力部208は、ディスプレイ13、14やスピーカー等を用いて必要なメッセージを利用者に通知する。
記憶部209は、ゲート装置10の動作に必要な情報を記憶する手段である。
図16は、第1の実施形態に係るゲート装置10の動作の一例を示すフローチャートである。
ゲート装置10は、認証エリアに利用者が存在するか否かを検出する(ステップS301)。認証エリアに利用者が検出されないと(ステップS301、No分岐)、ゲート装置10はステップS301の処理を繰り返す。
利用者が検出されると(ステップS301、Yes分岐)、ゲート装置10は、認証エリアに位置する利用者を撮像し、顔画像を取得する(ステップS302)。
ゲート装置10は、顔画像から特徴量を計算する(ステップS303)。
ゲート装置10は、当該計算された特徴量を含む認証要求をサーバ装置20に送信し、当該認証要求に対する応答(認証結果)を受信する(ステップS304)。
ゲート装置10は、自装置の内部エリアに進入者が存在するか否かを判定する(ステップS305)。進入者の検出処理を開始して所定時間経過しても進入者が検出できないと(ステップS305、No分岐)、ゲート装置10はステップS309に係る処理を実行する。
所定期間の間に進入者が検出されると(ステップS305、Yes分岐)、ゲート装置10は、進入者と認証対象者が同一人物か否かを判定する(ステップS306)。進入者と認証対象者が同一人物でなければ(ステップS306、No分岐)、ゲート装置10はステップS309に係る処理を実行する。
進入者と認証対象者が同一人物であれば(ステップS306、Yes分岐)、ゲート装置10は、サーバ装置20から取得した認証結果が「認証成功」であるか否かを判定する(ステップS307)。認証結果が「認証失敗」であれば、ゲート装置10はステップS309に係る処理を実行する。なお、ステップS307に係る処理は、ステップS305に係る処理の前に実行されても良いことは勿論である。
認証結果が「認証成功」であれば、ゲート装置10は、ゲート17を開門する(ステップS308)。ゲート装置10は、ゲート開門条件(認証成功、且つ、進入者と認証対象者が同一人物)が満たされる場合に、認証対象者が通過できるようにゲート17を制御する。その際、ゲート装置10は、認証対象者の認証に成功した旨をディスプレイ13、14に表示してもよい。
上記条件が満たされない場合(ステップS305、S306、S307のいずれかにおいてNo分岐)、ゲート装置10は、エラー処理を実行する(ステップS309)。具体的には、所定期間の間に進入者を検出できない場合(ステップS305、No分岐)、ゲート装置10は、サーバ装置20から取得した認証結果を破棄する。進入者と認証対象者が異なる場合(ステップS306、No分岐)、ゲート装置10は、その旨をディスプレイ13、14に表示する。サーバ装置20による認証に失敗した場合(ステップS307、No分岐)、ゲート装置10は、その旨をディスプレイ13、14に表示する。
このように、ゲート装置10は、上下に設置された2つのカメラ(上段カメラ12-1、下段カメラ12-2)を用いて低身長から高身長までの利用者の生体情報(顔画像)を取得する。また、ゲート装置10は、上記2つのカメラから得られる画像に共通して写る対象物の視差を利用し、複数の利用者が撮像された場合の前後関係を判定し正しい認証対象者を特定している。即ち、ゲート装置10は、2つのカメラを用いて、身長が大きく違う利用者から漏れなく生体情報を取得すると共に、認証対象者の誤判定を防止する。
[サーバ装置]
図17は、第1の実施形態に係るサーバ装置20の処理構成(処理モジュール)の一例を示す図である。図17を参照すると、サーバ装置20は、通信制御部301と、利用者登録部302と、認証部303と、記憶部304と、を含む。
通信制御部301は、他の装置との間の通信を制御する手段である。具体的には、通信制御部301は、ゲート装置10からデータ(パケット)を受信する。また、通信制御部301は、ゲート装置10に向けてデータを送信する。通信制御部301は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部301は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部301を介して他の装置とデータの送受信を行う。
利用者登録部302は、ゲート装置10を通過できる利用者(システム利用者)をシステム登録する手段である。利用者登録部302は、任意の手段を用いてゲート装置10を通過できる利用者の生体情報(例えば、顔画像)、個人情報(例えば、氏名)を取得する。
例えば、ゲート装置10が空港に設置された装置の場合、システム利用者は、航空会社のWEB(ウェブ)ページや空港に設置されたキオスク端末を用いて生体情報や個人情報(氏名、旅券番号等)をサーバ装置20に入力する。あるいは、ゲート装置10が駅の改札に設置された装置の場合、システム利用者は、鉄道会社等のWEBページや駅に設置された端末から生体情報、個人情報等をサーバ装置20に入力する。
利用者登録部302は、顔画像を取得した場合には、当該顔画像から特徴量を計算する。利用者登録部302は、システム利用者の生体情報(例えば、顔画像から計算された特徴量)を「利用者データベース」に登録する。利用者登録部302は、必要に応じて、システム利用者を識別する利用者ID(Identifier)や個人情報(例えば、氏名、国籍、性別等)と生体情報を対応付けて利用者データベースに登録する(図18参照)。図18に示す利用者データベースは例示であって、他の項目が生体情報(特徴量)と対応付けて記憶されていてもよい。例えば、「顔画像」が利用者データベースに登録されていてもよい。
認証部303は、ゲート装置10から受信した認証要求を処理する手段である。具体的には、認証部303は、認証要求に含まれる生体情報(特徴量)を照合対象に設定し、利用者データベースに登録された生体情報との間で照合処理を行う。
より具体的には、認証部303は、認証要求から取り出した特徴量を照合対象に設定し、利用者データベースに登録されている複数の特徴量との間で1対N(Nは正の整数、以下同じ)照合を実行する。
認証部303は、照合対象の特徴量(特徴ベクトル)と登録側の複数の特徴量それぞれとの間の類似度を計算する。認証部303は、類似度が所定の値以上の特徴量が利用者データベースに登録されていれば「認証成功」に設定する。認証部303は、類似度が所定の値以上の特徴量が利用者データベースに登録されていなければ「認証失敗」に設定する。
また、認証部303は、利用者データベースに登録された複数の特徴量のうち、照合対象の特徴量との間の類似度が所定の値以上、且つ、最も類似度が高い特徴量を特定する。認証部303は、当該特定された特徴量に対応する利用者IDや個人情報を必要に応じて、他のモジュールやゲート装置10に送信する。例えば、ゲート装置10が空港に設置された装置であれば、認証部303により特定された情報(氏名、旅券番号等)を用いて手続きの進捗(チェックイン通過、セキュリティチェック通過等)が管理される。例えば、ゲート装置10が駅の改札に設置された装置であれば、上記特定された情報を用いて料金の精算処理等が行われる。
記憶部304は、サーバ装置20の動作に必要な各種情報を記憶する。記憶部304には、利用者データベースが構築される。
図19は、第1の実施形態に係る認証システムの動作の一例を示すシーケンス図である。なお、図19の動作に先立ち、システム利用者の登録は予め行われているものとする。
ゲート装置10は、認証エリアに所在する利用者を検出する(ステップS01)。なお、ゲート装置10は、認証対象者を検出した際、認証処理が実行中であることを利用者が認識できるような対応をしてもよい。例えば、ゲート装置10は、認証対象者の顔画像をディスプレイ13、14に表示してもよい。あるいは、ゲート装置10は、認証エリアからゲート装置10の内部エリアに進入するように促すメッセージや記号(例えば、矢印等)をディスプレイ13、14に表示してもよい。
ゲート装置10は、認証対象者(認証エリアに所在する利用者)の生体情報を取得し、生体情報を含む認証要求をサーバ装置20に送信する(ステップS02)。
サーバ装置20は、認証要求に含まれる生体情報と、利用者データベースに登録された生体情報と、を用いた認証処理を実行する(ステップS11)。
サーバ装置20は、認証結果(認証成功、認証失敗)をゲート装置10に送信する(ステップS12)。
ゲート装置10は、サーバ装置20の認証処理と並行して認証対象者が進入したか否かを判定する(進入者の検出;ステップS03)。
ゲート装置10は、ゲート17を開門するための条件(ゲート開門条件)が満たされているか否かを確認する(ステップS04)。具体的には、ゲート装置10は、認証成功、且つ、進入者と認証対象者が同一人物か否かを確認する。
ゲート装置10は、ゲート開門条件が満たされていれば、ゲート17を開門する(ステップS05)。
以上のように、第1の実施形態に係る認証システムは、2つのカメラ(上段カメラ12-1、下段カメラ12-2)から得られる画像に複数の人物(システム利用者、認証対象者の候補)が写っている場合、認証対象者の特定を行う。その際、ゲート装置10は、2枚の画像における対象物(2枚の画像に共通して写る利用者)の視差を利用して、各利用者とカメラ設置面までの距離を算出する。ゲート装置10は、算出された距離に基づき自装置に最も近い利用者を特定し、当該特定された利用者を認証対象者に設定する。このように、第1の実施形態では、個人差の大きい顔領域の大きさによらず、最前列の利用者を特定するので、認証対象となる利用者を正確に決めることができる。
[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。
第1の実施形態では、上段画像及び下段画像の共通領域とカメラ設置面の間の距離を計算し、当該計算された距離に基づき利用者の前後関係が判定されている。第2の実施形態では、画像に写る利用者の位置関係に基づき前後関係を判定する場合について説明する。
第2の実施形態に係る認証システムの構成は第1の実施形態と同一とすることができるので図2に相当する説明を省略する。また、第2の実施形態に係るゲート装置10、サーバ装置20の処理構成も第1の実施形態と同一とすることができるので、その説明を省略する。
なお、第1の実施形態では、2つのカメラを用いて利用者を撮像する場合について説明した。しかし、第2の実施形態では、少なくとも1以上のカメラを用いて利用者が撮像できればよい。例えば、1台のカメラにより高身長、低身長な利用者が撮像できる場合には、2台のカメラは不要である。あるいは、高身長、低身長な利用者に関する認証が不要、または、認証時にエラーとなることが許容されるような場合にも2台のカメラは不要である。第2の実施形態に係るゲート装置10は、2台のカメラを備えていても良いことは勿論である。以降の説明では、第2の実施形態に係るゲート装置10が2台のカメラを備える場合について説明する。
以下、第1及び第2の実施形態における相違点を中心に説明する。
上述のように、顔認証モジュール11は利用者の進行方向に対して所定の角度傾けて設置されている。例えば、顔認証モジュール11は、45度(図4に示すθが45度)に設置されている。
顔認証モジュール11が利用者の進行方向に対して傾けて設置されているので、利用者の位置(利用者とゲート装置10の間の距離)に応じて画像の中で利用者が写る位置が変わる。具体的には、利用者が遠くに存在している場合には、ゲート装置10の顔認証モジュール11が設置されている側(図4の例では左方向)に利用者は写る。その後、利用者がゲート装置10に近づいてくると、利用者の位置(画像に写る利用者の位置)は右側(右方向;画像の左下を原点とした場合のX座標が正の方向)に移動する。
例えば、図20(a)に示すように、利用者が位置P1、P2、P3のように移動する場合を考える。この場合、撮像された画像の中における利用者の位置は、図20(b)に示すように左から右に移動する。当該事実は、画像の右側に写る利用者がゲート装置10に近いことを示す。換言すれば、複数の利用者が同じ画像に写っている場合には、画像の右側に位置する利用者の方が左側に位置する利用者よりもゲート装置10に近いことを示す。第2の実施形態に係るゲート装置10は、当該事実を利用して複数の利用者における前後関係を特定する。
第2の実施形態に係るゲート装置10の認証対象設定部204は、図7に示すステップS112の処理が第1の実施形態と異なる。認証対象設定部204は、画像に複数の利用者が写っている場合、画像における複数の利用者それぞれの位置に応じて複数の利用者のうち最前列の利用者を特定する。認証対象設定部204は、当該特定された利用者を認証対象者に設定する。
図21は、第2の実施形態に係る認証対象設定部204の動作の一例を示すフローチャートである。図21を参照して、認証対象設定部の前後関係特定処理を説明する。
認証対象設定部204は、画像に含まれる各顔画像のX座標(水平方向の座標)を計算する(ステップS401)。なお、当該X座標の計算は、上段画像及び下段画像のいずれか一方を用いて行われればよい。
認証対象設定部204は、右端のX座標を選択する(ステップS402)。当該選択されたX座標に対応する顔画像が認証対象となる。
認証対象設定部204は、画像に含まれる複数の利用者(顔画像)に対して、前後関係を特定する対象に所定の条件を付与してもよい。認証対象設定部204は、所定の条件を満たす顔画像を、前後関係の特定対象としてもよい。具体的には、認証対象設定部204は、複数の利用者のうち目間の距離が所定の値(例えば、60ピクセル)よりも小さい利用者は最前列の利用者に関する判定から除外してもよい。このような条件を設定することで、ゲート装置10の遠くに位置しながら画像の右端に写っているような利用者が排除できる。
なお、図3、図4に示すゲート装置10では、利用者の進行方向に対して右側に顔認証モジュール11が設置されているので、画像の右端に写る利用者が認証対象者に設定されている。顔認証モジュール11が利用者の進行方向に対して左側に設置されている場合には、画像の左端に写る利用者が認証対象者に設定される。
以上のように、第2の実施形態に係るゲート装置10は、利用者の進行方向とカメラの設置位置に応じて定まる側の端に位置する利用者を最前列の利用者として特定する。その結果、第1の実施形態と同様に、ゲート装置10は、認証対象の利用者を正確に決定できる。
続いて、認証システムを構成する各装置のハードウェアについて説明する。図22は、ゲート装置10のハードウェア構成の一例を示す図である。なお、顔認証モジュール11、カメラ12等については既に説明を行っているので図22にはこれらの要素を図示していない。
ゲート装置10は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。
但し、図22に示す構成は、ゲート装置10のハードウェア構成を限定する趣旨ではない。ゲート装置10は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、ゲート装置10に含まれるプロセッサ311等の数も図22の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がゲート装置10に含まれていてもよい。
プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、ディスプレイ14とすることができる。入力装置は、ディスプレイ14と一体となったタッチパネルでもよい。
通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
ゲート装置10の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
なお、サーバ装置20もゲート装置10と同様に構成可能であり、その基本的なハードウェア構成はゲート装置10と相違する点はないので説明を省略する。
ゲート装置10は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることでゲート装置10の機能が実現できる。また、ゲート装置10は、当該プログラムにより「ゲート装置の制御方法」を実行する。
[変形例]
なお、上記実施形態にて説明した認証システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
本願開示のゲート装置10の適用先は特に限定されない。例えば、本願開示のゲート装置10の適用先(設置場所)として「空港」が例示される。具体的には、空港にて行われる生体認証を用いた審査システムを担う装置の一部としてゲート装置10が用いられてもよい。当該審査システムでは、チェックイン時に本人確認(撮影顔画像とパスポートに記載された顔画像が一致するか否かの確認)が行われ、顔データ(顔画像または特徴量)、フライト情報及びパスポート情報が対応付けられて記憶される。本人確認が終了すると、生体認証にて審査を行うためのトークンが生成される。空港内の各種審査エリア(例えば、保安検査場)に本願開示のゲート装置10が設置され、ゲート装置10はチェックイン時に登録された顔画像と自装置にて撮像した顔画像を照合することで、利用者を認証する。
上記実施形態では、ゲート内センサ16を用いて進入者を検出する場合について説明した。しかし、認証対象者とは異なる利用者がゲート装置10に進入することが困難な場合には、上記進入者の検出は不要である。例えば、ゲートを通過する人の進行方向におけるゲート装置10本体の長さを長く構成すると共に、認証エリアをゲート装置10の内部に設定することで認証対象者とは異なる利用者がゲート装置10の内部に進入することは困難となる。
上記実施形態では、2台のカメラ(上段カメラ12-1、下段カメラ12-2)を備えるゲート装置10について説明した。しかし、ゲート装置10が備えるカメラは一台であってもよい。この場合、1台のカメラは上下に移動可能に構成され、ゲート装置10はカメラの位置を可変することで、2枚の画像(上段画像、下段画像)を取得してもよい。
上記実施形態では、2台のカメラ(上段カメラ12-1、下段カメラ12-2)により利用者を撮像し、2枚の画像から得られる視差を利用して認証対象者(最前列の利用者)を特定する場合について説明した。しかし、カメラの台数を2台に限定する趣旨ではなく、3台以上のカメラを用いて認証対象者が特定されてもよい。例えば、上段カメラ12-1と下段カメラ12-2の間に中段カメラを設置する。この倍、ゲート装置10は、上段カメラ12-1と中段カメラに写る利用者の前後関係や中段カメラと下段カメラ12-2に写る利用者の前後関係の判定が行える。
上記実施形態では、上段カメラ12-1と下段カメラ12-2の性能は実質的に同じであることを前提として説明を行った。しかし、これらのカメラの性能は異なっていてもよい。その場合、ゲート装置10は、2つのカメラの性能差を埋めるような対策を行ってもよい。例えば、ゲート装置10は、得られた2枚の画像のうち一方の画像のサイズ等を変換してもよい。即ち、上記変換処理等の対策によって、使用できるカメラの選択が広がり、顔認証モジュール11におけるカメラの設置場所等に制限がある場合でも、本願開示のゲート装置を実現することができる。
上記実施形態では、ゲート装置10からサーバ装置20に顔画像から生成された特徴量に係る生体情報が送信される場合について説明した。しかし、ゲート装置10からサーバ装置20に「顔画像」そのものが生体情報として送信されてもよい。サーバ装置20は、取得した顔画像から特徴量を生成し、認証処理(1対N照合)を実行してもよい。なお、顔画像そのものがサーバ装置20に送信された場合であっても、ゲート装置10は、顔画像から生成された特徴量を用いて認証対象者と進入者の同一性を判定する。
上記実施形態では、認証対象者と進入者の同一性に関する判定はゲート装置10にて実行されているが、当該判定はサーバ装置20にて実行されてもよい。この場合、ゲート装置10は、内部エリアへの進入者の生体情報を取得し、サーバ装置20に送信する。サーバ装置20は、認証要求に含まれる生体情報と上記進入者の生体情報を照合し、認証対象者と進入者の同一性を判定すればよい。
上記実施形態では、ゲート装置10が認証要求をサーバ装置20に送信し、サーバ装置20が当該要求を処理する、所謂、クライアントサーバシステムについて説明した。しかし、サーバ装置20にて実行される認証処理はゲート装置10にて実行されてもよい。即ち、サーバ装置20の一部又は全部の機能はゲート装置10にて実現されてもよい。
上記実施形態では、上段画像又は下段画像のいずれかに顔画像が分布し、且つ、画像に複数の顔画像が含まれる場合に、エラーが設定されることを説明した(図7のステップS105)。この場合、ゲート装置10は、上段画像に複数の顔画像が含まれる場合には、2枚の画像の視差や利用者の位置を利用して前後関係を判定してもよい。例えば、図9(a)の場合には、上段画像と下段画像に共通して写る対象物(利用者の胴体や脚等)を利用して前後関係が判定されてもよい。あるいは、ゲート装置10は、第2の実施形態にて説明したように、上段画像に含まれる顔画像の位置に応じて前後関係を判定してもよい。
また、図9(b)に示すような場合には、上段画像と下段画像に共通して写る対象物(利用者)が存在しないため、視差を利用した前後関係の判定を行えない。そこで、ゲート装置10は、下段画像に限り顔画像が存在する場合、画像(下段画像)における利用者の位置に応じて利用者の前後関係を判定してもよい。
あるいは、第1及び第2の実施形態を組み合わせ、図8(a)や図9(a)に示される場合については視差を利用して認証対象者が選択され、図9(b)に示される場合については画像の位置に応じて認証対象者が選択されてもよい。
ゲート装置10は、取得する画像(顔画像;生体情報)の目的に応じて調光用のLEDの制御を変更してもよい。例えば、ゲート装置10は、認証エリアに所在する利用者を撮像する場合と自装置への進入者を撮像する場合で光度を変更してもよい。
複数のゲート装置10が連動、連携して動作してもよい。具体的には、サーバ装置20は、一のゲート装置10から取得した認証要求に対する応答を他のゲート装置10にも送信してもよい。例えば、図2の例では、ゲート装置10-1から取得した認証要求に対する認証結果がゲート装置10-1~10-3のそれぞれに送信されてもよい。この場合、ゲート装置10-1にて検出された認証対象者がゲート装置10-2に向かったとしても(ゲート装置10-2に進入しても)、当該認証対象者はゲート装置10-2を通過することができる。なお、この場合、ゲート装置10-1が生成した認証対象者の生体情報は、ゲート装置10-1から他のゲート装置10-2、10-3に送信される。あるいは、サーバ装置20から認証対象者の生体情報が他のゲート装置10-2、10-3に送信されてもよい。
ゲート装置10とサーバ装置20の間のデータ送受信の形態は特に限定されないが、これら装置間で送受信されるデータは暗号化されていてもよい。顔画像や当該顔画像から算出される特徴量は個人情報であり当該個人情報を適切に保護するためには、暗号化されたデータが送受信されることが望ましい。
ゲート装置10は、例えば、既存の施設の限られたスペースに設置することも想定される。この場合、ゲート装置10を通過する人の進行方向におけるゲート装置10本体の長さは、一般的な顔認証ゲートの長さである2~3メートルに比べて短い約1.5メートルとすることができ、ゲート17までの距離を例えば96センチメートル(成人男性の歩幅の1歩半に相当)とすることができる。ゲート装置10本体の長さを約1.5メートルとした場合、進行方向における認証エリアの長さは、約30センチメートルから60センチメートルとするのが好ましい。
上記説明で用いた流れ図(フローチャート、シーケンス図)では、複数の工程(処理)が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、空港や駅等に設置される認証システムなどに好適に適用可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する、取得部と、
前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定する、設定部と、
前記認証対象者の認証結果に基づいてゲートを制御する、ゲート制御部と、
を備える、ゲート装置。
[付記2]
前記設定部は、前記上段画像と下段画像に共通する共通領域に写る対象物について前記カメラ設置面までの距離を算出し、前記最前列の利用者を特定する、付記1に記載のゲート装置。
[付記3]
前記設定部は、前記対象物の前記上段画像と下段画像の視差を算出し、前記算出された視差を用いたステレオ法により、前記対象物と前記カメラ設置面までの距離を算出する、付記2に記載のゲート装置。
[付記4]
前記設定部は、前記対象物の位置と前記対象物のカメラ設置面までの距離の関係において、前記複数の利用者の数に応じたピークを特定し、前記特定された複数のピークのうち最小のピーク値に対応する位置の利用者を前記最前列の利用者として特定する、付記2又は3に記載のゲート装置。
[付記5]
前記設定部は、前記上段画像及び下段画像の両方に1人の利用者が写っている場合、前記1人の利用者を前記認証対象者に設定する、付記1乃至4のいずれか一に記載のゲート装置。
[付記6]
前記設定部は、前記上段画像及び下段画像のいずれか一方に1人の利用者が写っている場合、前記1人の利用者を前記認証対象者に設定する、付記1乃至4のいずれか一に記載のゲート装置。
[付記7]
前記認証対象者の生体情報を含む認証要求をサーバ装置に送信する、認証要求部をさらに備える、付記1乃至6のいずれか一に記載のゲート装置。
[付記8]
前記認証要求部は、前記認証対象者の顔画像から生成された特徴量を含む前記認証要求を前記サーバ装置に送信する、付記7に記載のゲート装置。
[付記9]
前記上段カメラ及び下段カメラの前記カメラ設置面における水平方向の位置は同じである、付記1乃至8のいずれか一に記載のゲート装置。
[付記10]
複数のシステム利用者それぞれの生体情報を記憶し、前記複数の生体情報を利用した認証処理を実行する、サーバ装置と、
前記サーバ装置と接続されたゲート装置と、
を含み、
前記ゲート装置は、
上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する、取得部と、
前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定する、設定部と、
前記認証対象者の認証を前記サーバ装置に要求する、認証要求部と、
前記認証対象者の認証結果に基づいてゲートを制御する、ゲート制御部と、
を備える、認証システム。
[付記11]
前記認証要求部は、前記認証対象者の生体情報を含む認証要求を前記サーバ装置に送信し、
前記サーバ装置は、前記認証要求から取得した生体情報と前記複数のシステム利用者の生体情報を用いて前記認証対象者の認証を行う、付記10に記載の認証システム。
[付記12]
ゲート装置において、
上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得し、
前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定し、
前記認証対象者の認証結果に基づいてゲートを制御する、ゲート装置の制御方法。
[付記13]
ゲート装置に搭載されたコンピュータに、
上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する処理と、
前記上段画像及び下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された利用者を認証対象者に設定する処理と、
前記認証対象者の認証結果に基づいてゲートを制御する処理と、
を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
10、10-1~10-3、100 ゲート装置
11 顔認証モジュール
12-1 上段カメラ
12-2 下段カメラ
13 ディスプレイ
14 ディスプレイ
15 エリアセンサ
16 ゲート内センサ
17 ゲート
20 サーバ装置
101 取得部
102 設定部
103、207 ゲート制御部
201、301 通信制御部
202 利用者検出部
203 生体情報取得部
204 認証対象設定部
205 認証要求部
206 進入者判定部
208 メッセージ出力部
209、304 記憶部
302 利用者登録部
303 認証部
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス

Claims (12)

  1. 上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する、取得部と、
    前記上段画像及び前記下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された前記最前列の利用者を認証対象者に設定する、設定部と、
    前記認証対象者の認証結果に基づいてゲートを制御する、ゲート制御部と、
    を備え、
    前記設定部は、前記上段画像と前記下段画像に共通する共通領域に写る対象物について前記カメラ設置面までの距離を算出し、前記最前列の利用者を特定し、
    前記設定部は、前記上段画像と前記下段画像に共通する前記共通領域の一部に、距離測定帯を設定し、設定した前記距離測定帯に写る対象物から前記カメラ設置面までの距離を算出する
    ゲート装置。
  2. 前記設定部は、前記対象物の前記上段画像と前記下段画像の視差を算出し、前記算出された視差を用いたステレオ法により、前記対象物と前記カメラ設置面までの距離を算出する、請求項に記載のゲート装置。
  3. 前記設定部は、前記対象物の位置と前記対象物の前記カメラ設置面までの距離の関係において、前記複数の利用者の数に応じたピークを特定し、前記特定された複数のピークのうち最小のピーク値に対応する位置の利用者を前記最前列の利用者として特定する、請求項又はに記載のゲート装置。
  4. 前記設定部は、前記上段画像及び前記下段画像の両方に1人の利用者が写っている場合、前記1人の利用者を前記認証対象者に設定する、請求項1乃至のいずれか一項に記載のゲート装置。
  5. 前記設定部は、前記上段画像及び前記下段画像のいずれか一方に1人の利用者が写っている場合、前記1人の利用者を前記認証対象者に設定する、請求項1乃至のいずれか一項に記載のゲート装置。
  6. 前記認証対象者の生体情報を含む認証要求をサーバ装置に送信する、認証要求部をさらに備える、請求項1乃至のいずれか一項に記載のゲート装置。
  7. 前記認証要求部は、前記認証対象者の顔画像から生成された特徴量を含む前記認証要求を前記サーバ装置に送信する、請求項に記載のゲート装置。
  8. 前記上段カメラ及び下段カメラの前記カメラ設置面における水平方向の位置は同じである、請求項1乃至のいずれか一項に記載のゲート装置。
  9. 複数のシステム利用者それぞれの生体情報を記憶し、前記複数の生体情報を利用した認証処理を実行する、サーバ装置と、
    前記サーバ装置と接続されたゲート装置と、
    を含み、
    前記ゲート装置は、
    上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する、取得部と、
    前記上段画像及び前記下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された前記最前列の利用者を認証対象者に設定する、設定部と、
    前記認証対象者の認証を前記サーバ装置に要求する、認証要求部と、
    前記認証対象者の認証結果に基づいてゲートを制御する、ゲート制御部と、
    を備え
    前記設定部は、前記上段画像と前記下段画像に共通する共通領域に写る対象物について前記カメラ設置面までの距離を算出し、前記最前列の利用者を特定し、
    前記設定部は、前記上段画像と前記下段画像に共通する前記共通領域の一部に、距離測定帯を設定し、設定した前記距離測定帯に写る前記対象物から前記カメラ設置面までの距離を算出する
    認証システム。
  10. 前記認証要求部は、前記認証対象者の生体情報を含む認証要求を前記サーバ装置に送信し、
    前記サーバ装置は、前記認証要求から取得した生体情報と前記複数のシステム利用者の生体情報を用いて前記認証対象者の認証を行う、請求項に記載の認証システム。
  11. ゲート装置において、
    上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得し、
    前記上段画像及び前記下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された前記最前列の利用者を認証対象者に設定し、
    前記認証対象者の認証結果に基づいてゲートを制御し、
    前記認証対象者を設定するとき、前記上段画像と前記下段画像に共通する共通領域に写る対象物について前記カメラ設置面までの距離を算出し、前記最前列の利用者を特定し、
    前記共通領域に写る前記対象物から、前記カメラ設置面までの距離を算出するとき、前記上段画像と前記下段画像に共通する前記共通領域の一部に、距離測定帯を設定し、設定した前記距離測定帯に写る前記対象物から前記カメラ設置面までの距離を算出する
    ゲート装置の制御方法。
  12. ゲート装置に搭載されたコンピュータに、
    上段カメラと前記上段カメラよりも鉛直方向下側に設置された下段カメラのそれぞれから、上段画像及び下段画像を取得する処理と、
    前記上段画像及び前記下段画像の両方に複数の利用者が写っている場合、前記複数の利用者それぞれとカメラ設置面までの距離を算出することで前記複数の利用者のなかから最前列の利用者を特定し、前記特定された前記最前列の利用者を認証対象者に設定する処理と、
    前記認証対象者の認証結果に基づいてゲートを制御する処理と、
    を実行させ
    前記認証対象者を設定する処理において、前記上段画像と前記下段画像に共通する共通領域に写る対象物について前記カメラ設置面までの距離を算出させ、前記最前列の利用者を特定させ、
    前記認証対象者を設定する処理において、前記共通領域に写る前記対象物から、前記カメラ設置面までの距離を算出させるとき、前記上段画像と前記下段画像に共通する前記共通領域の一部に、距離測定帯を設定させ、設定した前記距離測定帯に写る前記対象物から前記カメラ設置面までの距離を算出させる
    プログラム。
JP2022508711A 2020-03-18 2020-03-18 ゲート装置、認証システム、ゲート装置の制御方法及びプログラム Active JP7327650B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023122944A JP2023153176A (ja) 2020-03-18 2023-07-28 ゲート装置、ゲート装置の制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012036 WO2021186626A1 (ja) 2020-03-18 2020-03-18 ゲート装置、認証システム、ゲート装置の制御方法及び記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023122944A Division JP2023153176A (ja) 2020-03-18 2023-07-28 ゲート装置、ゲート装置の制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021186626A1 JPWO2021186626A1 (ja) 2021-09-23
JPWO2021186626A5 JPWO2021186626A5 (ja) 2022-07-14
JP7327650B2 true JP7327650B2 (ja) 2023-08-16

Family

ID=77771948

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022508711A Active JP7327650B2 (ja) 2020-03-18 2020-03-18 ゲート装置、認証システム、ゲート装置の制御方法及びプログラム
JP2023122944A Pending JP2023153176A (ja) 2020-03-18 2023-07-28 ゲート装置、ゲート装置の制御方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023122944A Pending JP2023153176A (ja) 2020-03-18 2023-07-28 ゲート装置、ゲート装置の制御方法及びプログラム

Country Status (5)

Country Link
US (1) US20220358666A1 (ja)
EP (1) EP4123607A1 (ja)
JP (2) JP7327650B2 (ja)
AU (1) AU2020435745A1 (ja)
WO (1) WO2021186626A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236244A (ja) 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP2020038545A (ja) 2018-09-05 2020-03-12 パナソニックIpマネジメント株式会社 顔認証ゲートおよび顔認証システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374099A1 (en) * 2017-06-22 2018-12-27 Google Inc. Biometric analysis of users to determine user locations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236244A (ja) 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP2020038545A (ja) 2018-09-05 2020-03-12 パナソニックIpマネジメント株式会社 顔認証ゲートおよび顔認証システム

Also Published As

Publication number Publication date
JPWO2021186626A1 (ja) 2021-09-23
AU2020435745A1 (en) 2022-05-26
EP4123607A1 (en) 2023-01-25
WO2021186626A1 (ja) 2021-09-23
US20220358666A1 (en) 2022-11-10
JP2023153176A (ja) 2023-10-17

Similar Documents

Publication Publication Date Title
KR20180126044A (ko) 승객 관리 장치 및 승객 관리 방법
US11245707B2 (en) Communication terminal, communication system, communication control method, and recording medium
CN108701211A (zh) 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统
CN107924463A (zh) 用于运动识别的系统和方法
JP2023153850A (ja) ゲート装置、認証システム、ゲート装置の制御方法及び記憶媒体
AU2024202070A1 (en) Gate device, authentication system, gate control method, and storage medium
WO2022064830A1 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP7327650B2 (ja) ゲート装置、認証システム、ゲート装置の制御方法及びプログラム
WO2021176593A1 (ja) 滞在管理装置、滞在管理方法、プログラムが格納された非一時的なコンピュータ可読媒体、及び滞在管理システム
WO2022219932A1 (ja) 情報処理装置、情報処理システム、及び、推定方法
KR102552183B1 (ko) 다자간 출입 통제가 가능한 비대면 공동 현관문 자동 출입 개폐 시스템 및 방법
WO2023162041A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
WO2023032011A1 (ja) 生体認証制御ユニット、システム、生体認証制御ユニットの制御方法及び記憶媒体
JP7298737B2 (ja) サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム
US20240161563A1 (en) Gate device, gate device control method, and computer-readable medium
WO2022149376A1 (ja) 生体認証制御ユニット、システム、生体認証制御ユニットの制御方法及び記録媒体
WO2022234613A1 (ja) システム、ゲート装置、ゲート装置の制御方法及び記憶媒体
KR102578583B1 (ko) 얼굴 인식을 이용하는 전자 장치 및 그 동작 방법
JP7276523B2 (ja) 管理サーバ、システム、トークン発行方法及びコンピュータプログラム
KR102632212B1 (ko) 얼굴 인식을 이용하여 차량 정보를 관리하는 전자 장치 및 그 동작 방법
WO2021186576A1 (ja) ゲートシステム、ゲート装置、その画像処理方法、およびプログラム、ならびに、ゲート装置の配置方法
WO2023152937A1 (ja) システム、サーバ装置、サーバ装置の制御方法及び記憶媒体
EP4216180A1 (en) Trusted seamless authentication method for access control
WO2021171607A1 (ja) 認証端末、入退場管理システム、入退場管理方法及びプログラム
JP2023109132A (ja) 端末、端末の制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7327650

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151