JP7153882B2 - Face authentication system and face authentication method - Google Patents

Face authentication system and face authentication method Download PDF

Info

Publication number
JP7153882B2
JP7153882B2 JP2021016817A JP2021016817A JP7153882B2 JP 7153882 B2 JP7153882 B2 JP 7153882B2 JP 2021016817 A JP2021016817 A JP 2021016817A JP 2021016817 A JP2021016817 A JP 2021016817A JP 7153882 B2 JP7153882 B2 JP 7153882B2
Authority
JP
Japan
Prior art keywords
face
body temperature
user
authentication
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021016817A
Other languages
Japanese (ja)
Other versions
JP2022119579A (en
Inventor
健 石原
正司 大園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2021016817A priority Critical patent/JP7153882B2/en
Priority to PCT/JP2022/001439 priority patent/WO2022168588A1/en
Publication of JP2022119579A publication Critical patent/JP2022119579A/en
Priority to JP2022149111A priority patent/JP7407432B2/en
Application granted granted Critical
Publication of JP7153882B2 publication Critical patent/JP7153882B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B49/00Electric permutation locks; Circuits therefor ; Mechanical aspects of electronic locks; Mechanical keys therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Description

本発明は、施設の利用者の顔画像に基づく顔認証を行うと共に、利用者の体温情報を取得する体温測定を行う顔認証システムおよび顔認証方法に関するものである。 The present invention relates to a face authentication system and a face authentication method that perform face authentication based on a facial image of a user of a facility and body temperature measurement for acquiring body temperature information of the user.

近年、安全確保や機密保持などの目的で、特定のエリアへ入場しようとする人物に対して個人認証を行い、予め登録された人物以外の人物の入場を規制するシステムが普及している。一方、新型コロナウイルス感染症(COVID-19)等の感染症の拡大防止の観点から、特定エリアへ入場しようとする人物の健康チェックとして体温を監視し、体温に異常がある場合には、その旨を人物に通知し、場合によっては人物の入場を拒否することが望まれる。 2. Description of the Related Art In recent years, for the purpose of ensuring safety and maintaining confidentiality, a system has been widely used that performs personal authentication on a person who attempts to enter a specific area and restricts the entry of persons other than pre-registered persons. On the other hand, from the viewpoint of preventing the spread of infectious diseases such as the new coronavirus infectious disease (COVID-19), we monitor the body temperature as a health check for people trying to enter a specific area, and if there is an abnormality in the body temperature, It is desirable to notify the person to that effect and, depending on the case, refuse the person's entry.

このような個人認証と体温監視とを行うシステムに関する技術として、従来、オフィスビルの入口などに設置されるセキュリティゲートにおいて、進入した利用者に対してICカードによる認証を行うと共に、赤外線センサを用いて利用者の体温を測定して、利用者の体温が正常である場合には、セキュリティゲートの扉を開放し、利用者の体温が異常である場合には、セキュリティゲートの扉を閉鎖した状態を維持して利用者が通過できないようにした技術が知られている(特許文献1参照)。 As a technology related to a system that performs such personal authentication and body temperature monitoring, conventionally, a security gate installed at the entrance of an office building uses an IC card to authenticate a user who has entered and uses an infrared sensor. If the user's body temperature is normal, the security gate door is opened, and if the user's body temperature is abnormal, the security gate door is closed. is known to prevent the user from passing through (see Patent Literature 1).

また、食品工場などの入場口において、人物の顔を撮影した顔画像に基づいて顔認証を行うと共に、サーマルカメラなどのセンサを用いて人物の体温を測定して、利用者の体温が正常である場合には、ドアを解錠し、利用者の体温が異常である場合には、ドアを施錠した状態を維持して利用者が入場できないようにした技術が知られている(特許文献2参照)。 In addition, at entrances to food factories, etc., face recognition is performed based on facial images taken of people's faces. In some cases, the door is unlocked, and if the user's body temperature is abnormal, the door is kept locked to prevent the user from entering (Patent Document 2). reference).

特開2011-085004号公報JP 2011-085004 A 国際公開第2020/050397号WO2020/050397

ところで、従来の技術では、個人認証(カード認証や顔認証)と体温監視との両方の結果に基づいて、利用者の通過や入場の可否を判定する。一方、システムによっては、個人認証や体温監視の結果に応じて利用者の通過や入場の可否を判定する条件を、状況に応じて適宜に変更したいといった要望がある。特に、体温監視に関して、例えば、体温の異常を判定する条件を個人ごとに定めたり、あるいは、同じ建物を複数の会社で共有するマルチテナントの建物の玄関に設置されたセキュリティゲートの場合に、会社に応じて体温監視を実施するか否かを定めたり、あるいは、季節などの特定の期間に限って体温監視を実施したりするといった運用が考えられるが、従来の技術では、このような条件をカスタマイズする仕組みについては、何ら配慮されていない。 By the way, in the conventional technology, based on the results of both personal authentication (card authentication and face authentication) and body temperature monitoring, it is determined whether the user is allowed to pass through or enter. On the other hand, depending on the system, there is a demand to appropriately change the conditions for judging whether or not a user can pass through or enter depending on the results of personal authentication and body temperature monitoring. In particular, regarding body temperature monitoring, for example, the conditions for determining abnormal body temperature are determined for each individual, or in the case of a security gate installed at the entrance of a multi-tenant building where multiple companies share the same building, the company It is conceivable to decide whether or not to monitor the body temperature depending on the situation, or to monitor the body temperature only during a specific period such as a season. No consideration is given to a mechanism for customization.

そこで、本発明は、管理者が、顔認証の他に体温監視の条件を適宜にカスタマイズできるようにして、システムの利便性を高めることができる顔認証システムおよび顔認証方法を提供することを主な目的とする。 Therefore, the main object of the present invention is to provide a face authentication system and a face authentication method that can enhance the convenience of the system by allowing the administrator to customize the conditions for body temperature monitoring in addition to face authentication as appropriate. purpose.

本発明の顔認証システムは、施設のゲート通過または入室を制御する利用者の顔画像に基づく顔認証と利用者の体温情報を取得する体温測定とを行う顔認証システムであって、登録時および認証時における顔画像の取得、認証時における体温情報の取得および前記体温情報が異常判定された場合に前記ゲート通過または前記入室を拒否することに関する利用者の同意を得る処理を行うと共に、利用者の登録用の顔画像を取得する登録部と、前記登録用の顔画像を蓄積する顔管理部と、認証時に利用者の認証用の顔画像および体温情報を取得する1以上の顔認証部と、前記登録用の顔画像および前記認証用の顔画像を照合する顔照合部と、認証時に利用者の体温情報を取得する体温測定部と、前記体温情報が異常であるか否かを判定する体温判定部と、を有し、さらに、管理者または利用者の操作に応じて、前記体温測定部および前記体温判定部の処理条件に関する設定を管理する設定管理部を備えた構成とする。 The face authentication system of the present invention is a face authentication system that performs face authentication based on a user's face image that controls passage through a facility gate or entry and body temperature measurement that acquires user's body temperature information. Acquisition of face image at the time of authentication, acquisition of body temperature information at the time of authentication, and processing to obtain consent from the user regarding refusal to pass through the gate or enter the room if the body temperature information is determined to be abnormal , and use a registration unit that acquires a face image for registration of a user; a face management unit that accumulates the face image for registration; a face matching unit for matching the facial image for registration and the facial image for authentication; a body temperature measurement unit for acquiring body temperature information of the user at the time of authentication; and determining whether or not the body temperature information is abnormal. and a setting management unit for managing settings related to the processing conditions of the body temperature measurement unit and the body temperature determination unit according to the operation of an administrator or user.

また、本発明の顔認証方法は、施設のゲート通過または入室を制御する利用者の顔画像に基づく顔認証と利用者の体温情報を取得する体温測定との処理をプロセッサにより実行する顔認証方法であって、登録時および認証時における顔画像の取得、認証時における体温情報の取得および前記体温情報が異常判定された場合に前記ゲート通過または前記入室を拒否することに関する利用者の同意を得る処理を行うと共に、利用者の登録用の顔画像を取得し、前記登録用の顔画像を蓄積し、認証時に利用者の認証用の顔画像および体温情報を取得し、前記登録用の顔画像および前記認証用の顔画像を照合する顔照合を行い、認証時に利用者の体温情報を取得する体温測定を行うと共に、前記体温情報が異常であるか否かを判定する体温判定を行い、さらに、管理者または利用者の操作に応じて、前記体温測定および前記体温判定の処理条件に関する設定を管理する構成とする。 In addition, the face authentication method of the present invention is a face authentication method in which a processor performs face authentication based on a face image of a user who controls passage through a gate or entry into a facility, and body temperature measurement for obtaining body temperature information of the user. and the consent of the user regarding the acquisition of face images at the time of registration and authentication, the acquisition of body temperature information at the time of authentication, and the refusal to pass through the gate or enter the room if the body temperature information is determined to be abnormal . Acquire a face image for registration of the user, accumulate the face image for registration, acquire the face image and body temperature information for authentication of the user at the time of authentication, and obtain the face image for registration perform face matching for matching the image and the face image for authentication, perform body temperature measurement for acquiring body temperature information of the user at the time of authentication, perform body temperature determination for determining whether the body temperature information is abnormal, Furthermore, the configuration is such that the settings related to the processing conditions for the body temperature measurement and the body temperature determination are managed according to the operation of the administrator or the user.

本発明によれば、管理者が、顔認証の他に体温監視(体温測定および体温判定)の条件を適宜にカスタマイズできるようにして、システムの利便性を高めることができる。 According to the present invention, the administrator can customize the conditions for body temperature monitoring (body temperature measurement and body temperature determination) in addition to face authentication, thereby enhancing the convenience of the system.

本実施形態に係る顔認証システムの全体構成図Overall configuration diagram of the face authentication system according to the present embodiment 顔認証機1の外観を示す正面図Front view showing appearance of face authentication device 1 顔認証機1の概略構成を示すブロック図Block diagram showing a schematic configuration of the face authentication machine 1 顔認証機1および顔照合サーバ6で行われる処理の概要を示す説明図Explanatory diagram showing an overview of the processing performed by the face authentication device 1 and the face matching server 6 登録機2の概略構成を示すブロック図Block diagram showing a schematic configuration of the registration machine 2 顔管理サーバ5の概略構成を示すブロック図Block diagram showing a schematic configuration of the face management server 5 顔照合サーバ6の概略構成を示すブロック図Block diagram showing a schematic configuration of the face matching server 6 利用者登録時の登録機、顔管理サーバ5および顔照合サーバ6の動作手順を示すシーケンス図Sequence diagram showing operation procedures of registration device, face management server 5, and face matching server 6 at the time of user registration 利用者登録時に登録機2のディスプレイ42に表示される画面を示す説明図Explanatory diagram showing a screen displayed on the display 42 of the registration device 2 at the time of user registration 顔認証時の顔認証機1および顔照合サーバ6の動作手順を示すシーケンス図Sequence diagram showing the operation procedure of the face recognition device 1 and the face matching server 6 at the time of face recognition 顔認証時の顔認証機1および顔照合サーバ6の動作手順を示すシーケンス図Sequence diagram showing the operation procedure of the face recognition device 1 and the face matching server 6 at the time of face recognition 顔認証機1のディスプレイ14に表示される画面を示す説明図Explanatory drawing showing a screen displayed on the display 14 of the face authentication machine 1 管理端末4に表示される設定画面を示す説明図Explanatory diagram showing a setting screen displayed on the management terminal 4

前記課題を解決するためになされた第1の発明は、施設のゲート通過または入室を制御する利用者の顔画像に基づく顔認証と利用者の体温情報を取得する体温測定とを行う顔認証システムであって、登録時および認証時における顔画像の取得、認証時における体温情報の取得および前記体温情報が異常判定された場合に前記ゲート通過または前記入室を拒否することに関する利用者の同意を得る処理を行うと共に、利用者の登録用の顔画像を取得する登録部と、前記登録用の顔画像を蓄積する顔管理部と、認証時に利用者の認証用の顔画像および体温情報を取得する1以上の顔認証部と、前記登録用の顔画像および前記認証用の顔画像を照合する顔照合部と、認証時に利用者の体温情報を取得する体温測定部と、前記体温情報が異常であるか否かを判定する体温判定部と、を有し、さらに、管理者または利用者の操作に応じて、前記体温測定部および前記体温判定部の処理条件に関する設定を管理する設定管理部を備えた構成とする。 A first invention made to solve the above problems is a face authentication system that performs face authentication based on the face image of a user who controls passage through a gate or entry into a facility and body temperature measurement to acquire body temperature information of the user. and the consent of the user regarding the acquisition of face images at the time of registration and authentication, the acquisition of body temperature information at the time of authentication, and the refusal to pass through the gate or enter the room if the body temperature information is determined to be abnormal . a registration unit that acquires a face image for registration of a user, a face management unit that accumulates the face image for registration, and a face image and body temperature information for authentication of the user at the time of authentication. a face recognition unit for matching the face image for registration and the face image for authentication; a body temperature measurement unit for acquiring body temperature information of the user at the time of authentication; and the body temperature information is abnormal. and a setting management unit that manages settings related to processing conditions of the body temperature measurement unit and the body temperature determination unit according to the operation of an administrator or user. A configuration with

これによると、管理者が、顔認証の他に体温監視(体温測定および体温判定)の条件を適宜にカスタマイズできるようにして、システムの利便性を高めることができる。 According to this, the administrator can appropriately customize conditions for body temperature monitoring (body temperature measurement and body temperature determination) in addition to face authentication, thereby enhancing the convenience of the system.

また、第2の発明は、前記設定管理部は、管理者または利用者の操作に応じて、前記体温測定部および前記体温判定部の処理条件として、前記体温測定部および前記体温判定部の各処理の実施の有無に関する設定を行う構成とする。 In a second aspect of the invention, the setting management section sets each of the body temperature measurement section and the body temperature determination section as a processing condition for the body temperature measurement section and the body temperature determination section according to the operation of an administrator or user. It is configured to set whether or not to perform processing.

これによると、管理者または利用者が、体温測定および体温判定を実施するか否かを設定することができる。これにより、例えば、体温測定を実施しない設定や、体温測定は実施するが体温判定は実施しない設定などが可能になる。 According to this, the administrator or the user can set whether or not to implement body temperature measurement and body temperature determination. As a result, for example, it is possible to set not to perform body temperature measurement, or set to perform body temperature measurement but not to perform body temperature determination.

また、第3の発明は、前記設定管理部は、管理者または利用者の操作に応じて、前記体温判定部の処理条件として、前記体温判定部において体温の異常を判定する際の異常範囲に関する設定を行う構成とする。 In a third aspect of the invention, the setting management unit sets the processing conditions of the body temperature determination unit according to the operation of the administrator or the user. Configure the settings.

これによると、管理者または利用者が、体温の異常を判定する際の異常範囲を設定することができる。これにより、例えば、体温の異常範囲を利用者ごと設定することで、体温判定において個人差による誤判定が発生することを抑制することができる。 According to this, the administrator or the user can set the abnormal range when judging whether the body temperature is abnormal. As a result, for example, by setting the abnormal range of body temperature for each user, it is possible to suppress the occurrence of erroneous determination due to individual differences in body temperature determination.

また、第4の発明は、前記設定管理部は、管理者または利用者の操作に応じて、前記体温測定部および前記体温判定部の処理条件として、前記体温測定部および前記体温判定部の各処理の実施期間に関する設定を行う構成とする。 In a fourth aspect of the invention, the setting management unit sets each of the body temperature measurement unit and the body temperature determination unit as processing conditions for the body temperature measurement unit and the body temperature determination unit according to the operation of an administrator or user. It is configured to set the processing execution period.

これによると、体温による健康チェックが必要な期間、例えば感染症の流行期間に限定して、体温測定および体温判定を実施することができる。 According to this, body temperature measurement and body temperature determination can be performed only during a period when a health check by body temperature is required, for example, during an epidemic period of an infectious disease.

また、第5の発明は、施設のゲート通過または入室を制御する利用者の顔画像に基づく顔認証と利用者の体温情報を取得する体温測定との処理をプロセッサにより実行する顔認証方法であって、登録時および認証時における顔画像の取得、認証時における体温情報の取得および前記体温情報が異常判定された場合に前記ゲート通過または前記入室を拒否することに関する利用者の同意を得る処理を行うと共に、利用者の登録用の顔画像を取得し、前記登録用の顔画像を蓄積し、認証時に利用者の認証用の顔画像および体温情報を取得し、前記登録用の顔画像および前記認証用の顔画像を照合する顔照合を行い、認証時に利用者の体温情報を取得する体温測定を行うと共に、前記体温情報が異常であるか否かを判定する体温判定を行い、さらに、管理者または利用者の操作に応じて、前記体温測定および前記体温判定の処理条件に関する設定を管理する構成とする。
A fifth aspect of the present invention is a face authentication method in which a processor executes face authentication based on a user's face image for controlling passage through a gate or entering a facility, and body temperature measurement for obtaining body temperature information of the user. a process of obtaining the consent of the user regarding the acquisition of face images at the time of registration and authentication, the acquisition of body temperature information at the time of authentication, and the refusal to pass through the gate or enter the room if the body temperature information is determined to be abnormal. while acquiring a face image for registration of the user, accumulating the face image for registration, acquiring the face image and body temperature information for authentication of the user at the time of authentication, and obtaining the face image for registration and performing face matching for matching the face image for authentication, performing body temperature measurement for acquiring body temperature information of the user at the time of authentication, performing body temperature determination for determining whether the body temperature information is abnormal, and The configuration is such that settings relating to processing conditions for the body temperature measurement and the body temperature determination are managed according to the operation of an administrator or user.

これによると、第1の発明と同様に、管理者が、顔認証の他に体温監視(体温測定および体温判定)の条件を適宜にカスタマイズできるようにして、システムの利便性を高めることができる。 According to this, as in the first invention, the administrator can appropriately customize the conditions for body temperature monitoring (body temperature measurement and body temperature determination) in addition to face authentication, thereby enhancing the convenience of the system. .

以下、本発明の実施の形態を、図面を参照しながら説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本実施形態に係る顔認証システムの全体構成図である。 FIG. 1 is an overall configuration diagram of a face authentication system according to this embodiment.

この顔認証システムは、顔認証機1(顔認証装置、顔認証部)と、登録機2(顔認証登録装置、登録部)と、顔認証サーバ3(サーバ装置)と、管理端末4と、を備えている。顔認証サーバ3は、顔管理サーバ5(サーバ装置、顔管理部)と、顔照合サーバ6(サーバ装置)を備えている。 This face authentication system includes a face authentication device 1 (face authentication device, face authentication unit), a registration device 2 (face authentication registration device, registration unit), a face authentication server 3 (server device), a management terminal 4, It has The face authentication server 3 includes a face management server 5 (server device, face management unit) and a face matching server 6 (server device).

顔認証機1と登録機2と管理端末4と顔管理サーバ5と顔照合サーバ6とは、インターネットなどのネットワークを介して接続されている。顔認証システムは、顔認証サービスの提供者(事業者)ごとに構築される。顔認証機1は、建物の出入口や部屋の出入口など、顔認証が必要とされる場所ごとに複数設置される。登録機2は、施設の来訪者等の受付を行う受付カウンタなどに配置される。顔照合サーバ6は、顔認証機1の台数などに応じて所要の数が設けられる。 The face authentication machine 1, registration machine 2, management terminal 4, face management server 5, and face matching server 6 are connected via a network such as the Internet. A face authentication system is built for each face authentication service provider (enterprise). A plurality of face authentication devices 1 are installed at each location where face authentication is required, such as the entrance of a building or the doorway of a room. The registration machine 2 is arranged at a reception counter or the like that receives visitors to the facility. A required number of face matching servers 6 are provided according to the number of face authentication devices 1 and the like.

顔認証機1は、利用者(被認証者)を撮影して認証用の顔画像を取得し、その顔画像を顔照合サーバ6に送信して顔照合を行わせ、顔照合サーバ6から顔照合結果を取得して、その顔照合結果を利用者に提示する。 The face authentication machine 1 photographs a user (person to be authenticated) to acquire a face image for authentication, transmits the face image to the face matching server 6 to perform face matching, and receives the face image from the face matching server 6. A matching result is acquired, and the face matching result is presented to the user.

登録機2は、利用者の操作に応じて、利用者の顔を撮影して登録用の顔画像を取得する。この登録機2で取得した登録用の顔画像は、顔管理サーバ5に登録される。また、登録用の顔画像から抽出された顔特徴量が顔照合サーバ6に登録される。 The registration device 2 photographs the user's face and acquires a face image for registration according to the user's operation. The registration face image acquired by the registration device 2 is registered in the face management server 5 . Also, the face feature amount extracted from the face image for registration is registered in the face matching server 6 .

管理端末4は、管理者が操作するものであり、PCで構成され、顔認証機1、登録機2、顔管理サーバ5および顔照合サーバ6の動作を管理する管理アプリケーションがインストールされている。この管理アプリケーションにより、管理者が種々の管理業務を行うことができる。 The management terminal 4 is operated by an administrator, is composed of a PC, and has a management application installed therein for managing the operations of the face authentication device 1, the registration device 2, the face management server 5, and the face matching server 6. FIG. This management application allows administrators to perform various management tasks.

顔管理サーバ5は、登録された利用者に関する情報、具体的には、利用者の姓名や顔画像などの情報を管理する。また、顔管理サーバ5は、顔認証機1に関する情報、具体的には、顔認証機1の機器IDや設置場所、および顔認証機1の処理条件などの情報を管理する。また、顔管理サーバ5は、顔照合サーバ6に関する情報、具体的には、顔認証機1と顔照合サーバ6との対応付け、および顔照合サーバ6の処理条件などの情報を管理する。 The face management server 5 manages information about registered users, specifically information such as user names and face images. The face management server 5 also manages information about the face authentication machine 1 , specifically information such as the device ID and installation location of the face authentication machine 1 and processing conditions of the face authentication machine 1 . The face management server 5 also manages information about the face matching server 6 , more specifically, information such as correspondence between the face authentication device 1 and the face matching server 6 and processing conditions of the face matching server 6 .

顔照合サーバ6は、顔認証時に、利用者(被認証者)の顔画像を顔認証機1から取得して、その顔画像から利用者の顔特徴量を生成して、その利用者の顔特徴量と、自装置に保管された登録者(登録済みの人物)の顔特徴量とを比較することによる顔照合を行って利用者を特定する。 The face matching server 6 acquires the face image of the user (person to be authenticated) from the face authentication machine 1 at the time of face authentication, generates the face feature amount of the user from the face image, and identifies the face of the user. The user is identified by performing face collation by comparing the feature amount with the face feature amount of the registrant (registered person) stored in the own device.

また、顔照合サーバ6は、顔認証に先だって、利用者の登録時に、利用者の顔画像を管理端末4から取得して、その顔画像から顔特徴量を生成して自装置に保管する。なお、利用者の撮影画像を管理端末4から取得して、顔照合サーバ6において撮影画像から顔画像を取得することもできる。 Prior to face authentication, the face matching server 6 acquires the user's face image from the management terminal 4 when the user is registered, generates a face feature quantity from the face image, and stores it in its own device. It is also possible to obtain a photographed image of the user from the management terminal 4 and obtain a face image from the photographed image in the face matching server 6 .

外部装置7は、建物の玄関に設置されたゲート装置(セキュリティゲート)や、執務室や会議室の入口のドアに設けられたドアロック装置である。外部装置7としてのゲート装置は、そのゲート装置に併設された顔認証機1(入室チェッカー)により扉の開閉が制御される。外部装置7としてのドアロック装置は、執務室や会議室の入口に設けられた顔認証機1(ゲートチェッカー)により解錠および施錠が制御される。 The external device 7 is a gate device (security gate) installed at the entrance of a building, or a door lock device installed at the entrance door of an office or a conference room. The gate device as the external device 7 is controlled to open and close by the face authentication device 1 (entry checker) provided in the gate device. A door lock device as an external device 7 is controlled to be unlocked and locked by a face authentication device 1 (gate checker) provided at the entrance of an office or conference room.

なお、本実施形態では、顔管理サーバ5と顔照合サーバ6とを、それぞれ物理的に異なる情報処理装置により構成されるものとしたが、顔管理サーバ5および顔照合サーバ6の機能が、単一の情報処理装置により実現されるものとしてもよい。 In this embodiment, the face management server 5 and the face matching server 6 are configured by physically different information processing devices. It may be realized by one information processing device.

また、本実施形態では、管理端末4と顔管理サーバ5とを設けるようにしたが、管理端末4と顔管理サーバ5とを単一の情報処理装置で構成することができる。例えば顔管理サーバ5に管理アプリケーションをインストールすることで、顔管理サーバ5が管理端末4を兼用することができる。 Further, in this embodiment, the management terminal 4 and the face management server 5 are provided, but the management terminal 4 and the face management server 5 can be configured by a single information processing device. For example, by installing a management application in the face management server 5, the face management server 5 can also serve as the management terminal 4. FIG.

また、本実施形態では、顔照合として顔特徴量の照合を行うようにしたが、顔照合は、顔特徴量の照合に限定されず、機械学習などを利用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。 In addition, in the present embodiment, facial feature amount matching is performed as face matching, but face matching is not limited to facial feature amount matching, and a matching method using machine learning or the like may be employed. . Furthermore, this embodiment can be applied to biometric authentication other than face authentication.

次に、顔認証機1の外観について説明する。図2は、顔認証機1の外観を示す正面図である。図2(A)は、執務室や会議室の入口に設けられた顔認証機1(入室チェッカー)の例であり、図2(B)は、建物の玄関に設置されたゲート装置(セキュリティゲート)に設けられた顔認証機1(ゲートチェッカー)の例である。 Next, the appearance of the face authentication machine 1 will be described. FIG. 2 is a front view showing the appearance of the face authentication machine 1. FIG. FIG. 2A shows an example of a face authentication device 1 (entry checker) installed at the entrance of an office or conference room, and FIG. ) is an example of the face authentication machine 1 (gate checker) provided in the .

図2(A)に示す顔認証機1(入室チェッカー)は、執務室や会議室の入口近傍の壁面に設置される壁掛け式のものであり、執務室や会議室の入室時に顔認証を行う。この顔認証機1は、顔認証用カメラ11(顔認証用のセンサ)と、サーマルカメラ12(温度検出用のセンサ)と、距離カメラ13(距離測定用のセンサ)と、ディスプレイ14(表示部)と、を備えている。 The face authentication device 1 (entry checker) shown in FIG. 2A is a wall-mounted type installed on the wall near the entrance of an office or a conference room, and performs face authentication when entering the office or conference room. . This face authentication device 1 includes a face authentication camera 11 (face authentication sensor), a thermal camera 12 (temperature detection sensor), a distance camera 13 (distance measurement sensor), and a display 14 (display unit ), and

顔認証用カメラ11は、被写体としての利用者(被認証者)を撮影する。この顔認証用カメラ11は、可視光撮像素子を備えたRGBカメラ(可視光カメラ)であり、RGB画像(カラー画像)を顔認証用画像として出力する。 The face authentication camera 11 photographs a user (person to be authenticated) as a subject. The face authentication camera 11 is an RGB camera (visible light camera) having a visible light imaging element, and outputs an RGB image (color image) as an image for face authentication.

サーマルカメラ12は、顔認証用カメラ11と同様に、被写体としての利用者(被認証者)を撮影する。このサーマルカメラ12は、遠赤外線撮像素子を備えており、遠赤外線の強弱を検知することで被写体の温度を計測し、被写体の温度に関する情報が画素単位で格納された温度画像(温度検出用画像)を出力する。 The thermal camera 12, like the face authentication camera 11, photographs a user (person to be authenticated) as a subject. The thermal camera 12 is equipped with a far-infrared imaging element, measures the temperature of the subject by detecting the intensity of the far-infrared rays, and stores a temperature image (temperature detection image) in which information about the temperature of the subject is stored in pixel units. ).

距離カメラ13は、被写体としての利用者までの距離を測定する。この距離カメラ13は、上下に2つの可視光カメラ13a,13bを備えたステレオカメラ(3Dカメラ)であり、内部のプロセッサ(図示せず)が、左右の可視光カメラ13a,13bから出力される左右の可視画像に基づいて、両者の視差によるステレオ測距を行い、3次元情報(被写体の3次元位置情報)、具体的には、被写体までの距離に関する情報が画素単位で格納された距離画像(距離情報)を生成する。また、距離カメラ13は、キャリブレーションのための近赤外線を投射する投射器13cを備えている。なお、可視光カメラは近赤外線領域も検出可能である。 The distance camera 13 measures the distance to the user as a subject. This distance camera 13 is a stereo camera (3D camera) equipped with two upper and lower visible light cameras 13a and 13b, and an internal processor (not shown) outputs from the left and right visible light cameras 13a and 13b. Based on the left and right visible images, stereo distance measurement is performed using parallax between the two, and 3D information (3D position information of the subject), specifically, information related to the distance to the subject, is stored in pixel units. (distance information) is generated. The range camera 13 also has a projector 13c that projects near-infrared rays for calibration. Note that the visible light camera can also detect the near-infrared region.

ディスプレイ14は、顔認証の進行状況や顔認証結果などを表示し、利用者(被認証者)がそれらを確認することができる。なお、利用者の認証結果を出力する出力部としてスピーカーを設けて、顔認証結果などを音声で利用者に通知するようにしてもよい。 The display 14 displays the progress of face authentication, the result of face authentication, and the like, so that the user (person to be authenticated) can confirm them. A speaker may be provided as an output unit for outputting the user's authentication result, and the face authentication result and the like may be notified to the user by voice.

図2(B)に示す顔認証機1(ゲートチェッカー)は、建物の玄関に設置された外部装置7としてのゲート装置(セキュリティゲート)に設けられる。この場合、顔認証機1は、図2(A)に示す顔認証機1と同様に、顔認証用カメラ11、サーマルカメラ12、および距離カメラ13を備えるが、ディスプレイ14は省略される。 The face authentication device 1 (gate checker) shown in FIG. 2B is provided in a gate device (security gate) as an external device 7 installed at the entrance of a building. In this case, the face authentication machine 1 includes a face authentication camera 11, a thermal camera 12, and a distance camera 13, like the face authentication machine 1 shown in FIG. 2A, but the display 14 is omitted.

なお、適宜な場所への入場時に顔認証を行うために、フロア上に載置されるスタンド式の顔認証機1も可能であり、この場合、顔認証用カメラ11、サーマルカメラ12、および距離カメラ13、およびディスプレイ14を備えた構成とすることもできる。 In addition, in order to perform face authentication when entering an appropriate place, a stand-type face authentication machine 1 placed on the floor is also possible. A configuration including a camera 13 and a display 14 is also possible.

また、本実施形態では、顔認証用カメラ11が、可視光撮像素子により顔認証用画像(可視画像)を撮影するものとしたが、暗い状態でも顔認証が可能なように、赤外線を検出可能な撮像素子を備えた構成としてもよい。この場合、顔認証用カメラ11は、サーマルカメラ12を兼用することができる。このとき、撮像素子の出力に対する信号処理方法に応じて、顔認証(画像認識)に適した赤外画像を顔認証用画像として生成すると共に、温度検出に適した赤外画像を温度画像として生成することができる。 Further, in the present embodiment, the face authentication camera 11 captures an image for face authentication (visible image) using a visible light imaging element, but infrared rays can be detected so that face authentication can be performed even in dark conditions. It is also possible to adopt a configuration provided with an image pickup device. In this case, the face authentication camera 11 can also serve as the thermal camera 12 . At this time, an infrared image suitable for face authentication (image recognition) is generated as an image for face authentication and an infrared image suitable for temperature detection is generated as a temperature image according to the signal processing method for the output of the image sensor. can do.

また、本実施形態では、ステレオカメラ方式の距離カメラ13を用いるが、測定対象とする人物の顔までの距離を測定できるものであればその方式は特に限定されず、例えばTOF(Time Of Flight)方式のセンサでもよい。 Further, in the present embodiment, a stereo camera type distance camera 13 is used, but the method is not particularly limited as long as the distance to the face of the person to be measured can be measured. For example, TOF (Time Of Flight). A type sensor may be used.

次に、顔認証機1の概略構成について説明する。図3は、顔認証機1の概略構成を示すブロック図である。図4は、顔認証機1および顔照合サーバ6で行われる処理の概要を示す説明図である。 Next, a schematic configuration of the face authentication machine 1 will be described. FIG. 3 is a block diagram showing a schematic configuration of the face authentication machine 1. As shown in FIG. FIG. 4 is an explanatory diagram showing an outline of processing performed by the face authentication device 1 and the face matching server 6. As shown in FIG.

顔認証機1は、顔認証用カメラ11、サーマルカメラ12、距離カメラ13、およびディスプレイ14の他に、通信部15と、制御信号送信部16と、記憶部17と、制御部18と、を備えている。 The face authentication device 1 includes a face authentication camera 11, a thermal camera 12, a range camera 13, and a display 14, as well as a communication section 15, a control signal transmission section 16, a storage section 17, and a control section 18. I have.

通信部15は、ネットワークを介して顔管理サーバ5と通信を行う。また、通信部15は、ネットワークを介して顔照合サーバ6と通信を行う。 The communication unit 15 communicates with the face management server 5 via the network. Also, the communication unit 15 communicates with the face matching server 6 via the network.

制御信号送信部16は、外部装置7、具体的には、執務室や会議室の入口のドアに設けられたドアロック装置や、建物の玄関に設置されたゲート装置(セキュリティゲート)に対し、その動作を制御するための制御信号を送信する。 The control signal transmission unit 16 sends signals to the external device 7, specifically, the door lock device provided at the entrance door of the office or conference room, or the gate device (security gate) installed at the entrance of the building. It sends control signals to control its operation.

記憶部17は、制御部18を構成するプロセッサで実行される制御プログラムなどを記憶する。また、記憶部17は、顔認証用カメラ11で撮影された顔認証用画像や、その顔認証用画像から抽出された顔画像を記憶する。 The storage unit 17 stores control programs and the like executed by the processors constituting the control unit 18 . The storage unit 17 also stores an image for face authentication captured by the face authentication camera 11 and a face image extracted from the face authentication image.

制御部18は、顔画像抽出部21と、顔照合要求部22と、結果通知部23と、外部連携部24と、測定対象部位情報取得部25と、体温測定部26と、を備えている。この制御部18は、プロセッサで構成され、制御部18の各部は、記憶部17に記憶されたプログラムをプロセッサで実行することで実現される。 The control unit 18 includes a face image extraction unit 21, a face matching request unit 22, a result notification unit 23, an external cooperation unit 24, a measurement target site information acquisition unit 25, and a body temperature measurement unit 26. . The control unit 18 is configured by a processor, and each unit of the control unit 18 is realized by executing a program stored in the storage unit 17 by the processor.

顔画像抽出部21は、顔認証用カメラ11により利用者を撮影した顔認証用画像を取得して、その顔認証用画像から人物の顔を検出して顔領域を切り出すことにより、利用者の顔画像を取得する。 The face image extracting unit 21 obtains a face authentication image of the user photographed by the face authentication camera 11, detects a person's face from the face authentication image, and cuts out a face area to extract the face region of the user. Get a face image.

顔照合要求部22は、顔照合サーバ6に顔照合のリクエストを通信部15によって送信する。 The face matching request unit 22 transmits a face matching request to the face matching server 6 through the communication unit 15 .

結果通知部23は、通信部15によって顔照合サーバ6から取得した顔照合結果および体温判定結果をディスプレイ14に表示することにより、顔照合結果および体温判定結果を利用者に通知する。 The result notification unit 23 notifies the user of the face matching result and the body temperature determination result by displaying the face matching result and the body temperature determination result acquired from the face matching server 6 by the communication unit 15 on the display 14 .

外部連携部24は、顔照合サーバ6から取得した利用者の顔照合結果に基づき外部装置7(ドアロック装置やゲート装置)と連携した制御を行う。具体的には、外部装置7に所要の動作を行わせる制御信号を送信するように制御信号送信部16を制御する。 The external linking unit 24 performs control in cooperation with the external device 7 (door lock device or gate device) based on the user's face matching result obtained from the face matching server 6 . Specifically, it controls the control signal transmitter 16 so as to transmit a control signal for causing the external device 7 to perform a desired operation.

測定対象部位情報取得部25は、対応付け処理部31と、位置取得部32と、距離測定部33と、を備えている。 The measurement target site information acquisition section 25 includes an association processing section 31 , a position acquisition section 32 and a distance measurement section 33 .

対応付け処理部31は、距離カメラ13で取得した距離画像と、予め取得したキャリブレーション情報、具体的には、顔認証用カメラ11とサーマルカメラ12との位置関係に関する情報などに基づいて、温度画像上の位置と顔認証用画像上の位置とを対応付ける対応付け情報を生成する。この対応付け情報により、顔認証用カメラ11とサーマルカメラ12との間隔に応じた顔認証用画像と温度画像との間の視差に基づく画像上の位置のずれを補正することができる。 The association processing unit 31 calculates the temperature based on the distance image acquired by the distance camera 13 and the calibration information acquired in advance, specifically, information on the positional relationship between the face authentication camera 11 and the thermal camera 12. Correlation information that associates positions on the image with positions on the image for face authentication is generated. With this association information, it is possible to correct positional deviation on the image based on parallax between the face authentication image and the temperature image according to the distance between the face authentication camera 11 and the thermal camera 12 .

位置取得部32は、顔画像抽出部21で行われる顔検出により取得した顔認証用画像上の顔領域の位置に基づいて、顔認証用画像上の測定対象部位の位置を取得し、その顔認証用画像上の測定対象部位の位置と、対応付け処理部31で取得した対応付け情報とに基づいて、温度画像上の測定対象部位の位置を取得する。 The position acquisition unit 32 acquires the position of the measurement target part on the face authentication image based on the position of the face region on the face authentication image acquired by the face detection performed by the face image extraction unit 21, and determines the position of the measurement target part on the face authentication image. Based on the position of the measurement target site on the authentication image and the association information acquired by the association processing unit 31, the position of the measurement target site on the temperature image is acquired.

ここで、本実施形態では、顔領域の一部、例えば額部分や眼の周辺部分を測定対象部位とする。このとき、顔画像から眼を検出して、顔画像における眼より上側の部分を額部分とすればよい。また、眼を中心にした所定範囲を眼の周辺部分とすればよい。 Here, in the present embodiment, a portion of the face region, for example, the forehead portion and the peripheral portion of the eyes, is set as the measurement target portion. At this time, the eyes may be detected from the face image, and the portion above the eyes in the face image may be taken as the forehead portion. Also, a predetermined range around the eye may be defined as the peripheral portion of the eye.

また、利用者が眼鏡を着用している場合、眼の周辺部分の温度を正確に検出できない。また、利用者の頭髪などで額部分が隠れている場合、額部分の温度を正確に検出できない。そこで、測定対象部位に優先順位を設定すると共に、測定対象部位が温度を正確に検出できる状態であるか否かを判定し、優先順位の高い測定対象部位が温度を正確に検出できる状態でない場合には次の順位の測定対象部位の温度を取得するものとしてもよい。 Also, when the user wears spectacles, the temperature around the eye cannot be detected accurately. Also, if the user's forehead is hidden by hair or the like, the temperature of the forehead cannot be detected accurately. Therefore, a priority order is set for the measurement target site, and it is determined whether or not the measurement target site is in a state in which the temperature can be accurately detected. may acquire the temperature of the measurement target site of the next order.

例えば、眼の周辺部分を第1の順位とし、額部分を第2の順位とし、頬部分を第3の順位とする。そして、利用者が眼鏡を着用しているか否かを判定し、眼鏡を着用していない場合には、第1の順位の眼の周辺部分を測定対象部位とする。一方、眼鏡を着用している場合には、頭髪などで額部分が隠れているか否かを判定し、頭髪などで額部分が隠れていない場合には、第2の順位の額部分を測定対象部位とする。一方、頭髪などで額部分が隠れている場合には、第3の順位の頬部分を測定対象部位とする。この場合、測定対象部位の違いによる影響を抑えるため、額部分と眼の周辺部分と頬部分との標準的な温度差に基づいて、測定値を補正してもよい。 For example, the area around the eyes is ranked first, the forehead area is ranked second, and the cheek area is ranked third. Then, it is determined whether or not the user wears spectacles, and if the user does not wear spectacles, the eye peripheral portion of the first order is taken as the measurement target region. On the other hand, if the eyeglasses are worn, it is determined whether or not the forehead is hidden by the hair, etc., and if the forehead is not hidden by the hair, etc., the forehead, which is ranked second, is the object of measurement. part. On the other hand, when the forehead part is hidden by the hair, etc., the cheek part of the third order is taken as the part to be measured. In this case, the measured value may be corrected based on the standard temperature difference between the forehead, the eye area, and the cheeks in order to suppress the influence of the difference in the measurement target site.

また、眼鏡を着用しているか否かの判定や、頭髪などで額部分が隠れているか否かの判定では、画像認識により眼鏡や頭髪などの物体を検出するようにしてもよいが、眼鏡を着用している場合には眼の周辺部分の温度が異常に低い値となり、また、頭髪などで額部分が隠れている場合には額部分の温度が異常に低い値となるため、検出された温度に基づいて、眼鏡を着用しているか否かの判定や、頭髪などで額部分が隠れているか否かの判定を行うものとしてもよい。 Further, when determining whether or not the user is wearing eyeglasses and determining whether or not the forehead is hidden by hair or the like, objects such as eyeglasses and hair may be detected by image recognition. If you are wearing it, the temperature around the eyes will be abnormally low, and if the forehead is hidden by hair, etc., the temperature of the forehead will be abnormally low. Based on the temperature, it may be determined whether glasses are worn or whether the forehead is hidden by hair or the like.

また、利用者の頭髪または利用者の着用物(眼鏡、マスクなど)で覆われていない体表部分を測定対象部位として、その測定対象部位の温度を検出するものとしてもよい。この場合、頭髪や着用物で覆われた部分は温度が異常に低くなることから、検出された温度が異常に低い場合は体表温度ではないと判断して、その部分を除外した部分を測定対象部位として温度を検出する。 Alternatively, the body surface portion that is not covered by the user's hair or the user's clothing (glasses, mask, etc.) may be used as the measurement target site, and the temperature of the measurement target site may be detected. In this case, the temperature is abnormally low in areas covered by hair or clothing, so if the detected temperature is abnormally low, it is determined that it is not the body surface temperature, and the area excluding such areas is measured. Temperature is detected as a target part.

また、顔領域の全部を測定対象部位としてもよい。この場合、顔領域内で最も高い温度を取得するものとしてもよい。また、顔領域の温度を統計処理するようにしてもよい。例えば顔領域の温度の最頻値を取得するようにしてもよい。 Also, the entire face region may be set as the measurement target region. In this case, the highest temperature in the face area may be acquired. Also, the temperature of the face area may be statistically processed. For example, the mode of the temperature of the face area may be obtained.

距離測定部33は、距離カメラ13で取得した距離画像に基づいて、測定対象部位までの距離を取得する。 The distance measurement unit 33 obtains the distance to the measurement target site based on the distance image obtained by the distance camera 13 .

体温測定部26は、温度検出部35と、温度補正部36と、を備えている。 The body temperature measurement section 26 includes a temperature detection section 35 and a temperature correction section 36 .

温度検出部35は、測定対象部位情報取得部25の位置取得部27により取得した温度画像上の測定対象部位の位置に基づいて、温度画像上の測定対象部位の温度を検出することにより、測定対象部位の温度を取得する。 The temperature detection unit 35 detects the temperature of the measurement target site on the temperature image based on the position of the measurement target site on the temperature image acquired by the position acquisition unit 27 of the measurement target site information acquisition unit 25, thereby performing the measurement. Get the temperature of the target part.

温度補正部36は、距離測定部33で取得したサーマルカメラ12から測定対象部位までの距離に基づいて、温度検出部35で取得した測定対象部位の温度の測定値を補正する。具体的には、距離が長くなるのに応じて温度の補正幅が大きくなる特性を示す数式やテーブルなどを用いて、距離に応じた補正幅により温度の測定値を補正する。この体温補正部92で取得した測定対象部位の補正済みの温度は、体温情報として顔照合サーバ6に送信される。 The temperature correction unit 36 corrects the temperature measurement value of the measurement target site acquired by the temperature detection unit 35 based on the distance from the thermal camera 12 to the measurement target site acquired by the distance measurement unit 33 . Specifically, the temperature measurement value is corrected by the correction width corresponding to the distance using a mathematical expression, a table, or the like showing the characteristic that the temperature correction width increases as the distance increases. The corrected temperature of the part to be measured acquired by the body temperature correction unit 92 is sent to the face matching server 6 as body temperature information.

なお、本実施形態では、顔認証機1の測定対象部位情報取得部25により、顔認証用画像および距離画像に基づいて、温度画像上の測定対象部位の位置を取得するが、この測定対象部位情報取得部25の処理が、顔照合サーバ6で行われてもよい。また、本実施形態では、顔認証機1の体温測定部26により、温度画像上の測定対象部位の位置に基づいて、測定対象部位の温度を取得するが、この体温測定部26の処理が、顔照合サーバ6で行われてもよい。 In the present embodiment, the position of the target measurement site on the temperature image is acquired by the measurement target site information acquisition unit 25 of the face authentication machine 1 based on the face authentication image and the range image. The processing of the information acquisition unit 25 may be performed by the face matching server 6 . In addition, in the present embodiment, the body temperature measurement unit 26 of the face authentication device 1 acquires the temperature of the measurement target site based on the position of the measurement target site on the temperature image. It may be performed by the face matching server 6 .

また、本実施形態では、顔認証機1のサーマルカメラ12により取得した温度画像に基づいて、非接触で人物の体温を測定するが、この温度画像から検出される温度は体表温度であり、正確な体温としての体内深部温度とは異なるため、温度画像から検出された体表温度を体内深部温度に補正する処理を行うようにしてもよい。 Further, in the present embodiment, the body temperature of a person is measured without contact based on the temperature image acquired by the thermal camera 12 of the face authentication device 1. The temperature detected from this temperature image is the body surface temperature. Since it is different from the core body temperature as an accurate body temperature, the body surface temperature detected from the temperature image may be corrected to the body core temperature.

次に、登録機2の概略構成について説明する。図5は、登録機2の概略構成を示すブロック図である。 Next, a schematic configuration of the registration machine 2 will be described. FIG. 5 is a block diagram showing a schematic configuration of the registration device 2. As shown in FIG.

登録機2は、顔撮影用カメラ41と、ディスプレイ42(表示部)と、通信部43と、記憶部44と、制御部45と、を備えている。なお、この登録機2は、タブレット端末に顔認証登録用のアプリケーションをインストールすることで構成することができる。 The registration device 2 includes a face photographing camera 41 , a display 42 (display section), a communication section 43 , a storage section 44 and a control section 45 . The registration machine 2 can be configured by installing an application for face authentication registration on a tablet terminal.

顔撮影用カメラ41は、利用者(登録対象者)の顔を撮影することにより、利用者の撮影画像を取得することができる。 The face camera 41 can acquire a photographed image of the user by photographing the face of the user (person to be registered).

ディスプレイ42は、利用者に登録手順を案内する画面(図9参照)を表示する。また、ディスプレイ42をタッチパネルが一体化された構成とすることで、利用者がタッチ操作により画面操作を行うことができる。なお、登録機2にスピーカーを設けて、登録手順等を利用者に音声で案内するようにしてもよい。 The display 42 displays a screen (see FIG. 9) that guides the user through the registration procedure. Further, by configuring the display 42 with a touch panel integrated, the user can operate the screen by touch operation. A speaker may be provided in the registration machine 2 so that the registration procedure and the like are guided to the user by voice.

通信部43は、ネットワークを介して顔管理サーバ5と通信を行う。 The communication unit 43 communicates with the face management server 5 via the network.

記憶部44は、制御部45を構成するプロセッサで実行される制御プログラムなどを記憶する。 The storage unit 44 stores control programs and the like executed by the processors constituting the control unit 45 .

制御部45は、顔画像抽出部46と、登録要求部47と、GUI制御部48と、を備えている。この制御部45は、プロセッサで構成され、制御部45の各部は、記憶部44に記憶されたプログラムをプロセッサで実行することで実現される。 The control unit 45 includes a facial image extraction unit 46 , a registration request unit 47 and a GUI control unit 48 . The control unit 45 is configured by a processor, and each unit of the control unit 45 is realized by executing a program stored in the storage unit 44 by the processor.

顔画像抽出部46は、顔撮影用カメラ41から利用者の撮影画像を取得して、その撮影画像から人物の顔を検出して、撮影画像から顔領域を切り出すことにより、利用者の顔画像を取得する。 The facial image extracting unit 46 acquires a photographed image of the user from the face photographing camera 41, detects a person's face from the photographed image, and cuts out a face region from the photographed image to extract the face image of the user. to get

登録要求部47は、顔管理サーバ5に対し、利用者登録のリクエストを通信部43によって送信する。 The registration request unit 47 transmits a user registration request to the face management server 5 through the communication unit 43 .

GUI制御部48は、顔管理サーバ5から配信される利用者に対する各種の案内画面をディスプレイ42に表示する。また、ディスプレイ42(ここでは、タッチパネル)の入力機能を用いた利用者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。 The GUI control unit 48 displays on the display 42 various guidance screens for the user distributed from the face management server 5 . In addition, according to the user's input operation using the input function of the display 42 (here, touch panel), input information is acquired and screen control is performed.

なお、登録機2が、利用者が提示した名刺や社員証なとのカードを撮影するカード撮影用カメラを備え、このカード撮影用カメラの撮影画像に含まれる利用者の特定情報(氏名など)や顔画像などを取得するものとしてもよい。また、非接触リーダを用いて、利用者のICカードやRFタグに書き込まれた特定情報や顔画像を取得するものとしてもよい。 The registration machine 2 is equipped with a card photographing camera for photographing a card such as a business card or an employee ID card presented by the user. or a face image may be acquired. Further, a non-contact reader may be used to acquire specific information and facial images written in the user's IC card or RF tag.

次に、顔管理サーバ5の概略構成について説明する。図6は、顔管理サーバ5の概略構成を示すブロック図である。 Next, a schematic configuration of the face management server 5 will be described. FIG. 6 is a block diagram showing a schematic configuration of the face management server 5. As shown in FIG.

顔管理サーバ5は、通信部51と、記憶部52と、制御部53と、を備えている。 The face management server 5 includes a communication section 51 , a storage section 52 and a control section 53 .

通信部51は、ネットワークを介して顔認証機1と通信を行う。また、通信部51は、登録機2と通信を行う。また、ネットワークを介して管理端末4と通信を行う。また、通信部51は、顔照合サーバ6と通信を行う。 A communication unit 51 communicates with the face authentication device 1 via a network. Also, the communication unit 51 communicates with the registration device 2 . It also communicates with the management terminal 4 via the network. Also, the communication unit 51 communicates with the face matching server 6 .

記憶部52は、制御部53を構成するプロセッサで実行される制御プログラムなどを記憶する。また、記憶部52は、顔情報データベースの登録情報を記憶する。顔情報データベースには、登録された利用者に関する情報として、利用者の姓名、顔画像などが登録される。なお、利用者の顔画像はプライバシー保護のために暗号化された状態で記憶されるものとしてもよい。 The storage unit 52 stores control programs and the like that are executed by the processor that constitutes the control unit 53 . The storage unit 52 also stores registration information of the face information database. In the face information database, the user's name, face image, etc. are registered as information about the registered user. The user's face image may be stored in an encrypted state for privacy protection.

制御部53は、利用者管理部61と、顔情報管理部62と、設定管理部63と、を備えている。この制御部53は、プロセッサで構成され、制御部53の各部は、記憶部52に記憶されたプログラムをプロセッサで実行することで実現される。 The control section 53 includes a user management section 61 , a face information management section 62 and a setting management section 63 . The control unit 53 is configured by a processor, and each unit of the control unit 53 is realized by executing a program stored in the storage unit 52 by the processor.

利用者管理部61は、利用者の登録用の顔画像および特定情報(氏名など)などの利用者に関する情報を管理する。 The user management unit 61 manages information about users such as face images for user registration and specific information (names, etc.).

設定管理部63は、顔認証機管理部64と、顔照合サーバ管理部65と、を備えている。 The setting management section 63 includes a face authentication machine management section 64 and a face matching server management section 65 .

顔認証機管理部64は、管理端末4での管理者の操作、および顔認証機1での利用者の操作に応じて、顔認証機1の処理条件などに関する設定を管理する。本実施形態では、顔認証機1の体温測定部26(図3,図4参照)の処理条件として、体温測定の実施の有無に関する条件や、体温測定の実施期間に関する条件などが設定される。 The face authentication machine management unit 64 manages settings related to processing conditions and the like of the face authentication machine 1 in accordance with the operations of the administrator on the management terminal 4 and the operations of the user on the face authentication machine 1 . In the present embodiment, as the processing conditions of the body temperature measurement unit 26 (see FIGS. 3 and 4) of the face authentication device 1, conditions regarding whether or not to perform body temperature measurement, conditions regarding the implementation period of body temperature measurement, and the like are set.

顔照合サーバ管理部65は、管理端末4での管理者の操作、および顔認証機1での利用者の操作に応じて、顔照合サーバ6の処理条件などに関する設定を管理する。本実施形態では、顔照合サーバ6の体温判定部76(図4,図7参照)の処理条件として、体温判定の処理内容に関する条件(異常範囲など)や、体温判定の実施期間に関する条件などが設定される。 The face matching server management unit 65 manages settings related to the processing conditions of the face matching server 6 according to the operations of the administrator on the management terminal 4 and the operations of the user on the face authentication machine 1 . In the present embodiment, the processing conditions of the body temperature determination unit 76 (see FIGS. 4 and 7) of the face matching server 6 include conditions related to body temperature determination processing (abnormal range, etc.), conditions related to body temperature determination implementation period, and the like. set.

次に、顔照合サーバ6の概略構成について説明する。図7は、顔照合サーバ6の概略構成を示すブロック図である。 Next, a schematic configuration of the face matching server 6 will be described. FIG. 7 is a block diagram showing a schematic configuration of the face matching server 6. As shown in FIG.

顔照合サーバ6は、通信部71と、記憶部72と、制御部73と、を備えている。 The face matching server 6 includes a communication section 71 , a storage section 72 and a control section 73 .

通信部71は、ネットワークを介して顔認証機1と通信を行う。また、通信部71は、ネットワークを介して顔管理サーバ5と通信を行う。 A communication unit 71 communicates with the face authentication device 1 via a network. Also, the communication unit 71 communicates with the face management server 5 via the network.

記憶部72は、制御部73を構成するプロセッサで実行される制御プログラムなどを記憶する。また、記憶部72は、顔照合データベースの登録情報を記憶する。顔照合データベースには、利用者(登録済みの人物)に関する情報として、顔照合時に被認証者の顔特徴量の比較対象となる登録済みの人物の顔特徴量などが登録される。 The storage unit 72 stores control programs and the like that are executed by the processor that constitutes the control unit 73 . The storage unit 72 also stores registration information of the face matching database. In the face collation database, as information on users (registered persons), facial feature amounts of registered persons to be compared with the facial feature amounts of the person to be authenticated at the time of face collation are registered.

制御部73は、顔照合部75と、体温判定部76と、認証ログ管理部77と、を備えている。この制御部73は、プロセッサで構成され、制御部73の各部は、記憶部72に記憶されたプログラムをプロセッサで実行することで実現される。 The control unit 73 includes a face matching unit 75 , a body temperature determination unit 76 and an authentication log management unit 77 . The control unit 73 is configured by a processor, and each unit of the control unit 73 is realized by executing a program stored in the storage unit 72 by the processor.

顔照合部75は、顔特徴量生成部81と、顔特徴量管理部82と、顔特徴量照合部83と、を備えている。 The face matching unit 75 includes a facial feature amount generation unit 81 , a facial feature amount management unit 82 , and a facial feature amount matching unit 83 .

顔特徴量生成部81は、利用者登録時および顔認証時に、登録用の顔画像および認証用の顔画像から顔特徴点を検出して顔特徴量をそれぞれ生成する。 The face feature amount generation unit 81 detects face feature points from the face image for registration and the face image for authentication at the time of user registration and face authentication, and generates face feature amounts.

顔特徴量管理部82は、利用者登録時に、顔特徴量生成部91で生成した利用者の顔特徴量を顔照合データベースに登録する。 The face feature amount management unit 82 registers the user's face feature amount generated by the face feature amount generation unit 91 in the face matching database at the time of user registration.

顔特徴量照合部83は、顔認証時に、顔認証機1から取得した認証用の顔画像から生成した利用者(被認証者)の顔特徴量と、自装置に保管された利用者(登録済みの人物)の顔特徴量とを比較して、利用者(被認証者)を特定する。 At the time of face authentication, the face feature amount matching unit 83 compares the face feature amount of the user (person to be authenticated) generated from the face image for authentication acquired from the face authentication machine 1 and the user (registered The user (person to be authenticated) is identified by comparing the face feature amount of the person who has already been authenticated.

体温判定部76は、顔認証機1から取得した体温情報(測定対象部位の温度)に基づいて、利用者の体温が異常であるか否か、すなわち発熱の可能性があるか否かを判定する。具体的には、測定対象部位の温度が異常範囲(発熱範囲)に含まれるか否かに応じて体温の異常を判定する。本実施形態では、顔照合処理で特定された利用者により予め入力された平熱(平常時の体温)を基準にして、体温の異常範囲が設定される。具体的には、平熱に所定値(例えば0.5度や1.0度)を加算した値を、異常範囲の下限となるしきい値に設定する。そして、測定対象部位の温度が異常範囲に含まれる、すなわち、測定対象部位の温度がしきい値以上となる場合は体温が異常であると判定する。 The body temperature determination unit 76 determines whether or not the body temperature of the user is abnormal, that is, whether or not there is a possibility of fever, based on the body temperature information (the temperature of the part to be measured) obtained from the face authentication device 1. do. Specifically, the body temperature abnormality is determined according to whether the temperature of the measurement target site is included in the abnormal range (heat generation range). In the present embodiment, the abnormal range of body temperature is set based on the normal body temperature (normal body temperature) input in advance by the user identified in the face matching process. Specifically, a value obtained by adding a predetermined value (for example, 0.5 degrees or 1.0 degrees) to the normal temperature is set as the threshold value that is the lower limit of the abnormal range. Then, when the temperature of the measurement target site is included in the abnormal range, that is, when the temperature of the measurement target site is equal to or higher than the threshold value, it is determined that the body temperature is abnormal.

認証ログ管理部77は、顔認証機1から自装置に顔認証の要求が行われると、そのときの情報、すなわち、顔認証の要求元の顔認証機1の機器ID、顔照合結果などの情報を、認証ログとして記憶部72に蓄積する。また、顔管理サーバ5からの要求に応じて、認証ログを顔管理サーバ5に提供する。 When the face recognition device 1 requests its own device to perform face recognition, the authentication log management unit 77 stores information at that time, that is, the device ID of the face recognition device 1 requesting the face recognition, the result of face matching, and the like. The information is accumulated in the storage unit 72 as an authentication log. Also, in response to a request from the face management server 5, the authentication log is provided to the face management server 5. FIG.

なお、本実施形態では、顔照合サーバ6の体温判定部76により、利用者の体温が異常であるか否かを判定するものとしたが、この体温判定部76の処理が、顔認証機1で行われるものとしてもよい。 In this embodiment, the body temperature determination unit 76 of the face matching server 6 determines whether or not the body temperature of the user is abnormal. It may be performed in

ところで、本実施形態では、顔認証用画像上の測定対象部位の位置と、対応付け情報とに基づいて、温度画像上の測定対象部位の位置を取得し、その温度画像上の測定対象部位の位置に基づいて、温度画像上の測定対象部位の温度を検出することにより、測定対象部位の温度を取得するものとしたが、このような方法に限定されない。 By the way, in the present embodiment, the position of the measurement target region on the temperature image is obtained based on the position of the measurement target region on the face authentication image and the association information, and the measurement target region on the temperature image is obtained. Although the temperature of the measurement target site is obtained by detecting the temperature of the measurement target site on the temperature image based on the position, the method is not limited to such a method.

例えば、顔認証用画像に対する温度画像の全体的なずれを補正する画像処理を行った上で、温度画像上の測定対象部位の温度を検出することにより、測定対象部位の温度を取得するものとしてもよい。すなわち、対応付け情報に基づいて、温度画像を顔認証用画像と同一の視点から見た状態に変換する画像処理を行い、顔認証用画像上の測定対象部位の位置に基づいて、画像処理された温度画像上の測定対象部位の温度を検出することにより、測定対象部位の温度を取得する。 For example, after performing image processing to correct the overall deviation of the temperature image with respect to the face authentication image, the temperature of the measurement target site is detected on the temperature image to obtain the temperature of the measurement target site. good too. That is, based on the association information, image processing is performed to convert the temperature image into a state viewed from the same viewpoint as the face authentication image, and image processing is performed based on the position of the measurement target site on the face authentication image. The temperature of the measurement target site is obtained by detecting the temperature of the measurement target site on the temperature image.

次に、利用者登録時の登録機2、顔管理サーバ5および顔照合サーバ6の動作手順について説明する。図8は、利用者登録時の登録機2、顔管理サーバ5および顔照合サーバ6の動作手順を示すシーケンス図である。 Next, operation procedures of the registration device 2, the face management server 5, and the face matching server 6 at the time of user registration will be described. FIG. 8 is a sequence diagram showing operation procedures of the registration device 2, the face management server 5, and the face matching server 6 at the time of user registration.

登録機2では、まず、利用者が利用者登録の操作を行う画面(図9(A)~(E)参照)が順次表示される。これらの画面において利用者が必要な操作を行うと、登録機2は、利用者登録のリクエストを顔管理サーバ5に送信する。この利用者登録のリクエストには、利用者の顔画像、平熱に関する情報、および利用者が個人情報取扱い規定に同意したことを表す情報などが含まれる。 In the registration machine 2, first, screens (see FIGS. 9A to 9E) for the user to perform user registration operations are sequentially displayed. When the user performs necessary operations on these screens, the registration machine 2 transmits a user registration request to the face management server 5 . This user registration request includes the user's face image, information about normal temperature, and information indicating that the user has agreed to the personal information handling regulations.

顔管理サーバ5では、登録機2からの利用者登録のリクエストを受信すると、顔照合サーバ6に顔登録のリクエストを送信する。この顔登録のリクエストには利用者の顔画像が含まれる。 Upon receiving the user registration request from the registration device 2, the face management server 5 transmits the face registration request to the face matching server 6. - 特許庁This face registration request includes the face image of the user.

顔照合サーバ6では、顔管理サーバ5からの顔登録のリクエストを受信すると、顔登録処理を行う。この顔登録処理では、利用者の顔画像から顔特徴量を生成して、その顔特徴量を顔照合データベースに登録する。そして、顔登録のレスポンスを顔管理サーバ5に送信する。 Upon receiving the face registration request from the face management server 5, the face matching server 6 performs face registration processing. In this face registration processing, a face feature amount is generated from the user's face image, and the face feature amount is registered in the face collation database. Then, a face registration response is transmitted to the face management server 5 .

顔管理サーバ5では、顔照合サーバ6からの顔登録のレスポンスを受信すると、顔照合サーバ6での処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、登録機2から取得した利用者の情報を顔情報データベースに登録する。そして、利用者登録のレスポンス(完了報告)を登録機2に送信する。 Upon receiving the face registration response from the face matching server 6, the face management server 5 performs registration processing for the user if the processing in the face matching server 6 has been completed normally. In this registration process, the user information obtained from the registration device 2 is registered in the face information database. Then, it transmits a user registration response (completion report) to the registration device 2 .

登録機2では、顔管理サーバ5からの利用者登録のレスポンスを受信すると、登録完了画面(図9(F)参照)を表示する。また、登録機2では、自装置に保持された利用者の顔画像および平熱に関する温度情報を削除する。 Upon receiving the user registration response from the face management server 5, the registration device 2 displays a registration completion screen (see FIG. 9F). Further, the registration machine 2 deletes the user's face image and the temperature information related to the normal temperature held in its own device.

次に、登録機2で行われる利用者登録操作について説明する。図9は、利用者登録時に登録機2のディスプレイ42に表示される画面を示す説明図である。なお、ここでは、利用者(利用者登録の対象者)自身が画面操作を行う場合について説明するが、利用者登録の係員が画面操作を行うことも可能である。 Next, a user registration operation performed by the registration device 2 will be described. FIG. 9 is an explanatory diagram showing a screen displayed on the display 42 of the registration device 2 at the time of user registration. Here, a case will be described in which the user (person who is to be registered as a user) himself/herself operates the screen, but it is also possible for a person in charge of user registration to operate the screen.

登録機2のディスプレイ42には、まず、図9(A)に示す画面(初期画面)が表示される。この図9(A)に示す画面には、登録開始ボタン101が設けられている。この登録開始ボタン101を利用者が操作すると、図9(B)に示す画面に遷移する。 First, the screen (initial screen) shown in FIG. 9A is displayed on the display 42 of the registration machine 2 . A registration start button 101 is provided on the screen shown in FIG. When the user operates this registration start button 101, the screen transitions to the screen shown in FIG. 9B.

図9(B)に示す画面は、利用者に個人情報取扱い規定を確認させるものである。この画面には、顔認証システムにおける個人情報取扱い規定を表す文字102が表示される。個人情報取扱い規定には、登録時および認証時において利用者の顔の撮影により顔画像を取得することと、認証時において利用者の体温の測定により体温情報を取得することが記載されている。また、この画面には、同意ボタン103と中止ボタン104とが設けられている。利用者は、個人情報取扱い規定に同意するか否かに応じて同意ボタン103または中止ボタン104を操作する。同意ボタン103を利用者が操作すると、図9(C)に示す画面に遷移する。中止ボタン104を利用者が操作すると、利用者登録が中止される。 The screen shown in FIG. 9B prompts the user to confirm the personal information handling regulations. This screen displays characters 102 representing the rules for handling personal information in the face authentication system. The personal information handling regulations state that a face image of a user is to be obtained by photographing the user's face at the time of registration and authentication, and body temperature information is to be obtained by measuring the user's body temperature at the time of authentication. This screen also has an agree button 103 and a cancel button 104 . The user operates the agree button 103 or the cancel button 104 depending on whether or not the user agrees with the personal information handling regulations. When the user operates the consent button 103, the screen transitions to the screen shown in FIG. 9(C). When the user operates the cancel button 104, user registration is canceled.

図9(C)に示す画面は、利用者に平熱(平常時の体温)を入力させるものである。この画面には、利用者に平熱を入力するように促す文字105と、入力された平熱を表示させる体温表示欄106と、平熱を入力するためのテンキー107と、登録ボタン108と、スキップボタン109とが設けられている。テンキー107を操作して数値を選択すると、選択された数値が体温表示欄106に表示される。利用者は、体温表示欄106に表示された数値を確認して、誤りがない場合には登録ボタン117を操作する。これにより平熱が入力した値で登録され、図9(D)に示す画面に遷移する。スキップボタン109は、平熱の入力を省略するものであり、このスキップボタン109を利用者が操作すると、平熱を入力することなく、次の図9(D)に示す画面に遷移する。 The screen shown in FIG. 9C prompts the user to input normal body temperature (normal body temperature). This screen has characters 105 prompting the user to enter the normal temperature, a body temperature display field 106 for displaying the input normal temperature, a numeric keypad 107 for inputting the normal temperature, a register button 108, and a skip button 109. and are provided. When a numerical value is selected by operating the numeric keypad 107 , the selected numerical value is displayed in the body temperature display field 106 . The user confirms the numerical value displayed in the body temperature display field 106 and operates the registration button 117 if there is no error. As a result, the normal temperature is registered with the input value, and the screen transitions to the screen shown in FIG. 9(D). The skip button 109 is for omitting the input of normal temperature. When the user operates this skip button 109, the screen transitions to the next screen shown in FIG. 9D without inputting the normal temperature.

なお、図9(C)に示す画面では、平熱を基準にして利用者ごとに体温の異常範囲を設定するため、各人の平熱(平常時の体温)を利用者に入力させるものとしたが、一律に所定値(例えば37.5度)以上を異常範囲に設定することも可能である。 In addition, in the screen shown in FIG. 9(C), in order to set the abnormal range of body temperature for each user based on normal body temperature, the user is asked to input the normal body temperature (normal body temperature) of each person. , it is also possible to uniformly set a predetermined value (for example, 37.5 degrees) or more as the abnormal range.

図9(D)に示す画面は、利用者に顔画像を撮影させるものである。この画面には、顔画像の撮影要領を説明する文字111と、撮影枠112と、撮影画像113と、が表示される。撮影画像113は、顔認証用カメラ11による撮影された画像であり、撮影枠112内に表示される。利用者は、撮影枠112内に表示された撮影画像113を見て、利用者の顔が適切に撮影されるように顔の位置や向きを調整する。また、この画面には、撮影ボタン114と中止ボタン115とが設けられている。利用者が撮影ボタン114を操作すると、登録機2の顔認証用カメラ11による利用者の撮影が実行される。中止ボタン115を利用者が操作すると、利用者登録が中止される。顔認証用カメラ11による顔画像の撮影が正常に終了すると、図9(E)に示す画面に遷移する。 The screen shown in FIG. 9D prompts the user to take a face image. On this screen, characters 111 explaining how to photograph a face image, a photographing frame 112, and a photographed image 113 are displayed. A photographed image 113 is an image photographed by the face authentication camera 11 and displayed within the photographing frame 112 . The user looks at the photographed image 113 displayed within the photographing frame 112 and adjusts the position and orientation of the face so that the user's face is appropriately photographed. In addition, a shooting button 114 and a stop button 115 are provided on this screen. When the user operates the photographing button 114, the user is photographed by the face authentication camera 11 of the registration machine 2. FIG. When the user operates the cancel button 115, user registration is canceled. When the photographing of the face image by the face authentication camera 11 ends normally, the screen changes to the screen shown in FIG. 9(E).

図9(E)に示す画面には、利用者に顔画像を確認させるものである。この画面には、顔画像が適切に撮影されているか否かの確認を促す文字116と、撮影画像(顔画像)113と、が表示される。また、この画面には、登録ボタン117と再撮影ボタン118と中止ボタン119とが設けられている。利用者の顔が適切に撮影される場合には、利用者は登録ボタン117を操作する。この場合、図9(F)に示す登録完了の画面に遷移する。利用者の顔が適切に撮影されていない場合には、利用者は再撮影ボタン118を操作する。この場合、利用者に顔画像を撮影させる画面(図9(D)参照)に戻る。中止ボタン119を利用者が操作すると、利用者登録が中止される。 The screen shown in FIG. 9E allows the user to confirm the face image. On this screen, characters 116 prompting confirmation as to whether or not the face image has been properly captured, and a captured image (face image) 113 are displayed. This screen also has a registration button 117 , a recapture button 118 , and a stop button 119 . When the user's face is properly photographed, the user operates the registration button 117 . In this case, the screen transitions to the registration completion screen shown in FIG. If the user's face is not properly captured, the user operates the re-capture button 118 . In this case, the screen returns to the screen (see FIG. 9D) for allowing the user to take a face image. When the user operates the cancel button 119, user registration is canceled.

図9(F)に示す画面は、登録が完了したことを利用者に通知するものである。この画面には、終了ボタン120が設けられている。利用者が終了ボタン120を操作すると、登録機2における登録操作が終了する。 The screen shown in FIG. 9F notifies the user that the registration has been completed. An end button 120 is provided on this screen. When the user operates the end button 120, the registration operation in the registration machine 2 ends.

なお、本実施形態では、利用者の手入力により利用者の平熱(平常時の体温)が登録されるものとしたが、登録機2にサーマルカメラを設けて、利用者登録時に利用者の体温を測定して、その体温が平熱として自動であるいは利用者の了承を経て登録されるものとしてもよい。 In this embodiment, the user's normal body temperature (normal body temperature) is registered by manual input by the user. may be measured and the body temperature may be registered as normal temperature automatically or with the consent of the user.

次に、建物の玄関に設置されたゲート装置(セキュリティゲート)に設けられた顔認証機1(ゲートチェッカー)による顔認証時の顔認証機1および顔照合サーバ6の動作手順について説明する。図10は、顔認証時の顔認証機1および顔照合サーバ6の動作手順を示すシーケンス図である。 Next, the operation procedure of the face recognition device 1 and the face matching server 6 at the time of face recognition by the face recognition device 1 (gate checker) provided in the gate device (security gate) installed at the entrance of the building will be described. FIG. 10 is a sequence diagram showing the operating procedures of the face recognition device 1 and the face matching server 6 during face recognition.

顔認証機1では、まず、顔認証用カメラ11により撮影された顔認証用画像から人物を検知すると、その顔認証用画像から顔画像を取得する。また、顔認証機1では、サーマルカメラ12により撮影された温度画像を取得して、その温度画像に基づいて測定対象部位の温度を体温として測定する。そして、顔照合および体温判定のリクエストを顔照合サーバ6に送信する。このリクエストには、顔画像および体温情報が含まれる。 When the face recognition device 1 detects a person from the face recognition image captured by the face recognition camera 11, the face image is acquired from the face recognition image. Further, the face authentication device 1 acquires a temperature image captured by the thermal camera 12, and measures the temperature of the measurement target site as the body temperature based on the temperature image. A request for face matching and body temperature determination is then sent to the face matching server 6 . This request includes a facial image and body temperature information.

顔照合サーバ6では、顔認証機1からの顔照合および体温判定のリクエストを受信すると、そのリクエストに含まれる顔画像から生成した利用者の顔特徴量と、自装置に保管された登録者(登録済みの人物)の顔特徴量とを比較して、利用者が登録者か否かを判定する(顔照合処理)。次に、顔照合サーバ6では、顔照合が成功すると、顔認証機1から取得した体温情報に基づいて、利用者の体温が異常であるか否かを判定する(体温判定処理)。そして、顔照合および体温判定のレスポンスを顔認証機1に送信する。このレスポンスには、顔照合結果および体温判定結果が含まれる。 When the face matching server 6 receives the request for face matching and body temperature determination from the face authentication device 1, the user's face feature amount generated from the face image included in the request and the registrant ( It is determined whether or not the user is a registrant by comparing the face feature amount of a registered person (face matching process). Next, when the face verification is successful, the face verification server 6 determines whether or not the user's body temperature is abnormal based on the body temperature information acquired from the face authentication device 1 (body temperature determination processing). Then, the response for face matching and body temperature determination is transmitted to the face authentication device 1 . This response includes the face matching result and body temperature determination result.

また、顔照合サーバ6では、顔照合結果(成功、失敗)や照合スコアなどの情報を認証ログ(顔認証の履歴情報)としてデータベースに保存する(認証ログ管理処理)。 In addition, the face matching server 6 stores information such as face matching results (success or failure) and matching scores in a database as an authentication log (face authentication history information) (authentication log management process).

顔認証機1では、顔照合サーバ6からの顔照合および体温判定のレスポンスを受信すると、顔照合が成功した場合には、外部装置7としてのゲート装置に扉を開放する制御信号を送信する。これにより、ゲート装置の扉が開放され、利用者がゲート装置を通過することができる。一方、顔照合が失敗した場合には、ゲート装置の扉は閉鎖されたままで、利用者はゲート装置を通過することができない。 Upon receiving the face verification and body temperature determination response from the face verification server 6, the face recognition device 1 transmits a control signal for opening the door to the gate device as the external device 7 if the face verification is successful. As a result, the door of the gate device is opened and the user can pass through the gate device. On the other hand, if face verification fails, the door of the gate device remains closed and the user cannot pass through the gate device.

次に、顔認証機1では、自装置に保持された利用者の顔画像および体温情報を削除する。このように認証が完了した利用者の認証情報を遂次削除することで、次の認証時に、取得済の利用者の認証情報と取り違えることがなく、利用者の個人情報を確実に保護することができる。 Next, the face authentication machine 1 deletes the user's face image and body temperature information held in its own device. By sequentially deleting the authentication information of a user whose authentication has been completed in this way, the user's personal information can be reliably protected without being mistaken for the authentication information of an already acquired user at the time of the next authentication. can be done.

次に、執務室や会議室の入口に設けられた顔認証機1(入室チェッカー)による顔認証時の顔認証機1および顔照合サーバ6の動作手順について説明する。図11は、顔認証時の顔認証機1および顔照合サーバ6の動作手順を示すシーケンス図である。 Next, the operation procedure of the face recognition device 1 and the face matching server 6 at the time of face recognition by the face recognition device 1 (entry checker) provided at the entrance of the office or conference room will be described. FIG. 11 is a sequence diagram showing the operating procedures of the face recognition device 1 and the face matching server 6 during face recognition.

顔認証機1では、まず、ディスプレイ14に待機画面(図12(A)参照)を表示する。次に、顔認証機1では、顔認証用カメラ11により撮影された顔認証用画像から人物を検出すると、その顔認証用画像から顔画像を取得する。また、顔認証機1では、サーマルカメラ12により撮影された温度画像を取得して、その温度画像に基づいて測定対象部位の温度を体温として測定する。そして、顔照合および体温判定のリクエストを顔照合サーバ6に送信する。このリクエストには、顔画像および体温情報が含まれる。また、顔認証機1では、ディスプレイ14に顔認証中画面(図12(B)参照)を表示する。 The face authentication device 1 first displays a standby screen (see FIG. 12A) on the display 14 . Next, when the face recognition device 1 detects a person from the face recognition image captured by the face recognition camera 11, the face image is acquired from the face recognition image. Further, the face authentication device 1 acquires a temperature image captured by the thermal camera 12, and measures the temperature of the measurement target site as the body temperature based on the temperature image. A request for face matching and body temperature determination is then sent to the face matching server 6 . This request includes a facial image and body temperature information. Further, in the face authentication machine 1, the screen during face authentication (see FIG. 12B) is displayed on the display 14. FIG.

顔照合サーバ6では、顔認証機1からの顔照合および体温判定のリクエストを受信すると、そのリクエストに含まれる顔画像から生成した利用者の顔特徴量と、自装置に保管された登録者(登録済みの人物)の顔特徴量とを比較して、利用者が登録者か否かを判定する(顔照合処理)。次に、顔照合サーバ6では、顔照合が成功すると、顔認証機1から取得した体温情報に基づいて、利用者の体温が異常であるか否かを判定する(体温判定処理)。そして、顔照合および体温判定のレスポンスを顔認証機1に送信する。このレスポンスには、顔照合結果および体温判定結果が含まれる。 When the face matching server 6 receives the request for face matching and body temperature determination from the face authentication device 1, the user's face feature amount generated from the face image included in the request and the registrant ( It is determined whether or not the user is a registrant by comparing the face feature amount of a registered person (face matching process). Next, when the face verification is successful, the face verification server 6 determines whether or not the user's body temperature is abnormal based on the body temperature information acquired from the face authentication device 1 (body temperature determination processing). Then, the response for face matching and body temperature determination is transmitted to the face authentication device 1 . This response includes the face matching result and body temperature determination result.

また、顔照合サーバ6では、顔照合結果(成功、失敗)や照合スコアなどの情報を認証ログ(顔認証の履歴情報)としてデータベースに保存する(認証ログ管理処理)。 In addition, the face matching server 6 stores information such as face matching results (success or failure) and matching scores in a database as an authentication log (face authentication history information) (authentication log management process).

顔認証機1では、顔照合サーバ6からの顔照合および体温判定のレスポンスを受信すると、ディスプレイ14に、顔認証結果および体温判定結果に応じて、顔認証結果および体温判定結果の通知画面(図12(C),(D),(E)参照)を表示する。 Upon receiving the face verification and body temperature determination responses from the face verification server 6, the face recognition device 1 displays a face recognition result and body temperature determination result notification screen (Fig. 12 (C), (D), (E)).

また、顔認証機1では、顔照合が成功した場合には、外部装置7としてのドアロック装置に解錠する制御信号を送信する。これにより、ドアロック装置が解錠され、利用者がドアを開いて入室することができる。一方、顔照合が失敗した場合には、ドアロック装置は施錠されたままで、利用者は入室することができない。 Further, the face authentication device 1 transmits a control signal for unlocking to the door lock device as the external device 7 when the face verification is successful. Thereby, the door lock device is unlocked, and the user can open the door and enter the room. On the other hand, if face matching fails, the door lock device remains locked and the user cannot enter the room.

次に、顔認証機1では、自装置に保持された利用者の顔画像および体温情報を削除する。 Next, the face authentication machine 1 deletes the user's face image and body temperature information held in its own device.

次に、顔認証機1のディスプレイ14に表示される画面について説明する。図12は、顔認証機1のディスプレイ14に表示される画面を示す説明図である。 Next, screens displayed on the display 14 of the face authentication machine 1 will be described. FIG. 12 is an explanatory diagram showing a screen displayed on the display 14 of the face authentication machine 1. As shown in FIG.

顔認証機1のディスプレイ14には、図12(A)から図12(E)に示す画面が表示される。これらの画面には、撮影画像表示エリア121と情報表示エリア122とが設けられている。撮影画像表示エリア121には、顔認証用カメラ11で撮影された画像が表示される。情報表示エリア122には、各段階に応じた情報が表示される。なお、表示エリアを分割せずに、顔認証用カメラ11で撮影された画像上に、各段階に応じた情報が重畳表示されるものとしてもよい。 The screens shown in FIGS. 12A to 12E are displayed on the display 14 of the face authentication machine 1. FIG. These screens are provided with a captured image display area 121 and an information display area 122 . An image captured by the face authentication camera 11 is displayed in the captured image display area 121 . Information corresponding to each stage is displayed in the information display area 122 . Information corresponding to each stage may be superimposed and displayed on the image captured by the face authentication camera 11 without dividing the display area.

顔認証機1のディスプレイ14には、まず、図12(A)に示す画面(待機画面)が表示される。ここで、顔認証機1の前に立つ利用者が顔認証用カメラ11で撮影されると、顔照合サーバ6では、利用者が登録済みの人物であるか否かを判定する処理(顔照合)が開始される。このとき、ディスプレイ14では、図12(B)に示す画面に遷移する。 A screen (standby screen) shown in FIG. 12A is first displayed on the display 14 of the face authentication machine 1 . Here, when the user standing in front of the face authentication device 1 is photographed by the face authentication camera 11, the face matching server 6 performs a process of determining whether or not the user is a registered person (face matching process). ) is started. At this time, the display 14 transitions to the screen shown in FIG. 12(B).

図12(B)に示す画面は、顔認証(顔照合)が進行中であることを利用者に案内するものである。この画面では、情報表示エリア122に、顔認証が進行中であることを示す文字131および図形132が表示される。このとき、顔照合サーバ6では、顔認証と共に体温判定が行われる。 The screen shown in FIG. 12B informs the user that face authentication (face matching) is in progress. In this screen, the information display area 122 displays characters 131 and a graphic 132 indicating that face authentication is in progress. At this time, the face verification server 6 performs face recognition and body temperature determination.

次に、顔照合サーバ6で行われる顔認証および体温判定が完了すると、顔認証機1のディスプレイ14では、顔認証結果および体温判定結果に応じて、図12(C),(D),(E)に示す画面のいずれかに遷移する。これらの画面は、顔認証結果に関する情報と体温測定結果および体温判定結果に関する情報とを利用者に提示するものである。 Next, when the face authentication and body temperature determination performed by the face matching server 6 are completed, the display 14 of the face authentication machine 1 shows the results of the face authentication and body temperature determination shown in FIGS. E) Transition to one of the screens shown in FIG. These screens present the user with information on the result of face authentication and information on the result of body temperature measurement and body temperature determination.

図12(C)に示す画面は、顔認証が成功し、且つ、体温判定で体温が正常と判定された場合に表示される。この画面では、情報表示エリア122に、顔認証により特定された利用者の名前を示す文字133と、顔認証が成功したことを示す文字134および図形135とが表示される。また、この画面では、情報表示エリア122に、体温測定結果として体温を示す文字136と、体温判定結果として体温が正常であることを示す文字137とが表示される。この場合、ドアロック装置が解錠され、顔認証を受けた人物はドアを開けて入室することができる。 The screen shown in FIG. 12C is displayed when the face authentication is successful and the body temperature is determined to be normal. In this screen, the information display area 122 displays characters 133 indicating the user's name identified by face authentication, and characters 134 and a graphic 135 indicating that the face authentication was successful. In this screen, the information display area 122 displays characters 136 indicating the body temperature as the body temperature measurement result and characters 137 indicating that the body temperature is normal as the body temperature determination result. In this case, the door lock device is unlocked, and the person whose face has been authenticated can open the door and enter the room.

図12(D)に示す画面は、顔認証が失敗した場合に表示される。この画面では、情報表示エリア122に、顔認証が失敗したことを示す文字134および図形135が表示される。この場合、ドアロック装置は解錠されず、施錠状態に維持され、人物はドアを開けて入室することができない。なお、顔認証が失敗した場合、顔認証を受けた人物が不明であり、その人物から体温測定の同意を得ているか否かが不明であるため、体温測定結果も表示されない。また、顔認証を受けた人物の平熱も不明であるため、体温判定結果も表示されない。 The screen shown in FIG. 12D is displayed when face authentication fails. In this screen, the information display area 122 displays characters 134 and a graphic 135 indicating that face authentication has failed. In this case, the door lock device is not unlocked and is maintained in a locked state, and a person cannot open the door and enter the room. Note that when face authentication fails, the body temperature measurement result is not displayed because the person whose face has been authenticated is unknown and whether or not the person has consented to body temperature measurement. In addition, since the normal temperature of the person who has undergone face authentication is unknown, the body temperature determination result is not displayed.

図12(E)に示す画面は、顔認証が成功し、且つ、体温判定で体温が異常と判定された場合に表示される。この画面では、情報表示エリア122に、顔認証により特定された利用者の名前を示す文字133と、顔認証が成功したことを示す文字134および図形135とが表示される。また、この画面では、情報表示エリア122に、体温測定結果として体温を示す文字136と、体温判定結果として体温が異常であることを示す文字137とが表示される。 The screen shown in FIG. 12E is displayed when the face authentication is successful and the body temperature is determined to be abnormal. In this screen, the information display area 122 displays characters 133 indicating the user's name identified by face authentication, and characters 134 and a graphic 135 indicating that the face authentication was successful. In this screen, the information display area 122 displays characters 136 indicating body temperature as the body temperature measurement result and characters 137 indicating that the body temperature is abnormal as the body temperature determination result.

また、本実施形態では、体温が異常か否かの体温判定結果に応じて、情報表示エリア122の背景色が変化する。すなわち、体温が正常である場合、すなわち、図12(C)に示す画面では、情報表示エリア122の背景色が緑色で表示され、体温が異常である場合、すなわち、図12(E)に示す画面では、情報表示エリア122の背景色が赤色で表示される。 Further, in this embodiment, the background color of the information display area 122 changes according to the body temperature determination result as to whether or not the body temperature is abnormal. That is, when the body temperature is normal, that is, in the screen shown in FIG. On the screen, the background color of the information display area 122 is displayed in red.

ところで、顔認証が成功した場合には、体温が正常と判定された場合(図12(C)参照)と、体温が異常と判定された場合(図12(E)参照)とがある。ここで、体温が正常と判定された場合には、ゲート装置の扉を開いて人物の通過を許可し、また、ドアロック装置を解錠して人物の入室を許可する制御を行えばよい。 By the way, when the face authentication is successful, there are cases where the body temperature is determined to be normal (see FIG. 12(C)) and cases where the body temperature is determined to be abnormal (see FIG. 12(E)). Here, when the body temperature is determined to be normal, the door of the gate device is opened to allow the person to pass through, and the door lock device is unlocked to allow the person to enter the room.

一方、体温が異常と判定された場合には、体温が正常と判定された場合と同様に、ゲート装置の扉を開いて人物の通過を許可し、また、ドアロック装置を解錠して人物の入室を許可する制御を行ってもよいが、逆に、ゲート装置の扉を閉じたままで人物の通過を拒否し、また、ドアロック装置を施錠したままで人物の入室を拒否する制御を行うようにしてもよい。この場合、いずれの制御を行うかを管理者が選択できるようにしてもよい。また、体温が異常と判定された場合にゲート装置の通過や入室を拒否することを、利用者登録時に利用者に告知するものとしてもよい。具体的には、例えば、利用者に個人情報取扱い規定を確認させる画面(図9(B)参照)に、個人情報取扱い規定と共に、体温が異常と判定された場合にゲート装置の通過や入室を拒否する旨を表示する。 On the other hand, if the body temperature is determined to be abnormal, the door of the gate device is opened to allow the person to pass through, and the door lock device is unlocked to allow the person to pass through, in the same way as when the body temperature is determined to be normal. However, conversely, control is performed to deny the passage of a person with the door of the gate device closed, or to deny the person from entering the room with the door lock device locked. You may do so. In this case, the administrator may be allowed to select which control is to be performed. Further, the user may be notified at the time of user registration that if the body temperature is determined to be abnormal, the user will be refused to pass through the gate device or enter the room. Specifically, for example, on the screen (see FIG. 9B) that asks the user to confirm the personal information handling regulations, along with the personal information handling regulations, if the body temperature is determined to be abnormal, the user will be asked to pass through the gate device or enter the room. Display a refusal.

なお、執務室や会議室の入口に設けられた顔認証機1(入室チェッカー)では、体温が異常と判定された場合には、図12(E)に示すように、体温が異常であることが画面表示により利用者に通知される。一方、建物の玄関に設置されたゲート装置(セキュリティゲート)に設けられた顔認証機1(ゲートチェッカー)では、ディスプレイがないため、体温が異常と判定された場合には、体温が異常であることが音声により利用者に通知されるものとしてもよい。 Note that when the face authentication device 1 (entry checker) provided at the entrance of the office or conference room determines that the body temperature is abnormal, the body temperature is determined to be abnormal as shown in FIG. 12(E). is notified to the user by screen display. On the other hand, the face authentication device 1 (gate checker) installed in the gate device (security gate) installed at the entrance of the building does not have a display. This may be notified to the user by voice.

次に、管理端末4で行われる体温監視に関する設定操作について説明する。図13は、管理端末4に表示される設定画面を示す説明図である。なお、本実施形態では、顔認証機1で行われる体温測定と顔照合サーバ6で行われる体温判定とをまとめて体温監視と呼称する。 Next, a setting operation related to body temperature monitoring performed by the management terminal 4 will be described. FIG. 13 is an explanatory diagram showing a setting screen displayed on the management terminal 4. As shown in FIG. In this embodiment, the body temperature measurement performed by the face authentication device 1 and the body temperature determination performed by the face matching server 6 are collectively referred to as body temperature monitoring.

管理端末4では、顔管理サーバ5にアクセスして管理者モードでログインすることで、各種の管理画面が表示され、その管理画面において管理者が顔認証機1および顔照合サーバ6に関する各種の設定操作を行うことができる。図13に示す設定画面では、管理者が顔認証機1ごとの体温監視(体温測定および体温判定)に関する設定操作を行うことができる。 On the management terminal 4, various management screens are displayed by accessing the face management server 5 and logging in in administrator mode. operation can be performed. On the setting screen shown in FIG. 13 , the administrator can perform setting operations related to body temperature monitoring (body temperature measurement and body temperature determination) for each face authentication device 1 .

この設定画面には、顔認証機選択部141と、体温監視選択部142とが設けられている。顔認証機選択部141では、管理者が、プルダウンメニューの選択操作により、対象となる顔認証機1(機器ID)を選択することができる。体温監視選択部142では、管理者が、ラジオボタンの操作により、体温監視(体温測定)を実施するか否かを選択することができる。なお、体温測定は実施するが体温判定は実施しない設定などができるようにしてもよい。 A face authentication device selection section 141 and a body temperature monitoring selection section 142 are provided on this setting screen. In the face authentication machine selection unit 141, the administrator can select the target face authentication machine 1 (device ID) by selecting the pull-down menu. In the body temperature monitoring selection unit 142, the administrator can select whether or not to perform body temperature monitoring (body temperature measurement) by operating a radio button. It should be noted that a setting may be made such that body temperature measurement is performed but body temperature determination is not performed.

また、この設定画面には、詳細設定事項として、体温表示選択部143と、異常範囲選択部144と、監視期間入力部145とが設けられている。 Further, this setting screen is provided with a body temperature display selection section 143, an abnormal range selection section 144, and a monitoring period input section 145 as detailed setting items.

体温表示選択部143では、管理者が、ラジオボタンの選択操作により、顔認証機1において体温測定結果を表示するか否かを選択することができる。具体的には、顔認証機1のディスプレイ14に表示される画面(図12(C),(E)参照)において、体温測定結果を示す文字136を表示するか否かを選択することができる。 In the body temperature display selection section 143, the administrator can select whether or not to display the body temperature measurement result in the face authentication machine 1 by selecting a radio button. Specifically, on the screen displayed on the display 14 of the face authentication device 1 (see FIGS. 12C and 12E), it is possible to select whether or not to display the characters 136 indicating the body temperature measurement result. .

異常範囲選択部144では、管理者が、ラジオボタンの選択操作により、体温判定処理における異常範囲の設定方法を選択することができる。具体的には、入力された利用者の平熱を基準にして利用者別に設定された範囲と、全ての利用者で共通の所定値(例えば37.5度)以上とする範囲とのいずれかを、管理者が選択することができる。 In the abnormal range selection unit 144, the administrator can select a method of setting the abnormal range in the body temperature determination process by selecting a radio button. Specifically, either a range set for each user based on the input user's normal temperature, or a range that is equal to or higher than a predetermined value (for example, 37.5 degrees) common to all users , can be selected by the administrator.

監視期間入力部145では、管理者が、入力ボックスへの入力操作により、体温監視を実施する期間(開始日および終了日)を入力することができる。これにより、期間を限定して体温監視を実施することができる。例えば、感染症が流行している期間だけ体温監視を実施することができる。なお、顔認証機1で行われる体温測定と、顔照合サーバ6で行われる体温判定とで別々に処理の実施の有無や期間を指定できるものとしてもよい。 In the monitoring period input section 145, the administrator can input a period (start date and end date) for body temperature monitoring by performing an input operation in the input box. Thereby, body temperature monitoring can be implemented for a limited period. For example, temperature monitoring can be implemented only during periods when an infectious disease is endemic. It should be noted that whether or not to perform processing and the period for body temperature measurement performed by the face authentication device 1 and body temperature determination performed by the face matching server 6 may be specified separately.

また、この設定画面には、登録ボタン146が設けられている。管理者は、設定画面内の各部で必要な選択および入力の操作を行った上で登録ボタン146を操作すると、選択および入力の内容で情報を登録する処理が顔管理サーバ5で行われる。 A registration button 146 is also provided on this setting screen. When the administrator operates the registration button 146 after performing necessary selection and input operations in each part of the setting screen, the face management server 5 performs processing for registering information based on the contents of the selection and input.

なお、人物の体表温度は場所に応じて変化する。例えば、建物の入口に設置されたゲート装置に設けられた顔認証機1(ゲートチェッカー)では、周辺の気温が低いため、人物の体表温度は低めになる。一方、建物内の執務室や会議室の入口に設けられた顔認証機1(入室チェッカー)では、周辺の気温が高いため、人物の体表温度は高めになる。そこで、顔認証機1ごとに体温判定の異常範囲を設定できるものとしてもよい。例えば、ゲート装置に設けられた顔認証機1では、体温判定の異常範囲が低く設定され、執務室や会議室の入口に設けられた顔認証機1では、体温判定の異常範囲が高く設定される。 It should be noted that the body surface temperature of a person changes depending on the location. For example, in the face authentication device 1 (gate checker) installed in the gate device installed at the entrance of the building, the body surface temperature of the person is rather low because the ambient temperature is low. On the other hand, in the face authentication device 1 (entry checker) installed at the entrance of the office or conference room in the building, the body surface temperature of the person is high because the ambient temperature is high. Therefore, an abnormal range for body temperature determination may be set for each face authentication device 1 . For example, the face authentication device 1 installed in the gate device has a low body temperature determination abnormality range, and the face authentication device 1 installed at the entrance of an office or conference room has a high body temperature determination abnormality range. be.

ところで、本実施形態では、図13に示したように、体温監視に関する処理条件を顔認証機1ごとに設定するものとした。これにより、顔認証機1の設置場所などに応じて適切な設定を行うことができる。例えば、建物の玄関に設置されたゲート装置に設けられた顔認証機1では体温監視を行うが、執務室や会議室の入口に設置された顔認証機1では体温監視を行わないように設定することができる。 By the way, in the present embodiment, as shown in FIG. 13, processing conditions related to body temperature monitoring are set for each face authentication device 1 . As a result, appropriate settings can be made according to the installation location of the face authentication device 1 and the like. For example, the face authentication device 1 installed in the gate device installed at the entrance of the building monitors body temperature, but the face authentication device 1 installed at the entrance of the office or conference room does not monitor body temperature. can do.

一方、体温監視の必要性などが会社に応じて異なる。そこで、同じ建物を複数の会社で共有するマルチテナントの建物の玄関に設置されたゲート装置に設けられた顔認証機1では、会社単位の利用者のグループごとに体温監視に関する処理条件が設定されるものとしてもよい。また、同じ会社内でも部署などに応じて体温監視の必要性などが異なる。そこで、執務室や会議室の入口に設置された顔認証機1においても、部署など利用者のグループごとに体温監視に関する処理条件が設定されるものとしてもよい。 On the other hand, the need for body temperature monitoring differs from company to company. Therefore, in the face authentication device 1 provided in the gate device installed at the entrance of a multi-tenant building where multiple companies share the same building, processing conditions related to body temperature monitoring are set for each user group of each company. It may be Even within the same company, the need for body temperature monitoring differs depending on the department. Therefore, even in the face recognition device 1 installed at the entrance of an office or a conference room, processing conditions related to body temperature monitoring may be set for each user group such as a department.

また、本実施形態では、体温が異常か否かを判定する体温判定において、平熱を基準にして異常範囲が設定されるため、体温監視に関する処理条件として、平熱(平常時の体温)を利用者ごとに設定するものとした(図9(C)参照)。一方、平熱の他に体温の変動幅も個人によって異なる。そこで、体温監視に関する処理条件として、体温判定における異常範囲の下限値となるしきい値を設定する際に平熱に加算される所定値が、利用者ごとに設定されるものとしてもよい。この平熱に加算される所定値は、利用者が指定すればよいが、管理者が指定してもよい。 In addition, in the present embodiment, in the body temperature determination for determining whether the body temperature is abnormal, the abnormal range is set based on the normal body temperature. set for each (see FIG. 9(C)). On the other hand, in addition to normal body temperature, the range of body temperature fluctuations also varies from person to person. Therefore, as a processing condition for body temperature monitoring, a predetermined value to be added to the normal temperature when setting a threshold value that is the lower limit value of the abnormal range in body temperature determination may be set for each user. The predetermined value to be added to the normal temperature may be specified by the user, or may be specified by the administrator.

また、図13に示した例では、顔認証機1ごとの体温監視に関する処理条件が設定されるものとしたが、利用者ごとの体温監視に関する処理条件が設定されるものとしてもよい。管理端末4では、利用者に関する各種の情報を管理する管理用画面が表示される。この管理用画面では、利用者の顔画像や名前などの情報に関して新規登録や変更が可能であり、この管理用画面において、利用者ごとの体温監視に関する処理条件を管理者が指定するものとしてもよい。 Also, in the example shown in FIG. 13, the processing conditions for body temperature monitoring are set for each face authentication device 1, but the processing conditions for body temperature monitoring may be set for each user. The management terminal 4 displays a management screen for managing various information about users. On this management screen, it is possible to newly register or change information such as a user's face image or name. good.

なお、体温監視に関する処理条件に関する設定情報は、顔管理サーバ5で管理される。具体的には、体温監視に関する処理条件に関する利用者ごとの設定情報が、顔管理サーバ5の記憶部52に保存される顔情報データベースに格納される。また、体温監視に関する処理条件に関する顔認証機1ごとの設定情報や、体温監視に関する処理条件に関する利用者のグループごとの設定情報が、顔管理サーバ5の記憶部52に格納される。 The face management server 5 manages setting information regarding processing conditions for body temperature monitoring. Specifically, setting information for each user regarding processing conditions related to body temperature monitoring is stored in the face information database stored in the storage unit 52 of the face management server 5 . In addition, the storage unit 52 of the face management server 5 stores setting information for each face authentication device 1 regarding processing conditions for body temperature monitoring and setting information for each user group regarding processing conditions for body temperature monitoring.

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 As described above, the embodiments have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like. Further, it is also possible to combine the constituent elements described in the above embodiments to create new embodiments.

本発明に係る顔認証システムおよび顔認証方法は、管理者が、顔認証の他に体温監視の条件を適宜にカスタマイズできるようにして、システムの利便性を高めることができる効果を有し、施設の利用者の顔画像に基づく顔認証を行うと共に、利用者の体温情報を取得する体温測定を行う顔認証システムおよび顔認証方法などとして有用である。 ADVANTAGE OF THE INVENTION The face authentication system and face authentication method according to the present invention have the effect that the administrator can appropriately customize the conditions for body temperature monitoring in addition to the face authentication, thereby enhancing the convenience of the system. It is useful as a face authentication system and a face authentication method that perform face authentication based on the user's face image and measure the body temperature to acquire the user's body temperature information.

1 顔認証機(顔認証部)
2 登録機(登録部)
3 顔認証サーバ
4 管理端末
5 顔管理サーバ(顔管理部)
6 顔照合サーバ(顔照合部)
26 体温測定部
63 設定管理部
76 体温判定部
1 Face authentication machine (face authentication part)
2 Registration machine (registration unit)
3 Face authentication server 4 Management terminal 5 Face management server (face management unit)
6 Face matching server (face matching unit)
26 body temperature measurement unit 63 setting management unit 76 body temperature determination unit

Claims (5)

施設のゲート通過または入室を制御する利用者の顔画像に基づく顔認証と利用者の体温情報を取得する体温測定とを行う顔認証システムであって、
登録時および認証時における顔画像の取得、認証時における体温情報の取得および前記体温情報が異常判定された場合に前記ゲート通過または前記入室を拒否することに関する利用者の同意を得る処理を行うと共に、利用者の登録用の顔画像を取得する登録部と、
前記登録用の顔画像を蓄積する顔管理部と、
認証時に利用者の認証用の顔画像および体温情報を取得する1以上の顔認証部と、
前記登録用の顔画像および前記認証用の顔画像を照合する顔照合部と、
認証時に利用者の体温情報を取得する体温測定部と、
前記体温情報が異常であるか否かを判定する体温判定部と、を有し、
さらに、管理者または利用者の操作に応じて、前記体温測定部および前記体温判定部の処理条件に関する設定を管理する設定管理部を備えたことを特徴とする顔認証システム。
A face authentication system that performs face authentication based on a user's face image for controlling passage through a facility gate or entry and body temperature measurement for acquiring body temperature information of the user,
Acquisition of face image at the time of registration and authentication, acquisition of body temperature information at the time of authentication, and processing of obtaining user consent regarding refusal to pass through the gate or enter the room if the body temperature information is determined to be abnormal together with a registration unit that acquires a face image for registration of the user;
a face management unit for accumulating face images for registration;
one or more face authentication units that acquire a face image and body temperature information for authentication of a user at the time of authentication;
a face matching unit for matching the face image for registration and the face image for authentication;
a body temperature measurement unit that acquires body temperature information of a user at the time of authentication;
a body temperature determination unit that determines whether the body temperature information is abnormal;
The face authentication system further comprises a setting management section that manages settings relating to processing conditions of the body temperature measurement section and the body temperature determination section according to an operation of an administrator or user.
前記設定管理部は、
管理者または利用者の操作に応じて、前記体温測定部および前記体温判定部の処理条件として、前記体温測定部および前記体温判定部の各処理の実施の有無に関する設定を行うことを特徴とする請求項1に記載の顔認証システム。
The setting management unit
The processing conditions of the body temperature measurement unit and the body temperature determination unit are set as to whether or not each process of the body temperature measurement unit and the body temperature determination unit is to be performed according to an operation by an administrator or a user. The face authentication system according to claim 1.
前記設定管理部は、
管理者または利用者の操作に応じて、前記体温判定部の処理条件として、前記体温判定部において体温の異常を判定する際の異常範囲に関する設定を行うことを特徴とする請求項1に記載の顔認証システム。
The setting management unit
2. The apparatus according to claim 1, wherein, as a processing condition of said body temperature determination unit, a setting relating to an abnormal range when determining an abnormality in body temperature is performed by said body temperature determination unit in accordance with an operation by an administrator or a user. face recognition system.
前記設定管理部は、
管理者または利用者の操作に応じて、前記体温測定部および前記体温判定部の処理条件として、前記体温測定部および前記体温判定部の各処理の実施期間に関する設定を行うことを特徴とする請求項1に記載の顔認証システム。
The setting management unit
The processing conditions of the body temperature measurement unit and the body temperature determination unit are set with respect to the execution period of each process of the body temperature measurement unit and the body temperature determination unit in accordance with an operation of an administrator or a user. Item 1. The face authentication system according to item 1.
施設のゲート通過または入室を制御する利用者の顔画像に基づく顔認証と利用者の体温情報を取得する体温測定との処理をプロセッサにより実行する顔認証方法であって、
登録時および認証時における顔画像の取得、認証時における体温情報の取得および前記体温情報が異常判定された場合に前記ゲート通過または前記入室を拒否することに関する利用者の同意を得る処理を行うと共に、利用者の登録用の顔画像を取得し、
前記登録用の顔画像を蓄積し、
認証時に利用者の認証用の顔画像および体温情報を取得し、
前記登録用の顔画像および前記認証用の顔画像を照合する顔照合を行い、
認証時に利用者の体温情報を取得する体温測定を行うと共に、前記体温情報が異常であるか否かを判定する体温判定を行い、
さらに、管理者または利用者の操作に応じて、前記体温測定および前記体温判定の処理条件に関する設定を管理することを特徴とする顔認証方法。
A face authentication method in which a processor executes face authentication based on a user's face image for controlling gate passage or entry into a facility and body temperature measurement for acquiring user's body temperature information,
Acquisition of face image at the time of registration and authentication, acquisition of body temperature information at the time of authentication, and processing of obtaining user consent regarding refusal to pass through the gate or enter the room if the body temperature information is determined to be abnormal Together with, acquire the face image for registration of the user,
accumulating face images for registration;
At the time of authentication, the user's face image and body temperature information for authentication are acquired,
performing face matching for matching the face image for registration and the face image for authentication;
Body temperature measurement for acquiring body temperature information of the user at the time of authentication, body temperature determination for determining whether the body temperature information is abnormal,
Further, the face authentication method is characterized by managing settings relating to processing conditions for the body temperature measurement and the body temperature determination according to an operation of an administrator or user.
JP2021016817A 2021-02-04 2021-02-04 Face authentication system and face authentication method Active JP7153882B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021016817A JP7153882B2 (en) 2021-02-04 2021-02-04 Face authentication system and face authentication method
PCT/JP2022/001439 WO2022168588A1 (en) 2021-02-04 2022-01-17 Face authentication system and face authentication method
JP2022149111A JP7407432B2 (en) 2021-02-04 2022-09-20 Facial recognition system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021016817A JP7153882B2 (en) 2021-02-04 2021-02-04 Face authentication system and face authentication method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022149111A Division JP7407432B2 (en) 2021-02-04 2022-09-20 Facial recognition system and method

Publications (2)

Publication Number Publication Date
JP2022119579A JP2022119579A (en) 2022-08-17
JP7153882B2 true JP7153882B2 (en) 2022-10-17

Family

ID=82740633

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021016817A Active JP7153882B2 (en) 2021-02-04 2021-02-04 Face authentication system and face authentication method
JP2022149111A Active JP7407432B2 (en) 2021-02-04 2022-09-20 Facial recognition system and method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022149111A Active JP7407432B2 (en) 2021-02-04 2022-09-20 Facial recognition system and method

Country Status (2)

Country Link
JP (2) JP7153882B2 (en)
WO (1) WO2022168588A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325842A (en) 2006-06-09 2007-12-20 Nec Corp Personal digital assistant with health care function
US20140135997A1 (en) 2012-11-14 2014-05-15 International Business Machines Corporation Dynamic temperature control for a room containing a group of people
JP2018183564A (en) 2017-04-26 2018-11-22 パナソニックIpマネジメント株式会社 Deep body temperature measuring apparatus, deep body temperature measuring system, and deep body temperature measuring method
JP2020144445A (en) 2019-03-04 2020-09-10 パナソニックIpマネジメント株式会社 Face recognition equipment and face recognition method
JP2020005181A5 (en) 2018-06-29 2022-03-18

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020005181A (en) 2018-06-29 2020-01-09 キヤノンマーケティングジャパン株式会社 Information processing system, control method, and program
KR102159727B1 (en) 2020-06-19 2020-09-24 이준성 Body disinfecting system of exothermic check for facial recognition and prevent an epidemic

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325842A (en) 2006-06-09 2007-12-20 Nec Corp Personal digital assistant with health care function
US20140135997A1 (en) 2012-11-14 2014-05-15 International Business Machines Corporation Dynamic temperature control for a room containing a group of people
JP2018183564A (en) 2017-04-26 2018-11-22 パナソニックIpマネジメント株式会社 Deep body temperature measuring apparatus, deep body temperature measuring system, and deep body temperature measuring method
JP2020005181A5 (en) 2018-06-29 2022-03-18
JP2020144445A (en) 2019-03-04 2020-09-10 パナソニックIpマネジメント株式会社 Face recognition equipment and face recognition method

Also Published As

Publication number Publication date
WO2022168588A1 (en) 2022-08-11
JP2022191245A (en) 2022-12-27
JP2022119579A (en) 2022-08-17
JP7407432B2 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US20220044007A1 (en) Face mask detection system and method
JP7108873B2 (en) Face authentication management server and face authentication management method
JP6624340B2 (en) Entrance management system and entrance management method
CN113490936A (en) Face authentication device and face authentication method
CN113519013A (en) Face authentication system and face authentication method
EP3965078A1 (en) Enhanced entry authorization
CN214476427U (en) Intelligent admission information registration robot system
JP7153882B2 (en) Face authentication system and face authentication method
JP7199015B2 (en) Face authentication device and face authentication method
JP7126138B2 (en) Face authentication registration device and face authentication registration method
JPWO2019031531A1 (en) Information acquisition system, information acquisition method, and storage medium
KR102255229B1 (en) Fever patient tracking management system using face recognition technology
KR102463591B1 (en) Enterance and exit management apparatus using quick response code
US8442277B1 (en) Identity authentication system for controlling egress of an individual visiting a facility
JP5524250B2 (en) Abnormal behavior detection device, monitoring system, abnormal behavior detection method and program
KR20220010218A (en) Visiter Monitering System for Infectious Disease and Method Thereof
KR102567798B1 (en) Apparatus for untact entrance control
KR102336518B1 (en) Gateway Control Device
JP7375900B1 (en) Entry management system, entry management method, and program
KR102353709B1 (en) Method for access control using quarantine information and access control system using the same
KR102626328B1 (en) vital signs information service system and method
KR102547371B1 (en) Registration and management system for access control
KR102422695B1 (en) Push notification service method with body temperature providing function
KR20110005634A (en) System for saving a finger print connected digital door-lock and method of the same
JP2023048276A (en) State management system and state management method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220801

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R151 Written notification of patent or utility model registration

Ref document number: 7153882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151