JP7289068B2 - Face recognition machine and face recognition method - Google Patents
Face recognition machine and face recognition method Download PDFInfo
- Publication number
- JP7289068B2 JP7289068B2 JP2022059218A JP2022059218A JP7289068B2 JP 7289068 B2 JP7289068 B2 JP 7289068B2 JP 2022059218 A JP2022059218 A JP 2022059218A JP 2022059218 A JP2022059218 A JP 2022059218A JP 7289068 B2 JP7289068 B2 JP 7289068B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- matching
- authentication
- server
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
本発明は、顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機および顔認証方法に関するものである。 The present invention relates to a face authentication machine and a face authentication method for photographing a target person for face authentication and outputting the authentication result of the target person.
従来より、顔照合に関する技術として、少なくとも特徴量抽出手段、登録者特徴量記憶手段、および照合手段を第１の装置で構成し、登録者顔画像記憶手段を、第１の装置よりもセキュリティレベルの高い場所に保管される第２の装置で構成し、第１の装置が、登録者の顔画像を利用する必要が生じた場合に、第２の装置との間にデータ通信路を構築し、該データ通信路を通じて第２の装置から登録者の顔画像を取得し、登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用し、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することを可能にしたものが知られている（特許文献１参照）。 Conventionally, as a technology related to face matching, at least the feature amount extraction means, the registrant feature amount storage means, and the matching means are configured in a first device, and the registrant face image storage means has a security level higher than that of the first device. The second device is stored in a high location, and when the first device needs to use the registrant's face image, a data communication path is constructed between it and the second device. a face image of the registrant is obtained from the second device through the data communication path, the data of the face image of the registrant is used in a work memory without being stored in a nonvolatile recording medium, and the face matching system There is known a system capable of protecting a registrant's face image as much as possible even if it is stolen or attacked (see Patent Document 1).
さて、従来の技術は、撮像手段と登録者顔画像の特徴量データを有し、顔照合処理を担う認証機がフィジカル空間に設置され、登録者顔画像のデータが画像サーバなどのサイバー空間で管理されるものである。そのため特徴量データの生成や顔照合処理のためのソフトウェアなどのアップデートがなされると、認証機ごとにアップデートのための作業が発生し、顔認証サービスの中断を余儀なくされるものであった。特に、多数の店舗などで顔認証サービスを導入している場合には、認証機のアップデートで膨大な作業が発生するため、認証機側での作業負担を軽減することが望まれるが、従来の技術では、何ら配慮されていない。 By the way, the conventional technology has an imaging means and feature amount data of the registrant's face image, and the authentication machine responsible for face matching processing is installed in physical space, and the data of the registrant's face image is stored in cyberspace such as an image server. It is managed. Therefore, when software for feature data generation and face matching processing is updated, work for the update is required for each authentication device, and the face authentication service is unavoidably interrupted. In particular, when face authentication services have been introduced at many stores, etc., a huge amount of work is required to update the authentication machine. No consideration is given to technology.
そこで、本発明は、顔特徴量データの生成や顔照合処理のためのアップデート等が発生した場合に、顔認証機側での作業負担を軽減することができる顔認証機および顔認証方法を提供することを主な目的とする。 Therefore, the present invention provides a face authentication device and a face authentication method that can reduce the work load on the face authentication device when face feature amount data is generated or an update for face matching processing occurs. The main purpose is to
本発明の顔認証機は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する顔認証機であって、対象者を撮影するカメラと、外部の顔照合装置および外部の管理装置とネットワークを介して通信を行う通信部と、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を記憶する記憶部と、対象者の認証結果を出力する出力部と、これら各部の動作を制御する制御部と、を備え、前記制御部は、前記照合グループ情報が更新された際、前記照合グループ情報を前記管理装置から取得して前記記憶部に記憶させる処理を実行し、前記照合グループ情報に基づいて特定した前記顔照合装置に対して、前記カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得する構成とする。 The face authentication device of the present invention is a face authentication device that photographs a person to be face-recognised and sequentially outputs authentication results of the person. a communication unit that communicates with the management device of via a network, a storage unit that stores matching group information specifying the face matching device to which the same group identification information as the group identification information assigned to the own device is assigned, An output unit for outputting an authentication result of a subject, and a control unit for controlling operations of these units, wherein the control unit outputs the verification group information from the management device when the verification group information is updated. Performing a process of acquiring and storing in the storage unit, and inquiring about face matching by adding face image data of the subject acquired by the camera to the face matching device specified based on the matching group information. and in the face matching device, a process of generating facial feature amount data of the subject from the facial image data of the subject, and matching the facial feature amount data of the subject with the facial feature amount data of the registrant. , and obtains the matching result of the target person from the face matching device.
また、本発明の顔認証方法は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する処理を顔認証機のプロセッサが実行する顔認証方法であって、前記顔認証機が、顔照合装置および管理装置とネットワークを介して接続され、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を前記管理装置から取得して記憶部に記憶させる処理を前記照合グループ情報が更新された際に実行し、カメラにより対象者を撮影し、前記照合グループ情報に基づいて特定した顔照合装置に対して、カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得して、その対象者の照合結果を出力部から出力する構成とする。 Further, the face authentication method of the present invention is a face authentication method in which a processor of a face authentication machine executes a process of photographing a target person for face authentication and sequentially outputting authentication results of the target person, wherein the face authentication is connected to a face matching device and a management device via a network, and matching group information specifying the face matching device to which the same group identification information as the group identification information assigned to the self device is assigned is provided from the management device. When the matching group information is updated, the process of acquiring and storing in the storage unit is executed, the target person is photographed by the camera, and the face matching device specified based on the matching group information is acquired by the camera. Inquiry for face matching is performed by adding the face image data of the target person, and in the face matching device, processing for generating face feature amount data of the target person from the face image data of the target person; A configuration for performing a process of matching the feature amount data and the face feature amount data of the registrant, obtaining the matching result of the target person from the face matching device, and outputting the matching result of the target person from the output unit. and
本発明によれば、顔特徴量生成や顔特徴量照合処理に関するプログラムの更新が発生した場合には、管理装置のもとで顔照合装置に対してプログラムの更新に関する保守作業を行えばよく、顔認証機は、照合グループ情報を管理装置から取得して記憶部に記憶させる処理を実行するだけで、保守作業を行う必要がない。これにより、顔認証機ごとの顔照合の問合せ先を管理装置が管理し、顔認証機自身が自装置に関する顔照合の問合せ先を管理する必要がないため、顔認証機の負荷を軽減することができる。 According to the present invention, when a program related to facial feature amount generation or facial feature amount matching processing is updated, maintenance work related to updating the program may be performed on the face matching apparatus under the control of the management apparatus. The face authentication machine does not need to perform maintenance work just by executing the process of acquiring matching group information from the management device and storing it in the storage unit. As a result, the management device manages the contact for face matching for each face authentication device, and the face authentication device itself does not need to manage the contact for face matching for its own device, thereby reducing the load on the face authentication device. can be done.
前記課題を解決するためになされた第１の発明は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する顔認証機であって、対象者を撮影するカメラと、外部の顔照合装置および外部の管理装置とネットワークを介して通信を行う通信部と、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を記憶する記憶部と、対象者の認証結果を出力する出力部と、これら各部の動作を制御する制御部と、を備え、前記制御部は、前記照合グループ情報が更新された際、前記照合グループ情報を前記管理装置から取得して前記記憶部に記憶させる処理を実行し、前記照合グループ情報に基づいて特定した前記顔照合装置に対して、前記カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得する構成とする。 A first invention, which has been made to solve the above-mentioned problems, is a face authentication machine for photographing a person to be face-recognised and sequentially outputting the authentication result of the person, comprising: a camera for photographing the person; A communication unit that communicates with an external face matching device and an external management device via a network, and matching group information that specifies the face matching device to which the same group identification information as the group identification information assigned to the own device is assigned. , an output unit for outputting the authentication result of the subject, and a control unit for controlling the operation of each of these units, and the control unit controls the verification when the verification group information is updated. Acquiring group information from the management device and storing it in the storage unit, and sending face image data of the target person acquired by the camera to the face matching device specified based on the matching group information. In addition, an inquiry for face matching is performed, and in the face matching device, processing for generating facial feature amount data of the subject from the face image data of the subject, A process of matching with feature amount data is performed, and the matching result of the subject is acquired from the face matching device.
これによると、顔特徴量生成や顔特徴量照合処理に関するプログラムの更新が発生した場合には、管理装置のもとで顔照合装置に対してプログラムの更新に関する保守作業を行えばよく、顔認証機は、照合グループ情報を管理装置から取得して記憶部に記憶させる処理を実行するだけで、保守作業を行う必要がない。これにより、顔認証機ごとの顔照合の問合せ先を管理装置が管理し、顔認証機自身が自装置に関する顔照合の問合せ先を管理する必要がないため、顔認証機の負荷を軽減することができる。 According to this, when a program related to face feature amount generation or face feature amount matching processing is updated, maintenance work related to updating the program can be performed on the face matching apparatus under the control of the management apparatus. The machine does not need to perform maintenance work just by executing the process of acquiring the collation group information from the management device and storing it in the storage unit. As a result, the management device manages the contact for face matching for each face authentication device, and the face authentication device itself does not need to manage the contact for face matching for its own device, thereby reducing the load on the face authentication device. can be done.
また、第２の発明は、前記照合グループ情報は、顔照合の問合せ先となる前記顔照合装置に関するグループ識別情報とネットワークアドレスとを含む構成とする。 In a second aspect of the invention, the matching group information includes group identification information and a network address relating to the face matching device to be an inquiry destination for face matching.
これによると、適切な顔照合装置に対して顔照合処理の実行を要求することができる。 According to this, execution of face matching processing can be requested to an appropriate face matching device.
また、第３の発明は、前記照合グループ情報では、前記グループ識別情報が同一で、かつ、前記ネットワークアドレスが互いに異なる構成とする。 In a third invention, the matching group information has the same group identification information and different network addresses.
これによると、同じグループに属する複数の顔照合装置に対して顔認証の問合せを行うことができる。これにより、死活対応や負荷分散を図ることができる。 According to this, it is possible to inquire about face authentication to a plurality of face matching devices belonging to the same group. As a result, life and death correspondence and load distribution can be achieved.
また、第４の発明は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する処理を顔認証機のプロセッサが実行する顔認証方法であって、前記顔認証機が、顔照合装置および管理装置とネットワークを介して接続され、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を前記管理装置から取得して記憶部に記憶させる処理を前記照合グループ情報が更新された際に実行し、カメラにより対象者を撮影し、前記照合グループ情報に基づいて特定した顔照合装置に対して、カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得して、その対象者の照合結果を出力部から出力する構成とする。 A fourth aspect of the present invention is a face authentication method in which a processor of a face authentication machine executes a process of photographing a target person for face authentication and sequentially outputting authentication results of the target person, wherein the face authentication machine a face matching device and a management device connected via a network, and acquiring from the management device matching group information specifying the face matching device to which the same group identification information as the group identification information assigned to the self device is assigned; is stored in the storage unit when the matching group information is updated, the target person is photographed by the camera, and the target acquired by the camera is sent to the face matching device specified based on the matching group information. Inquiry for face matching is performed by adding face image data of the subject, and in the face matching device, processing for generating facial feature amount data of the subject from the face image data of the subject; and facial feature amount of the subject. The data and the registrant's facial feature amount data are collated, the matching result of the subject is obtained from the face matching device, and the matching result of the subject is output from the output unit. .
これによると、第１の発明と同様に、これによると、第１の発明と同様に、顔認証機ごとの顔照合の問合せ先を管理装置が管理し、顔認証機自身が自装置に関する顔照合の問合せ先を管理する必要がないため、顔認証機の負荷を軽減することができる。 According to this, similarly to the first invention, according to this, the management device manages the inquiry destination of face matching for each face authentication machine, and the face authentication machine itself Since there is no need to manage collation inquiry destinations, the load on the face authentication machine can be reduced.
以下、本発明の実施の形態を、図面を参照しながら説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本実施形態に係る顔認証システムの全体構成図である。 FIG. 1 is an overall configuration diagram of a face authentication system according to this embodiment.
この顔認証システムは、顔認証機１と、管理端末２（端末装置、顔認証管理装置）と、顔認証サーバ３（クラウドサーバ）と、を備えている。顔認証サーバ３は、顔管理サーバ５（顔画像管理部）と、顔照合サーバ６（顔画像照合部）と、を備えている。
This face authentication system includes a
顔認証機１と管理端末２と顔管理サーバ５と顔照合サーバ６とは、インターネットなどのネットワークを介して接続されている。顔認証システムは、顔認証サービスの提供者（事業者）ごとに構築される。顔認証機１は、建物の出入口や部屋の出入口など、顔認証が必要とされる場所ごとに複数設置される。顔照合サーバ６は、顔認証機１の台数などに応じて所要の数が設けられる。
The
顔認証機１は、カメラ１１を備えており、このカメラ１１により、利用者が写る撮影画像を取得する。また、顔認証機１は、ディスプレイ１２を有しており、このディスプレイ１２により、顔照合サーバ６から取得した顔認証結果を表示して、顔認証結果を利用者に通知する。
The
管理端末２は、管理者が操作するものであり、ＰＣで構成され、顔認証機１、顔管理サーバ５および顔照合サーバ６の動作を管理する管理アプリケーションがインストールされている。この管理アプリケーションにより、管理者が種々の管理業務を行うことができる。なお、管理アプリケーションはＷｅｂアプリケーションとして実装される。
The
顔管理サーバ５は、利用者の情報を一元管理する。具体的には、登録された利用者の姓名や顔画像データなどの情報を蓄積して管理する。
The
顔照合サーバ６は、顔認証時に、顔認証の対象者の顔画像データを顔認証機１から取得して、その顔画像データから対象者の顔特徴量データを生成して、その対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較することによる顔照合を行って、対象者が登録者か否かを判定する顔認証を行う。
At the time of face authentication, the
また、顔照合サーバ６は、顔認証に先だって、利用者の登録時に、利用者の顔画像データを管理端末２から取得して、その顔画像データから利用者の顔特徴量データを生成して、自装置に保管する。なお、利用者の撮影画像を管理端末２から取得して、顔照合サーバ６で撮影画像から顔画像データを取得することもできる。
In addition, prior to face authentication, the
なお、本実施形態では、顔管理サーバ５（顔画像管理部）と顔照合サーバ６（顔画像照合部）とを、それぞれ物理的に異なる情報処理装置内に存在するものとしたが、単一の情報処理装置内に存在するものとしてもよい。 In this embodiment, the face management server 5 (face image management section) and the face matching server 6 (face image matching section) are assumed to exist in physically different information processing devices. may exist in the information processing apparatus.
また、本実施形態では、管理端末２と顔管理サーバ５とを設けるようにしたが、管理端末２と顔管理サーバ５とを単一の情報処理装置で構成することができる。例えば顔管理サーバ５に管理アプリケーションをインストールすることで、顔管理サーバ５が管理端末２を兼用することができる。
Further, in this embodiment, the
また、本実施形態では、顔特徴量照合を行うようにしたが、顔照合は、顔特徴量照合に限定されず、機械学習などを適用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。 Further, in the present embodiment, facial feature amount matching is performed, but face matching is not limited to facial feature amount matching, and a matching method that applies machine learning or the like may be employed. Furthermore, this embodiment can be applied to biometric authentication other than face authentication.
次に、照合グループについて説明する。図２は、照合グループの概要を示す説明図である。 Next, the collation group will be explained. FIG. 2 is an explanatory diagram showing an overview of matching groups.
本実施形態では、利用者が顔認証を受ける顔認証機１の設置場所などに応じて、利用者をグループ分けして各利用者に照合グループを設定する。また、利用者と同様に、顔認証機１の設置場所などに応じて、顔認証機１をグループ分けして、各顔認証機１に照合グループを設定する。さらに、顔認証機１に対応する顔照合サーバ６、すなわち、顔認証機１から顔照合の問合せ（リクエスト）を受け付ける顔照合サーバ６を、顔認証機１と同様にグループ分けして、各顔照合サーバ６に照合グループを設定する。
In the present embodiment, users are grouped according to the installation location of the
例えば、複数の会社が入居しているマルチテナントの建物の玄関に設置された顔認証機１では、複数の会社に所属する利用者が顔認証を受ける。一方、所属する組織が異なる利用者の情報を、同一のデータベースで管理することができない。そこで、このような場合には、複数の会社ごとの照合グループを形成して、照合グループ単位で利用者の登録情報を保管し、顔認証機１では、会社ごとの照合グループの顔照合サーバ６に対して顔照合の問合せを行う。
For example, with the
利用者が属する照合グループに対応する顔認証機１でのみ、認証を受けることができる。したがって、登録済みの利用者でも、自分の照合グループに属さない顔認証機１、例えば自分の入館が許可されていない建物の顔認証機１では、認証を受けることができない。
例えば、ある事業所に勤務している利用者が、別の事業所に出向いた場合、その事業所の顔認証機１では認証を受けることができない。
Authentication can be performed only with the
For example, when a user who works at a certain office visits another office, he/she cannot be authenticated by the
次に、顔認証機１から顔照合サーバ６に対する顔照合の問合せについて説明する。図３は、顔認証機１で行われる顔照合の問合せの概要を示す説明図である。
Next, an inquiry about face matching from the
顔認証機１では、自装置と同じ照合グループに属する顔照合サーバ６に対して顔照合の問合せを行い、問合せ先（要求先）となる顔照合サーバ６に顔照合のリクエストを送る。また、顔認証機１には、照合グループ情報として、顔照合サーバ６のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ６に顔照合の問合せを行う。
The
この顔認証の問合せ方法には、図３（Ａ）に示す一斉問合せと、図３（Ｂ）に示すランダム問合せと、図３（Ｃ）に示す順次問合せ（問合せ先切り替え）とがある。 This face authentication inquiry method includes a general inquiry shown in FIG. 3(A), a random inquiry shown in FIG. 3(B), and a sequential inquiry (inquiry destination switching) shown in FIG. 3(C).
図３（Ａ）に示すように、一斉問合せの場合、複数の照合グループの各々に対応した顔照合サーバ６に対して一斉に顔照合の問合せを行う。例えば、顔認証機１が、マルチテナントの建物の玄関に設置され、複数の照合グループの利用者が顔認証を受ける場合、各グループの顔照合サーバ６に対して一斉に顔照合のリクエストを送る。
As shown in FIG. 3A, in the case of a simultaneous inquiry, the
なお、１つの顔照合サーバ６の負荷を軽減するため、１つの照合グループに属する利用者の顔特徴量データを複数の顔照合サーバ６に分割して保管することも可能であり、この場合にも、顔認証機１と同じ照合グループ内で互いに登録内容が異なる全ての顔照合サーバ６に対して一斉に顔照合の問合せを行う。
In order to reduce the load on one
図３（Ｂ）に示すように、ランダム問合せの場合、顔認証機１と同じ照合グループ内の複数の顔照合サーバ６の中から、顔照合の問合せ先となる顔照合サーバ６をランダムに選択する。複数の顔照合サーバ６は登録内容が同一である。すなわち、同一の利用者を照合対象とし、同一の利用者の顔特徴量データを保管している。このような問合せ方法では、顔認証機１からの問合せが各顔照合サーバ６に振り分けられるため、各顔照合サーバ６の負荷を軽減することができ、負荷分散を図ることができる。
As shown in FIG. 3B, in the case of a random inquiry, a
図３（Ｃ）に示すように、順次問合せの場合、顔認証機１と同じ照合グループ内の複数の顔照合サーバ６の中から、顔照合の問合せ先を順次選択する。具体的には、顔照合サーバ６に順番（優先順位）を付与して、その順番にしたがって顔照合サーバ６を選択し、順位の高い顔照合サーバ６から応答がない場合には、送信先を顔照合サーバ６に切り替える。すなわち、照合グループ内の第１順位の顔照合サーバ６を選択して、その顔照合サーバ６に対して顔認証を要求する。そして、顔照合サーバ６から応答がない場合には、同じ照合グループ内の次順位の別の顔照合サーバ６を選択して、その顔照合サーバ６に対して顔認証を要求する。このような制御により冗長化（バックアップ）を図ることができる。
As shown in FIG. 3(C), in the case of sequential inquiries, face matching inquiry destinations are sequentially selected from a plurality of
次に、顔照合ユニットについて説明する。図４は、顔照合ユニットの概要を示す説明図である。 Next, the face matching unit will be explained. FIG. 4 is an explanatory diagram showing an outline of the face matching unit.
顔照合サーバ６には、顔照合を行う顔照合ユニットを複数設けることができる。この顔照合ユニットは、顔照合プログラムを実行する顔照合プロセスと、顔照合の比較対象となる利用者の情報（顔特徴量データ）が登録された顔照合データベースとを有している。
The
この顔照合ユニットは、照合グループごとに設けられており、照合グループに属する顔認証機１からの顔照合のリクエストに応じて顔照合を行う。したがって、１つの顔照合サーバ６で、複数の照合グループに対応することができる。
This face collation unit is provided for each collation group, and performs face collation in response to a face collation request from the
ここで、顔認証機１には、照合グループ情報として、顔照合サーバ６のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ６に顔照合の問合せを行うことができるが、本実施形態では、さらに、顔照合ユニット単位のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合ユニットに顔照合の問合せを行うことができる。
Here, the
また、顔照合データベースは、照合グループごとに設けられるため、利用者の顔特徴量データを照合グループ単位で保管することができる。顔照合プロセスは、グループ単位で保管されている顔特徴量データと、同一のグループの顔認証機１から取得した顔画像データから生成した顔特徴量データとの照合処理を実行する。
In addition, since the face matching database is provided for each matching group, it is possible to store the user's face feature amount data for each matching group. The face matching process performs matching processing between face feature amount data stored in group units and face feature amount data generated from face image data acquired from
ここで、顔認証機１と顔照合ユニットとの対応関係には種々の態様がある。
Here, there are various aspects of the correspondence relationship between the
図４（Ａ）に示す例は、顔照合サーバ６に、顔認証機１が属する照合グループの顔照合ユニットが１つ設けられており、顔認証機１と顔照合サーバ６とが１対１で対応している。
In the example shown in FIG. 4A, the
図４（Ｂ）に示す例は、顔認証機１と顔照合サーバ６とが１対１で対応するが、顔照合サーバ６に、顔認証機１が属する照合グループの顔照合ユニットが２つ設けられている。
この場合、マルチテナントの建物の玄関に設置された顔認証機１の場合に、所属する組織が異なる利用者の情報（例えば、利用者Ａ、利用者Ｂ）を、異なる照合データベースで管理することができる。
In the example shown in FIG. 4B, the
In this case, in the case of the
図４（Ｃ）に示す例は、顔認証機１と顔照合サーバ６とが１対２で対応し、顔認証機１が、２つの顔照合サーバ６に対して顔照合の問合せ（利用者Ｘの照合リクエスト）を行う。この場合、異なる顔照合サーバ６に、同一の顔照合ユニット、すなわち、同一の利用者の顔特徴量データで顔照合を行う顔照合ユニットを２つ以上設けることで、顔照合サーバ６の負荷分散や死活対応を図ることができる。
In the example shown in FIG. 4C, the
次に、顔認証機１の概略構成について説明する。図５は、顔認証機１の概略構成を示すブロック図である。
Next, a schematic configuration of the
顔認証機１は、カメラ１１（撮像部）と、ディスプレイ１２（出力部）と、通信部１３と、記憶部１４と、制御部１５と、を備えている。
The
カメラ１１は、所定の撮影エリアを常時撮影し、撮影エリアに人物が入るとその人物が撮影され、顔認証の対象者の撮影画像を取得することができる。なお、省電力化のため、人感センサ（図示せず）を設けて、人の到来を検知してカメラ１１が起動するようにしてもよい。
The
ディスプレイ１２は、顔認証結果を表示し、顔認証を受ける人物が顔認証結果を確認することができる。なお、対象者の認証結果を出力する出力部としてスピーカーを設けて、顔認証結果を音声で通知するようにしてもよい。
The
通信部１３（顔画像送信部、認証結果受信部）は、ネットワークを介して顔照合サーバ６と通信を行う。本実施形態では、顔画像データを顔照合サーバ６に送信する。また、顔照合サーバ６から利用者の認証結果を受信する。また、通信部１３は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、顔管理サーバ５から照合グループ情報などを受信する。
The communication unit 13 (face image transmission unit, authentication result reception unit) communicates with the
記憶部１４は、照合グループ情報、制御部１５を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
制御部１５は、起動処理部２１と、顔画像抽出部２２と、顔照合要求部２３と、認証結果通知部２４と、認証結果調整部２５と、稼働状況監視部２６と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１４に記憶されたプログラムをプロセッサで実行することで実現される。
The
起動処理部２１は、顔認証機１の起動時に、顔管理サーバ５から照合グループ情報を取得して、記憶部１４に記憶する。なお、照合グループ情報の取得は、これに限らず、照合グループ情報の更新などに伴って、顔管理サーバ５から照合グループ情報を対象の顔認証機１へ配信するようにしても良い。
The
顔画像抽出部２２は、カメラ１１から顔認証の対象者の撮影画像を取得して（カメラ画像キャプチャ）、その撮影画像から人物の顔を検知して（顔検知）、検知した顔のサイズが適正であるかを判定し（顔サイズチェック）、撮影画像から顔領域を切り出して（顔切出し）、対象者の顔画像データを取得する。なお、顔画像データは、顔領域の画像のみのデータでもよいが、撮影画像データと、その撮影画像データ上の顔領域の位置情報（顔枠情報）との組み合わせとしてもよい。
The face
顔照合要求部２３は、自装置と照合グループが一致する顔照合サーバ６に顔照合のリクエストを送信する。
The face
認証結果通知部２４は、顔照合サーバ６から取得した顔認証結果をディスプレイ１２に表示して、顔認証結果を利用者に通知する。
The authentication
認証結果調整部２５は、顔照合サーバ６から取得した利用者の顔照合結果を外部システムの後述の図５７に記載の管理サーバ８（外部装置）と連携するための制御を行う。この認証結果調整部２５は、接続アプリケーションで構成され、利用者の顔照合結果を外部システムの管理サーバ８に通知する。
The authentication
稼働状況監視部２６は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ５に通知する。
The operating
次に、管理端末２について説明する。図６は、管理端末２の概略構成を示すブロック図である。
Next, the
管理端末２は、通信部３１と、ディスプレイ３２（表示部）と、入力デバイス３３（操作部）と、記憶部３４と、制御部３５と、を備えている。
The
通信部３１は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、顔管理サーバ５から画面情報などを受信し、これに応じた管理者の操作情報などを顔管理サーバ５に送信する。
The
ディスプレイ３２は、各種の画面を表示する。入力デバイス３３は、マウスやキーボードなどであり、ディスプレイ３２に表示された画面の操作を行う。
The
記憶部３４は、制御部３５を構成するプロセッサで実行されるプログラム（管理アプリケーション）などを記憶する。
The
制御部３５は、ＧＵＩ制御部４１を備えている。この制御部３５は、プロセッサで構成され、制御部３５の各部は、記憶部３４に記憶されたプログラム（管理アプリケーション）をプロセッサで実行することで実現される。
The
ＧＵＩ制御部４１は、顔管理サーバ５から配信される各種の操作画面をディスプレイ３２に表示する。また、入力デバイス３３を用いた管理者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。本実施形態では、ログインに関連する画面、具体的にはログイン画面に関する表示入力制御を行う。また、利用者管理に関連する画面、具体的には、利用者に関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、照合グループ管理に関連する画面、具体的には、照合グループに関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証機管理に関連する画面、具体的には、認証機と照合グループとの間の関連付けに関する登録、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証ログの参照画面に関する表示入力制御を行う。
The
次に、顔管理サーバ５の概略構成について説明する。図７は、顔管理サーバ５の概略構成を示すブロック図である。
Next, a schematic configuration of the
顔管理サーバ５は、通信部５１と、記憶部５２と、制御部５３と、を備えている。
The
通信部５１は、ネットワークを介して管理端末２と通信を行う。また、通信部５１は、ネットワークを介して顔認証機１と通信を行う。また、通信部５１は、顔照合サーバ６と通信を行う。
The
記憶部５２は、顔情報データベース、顔認証機１と照合グループとの間の関連付け情報に関するデータベース、顔照合サーバ６と照合グループとの間の関連付け情報に関するデータベース、管理者アクセスログ、制御部５３を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
顔情報データベースは、登録された利用者に関する情報として、利用者の姓名、顔画像、照合グループなどが登録される。なお、利用者の顔画像はプライバシー保護のために暗号化された状態で記憶してもよい。 In the face information database, the user's name, face image, collation group, etc. are registered as information about the registered user. Note that the user's face image may be stored in an encrypted state for privacy protection.
制御部５３は、管理者アクセス管理部６１と、利用者管理部６２と、照合グループ管理部６３と、顔認証機管理部６４と、顔照合サーバ管理部６５と、顔情報管理部６６と、データベース管理部６７と、稼働状況監視部６８と、認証ログ提示部６９と、を備えている。この制御部５３は、プロセッサで構成され、制御部５３の各部は、記憶部５２に記憶されたプログラムをプロセッサで実行することで実現される。制御部５３の各部は、ＷｅｂＡＰＩ（Web Application Programming Interface）として構成される。
The
管理者アクセス管理部６１は、管理端末２から自装置にアクセスする管理者のアクセス許可グループに応じて、管理者のアクセス（ログイン）を許可または拒否する。
The administrator
また、管理者アクセス管理部６１は、自装置に対する管理端末２からのアクセスを管理し、管理者が管理端末２を操作して自装置にアクセスすると、そのときの情報を管理者アクセスログ（履歴情報）として記憶部５２に蓄積する。また、管理端末２からの参照要求に応じて、管理者アクセスログを管理端末２に提示する。
In addition, the administrator
利用者管理部６２は、利用者に関する情報を管理し、管理端末２からの要求に応じて、利用者に関する必要な処理を行う。本実施形態では、管理端末２から、利用者に関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
The
照合グループ管理部６３は、照合グループに関する情報を管理し、管理端末２からの要求に応じて、照合グループに関する必要な処理を行う。本実施形態では、管理端末２から、照合グループに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。また、照合グループ情報、すなわち、顔認証機１が自分の照合グループと一致した顔照合サーバ６に顔認証を要求するために必要となる情報を顔認証機１ごとに生成して、その照合グループ情報を顔認証機１に提供する。
The matching
顔認証機管理部６４は、顔認証機１に関する情報を管理し、管理端末２からの要求に応じて、顔認証機１に関する必要な処理を行う。本実施形態では、管理端末２から、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
The face authentication
顔照合サーバ管理部６５は、顔照合サーバ６に関する情報を管理し、管理端末２からの要求に応じて、顔照合サーバ６に関する必要な処理を行う。本実施形態では、管理端末２から、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除の要求が行われ、その要求に応じて必要な処理を行う。
The face matching
顔情報管理部６６は、自装置および顔照合サーバ６にそれぞれ保管された利用者の顔情報を管理する。本実施形態では、自装置に保管された利用者の顔情報（利用者の姓名、顔画像など）と、顔照合サーバ６に保管された利用者の顔情報（利用者の顔特徴量データ）とが整合した状態に維持されるように、顔情報の同期を行う。また、顔情報管理部６６は、顔情報（利用者の顔特徴量データ）のコピーを行う。
The face
データベース管理部６７は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
稼働状況監視部６８は、自装置の稼働状況を監視し、また、顔認証機１および顔照合サーバ６からの稼働状況の通知を受け取り、管理端末２での管理者の操作に応じて、顔認証機１、自装置（顔管理サーバ５）、および顔照合サーバ６の稼働状況を管理端末２に画面表示する。
The operation
認証ログ提示部６９は、管理端末２からの参照要求に応じて、顔照合サーバ６から認証ログを取得して、認証ログを管理端末２に提示する。
The authentication
次に、顔照合サーバ６の概略構成について説明する。図８は、顔照合サーバ６の概略構成を示すブロック図である。
Next, a schematic configuration of the
顔照合サーバ６は、通信部７１と、記憶部７２と、制御部７３と、を備えている。
The
通信部７１（顔画像受信部、認証結果送信部）は、ネットワークを介して顔認証機１と通信を行う。本実施形態では、顔認証機１から顔画像データなどを受信する。また、利用者の認証結果などを顔認証機１に送信する。また、通信部７１は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、各種の処理のリクエストなどを顔管理サーバ５から受信し、それに応じたレスポンスなどを顔管理サーバ５に送信する。
A communication unit 71 (face image receiving unit, authentication result transmitting unit) communicates with the
記憶部７２は、顔照合データベース、利用者と特徴量との間の関連付け情報、自装置の照合グループに関する情報、認証ログ、制御部７３を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
顔照合データベースには、登録された利用者に関する情報として、利用者の顔特徴量データなどが登録される。また、顔照合データベースは、照合グループごとに設けられ、利用者の顔特徴量データをグループ単位で保管する。ここで、登録された利用者の顔特徴量データは、予期しない顔照合データベースからの消失に備えて、顔照合サーバ６内に設けられたＨＤＤやＳＳＤ等の不揮発性メモリへバックアップ保存してもよい。
In the face collation database, the user's facial feature amount data and the like are registered as information on the registered user. A face collation database is provided for each collation group, and stores the user's face feature amount data for each group. Here, the registered user's face feature amount data may be backed up and stored in a non-volatile memory such as an HDD or SSD provided in the
制御部７３は、照合グループ管理部８１と、画像品質チェック部８２と、顔画像抽出部８３と、顔特徴量生成部８４と、顔特徴量管理部８５と、顔特徴量照合部８６と、認証ログ管理部８７と、データベース管理部８８と、稼働状況監視部８９と、を備えている。この制御部７３は、プロセッサで構成され、制御部７３の各部は、記憶部７２に記憶されたプログラムをプロセッサで実行することで実現される。制御部７３の各部は、ＷｅｂＡＰＩとして構成される。
The
照合グループ管理部８１は、自装置が属する照合グループを管理し、顔管理サーバ５からの要求に応じて、照合グループに関する登録や削除の処理を行う。
The matching
画像品質チェック部８２は、撮影画像内の顔領域の画像が所定の品質を満足しているか否かを判定する。具体的には、対象となる画像から、マスクの着用の有無およびサングラスの着用の有無を検知し、また、顔認証適合度（顔の向きや表情による評価値）を算出する。
The image
顔画像抽出部８３は、利用者登録時に、管理端末２から取得した利用者の撮影画像から顔画像を抽出する。このとき、撮影画像から人物の顔を検知し（顔検知）、検知した顔のサイズが適正であるかを判定し（顔サイズチェック）、撮影画像から顔領域を切り出して（顔切出し）、人物の顔画像を取得する。なお、顔認証時に、顔認証機１から取得した対象者の撮影画像から顔画像を抽出するようにしてもよい。
The face
顔特徴量生成部８４は、利用者登録時および顔認証時に、顔画像データから顔特徴点を検出して顔特徴量データを生成する。
The face feature
顔特徴量管理部８５は、利用者登録時に、顔特徴量生成部８４で生成した利用者の顔特徴量データを、利用者の照合グループに対応した顔照合データベースに登録する。また、更新や削除の際に、顔管理サーバ５からの要求に応じて、顔照合データベースに登録された顔特徴量データを削除する。また、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われた場合に、顔管理サーバ５からの要求に応じて、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。
The face feature
顔特徴量照合部８６は、顔認証時に、顔認証機１から取得した顔画像データから生成した対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較して、対象者が登録者か否かを判定する。この顔特徴量照合部８６は、自装置に関連付けされた照合グループに対応したものであり、自装置に複数の照合グループが関連付けられている場合には、照合グループごとの複数の顔特徴量照合部８６を有する。この顔特徴量照合部８６（顔照合プロセス）は、顔照合データベースと組み合わせて顔照合ユニットを構成する。
At the time of face authentication, the face feature
なお、顔特徴量照合部８６では、対象者と登録者との類似度（照合スコア）を算出する。この類似度を所定のしきい値と比較することで、顔認証の成否を判定することができる。この成否の判定結果を照合結果として顔認証機１に通知する他に、類似度の高い登録者に関する人物ＩＤや類似度を照合結果として顔認証機１に通知するようにしてもよい。
It should be noted that the facial feature
認証ログ管理部８７は、顔認証機１から自装置に顔認証の要求が行われると、そのときの情報、すなわち、顔認証の要求元の顔認証機１の機器ＩＤ、顔照合結果などの情報を、認証ログとして記憶部７２に蓄積する。また、顔管理サーバ５からの要求に応じて、認証ログを顔管理サーバ５に提供する。
When the
データベース管理部８８は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
稼働状況監視部８９は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ５に通知する。
The operating
なお、本実施形態では、顔照合サーバ６の主たる機能として、顔画像抽出、顔特徴量生成、および顔特徴量照合の各機能を備えているが、これらの機能を互いに独立した別の情報処理装置で構成することができる。例えば、顔画像抽出の機能を、他の顔特徴量生成および顔特徴量照合などの機能とは独立した別の情報処理装置で構成するようにしてもよい。
In this embodiment, the main functions of the
次に、顔認証時に顔認証機１の顔画像抽出部２２で行われる処理について説明する。図９は、顔認証機１の顔画像抽出部２２で行われる処理の概要を示す説明図である。
Next, processing performed by the face
顔認証機１では、複数のカメラ１１を設けることができる。この場合、カメラ１１から撮影画像を取得するカメラ画像キャプチャプロセスが、カメラ１１ごとに設けられる。このカメラ画像キャプチャプロセスは、顔認証機１を起動した際に開始され、カメラ１１から取得した撮影画像を制御プロセスに渡す。制御プロセスは、各カメラ１１の撮影画像に対して、顔検知、顔サイズチェック、顔切出しの各処理を行う。
A plurality of
なお、顔認証機１では、制御プロセスが、設定ファイルを読み込んで、設定ファイルに記載されたカメラ１１ごとの設定情報に基づいて、カメラ画像キャプチャプロセスを実行する。このとき、カメラ画像キャプチャプロセスは、実行時に、パラメータとして、カメラ種別、カメラ接続情報、画像取得レート、取得画像サイズの各情報を、制御プロセスから受け取る。
In the
顔検知では、カメラ１１の撮影画像に含まれる顔領域を検知する。検知結果に基づいて、顔枠（顔領域を取り囲む矩形の枠）を設定する。
In face detection, a face area included in an image captured by the
ここで、カメラ１１の撮影画像に複数の顔領域が含まれる場合がある。この場合、検知した複数の顔領域の中から、顔認証の対象となる顔領域を選択する（検知顔選別処理）。このとき、顔認証の対象となる顔領域を１つだけ選択するようにしてもよいが、顔認証の対象となる顔領域を複数選択するようにしてもよい。この場合、選択する顔領域の数を管理者が指定できるようにしてもよい。
Here, an image captured by the
この検知顔選別処理では、顔枠の面積に基づいて顔認証の対象となる顔領域を選択すればよい。すなわち、顔枠の幅および高さから顔枠の面積を算出して、各顔枠の面積を比較して、面積が大きい順に所定数の顔領域を選択する。なお、顔領域を１つだけ選択する場合には、面積が最大の顔領域を選択すればよい。また、顔枠の面積が同じ場合には、検知された順に顔領域を選択すればよい。 In this detected face selection process, a face area to be subjected to face authentication may be selected based on the area of the face frame. That is, the area of the face frame is calculated from the width and height of the face frame, the areas of each face frame are compared, and a predetermined number of face regions are selected in descending order of area. If only one face area is selected, the face area with the largest area should be selected. Also, if the areas of the face frames are the same, the face areas may be selected in the order of detection.
また、顔枠の幅に基づいて顔認証の対象となる顔領域を選択するようにしてもよい。すなわち、各顔枠の幅を比較して、幅が大きい順に所定数の顔領域を選択する。なお、顔領域を１つだけ選択する場合には、幅が最大の顔領域を選択すればよい。また、顔枠の幅が同じ場合には、検知された順に顔領域を選択すればよい。 Alternatively, a face area to be subjected to face authentication may be selected based on the width of the face frame. That is, the width of each face frame is compared, and a predetermined number of face regions are selected in descending order of width. If only one face area is selected, the face area with the largest width should be selected. Also, when the width of the face frame is the same, the face areas may be selected in the order of detection.
なお、顔検知の前処理として、例えばグレースケール変換が行われる。 For example, grayscale conversion is performed as preprocessing for face detection.
顔サイズチェックの処理では、撮影画像から検知した顔領域（顔枠）のサイズが所定の基準（適正範囲）を満たしているか否かを判定する。具体的には、顔検知で取得した顔枠の幅および高さが所定の範囲内にある場合に、顔領域のサイズが適正であると判定する。具体的には、顔枠の幅および高さの各々に関して閾値（最小値および最大値）を設定して、顔枠の幅および高さを各々の最小値および最大値と比較して、顔枠の幅がその最小値以上でかつ最大値以下となり、同時に、顔枠の高さがその最小値以上でかつ最大値以下となる場合に、顔領域のサイズが適正であると判定する。 In the face size check process, it is determined whether or not the size of the face area (face frame) detected from the captured image satisfies a predetermined standard (appropriate range). Specifically, when the width and height of the face frame obtained by face detection are within a predetermined range, it is determined that the size of the face area is appropriate. Specifically, a threshold value (minimum value and maximum value) is set for each of the width and height of the face frame, and the width and height of the face frame are compared with the respective minimum and maximum values to obtain the face frame. is greater than or equal to its minimum value and less than or equal to its maximum value, and at the same time the height of the face frame is greater than or equal to its minimum value and less than or equal to its maximum value, it is determined that the size of the face area is appropriate.
図１０、図１１は、顔認証機１で行われる顔切出し処理の概要を示す説明図である。
10 and 11 are explanatory diagrams showing an outline of face extraction processing performed by the
顔切出しの処理では、カメラの撮影画像に対して、顔検知で取得した顔領域（顔枠）を基準にして切り出し領域を設定して、その切出し領域（顔切出し枠）の画像を顔画像として切り出す処理を行う。切出し領域は、顔領域を中心にして、その顔領域を縦方向および横方向に拡張した状態で設定される In the process of extracting a face, the image captured by the camera is set based on the face area (face frame) obtained by face detection, and the image of the extracted area (face frame) is used as the face image. Cut out processing is performed. The clipping area is set with the face area as the center and the face area expanded in the vertical and horizontal directions.
図１０（Ａ）に示す例では、拡張係数ｋを３として、顔検知で検知した顔領域の３倍の領域を切り出し領域に設定している。図１０（Ｂ）に示す例では、拡張係数ｋを４として、顔領域の４倍の領域を切り出し領域に設定している。 In the example shown in FIG. 10A, the expansion coefficient k is set to 3, and an area three times larger than the face area detected by face detection is set as the clipping area. In the example shown in FIG. 10B, the expansion coefficient k is set to 4, and an area four times the size of the face area is set as the clipping area.
ここで、図１０（Ｂ）に示すように、顔枠の左上の頂点Ａの座標（ｘ，ｙ）と顔枠の幅ｗおよび高さｈとから、顔枠の中心Ｂの座標（ｘ'，ｙ'）が次式のように求められる。
（ｘ'，ｙ'）＝（（ｘ＋ｗ）／２，（ｙ＋ｈ）／２）
また、顔枠の幅ｗおよび高さｈと拡張係数ｋとから、切出し領域の幅Ｗおよび高さＨが次式のように求められる。
Ｗ＝ｗ×ｋ
Ｈ＝ｈ×ｋ
そして、顔枠の中心Ｂの座標（ｘ'，ｙ'）と切出し領域の幅Ｗとおよび高さＨとから、切出し領域の左上の頂点Ｃの座標（Ｘ，Ｙ）が次式のように求められる。
（Ｘ，Ｙ）＝（ｘ'－（Ｗ／２），ｙ'－（Ｈ／２））
この切出し領域の左上の頂点Ｃの座標（Ｘ，Ｙ）と切出し領域の幅Ｗとおよび高さＨとにより切出し領域が規定される。
Here, as shown in FIG. 10B, the coordinates (x' , y') is obtained as follows.
(x', y') = ((x+w)/2, (y+h)/2)
Also, from the width w and height h of the face frame and the extension coefficient k, the width W and height H of the cropped region are obtained by the following equations.
W = w x k
H = h x k
Then, from the coordinates (x', y') of the center B of the face frame and the width W and height H of the clipping region, the coordinates (X, Y) of the upper left vertex C of the clipping region are obtained as follows. Desired.
(X, Y) = (x'-(W/2), y'-(H/2))
The cutout area is defined by the coordinates (X, Y) of the upper left vertex C of the cutout area and the width W and height H of the cutout area.
また、撮影画像に切り出し領域の全体が含まれる場合は問題ないが、図１１（Ａ）に示すように、撮影画像に切り出し領域の全体が含まれない場合、すなわち、切り出し領域の一部が撮影画像からはみ出している場合がある。 Also, there is no problem if the entire cutout region is included in the captured image, but as shown in FIG. It may protrude from the image.
この場合、図１１（Ｂ）に示すように、切り出し領域と同じのサイズの背景画像を生成する。この背景画像は、撮影画像からはみ出した余白部を埋めるものであり、所定色（例えば黒色）で塗り潰されている。また、図１１（Ｃ）に示すように、撮影画像から切り出し領域の画像を切り出して、切出し画像を取得する。そして、図１１（Ｄ）に示すように、背景画像上に切出し画像を重ね合わせて、顔画像を生成する。 In this case, as shown in FIG. 11B, a background image having the same size as the clipping area is generated. This background image fills in the margins protruding from the photographed image, and is filled with a predetermined color (for example, black). Also, as shown in FIG. 11C, the image of the cutout region is cut out from the captured image to acquire the cutout image. Then, as shown in FIG. 11D, the clipped image is superimposed on the background image to generate a face image.
次に、顔画像抽出処理について説明する。図１２は、顔画像抽出処理の概要を示す説明図である。 Next, face image extraction processing will be described. FIG. 12 is an explanatory diagram showing an outline of face image extraction processing.
前記のように、顔認証機１の顔画像抽出部２２において、顔画像抽出処理、すなわち、顔検知、顔サイズチェック、顔切出しの各処理により、利用者の撮影画像データから顔画像データを生成する処理が行われるが、この顔画像抽出処理は、顔照合サーバ６の顔画像抽出部８３でも同様に行われる。
As described above, the face
利用者登録時には、管理端末２から顔管理サーバ５を介して顔照合サーバ６に利用者の撮影画像データを送ることで、顔照合サーバ６の顔画像抽出部８３で顔画像抽出処理を行う。
At the time of user registration, photographed image data of the user is sent from the
一方、顔認証時には、顔認証機１でのみ顔画像抽出処理を行い、顔照合サーバ６では顔画像抽出処理を行わない。この場合、顔認証機１に高精度な顔検知の機能を与える。また、顔認証機１ではカメラ１１で撮影エリアを常時撮影し、顔が検知されたタイミングで顔画像情報（撮影画像データと顔枠情報）を顔照合サーバ６に送るようにする。これにより、顔画像抽出処理の負荷が複数の顔認証機１に分散され、顔照合サーバ６の負荷を軽減することができる。また、通信量の削減を図ることができるため、ネットワークの負荷を軽減することができる。そして、顔認証の応答を高速に行うことができるため、次々に現れる対象者の顔認証を効率よく行うことができる。
On the other hand, during face authentication, only the
すなわち、利用者の顔認証処理を顔認証機１と顔照合サーバ６とで分担する構成としたので、従来のように利用者の顔認証処理の全てを顔認証機１へ集中させた高価な認証機を多数設ける必要がない。また、顔特徴量データの更新などが発生しても、大規模な認証機のメンテナンス作業を必要とせず、顔照合サーバ６での作業で済む。したがって、本実施形態によれば、安価な構成、かつ、作業性に優れた顔認証システムを構築することができる。
That is, since the user's face authentication processing is shared between the
なお、管理端末２が顔画像抽出の機能を備えない構成、すなわち、管理端末２に顔画像抽出部２２を設けないようにしてもよい。
Note that the
図１３は、照合グループ情報による顔認証の問合せの概要を示す説明図である。 FIG. 13 is an explanatory diagram showing an outline of an inquiry about face authentication based on matching group information.
顔管理サーバ５は、利用者が属する照合グループに関する情報と、顔認証機１と照合グループとの間の関連付け情報と、顔照合サーバ６と照合グループとの間の関連付け情報と、を保持する。また、顔管理サーバ５の照合グループ管理部６３では、顔認証機１と照合グループとの間の関連付け情報と、顔照合サーバ６と照合グループとの間の関連付け情報とに基づいて、顔認証機１ごとの照合グループ情報を生成する。
The
この照合グループ情報は、顔認証機１が自分の照合グループと一致した顔照合サーバ６に顔認証を要求するために必要となる情報である。この照合グループ情報には、顔認証機１が属する照合グループの識別情報（グループ番号）と、その顔認証機１から顔認証を要求する顔照合サーバ６、すなわち、顔認証機１との照合グループに対応する顔照合サーバ６の宛先情報とが含まれる。ここで、宛先情報は、具体的には、顔照合サーバ６のネットワークアドレス（例えばＩＰアドレス）であり、この宛先情報により、顔認証の要求先となる顔照合サーバ６が特定され、顔認証機１と、その顔認証の要求先となる顔照合サーバ６とが関連付けられる。なお、顔認証機１が複数の照合グループに所属する場合には、対応する複数の顔照合サーバ６ごとのアドレス（ＩＰアドレス）が照合グループ情報に含まれる。
This collation group information is information necessary for the
顔認証機１では、起動時などに、起動処理部２１が動作設定情報として顔管理サーバ５から照合グループ情報を取得して自装置に記憶する。顔認証機１では、人物の顔を検知すると、自装置が属する照合グループと一致する顔照合サーバ６に対して顔照合のリクエストを送る。この顔照合のリクエストには、自装置が属する照合グループの情報などを含む。
In the
なお、顔認証機１において、照合グループ情報などに関する設定情報を顔管理サーバ５から取得するタイミングは、起動時の他、所定のタイミングでまたは所定間隔で定期的に行うようにしてもよく、または、顔管理サーバ５から照合グループ情報を配信する構成を採用することもできる。
In addition, in the
顔照合サーバ６では、自装置の顔照合プロセスと照合グループとの間の関連付け情報を保持する。顔照合サーバ６では、顔認証機１からの顔認証のリクエストを受け取ると、照合グループと顔認証プロセスとの間の関連付け情報と、顔認証機１から取得した照合グループとに基づいて、顔認証機１に対応する顔認証プロセスを特定して、その顔認証プロセスに顔照合を行わせる。これにより、指定された照合グループに対応した顔認証プロセスで顔照合処理が行われる。
The
ところで、本実施形態では、顔照合サーバ６において、照合グループごとに顔照合データベースを設けて、照合グループ単位で顔特徴量データを保管する。このため、顔照合時には、顔認証機１の照合グループに対応する顔照合データベースに登録された顔特徴量データを対象にして顔照合を行えばよい。一方、顔照合サーバ６において、顔認証機１の照合グループに関係なく照合を行った上で、照合結果に対してフィルタをかけるようにしてもよい。すなわち、顔照合サーバ６に保管された全ての利用者の顔特徴量データを対象にして顔照合を行った上で、顔認証機１の照合グループに属する利用者との照合結果のみを抽出するようにしてもよい。この場合、照合グループごとに顔照合データベースを分けて設けないようにしてもよい。
By the way, in this embodiment, the
次に、管理者アクセス管理について説明する。 Next, administrator access management will be described.
本システムでは、管理端末２から顔管理サーバ５および顔照合サーバ６へのアクセスを管理する。顔管理サーバ５は、管理者アクセス管理部６１を備えている。このアクセス管理部は、顔管理サーバ５および顔照合サーバ６に対する管理端末２からのアクセス（ログイン）の状況を監視し、管理端末２からのアクセスを検知すると、そのアクセスに関する情報（アクセスした管理者や日時など）を管理者アクセスログ（履歴情報）として記録する。また、顔管理サーバ５は、管理端末２からの管理者アクセスログの参照の要求に応じて、管理端末２に管理者アクセスログを提供し、管理者が管理者アクセスログを閲覧することができる。
This system manages access from the
本実施形態では、利用者の情報に対するアクセス権を管理者に設定して、利用者の情報に対するアクセス（利用者情報の登録、参照、更新および削除など）を制限する。管理者に与えられるアクセス権の違いに応じて、管理者を複数の管理者グループにグループ分けする。ここでは、管理者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。 In this embodiment, access rights to user information are set for administrators, and access to user information (registration, reference, update, deletion, etc. of user information) is restricted. Group administrators into multiple administrator groups according to the different access rights granted to them. Here, administrators are grouped into system administrators, service administrators, and general administrators.
また、本実施形態では、利用者の情報にアクセスできる管理者グループに応じて、利用者を複数のアクセス許可グループにグループ分けする。アクセス許可グループは、当該利用者のデータにアクセスすることができる管理者グループである。ここでは、利用者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。 In addition, in this embodiment, users are grouped into a plurality of access permission groups according to administrator groups that can access user information. An access permission group is a group of administrators who can access the user's data. Here, users are grouped into system administrators, service administrators, and general administrators.
顔管理サーバ５では、管理者のログインを受け付けた際に、ログインした管理者の管理者グループ（管理者種別）を取得して、その管理者グループと、対象となる利用者が属するアクセス許可グループとに基づいて、利用者の情報に対するアクセス（参照、更新および削除）の可否を判定して、利用者の情報に対するアクセスを許可する。すなわち、管理者が属する管理者グループで許可されている利用者の情報に対してのみ、参照、更新および削除の処理を行わせることができる。
The
システム運用管理者は、本システムの運用（保守など）を管理する人物であり、すべての利用者、すなわち、アクセス許可グループがシステムユーザ、管理ユーザ、一般ユーザのいずれかとなる利用者の情報にアクセスすることができる。また、サービス運用管理者は、本システムによる顔認証サービスの運用（利用者の登録・削除など）を管理する人物であり、アクセス許可グループが管理ユーザまたは一般ユーザとなる利用者の情報にアクセスすることができる。また、一般管理者は、サービス運用管理者から権限を付与された人物であり、アクセス許可グループが一般ユーザとなる利用者の情報にのみアクセスすることができる。 The system administrator is the person who manages the operation (maintenance, etc.) of this system, and accesses information of all users, i.e., users whose access permission group is system user, administrative user, or general user. can do. In addition, the service operation manager is a person who manages the operation of the face authentication service by this system (user registration/deletion, etc.), and accesses the information of users whose access permission group is an administrative user or a general user. be able to. Also, the general administrator is a person who is authorized by the service operation administrator, and can access only the information of users whose access permission group is general users.
図１４は、管理端末２に表示されるログイン画面を示す説明図である。
FIG. 14 is an explanatory diagram showing a login screen displayed on the
管理端末２では、管理アプリケーションを起動して顔管理サーバ５にアクセスすると、ログイン画面が表示される。このログイン画面では、管理者が自分のユーザＩＤとパスワードとを入力することができる。このログイン画面で管理者がユーザＩＤおよびパスワードを入力してログインボタンを操作すると、顔管理サーバ５において、ユーザ認証が行われる。ログインに成功した場合、トップ画面を表示する。ログインに失敗した場合、エラーを表示する。
In the
次に、照合グループに関する登録、参照、更新および削除について説明する。図１５、図１６は、照合グループに関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update and deletion of matching groups will be described. 15 and 16 are explanatory diagrams showing screens displayed on the
管理端末２では、照合グループに関する登録、参照、更新および削除の際に、図１５（Ａ）に示す参照画面、図１５（Ｂ）に示す登録画面、図１５（Ｃ）に示す更新画面、および図１６に示す削除画面が表示される。 15A, the registration screen shown in FIG. 15B, the update screen shown in FIG. A delete screen shown in FIG. 16 is displayed.
図１５（Ａ）に示す参照画面は、登録済みの照合グループを一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。 The reference screen shown in FIG. 15A displays a list of registered matching groups. By viewing this reference screen, the administrator can confirm the registered content of the matching group.
この参照画面には、一覧表示部１０１と更新ボタン１０２とが設けられている。一覧表示部１０１では、登録済みの照合グループごとに、照合グループＩＤ（番号）と、照合グループに関する説明（設置場所）とが並べて表示される。これにより、登録済みの照合グループを管理者が確認することができる。この参照画面では、更新ボタン１０２を操作すると、一覧表示部１０１が最新の登録内容に更新される。また、照合グループを選択する、具体的には、照合グループＩＤを操作することで、更新画面（図１５（Ｃ）参照）に遷移する。
This reference screen is provided with a
また、この参照画面では、項目（照合グループ、説明）を指定してソートを実行することができる。なお、一覧表示部１０１の表示件数（顔照合サーバ６の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔照合サーバ６、説明）に関する検索条件を指定して検索できるようにしてもよい。
Also, on this reference screen, sorting can be executed by specifying items (collation group, description). It should be noted that the number of items displayed in the list display section 101 (the number of face matching servers 6) and the display range of the
図１５（Ｂ）に示す登録画面（第１の画面）は、管理者に照合グループの登録を行わせるものである。 The registration screen (first screen) shown in FIG. 15B allows the administrator to register a matching group.
この登録画面には、説明入力部１０３と登録ボタン１０４とが設けられている。説明入力部１０３では、照合グループに関する説明を入力することができる。説明を入力した上で登録ボタン１０４を操作すると、入力内容で照合グループ情報をデータベースに登録する処理が顔管理サーバ５で行われる。
This registration screen is provided with an
図１５（Ｃ）に示す更新画面は、管理者に照合グループの登録内容の更新を行わせるものである。 The update screen shown in FIG. 15C allows the administrator to update the registered content of the matching group.
この更新画面には、説明入力部１０５と更新ボタン１０６とが設けられている。説明入力部１０５では、照合グループに関する説明を入力することができる。説明を入力した上で更新ボタン１０６を操作すると、データベースに登録された照合グループ情報を入力内容で更新する処理が顔管理サーバ５で行われる。
This update screen is provided with an
図１６に示す削除画面は、管理者に照合グループの削除を行わせるものである。 The delete screen shown in FIG. 16 allows the administrator to delete the matching group.
この削除画面には、一覧表示部１０７と削除ボタン１０８とが設けられている。一覧表示部１０７では、登録済みの照合グループ（番号）と、照合グループに関する説明とが一覧表示される。また、この一覧表示部１０７には、照合グループごとにチェックボックスが設けられている。チェックボックスにより照合グループを選択することができる。チェックボックスにより削除する照合グループを選択して削除ボタン１０８を操作すると、選択した照合グループを削除する処理が顔管理サーバ５で行われる。
A
ここで、メニュー画面（図示せず）において参照を選択することで、図１５（Ａ）に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図１５（Ｂ）に示す登録画面に遷移する。また、メニュー画面において更新を選択することで、図１５（Ｃ）に示す更新画面に遷移する。また、メニュー画面において削除を選択することで、図１６に示す削除画面に遷移する。 Here, by selecting reference on the menu screen (not shown), the screen transitions to the reference screen shown in FIG. 15(A). Also, by selecting registration on the menu screen, the screen transitions to the registration screen shown in FIG. 15(B). Further, by selecting update on the menu screen, the screen transitions to the update screen shown in FIG. 15(C). Also, by selecting delete on the menu screen, the screen transitions to the delete screen shown in FIG. 16 .
次に、照合グループに関する登録、参照、更新および削除の処理について説明する。図１７は、照合グループに関する登録、参照、および更新の処理の手順を示すシーケンス図である。図１８は、照合グループに関する登録、参照、更新の処理の概要を示す説明図である。 Next, the processing of registration, reference, update and deletion of a collation group will be described. FIG. 17 is a sequence diagram showing procedures for registration, reference, and update processing for a collation group. FIG. 18 is an explanatory diagram showing an overview of registration, reference, and update processing for a collation group.
まず、本システムにおける照合グループに関する登録処理について説明する。 First, registration processing for a collation group in this system will be described.
図１７（Ａ）に示すように、管理端末２では、管理者が、照合グループに関する登録を指示する操作を行う。本実施形態では、照合グループに関する登録画面（図１５（Ｂ）参照）において、管理者が、照合グループを登録する操作を行う。
As shown in FIG. 17A, on the
図１８に示すように、顔管理サーバ５では、管理端末２において照合グループの登録を指示する操作が行われると、照合グループ管理部６３において照合グループに関する登録処理を行う。この登録処理では、管理者が入力した照合グループの情報を、照合グループのデータベースに登録する。
As shown in FIG. 18 , in the
そして、顔管理サーバ５では、照合グループに関する登録処理が終了すると、登録処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセス管理部６１において管理者アクセスログを記録する。
After completing the registration process for the matching group, the
次に、照合グループに関する参照処理について説明する。 Next, a reference process regarding a collation group will be described.
図１７（Ｂ）に示すように、管理端末２では、管理者が、照合グループに関する参照を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する参照画面（図１５（Ａ）参照）を開く操作を行う。
As shown in FIG. 17(B), at the
顔管理サーバ５では、管理端末２において照合グループの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、照合グループに関するデータベースを参照して、全ての照合グループを対象にした照合グループのリスト情報を生成して、そのリスト情報に基づいて、全ての照合グループを対象にした参照画面を管理端末２に表示させる。また、管理者が、管理端末２に表示された参照画面（図１５（Ａ）参照）において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末２に表示させる。
In the
次に、照合グループに関する更新処理について説明する。 Next, update processing for matching groups will be described.
図１７（Ｃ）に示すように、管理端末２では、管理者が照合グループの更新を指示する操作を行う。本実施形態では、照合グループに関する更新画面（図１５（Ｃ）参照）において、更新内容を入力して更新ボタン１０６を操作する。
As shown in FIG. 17(C), at the
顔管理サーバ５では、管理端末２において照合グループの更新を指示する操作が行われると、照合グループに関する更新処理を行う。この更新処理では、照合グループに関するデータベースを、管理者が指定した内容で更新する。そして、顔管理サーバ５では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。
In the
次に、照合グループに関する削除処理について説明する。図１９は、照合グループに関する削除処理の手順を示すシーケンス図である。図２０は、照合グループに関する削除処理の概要を示す説明図である。 Next, deletion processing for a collation group will be described. FIG. 19 is a sequence diagram showing the procedure of deletion processing for a collation group. FIG. 20 is an explanatory diagram showing an outline of deletion processing regarding a collation group.
図１９に示すように、管理端末２では、管理者が照合グループの削除を指示する操作を行う。本実施形態では、照合グループに関する削除画面（図１６参照）において、削除対象となる照合グループを選択して削除ボタン１０８を操作する。
As shown in FIG. 19, at the
図２０に示すように、顔管理サーバ５では、管理端末２において照合グループの削除を指示する操作が行われると、照合グループに関する削除処理を行う。この削除処理では、管理者が指定した照合グループの登録情報を、照合グループに関するデータベースから削除する。また、対象となる照合グループと顔照合サーバ６との間の関連付け情報を削除する。このとき、対象となる照合グループと顔照合サーバ６との間の関連付け情報を削除してから、照合グループの登録情報を削除する。また、照合グループと利用者との間の関連付けのデータベースから、対象となる照合グループに関する情報を削除する。また、対象となる照合グループに属する利用者の顔情報（顔特徴量データ）を顔情報データベースから削除する。また、対象となる照合グループと顔認証機１との間の関連付け情報を削除する。また、顔管理サーバ５では、管理者アクセス管理部６１において管理者アクセスログを記録する。
As shown in FIG. 20, when an operation is performed on the
また、顔管理サーバ５では、照合グループ削除のリクエストを顔照合サーバ６に送る。この照合グループ削除のリクエストには、削除の対象となる照合グループの情報が含まれる。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、指定された照合グループと顔照合部（顔照合プロセス）との間の関連付け情報を削除する。このとき、削除対象となる照合グループに関する顔照合部を停止するとともに、照合グループに対応した顔照合データベースを削除する。
When the
そして、顔照合サーバ６では、削除処理が終了すると、照合グループ削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
After completing the deletion process, the
顔管理サーバ５では、顔照合サーバ６からの照合グループ削除のレスポンスを受け取り、自装置の削除処理も終了すると、削除処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。
When the
なお、顔認証機１では、再起動することで、この処理が反映され、照合グループの情報が削除される。
In addition, in the
次に、照合グループに関する一括登録処理について説明する。図２１は、照合グループに関する一括登録処理の手順を示すシーケンス図である。 Next, batch registration processing for matching groups will be described. FIG. 21 is a sequence diagram showing the procedure of collective registration processing for matching groups.
本システムでは、対象となる照合グループに関する情報を格納したリスト情報のファイルを用いて、顔管理サーバ５に照合グループを一括登録することができる。
In this system, it is possible to collectively register matching groups in the
具体的には、まず、管理端末２では、照合グループに関する一括登録を指示する操作を行う。本実施形態では、登録画面（図示せず）において、管理者が、対象となる照合グループに関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
Specifically, first, in the
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末２の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で照合グループの一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
At this time, the selected list information file is read and the list information is displayed on the confirmation screen of the
顔管理サーバ５では、管理端末２において照合グループの一括登録を指示する操作が行われると、照合グループに関する一括登録処理を行う。この一括登録処理では、管理端末２から取得した照合グループのリスト情報に基づいて、対象となる各照合グループに関する登録処理を繰り返す。
In the
そして、顔管理サーバ５では、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。このとき、登録に失敗した照合グループを管理者に報告し、その照合グループに関する再登録を催促する。登録結果をログファイルで出力する。
When the collective registration processing is completed, the
なお、ここでは、照合グループに関する一括登録処理について説明したが、照合グループに関する一括更新や一括削除の処理も可能である。 Incidentally, although the batch registration processing for the matching group has been described here, batch update and batch deletion processing for the matching group is also possible.
次に、本システムにおける顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除について説明する。図２２、図２３は、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update, and deletion regarding the association between the
管理端末２では、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図２２（Ａ）に示す参照画面、図２２（Ｂ）に示す登録画面、および図２３に示す削除画面が表示される。 22A, the registration screen shown in FIG. 22B, and the registration screen shown in FIG. A delete screen shown in FIG. 23 is displayed.
図２２（Ａ）に示す参照画面は、登録済みの顔認証機１と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
The reference screen shown in FIG. 22A displays a list of association settings between registered
この参照画面には、一覧表示部１１１と顔認証機指定部１１２とが設けられている。一覧表示部１１１では、各認証機の機器ＩＤと、各認証機に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。顔認証機指定部１１２では、プルダウンメニューにより、対象となる顔認証機１（機器ＩＤ）を選択することができる。これにより、一覧表示部１１１の表示内容を特定の顔認証機１に絞り込むことができ、一覧表示部１１１に、特定の顔認証機１に関連付けられた照合グループのみが表示される。なお、顔認証機指定部１１２で顔認証機１を指定しない場合には、一覧表示部１１１に、全ての顔認証機１に関する情報が表示される。
This reference screen is provided with a
また、この参照画面では、項目（機器ＩＤ、顔認証機１、説明）を指定してソートを実行することができる。なお、一覧表示部１１１の表示件数（顔認証機１の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔認証機１、説明）に関する検索条件を指定して検索できるようにしてもよい。
Also, on this reference screen, items (device ID, face
なお、図２２（Ａ）に示した例では、顔認証機１が設置された場所（例えば事業所の所在地）で顔認証機１がグループ分けされている。
In the example shown in FIG. 22A, the
図２２（Ｂ）に示す登録画面（第２の画面）は、顔認証機１と照合グループとの関連付け設定を行わせるものである。認証機に照合グループを関連付ける情報を登録することができる。
The registration screen (second screen) shown in FIG. 22B is for setting association between the
この登録画面には、認証機指定部１１３と照合グループ指定部１１４と登録ボタン１１５とが設けられている。認証機指定部１１３では、プルダウンメニューにより、対象となる顔認証機１（機器ＩＤ）を選択することができる。照合グループ指定部１１４では、プルダウンメニューにより、対象となる顔認証機１の照合グループを選択することができる。このプルダウンメニューには、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。この登録画面で顔認証機１および照合グループを入力した上で登録ボタン１１５を操作すると、入力内容で照合グループ情報を登録する処理が顔管理サーバ５で行われる。
This registration screen is provided with an authentication
なお、１つの顔認証機１に複数の照合グループを関連付ける場合があるが、この場合には、登録画面で１つの顔認証機１に１つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部１１４を複数設けるようにしてもよい。
A plurality of matching groups may be associated with one
図２３に示す削除画面は、顔認証機１と照合グループとの関連付け設定を削除するものである。
The deletion screen shown in FIG. 23 is for deleting association setting between the
この削除画面には、一覧表示部１１６と顔認証機指定部１１７と削除ボタン１１８とが設けられている。一覧表示部１１６では、各認証機の機器ＩＤと、各顔認証機１に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。また、この一覧表示部１１６には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン１１８を操作すると、選択した登録事項を削除する処理が顔管理サーバ５で行われる。顔認証機指定部１１７では、プルダウンメニューにより顔認証機１を選択することができる。これにより、特定の顔認証機１に絞り込んだ状態で一覧表示部１１６の表示内容が更新される。
The deletion screen is provided with a
ここで、メニュー画面（図示せず）において参照を選択することで、図２２（Ａ）に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図２２（Ｂ）に示す登録画面に遷移する。また、メニュー画面において削除を選択することで、図２３に示す削除画面に遷移する。また、メニュー画面において更新を選択することで、更新画面（図示せず）に遷移する。また、参照画面において、管理者が、顔認証機１と照合グループとの関連付けを選択すると、更新画面（図示せず）に遷移する。
Here, by selecting reference on the menu screen (not shown), the screen transitions to the reference screen shown in FIG. 22(A). Also, by selecting registration on the menu screen, the screen transitions to the registration screen shown in FIG. 22(B). Also, by selecting delete on the menu screen, the screen transitions to the delete screen shown in FIG. 23 . Also, by selecting update on the menu screen, the screen transitions to an update screen (not shown). Further, when the administrator selects association between the
なお、図２３に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面で削除ができるようにしてもよい。また、更新画面（図示せず）は、登録画面（図２２（Ｂ））と同様である。 Note that, in the example shown in FIG. 23, a list of registered associations is displayed on the deletion screen, but deletion may be performed on the individual editing screen. Also, the update screen (not shown) is the same as the registration screen (FIG. 22(B)).
次に、顔認証機１と照合グループとの間の関連付けに関する登録処理について説明する。図２４は、顔認証機１と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。図２５は、顔認証機１と照合グループとの間の関連付けに関する登録処理の概要を示す説明図である。
Next, a registration process for associating the
管理端末２では、管理者が、登録画面（図参照）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において登録を選択する操作を行う。
On the
図２５に示すように、顔管理サーバ５では、管理端末２において登録画面を開く操作が行われると、登録機器（顔認証機１および顔照合サーバ６）に関するデータベースを参照して、顔認証機１のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機１のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末２に表示する。
As shown in FIG. 25, when an operation to open a registration screen is performed on the
次に、管理端末２では、管理者が、登録画面において、顔認証機１と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面（図２２（Ｂ）参照）において、顔認証機１と照合グループとの組み合わせを入力して登録ボタンを操作する。
Next, in the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの登録を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔認証機１と照合グループとの組み合わせで関連付け情報をデータベースに登録する。なお、顔認証機１と照合グループとの間の関連付けは、顔認証機１を再起動させることで反映される。
In the
そして、顔管理サーバ５では、登録処理が終了すると、登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。
After completing the registration process, the
次に、顔認証機１と照合グループとの間の関連付けに関する参照処理について説明する。図２６は、顔認証機１と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
Next, reference processing regarding association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面（図２２（Ａ）参照）を開く操作を行う。
At the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、顔認証機１と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ６を対象にした関連付け情報のリストを生成して、参照画面を管理端末２に表示させる。また、管理者が、参照画面において、対象となる顔認証機１を絞り込む操作を行うと、選択した顔認証機１を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末２に表示させる。また、管理者が、参照画面において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末２に表示させる。
In the
また、顔管理サーバ５では、管理者アクセスログを記録する。
The
次に、顔認証機１と照合グループとの間の関連付けに関する更新処理について説明する。図２７は、顔認証機１と照合グループとの間の関連付けに関する更新処理の手順を示すシーケンス図である。
Next, update processing regarding the association between the
管理端末２では、管理者が、更新画面（図示せず）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において更新を選択する操作を行う。
On the
顔管理サーバ５では、管理端末２において更新画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔認証機１のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機１のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、更新画面を管理端末２に表示する。この更新画面では、顔認証機１と照合グループとの間の関連付けに関する登録情報に基づいて、初期状態で、現在登録されている組み合わせが表示される。
When an operation to open an update screen is performed on the
次に、管理端末２では、管理者が、更新画面において、顔認証機１と照合グループとの間の関連付けの更新を指示する操作を行う。本実施形態では、更新画面（図示せず）において、更新内容を入力して更新ボタンを操作する。なお、更新内容とは、認証機と照合グループとの組み合わせを変更するものである。
Next, in the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの更新を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する更新処理を行う。この更新処理では、顔認証機１と照合グループとの間の関連付けに関するデータベースを、管理者が指定した内容で更新する。管理者が入力した認証機と照合グループとの組み合わせでデータベースの関連付け情報を更新する処理を行う。そして、顔管理サーバ５では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。
In the
次に、顔認証機１と照合グループとの間の関連付けに関する削除処理について説明する。図２８は、顔認証機１と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。
Next, deletion processing regarding the association between the
管理端末２では、管理者が、認証機と照合グループとの関連付けの削除を指示する操作を行う。本実施形態では、削除画面（図２３参照）において、登録事項（関連付け）を選択して削除ボタンを操作する。
At the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの削除を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、管理者が指定した顔認証機１と照合グループとの間の関連付け情報を削除する。
In the
そして、顔管理サーバ５では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the deletion process is completed, the
次に、本システムにおける顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除について説明する。図２９、図３０は、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, and deletion relating to association between the
管理端末２では、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図２９（Ａ）に示す参照画面、図２９（Ｂ）に示す登録画面、および図３０に示す削除画面が表示される。 29A, the registration screen shown in FIG. 29B, and the registration screen shown in FIG. A delete screen shown in FIG. 30 is displayed.
図２９（Ａ）に示す参照画面は、登録済みの顔照合サーバ６と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
The reference screen shown in FIG. 29A displays a list of association settings between registered
この参照画面には、一覧表示部１２１と顔照合サーバ指定部１２２とが設けられている。一覧表示部１２１では、各顔照合サーバ６の機器ＩＤと、各認証機に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。顔照合サーバ指定部１２２では、プルダウンメニューにより、対象となる顔照合サーバ６（機器ＩＤ）を選択することができる。これにより、一覧表示部１２１の表示内容を特定の顔照合サーバ６に絞り込むことができ、一覧表示部１２１に、特定の顔照合サーバ６に関連付けられた照合グループのみが表示される。なお、顔照合サーバ６指定部で顔照合サーバ６を指定しない場合には、一覧表示部１２１に、全ての顔照合サーバ６に関する情報が表示される。
This reference screen is provided with a
また、この参照画面では、項目（機器ＩＤ、顔照合サーバ６、説明）を指定してソートを実行することができる。なお、一覧表示部１２１の表示件数（顔照合サーバ６の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔照合サーバ６、説明）に関する検索条件を指定して検索できるようにしてもよい。
Also, on this reference screen, it is possible to specify items (device ID, face matching
図２９（Ｂ）に示す登録画面（第２の画面）は、照合グループと顔照合サーバ６との間の関連付けを指定するものである。
The registration screen (second screen) shown in FIG. 29B is for designating association between the matching group and the
この登録画面には、顔照合サーバ指定部１２３と照合グループ指定部１２４と登録ボタン１２５とが設けられている。顔照合サーバ６指定部では、プルダウンメニューにより顔照合サーバ６の機器ＩＤを選択することができる。照合グループ指定部１２４では、プルダウンメニューにより照合グループを選択することができる。プルダウンメニューには、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。
The registration screen is provided with a face matching
顔照合サーバ６および照合グループを指定して登録ボタン１２５を操作すると、指定した顔照合サーバ６と照合グループとの組み合わせで照合グループと顔照合サーバ６との間の関連付け情報が登録される。
When a
なお、１つの顔照合サーバ６に複数の照合グループを割り当てる場合があり、この場合には、登録画面で１つの顔照合サーバ６に１つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部１２４を複数設けるようにしてもよい。
A plurality of matching groups may be assigned to one
図３０に示す削除画面は、顔照合サーバ６と照合グループとの関連付け設定を削除するものである。
The deletion screen shown in FIG. 30 is for deleting the association setting between the
この削除画面には、一覧表示部１２６と顔照合サーバ指定部１２７と削除ボタン１２８とが設けられている。一覧表示部１２６では、各顔照合サーバ６の機器ＩＤと、各顔照合サーバ６に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。また、この一覧表示部１２６には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン１２８を操作すると、選択した登録事項を削除する処理が顔管理サーバ５で行われる。顔照合サーバ指定部１２７では、プルダウンメニューにより顔照合サーバ６を選択することができる。これにより、特定の顔照合サーバ６に絞り込んだ状態で一覧表示部１２６の表示内容が更新される。
A
ここで、図２９（Ａ）に示す参照画面は、メニュー画面（図示せず）で参照を選択することで表示される。図２９（Ｂ）に示す登録画面は、メニュー画面（図示せず）で登録を選択することで表示される。図３０に示す削除画面は、メニュー画面（図示せず）で削除を選択することで表示される。また、図２９（Ａ）に示す参照画面の一覧表示部１２１で顔照合サーバ６を選択すると、図２９（Ｂ）に示す登録画面に遷移し、ここで、顔照合サーバ６と照合グループとの関連付けを変更することができる。
Here, the reference screen shown in FIG. 29A is displayed by selecting reference on a menu screen (not shown). The registration screen shown in FIG. 29B is displayed by selecting registration on a menu screen (not shown). The deletion screen shown in FIG. 30 is displayed by selecting deletion on a menu screen (not shown). Also, when the
なお、図３０に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面（図示せず）で削除ができるようにしてもよい。 In the example shown in FIG. 30, a list of registered associations is displayed on the deletion screen, but deletion may be performed on an individual edit screen (not shown).
次に、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理について説明する。図３１は、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。
Next, a registration process for association between the
管理端末２では、管理者が、登録画面（図２９（Ｂ）参照）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において登録を選択する操作を行う。
On the
顔管理サーバ５では、管理端末２において登録画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔照合サーバ６のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔照合サーバ６のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末２に表示する。
When an operation to open a registration screen is performed on the
次に、管理端末２では、管理者が、登録画面において、顔照合サーバ６と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面（図２９（Ｂ）参照）において、顔照合サーバ６と照合グループとの組み合わせを入力して登録ボタン１２５を操作する。
Next, in the
顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの登録を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔照合サーバ６と照合グループとの組み合わせで関連付け情報をデータベースに登録する。
In the
また、顔管理サーバ５では、照合グループ登録のリクエストを、対象となる顔照合サーバ６に送る。
The
顔照合サーバ６では、顔管理サーバ５からの照合グループ登録のリクエストを受け取ると、照合グループに関する登録処理を行う。この登録処理では、照合グループを自装置の設定情報として登録する。そして、顔照合サーバ６では、登録処理が終了すると、登録のレスポンスを顔管理サーバ５に送る。
Upon receiving the matching group registration request from the
顔管理サーバ５では、登録処理が終了すると、その登録処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
After completing the registration process, the
,
次に、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理について説明する。図３２は、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
,
Next, reference processing regarding association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面（図２９（Ａ）参照）を開く操作を行う。
At the
顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理を行う。この参照処理では、顔照合サーバ６と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ６を対象にした関連付け情報のリストを生成して、参照画面を管理端末２に表示させる。また、管理者が、参照画面において、対象となる顔照合サーバ６を絞り込む操作を行うと、選択した顔照合サーバ６を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末２に表示させる。また、管理者が、参照画面において、項目を選択してソートを実行する操作を行うと、ソートした状態のリストを生成して、ソートが反映された参照画面を管理端末２に表示させる。
In the
また、顔管理サーバ５では、管理者アクセスログを記録する。
The
次に、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理について説明する。図３３は、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。図３４は、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理の概要を示す説明図である。
Next, deletion processing regarding the association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの削除を指示する操作を行う。本実施形態では、削除画面（図３０参照）において、対象となる関連付けを選択して削除ボタンを操作する。
At the
図３４に示すように、顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの削除を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、対象となる顔照合サーバ６と照合グループとの間の関連付け情報を削除する。また、対象となる顔照合サーバ６に関連する顔登録ＩＤを顔情報データベースから削除する。
As shown in FIG. 34, in the
また、顔管理サーバ５では、照合グループ削除のリクエストを、対象となる顔照合サーバ６に送る。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、自装置の照合グループに関する設定情報を削除する。そして、顔照合サーバ６では、削除処理が終了すると、レスポンスを顔管理サーバ５に送る。
When the
顔管理サーバ５では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the deletion process is completed, the
次に、利用者に関する登録、参照、更新および削除について説明する。図３５、図３６は、利用者に関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update and deletion of users will be described. 35 and 36 are explanatory diagrams showing screens displayed on the
管理端末２では、利用者に関する登録、参照、更新および削除の際に、図３５（Ａ）に示す個別編集画面、図３５（Ｂ）に示す検索画面、図３６に示す一覧表示画面が表示される。
In the
図３５（Ａ）に示す個別編集画面（第２の画面、第３の画面）は、利用者に関する登録、参照、更新および削除の操作を行うものである。 The individual editing screens (second screen and third screen) shown in FIG. 35A are for performing operations of registration, reference, update and deletion regarding users.
この登録画面には、姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６、および付加情報入力部１３７と、顔画像入力部１３８と、実行ボタン１３９とが設けられている。
This registration screen includes a
姓名入力部１３１では、利用者の姓名を入力することができる。利用者コード入力部１３２では、利用者コード、コード番号（例えば社員番号など）を入力することができる。照合グループ入力部１３３では、照合グループを入力することができる。照合グループ入力部１３３には、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。チェックボックスにより照合グループを選択することができる。アクセス許可グループ入力部１３４では、アクセス許可グループを入力することができる。プルダウンメニューによりアクセス許可グループを選択することができる。有効化日入力部１３５では、有効化日、すなわち、当該人物の顔照合を有効にすることができる日付を入力することができる。無効化日入力部１３６では、無効化日、すなわち、顔照合を無効にすることができる日付を入力することができる。この有効化日および無効化日の設定により、複数の利用者に対するサービスを一斉に開始したり終了したりすることができる。付加情報入力部１３７では、付加情報を入力することができる。
The first and last name of the user can be input in the first and last
顔画像入力部１３８には、顔画像指定部１４１と選択ボタン１４２と顔画像表示部１４３とが設けられている。この顔画像指定部１４１では、利用者の撮影画像のファイルを指定することができる。管理端末２に予め格納された利用者の撮影画像のファイルを指定して選択ボタン１４２を操作すると、利用者の撮影画像が顔管理サーバ５を介して顔照合サーバ６に送られて、利用者の撮影画像から顔画像を生成する処理（顔検知、顔切り出しなど）が顔照合サーバ６で行われ、利用者の顔画像が顔画像表示部１４３に表示される。
The face
この登録画面において各項目の情報を入力して実行ボタン１３９を操作すると、入力内容に基づいて利用者の情報を登録する処理が行われる。
When the information of each item is input on this registration screen and the
このように登録画面では、利用者に照合グループを割り振ることができ、これにより、利用者と照合グループとの間の関連付け情報がデータベースに登録される。また、この登録画面では、有効化日および無効化日を登録することができる。この有効化日および無効化日は、顔照合サーバ６に利用者の顔情報（顔特徴量データ）を保管している期間を規定するものであり、有効化日になると、利用者の顔画像データが顔照合サーバ６のデータベースに登録され、無効化日になると、利用者の顔画像データが顔照合サーバ６のデータベースから削除される。
In this way, on the registration screen, it is possible to assign a matching group to a user, thereby registering the association information between the user and the matching group in the database. Also, on this registration screen, it is possible to register an activation date and an invalidation date. The validation date and invalidation date define the period during which the
また、この登録画面では、利用者の撮影画像を指定することで、利用者の顔画像データが顔照合サーバ６のデータベースに登録される。
In addition, the user's face image data is registered in the database of the
図３５（Ｂ）に示す検索画面は、登録済みの利用者情報に関する検索条件を入力するものである。検索条件に該当する利用者に絞り込んで一覧表示画面に表示させることができる。この検索画面には、姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６、および更新日時入力部１４４と、取得件数入力部１４５と、検索ボタン１４６とが設けられている。
The search screen shown in FIG. 35B is for inputting search conditions related to registered user information. Users who meet the search conditions can be narrowed down and displayed on the list display screen. This search screen includes a first and last
姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６は、登録画面と同様である。更新日時入力部１４４では、更新日時（期間）を指定することができる。取得件数入力部１４５では、取得件数を指定することができる。
A
この検索画面において、必要な項目で検索条件を入力して検索ボタン１４６を操作すると、検索結果が反映された一覧表示画面（図３６参照）に遷移する。
When the
図３６に示す一覧表示画面は、登録済みの利用者に関する一覧表示、一括更新および一括削除を行うものである。 The list display screen shown in FIG. 36 is used to display a list of registered users, update them collectively, and delete them collectively.
この参照画面を閲覧することで、利用者の登録内容を管理者が確認することができる。この一覧表示画面には、一覧表示部１４７と実行ボタン１４８とが設けられている。一覧表示部１４７では、利用者コード、姓名、照合グループなどが表示される。また、一覧表示部１４７には、利用者ごとにチェックボックスが設けられている。チェックボックスにより利用者を選択することができる。チェックボックスにより削除する利用者を選択して実行ボタン１４８（削除ボタン）を操作すると、選択した利用者を削除する処理が顔管理サーバ５で行われる。
By viewing this reference screen, the administrator can confirm the registered content of the user. A
また、一覧表示画面では、項目（利用者コード、姓名、照合グループなど）を指定してソート（並び替え）を行うことができる。なお、一覧表示部１４７の表示件数（利用者の人数）や、利用者コードや照合グループの表示範囲を指定できるようにしてもよい。また、各項目に関する検索条件を指定して検索できるようにしてもよい。 Also, on the list display screen, items (user code, first and last name, matching group, etc.) can be designated and sorted. It should be noted that the number of items displayed in the list display section 147 (the number of users) and the display range of user codes and collation groups may be specified. Also, it may be possible to search by designating search conditions for each item.
ここで、個別編集画面（図３５（Ａ）参照）は、利用者に関する登録、参照、更新および削除の操作を行うものである。具体的には、メニュー画面（図示せず）で登録を選択すると、未入力の個別編集画面が表示され、ここで利用者に関する情報を入力することで、利用者を新規登録することができる。また、一覧表示画面（図３６参照）で利用者を選択する操作を行うと、個別編集画面に遷移し、ここで登録済みの利用者に関する情報を個別に確認することができ（個別参照）、また、所要の項目の登録内容を入力しなおすことができ（個別更新）、また、所要の項目の登録内容を削除することができる（個別削除）。 Here, the individual edit screen (see FIG. 35A) is for performing operations of registration, reference, update and deletion regarding the user. Specifically, when registration is selected on a menu screen (not shown), an unentered individual edit screen is displayed, and the user can be newly registered by entering information on the user here. Also, when a user is selected on the list display screen (see FIG. 36), the screen transitions to an individual edit screen, where information on registered users can be checked individually (individual reference). In addition, it is possible to re-input the registered contents of the required items (individual update), and to delete the registered contents of the required items (individual deletion).
また、個別更新の際に、個別編集画面（図３５（Ａ）参照）の顔画像指定部１４１で、利用者の撮影画像を別に指定すると、その撮影画像から利用者の顔画像が新たに生成され、利用者の登録時の顔画像を新たな顔画像に差し替えることができる。
Also, when performing individual update, if a photographed image of the user is separately designated in the face
また、一覧表示画面（図３６参照）は、登録済みの利用者に関する一括参照、一括更新および一括削除を行うものである。具体的には、メニュー画面（図示せず）で一覧表示を選択すると、一覧表示画面（図３６参照）が表示され、ここで登録済みの利用者に関する情報をまとめて確認することができる（一括参照）。また、チェックボックスの選択により、所要の利用者をまとめて削除することができる（一括削除）。また、一覧表のページ単位で情報の選択を可能にするチェックボックスを別途設けてもよい。 Also, the list display screen (see FIG. 36) is used to collectively refer to, collectively update, and collectively delete registered users. Specifically, when list display is selected on the menu screen (not shown), a list display screen (see FIG. 36) is displayed, where information on registered users can be collectively checked (collectively reference). Also, by selecting a check box, it is possible to collectively delete the required users (collective deletion). Moreover, a separate check box may be provided to enable selection of information for each page of the list.
また、複数の利用者の情報をまとめて更新することができる（一括更新）。この場合、検索画面（図３５（Ｂ）参照）において、対象となる利用者や照合グループなどの条件を指定して検索ボタン１４６を操作し、これに応じて表示された一覧表示画面（図３６参照）において、実行ボタン１４８（一括更新ボタン）を操作する。なお、一括更新では、利用者の氏名や利用者コードなどの利用者固有の情報以外の項目が更新対象となる。
In addition, information of a plurality of users can be collectively updated (batch update). In this case, on the search screen (see FIG. 35(B)), the
また、メニュー画面（図示せず）で検索を選択すると、検索画面（図３５（Ｂ）参照）が表示され、この検索画面で検索条件を入力して検索ボタン１４６を操作すると、検索結果が反映された一覧表示画面（図３６参照）に遷移する。
If search is selected on the menu screen (not shown), a search screen (see FIG. 35(B)) is displayed. When search conditions are entered on this search screen and the
次に、利用者に関する登録処理について説明する。図３７は、利用者に関する登録処理の手順を示すシーケンス図である。図３８は、利用者に関する登録処理の概要を示す説明図である。 Next, registration processing for users will be described. FIG. 37 is a sequence diagram showing a procedure of registration processing regarding a user. FIG. 38 is an explanatory diagram showing an overview of the registration process for users.
管理端末２では、管理者が、利用者に関する登録を指示する操作を行う。本実施形態では、登録モードの個別編集画面（図３５（Ａ）参照）において、管理者が、利用者の情報を入力し、また、利用者の撮影画像のファイルを指定した上で、登録ボタンを操作する。
At the
図３８に示すように、顔管理サーバ５では、管理端末２において利用者に関する登録を指示する操作が行われると、利用者に関する登録処理を開始する。この登録処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔画像抽出のリクエストを送る。このリクエストには、管理端末２から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、１つの顔照合サーバ６を選択して、その１つの顔照合サーバ６に顔画像抽出のリクエストを送る。
As shown in FIG. 38, in the
顔照合サーバ６では、顔管理サーバ５からの顔画像抽出のリクエストを受け取ると、顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ５から取得した利用者の撮影画像に対して顔検知、および顔切出しなどの処理を行い、利用者の顔画像を抽出する。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、利用者の顔画像が含まれる。
Upon receiving the face image extraction request from the
顔管理サーバ５では、顔画像抽出のレスポンスを顔照合サーバ６から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ６から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、特定の顔照合サーバ６から取得した利用者の顔画像が含めて、全ての顔照合サーバ６に顔登録のリクエストを送る。
When the
顔照合サーバ６では、顔管理サーバ５からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。なお、顔特徴量のデータベースへの登録の完了に伴い、抽出した利用者の顔画像は削除される。また、顔特徴量のデータは、顔照合サーバ６の顔照合ＤＢとは別管理のＨＤＤやＳＳＤ等の不揮発性メモリへバックアップ保存してもよい。
Upon receiving the face registration request from the
顔管理サーバ５では、顔登録のレスポンスを顔照合サーバ６から受け取り、処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、管理端末２から取得した利用者の情報を顔情報データベースに登録する。また、顔管理サーバ５では、顔照合サーバ６から取得した利用者の顔画像を顔情報データベースに登録する。また、顔管理サーバ５では、顔照合サーバ６で発行された顔登録ＩＤを利用者の情報として顔情報データベースに登録する。
The
次に、顔管理サーバ５では、利用者に関する更新が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログにログを記録する。
Next, the
次に、利用者に関する一括登録処理について説明する。図３９は、利用者に関する一括登録処理の手順を示すシーケンス図である。 Next, collective registration processing for users will be described. FIG. 39 is a sequence diagram showing the procedure of collective registration processing for users.
本実施形態では、対象となる複数の利用者に関するリスト情報が格納されたファイルを用いて、利用者の情報を一括して登録することができる。 In this embodiment, it is possible to collectively register user information using a file storing list information about a plurality of target users.
具体的には、まず、管理端末２では、管理者が、利用者に関する一括登録を指示する操作を行う。本実施形態では、登録画面（図示せず）において、管理者が、対象となる利用者に関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
Specifically, first, on the
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末２の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で利用者の一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
At this time, the selected list information file is read and the list information is displayed on the confirmation screen of the
顔管理サーバ５では、管理端末２において利用者に関する一括登録を指示する操作が行われると、利用者に関する一括登録処理を開始する。この一括登録処理では、対象となる全ての利用者ごとに登録処理を繰り返す。各利用者に関する登録処理は、図３７に示した利用者に関する登録処理（個別登録処理）と同様である。
In the
そして、顔管理サーバ５では、対象となる全ての利用者について顔登録のレスポンスを顔照合サーバ６から受け取り、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。このとき、登録に失敗した利用者を管理者に報告し、その利用者に関する再登録を催促する。また、登録結果をログファイルで出力する。
Then, the
次に、利用者に関する参照処理について説明する。図４０は、利用者に関する参照処理の手順を示すシーケンス図である。 Next, reference processing regarding users will be described. FIG. 40 is a sequence diagram showing the procedure of reference processing for a user.
管理端末２では、管理者が、利用者に関する一覧表示を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する一覧表示画面（図３６参照）を開く操作を行う。
On the
顔管理サーバ５では、管理端末２において利用者に関する一覧表示を指示する操作が行われると、データベースを参照して、全ての利用者を含むリスト情報を生成して、そのリスト情報に基づいて、管理端末２に一覧表示画面（図３６参照）を表示する。
When an operation is performed on the
また、管理端末２では、管理者が、利用者に関する検索を指示する操作を行う。具体的には、管理者が、検索画面（図３５（Ｂ）参照）を表示して、その検索画面において、検索条件を入力して検索ボタンを操作する。
In addition, on the
顔管理サーバ５では、管理端末２において利用者に関する検索を指示する操作が行われると、データベースを参照して、検索条件に該当する利用者を対象にしてリスト情報を生成して、そのリスト情報に基づいて、検索結果としての一覧表示画面（図３６参照）を管理端末２に表示する。
When an operation is performed on the
また、管理端末２では、管理者が、利用者の一覧表示に関するソートを指示する操作を行う。具体的には、管理者が、一覧表示画面において、項目を指定してソートを指示する操作を行う。
Further, on the
顔管理サーバ５では、管理端末２においてソートを指示する操作が行われると、指定した項目でソートされた利用者リスト情報を生成して、その利用者リスト情報に基づいて、ソートが反映された一覧表示画面を管理端末２に表示する。
When an operation for instructing sorting is performed on the
なお、管理者が、一覧表示画面（図３６参照）において、利用者を選択して個別表示を指示する操作を行うと、顔管理サーバ５では、データベースを参照して、選択した利用者の情報を取得して、その利用者の情報に基づいて、管理端末２に個別編集画面（図３５（Ａ）参照）を表示する。
When the administrator selects a user and instructs individual display on the list display screen (see FIG. 36), the
次に、利用者に関する更新処理について説明する。図４１は、利用者に関する更新処理の手順を示すシーケンス図である。図４２は、利用者に関する更新処理の概要を示す説明図である。 Next, an update process for users will be described. FIG. 41 is a sequence diagram showing the procedure of update processing for users. FIG. 42 is an explanatory diagram showing an outline of update processing for users.
まず、利用者の撮影画像に変更がある場合について説明する。この場合、管理端末２では、管理者が、利用者に関する更新を指示する操作を行う。本実施形態では、更新の対象となる利用者を指定して表示させた更新モードで個別編集画面（図示せず）において、管理者が、利用者の情報を入力しなおし、また、利用者の撮影画像のファイルを差し替えた上で、更新ボタンを操作する。
First, a case where there is a change in the photographed image of the user will be described. In this case, on the
図４２に示すように、顔管理サーバ５では、管理端末２において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を開始する。この更新処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔画像抽出のリクエストを送る。このリクエストには、管理端末２から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、１つの顔照合サーバ６を選択して、その１つの顔照合サーバ６に顔画像抽出のリクエストを送る。
As shown in FIG. 42, in the
顔照合サーバ６では、顔管理サーバ５からの顔画像抽出のリクエストを受け取ると、顔画像抽出部８３において顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ５から取得した利用者の撮影画像に対して顔検知、顔切出しなどの処理を行い、利用者の顔画像を生成する。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、利用者の顔画像が含まれる。
When the
顔管理サーバ５では、顔画像抽出のレスポンスを顔照合サーバ６から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ６から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、特定の顔照合サーバ６から取得した利用者の顔画像が含めて、全ての顔照合サーバ６に顔登録のリクエストを送る。
When the
顔照合サーバ６では、顔管理サーバ５からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。
Upon receiving the face registration request from the
顔管理サーバ５では、顔登録のレスポンスを顔照合サーバ６から受け取ると、顔登録に成功した場合、顔登録のリクエストと同一の顔照合サーバ６に、顔特徴量削除のリクエストを送る。なお、顔登録に失敗した場合には、顔特徴量削除のリクエストは行わず、古い顔特徴量のままで顔照合が行われるようにする。
When the face registration response is received from the
顔照合サーバ６では、顔管理サーバ５からの顔特徴量削除のリクエストを受け取ると、顔特徴量削除処理を行う。この顔特徴量削除処理では、データベースに登録された対象者の古い顔特徴量を削除する。そして、顔特徴量削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔特徴量削除が正常に終了したか否かを表す結果が含まれる。
When the
顔管理サーバ５では、顔特徴量削除のレスポンスを顔照合サーバ６から受け取り、処理が正常に終了している場合には、利用者に関する更新処理を行う。この更新処理では、管理端末２から取得した利用者の情報で顔情報データベースの登録内容を更新する。また、顔照合サーバ６から取得した利用者の顔画像を顔情報データベースに登録する。また、顔照合サーバ６で発行された新しい顔登録ＩＤで顔情報データベースの登録内容を更新する。すなわち、古い顔登録ＩＤを削除して、その代わりに新しい顔登録ＩＤを登録する。
The
次に、顔管理サーバ５では、利用者に関する更新が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
Next, the
次に、利用者の撮影画像に変更がない場合、すなわち、撮影画像以外の項目に変更がある場合について説明する。この場合、管理端末２では、管理者が、利用者に関する更新を指示する操作を行うが、このとき、更新モードの個別編集画面（図示せず）において、管理者が、利用者の情報を入力しなおした上で、更新ボタンを操作する。
Next, the case where there is no change in the captured image of the user, that is, the case where there is a change in items other than the captured image will be described. In this case, on the
顔管理サーバ５では、管理端末２において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を行う。この更新処理では、管理者が入力した利用者の情報で顔情報データベースの登録内容を更新する。そして、利用者に関する更新が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
In the
次に、利用者に関する削除処理について説明する。図４３は、利用者に関する削除処理の手順を示すシーケンス図である。図４４は、利用者に関する削除処理の概要を示す説明図である。 Next, deletion processing for users will be described. FIG. 43 is a sequence diagram showing the procedure of deletion processing for a user. FIG. 44 is an explanatory diagram showing an outline of deletion processing for a user.
管理端末２では、管理者が、利用者に関する削除を指示する操作を行う。本実施形態では、削除の対象となる利用者を指定して表示させた削除モードで個別編集画面（図示せず）において、管理者が、削除ボタンを操作する。また、削除モードの一覧表示画面（図示せず）において、管理者が、対象となる利用者を選択して一括削除ボタンを操作する。
At the
図４４に示すように、顔管理サーバ５では、管理端末２において利用者に関する削除を指示する操作が行われると、利用者に関する削除処理を開始する。この削除処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔削除のリクエストを送る。このとき、利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、全ての顔照合サーバ６に顔削除のリクエストを送る。
As shown in FIG. 44, in the
顔照合サーバ６では、顔管理サーバ５からの顔削除のリクエストを受け取ると、対象となる利用者の顔情報に関する削除処理を行う。この削除処理では、該当する利用者の情報（顔特徴量データ）をデータベースから削除する。
Upon receiving the face deletion request from the
また、顔照合サーバ６では、削除処理が終了すると、顔削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、削除処理が正常に終了したか否かを表す結果が含まれる。
When the
また、顔管理サーバ５では、顔照合サーバ６からの顔削除のレスポンスを受け取り、処理が正常に終了している場合には、利用者に関する削除処理を行う。この削除処理では、対象となる利用者の情報を顔情報データベースから削除する。そして、削除処理が終了すると、その削除処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
Further, the
次に、顔照合サーバ６で行われる顔画像抽出処理について説明する。図４５は、顔画像抽出処理の概要を示す説明図である。
Next, face image extraction processing performed by the
顔管理サーバ５では、顔画像抽出のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の撮影画像データと顔切出し条件（顔画像抽出条件）とが含まれる。なお、顔切出し条件とは、顔画像抽出処理（顔検知、顔サイズチェック、顔切出し）で使用されるパラメータである。具体的には、顔を複数検知した場合に採用する顔の数（顔検知数）、顔を検知する際に顔枠の面積および高さのいずれを基準とするかの顔採用方式、顔として採用する基準となる顔枠の幅および高さに関する最小値および最大値（顔サイズチェック閾値）などである。
The
顔照合サーバ６では、顔管理サーバ５から顔画像抽出のリクエストを受け取ると、顔画像抽出部８３において顔画像抽出処理を行う。この顔画像抽出処理では、顔検知、顔サイズチェック、顔切り出しの各処理を行う。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔画像データ（複数の場合もある）と、顔枠の位置情報（顔枠の左上の頂点の座標、顔枠の幅および高さ）とが含まれる。
When the
この顔照合サーバ６の顔画像抽出部８３で行われる処理は、顔認証機１の顔画像抽出部２２と同様である。すなわち、まず、顔認証機１から取得した撮影画像に含まれる顔領域を検知する（顔検知）。ここで、撮影画像に複数の顔領域が含まれる場合には、顔領域の面積や横幅に基づいて、顔領域を選別する。次に、撮影画像から検知した顔領域（顔枠）のサイズが所定の基準（適正範囲）を満たしているか否かを判定する（顔サイズチェック）。次に、カメラ１１の撮影画像に対して、顔検知で取得した顔領域（顔枠）を基準にして切り出し領域を設定して、その切出し領域の画像を顔画像として切り出して（顔切り出し）、顔画像を取得する。
The processing performed by the face
次に、顔照合サーバ６で行われる画像品質チェックについて説明する。図４６は、画像品質チェック処理の概要を示す説明図である。
Next, the image quality check performed by the
顔照合サーバ６の画像品質チェック部８２では、撮影画像データから検知された顔領域（顔枠）の画像が所定の品質を満足しているか否かを判定する。具体的には、画像からマスクの着用の有無およびサングラスの着用の有無を検知する。また、画像から顔認証適合度を算出する。顔認証適合度は、顔の向きや表情に応じた評価値である。
The image
この画像品質チェックの際には、まず、顔管理サーバ５では、画像品質チェックのリクエストを顔照合サーバ６に送る。このリクエストには、撮影画像データと顔枠情報とが含まれる。
At the time of this image quality check, the
顔照合サーバ６では、顔管理サーバ５から画像品質チェックのリクエストを受け取ると、画像品質チェック部８２において、撮影画像内の顔領域（顔枠）の画像が所定の品質を満足しているか否かを判定して、品質評価値を算出する。そして、画像品質チェックのレスポンスを顔管理サーバ５に送る。このレスポンスには、品質評価値が含まれる。
In the
次に、顔登録の際に行われる顔特徴量生成処理について説明する。図４７は、顔特徴量生成処理の概要を示す説明図である。 Next, a description will be given of facial feature amount generation processing performed during face registration. FIG. 47 is an explanatory diagram showing an outline of facial feature amount generation processing.
顔照合サーバ６の顔特徴量生成部８４では、先に抽出した利用者の顔画像データから顔特徴量データを生成して、その顔特徴量データを顔照合ＤＢに保存する。
The face feature
この顔特徴量生成の際には、まず、顔管理サーバ５または顔認証機１では、顔特徴量生成のリクエストを顔照合サーバ６に送る。
When generating the face feature quantity, first, the
顔照合サーバ６では、顔管理サーバ５から顔特徴量生成のリクエストを受け取ると、顔特徴量生成部８４において、先に抽出した顔領域の画像から顔特徴量データを生成する。そして、顔特徴量生成のレスポンスを顔管理サーバ５に送信する。
In the
次に、顔登録の際に行われる顔特徴量登録処理について説明する。図４８は、顔特徴量登録処理（特徴量指定）の概要を示す説明図である。図４９は、顔特徴量登録処理（画像指定）の概要を示す説明図である。 Next, facial feature amount registration processing performed during face registration will be described. FIG. 48 is an explanatory diagram showing an outline of facial feature amount registration processing (feature amount designation). FIG. 49 is an explanatory diagram showing an outline of facial feature amount registration processing (image designation).
顔照合サーバ６は、顔画像抽出の機能と顔特徴量生成の機能とを有しており、顔管理サーバ５からの要求に応じて、顔画像抽出および顔特徴量生成の各処理を行う。一方、同じ照合グループに複数の顔照合サーバ６が存在する場合には、各顔照合サーバ６の顔照合データベースに利用者の顔特徴量を重複して登録する必要がある。
The
このとき、１つの顔照合サーバ６で、顔画像抽出および顔特徴量生成の各処理を行い、ここで取得した顔特徴量を、残りの顔照合サーバ６に提供することで、全ての顔照合サーバ６で顔特徴量の登録が可能になる。この場合、顔管理サーバ５は、顔特徴量生成のレスポンスにおいて、ある１つの顔照合サーバ６で生成した顔特徴量データを受信しておき、残りの顔照合サーバ６への顔特徴量登録のリクエストに顔特徴量データを付加して顔特徴量登録の指示を行う（特徴量指定）。
At this time, one
また、１つの顔照合サーバ６で、顔画像抽出処理を行い、ここで取得した顔画像データを、残りの顔照合サーバ６に提供して、その残りの顔照合サーバ６で、顔特徴量生成処理を行うことで、全ての顔照合サーバ６で顔特徴量データの登録が可能になる。この場合、顔管理サーバ５は、顔画像抽出のレスポンスにおいて、ある１つの顔照合サーバ６から取得した顔画像データなどを受信しておき、残りの顔照合サーバ６への顔特徴量登録のリクエストに顔画像データなどを付加して顔特徴量登録の指示を行う（画像指定）。
In addition, one
図４８に示すように、特徴量指定の場合には、まず、顔管理サーバ５では、顔特徴量登録のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の照合グループ、顔特徴量データ、利用者コードが含まれる。
As shown in FIG. 48, in the case of feature amount designation, first, the
顔照合サーバ６では、顔特徴量登録のリクエストを顔照合サーバ６から受け取ると、顔特徴量管理部８５において、リクエストに付加された利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔認証ユニットの顔照合データベースに登録する。また、顔照合サーバ６では、顔登録が完了した利用者に登録者コードを付与する。顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
When the
そして、顔照合サーバ６では、顔特徴量登録処理が終了すると、レスポンスを顔管理サーバ５に送る。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録ＩＤ（登録者コード）が含まれる。
Then, the
図４９に示すように、画像指定の場合には、まず、顔管理サーバ５では、顔特徴量登録のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の照合グループと、利用者の撮影画像データと、顔枠情報と、利用者コードとが含まれる。
As shown in FIG. 49, in the case of image designation, the
顔照合サーバ６では、顔特徴量登録のリクエストを顔照合サーバ６から受け取ると、顔特徴量生成部８４において、リクエストに付加された利用者の顔画像データ（撮影画像データおよび顔枠情報）から顔特徴量データを生成して、顔特徴量管理部８５において、利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔認証プロセスの顔照合データベースに登録する。また、顔照合サーバ６では、顔登録が完了した利用者に登録者コードを付与する。また、顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
When the
そして、顔照合サーバ６では、顔特徴量登録のレスポンスを顔管理サーバ５に送信する。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録ＩＤとが含まれる。
Then, the
次に、更新および削除の際に行われる顔特徴量削除処理について説明する。図５０は、顔特徴量削除処理の概要を示す説明図である。 Next, a description will be given of facial feature amount deletion processing performed at the time of update and deletion. FIG. 50 is an explanatory diagram showing an outline of facial feature amount deletion processing.
利用者に関する削除の際には、対象となる利用者の顔特徴量データを、顔照合サーバ６の顔照合データベースから削除する。また、利用者に関する更新の際には、対象となる利用者の古い顔特徴量データを、顔照合サーバ６の顔照合データベースから削除する。なお、顔特徴量を削除した際には、対象となる利用者のその他の情報も削除され、顔特徴量と利用者との対応関係に関する情報も削除される。
When deleting a user, the facial feature amount data of the target user is deleted from the face matching database of the
具体的には、まず、顔管理サーバ５では、顔特徴量削除のリクエストを顔照合サーバ６に送る。このリクエストには、照合グループと、顔登録ＩＤとが含まれる。
Specifically, first, the
顔照合サーバ６では、顔管理サーバ５から削除のリクエストを受け取ると、顔特徴量管理部８５において、リクエストに付加された顔登録ＩＤに基づいて利用者を特定して、対象となる利用者の顔特徴量を顔照合データベースから削除する。このとき、対象となる利用者が複数の照合グループに属する場合には、照合グループごとに削除処理を行う。すなわち、照合グループごとの顔照合データベースから対象となる利用者の顔特徴量を削除する。
In the
また、顔照合サーバ６では、削除処理が終了すると、顔特徴量削除のレスポンスを顔管理サーバ５に送る。この削除のレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
Further, when the deletion process is completed, the
次に、利用者に関する登録処理の際に行われる顔登録について説明する。図５１は、顔登録の概要を示す説明図である。 Next, description will be made regarding face registration performed during registration processing for a user. FIG. 51 is an explanatory diagram showing an outline of face registration.
顔管理サーバ５では、利用者に関する登録処理の際に、まず、顔画像抽出の処理を顔照合サーバ６に行わせて、顔照合サーバ６から取得した顔画像データを顔情報データベースに登録した後に、顔画像データを顔照合サーバ６に提供して、顔登録の処理を顔照合サーバ６に行わせる。この顔登録の処理では、顔管理サーバ５から取得した顔画像から顔特徴量を生成して、その顔特徴量を顔照合データベースに登録する。
In the
具体的には、まず、顔管理サーバ５では、顔登録のリクエストを顔照合サーバ６に送る。この顔登録のリクエストには、利用者コード、照合グループ、利用者登録ＩＤ、顔画像データが含まれる。
Specifically, first, the
顔照合サーバ６では、顔登録のリクエストを顔管理サーバ５から受け取ると、画像品質チェック部８２において、そのリクエストに付加された利用者の顔画像に対して画像品質チェックを行う。次に、顔特徴量生成部８４において、利用者の顔画像データから顔特徴量データを生成して、顔特徴量管理部８５において、利用者の顔特徴量データを、利用者の照合グループに対応する顔照合データベースに登録する。このとき、顔管理サーバ５の顔情報データベースで用いられる利用者登録ＩＤと、顔照合サーバ６の顔照合データベースで用いられる顔特徴量登録時の登録ＩＤとの間の関連付け情報を保存する。また、利用者登録ＩＤが既に登録されている場合、元の顔特徴量を削除して差し替える。また、顔照合データベースに利用者の情報として利用者コードを登録する。
When the
顔照合サーバ６では、利用者が属する全ての照合グループに対応する顔照合データベースへの登録処理が行うと、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、登録処理が正常に終了したか否かを表す処理結果が含まれる。
The
次に、顔管理サーバ５で行われる顔情報同期処理について説明する。図５２は、顔情報同期処理の概要を示す説明図である。
Next, face information synchronization processing performed by the
顔管理サーバ５の顔情報管理部６６は、顔照合サーバ６との間の同期処理を実行する。この同期処理では、顔管理サーバ５における顔情報データベースの登録内容と、顔照合サーバ６における顔照合データベースの登録内容とが一致したものとする。具体的には、顔管理サーバ５の顔情報データベースに登録された利用者情報（顔画像）と、顔照合サーバ６の顔照合データベースに登録された利用者の顔特徴量データとが互いに整合するものにする。また、顔照合サーバ６の照合グループに関する登録内容が顔管理サーバ５と顔照合サーバ６とで一致したものとする。
The face
ここで、同期処理のタイミングに関して、所定の周期で定期的に同期処理を実行する。また、利用者情報の登録、更新および削除が行われた際に、同期処理を実行する。また、照合グループが削除された際や、顔照合サーバ６を起動した際に、同期処理を実行する。
Here, regarding the timing of the synchronization process, the synchronization process is periodically executed at a predetermined cycle. Synchronization processing is also executed when user information is registered, updated, or deleted. Synchronization processing is also executed when a matching group is deleted or when the
また、同期処理の対象となる利用者に関して、すべての利用者を対象にして同期を行う。また、指定された利用者を対象にして同期を行う。また、指定された期間に更新された利用者を対象にして同期を行う。 In addition, synchronization is performed with respect to all users who are targets of synchronization processing. Synchronization is also performed for specified users. Synchronization is also performed for users who have updated during the specified period.
また、本実施形態では、利用者情報として、利用者ごとの有効化日および無効化日を登録する。有効化日は、対象となる利用者の顔照合を有効にすることができる日付であり、この有効化日以降の有効化状態となる期間では、利用者の顔認証が実施され、顔認証を受けることができる。無効化日は、顔照合を無効にすることができる日付であり、この無効化日以降の無効化状態となる期間では、利用者の顔認証が実施されず、顔認証を受けることができない。 In addition, in the present embodiment, as user information, an activation date and an invalidation date are registered for each user. The activation date is the date when the face matching of the target user can be activated, and during the period of activation after this activation date, the user's face authentication is performed and face authentication is performed. Can receive. The invalidation date is the date on which face matching can be invalidated, and during the invalidated state period after this invalidation date, the user's face authentication is not performed and the face authentication cannot be performed.
また、顔管理サーバ５の顔情報管理部６６では、同期のタイミング判定として、全ての利用者を対象にして有効化および無効化の判定を行う。利用者の顔照合が有効化されて有効化期間に入った際に、顔登録処理、すなわち、対象となる利用者の顔特徴量データを登録する処理を行うように顔照合サーバ６に指示する。また、利用者の顔照合が無効化されて無効化期間に入った際に、顔削除処理、すなわち、対象となる利用者の顔特徴量データを削除する処理を行うように顔照合サーバ６に指示する。したがって、有効化日以前の期間や、無効化日以降の期間では、顔照合サーバ６に利用者の顔情報（顔特徴量データ）は保管されていない。
In addition, the face
また、顔管理サーバ５は、顔照合サーバ６において所定の処理が正常に終了したか否かを判定し、処理が失敗して再実行が必要と判定すると、顔照合サーバ６に処理の再実行を指示する。ここで、対象となる処理は、顔登録、顔削除、照合グループの登録、照合グループの削除の各処理である。
Further, the
なお、顔管理サーバ５では、同期ログ（同期処理の履歴情報）を記録する。
Note that the
次に、顔特徴量データのコピー処理について説明する。図５３は、顔特徴量データのコピー処理の概要を示す説明図である。 Next, copy processing of face feature amount data will be described. FIG. 53 is an explanatory diagram showing an outline of the copy processing of facial feature amount data.
本実施形態では、顔照合サーバ６において照合グループごとに顔照合データベースを設けて、照合グループ単位で利用者の顔特徴量データを管理するようにしており、また、負荷分散や死活対応などのために、同じ照合グループの顔照合データベースを複数設けるようにしている。このため、同じ利用者の顔特徴量データが複数の顔照合データベースに登録する必要がある。一方、利用者の顔画像データから顔特徴量データを生成する処理は、負荷が大きく、この処理を複数の顔照合サーバ６で繰り返し行うことは効率的でない。
In this embodiment, a face matching database is provided for each matching group in the
そこで、本実施形態では、利用者の顔特徴量データを既に生成して顔照合データベースに登録している場合、２つの顔照合データベース間で顔特徴量データのコピーを行う。すなわち、元の顔照合データベースに登録された顔特徴量データを利用して別の顔照合データベースの登録を行うことができる。 Therefore, in this embodiment, when facial feature amount data of a user has already been generated and registered in a face matching database, the facial feature amount data is copied between two face matching databases. That is, it is possible to register another face matching database using the face feature amount data registered in the original face matching database.
顔管理サーバ５の顔情報管理部６６は、顔情報データベースに基づいて、顔照合データベースにおける利用者ごとの顔特徴量データの登録状況を管理しており、利用者の顔画像データに関する何らかの変更があった場合、２つの顔照合データベース間で顔特徴量データのコピーを指示する（転送指示）。
The face
このとき、個人単位の変更があった場合には、図５３（Ａ）に示すように、個人単位の顔特徴量データのコピーを行う（個人コピー）。例えば、利用者を新規に登録した場合や更新した場合、個人単位の顔特徴量データのコピーを行う。また、特定の利用者に関する顔照合の精度を高めるため、異なる顔画像データを用いて顔特徴量データを追加して生成して、同一の利用者に対して顔特徴量データを複数登録する場合がある。この場合も、特定の利用者のみを対象にして、個人単位の顔特徴量データのコピーを行う。 At this time, if there is a change on an individual basis, as shown in FIG. 53A, the face feature amount data on an individual basis is copied (individual copy). For example, when a user is newly registered or updated, face feature amount data for each individual is copied. In addition, in order to increase the accuracy of face matching for a specific user, additional facial feature data is generated using different facial image data, and multiple facial feature data are registered for the same user. There is In this case as well, the face feature amount data for each individual is copied only for specific users.
また、照合グループ単位の変更があった場合には、図５３（Ｂ）に示すように、照合グループ単位で顔特徴量データのコピーを行う（クループコピー）。例えば、照合グループを新規に登録した場合、最初に顔特徴量データを登録した顔照合データベースの顔特徴量データを一括して、同一の登録内容となる２番目以降の顔照合データベースにコピーする。また、負荷分散や冗長化のために、同一の登録内容の顔照合データベースを複数設ける場合も、利用者の顔特徴量データを照合グループ単位でコピーする。 Also, when there is a change for each matching group, as shown in FIG. 53B, the face feature data is copied for each matching group (croup copy). For example, when a matching group is newly registered, the face feature amount data of the face matching database in which the face feature amount data was first registered is collectively copied to the second and subsequent face matching databases having the same registered contents. Further, even when a plurality of face matching databases having the same registered contents are provided for load distribution and redundancy, the user's face feature amount data is copied for each matching group.
次に、本システムにおける顔認証時の処理について説明する。図５４は、顔認証時の処理の概要を示す説明図である。 Next, the processing during face authentication in this system will be described. FIG. 54 is an explanatory diagram showing an outline of processing during face authentication.
顔認証機１では、カメラ１１の撮影画像から人物の顔を検知して顔画像を取得すると、顔照合のリクエストを顔照合サーバ６に送信する。この顔照合のリクエストには、要求元の顔認証機１の機器ＩＤと、顔認証機１の照合グループと、顔認証の対象者の撮影画像データと、顔枠情報と、照合条件とが含まれる。
When the
顔照合サーバ６では、まず、顔特徴量生成部８４において、顔認証機１から取得した対象者の顔画像から対象者の顔特徴量を生成する。次に、顔認証機１の照合グループに対応する顔認証ユニットの顔特徴量照合部８６において、対象者の顔特徴量と、顔認証データベースに登録された利用者の顔特徴量とを照合する。このとき、要求元の顔認証機１と照合グループが一致する顔認証プロセスで顔照合が行われる。顔照合が終了すると、顔照合のレスポンスを要求元の認証機に送信する。この顔照合のレスポンスには、照合結果（成功、失敗）と、照合スコアと、利用者コードとが含まれる。
In the
顔特徴量照合部８６では、顔認証の対象者と登録された利用者との間の類似度を表す照合スコアを算出し、この照合スコアが所定の基準値以上となる場合に、顔認証の対象者を登録された利用者本人とみなし、顔照合が成功したことを表す照合結果を生成する。一方、全ての利用者について照合スコアが基準値以上とならない場合には、顔認証の対象者が登録された利用者ではないと判定して、顔照合が失敗したことを表す照合結果を生成する。
The face feature
なお、顔照合サーバ６で行われる顔照合の処理条件（顔照合のパラメータ）を照合のリクエストに付加するようにしてもよい。これにより、顔照合サーバ６で行われる顔照合の処理内容を顔認証機１から指示することができる。例えば、顔照合の処理条件として、照合スコアに関する閾値を指定して、照合スコアが所定の閾値以上となる照合結果をレスポンスに含めるようにする。また、顔照合の処理条件として、照合結果数を指定して、照合スコアが高い方から所定数の照合結果をレスポンスに含めるようにする。
Processing conditions (parameters for face matching) for face matching performed by the
また、顔照合サーバ６では、顔照合が終了すると、認証ログ管理部８７において、顔照合で取得した照合結果などの情報を認証ログ（顔認証の履歴情報）としてデータベースに保存する。このとき、顔認証の結果（成功、失敗）のみを認証ログとして保存する他、照合スコアを認証ログに含めるようにしてもよい。また、顔認証機１から取得した対象者の顔画像を認証ログに含めるようにしてもよい。この場合、対象者の顔画像を暗号化して保存するとよい。
In the
なお、照合スコアが閾値を超えた有効な照合結果が多数得られた場合には、照合スコアの高い方から所定数の照合結果に絞り込んで認証ログとして保存するようにしてもよい。また、顔照合が正常に終了しなかった場合や、照合スコアが閾値を超えた有効な照合結果が得られなかった場合には、顔認証機１からのリクエストに含まれる情報のみを認証ログとして保存するようにしてもよい。
Note that when a large number of valid matching results with matching scores exceeding the threshold value are obtained, a predetermined number of matching results may be narrowed down in descending order of matching scores and saved as an authentication log. In addition, when the face matching does not end normally, or when the matching score exceeds the threshold value and no valid matching result is obtained, only the information included in the request from the
図５５は、認証ログに関する参照処理の概要を示す説明図である。 FIG. 55 is an explanatory diagram showing an overview of reference processing regarding an authentication log.
顔照合サーバ６では、顔管理サーバ５を介した管理端末２からの要求に応じて、自装置に蓄積された認証ログ（顔認識履歴情報）を管理端末２に送り、管理端末２において、認証ログ情報を管理者が閲覧することができる。このとき、管理者が条件を指定することができ、指定した条件に該当する認証ログを管理者が閲覧することができる。
In response to a request from the
具体的には、管理端末２では、認証ログを検索するための検索条件を入力する画面が表示され、この画面において、管理者が、検索条件として、顔認証の要求元の顔認証機１、利用者、抽出件数、顔照合が実行された照合日時（抽出期間）、および照合結果（成功、失敗）などを指定することができる。
Specifically, on the
顔管理サーバ５の認証ログ提示部６９では、管理端末２において管理者が検索条件を入力して検索を指示する操作が行われると、認証ログ参照のリクエストを顔照合サーバ６に送る。この認証ログ参照のリクエストには、管理者が指定した検索条件が含まれる。このとき、認証ログ提示部６９では、顔認証機１と照合グループの関連付けに関する情報と、顔照合サーバ６と照合グループの関連付けに関する情報と、利用者に関する情報とに基づいて、対象となる顔認証機１または利用者と照合グループが一致する顔照合サーバ６を特定して、その顔照合サーバ６に認証ログ参照のリクエストを送る。また、顔管理サーバ５では、管理者アクセスログを記録する。
The authentication
顔照合サーバ６では、認証ログ参照のリクエストを顔管理サーバ５から受け取ると、そのリクエストに含まれる検索条件にしたがって認証ログを検索し、検索結果として、検索条件に該当する認証ログをまとめたリストを生成して、その認証ログのリストを、認証ログ参照のレスポンスに付加して顔管理サーバ５に送る。なお、対象者の顔画像を認証ログとして顔管理サーバ５に送信することができるが、この場合、対象者の顔画像は暗号化されているため、復号した上でレスポンスに付加する。
When the
顔管理サーバ５では、認証ログ参照のレスポンスを顔照合サーバ６から受け取ると、そのレスポンスに含まれる認証ログのリストに基づいて、管理者が指定した検索条件に該当する認証ログが一覧表示された検索結果の画面を管理端末２に表示させる。このとき、顔照合サーバ６で絞り込みができない検索条件に関して、認証ログのリストの中から検索条件に該当する認証ログを抽出して、絞り込みができた認証ログのリストを生成する。
When the
なお、管理端末２では、項目を指定してソートを指示することができ、この操作が行われると、顔管理サーバ５では、認証ログのリストに対して、指定された項目でソートを実行して、ソート済みの認証ログのリストを生成する。また、管理端末２では、認証ログの取得件数を指定することができ、この操作が行われると、顔照合サーバ６では、取得件数分だけ認証ログを抽出して認証ログのリストを生成する。また、管理端末２では、期間を指定することができ、この操作が行われると、顔照合サーバ６では、期間に含まれる認証ログを抽出して認証ログのリストを生成する。
Note that the
図５６は、管理端末２に表示される認証ログ参照画面を示す説明図である。
FIG. 56 is an explanatory diagram showing an authentication log reference screen displayed on the
管理端末２では、認証ログ参照画面が表示される。この認証ログ参照画面には、検索条件指定部１５１と検索結果表示部１５２とが設けられている。
On the
検索条件指定部１５１では、検索条件として、対象となる顔認証機１の機器ＩＤ、利用者コード、取得件数、照合日時、および照合結果の各項目を入力することができる。なお、照合日時の項目では、期間（始点および終点）を指定することができる。また、照合結果の項目では、プルダウンメニューにより、成功、失敗、成功および失敗の両方を選択することができる。この検索条件指定部１５１において各項目の検索条件を入力した上で、検索ボタン１５３を操作すると、検索条件に該当する認証ログを検索する検索が実行されて、検索結果表示部１５２に検索結果が表示される。
In the search
検索結果表示部１５２では、検索結果として、照合日時、照合結果（成功、失敗）、および顔画像の各項目のデータが一覧表示される。顔画像の項目では、照合結果が成功である場合には、顔認証機１から取得した顔認証の対象者の顔画像と、登録された利用者の顔画像とが表示される。照合結果が失敗である場合には、顔認証の対象者の顔画像のみが表示される。これにより、指定した顔認証機１や利用者に関する認証ログを管理者が確認することができ、また、照合日時や照合結果で認証ログを絞り込んで確認することができる。
In the search
この検索結果表示部１５２では、項目を指定してソート（並び替え）を行うことができる。また、保存ボタン１５４を操作すると、検索結果表示部１５２に表示された認証ログ情報が所定のフォーマットで保存される。これにより、指定した顔認証機１や利用者に関する認証ログを、管理者が時系列で確認することができる。
In this search
次に、顔認証機１の外部アプリケーション連携の機能について説明する。図５７は、顔認証機１の外部アプリケーション連携の概要を示す説明図である。
Next, the function of the
顔認証機１は、外部アプリケーション連携の機能を備えており、顔照合サーバ６から取得した認証結果を、外部アプリケーション、すなわち、外部システムの管理サーバ８（管理装置）に通知する。外部システムは、本システムの認証結果を利用して利用者に各種のサービスを提供するものである。例えば、外部システムは入退管理システムであり、認証結果が成功である場合にはドアを開錠する制御を行う。また、外部システムは決済システムであり、認証結果が成功である場合には決済を実行する制御を行う。
The
また、顔認証機１は、認証結果調整部２５（接続アプリケーション）を備えており、この認証結果調整部２５を介して認証結果を外部システムの管理サーバ８に通知する。顔認証機１は、名前付きパイプ（プロセス間通信）を介して認証結果調整部２５に認証結果（成功、失敗）を通知する。認証結果調整部２５は、所定のプロトコル（ＷｅｂＳｏｃｋｅｔ）によりネットワークを介して認証結果を外部システムの管理サーバ８に通知する。なお、認証結果調整部２５では、外部システムにおける認証結果の利用方法に応じて、情報の加工や付加などの必要な処理を行うようにしてもよい。
The
顔認証機１の顔照合要求部２３は、顔照合のリクエストを顔照合サーバ６に送り、これに応じて、顔照合のレスポンスを顔照合サーバ６から受け取ると、そのレスポンスに含まれる認証結果（認証成功、認証失敗）を名前付きパイプに書き込んで接続アプリケーションに通知する。このとき、顔認証機１は、認証結果として、認証者とカメラ１１の識別情報を更に取得して、認証結果の通知に付加する。具体的には、認証結果が成功である場合には、利用者コードと顔認証機１（カメラ１１）の機器ＩＤとを名前付きパイプに書き込む。一方、認証結果が失敗である場合には、認証結果（認証失敗）のみを名前付きパイプに書き込む。
The face
また、顔認証機１の認証結果調整部２５では、外部システムに対して、同一内容の認証結果の通知を繰り返さないように、認証結果の通知を抑制する。本実施形態では、認証結果の通知を接続アプリケーションに対して行うと、通知抑制時間を設定し、その通知抑制時間内では、同一内容の認証結果の通知を一時的に停止する。
Further, the authentication
ある人物に関する認証成功の通知を行うと、その認証成功の通知から所定時間（認証成功の通知抑制時間）内は、その人物に関する認証成功の通知を抑制する。また、ある人物に関する認証失敗の通知を行うと、その認証失敗の通知から所定時間（認証失敗の通知抑制時間）内は、その人物に関する認証失敗の通知を抑制する。 When the notification of authentication success regarding a certain person is sent, the notification of authentication success regarding that person is suppressed for a predetermined time (authentication success notification suppression time) from the notification of the authentication success. Further, when an authentication failure notification for a certain person is sent, the authentication failure notification for that person is suppressed for a predetermined time (authentication failure notification suppression time) after the authentication failure notification.
この通知抑制時間は、認証結果（認証成功、認証失敗）および人物ごとに設定され、認証結果が異なると同一人物でも通知抑制時間が別々に設定され、認証結果が同一でも人物が異なると通知抑制時間が別々に設定される。したがって、ある人物に関する認証失敗の通知抑制時間内では、その人物に関する認証成功の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、その人物に関する認証失敗の通知を行うことができる。また、ある人物に関する認証失敗の通知抑制時間内では、別の人物に関する認証失敗の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、別の人物に関する認証成功の通知を行うことができる。 This notification suppression time is set for each authentication result (authentication success, authentication failure) and person. If the authentication result is different, the notification suppression time is set differently even for the same person. The times are set separately. Therefore, within the authentication failure notification suppression time for a certain person, it is possible to notify of authentication success for that person, and within the authentication success notification suppression time for a certain person, it is possible to issue authentication failure notification for that person. can. In addition, within the authentication failure notification suppression time for a certain person, authentication failure for another person can be notified, and within the authentication success notification suppression time for a certain person, authentication success notification for another person can be issued. be able to.
次に、本システムにおける稼働状況監視機能について説明する。図５８は、本システムにおける稼働状況監視機能の概要を示す説明図である。 Next, the operation status monitoring function in this system will be explained. FIG. 58 is an explanatory diagram showing an overview of the operating status monitoring function in this system.
顔認証機１は、稼働状況監視部２６を備えている。この稼働状況監視部２６は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に顔管理サーバ５（監視サーバ）に通知する。また、顔照合サーバ６は、稼働状況監視部８９を備えている。この稼働状況監視部８９は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に顔管理サーバ５（監視サーバ）に通知する。
The
顔管理サーバ５は、稼働状況監視部６８を備えている。この稼働状況監視部６８は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に自装置に記録する。また、顔管理サーバ５は、顔認証機１および顔照合サーバ６から通知される稼動状況を自装置に記録する。
The
ここで、通知される稼働状況に関する情報は、機器ＩＤ、取得時刻、死活状況、プログラムのバージョン情報などが含まれる。 Here, the information about the operation status to be notified includes the device ID, acquisition time, life and death status, program version information, and the like.
また、管理端末２では、顔管理サーバ５に対して稼働状況の参照を要求することで、管理者が稼働状況を確認することができる。
Further, the
次に、顔照合サーバ６におけるプログラムのバージョンアップに伴う顔照合データベースの更新について説明する。
Next, update of the face matching database accompanying the version upgrade of the program in the
顔照合サーバ６では、顔照合の精度を高めるため、顔特徴量生成プログラムや顔照合プログラムのバーのジョンアップ（更新）が適宜に行われる。一方、顔特徴量データは顔特徴量生成や顔照合のアルゴリズムに依存し、そのアルゴリズムを変更すると、顔特徴量データも変化するため、顔特徴量データの生成をやり直す必要がある。
In the
そこで、本実施形態では、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われると、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。すなわち、既に保管されている顔特徴量データを削除し、利用者の登録時の顔画像データに基づいて顔特徴量データを再生成して、その新たな顔特徴量データを保管する。 Therefore, in this embodiment, when a program related to facial feature amount generation or face matching algorithm is upgraded, the facial feature amount data registered in the face matching database is updated so as to correspond to the new program. . That is, the facial feature amount data that has already been stored is deleted, the facial feature amount data is regenerated based on the facial image data at the time of registration of the user, and the new facial feature amount data is stored.
具体的には、顔管理サーバ５において、稼働状況通知機能により、顔照合プログラムのバージョンアップを検知すると、顔照合サーバ６に顔特徴量データの更新のリクエストを送る。このリクエストには利用者の顔画像が含まれる。顔照合サーバ６での顔特徴量管理部８５は、顔特徴量データの更新のリクエストを受け取ると、利用者の顔画像から顔特徴量データを生成する処理を顔特徴量生成部８４に行わせて、新しい顔特徴量データを顔照合データベースに登録する。
Specifically, when the
このとき、複数の顔照合サーバ６において、顔照合プロセスおよび顔照合データベースが同一である場合、すなわち、複数の顔照合サーバ６同士で、顔照合データベースに登録されている顔特徴量データが同一であり、また、顔照合プロセスで、同一の照合グループの顔認証機１を対象にした顔照合処理を行われる場合には、１つの顔照合サーバ６において、顔特徴量データを再生成して、その新たな顔特徴量データを顔照合データベースに登録すると、その顔照合データベースに登録された顔特徴量データを別の顔照合サーバ６にコピーして、顔照合データベースの登録内容を同一のものにする。
At this time, when the face matching process and the face matching database are the same in the plurality of
このとき、顔管理サーバ５から複製先の顔照合サーバ６に複製を指示し、顔管理サーバ５を介して、複製元の顔照合サーバ６に保管された顔特徴量データを複製先の顔照合サーバ６に転送すればよい。
At this time, the
次に、バックアップおよびレストアについて説明する。 Next, backup and restore will be explained.
本実施形態では、顔管理サーバ５および顔照合サーバ６に保管されたデータベースやファイルのバックアップおよびレストアを行うことができる。
In this embodiment, databases and files stored in the
顔管理サーバ５に保管されている情報でバックアップ対象となるものは、利用者情報（顔情報）のデータベース、顔画像のファイル、照合グループ情報のデータベース、認証機と照合グループ関連付け情報のデータベース、照合サーバと照合グループ関連付け情報のデータベース、および管理者アクセスログのファイルなどである。
Information stored in the
顔照合サーバ６に保管されている情報でバックアップ対象となるものは、認証ログのデータベース、および顔画像のファイルなどである。
Information stored in the
図５９は、管理端末２に表示されるバックアップ画面およびレストア画面を示す説明図である。なお、バックアップ画面およびレストア画面は、画面内のタブで切り替えることができる。
FIG. 59 is an explanatory diagram showing a backup screen and a restore screen displayed on the
図５９（Ａ）に示すように、バックアップ画面には、バックアップ先指定部１６１とバックアップ対象指定部１６２と進捗状況表示部１６３と実行ボタン１６４とが設けられている。バックアップ先指定部１６１では、バックアップ先を指定することができる。バックアップ対象指定部１６２では、バックアップの対象となる機器として顔管理サーバ５および顔照合サーバ６を選択することができる。実行ボタン１６４を操作するとバックアップが実行される。進捗状況表示部１６３では、バックアップの対象となるデータ項目が一覧表示される。このデータ項目では、バックアップの終了に応じてチェックマークが表示され、バックアップの進捗状況を管理者が認識することができる。
As shown in FIG. 59A, the backup screen is provided with a backup
ここで、バックアップの対象となるデータは、利用者情報（顔情報）のデータベース、登録した利用者の顔画像のファイル、照合グループ情報のデータベース、顔認証機１と照合グループとの間の関連付け情報のデータベース、顔照合サーバ６と照合グループとの間の関連付け情報のデータベース、管理者アクセスログのファイル、認証ログのデータベース、および顔認証の対象者の顔画像のファイルなどである。
Here, the data to be backed up includes a database of user information (face information), a file of registered user face images, a database of matching group information, and association information between the
図５９（Ｂ）に示すように、レストア画面には、バックアップ画面と同様に、バックアップ先指定部１６５とバックアップ対象指定部１６６と進捗状況表示部１６７と実行ボタン１６８とが設けられている。バックアップ先指定部１６５では、レストア先を指定することができる。バックアップ対象指定部１６６では、レストアの対象となる機器として顔管理サーバ５および顔照合サーバ６を選択することができる。実行ボタン１６８を操作するとレストアが実行される。進捗状況表示部１６７では、レストアの対象となるデータ項目が一覧表示される。このデータ項目では、レストアの終了に応じてチェックマークが表示され、レストアの進捗状況を管理者が認識することができる。
As shown in FIG. 59B, the restore screen has a backup
次に、本実施形態の変形例について説明する。図６０は、本実施形態の変形例に係る顔画像抽出処理の概要を示す説明図である。 Next, a modified example of this embodiment will be described. FIG. 60 is an explanatory diagram showing an overview of face image extraction processing according to a modification of the present embodiment.
前記の実施形態（図１２参照）では、利用者の撮影画像データから顔画像データを生成する顔画像抽出処理を顔認証機１および顔照合サーバ６で行うようにしたが、本変形例では、顔画像抽出処理を顔認証機１および顔管理サーバ５で行い、顔画像抽出処理を顔照合サーバ６で行わないようにする。具体的には、前記の実施形態で顔照合サーバ６に設けた顔画像抽出部８３を省略し、顔管理サーバ５に顔画像抽出部２０１が設けられている。
In the above-described embodiment (see FIG. 12), the face image extraction process for generating face image data from the photographed image data of the user is performed by the
利用者登録時には、管理端末２から顔管理サーバ５に利用者の撮影画像データを送ることで、顔管理サーバ５の顔画像抽出部２０１で顔画像抽出処理が行われる。一方、顔認証時には、顔認証機１の顔画像抽出部２２で顔画像抽出処理が行われ、これは前記の実施形態と同様である。
At the time of user registration, by sending photographed image data of the user from the
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 As described above, the embodiments have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like. Further, it is also possible to combine the constituent elements described in the above embodiments to create new embodiments.
なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジデバイスと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジデバイスとクラウドサーバに搭載されたプロセッサにより、顔認証処理を分散して処理することが可能である。この顔認証処理においては、エッジデバイスとして、認証機のカメラにより撮影された利用者の顔画像データを取得する。次に、クラウドサーバは、ネットワークを介してエッジデバイスより受信した顔画像データから特徴量データを生成する処理を実行し、予め登録された利用者の特徴量データと照合して、利用者の認証処理を実行し、その認証処理にかかる認証結果を顔認証アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジデバイスまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたＷｅｂアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。 In recent years, in the world of IoT (Internet of Things), attention has been focused on CPS (Cyber Physical Systems), a new concept that creates new added value by linking information between physical space and cyber space. Under these circumstances, the CPS concept can also be adopted in this embodiment. In other words, as a basic configuration of CPS, for example, an edge device located in physical space and a cloud server located in cyber space are connected via a network, and a processor installed in the edge device and the cloud server Authentication processing can be distributed and processed. In this face authentication processing, the face image data of the user photographed by the camera of the authentication machine as the edge device is acquired. Next, the cloud server executes a process of generating feature amount data from the face image data received from the edge device via the network, compares it with the user's feature amount data registered in advance, and authenticates the user. Execute the processing, take over the authentication result of the authentication processing by the face authentication application software, and display it on the display or the like in the output format defined on the application. Here, each data generated in an edge device or a cloud server is preferably generated by a web application or the like installed on a standardized platform. and IoT application software.
本発明に係る顔認証機および顔認証方法は、顔特徴量データの生成や顔照合処理のためのアップデート等が発生した場合に、顔認証機側での作業負担を軽減することができる効果を有し、顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機および顔認証方法などとして有用である。 The face recognition device and the face recognition method according to the present invention have the effect of reducing the work load on the face recognition device when generation of face feature amount data or update for face matching processing occurs. It is useful as a face authentication machine and a face authentication method for capturing an image of a target person for face authentication and outputting the authentication result of the target person.
１ 顔認証機
２ 管理端末（端末装置、顔認証管理装置）
３ 顔認証サーバ（サーバ装置）
５ 顔管理サーバ（顔画像管理部）
６ 顔照合サーバ（顔画像照合部）
1 face
3 Face authentication server (server device)
5 Face management server (face image management unit)
6 Face matching server (face image matching unit)
Claims (4)
対象者を撮影するカメラと、
外部の顔照合装置および外部の管理装置とネットワークを介して通信を行う通信部と、
自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を記憶する記憶部と、
対象者の認証結果を出力する出力部と、
これら各部の動作を制御する制御部と、
を備え、
前記制御部は、
前記照合グループ情報が更新された際、前記照合グループ情報を前記管理装置から取得して前記記憶部に記憶させる処理を実行し、
前記照合グループ情報に基づいて特定した前記顔照合装置に対して、前記カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得することを特徴とする顔認証機。 A face authentication machine that photographs a person to be face-authenticated and sequentially outputs authentication results of the target person,
a camera that captures a subject;
a communication unit that communicates with an external face matching device and an external management device via a network;
a storage unit for storing matching group information specifying the face matching device to which the same group identification information as the group identification information assigned to the own device is assigned;
an output unit that outputs the authentication result of the target person;
a control unit that controls the operation of these units;
with
The control unit
when the collation group information is updated, executing a process of acquiring the collation group information from the management device and storing it in the storage unit;
Inquiring about face matching by adding face image data of the subject acquired by the camera to the face matching device specified based on the matching group information, and performing face matching on the face matching device A process of generating facial feature amount data of a subject from image data and a process of matching the facial feature amount data of the subject with the facial feature amount data of a registrant are performed, and the face matching device is used to identify the subject. A face authentication device characterized by obtaining a matching result of
顔照合の問合せ先となる前記顔照合装置に関するグループ識別情報とネットワークアドレスとを含むことを特徴とする請求項１に記載の顔認証機。 The matching group information is
2. The face authentication device according to claim 1, further comprising group identification information and a network address relating to said face matching device to which an inquiry for face matching is made.
前記グループ識別情報が同一で、かつ、前記ネットワークアドレスが互いに異なる複数の前記ネットワークアドレスを含むことを特徴とする請求項２に記載の顔認証機。 In the matching group information,
3. The face recognition machine according to claim 2, wherein said group identification information includes a plurality of said network addresses that are the same and said network addresses are different from each other.
前記顔認証機が、顔照合装置および管理装置とネットワークを介して接続され、
自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を前記管理装置から取得して記憶部に記憶させる処理を前記照合グループ情報が更新された際に実行し、
カメラにより対象者を撮影し、
前記照合グループ情報に基づいて特定した顔照合装置に対して、カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得して、その対象者の照合結果を出力部から出力することを特徴とする顔認証方法。 A face authentication method in which a processor of a face authentication machine executes a process of photographing a target person for face authentication and sequentially outputting the authentication result of the target person,
the face authentication machine is connected to a face matching device and a management device via a network;
When the matching group information is updated, the matching group information specifying the face matching device to which the same group identification information as the group identification information assigned to the self device is assigned is acquired from the management device and stored in the storage unit. run when
Take a picture of the target person with a camera,
Inquiring about face matching by adding face image data of a subject acquired by a camera to a face matching device specified based on the matching group information, and performing face matching on the face matching device, and processing the face image data of the subject and a process of matching the facial feature amount data of the subject with the facial feature amount data of the registrant, and matching the subject from the face matching device. A face recognition method characterized by acquiring a result and outputting the matching result of the subject from an output unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022059218A JP7289068B2 (en) | 2019-02-01 | 2022-03-31 | Face recognition machine and face recognition method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019017273A JP7065413B2 (en) | 2019-02-01 | 2019-02-01 | Face recognition machine and face recognition method |
| JP2022059218A JP7289068B2 (en) | 2019-02-01 | 2022-03-31 | Face recognition machine and face recognition method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019017273A Division JP7065413B2 (en) | 2019-02-01 | 2019-02-01 | Face recognition machine and face recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022091930A JP2022091930A (en) | 2022-06-21 |
| JP7289068B2 true JP7289068B2 (en) | 2023-06-09 |
Family
ID=87888589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022059218A Active JP7289068B2 (en) | 2019-02-01 | 2022-03-31 | Face recognition machine and face recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7289068B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132732A (en) | 2000-10-23 | 2002-05-10 | Omron Corp | Device, terminal, method and system for collating biological information |
| JP2006309491A (en) | 2005-04-28 | 2006-11-09 | Fuji Photo Film Co Ltd | Biometrics system |
| JP2008129798A (en) | 2006-11-20 | 2008-06-05 | Sony Corp | Collation device, collation method, and collation program |
| JP2009003805A (en) | 2007-06-22 | 2009-01-08 | Glory Ltd | Validity authentication system and validity authentication method |
| US20100058449A1 (en) | 2008-09-02 | 2010-03-04 | Fujitsu Limited | Authentication system and authentication method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007052720A (en) * | 2005-08-19 | 2007-03-01 | Fujitsu Ltd | Information access method by biometrics authentication and information processing system by biometrics authentication |
-
2022
- 2022-03-31 JP JP2022059218A patent/JP7289068B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132732A (en) | 2000-10-23 | 2002-05-10 | Omron Corp | Device, terminal, method and system for collating biological information |
| JP2006309491A (en) | 2005-04-28 | 2006-11-09 | Fuji Photo Film Co Ltd | Biometrics system |
| JP2008129798A (en) | 2006-11-20 | 2008-06-05 | Sony Corp | Collation device, collation method, and collation program |
| JP2009003805A (en) | 2007-06-22 | 2009-01-08 | Glory Ltd | Validity authentication system and validity authentication method |
| US20100058449A1 (en) | 2008-09-02 | 2010-03-04 | Fujitsu Limited | Authentication system and authentication method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022091930A (en) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7122693B2 (en) | Face authentication system and face authentication method | |
| JP2022176383A (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7108881B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7108884B2 (en) | Face authentication server device, registration processing method and registration processing program | |
| JP7108882B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7065413B2 (en) | Face recognition machine and face recognition method | |
| JP7289068B2 (en) | Face recognition machine and face recognition method | |
| JP7336681B2 (en) | Face authentication system and face authentication method | |
| JP7113340B2 (en) | Face recognition machine and face recognition method | |
| JP7108883B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7113339B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7113338B2 (en) | Face authentication system and face authentication method | |
| JP7142222B2 (en) | Face authentication server device, face authentication method, and face authentication program | |
| JP7429885B2 (en) | Facial recognition system and method | |
| JP7378034B2 (en) | Face recognition system, face recognition machine, face recognition method and face recognition program | |
| JP7398759B2 (en) | Facial recognition system and method | |
| JP7038351B2 (en) | Face recognition server device, registration processing method and registration processing program | |
| JP2022176382A (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP2020126335A (en) | Face authentication system and face authentication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230515 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7289068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |