JP7378034B2 - 顔認証システム、顔認証機、顔認証方法および顔認証プログラム - Google Patents

顔認証システム、顔認証機、顔認証方法および顔認証プログラム Download PDF

Info

Publication number
JP7378034B2
JP7378034B2 JP2022108004A JP2022108004A JP7378034B2 JP 7378034 B2 JP7378034 B2 JP 7378034B2 JP 2022108004 A JP2022108004 A JP 2022108004A JP 2022108004 A JP2022108004 A JP 2022108004A JP 7378034 B2 JP7378034 B2 JP 7378034B2
Authority
JP
Japan
Prior art keywords
face
authentication
matching
server
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022108004A
Other languages
English (en)
Other versions
JP2022132322A (ja
Inventor
健太郎 中村
正司 大園
隆夫 注連
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2022108004A priority Critical patent/JP7378034B2/ja
Publication of JP2022132322A publication Critical patent/JP2022132322A/ja
Application granted granted Critical
Publication of JP7378034B2 publication Critical patent/JP7378034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)

Description

本発明は、対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システム、顔認証方法および顔認証プログラム、並びに顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機に関するものである。
従来より、顔照合に関する技術として、少なくとも特徴量抽出手段、登録者特徴量記憶手段、および照合手段を第1の装置で構成し、登録者顔画像記憶手段を、第1の装置よりもセキュリティレベルの高い場所に保管される第2の装置で構成し、第1の装置が、登録者の顔画像を利用する必要が生じた場合に、第2の装置との間にデータ通信路を構築し、該データ通信路を通じて第2の装置から登録者の顔画像を取得し、登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用し、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することを可能にしたものが知られている(特許文献1参照)。
特許第5353147号公報
さて、従来の技術は、撮像手段と登録者顔画像の特徴量データを有し、顔照合処理を担う認証機がフィジカル空間に設置され、この認証機による照合結果が表示装置に表示される。そして、この照合結果は、照合対象者の照合結果を侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置、店舗において顧客情報を収集する装置などの外部装置で利用可能とするものである。しかしながら、この認証結果を外部装置と連携するための仕組みについて、従来の技術では、何ら配慮されておらず、顔認証のサービス提供者側で外部アプリケーションを一から構築する必要があった。
そこで、本発明は、顔認証のサービス提供者側で外部装置と接続するための外部アプリケーションを構築する必要がなく、簡易に認証結果を外部装置と連携させることができる顔認証システム、顔認証機、顔認証方法および顔認証プログラムを提供することを主な目的とする。
本発明の顔認証システムは、顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムであって、複数の顔認証機と、この顔認証機とネットワークを介して接続されるサーバ装置と、を備え、前記顔認証機は、対象者を撮影するカメラと、このカメラにより取得した対象者の顔画像データを前記サーバ装置へ送信する顔画像送信部と、前記サーバ装置から対象者の認証結果を受信する認証結果受信部と、対象者の認証結果を外部装置と連携するための調整を行う接続アプリケーションと、を有し、前記サーバ装置は、前記顔認証機から対象者の顔画像データを受信する顔画像受信部と、対象者の顔画像データから対象者の顔特徴量データを生成する顔特徴量生成部と、対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を行って認証の成否に関する対象者の認証結果を出力する顔特徴量照合部と、この顔特徴量照合部による対象者の認証結果を前記顔認証機に送信する認証結果送信部と、を有し、前記接続アプリケーションは、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知する構成とする。
また、本発明の顔認証機は、顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機であって、対象者を撮影するカメラと、このカメラにより取得した対象者の顔画像データをネットワークを介してサーバ装置へ送信する顔画像送信部と、前記サーバ装置から対象者の認証結果を受信する認証結果受信部と、対象者の認証結果を外部装置と連携するための調整を行う接続アプリケーションと、を備え、前記接続アプリケーションは、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知する構成とする。
また、本発明の顔認証方法は、サーバ装置とネットワークを介して接続される顔認証機のプロセッサにより顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証方法であって、前記プロセッサは、前記顔認証機のカメラにより対象者を撮影し、このカメラにより取得した対象者の顔画像データを前記サーバ装置へ送信し、前記サーバ装置が対象者の顔画像データを受信し、対象者の顔画像データから対象者の顔特徴量データを生成し、対象者の顔特徴量データと登録者の顔特徴量データとのとの照合処理を行って出力する認証の成否に関する対象者の認証結果を受信し、対象者の認証結果を取得すると、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知する構成とする。
また、本発明の顔認証プログラムは、前記顔認証方法をコンピュータに実行させる構成とする。
本発明によれば、顔認証機に設けられた接続アプリケーションが、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、サーバ装置から取得した対象者の認証結果を外部装置と連携するための調整を行う。このため、顔認証サービスの提供者側で、外部装置と接続するための外部アプリケーションを構築する必要がなく、簡易に認証結果を外部装置と連携させることができる。
本実施形態に係る顔認証システムの全体構成図 照合グループの概要を示す説明図 顔認証機1で行われる顔照合の問合せの概要を示す説明図 顔照合ユニットの概要を示す説明図 顔認証機1の概略構成を示すブロック図 管理端末2の概略構成を示すブロック図 顔管理サーバ5の概略構成を示すブロック図 顔照合サーバ6の概略構成を示すブロック図 顔認証機1で行われる顔画像抽出処理の概要を示す説明図 顔認証機1で行われる顔切出し処理の概要を示す説明図 顔認証機1で行われる顔切出し処理の概要を示す説明図 顔画像抽出処理の概要を示す説明図 照合グループ情報による顔認証の問合せの概要を示す説明図 管理端末2に表示されるログイン画面を示す説明図 照合グループに関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図 照合グループに関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図 照合グループに関する登録、参照および更新の処理の手順を示すシーケンス図 照合グループに関する登録、参照、更新の処理の概要を示す説明図 照合グループに関する削除処理の手順を示すシーケンス図 照合グループに関する削除処理の概要を示す説明図 照合グループに関する一括登録処理の手順を示すシーケンス図 顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図 顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図 顔認証機1と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図 顔認証機1と照合グループとの間の関連付けに関する登録処理の概要を示す説明図 顔認証機1と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図 顔認証機1と照合グループとの間の関連付けに関する更新処理の手順を示すシーケンス図 顔認証機1と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図 顔照合サーバ6と照合グループとの間の関連付けに関する登録、参照および削除の際に管理端末2に表示される画面を示す説明図 顔照合サーバ6と照合グループとの間の関連付けに関する登録、参照および削除の際に管理端末2に表示される画面を示す説明図 顔照合サーバ6と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図 顔照合サーバ6と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図 顔照合サーバ6と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図 顔照合サーバ6と照合グループとの間の関連付けに関する削除処理の概要を示す説明図 利用者に関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図 利用者に関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図 利用者に関する登録処理の手順を示すシーケンス図 利用者に関する登録処理の概要を示す説明図 利用者に関する一括登録処理の手順を示すシーケンス図 利用者に関する参照処理の手順を示すシーケンス図 利用者に関する更新処理の手順を示すシーケンス図 利用者に関する更新処理の概要を示す説明図 利用者に関する削除処理の手順を示すシーケンス図 利用者に関する削除処理の概要を示す説明図 顔画像抽出処理の概要を示す説明 画像品質チェック処理の概要を示す説明図 顔特徴量算出処理の概要を示す説明図 顔特徴量登録処理(特徴量指定)の概要を示す説明図 顔特徴量登録処理(画像指定)の概要を示す説明図 顔特徴量削除処理の概要を示す説明図 顔登録の概要を示す説明図 顔情報同期処理の概要を示す説明図 顔特徴量データのコピー処理の概要を示す説明図 顔認証時の処理の概要を示す説明図 認証ログに関する参照処理の概要を示す説明図 管理端末2に表示される認証ログ参照画面を示す説明図 顔認証機1の外部アプリケーション連携の概要を示す説明図 本システムにおける稼働状況監視機能の概要を示す説明図 管理端末2に表示されるバックアップ画面およびレストア画面を示す説明図 本実施形態の変形例に係る顔画像抽出処理の概要を示す説明図
前記課題を解決するためになされた第1の発明は、顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムであって、複数の顔認証機と、この顔認証機とネットワークを介して接続されるサーバ装置と、を備え、前記顔認証機は、対象者を撮影するカメラと、このカメラにより取得した対象者の顔画像データを前記サーバ装置へ送信する顔画像送信部と、前記サーバ装置から対象者の認証結果を受信する認証結果受信部と、対象者の認証結果を外部装置と連携するための調整を行う接続アプリケーションと、を有し、前記サーバ装置は、前記顔認証機から対象者の顔画像データを受信する顔画像受信部と、対象者の顔画像データから対象者の顔特徴量データを生成する顔特徴量生成部と、対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を行って認証の成否に関する対象者の認証結果を出力する顔特徴量照合部と、この顔特徴量照合部による対象者の認証結果を前記顔認証機に送信する認証結果送信部と、を有し、前記接続アプリケーションは、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知する構成とする。
これによると、顔認証機に設けられた接続アプリケーションが、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、サーバ装置から取得した対象者の認証結果を外部装置と連携するための調整を行う。このため、顔認証サービスの提供者側で、外部装置と接続するための外部アプリケーションを構築する必要がなく、簡易に認証結果を外部装置と連携させることができる。
また、第2の発明は、前記接続アプリケーションは、対象者ごとに前記第1の通知抑制時間および前記第2の通知抑制時間を設定する構成とする。
これによると、対象者ごとに認証結果が同一となる通知が連続して繰り返されることを避けることができる。
また、第3の発明は、前記接続アプリケーションは、認証結果として、認証が成功した対象者の識別情報と前記認証機の識別情報とを前記外部装置に通知する構成とする。
これによると、認証結果として、認証が成功した対象者の識別情報と認証機の識別情報とが外部装置に通知されるため、外部装置において認証結果を適切に利用することができる。
また、第4の発明は、顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機であって、対象者を撮影するカメラと、このカメラにより取得した対象者の顔画像データをネットワークを介してサーバ装置へ送信する顔画像送信部と、前記サーバ装置から対象者の認証結果を受信する認証結果受信部と、対象者の認証結果を外部装置と連携するための調整を行う接続アプリケーションと、を備え、前記接続アプリケーションは、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知する構成とする。
これによると、第1の発明と同様に、顔認証のサービス提供者側で外部装置と接続するための外部アプリケーションを構築する必要がなく、簡易に認証結果を外部装置と連携させることができる。
また、第5の発明は、サーバ装置とネットワークを介して接続される顔認証機のプロセッサにより顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証方法であって、前記プロセッサは、前記顔認証機のカメラにより対象者を撮影し、このカメラにより取得した対象者の顔画像データを前記サーバ装置へ送信し、前記サーバ装置が対象者の顔画像データを受信し、対象者の顔画像データから対象者の顔特徴量データを生成し、対象者の顔特徴量データと登録者の顔特徴量データとのとの照合処理を行って出力する認証の成否に関する対象者の認証結果を受信し、対象者の認証結果を取得すると、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知する構成とする。
これによると、第1の発明と同様に、顔認証のサービス提供者側で外部装置と接続するための外部アプリケーションを構築する必要がなく、簡易に認証結果を外部装置と連携させることができる。
また、第6の発明は、前記顔認証方法をコンピュータに実行させる構成とする。
これによると、第1の発明と同様に、顔認証のサービス提供者側で外部装置と接続するための外部アプリケーションを構築する必要がなく、簡易に認証結果を外部装置と連携させることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る顔認証システムの全体構成図である。
この顔認証システムは、顔認証機1と、管理端末2(端末装置、顔認証管理装置)と、顔認証サーバ3(クラウドサーバ)と、を備えている。顔認証サーバ3は、顔管理サーバ5(顔画像管理部)と、顔照合サーバ6(顔画像照合部)と、を備えている。
顔認証機1と管理端末2と顔管理サーバ5と顔照合サーバ6とは、インターネットなどのネットワークを介して接続されている。顔認証システムは、顔認証サービスの提供者(事業者)ごとに構築される。顔認証機1は、建物の出入口や部屋の出入口など、顔認証が必要とされる場所ごとに複数設置される。顔照合サーバ6は、顔認証機1の台数などに応じて所要の数が設けられる。
顔認証機1は、カメラ11を備えており、このカメラ11により、利用者が写る撮影画像を取得する。また、顔認証機1は、ディスプレイ12を有しており、このディスプレイ12により、顔照合サーバ6から取得した顔認証結果を表示して、顔認証結果を利用者に通知する。
管理端末2は、管理者が操作するものであり、PCで構成され、顔認証機1、顔管理サーバ5および顔照合サーバ6の動作を管理する管理アプリケーションがインストールされている。この管理アプリケーションにより、管理者が種々の管理業務を行うことができる。なお、管理アプリケーションはWebアプリケーションとして実装される。
顔管理サーバ5は、利用者の情報を一元管理する。具体的には、登録された利用者の姓名や顔画像データなどの情報を蓄積して管理する。
顔照合サーバ6は、顔認証時に、顔認証の対象者の顔画像データを顔認証機1から取得して、その顔画像データから対象者の顔特徴量データを生成して、その対象者の顔特徴量データと、自装置に保管された登録者(登録済みの利用者)の顔特徴量データとを比較することによる顔照合を行って、対象者が登録者か否かを判定する顔認証を行う。
また、顔照合サーバ6は、顔認証に先だって、利用者の登録時に、利用者の顔画像データを管理端末2から取得して、その顔画像データから利用者の顔特徴量データを生成して、自装置に保管する。なお、利用者の撮影画像を管理端末2から取得して、顔照合サーバ6で撮影画像から顔画像データを取得することもできる。
なお、本実施形態では、顔管理サーバ5(顔画像管理部)と顔照合サーバ6(顔画像照合部)とを、それぞれ物理的に異なる情報処理装置内に存在するものとしたが、単一の情報処理装置内に存在するものとしてもよい。
また、本実施形態では、管理端末2と顔管理サーバ5とを設けるようにしたが、管理端末2と顔管理サーバ5とを単一の情報処理装置で構成することができる。例えば顔管理サーバ5に管理アプリケーションをインストールすることで、顔管理サーバ5が管理端末2を兼用することができる。
また、本実施形態では、顔特徴量照合を行うようにしたが、顔照合は、顔特徴量照合に限定されず、機械学習などを適用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。
次に、照合グループについて説明する。図2は、照合グループの概要を示す説明図である。
本実施形態では、利用者が顔認証を受ける顔認証機1の設置場所などに応じて、利用者をグループ分けして各利用者に照合グループを設定する。また、利用者と同様に、顔認証機1の設置場所などに応じて、顔認証機1をグループ分けして、各顔認証機1に照合グループを設定する。さらに、顔認証機1に対応する顔照合サーバ6、すなわち、顔認証機1から顔照合の問合せ(リクエスト)を受け付ける顔照合サーバ6を、顔認証機1と同様にグループ分けして、各顔照合サーバ6に照合グループを設定する。
例えば、複数の会社が入居しているマルチテナントの建物の玄関に設置された顔認証機1では、複数の会社に所属する利用者が顔認証を受ける。一方、所属する組織が異なる利用者の情報を、同一のデータベースで管理することができない。そこで、このような場合には、複数の会社ごとの照合グループを形成して、照合グループ単位で利用者の登録情報を保管し、顔認証機1では、会社ごとの照合グループの顔照合サーバ6に対して顔照合の問合せを行う。
利用者が属する照合グループに対応する顔認証機1でのみ、認証を受けることができる。したがって、登録済みの利用者でも、自分の照合グループに属さない顔認証機1、例えば自分の入館が許可されていない建物の顔認証機1では、認証を受けることができない。
例えば、ある事業所に勤務している利用者が、別の事業所に出向いた場合、その事業所の顔認証機1では認証を受けることができない。
次に、顔認証機1から顔照合サーバ6に対する顔照合の問合せについて説明する。図3は、顔認証機1で行われる顔照合の問合せの概要を示す説明図である。
顔認証機1では、自装置と同じ照合グループに属する顔照合サーバ6に対して顔照合の問合せを行い、問合せ先(要求先)となる顔照合サーバ6に顔照合のリクエストを送る。また、顔認証機1には、照合グループ情報として、顔照合サーバ6のネットワークアドレス(IPアドレス)を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ6に顔照合の問合せを行う。
この顔認証の問合せ方法には、図3(A)に示す一斉問合せと、図3(B)に示すランダム問合せと、図3(C)に示す順次問合せ(問合せ先切り替え)とがある。
図3(A)に示すように、一斉問合せの場合、複数の照合グループの各々に対応した顔照合サーバ6に対して一斉に顔照合の問合せを行う。例えば、顔認証機1が、マルチテナントの建物の玄関に設置され、複数の照合グループの利用者が顔認証を受ける場合、各グループの顔照合サーバ6に対して一斉に顔照合のリクエストを送る。
なお、1つの顔照合サーバ6の負荷を軽減するため、1つの照合グループに属する利用者の顔特徴量データを複数の顔照合サーバ6に分割して保管することも可能であり、この場合にも、顔認証機1と同じ照合グループ内で互いに登録内容が異なる全ての顔照合サーバ6に対して一斉に顔照合の問合せを行う。
図3(B)に示すように、ランダム問合せの場合、顔認証機1と同じ照合グループ内の複数の顔照合サーバ6の中から、顔照合の問合せ先となる顔照合サーバ6をランダムに選択する。複数の顔照合サーバ6は登録内容が同一である。すなわち、同一の利用者を照合対象とし、同一の利用者の顔特徴量データを保管している。このような問合せ方法では、顔認証機1からの問合せが各顔照合サーバ6に振り分けられるため、各顔照合サーバ6の負荷を軽減することができ、負荷分散を図ることができる。
図3(C)に示すように、順次問合せの場合、顔認証機1と同じ照合グループ内の複数の顔照合サーバ6の中から、顔照合の問合せ先を順次選択する。具体的には、顔照合サーバ6に順番(優先順位)を付与して、その順番にしたがって顔照合サーバ6を選択し、順位の高い顔照合サーバ6から応答がない場合には、送信先を顔照合サーバ6に切り替える。すなわち、照合グループ内の第1順位の顔照合サーバ6を選択して、その顔照合サーバ6に対して顔認証を要求する。そして、顔照合サーバ6から応答がない場合には、同じ照合グループ内の次順位の別の顔照合サーバ6を選択して、その顔照合サーバ6に対して顔認証を要求する。このような制御により冗長化(バックアップ)を図ることができる。
次に、顔照合ユニットについて説明する。図4は、顔照合ユニットの概要を示す説明図である。
顔照合サーバ6には、顔照合を行う顔照合ユニットを複数設けることができる。この顔照合ユニットは、顔照合プログラムを実行する顔照合プロセスと、顔照合の比較対象となる利用者の情報(顔特徴量データ)が登録された顔照合データベースとを有している。
この顔照合ユニットは、照合グループごとに設けられており、照合グループに属する顔認証機1からの顔照合のリクエストに応じて顔照合を行う。したがって、1つの顔照合サーバ6で、複数の照合グループに対応することができる。
ここで、顔認証機1には、照合グループ情報として、顔照合サーバ6のネットワークアドレス(IPアドレス)を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ6に顔照合の問合せを行うことができるが、本実施形態では、さらに、顔照合ユニット単位のネットワークアドレス(IPアドレス)を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合ユニットに顔照合の問合せを行うことができる。
また、顔照合データベースは、照合グループごとに設けられるため、利用者の顔特徴量データを照合グループ単位で保管することができる。顔照合プロセスは、グループ単位で保管されている顔特徴量データと、同一のグループの顔認証機1から取得した顔画像データから生成した顔特徴量データとの照合処理を実行する。
ここで、顔認証機1と顔照合ユニットとの対応関係には種々の態様がある。
図4(A)に示す例は、顔照合サーバ6に、顔認証機1が属する照合グループの顔照合ユニットが1つ設けられており、顔認証機1と顔照合サーバ6とが1対1で対応している。
図4(B)に示す例は、顔認証機1と顔照合サーバ6とが1対1で対応するが、顔照合サーバ6に、顔認証機1が属する照合グループの顔照合ユニットが2つ設けられている。
この場合、マルチテナントの建物の玄関に設置された顔認証機1の場合に、所属する組織が異なる利用者の情報(例えば、利用者A、利用者B)を、異なる照合データベースで管理することができる。
図4(C)に示す例は、顔認証機1と顔照合サーバ6とが1対2で対応し、顔認証機1が、2つの顔照合サーバ6に対して顔照合の問合せ(利用者Xの照合リクエスト)を行う。この場合、異なる顔照合サーバ6に、同一の顔照合ユニット、すなわち、同一の利用者の顔特徴量データで顔照合を行う顔照合ユニットを2つ以上設けることで、顔照合サーバ6の負荷分散や死活対応を図ることができる。
次に、顔認証機1の概略構成について説明する。図5は、顔認証機1の概略構成を示すブロック図である。
顔認証機1は、カメラ11(撮像部)と、ディスプレイ12(出力部)と、通信部13と、記憶部14と、制御部15と、を備えている。
カメラ11は、所定の撮影エリアを常時撮影し、撮影エリアに人物が入るとその人物が撮影され、顔認証の対象者の撮影画像を取得することができる。なお、省電力化のため、人感センサ(図示せず)を設けて、人の到来を検知してカメラ11が起動するようにしてもよい。
ディスプレイ12は、顔認証結果を表示し、顔認証を受ける人物が顔認証結果を確認することができる。なお、対象者の認証結果を出力する出力部としてスピーカーを設けて、顔認証結果を音声で通知するようにしてもよい。
通信部13(顔画像送信部、認証結果受信部)は、ネットワークを介して顔照合サーバ6と通信を行う。本実施形態では、顔画像データを顔照合サーバ6に送信する。また、顔照合サーバ6から利用者の認証結果を受信する。また、通信部13は、ネットワークを介して顔管理サーバ5と通信を行う。本実施形態では、顔管理サーバ5から照合グループ情報などを受信する。
記憶部14は、照合グループ情報、制御部15を構成するプロセッサで実行される制御プログラムなどを記憶する。
制御部15は、起動処理部21と、顔画像抽出部22と、顔照合要求部23と、認証結果通知部24と、認証結果調整部25と、稼働状況監視部26と、を備えている。この制御部15は、プロセッサで構成され、制御部15の各部は、記憶部14に記憶されたプログラムをプロセッサで実行することで実現される。
起動処理部21は、顔認証機1の起動時に、顔管理サーバ5から照合グループ情報を取得して、記憶部14に記憶する。なお、照合グループ情報の取得は、これに限らず、照合グループ情報の更新などに伴って、顔管理サーバ5から照合グループ情報を対象の顔認証機1へ配信するようにしても良い。
顔画像抽出部22は、カメラ11から顔認証の対象者の撮影画像を取得して(カメラ画像キャプチャ)、その撮影画像から人物の顔を検知して(顔検知)、検知した顔のサイズが適正であるかを判定し(顔サイズチェック)、撮影画像から顔領域を切り出して(顔切出し)、対象者の顔画像データを取得する。なお、顔画像データは、顔領域の画像のみのデータでもよいが、撮影画像データと、その撮影画像データ上の顔領域の位置情報(顔枠情報)との組み合わせとしてもよい。
顔照合要求部23は、自装置と照合グループが一致する顔照合サーバ6に顔照合のリクエストを送信する。
認証結果通知部24は、顔照合サーバ6から取得した顔認証結果をディスプレイ12に表示して、顔認証結果を利用者に通知する。
認証結果調整部25は、顔照合サーバ6から取得した利用者の顔照合結果を外部システムの後述の図57に記載の管理サーバ8(外部装置)と連携するための制御を行う。この認証結果調整部25は、接続アプリケーションで構成され、利用者の顔照合結果を外部システムの管理サーバ8に通知する。
稼働状況監視部26は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ5に通知する。
次に、管理端末2について説明する。図6は、管理端末2の概略構成を示すブロック図である。
管理端末2は、通信部31と、ディスプレイ32(表示部)と、入力デバイス33(操作部)と、記憶部34と、制御部35と、を備えている。
通信部31は、ネットワークを介して顔管理サーバ5と通信を行う。本実施形態では、顔管理サーバ5から画面情報などを受信し、これに応じた管理者の操作情報などを顔管理サーバ5に送信する。
ディスプレイ32は、各種の画面を表示する。入力デバイス33は、マウスやキーボードなどであり、ディスプレイ32に表示された画面の操作を行う。
記憶部34は、制御部35を構成するプロセッサで実行されるプログラム(管理アプリケーション)などを記憶する。
制御部35は、GUI制御部41を備えている。この制御部35は、プロセッサで構成され、制御部35の各部は、記憶部34に記憶されたプログラム(管理アプリケーション)をプロセッサで実行することで実現される。
GUI制御部41は、顔管理サーバ5から配信される各種の操作画面をディスプレイ32に表示する。また、入力デバイス33を用いた管理者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。本実施形態では、ログインに関連する画面、具体的にはログイン画面に関する表示入力制御を行う。また、利用者管理に関連する画面、具体的には、利用者に関する登録(個別登録、一括登録)、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、照合グループ管理に関連する画面、具体的には、照合グループに関する登録(個別登録、一括登録)、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証機管理に関連する画面、具体的には、認証機と照合グループとの間の関連付けに関する登録、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証ログの参照画面に関する表示入力制御を行う。
次に、顔管理サーバ5の概略構成について説明する。図7は、顔管理サーバ5の概略構成を示すブロック図である。
顔管理サーバ5は、通信部51と、記憶部52と、制御部53と、を備えている。
通信部51は、ネットワークを介して管理端末2と通信を行う。また、通信部51は、ネットワークを介して顔認証機1と通信を行う。また、通信部51は、顔照合サーバ6と通信を行う。
記憶部52は、顔情報データベース、顔認証機1と照合グループとの間の関連付け情報に関するデータベース、顔照合サーバ6と照合グループとの間の関連付け情報に関するデータベース、管理者アクセスログ、制御部53を構成するプロセッサで実行される制御プログラムなどを記憶する。
顔情報データベースは、登録された利用者に関する情報として、利用者の姓名、顔画像、照合グループなどが登録される。なお、利用者の顔画像はプライバシー保護のために暗号化された状態で記憶してもよい。
制御部53は、管理者アクセス管理部61と、利用者管理部62と、照合グループ管理部63と、顔認証機管理部64と、顔照合サーバ管理部65と、顔情報管理部66と、データベース管理部67と、稼働状況監視部68と、認証ログ提示部69と、を備えている。この制御部53は、プロセッサで構成され、制御部53の各部は、記憶部52に記憶されたプログラムをプロセッサで実行することで実現される。制御部53の各部は、WebAPI(Web Application Programming Interface)として構成される。
管理者アクセス管理部61は、管理端末2から自装置にアクセスする管理者のアクセス許可グループに応じて、管理者のアクセス(ログイン)を許可または拒否する。
また、管理者アクセス管理部61は、自装置に対する管理端末2からのアクセスを管理し、管理者が管理端末2を操作して自装置にアクセスすると、そのときの情報を管理者アクセスログ(履歴情報)として記憶部52に蓄積する。また、管理端末2からの参照要求に応じて、管理者アクセスログを管理端末2に提示する。
利用者管理部62は、利用者に関する情報を管理し、管理端末2からの要求に応じて、利用者に関する必要な処理を行う。本実施形態では、管理端末2から、利用者に関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
照合グループ管理部63は、照合グループに関する情報を管理し、管理端末2からの要求に応じて、照合グループに関する必要な処理を行う。本実施形態では、管理端末2から、照合グループに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。また、照合グループ情報、すなわち、顔認証機1が自分の照合グループと一致した顔照合サーバ6に顔認証を要求するために必要となる情報を顔認証機1ごとに生成して、その照合グループ情報を顔認証機1に提供する。
顔認証機管理部64は、顔認証機1に関する情報を管理し、管理端末2からの要求に応じて、顔認証機1に関する必要な処理を行う。本実施形態では、管理端末2から、顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
顔照合サーバ管理部65は、顔照合サーバ6に関する情報を管理し、管理端末2からの要求に応じて、顔照合サーバ6に関する必要な処理を行う。本実施形態では、管理端末2から、顔照合サーバ6と照合グループとの間の関連付けに関する登録、参照および削除の要求が行われ、その要求に応じて必要な処理を行う。
顔情報管理部66は、自装置および顔照合サーバ6にそれぞれ保管された利用者の顔情報を管理する。本実施形態では、自装置に保管された利用者の顔情報(利用者の姓名、顔画像など)と、顔照合サーバ6に保管された利用者の顔情報(利用者の顔特徴量データ)とが整合した状態に維持されるように、顔情報の同期を行う。また、顔情報管理部66は、顔情報(利用者の顔特徴量データ)のコピーを行う。
データベース管理部67は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
稼働状況監視部68は、自装置の稼働状況を監視し、また、顔認証機1および顔照合サーバ6からの稼働状況の通知を受け取り、管理端末2での管理者の操作に応じて、顔認証機1、自装置(顔管理サーバ5)、および顔照合サーバ6の稼働状況を管理端末2に画面表示する。
認証ログ提示部69は、管理端末2からの参照要求に応じて、顔照合サーバ6から認証ログを取得して、認証ログを管理端末2に提示する。
次に、顔照合サーバ6の概略構成について説明する。図8は、顔照合サーバ6の概略構成を示すブロック図である。
顔照合サーバ6は、通信部71と、記憶部72と、制御部73と、を備えている。
通信部71(顔画像受信部、認証結果送信部)は、ネットワークを介して顔認証機1と通信を行う。本実施形態では、顔認証機1から顔画像データなどを受信する。また、利用者の認証結果などを顔認証機1に送信する。また、通信部71は、ネットワークを介して顔管理サーバ5と通信を行う。本実施形態では、各種の処理のリクエストなどを顔管理サーバ5から受信し、それに応じたレスポンスなどを顔管理サーバ5に送信する。
記憶部72は、顔照合データベース、利用者と特徴量との間の関連付け情報、自装置の照合グループに関する情報、認証ログ、制御部73を構成するプロセッサで実行される制御プログラムなどを記憶する。
顔照合データベースには、登録された利用者に関する情報として、利用者の顔特徴量データなどが登録される。また、顔照合データベースは、照合グループごとに設けられ、利用者の顔特徴量データをグループ単位で保管する。ここで、登録された利用者の顔特徴量データは、予期しない顔照合データベースからの消失に備えて、顔照合サーバ6内に設けられたHDDやSSD等の不揮発性メモリへバックアップ保存してもよい。
制御部73は、照合グループ管理部81と、画像品質チェック部82と、顔画像抽出部83と、顔特徴量生成部84と、顔特徴量管理部85と、顔特徴量照合部86と、認証ログ管理部87と、データベース管理部88と、稼働状況監視部89と、を備えている。この制御部73は、プロセッサで構成され、制御部73の各部は、記憶部72に記憶されたプログラムをプロセッサで実行することで実現される。制御部73の各部は、WebAPIとして構成される。
照合グループ管理部81は、自装置が属する照合グループを管理し、顔管理サーバ5からの要求に応じて、照合グループに関する登録や削除の処理を行う。
画像品質チェック部82は、撮影画像内の顔領域の画像が所定の品質を満足しているか否かを判定する。具体的には、対象となる画像から、マスクの着用の有無およびサングラスの着用の有無を検知し、また、顔認証適合度(顔の向きや表情による評価値)を算出する。
顔画像抽出部83は、利用者登録時に、管理端末2から取得した利用者の撮影画像から顔画像を抽出する。このとき、撮影画像から人物の顔を検知し(顔検知)、検知した顔のサイズが適正であるかを判定し(顔サイズチェック)、撮影画像から顔領域を切り出して(顔切出し)、人物の顔画像を取得する。なお、顔認証時に、顔認証機1から取得した対象者の撮影画像から顔画像を抽出するようにしてもよい。
顔特徴量生成部84は、利用者登録時および顔認証時に、顔画像データから顔特徴点を検出して顔特徴量データを生成する。
顔特徴量管理部85は、利用者登録時に、顔特徴量生成部84で生成した利用者の顔特徴量データを、利用者の照合グループに対応した顔照合データベースに登録する。また、更新や削除の際に、顔管理サーバ5からの要求に応じて、顔照合データベースに登録された顔特徴量データを削除する。また、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われた場合に、顔管理サーバ5からの要求に応じて、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。
顔特徴量照合部86は、顔認証時に、顔認証機1から取得した顔画像データから生成した対象者の顔特徴量データと、自装置に保管された登録者(登録済みの利用者)の顔特徴量データとを比較して、対象者が登録者か否かを判定する。この顔特徴量照合部86は、自装置に関連付けされた照合グループに対応したものであり、自装置に複数の照合グループが関連付けられている場合には、照合グループごとの複数の顔特徴量照合部86を有する。この顔特徴量照合部86(顔照合プロセス)は、顔照合データベースと組み合わせて顔照合ユニットを構成する。
なお、顔特徴量照合部86では、対象者と登録者との類似度(照合スコア)を算出する。この類似度を所定のしきい値と比較することで、顔認証の成否を判定することができる。この成否の判定結果を照合結果として顔認証機1に通知する他に、類似度の高い登録者に関する人物IDや類似度を照合結果として顔認証機1に通知するようにしてもよい。
認証ログ管理部87は、顔認証機1から自装置に顔認証の要求が行われると、そのときの情報、すなわち、顔認証の要求元の顔認証機1の機器ID、顔照合結果などの情報を、認証ログとして記憶部72に蓄積する。また、顔管理サーバ5からの要求に応じて、認証ログを顔管理サーバ5に提供する。
データベース管理部88は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
稼働状況監視部89は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ5に通知する。
なお、本実施形態では、顔照合サーバ6の主たる機能として、顔画像抽出、顔特徴量生成、および顔特徴量照合の各機能を備えているが、これらの機能を互いに独立した別の情報処理装置で構成することができる。例えば、顔画像抽出の機能を、他の顔特徴量生成および顔特徴量照合などの機能とは独立した別の情報処理装置で構成するようにしてもよい。
次に、顔認証時に顔認証機1の顔画像抽出部22で行われる処理について説明する。図9は、顔認証機1の顔画像抽出部22で行われる処理の概要を示す説明図である。
顔認証機1では、複数のカメラ11を設けることができる。この場合、カメラ11から撮影画像を取得するカメラ画像キャプチャプロセスが、カメラ11ごとに設けられる。このカメラ画像キャプチャプロセスは、顔認証機1を起動した際に開始され、カメラ11から取得した撮影画像を制御プロセスに渡す。制御プロセスは、各カメラ11の撮影画像に対して、顔検知、顔サイズチェック、顔切出しの各処理を行う。
なお、顔認証機1では、制御プロセスが、設定ファイルを読み込んで、設定ファイルに記載されたカメラ11ごとの設定情報に基づいて、カメラ画像キャプチャプロセスを実行する。このとき、カメラ画像キャプチャプロセスは、実行時に、パラメータとして、カメラ種別、カメラ接続情報、画像取得レート、取得画像サイズの各情報を、制御プロセスから受け取る。
顔検知では、カメラ11の撮影画像に含まれる顔領域を検知する。検知結果に基づいて、顔枠(顔領域を取り囲む矩形の枠)を設定する。
ここで、カメラ11の撮影画像に複数の顔領域が含まれる場合がある。この場合、検知した複数の顔領域の中から、顔認証の対象となる顔領域を選択する(検知顔選別処理)。このとき、顔認証の対象となる顔領域を1つだけ選択するようにしてもよいが、顔認証の対象となる顔領域を複数選択するようにしてもよい。この場合、選択する顔領域の数を管理者が指定できるようにしてもよい。
この検知顔選別処理では、顔枠の面積に基づいて顔認証の対象となる顔領域を選択すればよい。すなわち、顔枠の幅および高さから顔枠の面積を算出して、各顔枠の面積を比較して、面積が大きい順に所定数の顔領域を選択する。なお、顔領域を1つだけ選択する場合には、面積が最大の顔領域を選択すればよい。また、顔枠の面積が同じ場合には、検知された順に顔領域を選択すればよい。
また、顔枠の幅に基づいて顔認証の対象となる顔領域を選択するようにしてもよい。すなわち、各顔枠の幅を比較して、幅が大きい順に所定数の顔領域を選択する。なお、顔領域を1つだけ選択する場合には、幅が最大の顔領域を選択すればよい。また、顔枠の幅が同じ場合には、検知された順に顔領域を選択すればよい。
なお、顔検知の前処理として、例えばグレースケール変換が行われる。
顔サイズチェックの処理では、撮影画像から検知した顔領域(顔枠)のサイズが所定の基準(適正範囲)を満たしているか否かを判定する。具体的には、顔検知で取得した顔枠の幅および高さが所定の範囲内にある場合に、顔領域のサイズが適正であると判定する。具体的には、顔枠の幅および高さの各々に関して閾値(最小値および最大値)を設定して、顔枠の幅および高さを各々の最小値および最大値と比較して、顔枠の幅がその最小値以上でかつ最大値以下となり、同時に、顔枠の高さがその最小値以上でかつ最大値以下となる場合に、顔領域のサイズが適正であると判定する。
図10、図11は、顔認証機1で行われる顔切出し処理の概要を示す説明図である。
顔切出しの処理では、カメラの撮影画像に対して、顔検知で取得した顔領域(顔枠)を基準にして切り出し領域を設定して、その切出し領域(顔切出し枠)の画像を顔画像として切り出す処理を行う。切出し領域は、顔領域を中心にして、その顔領域を縦方向および横方向に拡張した状態で設定される
図10(A)に示す例では、拡張係数kを3として、顔検知で検知した顔領域の3倍の領域を切り出し領域に設定している。図10(B)に示す例では、拡張係数kを4として、顔領域の4倍の領域を切り出し領域に設定している。
ここで、図10(B)に示すように、顔枠の左上の頂点Aの座標(x,y)と顔枠の幅wおよび高さhとから、顔枠の中心Bの座標(x',y')が次式のように求められる。
(x',y')=((x+w)/2,(y+h)/2)
また、顔枠の幅wおよび高さhと拡張係数kとから、切出し領域の幅Wおよび高さHが次式のように求められる。
W=w×k
H=h×k
そして、顔枠の中心Bの座標(x',y')と切出し領域の幅Wとおよび高さHとから、切出し領域の左上の頂点Cの座標(X,Y)が次式のように求められる。
(X,Y)=(x'-(W/2),y'-(H/2))
この切出し領域の左上の頂点Cの座標(X,Y)と切出し領域の幅Wとおよび高さHとにより切出し領域が規定される。
また、撮影画像に切り出し領域の全体が含まれる場合は問題ないが、図11(A)に示すように、撮影画像に切り出し領域の全体が含まれない場合、すなわち、切り出し領域の一部が撮影画像からはみ出している場合がある。
この場合、図11(B)に示すように、切り出し領域と同じのサイズの背景画像を生成する。この背景画像は、撮影画像からはみ出した余白部を埋めるものであり、所定色(例えば黒色)で塗り潰されている。また、図11(C)に示すように、撮影画像から切り出し領域の画像を切り出して、切出し画像を取得する。そして、図11(D)に示すように、背景画像上に切出し画像を重ね合わせて、顔画像を生成する。
次に、顔画像抽出処理について説明する。図12は、顔画像抽出処理の概要を示す説明図である。
前記のように、顔認証機1の顔画像抽出部22において、顔画像抽出処理、すなわち、顔検知、顔サイズチェック、顔切出しの各処理により、利用者の撮影画像データから顔画像データを生成する処理が行われるが、この顔画像抽出処理は、顔照合サーバ6の顔画像抽出部83でも同様に行われる。
利用者登録時には、管理端末2から顔管理サーバ5を介して顔照合サーバ6に利用者の撮影画像データを送ることで、顔照合サーバ6の顔画像抽出部83で顔画像抽出処理を行う。
一方、顔認証時には、顔認証機1でのみ顔画像抽出処理を行い、顔照合サーバ6では顔画像抽出処理を行わない。この場合、顔認証機1に高精度な顔検知の機能を与える。また、顔認証機1ではカメラ11で撮影エリアを常時撮影し、顔が検知されたタイミングで顔画像情報(撮影画像データと顔枠情報)を顔照合サーバ6に送るようにする。これにより、顔画像抽出処理の負荷が複数の顔認証機1に分散され、顔照合サーバ6の負荷を軽減することができる。また、通信量の削減を図ることができるため、ネットワークの負荷を軽減することができる。そして、顔認証の応答を高速に行うことができるため、次々に現れる対象者の顔認証を効率よく行うことができる。
すなわち、利用者の顔認証処理を顔認証機1と顔照合サーバ6とで分担する構成としたので、従来のように利用者の顔認証処理の全てを顔認証機1へ集中させた高価な認証機を多数設ける必要がない。また、顔特徴量データの更新などが発生しても、大規模な認証機のメンテナンス作業を必要とせず、顔照合サーバ6での作業で済む。したがって、本実施形態によれば、安価な構成、かつ、作業性に優れた顔認証システムを構築することができる。
なお、管理端末2が顔画像抽出の機能を備えない構成、すなわち、管理端末2に顔画像抽出部22を設けないようにしてもよい。
図13は、照合グループ情報による顔認証の問合せの概要を示す説明図である。
顔管理サーバ5は、利用者が属する照合グループに関する情報と、顔認証機1と照合グループとの間の関連付け情報と、顔照合サーバ6と照合グループとの間の関連付け情報と、を保持する。また、顔管理サーバ5の照合グループ管理部63では、顔認証機1と照合グループとの間の関連付け情報と、顔照合サーバ6と照合グループとの間の関連付け情報とに基づいて、顔認証機1ごとの照合グループ情報を生成する。
この照合グループ情報は、顔認証機1が自分の照合グループと一致した顔照合サーバ6に顔認証を要求するために必要となる情報である。この照合グループ情報には、顔認証機1が属する照合グループの識別情報(グループ番号)と、その顔認証機1から顔認証を要求する顔照合サーバ6、すなわち、顔認証機1との照合グループに対応する顔照合サーバ6の宛先情報とが含まれる。ここで、宛先情報は、具体的には、顔照合サーバ6のネットワークアドレス(例えばIPアドレス)であり、この宛先情報により、顔認証の要求先となる顔照合サーバ6が特定され、顔認証機1と、その顔認証の要求先となる顔照合サーバ6とが関連付けられる。なお、顔認証機1が複数の照合グループに所属する場合には、対応する複数の顔照合サーバ6ごとのアドレス(IPアドレス)が照合グループ情報に含まれる。
顔認証機1では、起動時などに、起動処理部21が動作設定情報として顔管理サーバ5から照合グループ情報を取得して自装置に記憶する。顔認証機1では、人物の顔を検知すると、自装置が属する照合グループと一致する顔照合サーバ6に対して顔照合のリクエストを送る。この顔照合のリクエストには、自装置が属する照合グループの情報などを含む。
なお、顔認証機1において、照合グループ情報などに関する設定情報を顔管理サーバ5から取得するタイミングは、起動時の他、所定のタイミングでまたは所定間隔で定期的に行うようにしてもよく、または、顔管理サーバ5から照合グループ情報を配信する構成を採用することもできる。
顔照合サーバ6では、自装置の顔照合プロセスと照合グループとの間の関連付け情報を保持する。顔照合サーバ6では、顔認証機1からの顔認証のリクエストを受け取ると、照合グループと顔認証プロセスとの間の関連付け情報と、顔認証機1から取得した照合グループとに基づいて、顔認証機1に対応する顔認証プロセスを特定して、その顔認証プロセスに顔照合を行わせる。これにより、指定された照合グループに対応した顔認証プロセスで顔照合処理が行われる。
ところで、本実施形態では、顔照合サーバ6において、照合グループごとに顔照合データベースを設けて、照合グループ単位で顔特徴量データを保管する。このため、顔照合時には、顔認証機1の照合グループに対応する顔照合データベースに登録された顔特徴量データを対象にして顔照合を行えばよい。一方、顔照合サーバ6において、顔認証機1の照合グループに関係なく照合を行った上で、照合結果に対してフィルタをかけるようにしてもよい。すなわち、顔照合サーバ6に保管された全ての利用者の顔特徴量データを対象にして顔照合を行った上で、顔認証機1の照合グループに属する利用者との照合結果のみを抽出するようにしてもよい。この場合、照合グループごとに顔照合データベースを分けて設けないようにしてもよい。
次に、管理者アクセス管理について説明する。
本システムでは、管理端末2から顔管理サーバ5および顔照合サーバ6へのアクセスを管理する。顔管理サーバ5は、管理者アクセス管理部61を備えている。このアクセス管理部は、顔管理サーバ5および顔照合サーバ6に対する管理端末2からのアクセス(ログイン)の状況を監視し、管理端末2からのアクセスを検知すると、そのアクセスに関する情報(アクセスした管理者や日時など)を管理者アクセスログ(履歴情報)として記録する。また、顔管理サーバ5は、管理端末2からの管理者アクセスログの参照の要求に応じて、管理端末2に管理者アクセスログを提供し、管理者が管理者アクセスログを閲覧することができる。
本実施形態では、利用者の情報に対するアクセス権を管理者に設定して、利用者の情報に対するアクセス(利用者情報の登録、参照、更新および削除など)を制限する。管理者に与えられるアクセス権の違いに応じて、管理者を複数の管理者グループにグループ分けする。ここでは、管理者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。
また、本実施形態では、利用者の情報にアクセスできる管理者グループに応じて、利用者を複数のアクセス許可グループにグループ分けする。アクセス許可グループは、当該利用者のデータにアクセスすることができる管理者グループである。ここでは、利用者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。
顔管理サーバ5では、管理者のログインを受け付けた際に、ログインした管理者の管理者グループ(管理者種別)を取得して、その管理者グループと、対象となる利用者が属するアクセス許可グループとに基づいて、利用者の情報に対するアクセス(参照、更新および削除)の可否を判定して、利用者の情報に対するアクセスを許可する。すなわち、管理者が属する管理者グループで許可されている利用者の情報に対してのみ、参照、更新および削除の処理を行わせることができる。
システム運用管理者は、本システムの運用(保守など)を管理する人物であり、すべての利用者、すなわち、アクセス許可グループがシステムユーザ、管理ユーザ、一般ユーザのいずれかとなる利用者の情報にアクセスすることができる。また、サービス運用管理者は、本システムによる顔認証サービスの運用(利用者の登録・削除など)を管理する人物であり、アクセス許可グループが管理ユーザまたは一般ユーザとなる利用者の情報にアクセスすることができる。また、一般管理者は、サービス運用管理者から権限を付与された人物であり、アクセス許可グループが一般ユーザとなる利用者の情報にのみアクセスすることができる。
図14は、管理端末2に表示されるログイン画面を示す説明図である。
管理端末2では、管理アプリケーションを起動して顔管理サーバ5にアクセスすると、ログイン画面が表示される。このログイン画面では、管理者が自分のユーザIDとパスワードとを入力することができる。このログイン画面で管理者がユーザIDおよびパスワードを入力してログインボタンを操作すると、顔管理サーバ5において、ユーザ認証が行われる。ログインに成功した場合、トップ画面を表示する。ログインに失敗した場合、エラーを表示する。
次に、照合グループに関する登録、参照、更新および削除について説明する。図15、図16は、照合グループに関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図である。
管理端末2では、照合グループに関する登録、参照、更新および削除の際に、図15(A)に示す参照画面、図15(B)に示す登録画面、図15(C)に示す更新画面、および図16に示す削除画面が表示される。
図15(A)に示す参照画面は、登録済みの照合グループを一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
この参照画面には、一覧表示部101と更新ボタン102とが設けられている。一覧表示部101では、登録済みの照合グループごとに、照合グループID(番号)と、照合グループに関する説明(設置場所)とが並べて表示される。これにより、登録済みの照合グループを管理者が確認することができる。この参照画面では、更新ボタン102を操作すると、一覧表示部101が最新の登録内容に更新される。また、照合グループを選択する、具体的には、照合グループIDを操作することで、更新画面(図15(C)参照)に遷移する。
また、この参照画面では、項目(照合グループ、説明)を指定してソートを実行することができる。なお、一覧表示部101の表示件数(顔照合サーバ6の台数)や、顔照合サーバ6や照合グループの表示範囲を指定できるようにしてもよい。また、各項目(機器ID、顔照合サーバ6、説明)に関する検索条件を指定して検索できるようにしてもよい。
図15(B)に示す登録画面(第1の画面)は、管理者に照合グループの登録を行わせるものである。
この登録画面には、説明入力部103と登録ボタン104とが設けられている。説明入力部103では、照合グループに関する説明を入力することができる。説明を入力した上で登録ボタン104を操作すると、入力内容で照合グループ情報をデータベースに登録する処理が顔管理サーバ5で行われる。
図15(C)に示す更新画面は、管理者に照合グループの登録内容の更新を行わせるものである。
この更新画面には、説明入力部105と更新ボタン106とが設けられている。説明入力部105では、照合グループに関する説明を入力することができる。説明を入力した上で更新ボタン106を操作すると、データベースに登録された照合グループ情報を入力内容で更新する処理が顔管理サーバ5で行われる。
図16に示す削除画面は、管理者に照合グループの削除を行わせるものである。
この削除画面には、一覧表示部107と削除ボタン108とが設けられている。一覧表示部107では、登録済みの照合グループ(番号)と、照合グループに関する説明とが一覧表示される。また、この一覧表示部107には、照合グループごとにチェックボックスが設けられている。チェックボックスにより照合グループを選択することができる。チェックボックスにより削除する照合グループを選択して削除ボタン108を操作すると、選択した照合グループを削除する処理が顔管理サーバ5で行われる。
ここで、メニュー画面(図示せず)において参照を選択することで、図15(A)に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図15(B)に示す登録画面に遷移する。また、メニュー画面において更新を選択することで、図15(C)に示す更新画面に遷移する。また、メニュー画面において削除を選択することで、図16に示す削除画面に遷移する。
次に、照合グループに関する登録、参照、更新および削除の処理について説明する。図17は、照合グループに関する登録、参照、および更新の処理の手順を示すシーケンス図である。図18は、照合グループに関する登録、参照、更新の処理の概要を示す説明図である。
まず、本システムにおける照合グループに関する登録処理について説明する。
図17(A)に示すように、管理端末2では、管理者が、照合グループに関する登録を指示する操作を行う。本実施形態では、照合グループに関する登録画面(図15(B)参照)において、管理者が、照合グループを登録する操作を行う。
図18に示すように、顔管理サーバ5では、管理端末2において照合グループの登録を指示する操作が行われると、照合グループ管理部63において照合グループに関する登録処理を行う。この登録処理では、管理者が入力した照合グループの情報を、照合グループのデータベースに登録する。
そして、顔管理サーバ5では、照合グループに関する登録処理が終了すると、登録処理が正常に終了したか否かを表す処理結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセス管理部61において管理者アクセスログを記録する。
次に、照合グループに関する参照処理について説明する。
図17(B)に示すように、管理端末2では、管理者が、照合グループに関する参照を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する参照画面(図15(A)参照)を開く操作を行う。
顔管理サーバ5では、管理端末2において照合グループの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、照合グループに関するデータベースを参照して、全ての照合グループを対象にした照合グループのリスト情報を生成して、そのリスト情報に基づいて、全ての照合グループを対象にした参照画面を管理端末2に表示させる。また、管理者が、管理端末2に表示された参照画面(図15(A)参照)において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末2に表示させる。
次に、照合グループに関する更新処理について説明する。
図17(C)に示すように、管理端末2では、管理者が照合グループの更新を指示する操作を行う。本実施形態では、照合グループに関する更新画面(図15(C)参照)において、更新内容を入力して更新ボタン106を操作する。
顔管理サーバ5では、管理端末2において照合グループの更新を指示する操作が行われると、照合グループに関する更新処理を行う。この更新処理では、照合グループに関するデータベースを、管理者が指定した内容で更新する。そして、顔管理サーバ5では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末2に画面表示する。
次に、照合グループに関する削除処理について説明する。図19は、照合グループに関する削除処理の手順を示すシーケンス図である。図20は、照合グループに関する削除処理の概要を示す説明図である。
図19に示すように、管理端末2では、管理者が照合グループの削除を指示する操作を行う。本実施形態では、照合グループに関する削除画面(図16参照)において、削除対象となる照合グループを選択して削除ボタン108を操作する。
図20に示すように、顔管理サーバ5では、管理端末2において照合グループの削除を指示する操作が行われると、照合グループに関する削除処理を行う。この削除処理では、管理者が指定した照合グループの登録情報を、照合グループに関するデータベースから削除する。また、対象となる照合グループと顔照合サーバ6との間の関連付け情報を削除する。このとき、対象となる照合グループと顔照合サーバ6との間の関連付け情報を削除してから、照合グループの登録情報を削除する。また、照合グループと利用者との間の関連付けのデータベースから、対象となる照合グループに関する情報を削除する。また、対象となる照合グループに属する利用者の顔情報(顔特徴量データ)を顔情報データベースから削除する。また、対象となる照合グループと顔認証機1との間の関連付け情報を削除する。また、顔管理サーバ5では、管理者アクセス管理部61において管理者アクセスログを記録する。
また、顔管理サーバ5では、照合グループ削除のリクエストを顔照合サーバ6に送る。この照合グループ削除のリクエストには、削除の対象となる照合グループの情報が含まれる。
顔照合サーバ6では、顔管理サーバ5からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、指定された照合グループと顔照合部(顔照合プロセス)との間の関連付け情報を削除する。このとき、削除対象となる照合グループに関する顔照合部を停止するとともに、照合グループに対応した顔照合データベースを削除する。
そして、顔照合サーバ6では、削除処理が終了すると、照合グループ削除のレスポンスを顔管理サーバ5に送る。このレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
顔管理サーバ5では、顔照合サーバ6からの照合グループ削除のレスポンスを受け取り、自装置の削除処理も終了すると、削除処理が正常に終了したか否かを表す処理結果を管理端末2に画面表示する。
なお、顔認証機1では、再起動することで、この処理が反映され、照合グループの情報が削除される。
次に、照合グループに関する一括登録処理について説明する。図21は、照合グループに関する一括登録処理の手順を示すシーケンス図である。
本システムでは、対象となる照合グループに関する情報を格納したリスト情報のファイルを用いて、顔管理サーバ5に照合グループを一括登録することができる。
具体的には、まず、管理端末2では、照合グループに関する一括登録を指示する操作を行う。本実施形態では、登録画面(図示せず)において、管理者が、対象となる照合グループに関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末2の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で照合グループの一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
顔管理サーバ5では、管理端末2において照合グループの一括登録を指示する操作が行われると、照合グループに関する一括登録処理を行う。この一括登録処理では、管理端末2から取得した照合グループのリスト情報に基づいて、対象となる各照合グループに関する登録処理を繰り返す。
そして、顔管理サーバ5では、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末2に画面表示する。このとき、登録に失敗した照合グループを管理者に報告し、その照合グループに関する再登録を催促する。登録結果をログファイルで出力する。
なお、ここでは、照合グループに関する一括登録処理について説明したが、照合グループに関する一括更新や一括削除の処理も可能である。
次に、本システムにおける顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除について説明する。図22、図23は、顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図である。
管理端末2では、顔認証機1と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図22(A)に示す参照画面、図22(B)に示す登録画面、および図23に示す削除画面が表示される。
図22(A)に示す参照画面は、登録済みの顔認証機1と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
この参照画面には、一覧表示部111と顔認証機指定部112とが設けられている。一覧表示部111では、各認証機の機器IDと、各認証機に関連付けられた照合グループ(番号)と、照合グループに関する説明とが表示される。顔認証機指定部112では、プルダウンメニューにより、対象となる顔認証機1(機器ID)を選択することができる。これにより、一覧表示部111の表示内容を特定の顔認証機1に絞り込むことができ、一覧表示部111に、特定の顔認証機1に関連付けられた照合グループのみが表示される。なお、顔認証機指定部112で顔認証機1を指定しない場合には、一覧表示部111に、全ての顔認証機1に関する情報が表示される。
また、この参照画面では、項目(機器ID、顔認証機1、説明)を指定してソートを実行することができる。なお、一覧表示部111の表示件数(顔認証機1の台数)や、顔照合サーバ6や照合グループの表示範囲を指定できるようにしてもよい。また、各項目(機器ID、顔認証機1、説明)に関する検索条件を指定して検索できるようにしてもよい。
なお、図22(A)に示した例では、顔認証機1が設置された場所(例えば事業所の所在地)で顔認証機1がグループ分けされている。
図22(B)に示す登録画面(第2の画面)は、顔認証機1と照合グループとの関連付け設定を行わせるものである。認証機に照合グループを関連付ける情報を登録することができる。
この登録画面には、認証機指定部113と照合グループ指定部114と登録ボタン115とが設けられている。認証機指定部113では、プルダウンメニューにより、対象となる顔認証機1(機器ID)を選択することができる。照合グループ指定部114では、プルダウンメニューにより、対象となる顔認証機1の照合グループを選択することができる。このプルダウンメニューには、照合グループに関する登録画面(図15(B)参照)により登録された照合グループが表示される。この登録画面で顔認証機1および照合グループを入力した上で登録ボタン115を操作すると、入力内容で照合グループ情報を登録する処理が顔管理サーバ5で行われる。
なお、1つの顔認証機1に複数の照合グループを関連付ける場合があるが、この場合には、登録画面で1つの顔認証機1に1つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部114を複数設けるようにしてもよい。
図23に示す削除画面は、顔認証機1と照合グループとの関連付け設定を削除するものである。
この削除画面には、一覧表示部116と顔認証機指定部117と削除ボタン118とが設けられている。一覧表示部116では、各認証機の機器IDと、各顔認証機1に関連付けられた照合グループ(番号)と、照合グループに関する説明とが表示される。また、この一覧表示部116には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン118を操作すると、選択した登録事項を削除する処理が顔管理サーバ5で行われる。顔認証機指定部117では、プルダウンメニューにより顔認証機1を選択することができる。これにより、特定の顔認証機1に絞り込んだ状態で一覧表示部116の表示内容が更新される。
ここで、メニュー画面(図示せず)において参照を選択することで、図22(A)に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図22(B)に示す登録画面に遷移する。また、メニュー画面において削除を選択することで、図23に示す削除画面に遷移する。また、メニュー画面において更新を選択することで、更新画面(図示せず)に遷移する。また、参照画面において、管理者が、顔認証機1と照合グループとの関連付けを選択すると、更新画面(図示せず)に遷移する。
なお、図23に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面で削除ができるようにしてもよい。また、更新画面(図示せず)は、登録画面(図22(B))と同様である。
次に、顔認証機1と照合グループとの間の関連付けに関する登録処理について説明する。図24は、顔認証機1と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。図25は、顔認証機1と照合グループとの間の関連付けに関する登録処理の概要を示す説明図である。
管理端末2では、管理者が、登録画面(図参照)を開く操作を行う。本実施形態では、メニュー画面(図示せず)において登録を選択する操作を行う。
図25に示すように、顔管理サーバ5では、管理端末2において登録画面を開く操作が行われると、登録機器(顔認証機1および顔照合サーバ6)に関するデータベースを参照して、顔認証機1のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機1のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末2に表示する。
次に、管理端末2では、管理者が、登録画面において、顔認証機1と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面(図22(B)参照)において、顔認証機1と照合グループとの組み合わせを入力して登録ボタンを操作する。
顔管理サーバ5では、管理端末2において顔認証機1と照合グループとの間の関連付けの登録を指示する操作が行われると、顔認証機1と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔認証機1と照合グループとの組み合わせで関連付け情報をデータベースに登録する。なお、顔認証機1と照合グループとの間の関連付けは、顔認証機1を再起動させることで反映される。
そして、顔管理サーバ5では、登録処理が終了すると、登録処理が正常に終了したか否かを表す登録結果を管理端末2に画面表示する。
次に、顔認証機1と照合グループとの間の関連付けに関する参照処理について説明する。図26は、顔認証機1と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
管理端末2では、管理者が、顔照合サーバ6と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面(図22(A)参照)を開く操作を行う。
顔管理サーバ5では、管理端末2において顔認証機1と照合グループとの間の関連付けの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、顔認証機1と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ6を対象にした関連付け情報のリストを生成して、参照画面を管理端末2に表示させる。また、管理者が、参照画面において、対象となる顔認証機1を絞り込む操作を行うと、選択した顔認証機1を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末2に表示させる。また、管理者が、参照画面において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末2に表示させる。
また、顔管理サーバ5では、管理者アクセスログを記録する。
次に、顔認証機1と照合グループとの間の関連付けに関する更新処理について説明する。図27は、顔認証機1と照合グループとの間の関連付けに関する更新処理の手順を示すシーケンス図である。
管理端末2では、管理者が、更新画面(図示せず)を開く操作を行う。本実施形態では、メニュー画面(図示せず)において更新を選択する操作を行う。
顔管理サーバ5では、管理端末2において更新画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔認証機1のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機1のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、更新画面を管理端末2に表示する。この更新画面では、顔認証機1と照合グループとの間の関連付けに関する登録情報に基づいて、初期状態で、現在登録されている組み合わせが表示される。
次に、管理端末2では、管理者が、更新画面において、顔認証機1と照合グループとの間の関連付けの更新を指示する操作を行う。本実施形態では、更新画面(図示せず)において、更新内容を入力して更新ボタンを操作する。なお、更新内容とは、認証機と照合グループとの組み合わせを変更するものである。
顔管理サーバ5では、管理端末2において顔認証機1と照合グループとの間の関連付けの更新を指示する操作が行われると、顔認証機1と照合グループとの間の関連付けに関する更新処理を行う。この更新処理では、顔認証機1と照合グループとの間の関連付けに関するデータベースを、管理者が指定した内容で更新する。管理者が入力した認証機と照合グループとの組み合わせでデータベースの関連付け情報を更新する処理を行う。そして、顔管理サーバ5では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末2に画面表示する。
次に、顔認証機1と照合グループとの間の関連付けに関する削除処理について説明する。図28は、顔認証機1と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。
管理端末2では、管理者が、認証機と照合グループとの関連付けの削除を指示する操作を行う。本実施形態では、削除画面(図23参照)において、登録事項(関連付け)を選択して削除ボタンを操作する。
顔管理サーバ5では、管理端末2において顔認証機1と照合グループとの間の関連付けの削除を指示する操作が行われると、顔認証機1と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、管理者が指定した顔認証機1と照合グループとの間の関連付け情報を削除する。
そして、顔管理サーバ5では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセスログを記録する。
次に、本システムにおける顔照合サーバ6と照合グループとの間の関連付けに関する登録、参照および削除について説明する。図29、図30は、顔照合サーバ6と照合グループとの間の関連付けに関する登録、参照および削除の際に管理端末2に表示される画面を示す説明図である。
管理端末2では、顔照合サーバ6と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図29(A)に示す参照画面、図29(B)に示す登録画面、および図30に示す削除画面が表示される。
図29(A)に示す参照画面は、登録済みの顔照合サーバ6と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
この参照画面には、一覧表示部121と顔照合サーバ指定部122とが設けられている。一覧表示部121では、各顔照合サーバ6の機器IDと、各認証機に関連付けられた照合グループ(番号)と、照合グループに関する説明とが表示される。顔照合サーバ指定部122では、プルダウンメニューにより、対象となる顔照合サーバ6(機器ID)を選択することができる。これにより、一覧表示部121の表示内容を特定の顔照合サーバ6に絞り込むことができ、一覧表示部121に、特定の顔照合サーバ6に関連付けられた照合グループのみが表示される。なお、顔照合サーバ指定部122で顔照合サーバ6を指定しない場合には、一覧表示部121に、全ての顔照合サーバ6に関する情報が表示される。
また、この参照画面では、項目(機器ID、顔照合サーバ6、説明)を指定してソートを実行することができる。なお、一覧表示部121の表示件数(顔照合サーバ6の台数)や、顔照合サーバ6や照合グループの表示範囲を指定できるようにしてもよい。また、各項目(機器ID、顔照合サーバ6、説明)に関する検索条件を指定して検索できるようにしてもよい。
図29(B)に示す登録画面(第2の画面)は、照合グループと顔照合サーバ6との間の関連付けを指定するものである。
この登録画面には、顔照合サーバ指定部123と照合グループ指定部124と登録ボタン125とが設けられている。顔照合サーバ指定部122では、プルダウンメニューにより顔照合サーバ6の機器IDを選択することができる。照合グループ指定部124では、プルダウンメニューにより照合グループを選択することができる。プルダウンメニューには、照合グループに関する登録画面(図15(B)参照)により登録された照合グループが表示される。
顔照合サーバ6および照合グループを指定して登録ボタン125を操作すると、指定した顔照合サーバ6と照合グループとの組み合わせで照合グループと顔照合サーバ6との間の関連付け情報が登録される。
なお、1つの顔照合サーバ6に複数の照合グループを割り当てる場合があり、この場合には、登録画面で1つの顔照合サーバ6に1つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部124を複数設けるようにしてもよい。
図30に示す削除画面は、顔照合サーバ6と照合グループとの関連付け設定を削除するものである。
この削除画面には、一覧表示部126と顔照合サーバ指定部127と削除ボタン128とが設けられている。一覧表示部126では、各顔照合サーバ6の機器IDと、各顔照合サーバ6に関連付けられた照合グループ(番号)と、照合グループに関する説明とが表示される。また、この一覧表示部126には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン128を操作すると、選択した登録事項を削除する処理が顔管理サーバ5で行われる。顔照合サーバ指定部127では、プルダウンメニューにより顔照合サーバ6を選択することができる。これにより、特定の顔照合サーバ6に絞り込んだ状態で一覧表示部126の表示内容が更新される。
ここで、図29(A)に示す参照画面は、メニュー画面(図示せず)で参照を選択することで表示される。図29(B)に示す登録画面は、メニュー画面(図示せず)で登録を選択することで表示される。図30に示す削除画面は、メニュー画面(図示せず)で削除を選択することで表示される。また、図29(A)に示す参照画面の一覧表示部121で顔照合サーバ6を選択すると、図29(B)に示す登録画面に遷移し、ここで、顔照合サーバ6と照合グループとの関連付けを変更することができる。
なお、図30に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面(図示せず)で削除ができるようにしてもよい。
次に、顔照合サーバ6と照合グループとの間の関連付けに関する登録処理について説明する。図31は、顔照合サーバ6と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。
管理端末2では、管理者が、登録画面(図29(B)参照)を開く操作を行う。本実施形態では、メニュー画面(図示せず)において登録を選択する操作を行う。
顔管理サーバ5では、管理端末2において登録画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔照合サーバ6のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔照合サーバ6のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末2に表示する。
次に、管理端末2では、管理者が、登録画面において、顔照合サーバ6と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面(図29(B)参照)において、顔照合サーバ6と照合グループとの組み合わせを入力して登録ボタン125を操作する。
顔管理サーバ5では、管理端末2において顔照合サーバ6と照合グループとの間の関連付けの登録を指示する操作が行われると、顔照合サーバ6と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔照合サーバ6と照合グループとの組み合わせで関連付け情報をデータベースに登録する。
また、顔管理サーバ5では、照合グループ登録のリクエストを、対象となる顔照合サーバ6に送る。
顔照合サーバ6では、顔管理サーバ5からの照合グループ登録のリクエストを受け取ると、照合グループに関する登録処理を行う。この登録処理では、照合グループを自装置の設定情報として登録する。そして、顔照合サーバ6では、登録処理が終了すると、登録のレスポンスを顔管理サーバ5に送る。
顔管理サーバ5では、登録処理が終了すると、その登録処理が正常に終了したか否かを表す結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセスログを記録する。
,
次に、顔照合サーバ6と照合グループとの間の関連付けに関する参照処理について説明する。図32は、顔照合サーバ6と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
管理端末2では、管理者が、顔照合サーバ6と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面(図29(A)参照)を開く操作を行う。
顔管理サーバ5では、管理端末2において顔照合サーバ6と照合グループとの間の関連付けの参照を指示する操作が行われると、顔照合サーバ6と照合グループとの間の関連付けに関する参照処理を行う。この参照処理では、顔照合サーバ6と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ6を対象にした関連付け情報のリストを生成して、参照画面を管理端末2に表示させる。また、管理者が、参照画面において、対象となる顔照合サーバ6を絞り込む操作を行うと、選択した顔照合サーバ6を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末2に表示させる。また、管理者が、参照画面において、項目を選択してソートを実行する操作を行うと、ソートした状態のリストを生成して、ソートが反映された参照画面を管理端末2に表示させる。
また、顔管理サーバ5では、管理者アクセスログを記録する。
次に、顔照合サーバ6と照合グループとの間の関連付けに関する削除処理について説明する。図33は、顔照合サーバ6と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。図34は、顔照合サーバ6と照合グループとの間の関連付けに関する削除処理の概要を示す説明図である。
管理端末2では、管理者が、顔照合サーバ6と照合グループとの間の関連付けの削除を指示する操作を行う。本実施形態では、削除画面(図30参照)において、対象となる関連付けを選択して削除ボタンを操作する。
図34に示すように、顔管理サーバ5では、管理端末2において顔照合サーバ6と照合グループとの間の関連付けの削除を指示する操作が行われると、顔照合サーバ6と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、対象となる顔照合サーバ6と照合グループとの間の関連付け情報を削除する。また、対象となる顔照合サーバ6に関連する顔登録IDを顔情報データベースから削除する。
また、顔管理サーバ5では、照合グループ削除のリクエストを、対象となる顔照合サーバ6に送る。
顔照合サーバ6では、顔管理サーバ5からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、自装置の照合グループに関する設定情報を削除する。そして、顔照合サーバ6では、削除処理が終了すると、レスポンスを顔管理サーバ5に送る。
顔管理サーバ5では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセスログを記録する。
次に、利用者に関する登録、参照、更新および削除について説明する。図35、図36は、利用者に関する登録、参照、更新および削除の際に管理端末2に表示される画面を示す説明図である。
管理端末2では、利用者に関する登録、参照、更新および削除の際に、図35(A)に示す個別編集画面、図35(B)に示す検索画面、図36に示す一覧表示画面が表示される。
図35(A)に示す個別編集画面(第2の画面、第3の画面)は、利用者に関する登録、参照、更新および削除の操作を行うものである。
この登録画面には、姓名入力部131、利用者コード入力部132、照合グループ入力部133、アクセス許可グループ入力部134、有効化日入力部135、無効化日入力部136、および付加情報入力部137と、顔画像入力部138と、実行ボタン139とが設けられている。
姓名入力部131では、利用者の姓名を入力することができる。利用者コード入力部132では、利用者コード、コード番号(例えば社員番号など)を入力することができる。照合グループ入力部133では、照合グループを入力することができる。照合グループ入力部133には、照合グループに関する登録画面(図15(B)参照)により登録された照合グループが表示される。チェックボックスにより照合グループを選択することができる。アクセス許可グループ入力部134では、アクセス許可グループを入力することができる。プルダウンメニューによりアクセス許可グループを選択することができる。有効化日入力部135では、有効化日、すなわち、当該人物の顔照合を有効にすることができる日付を入力することができる。無効化日入力部136では、無効化日、すなわち、顔照合を無効にすることができる日付を入力することができる。この有効化日および無効化日の設定により、複数の利用者に対するサービスを一斉に開始したり終了したりすることができる。付加情報入力部137では、付加情報を入力することができる。
顔画像入力部138には、顔画像指定部141と選択ボタン142と顔画像表示部143とが設けられている。この顔画像指定部141では、利用者の撮影画像のファイルを指定することができる。管理端末2に予め格納された利用者の撮影画像のファイルを指定して選択ボタン142を操作すると、利用者の撮影画像が顔管理サーバ5を介して顔照合サーバ6に送られて、利用者の撮影画像から顔画像を生成する処理(顔検知、顔切り出しなど)が顔照合サーバ6で行われ、利用者の顔画像が顔画像表示部143に表示される。
この登録画面において各項目の情報を入力して実行ボタン139を操作すると、入力内容に基づいて利用者の情報を登録する処理が行われる。
このように登録画面では、利用者に照合グループを割り振ることができ、これにより、利用者と照合グループとの間の関連付け情報がデータベースに登録される。また、この登録画面では、有効化日および無効化日を登録することができる。この有効化日および無効化日は、顔照合サーバ6に利用者の顔情報(顔特徴量データ)を保管している期間を規定するものであり、有効化日になると、利用者の顔画像データが顔照合サーバ6のデータベースに登録され、無効化日になると、利用者の顔画像データが顔照合サーバ6のデータベースから削除される。
また、この登録画面では、利用者の撮影画像を指定することで、利用者の顔画像データが顔照合サーバ6のデータベースに登録される。
図35(B)に示す検索画面は、登録済みの利用者情報に関する検索条件を入力するものである。検索条件に該当する利用者に絞り込んで一覧表示画面に表示させることができる。この検索画面には、姓名入力部131、利用者コード入力部132、照合グループ入力部133、アクセス許可グループ入力部134、有効化日入力部135、無効化日入力部136、および更新日時入力部144と、取得件数入力部145と、検索ボタン146とが設けられている。
姓名入力部131、利用者コード入力部132、照合グループ入力部133、アクセス許可グループ入力部134、有効化日入力部135、無効化日入力部136は、登録画面と同様である。更新日時入力部144では、更新日時(期間)を指定することができる。取得件数入力部145では、取得件数を指定することができる。
この検索画面において、必要な項目で検索条件を入力して検索ボタン146を操作すると、検索結果が反映された一覧表示画面(図36参照)に遷移する。
図36に示す一覧表示画面は、登録済みの利用者に関する一覧表示、一括更新および一括削除を行うものである。
この参照画面を閲覧することで、利用者の登録内容を管理者が確認することができる。この一覧表示画面には、一覧表示部147と実行ボタン148とが設けられている。一覧表示部147では、利用者コード、姓名、照合グループなどが表示される。また、一覧表示部147には、利用者ごとにチェックボックスが設けられている。チェックボックスにより利用者を選択することができる。チェックボックスにより削除する利用者を選択して実行ボタン148(削除ボタン)を操作すると、選択した利用者を削除する処理が顔管理サーバ5で行われる。
また、一覧表示画面では、項目(利用者コード、姓名、照合グループなど)を指定してソート(並び替え)を行うことができる。なお、一覧表示部147の表示件数(利用者の人数)や、利用者コードや照合グループの表示範囲を指定できるようにしてもよい。また、各項目に関する検索条件を指定して検索できるようにしてもよい。
ここで、個別編集画面(図35(A)参照)は、利用者に関する登録、参照、更新および削除の操作を行うものである。具体的には、メニュー画面(図示せず)で登録を選択すると、未入力の個別編集画面が表示され、ここで利用者に関する情報を入力することで、利用者を新規登録することができる。また、一覧表示画面(図36参照)で利用者を選択する操作を行うと、個別編集画面に遷移し、ここで登録済みの利用者に関する情報を個別に確認することができ(個別参照)、また、所要の項目の登録内容を入力しなおすことができ(個別更新)、また、所要の項目の登録内容を削除することができる(個別削除)。
また、個別更新の際に、個別編集画面(図35(A)参照)の顔画像指定部141で、利用者の撮影画像を別に指定すると、その撮影画像から利用者の顔画像が新たに生成され、利用者の登録時の顔画像を新たな顔画像に差し替えることができる。
また、一覧表示画面(図36参照)は、登録済みの利用者に関する一括参照、一括更新および一括削除を行うものである。具体的には、メニュー画面(図示せず)で一覧表示を選択すると、一覧表示画面(図36参照)が表示され、ここで登録済みの利用者に関する情報をまとめて確認することができる(一括参照)。また、チェックボックスの選択により、所要の利用者をまとめて削除することができる(一括削除)。また、一覧表のページ単位で情報の選択を可能にするチェックボックスを別途設けてもよい。
また、複数の利用者の情報をまとめて更新することができる(一括更新)。この場合、検索画面(図35(B)参照)において、対象となる利用者や照合グループなどの条件を指定して検索ボタン146を操作し、これに応じて表示された一覧表示画面(図36参照)において、実行ボタン148(一括更新ボタン)を操作する。なお、一括更新では、利用者の氏名や利用者コードなどの利用者固有の情報以外の項目が更新対象となる。
また、メニュー画面(図示せず)で検索を選択すると、検索画面(図35(B)参照)が表示され、この検索画面で検索条件を入力して検索ボタン146を操作すると、検索結果が反映された一覧表示画面(図36参照)に遷移する。
次に、利用者に関する登録処理について説明する。図37は、利用者に関する登録処理の手順を示すシーケンス図である。図38は、利用者に関する登録処理の概要を示す説明図である。
管理端末2では、管理者が、利用者に関する登録を指示する操作を行う。本実施形態では、登録モードの個別編集画面(図35(A)参照)において、管理者が、利用者の情報を入力し、また、利用者の撮影画像のファイルを指定した上で、登録ボタンを操作する。
図38に示すように、顔管理サーバ5では、管理端末2において利用者に関する登録を指示する操作が行われると、利用者に関する登録処理を開始する。この登録処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ6に、顔画像抽出のリクエストを送る。このリクエストには、管理端末2から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ6が複数存在する場合には、1つの顔照合サーバ6を選択して、その1つの顔照合サーバ6に顔画像抽出のリクエストを送る。
顔照合サーバ6では、顔管理サーバ5からの顔画像抽出のリクエストを受け取ると、顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ5から取得した利用者の撮影画像に対して顔検知、および顔切出しなどの処理を行い、利用者の顔画像を抽出する。そして、顔画像抽出のレスポンスを顔管理サーバ5に送る。このレスポンスには、利用者の顔画像が含まれる。
顔管理サーバ5では、顔画像抽出のレスポンスを顔照合サーバ6から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ6に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ6から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ6が複数存在する場合には、特定の顔照合サーバ6から取得した利用者の顔画像が含めて、全ての顔照合サーバ6に顔登録のリクエストを送る。
顔照合サーバ6では、顔管理サーバ5からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録IDを付与する。そして、顔登録のレスポンスを顔管理サーバ5に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録IDとが含まれる。なお、顔特徴量のデータベースへの登録の完了に伴い、抽出した利用者の顔画像は削除される。また、顔特徴量のデータは、顔照合サーバ6の顔照合DBとは別管理のHDDやSSD等の不揮発性メモリへバックアップ保存してもよい。
顔管理サーバ5では、顔登録のレスポンスを顔照合サーバ6から受け取り、処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、管理端末2から取得した利用者の情報を顔情報データベースに登録する。また、顔管理サーバ5では、顔照合サーバ6から取得した利用者の顔画像を顔情報データベースに登録する。また、顔管理サーバ5では、顔照合サーバ6で発行された顔登録IDを利用者の情報として顔情報データベースに登録する。
次に、顔管理サーバ5では、利用者に関する更新が正常に終了したか否かを表す結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセスログにログを記録する。
次に、利用者に関する一括登録処理について説明する。図39は、利用者に関する一括登録処理の手順を示すシーケンス図である。
本実施形態では、対象となる複数の利用者に関するリスト情報が格納されたファイルを用いて、利用者の情報を一括して登録することができる。
具体的には、まず、管理端末2では、管理者が、利用者に関する一括登録を指示する操作を行う。本実施形態では、登録画面(図示せず)において、管理者が、対象となる利用者に関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末2の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で利用者の一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
顔管理サーバ5では、管理端末2において利用者に関する一括登録を指示する操作が行われると、利用者に関する一括登録処理を開始する。この一括登録処理では、対象となる全ての利用者ごとに登録処理を繰り返す。各利用者に関する登録処理は、図37に示した利用者に関する登録処理(個別登録処理)と同様である。
そして、顔管理サーバ5では、対象となる全ての利用者について顔登録のレスポンスを顔照合サーバ6から受け取り、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末2に画面表示する。このとき、登録に失敗した利用者を管理者に報告し、その利用者に関する再登録を催促する。また、登録結果をログファイルで出力する。
次に、利用者に関する参照処理について説明する。図40は、利用者に関する参照処理の手順を示すシーケンス図である。
管理端末2では、管理者が、利用者に関する一覧表示を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する一覧表示画面(図36参照)を開く操作を行う。
顔管理サーバ5では、管理端末2において利用者に関する一覧表示を指示する操作が行われると、データベースを参照して、全ての利用者を含むリスト情報を生成して、そのリスト情報に基づいて、管理端末2に一覧表示画面(図36参照)を表示する。
また、管理端末2では、管理者が、利用者に関する検索を指示する操作を行う。具体的には、管理者が、検索画面(図35(B)参照)を表示して、その検索画面において、検索条件を入力して検索ボタンを操作する。
顔管理サーバ5では、管理端末2において利用者に関する検索を指示する操作が行われると、データベースを参照して、検索条件に該当する利用者を対象にしてリスト情報を生成して、そのリスト情報に基づいて、検索結果としての一覧表示画面(図36参照)を管理端末2に表示する。
また、管理端末2では、管理者が、利用者の一覧表示に関するソートを指示する操作を行う。具体的には、管理者が、一覧表示画面において、項目を指定してソートを指示する操作を行う。
顔管理サーバ5では、管理端末2においてソートを指示する操作が行われると、指定した項目でソートされた利用者リスト情報を生成して、その利用者リスト情報に基づいて、ソートが反映された一覧表示画面を管理端末2に表示する。
なお、管理者が、一覧表示画面(図36参照)において、利用者を選択して個別表示を指示する操作を行うと、顔管理サーバ5では、データベースを参照して、選択した利用者の情報を取得して、その利用者の情報に基づいて、管理端末2に個別編集画面(図35(A)参照)を表示する。
次に、利用者に関する更新処理について説明する。図41は、利用者に関する更新処理の手順を示すシーケンス図である。図42は、利用者に関する更新処理の概要を示す説明図である。
まず、利用者の撮影画像に変更がある場合について説明する。この場合、管理端末2では、管理者が、利用者に関する更新を指示する操作を行う。本実施形態では、更新の対象となる利用者を指定して表示させた更新モードで個別編集画面(図示せず)において、管理者が、利用者の情報を入力しなおし、また、利用者の撮影画像のファイルを差し替えた上で、更新ボタンを操作する。
図42に示すように、顔管理サーバ5では、管理端末2において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を開始する。この更新処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ6に、顔画像抽出のリクエストを送る。このリクエストには、管理端末2から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ6が複数存在する場合には、1つの顔照合サーバ6を選択して、その1つの顔照合サーバ6に顔画像抽出のリクエストを送る。
顔照合サーバ6では、顔管理サーバ5からの顔画像抽出のリクエストを受け取ると、顔画像抽出部83において顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ5から取得した利用者の撮影画像に対して顔検知、顔切出しなどの処理を行い、利用者の顔画像を生成する。そして、顔画像抽出のレスポンスを顔管理サーバ5に送る。このレスポンスには、利用者の顔画像が含まれる。
顔管理サーバ5では、顔画像抽出のレスポンスを顔照合サーバ6から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ6に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ6から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ6が複数存在する場合には、特定の顔照合サーバ6から取得した利用者の顔画像が含めて、全ての顔照合サーバ6に顔登録のリクエストを送る。
顔照合サーバ6では、顔管理サーバ5からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録IDを付与する。そして、顔登録のレスポンスを顔管理サーバ5に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録IDとが含まれる。
顔管理サーバ5では、顔登録のレスポンスを顔照合サーバ6から受け取ると、顔登録に成功した場合、顔登録のリクエストと同一の顔照合サーバ6に、顔特徴量削除のリクエストを送る。なお、顔登録に失敗した場合には、顔特徴量削除のリクエストは行わず、古い顔特徴量のままで顔照合が行われるようにする。
顔照合サーバ6では、顔管理サーバ5からの顔特徴量削除のリクエストを受け取ると、顔特徴量削除処理を行う。この顔特徴量削除処理では、データベースに登録された対象者の古い顔特徴量を削除する。そして、顔特徴量削除のレスポンスを顔管理サーバ5に送る。このレスポンスには、顔特徴量削除が正常に終了したか否かを表す結果が含まれる。
顔管理サーバ5では、顔特徴量削除のレスポンスを顔照合サーバ6から受け取り、処理が正常に終了している場合には、利用者に関する更新処理を行う。この更新処理では、管理端末2から取得した利用者の情報で顔情報データベースの登録内容を更新する。また、顔照合サーバ6から取得した利用者の顔画像を顔情報データベースに登録する。また、顔照合サーバ6で発行された新しい顔登録IDで顔情報データベースの登録内容を更新する。すなわち、古い顔登録IDを削除して、その代わりに新しい顔登録IDを登録する。
次に、顔管理サーバ5では、利用者に関する更新が正常に終了したか否かを表す処理結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセスログを記録する。
次に、利用者の撮影画像に変更がない場合、すなわち、撮影画像以外の項目に変更がある場合について説明する。この場合、管理端末2では、管理者が、利用者に関する更新を指示する操作を行うが、このとき、更新モードの個別編集画面(図示せず)において、管理者が、利用者の情報を入力しなおした上で、更新ボタンを操作する。
顔管理サーバ5では、管理端末2において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を行う。この更新処理では、管理者が入力した利用者の情報で顔情報データベースの登録内容を更新する。そして、利用者に関する更新が正常に終了したか否かを表す結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセスログを記録する。
次に、利用者に関する削除処理について説明する。図43は、利用者に関する削除処理の手順を示すシーケンス図である。図44は、利用者に関する削除処理の概要を示す説明図である。
管理端末2では、管理者が、利用者に関する削除を指示する操作を行う。本実施形態では、削除の対象となる利用者を指定して表示させた削除モードで個別編集画面(図示せず)において、管理者が、削除ボタンを操作する。また、削除モードの一覧表示画面(図示せず)において、管理者が、対象となる利用者を選択して一括削除ボタンを操作する。
図44に示すように、顔管理サーバ5では、管理端末2において利用者に関する削除を指示する操作が行われると、利用者に関する削除処理を開始する。この削除処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ6に、顔削除のリクエストを送る。このとき、利用者と照合グループが一致する顔照合サーバ6が複数存在する場合には、全ての顔照合サーバ6に顔削除のリクエストを送る。
顔照合サーバ6では、顔管理サーバ5からの顔削除のリクエストを受け取ると、対象となる利用者の顔情報に関する削除処理を行う。この削除処理では、該当する利用者の情報(顔特徴量データ)をデータベースから削除する。
また、顔照合サーバ6では、削除処理が終了すると、顔削除のレスポンスを顔管理サーバ5に送る。このレスポンスには、削除処理が正常に終了したか否かを表す結果が含まれる。
また、顔管理サーバ5では、顔照合サーバ6からの顔削除のレスポンスを受け取り、処理が正常に終了している場合には、利用者に関する削除処理を行う。この削除処理では、対象となる利用者の情報を顔情報データベースから削除する。そして、削除処理が終了すると、その削除処理が正常に終了したか否かを表す処理結果を管理端末2に画面表示する。また、顔管理サーバ5では、管理者アクセスログを記録する。
次に、顔照合サーバ6で行われる顔画像抽出処理について説明する。図45は、顔画像抽出処理の概要を示す説明図である。
顔管理サーバ5では、顔画像抽出のリクエストを顔照合サーバ6に送る。このリクエストには、利用者の撮影画像データと顔切出し条件(顔画像抽出条件)とが含まれる。なお、顔切出し条件とは、顔画像抽出処理(顔検知、顔サイズチェック、顔切出し)で使用されるパラメータである。具体的には、顔を複数検知した場合に採用する顔の数(顔検知数)、顔を検知する際に顔枠の面積および高さのいずれを基準とするかの顔採用方式、顔として採用する基準となる顔枠の幅および高さに関する最小値および最大値(顔サイズチェック閾値)などである。
顔照合サーバ6では、顔管理サーバ5から顔画像抽出のリクエストを受け取ると、顔画像抽出部83において顔画像抽出処理を行う。この顔画像抽出処理では、顔検知、顔サイズチェック、顔切り出しの各処理を行う。そして、顔画像抽出のレスポンスを顔管理サーバ5に送る。このレスポンスには、顔画像データ(複数の場合もある)と、顔枠の位置情報(顔枠の左上の頂点の座標、顔枠の幅および高さ)とが含まれる。
この顔照合サーバ6の顔画像抽出部83で行われる処理は、顔認証機1の顔画像抽出部22と同様である。すなわち、まず、顔認証機1から取得した撮影画像に含まれる顔領域を検知する(顔検知)。ここで、撮影画像に複数の顔領域が含まれる場合には、顔領域の面積や横幅に基づいて、顔領域を選別する。次に、撮影画像から検知した顔領域(顔枠)のサイズが所定の基準(適正範囲)を満たしているか否かを判定する(顔サイズチェック)。次に、カメラ11の撮影画像に対して、顔検知で取得した顔領域(顔枠)を基準にして切り出し領域を設定して、その切出し領域の画像を顔画像として切り出して(顔切り出し)、顔画像を取得する。
次に、顔照合サーバ6で行われる画像品質チェックについて説明する。図46は、画像品質チェック処理の概要を示す説明図である。
顔照合サーバ6の画像品質チェック部82では、撮影画像データから検知された顔領域(顔枠)の画像が所定の品質を満足しているか否かを判定する。具体的には、画像からマスクの着用の有無およびサングラスの着用の有無を検知する。また、画像から顔認証適合度を算出する。顔認証適合度は、顔の向きや表情に応じた評価値である。
この画像品質チェックの際には、まず、顔管理サーバ5では、画像品質チェックのリクエストを顔照合サーバ6に送る。このリクエストには、撮影画像データと顔枠情報とが含まれる。
顔照合サーバ6では、顔管理サーバ5から画像品質チェックのリクエストを受け取ると、画像品質チェック部82において、撮影画像内の顔領域(顔枠)の画像が所定の品質を満足しているか否かを判定して、品質評価値を算出する。そして、画像品質チェックのレスポンスを顔管理サーバ5に送る。このレスポンスには、品質評価値が含まれる。
次に、顔登録の際に行われる顔特徴量生成処理について説明する。図47は、顔特徴量生成処理の概要を示す説明図である。
顔照合サーバ6の顔特徴量生成部84では、先に抽出した利用者の顔画像データから顔特徴量データを生成して、その顔特徴量データを顔照合DBに保存する。
この顔特徴量生成の際には、まず、顔管理サーバ5または顔認証機1では、顔特徴量生成のリクエストを顔照合サーバ6に送る。
顔照合サーバ6では、顔管理サーバ5から顔特徴量生成のリクエストを受け取ると、顔特徴量生成部84において、先に抽出した顔領域の画像から顔特徴量データを生成する。そして、顔特徴量生成のレスポンスを顔管理サーバ5に送信する。
次に、顔登録の際に行われる顔特徴量登録処理について説明する。図48は、顔特徴量登録処理(特徴量指定)の概要を示す説明図である。図49は、顔特徴量登録処理(画像指定)の概要を示す説明図である。
顔照合サーバ6は、顔画像抽出の機能と顔特徴量生成の機能とを有しており、顔管理サーバ5からの要求に応じて、顔画像抽出および顔特徴量生成の各処理を行う。一方、同じ照合グループに複数の顔照合サーバ6が存在する場合には、各顔照合サーバ6の顔照合データベースに利用者の顔特徴量を重複して登録する必要がある。
このとき、1つの顔照合サーバ6で、顔画像抽出および顔特徴量生成の各処理を行い、ここで取得した顔特徴量を、残りの顔照合サーバ6に提供することで、全ての顔照合サーバ6で顔特徴量の登録が可能になる。この場合、顔管理サーバ5は、顔特徴量生成のレスポンスにおいて、ある1つの顔照合サーバ6で生成した顔特徴量データを受信しておき、残りの顔照合サーバ6への顔特徴量登録のリクエストに顔特徴量データを付加して顔特徴量登録の指示を行う(特徴量指定)。
また、1つの顔照合サーバ6で、顔画像抽出処理を行い、ここで取得した顔画像データを、残りの顔照合サーバ6に提供して、その残りの顔照合サーバ6で、顔特徴量生成処理を行うことで、全ての顔照合サーバ6で顔特徴量データの登録が可能になる。この場合、顔管理サーバ5は、顔画像抽出のレスポンスにおいて、ある1つの顔照合サーバ6から取得した顔画像データなどを受信しておき、残りの顔照合サーバ6への顔特徴量登録のリクエストに顔画像データなどを付加して顔特徴量登録の指示を行う(画像指定)。
図48に示すように、特徴量指定の場合には、まず、顔管理サーバ5では、顔特徴量登録のリクエストを顔照合サーバ6に送る。このリクエストには、利用者の照合グループ、顔特徴量データ、利用者コードが含まれる。
顔照合サーバ6では、顔特徴量登録のリクエストを顔管理サーバ5から受け取ると、顔特徴量管理部85において、リクエストに付加された利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔照合ユニットの顔照合データベースに登録する。また、顔照合サーバ6では、顔登録が完了した利用者に登録者コードを付与する。顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
そして、顔照合サーバ6では、顔特徴量登録処理が終了すると、レスポンスを顔管理サーバ5に送る。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録ID(登録者コード)が含まれる。
図49に示すように、画像指定の場合には、まず、顔管理サーバ5では、顔特徴量登録のリクエストを顔照合サーバ6に送る。このリクエストには、利用者の照合グループと、利用者の撮影画像データと、顔枠情報と、利用者コードとが含まれる。
顔照合サーバ6では、顔特徴量登録のリクエストを顔管理サーバ5から受け取ると、顔特徴量生成部84において、リクエストに付加された利用者の顔画像データ(撮影画像データおよび顔枠情報)から顔特徴量データを生成して、顔特徴量管理部85において、利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔認証プロセスの顔照合データベースに登録する。また、顔照合サーバ6では、顔登録が完了した利用者に登録者コードを付与する。また、顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
そして、顔照合サーバ6では、顔特徴量登録のレスポンスを顔管理サーバ5に送信する。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録IDとが含まれる。
次に、更新および削除の際に行われる顔特徴量削除処理について説明する。図50は、顔特徴量削除処理の概要を示す説明図である。
利用者に関する削除の際には、対象となる利用者の顔特徴量データを、顔照合サーバ6の顔照合データベースから削除する。また、利用者に関する更新の際には、対象となる利用者の古い顔特徴量データを、顔照合サーバ6の顔照合データベースから削除する。なお、顔特徴量を削除した際には、対象となる利用者のその他の情報も削除され、顔特徴量と利用者との対応関係に関する情報も削除される。
具体的には、まず、顔管理サーバ5では、顔特徴量削除のリクエストを顔照合サーバ6に送る。このリクエストには、照合グループと、顔登録IDとが含まれる。
顔照合サーバ6では、顔管理サーバ5から削除のリクエストを受け取ると、顔特徴量管理部85において、リクエストに付加された顔登録IDに基づいて利用者を特定して、対象となる利用者の顔特徴量を顔照合データベースから削除する。このとき、対象となる利用者が複数の照合グループに属する場合には、照合グループごとに削除処理を行う。すなわち、照合グループごとの顔照合データベースから対象となる利用者の顔特徴量を削除する。
また、顔照合サーバ6では、削除処理が終了すると、顔特徴量削除のレスポンスを顔管理サーバ5に送る。この削除のレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
次に、利用者に関する登録処理の際に行われる顔登録について説明する。図51は、顔登録の概要を示す説明図である。
顔管理サーバ5では、利用者に関する登録処理の際に、まず、顔画像抽出の処理を顔照合サーバ6に行わせて、顔照合サーバ6から取得した顔画像データを顔情報データベースに登録した後に、顔画像データを顔照合サーバ6に提供して、顔登録の処理を顔照合サーバ6に行わせる。この顔登録の処理では、顔管理サーバ5から取得した顔画像から顔特徴量を生成して、その顔特徴量を顔照合データベースに登録する。
具体的には、まず、顔管理サーバ5では、顔登録のリクエストを顔照合サーバ6に送る。この顔登録のリクエストには、利用者コード、照合グループ、利用者登録ID、顔画像データが含まれる。
顔照合サーバ6では、顔登録のリクエストを顔管理サーバ5から受け取ると、画像品質チェック部82において、そのリクエストに付加された利用者の顔画像に対して画像品質チェックを行う。次に、顔特徴量生成部84において、利用者の顔画像データから顔特徴量データを生成して、顔特徴量管理部85において、利用者の顔特徴量データを、利用者の照合グループに対応する顔照合データベースに登録する。このとき、顔管理サーバ5の顔情報データベースで用いられる利用者登録IDと、顔照合サーバ6の顔照合データベースで用いられる顔特徴量登録時の登録IDとの間の関連付け情報を保存する。また、利用者登録IDが既に登録されている場合、元の顔特徴量を削除して差し替える。また、顔照合データベースに利用者の情報として利用者コードを登録する。
顔照合サーバ6では、利用者が属する全ての照合グループに対応する顔照合データベースへの登録処理が行うと、顔登録のレスポンスを顔管理サーバ5に送る。このレスポンスには、登録処理が正常に終了したか否かを表す処理結果が含まれる。
次に、顔管理サーバ5で行われる顔情報同期処理について説明する。図52は、顔情報同期処理の概要を示す説明図である。
顔管理サーバ5の顔情報管理部66は、顔照合サーバ6との間の同期処理を実行する。この同期処理では、顔管理サーバ5における顔情報データベースの登録内容と、顔照合サーバ6における顔照合データベースの登録内容とが一致したものとする。具体的には、顔管理サーバ5の顔情報データベースに登録された利用者情報(顔画像)と、顔照合サーバ6の顔照合データベースに登録された利用者の顔特徴量データとが互いに整合するものにする。また、顔照合サーバ6の照合グループに関する登録内容が顔管理サーバ5と顔照合サーバ6とで一致したものとする。
ここで、同期処理のタイミングに関して、所定の周期で定期的に同期処理を実行する。また、利用者情報の登録、更新および削除が行われた際に、同期処理を実行する。また、照合グループが削除された際や、顔照合サーバ6を起動した際に、同期処理を実行する。
また、同期処理の対象となる利用者に関して、すべての利用者を対象にして同期を行う。また、指定された利用者を対象にして同期を行う。また、指定された期間に更新された利用者を対象にして同期を行う。
また、本実施形態では、利用者情報として、利用者ごとの有効化日および無効化日を登録する。有効化日は、対象となる利用者の顔照合を有効にすることができる日付であり、この有効化日以降の有効化状態となる期間では、利用者の顔認証が実施され、顔認証を受けることができる。無効化日は、顔照合を無効にすることができる日付であり、この無効化日以降の無効化状態となる期間では、利用者の顔認証が実施されず、顔認証を受けることができない。
また、顔管理サーバ5の顔情報管理部66では、同期のタイミング判定として、全ての利用者を対象にして有効化および無効化の判定を行う。利用者の顔照合が有効化されて有効化期間に入った際に、顔登録処理、すなわち、対象となる利用者の顔特徴量データを登録する処理を行うように顔照合サーバ6に指示する。また、利用者の顔照合が無効化されて無効化期間に入った際に、顔削除処理、すなわち、対象となる利用者の顔特徴量データを削除する処理を行うように顔照合サーバ6に指示する。したがって、有効化日以前の期間や、無効化日以降の期間では、顔照合サーバ6に利用者の顔情報(顔特徴量データ)は保管されていない。
また、顔管理サーバ5は、顔照合サーバ6において所定の処理が正常に終了したか否かを判定し、処理が失敗して再実行が必要と判定すると、顔照合サーバ6に処理の再実行を指示する。ここで、対象となる処理は、顔登録、顔削除、照合グループの登録、照合グループの削除の各処理である。
なお、顔管理サーバ5では、同期ログ(同期処理の履歴情報)を記録する。
次に、顔特徴量データのコピー処理について説明する。図53は、顔特徴量データのコピー処理の概要を示す説明図である。
本実施形態では、顔照合サーバ6において照合グループごとに顔照合データベースを設けて、照合グループ単位で利用者の顔特徴量データを管理するようにしており、また、負荷分散や死活対応などのために、同じ照合グループの顔照合データベースを複数設けるようにしている。このため、同じ利用者の顔特徴量データが複数の顔照合データベースに登録する必要がある。一方、利用者の顔画像データから顔特徴量データを生成する処理は、負荷が大きく、この処理を複数の顔照合サーバ6で繰り返し行うことは効率的でない。
そこで、本実施形態では、利用者の顔特徴量データを既に生成して顔照合データベースに登録している場合、2つの顔照合データベース間で顔特徴量データのコピーを行う。すなわち、元の顔照合データベースに登録された顔特徴量データを利用して別の顔照合データベースの登録を行うことができる。
顔管理サーバ5の顔情報管理部66は、顔情報データベースに基づいて、顔照合データベースにおける利用者ごとの顔特徴量データの登録状況を管理しており、利用者の顔画像データに関する何らかの変更があった場合、2つの顔照合データベース間で顔特徴量データのコピーを指示する(転送指示)。
このとき、個人単位の変更があった場合には、図53(A)に示すように、個人単位の顔特徴量データのコピーを行う(個人コピー)。例えば、利用者を新規に登録した場合や更新した場合、個人単位の顔特徴量データのコピーを行う。また、特定の利用者に関する顔照合の精度を高めるため、異なる顔画像データを用いて顔特徴量データを追加して生成して、同一の利用者に対して顔特徴量データを複数登録する場合がある。この場合も、特定の利用者のみを対象にして、個人単位の顔特徴量データのコピーを行う。
また、照合グループ単位の変更があった場合には、図53(B)に示すように、照合グループ単位で顔特徴量データのコピーを行う(クループコピー)。例えば、照合グループを新規に登録した場合、最初に顔特徴量データを登録した顔照合データベースの顔特徴量データを一括して、同一の登録内容となる2番目以降の顔照合データベースにコピーする。また、負荷分散や冗長化のために、同一の登録内容の顔照合データベースを複数設ける場合も、利用者の顔特徴量データを照合グループ単位でコピーする。
次に、本システムにおける顔認証時の処理について説明する。図54は、顔認証時の処理の概要を示す説明図である。
顔認証機1では、カメラ11の撮影画像から人物の顔を検知して顔画像を取得すると、顔照合のリクエストを顔照合サーバ6に送信する。この顔照合のリクエストには、要求元の顔認証機1の機器IDと、顔認証機1の照合グループと、顔認証の対象者の撮影画像データと、顔枠情報と、照合条件とが含まれる。
顔照合サーバ6では、まず、顔特徴量生成部84において、顔認証機1から取得した対象者の顔画像から対象者の顔特徴量を生成する。次に、顔認証機1の照合グループに対応する顔照合ユニットの顔特徴量照合部86において、対象者の顔特徴量と、顔認証データベースに登録された利用者の顔特徴量とを照合する。このとき、要求元の顔認証機1と照合グループが一致する顔認証プロセスで顔照合が行われる。顔照合が終了すると、顔照合のレスポンスを要求元の認証機に送信する。この顔照合のレスポンスには、照合結果(成功、失敗)と、照合スコアと、利用者コードとが含まれる。
顔特徴量照合部86では、顔認証の対象者と登録された利用者との間の類似度を表す照合スコアを算出し、この照合スコアが所定の基準値以上となる場合に、顔認証の対象者を登録された利用者本人とみなし、顔照合が成功したことを表す照合結果を生成する。一方、全ての利用者について照合スコアが基準値以上とならない場合には、顔認証の対象者が登録された利用者ではないと判定して、顔照合が失敗したことを表す照合結果を生成する。
なお、顔照合サーバ6で行われる顔照合の処理条件(顔照合のパラメータ)を照合のリクエストに付加するようにしてもよい。これにより、顔照合サーバ6で行われる顔照合の処理内容を顔認証機1から指示することができる。例えば、顔照合の処理条件として、照合スコアに関する閾値を指定して、照合スコアが所定の閾値以上となる照合結果をレスポンスに含めるようにする。また、顔照合の処理条件として、照合結果数を指定して、照合スコアが高い方から所定数の照合結果をレスポンスに含めるようにする。
また、顔照合サーバ6では、顔照合が終了すると、認証ログ管理部87において、顔照合で取得した照合結果などの情報を認証ログ(顔認証の履歴情報)としてデータベースに保存する。このとき、顔認証の結果(成功、失敗)のみを認証ログとして保存する他、照合スコアを認証ログに含めるようにしてもよい。また、顔認証機1から取得した対象者の顔画像を認証ログに含めるようにしてもよい。この場合、対象者の顔画像を暗号化して保存するとよい。
なお、照合スコアが閾値を超えた有効な照合結果が多数得られた場合には、照合スコアの高い方から所定数の照合結果に絞り込んで認証ログとして保存するようにしてもよい。また、顔照合が正常に終了しなかった場合や、照合スコアが閾値を超えた有効な照合結果が得られなかった場合には、顔認証機1からのリクエストに含まれる情報のみを認証ログとして保存するようにしてもよい。
図55は、認証ログに関する参照処理の概要を示す説明図である。
顔照合サーバ6では、顔管理サーバ5を介した管理端末2からの要求に応じて、自装置に蓄積された認証ログ(顔認識履歴情報)を管理端末2に送り、管理端末2において、認証ログ情報を管理者が閲覧することができる。このとき、管理者が条件を指定することができ、指定した条件に該当する認証ログを管理者が閲覧することができる。
具体的には、管理端末2では、認証ログを検索するための検索条件を入力する画面が表示され、この画面において、管理者が、検索条件として、顔認証の要求元の顔認証機1、利用者、抽出件数、顔照合が実行された照合日時(抽出期間)、および照合結果(成功、失敗)などを指定することができる。
顔管理サーバ5の認証ログ提示部69では、管理端末2において管理者が検索条件を入力して検索を指示する操作が行われると、認証ログ参照のリクエストを顔照合サーバ6に送る。この認証ログ参照のリクエストには、管理者が指定した検索条件が含まれる。このとき、認証ログ提示部69では、顔認証機1と照合グループの関連付けに関する情報と、顔照合サーバ6と照合グループの関連付けに関する情報と、利用者に関する情報とに基づいて、対象となる顔認証機1または利用者と照合グループが一致する顔照合サーバ6を特定して、その顔照合サーバ6に認証ログ参照のリクエストを送る。また、顔管理サーバ5では、管理者アクセスログを記録する。
顔照合サーバ6では、認証ログ参照のリクエストを顔管理サーバ5から受け取ると、そのリクエストに含まれる検索条件にしたがって認証ログを検索し、検索結果として、検索条件に該当する認証ログをまとめたリストを生成して、その認証ログのリストを、認証ログ参照のレスポンスに付加して顔管理サーバ5に送る。なお、対象者の顔画像を認証ログとして顔管理サーバ5に送信することができるが、この場合、対象者の顔画像は暗号化されているため、復号した上でレスポンスに付加する。
顔管理サーバ5では、認証ログ参照のレスポンスを顔照合サーバ6から受け取ると、そのレスポンスに含まれる認証ログのリストに基づいて、管理者が指定した検索条件に該当する認証ログが一覧表示された検索結果の画面を管理端末2に表示させる。このとき、顔照合サーバ6で絞り込みができない検索条件に関して、認証ログのリストの中から検索条件に該当する認証ログを抽出して、絞り込みができた認証ログのリストを生成する。
なお、管理端末2では、項目を指定してソートを指示することができ、この操作が行われると、顔管理サーバ5では、認証ログのリストに対して、指定された項目でソートを実行して、ソート済みの認証ログのリストを生成する。また、管理端末2では、認証ログの取得件数を指定することができ、この操作が行われると、顔照合サーバ6では、取得件数分だけ認証ログを抽出して認証ログのリストを生成する。また、管理端末2では、期間を指定することができ、この操作が行われると、顔照合サーバ6では、期間に含まれる認証ログを抽出して認証ログのリストを生成する。
図56は、管理端末2に表示される認証ログ参照画面を示す説明図である。
管理端末2では、認証ログ参照画面が表示される。この認証ログ参照画面には、検索条件指定部151と検索結果表示部152とが設けられている。
検索条件指定部151では、検索条件として、対象となる顔認証機1の機器ID、利用者コード、取得件数、照合日時、および照合結果の各項目を入力することができる。なお、照合日時の項目では、期間(始点および終点)を指定することができる。また、照合結果の項目では、プルダウンメニューにより、成功、失敗、成功および失敗の両方を選択することができる。この検索条件指定部151において各項目の検索条件を入力した上で、検索ボタン153を操作すると、検索条件に該当する認証ログを検索する検索が実行されて、検索結果表示部152に検索結果が表示される。
検索結果表示部152では、検索結果として、照合日時、照合結果(成功、失敗)、および顔画像の各項目のデータが一覧表示される。顔画像の項目では、照合結果が成功である場合には、顔認証機1から取得した顔認証の対象者の顔画像と、登録された利用者の顔画像とが表示される。照合結果が失敗である場合には、顔認証の対象者の顔画像のみが表示される。これにより、指定した顔認証機1や利用者に関する認証ログを管理者が確認することができ、また、照合日時や照合結果で認証ログを絞り込んで確認することができる。
この検索結果表示部152では、項目を指定してソート(並び替え)を行うことができる。また、保存ボタン154を操作すると、検索結果表示部152に表示された認証ログ情報が所定のフォーマットで保存される。これにより、指定した顔認証機1や利用者に関する認証ログを、管理者が時系列で確認することができる。
次に、顔認証機1の外部アプリケーション連携の機能について説明する。図57は、顔認証機1の外部アプリケーション連携の概要を示す説明図である。
顔認証機1は、外部アプリケーション連携の機能を備えており、顔照合サーバ6から取得した認証結果を、外部アプリケーション、すなわち、外部システムの管理サーバ8(管理装置)に通知する。外部システムは、本システムの認証結果を利用して利用者に各種のサービスを提供するものである。例えば、外部システムは入退管理システムであり、認証結果が成功である場合にはドアを開錠する制御を行う。また、外部システムは決済システムであり、認証結果が成功である場合には決済を実行する制御を行う。
また、顔認証機1は、認証結果調整部25(接続アプリケーション)を備えており、この認証結果調整部25を介して認証結果を外部システムの管理サーバ8に通知する。顔認証機1は、名前付きパイプ(プロセス間通信)を介して認証結果調整部25に認証結果(成功、失敗)を通知する。認証結果調整部25は、所定のプロトコル(WebSocket)によりネットワークを介して認証結果を外部システムの管理サーバ8に通知する。なお、認証結果調整部25では、外部システムにおける認証結果の利用方法に応じて、情報の加工や付加などの必要な処理を行うようにしてもよい。
顔認証機1の顔照合要求部23は、顔照合のリクエストを顔照合サーバ6に送り、これに応じて、顔照合のレスポンスを顔照合サーバ6から受け取ると、そのレスポンスに含まれる認証結果(認証成功、認証失敗)を名前付きパイプに書き込んで接続アプリケーションに通知する。このとき、顔認証機1は、認証結果として、認証者とカメラ11の識別情報を更に取得して、認証結果の通知に付加する。具体的には、認証結果が成功である場合には、利用者コードと顔認証機1(カメラ11)の機器IDとを名前付きパイプに書き込む。一方、認証結果が失敗である場合には、認証結果(認証失敗)のみを名前付きパイプに書き込む。
また、顔認証機1の認証結果調整部25では、外部システムに対して、同一内容の認証結果の通知を繰り返さないように、認証結果の通知を抑制する。本実施形態では、認証結果の通知を接続アプリケーションに対して行うと、通知抑制時間を設定し、その通知抑制時間内では、同一内容の認証結果の通知を一時的に停止する。
ある人物に関する認証成功の通知を行うと、その認証成功の通知から所定時間(認証成功の通知抑制時間)内は、その人物に関する認証成功の通知を抑制する。また、ある人物に関する認証失敗の通知を行うと、その認証失敗の通知から所定時間(認証失敗の通知抑制時間)内は、その人物に関する認証失敗の通知を抑制する。
この通知抑制時間は、認証結果(認証成功、認証失敗)および人物ごとに設定され、認証結果が異なると同一人物でも通知抑制時間が別々に設定され、認証結果が同一でも人物が異なると通知抑制時間が別々に設定される。したがって、ある人物に関する認証失敗の通知抑制時間内では、その人物に関する認証成功の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、その人物に関する認証失敗の通知を行うことができる。また、ある人物に関する認証失敗の通知抑制時間内では、別の人物に関する認証失敗の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、別の人物に関する認証成功の通知を行うことができる。
次に、本システムにおける稼働状況監視機能について説明する。図58は、本システムにおける稼働状況監視機能の概要を示す説明図である。
顔認証機1は、稼働状況監視部26を備えている。この稼働状況監視部26は、自装置の稼働状況を監視し、自装置の稼動状況(死活状況)を所定の周期で定期的に顔管理サーバ5(監視サーバ)に通知する。また、顔照合サーバ6は、稼働状況監視部89を備えている。この稼働状況監視部89は、自装置の稼働状況を監視し、自装置の稼動状況(死活状況)を所定の周期で定期的に顔管理サーバ5(監視サーバ)に通知する。
顔管理サーバ5は、稼働状況監視部68を備えている。この稼働状況監視部68は、自装置の稼働状況を監視し、自装置の稼動状況(死活状況)を所定の周期で定期的に自装置に記録する。また、顔管理サーバ5は、顔認証機1および顔照合サーバ6から通知される稼動状況を自装置に記録する。
ここで、通知される稼働状況に関する情報は、機器ID、取得時刻、死活状況、プログラムのバージョン情報などが含まれる。
また、管理端末2では、顔管理サーバ5に対して稼働状況の参照を要求することで、管理者が稼働状況を確認することができる。
次に、顔照合サーバ6におけるプログラムのバージョンアップに伴う顔照合データベースの更新について説明する。
顔照合サーバ6では、顔照合の精度を高めるため、顔特徴量生成プログラムや顔照合プログラムのバーのジョンアップ(更新)が適宜に行われる。一方、顔特徴量データは顔特徴量生成や顔照合のアルゴリズムに依存し、そのアルゴリズムを変更すると、顔特徴量データも変化するため、顔特徴量データの生成をやり直す必要がある。
そこで、本実施形態では、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われると、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。すなわち、既に保管されている顔特徴量データを削除し、利用者の登録時の顔画像データに基づいて顔特徴量データを再生成して、その新たな顔特徴量データを保管する。
具体的には、顔管理サーバ5において、稼働状況通知機能により、顔照合プログラムのバージョンアップを検知すると、顔照合サーバ6に顔特徴量データの更新のリクエストを送る。このリクエストには利用者の顔画像が含まれる。顔照合サーバ6での顔特徴量管理部85は、顔特徴量データの更新のリクエストを受け取ると、利用者の顔画像から顔特徴量データを生成する処理を顔特徴量生成部84に行わせて、新しい顔特徴量データを顔照合データベースに登録する。
このとき、複数の顔照合サーバ6において、顔照合プロセスおよび顔照合データベースが同一である場合、すなわち、複数の顔照合サーバ6同士で、顔照合データベースに登録されている顔特徴量データが同一であり、また、顔照合プロセスで、同一の照合グループの顔認証機1を対象にした顔照合処理を行われる場合には、1つの顔照合サーバ6において、顔特徴量データを再生成して、その新たな顔特徴量データを顔照合データベースに登録すると、その顔照合データベースに登録された顔特徴量データを別の顔照合サーバ6にコピーして、顔照合データベースの登録内容を同一のものにする。
このとき、顔管理サーバ5から複製先の顔照合サーバ6に複製を指示し、顔管理サーバ5を介して、複製元の顔照合サーバ6に保管された顔特徴量データを複製先の顔照合サーバ6に転送すればよい。
次に、バックアップおよびレストアについて説明する。
本実施形態では、顔管理サーバ5および顔照合サーバ6に保管されたデータベースやファイルのバックアップおよびレストアを行うことができる。
顔管理サーバ5に保管されている情報でバックアップ対象となるものは、利用者情報(顔情報)のデータベース、顔画像のファイル、照合グループ情報のデータベース、認証機と照合グループ関連付け情報のデータベース、照合サーバと照合グループ関連付け情報のデータベース、および管理者アクセスログのファイルなどである。
顔照合サーバ6に保管されている情報でバックアップ対象となるものは、認証ログのデータベース、および顔画像のファイルなどである。
図59は、管理端末2に表示されるバックアップ画面およびレストア画面を示す説明図である。なお、バックアップ画面およびレストア画面は、画面内のタブで切り替えることができる。
図59(A)に示すように、バックアップ画面には、バックアップ先指定部161とバックアップ対象指定部162と進捗状況表示部163と実行ボタン164とが設けられている。バックアップ先指定部161では、バックアップ先を指定することができる。バックアップ対象指定部162では、バックアップの対象となる機器として顔管理サーバ5および顔照合サーバ6を選択することができる。実行ボタン164を操作するとバックアップが実行される。進捗状況表示部163では、バックアップの対象となるデータ項目が一覧表示される。このデータ項目では、バックアップの終了に応じてチェックマークが表示され、バックアップの進捗状況を管理者が認識することができる。
ここで、バックアップの対象となるデータは、利用者情報(顔情報)のデータベース、登録した利用者の顔画像のファイル、照合グループ情報のデータベース、顔認証機1と照合グループとの間の関連付け情報のデータベース、顔照合サーバ6と照合グループとの間の関連付け情報のデータベース、管理者アクセスログのファイル、認証ログのデータベース、および顔認証の対象者の顔画像のファイルなどである。
図59(B)に示すように、レストア画面には、バックアップ画面と同様に、レストア先指定部165とレストア対象指定部166と進捗状況表示部167と実行ボタン168とが設けられている。レストア先指定部165では、レストア先を指定することができる。レストア対象指定部166では、レストアの対象となる機器として顔管理サーバ5および顔照合サーバ6を選択することができる。実行ボタン168を操作するとレストアが実行される。進捗状況表示部167では、レストアの対象となるデータ項目が一覧表示される。このデータ項目では、レストアの終了に応じてチェックマークが表示され、レストアの進捗状況を管理者が認識することができる。
次に、本実施形態の変形例について説明する。図60は、本実施形態の変形例に係る顔画像抽出処理の概要を示す説明図である。
前記の実施形態(図12参照)では、利用者の撮影画像データから顔画像データを生成する顔画像抽出処理を顔認証機1および顔照合サーバ6で行うようにしたが、本変形例では、顔画像抽出処理を顔認証機1および顔管理サーバ5で行い、顔画像抽出処理を顔照合サーバ6で行わないようにする。具体的には、前記の実施形態で顔照合サーバ6に設けた顔画像抽出部83を省略し、顔管理サーバ5に顔画像抽出部201が設けられている。
利用者登録時には、管理端末2から顔管理サーバ5に利用者の撮影画像データを送ることで、顔管理サーバ5の顔画像抽出部201で顔画像抽出処理が行われる。一方、顔認証時には、顔認証機1の顔画像抽出部22で顔画像抽出処理が行われ、これは前記の実施形態と同様である。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジデバイスと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジデバイスとクラウドサーバに搭載されたプロセッサにより、顔認証処理を分散して処理することが可能である。この顔認証処理においては、エッジデバイスとして、認証機のカメラにより撮影された利用者の顔画像データを取得する。次に、クラウドサーバは、ネットワークを介してエッジデバイスより受信した顔画像データから特徴量データを生成する処理を実行し、予め登録された利用者の特徴量データと照合して、利用者の認証処理を実行し、その認証処理にかかる認証結果を顔認証アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジデバイスまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたWebアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。
本発明に係る顔認証システム、顔認証機、顔認証方法および顔認証プログラムは、顔認証のサービス提供者側で外部装置と接続するための外部アプリケーションを構築する必要がなく、簡易に認証結果を外部装置と連携させることができる効果を有し、対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システム、顔認証方法および顔認証プログラム、並びに顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機などとして有用である。
1 顔認証機
2 管理端末(端末装置、顔認証管理装置)
3 顔認証サーバ(サーバ装置)
5 顔管理サーバ(顔画像管理部)
6 顔照合サーバ(顔画像照合部)
13 通信部(顔画像送信部、認証結果受信部)
25 認証結果調整部
71 通信部(顔画像受信部、認証結果送信部)

Claims (6)

  1. 顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証システムであって、
    複数の顔認証機と、
    この顔認証機とネットワークを介して接続されるサーバ装置と、
    を備え、
    前記顔認証機は、
    対象者を撮影するカメラと、
    このカメラにより取得した対象者の顔画像データを前記サーバ装置へ送信する顔画像送信部と、
    前記サーバ装置から対象者の認証結果を受信する認証結果受信部と、
    対象者の認証結果を外部装置と連携するための調整を行う接続アプリケーションと、
    を有し、
    前記サーバ装置は、
    前記顔認証機から対象者の顔画像データを受信する顔画像受信部と、
    対象者の顔画像データから対象者の顔特徴量データを生成する顔特徴量生成部と、
    対象者の顔特徴量データと登録者の顔特徴量データとの照合処理を行って認証の成否に関する対象者の認証結果を出力する顔特徴量照合部と、
    この顔特徴量照合部による対象者の認証結果を前記顔認証機に送信する認証結果送信部と、
    を有し、
    前記接続アプリケーションは、
    認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知することを特徴とする顔認証システム。
  2. 前記接続アプリケーションは、
    対象者ごとに前記第1の通知抑制時間および前記第2の通知抑制時間を設定することを特徴とする請求項1に記載の顔認証システム。
  3. 前記接続アプリケーションは、
    認証結果として、認証が成功した対象者の識別情報と前記顔認証機の識別情報とを前記外部装置に通知することを特徴とする請求項1に記載の顔認証システム。
  4. 顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機であって、
    対象者を撮影するカメラと、
    このカメラにより取得した対象者の顔画像データをネットワークを介してサーバ装置へ送信する顔画像送信部と、
    前記サーバ装置から対象者の認証結果を受信する認証結果受信部と、
    対象者の認証結果を外部装置と連携するための調整を行う接続アプリケーションと、
    を備え、
    前記接続アプリケーションは、
    認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知することを特徴とする顔認証機。
  5. サーバ装置とネットワークを介して接続される顔認証機のプロセッサにより顔認証の対象者を撮影した画像データに基づいて顔認証処理を実行する顔認証方法であって、
    前記プロセッサは、
    前記顔認証機のカメラにより対象者を撮影し、
    このカメラにより取得した対象者の顔画像データを前記サーバ装置へ送信し、
    前記サーバ装置が対象者の顔画像データを受信し、対象者の顔画像データから対象者の顔特徴量データを生成し、対象者の顔特徴量データと登録者の顔特徴量データとのとの照合処理を行って出力する認証の成否に関する対象者の認証結果を受信し、
    対象者の認証結果を取得すると、認証成功の第1の通知抑制時間と認証失敗の第2の通知抑制時間とを設定し、前記サーバ装置から対象者の認証成功の認証結果を取得すると、前記第1の通知抑制時間内で認証成功の通知を繰り返すことなく外部装置に対象者の認証結果を通知し、前記サーバ装置から対象者の認証失敗の認証結果を取得すると、前記第2の通知抑制時間内で認証失敗の通知を繰り返すことなく前記外部装置に対象者の認証結果を通知することを特徴とする顔認証方法。
  6. 請求項5に記載の顔認証方法をコンピュータに実行させる顔認証プログラム。
JP2022108004A 2019-02-01 2022-07-04 顔認証システム、顔認証機、顔認証方法および顔認証プログラム Active JP7378034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022108004A JP7378034B2 (ja) 2019-02-01 2022-07-04 顔認証システム、顔認証機、顔認証方法および顔認証プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019017276A JP2020126337A (ja) 2019-02-01 2019-02-01 顔認証システム、顔認証機、顔認証方法および顔認証プログラム
JP2022108004A JP7378034B2 (ja) 2019-02-01 2022-07-04 顔認証システム、顔認証機、顔認証方法および顔認証プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019017276A Division JP2020126337A (ja) 2019-02-01 2019-02-01 顔認証システム、顔認証機、顔認証方法および顔認証プログラム

Publications (2)

Publication Number Publication Date
JP2022132322A JP2022132322A (ja) 2022-09-08
JP7378034B2 true JP7378034B2 (ja) 2023-11-13

Family

ID=72083952

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019017276A Pending JP2020126337A (ja) 2019-02-01 2019-02-01 顔認証システム、顔認証機、顔認証方法および顔認証プログラム
JP2022108004A Active JP7378034B2 (ja) 2019-02-01 2022-07-04 顔認証システム、顔認証機、顔認証方法および顔認証プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019017276A Pending JP2020126337A (ja) 2019-02-01 2019-02-01 顔認証システム、顔認証機、顔認証方法および顔認証プログラム

Country Status (1)

Country Link
JP (2) JP2020126337A (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309491A (ja) 2005-04-28 2006-11-09 Fuji Photo Film Co Ltd 生体認証システム
JP2006318240A (ja) 2005-05-13 2006-11-24 Hitachi Ltd サービス認証システム、サーバ装置、ネットワーク機器およびサービス認証方法
JP2009048648A (ja) 2008-10-01 2009-03-05 Toshiba Corp 不正アクセス防止装置および不正アクセス防止プログラム
JP2009075796A (ja) 2007-09-20 2009-04-09 Toshiba Corp 入退場管理システムおよび入退場管理方法
JP2009104599A (ja) 2007-10-04 2009-05-14 Toshiba Corp 顔認証装置、顔認証方法、及び顔認証システム
JP2010061261A (ja) 2008-09-02 2010-03-18 Fujitsu Ltd 認証システムおよび認証方法
JP2010218039A (ja) 2009-03-13 2010-09-30 Nec Corp 顔認証システム及び顔認証方法
JP2014016969A (ja) 2012-07-11 2014-01-30 Toshiba Corp 顔照合システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309491A (ja) 2005-04-28 2006-11-09 Fuji Photo Film Co Ltd 生体認証システム
JP2006318240A (ja) 2005-05-13 2006-11-24 Hitachi Ltd サービス認証システム、サーバ装置、ネットワーク機器およびサービス認証方法
US20070050634A1 (en) 2005-05-13 2007-03-01 Yoshinobu Makimoto Service authentication system, server, network equipment, and method for service authentication
JP2009075796A (ja) 2007-09-20 2009-04-09 Toshiba Corp 入退場管理システムおよび入退場管理方法
JP2009104599A (ja) 2007-10-04 2009-05-14 Toshiba Corp 顔認証装置、顔認証方法、及び顔認証システム
JP2010061261A (ja) 2008-09-02 2010-03-18 Fujitsu Ltd 認証システムおよび認証方法
JP2009048648A (ja) 2008-10-01 2009-03-05 Toshiba Corp 不正アクセス防止装置および不正アクセス防止プログラム
JP2010218039A (ja) 2009-03-13 2010-09-30 Nec Corp 顔認証システム及び顔認証方法
JP2014016969A (ja) 2012-07-11 2014-01-30 Toshiba Corp 顔照合システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鈴木 雅貴 ほか,生体認証システムの脆弱性の分析と生体検知技術の研究動向,金融研究,日本,2009年10月20日,第28巻 第3号,pp.69-106

Also Published As

Publication number Publication date
JP2020126337A (ja) 2020-08-20
JP2022132322A (ja) 2022-09-08

Similar Documents

Publication Publication Date Title
JP7122693B2 (ja) 顔認証システムおよび顔認証方法
JP2022176383A (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP7108884B2 (ja) 顔認証サーバ装置、登録処理方法および登録処理プログラム
JP7065413B2 (ja) 顔認証機および顔認証方法
JP7378034B2 (ja) 顔認証システム、顔認証機、顔認証方法および顔認証プログラム
JP7429885B2 (ja) 顔認証システムおよび顔認証方法
JP7398759B2 (ja) 顔認証システムおよび顔認証方法
JP7411939B2 (ja) 顔認証システム、顔認証方法および顔認証プログラム
JP7336681B2 (ja) 顔認証システムおよび顔認証方法
JP7289068B2 (ja) 顔認証機および顔認証方法
JP7108882B2 (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP7108881B2 (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP7113339B2 (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP7108883B2 (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP7113338B2 (ja) 顔認証システムおよび顔認証方法
JP7113340B2 (ja) 顔認証機および顔認証方法
JP7038351B2 (ja) 顔認証サーバ装置、登録処理方法および登録処理プログラム
JP2022176382A (ja) 顔認証システム、顔認証管理装置、顔認証管理方法および顔認証管理プログラム
JP2020126335A (ja) 顔認証システムおよび顔認証方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231017

R151 Written notification of patent or utility model registration

Ref document number: 7378034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151