JP7432806B2

JP7432806B2 - 情報処理システムおよび情報処理方法

Info

Publication number: JP7432806B2
Application number: JP2022069383A
Authority: JP
Inventors: 聖中西; 郁哉安永
Original assignee: ミガロホールディングス株式会社; Ｄｘｙｚ株式会社
Priority date: 2022-04-20
Filing date: 2022-04-20
Publication date: 2024-02-19
Anticipated expiration: 2042-04-20
Also published as: JP2023159600A

Description

本発明は、情報処理システムおよび情報処理方法に関する。

従来、顔データに基づいて認証を行う顔認証システムとして、入力された入力顔データと、予め登録された登録顔データとを照合して本人認証を行う顔認証システムが知られている。例えば、特許文献１に記載された顔認証システムでは、カメラにより撮像された撮像画像中の顔部分の画像を用いて対象人物を認証するようになっている。

特開２０１９－１９７４２６号公報

従来の顔認証システムでは、ユーザの顔認証を行うにあたり時間がかかるという問題があった。

本発明は、このような点を考慮してなされたものであり、ユーザの顔認証を行うのに必要な時間を短縮することができる情報処理システムおよび情報処理方法を提供することを目的とする。

本発明の情報処理システムは、
第１プログラムを実行することにより登録手段、認証依頼手段および処理実行手段として機能するエッジサーバと、
各サービスに対応して設けられ、第２プログラムを実行することにより暗号化手段および認証手段として機能する顔認証実行サーバと、
を備え、
前記登録手段は、ユーザの登録情報および顔画像データを受け付けるとユーザの識別情報を発行して発行されたユーザの識別情報および顔画像データをユーザ顔画像データベースに記憶させ、
前記認証依頼手段は、認証端末からユーザの顔画像データを受け付けると前記顔認証実行サーバにユーザの顔認証を行わせ、
前記処理実行手段は、前記顔認証実行サーバにより認証されたユーザの識別情報を受け付けると当該識別情報に対応するユーザに対して処理装置により処理を行わせ、
前記暗号化手段は、前記ユーザ顔画像データベースから送信された顔画像データを暗号化処理し、取得された暗号をユーザの識別情報に紐付けてメモリに記憶させるとともに、前記エッジサーバから送信された顔画像データを暗号化処理し、
前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された情報とを比較することによりユーザの認証を行い、取得されたユーザの識別情報を前記エッジサーバに送信することを特徴とする。

本発明の情報処理システムにおいては、
前記メモリには、前記ユーザ顔画像データベースから送信された顔画像データに基づいて取得された暗号が、当該顔画像データに基づいて判断されるユーザの性別および年代、ならびに前記サービスが提供されるエリアのうち少なくとも何れかで分類分けされて記憶され、
前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された情報とを比較する際に、前記メモリに記憶されている情報のうち、前記エッジサーバが受け付けたユーザの顔画像データから判断される性別および年代、ならびに前記認証端末が設置されているエリアのうち少なくとも何れかに対応する暗号化された情報を優先して比較してもよい。

この場合、前記メモリの性別、年代およびエリアのうち少なくとも何れかの区分に記憶されているユーザの顔画像データの暗号について、前記認証端末によりユーザの顔画像が撮像されることによりユーザの認証が行われたときに、前記認証端末の位置または前記認証端末により撮像されたユーザの顔画像データに基づいて、当該ユーザの暗号が記憶される前記メモリの性別、年代およびエリアのうち少なくとも何れかの区分が変更可能となっていてもよい。

また、前記暗号化手段は、前記ユーザ顔画像データベースおよび前記エッジサーバから送信された顔画像データをそれぞれ準同型暗号に変換し、前記ユーザ顔画像データベースから送信された顔画像データから変換された準同型暗号は前記メモリに記憶され、
前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された準同型暗号と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された準同型暗号とを比較してもよい。

また、前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された情報とを比較する際に、前記メモリに記憶されている複数のユーザ毎にユーグリッド距離を算出し、前記ユーグリッド距離が最も小さくかつ所定の閾値よりも小さいユーザの識別情報を認証されたユーザの識別情報としてもよい。

また、前記暗号化手段により暗号化される前にユーザの顔画像データが５１２次元ベクトルデータに変換され、前記暗号化手段は変換された５１２次元ベクトルデータの暗号化処理を行ってもよい。

また、前記顔認証実行サーバは前記第２プログラムを実行することにより情報要求手段として更に機能し、
前記情報要求手段は、ユーザの識別情報および顔画像データを前記ユーザ顔画像データベースに要求することにより当該ユーザ顔画像データベースから送信された前記サービスの利用登録を行っているユーザの識別情報および顔画像データを受け付けてもよい。

本発明の顔認証実行サーバは、
各サービスに対応して設けられ、第２プログラムを実行することにより暗号化手段および認証手段として機能する顔認証実行サーバであって、
前記暗号化手段は、ユーザ顔画像データベースから送信された顔画像データを暗号化処理し、取得された暗号をユーザの識別情報に紐付けてメモリに記憶させるとともに、認証端末により撮像された顔画像データを暗号化処理し、
前記認証手段は、前記認証端末により撮像されたユーザの顔画像データが前記暗号化手段により暗号化された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された情報とを比較することによりユーザの認証を行うことを特徴とする。

本発明の顔認証実行サーバにおいては、
前記メモリには、前記ユーザ顔画像データベースから送信された顔画像データに基づいて取得された暗号が、当該顔画像データに基づいて判断されるユーザの性別および年代、ならびに前記サービスが提供されるエリアのうち少なくとも何れかで分類分けされて記憶され、
前記認証手段は、前記認証端末により撮像された顔画像データが前記暗号化手段により暗号化された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された情報とを比較する際に、前記メモリに記憶されている情報のうち、前記認証端末により撮像されたユーザの顔画像データから判断される性別および年代、ならびに前記認証端末が設置されているエリアのうち少なくとも何れかに対応する暗号化された情報を優先して比較してもよい。

本発明の顔認証実行サーバは、
前記第２プログラムを実行することにより情報要求手段として更に機能し、
前記情報要求手段は、ユーザの識別情報および顔画像データを前記ユーザ顔画像データベースに要求することにより当該ユーザ顔画像データベースから送信された前記サービスの利用登録を行っているユーザの識別情報および顔画像データを受け付けてもよい。

本発明のプログラムは、
各サービスに対応して設けられる顔認証実行サーバを、暗号化手段と、認証手段として機能させるプログラムであって、
前記暗号化手段は、ユーザ顔画像データベースから送信された顔画像データを暗号化処理し、取得された暗号をユーザの識別情報に紐付けてメモリに記憶させるとともに、認証端末により撮像された顔画像データを暗号化処理し、
前記認証手段は、前記認証端末により撮像されたユーザの顔画像データが前記暗号化手段により暗号化された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された情報とを比較することによりユーザの認証を行うことを特徴とする。

本発明のプログラムにおいては、
前記メモリには、前記ユーザ顔画像データベースから送信された顔画像データに基づいて取得された暗号が、当該顔画像データに基づいて判断されるユーザの性別および年代、ならびに前記サービスが提供されるエリアのうち少なくとも何れかで分類分けされて記憶され、
前記認証手段は、前記認証端末により撮像された顔画像データが前記暗号化手段により暗号化された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された情報とを比較する際に、前記メモリに記憶されている情報のうち、前記認証端末により撮像されたユーザの顔画像データから判断される性別および年代、ならびに前記認証端末が設置されているエリアのうち少なくとも何れかに対応する暗号化された情報を優先して比較してもよい。

本発明のプログラムは、
前記顔認証実行サーバを更に情報要求手段として機能させ、
前記情報要求手段は、ユーザの識別情報および顔画像データを前記ユーザ顔画像データベースに要求することにより当該ユーザ顔画像データベースから送信された前記サービスの利用登録を行っているユーザの識別情報および顔画像データを受け付けてもよい。

本発明の情報処理方法は、
各サービスに対応して設けられる顔認証実行サーバにより実行される情報処理方法であって、
ユーザ顔画像データベースから送信された顔画像データを暗号化処理し、取得された暗号をユーザの識別情報に紐付けてメモリに記憶させる工程と、
認証端末により撮像されたユーザの顔画像データが暗号化処理された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが暗号化された情報とを比較することによりユーザの認証を行う工程と、
を備えたことを特徴とする。

本発明の情報処理方法においては、
前記メモリには、前記ユーザ顔画像データベースから送信された顔画像データに基づいて取得された暗号が、当該顔画像データに基づいて判断されるユーザの性別および年代、ならびに前記サービスが提供されるエリアのうち少なくとも何れかで分類分けされて記憶され、
ユーザの認証を行う工程において、前記認証端末により撮像された顔画像データが暗号化処理された情報と、前記メモリに記憶されている、複数のユーザの顔画像データが暗号化処理された情報とを比較する際に、前記メモリに記憶されている情報のうち、前記認証端末により撮像されたユーザの顔画像データから判断される性別および年代、ならびに前記認証端末が設置されているエリアのうち少なくとも何れかに対応する暗号化された情報を優先して比較してもよい。

本発明の情報処理方法は、
ユーザの識別情報および顔画像データを前記ユーザ顔画像データベースに要求することにより当該ユーザ顔画像データベースから送信された前記サービスの利用登録を行っているユーザの識別情報および顔画像データを受け付ける工程を更に備えてもよい。

本発明の情報処理システムおよび情報処理方法によれば、ユーザの顔認証を行うのに必要な時間を短縮することができる。

本発明の実施の形態による情報処理システムの構成を概略的に示す図である。図１に示す情報処理システムにおいてユーザの登録が行われるときのユーザ端末、エッジサーバおよびユーザ顔画像データベースの間での情報のやりとりを示すチャートである。図１に示す情報処理システムにおいて新たな顔認証実行サーバが導入されるときの顔認証実行サーバおよびユーザ顔画像データベースの間での情報のやりとりを示すチャートである。図１に示す情報処理システムにおいて認証端末の撮像部によりユーザの顔画像が撮像されたときの認証端末、エッジサーバ、顔認証実行サーバおよび処理装置の間での情報のやりとりを示すチャートである。図１に示す情報処理システムにおいてユーザの登録が行われるときの動作を示すフローチャートである。図１に示す情報処理システムにおいて新たな顔認証実行サーバが導入されるときの動作を示すフローチャートである。図１に示す情報処理システムにおいて認証端末の撮像部によりユーザの顔画像が撮像されたときの動作を示すチャートである。図１に示す情報処理システムにおいてユーザの顔画像データの５１２次元ベクトルデータが暗号化された準同型暗号が顔認証実行サーバのメモリにユーザの性別、年代およびエリアで分類分けされて記憶される態様を示す説明図である。

以下、図面を参照して本発明の実施の形態について説明する。図１乃至図８は、本実施の形態に係る情報処理システム１を示す図である。

本実施の形態による情報処理システム１は、エッジサーバ１０と、顔認証実行サーバ２０と、ユーザ顔画像データベース３０とを備えている。エッジサーバ１０、顔認証実行サーバ２０およびユーザ顔画像データベース３０はインターネット回線等のネットワークを介して互いに通信可能なように接続されている。また、エッジサーバ１０は、インターネット回線等のネットワークを介して、ユーザが所持するユーザ端末４０と通信可能に接続されている。また、エッジサーバ１０は、様々なサービス機関に設置される認証端末６０および処理装置７０とそれぞれ通信可能に接続されている。このような情報処理システム１の各構成要素について以下に説明する。

エッジサーバ１０は、インターネット回線を通じて利用できるサーバであり、インターネットでアクセスできる物理サーバ内に仮想的な専用サーバを構築した状態で提供される。エッジサーバ１０は、所定の第１プログラムを実行することにより登録手段１２、認証依頼手段１４および処理実行手段１６として機能する。登録手段１２は、ユーザ端末４０から登録情報およびユーザの顔画像データを受け付けると当該ユーザの登録処理を行う。認証依頼手段１４は、認証端末６０の撮像部６４（後述）により撮像されたユーザの顔画像データを受け付けると、顔認証実行サーバ２０によりユーザの認証を行わせる。処理実行手段１６は、顔認証実行サーバ２０によりユーザの認証が行われて当該顔認証実行サーバ２０からユーザの識別情報を受け付けると、処理装置７０により当該識別情報に係るユーザに対して所定の処理を行わせる。これらの登録手段１２、認証依頼手段１４および処理実行手段１６の機能の詳細については後述する。このような第１プログラムはエッジサーバ１０に記憶されているか、エッジサーバ１０とは別のサーバや外部装置からエッジサーバ１０に送信されるようになっている。

顔認証実行サーバ２０は、インターネット回線を通じて利用できるサーバであり、インターネットでアクセスできる物理サーバ内に仮想的な専用サーバを構築した状態で提供される。顔認証実行サーバ２０は様々な事業会社のサービスに対応して複数設けられている。ここで、サービスとは、例えば、各飲食事業会社がそれぞれ提供する飲食サービス、各タクシー事業会社がそれぞれ提供するタクシーサービス、各ビル事業会社がそれぞれ提供するビルへの入退館管理システム、各マンション事業会社がそれぞれ提供するマンションへの入退館管理システム等を含む。各顔認証実行サーバ２０は、所定の第２プログラムを実行することにより情報要求手段２１、暗号化手段２２および認証手段２４として機能する。また、顔認証実行サーバ２０は、ユーザの顔画像データの５１２次元ベクトルデータの準同型暗号を記憶するメモリ２６を有している。情報要求手段２１は、ユーザの識別情報および顔画像データをユーザ顔画像データベース３０に要求することにより、当該ユーザ顔画像データベース３０から送信された、顔認証実行サーバ２０に対応するサービスの利用登録を行っているユーザの識別情報および顔画像データを受け付ける。暗号化手段２２は、ユーザの顔画像データの５１２次元ベクトルデータを準同型暗号に変換する。また、認証手段２４は、認証端末６０の撮像部６４（後述）によりユーザの顔画像が撮像されたときに、メモリ２６に記憶されているユーザの顔画像データの５１２次元ベクトルデータが暗号化された準同型暗号と、撮像されたユーザの顔画像データの５１２次元ベクトルデータが暗号化された準同型暗号とを比較することによりユーザの認証を行う。これらの暗号化手段２２および認証手段２４の機能の詳細については後述する。このような第２プログラムは顔認証実行サーバ２０のメモリ２６に記憶されているか、顔認証実行サーバ２０とは別のサーバや外部装置から送信されるようになっている。

ユーザ顔画像データベース３０は、ユーザの登録時にエッジサーバ１０から送信されたユーザの顔画像データが記憶されるようになっている。ここで、ユーザ顔画像データベース３０が複数のデータベースから構成されており、ユーザの登録時にエッジサーバ１０から送信されたユーザの顔画像データが分割されて各データベースに記憶されるようになっていてもよい。

ユーザ端末４０は、ユーザが所持する例えばパーソナルコンピュータ、ＰＣタブレット端末、スマートフォン等である。ユーザ端末４０は、制御部４２と、操作部４４と、表示部４６と、記憶部４８と、撮像部５０とを有している。制御部４２は例えばＣＰＵ（中央演算処理装置）等を含む。操作部４４は、ユーザが操作して制御部４２に様々な指令を入力するためのものである。表示部４６は様々な情報を表示する。ユーザ端末４０が例えばパーソナルコンピュータである場合は、操作部４４は例えばキーボードやマウス等であり、表示部４６は例えばモニタである。ユーザ端末４０が例えばＰＣタブレット端末、スマートフォン等である場合は、操作部４４および表示部４６の組合せ体として例えばタッチパネル等が用いられる。記憶部４８は、様々な情報を記憶するようになっている。記憶部４８にはユーザの氏名、生年月日、電話番号、メールアドレス、ユーザ端末４０の識別情報（具体的には、例えばシリアルナンバー）等が記憶されている。撮像部５０は例えばカメラ等であり、ユーザの顔画像等を撮像するようになっている。このようなユーザ端末４０はエッジサーバ１０と通信可能に接続されている。また、ユーザ端末４０ではオンラインストアや情報処理システム１の管理会社のウエブサイト等から顔認証アプリをインストールすることができるようになっている。このような顔認証アプリをインストールすると、ユーザはユーザ端末４０により顔画像データの登録や様々な登録情報（例えば、氏名、生年月日、ユーザ名、メールアドレス、ユーザ端末４０の電話番号、クレジットカードの情報、パスワード等）の入力等を行うことができるようになる。

認証端末６０および処理装置７０は、様々なサービス機関に設けられたものである。認証端末６０は、ＣＰＵ等の制御部６２と、ユーザの顔画像の撮像を行うカメラ等の撮像部６４とを有している。撮像部６４により撮像されたユーザの顔画像データは認証端末６０からエッジサーバ１０に送信されるようになっている。また、顔認証実行サーバ２０によりユーザの認証が行われると、エッジサーバ１０の処理実行手段１６が処理装置７０に指令を与えることにより、認証端末６０が設置されているサービス機関において認証が行われたユーザに対して処理装置７０により様々な処理が行われるようになっている。

例えば、認証端末６０がオフィスビルや集合住宅施設等の出入り口に配置されている場合には、撮像部６４によりユーザの顔画像が撮像されて顔認証実行サーバ２０によりユーザの認証が行われたときに、処理装置７０によってこれらのオフィスビルや集合住宅施設の出入り口等に配置される扉の施錠が解除されるようになる。また、認証端末６０がタクシーの車内、飲食店、ホテル、交通機関、コンビニエンスストア等に配置されている場合には、これらのサービス機関で料金の支払いを行う際に、撮像部６４によりユーザの顔画像が撮像されて顔認証実行サーバ２０によりユーザの認証が行われたときに、処理装置７０によりキャッシュレスによる決済が可能となる。この場合には、エッジサーバ１０から金融機関やクレジットカード会社のサーバに支払い情報が送信されることにより、ユーザの銀行口座から支払い金額が自動的に引き落とされたりクレジットカードの利用明細に追加されたりするようになる。なお、処理装置７０によりキャッシュレスによる決済が行われるのではなく、認証端末６０が設けられているサービス機関のコントロールサーバに処理装置７０から決済指令が送信されることにより、このサービス機関のコントロールサーバによりキャッシュレスによる決済が行われてもよい。

次に、本実施の形態の情報処理システム１による処理の流れについて説明する。

まず、本実施の形態の情報処理システム１によりユーザの登録が行われるときの動作について図２および図５を用いて説明する。

図２は、情報処理システム１においてユーザの登録が行われるときのユーザ端末４０、エッジサーバ１０およびユーザ顔画像データベース３０の間での情報のやりとりを示すチャートであり、図５は、情報処理システム１においてユーザの登録が行われるときの動作を示すフローチャートである。

ユーザは、最初に顔認証アプリを当該ユーザが所持するユーザ端末４０にインストールする。そして、ユーザがユーザ端末４０において顔認証アプリを起動すると、ユーザ登録画面がユーザ端末４０の表示部４６に表示される。このようなユーザ登録画面においてユーザが氏名、生年月日、ユーザ名、メールアドレス、ユーザ端末４０の電話番号、クレジットカードの情報、パスワード等の登録情報を入力し、利用規約に同意する欄にチェックを入れた後に登録ボタンを押下する。すると、ユーザ端末４０には顔画像の撮像画面が表示される。このような撮像画面でユーザがユーザ端末４０の撮像部５０により顔画像の撮像を行う。その後、ユーザ登録画面で入力された様々な登録情報およびユーザの顔画像データがユーザ端末４０からエッジサーバ１０に送信される（ステップＳｔ１１）。

ユーザ端末４０からエッジサーバ１０にユーザの登録情報およびこのユーザの顔画像データが送信されると、エッジサーバ１０の登録手段１２は、ユーザの登録処理を行う。具体的には、エッジサーバ１０にて、ユーザ単位で公開鍵および秘密鍵が発行される（ステップＳｔ１２）。また、エッジサーバ１０にて、ユーザの識別情報（具体的には、例えばユーザの識別番号）が発行される。そして、ユーザの識別情報およびユーザの顔画像データがエッジサーバ１０からユーザ顔画像データベース３０に送信され、これらの情報がユーザ顔画像データベース３０に保存される（ステップＳｔ１３）。この際に、ユーザの顔画像に関する情報が分割されて各データベースに記憶されてもよい。より詳細には、エッジサーバ１０からユーザ顔画像データベース３０に送信されたユーザの顔画像データに対してエンコード変換が行われることにより文字列が取得される。エンコード方式としては様々な既知の方法が用いられる。例えば、エンコード方式としてｂａｓｅ６４ｅｎｃｏｄｅが挙げられる。このようなｂａｓｅ６４ｅｎｃｏｄｅによれば、日本語等のマルチバイト文字が扱えない環境でも、顔画像を６４種の英文字に変換することによりデータとして扱えることができるようになる。そして、ユーザの顔画像データからエンコード変換された文字列が所定の分割ルールに沿って複数の文字列部分に分割される。文字列を複数の文字列部分に分割する分割ルールとして様々なルールを用いることができる。分割ルールとしては、例えば文字列を先頭から数えて所定の文字数になる度に分割する、文字列を所定の数で割った文字数分の文字列部分を複数作成する、等が挙げられる。そして、分割された各文字列部分およびユーザの識別情報が紐付けられた状態で各データベースに記憶される。

また、ユーザはユーザ端末４０の顔認証アプリによって利用するサービスの追加や削除を行うことができるようになっている。利用するサービスの追加を行った場合には、追加されたサービスに関する情報がユーザ端末４０からエッジサーバ１０に送信される。エッジサーバ１０は、追加されたサービスに関する情報およびユーザの識別情報を紐付けてユーザ顔画像データベース３０に送信する。このことにより、ユーザ顔画像データベース３０には、追加されたサービスに関する情報がユーザの識別情報に紐付けられて記憶される。また、ユーザはユーザ端末４０の顔認証アプリによって既にユーザが利用しているサービスの停止が行われる場合には、削除されるサービスに関する情報がユーザ端末４０からエッジサーバ１０に送信される。エッジサーバ１０は、削除されるサービスに関する情報およびユーザの識別情報を紐付けてユーザ顔画像データベース３０に送信する。

次に、本実施の形態の情報処理システム１において新たな顔認証実行サーバ２０が導入されるときの動作について図３および図６を用いて説明する。図３は、情報処理システム１において新たな顔認証実行サーバ２０が導入されるときの顔認証実行サーバ２０およびユーザ顔画像データベース３０の間での情報のやりとりを示すチャートであり、図６は、情報処理システム１において新たな顔認証実行サーバ２０が導入されるときの動作を示すフローチャートである。

上述したように、本実施の形態の情報処理システム１では、顔認証実行サーバ２０は様々な事業会社のサービスに対応して複数設けられている。ここで、情報処理システム１において新たなサービスに対応可能となった場合には、この新たなサービスに対応する顔認証実行サーバ２０も導入される。この際に、顔認証実行サーバ２０のメモリ２６に、起動初期化処理として、この新たなサービスを利用しようとするユーザの顔画像データも記憶されることにより、新たなサービスを利用しようとするユーザの顔認証が可能となる。このような動作について具体的に説明する。顔認証実行サーバ２０が新たに導入されると、当該顔認証実行サーバ２０の情報要求手段２１はユーザ顔画像データベース３０に対して情報要求指令を送信する。ユーザ顔画像データベース３０は、当該ユーザ顔画像データベース３０に記憶されているユーザの顔画像データのうち、顔認証実行サーバ２０に対応するサービスを利用しているユーザの顔画像データをユーザの識別情報とともに顔認証実行サーバ２０に送信する（ステップＳｔ２１）。

顔認証実行サーバ２０において、ユーザ顔画像データベース３０から送信されたユーザの顔画像データが５１２次元ベクトルデータに展開される。そして、暗号化手段２２は、ユーザの顔画像データから展開された５１２次元ベクトルデータを準同型暗号に変換する。その後、暗号化手段２２により取得された準同型暗号がユーザの識別情報に紐付けられた状態でメモリ２６に記憶される（ステップＳｔ２２）。ここで、準同型暗号とは、復号化することなく暗号化されたデータに対する演算を許容する暗号のことをいい、二つの暗号文が与えられたときに、平文や秘密鍵がなくても加法や減法、乗法のような二項演算を行うことができるものである。

また、準同型暗号がユーザの識別情報に紐付けられた状態でメモリ２６に記憶される際に、本実施の形態では、準同型暗号およびユーザの識別情報が、サービスが展開されるエリア、性別および年代で分類分けされて記憶されている。サービスが展開されるエリアとしては、例えば図８に示すように関東地区、関西地区、中京地区、九州地区、・・・、等がある。このようなサービスが展開されるエリアに関する情報は、顔認証実行サーバ２０が導入される際に初期値としてメモリ２６に記憶される。また、ユーザ顔画像データベース３０から顔認証実行サーバ２０に送信されたユーザの顔画像データに基づいて、顔認証実行サーバ２０ではこの顔画像データに対応するユーザの性別および年代が判断される。顔画像データからユーザの性別および年代を判断する方法として公知の様々な方法が用いられる。例えば、顔認証実行サーバ２０のメモリ２６に予め複数の顔画像データが性別および年代に紐付けられた状態で記憶されており、ユーザ顔画像データベース３０から顔認証実行サーバ２０にユーザの顔画像データが送信されたときに、メモリ２６に予め記憶されている複数の顔画像データのうち最も近似する顔画像データの性別および年代が用いられてもよい。本実施の形態では、顔認証実行サーバ２０において、図８に示すように、このようにして取得されたエリア、性別および年代で、準同型暗号およびユーザの識別情報が分類分けされてメモリ２６に記憶される。

また、顔認証実行サーバ２０の導入時以外にも、情報要求手段２１は定期的にユーザの識別情報および顔画像データをユーザ顔画像データベース３０に要求する。このことにより、顔認証実行サーバ２０に対応するサービスの利用登録を新たに行ったユーザの識別情報および顔画像データがユーザ顔画像データベース３０から顔認証実行サーバ２０に送信される。

次に、情報処理システム１において認証端末６０の撮像部６４によりユーザの顔画像が撮像されたときの動作について説明する。図４は、情報処理システム１において認証端末６０の撮像部６４によりユーザの顔画像が撮像されたときの認証端末６０、エッジサーバ１０、顔認証実行サーバ２０および処理装置７０の間での情報のやりとりを示すチャートであり、図７は、情報処理システム１において認証端末６０の撮像部６４によりユーザの顔画像が撮像されたときの動作を示すチャートである。

様々なサービス機関に設置される認証端末６０の撮像部６４によりユーザの顔画像が撮像されると、撮像されたユーザの顔画像データが認証端末６０からエッジサーバ１０に送信される（ステップＳｔ３１）。この際に、認証端末６０が設置されているサービス機関に対応するサービスの情報や、認証端末６０が設置されている場所の情報も認証端末６０からエッジサーバ１０に送信される。

エッジサーバ１０の認証依頼手段１４は、認証端末６０からユーザの顔画像データが送信されると、この認証端末６０が設置されているサービス機関に対応するサービスの顔認証実行サーバ２０にユーザの顔認証を依頼する。具体的には、エッジサーバ１０は、認証端末６０から送信されたユーザの顔画像データを５１２次元ベクトルデータに展開し、展開された５１２次元ベクトルデータを顔認証実行サーバ２０に送信する（ステップＳｔ３２）。また、エッジサーバ１０において、認証端末６０から送信されたユーザの顔画像データから、この顔画像データに係るユーザの性別および年代が判断される。顔画像データからユーザの性別および年代を判断する方法として公知の様々な方法が用いられる。判断されたユーザの性別および年代に係る情報、ならびに認証端末６０が設置されている場所に関する情報もエッジサーバ１０から顔認証実行サーバ２０に送信される。

そして、顔認証実行サーバ２０にて、エッジサーバ１０から送信された５１２次元ベクトルデータが暗号化手段２２により準同型暗号に変換される。認証手段２４は、エッジサーバ１０から送信された５１２次元ベクトルデータが変換された準同型暗号と、メモリ２６に記憶されている準同型暗号とを比較することにより、ユーザの認証を行う。この際に、顔認証実行サーバ２０の認証手段２４は、メモリ２６に記憶されている情報のうち、エッジサーバ１０により判断されたユーザの性別および年代、ならびに認証端末６０が設置されている場所に対応して記憶されている複数のユーザの準同型暗号を抽出する。次に、認証手段２４は、エッジサーバ１０から送信された５１２次元ベクトルデータが変換された準同型暗号と、抽出された複数のユーザの準同型暗号との間のユーグリッド距離をそれぞれ算出する。ここで、ユーグリッド距離とは、５１２次元ユーグリッド空間における２つの点の差の二乗和の平方根のことをいう。エッジサーバ１０から送信された５１２次元ベクトルデータが変換された準同型暗号を（ａ₁、ａ₂、ａ₃、・・・、ａ₅₁₂）、メモリ２６から抽出された５１２次元ベクトルデータが変換された準同型暗号を（ｂ₁、ｂ₂、ｂ₃、・・・、ｂ₅₁₂）としたときに、ユーグリッド距離Ｌは下記式で表される。

そして、認証手段２４は、算出されたユーグリッド距離が最も小さくかつ所定の閾値よりも小さい準同型暗号に対応するユーザの識別情報を、撮像部６４により撮像されたユーザの識別情報と判断する（ステップＳｔ３３）。このようにして認証手段２４により認証されたユーザの識別情報が顔認証実行サーバ２０からエッジサーバ１０に送信される（ステップＳｔ３４）。

なお、認証手段２４において、算出された最も小さいユーグリッド距離が、所定の閾値よりも大きい場合には、撮像部６４により撮像されたユーザの顔画像データから変換された準同型暗号が顔認証実行サーバ２０のメモリ２６の同じエリア、性別および年代の同じ区分には登録されていないとして、認証手段２４は、エッジサーバ１０から送信された５１２次元ベクトルデータが変換された準同型暗号と、メモリ２６に記憶されている、別のエリア、別の性別または別の年代の準同型暗号とを比較することにより、ユーザの認証を行う。

エッジサーバ１０の処理実行手段１６は、顔認証実行サーバ２０により認証された識別情報に対応するユーザに対して処理装置７０により所定の処理を行わせる。具体的には、認証端末６０がオフィスビルや集合住宅施設等の出入り口に配置されている場合には、撮像部６４によりユーザの顔画像が撮像されて顔認証実行サーバ２０によりユーザの認証が行われたときに、処理装置７０によってこれらのオフィスビルや集合住宅施設の出入り口等に配置される扉の施錠が解除されるようになる。また、認証端末６０がタクシーの車内、飲食店、ホテル、交通機関、コンビニエンスストア等に配置されている場合には、これらのサービス機関で料金の支払いを行う際に、撮像部６４によりユーザの顔画像が撮像されて顔認証実行サーバ２０によりユーザの認証が行われたときに、処理装置７０によりキャッシュレスによる決済が可能となる。

なお、メモリ２６に記憶されている全てのエリア、性別および年代に係る準同型暗号について、エッジサーバ１０から送信された５１２次元ベクトルデータが変換された準同型暗号との間のユーグリッド距離が所定の閾値よりも大きい場合には、認証端末６０の撮像部６４により撮像されたユーザの顔画像データが顔認証実行サーバ２０のメモリ２６に登録されていないと判断され、ユーザの認証は行われない。この場合には、顔認証実行サーバ２０からエッジサーバ１０にユーザの識別情報が送信されず、処理装置７０による処理も行われない。

以上のような構成からなる本実施の形態の情報処理システム１、顔認証実行サーバ２０、第２プログラムおよび情報処理方法によれば、第２プログラムを実行することにより暗号化手段２２および認証手段２４として機能する顔認証実行サーバ２０が各サービスに対応して設けられている。また、暗号化手段２２は、ユーザ顔画像データベース３０から送信された顔画像データを暗号化処理し、取得された暗号をユーザの識別情報に紐付けてメモリ２６に記憶させるとともに、認証端末６０により撮像された顔画像データを暗号化処理する。また、認証手段２４は、認証端末６０により撮像されたユーザの顔画像データが暗号化手段２２により暗号化された情報と、メモリ２６に記憶されている、複数のユーザの顔画像データが暗号化手段２２により暗号化された情報とを比較することによりユーザの認証を行う。この場合には、顔認証実行サーバ２０が各サービスに対応して設けられており、サービス毎に当該サービスを利用するユーザの顔画像データが暗号化された情報がメモリ２６に記憶されることにより、認証手段２４により顔認証が行われる際に、認証端末６０により撮像されたユーザの顔画像データが暗号化された情報と比較される、メモリ２６に記憶されている情報の量が少なくなり、よってユーザの顔認証を行うのに必要な時間を短縮することができる。例えば、ユーザの顔認証を行うにあたり、認証端末６０により撮像されたユーザの顔画像データと、ユーザ顔画像データベース３０に記憶されている全てのユーザの顔画像データとを比較した場合には、ユーザ顔画像データベース３０に記憶されているユーザの顔画像データの量が多いため、ユーザの顔認証を行うのに時間がかかるという問題がある。これに対し、本実施の形態では、認証端末６０により撮像されたユーザの顔画像データを、ユーザ顔画像データベース３０に記憶されているユーザの顔画像データと比較するのではなく、各サービスに対応して設けられている顔認証実行サーバ２０のメモリ２６に記憶されているユーザの顔画像データと比較するため、ユーザの顔認証を行うのに必要な時間を短縮することができる。

また、本実施の形態の情報処理システム１、顔認証実行サーバ２０、第２プログラムおよび情報処理方法においては、上述したように、メモリ２６には、ユーザ顔画像データベース３０から送信された顔画像データに基づいて取得された暗号が、当該顔画像データに基づいて判断されるユーザの性別および年代、ならびにサービスが提供されるエリアで分類分けされて記憶される。また、認証手段２４は、認証端末６０により撮像された顔画像データが暗号化手段２２により暗号化された情報と、メモリ２６に記憶されている、複数のユーザの顔画像データが暗号化手段２２により暗号化された情報とを比較する際に、メモリ２６に記憶されている情報のうち、認証端末６０により撮像されたユーザの顔画像データから判断される性別および年代、ならびに認証端末６０が設置されているエリアに対応する暗号化された情報を優先して比較する。この場合には、認証端末６０により撮像された顔画像データが暗号化手段２２により暗号化された情報と比較される、メモリ２６に記憶されている情報の量が更に少なくなるので、ユーザの顔認証を行うのに必要な時間をより一層短縮することができる。

また、本実施の形態の情報処理システム１、顔認証実行サーバ２０、第２プログラムおよび情報処理方法においては、上述したように、顔認証実行サーバ２０は第２プログラムを実行することにより情報要求手段２１として更に機能し、情報要求手段２１は、ユーザの識別情報および顔画像データをユーザ顔画像データベース３０に要求することにより当該ユーザ顔画像データベース３０から送信されたサービスの利用登録を行っているユーザの識別情報および顔画像データを受け付ける。このことにより、メモリ２６には、ユーザ顔画像データベース３０に記憶されている全てのユーザの顔画像データではなく、顔認証実行サーバ２０に対応するサービスの利用登録を行っているユーザの顔画像データが暗号化された情報のみを記憶させることができる。

また、本実施の形態の情報処理システム１、顔認証実行サーバ２０、第２プログラムおよび情報処理方法においては、上述したように、暗号化手段２２は、ユーザ顔画像データベース３０およびエッジサーバ１０から送信された顔画像データをそれぞれ準同型暗号に変換し、ユーザ顔画像データベース３０から送信された顔画像データから変換された準同型暗号はメモリ２６に記憶される。また、認証手段２４は、エッジサーバ１０から送信された顔画像データが暗号化手段２２により暗号化された準同型暗号と、メモリ２６に記憶されている、複数のユーザの顔画像データが暗号化手段２２により暗号化された準同型暗号とを比較する。この場合には、ユーザの顔画像データの情報漏洩のリスクを抑制することができるため、セキュリティ性を向上させることができる。より詳細には、準同型暗号は、二つの暗号文が与えられたときに、平文や秘密鍵がなくても加法や減法、乗法のような二項演算を行うことができる暗号であるため、ユーザの顔画像データの準同型暗号の復号を行わなくても認証手段２４は認証端末６０により撮像されたユーザの顔画像データの準同型暗号とメモリ２６に記憶されているユーザの顔画像データの準同型暗号とを比較してユーザの認証を行うことができる。

また、本実施の形態の情報処理システム１、顔認証実行サーバ２０、第２プログラムおよび情報処理方法においては、上述したように、認証手段２４は、認証端末６０により撮像された顔画像データが暗号化手段２２により暗号化された情報と、メモリ２６に記憶されている、複数のユーザの顔画像データが暗号化手段２２により暗号化された情報とを比較する際に、メモリ２６に記憶されている複数のユーザ毎にユーグリッド距離を算出し、ユーグリッド距離が最も小さくかつ所定の閾値よりも小さいユーザの識別情報を認証されたユーザの識別情報とする。このようにユーグリッド距離を用いてユーザの認証を行う場合には、ユーザの認証をより確実かつ迅速に行うことができる。

また、本実施の形態の情報処理システム１、顔認証実行サーバ２０、第２プログラムおよび情報処理方法においては、上述したように、暗号化手段２２により暗号化される前にユーザの顔画像データが５１２次元ベクトルデータに変換され、暗号化手段２２は変換された５１２次元ベクトルデータの暗号化処理を行うようになっている。この場合には、情報処理システム１においてより迅速かつ確実な処理が可能となる。

なお、本実施の形態による情報処理システム１や情報処理方法等は、上述したような態様に限定されることはなく、様々な変更を加えることができる。

例えば、エッジサーバ１０および顔認証実行サーバ２０が分離されるのではなく、エッジサーバ１０および顔認証実行サーバ２０が一体化されたサーバが用いられてもよい。この際に、エッジサーバ１０および顔認証実行サーバ２０が一体化されたサーバは、所定のプログラムを実行することにより、上述した登録手段、認証依頼手段、処理実行手段、情報要求手段、暗号化手段および認証手段として機能する。

また、エッジサーバ１０および顔認証実行サーバ２０が別々に設けられている場合に、上述した登録手段、認証依頼手段、処理実行手段がエッジサーバ１０に設けられるとともに上述した情報要求手段、暗号化手段、認証手段、メモリが顔認証実行サーバ２０に設けられるような態様に限定されることはない。上述した登録手段、認証依頼手段、処理実行手段、情報要求手段、暗号化手段および認証手段の各々がエッジサーバ１０および顔認証実行サーバ２０の少なくともいずれか一方に設けられる場合は、これらの各手段が設けられるサーバの種類は特定のサーバに限定されることはない。例えば、処理実行手段がエッジサーバ１０ではなく顔認証実行サーバ２０に設けられており、顔認証実行サーバ２０において認証手段によりユーザの認証が行われるとエッジサーバ１０を経由することなく顔認証実行サーバ２０の処理実行手段から処理装置７０に指令が送られてもよい。

また、上記の説明では、準同型暗号がユーザの識別情報に紐付けられた状態でメモリ２６に記憶される際に、本実施の形態では、準同型暗号およびユーザの識別情報が、サービスが展開されるエリア、性別および年代で分類分けされて記憶される態様について説明したが、本実施の形態はこのような態様に限定されることはない。本実施の形態における他の情報処理システム１や顔認証実行サーバ２０において、メモリ２６には、ユーザ顔画像データベース３０から送信された顔画像データに基づいて取得された暗号が、当該顔画像データに基づいて判断されるユーザの性別および年代、ならびにサービスが提供されるエリアのうち少なくとも何れか１つまたは２つで分類分けされて記憶されてもよい。

また、メモリ２６に記憶されている各ユーザの顔画像データの５１２次元ベクトルデータの準同型暗号について、認証端末６０の撮像部６４によりユーザの顔画像が撮像されることによりユーザの認証が行われたときに、認証端末６０の位置または撮像部６４により撮像されたユーザの顔画像データに基づいて、準同型暗号が記憶されるメモリ２６のエリア、性別および年代の区分が変更されるようになっていてもよい。例えば、メモリ２６における準同型暗号が記憶されている区分のエリアとは異なるエリアの認証端末６０の撮像部６４によりユーザの顔画像が連続で所定回数以上撮像された場合は、準同型暗号が記憶されるメモリ２６のエリアの区分が、ユーザの顔画像が撮像された認証端末６０のエリアの区分に変更されてもよい。また、メモリ２６における準同型暗号が記憶されている区分の性別または年代と、認証端末６０の撮像部６４により撮像されたユーザの顔画像データに基づいて判断される性別または年代とは異なる場合は、準同型暗号が記憶されるメモリ２６のエリアの区分が、認証端末６０の撮像部６４により撮像されたユーザの顔画像データに基づいて判断される性別または年代の区分に変更されてもよい。このような技術的事項によれば、準同型暗号が記憶されるメモリ２６のエリア、性別または年代の区分を、認証端末６０の位置または撮像部６４により撮像されたユーザの顔画像データに基づいて適切な区分に変更することにより、ユーザの顔認証を行うのに必要な時間をより一層短縮することができる。

１情報処理システム
１０エッジサーバ
１２登録手段
１４認証依頼手段
１６処理実行手段
２０顔認証実行サーバ
２１情報要求手段
２２暗号化手段
２４認証手段
２６メモリ
３０ユーザ顔画像データベース
４０ユーザ端末
４２制御部
４４操作部
４６表示部
４８記憶部
５０撮像部
６０認証端末
６２制御部
６４撮像部
７０処理装置

Claims

第１プログラムを実行することにより登録手段、認証依頼手段および処理実行手段として機能するエッジサーバと、
各サービスに対応して設けられ、第２プログラムを実行することにより暗号化手段および認証手段として機能する顔認証実行サーバと、
を備え、
前記登録手段は、ユーザの登録情報および顔画像データを受け付けるとユーザの識別情報を発行して発行されたユーザの識別情報および顔画像データをユーザ顔画像データベースに記憶させ、
前記認証依頼手段は、認証端末からユーザの顔画像データを受け付けると前記認証端末に関連するサービスに対応して設けられる前記顔認証実行サーバにユーザの顔認証を行わせ、
前記処理実行手段は、前記顔認証実行サーバにより認証されたユーザの識別情報を受け付けると当該識別情報に対応するユーザに対して処理装置により処理を行わせ、
前記暗号化手段は、前記ユーザ顔画像データベースから送信された顔画像データを暗号化処理し、取得された暗号をユーザの識別情報に紐付けてメモリに記憶させるとともに、前記エッジサーバから送信された顔画像データを暗号化処理し、
前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された暗号と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された暗号とを比較することによりユーザの認証を行い、取得されたユーザの識別情報を前記エッジサーバに送信し、
前記ユーザ顔画像データベースに記憶されているユーザの顔画像データのうち、前記顔認証実行サーバに対応するサービスを利用しているユーザの顔画像データがユーザの識別情報とともに前記顔認証実行サーバに送信される、情報処理システム。
前記メモリには、前記ユーザ顔画像データベースから送信された顔画像データに基づいて取得された暗号が、当該顔画像データに基づいて判断されるユーザの性別および年代、ならびに前記サービスが提供されるエリアのうち少なくとも何れかで分類分けされて記憶され、
前記エッジサーバにおいて、前記認証端末から送信されたユーザの顔画像データから判断されたユーザの性別および年代に係る情報、ならびに前記認証端末が設置されているエリアに関する情報が前記エッジサーバから前記顔認証実行サーバに送信され、
前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された暗号と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された暗号とを比較する際に、前記メモリに記憶されている情報のうち、前記エッジサーバにより判断され当該エッジサーバから送信されたユーザの性別および年代、ならびに前記認証端末が設置されているエリアのうち少なくとも何れかに対応する暗号を優先して比較する、請求項１記載の情報処理システム。
前記メモリの性別、年代およびエリアのうち少なくとも何れかで分類分けされて記憶されているユーザの顔画像データの暗号について、前記認証端末によりユーザの顔画像が撮像されることによりユーザの認証が行われたときに、前記認証端末の位置または前記認証端末により撮像されたユーザの顔画像データに基づいて、当該ユーザの暗号が記憶される前記メモリの性別、年代およびエリアのうち少なくとも何れかの区分が変更可能となっている、請求項２記載の情報処理システム。
前記暗号化手段は、前記ユーザ顔画像データベースおよび前記エッジサーバから送信された顔画像データをそれぞれ準同型暗号に変換し、前記ユーザ顔画像データベースから送信された顔画像データから変換された準同型暗号は前記メモリに記憶され、
前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された準同型暗号と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された準同型暗号とを比較する、請求項１乃至３のいずれか一項に記載の情報処理システム。
前記認証手段は、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された暗号と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された暗号とを比較する際に、前記メモリに記憶されている複数のユーザ毎にユーグリッド距離を算出し、前記ユーグリッド距離が最も小さくかつ所定の閾値よりも小さいユーザの識別情報を認証されたユーザの識別情報とする、請求項１乃至３のいずれか一項に記載の情報処理システム。
前記暗号化手段により暗号化される前にユーザの顔画像データが５１２次元ベクトルデータに変換され、前記暗号化手段は変換された５１２次元ベクトルデータの暗号化処理を行う、請求項１乃至３のいずれか一項に記載の情報処理システム。
前記顔認証実行サーバは前記第２プログラムを実行することにより情報要求手段として更に機能し、
前記情報要求手段は、ユーザの識別情報および顔画像データを前記ユーザ顔画像データベースに要求することにより当該ユーザ顔画像データベースから送信された前記サービスを利用しているユーザの識別情報および顔画像データを受け付ける、請求項１乃至３のいずれか一項に記載の情報処理システム。
第１プログラムを実行することにより登録手段、認証依頼手段および処理実行手段として機能するエッジサーバと、各サービスに対応して設けられ、第２プログラムを実行することにより暗号化手段および認証手段として機能する顔認証実行サーバと、を備えた情報処理システムにより行われる情報処理方法であって、
前記登録手段が、ユーザの登録情報および顔画像データを受け付けるとユーザの識別情報を発行して発行されたユーザの識別情報および顔画像データをユーザ顔画像データベースに記憶させる工程と、
前記暗号化手段が、前記ユーザ顔画像データベースから送信された顔画像データを暗号化処理し、前記暗号化手段により取得された暗号がユーザの識別情報に紐付けられてメモリに記憶される工程と、
前記認証依頼手段が、認証端末からユーザの顔画像データを受け付けると前記認証端末に関連するサービスに対応して設けられる前記顔認証実行サーバにユーザの顔認証を行わせる工程であって、前記暗号化手段が、前記エッジサーバから送信された顔画像データを暗号化処理し、前記認証手段が、前記エッジサーバから送信された顔画像データが前記暗号化手段により暗号化された暗号と、前記メモリに記憶されている、複数のユーザの顔画像データが前記暗号化手段により暗号化された暗号とを比較することによりユーザの認証を行い、取得されたユーザの識別情報を前記エッジサーバに送信する工程と、
前記処理実行手段が、前記顔認証実行サーバにより認証されたユーザの識別情報を受け付けると当該識別情報に対応するユーザに対して処理装置により処理を行わせる工程と、
を備え、
前記ユーザ顔画像データベースに記憶されているユーザの顔画像データのうち、前記顔認証実行サーバに対応するサービスを利用しているユーザの顔画像データがユーザの識別情報とともに前記顔認証実行サーバに送信される、情報処理方法。