WO2026014231A1

WO2026014231A1 - 認証システム及び認証方法

Info

Publication number: WO2026014231A1
Application number: PCT/JP2025/022762
Authority: WO
Inventors: 正和藤尾; 陽介加賀; 健太高橋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2024-07-10
Filing date: 2025-06-24
Publication date: 2026-01-15
Anticipated expiration: 2027-01-10
Also published as: JP2026010780A

Abstract

認証システムは、左眼周囲画像及び右眼周囲画像のうちの予め定められた一方の眼周囲画像の上下反転又は左右反転を含むフリップ画像変換と、一方の眼周囲画像の所定の中心に関して一方の眼周囲画像を所定角度だけ回転させる回転画像変換と、の何れか一方又は両方を含む画像変換を実施した一方の眼周囲画像を含む眼周囲画像を推論モデルへ入力して眼周囲画像の特徴量を取得する。そして認証システムは、取得した特徴量と、ユーザを識別するユーザＩＤを含むクラスＩＤとユーザの左眼周囲画像又は右眼周囲画像の特徴量とが予め対応付けて登録されている登録テンプレートにおける特徴量と、の比較結果に基づいて、ユーザの認証を行う。

Description

認証システム及び認証方法

　本発明は、認証システム及び認証方法に関する。

　近年、スマートフォンやタブレット等の普及と共に、インターネットを介したモバイル環境での電子商取引やインターネットバンキング利用が拡大している。また小売店等では、スマートフォンとＱＲコード（登録商標）を利用したキャッシュレス決済の利用が進んでいる。このように近年、インターネットを介したリモート取引が急速に拡大しつつある。

　しかし、リモート取引の拡大と共に、アカウント情報の漏洩やなりすまし等の不正利用による被害が後を絶たず、今後も被害規模が拡大していくことが懸念される。そこで不正利用を防止するため、リモート取引において、高い精度で本人を認証するため、顔や指紋、虹彩、静脈といった生体情報を用いる本人認証手段を採用する動きが広がりつつある。

　ここで顔の画像を用いる顔認証は、精度と利便性が高い本人認証手段であるものの、個人端末での利用を除き、現場店舗等での本格的な普及には至っていない。これは、マスク着用時に認証対象者の口元の画像を取得できないため、利便性向上のために普及しつつあるＩＤレス認証において用いることが難しいためである。よって、顔認証を補完する手段として、顔と同時に撮影される眼の周囲の画像に基づく眼周囲の特徴を用いた手法が提案されている（例えば非特許文献１参照）。

Karan Ahuja, etc.，"A Preliminary Study of CNNs for Iris and Periocular Verification inthe Visible Spectrum."，［online］， 2016 23rd International Conference on Pattern Recognition (ICPR).

　上述の非特許文献１に開示の従来技術では、左眼及び右眼の眼周囲画像を水平方向に反転させ学習データを拡充させて、認証を行うモデルを学習することで、認証精度の改善を図っている。しかし、左右反転して向きを揃えた場合、本人の左眼か右眼かの区別が付きにくく、精度向上の余地があった。

　本発明は、上述の課題に鑑みてなされたものであり、顔認証において認証精度をより向上させることを目的とする。

　本発明は、上述の目的を達成するために、一態様として、ユーザの認証を行う認証システムであって、前記認証システムは、プロセッサと、メモリと、を有し、前記プロセッサは、前記ユーザの顔画像から、該ユーザの左眼及び該左眼の周囲を含んだ左眼周囲画像と、該ユーザの右眼及び該右眼の周囲を含んだ右眼周囲画像と、を含む眼周囲画像を取得し、取得した前記眼周囲画像のうちの予め定められた一方の眼周囲画像に対して、該一方の眼周囲画像の上下反転又は左右反転を含む画像反転と、該一方の眼周囲画像の所定の中心に関して該一方の眼周囲画像を所定角度だけ回転させる画像回転と、の何れか一方又は両方を含む画像変換を実施し、前記画像変換を実施した前記一方の眼周囲画像を含む前記眼周囲画像を推論モデルに入力し、ここで該推論モデルは、入力された眼周囲画像に対して該眼周囲画像の特徴量を出力する推論モデルであり、前記眼周囲画像の入力に対して前記推論モデルから出力された前記眼周囲画像の特徴量を取得し、取得した前記特徴量と、前記ユーザを識別するユーザＩＤを含むクラスＩＤと該ユーザの前記左眼周囲画像及び前記右眼周囲画像の特徴量とが予め対応付けて登録されている登録テンプレートにおける該特徴量と、の比較結果に基づいて、前記ユーザの認証を行うことを特徴とする。

　本発明によれば、顔認証において認証精度をより向上させることができる。

実施形態１に係る認証システムの構成図。実施形態１に係るユーザＩＤ推定処理を示すフローチャート。実施形態１に係るパラメータ更新処理を示すフローチャート。実施形態１に係るパラメータ更新処理における逆誤差伝搬の説明図。実施形態１に係る眼周囲画像の画像変換の概要の説明図。実施形態１に係る眼周囲画像の画像変換の変形例の説明図。実施形態２に係るユーザ認証処理を示すフローチャート。実施形態３に係るパラメータ更新処理を示すフローチャート。

　以下、図面を参照して本発明の実施形態を説明する。実施形態における実施例は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

　各種情報の例として、「テーブル」、「リスト」、「キュー」、「データベース」等の表現にて説明することがあるが、各種情報はこれら以外のデータ構造で表現されてもよい。例えば、「ＸＸテーブル」、「ＸＸリスト」、「ＸＸキュー」等の各種情報は、「ＸＸ情報」としてもよい。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらは互いに置換が可能である。

　同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

　実施例において、プログラムを主語として、プログラムを実行して行う処理を説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit））によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field　Programmable　Gate　Array）やＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＣＰＬＤ（Complex　Programmable　Logic　Device）等である。

　プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施例において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

［実施形態１］
（実施形態１に係る認証システム１０の構成）
　図１は、実施形態１に係る認証システム１０の構成図である。認証システム１０は、情報処理端末３とサーバ５がインターネット等のネットワーク４を介して接続されて構成される。

　情報処理端末３は、認証対象のユーザの顔を撮影して顔画像を取得する。そして情報処理端末３は、ユーザの顔画像から、ユーザの左眼の周囲を含む左眼周囲画像と、ユーザの右眼の周囲を含む右眼周囲画像を取得する。そして情報処理端末３は、ユーザの左眼周囲画像及び右眼周囲画像を含む眼周囲画像の特徴量を推論モデルから取得する。また情報処理端末３は、ユーザの顔画像の特徴量を取得する。

　サーバ５は、ユーザの眼周囲画像、ユーザＩＤ、及びサイドＩＤのデータに基づいて、ユーザの眼周囲画像を入力として眼周囲画像の特徴量を推定する推論モデルのパラメータの最適化処理を行う。ユーザＩＤは、ユーザの識別情報である。サイドＩＤは、眼周囲画像が左眼周囲画像と右眼周囲画像の何れの画像であるかの識別情報である。ユーザＩＤ＋サイドＩＤの組合せをクラスＩＤという。

　またサーバ５は、情報処理端末３から受信したサイドＩＤと眼周囲画像の特徴量を、サーバ５に保管されている眼周囲画像の特徴量とクラスＩＤとを対応付けて登録している登録テンプレートの特徴量と照合する。特徴量の類似度スコアは、コサイン類似度等の周知技術を用いることができる。そしてサーバ５は、眼周囲画像の特徴量の類似度スコアが閾値以上の登録テンプレートのユーザＩＤへと絞り込む。

　さらにサーバ５は、情報処理端末３から受信したユーザの顔画像の特徴量を、サーバ５に保管されている顔画像の特徴量とクラスＩＤとを対応付けて登録している登録テンプレートのうち、絞り込んだユーザＩＤに対応する特徴量と照合する。そしてサーバ５は、顔画像の特徴量の類似度スコアが閾値以上のユーザＩＤを抽出し、情報処理端末３へ返却する。

　情報処理端末３は、例えば、プロセッサ３０、メモリ３１、記憶装置３２、通信装置３３、入力装置３４、画像撮影装置３５、及び表示装置３６を含む計算機によって構成される。

　プロセッサ３０は、メモリ３１に格納されたプログラムを実行する。メモリ３１は、不揮発性の記憶素子であるＲＯＭ（Read　Only　Memory）及び揮発性の記憶素子であるＲＡＭ（Random　Access　Memory）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Basic　Input／Output　System））等を格納する。ＲＡＭは、ＤＲＡＭ（Dynamic　Random　Access　Memory）のような高速かつ揮発性の記憶素子であり、プロセッサ３０が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。メモリ３１には、例えば眼周囲領域抽出プログラム３１１、画像反転プログラム３１２、及びクラス推定プログラム３１３が格納される。

　記憶装置３２は、例えば、磁気記憶装置（ＨＤＤ（Hard　Disk　Drive））、フラッシュメモリ（ＳＳＤ（Solid　State　Drive））等の大容量かつ不揮発性の記憶装置であり、プロセッサ３０が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、記憶装置３２から読み出されて、メモリ３１にロードされ、プロセッサ３０によって実行される。もしくはサーバ５からメモリ３１にロードされて、プロセッサ３０によって実行される。記憶装置３２は、訓練後推論モデル３２１を保持し、メモリ３１にあるクラス推定プログラム３１３によりメモリ３１へロードされ、ユーザＩＤ推定処理に用いられる。

　入力装置３４は、ユーザ入力を受付けるキーボードやマウス等の装置である。表示装置３６は、プログラムの実行結果をユーザが視認可能な形式で出力するディスプレイ装置やプリンタ等の装置である。通信装置３３は、所定のプロトコルに従って他の装置との通信を制御するネットワークインターフェース装置である。

　サーバ５は、例えば、プロセッサ５０、メモリ５１、記憶装置５２、通信装置５３、入力装置５４、及び表示装置５６を含む計算機によって構成される。プロセッサ５０、メモリ５１、記憶装置５２、通信装置５３、入力装置５４、及び表示装置５６は、プロセッサ３０、メモリ３１、記憶装置３２、通信装置３３、入力装置３４、画像撮影装置３５、及び表示装置３６と同様のハードウェアであり、説明を省略する。

　メモリ５１には、眼周囲領域抽出プログラム５１１、画像反転プログラム５１２、モデルパラメータ更新プログラム５１３、クラス確率計算プログラム５１４、モデルパラメータ更新抑制プログラム５１５、特徴量類似度スコア計算プログラム５１６が格納される。

　記憶装置５２は、教師データ５２１、訓練中推論モデル５２２、及び登録テンプレート５２３を保持する。教師データ５２１は、例えばユーザＩＤとサイドＩＤと眼周囲画像とを含んで構成される。登録テンプレート５２３とは、例えば、ユーザＩＤ、サイドＩＤ、及び特徴量を１つにまとめたデータである。

（実施形態１に係るユーザＩＤ推定処理）
　図２は、実施形態１に係るユーザＩＤ推定処理を示すフローチャートである。実施形態１に係るユーザＩＤ推定処理では、認証システム１０での眼周囲認証処理によってユーザＩＤの絞込みを行う。サーバ５は、生体認証用の登録テンプレートを管理する認証サーバである。

　先ずステップＳ１０１では、眼周囲領域抽出プログラム３１１は、画像撮影装置３５により、ユーザの顔画像を取得する。次にステップＳ１０２では、眼周囲領域抽出プログラム３１１は、ステップＳ１０１で取得した顔画像から左眼の眼周囲画像及び右眼の眼周囲画像を取得する。顔画像から眼周囲画像を切出すには、既存技術であるMediaPipe／Face　Meshの特定のランドマーク座標出力を用いることができる。

　次にステップＳ１０３では、画像反転プログラム３１２は、ステップＳ１０２で取得した眼周囲画像が事前に定めたサイドか（例えば右眼側）を判定する。画像反転プログラム３１２は、眼周囲画像が事前に定めたサイドである場合（ステップＳ１０３ＹＥＳ）にステップＳ１０４へ処理を移し、事前に定めたサイドとは異なる反対サイドである場合（ステップＳ１０３ＮＯ）にステップＳ１０５へ処理を移す。

　ステップＳ１０４では、画像反転プログラム３１２は、ステップＳ１０３で事前に定めたサイドであると判定した眼周囲画像を上下反転する。画像反転プログラム３１２は、ステップＳ１０４が終了すると、ステップＳ１０５へ処理を移す。

　ステップＳ１０３～Ｓ１０４によって、事前に定めたサイドの眼周囲画像は上下反転され、事前に定めたサイドとは異なる反対サイドの眼周囲画像は画像変換が行われず元の状態が維持される。

　次にステップＳ１０５では、クラス推定プログラム３１３は、左眼の眼周囲画像及び右眼の眼周囲画像を訓練後推論モデル３２１へ入力し、訓練後推論モデル３２１からユーザＩＤ＋サイドＩＤの推定用の特徴量を取得する。特徴量の例として、各要素が実数である固定長ベクトルがある。

　次にステップＳ１０６では、クラス推定プログラム３１３は、ステップＳ１０５で取得した左眼の眼周囲画像及び右眼の眼周囲画像の各特徴量から、左眼の認証テンプレート及び右眼の認証テンプレートをそれぞれ生成する。ここで、認証テンプレートとは、サーバ５の記憶装置５２内に保持された登録テンプレート５２３と同様の構成を持ち、ユーザＩＤが未設定となっているものである。またステップＳ１０６で生成される認証テンプレートは、右眼及び左眼のサイドＩＤ毎に１つとは限らず、撮影中の一連の画像から右眼及び左眼毎に複数生成してもよい。

　次にステップＳ１０７では、クラス推定プログラム３１３は、ステップＳ１０６で生成した左眼及び右眼の認証テンプレートとサイドＩＤとをサーバ５に送信する。

　次にステップＳ１０８では、特徴量類似度スコア計算プログラム５１６は、情報処理端末３から受信した左眼の認証テンプレートの特徴量を、事前に登録済みの複数人の登録テンプレート５２３の特徴量と照合する。そして特徴量類似度スコア計算プログラム５１６は、類似度スコアが閾値以上の認証テンプレート（認証テンプレート群１とする）を抽出する。

　ステップＳ１０９では、特徴量類似度スコア計算プログラム５１６は、ステップＳ１０８と同様に、情報処理端末３から受信した右眼の認証テンプレートの特徴量を、事前に登録済みの複数人の認証テンプレートの特徴量と照合する。そして特徴量類似度スコア計算プログラム５１６は、類似度スコアが閾値以上の認証テンプレート（認証テンプレート群２とする）を抽出する。ステップＳ１０８及びステップＳ１０９は、順不同である。

　次にステップＳ１１０では、特徴量類似度スコア計算プログラム５１６は、認証テンプレート群１及び２を統合し、最終的な候補ユーザＩＤのリストを抽出する。以下に、統合手順の例をいくつか示す。

（１）統合手順１：認証テンプレート群１及び２に共通する認証テンプレートを抽出し、抽出した認証テンプレートに含まれるユーザＩＤを統合後のユーザＩＤリストとする。
（２）統合手順２：認証テンプレート群１もしくは２に含まれる認証テンプレートを抽出し、抽出した認証テンプレートに含まれるユーザＩＤを統合後のユーザＩＤリストとする。
（３）統合手順３：複数の右眼の画像毎に生成される認証テンプレート群１´のうち、ｎ回以上出現するもの（もしくは類似度スコアが事前に決めた閾値ｔｈ以上のもの）を認証テンプレート群１とする。また、複数の左眼の画像毎に生成される認証テンプレート群２´のうち、ｎ回以上出現するもの（もしくは類似度スコアが事前に決めた閾値ｔｈ以上のもの）を認証テンプレート群２とする。認証テンプレート群１及び２に対して、統合手順１を適用する。
（４）統合手順４：複数の右眼の画像毎に生成される認証テンプレート群１´のうち、ｎ回以上出現するもの（もしくは類似度スコアが事前に決めた閾値ｔｈ以上のもの）を認証テンプレート群１とする。また、複数の左眼の画像毎に生成される認証テンプレート群２´のうち、ｎ回以上出現するもの（もしくは類似度スコアが事前に決めた閾値ｔｈ以上のもの）を認証テンプレート群２とする。認証テンプレート群１及び２に対して、統合手順２を適用する。

　以上のステップにより、事前に登録済みの複数人の登録テンプレート５２３から認証対象のユーザと推定される候補が絞り込まれた候補ユーザＩＤリストは、後段の別処理の入力として用いることができる。すなわち候補ユーザＩＤリストを初期候補のユーザＩＤのリストとして用いることで、顔認証に、ステップＳ１１１、Ｓ１１２、Ｓ１１３のユーザＩＤの入力なしで認証を行うＩＤレス認証を適用することができる。

　ステップＳ１１１では、クラス推定プログラム３１３は、ステップＳ１０１で取得した顔画像から特徴量を抽出し、認証テンプレートを生成する。この認証テンプレートは、ステップＳ１０６における認証テンプレートと同じく、登録テンプレート５２３と同様の構成を持つ。ただしこの認証テンプレートは、登録テンプレート５２３とは異なり、サイドＩＤ情報を持たず、眼周囲特徴量の代わりに顔特徴量（第２の特徴量）を持つ。顔画像の特徴量の抽出には、既存の技術（例えば、ＦａｃｅＮｅｔ）を用いることができる。

　次にステップＳ１１２では、クラス推定プログラム３１３は、ステップＳ１１１で生成した認証テンプレートをサーバ５に送信する。

　次にステップＳ１１３では、特徴量類似度スコア計算プログラム５１６は、情報処理端末３から受信した顔画像の特徴量と、ステップＳ１１０で取得した候補ユーザＩＤリストに該当する登録テンプレート５２３´の顔特徴量との類似度スコアを計算する。登録テンプレート５２３´（第２の登録テンプレート）は、登録テンプレート５２３において眼周囲特徴量の代わりに顔特徴量が格納されている。そして特徴量類似度スコア計算プログラム５１６は、類似度スコアが閾値以上であるユーザＩＤを、さらに絞り込まれた最終的な候補ユーザＩＤリストとして取得し、情報処理端末３に送信する。

　次にステップＳ１１４では、特徴量抽出・認証プログラム３１４は、サーバ５からステップＳ１１３で送信された最終的なユーザＩＤリストを受信する。そして特徴量抽出・認証プログラム３１４は、受信した最終的なユーザＩＤリストにおいてユーザＩＤが一意に定まっているか否かを判定する。特徴量抽出・認証プログラム３１４は、ユーザＩＤが一意に定まっている場合（ステップＳ１１４ＹＥＳ）に認証成功と判定してステップＳ１１５へ処理を移す。一方特徴量抽出・認証プログラム３１４は、ユーザＩＤが一意に定まっていない場合（ステップＳ１１４ＮＯ）にステップＳ１０１へ処理を戻す、もしくは一定時間経過後にステップＳ１１５へ処理を移して表示装置３６に認証エラーを表示する。

　ステップＳ１１５では、特徴量抽出・認証プログラム３１４は、表示装置３６に認証ステータス（認証成功又は認証エラー）を表示する。ステップＳ１１５では、特徴量抽出・認証プログラム３１４は、表示装置３６に、認証ステータスに加え又は代えて、一意に絞り込まれたユーザＩＤを表示してもよい。

　なお、ステップＳ１０８、Ｓ１０９、Ｓ１１０は必ずしもサーバ５で行われる必要はない。すなわち情報処理端末３は、登録テンプレート５２３を記憶装置３２に保持しておき、特徴量類似度スコア計算プログラム３１６によって、ステップＳ１０８、Ｓ１０９、Ｓ１１０が実行されてもよい。

　またステップＳ１１１～１１４は省略可能であり、ステップＳ１１０の処理結果として１つ以上の候補ユーザＩＤが得られた場合に認証成功、何れの候補ユーザＩＤも得られなかった場合に認証エラーとする認証結果情報が、ステップＳ１１５で出力されてもよい。

　なお本実施形態では、ステップＳ１０２～Ｓ１１２の各処理を情報処理端末３で行うとしている。しかし情報処理端末３は、ステップＳ１０１の顔画像取得のみを行い、ステップＳ１０２～Ｓ１１２の各処理はサーバ５で行われてもよい。

　本実施形態によれば、訓練後推論モデル３２１を用いて左右夫々の眼周囲画像のユーザＩＤ（＋サイドＩＤ）の推定精度を向上させることができる。

（実施形態１に係るパラメータ更新処理）
　図３は、実施形態１に係るパラメータ更新処理を示すフローチャートである。実施形態１に係るパラメータ更新処理では、サーバ５において、各眼周囲画像のクラスＩＤを推定するための訓練中推論モデル５２２のパラメータが更新される。

　先ずステップＳ２０１では、眼周囲領域抽出プログラム５１１は、記憶装置５２内の教師データ５２１から眼周囲画像を取得する。次にステップＳ２０２では、モデルパラメータ更新プログラム５１３は、ステップＳ２０１で取得した眼周囲画像が事前に定めたサイド（例えば右側）かを判定する。モデルパラメータ更新プログラム５１３は、眼周囲画像が事前に定めたサイドである場合（ステップＳ２０２ＹＥＳ）にステップＳ２０３へ処理を移し、事前に定めたサイドでない場合（ステップＳ２０２ＮＯ）にステップＳ２０３へ処理を移す。

　ステップＳ２０３では、画像反転プログラム５１２は、ステップＳ２０２で事前に定めたサイドと判定した眼周囲画像を上下反転する。モデルパラメータ更新プログラム５１３は、ステップＳ２０３が終了すると、ステップＳ２０４へ処理を移す。

　ステップＳ２０４では、モデルパラメータ更新プログラム５１３は、左眼及び右眼の眼周囲画像を訓練中推論モデル５２２へ入力し、ユーザＩＤ＋サイドＩＤの推定用の特徴量を取得する。特徴量は、例えば各要素が実数である固定長ベクトルである。特徴量の出力手段としては、深層学習モデルの一つであるＳＥ－ＲｅｓＮｅｔを用いることができる。

　次にステップＳ２０５では、クラス確率計算プログラム５１４は、左眼及び右眼の眼周囲画像の特徴量を、クラスＩＤ（ユーザＩＤ＋サイドＩＤ）の種類数分の次元のクラスＩＤの確率分布に変換する。変換手段は、ＳＥ－ＲｅｓＮｅｔの特徴量出力層の後に続く全結合層（入力次元数を特徴量次元数、出力次元数ユーザＩＤ＋サイドＩＤ数）と、出力値を０から１の確率値に変換するＳｏｆｔＭａｘ関数を用いることができる。ＳｏｆｔＭａｘ関数は、後述の図４のＳｏｆｔＭａｘ関数６０８である。

　次にステップＳ２０６では、モデルパラメータ更新プログラム５１３は、クラスＩＤ（ユーザＩＤ＋サイドＩＤ）の数と同じ出力次元数のベクトルをもち、クラスＩＤに該当する正解データにおけるクラスＩＤを１、それ以外を０とする確率分布との誤差を計算する。誤差計算の一手法としては、クロスエントロピー、すなわち教師分布とのクロスエントロピーロス計算を用いることができる。

　次にステップＳ２０７では、モデルパラメータ更新抑制プログラム５１５は、誤差逆伝搬時に、訓練中推論モデル５２２の一部の依存関係にあるクラスのパラメータの更新を抑制する。パラメータの更新の抑制は、クラスＩＤ（ユーザＩＤ＋サイドＩＤ）のうちユーザＩＤ＋反対サイドＩＤに対応するクラスＩＤの全結合層のノードに接続するすべてのエッジの勾配情報を０とすることで行う。反対サイドＩＤとは、事前に定められた一方のサイド（例えば右眼）とは異なるサイド（左眼）のＩＤである。

　次にステップＳ２０８では、モデルパラメータ更新プログラム５１３は、誤差逆伝搬を用いて、訓練中推論モデル５２２のパラメータを更新する。

　次にステップＳ２０９では、モデルパラメータ更新プログラム５１３は、パラメータ更新の終了条件が満されているかを判定する。モデルパラメータ更新プログラム５１３は、パラメータ更新の終了条件が満されている場合（ステップＳ２０９ＹＥＳ）にパラメータ更新を終了し、満されていない場合（ステップＳ２０９ＮＯ）にステップＳ２０１へ処理を戻す。パラメータ更新の終了条件は、所定の回数パラメータ更新を行った、ステップＳ２０６で計算される誤差が前回ステップから改善しない場合、もしくは誤差が十分小さい場合等がある。

　訓練中推論モデル５２２は、パラメータ更新処理の終了後、任意のタイミングで訓練後推論モデル３２１として採用される。

　なお本実施形態において、眼周囲画像の上下反転は、パラメータ更新抑制処理のみで行われ、ユーザＩＤ推定処理（図２）は行われない場合でも、左右の眼周囲画像のクラスＩＤの推定精度を向上させることが期待できる。

　本実施形態によれば、訓練後推論モデル３２１を用いて、左右の眼周囲画像のクラスＩＤの推定精度を向上させることができる。

（実施形態１に係るパラメータ更新処理における逆誤差伝搬）
　図４は、実施形態１に係るパラメータ更新処理における逆誤差伝搬の説明図である。本実施形態では、モデルパラメータ更新処理時に、訓練中推論モデル５２２の一部のパラメータの更新が抑制される。

　画像６０３は、眼周囲画像の一例を表す。ユーザＩＤ６０１“００２”は、画像６０３のユーザＩＤを表す。サイドＩＤ６０２“Ｌ”は、画像６０３が、右眼（“Ｒ”）及び左眼（“Ｌ”）の何れであるかを示すサイドＩＤを表す。推論モデル６０４は、画像を入力として特徴量６０５を出力する訓練中推論モデル５２２を表す。

　特徴量６０５は、入力された画像６０３のユーザＩＤ＋サイドＩＤを推定するための特徴量を表す。クラスＩＤ分類器６０６は、クラス確率計算プログラム５１４の実現例であり、全結合層（入力次元数を特徴量の次元数、出力次元数をユーザＩＤ＋サイドＩＤの種類数とする）を構成する。

　クラス別出力６０７は、クラスＩＤ分類器６０６によって出力された次元数（ユーザＩＤ＋サイドＩＤ）となる出力ベクトルを表す。ＳｏｆｔＭａｘ関数６０８は、クラス別出力６０７を、０～１の確率値に正規化するＳｏｆｔＭａｘ関数を表す。クラス確率分布６０９は、ユーザＩＤ＋サイドＩＤの種類数の次元数のベクトルからなる確率分布を表す。

　教師確率分布６１０は、ユーザＩＤ＋サイドＩＤの種類数の次元数のベクトルをもち、ユーザＩＤ＋サイドＩＤに該当する正解データにおけるクラスＩＤを１、それ以外を０とする確率分布を表す。誤差計算６１１は、クラス確率分布６０９と教師確率分布６１０との誤差を計算する計算処理を表す。誤差計算の一手法としては、クロスエントロピーを用いることができる。

　ＩＤ６１２は、入力画像のＩＤ（ユーザＩＤ＋サイドＩＤ）を表す。ＩＤ６１３は、ユーザＩＤ＋反対サイドＩＤを表す。誤差逆伝搬６２１は、クラス別出力６０７のうち、ユーザＩＤ＋サイドＩＤに該当するノードの誤差の逆伝搬の様子を表す。誤差逆伝搬６２２は、クラス別出力６０７のうち、ユーザＩＤ＋反対サイドＩＤに該当するノードの誤差の逆伝搬の様子を表す。クラス別出力６０７のうち、ノード６２３は、ユーザＩＤ＋サイドＩＤに対応するノード（もしくは出力）を表す。

　本実施形態の図３のステップＳ２０６では、クラス確率分布６０９と教師確率分布６１０の誤差が計算（誤差計算６１１）される。その後、ステップＳ２０７において、クラス別出力６０７のうち、ユーザＩＤ＋反対サイドＩＤに対応するノード６２３に接続する全ての誤差逆伝搬６２２の勾配が０にされ、その他のノードに接続する誤差逆伝搬は通常通り実施される。

　本実施形態によれば、ユーザＩＤ＋サイドＩＤの画像の学習時に、ユーザＩＤ＋反対サイドＩＤにかかるパラメータ更新を抑制することができ、訓練後推論モデル３２１によって左右の眼周囲画像のクラスＩＤの推定精度を向上させることができる。

（実施形態１に係る眼周囲画像の画像変換の概要）
　次に図５を参照して、実施形態１に係る眼周囲画像の画像変換の概要を説明する。図５は、ステップＳ１０４において実施する画像反転処理後の画像の具体例を示す模式図である。画像７０１及び画像７０２は、画像撮影装置３５により取得された顔画像からステップＳ１０２において取得された眼周囲画像を表す。画像７０１は右眼の眼周囲画像、画像７０２は左眼の眼周囲画像を表す。また、画像７０３は、画像７０１を左右反転した画像を表す。また画像７０５は、画像７０１を上下反転した画像を表す。

　ここで左右反転は、図５（ａ）及び図５（ｂ）に示すように、ある軸に関する画像の各画素の左右での入替え処理である。また上下反転とは、図５（ａ）及び図５（ｃ）に示すように、ある軸に関する画像の各画素の上下での入替え処理である。

　上下反転画像である画像７０５と画像７０６の組合せでは、眉毛の位置や目の形状に明らかな差がみられ、同じユーザＩＤであっても、左右の眼周囲画像が誤認証される確率が非常に低くなり、結果、トータルの認証精度も改善する。

　これに対し、画像反転処理をしない画像７０１と画像７０２の組合せでは、左右の眼周囲画像の特徴を捉えられる可能性はあるが、上下反転した画像７０５を使う場合と比べると、左右の眼周囲画像の差が明確とならない。

　また左右反転画像である画像７０３と画像７０４の組合せでは、ユーザＩＤが同一でサイドＩＤが異なる場合のペア（別クラスペア）の類似度スコアと、ユーザＩＤ＋サイドＩＤの何れも同じ場合のペア（同クラスペア）の類似度スコアに近接する場合がある。これは、一方の眼周囲画像を左右反転した眼周囲画像が他方の眼周囲画像と類似するケースにおいて発生する。この場合に、左右の眼周囲画像のクラスＩＤの推定精度の向上の障害となる場合がある。

　以上から、事前に決めた例えばサイドＩＤが右側の眼周囲画像を上下反転する処理により、パラメータ更新後の訓練後推論モデル３２１において、左右の眼周囲画像のクラスＩＤの推定精度を向上させることができる。

（実施形態１に係る眼周囲画像の変換処理の変形例）
　次に図６を参照して、実施形態１に係る眼周囲画像の変換処理の変形例を説明する。

　実施形態１では、予め定められたサイド（左眼又は右眼）の眼周囲画像を上下反転させた。しかし眼周囲画像の画像変換は、上下反転に限らない。図６（ａ）に示す予め定められたサイドの眼周囲画像の画像７０７を、図６（ｂ）に示すように、その中心Ｏを原点とするＸＹ座標系においてＸ軸となす所定角度θ（θは固定値、例えば９０°）だけ反時計回り（または時計回り）に回転させる画像回転でもよい。

　眼周囲画像を所定角度θだけ反時計回りに回転させる画像回転後の画像も、上下反転の画像反転後の画像と同様に、パラメータ更新後の訓練後推論モデル３２１において、左右の眼周囲画像のクラスＩＤの推定精度を向上させることが期待できる。

　また予め定められたサイドの眼周囲画像の画像変換は、左右反転又は上下反転の画像反転と上述の画像回転と、を適宜組合せたものでもよい。画像反転と画像回転を組合せた画像変換において、画像反転と画像回転の実行順序は問わない。

（実施形態１の効果）
　本実施形態では、ユーザの左眼周画像及び右眼周画像のうちの予め定められた一方の眼周囲画像に対して、上下反転又は左右反転を含む画像反転と、所定の中心に関して所定角度だけ回転させる画像回転と、の何れか一方又は両方を含む画像変換を実施する。そして画像変換を実施した一方の眼周囲画像を含む眼周囲画像を推論モデルに入力し、推論モデルから出力された眼周囲画像の特徴量に基づいて、ユーザの認証を行う。よって本実施形態によれば、左右の眼周囲画像のクラスＩＤの推定精度を向上させることができる。

　また本実施形態では、眼周囲画像の特徴量と登録テンプレートにおける特徴量との比較結果に基づいてユーザと推定される候補を絞り込み、顔画像の特徴量と候補についての登録テンプレートにおける顔画像の特徴量との比較結果に基づいて、ユーザの認証を行う。よって本実施形態によれば、顔認証にＩＤレス認証を適用することができる。

　また本実施形態では、眼周囲画像の特徴量の推論モデルのパラメータを更新する際、眼周囲画像に対応するユーザの正解データにおける反対サイドＩＤの眼周囲画像のクラスＩＤの誤差を軽減するようにパラメータを更新する。あるいは、反対サイドＩＤの眼周囲画像のクラスＩＤに関するパラメータの更新を停止する。よって本実施形態によれば、推論モデルを用いた左右の眼周囲画像のクラスＩＤの推定精度を向上させることができる。また眼周囲画像の上下反転が、パラメータ更新抑制処理のみで行われ、ユーザＩＤ推定処理（図２）では行われない場合でも、左右の眼周囲画像のクラスＩＤの推定精度を向上させることができる。

［実施形態２］
　実施形態１では、入力されたユーザの顔画像を基に、ユーザＩＤの入力なしで顔認証を行うＩＤレス顔認証を行っている。しかしこれに限らず、入力されたユーザＩＤとユーザの顔画像に基づいてユーザ認証を行うこともできる。以下、実施形態２として、入力されたユーザＩＤとユーザの顔画像に基づいてユーザ認証を行う形態を説明する。

　実施形態２の説明では、実施形態１との差分を中心に説明し、実施形態１と重複する部分は説明を省略する。

（実施形態２に係るユーザ認証処理）
　図７は、実施形態２に係るユーザ認証処理を示すフローチャートである。実施形態２に係るユーザ認証処理が実施形態１に係るユーザＩＤ推定処理と比較して異なる点は、次の通りである。すなわちステップＳ１０１の前にステップＳ１０１ａが実行される点が異なる。またステップＳ１０７に代えてステップＳ１０７ａが実行される点が異なる。またステップＳ１０８～Ｓ１１４に代えてステップＳ１０８ａ～Ｓ１１２ａが実行される点が異なる。その他、実施形態１に係るユーザＩＤ推定処理と同一の処理には同一のステップ番号を付与して説明を省略する。

　先ずステップＳ１０１ａでは、情報処理端末３は、入力されたユーザＩＤを取得する。

　ステップＳ１０７ａでは、クラス推定プログラム３１３は、ステップＳ１０６で生成した左眼及び右眼の認証テンプレートとステップＳ１０１ａで受付けたユーザＩＤとサイドＩＤとをサーバ５に送信する。

　次にステップＳ１０８ａでは、特徴量類似度スコア計算プログラム５１６は、情報処理端末３から受信したユーザＩＤ及びサイドＩＤの組合せに該当する認証テンプレートを登録テンプレート５２３の中から取得する。

　次にステップＳ１０９ａでは、特徴量類似度スコア計算プログラム５１６は、情報処理端末３から受信した左眼の認証テンプレートと、ステップＳ１０８ａで取得した認証テンプレートの特徴量とを比較し、左眼の類似度スコアを算出する。ステップＳ１１０ａでは、特徴量類似度スコア計算プログラム５１６は、情報処理端末３から受信した右眼の認証テンプレートと、ステップＳ１０８ａで取得した認証テンプレートの特徴量とを比較し、右眼の類似度スコアを算出する。ステップＳ１０９ａ及びステップＳ１１０ａは、順不同である。

　次にステップＳ１１１ａでは、特徴量類似度スコア計算プログラム５１６は、ステップＳ１０９ａ及びＳ１１０ａで算出された類似度スコアを統合し、認証判定を行う。特徴量類似度スコア計算プログラム５１６は、認証結果を情報処理端末３に送信する。

　ステップＳ１１１ａの認証判定は、次の認証判定１又は認証判定２のように行われる。
認証判定１：左眼の類似度スコア又は右眼の類似度スコアがあらかじめ設定した閾値Ｔｈ以上の場合に認証成功とし、閾値Ｔｈ未満の場合に認証失敗とする。
認証判定２：左眼の類似度スコア及び右眼の類似度スコアがあらかじめ設定した閾値Ｔｈ以上の場合に認証成功とし、閾値Ｔｈ未満の場合に認証失敗とする。

　なお、上述の左右の眼周囲画像のそれぞれの類似度スコアは、連続する複数の眼周囲画像のうち、最も高い類似度スコアが選択されてもよい。

　ステップＳ１１２ａでは、クラス推定プログラム３１３は、サーバ５から認証結果情報を受信する。クラス推定プログラム３１３は、認証成功を受信した場合は、ステップＳ１１５で表示装置３６に結果を表示する。一方認証失敗の場合は、クラス推定プログラム３１３は、ステップＳ１０１へ処理を戻す、もしくは一定時間経過後に表示装置３６に認証エラーと表示する。

（実施形態２の効果）
　本実施形態によれば、訓練後推論モデル３２１を用いて、認証時にユーザＩＤを入力させるＩＤ認証においても、左眼及び右眼のそれぞれの眼周囲画像のユーザＩＤ＋サイドＩＤの推定精度を向上させることができる。

［実施形態３］
　実施形態１では、パラメータ更新の際に、逆誤差伝搬の誤差計算を行い、その後訓練中推論モデル５２２の特定クラスのパラメータの更新を停止している。しかしこれに限らず、入左右の眼周囲特徴をクラス確率分布に変換し、特定クラスのクラス確率分布に０を設定することでも、訓練中推論モデル５２２のパラメータの更新を停止することができる。以下、実施形態３として、特定クラスのクラス確率分布に０を設定することで訓練中推論モデル５２２の特定クラスのパラメータの更新を停止する形態を説明する。

　実施形態３の説明では、実施形態１との差分を中心に説明し、実施形態１と重複する部分は説明を省略する。

（実施形態３に係るパラメータ更新処理）
　図８は、実施形態３に係るパラメータ更新処理を示すフローチャートである。実施形態３に係るパラメータ更新処理が実施形態１に係るパラメータ更新処理と比較して異なる点は、次の通りである。すなわちステップＳ２０６に代えてステップＳ２０６ａが実行され、ステップＳ２０７に代えてステップＳ２０７ａが実行される点が異なる。その他、実施形態３に係るパラメータ更新処理と同一の処理には同一のステップ番号を付与して説明を省略する。

　ステップＳ２０６ａでは、モデルパラメータ更新抑制プログラム５１５は、ステップＳ２０５のクラスＩＤ（ユーザＩＤ＋サイドＩＤ）の種類数分の次元のクラスＩＤの確率分布のうちユーザＩＤ＋反対サイドＩＤに対応するクラスＩＤの確率値に０を設定する。反対サイドＩＤとは、あるサイドＩＤに対する反対側のサイドＩＤである。次にステップＳ２０７ａでは、モデルパラメータ更新プログラム５１３は、誤差計算を行う。

（実施形態３の効果）
　本実施形態によれば、実施形態１及び２と同様に、ＩＤレス認証において、訓練後推論モデル３２１を用いて、左右の眼周囲画像のクラスＩＤの推定精度を向上させることができる。

　本発明は上述の実施形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を有するものに限定されるものではない。加えて、かかる構成の削除に限らず、構成の置き換えや追加も可能である。また上述の実施形態の一部又は全部を、整合するように適宜組み合わせた形態も、本発明の実施形態に含まれる。また上述の実施形態における各種処理の各ステップは、処理結果が同一である限り実行順序を入れ替えることができる。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記録媒体をコンピュータに提供し、そのコンピュータが有するプロセッサが記録媒体に格納されたプログラムコードを読み出す。

　この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid　State　Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等が用いられる。

　また、本実施形態に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

　上述の実施形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

　１：入力生体情報１、３：情報処理端末、５：サーバ、３０：プロセッサ、３１　メモリ、５０：プロセッサ、５１：メモリ、３２１：訓練後推論モデル、５２２：訓練中推論モデル、５２３：登録テンプレート。

Claims

　ユーザの認証を行う認証システムであって、
　前記認証システムは、
　プロセッサと、メモリと、を有し、
　前記プロセッサは、
　前記ユーザの顔画像から、該ユーザの左眼及び該左眼の周囲を含んだ左眼周囲画像と、該ユーザの右眼及び該右眼の周囲を含んだ右眼周囲画像と、を含む眼周囲画像を取得し、
　取得した前記眼周囲画像のうちの予め定められた一方の眼周囲画像に対して、該一方の眼周囲画像の上下反転又は左右反転を含む画像反転と、該一方の眼周囲画像の所定の中心に関して該一方の眼周囲画像を所定角度だけ回転させる画像回転と、の何れか一方又は両方を含む画像変換を実施し、
　前記画像変換を実施した前記一方の眼周囲画像を含む前記眼周囲画像を推論モデルに入力し、ここで該推論モデルは、入力された眼周囲画像に対して該眼周囲画像の特徴量を出力する推論モデルであり、
　前記眼周囲画像の入力に対して前記推論モデルから出力された前記眼周囲画像の特徴量を取得し、
　取得した前記特徴量と、前記ユーザを識別するユーザＩＤを含むクラスＩＤと該ユーザの前記左眼周囲画像及び前記右眼周囲画像の特徴量とが予め対応付けて登録されている登録テンプレートにおける該特徴量と、の比較結果に基づいて、前記ユーザの認証を行う
　ことを特徴とする認証システム。
　請求項１に記載の認証システムであって、
　前記画像変換は、前記上下反転である
　ことを特徴とする認証システム。
　請求項１に記載の認証システムであって、
　前記画像変換は、
　前記所定の中心に関して前記眼周囲画像を９０°だけ回転させる前記画像回転である
　ことを特徴とする認証システム。
　請求項１に記載の認証システムであって、
　前記プロセッサは、
　前記ユーザの認証を行う際、
　取得した前記特徴量と、前記登録テンプレートにおける前記特徴量と、の比較結果に基づいて、前記ユーザと推定される候補を絞込み、
　前記顔画像から第２の特徴量を抽出し、
　前記第２の特徴量と、前記候補について前記クラスＩＤと前記ユーザの前記顔画像の特徴量とが予め対応付けて登録されている第２の登録テンプレートにおける該特徴量と、の比較結果に基づいて、前記ユーザの認証を行う
　ことを特徴とする認証システム。
　請求項４に記載の認証システムであって、
　前記プロセッサは、
　前記画像変換を実施した前記一方の眼周囲画像を含む前記眼周囲画像から前記特徴量を抽出し、
　前記眼周囲画像を前記推論モデルに入力することで該眼周囲画像の前記クラスＩＤの確率分布を算出し、
　算出した前記確率分布と、前記眼周囲画像に対応する前記ユーザに該当する正解データにおける前記クラスＩＤの確率分布と、の誤差を計算し、
　計算した前記誤差をより小さくするように前記推論モデルのパラメータを更新すると共に、前記正解データにおける前記一方の眼周囲画像の前記クラスＩＤに対する他方の眼周囲画像の前記クラスＩＤの誤差を軽減するように該パラメータを更新する、或いは該他方の眼周囲画像の前記クラスＩＤに関する該パラメータの更新を停止する
　ことを特徴とする認証システム。
　ユーザの認証を行う認証システムであって、
　前記認証システムは、
　プロセッサと、メモリと、を有し、
　前記プロセッサは、
　前記ユーザの顔画像の教師データから、該ユーザの左眼及び該左眼の周囲を含んだ左眼周囲画像と、該ユーザの右眼及び該右眼の周囲を含んだ右眼周囲画像と、を含む眼周囲画像を取得し、
　前記眼周囲画像のうちの予め定められた一方の眼周囲画像に対して、該一方の眼周囲画像の上下反転又は左右反転を含む画像反転と、該一方の眼周囲画像の所定の中心に関して該一方の眼周囲画像を所定角度だけ回転させる画像回転と、の何れか一方又は両方を含む画像変換を実施し、
　前記画像変換を実施した前記一方の眼周囲画像を含む前記眼周囲画像を推論モデルに入力し、ここで該推論モデルは、入力された眼周囲画像に対して該眼周囲画像の特徴量を出力する推論モデルであり、
　前記眼周囲画像の入力に対して前記推論モデルから出力された前記眼周囲画像の特徴量を取得し、
　取得した前記眼周囲画像の特徴量に基づいて、該眼周囲画像の前記ユーザを識別するユーザＩＤを含むクラスＩＤの確率分布を算出し、
　算出した前記確率分布と、前記眼周囲画像に対応する前記ユーザに該当する正解データにおける前記クラスＩＤの確率分布と、の誤差を計算し、
　計算した前記誤差をより小さくするように前記推論モデルのパラメータを更新すると共に、前記正解データにおける前記一方の眼周囲画像の前記クラスＩＤに対する他方の眼周囲画像の前記クラスＩＤの誤差を軽減するように該パラメータを更新する、或いは該他方の眼周囲画像の前記クラスＩＤに関する該パラメータの更新を停止する
　ことを特徴とする認証システム。
　ユーザの認証を行う認証システムが行う認証方法であって、
　前記認証システムは、
　プロセッサと、メモリと、を有し、
　前記プロセッサが、
　前記ユーザの顔画像から、該ユーザの左眼及び該左眼の周囲を含んだ左眼周囲画像と、該ユーザの右眼及び該右眼の周囲を含んだ右眼周囲画像と、を含む眼周囲画像を取得し、
　取得した前記眼周囲画像のうちの予め定められた一方の眼周囲画像に対して、該一方の眼周囲画像の上下反転又は左右反転を含む画像反転と、該一方の眼周囲画像の所定の中心に関して該一方の眼周囲画像を所定角度だけ回転させる画像回転と、の何れか一方又は両方を含む画像変換を実施し、
　前記画像変換を実施した前記一方の眼周囲画像を含む前記眼周囲画像を推論モデルに入力し、ここで該推論モデルは、入力された眼周囲画像に対して該眼周囲画像の特徴量を出力する推論モデルであり、
　前記眼周囲画像の入力に対して前記推論モデルから出力された前記眼周囲画像の特徴量を取得し、
　取得した前記特徴量と、前記ユーザを識別するユーザＩＤを含むクラスＩＤと該ユーザの前記左眼周囲画像及び前記右眼周囲画像の特徴量とが予め対応付けて登録されている登録テンプレートにおける該特徴量と、の比較結果に基づいて、前記ユーザの認証を行う
　各処理を有することを特徴とする認証方法。
　請求項７に記載の認証方法であって、
　前記画像変換は、前記上下反転である
　ことを特徴とする認証方法。
　請求項７に記載の認証方法であって、
　前記画像変換は、
　前記所定の中心に関して前記眼周囲画像を９０°だけ回転させる前記画像回転である
　ことを特徴とする認証方法。
　請求項７に記載の認証方法であって、
　前記プロセッサは、
　前記ユーザの認証を行う際、
　取得した前記特徴量と、前記登録テンプレートにおける前記特徴量と、の比較結果に基づいて、前記ユーザと推定される候補を絞込み、
　前記顔画像から第２の特徴量を抽出し、
　前記第２の特徴量と、前記候補について前記クラスＩＤと前記ユーザの前記顔画像の特徴量とが予め対応付けて登録されている第２の登録テンプレートにおける該特徴量と、の比較結果に基づいて、前記ユーザの認証を行う
　ことを特徴とする認証方法。
　請求項１０に記載の認証方法であって、
　前記プロセッサが、
　前記画像変換を実施した前記一方の眼周囲画像を含む前記眼周囲画像から前記特徴量を抽出し、
　前記眼周囲画像を前記推論モデルに入力することで該眼周囲画像の前記クラスＩＤの確率分布を算出し、
　算出した前記確率分布と、前記眼周囲画像に対応する前記ユーザに該当する正解データにおける前記クラスＩＤの確率分布と、の誤差を計算し、
　計算した前記誤差をより小さくするように前記推論モデルのパラメータを更新すると共に、前記正解データにおける前記一方の眼周囲画像の前記クラスＩＤに対する他方の眼周囲画像の前記クラスＩＤの誤差を軽減するように該パラメータを更新する、或いは該他方の眼周囲画像の前記クラスＩＤに関する該パラメータの更新を停止する
　各処理を有することを特徴とする認証方法。
　ユーザの認証を行う認証システムが行う認証方法であって、
　前記認証システムは、
　プロセッサと、メモリと、を有し、
　前記プロセッサが、
　前記ユーザの顔画像の教師データから、該ユーザの左眼及び該左眼の周囲を含んだ左眼周囲画像と、該ユーザの右眼及び該右眼の周囲を含んだ右眼周囲画像と、を含む眼周囲画像を取得し、
　前記眼周囲画像のうちの予め定められた一方の眼周囲画像に対して、該一方の眼周囲画像の上下反転又は左右反転を含む画像反転と、該一方の眼周囲画像の所定の中心に関して該一方の眼周囲画像を所定角度だけ回転させる画像回転と、の何れか一方又は両方を含む画像変換を実施し、
　前記画像変換を実施した前記一方の眼周囲画像を含む前記眼周囲画像を推論モデルに入力し、ここで該推論モデルは、入力された眼周囲画像に対して該眼周囲画像の特徴量を出力する推論モデルであり、
　前記眼周囲画像の入力に対して前記推論モデルから出力された前記眼周囲画像の特徴量を取得し、
　取得した前記眼周囲画像の特徴量に基づいて、該眼周囲画像の前記ユーザを識別するユーザＩＤを含むクラスＩＤの確率分布を算出し、
　算出した前記確率分布と、前記眼周囲画像に対応する前記ユーザに該当する正解データにおける前記クラスＩＤの確率分布と、の誤差を計算し、
　計算した前記誤差をより小さくするように前記推論モデルのパラメータを更新すると共に、前記正解データにおける前記一方の眼周囲画像の前記クラスＩＤに対する他方の眼周囲画像の前記クラスＩＤの誤差を軽減するように該パラメータを更新する、或いは該他方の眼周囲画像の前記クラスＩＤに関する該パラメータの更新を停止する
　各処理を有することを特徴とする認証方法。