JP7001672B2 - 虹彩識別のためのディープニューラルネットワーク - Google Patents

Description

（関連出願の相互参照）
本願は、２０１６年７月１４日に出願され“ＤＥＥＰ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＦＯＲ ＩＲＩＳ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ”と題されたロシア特許出願第２０１６１２８７９２号の優先権の利益を主張するものであり、該出願の全体の内容は、参照により本明細書中に援用される。

本開示は、概して、虹彩識別のためのシステムおよび方法に関し、より具体的には、虹彩識別のためのディープニューラルネットワークの使用に関する。

個人のバイオメトリック識別の分野では、最も効果的な公知の方法のうちの１つは、ヒトの眼、主に、虹彩または網膜内に自然に生じるパターンを使用することである。虹彩および網膜の両方において、虹彩の場合はストロマの線維または網膜の場合は血管のパターンのいずれかからの色のパターンが、個人のバイオメトリック識別のために使用される。いずれの場合も、これらのパターンは、本組織の形態形成における無作為事象によって後成的に生成される。これは、それらが遺伝子的に同じ（一卵性）双生児でも、明確に異なるであろうことを意味する。

従来の虹彩コードは、ヒトによって設計される特徴に基づいて虹彩の画像から抽出される、ビットストリングである。虹彩コードを抽出するために、眼画像は、セグメント化され、虹彩を瞳孔および強膜から分離し、セグメント化された画像は、擬似極座標の中にマッピングされ、位相情報が、複素２次元ウェーブレット（例えば、ガボールまたはハール）を使用して抽出される。典型的虹彩コードは、ウェーブレット畳み込みの符号に基づく、ビットストリングであって、２，０４８ビットを有する。虹彩コードは、分析される領域が、眼瞼、睫毛、鏡面反射によって閉塞されているか、または雑音によって破損されているかどうかを表す、等数のビットを伴うマスクを付随し得る。そのような虹彩コードの使用は、パスポートデータからの通行者の識別等、多くの一般的虹彩ベースのバイオメトリックタスクの標準である。

一側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、ユーザの眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、非一過性メモリであって、眼の第１の画像を処理するためのディープニューラルネットワークと、眼の処理された第１の画像を処理するための分類子と、実行可能命令とを記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像を受信することと、ディープニューラルネットワークを使用して、眼の第１の画像を処理し、埋込空間表現を生成することと、分類子を使用して、埋込空間表現を処理し、眼の第１の画像が認可されたユーザの眼の画像である、尤度スコアを計算することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

別の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、ディスプレイと、ユーザの眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、非一過性メモリであって、眼の第１の画像を処理するためのディープニューラルネットワークと、眼の処理された第１の画像を処理するための分類子と、実行可能命令とを記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像を受信することと、眼の第１の画像を処理し、眼の第１の画像の表現を極座標内に生成することと、ディープニューラルネットワークを使用して、極座標内の眼の第１の画像の表現を処理し、埋込空間表現を生成することと、分類子を使用して、埋込空間表現を処理し、眼の画像が認可されたユーザの眼の画像である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

さらに別の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、ユーザの第１の眼の第１の画像およびユーザの第２の眼の第２の画像を捕捉するように構成される、画像捕捉デバイスと、非一過性メモリであって、第１の眼の第１の画像および第２の眼の第２の画像を処理するためのディープニューラルネットワークと、第１の眼の処理された第１の画像および第２の眼の処理された第２の画像を処理するための分類子と、実行可能命令とを記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、第１の眼の第１の画像および第２の眼の第２の画像を受信することと、ディープニューラルネットワークを使用して、第１の眼の第１の画像および第２の眼の第２の画像を処理し、第１の眼の第１の埋込空間表現および第２の眼の第２の埋込空間表現を生成することと、分類子を使用して、第１の埋込空間表現および第２の埋込空間表現を処理し、第１の眼の第１の画像が、認可されたユーザの左眼の画像であって、第２の眼の第２の画像が、認可されたユーザの右眼の画像である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

さらなる側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、少なくとも１つの他のバイオメトリック情報を捕捉するように構成される、バイオメトリック情報捕捉デバイスと、非一過性メモリであって、眼の第１の画像を処理するためのディープニューラルネットワークと、眼の処理された第１の画像を処理するための分類子と、実行可能命令とを記憶するように構成される、非一過性メモリと、ディスプレイ、バイオメトリック情報捕捉デバイス、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像および少なくとも１つの他のバイオメトリック情報を受信することと、ディープニューラルネットワークを使用して、眼の画像および少なくとも１つの他のバイオメトリック情報を処理し、埋込空間表現を生成することと、分類子を使用して、埋込空間表現を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

別の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、少なくとも１つの他のバイオメトリック情報を捕捉するように構成される、バイオメトリック情報捕捉デバイスと、非一過性メモリであって、眼の第１の画像を処理するための第１のディープニューラルネットワークと、眼の処理された第１の画像を処理するための分類子と、実行可能命令とを記憶するように構成される、非一過性メモリと、ディスプレイ、バイオメトリック情報捕捉デバイス、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像を受信することと、第１のディープニューラルネットワークを使用して、眼の第１の画像を処理し、第１の埋込空間表現を生成することと、少なくとも１つの他のバイオメトリック情報を受信することと、分類子を使用して、第１の埋込空間表現および少なくとも１つの他のバイオメトリック情報を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

さらに別の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、ユーザの第１の眼の複数の第１の画像を捕捉するように構成される、画像捕捉デバイスと、非一過性メモリであって、第１の眼の複数の第１の画像を処理するためのディープニューラルネットワークと、第１の眼の処理された複数の第１の画像を処理するための第１の分類子と、実行可能命令とを記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、第１の眼の複数の第１の画像を受信することと、ディープニューラルネットワークを使用して、第１の眼の複数の第１の画像を処理し、第１の埋込空間表現を生成することと、第１の分類子を使用して、第１の埋込空間表現を処理し、第１の眼の複数の第１の画像が認可されたユーザの第１の眼の画像を備える、第１の尤度スコアを計算することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本明細書は、例えば、以下の項目も提供する。
（項目１）
ウェアラブルディスプレイシステムであって、
ディスプレイと、
ユーザの眼の第１の画像を捕捉するように構成される画像捕捉デバイスと、
非一過性メモリであって、前記非一過性メモリは、
前記眼の第１の画像を処理するための埋込であって、
前記埋込は、トリプレットネットワークアーキテクチャを伴うディープニューラルネットワークを使用して学習され、
前記ディープニューラルネットワークは、複数の人物の眼画像からの埋込を学習するように構成され、
同一人物からの眼画像に関する埋込空間表現内の距離は、異なる人物からの眼画像に関する前記埋込空間表現内の距離より小さい、
埋込と、
前記眼の処理された第１の画像を処理するための分類子と、
実行可能命令と
を記憶するように構成される、非一過性メモリと、
前記ディスプレイ、前記画像捕捉デバイス、および前記非一過性メモリと通信する、ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記眼の第１の画像を受信することと、
前記埋込を使用して、前記眼の第１の画像を処理し、埋込空間表現を生成することと、
前記分類子を使用して、前記埋込空間表現を処理し、前記眼の第１の画像が認可されたユーザの眼の画像である、尤度スコアを計算することと、
前記尤度スコアに基づいて、前記ウェアラブルディスプレイシステムへのユーザアクセスを許可または否認することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
（項目２）
明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、項目１に記載のウェアラブルディスプレイシステム。
（項目３）
前記ディープニューラルネットワークは、複数の層を備え、
前記複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、
項目１に記載のウェアラブルディスプレイシステム
（項目４）
前記埋込空間表現は、単位長を有する、項目１に記載のウェアラブルディスプレイシステム。
（項目５）
前記分類子は、ユークリッド距離に基づいて、前記尤度スコアを生成する、項目１に記載のウェアラブルディスプレイシステム。
（項目６）
前記分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、項目１に記載のウェアラブルディスプレイシステム。
（項目７）
前記ハードウェアプロセッサは、前記実行可能命令によって、前記眼の第１の画像をセグメント化し、前記眼の虹彩の第２の画像を生成するようにプログラムされ、
前記眼の第１の画像を処理するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記埋込を使用して、前記眼の虹彩の第２の画像を処理し、前記埋込空間表現を生成するようにプログラムされる、
項目１－６のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目８）
虹彩認証のためにディープニューラルネットワークを訓練するためのシステムであって、
実行可能命令を記憶するコンピュータ可読メモリと、
１つ以上のハードウェアベースのプロセッサであって、前記１つ以上のハードウェアベースのプロセッサは、前記実行可能命令によって、少なくとも、
複数の層を備えるディープニューラルネットワークにアクセスすることであって、前記複数の層の各層は、前記複数の層の少なくとも別の層に接続される、ことと、
前記ディープニューラルネットワークに複数の人物の眼画像を備える訓練セットを提供することと、
前記ディープニューラルネットワークを使用して、前記複数の眼画像の埋込空間表現を算出することであって、同一人物の前記複数の眼画像の埋込空間表現は、閾値内にある、ことと、
同一人物および異なる人物の前記眼画像の埋込空間表現間の距離に基づいて、前記ディープニューラルネットワークを更新することと
を行うようにプログラムされる、１つ以上のハードウェアベースのプロセッサと
を備える、システム。
（項目９）
前記複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、項目８に記載のシステム。
（項目１０）
前記ディープニューラルネットワークは、トリプレットネットワークアーキテクチャを備える、項目８－９のいずれか１項に記載のシステム。
（項目１１）
前記訓練セットは、眼画像のトリプレットを備え、前記ディープニューラルネットワークは、前記眼画像のトリプレットを使用して学習される、項目１０に記載のシステム。
（項目１２）
前記トリプレットの２つの眼画像は、同一人物からのものであり、前記トリプレットの第３の眼画像は、異なる人物からのものである、項目１１に記載のシステム。
（項目１３）
頭部搭載型ディスプレイシステムであって、
ディスプレイと、
ユーザの眼の第１の画像を捕捉するように構成される画像捕捉デバイスと、
実行可能命令を記憶するように構成される非一過性メモリと、
前記ディスプレイ、前記画像捕捉デバイス、および前記非一過性メモリと通信する、ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記眼の第１の画像を受信することと、
前記眼の第１の画像を処理し、前記眼の第１の画像の表現を極座標内に生成することと、
ディープニューラルネットワークを使用して、極座標内の前記眼の第１の画像の表現を処理し、埋込空間表現を生成することと、
分類子を使用して、前記埋込空間表現を処理し、前記眼の画像が認可されたユーザの眼の画像である、尤度スコアを生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、頭部搭載型ディスプレイシステム。
（項目１４）
前記ディープニューラルネットワークは、トリプレットネットワークを使用して学習される、項目１３に記載の頭部搭載型ディスプレイシステム。
（項目１５）
前記トリプレットネットワークは、前記ディープニューラルネットワークを複数の人物の眼画像から学習するように構成され、
同一人物からの眼画像に関する前記埋込空間表現内の距離は、異なる人物からの眼画像に関する前記埋込空間表現内の距離より小さい、
項目１４に記載の頭部搭載型ディスプレイシステム。
（項目１６）
前記ハードウェアプロセッサは、前記実行可能命令によって、
前記尤度スコアに基づいて、前記頭部搭載型ディスプレイシステムへの前記ユーザアクセスを許可または否認する
ようにプログラムされる、項目１３－１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
（項目１７）
前記ハードウェアプロセッサは、前記実行可能命令によって、前記眼の第１の画像をセグメント化し、前記眼の虹彩の第２の画像を生成するようにプログラムされ、
前記眼の第１の画像を処理するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記ディープニューラルネットワークを使用して、前記眼の虹彩の第２の画像を処理し、前記埋込空間表現を生成するようにプログラムされる、
項目１３－１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
（項目１８）
前記眼の第１の画像は、主に、前記眼の虹彩および網膜を含む、項目１３－１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
（項目１９）
前記眼の第１の画像は、主に、前記眼の網膜を含む、項目１３－１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
（項目２０）
前記埋込空間表現は、ｎ－次元ベクトルであって、前記埋込空間表現の要素の大部分は、統計的に独立している、項目１３－１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。

図１は、トリプレットネットワークアーキテクチャを伴うディープニューラルネットワークを実装する、眼認証訓練装置の実施例のブロック図である。 図２は、インセプション様層の例示的アーキテクチャを描写する。 図３は、例示的ディープネットワークアーキテクチャを図示する、表を示す。 図４Ａおよび４Ｂは、１００，０００反復後の図１－３に図示されるディープネットワークアーキテクチャを伴うディープニューラルネットワークを使用して埋込を学習する例示的結果を示す。図４Ａは、同一対象および異なる対象の眼画像間の埋込距離を示す、サンプル対埋込距離の比のヒストグラムプロットである。図４Ｂは、真陽性率（ＴＰＲ）対偽陽性率（ＦＰＲ）の受信者動作特性（ＲＯＣ）曲線である。 図５Ａおよび５Ｂは、５０，０００反復後の図１－３に図示されるディープネットワークアーキテクチャを伴うディープニューラルネットワークを使用した埋込を学習する例示的結果を示す。ディープニューラルネットワークは、６つの連続極画像のグループを６チャネル入力として使用して訓練された。図５Ａは、同一対象および異なる対象の極画像のグループのペア間の埋込距離を示す、確率密度対埋込距離のヒストグラムプロットである。図５Ｂは、真陽性率（ＴＰＲ）対偽陽性率（ＦＰＲ）の受信者動作特性（ＲＯＣ）曲線である。 図６は、ユーザデバイスの例示的眼認証装置のブロック図である。 図７は、眼認証のための例示的プロセスのフロー図である。 図８は、眼認証システムの実施例を図式的に図示する。 図９は、ウェアラブルディスプレイシステムの実施例を図式的に図示する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
（概要）

従来のウェーブレットベースの虹彩コードは、２，０４８ビットを有する。しかしながら、約２４４ビットのみが、統計的に独立している。本統計的依存性は、ヒトによって設計される特徴（例えば、特定のウェーブレットのセットを伴う畳み込みの符号）に基づく虹彩コードが、虹彩を表す際に非効率的であることを示す。さらに、虹彩コードは、画像クロッピング、画像のぼけ、画像を捕捉する際の照明条件、眼瞼および睫毛による閉塞、および画像視野角を含む、変動に敏感であり得る。加えて、虹彩コードの算出に先立って、眼画像は、虹彩を瞳孔および周囲強膜から分離するようにセグメント化される必要がある。

本明細書に開示されるシステムおよび方法は、虹彩特徴を表す眼記述子の生成に関連する種々の課題に対処する。例えば、ディープニューラルネットワーク（ＤＮＮ）は、虹彩識別のための埋込を学習するために使用されることができる。ＤＮＮはまた、人々の識別の照合のための埋込を学習するために使用されることができる。本埋込は、従来の虹彩コードではなく、埋込空間内の場所を使用することによって、ヒト虹彩が新規方法で分類されることを可能にすることができる。埋込空間は、ヒトによって設計される（ウェーブレットベースの虹彩コードを用いるように）のではなく、むしろ、ＤＮＮによってデータを訓練することから学習され得る。

ＤＮＮは、訓練データから、ユークリッド空間内の非常に効率的埋込を学習するために成功裏に使用されることができる。いったんマッピングが、データ（例えば、虹彩画像）のネイティブ空間から埋込空間まで学習されると、埋込空間は、埋込空間内の画像の近接度に基づいて、２つの画像の類似性を決定するために使用されることができる。これを遂行し得る、ＤＮＮの１つのアーキテクチャは、トリプレットネットワークである。

異なるＤＮＮは、２つの点において、相互に異なり得る。ＤＮＮのアーキテクチャ、例えば、層の数および層が相互接続される方法が、異なり得る。１つの層から別の層に伝搬される影響の強度に影響を及ぼし得る、加重も、異なり得る。層の出力は、その入力の加重された和のある非線形関数であることができる。ＤＮＮの加重は、これらの総和内に現れる加重であることができ、生物学的システムにおけるニューラル接続のシナプス強度にほぼ類似することができる。

ＤＮＮを訓練するプロセスは、ＤＮＮに入力データおよび対応する標的出力データの両方を提示するプロセスである。本データ、すなわち、訓練セットは、例示的入力および標的出力の両方を含むことができる。訓練のプロセスを通して、ネットワークの加重は、ネットワークの出力が、訓練セットからの入力データの特定のピースを前提として、入力データのそのピースに対応する標的出力に合致するようになる（可能な限り近接して）ように、徐々に学習されることができる。

したがって、いくつかの実装では、トリプレットネットワークアーキテクチャを有する、ＤＮＮは、ヒトの眼の画像を使用して、より高次元の眼画像空間からより低次元の埋込空間（ユークリッドまたは非ユークリッドであり得る）にマッピングする、埋込を学習するように訓練される。埋込は、ＤＮＮであることができる。いったん学習されると、本埋込は、従来のウェーブレットベースの虹彩コードの代替として使用されることができる。埋込から決定されたコードは、ウェーブレットベースのコードのビットストリングではなく、ｎ－次元実数ベクトルであり得る（但し、ベクトルのビットベースの表現も、記憶され、バイオメトリック処理に利用されてもよい）。種々の実装では、ＤＮＮは、セグメント化された虹彩画像で訓練されてもよい、またはＤＮＮは、直接、眼の眼球周囲領域の画像に対して訓練されることができる（最初に眼球周囲画像をセグメント化せずに）。後者の場合では、ＤＮＮは、虹彩内のデータが特に非常に有益であることを学習することができるが、また、画像の眼球周囲部分も、そうすることが虹彩特徴識別を補助する場合、利用することもできる。眼球周囲領域は、眼と、例えば、眼を囲繞する眼瞼、眉毛、睫毛、および皮膚（一意のテクスチャを有し得る）等の眼の周囲の部分とを含む。例えば、人物の涙管の特定の構造は、識別情報を提供し得る。故に、ＤＮＮによる眼球周囲領域の分析は、単に虹彩単独の分析よりロバストなバイオメトリックシグネチャを提供し得る（埋込を介して）。
（例示的トリプレットネットワークアーキテクチャ）

ヒトの眼の画像を使用して、トリプレットネットワークアーキテクチャを伴うディープニューラルネットワーク（ＤＮＮ）は、より高次元の眼画像空間からより低次元の埋込空間にマッピングする、埋込を学習するように訓練されることができる。眼画像空間の次元は、非常に大きくあり得る。例えば、２５６ピクセル×２５６ピクセルの眼画像は、潜在的に、数千または数万自由度を含むことができる。図１は、トリプレットネットワークアーキテクチャを伴うディープニューラルネットワークを実装する、眼認証訓練装置１０４の実施例のブロック図である。眼認証訓練装置１０４は、埋込１０８（Ｅｍｂ）を学習するようにディープニューラルネットワークを訓練することができる。埋込１０８は、より高次元の眼画像空間内の眼画像（Ｉｍｇ）をより低次元の埋込空間内の眼画像の埋込空間表現（ＥｍｂＩｍｇ）の中にマッピングする、関数であることができる。例えば、Ｅｍｂ（Ｉｍｇ）＝ＥｍｂＩｍｇである。埋込１０８は、ＤＮＮであることができる。

埋込空間表現、すなわち、埋込空間内の眼画像の表現は、ｎ－次元の実数ベクトルであることができる。眼画像の埋込空間表現は、ｎ－次元の眼記述であることができる。埋込空間内の表現の次元は、異なる実装では、異なり得る。例えば、次元は、範囲１６～２，０４８内にあることができる。いくつかの実装では、ｎは、１２８である。埋込空間表現の要素は、ブール、整数、実数、複素数、または任意のそれらの組み合わせによって表されることができる。いくつかのアーキテクチャでは、埋込空間表現は、訓練の間、ｎ浮動点数として表されるが、認証のために、ｎバイトに量子化されてもよい。したがって、ある場合には、各眼画像は、ｎバイト表現によって表される。より大きい次元を伴う埋込空間内の表現は、より低次元を伴うものより良好に性能を発揮し得るが、より多くの訓練を要求し得る。埋込空間表現は、例えば、単位長を有することができる。

ディープニューラルネットワーク１１２は、埋込空間内でともにクラスタ化されるため、イメージング条件から独立して、埋込空間内の１人の人物（または１人の人物の左または右眼）の眼画像間の距離が小さくなるように、埋込１０８を学習するように訓練されることができる。対照的に、異なる人物（または人物の異なる眼）の眼画像のペア間の距離は、埋込空間内でともにクラスタ化されないため、埋込空間内で大きくなり得る。したがって、埋込空間内の同一人物からの眼画像間の距離、すなわち、埋込距離は、埋込空間内の異なる人物からの眼画像間の距離より小さくなり得る。２つの眼画像間の距離は、例えば、２つの眼画像の埋込空間表現間のユークリッド距離（Ｌ２ノルム等）または非ユークリッド距離（例えば、双曲線空間内）であることができる。

１人の人物の２つの眼画像、例えば、アンカ眼画像（ＩｍｇＡ）１１６ａと正の眼画像（ＩｍｇＰ）１１６ｐとの間の距離は、埋込空間内で小さくなり得る。異なる人物の２つの眼画像、例えば、アンカ眼画像（ＩｍｇＡ）１１６ａと負の眼画像（ＩｍｇＮ）１１６ｎとの間の距離は、埋込空間内でより大きくなり得る。ＩｍｇＡ１１６ａは、その埋込空間表現が同一人物（例えば、ＩｍｇＰ１１６ｐ）および異なる人物（例えば、ＩｍｇＮ１１６ｎ）の眼画像の埋込空間表現と比較され得るため、「アンカ」画像である。ＩｍｇＡ１１６ｐは、ＩｍｇＰ１１６ｐおよびＩｍｇＡ１１６ａが同一人物の眼画像であるため、「正」の画像である。ＩｍｇＮ１１６ｎは、ＩｍｇＮ１１６ｎおよびＩｍｇＡ１１６ａが異なる人物の眼画像であるため、「負」の画像である。したがって、埋込空間内のＩｍｇＡ１１６ａとＩｍｇＰ１１６ｐとの間の距離は、埋込空間内のＩｍｇＡ１１６ａとＩｍｇＮ１１６Ｎとの間の距離より小さくあり得る。

埋込（Ｅｍｂ）１０８は、ＩｍｇＡ１１６ａ、ＩｍｇＰ１１６ｐ、およびＩｍｇＮ１１６ｎを、より高次元の眼画像空間から、それぞれ、アンカ埋込画像（ＥｍｂＡ）１２０ａ、正の埋込画像（ＥｍｂＰ）１２０ａ、および負の埋込画像（ＥｍｂＮ）１２０ｎの中にマッピングすることができる。例えば、Ｅｍｂ（ＩｍｇＡ）＝ＥｍｂＡ、Ｅｍｂ（ＩｍｇＰ）＝ＥｍｂＰ、およびＥｍｂ（ＩｍｇＮ）＝ＥｍｂＮである。したがって、埋込空間内のＥｍｂＡ１２０ａとＥｍｂＰ１２０ａとの間の距離は、埋込空間内のＥｍｂＰ１２０ａとＥｍｂＮ１２０ｎとの間の距離より小さくなり得る。

埋込１０８を学習するために、眼認証訓練装置１０４は、眼画像１１０の訓練セットＴ１を受信することができる。眼画像１１０は、眼の眼球周囲領域の画像であることができる。または、眼画像１１０は、セグメント化された虹彩画像またはセグメント化された網膜画像であることができる。眼画像１１０は、左眼および右眼の画像を含むことができる。眼画像１１０は、ラベルと関連付けられることができ、ラベルは、１人の人物の眼画像を別の人の眼画像から区別する。ラベルはまた、人物の左眼および右眼の眼画像を区別することができる。眼認証訓練装置１０４によって受信された訓練セットＴ１は、眼画像とラベルとのペア（Ｉｍｇ；Ｌａｂｅｌ）を含むことができる。眼認証訓練装置１０４は、（Ｉｍｇ；Ｌａｂｅｌ）ペアの訓練セットＴ１を眼画像データ記憶から受信することができる。

眼認証訓練装置１０４は、トリプレットネットワークアーキテクチャを伴うディープニューラルネットワーク（ＤＮＮ）１１２を利用して、埋込１０８を学習することができる。埋込１０８を学習するために、トリプレットネットワークアーキテクチャは、３つの同じ埋込ネットワーク（埋込、ディープ埋込、ディープ埋込ネットワーク、ＤＮＮ埋込、またはＤＮＮとも称される）、例えば、アンカ埋込ネットワーク（ＥＮｅｔｗｏｒｋＡ）１２４ａ、正の埋込ネットワーク（ＥＮｅｔｗｏｒｋＰ）１２４ｐ、および負の埋込ネットワーク（ＥＮｅｔｗｏｒｋＮ）１２４ｎを含むことができる。埋込ネットワーク１２４ａ、１２４ｐ、または１２４ｎは、ディープニューラルネットワークであることができる。埋込ネットワーク１２４ａ、１２４ｐ、または１２４ｎは、眼画像空間からの眼画像を埋込空間内の眼画像の埋込空間表現の中にマッピングすることができる。例えば、ＥＮｅｔｗｏｒｋＡ１２４ａは、ＩｍｇＡ１１６ａをＥｍｂＡ１２０ａの中にマッピングすることができる。ＥＮｅｔｗｏｒｋＡ１２４ｐは、ＩｍｇＰ１１６ｐをＥｍｂＰ１２０ｐの中にマッピングすることができる。ＥＮｅｔｗｏｒｋＮ１２４ｎは、ＩｍｇＮ１１６ｎをＥｍｂＮ１２０ｎの中にマッピングすることができる。

いくつかの実装では、眼認証訓練装置１０４は、単一ネットワークアーキテクチャを伴うディープニューラルネットワーク（ＤＮＮ）１１２を利用して、埋込１０８を学習することができる。埋込１０８を学習するために、単一ネットワークアーキテクチャは、１つの埋込ネットワークを含むことができる。埋込ネットワークは、（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）のトリプレットを（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のトリプレットの中にマッピングすることができる。

トリプレットネットワークアーキテクチャを伴うディープニューラルネットワーク１１２は、眼画像のトリプレットを含む、トリプレット訓練セットＴ２を用いて、埋込１０８を学習することができる。トリプレットの２つの眼画像は、同一人物からのもの、例えば、ＩｍｇＡ１１６ａおよびＩｍｇＰ１１６ｐであることができる。トリプレットの第３の眼画像は、異なる人物または同一人物の異なる眼からのもの、例えば、ＩｍｇＮ１１６ｎであることができる。ＥＮｅｔｗｏｒｋＡ１２４ａ、ＥＮｅｔｗｏｒｋＰ１２４ｐ、およびＥＮｅｔｗｏｒｋＮ１２４ｎは、（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）のトリプレットを（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のトリプレットの中にマッピングすることができる。眼認証訓練装置１０４は、トリプレット訓練セットＴ２を（Ｉｍｇ；Ｌａｂｅｌ）ペアの訓練セットＴ１から生成することができる。

ＩｍｇＡ１１６ａ、ＩｍｇＰ１１６ｐ、またはＩｍｇＮ１１６ｎは、異なる実装では、異なり得る。例えば、ＩｍｇＡ１１６ａおよびＩｍｇＰ１１６ｐは、１人の人物の眼画像であることができ、ＩｍｇＮ１１６ｎは、別の人物の眼画像であることができる。別の実施例として、ＩｍｇＡ１１６ａおよびＩｍｇＰ１１６ｐは、１人の人物の左眼の画像であることができ、ＩｍｇＮ１１６ｎは、その人物の右眼の画像または別の人物の眼画像であることができる。

トリプレットネットワークアーキテクチャは、埋込空間内の人物の眼画像が、埋込空間内の任意の他の人物の眼画像より埋込空間内の同一人物の全ての他の眼画像に近くなるように、埋込１０８を学習するように使用されることができる。例えば、｜ＥｍｂＡ－ＥｍｂＰ｜＜｜ＥｍｂＡ－ＥｍｂＮ｜であって、｜ＥｍｂＡ－ＥｍｂＰ｜は、埋込空間内のＥｍｂＡ１２０ａとＥｍｂＰ１２０ｐとの間の絶対距離を示し、｜ＥｍｂＡ－ＥｍｂＮ｜は、埋込空間内のＥｍｂＡ１２０ａとＥｍｂＮ１２０ｎとの間の絶対距離を示す。

いくつかの実装では、トリプレットネットワークアーキテクチャは、埋込空間内の人物の左眼の画像が、埋込空間内のその人物の右眼の任意の画像または別の人物の任意の眼画像より埋込空間内の同一人物の左眼の全ての画像に近くなるように、埋込１０８を学習するように使用されることができる。

埋込空間表現の次元は、異なる実装では、異なり得る。ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎの次元は、同一、例えば、４３１であることができる。埋込空間表現の長さは、異なる実装では、異なり得る。例えば、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、またはＥｍｂＮ１２０ｎは、Ｌ２正規化を使用して、埋込空間内で単位長を有するように正規化されることができる。したがって、眼画像の埋込空間表現は、埋込空間内の超球面上にある。

トリプレットネットワークアーキテクチャは、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較するように構成される、トリプレット損失層１２８を含むことができる。トリプレット損失層１２８で学習された埋込１０８は、１人の人物の眼画像を埋込空間内の近接近する単一点または点のクラスタ上にマッピングすることができる。トリプレット損失層１２８は、埋込空間内の同一人物の眼画像、例えば、ＥｍｂＡ１２０ａとＥｍｂＰ１２０ｐの間の距離を最小限にすることができる。トリプレット損失層１２８は、埋込空間内の異なる人物の眼画像、例えば、ＥｍｂＡ１２０ａとＥｍｂＮ１２０ｎとの間の距離を最大限にすることができる。

トリプレット損失層１２８は、いくつかの方法において、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較することができる。例えば、トリプレット損失層１２８は、以下を算出することによって、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較することができる。
Ｍａｘｉｍｕｍ（０，｜ＥｍｂＡ－ＥｍｂＰ｜^２－｜ＥｍｂＡ－ＥｍｂＮ｜^２＋ｍ） 式（１．１）
式中、｜ＥｍｂＡ－ＥｍｂＰ｜は、埋込空間内のＥｍｂＡ１２０ａとＥｍｂＰ１２０ｐとの間の絶対距離を示し、｜ＥｍｂＡ－ＥｍｂＮ｜は、ＥｍｂＡ１２０ａとＥｍｂＮ１２０ｎとの間の絶対距離を示し、ｍは、許容差を示す。許容差は、異なる実装では、異なり得る。例えば、許容差は、０．２０であることができる。したがって、いくつかの実装では、埋込１０８は、同一人物からの眼画像間の埋込空間内の距離が異なる人物からの眼画像間の埋込空間内の距離より小さくなるように、複数の人物の眼画像から学習されることができる。いくつかの実施形態では、人物の眼からの眼画像間の埋込空間内の距離は、異なる人物からの眼画像または同一人物の異なる眼の眼画像間の埋込空間内の距離より小さい。式（１．１）の特定の実装の観点から、同一人物からの全ての眼画像間の埋込空間内の平方距離は、小さく、異なる人物からの眼画像のペア間の埋込空間内の平方距離は、大きい。別の実施例として、トリプレット損失層１２８は、以下を算出することによって、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較することができる。
Ｍａｘｉｍｕｍ（０，｜ＥｍｂＡ－ＥｍｂＰ＋ｍ１｜^ｍ２－｜ＥｍｂＡ－ＥｍｂＮ＋ｍ１｜^ｍ２＋ｍ３） 式（１．２）
式中、｜ＥｍｂＡ－ＥｍｂＰ｜は、埋込空間内のＥｍｂＡ１２０ａとＥｍｂＰ１２０ｐとの間の絶対距離を示し、｜ＥｍｂＡ－ＥｍｂＮ｜は、ＥｍｂＡ１２０ａとＥｍｂＮ１２０ｎとの間の絶対距離を示し、ｍ１は、２つの埋込空間表現間の距離のモディファイアを示し、ｍ２は、２つの埋込空間表現間の絶対距離のモディファイアを示し、ｍ３は、許容差を示す。モディファイアｍ１およびｍ２は、異なる実装では、異なり得る。例えば、モディファイアは、整数（例えば、３）、実数（例えば、３．１）、または複素数であることができる。許容差ｍ３は、異なる実装では、異なり得る。例えば、許容差は、０．２０であることができる。

ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較する際に使用される、許容差ｍの関数は、異なる実装では、異なり得る。例えば、許容差ｍは、１人の人物の眼画像の各ペアと埋込空間内の全ての他の人物の眼画像との間に許容差を適用することができる。故に、１人の人物の眼画像の埋込空間表現は、埋込空間内でともに近接してクラスタ化されることができる。同時に、異なる人物の眼画像の埋込空間表現は、維持または最大限にされることができる。別の実施例として、許容差ｍは、１人の人物の左眼の画像の各ペアとその人物の右眼の画像または全ての他の人物の眼画像との間に許容差を適用することができる。

埋込１０８の学習の反復の間、トリプレット損失層１２８は、異なる数のトリプレットに関して、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較することができる。例えば、トリプレット損失層１２８は、トリプレット訓練セットＴ２内の全てのトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）に関して、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較することができる。別の実施例として、トリプレット損失層１２８は、トリプレット訓練セットＴ２内のトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチに関して、ＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較することができる。バッチ内のトリプレットの数は、異なる実装では、異なり得る。例えば、バッチは、（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）の６４のトリプレットを含むことができる。別の実施例として、バッチは、トリプレット訓練セットＴ２内の全てのトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）を含むことができる。

埋込１０８の学習の反復の間、トリプレット損失層１２８は、トリプレット損失を算出することによって、トリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチに関してＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを比較することができる。トリプレット損失は、例えば、以下であることができる。

式中、ｎは、トリプレットのバッチ内のトリプレットの数を示し、ＥｍｂＡ（ｉ）、ＥｍｂＰ（ｉ）、ＥｍｂＮ（ｉ）は、トリプレットのバッチ内のｉ番目のＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを示し、ｍは、許容差を示す。別の実施例として、トリプレット損失は、以下であることができる。

式中、ｎは、トリプレットのバッチ内のトリプレットの数を示し、ＥｍｂＡ（ｉ）、ＥｍｂＰ（ｉ）、およびＥｍｂＮ（ｉ）は、トリプレットのバッチ内のｉ番目のＥｍｂＡ１２０ａ、ＥｍｂＰ１２０ｐ、およびＥｍｂＮ１２０ｎを示し、ｍ１は、２つの埋込空間表現間の距離のモディファイアを示し、ｍ２は、２つの埋込空間表現間の絶対距離のモディファイアを示し、ｍ３は、許容差を示す。

埋込１０８の学習の間、眼認証訓練装置１０４は、トリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチ間の比較、例えば、トリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）のバッチ間のトリプレット損失に基づいて、ＥＮｅｔｗｏｒｋＡ１２４ａ、ＥＮｅｔｗｏｒｋＰ１２４ｐ、およびＥＮｅｔｗｏｒｋＮ１２４ｎを更新することができる。眼認証訓練装置１０４は、周期的に、例えば、反復毎または１，０００反復毎に、ＥＮｅｔｗｏｒｋＡ１２４ａ、ＥＮｅｔｗｏｒｋＰ１２４ｐ、およびＥＮｅｔｗｏｒｋＮ１２４ｎを更新することができる。眼認証訓練装置１０４は、ＥＮｅｔｗｏｒｋＡ１２４ａ、ＥＮｅｔｗｏｒｋＰ１２４ｐ、およびＥＮｅｔｗｏｒｋＮ１２４ｎを更新し、埋込空間を最適化することができる。埋込空間の最適化は、異なる実装では、異なり得る。例えば、埋込空間の最適化は、式１．１（または式１．２）を最小限にすることを含むことができる。別の実施例として、埋込空間の最適化は、ＥｍｂＡ１２０ａとＥｍｂＰ１２０ｐとの間の距離を最小限にし、ＥｍｂＡ１２０ａとＥｍｂＮ１２０ｎとの間の距離を最大限にすることを含むことができる。

埋込空間の最適化の反復後、眼認証訓練装置１０４は、その出力として、眼画像をより高次元の眼画像空間からより低次元の埋込空間内の眼画像の表現の中にマッピングする埋込１０８、または、ユーザデバイスが、ユーザが認可されたユーザとして認証されるはずであるように、ユーザの眼画像の埋込空間表現が埋込空間内の認可されたユーザの眼画像に十分に類似するかどうかを決定するための閾値１３２のうちの１つ以上のものを算出することができる。眼認証訓練装置１０４は、サービスオペレータが、眼認証訓練装置１０４が埋込１０８または閾値１３２を算出する際に使用することができる、または使用すべきである、眼画像の特徴を規定する必要なく、埋込１０８または閾値１３２を決定することができる。

閾値１３２は、異なる実装では、異なり得る。例えば、閾値１３２は、埋込１０８の学習の最後の反復の際に（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットから決定された同一人物の眼画像間の最大距離であることができる。別の実施例として、閾値１３２は、埋込１０８の学習の最後の反復の際に（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットから決定された同一人物の眼画像間の中央値距離であることができる。さらに別の実施例として、閾値１３２は、埋込１０８の学習の最後の反復の際に（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットから決定された異なる人物の眼画像間の最大距離より小さくあることができる。

埋込１０８を学習するために要求される反復の数は、異なる実装では、異なり得る。例えば、反復の数は、１００，０００であることができる。別の実施例として、反復の数は、事前に定義されなくてもよく、等価エラー率（ＥＥＲ）２％を有する等の満足の行く特性を伴って埋込１０８を学習するために要求される反復に依存することができる。さらに別の実施例として、反復の数は、満足の行くトリプレット損失を取得するために要求される反復に依存することができる。

認可されていないユーザと認可されたユーザとを区別する埋込１０８の能力は、異なる実装では、異なり得る。例えば、埋込１０８の偽陽性率（ＦＰＲ）は、０．０１％であることができ、埋込１０８の真陽性率（ＴＰＲ）は、９９．９９％であることができる。別の実施例として、埋込１０８の偽陰性率（ＦＮＲ）は、０．０１％であることができ、埋込１０８の真陰性率（ＴＮＲ）は、９９．９９％であることができる。埋込１０８の等価エラー率（ＥＥＲ）は、例えば、１％であることができる。

眼認証訓練装置１０４は、埋込１０８を学習するために、トリプレットネットワークアーキテクチャ以外のアーキテクチャを有する、ディープニューラルネットワーク１１２を実装することができる。ディープニューラルネットワーク１１２のアーキテクチャの非限定的実施例は、ディープビリーフネットワークアーキテクチャ、ボルツマンマシンアーキテクチャ、制限付きボルツマンマシンアーキテクチャ、ディープボルツマンマシンアーキテクチャ、またはディープオートエンコーダアーキテクチャを含む。
（例示的ディープニューラルネットワーク）

眼認証訓練装置１０４は、埋込１０８を学習するようにディープニューラルネットワーク１１２を訓練することができる。ディープニューラルネットワーク１１２は、１つ以上のディープニューラルネットワーク層を含むことができる。ディープニューラルネットワーク層は、線形または非線形変換をその入力に適用し、その出力を生成することができる。ディープニューラルネットワーク層は、正規化層、畳み込み層、ソフトサイン層、正規化線形層、連結層、プーリング層、再帰層、インセプション様層、または任意のそれらの組み合わせであることができる。正規化層は、例えば、Ｌ２正規化を用いて、その入力の明度を正規化し、その出力を生成することができる。正規化層は、例えば、相互に対して一度に複数の画像の明度を正規化し、複数の正規化された画像をその出力として生成することができる。明度を正規化するための非限定的例示的方法は、ローカルコントラスト正規化（ＬＣＮ）またはローカル応答正規化（ＬＲＮ）を含む。ローカルコントラスト正規化は、平均値ゼロおよび分散１（または他の値の平均値および分散）を有するようにピクセル毎に画像のローカル領域を正規化することによって、画像のコントラストを非線形に正規化することができる。ローカル応答正規化は、平均値ゼロおよび分散１（または他の値の平均値および分散）を有するように、画像をローカル入力領域にわたって正規化することができる。正規化層は、埋込１０８の算出を加速させ得る。

畳み込み層は、その入力を畳み込み、その出力を生成する、カーネルのセットに適用されることができる。ソフトサイン層は、ソフトサイン関数をその入力に適用することができる。ソフトサイン関数（ｓｏｆｔｓｉｇｎ（ｘ））は、例えば、（ｘ／（１＋｜ｘ｜））であることができる。ソフトサイン層は、要素毎アウトライアの影響を無視し得る。埋込空間に関する要素毎アウトライアは、トリプレット（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）であることができ、ＩｍｇＡ１１６ａとＩｍｇＰ１１６ｐとの間の埋込空間内の距離は、ＩｍｇＡ１１６ａとＩｍｇＮ１１６ｎとの間の要素毎埋込空間内の距離より大きい。要素毎アウトライアは、眼画像またはセグメント化された虹彩画像内の眼瞼閉塞または偶発的明スポットのために生じ得る。

正規化線形層は、正規化線形層単位（ＲｅＬＵ）またはパラメータ化された正規化線形層単位（ＰＲｅＬＵ）であることができる。ＲｅＬＵ層は、ＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＲｅＬＵ関数ＲｅＬＵ（ｘ）は、例えば、ｍａｘ（０，ｘ）であることができる。ＰＲｅＬＵ層は、ＰＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＰＲｅＬＵ関数ＰＲｅＬＵ（ｘ）は、例えば、ｘ≧０の場合はｘおよびｘ＜０の場合はａｘであることができ、ａは、正の数である。

連結層は、その入力を連結し、その出力を生成する。例えば、連結層は、４つの５×５画像を連結し、１つの２０×２０画像を生成することができる。プーリング層は、その入力をダウンサンプリングし、その出力を生成する、プーリング関数を適用することができる。例えば、プーリング層は、２０×２０画像を１０×１０画像にダウンサンプリングすることができる。プーリング関数の非限定的実施例は、最大プーリング、平均プーリング、または最小プーリングを含む。

時間点ｔでは、再帰層は、隠蔽された状態ｓ（ｔ）を算出することができ、再帰接続は、時間ｔにおける隠蔽された状態ｓ（ｔ）を再帰層に後続時間点ｔ＋１における入力として提供することができる。再帰層は、時間ｔにおける隠蔽された状態ｓ（ｔ）に基づいて、時間ｔ＋１においてその出力を算出することができる。例えば、再帰層は、ソフトサイン関数を時間ｔにおいて隠蔽された状態ｓ（ｔ）に適用し、時間ｔ＋１におけるその出力を算出することができる。時間ｔ＋１における再帰層の隠蔽された状態は、その入力として、時間ｔにおける再帰層の隠蔽された状態ｓ（ｔ）を有する。再帰層は、例えば、ＲｅＬＵ関数をその入力に適用することによって、隠蔽された状態ｓ（ｔ＋１）を算出することができる。

インセプション様層は、正規化層、畳み込み層、ソフトサイン層、ＲｅＬＵ層およびＰＲｅＬＵ層等の正規化線形層、連結層、プーリング層、または任意のそれらの組み合わせのうちの１つ以上のものを含むことができる。図２は、インセプション様層２００の例示的アーキテクチャを描写する。インセプション様層２００は、１つ以上の畳み込み層（例えば、畳み込み層２０４）と、畳み込み層、ＰＲｅＬＵ層、および最大プーリング層の１つ以上の組み合わせ（例えば、畳み込み層、ＰＲｅＬＵ層、および最大プーリング層の３つの組み合わせ）とを使用して、その入力２０２を処理することができる。畳み込み層２０４は、２１×２１の幅および高さを伴う入力２０２の６４チャネルを受信し、１６チャネルと、２１×２１の幅および高さとを伴う、その出力を生成することができる。畳み込み層２０４のカーネルサイズおよびストライドは、それぞれ、１×１および１であることができる。

畳み込み層２０６ａおよびＰＲｅＬＵ層２０６ｂは、入力２０２の６４チャネルを畳み込み、変換し、３２チャネルを伴う出力を生成することができる。畳み込み層２０６ａのカーネルサイズおよびストライドは、それぞれ、１×１および１であることができる。畳み込み層２０６Ｃは、畳み込み層２０６ａおよびＰＲｅＬＵ層２０６ｂの出力をその入力として使用し、１６チャネルを伴うその出力を生成することができる。畳み込み層２０６ｃのカーネルサイズおよびストライドは、それぞれ、３×３および１であることができる。

畳み込み層２０８ａおよびＰＲｅＬＵ層２０８ｂは、入力２０２の６４チャネルを畳み込み、変換し、３２チャネルを伴う出力を生成することができる。畳み込み層２０８ａのカーネルサイズおよびストライドは、それぞれ、１×１および１であることができる。畳み込み層２０８ｃは、畳み込み層２０８ａおよびＰＲｅＬＵ層２０８ｂの出力をその入力として使用し、１６チャネルを伴うその出力を生成することができる。畳み込み層２０８ｃのカーネルサイズおよびストライドは、それぞれ、５×５および１であることができる。

最大プーリング層２１０ａは、入力２０２の６４チャネルの次元を低減させ、３２チャネルを伴うその出力を生成することができる。最大プーリング層２１０ａのカーネルサイズおよびストライドは、それぞれ、３×３および１であることができる。畳み込み層２１０ｂは、最大プーリング層２１０ａの出力を畳み込み、１６チャネルのその出力を生成し得る。最大プーリング層２１０ａのカーネルサイズおよびストライドは、それぞれ、１×１および１であることができる。連結層２１２は、畳み込み層２０４、２０６ｃ、２０８ｃ、および２１０ｂの１６－チャネル出力を連結し、サイズ２１×２１×６４を伴うその出力を生成することができる。

ディープニューラルネットワーク１１２内のディープニューラルネットワーク層の数は、異なる実装では、異なり得る。例えばディープニューラルネットワーク１１２内のディープニューラルネットワーク層の数は、１００であることができる。ディープニューラルネットワーク層の入力タイプは、異なる実装では、異なり得る。例えば、ディープニューラルネットワーク層は、（Ｉｍｇ；Ｌａｂｅｌ）ペアの訓練セットＴ１をその入力として受信することができる。別の実施例として、ディープニューラルネットワーク層は、（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットの訓練セットＴ２を受信することができる。さらに別の実施例として、ディープニューラルネットワーク層は、いくつかのディープニューラルネットワーク層の出力をその入力として受信することができる。

ディープニューラルネットワーク層の入力は、異なる実装では、異なり得る。例えば、ディープニューラルネットワーク層の入力は、５つのディープニューラルネットワーク層の出力を含むことができる。別の実施例として、ディープニューラルネットワーク層の入力は、ディープニューラルネットワーク１１２のディープニューラルネットワーク層の１％を含むことができる。ディープニューラルネットワーク層の出力は、いくつかのディープニューラル層の入力であることができる。例えば、ディープニューラルネットワーク層の出力は、５つのディープニューラルネットワーク層の入力として使用されることができる。別の実施例として、ディープニューラルネットワーク層の出力は、ディープニューラルネットワーク層のディープニューラルネットワーク層の１％の入力として使用されることができる。

ディープニューラルネットワーク層の入力サイズまたは出力サイズは、非常に大きくあることができる。ディープニューラルネットワーク層の入力サイズまたは出力サイズは、ｎ×ｍであることができ、ｎは、入力または出力の幅を示し、ｍは、高さを示す。例えば、ｎまたはｍは、２１であることができる。ディープニューラルネットワーク層の入力または出力のチャネルサイズは、異なる実装では、異なり得る。例えば、ディープニューラルネットワーク層の入力または出力のチャネルサイズは、３２であることができる。ディープニューラルネットワーク層のカーネルサイズは、異なる実装では、異なり得る。例えば、カーネルサイズは、ｎ×ｍであることができ、ｎは、カーネルの幅を示し、ｍは、高さを示す。例えば、ｎまたはｍは、５であることができる。ディープニューラルネットワーク層のストライドサイズは、異なる実装では、異なり得る。例えば、ディープニューラルネットワーク層のストライドサイズは、３であることができる。
（例示的ディープネットワークアーキテクチャ）

図３は、例示的ディープネットワークアーキテクチャを図示する、表を示す。ＤＮＮ１１２は、図３に示されるディープネットワークアーキテクチャを実装することができる。ＤＮＮ１１２は、眼画像、例えば、虹彩画像をその入力として受信する、ローカルコントラスト正規化層３０２を含むことができる。ローカルコントラスト正規化層３０２は、相互に対して一度に複数の眼画像を正規化することができる。ローカルコントラスト正規化層３０２の入力サイズは、２０８×２０８×１であることができ、入力の幅、高さ、およびチャネルサイズを表す。ローカルコントラスト正規化層３０２のカーネルサイズおよびストライドは、それぞれ、９×９および１であることができる。

ローカルコントラスト正規化層３０２の出力は、畳み込み層３０４ａ、３０４ｂ、または３０４ｃ、ＲｅＬＵ層３０６ａ、３０６ｂ、または３０６ｃ、または最大プーリング層３０８ａ、３０８ｂ、または３０８ｃの３つの連続組み合わせに接続されることができる。畳み込み層３０４ａ、３０４ｂ、または３０４ｃの入力サイズは、それぞれ、２００×２００×１、９８×９８×１６、または４７×４７×３２であることができる。畳み込み層３０４ａ、３０４ｂ、または３０４ｃのカーネルサイズおよびストライドは、それぞれ、５×５および１であることができる。最大プーリング層３０８ａ、３０８ｂ、または３０８ｃの入力サイズは、それぞれ、１９６×１９６×１６、９４×９４×３２、または４３×４３×６４であることができる。最大プーリング層３０８ａ、３０８ｂ、または３０８ｃのカーネルサイズおよびストライドは、それぞれ、２×２および２であることができる。

インセプション様層３１０は、３つの連続畳み込み層３０４ａ、３０４ｂ、または３０４ｃ、ＲｅＬＵ層３０６ａ、３０６ｂ、または３０６ｃ、または最大プーリング層３０８ａ、３０８ｂ、または３０８ｃに続くことができる。インセプション様層３１０は、図２に図示されるようなものであることができる。インセプション様層３１０の入力サイズは、２１×２１×６４であることができる。インセプション様層３１０は、図２に図示される寸法低減を伴う、１×１、３×３、および５×５畳み込み層を含むことができる。

図３を参照すると、インセプション様層３１０の後には、入力サイズ２１×２１×６４を伴うＲｅＬＵ層３１２が続くことができる。ＲｅＬＵ層３１２の入力サイズは、２１×２１×６４であることができる。畳み込み層３１４とソフトサイン層３１６の組み合わせは、ＲｅＬＵ層３１２に続くことができる。畳み込み層３１４の入力サイズは、２１×２１×６４であることができる。畳み込み層３１４のカーネルサイズおよびストライドは、それぞれ、１×１および１であることができる。Ｌ２正規化層３１８は、その入力をサイズ２１×２１×１で正規化し、サイズ２１×２１×１を伴うその出力を生成することができる。したがって、図３に示されるディープニューラルネットワーク１１２によって学習された埋込１０８は、眼画像を２０８×２０８寸法の眼画像空間から埋込空間内の４３２寸法を伴う埋込空間表現の中にマッピングすることができる。
（例示的眼画像およびセグメント化された虹彩画像）

眼認証訓練装置１０４は、眼画像およびラベルのペア（Ｉｍｇ；Ｌａｂｅｌ）を含む訓練セットＴ１から埋込１０８を学習するように、ディープニューラルネットワーク（ＤＮＮ）１１２を訓練することができ、Ｉｍｇは、ユーザの眼の画像を示し、Ｌａｂｅｌは、ユーザの識別が他のユーザの識別から区別されることを可能にする。いくつかの実装では、訓練セットＴ１は、トリプレット（ＩｍｇＬ；ＩｍｇＲ；Ｌａｂｅｌ）を含むことができ、ＩｍｇＬは、ユーザの左眼の画像を示し、ＩｍｇＲは、ユーザの右眼の画像を示し、Ｌａｂｅｌは、ユーザの識別が他のユーザの識別から区別されることを可能にする。（Ｉｍｇ；Ｌａｂｅｌ）ペアまたは（ＩｍｇＬ；ＩｍｇＲ；Ｌａｂｅｌ）トリプレットの訓練セットＴ１から、眼認証訓練装置１０４は、（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）のトリプレットを含む、トリプレット訓練セットＴ２を算出することができ、ＩｍｇＡ１１６ａおよびＩｍｇＰ１１６ｐは、人物の眼画像（または人物の左眼または右眼の画像）であって、ＩｍｇＮ１１６ｎは、別の人物の眼画像（または同一人物の他の眼の画像）である。眼画像は、眼の異なる部分の画像であることができる。例えば、眼画像１１０は、眼の眼球周囲領域の画像を含むことができる。別の実施例として、眼画像１１０は、セグメント化された虹彩画像を含むことができる。眼認証訓練装置１０４は、埋込１０８の学習のために、眼画像１１０を極座標に変換し、極眼画像を生成することができる。

眼認証訓練装置１０４によって受信された眼画像１１０は、眼の虹彩部分および眼球周囲領域の両方を含むことができる。いくつかの実施形態では、眼認証訓練装置１０４は、最初に眼球周囲画像をセグメント化せずに、眼画像内の重要な特徴、例えば、虹彩特徴または非虹彩特徴を学習するように、眼画像を使用して、ディープニューラルネットワーク１１２を訓練することができる。したがって、ＤＮＮ１１２は、虹彩内のデータが特に非常に有益であることを学習することができるが、また、画像の眼球周囲部分も、そうすることが、虹彩特徴識別を補助する場合、利用することができる。眼球周囲領域は、眼と、例えば、眼を囲繞する眼瞼、眉毛、睫毛、および皮膚（一意のテクスチャを有し得る）等の、眼の周囲の部分とを含む。例えば、人物の涙管の特定の構造は、識別情報を提供し得る。故に、ＤＮＮによる眼球周囲領域の分析は、単に虹彩単独の分析よりロバストなバイオメトリックシグネチャを提供し得る（埋込を介して）。

眼認証訓練装置１０４は、随意に、虹彩抽出装置を含むことができる。虹彩抽出装置は、眼画像をセグメント化し、眼画像の虹彩部分を抽出し、セグメント化された虹彩画像を生成する、または虹彩を囲繞する強膜部分等の眼画像の別の部分を抽出し、セグメント化された眼画像を生成することができる。眼認証訓練装置１０４は、セグメント化された虹彩画像を使用して、ディープニューラルネットワーク１１２を訓練することができる。虹彩抽出装置は、異なる実装では、異なり得る。例えば、虹彩抽出装置は、ディープニューラルネットワークを使用して実装されることができる。ディープニューラルネットワークは、図１、２、または３に図示されるアーキテクチャを有することができる。別の実施例として、虹彩抽出装置は、積分微分演算子（例えば、ドーグマンの方法）、ハフ変換、測地的動的輪郭、縁を伴わない動的輪郭、指向性光線検出方法、ワイルドの方法、カミュおよびワイルドの方法、マーティン－ロッシュの方法、または任意のそれらの組み合わせに基づく技法等、他の公知の虹彩セグメント化技法も利用することができる。

いくつかの実装では、コンピュータビジョン技法が、虹彩セグメント化を実施するために使用されることができる。コンピュータビジョンモジュールは、１つ以上のコンピュータビジョン技法を実装することができる。コンピュータビジョン技法の非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトル機械、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

眼画像は、同一人物の複数の眼画像を使用して作成された複合画像であることができる。同一人物の複数の眼画像は、例えば、ビデオの複数のフレームとして時間的に近接して捕捉されることができる。いくつかの実施形態では、（Ｉｍｇ；Ｌａｂｅｌ）ペアの訓練セットＴ１内の眼画像のいくつかは、ビデオの複数のフレームから抽出される。人物の眼画像は、人物の眼画像の時系列を含むことができる。

訓練セットＴ１のサイズは、非常に大きくあることができる。例えば、訓練セットＴ１は、１０^６（Ｉｍｇ；Ｌａｂｅｌ）ペアを含むことができる。訓練セットＴ１は、異なる実装では、数人の人物の眼画像を含むことができる。例えば、訓練セットＴは、１，０００人の人物の眼画像を含むことができる。人物毎に、訓練セットＴ１内の眼画像の数は、異なる実装では、異なり得る。例えば、人物毎に、訓練セットＴ内の眼画像の数は、１，０００であることができる。トリプレット訓練セットＴ２のサイズは、非常に大きくあることができる。例えば、トリプレット訓練セットＴ２は、１０^６（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットを含むことができる。トリプレット訓練セットＴ２は、異なる実装では、数人の人物の眼画像を含むことができる。例えば、トリプレット訓練セットＴ２は、１，０００人の人物の眼画像を含むことができる。人物毎に、トリプレット訓練セットＴ２内の眼画像の数は、異なる実装では、異なり得る。例えば、人物毎に、トリプレット訓練セットＴ２内の眼画像の数は、１，０００であることができる。
（他のバイオメトリック情報との例示的組み合わせ）

眼認証訓練装置１０４は、他のバイオメトリック識別情報を利用して、ディープニューラルネットワーク（ＤＮＮ）１１２を訓練することができる。例えば、（Ｉｍｇ；Ｌａｂｅｌ）ペアの訓練セットＴ１を利用して、ＤＮＮ１１２を訓練することに加え、眼認証訓練装置１０４は、同時に、または連続して、ＤＮＮ１１２を他のバイオメトリック情報で訓練することができる。他のバイオメトリック情報の非限定的実施例は、肌質、皮膚テクスチャ、指紋、または音声を含む。いくつかの実装では、バイオメトリック情報は、バイオメトリック情報の時系列を含むことができる。眼画像および他のバイオメトリック情報から、眼認証訓練装置１０４は、眼画像および他のバイオメトリック情報の組み合わせを共同埋込空間の中にマッピングし得る、埋込１０８を学習することができる。ユーザデバイスの眼認証装置１０４は、共同埋込空間の中への眼画像および他のバイオメトリック情報の共同埋込に基づいて、ユーザを認証することができる。

いくつかの実装では、他のバイオメトリック情報は、眼画像とともに、共同埋込空間の中に共同埋込されなくてもよい。例えば、ユーザデバイスは、埋込空間内の眼画像の表現および別の埋込空間内の他のバイオメトリック情報の表現に基づいて、ユーザを認証することができる。別の実施例として、ユーザデバイスは、部分的に、眼画像空間内の眼画像の表現または他のバイオメトリック情報のネイティブ空間内の他のバイオメトリック情報に基づいて、ユーザを認証することができる。いくつかの実施形態では、ユーザデバイスは、１つ以上の埋込空間および１つ以上の共同埋込空間に基づいて、ユーザを認証することができる。共同埋込空間は、２つ以上のタイプのバイオメトリック情報を共同埋込することができる。例えば、ユーザデバイスは、眼画像のための埋込空間およびバイオメトリック情報のための共同埋込空間（例えば、眼画像のための共同埋込空間）に基づいて、ユーザを認証することができる。別の実施例として、共同埋込空間は、ユーザの左眼の眼画像およびユーザの右眼の眼画像を埋め込むことができる。共同埋込は、有利には、より良好な品質（例えば、より高い真陽性率、より高い真陰性率、より低い等価エラー率、または任意のそれらの組み合わせ）をもたらし得る。
（埋込ネットワークの例示的学習）

ディープニューラルネットワーク１１２は、ネステロフモーメンタムを伴う確率的勾配降下法を使用して、埋込１０８を学習するように訓練された。ディープニューラルネットワーク１１２は、図１に図示されるトリプレットネットワークアーキテクチャを有し、アンカ埋込ネットワーク（ＥＮｅｔｗｏｒｋＡ）１２４ａ、正の埋込ネットワーク（ＥＮｅｔｗｏｒｋＰ）１２４Ｐ、および負の埋込ネットワーク（ＥＮｅｔｗｏｒｋＮ）１２４ｎを含んでいた。埋込１０８、ＥＮｅｔｗｏｒｋＡ１２４ａ、ＥＮｅｔｗｏｒｋＰ１２４Ｐ、およびＥＮｅｔｗｏｒｋＮ１２４ｎは、図２－３に図示されるネットワークアーキテクチャを有していた。埋込１０８の学習の間、反復毎に、バッチサイズ６４を伴う、セグメント化された虹彩画像のランダムトリプレット（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）のミニバッチが、生成された。

ディープニューラルネットワーク（ＤＮＮ）１１２は、難しいトリプレットで訓練された。全ての可能性として考えられるランダム（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）トリプレットを使用して、ディープニューラルネットワーク１１２を訓練することは、式１．１、１．２、２．１、または２．２における制約を容易に満たすことができる、多くのトリプレットをもたらし得る。これらのトリプレットは、ディープニューラルネットワーク１１２の訓練に実質的に寄与し得ず、より低速の収束をもたらし得る。ディープニューラルネットワーク１１２は、埋込１０８の学習に寄与した難しいトリプレットで訓練された。

以下のプロシージャが、難しいトリプレットを選択するために使用された。半分を上回らないランダムトリプレットのミニバッチが、難しいトリプレットを含んだ。２つの異なる対象Ｓ１およびＳ２が、選択された。ＩｍｇＡ１１６ａは、対象Ｓ１のセグメント化された虹彩画像からランダムにサンプリングされた。ＩｍｇＰ１１６ｐおよびＩｍｇＮ１１６ｎのための候補は、それぞれ、対象Ｓ１の虹彩画像および対象Ｓ２の虹彩画像から１００回ランダムにサンプリングされた。トリプレット（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）が、その対応するトリプレット（ＥｍｂＡ；ＥｍｂＰ；ＥｍｂＮ）が、式１．１において最大値をもたらし、｜ＥｍｂＡ－ＥｍｂＰ｜＜｜ＥｍｂＡ－ＥｍｂＮ｜であった場合、ミニバッチのために選択された。本選択プロシージャは、有利には、埋込１０８の学習のための難しいトリプレットを選択し、改良された学習速度をもたらし得る。結果として生じる埋込１０８は、有利には、ランダムトリプレットのみが埋込１０８の学習の間に使用された場合と比較して、より良好な品質（例えば、より高い真陽性率、より高い真陰性率、より低い等価エラー率、またはそれらの組み合わせ）を有し得る。

ランダムトリプレットのミニバッチ内の残りのトリプレットは、ランダムに選択された。３つの同じ埋込ネットワークＥＮｅｔｗｏｒｋＡ１２４ａ、ＥＮｅｔｗｏｒｋＰ１２４ｐ、またはＥＮｅｔｗｏｒｋＮ１２４ｎが、訓練の間、１，０００反復毎に１回、再算出され、トリプレット（ＩｍｇＡ；ＩｍｇＰ；ＩｍｇＮ）をマッピングおよびランク付けするために使用された。１，０００反復毎に１回の３つの同じ埋込ネットワークＥＮｅｔｗｏｒｋＡ１２４ａ、ＥＮｅｔｗｏｒｋＰ１２４ｐ、またはＥＮｅｔｗｏｒｋＮ１２４ｎの再算出は、有利には、ランダムトリプレットのミニバッチを生成する時間を節約し得る。

図４Ａおよび４Ｂは、１００，０００反復後の図１－３に図示されるディープネットワークアーキテクチャを伴うディープニューラルネットワーク１１２を使用した埋込１０８を学習する例示的結果を示す。図４Ａは、サンプル対埋込距離の比のヒストグラムプロットであって、同一対象および異なる対象の眼画像間の埋込空間内の距離を示す。同一対象の虹彩画像は、埋込空間内でともにより近く、異なる対象の虹彩画像は、埋込空間内で相互からより遠くに離れた。

図４Ｂは、真陽性率（ＴＰＲ）対偽陽性率（ＦＰＲ）の受信者動作特性（ＲＯＣ）曲線である。曲線下面積（ＡＵＣ）は、９８．７４％である。等価エラー率（ＥＥＲ）メトリックは、虹彩画像の試験セットにおけるペア毎照合品質を示すことができる。ランダムトリプレットの試験セットは、ランダムトリプレットのトリプレット訓練セットＴ２を生成するために使用される対象と異なる対象を使用して生成された。ローカルコントラスト正規化を伴う試験セットにおいて、５．６％ＥＥＲが、達成された。ローカルコントラスト正規化を伴わない場合、６．８％ＥＥＲが、達成された。ローカル応答正規化を伴う場合、５．３％ＥＥＲが、達成された。

極座標に変換された虹彩画像を使用して、ディープニューラルネットワーク１１２を訓練することで、３．６％ＥＥＲが、達成された。本結果は、１つの埋込空間表現を算出するために、フレームのグループを使用して改良されることができる。１つのアプローチは、いくつかの虹彩極画像をディープニューラルネットワーク１１２のｎ－チャネル入力として、例えば、６つの虹彩画像を６－チャネル入力として使用することができる。ｎ－チャネル入力の利用は、ディープニューラルネットワーク１１２が信号融合を実施することを可能にし得る。

別のアプローチは、ディープニューラルネットワーク１１２内で再帰層を利用することができ、例えば、再帰層は、ＤＮＮ１１２の入力層のより近くに、ＤＮＮ１１２の内部に位置することができる、またはＤＮＮ１１２の出力層のより近くに位置することができる。再帰層は、ディープニューラルネットワーク１１２が埋込融合を実施することを可能にし得る。ディープニューラルネットワーク１１２は、長短期メモリ（ＬＳＴＭ）アーキテクチャ、すなわち、ＬＳＴＭブロックを含有する人工ニューラルネットワークを実装することができる。ＬＳＴＭブロックは、恣意的時間長にわたって値を記憶することができる。ＬＳＴＭブロックは、入力が記憶するために十分に有意であるとき、値の記憶を継続または消去すべきであるとき、および値を出力すべきであるときを決定することができる。

別のアプローチは、ｎ－チャネル入力と再帰層を組み合わせることができる。ｎ－チャネルディープニューラルネットワークは、最良正確度を与え得る。長短期メモリ（ＬＳＴＭ）アーキテクチャは、ｎ－チャネルディープニューラルネットワークと組み合わせてのみ、正確度を改良し得る。例えば、６４極画像あたり１つの埋込空間表現を算出した８－チャネルＬＳＴＭ－ディープニューラルネットワークは、等価エラー率（ＥＥＲ）２．９％をもたらした。

図５Ａおよび５Ｂは、５０，０００反復後の図１－３に図示されるディープネットワークアーキテクチャを伴うディープニューラルネットワーク１１２を使用した埋込１０８を学習する例示的結果を示す。ディープニューラルネットワーク１１２は、６つの連続極画像のグループを６－チャネル入力として使用して訓練された。図５Ａは、確率密度対埋込距離のヒストグラムプロットであって、同一対象および異なる対象の極画像のグループのペア間の埋込空間内の距離を示す。図５Ｂは、真陽性率（ＴＰＲ）対偽陽性率（ＦＰＲ）の受信者動作特性（ＲＯＣ）曲線である。試験セットでは、２．１４％ＥＥＲが、６－チャネル入力を伴って達成された。対照的に、虹彩コードとハミング距離の組み合わせは、極虹彩画像、すなわち、極座標に変換された虹彩画像を使用して、８％ＥＥＲをもたらした。
（例示的ユーザデバイス）

図６は、ユーザデバイスの例示的眼認証装置６０４のブロック図である。眼認証装置６０４は、ユーザが認可されたユーザであるかどうかを決定するように構成されることができる。ユーザデバイスは、眼画像を捕捉するように構成される、画像センサ（例えば、デジタルカメラ）を含むことができる。ユーザを認証するために、画像センサは、ユーザの眼画像１１０を捕捉することができる。ユーザの眼画像から、眼認証装置６０４は、埋込６０８を使用して、ユーザが認可されたユーザであるかどうかを決定することができる。埋込６０８は、眼画像１１０を埋込空間内の埋込空間表現の中にマッピングすることができる。

埋込６０８は、眼認証訓練装置１０４によって学習された埋込１０８と同一であることができる、または埋込６０８は、眼認証訓練装置１０４によって学習された埋込１０８に類似することができる（例えば、埋込６０８は、量子化された埋込１０８の加重値を有することができる）。埋込６０８のアーキテクチャは、埋込１０８のアーキテクチャと同一であるであることができる、または埋込６０８のアーキテクチャは、埋込１０８のアーキテクチャに類似することができる。

いくつかの実施形態では、埋込６０８は、認証の間、埋込６０８がユーザの眼画像の埋込空間表現を算出する際、虹彩セグメント化（またはいくつかの眼画像およびいくつかの虹彩画像）を伴わずに、眼画像を使用して訓練されることができる。いくつかの実施形態では、埋込６０８は、認証の間、埋込６０８がユーザの虹彩画像の埋込空間表現を算出する際、虹彩画像を使用して訓練されることができる。そのような実施形態は、有利には、認証の間、算出を節約し得る。

埋込６０８の入力は、異なる実装では、異なり得る。例えば、埋込６０８の入力は、眼画像１１０であることができる。別の実施例として、埋込６０８の入力は、セグメント化された虹彩画像であることができる。眼認証装置６０４は、随意に、眼画像をセグメント化し、眼画像の虹彩部分を抽出し、セグメント化された虹彩画像６１４を生成するための虹彩抽出装置６１２を含むことができる。さらに別の実施例として、埋込６０８の入力は、埋込１０８の入力と同一であることができる。

ユーザの眼画像１１０（またはセグメント化された虹彩画像６１４）から、埋込６０８は、ユーザの眼画像の埋込空間表現（ＥｍｂＩｍｇ）１２０を算出することができる。ユーザの眼画像の埋込空間表現１２０は、埋込空間内のユーザの眼画像１１０のｎ－次元表現であることができる。分類子６１６は、埋込空間表現１２０に基づいて、ユーザが認可されたユーザであるかどうかの尤度スコアを計算することができる。尤度スコアに基づいて、分類子６１６は、ユーザが認可されたユーザであるかどうかを決定することができる（例えば、閾値１３２値に基づいて）。

尤度スコアは、異なる実装では、異なるように計算されることができる。例えば、分類子６１６は、ＥｍｂＩｍｇ１２０と認可されたユーザの眼画像の埋込空間表現を比較し、尤度スコアを計算することができる。別の実施例として、分類子６１６は、ＥｍｂＩｍｇ１２０と認可されたユーザの２つ以上の眼画像の埋込空間表現を比較し、尤度スコアを計算することができる。ＥｍｂＩｍｇ１２０と認可されたユーザの１つ以上の眼画像との間の距離が、閾値、例えば、眼認証訓練装置１０４によって決定された閾値１３２内にある場合、分類子６１６は、ユーザデバイスに、ユーザが認可されたユーザとして認証されるべきであるように、ユーザの眼画像が埋込空間内の認可されたユーザの眼画像に十分に類似することを示すことができる。埋込空間内の２つの眼画像の表現間の距離は、例えば、２つの表現間のユークリッド距離（Ｌ２ノルム等）または非ユークリッド距離（例えば、双曲線空間）であることができる。ユーザデバイスは、分類子の決定に基づいて、ユーザを認証し、ユーザへのアクセスを許可または否認することができる。いくつかの実装では、閾値は、認証の間、埋込６０８がユーザの眼画像の埋込空間表現（または虹彩画像）を算出する際、虹彩セグメント化（またはいくつかの眼画像およびいくつかの虹彩画像）を伴って（または伴わずに）、埋込６０８が眼画像を使用して訓練される場合、より大きく（またはより小さく）あることができる。そのような実装は、有利には、認証の間、算出を節約し得る。

分類子６１６は、多くのタイプの分類子のうちの１つであることができる。例えば、分類子６１６は、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、またはソフトマックス分類子等のバイナリ分類子であることができる。例えば、分類子６１６は、マルチクラスロジスティック回帰分類子、マルチクラスサポートベクトルマシン分類子、またはベイズ分類子等のマルチクラスまたはマルチラベル分類子であることができる。
（眼認証のための例示的プロセス）

図７は、眼認証のための例示的プロセス７００のフロー図である。眼認証装置６０４は、眼認証のための例示的プロセス７００を実装することができる。プロセス７００は、ブロック７０４から開始する。ブロック７０８では、ユーザの眼画像が、受信される。例えば、ユーザデバイスの画像センサ（例えば、デジタルカメラ）が、ユーザの眼画像を捕捉することができる。ブロック７０８においてユーザの眼画像を受信後、ユーザの眼画像は、ブロック７１２において、随意に、例えば、ユーザデバイスの虹彩抽出装置６１２によって虹彩画像を生成するためにセグメント化されることができる。ブロック７１６では、眼認証装置６０４の埋込６０８は、ユーザの虹彩画像（または眼画像）の埋込空間表現を算出することができる。いくつかの実施形態では、埋込６０８は、認証の間、埋込６０８がユーザの眼画像の埋込空間表現を算出する際、虹彩セグメント化（またはいくつかの眼画像およびいくつかの虹彩画像）を伴わずに、眼画像を使用して訓練されることができる。いくつかの実施形態では、埋込６０８は、認証の間、埋込６０８がユーザの虹彩画像の埋込空間表現を算出する際、虹彩画像を使用して訓練されることができる。そのような実施形態は、有利には、認証の間、算出を節約し得る。

ユーザの虹彩画像の埋込空間表現に基づいて、眼認証装置６０４の分類子６１６は、例えば、ブロック７２０において、ユーザが認可されたユーザであるかどうかを決定することができる。例えば、分類子６１６は、ユーザの虹彩画像の埋込空間表現と認可されたユーザの１つ以上の虹彩画像の１つ以上の埋込空間表現を比較することができる。ユーザの虹彩画像の埋込空間表現と認可されたユーザの１つ以上の虹彩画像との間の距離が、閾値、例えば、眼認証訓練装置１０４によって決定された閾値１３２内にある場合、眼認証装置６０４の分類子６１６は、ユーザデバイスに、ユーザが認可されたユーザとして認証されるべきであるように、ユーザの虹彩画像が埋込空間内の認可されたユーザの虹彩画像に十分に類似することを示すことができる。ブロック７２８では、ユーザデバイスは、ブロック７２０において、例えば、分類子の決定に基づいて、ユーザのアクセスを許可または否認することができる。プロセス７００は、ブロック７２８において終了する。
（例示的眼認証システム）

図８は、眼認証システム８００の実施例を図式的に図示する。眼認証システム８００は、眼認証訓練システム８０４と、１人以上の認可されたユーザによって動作される、１つ以上のユーザデバイスとを含むことができる。例えば、第１の認可されたユーザは、第１のユーザデバイス８０８ａを動作させることができ、第２の認可されたユーザは、第２のユーザデバイス８０８ｂを動作させることができる。眼認証訓練システム８０４またはユーザデバイス８０８ａまたは８０８ｂは、１つ以上の場所における１つ以上のコンピュータ上のコンピュータプログラムとして、上記に説明されるシステム、コンポーネント、または技法を実装することができる。

眼認証訓練システム８０４は、ユーザデバイス８０８ａまたは８０８ｂに、眼認証のために、眼画像を眼画像空間から埋込空間表現の中にマッピングし得る、埋込１０８を提供することができる。眼認証訓練システム８０４によってユーザデバイス８０８ａまたは８０８ｂに、提供される埋込１０８は、虹彩認証のために、虹彩画像（眼球周囲領域の画像からセグメント化され得る）を虹彩画像空間から埋込空間表現の中にマッピングすることができる。眼認証訓練システム８０４はまた、ユーザデバイス８０８ａまたは８０８ｂに、ユーザが認可されたユーザとして認証されるべきであるように、ユーザの眼画像が埋込空間内の認可されたユーザの眼画像に十分に類似するかどうかを決定する際に使用され得る、埋込空間内の閾値１３２および／または分類子６１６を提供することができる。ユーザデバイス８０２ａまたは８０２ｂは、眼認証訓練システム８０４から直接、または別のコンピューティングシステムを介して、眼認証訓練システム８０４から間接的に、埋込１０８（または埋込１０８の一部）、閾値１３２（または閾値１３２の一部）、および／または分類子６１６（または分類子６１６の一部）を受信することができる。

眼認証訓練システム８０４は、デスクトップコンピュータ、サーバコンピュータ、またはクラウドコンピューティングシステムを含む、ハードウェアコンピューティングデバイス上に実装されることができる。ユーザデバイス８０８ａまたは８０８ｂの非限定的実施例は、デスクトップコンピュータ、サーバコンピュータ、クラウドコンピューティングシステム、またはモバイルコンピューティングデバイス、例えば、携帯電話、タブレットコンピュータ、電子リーダ、スマートウォッチ、またはウェアラブルディスプレイシステム（例えば、図９を参照して説明される頭部搭載型ディスプレイ９００参照）を含む。

ユーザデバイス８０８ａまたは８０８ｂと眼認証訓練システム８０４との間の通信を促進するために、ユーザデバイス８０８ａまたは８０８ｂは、眼認証訓練システムインターフェース８１２ａまたは８１２ｂを含むことができ、眼認証訓練システム８０４は、ユーザデバイスインターフェース８１２ｃを含むことができる。眼認証訓練システムインターフェース８１２ａまたは８１２ｂは、ネットワークインターフェースを使用して、ユーザデバイスインターフェース８１２ｃと通信することができる。ユーザインターフェース８１２ｃは、同期的または非同期的のいずれかにおいて、ネットワークインターフェースを使用して、眼認証訓練システムインターフェース８１２ａまたは８１２ｂと通信することができる。相互に通信するために、認証訓練システムインターフェース８１２ａまたは８１２ｂまたはユーザインターフェース８１２ｃによって使用される、非限定的例示的プロトコルは、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、またはハイパーテキスト転送プロトコル（ＨＴＴＰ）を含む。ユーザインターフェース８１２ｃは、ウェブサーバとして実装されることができる。認証訓練システムインターフェース８１２ａまたは８１２ｂは、ウェブクライアントとして実装されることができる。

ユーザデバイス８０８ａまたは８０８ｂは、ユーザのバイオメトリック情報を捕捉するために、１つ以上のセンサを含むことができる。例えば、ユーザデバイス８０８ａまたは８０８ｂは、認可されたユーザの眼画像を含む、ユーザの眼画像を捕捉するために、１つの画像センサ（例えば、デジタルカメラ）を含むことができる。別の実施例として、ユーザデバイス８０８ａまたは８０８ｂは、肌質、皮膚テクスチャ、指紋、または音声等の他のバイオメトリック情報を捕捉するために、１つ以上のセンサを含むことができる。

ユーザを認証するために、ユーザデバイス８０８ａまたは８０８ｂは、画像センサを使用して、ユーザの眼画像を捕捉することができる。眼画像は、眼の眼球周囲領域を含むことができる。眼は、可視または赤外線光を使用してイメージングされることができる。眼画像を捕捉後、ユーザデバイス８０８ａまたは８０８ｂの眼認証装置６０４ａまたは６０４ｂは、埋込１０８を使用して、眼画像を、眼画像空間から、埋込空間表現、すなわち、埋込空間内の眼画像のｎ－要素表現の中にマッピングすることができる。いくつかの実施形態では、眼画像を捕捉後、ユーザデバイス８０８ａまたは８０８ｂの眼認証装置６０４ａまたは６０４ｂは、随意に、眼画像をセグメント化し、眼画像の虹彩部分を抽出し、ユーザのセグメント化された虹彩画像を生成することができる。ユーザの虹彩画像を生成後、ユーザデバイス８０８ａまたは８０８ｂの眼認証装置６０４ａまたは６０４ｂは、埋込１０８を使用して、虹彩画像を虹彩画像空間から埋込空間内の虹彩画像の表現の中にマッピングすることができる。

ユーザを認証するために、眼認証装置６０４ａまたは６０４ｂは、埋込空間内の捕捉された眼画像の埋込空間表現と埋込空間内の認可されたユーザの１つ以上の眼画像の埋込空間表現との間の距離を決定することができる。ユーザの眼画像の埋込空間表現と認可されたユーザの眼画像との間の距離が、閾値１２８内にある場合、眼認証装置６０４ａまたは６０４ｂは、ユーザが認可されたユーザとして認証されるべきであるように、ユーザの眼画像が認可されたユーザの眼画像に十分に類似すると見なすことができる。ユーザデバイス８０８ａまたは８０８ｂは、眼認証装置６０４ａまたは６０４ｂがユーザを認可されたユーザとして認証し得るかどうかに基づいて、ユーザデバイス８０８ａまたは８０８ｂに対するユーザアクセスを許可または否認することができる。２つの埋込空間表現間の距離は、例えば、２つの埋込空間表現間のユークリッド距離（Ｌ２ノルム等）または非ユークリッド距離（例えば、双曲線空間）であることができる。

眼認証装置６０４ａまたは６０４ｂによって実施される算出は、ユーザデバイス８０８ａまたは８０８ｂのコンポーネント、またはユーザデバイス８０８ａまたは８０８ｂと関連付けられた、またはそれと通信する、コンポーネントを横断して分散されることができる。いくつかの実施形態では、ユーザデバイス８０８ａまたは８０８ｂは、ローカル処理モジュールおよびローカルデータリポジトリ（例えば、図９に図示されるローカル処理およびデータモジュール９２４）を含むことができる。ユーザデバイス８０８ａまたは８０８ｂは、遠隔処理モジュール（例えば、図９における遠隔処理モジュール９２８）および／または遠隔データリポジトリ（例えば、図９における遠隔データリポジトリ９３２）と通信する、またはそれを含むことができる。ユーザデバイス８０８ａまたは８０８ｂは、埋込１０８全体（またはその一部）および／または分類子６１６全体（またはその一部）を記憶することができる。ユーザを認証するために、ユーザデバイス８０８ａまたは８０８ｂは、画像センサを使用して、ユーザの眼画像を捕捉することができる。眼画像を捕捉後、ユーザデバイス８０８ａまたは８０８ｂの眼認証装置６０４ａまたは６０４ｂは、埋込１０８を使用して、眼画像を眼画像空間から埋込空間表現の中にマッピングすることができる。

ユーザデバイス８０８ａまたは８０８ｂのローカル処理モジュールおよび／または遠隔処理モジュールは、眼認証装置６０４ａまたは６０４ｂによって使用され、埋込１０８を使用して、眼画像を眼画像空間から埋込空間表現の中にマッピングすることができる。例えば、埋込１０８は、遠隔データリポジトリ内に記憶されることができ、遠隔処理モジュールは、埋込１０８を使用して、眼画像を眼画像空間から埋込空間表現の中にマッピングすることができる。別の実施例として、埋込１０８（または埋込１０８の一部）は、ローカルデータリポジトリおよび遠隔データリポジトリの両方内に記憶されることができ、ローカル処理モジュールおよび遠隔処理モジュールはともに、埋込１０８を使用して、眼画像を眼画像空間から埋込空間表現の中にマッピングすることができる。ローカル処理モジュールおよび遠隔処理モジュールはそれぞれ、マッピングプロセスまたは算出の一部を実施することができる。さらに別の実施例として、眼画像から埋込空間表現の中へのマッピングは、ローカル処理モジュールおよび遠隔処理モジュールを横断して分散されることができる。マッピングプロセスの分散は、ローカル処理モジュールおよび／または遠隔処理モジュールのワークロードに基づいて、事前定義または決定されることができる。代替として、または加えて、マッピングプロセスの分散は、ローカル処理モジュールおよび／または遠隔処理モジュールに利用可能なエネルギー（例えば、バッテリ電力）に基づくことができる。

いくつかの実施形態では、ユーザデバイス８０８ａまたは８０８ｂ（例えば、ローカル処理モジュールおよび／または遠隔処理モジュールを使用する）および／または別のコンピューティングシステム（例えば、クラウド上のコンピューティングシステムまたはユーザデバイス８０８ａまたは８０８ｂのコンパニオンコンピューティングシステム）が、眼認証装置６０４ａまたは６０４ｂによって使用され、埋込１０８を使用して、眼画像を眼画像空間から埋込空間表現の中にマッピングすることができる。コンピューティングシステムは、埋込１０８全体（またはその一部）および／または分類子６１６全体（またはその一部）を記憶および使用することができる。例えば、ユーザデバイス８０８ａまたは８０８ｂは、眼画像を他のコンピューティングシステムに伝送することができる。眼画像を埋込空間表現の中にマッピング後、コンピューティングシステムは、埋込空間表現をユーザデバイス８０８ａまたは８０８ｂに返送することができる。別の実施例として、眼画像から埋込空間表現の中へのマッピングは、ユーザデバイス８０８ａまたは８０８ｂおよびコンピューティングシステムを横断して分散されることができる。マッピングプロセスの分散は、ユーザデバイス８０８ａまたは８０８ｂおよび／またはコンピューティングシステムのワークロードに基づいて、決定されることができる。代替として、または加えて、マッピングプロセスの分散は、ユーザデバイス８０８ａまたは８０８ｂに利用可能なエネルギー（例えば、バッテリ電力）、ユーザデバイス８０８ａまたは８０８ｂの残りのバッテリ電力、および／またはコンピューティングシステムに基づくことができる。

マッピングプロセスが、ユーザデバイス８０８ａまたは８０８ｂ、ローカル処理モジュール、遠隔処理モジュール、および／または他のコンピューティングシステムによって実施されるかどうかにかかわらず、ユーザデバイス８０８ａまたは８０８ｂ、ローカル処理モジュール、遠隔処理モジュール、および／またはコンピューティングシステムは、眼認証装置６０４ａまたは６０４ｂによって使用され、埋込空間内の捕捉された眼画像の埋込空間表現と埋込空間内の認可されたユーザの１つ以上の眼画像の埋込空間表現との間の距離を決定することができる。例えば、ユーザデバイス８０８ａまたは８０８ｂは、マッピングプロセス（またはマッピングプロセスの一部）を実施し、眼画像の埋込空間表現を生成し、埋込空間表現をコンピューティングシステムに伝送することができる。コンピューティングシステムは、順に、埋込空間内の捕捉された眼画像の埋込空間表現と埋込空間内の認可されたユーザの１つ以上の眼画像の埋込空間表現との間の距離を決定することができる。コンピューティングシステムは、距離をユーザデバイス８０８ａまたは８０８ｂに伝送することができ、これは、順に、距離に基づいて、ユーザを認証することができる、またはコンピューティングシステムは、ユーザデバイス８０８ａまたは８０８ｂがユーザを認証すべきかどうかを決定し、決定をユーザデバイス８０８ａまたは８０８ｂに伝送することができる。別の実施例として、コンピューティングシステムは、マッピングプロセス（またはマッピングプロセスの一部）を実施し、眼画像の埋込空間表現を生成することができる。コンピューティングシステムは、ユーザデバイス８０８ａまたは８０８ｂに、埋込空間表現、捕捉された眼画像の埋込空間表現と埋込空間内の認可されたユーザの１つ以上の眼画像の埋込空間表現との間の距離、および／またはユーザデバイス８０８ａまたは８０８ｂがユーザを認証すべきかどうかの決定を伝送することができる。ユーザデバイス８０８ａまたは８０８ｂは、受信された埋込空間表現、距離、または認証決定を使用して、ユーザを認証することができる。

ユーザデバイス８０８ａまたは８０８ｂ、ローカル処理モジュール、ローカルデータリポジトリ、遠隔処理モジュール、遠隔データリポジトリ、および／または他のコンピューティングシステム間の伝送または通信は、暗号化される場合とそうではない場合がある。例えば、ユーザデバイス８０８ａまたは８０８ｂとコンピューティングシステムとの間の伝送は、暗号化されてもよい。別の実施例として、ローカル処理モジュールと遠隔処理モジュールとの間の伝送は、暗号化されなくてもよい。

眼認証装置６０４ａまたは６０４ｂが、ユーザを認可されたユーザとして認証した後、眼認証装置６０４ａまたは６０４ｂは、ユーザデバイスインターフェース８１２ｃまたは眼認証訓練システムインターフェース８１２ａまたは８１２ｂを介して、ユーザを眼認証訓練装置１０４に認証するために使用される眼画像を提供することができる。眼認証装置６０４ａまたは６０４ｂによって提供される認証されるユーザの眼画像から、眼認証訓練装置１０４は、規則的間隔において、更新された埋込１０８または更新された閾値１２８のうちの１つ以上のものを算出することができる。眼認証訓練システム８０４は、ユーザデバイスインターフェース８１２ｃまたは眼認証訓練システムインターフェース８１２ａまたは８１２ｂを介して、更新された埋込１０８、更新された埋込空間内の更新された閾値１２８、および／または更新された分類子６１６をユーザデバイス８０８ａまたは８０８ｂに提供することができる。眼認証訓練システム８０４からユーザデバイス８０８ａまたは８０８ｂへの更新された埋込１０８、更新された埋込空間内の更新された閾値１２８、および／または更新された分類子６１６の伝送は、暗号化される場合とそうではない場合がある。

規則的間隔は、時間ベースであることができる。例えば、規則的間隔は、１時間、１日、または１ヶ月毎に１回であることができる。規則的間隔は、ユーザデバイス８０８ａまたは８０８ｂによる成功認証の回数に基づくことができる。例えば、規則的間隔は、１，０００回の成功認証毎に１回であることができる。規則的間隔は、眼認証装置６０４ａまたは６０４ｂによって眼認証訓練装置１０４に提供される認証される眼画像の数に基づくことができる。例えば、規則的間隔は、眼認証装置６０４ａまたは６０４ｂによって認証訓練装置１０４に提供される１，０００枚の認証される眼画像毎に１回であることができる。

ユーザデバイス８０８ａまたは８０８ｂまたは眼認証訓練システム８０４は、ユーザデバイス８０８ａまたは８０８ｂまたは眼認証訓練システム８０４が電源オンされるとき、命令およびデータを記憶するために、メモリ、例えば、ランダムアクセスメモリ（ＲＡＭ）内に記憶される命令を実行するためのハードウェアプロセッサを含むことができる。メモリは、読取専用、不揮発性、書込可能、または揮発性メモリを含むことができる。ユーザデバイス８０８ａまたは８０８ｂまたは眼認証訓練システム８０４は、ユーザデバイス８０８ａまたは８０８ｂまたは眼認証訓練システム８０４が電源オンまたは電源オフされるとき、命令またはデータを記憶するための記憶装置を含むことができる。メモリまたは記憶装置の一方または両方が、埋込１０８または閾値１２８を記憶することができる。

ユーザデバイス８０８ａまたは８０８ｂまたは眼認証訓練システム８０４はそれぞれ、データ通信ネットワーク８１６またはクラウド上の他のデバイスと通信するために、ネットワークインターフェースを含むことができる。ネットワークインターフェースの非限定的実施例は、有線通信、無線通信、セルラー通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）、無線周波数（ＲＦ）、または赤外線（ＩＲ）を使用した通信を含む。データ通信ネットワーク８２６の非限定的実施例は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、またはインターネットを含む。
（例示的ウェアラブルディスプレイシステム）

ユーザデバイス８０８ａまたは８０８ｂは、ウェアラブルディスプレイデバイスであることができる、またはその中に含まれることができ、有利なこととして、より没入型の仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。

理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数の深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。例えば、導波管のスタックを含有するディスプレイが、ユーザまたは視認者の眼の正面に位置付けられて装着されるように構成され得る。導波管のスタックは、複数の導波管を使用し、画像投入デバイス（例えば、１つ以上の光ファイバを介して画像情報を送る、多重化ディスプレイの離散ディスプレイまたは出力端）から、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）における視認者の眼に光を指向させることによって、３次元知覚を眼／脳に提供するために利用され得る。

いくつかの実施形態では、導波管の２つのスタック（視認者の眼毎に１つ）が、異なる画像を各眼に提供するために利用され得る。一実施例として、拡張現実シーンは、ＡＲ技術の装着者が、人物、木、背景の建物、およびコンクリートプラットフォームを特徴とする現実世界の公園のような設定を見るようにし得る。これらのアイテムに加えて、ＡＲ技術の装着者はまた、自身が、現実世界プラットフォーム上に立っているロボット像およびマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタを、そのロボットの像およびマルハナバチが現実世界に存在していないにもかかわらず、「見ている」と知覚し得る。導波管のスタックは、入力画像に対応するライトフィールドを生成するために使用され得、いくつかの実装では、ウェアラブルディスプレイは、ウェアラブルライトフィールドディスプレイを含む。ライトフィールド画像を提供するためのウェアラブルディスプレイデバイスおよび導波管スタックの実施例が、米国特許公開第２０１５／００１６７７７号（参照することによって、これが含有するあらゆるものに関してその全体として本明細書に組み込まれる）に説明されている。

図９は、装着者にＡＲ、ＶＲ、またはＭＲ体験を提示するために使用され得る、ウェアラブルディスプレイシステム９００の実施例を図示する。ウェアラブルディスプレイシステム９００は、眼認証装置６０４を実施し、本明細書に説明される用途または実施形態のいずれかを提供するようにプログラムされ得る。ディスプレイシステム９００は、ディスプレイ９０８と、そのディスプレイ９０８の機能をサポートするための種々の機械的および電子的なモジュールおよびシステムとを含む。ディスプレイ９０８は、フレーム９１２に結合され得、これは、ディスプレイシステム装着者または視認者９０４によって装着可能であり、装着者９０４の眼の正面にディスプレイ９０８を位置付けるように構成される。ディスプレイ９０８は、ライトフィールドディスプレイであり得る。いくつかの実施形態では、スピーカ９１６が、フレーム９１２に結合され、ユーザの外耳道に隣接して位置付けられ、いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する。ディスプレイ９０８は、有線導線または無線接続等によって、フレーム９１２に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ９０４に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール９２４に動作可能に結合される（９２０）。

ローカル処理およびデータモジュール９２４は、ハードウェアプロセッサおよび非一過性デジタルメモリ、例えば不揮発性メモリ（例えば、フラッシュメモリ等）を備え得、その両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロ等の（例えば、フレーム９１２に動作可能に結合される、または別様に装着者９０４に取り付けられ得る）センサから捕捉されるデータ、および／または、（ｂ）場合によっては処理または読出後のディスプレイ９０８への通過のために、遠隔処理モジュール９２８および／または遠隔データリポジトリ９３２を使用して取得および／または処理されるデータとを含む。ローカル処理およびデータモジュール９２４は、有線または無線通信リンクを介する等、通信リンク９３６、９４０によって、遠隔処理モジュール９２８および遠隔データリポジトリ９３２に動作可能に結合され得、したがって、これらの遠隔モジュール９２８、９３２は、相互に動作可能に結合され、ローカル処理およびデータモジュール９２４へのリソースとして利用可能である。遠隔処理モジュール９２８および／または遠隔データリポジトリ９３２は、頭部搭載型ディスプレイ９００の一部である、頭部搭載型ディスプレイ９００のコンパニオンデバイスの一部である、ローカル処理およびデータモジュール９２４と同一ネットワーク上にある、および／またはクラウド上にあることができる。

いくつかの実施形態では、遠隔処理モジュール９２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備え得る。ビデオデータは、ローカル処理およびデータモジュール９２４内に、および／または遠隔データリポジトリ９３２内にローカルに記憶され得る。いくつかの実施形態では、遠隔データリポジトリ９３２は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール９２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

いくつかの実装では、ローカル処理およびデータモジュール９２４および／または遠隔処理モジュール９２８は、本明細書に開示される眼認証装置６０４の実施形態を実施するようにプログラムされる。画像捕捉デバイスは、特定の用途のために、眼画像および虹彩画像を捕捉することができる（例えば、認証用途のための装着者の眼の眼画像および虹彩画像または識別用途のための装着者以外の人物の眼の眼画像および虹彩画像）。眼画像および虹彩画像は、処理モジュール９２４、９２８の一方または両方によって、眼認証装置６０４を使用して分析されることができる。ある場合には、眼認証装置６０４分析の少なくとも一部を遠隔処理モジュール（例えば、「クラウド」内）にオフロードすることは、算出の効率または速度を改良し得る。眼認証装置６０４のパラメータ（例えば、プーリング層のためのサブサンプリング係数、種々の層の入力サイズ、数、カーネルサイズ、およびストライド等）が、データモジュール９２４および／または９２８内に記憶されることができる。

画像分析の結果（例えば、眼認証訓練装置１０４の出力）は、付加的動作または処理のために、処理モジュール９２４、９２８の一方または両方によって使用されることができる。例えば、種々の用途では、バイオメトリック識別、眼追跡、ジェスチャの認識または分類、オブジェクト、姿勢等が、ウェアラブルディスプレイシステム９００によって使用されてもよい。例えば、眼認証訓練装置１０４は、装着者９０４の捕捉された眼画像または虹彩画像を分析し、装着者９０４を認証してもよく、システム９００は、装着者の認証に応答して、適切なアクションを実施してもよい（例えば、装着者９０４の新しい電子メールを表示する）。別の実施例として、眼認証装置６０４を実施する処理モジュール９２４、９２８は、装着者の周囲における人々の眼画像または虹彩画像を分析し、装着者の周囲における人々を識別してもよい。ウェアラブルディスプレイシステム９００の処理モジュール９２４、９２８は、１つ以上の好適な眼認証訓練装置１０４を用いて、本明細書に説明されるビデオまたは画像処理用途のいずれかを実施するようにプログラムされることができる。
（付加的側面）

第１の側面では、虹彩認証のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で実施され、眼の第１の画像を受信するステップと、ディープニューラルネットワークを使用して、眼の第１の画像を処理し、埋込空間表現を生成するステップと、分類子を使用して、埋込空間表現を処理し、眼の第１の画像が認可されたユーザの眼の画像である、尤度スコアを計算するステップとを含む。

第２の側面では、ディープニューラルネットワークは、複数の層を備え、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面１に記載の方法。

第３の側面では、明度正規化層は、ローカルコントラスト正規化層またはローカル応答正規化層である、側面２に記載の方法。

第４の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面１－３のいずれか１項に記載の方法。

第５の側面では、トリプレットネットワークは、ディープニューラルネットワークを複数の人物の眼画像から学習するように構成され、同一人物からの眼画像に関する埋込空間表現内の距離は、異なる人物からの眼画像に関する埋込空間表現内の距離より小さい、側面４に記載の方法。

第６の側面では、眼の第１の画像は、ユーザから受信され、本方法はさらに、尤度スコアに基づいて、ユーザデバイスへのユーザアクセスを許可または否認するステップを含む、側面１－５のいずれか１項に記載の方法。

第７の側面では、眼の第１の画像は、ユーザデバイスの画像センサによって捕捉される、側面６に記載の方法。

第８の側面では、埋込空間表現は、単位長を有する、側面１－７のいずれか１項に記載の方法。

第９の側面では、分類子は、ユークリッド距離に基づいて、尤度スコアを生成する、側面１－８のいずれか１項に記載の方法。

第１０の側面では、分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、側面１－９のいずれか１項に記載の方法。

第１１の側面では、眼の第１の画像をセグメント化し、眼の虹彩の第２の画像を生成するステップをさらに含み、眼の第１の画像を処理するステップは、ディープニューラルネットワークを使用して、眼の虹彩の第２の画像を処理し、埋込空間表現を生成するステップを含む、側面１－１０のいずれか１項に記載の方法。

第１２の側面では、眼の第１の画像は、主に、眼の虹彩および網膜を含む、側面１－１１のいずれか１項に記載の方法。

第１３の側面では、眼の第１の画像は、主に、眼の網膜を含む、側面１－１２のいずれか１項に記載の方法。

第１４の側面では、埋込空間表現は、ｎ次元であって、埋込空間表現の要素の大部分は、統計的に独立している、側面１－１３のいずれか１項に記載の方法。

第１５の側面では、虹彩認証のために埋込ネットワークを訓練するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で実施され、複数の層を備えるディープニューラルネットワークを作成するステップであって、複数の層はそれぞれ、複数の層の少なくとも別の層に接続される、ステップと、ディープニューラルネットワークに複数の人物の眼画像を備える訓練セットを提供するステップと、ディープニューラルネットワークを使用して、複数の眼画像の埋込空間表現を算出するステップであって、同一人物の複数の眼画像の埋込空間表現は、閾値内にある、ステップとを含む。

第１６の側面では、ディープニューラルネットワークを使用して、複数の眼画像の埋込空間表現を算出するステップは、同一人物および異なる人物の眼画像の埋込空間表現間の距離に基づいて、ディープニューラルネットワークを更新するステップを含む、側面１５に記載の方法。

第１７の側面では、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面１５－１６のいずれか１項に記載の方法。

第１８の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面１５－１７のいずれか１項に記載の方法。

第１９の側面では、トリプレットネットワークは、眼画像のトリプレットを使用して、訓練セットからディープニューラルネットワークを学習し、トリプレットの２つの眼画像は、同一人物からのものであって、トリプレットの第３の眼画像は、異なる人物からのものである、側面１８に記載の方法。

第２０の側面では、認可されたユーザの虹彩認証のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で実施され、眼の画像を受信するステップと、眼の画像を処理し、極座標内の眼の画像の表現を生成するステップと、ディープニューラルネットワークを使用して、極座標内の眼の画像の表現を処理し、埋込空間表現を生成するステップと、分類子を使用して、埋込空間表現を処理し、眼の画像が認可されたユーザの眼の画像である、尤度スコアを生成するステップとを含む。

第２１の側面では、認可されたユーザの虹彩認証のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で実施され、第１の眼の第１の画像および第２の眼の第２の画像を受信するステップと、ディープニューラルネットワークを使用して、第１の眼の第１の画像および第２の眼の第２の画像を処理し、第１の眼の第１の埋込空間表現および第２の眼の第２の埋込空間表現を生成するステップと、分類子を使用して、第１の埋込空間表現および第２の埋込空間表現を処理し、第１の眼の第１の画像が、認可されたユーザの左眼の画像であって、第２の眼の第２の画像が、認可されたユーザの右眼の画像である、尤度スコアを生成するステップとを含む。

第２２の側面では、認可されたユーザの虹彩認証のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で実施され、眼の画像および少なくとも１つの他のバイオメトリック情報を受信するステップと、ディープニューラルネットワークを使用して、眼の画像および少なくとも１つの他のバイオメトリック情報を処理し、埋込空間表現を生成するステップと、分類子を使用して、埋込空間表現を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成するステップとを含む。

第２３の側面では、認可されたユーザの虹彩認証のための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で実施され、眼の画像を受信するステップと、ディープニューラルネットワークを使用して、眼の画像を処理し、埋込空間表現を生成するステップと、少なくとも１つの他のバイオメトリック情報を受信するステップと、分類子を使用して、埋込空間表現および少なくとも１つの他のバイオメトリック情報を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成するステップとを含む。

第２４の側面では、コンピュータシステムが、開示される。コンピュータシステムは、ハードウェアプロセッサと、ハードウェアプロセッサによって実行されると、ハードウェアプロセッサに、側面１－２３のいずれか１項に記載の方法を実施させる、その上に記憶される命令を有する、非一過性メモリとを備える。

第２５の側面では、コンピュータシステムは、モバイルデバイスである、側面２４に記載のコンピュータシステム。

第２６の側面では、モバイルデバイスは、ウェアラブルディスプレイシステムである、側面２５に記載のコンピュータシステム。

第２７の側面では、頭部搭載型ディスプレイとして構成される、側面２６に記載のコンピュータシステム。

第２８の側面では、眼画像を捕捉するための画像センサをさらに備える、側面２４－２７のいずれか１項に記載のコンピュータシステム。

第２９の側面では、ライトフィールドディスプレイをさらに備える、側面２４－２９のいずれか１項に記載のコンピュータシステム。

第３０の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、ユーザの眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像を受信することと、ディープニューラルネットワークを使用して、眼の第１の画像を処理し、埋込空間表現を生成することと、分類子を使用して、埋込空間表現を処理し、眼の第１の画像が認可されたユーザの眼の画像である、尤度スコアを計算することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

第３１の側面では、ディープニューラルネットワーク（またはディープニューラルネットワークの一部）は、非一過性メモリ内に記憶される、側面３０に記載のウェアラブルディスプレイシステム。

第３２の側面では、分類子（または分類子の一部）は、非一過性メモリ内に記憶される、側面３０－３１のいずれか１項に記載のウェアラブルディスプレイシステム。

第３３の側面では、ディープニューラルネットワークは、複数の層を備え、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面３０－３２のいずれか１項に記載のウェアラブルディスプレイシステム。

第３４の側面では、明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、側面３３に記載のウェアラブルディスプレイシステム。

第３５の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面３０－３４のいずれか１項に記載のウェアラブルディスプレイシステム。

第３６の側面では、トリプレットネットワークは、ディープニューラルネットワークを複数の人物の眼画像から学習するように構成され、同一人物からの眼画像に関する埋込空間表現内の距離は、異なる人物からの眼画像に関する埋込空間表現内の距離より小さい、側面３５に記載のウェアラブルディスプレイシステム。

第３７の側面では、ハードウェアプロセッサは、実行可能命令によって、尤度スコアに基づいて、ウェアラブルディスプレイシステムへのユーザアクセスを許可または否認するようにプログラムされる、側面３０－３６のいずれか１項に記載のウェアラブルディスプレイシステム。

第３８の側面では、埋込空間表現は、単位長を有する、側面３０－３７のいずれか１項に記載のウェアラブルディスプレイシステム。

第３９の側面では、分類子は、ユークリッド距離に基づいて、尤度スコアを生成する、側面３０－３８のいずれか１項に記載のウェアラブルディスプレイシステム。

第４０の側面では、分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、側面３０－３９のいずれか１項に記載のウェアラブルディスプレイシステム。

第４１の側面では、ハードウェアプロセッサは、実行可能命令によって、眼の第１の画像をセグメント化し、眼の虹彩の第２の画像を生成するようにプログラムされ、眼の第１の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、眼の虹彩の第２の画像を処理し、埋込空間表現を生成するようにプログラムされる、側面３０－４０のいずれか１項に記載のウェアラブルディスプレイシステム。

第４２の側面では、眼の第１の画像は、主に、眼の虹彩および網膜を含む、側面３０－４１のいずれか１項に記載のウェアラブルディスプレイシステム。

第４３の側面では、眼の第１の画像は、主に、眼の網膜を含む、側面３０－４２のいずれか１項に記載のウェアラブルディスプレイシステム。

第４４の側面では、埋込空間表現は、ｎ－次元ベクトルであって、埋込空間表現の要素の大部分は、統計的に独立している、側面３０－４３のいずれか１項に記載のウェアラブルディスプレイシステム。

第４５の側面では、虹彩認証のために埋込ネットワークを訓練するためのシステムであって、実行可能命令を記憶するコンピュータ可読メモリと、実行可能命令によって、少なくとも、複数の層を備えるディープニューラルネットワークにアクセスすることであって、複数の層の各層は、複数の層の少なくとも別の層に接続される、ことと、ディープニューラルネットワークに複数の人物の眼画像を備える訓練セットを提供することと、ディープニューラルネットワークを使用して、複数の眼画像の埋込空間表現を算出することであって、同一人物の複数の眼画像の埋込空間表現は、閾値内にある、こととを行うようにプログラムされる、１つ以上のハードウェアベースのハードウェアプロセッサとを備える。

第４６の側面では、ディープニューラルネットワークを使用して、複数の眼画像の埋込空間表現を算出するための命令は、同一人物および異なる人物の眼画像の埋込空間表現間の距離に基づいて、ディープニューラルネットワークを更新するための命令を備える、側面４５に記載のシステム。

第４７の側面では、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面４５－４６のいずれか１項に記載のシステム。

第４８の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面４５－４７のいずれか１項に記載のシステム。

第４９の側面では、トリプレットネットワークは、眼画像のトリプレットを使用して、訓練セットからディープニューラルネットワークを学習し、トリプレットの２つの眼画像は、同一人物からのものであって、トリプレットの第３の眼画像は、異なる人物からのものである、側面４８に記載のシステム。

第５０の側面では、頭部搭載型ディスプレイシステムが、開示される。頭部搭載型ディスプレイシステムは、ディスプレイと、ユーザの眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像を受信することと、眼の第１の画像を処理し、眼の第１の画像の表現を極座標内に生成することと、ディープニューラルネットワークを使用して、極座標内の眼の第１の画像の表現を処理し、埋込空間表現を生成することと、分類子を使用して、埋込空間表現を処理し、眼の画像が認可されたユーザの眼の画像である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

第５１の側面では、ディープニューラルネットワーク（またはディープニューラルネットワークの一部）は、非一過性メモリ内に記憶される、側面５０に記載の頭部搭載型ディスプレイシステム。

第５２の側面では、分類子（または分類子の一部）は、非一過性メモリ内に記憶される、側面５０－５１のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第５３の側面では、ディープニューラルネットワークは、複数の層を備え、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面５０－５２のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第５４の側面では、明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、側面５３に記載の頭部搭載型ディスプレイシステム。

第５５の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面５２－５４のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第５６の側面では、トリプレットネットワークは、ディープニューラルネットワークを複数の人物の眼画像から学習するように構成され、同一人物からの眼画像に関する埋込空間表現内の距離は、異なる人物からの眼画像に関する埋込空間表現内の距離より小さい、側面５５に記載の頭部搭載型ディスプレイシステム。

第５７の側面では、ハードウェアプロセッサは、実行可能命令によって、尤度スコアに基づいて、頭部搭載型ディスプレイシステムへのユーザアクセスを許可または否認するようにプログラムされる、側面５２－５６のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第５８の側面では、埋込空間表現は、単位長を有する、側面５２－５７のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第５９の側面では、分類子は、ユークリッド距離に基づいて、尤度スコアを生成する、側面５２－５８のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第６０の側面では、分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、側面５２－５９のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第６１の側面では、ハードウェアプロセッサは、実行可能命令によって、眼の第１の画像をセグメント化し、眼の虹彩の第２の画像を生成するようにプログラムされ、眼の第１の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、眼の虹彩の第２の画像を処理し、埋込空間表現を生成するようにプログラムされる、側面５２－６０のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第６２の側面では、眼の第１の画像は、主に、眼の虹彩および網膜を含む、側面５２－６１のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第６３の側面では、眼の第１の画像は、主に、眼の網膜を含む、側面５２－６２のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第６４の側面では、埋込空間表現は、ｎ－次元ベクトルであって、埋込空間表現の要素の大部分は、統計的に独立している、側面５２－６３のいずれか１項に記載の頭部搭載型ディスプレイシステム。

第６５の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、ユーザの第１の眼の第１の画像およびユーザの第２の眼の第２の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、第１の眼の第１の画像および第２の眼の第２の画像を受信することと、ディープニューラルネットワークを使用して、第１の眼の第１の画像および第２の眼の第２の画像を処理し、第１の眼の第１の埋込空間表現および第２の眼の第２の埋込空間表現を生成することと、分類子を使用して、第１の埋込空間表現および第２の埋込空間表現を処理し、第１の眼の第１の画像が、認可されたユーザの左眼の画像であって、第２の眼の第２の画像が、認可されたユーザの右眼の画像である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

第６６の側面では、ディープニューラルネットワーク（またはディープニューラルネットワークの一部）は、非一過性メモリ内に記憶される、側面６５に記載のウェアラブルディスプレイシステム。

第６７の側面では、分類子（または分類子の一部）は、非一過性メモリ内に記憶される、側面６５－６６のいずれか１項に記載のウェアラブルディスプレイシステム。

第６８の側面では、ディープニューラルネットワークは、複数の層を備え、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面６５－６７のいずれか１項に記載のウェアラブルディスプレイシステム。

第６９の側面では、明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、側面６８に記載のウェアラブルディスプレイシステム。

第７０の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面６５－６９のいずれか１項に記載のウェアラブルディスプレイシステム。

第７１の側面では、トリプレットネットワークは、ディープニューラルネットワークを複数の人物の眼画像から学習するように構成され、同一人物からの眼画像に関する埋込空間表現内の距離は、異なる人物からの眼画像に関する埋込空間表現内の距離より小さい、側面７０に記載のウェアラブルディスプレイシステム。

第７２の側面では、ハードウェアプロセッサは、実行可能命令によって、尤度スコアに基づいて、ウェアラブルディスプレイシステムへのユーザアクセスを許可または否認するようにプログラムされる、側面６５－７１のいずれか１項に記載のウェアラブルディスプレイシステム。

第７３の側面では、埋込空間表現は、単位長を有する、側面６５－７２のいずれか１項に記載のウェアラブルディスプレイシステム。

第７４の側面では、分類子は、ユークリッド距離に基づいて、尤度スコアを生成する、側面６５－７３のいずれか１項に記載のウェアラブルディスプレイシステム。

第７５の側面では、分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、側面６５－７４のいずれか１項に記載のウェアラブルディスプレイシステム。

第７６の側面では、ハードウェアプロセッサは、実行可能命令によって、眼の第１の画像をセグメント化し、眼の虹彩の第３の画像を生成することと、眼の第２の画像をセグメント化し、眼の虹彩の第４の画像を生成することとを行うようにプログラムされ、第１の眼の第１の画像および第２の眼の第２の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、第１の眼の第３の画像および第２の眼の第４の画像を処理し、第１の眼の第１の埋込空間表現および第２の眼の第２の埋込空間表現を生成するようにプログラムされる、側面６５－７５のいずれか１項に記載のウェアラブルディスプレイシステム。

第７７の側面では、眼の第１の画像は、主に、眼の虹彩および網膜を含む、側面６５－７６のいずれか１項に記載のウェアラブルディスプレイシステム。

第７８の側面では、眼の第１の画像は、主に、眼の網膜を含む、側面６５－７７のいずれか１項に記載のウェアラブルディスプレイシステム。

第７９の側面では、埋込空間表現は、ｎ－次元ベクトルであって、埋込空間表現の要素の大部分は、統計的に独立している、側面６５－７８のいずれか１項に記載のウェアラブルディスプレイシステム。

第８０の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、少なくとも１つの他のバイオメトリック情報を捕捉するように構成される、バイオメトリック情報捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、バイオメトリック情報捕捉デバイス、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像および少なくとも１つの他のバイオメトリック情報を受信することと、ディープニューラルネットワークを使用して、眼の画像および少なくとも１つの他のバイオメトリック情報を処理し、埋込空間表現を生成することと、分類子を使用して、埋込空間表現を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

第８１の側面では、ディープニューラルネットワーク（またはディープニューラルネットワークの一部）は、非一過性メモリ内に記憶される、側面８０に記載のウェアラブルディスプレイシステム。

第８２の側面では、分類子（または分類子の一部）は、非一過性メモリ内に記憶される、側面８０－８１のいずれか１項に記載のウェアラブルディスプレイシステム。

第８３の側面では、ディープニューラルネットワークは、複数の層を備え、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面８０－８２のいずれか１項に記載のウェアラブルディスプレイシステム。

第８４の側面では、明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、側面８３に記載のウェアラブルディスプレイシステム。

第８５の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面８０－８４のいずれか１項に記載のウェアラブルディスプレイシステム。

第８６の側面では、トリプレットネットワークは、ディープニューラルネットワークを複数の人物の眼画像および複数の人物の少なくとも１つの他のバイオメトリック情報から学習するように構成され、同一人物からの眼画像および少なくとも１つの他のバイオメトリック情報に関する埋込空間表現内の距離は、異なる人物からの眼画像および少なくとも１つの他のバイオメトリック情報に関する埋込空間表現内の距離より小さい、側面８５に記載のウェアラブルディスプレイシステム。

第８７の側面では、ハードウェアプロセッサは、実行可能命令によって、尤度スコアに基づいて、ウェアラブルディスプレイシステムへのユーザアクセスを許可または否認するようにプログラムされる、側面８０－８６のいずれか１項に記載のウェアラブルディスプレイシステム。

第８８の側面では、埋込空間表現は、単位長を有する、側面８０－８７のいずれか１項に記載のウェアラブルディスプレイシステム。

第８９の側面では、分類子は、ユークリッド距離に基づいて、尤度スコアを生成する、側面８０－８８のいずれか１項に記載のウェアラブルディスプレイシステム。

第９０の側面では、分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、側面８０－８９のいずれか１項に記載のウェアラブルディスプレイシステム。

第９１の側面では、ハードウェアプロセッサは、実行可能命令によって、眼の第１の画像をセグメント化し、眼の虹彩の第２の画像を生成するようにプログラムされ、眼の第１の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、眼の虹彩の第２の画像を処理し、埋込空間表現を生成するようにプログラムされる、側面８０－９０のいずれか１項に記載のウェアラブルディスプレイシステム。

第９２の側面では、眼の第１の画像は、主に、眼の虹彩および網膜を含む、側面８０－９１のいずれか１項に記載のウェアラブルディスプレイシステム。

第９３の側面では、眼の第１の画像は、主に、眼の網膜を含む、側面８０－９２のいずれか１項に記載のウェアラブルディスプレイシステム。

第９４の側面では、埋込空間表現は、ｎ－次元ベクトルであって、埋込空間表現の要素の大部分は、統計的に独立している、側面８０－９３のいずれか１項に記載のウェアラブルディスプレイシステム。

第９５の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、眼の第１の画像を捕捉するように構成される、画像捕捉デバイスと、少なくとも１つの他のバイオメトリック情報を捕捉するように構成される、バイオメトリック情報捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、バイオメトリック情報捕捉デバイス、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、眼の第１の画像を受信することと、第１のディープニューラルネットワークを使用して、眼の第１の画像を処理し、第１の埋込空間表現を生成することと、少なくとも１つの他のバイオメトリック情報を受信することと、分類子を使用して、第１の埋込空間表現および少なくとも１つの他のバイオメトリック情報を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

第９６の側面では、第１のディープニューラルネットワーク（またはディープニューラルネットワークの一部）は、非一過性メモリ内に記憶される、側面９５に記載のウェアラブルディスプレイシステム。

第９７の側面では、分類子（または分類子の一部）は、非一過性メモリ内に記憶される、側面９５－９６のいずれか１項に記載のウェアラブルディスプレイシステム。

第９８の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、第２のディープニューラルネットワークを使用して、少なくとも１つの他のバイオメトリック情報を処理し、第２の埋込空間表現を生成するようにプログラムされ、分類子を使用して、第１の埋込空間表現および少なくとも１つの他のバイオメトリック情報を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成するための命令は、分類子を使用して、第１の埋込空間表現および第２の埋込空間表現を処理し、眼の画像が、認可されたユーザの眼の画像であって、少なくとも１つの他のバイオメトリック情報が、認可されたユーザのバイオメトリック情報である、尤度スコアを生成するための命令を備える、側面９５－９７のいずれか１項に記載のウェアラブルディスプレイシステム。

第９９の側面では、ディープニューラルネットワークは、複数の層を備え、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面９５－９８のいずれか１項に記載のウェアラブルディスプレイシステム。

第１００の側面では、明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、側面９９に記載のウェアラブルディスプレイシステム。

第１０１の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面９５－１００のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０２の側面では、トリプレットネットワークは、ディープニューラルネットワークを複数の人物の眼画像および複数の人物の少なくとも１つの他のバイオメトリック情報から学習するように構成され、同一人物からの眼画像および少なくとも１つの他のバイオメトリック情報に関する埋込空間表現内の距離は、異なる人物からの眼画像および少なくとも１つの他のバイオメトリック情報に関する埋込空間表現内の距離より小さい、側面１０１に記載のウェアラブルディスプレイシステム。

第１０３の側面では、ハードウェアプロセッサは、実行可能命令によって、尤度スコアに基づいて、ウェアラブルディスプレイシステムへのユーザアクセスを許可または否認するようにプログラムされる、側面９５－１０２のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０４の側面では、第１の埋込空間表現は、単位長を有する、側面９５－１０３のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０５の側面では、分類子は、ユークリッド距離に基づいて、尤度スコアを生成する、側面９５－１０４のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０６の側面では、分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、側面９５－１０５のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０７の側面では、ハードウェアプロセッサは、実行可能命令によって、眼の第１の画像をセグメント化し、眼の虹彩の第２の画像を生成するようにプログラムされ、眼の第１の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、眼の虹彩の第２の画像を処理し、埋込空間表現を生成するようにプログラムされる、側面９５－１０６のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０８の側面では、眼の第１の画像は、主に、眼の虹彩および網膜を含む、側面９５－１０７のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０９の側面では、眼の第１の画像は、主に、眼の網膜を含む、側面９５－１０８のいずれか１項に記載のウェアラブルディスプレイシステム。

第１１０の側面では、埋込空間表現は、ｎ－次元ベクトルであって、埋込空間表現の要素の大部分は、統計的に独立している、側面９５－１０９のいずれか１項に記載のウェアラブルディスプレイシステム。

第１１１の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ディスプレイと、ユーザの第１の眼の複数の第１の画像を捕捉するように構成される、画像捕捉デバイスと、実行可能命令を記憶するように構成される、非一過性メモリと、ディスプレイ、画像捕捉デバイス、および非一過性メモリと通信する、ハードウェアプロセッサであって、実行可能命令によって、第１の眼の複数の第１の画像を受信することと、ディープニューラルネットワークを使用して、第１の眼の複数の第１の画像を処理し、第１の埋込空間表現を生成することと、第１の分類子を使用して、第１の埋込空間表現を処理し、第１の眼の複数の第１の画像が認可されたユーザの第１の眼の画像を備える、第１の尤度スコアを計算することとを行うようにプログラムされる、ハードウェアプロセッサとを備える。

第１１２の側面では、ディープニューラルネットワーク（またはディープニューラルネットワークの一部）は、非一過性メモリ内に記憶される、側面１１１に記載のウェアラブルディスプレイシステム。

第１１３の側面では、第１の分類子（または分類子の一部）は、非一過性メモリ内に記憶される、側面１１１－１１２のいずれか１項に記載のウェアラブルディスプレイシステム。

第１１４の側面では、ディープニューラルネットワークは、複数の層を備え、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面１１１－１１３のいずれか１項に記載のウェアラブルディスプレイシステム。

第１１５の側面では、明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、側面１１４に記載のウェアラブルディスプレイシステム。

第１１６の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面１１１－１１５のいずれか１項に記載のウェアラブルディスプレイシステム。

第１１７の側面では、トリプレットネットワークは、ディープニューラルネットワークを複数の人物のそれぞれの複数の眼画像から学習するように構成され、ある人物の眼の眼画像に関する第１の埋込空間表現内の距離は、異なる人物からの眼画像またはある人物の異なる眼からの眼画像に関する第１の埋込空間表現内の距離より小さい、側面１１６に記載のウェアラブルディスプレイシステム。

第１１８の側面では、ハードウェアプロセッサは、実行可能命令によって、第１の尤度スコアに基づいて、ウェアラブルディスプレイシステムへのユーザアクセスを許可または否認するようにプログラムされる、側面１１１－１１７のいずれか１項に記載のウェアラブルディスプレイシステム。

第１１９の側面では、第１の埋込空間表現は、単位長を有する、側面１１１－１１８のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２０の側面では、分類子は、ユークリッド距離に基づいて、第１の尤度スコアを生成する、側面１１１－１１９のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２１の側面では、分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、側面１１１－１２０のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２２の側面では、ハードウェアプロセッサは、実行可能命令によって、第１の眼の複数の第１の画像をセグメント化し、第１の眼の虹彩の複数の第２の画像を生成するようにプログラムされ、第１の眼の複数の第１の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、眼の虹彩の複数の第２の画像を処理し、第１の埋込空間表現を生成するようにプログラムされる、側面１１１－１２１のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２３の側面では、眼の複数の第１の画像はそれぞれ、主に、眼の虹彩および網膜を含む、側面１１１－１２２のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２４の側面では、眼の複数の第１の画像はそれぞれ、主に、眼の網膜を含む、側面１１１－１２３のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２５の側面では、第１の埋込空間表現は、ｎ－次元ベクトルであって、第１の埋込空間表現の要素の大部分は、統計的に独立している、側面１１１－１２４のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２６の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、ユーザの第２の眼の複数の第２の画像を受信することと、ディープニューラルネットワークを使用して、第２の眼の複数の第２の画像を処理し、第２の埋込空間表現を生成することと、第１の分類子を使用して、第２の埋込空間表現を処理し、第２の眼の複数の第１の画像が認可されたユーザの第２の眼の画像を備える、第２の尤度スコアを計算することとを行うようにプログラムされる、側面１１１－１２５のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２７の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、ユーザの第２の眼の複数の第２の画像を受信するようにプログラムされ、第１の眼の複数の第１の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、第１の眼の複数の第１の画像および第２の眼の複数の第２の画像を処理し、第１の埋込空間表現を生成するようにプログラムされ、第１の埋込空間表現を処理するために、ハードウェアプロセッサは、実行可能命令によって、第１の分類子を使用して、第１の埋込空間表現を処理し、第１の眼の複数の第１の画像が認可されたユーザの第１の眼の画像を備え、第２の眼の複数の第２の画像が認可されたユーザの第２の眼の画像を備える、第１の尤度スコアを計算するようにプログラムされる、側面１１１－１２５のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２８の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、ユーザの少なくとも１つの他のバイオメトリック情報を受信することと、第２のニューラルネットワークを使用して、少なくとも１つの他のバイオメトリック情報を処理し、第２の埋込空間表現を生成することと、第２の分類子を使用して、第２の埋込空間表現を処理し、少なくとも１つの他のバイオメトリック情報が認可されたユーザのバイオメトリック情報を備える、第２の尤度スコアを計算することとを行うようにプログラムされる、側面１１１－１２５のいずれか１項に記載のウェアラブルディスプレイシステム。

第１２９の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、ユーザの少なくとも１つの他のバイオメトリック情報を受信するようにプログラムされ、第１の眼の複数の第１の画像を処理するために、ハードウェアプロセッサは、実行可能命令によって、ディープニューラルネットワークを使用して、第１の眼の複数の第１の画像および少なくとも１つの他のバイオメトリック情報を処理し、第１の埋込空間表現を生成するようにプログラムされ、第１の埋込空間表現を処理するために、ハードウェアプロセッサは、実行可能命令によって、第１の分類子を使用して、第１の埋込空間表現を処理し、第１の眼の複数の第１の画像が認可されたユーザの第１の眼の画像を備え、少なくとも１つの他のタイプのバイオメトリック情報が認可されたユーザのバイオメトリック情報を備える、第１の尤度スコアを計算するようにプログラムされる、側面１１１－１２５のいずれか１項に記載のウェアラブルディスプレイシステム。

第１３０の側面では、虹彩認証のために埋込ネットワークを訓練するためのシステムが、開示される。本システムは、実行可能命令を記憶するコンピュータ可読メモリと、１つ以上のハードウェアベースのハードウェアプロセッサであって、実行可能命令によって、少なくとも、複数の層を備えるディープニューラルネットワークにアクセスすることであって、複数の層の各層は、複数の層の少なくとも別の層に接続される、ことと、ディープニューラルネットワークに訓練セットを提供することであって、訓練セットの各要素は、人物の複数の眼画像を備え、訓練セットの要素は、異なる人物の複数の眼画像を備える、ことと、ディープニューラルネットワークを使用して、訓練セットの要素の埋込空間表現を算出することであって、同一人物の要素の埋込空間表現は、第１の閾値内にあって、異なる人物の要素の埋込空間表現は、第２の閾値を上回り、第１の閾値は、第２の閾値より小さい、こととを行うようにプログラムされる、１つ以上のハードウェアベースのハードウェアプロセッサとを備える。

第１３１の側面では、ディープニューラルネットワークを使用して、訓練セットの要素の埋込空間表現を算出するための命令は、同一人物および異なる人物の要素の埋込空間表現間の距離に基づいて、ディープニューラルネットワークを更新するための命令を備える、側面１３０に記載のシステム。

第１３２の側面では、複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、側面１３１に記載のシステム。

第１３３の側面では、ディープニューラルネットワークは、トリプレットネットワークを備える、側面１３０－１３２のいずれか１項に記載のシステム。

第１３４の側面では、トリプレットネットワークは、訓練セットの要素のトリプレットを使用して、訓練セットから埋込を学習し、トリプレットの２つの要素は、同一人物からの眼画像を備え、トリプレットの第３の要素は、異なる人物からの眼画像を備える、側面１３３に記載のシステム。
（結論）

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータハードウェアプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または全ての図示される動作が実施されることは必要ではないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (19)

1. ウェアラブルディスプレイシステムであって、
   ディスプレイと、
   ユーザの眼の第１の画像を捕捉するように構成される画像捕捉デバイスと、
   非一過性メモリであって、前記非一過性メモリは、
   前記眼の第１の画像を処理するための埋込であって、
   前記埋込は、トリプレットネットワークアーキテクチャを伴うディープニューラルネットワークを使用して学習され、
   前記ディープニューラルネットワークは、複数の人物の眼画像からの埋込を学習するように構成され、
   同一人物からの眼画像に関する埋込空間表現内の距離は、異なる人物からの眼画像に関する前記埋込空間表現内の距離より小さく、
   前記埋込空間表現は、ｎ－次元ベクトルであり、
   前記埋込空間表現の要素の半分よりも多くは、統計的に独立している、
   埋込と、
   前記眼の処理された第１の画像を処理するための分類子と、
   実行可能命令と
   を記憶するように構成される、非一過性メモリと、
   前記ディスプレイ、前記画像捕捉デバイス、および前記非一過性メモリと通信する、ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
   前記眼の第１の画像を受信することと、
   前記埋込を使用して、前記眼の第１の画像を処理し、埋込空間表現を生成することと、
   前記分類子を使用して、前記埋込空間表現を処理し、前記眼の第１の画像が認可されたユーザの眼の画像である尤度スコアを計算することと、
   前記尤度スコアに基づいて、前記ウェアラブルディスプレイシステムへのユーザアクセスを許可または否認することと
   を行うようにプログラムされる、ハードウェアプロセッサと
   を備える、ウェアラブルディスプレイシステム。
2. 前記ディープニューラルネットワークは、複数の層を備え、
   前記複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、
   請求項１に記載のウェアラブルディスプレイシステム。
3. 前記明度正規化層は、ローカルコントラスト正規化層、ローカル応答正規化層、またはそれらの組み合わせを備える、請求項２に記載のウェアラブルディスプレイシステム。
4. 前記埋込空間表現は、単位長を有する、請求項１に記載のウェアラブルディスプレイシステム。
5. 前記分類子は、ユークリッド距離に基づいて、前記尤度スコアを生成する、請求項１に記載のウェアラブルディスプレイシステム。
6. 前記分類子は、バイナリ分類子、ロジスティック回帰分類子、サポートベクトルマシン分類子、ベイズ分類子、ソフトマックス分類子、または任意のそれらの組み合わせである、請求項１に記載のウェアラブルディスプレイシステム。
7. 前記ハードウェアプロセッサは、前記実行可能命令によって、前記眼の第１の画像をセグメント化し、前記眼の虹彩の第２の画像を生成するようにプログラムされ、
   前記眼の第１の画像を処理するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記埋込を使用して、前記眼の虹彩の第２の画像を処理し、前記埋込空間表現を生成するようにプログラムされる、
   請求項１～６のいずれか１項に記載のウェアラブルディスプレイシステム。
8. 虹彩認証のためにディープニューラルネットワークを訓練するためのシステムであって、
   実行可能命令を記憶するコンピュータ可読メモリと、
   １つ以上のハードウェアベースのプロセッサであって、前記１つ以上のハードウェアベースのプロセッサは、前記実行可能命令によって、少なくとも、
   複数の層を備えるディープニューラルネットワークにアクセスすることであって、前記複数の層の各層は、前記複数の層の少なくとも別の層に接続される、ことと、
   前記ディープニューラルネットワークに複数の人物の眼画像を備える訓練セットを提供することと、
   前記ディープニューラルネットワークを使用して、前記複数の眼画像の埋込空間表現を算出することであって、同一人物の前記複数の眼画像の埋込空間表現は、閾値内にあり、前記埋込空間表現は、ｎ－次元ベクトルであり、前記埋込空間表現の要素の半分よりも多くは、統計的に独立している、ことと、
   同一人物および異なる人物の前記眼画像の埋込空間表現間の距離に基づいて、前記ディープニューラルネットワークを更新することと
   を行うようにプログラムされる、１つ以上のハードウェアベースのプロセッサと
   を備える、システム。
9. 前記複数の層は、プーリング層、明度正規化層、畳み込み層、インセプション様層、正規化線形層、ソフトサイン層、または任意のそれらの組み合わせを備える、請求項８に記載のシステム。
10. 前記ディープニューラルネットワークは、トリプレットネットワークアーキテクチャを備える、請求項８～９のいずれか１項に記載のシステム。
11. 前記訓練セットは、眼画像のトリプレットを備え、前記ディープニューラルネットワークは、前記眼画像のトリプレットを使用して学習される、請求項１０に記載のシステム。
12. 前記トリプレットの２つの眼画像は、同一人物からのものであり、前記トリプレットの第３の眼画像は、異なる人物からのものである、請求項１１に記載のシステム。
13. 頭部搭載型ディスプレイシステムであって、
    ディスプレイと、
    ユーザの眼の第１の画像を捕捉するように構成される画像捕捉デバイスと、
    実行可能命令を記憶するように構成される非一過性メモリと、
    前記ディスプレイ、前記画像捕捉デバイス、および前記非一過性メモリと通信する、ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
    前記眼の第１の画像を受信することと、
    前記眼の第１の画像を処理し、前記眼の第１の画像の表現を極座標内に生成することと、
    ディープニューラルネットワークを使用して、極座標内の前記眼の第１の画像の表現を処理し、埋込空間表現を生成することと、
    分類子を使用して、前記埋込空間表現を処理し、前記眼の画像が認可されたユーザの眼の画像である尤度スコアを生成することと
    を行うようにプログラムされ、前記埋込空間表現は、ｎ－次元ベクトルであり、前記埋込空間表現の要素の半分よりも多くは、統計的に独立している、ハードウェアプロセッサと
    を備える、頭部搭載型ディスプレイシステム。
14. 前記ディープニューラルネットワークは、トリプレットネットワークを使用して学習される、請求項１３に記載の頭部搭載型ディスプレイシステム。
15. 前記トリプレットネットワークは、前記ディープニューラルネットワークを複数の人物の眼画像から学習するように構成され、
    同一人物からの眼画像に関する前記埋込空間表現内の距離は、異なる人物からの眼画像に関する前記埋込空間表現内の距離より小さい、
    請求項１４に記載の頭部搭載型ディスプレイシステム。
16. 前記ハードウェアプロセッサは、前記実行可能命令によって、
    前記尤度スコアに基づいて、前記頭部搭載型ディスプレイシステムへのユーザアクセスを許可または否認する
    ようにプログラムされる、請求項１３～１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
17. 前記ハードウェアプロセッサは、前記実行可能命令によって、前記眼の第１の画像をセグメント化し、前記眼の虹彩の第２の画像を生成するようにプログラムされ、
    前記眼の第１の画像を処理するために、前記ハードウェアプロセッサは、前記実行可能命令によって、前記ディープニューラルネットワークを使用して、前記眼の虹彩の第２の画像を処理し、前記埋込空間表現を生成するようにプログラムされる、
    請求項１３～１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
18. 前記眼の第１の画像は、前記眼の虹彩および網膜を含む、請求項１３～１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
19. 前記眼の第１の画像は、前記眼の網膜を含む、請求項１３～１５のいずれか１項に記載の頭部搭載型ディスプレイシステム。
    

Images