JP7436600B2 - 眼追跡のための個人化されたニューラルネットワーク - Google Patents

Description

（関連出願の相互参照）
本願は、その内容が参照することによってその全体として本明細書に組み込まれる、２０１７年９月２０日に出願され、「ＰＥＲＳＯＮＡＬＩＺＥＤ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＦＯＲ ＥＹＥ ＴＲＡＣＫＩＮＧ」と題された、米国仮出願第６２／５６０，８９８号の優先権の利益を主張する。

本開示は、仮想現実および拡張現実結像および可視化システムに関し、特に、眼追跡のための個人化されたニューラルネットワークに関する。

深層ニューラルネットワーク（ＤＮＮ）は、算出機械学習方法である。ＤＮＮは、人工ニューラルネットワーク（ＮＮ）の一種に属する。ＮＮを用いることで、算出グラフが、構成され、これは、生物学的ニューラルネットワークの特徴を模倣するものである。生物学的ニューラルネットワークは、算出に顕著な特徴を含み、そうでなければ他の方法を通して捕捉することが困難であり得る、生物学系の能力の多くに関与する。いくつかの実装では、そのようなネットワークは、接続が一方向性である、シーケンシャル層化構造の中に配列される。例えば、特定の層の人工ニューロンの出力は、後続層の人工ニューロンの入力に接続されることができる。ＤＮＮは、多数の層（例えば、数十、数百、またはそれを上回る層）を伴う、ＮＮであることができる。

異なるＮＮは、異なる視点において相互に異なる。例えば、異なるＮＮのトポロジまたはアーキテクチャ（例えば、層の数および層が相互接続される方法）および加重は、異なり得る。加重は、生物学系内のニューラル接続のシナプス強度に近似的に類似し得る。加重は、１つの層から別の層に伝搬される効果の強度に影響を及ぼす。人工ニューロンの出力は、その入力の加重和の非線形関数であることができる。ＮＮの加重は、これらの総和内に現れる、加重であることができる。

一側面では、ウェアラブルディスプレイシステムが、開示される。本ウェアラブルディスプレイシステムは、ユーザの眼の複数の再訓練用眼画像を捕捉するように構成される、画像捕捉デバイスと、ディスプレイと、複数の再訓練用眼画像と、眼追跡のためのニューラルネットワークとを記憶するように構成される、非一過性コンピュータ可読記憶媒体と、画像捕捉デバイス、ディスプレイ、および非一過性コンピュータ可読記憶媒体と通信する、ハードウェアプロセッサであって、実行可能命令によって、画像捕捉デバイスによって捕捉された、および／または非一過性コンピュータ可読記憶媒体内に記憶されている（画像捕捉デバイスによって捕捉され得る）、複数の再訓練用眼画像を受信し、複数の再訓練用眼画像の再訓練用眼画像は、ディスプレイの表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、画像捕捉デバイスによって捕捉され、再訓練用入力データおよび対応する再訓練用標的出力データを備える、再訓練セットを生成し、再訓練用入力データは、再訓練用眼画像を備え、対応する再訓練用標的出力データは、表示場所に関連する再訓練用眼画像内のユーザの眼の眼姿勢を備え、再訓練セットを使用して眼追跡のためのニューラルネットワークから再訓練される、再訓練されたニューラルネットワークを取得するようにプログラムされる、ハードウェアプロセッサとを備える。

別の側面では、眼追跡のためのニューラルネットワークを再訓練するためのシステムが、開示される。本システムは、実行可能命令を記憶する、コンピュータ可読メモリと、実行可能命令によって、少なくとも、ユーザの眼の複数の再訓練用眼画像を受信し、複数の再訓練用眼画像の再訓練用眼画像は、ユーザデバイスの表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、捕捉され、再訓練用入力データおよび対応する再訓練用標的出力データを備える、再訓練セットを生成し、再訓練用入力データは、再訓練用眼画像を備え、対応する再訓練用標的出力データは、表示場所に関連する再訓練用眼画像内のユーザの眼の眼姿勢を備え、再訓練セットを使用して、眼追跡のためのニューラルネットワークを再訓練し、再訓練されたニューラルネットワークを生成するようにプログラムされる、１つ以上のプロセッサとを備える。

さらなる側面では、ニューラルネットワークを再訓練するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、ユーザの眼の複数の再訓練用眼画像を受信するステップであって、複数の再訓練用眼画像の再訓練用眼画像は、表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、捕捉される、ステップと、再訓練用入力データおよび対応する再訓練用標的出力データを備える、再訓練セットを生成するステップであって、再訓練用入力データは、再訓練用眼画像を備え、対応する再訓練用標的出力データは、表示場所に関連する再訓練用眼画像内のユーザの眼の眼姿勢を備える、ステップと、再訓練セットを使用して、ニューラルネットワークを再訓練し、再訓練されたニューラルネットワークを生成するステップとを含む。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本開示の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ウェアラブルディスプレイシステムであって、前記ウェアラブルディスプレイシステムは、
画像捕捉デバイスであって、前記画像捕捉デバイスは、ユーザの眼の複数の再訓練用眼画像を捕捉するように構成される、画像捕捉デバイスと、
ディスプレイと、
非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、
前記複数の再訓練用眼画像と、
眼追跡のためのニューラルネットワークと
を記憶するように構成される、非一過性コンピュータ可読記憶媒体と、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記画像捕捉デバイス、前記ディスプレイ、および前記非一過性コンピュータ可読記憶媒体と通信し、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記画像捕捉デバイスによって捕捉された前記複数の再訓練用眼画像を受信することであって、
前記複数の再訓練用眼画像の再訓練用眼画像は、前記ディスプレイの表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、前記画像捕捉デバイスによって捕捉される、ことと、
再訓練用入力データおよび対応する再訓練用標的出力データを備える再訓練セットを生成することであって、
前記再訓練用入力データは、前記再訓練用眼画像を備え、
前記対応する再訓練用標的出力データは、前記表示場所に関連する前記再訓練用眼画像内の前記ユーザの眼の眼姿勢を備える、ことと、
前記再訓練セットを使用して眼追跡のためのニューラルネットワークから再訓練される再訓練されたニューラルネットワークを取得することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
（項目２）
前記再訓練されたニューラルネットワークを取得するために、前記ハードウェアプロセッサは、少なくとも、
前記再訓練セットを使用して、前記眼追跡のためのニューラルネットワークを再訓練し、前記再訓練されたニューラルネットワークを生成する
ようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目３）
前記再訓練されたニューラルネットワークを取得するために、前記ハードウェアプロセッサは、少なくとも、
前記再訓練セットを遠隔システムに伝送することと、
前記再訓練されたニューラルネットワークを前記遠隔システムから受信することと
を行うようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。（項目４）
前記遠隔システムは、クラウドコンピューティングシステムを備える、項目３に記載のウェアラブルディスプレイシステム。
（項目５）
前記ユーザの複数の再訓練用眼画像を受信するために、前記ハードウェアプロセッサは、前記実行可能命令によって、少なくとも、
ＵＩデバイスを前記ディスプレイ上の表示場所においてユーザに表示することと、
前記ＵＩデバイスに対する前記ＵＩイベントの発生を決定することと、
前記再訓練用眼画像を前記画像捕捉デバイスから受信することと
を行うようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目６）
前記ハードウェアプロセッサはさらに、前記実行可能命令によって、
前記表示場所を使用して、前記再訓練用眼画像内の前記眼の眼姿勢を決定する
ようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目７）
前記再訓練用画像内の前記眼の眼姿勢は、前記表示場所を備える、項目６に記載のウェアラブルディスプレイシステム。
（項目８）
前記ユーザの複数の再訓練用眼画像を受信するために、前記ハードウェアプロセッサは、前記実行可能命令によって、少なくとも、
前記再訓練用眼画像に基づいて、第２の複数の第２の再訓練用眼画像を生成することと、
前記表示場所および確率分布関数を使用して、前記第２の複数の第２の再訓練用眼画像の第２の再訓練用眼画像内の前記眼の眼姿勢を決定することと
を行うようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目９）
前記ユーザの複数の再訓練用眼画像を受信するために、前記ハードウェアプロセッサは、前記実行可能命令によって、少なくとも、
前記ユーザの眼の複数の眼画像を前記画像捕捉デバイスから受信することであって、
前記複数の眼画像の第１の眼画像は、前記ディスプレイの表示場所においてユーザに示される前記ＵＩデバイスに対する前記ＵＩイベントが生じると、前記ユーザデバイスによって捕捉される、ことと、
前記表示場所から、前記ＵＩイベントに先立った前記ユーザの運動に沿って遡って、前記運動の開始まで、前記ＵＩデバイスの投影された表示場所を決定することと、
前記投影された表示場所および前記運動の開始時に捕捉された前記複数の眼画像の第２の眼画像内の前記ＵＩデバイスの第２の表示場所が閾値距離内にあることを決定することと、
前記第２の眼画像から前記第１の眼画像までの前記複数の眼画像の眼画像を備える前記再訓練用入力データを生成することであって、
前記対応する再訓練用標的出力データは、前記眼画像内の前記ＵＩデバイスの表示場所に関連する前記眼画像の各眼画像内の前記ユーザの眼の眼姿勢を備える、ことと
を行うようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目１０）
前記眼の眼姿勢は、前記表示場所である、項目１に記載のウェアラブルディスプレイシステム。
（項目１１）
ハードウェアプロセッサはさらに、前記実行可能命令によって、少なくとも、前記ＵＩデバイスの表示場所を使用して、前記眼の眼姿勢を決定するようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目１２）
前記再訓練セットを生成するために、前記ハードウェアプロセッサは、前記実行可能命令によって、少なくとも、
前記再訓練用眼画像内の前記眼の眼姿勢が複数の眼姿勢領域の第１の眼姿勢領域内にあることを決定することと、
前記ＵＩデバイスの分布確率が前記第１の眼姿勢領域内にあることを決定することと、
前記分布確率に関連する含有確率において前記再訓練用眼画像を備える前記再訓練用入力データを生成することと
を行うようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目１３）
前記ハードウェアプロセッサはさらに、前記実行可能命令によって、少なくとも、
訓練用入力データおよび対応する訓練用標的出力データを備える訓練セットを使用して、前記眼追跡のためのニューラルネットワークを訓練することであって、
前記訓練用入力データは、複数のユーザの複数の訓練用眼画像を備え、
前記対応する訓練用標的出力データは、前記訓練用の複数の訓練用眼画像内の前記複数のユーザの眼の眼姿勢を備える、ことと
を行うようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目１４）
前記再訓練セットの再訓練用入力データは、前記複数の訓練用眼画像の少なくとも１つの訓練用眼画像を備える、項目１３に記載のウェアラブルディスプレイシステム。
（項目１５）
前記再訓練セットの再訓練用入力データは、前記複数の訓練用眼画像の訓練用眼画像を備えない、項目１３に記載のウェアラブルディスプレイシステム。
（項目１６）
前記眼追跡のためのニューラルネットワークを再訓練するために、前記ハードウェアプロセッサは、前記実行可能命令によって、少なくとも、
前記再訓練されるニューラルネットワークの加重を前記ニューラルネットワークの加重で初期化する
ようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目１７）
前記ハードウェアプロセッサは、前記実行可能命令によって、前記ユーザデバイスに、
前記ユーザの眼画像を前記画像捕捉デバイスから受信することと、
前記再訓練されたニューラルネットワークを使用して、前記眼画像内の前記ユーザの眼姿勢を決定することと
を行わせるようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目１８）
眼追跡のためのニューラルネットワークを再訓練するためのシステムであって、前記システムは、
実行可能命令を記憶するコンピュータ可読メモリと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、前記実行可能命令によって、少なくとも、
ユーザの眼の複数の再訓練用眼画像を受信することであって、
前記複数の再訓練用眼画像の再訓練用眼画像は、ユーザデバイスの表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、捕捉される、ことと、
再訓練用入力データおよび対応する再訓練用標的出力データを備える再訓練セットを生成することであって、
前記再訓練用入力データは、前記再訓練用眼画像を備え、
前記対応する再訓練用標的出力データは、前記表示場所に関連する前記再訓練用眼画像内の前記ユーザの眼の眼姿勢を備える、ことと、
前記再訓練セットを使用して、眼追跡のためのニューラルネットワークを再訓練し、再訓練されたニューラルネットワークを生成することと
を行うようにプログラムされる、１つ以上のプロセッサと
を備える、システム。
（項目１９）
前記ユーザの複数の再訓練用眼画像を受信するために、前記１つ以上のプロセッサは、前記実行可能命令によって、少なくとも、前記ユーザデバイスに、
ディスプレイを使用して、ＵＩデバイスを前記表示場所においてユーザに表示することと、
前記ＵＩデバイスに対する前記ＵＩイベントの発生を決定することと、
結像システムを使用して、前記再訓練用眼画像を捕捉することと、
前記再訓練用眼画像を前記システムに伝送することと
を行わせるようにプログラムされる、項目１８に記載のシステム。
（項目２０）
前記ユーザの複数の再訓練用眼画像を受信するために、前記１つ以上のプロセッサはさらに、前記実行可能命令によって、少なくとも、
前記表示場所を使用して、前記再訓練用眼画像内の前記眼の眼姿勢を決定する
ようにプログラムされる、項目１９に記載のシステム。
（項目２１）
前記再訓練用画像内の前記眼の眼姿勢は、前記表示場所を備える、項目２０に記載のシステム。
（項目２２）
前記ユーザの複数の再訓練用眼画像を受信するために、前記１つ以上のプロセッサは、前記実行可能命令によって、少なくとも、
前記再訓練用眼画像に基づいて、第２の複数の第２の再訓練用眼画像を生成することと、
前記表示場所および確率分布関数を使用して、前記第２の複数の第２の再訓練用眼画像の第２の再訓練用眼画像内の前記眼の眼姿勢を決定することと
を行うようにプログラムされる、項目１９に記載のシステム。
（項目２３）
前記ユーザの複数の再訓練用眼画像を受信するために、前記１つ以上のプロセッサは、前記実行可能命令によって、少なくとも、
前記ユーザの眼の複数の眼画像を受信することであって、
前記複数の眼画像の第１の眼画像は、前記ユーザデバイスの表示場所においてユーザに示される前記ＵＩデバイスに対する前記ＵＩイベントが生じると、前記ユーザデバイスによって捕捉される、ことと、
前記表示場所から、前記ＵＩイベントに先立った前記ユーザの運動に沿って遡って、前記運動の開始まで、前記ＵＩデバイスの投影された表示場所を決定することと、
前記投影された表示場所および前記運動の開始時に捕捉された前記複数の眼画像の第２の眼画像内の前記ＵＩデバイスの第２の表示場所が閾値距離内にあることを決定することと、
前記第２の眼画像から前記第１の眼画像までの前記複数の眼画像の眼画像を備える前記再訓練用入力データを生成することであって、
前記対応する再訓練用標的出力データは、前記眼画像内の前記ＵＩデバイスの表示場所に関連する前記眼画像の各眼画像内の前記ユーザの眼の眼姿勢を備える、ことと
を行うようにプログラムされる、項目１８に記載のシステム。
（項目２４）
前記眼の眼姿勢は、前記表示場所である、項目１８に記載のシステム。
（項目２５）
前記１つ以上のプロセッサはさらに、前記実行可能命令によって、少なくとも、前記ＵＩデバイスの表示場所を使用して、前記眼の眼姿勢を決定するようにプログラムされる、項目１８に記載のシステム。
（項目２６）
前記再訓練セットを生成するために、前記１つ以上のプロセッサは、前記実行可能命令
によって、少なくとも、
前記再訓練用眼画像内の前記眼の眼姿勢が複数の眼姿勢領域の第１の眼姿勢領域内にあることを決定することと、
前記ＵＩデバイスの分布確率が前記第１の眼姿勢領域内にあることを決定することと、
前記分布確率に関連する含有確率において前記再訓練用眼画像を備える前記再訓練用入力データを生成することと
を行うようにプログラムされる、項目１８に記載のシステム。
（項目２７）
前記１つ以上のプロセッサはさらに、前記実行可能命令によって、少なくとも、
訓練用入力データおよび対応する訓練用標的出力データを備える訓練セットを使用して、前記眼追跡のためのニューラルネットワークを訓練することであって、
前記訓練用入力データは、複数のユーザの複数の訓練用眼画像を備え、
前記対応する訓練用標的出力データは、前記訓練用の複数の訓練用眼画像内の前記複数のユーザの眼の眼姿勢を備える、こと
を行うようにプログラムされる、項目１８に記載のシステム。
（項目２８）
前記再訓練セットの再訓練用入力データは、前記複数の訓練用眼画像の少なくとも１つの訓練用眼画像を備える、項目２７に記載のシステム。
（項目２９）
前記再訓練セットの再訓練用入力データは、前記複数の訓練用眼画像の訓練用眼画像を備えない、項目２７に記載のシステム。
（項目３０）
前記眼追跡のためのニューラルネットワークを再訓練するために、前記１つ以上のプロセッサは、前記実行可能命令によって、少なくとも、
前記再訓練されるニューラルネットワークの加重を前記ニューラルネットワークの加重で初期化する
ようにプログラムされる、項目１８に記載のシステム。
（項目３１）
前記１つ以上のプロセッサは、前記実行可能命令によって、前記ユーザデバイスに、
前記ユーザの眼画像を捕捉することと、
前記再訓練されたニューラルネットワークを使用して、前記眼画像内の前記ユーザの眼姿勢を決定することと
を行わせるようにプログラムされる、項目１８に記載のシステム。
（項目３２）
ニューラルネットワークを再訓練するための方法であって、前記方法は、
ハードウェアプロセッサの制御下で、
ユーザの眼の複数の再訓練用眼画像を受信することであって、
前記複数の再訓練用眼画像の再訓練用眼画像は、表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、捕捉される、ことと、
再訓練用入力データおよび対応する再訓練用標的出力データを備える再訓練セットを生成することであって、
前記再訓練用入力データは、前記再訓練用眼画像を備え、
前記対応する再訓練用標的出力データは、前記表示場所に関連する前記再訓練用眼画像内の前記ユーザの眼の眼姿勢を備える、ことと、
前記再訓練セットを使用して、ニューラルネットワークを再訓練し、再訓練されたニューラルネットワークを生成することと
を含む、方法。
（項目３３）
前記ユーザの複数の再訓練用眼画像を受信することは、
ディスプレイを使用して、前記ＵＩデバイスを前記表示場所においてユーザに表示することと、
前記ＵＩデバイスに対する前記ＵＩイベントの発生を決定することと、
結像システムを使用して、前記再訓練用眼画像を捕捉することと
を含む、項目３２に記載の方法。
（項目３４）
前記ユーザの複数の再訓練用眼画像を受信することはさらに、
前記再訓練用眼画像に基づいて、第２の複数の第２の再訓練用眼画像を生成することと、
前記表示場所および確率分布関数を使用して、前記第２の複数の第２の再訓練用眼画像の第２の再訓練用眼画像内の前記眼の眼姿勢を決定することと
を含む、項目３３に記載の方法。
（項目３５）
前記確率分布関数は、前記ＵＩデバイスの所定の確率分布を備える、項目３４に記載の方法。
（項目３６）
前記ＵＩデバイスは、第１のコンポーネントおよび第２のコンポーネントを備え、前記確率分布関数は、前記第１のコンポーネントに対する分布確率の分布関数および前記第２のコンポーネントに対する第２の確率分布関数の組み合わせられた確率分布を備える、項目３４に記載の方法。
（項目３７）
前記ＵＩデバイスの第１のコンポーネントは、グラフィカルＵＩデバイスを備え、前記ＵＩデバイスの第２のコンポーネントは、前記グラフィカルＵＩデバイスのテキスト説明を備える、項目３６に記載の方法。
（項目３８）
前記ユーザの複数の再訓練用眼画像を受信することは、
前記ユーザの眼の複数の眼画像を受信することであって、
前記複数の眼画像の第１の眼画像は、前記表示場所において、前記ユーザに示されるＵＩデバイスに対する前記ＵＩイベントが生じると、捕捉される、ことと、
前記表示場所から、前記ＵＩイベントに先立った運動に沿って遡って、前記運動の開始まで、前記ＵＩデバイスの投影された表示場所を決定することと、
前記投影された表示場所および前記運動の開始時に捕捉された前記複数の眼画像の第２の眼画像内の前記ＵＩデバイスの第２の表示場所が閾値距離内にあることを決定することと、
前記第２の眼画像から前記第１の眼画像までの前記複数の眼画像の眼画像を備える前記再訓練用入力データを生成することであって、
前記対応する再訓練用標的出力データは、前記眼画像内の前記ＵＩデバイスの表示場所に関連する前記眼画像の各眼画像内の前記ユーザの眼の眼姿勢を備える、ことと
を含む、項目３２に記載の方法。
（項目３９）
前記運動は、角運動を備える、項目３８に記載の方法。
（項目４０）
前記運動は、均一運動を備える、項目３８に記載の方法。
（項目４１）
前記ＵＩイベントに先立った前記運動の存在を決定することをさらに含む、項目３８に記載の方法。
（項目４２）
前記第２の眼画像から前記第１の眼画像までの前記眼画像内の運動に伴って前記ユーザの眼が平滑に移動することを決定することをさらに含む、項目３８に記載の方法。
（項目４３）
前記眼が平滑に移動することを決定することは、
前記ニューラルネットワークを使用して、前記眼画像内で前記運動に伴って前記ユーザの眼が平滑に移動することを決定すること
を含む、項目４２に記載の方法。
（項目４４）
前記眼が平滑に移動することを決定することは、
前記眼画像内の前記ユーザの眼の眼姿勢が前記運動に伴って平滑に移動することを決定すること
を含む、項目４２に記載の方法。
（項目４５）
前記眼の眼姿勢は、前記表示場所である、項目３２に記載の方法。
（項目４６）
前記ＵＩデバイスの表示場所を使用して、前記眼の眼姿勢を決定することをさらに含む、項目３２に記載の方法。
（項目４７）
前記眼の眼姿勢を決定することは、前記ＵＩデバイスの表示場所、前記眼の場所、またはそれらの組み合わせを使用して、前記眼の眼姿勢を決定することを含む、項目４６に記載の方法。
（項目４８）
前記再訓練セットを生成することは、
前記再訓練用眼画像内の前記眼の眼姿勢が複数の眼姿勢領域の第１の眼姿勢領域内にあることを決定することと、
前記ＵＩデバイスの分布確率が前記第１の眼姿勢領域内にあることを決定することと、
前記分布確率に関連する含有確率において前記再訓練用眼画像を備える前記再訓練用入力データを生成することと
を含む、項目３２に記載の方法。
（項目４９）
前記含有確率は、前記分布確率に反比例する、項目４８に記載の方法。
（項目５０）
前記第１の眼姿勢領域は、第１の天頂範囲および第１の方位角範囲内にある、項目４８に記載の方法。
（項目５１）
前記眼の眼姿勢が前記第１の眼姿勢領域内にあることを決定することは、
前記再訓練用眼画像内の前記眼の眼姿勢が、前記複数の眼姿勢領域の第１の眼姿勢領域または第２の眼姿勢領域内にあることを決定すること
を含む、項目４８に記載の方法。
（項目５２）
前記第１の眼姿勢領域は、第１の天頂範囲および第１の方位角範囲内にあり、
前記第２の眼姿勢領域は、第２の天頂範囲および第２の方位角範囲内にあり、
前記第１の天頂範囲内の数および前記第２の天頂範囲内の数の和はゼロである、前記第１の方位角範囲内の数および前記第２の方位角範囲内の数の和はゼロである、またはそれらの組み合わせである、項目５１に記載の方法。
（項目５３）
前記ＵＩデバイスの分布確率が前記第１の眼姿勢領域内にあることを決定することは、前記複数の再訓練用眼画像の再訓練用眼画像が捕捉されるときにユーザに示されるＵＩデバイスの表示場所の分布が、前記複数の眼姿勢領域の眼姿勢領域内にあることを決定することを含み、
前記ＵＩデバイスの分布確率が前記第１の眼姿勢領域内にあることを決定することは、ＵＩデバイスの表示場所の分布を使用して、前記ＵＩデバイスの分布確率が前記第１の眼姿勢領域内にあることを決定することを含む、項目４８に記載の方法。
（項目５４）
訓練用入力データおよび対応する訓練用標的出力データを備える訓練セットを使用して、前記ニューラルネットワークを訓練することをさらに含み、
前記訓練用入力データは、複数のユーザの複数の訓練用眼画像を備え、
前記対応する訓練用標的出力データは、前記訓練用の複数の訓練用眼画像内の前記複数のユーザの眼の眼姿勢を備える、項目３２に記載の方法。
（項目５５）
前記複数のユーザは、多数のユーザを備える、項目５４に記載の方法。
（項目５６）
前記眼の眼姿勢は、前記眼の多様な眼姿勢を備える、項目５４に記載の方法。
（項目５７）
前記再訓練セットの再訓練用入力データは、前記複数の訓練用眼画像の少なくとも１つの訓練用眼画像を備える、項目５４に記載の方法。
（項目５８）
前記再訓練セットの再訓練用入力データは、前記複数の訓練用眼画像の訓練用眼画像を備えない、項目３２に記載の方法。
（項目５９）
前記ニューラルネットワークを再訓練することは、前記再訓練セットを使用して、前記ニューラルネットワークを再訓練し、眼追跡のための再訓練されたニューラルネットワークを生成することを含む、項目３２に記載の方法。
（項目６０）
前記ニューラルネットワークを再訓練することは、前記再訓練セットを使用して、前記ニューラルネットワークを再訓練し、バイオメトリック用途のための再訓練されたニューラルネットワークを生成することを含む、項目３２に記載の方法。
（項目６１）
前記バイオメトリック用途は、虹彩識別を備える、項目６０に記載の方法。
（項目６２）
前記ニューラルネットワークを再訓練することは、前記再訓練されるニューラルネットワークの加重を前記ニューラルネットワークの加重で初期化することを含む、項目３２に記載の方法。
（項目６３）
前記ユーザの眼画像を受信することと、
前記再訓練されたニューラルネットワークを使用して、前記眼画像内の前記ユーザの眼姿勢を決定することと
をさらに含む、項目３２に記載の方法。
（項目６４）
前記ＵＩイベントは、前記ＵＩデバイスの複数の状態のうちの状態に対応する、項目３２に記載の方法。
（項目６５）
前記複数の状態は、前記ＵＩデバイスのアクティブ化または非アクティブ化を備える、項目６４に記載の方法。
（項目６６）
前記ＵＩデバイスは、ＡｒＵｃｏ、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、項目３２に記載の方法。
（項目６７）
前記ＵＩイベントは、前記ＵＩデバイスおよびポインタに対して生じる、項目３２に記載の方法。
（項目６８）
前記ポインタは、ユーザと関連付けられたオブジェクトまたは前記ユーザの一部を備える、項目６７に記載の方法。
（項目６９）
前記ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、前記ユーザの一部は、前記ユーザの指を備える、項目６８に記載の方法。

図１は、眼画像を捕捉し、眼追跡のためのニューラルネットワークを再訓練するために眼画像を使用する一実施形態を図式的に図示する。

図２は、眼の実施例を図式的に図示する。図２Ａは、眼の眼姿勢を測定するための例示的座標系を図式的に図示する。

図３は、眼画像を収集し、収集された眼画像を使用してニューラルネットワークを再訓練する、例証的方法のフロー図を示す。

図４は、眼追跡のためのニューラルネットワークを再訓練するために、異なる眼姿勢を伴う眼画像を生成する、実施例を図示する。

図５は、テキスト説明とともに表示される仮想ＵＩデバイスに関する異なる指示方向を伴う眼画像を生成するための確率分布を算出する、実施例を図示する。

図６は、異なる眼姿勢領域に対応するディスプレイのいくつかの領域を伴う、拡張現実デバイスの例示的ディスプレイを図示する。仮想ＵＩデバイスは、異なる確率を伴う異なる眼姿勢領域に対応するディスプレイの異なる領域に表示されることができる。

図７は、ニューラルネットワークを再訓練するための眼画像を収集するときに観察されるＵＩイベントの密度正規化を実施する、例証的方法のフロー図を示す。

図８は、仮想ＵＩデバイスに対する眼視線の逆追跡の例示的例証を示す。

図９は、仮想ＵＩデバイスに対する眼視線の逆追跡の例証的方法のフロー図を示す。

図１０は、一実施形態による、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実オブジェクトを伴う拡張現実シナリオの例証を描写する。

図１１は、一実施形態による、ウェアラブルディスプレイシステムの実施例を図示する。

図１２は、一実施形態による、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。

図１３は、一実施形態による、画像情報をユーザに出力するための導波管スタックの実施例を図示する。

図１４は、一実施形態による、導波管によって出力され得る、例示的出射ビームを示す。

図１５は、一実施形態による、ディスプレイシステムを示す、概略図である。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。

（概要）
ニューラルネットワーク（ＮＮ）を訓練するプロセスは、ネットワークに入力データおよび対応する標的出力データの両方を提示するステップを伴う。例示的入力および標的出力の両方を含む、本データは、訓練セットと称され得る。訓練プロセスを通して、ネットワークの加重は、ネットワークの出力が、訓練セットからの特定の入力データを前提として、その特定の入力データに対応する標的出力に合致するようになる（例えば、可能な限り、望ましい限り、または実践的である限り、近似的に）ように、漸次的または反復的に適合され得る。

ＮＮを訓練するための訓練セットを構築することは、課題を提示し得る。訓練セットの構築は、ＮＮを訓練するため、したがって、ＮＮの正常動作のために重要であり得る。いくつかの実施形態では、ネットワークのために必要とされるデータの量は、数十、数百～数千、数百万、またはそれを上回る正しい挙動例等、非常に膨大であり得る。ネットワークは、訓練セットを使用して学習し、その学習を正しく一般化し、入力（例えば、オリジナル訓練セット内に存在し得ない、新規入力）に関する適切な出力を予測することができる。

本明細書に開示されるのは、眼追跡の（例えば、眼姿勢および眼視線方向を決定する）ために訓練されたＮＮを再訓練する、向上させる、精緻化させる、または個人化するために、訓練データ（例えば、眼画像）を収集し、訓練データを含む、訓練セットを生成し、
訓練セットを使用するためのシステムおよび方法である。いくつかの実装では、深層ニューラルネットワーク（ＤＮＮ）等のＮＮは、最初に、大規模母集団（例えば、ヒト母集団を含む、動物母集団）からの眼画像を含む、訓練セットを使用して、眼追跡の（例えば、眼移動を追跡する、または視線方向を追跡する）ために訓練されることができる。訓練セットは、数百人、数千人、またはそれを上回る個人から収集された訓練データを含むことができる。

ＮＮは、続いて、単一個人（または５０人、１０人、５人、またはより少ない個人等の少数の個人）からの再訓練するためのデータを使用して、再訓練、向上、精緻化、または個人化されることができる。再訓練されたＮＮは、個人（または少数の個人）に関して眼追跡のための訓練されたＮＮより改良された性能を有することができる。いくつかの実装では、訓練プロセスの開始時、再訓練されるＮＮの加重は、訓練されたＮＮの加重に設定されることができる。

図１は、眼画像を収集し、眼追跡のためのニューラルネットワークを再訓練するために収集された眼画像を使用する一実施形態を図式的に図示する。再訓練するためのデータを収集するために、図１１におけるウェアラブルディスプレイシステム１１００等の頭部搭載可能拡張現実デバイス（ＡＲＤ）１０４のディスプレイ上に表示される仮想ユーザインターフェース（ＵＩ）デバイスとのユーザの相互作用が、監視されることができる。例えば、仮想遠隔制御の仮想ボタンのユーザのアクティブ化（例えば、「押下」）またはアクティブ化解除（例えば、「解放」）等のＵＩイベントが、監視されることができる。仮想ＵＩデバイスとのユーザの相互作用（本明細書では、ユーザ相互作用とも称される）は、本明細書では、ＵＩイベントと称される。仮想ＵＩデバイスは、ウィンドウ、アイコン、メニュー、ポインタ（ＷＩＭＰ）ＵＩデバイスのスタイルまたは実装に基づくことができる。仮想ＵＩデバイスとのユーザ相互作用を決定するプロセスは、ポインタ（例えば、指、指先、またはスタイラス）の場所の算出と、ポインタと仮想ＵＩデバイスの相互作用の決定とを含むことができる。いくつかの実施形態では、ＡＲＤ１０４は、眼追跡のためのＮＮ１０８を含むことができる。

仮想ＵＩデバイスに対するＵＩイベント時のユーザの片眼または両眼の眼画像１１２が、ＡＲＤ１０４の内向きに向いた結像システム（例えば、図１３における内向きに向いた結像システム１３５２）等のカメラを使用して捕捉されることができる。例えば、ＡＲＤ１０４上のユーザの片眼または両眼の近傍に設置された１つ以上のカメラが、ＮＮ１０８を再訓練し、再訓練されたＮＮ１２４を生成するために、眼画像１１２を捕捉することができる。再訓練セットのためのデータは、眼画像１１２と、ＡＲＤ１０４のディスプレイ上の仮想ＵＩデバイス１１６の場所（または仮想ＵＩデバイスの場所を使用して決定された片眼または両眼の眼姿勢）とを含むことができる。いくつかの実施形態では、再訓練セットのデータは、既存の訓練されたＮＮから独立して取得されることができる。例えば、再訓練セットは、仮想ＵＩデバイスに対するＵＩイベント時に収集された眼画像１１２と、仮想ＵＩデバイスが表示される前にＡＲＤ１０４によって決定され得る、ＡＲＤ１０４のディスプレイ上の仮想ＵＩデバイス１１６の場所とを含むことができる。

ＡＲＤは、ＮＮ再訓練システム１２０に、ネットワーク（例えば、インターネット）を経由して、ＵＩイベントが生じたときに捕捉されたユーザの眼画像１１２と、ＵＩイベントが生じたときにＡＲＤ１０４のディスプレイ上に表示される仮想ＵＩデバイス１１６の場所とを送信することができる。ＮＮ再訓練システム１２０は、捕捉された眼画像１１２と、眼画像１１２の捕捉時の仮想ＵＩデバイスの対応する表示場所１１６とを使用して、ＮＮ１０８を再訓練し、再訓練されたＮＮ１２４を生成することができる。いくつかの実施形態では、複数のシステムが、ＮＮ１０８を再訓練する際に関わることができる。例えば、ＡＲＤ１０４は、部分的または全体的に、ローカルで（例えば、図１１におけるロー
カル処理モジュール１１２４を使用して）、ＮＮ１０８を再訓練することができる。別の実施例として、遠隔処理モジュール（例えば、図１１における遠隔処理モジュール１１２８）およびＮＮ再訓練システム１２０の一方または両方が、ＮＮ１０８を再訓練する際に関わることができる。再訓練の速さを改良するために、再訓練されるＮＮ１２４の加重は、いくつかの実装では、有利には、再訓練プロセスの開始時の訓練されたＮＮ１０８の加重に設定されることができる。

ＡＲＤ１０４は、ＮＮ再訓練システム１２０からネットワークを経由して受信された眼追跡のためのそのような再訓練されたＮＮ１２４を実装することができる。ＡＲＤ１０４上のユーザの片眼または両眼の近傍に設置された１つ以上のカメラ（例えば、図１３における内向きに向いた結像システム１３５２）は、眼画像を捕捉および提供することができ、そこから、ユーザの眼姿勢または視線方向が、再訓練されたＮＮ１２４を使用して決定されることができる。再訓練されたＮＮ１２４は、ユーザに関する眼追跡のための訓練されたＮＮ１０８より改良された性能を有することができる。本明細書に説明されるある実施例は、ＡＲＤ１０４を参照するが、これは、例証のみのためのものであって、限定ではない。他の実施例では、複合現実ディスプレイ（ＭＲＤ）または仮想現実ディスプレイ（ＶＲＤ）等の他のタイプのディスプレイが、ＡＲＤの代わりに使用されることができる。

ＮＮ１０８および再訓練されたＮＮ１２４は、いくつかの実装では、トリプレットネットワークアーキテクチャを有することができる。眼画像１１２の再訓練セットは、１つ以上のユーザデバイス（例えば、ＡＲＤ）から「クラウドに」送信され、そのユーザを実際に認知する、トリプレットネットワークを再訓練するために使用されることができる（但し、本再訓練では、共通データセットを使用する）。いったん訓練されると、本再訓練されたネットワーク１２４は、ユーザに返信されることができる。多くのそのようなサブミットを伴う、いくつかの実施形態では、１つの普遍的ネットワーク１２４が、有利には、全てまたは多数のユーザからのデータの全てを用いて再訓練され、再訓練されたＮＮ１２４がユーザデバイスに返信されることができる。

（眼画像の実施例）
図２は、眼瞼２０４、強膜２０８（眼の「白眼」）、虹彩２１２、および瞳孔２１６を伴う、眼２００の画像を図示する。例えば、図１におけるＡＲＤ１０４の内向きに向いた結像システムを使用して捕捉された眼画像が、ＮＮ１０８を再訓練するために使用され、再訓練されたＮＮ１２４を生成することができる。眼画像は、任意の適切なプロセスを使用して、例えば、画像を１つ以上のシーケンシャルフレームから抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。いくつかの実施形態では、再訓練されたＮＮ１２４は、再訓練されたＮＮ１０８を使用して、眼画像内の眼２００の眼姿勢を決定するために使用されることができる。

曲線２１６ａは、瞳孔２１６と虹彩２１２との間の瞳孔境界を示し、曲線２１２ａは、虹彩２１２と強膜２０８との間の辺縁境界を示す。眼瞼２０４は、上側眼瞼２０４ａと、下側眼瞼２０４ｂとを含む。眼２００は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向くであろうように配向される）に図示される。眼２００の自然静置姿勢は、眼２００が自然静置姿勢にあるときの眼２００の表面に直交する方向（例えば、図２に示される眼２００に関して一直線の面外）にあって、本実施例では、瞳孔２１６内に心合される、自然静置方向２２０によって示されることができる。

眼２００が、異なるオブジェクトに眼を向けるように移動するにつれて、眼姿勢は、自然静置方向２２０に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する（かつ瞳孔２１６内に心合される）方向であるが、眼が現在指向されているオブジェクトに向
かって配向される、眼姿勢方向２２０を参照して決定されることができる。図２Ａに示される例示的座標系を参照すると、眼２００の姿勢は、両方とも眼の自然静置方向２２０に対する、眼の眼姿勢方向２２４の方位角偏向および天頂偏向を示す、２つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ（基点方位角から決定される、方位角偏向）およびφ（時として、極性偏向とも称される、天頂偏向）として表され得る。いくつかの実装では、眼姿勢方向２２４の周囲の眼の角度ロールが、眼姿勢の決定内に含まれることができる。他の実装では、眼姿勢を決定するための他の技法、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。

（眼画像を収集し、眼画像を使用して、眼追跡のためのＮＮを再訓練する、実施例）
図１は、眼追跡のためのニューラルネットワークを再訓練するために、眼画像を収集する一実施形態を図式的に図示する。いくつかの実施形態では、ＮＮ１０８は、最初に、あるクラスとして、全般的ユーザの眼移動を追跡するように訓練されることができる。例えば、ＮＮ１０８は、最初に、ＡＲＤ製造業者によって、多くの方向を見ている多くの個人を含む、訓練セット上で訓練されることができる。本明細書に開示されるシステムおよび方法は、ＮＮ１０８を再訓練し、再訓練されたＮＮ１２４を生成することによって、特定のユーザ（または５人または１０人のユーザ等のユーザのグループ）の場合に関するＮＮ１０８の性能を改良することができる。例えば、ＮＮ１０８を含む、ＡＲＤ１０４の製造業者は、いったん製造および流通されると、ＡＲＤ１０４を購入するであろう人物について把握し得ない。

代替信号（例えば、ＵＩイベントの発生）は、ユーザの片眼または両眼が既知の標的（例えば、仮想ＵＩデバイス）を注視していることが観察され得る、特定の状況存在することを示すことができる。代替信号は、ＮＮ１０４を再訓練し、再訓練されたＮＮ１２４（本明細書では、精緻化されたＮＮ、向上されたＮＮ、または個人化されたＮＮとも称される）を生成するために、再訓練セット（本明細書では、第２の訓練セット、精緻化されたセット、または個人化されたセットとも称される）を生成するために使用されることができる。代替として、または加えて、品質メトリックが、再訓練セットが再訓練するための十分な網羅範囲を有することを決定するために使用されることができる。

いったん収集されると、ＮＮ１０８は、再訓練、精緻化、向上、または個人化されることができる。例えば、ＡＲＤ１０４は、ＵＩイベントが生じると、１人以上のユーザの眼画像１１２を捕捉することができる。ＡＲＤ１０４は、眼画像１１２および仮想ＵＩデバイス１１６の場所をネットワーク（例えば、インターネット）を経由してＮＮ再訓練システム１２０に伝送することができる。ＮＮ再訓練システム１２０は、ＮＮ１０８を再訓練し、再訓練されたＮＮ１２４を生成するために、再訓練セットを生成することができる。再訓練セットは、特定の数のデータ点を含むことができる。いくつかの実装では、ＮＮ１０８を再訓練することは、再訓練されたＮＮ１２４をオリジナル訓練セット（例えば、精緻化または個人化されていない訓練セット）から学習された加重で初期化し、次いで、再訓練セットのみまたは再訓練セットおよびオリジナル訓練セットの集合要素の一部または全部の組み合わせを使用して、訓練プロセスを繰り返すことを含むことができる。

有利には、再訓練されたＮＮ１２４は、より一般的程度からユーザの特定のインスタンスに対して部分的に特殊な程度へと適合されることができる。再訓練プロセスが完了した後のＮＮ１２４は、再訓練されたＮＮ１２４、精緻化されたＮＮ１２４、向上されたＮＮ１２４、または個人化されたＮＮ１２４と称され得る。別の実施例として、いったんＡＲＤ１０４が、単一ユーザ（またはその識別が、例えば、バイオメトリックシグネチャまたはログイン識別子（ＩＤ）によってランタイム時に区別可能であり得る、複数のユーザ）の所有物となると、再訓練されたセットは、ＵＩイベントの間、眼の画像を捕捉し、それらの画像を関連付けられた仮想ＵＩデバイスの場所に割り当てることによって、そのユー
ザのために構成されることができる。いったん再訓練セットの十分な数のデータ点が収集されると、ＮＮ１０８は、次いで、再訓練セットを使用して、再訓練または精緻化されることができる。本プロセスは、繰り返される場合とそうではない場合がある。

再訓練されたＮＮ１２４は、改良された性能（例えば、より高い正確度）を伴って、ユーザの片眼または両眼（例えば、ユーザの眼の指示方向）の眼姿勢（例えば、視線方向）を決定するために使用されることができ、これは、より良好なユーザ体験をもたらし得る。再訓練されたＮＮ１２４は、再訓練されたＮＮ１２４をＮＮ再訓練システム１２０から受信し得る、ディスプレイ（ＡＲＤ１０４、ＶＲＤ、ＭＲＤ、または別のデバイス等）によって実装されることができる。例えば、視線追跡は、コンピュータ、タブレット、またはモバイルデバイス（例えば、携帯電話）のユーザのために再訓練されたＮＮ１２４を使用して実施され、ユーザが見ているコンピュータ画面の場所を決定することができる。ＮＮ１２４の他の使用は、ユーザ体験（ＵＸ）研究、ＵＩインターフェース制御、またはセキュリティ特徴を含む。ＮＮ１２４は、各眼の視線方向を決定するために、ユーザの眼のデジタルカメラ画像を受信する。各眼の視線方向は、ユーザの視線の輻輳・開散運動を決定する、またはユーザの両眼の両方が向いている３次元（３Ｄ）空間内の点を位置特定するために使用されることができる。

ＡＲＤ１０４のコンテキストにおける視線追跡に関して、再訓練されたＮＮ１２４の使用は、代替信号の特定の選択肢（例えば、スタイラスを使用した仮想ボタンの押下等のＵＩイベントの発生）を要求し得る。ディスプレイであることに加え、ＡＲＤ１０４（またはＭＲＤまたはＶＲＤ）は、入力デバイスでもあることができる。そのようなデバイスのための非限定的例示的入力モードは、ジェスチャ（例えば、手のジェスチャ）、またはポインタ、スタイラス、または別の物理的オブジェクトを利用する運動を含む。手のジェスチャは、手をある方向に向ける等のユーザの手の運動を伴うことができる。運動は、タッチ、押下、解放、上／下または左／右への摺動、軌道に沿った移動、または３Ｄ空間内の他のタイプの移動を含むことができる。いくつかの実装では、仮想ボタンまたはスライダ等の仮想ユーザインターフェース（ＵＩ）デバイスは、ユーザによって知覚される仮想環境内に現れることができる。これらの仮想ＵＩデバイスは、２次元（２Ｄ）または３次元（３Ｄ）ウィンドウ、アイコン、メニュー、ポインタ（ＷＩＭＰ）ＵＩデバイス（例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ^ＴＭ、またはＡｎｄｒｏｉｄ^ＴＭオペレーティングシステム内に現れるもの）に類似することができる。これらの仮想ＵＩデバイスの実施例は、仮想ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを含む。

そのようなＷＩＭＰインターフェースの特徴は、ポインタとＵＩデバイスを整合させる際に関わる視覚運動課題を含む。ポインタは、指またはスタイラスであることができる。ポインタは、マウス、トラックボール、ジョイスティック、ゲームコントローラ（例えば、５方向Ｄ－パッド）、ワンド、またはトーテムの別個の運動を使用して移動されることができる。ユーザは、ＵＩデバイスと相互作用（例えば、マウス「クリック」）する直前およびその間、その視線をＵＩデバイス上に固定し得る。同様に、ＡＲＤ１０４のユーザは、仮想ＵＩデバイスと相互作用する（例えば、仮想ボタンをクリックする）直前およびその間、その視線を仮想ＵＩデバイス上に固定し得る。ＵＩイベントは、ユーザと仮想ＵＩデバイス（例えば、ＷＩＭＰ状ＵＩデバイス）との間の相互作用を含むことができ、これは、代替信号として使用されることができる。再訓練セットの集合要素は、ＵＩイベントに関連することができる。例えば、集合要素は、ユーザの眼の画像と、仮想ＵＩデバイスの場所（例えば、ＡＲＤ１０４のディスプレイ上の仮想ＵＩデバイスの表示場所）とを
含有することができる。別の実施例として、再訓練セットの集合要素は、ユーザの各眼の画像と、仮想ＵＩデバイスの１つ以上の場所（例えば、ＡＲＤ１０４は、２つのディスプレイを含むことができ、仮想ＵＩデバイスは、ディスプレイ上の２つの異なる場所に表示されることができる）とを含有することができる。集合要素は、加えて、ＵＩイベント（例えば、ＷＩＭＰ「クリック」イベント）の正確な場所等の補助情報を含むことができる。ＵＩイベントの場所は、仮想ＵＩデバイスの場所と明確に異なり得る。ＵＩイベントの場所は、ＵＩイベントが生じるときに仮想ＵＩデバイス上に位置するポインタ（例えば、指またはスタイラス）の場所であることができ、これは、仮想ＵＩデバイスの場所と明確に異なり得る。

再訓練されたＮＮ１２４は、視線追跡のために使用されることができる。いくつかの実施形態では、再訓練されたＮＮ１２４は、カテゴリ別のデータの再訓練セットを使用して再訓練されることができる。カテゴリデータは、イベントの複数のサブクラス（例えば、仮想ボタンのアクティブ化）を表すが、それらのサブクラスが区別され得ない、データであることができる。これらのサブクラス自体は、より小さいカテゴリまたは個々のもの（例えば、仮想ボタンのクリックまたは仮想ボタンのタッチ）のカテゴリであることができる。ＡＲＤ１０４は、保定されたＮＮ１２４を実装することができる。例えば、カメラが、ユーザの眼の画像を捕捉するように、ＡＲＤ１０４上に位置することができる。再訓練されたＮＮ１０４は、ユーザの眼が合焦される、３次元空間内の点（例えば、輻輳・開散運動点）を決定するために使用されることができる。

いくつかの実施形態では、眼画像１１２は、ユーザがシステムに対する既知の場所を伴う任意の物理的または仮想オブジェクトと相互作用すると、捕捉されることができる。例えば、ＵＩイベントは、ユーザがモバイルデバイス（例えば、携帯電話またはタブレットコンピュータ）上に表示されるＵＩデバイス（例えば、ボタン、またはＡｒＵｃｏパターン）をアクティブ化する（例えば、クリックまたはタッチする）と、生じることができる。モバイルデバイスの座標系内のＵＩデバイスの場所は、ＵＩデバイスがその場所に表示されることに先立って、モバイルデバイスによって決定されることができる。モバイルデバイスは、ユーザがＵＩデバイスをアクティブ化するときのＵＩデバイスの場所と、アクティブ化のタイミングとを、ＡＲＤ１０４に伝送することができる。ＡＲＤ１０４は、ＡＲＤ１０４の外向きに向いた結像システム（図１３を参照して説明される外向きに向いた結像システム１３５４等）によって捕捉されたユーザの環境の画像を使用して決定され得る、ユーザの世界座標系内のモバイルデバイスの場所を決定することができる。世界座標系内のＵＩデバイスの場所は、ユーザの世界座標系内のモバイルデバイスの場所と、モバイルデバイスの座標系内のＵＩデバイスの場所とを使用して、決定されることができる。そのようなアクティブ化が生じるときのユーザの眼画像は、アクティブ化のタイミングを使用して、ＡＲＤ１０４の画像バッファから読み出されることができる。ＡＲＤ１０４は、世界座標系内のＵＩデバイスの場所を使用して、ユーザの眼の視線方向を決定することができる。

再訓練セットまたは精緻化されたセットは、バイオメトリックまたは虹彩識別等の他の用途を有することができる。例えば、虹彩合致等のバイオメトリック識別のためのＮＮ（例えば、ＤＮＮ）は、バイオメトリック識別のために再訓練されたＮＮを生成するように再訓練されることができる。ＮＮは、虹彩のベクトル空間表現の構築のために、トリプレットネットワークアーキテクチャを有することができる。訓練セットは、多くの虹彩画像を含むことができるが、必ずしも、ＡＲＤ１０４を使用しているユーザの眼の虹彩任意の画像ではない。再訓練セットは、ユーザがＡＲＤ１０４を使用しているときに生成されることができる。再訓練用眼画像または虹彩画像は、ＵＩイベントが生じると、捕捉されることができる。加えて、または代替として、再訓練用眼画像または虹彩画像は、パスワードまたはＰＩＮの打ち込み等の他の種類の識別イベントに伴って捕捉されることができる
。いくつかの実施形態では、セッションの間のユーザの一部または全部の眼画像（またはユーザに関連する他のデータ）が、再訓練セットに追加されることができる。セッションは、識別（ＩＤ）検証（例えば、虹彩識別による）またはある他のイベント（例えば、パスワードまたは個人識別番号（ＰＩＮ）の打ち込み）とＡＲＤ１０４が任意の信頼性がある手段によってＡＲＤ１０４がユーザから除去されたことを検出した瞬間との間の時間周期を指し得る。再訓練セットは、セッション内で捕捉された眼の画像の一部または全部またはセッション開始時に捕捉された眼画像を含むことができる。

（眼画像を収集し、眼追跡のためのニューラルネットワークを再訓練する、例示的方法）
図３は、眼画像を収集または捕捉し、収集された眼画像を使用して、ニューラルネットワークを再訓練する、例証的方法３００のフロー図を示す。ＡＲＤは、ＵＩイベントが生じると、ユーザの眼画像を捕捉することができる。例えば、図１におけるＡＲＤ１０４は、ユーザインターフェース（ＵＩ）イベントが生じると、ユーザの図１における眼画像１１２または図２における眼２００の画像を捕捉することができる。システムは、捕捉された眼画像と、ＵＩイベントが生じるときの仮想ＵＩデバイスの場所とを使用して、ＮＮを再訓練し、再訓練されたＮＮを生成することができる。例えば、図１におけるＮＮ再訓練システム１２０は、捕捉された眼画像１１２と、ＵＩイベントが生じ、眼画像１１２が捕捉されたときの仮想ＵＩデバイス１１６の場所とを使用して、ＮＮ１０８を再訓練し、再訓練されたＮＮ１２４を生成することができる。

ブロック３０４では、眼追跡のためのニューラルネットワークは、随意に、訓練用入力データと、対応する訓練用標的出力データとを含む、訓練セットを使用して、訓練されることができる。ＡＲＤの製造業者は、ＮＮを訓練することができる。訓練用入力データは、複数のユーザの複数の訓練用眼画像を含むことができる。対応する訓練用標的出力データは、複数のユーザの眼の眼姿勢を複数の訓練用眼画像内に含むことができる。複数のユーザは、多数のユーザを含むことができる。例えば、眼の眼姿勢は、眼の多様な眼姿勢を含むことができる。ＮＮを訓練するプロセスは、ネットワークに、訓練セットの入力データおよび対応する標的出力データの両方を提示することを伴う。訓練プロセスを通して、ネットワークの加重は、ネットワークの出力が、訓練セットからの特定の入力データを前提として、その特定の入力データに対応する標的出力に合致するようになる（例えば、可能な限り、望ましい限り、または実践的である限り、近似して）ように、漸次的または反復的に適合されることができる。いくつかの実施形態では、眼追跡のためのニューラルネットワークは、ニューラルネットワークが訓練された後、受信される。

ブロック３０８では、ユーザの眼の複数の再訓練用眼画像が、受信されることができる。ＡＲＤの内向きに向いた結像システム（例えば、図１３における内向きに向いた結像システム１３５２）が、ユーザの眼の複数の再訓練用眼画像を捕捉することができる。ＡＲＤは、複数の再訓練用眼画像をＮＮ再訓練システム（例えば、図１におけるＮＮ再訓練システム１２０）に伝送することができる。複数の再訓練用眼画像の再訓練用眼画像は、ある表示場所においてユーザに示される仮想ＵＩデバイス（例えば、仮想ボタン）に対するＵＩイベント（例えば、アクティブ化または非アクティブ化）が生じると、捕捉されることができる。いくつかの実装では、ユーザの複数の再訓練用眼画像を受信するステップは、ディスプレイ（例えば、図１１におけるウェアラブルディスプレイシステム１１００のディスプレイ１１０８）を使用して、仮想ＵＩデバイスをその表示場所においてユーザに表示するステップを含むことができる。仮想ＵＩデバイスを表示後、仮想ＵＩデバイスに対するＵＩイベントの発生が、決定されることができ、再訓練用眼画像が、結像システム（例えば、図１３における内向きに向いた結像システム１３５２）を使用して、捕捉されることができる。

いくつかの実施形態では、ユーザの複数の再訓練用眼画像を受信するステップはさらに
、再訓練用眼画像内の眼の眼姿勢を決定するステップを含むことができる。例えば、再訓練用眼画像内の眼の眼姿勢は、仮想ＵＩデバイスの表示場所であることができる、または仮想ＵＩデバイスの表示場所を使用して決定されることができる。眼の眼姿勢を決定するステップは、仮想ＵＩデバイスの表示場所、眼の場所、またはそれらの組み合わせを使用して、眼の眼姿勢を決定するステップを含むことができる。例えば、眼の眼姿勢は、仮想ＵＩデバイスの表示場所と眼の場所との間に形成されるベクトルによって表されることができる。

ＵＩイベントは、仮想ＵＩデバイスの複数の状態のうちのある状態に対応し得る。複数の状態は、仮想ＵＩデバイスのアクティブ化、非アクティブ化、またはそれらの組み合わせ（例えば、非アクティブ化からアクティブ化への遷移、アクティブ化から非アクティブ化への遷移、またはアクティブ化解除）を備えることができる。アクティブ化は、タッチ、押下、解放、上／下または左／右への摺動、軌道に沿った移動、または３Ｄ空間内の他のタイプの移動を含むことができる。仮想ＵＩデバイスは、ＡｒＵｃｏ、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを含むことができる。いくつかの実施形態では、ＵＩイベントは、仮想ＵＩデバイスおよびポインタに対して生じる。ポインタは、ユーザと関連付けられたオブジェクト（例えば、ポインタ、ペン、鉛筆、マーカ、ハイライター）またはユーザの一部（例えば、ユーザの指または指先）を含むことができる。

ブロック３１２では、再訓練用入力データと、対応する再訓練用標的出力データとを含む、再訓練セットが、生成されることができる。例えば、図１におけるＡＲＤ１０４またはＮＮ再訓練システム１２０が、再訓練セットを生成することができる。再訓練用入力データは、再訓練用眼画像を含むことができる。対応する再訓練用標的出力データは、表示場所に関連する再訓練用眼画像内のユーザの眼の眼姿勢を含むことができる。再訓練セットの再訓練用入力データは、図３におけるブロック３０４を参照して説明される、複数の訓練用眼画像の０枚、１枚、またはそれを上回る訓練用眼画像を含むことができる。

ブロック３１６では、眼追跡のためのニューラルネットワークは、再訓練セットを使用して再訓練され、再訓練されたニューラルネットワークを生成することができる。例えば、ＮＮ再訓練システム１２０が、ＮＮを再訓練することができる。ＮＮを再訓練するプロセスは、ＮＮに、再訓練セットの再訓練用入力データおよび対応する再訓練用標的出力データの両方を提示することを伴う。再訓練プロセスを通して、ネットワークの加重は、ＮＮの出力が、再訓練セットからの特定の入力データを前提として、その特定の再訓練用入力データに対応する再訓練用標的出力に合致するようになる（例えば、可能な限り、実践的である限り、または望ましい限り、近似して）ように、漸次的または反復的に適合されることができる。いくつかの実施形態では、眼追跡のためのニューラルネットワークを再訓練するステップは、図３におけるブロック３０４を参照して説明される、再訓練されるニューラルネットワークの加重をオリジナルニューラルネットワークの加重で初期化するステップを含むことができ、これは、有利には、減少された訓練時間および再訓練されたＮＮの改良された性能（例えば、正確度、誤検出レート、または未検出レート）をもたらすことができる。

ブロック３２０では、ユーザの眼画像が、随意に、受信されることができる。例えば、図１３におけるウェアラブルディスプレイシステム１３の内向きに向いた結像システム１３５２が、ユーザの眼画像を捕捉することができる。ブロック３２４では、眼画像内のユーザの眼姿勢が、随意に、再訓練されたニューラルネットワークを使用して決定されるこ
とができる。例えば、図１１におけるウェアラブルディスプレイ１１００のローカル処理モジュール１１２４または遠隔処理モジュール１１２８は、再訓練されたＮＮを実装することができ、再訓練されたＮＮを使用して、内向きに向いた結像システムによって捕捉された眼画像内のユーザの眼姿勢を決定することができる。

（異なる眼姿勢を伴う、例示的眼画像）
ユーザが、その眼をユーザインターフェース（ＵＩ）デバイスに向けるとき、眼は、デバイス上のある特定の場所に正確に向いていない場合がある。例えば、一部のユーザは、その眼を仮想ＵＩデバイスの正確な中心に向け得る。別の実施例として、他のユーザは、その眼を仮想ＵＩデバイスの角（例えば、最も近い角）に向け得る。さらに別の実施例として、一部のユーザは、その眼を仮想ＵＩデバイスのある予測不能領域（例えば、ボタン上のテキスト内の文字の一部）等の仮想ＵＩデバイスのある他の部分上に固定させ得る。本明細書に開示されるシステムおよび方法は、中心指示をとらずに生成される再訓練セットを用いて、ＮＮを再訓練することができる。

図４は、異なる眼姿勢を伴う眼画像を生成する、実施例を図示する。ＡＲＤ１０４は、ＵＩイベントが仮想ＵＩデバイス４１２に対して生じると、内向きに向いたカメラシステムを使用して、眼４０４の片眼画像４００ａを捕捉することができる。ＡＲＤ１０４は、仮想ＵＩデバイス４１２をディスプレイ４１６の特定の場所に示すことができる。例えば、仮想ＵＩデバイス４１２は、ディスプレイ４１６上の中心に位置することができる。眼４０４は、図４に図示されるように、指示方向４０８ａを有することができる。しかしながら、ユーザは、その眼を仮想ＵＩデバイス４１２の正確な中心または他の場所に向け得る。

図１におけるＡＲＤ１０４およびＮＮ再訓練システム１２０の一方または両方が、眼画像４００ａから、訓練用眼画像４００ｂ－４００ｄのセットを自動的に生成することができる。訓練用眼画像のセットの眼画像４００ｂ－４００ｄは、異なる指示方向４０８ｂ－４０８ｄと、仮想ＵＩデバイス４１２上の対応する異なる指示場所とを有することができる。いくつかの実施形態では、自動的に生成された眼画像４００ｂ－４００ｄおよびこれらの眼画像４００ｂ－４００ｄを生成するために使用される捕捉された眼画像４００ａは、同じであることができる。捕捉および生成された眼画像４００ａ－４００ｄは、指示方向４０８ａ－４０８ｄと関連付けられることができる。訓練用眼画像のセットは、捕捉された眼画像４００ａと、生成された眼画像４００ｂ－４００ｄとを含むことができる。指示場所、したがって、指示方向４０８ｂ－４０８ｄは、既知または算出された確率分布関数からランダムに生成されることができる。確率分布関数の一実施例は、仮想ＵＩデバイス４１２の中心点の周囲のガウス分布である。他の分布も、可能性として考えられる。例えば、分布は、経験、観察、または実験から学習されることができる。

図５は、テキスト説明とともに表示される仮想ＵＩデバイスに関する異なる指示方向を伴う眼画像を生成するための確率分布を算出する、実施例を図示する。仮想ＵＩデバイス５００は、２つ以上のコンポーネントを含むことができる。例えば、仮想ＵＩデバイス５００は、グラフィカルコンポーネント５０４ａと、グラフィカルコンポーネント５０４ａを説明する、テキストコンポーネント５０４ｂとを含むことができる。２つのコンポーネント５０４ａ、５０４ｂは、重複することができる。グラフィカルコンポーネント５０４ａは、第１の確率分布関数５０８ａと関連付けられることができる。テキストコンポーネント５０４ｂは、第２の確率分布関数５０８ｂと関連付けられることができる。例えば、仮想ＵＩデバイス内または上のテキストは、テキスト自体を横断してある確率およびある分布を伴って、視線を引き付け得る。仮想ＵＩデバイス５００は、２つの確率分布関数５０８ａ、５０８ｂの算出または組み合わせられた確率分布関数と関連付けられることができる。例えば、全体としてのボタンに関する確率分布関数は、ボタンのグラフィカルおよ
びテキストコンポーネントの確率分布関数をまとめることによって決定されることができる。

（例示的密度正規化）
ＡＲＤのディスプレイは、異なる眼姿勢領域に対応する、複数の領域を含むことができる。例えば、ディスプレイ（例えば、図１１における頭部搭載型ディスプレイシステム１１００のディスプレイ１１０８）は、いくつかの眼姿勢領域（例えば、２、３、４、５、６、９、１２、１８、２４、３６、４９、６４、１２８、２５６、１，０００、またはそれを上回る）と関連付けられることができる。図６は、異なる眼姿勢領域に対応するディスプレイのいくつかの領域を伴う、拡張現実デバイスの例示的ディスプレイ６００を図示する。ディスプレイ６００は、２５の領域６０４ｒ１１－６０４ｒ５５を含む。ディスプレイ６００および眼姿勢領域は、同一または異なるサイズまたは形状（長方形、正方形、円形、三角形、卵形、または菱形等）を有することができる。眼姿勢領域は、その眼姿勢領域を装着者の眼姿勢の角度空間の観点から規定する、２次元実座標空間

または２次元正整数座標空間

の接続されたサブセットと見なされ得る。例えば、眼姿勢領域は、方位角偏向（基点方位角から測定される）における特定のθ_ｍｉｎと特定のθ_ｍａｘとの間および天頂偏向（極性偏向とも称される）における特定のφ_ｍｉｎと特定のφ_ｍａｘとの間にあることができる。

仮想ＵＩデバイスは、ディスプレイ６００を中心として均一に分散されなくてもよい。例えば、ディスプレイ６００の周縁（例えば、極縁）（例えば、ディスプレイ領域６０４ｒ１１－６０４ｒ１５、６０４ｒ２１、６０４ｒ２５、６０４ｒ３１、６０４ｒ３５、６０４ｒ４１、６０４ｒ４５、または６０４ｒ５１－６０４ｒ５５）におけるＵＩ要素は、稀であり得る。仮想ＵＩデバイスが、ディスプレイ６００の縁に現れるとき、ユーザは、ＡＲＤのコンテキストでは、ＵＩデバイスと相互作用する前に、その頭部を回転させ、仮想ＵＩデバイスを中心（例えば、ディスプレイ領域６０４ｒ３３）にもたらし得る。密度における本相違のため、再訓練セットは、ディスプレイ６００の中心領域（例えば、ディスプレイ領域６０４ｒ２２－６０４ｒ２４、６０４ｒ３２－６０４ｒ３４、または６０４ｒ４２－６０４ｒ４４）における追跡を改良することができる場合でも、周縁の近傍の追跡性能もさらに、改良されることができる。

本明細書に開示されるシステムおよび方法は、再訓練セットの集合要素の密度を角度空間内でより均一にするような様式において、再訓練セットを生成することができる。より高い密度領域内の点は、再訓練セットを角度空間内でより均一にするように、より低い確率で再訓練セットの中に意図的に含まれることができる。例えば、ＵＩイベントが生じるときの仮想ＵＩデバイスの場所が、収集されることができ、そのような仮想ＵＩデバイスの密度分布が、決定されることができる。これは、例えば、天頂および方位角が、有限数のビンに「ビニング」され、イベントが、各ビン内でカウントされる、角度空間内のヒストグラムの生成によって行われることができる。ビンは、対称化されることができる（例えば、ディスプレイ領域は、角度空間の１／２または１／４のみに投影されることができる）。例えば、ディスプレイ領域６０４ｒ５１－６０４ｒ５５は、ディスプレイ領域６０４ｒ１１－６０４ｒ１５の中に投影されることができる。別の実施例として、ディスプレイ領域６０４ｒ１５、６０４ｒ５１、６０４ｒ５５は、ディスプレイ領域６０４ｒ１１の
中に投影されることができる。

いったん本ヒストグラムが算出されると、ＵＩイベントが生じるときに捕捉された眼画像が、確率ｐを用いて、精緻化されたセットの中に追加されることができる。例えば、確率ｐは、下記の方程式［１］を使用して決定されることができる。

式中、ｑ（θ，φ）は、方位角（θ）および天頂角度（φ）と関連付けられたビン内の任意の仮想ＵＩデバイス（または特定の仮想ＵＩデバイスまたは特定のタイプの仮想ＵＩデバイス）の正規化された確率を示す。

（密度正規化の例示的方法）
図７は、ニューラルネットワークを再訓練するための眼画像を収集するときに観察される、ＵＩイベントの密度正規化を実施する、例証的方法のフロー図を示す。ＡＲＤは、ユーザインターフェース（ＵＩ）イベントが生じると、ユーザの眼画像を捕捉することができる。例えば、図１におけるＡＲＤ１０４は、ユーザインターフェースイベントが生じると、ユーザの眼画像１１２または図２における眼２００の画像を捕捉することができる。再訓練セットが、ある表示場所における仮想ＵＩデバイスに対するＵＩイベントが生じるときに捕捉された眼画像を含むかどうかは、ディスプレイの異なる領域または異なる眼姿勢領域内のＵＩデバイスの分布を使用して決定されることができる。図１におけるＡＲＤ１０４またはＮＮ再訓練システム１２０は、ディスプレイの異なる領域または眼姿勢領域内のＵＩデバイスの分布を使用して、再訓練セットを生成することができる。

ブロック７０４では、ユーザの複数の第１の再訓練用眼画像が、随意に、受信される。各眼画像は、第１の表示場所においてユーザに示される第１の仮想ＵＩデバイスに対する第１のＵＩイベントが生じると、例えば、ＡＲＤの内向きに向いた結像システムを使用して捕捉されることができる。例えば、眼画像は、ユーザが表示場所６０４ｒ３３に表示される仮想ボタンをアクティブ化すると、捕捉されることができる。異なるＵＩイベントと関連付けられた仮想ＵＩデバイスは、ディスプレイ６００の異なるディスプレイ領域６０４ｒ１１－６０４ｒ５５に表示されることができる。仮想ＵＩデバイスのインスタンスは、ディスプレイ６００の異なる領域６０４ｒ１１－６０４ｒ５５に表示されることができる。

ブロック７０８では、種々の眼姿勢またはディスプレイ領域内の第１のＵＩデバイスの第１の表示場所の分布が、随意に、決定されることができる。例えば、分布を決定するステップは、眼姿勢領域またはディスプレイ領域内の第１の複数の再訓練用眼画像が捕捉されるときにユーザに示されるＵＩデバイスの第１の表示場所の分布を決定するステップを含むことができる。ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定するステップは、ＵＩデバイスの表示場所の分布を使用して、ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定するステップを含むことができる。分布は、１つのＵＩデバイスに対して決定されることができ、１つの分布は、１つ、２つ、またはそれを上回るＵＩデバイスに関して決定されることができる。いくつかの実施形態では、種々の眼姿勢またはディスプレイ領域内の第１のＵＩデバイスの第１の表示場所の分布が、受信されることができる。

ブロック７１２では、ユーザの第２の再訓練用眼画像が、受信されることができる。ユーザの第２の再訓練用眼画像は、第２の表示場所においてユーザに示される第２のＵＩデバイスに対する第２のＵＩイベントが生じると、捕捉されることができる。第１のＵＩデ
バイスおよび第２のＵＩデバイスは、同一または異なることができる（例えば、ボタンまたはスライダ）。第１のＵＩイベントおよび第２のＵＩイベントは、同一タイプまたは異なるタイプのＵＩイベント（例えば、クリックまたはタッチ）であることができる。

ブロック７１６では、第２のＵＩデバイスの第２の表示場所が眼姿勢領域またはディスプレイ領域内にある含有確率が、決定されることができる。例えば、第２のＵＩデバイスは、ディスプレイの周縁におけるディスプレイ領域（例えば、図６におけるディスプレイ領域６０４ｒ１１）に表示されることができる。第２のＵＩデバイスがディスプレイの周縁にある確率は、低くあり得る。

ブロック７１６では、再訓練セットの再訓練用入力データが、生成されることができる。再訓練セットは、ある含有確率において、再訓練用眼画像を含むことができる。含有確率は、分布確率に関連することができる。例えば、含有確率および分布確率は、反比例し得る。いくつかの実施形態では、ディスプレイ領域または眼姿勢領域は、対称化されることができる（例えば、ディスプレイ領域は、角度空間の１／２または１／４の中に投影されることができる）。例えば、ディスプレイ領域６０４ｒ５１－６０４ｒ５５は、ディスプレイ領域６０４ｒ１１－６０４ｒ１５の中に投影されることができる。別の実施例として、ディスプレイ領域６０４ｒ１５、６０４ｒ５１、６０４ｒ５５は、ディスプレイ領域６０４ｒ１１の中に投影されることができる。さらに別の実施例として、ディスプレイ６００の片側上のディスプレイ領域６０４ｒ１５、６０４ｒ１４は、ディスプレイ６００の他側上のディスプレイ領域６０４ｒ１１、６０４ｒ１２の中に投影されることができる。

（眼視線の例示的逆追跡）
ディスプレイエリアの縁の近傍のイベントは、稀であることが予期され得る。例えば、ＡＲＤのユーザは、物理的デバイスとの相互作用と同様に、仮想ＵＩデバイスと相互作用する前に、その頭部をそれに向かって方向転換させる傾向にあり得る。ＵＩイベントの時点で、仮想ＵＩデバイスは、中心に位置することができる。しかしながら、ユーザは、本種類の頭部旋回の前およびその間、中心に位置しない仮想ＵＩデバイスを固視する傾向を有し得る。本明細書に開示されるシステムおよび方法は、そのような頭部旋回をＵＩイベントから遡って追跡することによって、再訓練セットを生成することができる。

図８は、ＵＩデバイスに対する眼姿勢（例えば、眼視線）の逆追跡の例示的例証を示す。ＡＲＤ（例えば、図１におけるＡＲＤ１０４）は、画像と、「頭部旋回」を捕捉するために十分な時間量（例えば、１秒）にわたって継続する、ＡＲＤ運動とを記憶する、バッファを含むことができる。ディスプレイのある表示場所に示される仮想ＵＩデバイス８０４に対するＵＩイベントが、生じ得る（例えば、時間＝０において）。例えば、仮想ＵＩデバイス８０４は、ＵＩイベントが生じるとき、場所８０８ａの中心に位置することができる。バッファが、運動（例えば、均一角運動）に関してチェックされることができる。例えば、ＡＲＤは、外向きに向いたカメラ（例えば、図１３を参照して説明される外向きに向いた結像システム１３５４）を使用して捕捉されたユーザの環境の画像８１２ａ、８１２ｂをバッファ内に記憶することができる。図８に示されるように、ユーザの頭部は、左から右に旋回し、これは、ユーザの環境の画像８１２ａ、８１２ｂ内の山８１６の相対的位置によって反映される。

均一角運動等の均一運動（または十分に均一な運動）が検出される場合、ＵＩデバイス８０４は、その均一角運動に沿って遡って投影され、より早い時間（例えば、時間＝－Ｎ）におけるＵＩデバイス８０４の投影された表示場所８０８ｐを決定することができる。投影された表示場所８０８ｐは、随意に、ＵＩデバイス８０４が運動の開始時に視野内にあったことを検証するために使用されることができる。例えば、仮想ＵＩデバイス８０４の投影された場所８０８ｐおよび場所８０８ｂが、比較されることができる。均一運動が
、検出され、視野内のデバイスから生じた可能性がある場合、検証が、ＮＮ（例えば、眼追跡のための訓練されたＮＮ１０８）を使用して行われ、運動の間、ユーザの眼が運動に伴って平滑に掃引されていた（例えば、旋回の間、絶えず固視が何らかのもの上に存在しているかのように）ことを検証することができる。例えば、眼画像８２０ａ、８２０ｂ内のユーザの眼８２４の運動が、訓練されたＮＮを使用して決定されることができる。そのような平滑掃引が決定される場合、ユーザは、最終的にアクティブ化または作動させる、仮想ＵＩデバイスを固視していたと見なされ得る。再訓練セットは、再訓練用入力データと、対応する再訓練用標的出力データとを含むことができる。再訓練用入力データは、眼画像８２０ａ、８２０ｂを含むことができる。対応する再訓練用標的出力データは、ＵＩイベント時の仮想ＵＩデバイス８０４の場所と、仮想ＵＩデバイスの投影された場所（例えば、投影された場所８０８ｐ）とを含むことができる。

（眼視線の逆追跡の例示的方法）
図９は、ＵＩデバイスに対する眼視線の逆追跡の例証的方法のフロー図を示す。ＡＲＤ（例えば、図１におけるＡＲＤ１０４）は、眼視線の逆追跡のための方法９００を実施することができる。ブロック９０４では、ユーザの眼の複数の眼画像が、受信されることができる。例えば、図８におけるユーザの眼８２４の眼画像８２０ａ、８２０ｂが、受信されることができる。複数の眼画像の第１の眼画像が、第１の表示場所においてユーザに示されるＵＩデバイスに対するＵＩイベントが生じると、捕捉されることができる。例えば、図８に示されるように、眼画像８２０ａは、表示場所８０８ａにおける仮想ＵＩデバイス８０４に対するＵＩイベントが生じると、捕捉される。

ブロック９０８では、ＵＩデバイスの投影された表示場所が、決定されることができる。投影された表示場所は、第１の表示場所から、ＵＩイベントに先立った運動に沿って遡って、運動の開始まで、決定されることができる。例えば、図８は、ＵＩデバイス８０４の投影された表示場所８０８ｐが決定されることができることを示す。ＵＩデバイス８０４の投影された表示場所８０８ｐは、時間＝０における表示場所８０８ａから、ＵＩイベントに先立った運動に沿って遡って、時間＝－Ｎにおける運動の開始まで、決定されることができる。運動は、角運動、均一運動、またはそれらの組み合わせを含むことができる。

ブロック９１２では、仮想ＵＩデバイスの投影された表示場所８０８ｐおよび運動の開始時に捕捉された複数の眼画像の第２の眼画像内の仮想ＵＩデバイスの第２の表示場所が閾値距離内にあるかどうかが、決定されることができる。図８は、投影された場所８０８ｐおよび時間＝－Ｎにおける仮想ＵＩデバイス８０４の運動の開始時の場所８０８ｂが、閾値内にあり得ることを図示する。閾値は、ピクセルの数（例えば、２０、１０、５、２、またはより少ないピクセル）、ＡＲＤのディスプレイのサイズのパーセンテージ（例えば、２０％、１５％、１０％、５％、２％、またはそれより低い）、仮想ＵＩデバイスのサイズのパーセンテージ（例えば、２０％、１５％、１０％、５％、２％、またはそれより低い）、またはそれらの組み合わせであることができる。

ブロック９１６では、ユーザの眼が第２の眼画像から第１の眼画像までの複数の眼画像の眼画像内で運動に伴って平滑に移動したかどうかが、随意に、決定されることができる。眼８２４が、時間＝－Ｎにおける運動の開始時に捕捉された眼画像８２０ｂおよび時間＝０においてＵＩイベントが生じたときに捕捉された眼画像８２０ａからの眼画像において、平滑に移動したかどうかが、決定されることができる。例えば、眼画像８２０ｂから眼画像８２０ａまでの眼画像内の眼８２４の視線方向が、眼追跡のための訓練されたＮＮを使用して決定されることができる。

ブロック９２０では、第２の眼画像から第１の眼画像までの眼画像を含む、再訓練セッ
トが、生成されることができる。各眼画像は、ＵＩデバイスの表示場所と関連付けられることができる。例えば、再訓練セットは、再訓練用入力データとして、時間＝－Ｎにおける運動の開始時に捕捉された眼画像８２０ｂから時間＝０においてＵＩイベントが生じたときに捕捉された眼画像８２０ａまでの眼画像を含むことができる。再訓練セットは、対応する再訓練用標的出力データとして、表示場所８０８ａ、投影された場所８０８ｐ、および表示場所８０８ａと投影された場所８０８ｐとの間の投影された場所を含むことができる。

（例示的ＮＮ）
深層ニューラルネットワーク（ＤＮＮ）等のニューラルネットワーク（ＮＮ）の層は、線形または非線形変換をその入力に適用し、その出力を生成することができる。深層ニューラルネットワーク層は、正規化層、畳み込み層、ソフトサイン層、正規化線形層、連結層、プーリング層、再帰層、インセプション様層、または任意のそれらの組み合わせであることができる。正規化層は、例えば、Ｌ２正規化を用いて、その入力の明度を正規化し、その出力を生成することができる。正規化層は、例えば、相互に対して一度に複数の画像の明度を正規化し、複数の正規化された画像をその出力として生成することができる。明度を正規化するための非限定的例示的方法は、ローカルコントラスト正規化（ＬＣＮ）またはローカル応答正規化（ＬＲＮ）を含む。ローカルコントラスト正規化は、平均値ゼロおよび分散１（または他の値の平均値および分散）を有するようにピクセル毎に画像のローカル領域を正規化することによって、画像のコントラストを非線形に正規化することができる。ローカル応答正規化は、平均値ゼロおよび分散１（または他の値の平均値および分散）を有するように、画像をローカル入力領域にわたって正規化することができる。正規化層は、訓練プロセスを加速させ得る。

畳み込み層は、その入力を畳み込み、その出力を生成する、カーネルのセットに適用されることができる。ソフトサイン層は、ソフトサイン関数をその入力に適用することができる。ソフトサイン関数（ｓｏｆｔｓｉｇｎ（ｘ））は、例えば、（ｘ／（１＋｜ｘ｜））であることができる。ソフトサイン層は、要素毎誤対応の影響を無視し得る。正規化線形層は、正規化線形層単位（ＲｅＬＵ）またはパラメータ化された正規化線形層単位（ＰＲｅＬＵ）であることができる。ＲｅＬＵ層は、ＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＲｅＬＵ関数ＲｅＬＵ（ｘ）は、例えば、ｍａｘ（０，ｘ）であることができる。ＰＲｅＬＵ層は、ＰＲｅＬＵ関数をその入力に適用し、その出力を生成することができる。ＰＲｅＬＵ関数ＰＲｅＬＵ（ｘ）は、例えば、ｘ≧０の場合はｘおよびｘ＜０の場合はａｘであることができ、ａは、正の数である。連結層は、その入力を連結し、その出力を生成することができる。例えば、連結層は、４つの５×５画像を連結し、１つの２０×２０画像を生成することができる。プーリング層は、その入力をダウンサンプリングし、その出力を生成する、プーリング関数を適用することができる。例えば、プーリング層は、２０×２０画像を１０×１０画像にダウンサンプリングすることができる。プーリング関数の非限定的実施例は、最大プーリング、平均プーリング、または最小プーリングを含む。

時間点ｔでは、再帰層は、隠蔽された状態ｓ（ｔ）を算出することができ、再帰接続は、時間ｔにおける隠蔽された状態ｓ（ｔ）を再帰層に後続時間点ｔ＋１における入力として提供することができる。再帰層は、時間ｔにおける隠蔽された状態ｓ（ｔ）に基づいて、時間ｔ＋１においてその出力を算出することができる。例えば、再帰層は、ソフトサイン関数を時間ｔにおいて隠蔽された状態ｓ（ｔ）に適用し、時間ｔ＋１におけるその出力を算出することができる。時間ｔ＋１における再帰層の隠蔽された状態は、その入力として、時間ｔにおける再帰層の隠蔽された状態ｓ（ｔ）を有する。再帰層は、例えば、ＲｅＬＵ関数をその入力に適用することによって、隠蔽された状態ｓ（ｔ＋１）を算出することができる。インセプション様層は、正規化層、畳み込み層、ソフトサイン層、ＲｅＬＵ
層およびＰＲｅＬＵ層等の正規化線形層、連結層、プーリング層、または任意のそれらの組み合わせのうちの１つ以上のものを含むことができる。

ＮＮ内の層の数は、異なる実装では異なり得る。例えば、ＤＮＮ内の層の数は、５０、１００、２００、またはそれを上回り得る。深層ニューラルネットワーク層の入力タイプは、異なる実装では異なり得る。例えば、層は、いくつかの層の出力をその入力として受信することができる。層の入力は、５つの層の出力を含むことができる。別の実施例として、層の入力は、ＮＮの層の１％を含むことができる。層の出力は、いくつかの層の入力であることができる。例えば、層の出力は、５つの層の入力として使用されることができる。別の実施例として、層の出力は、ＮＮの層の１％の入力として使用されることができる。

層の入力サイズまたは出力サイズは、非常に大きくあることができる。層の入力サイズまたは出力サイズは、ｎ×ｍであることができ、ｎは、入力または出力の幅を示し、ｍは、高さを示す。例えば、ｎまたはｍは、１１、２１、３１、またはそれを上回ることができる。層の入力または出力のチャネルサイズは、異なる実装では異なり得る。例えば、層の入力または出力のチャネルサイズは、４、１６、３２、６４、１２８、またはそれを上回ることができる。層のカーネルサイズは、異なる実装では異なり得る。例えば、カーネルサイズは、ｎ×ｍであることができ、ｎは、カーネルの幅を示し、ｍは、高さを示す。例えば、ｎまたはｍは、５、７、９、またはそれを上回ることができる。層のストライドサイズは、異なる実装では異なり得る。例えば、深層ニューラルネットワーク層のストライドサイズは、３、５、７、またはそれを上回ることができる。

いくつかの実施形態では、ＮＮは、ＮＮの出力をともに算出する、複数のＮＮを指し得る。複数のＮＮの異なるＮＮは、異なる、類似する、または同一タスクに関して訓練されることができる。例えば、複数のＮＮの異なるＮＮは、眼追跡のための異なる眼画像を使用して訓練されることができる。複数のＮＮの異なるＮＮを使用して決定された眼画像内の眼の眼姿勢（例えば、視線方向）は、異なり得る。ＮＮの出力は、複数のＮＮの異なるＮＮを使用して決定された眼姿勢の平均である、眼の眼姿勢であることができる。別の実施例として、複数のＮＮの異なるＮＮは、ＵＩイベントが異なる表示場所におけるＵＩデバイスに対して生じるときに捕捉された眼画像内の眼の眼姿勢を決定するために使用されることができる（例えば、ＵＩデバイスが中心に位置するときの１つのＮＮおよびＵＩデバイスがＡＲＤのディスプレイの周縁にあるときの１つのＮＮ）。

（例示的拡張現実シナリオ）
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが現実であるように見える、またはそのように知覚され得る様式において、ユーザに提示される。仮想現実「ＶＲ」シナリオは、典型的には、他の実際の実世界視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う、拡張現実「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてデジタルまたは仮想画像情報の提示を伴う、または複合現実「ＭＲ」シナリオは、典型的には、実および仮想世界の融合を伴い、新しい環境を生成し、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する。結論からいうと、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲの生成は、困難である。本明細書に開示される、システムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

図１０は、人物によって視認される、ある仮想現実オブジェクトおよびある実際の現実
オブジェクトを伴う、拡張現実シナリオの例証を描写する。図１０は、拡張現実場面１０００を描写し、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１０２０を特徴とする、実世界公園状設定１０１０が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１０２０上に立っているロボット像１０３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１０４０（例えば、マルハナバチ）とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

３次元（３Ｄ）ディスプレイが、深度の真の感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、深度の真実味のある知覚を提供する。ＶＲ、ＡＲ、およびＭＲ体験を生成または向上させるために、ディスプレイシステムは、バイオメトリック情報を使用して、それらの体験を向上させることができる。

（例示的ウェアラブルディスプレイシステム）
図１１は、ＶＲ、ＡＲ、またはＭＲ体験をディスプレイシステム装着者または視認者１１０４に提示するために使用され得る、ウェアラブルディスプレイシステム１１００の実施例を図示する。ウェアラブルディスプレイシステム１１００は、本明細書に説明される用途または実施例のいずれかを実施するようにプログラムされてもよい。ディスプレイシステム１１００は、ディスプレイ１１０８と、ディスプレイ１１０８の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ１１０８は、ディスプレイシステムユーザ、装着者、または視認者１１０４によって装着可能であって、ディスプレイ１１０８を装着者１１０４の眼の正面に位置付けるように構成される、フレーム１１１２に結合されてもよい。ディスプレイ１１０８は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカ１１１６が、フレーム１１１２に結合され、ユーザの外耳道に隣接して位置付けられる。いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する。ディスプレイ１１０８は、有線導線または無線コネクティビティ等によって、フレーム１１１２に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ１１０４に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール１１２４に動作可能に結合される１１２０。

フレーム１１１２は、フレーム１１１２に取り付けられ、または搭載され、装着者の眼の画像を得る、１つ以上のカメラを有することができる。一実施形態では、カメラは、眼が直接結像され得るように、装着者の眼の正面においてフレーム１１１２に搭載されてもよい。他の実施形態では、カメラは、フレーム１１１２の支えに沿って（例えば、装着者
の耳の近傍に）搭載されることができる。そのような実施形態では、ディスプレイ１１０８は、光を装着者の眼からカメラに向かって反射させる、材料でコーティングされてもよい。光は、虹彩特徴が赤外線画像内で顕著であるため、赤外線光であってもよい。

ローカル処理およびデータモジュール１１２４は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等の非一過性デジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）センサ（例えば、フレーム１１１２に動作可能に結合される、または別様にユーザ１１０４に取り付けられ得る）、例えば、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープから捕捉される、および／または（ｂ）可能性として、処理または読出後にディスプレイ１１０８への通過のために、遠隔処理モジュール１１２８および／または遠隔データリポジトリ１１３２を使用して入手および／または処理されるデータを含んでもよい。ローカル処理およびデータモジュール１１２４は、これらの遠隔モジュール１１２８、１１３２が、ローカル処理およびデータモジュール１１２４へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク１１３６および／または１１４０によって、遠隔処理モジュール１１２８および／または遠隔データリポジトリ１１３２に動作可能に結合されてもよい。画像補足デバイスは、眼画像処理プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。加えて、遠隔処理モジュール１１２８および遠隔データリポジトリ１１３２は、相互に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール１１２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。ビデオデータは、ローカル処理およびデータモジュール１１２４および／または遠隔データリポジトリ１１３２内でローカルに記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリ１１３２は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール１１２４において実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。

いくつかの実装では、ローカル処理およびデータモジュール１１２４および／または遠隔処理モジュール１１２８は、本明細書に説明されるシステムおよび方法の実施形態（例えば、図１－９を参照して説明されるようなニューラルネットワーク訓練または再訓練技法）を行うようにプログラムされる。画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ）を捕捉することができる。ビデオは、処理モジュール１１２４、１１２８の一方または両方によって、分析されることができる。ある場合には、虹彩コード生成の少なくともいくつかを遠隔処理モジュール（例えば、「クラウド」内の）にオフロードすることは、算出の効率または速度を改良し得る。本明細書に開示されるシステムおよび方法のパラメータは、データモジュール１１２４および／または１１２８内に記憶されることができる。

分析の結果は、付加的動作または処理のために、処理モジュール１１２４、１１２８の一方または両方によって使用されることができる。例えば、種々の用途では、バイオメトリック識別、眼追跡、認識、またはジェスチャ、オブジェクト、姿勢等の分類が、ウェアラブルディスプレイシステム１１００によって使用されてもよい。例えば、ウェアラブルディスプレイシステム１１００は、装着者１１０４の手の捕捉されたビデオを分析し、装
着者の手によるジェスチャ（例えば、実または仮想オブジェクトの取上、賛成または反対の信号伝達（例えば、「親指を上に向ける」または「親指を下に向ける」）等）、およびウェアラブルディスプレイシステムを認識してもよい。

いくつかの実施形態では、ローカル処理モジュール１１２４、遠隔処理モジュール１１２８、およびクラウド上のシステム（例えば、図１におけるＮＮ再訓練システム１２０）は、本明細書に開示される方法の一部または全部を実施することができる。例えば、ローカル処理モジュール１１２４は、内向きに向いた結像システム（例えば、図１３における内向きに向いた結像システム１３５２）によって捕捉されたユーザの眼画像を取得することができる。ローカル処理モジュール１１２４、遠隔処理モジュール１１２８、およびクラウド上のシステムは、再訓練セットを生成し、ニューラルネットワーク（ＮＮ）を再訓練し、特定のユーザに関する眼追跡のための再訓練されたＮＮを生成するプロセスを実施することができる。例えば、クラウド上のシステムは、ローカル処理モジュール１１２４によって生成された再訓練セットを用いて、ＮＮを再訓練するプロセス全体を実施することができる。別の実施例として、遠隔処理モジュール１１２８は、確率分布関数を使用して片眼画像からの異なる眼姿勢を伴う眼画像を生成するプロセスを実施することができる。さらに別の実施例として、ローカル処理モジュール１１２８は、ＮＮを再訓練するための眼画像を収集するときに観察されるＵＩイベントの密度正規化のために、図７を参照して上記に説明される方法７００を実施することができる。

ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動移動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動移動（例えば、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

図１２は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図１２を参照すると、ｚ－軸上の眼１２０２および１２０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼１２０２および１２０４によって遠近調節される。眼１２０２および１２０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面１２０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼１２０２および１２０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼１２０２および１２０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的
には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。

（例示的導波管スタックアセンブリ）
図１３は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム１３００は、複数の導波管１３２０ａ－１３２０ｅを使用して、３次元知覚を眼１３１０または脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ１３０５を含む。いくつかの実施形態では、ディスプレイシステム１３００は、図１１のシステム１１００に対応してもよく、図１３は、そのシステム１１００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ１３０５は、図１１のディスプレイ１１０８の中に統合されてもよい。

図１３を継続して参照すると、導波管アセンブリ１３０５はまた、複数の特徴１３３０ａ－１３３０ｄを導波管の間に含んでもよい。いくつかの実施形態では、特徴１３３０ａ－１３３０ｄは、レンズであってもよい。いくつかの実施形態では、特徴１３３０ａ－１３３０ｄは、レンズではなくてもよい。むしろ、それらは、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。

導波管１３２０ａ－１３２０ｅおよび／または複数のレンズ１３３０ａ－１３３０ｄは、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス１３４０ａ－１３４０ｅは、それぞれ、眼１３１０に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成され得る、導波管１３２０ａ－１３２０ｅの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス１３４０ａ－１３４０ｅの出力表面から出射し、導波管１３２０ａ－１３２０ｅの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼１３１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。

いくつかの実施形態では、画像投入デバイス１３４０ａ－１３４０ｅはそれぞれ、それぞれの対応する導波管１３２０ａ－１３２０ｅの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス１３４０ａ－１３４０ｅは、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス１３４０ａ－１３４０ｅのそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。

コントローラ１３５０が、スタックされた導波管アセンブリ１３０５および画像投入デバイス１３４０ａ－１３４０ｅの動作を制御する。いくつかの実施形態では、コントローラ１３５０は、導波管１３２０ａ－１３２０ｅへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ１３５０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ１３５０は、いくつかの実施形態では、処理モジュール１１２４および／または１１２８（図１１に図示される）の一部であってもよい。いくつかの実施形態では、コントローラは、内向きに向いた結像システム１３５２（例えば、デジタルカメラ）、外向きに向いた結像システム１３５４（例えば、デジタルカメラ）、および／またはユーザ入力デバイス１３
５６と通信してもよい。内向きに向いた結像システム１３５２（例えば、デジタルカメラ）は、眼１３１０の画像を捕捉し、例えば、眼１３１０の瞳孔のサイズおよび／または配向を決定するために使用されることができる。外向きに向いた結像システム１３５４は、世界１３５８の一部を結像するために使用されることができる。ユーザは、ユーザ入力デバイス１３５６を介して、コマンドをコントローラ１３５０に入力し、ディスプレイシステム１３００と相互作用することができる。

導波管１３２０ａ－１３２０ｅは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管１３２０ａ－１３２０ｅはそれぞれ、主要な上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管１３２０ａ－１３２０ｅはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼１３１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素１３６０ａ－１３６０ｅを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素１３６０ａ－１３６０ｅは、例えば、反射および／または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管１３２０ａ－１３２０ｅの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素１３６０ａ－１３６０ｅは、上部および／または底部主要表面に配置されてもよく、および／または導波管１３２０ａ－１３２０ｅの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素１３６０ａ－１３６０ｅは、透明基板に取り付けられ、導波管１３２０ａ－１３２０ｅを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管１３２０ａ－１３２０ｅは、モノリシック材料部品であってもよく、光抽出光学要素１３６０ａ－１３６０ｅは、その材料部品の表面上および／または内部に形成されてもよい。

図１３を継続して参照すると、本明細書に議論されるように、各導波管１３２０ａ－１３２０ｅは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管１３２０ａは、そのような導波管１３２０ａの中に投入されるにつれて、コリメートされた光を眼１３１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管１３２０ｂは、眼１３１０に到達し得る前に、第１のレンズ１３３０ａ（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ１３３０ａは、眼／脳が、その次の上方導波管１３２０ｂから生じる光を光学無限遠から眼１３１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管１３２０ｃは、眼１３１０に到達する前に、その出力光を第１のレンズ１３３０ａおよび第２のレンズ１３３０ｂの両方を通して通過させる。第１および第２のレンズ１３３０ａおよび１３３０ｂの組み合わせられた屈折力は、眼／脳が、第３の上方の導波管１３２０ｃから生じる光が次の上方の導波管１３２０ｂからの光であった光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層（例えば、導波管１３２０ｄ、１３２０ｅ）およびレンズ（例えば、レンズ１３３０ｃ、１３３０ｄ）も同様に構成され、スタック内の最高導波管１３２０ｅは、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ１３０５の他側の世界１３５８から生じる光を視認／解釈するとき、レンズ１３３０ａ－１３３０ｄのスタックを補償するために、補償レンズ層１３３０ｅが、スタックの上部に配置され、下方のレンズスタッ
ク１３３０ａ－１３３０ｄの集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管１３２０ａ－１３２０ｅの光抽出光学要素１３６０ａ－１３６０ｅおよびレンズ１３３０ａ－１３３０ｄの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

図１３を継続して参照すると、光抽出光学要素１３６０ａ－１３６０ｅは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素１３６０ａ－１３６０ｅは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素１３６０ａ－１３６０ｅは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明されている。いくつかの実施形態では、特徴１３３０ａ－１３３０ｅは、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、クラッディング層および／または空隙を形成するための構造）。

いくつかの実施形態では、光抽出光学要素１３６０ａ－１３６０ｅは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点を用いて眼１３１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼１３１０に向かって非常に均一なパターンの出射放出となる。

いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実施形態では、深度平面および／または被写界深度の数および分散は、視認者の眼の瞳孔サイズおよび／または配向に基づいて、動的に変動されてもよい。いくつかの実施形態では、内向きに向いた結像システム１３５２（例えば、デジタルカメラ）が、眼１３１０の画像を捕捉し、眼１３１０の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。いくつかの実施形態では、内向きに向いた結像システム１３５２は、フレーム１１１２（図１１に図示されるように）に取り付けられてもよく、内向きに向いた結像システム１３５２からの画像情報を処理し、例えば、ユーザ１１０４の瞳孔直径または眼の配向を決定し得る、処理モジュール１１２４および／または１１２８と電気通信してもよい。

いくつかの実施形態では、内向きに向いた結像システム１３５２（例えば、デジタルカ
メラ）は、眼移動および顔移動等、ユーザの移動を観察することができる。内向きに向いた結像システム１３５２は、眼１３１０の画像を捕捉し、眼１３１０の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに向いた結像システム１３５２は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）の画像を得るために使用されることができる。内向きに向いた結像システム１３５２によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにディスプレイシステム１３００によって使用され得る、ユーザの眼姿勢および／または気分を決定するために分析されてもよい。ディスプレイシステム１３００はまた、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、支え追跡と相互作用する、および／またはオーディオコンテンツを提示するために使用されてもよい。

いくつかの実施形態では、１つのカメラが、眼毎に利用され、各眼の瞳孔サイズおよび／または配向を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に利用され、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に動的に調整されることを可能にしてもよい。いくつかの他の実施形態では、片眼１３１０のみの瞳孔直径および／または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、視認者１１０４の両眼に対して類似すると仮定される。

例えば、被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズおよび／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ１３５０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズ
は、可変開口を使用して変動されてもよい。

ディスプレイシステム１３００は、世界１３５８の一部を結像する、外向きに向いた結像システム１３５４（例えば、デジタルカメラ）を含むことができる。世界１３５８の本部分は、視野（ＦＯＶ）と称され得、結像システム１３５４は、時として、ＦＯＶカメラとも称される。視認者１１０４による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、ディスプレイシステム１３００を囲繞する４πステラジアンの立体角を含んでもよい。ディスプレイシステム１３００のいくつかの実装では、ＦＯＲは、ユーザ１１０４が、ユーザを囲繞するオブジェクトを見るためにその頭部および眼を移動させ得るため、ディスプレイシステム１３００のユーザ１１０４の周囲の立体角の実質的に全てを含んでもよい（ユーザの正面、背面、上方、下方、または側面）。外向きに向いた結像システム１３５４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界１３５８内のオブジェクトを検出する等のために、使用されることができる。

ディスプレイシステム１３００は、ユーザが、コマンドをコントローラ１３５０に入力し、ディスプレイシステム４００と相互作用し得る、ユーザ入力デバイス１３５６を含むことができる。例えば、ユーザ入力デバイス１３５６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をディスプレイシステム１３００に提供してもよい（例えば、ユーザ入力をディスプレイシステム１３００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス１３５６は、ディスプレイシステム１３００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス１３５６は、ディスプレイシステム１３００と有線または無線通信することができる。

図１４は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ１３０５内の他の導波管も同様に機能し得、導波管アセンブリ１３０５は、複数の導波管を含むことを理解されたい。光１４０５が、導波管１３２０ａの入力縁１４１０において導波管１３２０ａの中に投入され、全内部反射（ＴＩＲ）によって導波管１３２０ａ内を伝搬する。光１４０５が回折光学要素（ＤＯＥ）１３６０ａに衝突する点において、光の一部が、出射ビーム１４１５として導波管から出射する。出射ビーム１４１５は、略平行として図示されるが、それらはまた、導波管１３２０ａと関連付けられた深度平面に応じて、ある角度で眼１３１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、眼１３１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、眼１３１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼１３１０に近い距離からの光として脳によって解釈されるであろう。

図１５は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、ディスプレイシステム１３００の別の実施例を示す。ディスプレイシステム１３００は、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。ディスプレイシステム１３００は、１つ以上の一次平面導波管１５０４（１つのみのが図１５に示される）と、一次導波管１５０４の少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ１５０８とを含むことができる。平面導波管１５０４は、図１３を参照して議論される導波管１３２
０ａ－１３２０ｅに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図１５の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管１５１２と、分散平面導波管１５１２と関連付けられた少なくとも１つのＤＯＥ１５１６（二重破線によって図示される）とを含んでもよい。分散平面導波管１５１２は、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管１５０４と類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ１５１６は、少なくともいくつかの点において、ＤＯＥ１５０８と類似または同じであってもよい。例えば、分散平面導波管１５１２および／またはＤＯＥ１５１６は、それぞれ、一次平面導波管１５０４および／またはＤＯＥ１５０８と同一材料から成ってもよい。図１５に示される光学システムは、図１１に示されるウェアラブルディスプレイシステム１１００の中に統合されることができる。

中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管１５０４の中に光学的に結合される。一次平面導波管１５０４は、好ましくは、第１の軸に直交する、第２の軸（例えば、図１５の図では、水平またはＸ－軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管１５０４は、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出経路を拡張させる。例えば、分散平面導波管１５１２は、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させる、一次平面導波管１５０４にその光を通過させることができる。

ディスプレイシステム１３００は、単一モード光ファイバ１５２４の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色、緑色、および青色レーザ光）１５２０を含んでもよい。光ファイバ１５２４の遠位端は、圧電材料の中空管１５２８を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー１５３２として、管１５２８から突出する。圧電管１５２８は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管１５２８の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管１５２８のコア、中心、内側周縁、または内径に位置する。

例えば、ワイヤ１５４０を介して電気的に結合される、駆動電子機１５３６は、対向する対の電極を駆動し、圧電管１５２８を独立して２つの軸において屈曲させる。光ファイバ１５２４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ１５２４の直径、長さ、および材料性質に依存し得る。圧電管１５２８をファイバカンチレバー１５３２の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー１５３２は、振動させられ、大偏向を通して掃引し得る。

２つの軸において共振振動を刺激することによって、ファイバカンチレバー１５３２の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源１５２０の強度をファイバカンチレバー１５３２の走査と同期して変調させることによって、ファイバカンチレバー１５３２から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。

光学結合器サブシステムのコンポーネント１５４４は、走査ファイバカンチレバー１５３２から発せられる光をコリメートする。コリメートされた光は、鏡面表面１５４８によって、少なくとも１つの回折光学要素（ＤＯＥ）１５１６を含有する、狭分散平面導波管１５１２の中に反射される。コリメートされた光は、全内部反射によって分散平面導波管１５１２に沿って（図１５の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ
１５１６と繰り返し交差する。ＤＯＥ１５１６は、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ１５１６との交差点の各点においてより大きい一次平面導波管１５０４の縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管１５１２の長さを辿ってそのオリジナル軌道上で継続させる。

ＤＯＥ１５１６との交差点の各点において、付加的光が、一次導波管１５１２の入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管１５１２内のＤＯＥ１５１６によって垂直に拡張される。分散平面導波管１５１２から外部結合された本垂直に拡張された光は、一次平面導波管１５０４の縁に進入する。

一次導波管１５０４に進入する光は、ＴＩＲを介して、一次導波管１５０４に沿って（図１５の図に対して）水平に伝搬する。光は、複数の点においてＤＯＥ１５０８と交差するにつれて、ＴＩＲを介して、一次導波管１５０４の時間長の少なくとも一部に沿って水平に伝搬する。ＤＯＥ１５０８は、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ１５０８は、有利には、ビームの光の一部のみが、ＤＯＥ１５０８の各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、導波管１５０４を通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。

伝搬する光とＤＯＥ１５０８との間の交差点の各点において、光の一部は、一次導波管１５０４の隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管１５０４の面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ１５０８の半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。

故に、これらの異なる経路は、異なる角度におけるＤＯＥ１５０８の多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管１５０４の外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。

（付加的側面）
第１の側面では、ウェアラブルディスプレイシステムが、開示される。ウェアラブルディスプレイシステムは、ユーザの眼の複数の再訓練用眼画像を捕捉するように構成される、画像捕捉デバイスと、ディスプレイと、複数の再訓練用眼画像と、眼追跡のためのニューラルネットワークとを記憶するように構成される、非一過性コンピュータ可読記憶媒体と、画像捕捉デバイス、ディスプレイ、および非一過性コンピュータ可読記憶媒体と通信する、ハードウェアプロセッサであって、実行可能命令によって、画像捕捉デバイスによって捕捉された、および／または非一過性コンピュータ可読記憶媒体から受信された（画像捕捉デバイスによって捕捉され得る）、複数の再訓練用眼画像を受信し、複数の再訓練用眼画像の再訓練用眼画像は、ディスプレイの表示場所においてユーザに示されるＵＩデ
バイスに対するユーザインターフェース（ＵＩ）イベントが生じると、画像捕捉デバイスによって捕捉され、再訓練用入力データおよび対応する再訓練用標的出力データを備える、再訓練セットを生成し、再訓練用入力データは、再訓練用眼画像を備え、対応する再訓練用標的出力データは、表示場所に関連する再訓練用眼画像内のユーザの眼の眼姿勢を備え、再訓練セットを使用して眼追跡のためのニューラルネットワークから再訓練される、再訓練されたニューラルネットワークを取得するようにプログラムされる、ハードウェアプロセッサとを備える。

第２の側面では、再訓練されたニューラルネットワークを取得するために、ハードウェアプロセッサは、少なくとも、再訓練セットを使用して、眼追跡のためのニューラルネットワークを再訓練し、再訓練されたニューラルネットワークを生成するようにプログラムされる、側面１に記載のウェアラブルディスプレイシステム。

第３の側面では、再訓練されたニューラルネットワークを取得するために、ハードウェアプロセッサは、少なくとも、再訓練セットを遠隔システムに伝送し、再訓練されたニューラルネットワークを遠隔システムから受信するようにプログラムされる、側面１に記載のウェアラブルディスプレイシステム。

第４の側面では、遠隔システムは、クラウドコンピューティングシステムを備える、側面３に記載のウェアラブルディスプレイシステム。

第５の側面では、ユーザの複数の再訓練用眼画像を受信するために、ハードウェアプロセッサは、実行可能命令によって、少なくとも、ＵＩデバイスをディスプレイ上の表示場所においてユーザに表示し、ＵＩデバイスに対するＵＩイベントの発生を決定し、再訓練用眼画像を画像捕捉デバイスから受信するようにプログラムされる、側面１－４のいずれか１項に記載のウェアラブルディスプレイシステム。

第６の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、表示場所を使用して、再訓練用眼画像内の眼の眼姿勢を決定するようにプログラムされる、側面５に記載のウェアラブルディスプレイシステム。

第７の側面では、再訓練用画像内の眼の眼姿勢は、表示場所を備える、側面６に記載のウェアラブルディスプレイシステム。

第８の側面では、ユーザの複数の再訓練用眼画像を受信するために、ハードウェアプロセッサは、実行可能命令によって、少なくとも、再訓練用眼画像に基づいて、第２の複数の第２の再訓練用眼画像を生成し、表示場所および確率分布関数を使用して、第２の複数の第２の再訓練用眼画像の第２の再訓練用眼画像内の眼の眼姿勢を決定するようにプログラムされる、側面１－４のいずれか１項に記載のウェアラブルディスプレイシステム。

第９の側面では、ユーザの複数の再訓練用眼画像を受信するために、ハードウェアプロセッサは、実行可能命令によって、少なくとも、ユーザの眼の複数の眼画像を画像捕捉デバイスから受信し、複数の眼画像の第１の眼画像は、ディスプレイの表示場所においてユーザに示されるＵＩデバイスに対するＵＩイベントが生じると、ユーザデバイスによって捕捉され、表示場所から、ＵＩイベントに先立ったユーザの運動に沿って遡って、運動の開始まで、ＵＩデバイスの投影された表示場所を決定し、投影された表示場所および運動の開始時に捕捉された複数の眼画像の第２の眼画像内のＵＩデバイスの第２の表示場所が閾値距離内にあることを決定し、第２の眼画像から第１の眼画像までの複数の眼画像の眼画像を備える、再訓練用入力データを生成し、対応する再訓練用標的出力データは、眼画像内のＵＩデバイスの表示場所に関連する眼画像の各眼画像内のユーザの眼の眼姿勢を備
えるようにプログラムされる、側面１－４のいずれか１項に記載のウェアラブルディスプレイシステム。

第１０の側面では、眼の眼姿勢は、表示場所である、側面９に記載のウェアラブルディスプレイシステム。

第１１の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、少なくとも、ＵＩデバイスの表示場所を使用して、眼の眼姿勢を決定するようにプログラムされる、側面１０に記載のウェアラブルディスプレイシステム。

第１２の側面では、再訓練セットを生成するために、ハードウェアプロセッサは、実行可能命令によって、少なくとも、再訓練用眼画像内の眼の眼姿勢が複数の眼姿勢領域の第１の眼姿勢領域内にあることを決定し、ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定し、分布確率に関連する含有確率において、再訓練用眼画像を備える再訓練用入力データを生成するようにプログラムされる、側面１－１１のいずれか１項に記載のウェアラブルディスプレイシステム。

第１３の側面では、ハードウェアプロセッサはさらに、実行可能命令によって、少なくとも、訓練用入力データおよび対応する訓練用標的出力データを備える訓練セットを使用して、眼追跡のためのニューラルネットワークを訓練し、訓練用入力データは、複数のユーザの複数の訓練用眼画像を備え、対応する訓練用標的出力データは、訓練用の複数の訓練用眼画像内の複数のユーザの眼の眼姿勢を備えるようにプログラムされる、側面１－１２のいずれか１項に記載のウェアラブルディスプレイシステム。

第１４の側面では、再訓練セットの再訓練用入力データは、複数の訓練用眼画像の少なくとも１つの訓練用眼画像を備える、側面１３に記載のウェアラブルディスプレイシステム。

第１５の側面では、再訓練セットの再訓練用入力データは、複数の訓練用眼画像の訓練用眼画像を備えない、側面１３に記載のウェアラブルディスプレイシステム。

第１６の側面では、眼追跡のためのニューラルネットワークを再訓練するために、ハードウェアプロセッサは、実行可能命令によって、少なくとも、再訓練されるニューラルネットワークの加重をニューラルネットワークの加重で初期化するようにプログラムされる、側面１－１５のいずれか１項に記載のウェアラブルディスプレイシステム。

第１７の側面では、ハードウェアプロセッサは、実行可能命令によって、ユーザデバイスに、ユーザの眼画像を画像捕捉デバイスから受信させ、および再訓練されたニューラルネットワークを使用して、眼画像内のユーザの眼姿勢を決定させるようにプログラムされる、側面１－１６のいずれか１項に記載のウェアラブルディスプレイシステム。

第１８の側面では、眼追跡のためのニューラルネットワークを再訓練するためのシステムが、開示される。本システムは、実行可能命令を記憶する、コンピュータ可読メモリと、実行可能命令によって、少なくとも、ユーザの眼の複数の再訓練用眼画像を受信し、複数の再訓練用眼画像の再訓練用眼画像は、ユーザデバイスの表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、捕捉され、再訓練用入力データおよび対応する再訓練用標的出力データを備える、再訓練セットを生成し、再訓練用入力データは、再訓練用眼画像を備え、対応する再訓練用標的出力データは、表示場所に関連する再訓練用眼画像内のユーザの眼の眼姿勢を備え、再訓練セットを使用して、眼追跡のためのニューラルネットワークを再訓練し、再訓練されたニュ
ーラルネットワークを生成するようにプログラムされる、１つ以上のプロセッサとを備える。

第１９の側面では、ユーザの複数の再訓練用眼画像を受信するために、１つ以上のプロセッサは、実行可能命令によって、少なくとも、ユーザデバイスに、ディスプレイを使用して、ＵＩデバイスを表示場所においてユーザに表示させ、ＵＩデバイスに対するＵＩイベントの発生を決定し、結像システムを使用して、再訓練用眼画像を捕捉させ、および再訓練用眼画像をシステムに伝送させるようにプログラムされる、側面１８に記載のシステム。

第２０の側面では、ユーザの複数の再訓練用眼画像を受信するために、１つ以上のプロセッサはさらに、実行可能命令によって、少なくとも、表示場所を使用して、再訓練用眼画像内の眼の眼姿勢を決定するようにプログラムされる、側面１９に記載のシステム。

第２１の側面では、再訓練用画像内の眼の眼姿勢は、表示場所を備える、側面２０に記載のシステム。

第２２の側面では、ユーザの複数の再訓練用眼画像を受信するために、１つ以上のプロセッサは、実行可能命令によって、少なくとも、再訓練用眼画像に基づいて、第２の複数の第２の再訓練用眼画像を生成し、表示場所および確率分布関数を使用して、第２の複数の第２の再訓練用眼画像の第２の再訓練用眼画像内の眼の眼姿勢を決定するようにプログラムされる、側面１９に記載のシステム。

第２３の側面では、ユーザの複数の再訓練用眼画像を受信するために、１つ以上のプロセッサは、実行可能命令によって、少なくとも、ユーザの眼の複数の眼画像を受信し、複数の眼画像の第１の眼画像は、ユーザデバイスの表示場所においてユーザに示されるＵＩデバイスに対するＵＩイベントが生じると、ユーザデバイスによって捕捉され、表示場所から、ＵＩイベントに先立ったユーザの運動に沿って遡って、運動の開始まで、ＵＩデバイスの投影された表示場所を決定し、投影された表示場所および運動の開始時に捕捉された複数の眼画像の第２の眼画像内のＵＩデバイスの第２の表示場所が閾値距離内にあることを決定し、第２の眼画像から第１の眼画像までの複数の眼画像の眼画像を備える、再訓練用入力データを生成し、対応する再訓練用標的出力データは、眼画像内のＵＩデバイスの表示場所に関連する眼画像の各眼画像内のユーザの眼の眼姿勢を備えるようにプログラムされる、側面１８に記載のシステム。

第２４の側面では、眼の眼姿勢は、表示場所である、側面２３に記載のシステム。

第２５の側面では、１つ以上のプロセッサはさらに、実行可能命令によって、少なくとも、ＵＩデバイスの表示場所を使用して、眼の眼姿勢を決定するようにプログラムされる、側面２４に記載のシステム。

第２６の側面では、再訓練セットを生成するために、１つ以上のプロセッサは、実行可能命令によって、少なくとも、再訓練用眼画像内の眼の眼姿勢が複数の眼姿勢領域の第１の眼姿勢領域内にあることを決定し、ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定し、分布確率に関連する含有確率において、再訓練用眼画像を備える再訓練用入力データを生成するようにプログラムされる、側面１８－２５のいずれか１項に記載のシステム。

第２７の側面では、１つ以上のプロセッサはさらに、実行可能命令によって、少なくとも、訓練用入力データおよび対応する訓練用標的出力データを備える訓練セットを使用し
て、眼追跡のためのニューラルネットワークを訓練し、訓練用入力データは、複数のユーザの複数の訓練用眼画像を備え、対応する訓練用標的出力データは、訓練用の複数の訓練用眼画像内の複数のユーザの眼の眼姿勢を備えるようにプログラムされる、側面１８－２６のいずれか１項に記載のシステム。

第２８の側面では、再訓練セットの再訓練用入力データは、複数の訓練用眼画像の少なくとも１つの訓練用眼画像を備える、側面２７に記載のシステム。

第２９の側面では、再訓練セットの再訓練用入力データは、複数の訓練用眼画像の訓練用眼画像を備えない、側面２７に記載のシステム。

第３０の側面では、眼追跡のためのニューラルネットワークを再訓練するために、１つ以上のプロセッサは、実行可能命令によって、少なくとも、再訓練されるニューラルネットワークの加重をニューラルネットワークの加重で初期化するようにプログラムされる、側面１８－２９のいずれか１項に記載のシステム。

第３１の側面では、１つ以上のプロセッサは、実行可能命令によって、ユーザデバイスに、ユーザの眼画像を捕捉し、再訓練されたニューラルネットワークを使用して、眼画像内のユーザの眼姿勢を決定させるようにプログラムされる、側面１８－３０のいずれか１項に記載のシステム。

第３２の側面では、ニューラルネットワークを再訓練するための方法が、開示される。本方法は、ハードウェアプロセッサの制御下で、ユーザの眼の複数の再訓練用眼画像を受信するステップであって、複数の再訓練用眼画像の再訓練用眼画像は、表示場所においてユーザに示されるＵＩデバイスに対するユーザインターフェース（ＵＩ）イベントが生じると、捕捉される、ステップと、再訓練用入力データおよび対応する再訓練用標的出力データを備える、再訓練セットを生成するステップであって、再訓練用入力データは、再訓練用眼画像を備え、対応する再訓練用標的出力データは、表示場所に関連する再訓練用眼画像内のユーザの眼の眼姿勢を備える、ステップと、再訓練セットを使用して、ニューラルネットワークを再訓練し、再訓練されたニューラルネットワークを生成するステップとを含む。

第３３の側面では、ユーザの複数の再訓練用眼画像を受信するステップは、ディスプレイを使用して、ＵＩデバイスを表示場所においてユーザに表示するステップと、ＵＩデバイスに対するＵＩイベントの発生を決定し、結像システムを使用して、再訓練用眼画像を捕捉するステップとを含む、側面３２に記載の方法。

第３４の側面では、ユーザの複数の再訓練用眼画像を受信するステップはさらに、再訓練用眼画像に基づいて、第２の複数の第２の再訓練用眼画像を生成するステップと、表示場所および確率分布関数を使用して、第２の複数の第２の再訓練用眼画像の第２の再訓練用眼画像内の眼の眼姿勢を決定するステップとを含む、側面３３に記載の方法。

第３５の側面では、確率分布関数は、ＵＩデバイスの所定の確率分布を備える、側面３４に記載の方法。

第３６の側面では、ＵＩデバイスは、第１のコンポーネントおよび第２のコンポーネントを備え、確率分布関数は、第１のコンポーネントに対する分布確率の分布関数および第２のコンポーネントに対する第２の確率分布関数の組み合わせられた確率分布を備える、側面３４に記載の方法。

第３７の側面では、ＵＩデバイスの第１のコンポーネントは、グラフィカルＵＩデバイスを備え、ＵＩデバイスの第２のコンポーネントは、グラフィカルＵＩデバイスのテキスト説明を備える、側面３６に記載の方法。

第３８の側面では、ユーザの複数の再訓練用眼画像を受信するステップは、ユーザの眼の複数の眼画像を受信するステップであって、複数の眼画像の第１の眼画像は、表示場所において、ユーザに示されるＵＩデバイスに対するＵＩイベントが生じると、捕捉される、ステップと、表示場所から、ＵＩイベントに先立った運動に沿って遡って、運動の開始まで、ＵＩデバイスの投影された表示場所を決定するステップと、投影された表示場所および運動の開始時に捕捉された複数の眼画像の第２の眼画像内のＵＩデバイスの第２の表示場所が閾値距離内にあることを決定するステップと、第２の眼画像から第１の眼画像までの複数の眼画像の眼画像を備える、再訓練用入力データを生成するステップであって、対応する再訓練用標的出力データは、眼画像内のＵＩデバイスの表示場所に関連する眼画像の各眼画像内のユーザの眼の眼姿勢を備える、ステップとを含む、側面３２に記載の方法。

第３９の側面では、運動は、角運動を備える、側面３８に記載の方法。

第４０の側面では、運動は、均一運動を備える、側面３８に記載の方法。

第４１の側面では、ＵＩイベントに先立った運動の存在を決定するステップステップをさらに含む、側面３８に記載の方法。

第４２の側面では、第２の眼画像から第１の眼画像までの眼画像内の運動に伴ってユーザの眼が平滑に移動することを決定するステップをさらに含む、側面３８に記載の方法。

第４３の側面では、眼が平滑に移動することを決定するステップは、ニューラルネットワークを使用して、眼画像内で運動に伴ってユーザの眼が平滑に移動することを決定するステップを含む、側面４２に記載の方法。

第４４の側面では、眼が平滑に移動することを決定するステップは、眼画像内のユーザの眼の眼姿勢が運動に伴って平滑に移動することを決定するステップを含む、側面４２に記載の方法。

第４５の側面では、眼の眼姿勢は、表示場所である、側面３２－４４のいずれか１項に記載の方法。

第４６の側面では、ＵＩデバイスの表示場所を使用して、眼の眼姿勢を決定するステップをさらに含む、側面３２－４５のいずれか１項に記載の方法。

第４７の側面では、眼の眼姿勢を決定するステップは、ＵＩデバイスの表示場所、眼の場所、またはそれらの組み合わせを使用して、眼の眼姿勢を決定するステップを含む、側面４６に記載の方法。

第４８の側面では、再訓練セットを生成するステップは、再訓練用眼画像内の眼の眼姿勢が複数の眼姿勢領域の第１の眼姿勢領域内にあることを決定するステップと、ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定するステップと、分布確率に関連する含有確率において、再訓練用眼画像を備える再訓練用入力データを生成するステップとを含む、側面３２－４７のいずれか１項に記載の方法。

第４９の側面では、含有確率は、分布確率に反比例する、側面４８に記載の方法。

第５０の側面では、第１の眼姿勢領域は、第１の天頂範囲および第１の方位角範囲内にある、側面４８に記載の方法。

第５１の側面では、眼の眼姿勢が第１の眼姿勢領域内にあることを決定するステップは、再訓練用眼画像内の眼の眼姿勢が複数の眼姿勢領域の第１の眼姿勢領域または第２の眼姿勢領域内にあることを決定するステップを含む、側面４８に記載の方法。

第５２の側面では、第１の眼姿勢領域は、第１の天頂範囲および第１の方位角範囲内にあって、第２の眼姿勢領域は、第２の天頂範囲および第２の方位角範囲内にあって、第１の天頂範囲内の数および第２の天頂範囲内の数の和は、ゼロである、第１の方位角範囲内の数および第２の方位角範囲内の数の和は、ゼロである、またはそれらの組み合わせである、側面５１に記載の方法。

第５３の側面では、ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定するステップは、複数の再訓練用眼画像の再訓練用眼画像が捕捉されるときにユーザに示されるＵＩデバイスの表示場所の分布が、複数の眼姿勢領域の眼姿勢領域内にあることを決定するステップを含み、ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定するステップは、ＵＩデバイスの表示場所の分布を使用して、ＵＩデバイスの分布確率が第１の眼姿勢領域内にあることを決定するステップを含む、側面４８に記載の方法。

第５４の側面では、訓練用入力データおよび対応する訓練用標的出力データを備える訓練セットを使用して、ニューラルネットワークを訓練するステップをさらに含み、訓練用入力データは、複数のユーザの複数の訓練用眼画像を備え、対応する訓練用標的出力データは、訓練用の複数の訓練用眼画像内の複数のユーザの眼の眼姿勢を備える、側面３２－５３のいずれか１項に記載の方法。

第５５の側面では、複数のユーザは、多数のユーザを備える、側面５４に記載の方法。

第５６の側面では、眼の眼姿勢は、眼の多様な眼姿勢を備える、側面５４に記載の方法。

第５７の側面では、再訓練セットの再訓練用入力データは、複数の訓練用眼画像の少なくとも１つの訓練用眼画像を備える、側面５４に記載の方法。

第５８の側面では、再訓練セットの再訓練用入力データは、複数の訓練用眼画像の訓練用眼画像を備えない、側面５４に記載の方法。

第５９の側面では、ニューラルネットワークを再訓練するステップは、再訓練セットを使用して、ニューラルネットワークを再訓練し、眼追跡のための再訓練されたニューラルネットワークを生成するステップを含む、側面３２－５８のいずれか１項に記載の方法。

第６０の側面では、ニューラルネットワークを再訓練するステップは、再訓練セットを使用して、ニューラルネットワークを再訓練し、バイオメトリック用途のための再訓練されたニューラルネットワークを生成するステップを含む、側面３２－５９のいずれか１項に記載の方法。

第６１の側面では、バイオメトリック用途は、虹彩識別を備える、側面６０に記載の方法。

第６２の側面では、ニューラルネットワークを再訓練するステップは、再訓練されるニューラルネットワークの加重をニューラルネットワークの加重で初期化するステップを含む、側面３２－６１のいずれか１項に記載の方法。

第６３の側面では、ユーザの眼画像を受信するステップと、再訓練されたニューラルネットワークを使用して、眼画像内のユーザの眼姿勢を決定するステップとをさらに含む、側面３２－６２のいずれか１項に記載の方法。

第６４の側面では、ＵＩイベントは、ＵＩデバイスの複数の状態のうちのある状態に対応する、側面３２－６３のいずれか１項に記載の方法。

第６５の側面では、複数の状態は、ＵＩデバイスのアクティブ化または非アクティブ化を備える、側面６４に記載の方法。

第６６の側面では、ＵＩデバイスは、ＡｒＵｃｏ、ボタン、アップダウン、スピナー、ピッカー、ラジオボタン、ラジオボタンリスト、チェックボックス、ピクチャボックス、チェックボックスリスト、ドロップダウンリスト、ドロップダウンメニュー、選択リスト、リストボックス、コンボボックス、テキストボックス、スライダ、リンク、キーボードキー、スイッチ、スライダ、タッチ表面、またはそれらの組み合わせを備える、側面３２－６５のいずれか１項に記載の方法。

第６７の側面では、ＵＩイベントは、ＵＩデバイスおよびポインタに対して生じる、側面３２－６６のいずれか１項に記載の方法。

第６８の側面では、ポインタは、ユーザと関連付けられたオブジェクトまたはユーザの一部を備える、側面６７に記載の方法。

第６９の側面では、ユーザと関連付けられたオブジェクトは、ポインタ、ペン、鉛筆、マーカ、ハイライター、またはそれらの組み合わせを備え、ユーザの一部は、ユーザの指を備える、側面６８に記載の方法。

（付加的考慮点）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、
各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。本明細書に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、
請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動
作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (15)

1. コンピューティングシステムであって、
   ディスプレイデバイスと、
   ソフトウェア命令を記憶するように構成された非一過性コンピュータ可読記憶媒体と、
   ハードウェアプロセッサと
   を備え、
   前記ハードウェアプロセッサは、
   前記ディスプレイデバイスを介してユーザの視野内に仮想コンテンツとしてレンダリングされるユーザインターフェースの特定の部分との前記ユーザのユーザ相互作用に基づいてユーザインターフェースイベントを検出することと、
   前記ユーザインターフェースイベントの間または直後に入手される前記ユーザの眼の１つ以上の画像を識別することであって、前記画像は、前記ユーザインターフェースの前記特定の部分に指向されている前記ユーザの眼姿勢を反映する、ことと、
   前記ユーザの眼画像に基づいて、ユーザの眼姿勢を検出するように構成されたニューラルネットワークの更新を開始することであって、前記ニューラルネットワークは、前記ユーザの眼姿勢を反映する前記１つ以上の画像と、前記ユーザインターフェースの前記特定の部分とに基づいて更新される、ことと
   を前記コンピューティングシステムに行わせるために、前記ソフトウェア命令を実行するように構成され、
   前記更新されたニューラルネットワークは、前記ユーザの眼姿勢を検出するために個人化される、コンピューティングシステム。
2. 前記ニューラルネットワークは、前記ユーザ以外の個人からの複数の訓練用画像に基づいてユーザの眼姿勢を検出するように訓練される、請求項１に記載のコンピューティングシステム。
3. 前記ユーザインターフェースイベントは、ユーザインターフェース要素の選択を備え、前記ユーザインターフェースの前記特定の部分は、前記ユーザインターフェース要素の場所を備える、請求項１に記載のコンピューティングシステム。
4. 前記ニューラルネットワークの更新を開始することは、前記ユーザの前記眼の前記１つ以上の画像と、前記ユーザインターフェースの関連付けられた特定の部分とを、前記ニューラルネットワークを更新するように構成された遠隔サーバに伝送することを含む、請求項１に記載のコンピューティングシステム。
5. 前記ソフトウェア命令は、
   前記ディスプレイデバイス上にレンダリングされる１つ以上のユーザインターフェースの特定の部分とのユーザ相互作用に基づいて付加的ユーザインターフェースイベントを検出することと、
   各検出された付加的ユーザインターフェースイベントに対して、前記付加的ユーザインターフェースイベントの間または直後に入手される前記ユーザの前記眼の１つ以上の画像を識別することと、
   付加的ユーザインターフェースイベントの１つ以上のセットと、前記ユーザの前記眼の対応する１つ以上の画像とに基づいて前記更新されたニューラルネットワークを周期的に最適化することと
   を前記コンピューティングシステムに行わせるようにさらに構成され、
   前記最適化されたニューラルネットワークは、前記ユーザの眼姿勢を検出するためにさらに個人化される、請求項１に記載のコンピューティングシステム。
6. 前記コンピューティングシステムは、ウェアラブル拡張現実ヘッドセットを備え、前記ユーザインターフェースは、３次元環境中にレンダリングされる、請求項１に記載のコンピューティングシステム。
7. 前記ディスプレイデバイスは、左ディスプレイと、右ディスプレイとを備える、請求項６に記載のコンピューティングシステム。
8. コンピューティングシステムによって実施されるコンピュータ化された方法であって、前記コンピューティングシステムは、１つ以上のハードウェアコンピュータプロセッサと、前記コンピュータ化された方法を実施するために、前記コンピューティングシステムによって実行可能なソフトウェア命令を記憶する１つ以上の非一過性コンピュータ可読記憶デバイスとを有し、前記コンピュータ化された方法は、
   ディスプレイデバイスを介してユーザの視野内に仮想コンテンツとしてレンダリングされるユーザインターフェースの特定の部分とのユーザ相互作用に基づいてユーザインターフェースイベントを検出することと、
   前記ユーザインターフェースイベントの間または直後に入手される前記ユーザの眼の１つ以上の画像を識別することであって、前記画像は、前記ユーザインターフェースの前記特定の部分に指向されている眼姿勢を反映する、ことと、
   前記ユーザの眼画像に基づいて、ユーザの眼姿勢を検出するように構成されたニューラルネットワークの更新を開始することであって、前記ニューラルネットワークは、前記ユーザの眼姿勢を反映する前記１つ以上の画像と、前記ユーザインターフェースの前記特定の部分とに基づいて更新される、ことと
   を含み、
   前記更新されたニューラルネットワークは、前記ユーザの眼姿勢を検出するために個人化される、コンピュータ化された方法。
9. 前記ニューラルネットワークは、前記ユーザ以外の個人からの複数の訓練用画像に基づいてユーザの眼姿勢を検出するように訓練される、請求項８に記載のコンピュータ化された方法。
10. 前記ユーザインターフェースイベントは、ユーザインターフェース要素の選択を備え、前記ユーザインターフェースの前記特定の部分は、前記ユーザインターフェース要素の場所を備える、請求項８に記載のコンピュータ化された方法。
11. 前記ニューラルネットワークの更新を開始することは、前記ユーザの前記眼の前記１つ以上の画像と、前記ユーザインターフェースの関連付けられた特定の部分とを、前記ニューラルネットワークを更新するように構成された遠隔サーバに伝送することを含む、請求項８に記載のコンピュータ化された方法。
12. ソフトウェア命令が記憶された非一過性コンピュータ可読媒体であって、前記ソフトウェア命令は、
    ディスプレイデバイスを介してユーザの視野内に仮想コンテンツとしてレンダリングされるユーザインターフェースの特定の部分とのユーザ相互作用に基づいてユーザインターフェースイベントを検出することと、
    前記ユーザインターフェースイベントの間または直後に入手される前記ユーザの眼の１つ以上の画像を識別することであって、前記画像は、前記ユーザインターフェースの前記特定の部分に指向されている前記ユーザの眼姿勢を反映する、ことと、
    前記ユーザの眼画像に基づいて、ユーザの眼姿勢を検出するように構成されたニューラルネットワークの更新を開始することであって、前記ニューラルネットワークは、前記ユーザの眼姿勢を反映する前記１つ以上の画像と、前記ユーザインターフェースの前記特定の部分とに基づいて更新される、ことと
    を含む動作をコンピューティングシステムに実施させるために、ハードウェアコンピュータプロセッサによって実行可能であり、
    前記更新されたニューラルネットワークは、前記ユーザの眼姿勢を検出するために個人化される、非一過性コンピュータ可読媒体。
13. 前記ニューラルネットワークは、前記ユーザ以外の個人からの複数の訓練用画像に基づいてユーザの眼姿勢を検出するように訓練される、請求項１２に記載の非一過性コンピュータ可読媒体。
14. 前記ユーザインターフェースイベントは、ユーザインターフェース要素の選択を備え、前記ユーザインターフェースの前記特定の部分は、前記ユーザインターフェース要素の場所を備える、請求項１２に記載の非一過性コンピュータ可読媒体。
15. 前記ニューラルネットワークの更新を開始することは、前記ユーザの前記眼の前記１つ以上の画像と、前記ユーザインターフェースの関連付けられた特定の部分とを、前記ニューラルネットワークを更新するように構成された遠隔サーバに伝送することを含む、請求項１２に記載の非一過性コンピュータ可読媒体。