JP2023525196A - 滑りの影響を受けない視線追跡ユーザインターフェイス - Google Patents

Abstract

滑りの影響を受けないユーザインターフェイス（ＵＩ）は、ユーザ視線入力を処理する際に、ヘッドマウントディスプレイ（ＨＭＤ）デバイスの滑り、再装着などに起因する動きを考慮し得る。滑りの影響を受けないＵＩは、複数のＵＩ要素を含み得る。各ＵＩ要素は、そのＵＩ要素の表示軌跡を規定する固有の移動パターンを有することにより、ＵＩ要素間の区別を提供し得る。ユーザ視線軌跡がＵＩ要素の表示軌跡のうちの１つとマッチングさせられ得て、対応するＵＩ要素が、ユーザによって選択されることが意図されているターゲットＵＩ要素として識別され得る。視線軌跡とターゲットＵＩ要素の表示軌跡との間の並進オフセット、スケーリングオフセット、および回転オフセットを用いて、ＨＭＤの目と画面の間の較正が実現され得る。

Description

分野
本明細書は、概して、拡張現実（augmented reality：ＡＲ）および／または仮想現実（virtual reality：ＶＲ）環境に関し、より具体的には、ＡＲおよび／またはＶＲ環境における特徴と対話するための視線追跡に関する。

背景
（ＡＲ）および／または（ＶＲ）システムは、３次元（３Ｄ）ＡＲ／ＶＲ環境を生成し得る。ユーザは、さまざまな電子デバイスとの対話を通してこの３ＤのＡＲ／ＶＲ環境を体験することができ、これらの電子デバイスは、例として、たとえばヘルメット、ゴーグル、眼鏡などのヘッドマウントディスプレイ（head mounted display：ＨＭＤ）デバイスおよび／またはヘッドアップディスプレイ（heads up display：ＨＵＤ）デバイス、センサが装着された手袋、センサを含む外部ハンドヘルドデバイス、ならびに他のそのような電子デバイスなどである。ユーザはＡＲ／ＶＲ環境の中を移動することができ、さまざまな入力方法を用いてＡＲ／ＶＲ環境におけるオブジェクト、特徴、ユーザインターフェイスなどと対話することができる。たとえば、ユーザは、外部コントローラ、ジェスチャ入力、音声入力、頭部の注視および視線を含む視線入力、ならびに他のそのような入力方法を用いて、ＡＲ／ＶＲ環境における特徴と対話することができる。状況によっては、特に視線入力を用いてＡＲ／ＶＲ環境の特徴と対話する場合、ＨＭＤの滑りおよび／または再装着が、検出される視線入力の精度に影響を及ぼすことがある。

概要
一局面において、コンピュータによって実現される方法は、ヘッドマウントディスプレイ（ＨＭＤ）デバイスのディスプレイデバイスに表示される仮想ＵＩに向けられたユーザ視線を検出することを含んでもよく、上記仮想ＵＩは複数の仮想ＵＩ要素を含み、上記方法はさらに、検出された上記ユーザ視線に対応する視線軌跡を検出することと、検出された上記視線軌跡を、上記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、上記１つのＵＩ要素をターゲットＵＩ要素として識別することと、上記視線軌跡と上記ターゲットＵＩ要素に関連付けられた上記表示軌跡との間のオフセットを求めることとを含んでもよく、上記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、上記方法はさらに、求められた上記オフセットに基づいてユーザ視線対話モードを再較正することを含んでもよい。

いくつかの実現例において、上記並進オフセットは、第１の方向における第１の並進オフセットと、第２の方向における第２の並進オフセットとを含んでもよい。いくつかの実現例において、上記スケーリングオフセットは、上記第１の方向における圧縮または拡張と、上記第２の方向における圧縮または拡張とを含んでもよい。いくつかの実現例において、上記ユーザ視線対話モードを再較正することは、検出された上記ユーザ視線を上記仮想ＵＩおよび上記複数のＵＩ要素を用いて再設定して、上記第１および第２の並進オフセットならびに上記第１および第２のスケーリングオフセットを補償することを含んでもよい。

いくつかの実現例において、上記仮想ＵＩは、複数の動的ＵＩ要素を含む動的ＵＩであってもよく、上記複数の動的ＵＩ要素の各々は、それぞれの上記動的ＵＩ要素の移動パターンを規定するそれぞれの表示軌跡を有する。上記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の固有の移動パターンを規定する固有の表示軌跡を含んでもよい。上記表示軌跡は、直線部分、円形部分、または曲線部分を含んでもよい。上記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の擬似ランダムな移動パターンを規定する擬似ランダムな表示軌跡を含んでもよい。

いくつかの実現例において、上記ユーザ視線を検出すること、および上記視線軌跡を検出することは、上記ＨＭＤの眼球追跡システムがユーザ視線を追跡することと、上記仮想ＵＩおよび上記複数のＵＩ要素に対する追跡された上記ユーザ視線に基づいて、上記視線軌跡を検出することとを含んでもよい。上記ユーザ視線を追跡することは、上記ＨＭＤの１つ以上の光源が、上記ユーザの目に向かって光を発することと、上記ＨＭＤの１つ以上の光センサが、上記１つ以上の光源から発せられた上記光の、上記ユーザの目による反射を検出することと、検出された上記反射に基づいて上記ユーザ視線を追跡することとを含んでもよい。

別の一般的な局面において、電子デバイスは、ディスプレイと、検知システムと、少なくとも１つのプロセッサと、命令を格納したメモリとを含んでもよい。上記命令は、上記少なくとも１つのプロセッサによって実行されると、上記電子デバイスに、上記ディスプレイによって仮想ユーザインターフェイス（ＵＩ）を表示することを行わせてもよく、上記仮想ＵＩは複数のＵＩ要素を含み、さらに、上記仮想ＵＩに向けられたユーザ視線を検出することと、検出された上記ユーザ視線に対応する視線軌跡を検出することと、検出された上記視線軌跡を、上記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、上記１つのＵＩ要素をターゲットＵＩ要素として識別することと、上記視線軌跡と上記ターゲットＵＩ要素に関連付けられた上記表示軌跡との間のオフセットを求めることとを行わせてもよく、上記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、さらに、求められた上記オフセットに基づいてユーザ視線対話モードを再較正することを行わせてもよい。

いくつかの実現例において、上記命令は上記少なくとも１つのプロセッサに、上記並進オフセットを求めることを行わせてもよく、上記並進オフセットは、第１の方向における第１の並進オフセットと、第２の方向における第２の並進オフセットとを含み、さらに、上記スケーリングオフセットを求めることを行わせてもよく、上記スケーリングオフセットは、上記第１の方向における圧縮または拡張と、上記第２の方向における圧縮または拡張とを含む。上記命令は上記少なくとも１つのプロセッサに、検出された上記ユーザ視線を上記仮想ＵＩおよび上記複数のＵＩ要素を用いて再設定して、上記第１および第２の並進オフセットならびに上記第１および第２のスケーリングオフセットを補償することを行わせてもよい。上記仮想ＵＩは、複数の動的ＵＩ要素を含む動的ＵＩであってもよく、上記複数の動的ＵＩ要素の各動的ＵＩ要素は、それぞれの上記動的ＵＩ要素の固有の移動パターンを規定するそれぞれの表示軌跡を有する。上記表示軌跡は、直線部分、円形部分、または曲線部分を含んでもよい。上記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の擬似ランダムな移動パターンを規定する擬似ランダムな表示軌跡を含んでもよい。

いくつかの実現例において、上記命令は上記少なくとも１つのプロセッサに、上記電子デバイスの眼球追跡システムによってユーザ視線を追跡することを行わせてもよく、上記追跡することは、１つ以上の光源が、上記ユーザの目に向かって光を発することと、１つ以上の光センサが、上記１つ以上の光源から発せられた上記光の、上記ユーザの目による反射を検出することと、検出された上記反射に基づいて上記ユーザ視線を追跡することとを含む。

いくつかの実現例において、上記電子デバイスはヘッドマウントディスプレイ（ＨＭＤ）デバイスであってもよく、上記視線軌跡と上記ターゲットＵＩ要素に関連付けられた上記表示軌跡との間の上記オフセットは、上記ＨＭＤデバイスの最初の較正の後の上記ユーザの目に対する上記ＨＭＤデバイスの動きに起因する。

別の一般的な局面において、非一時的なコンピュータ読取可能媒体は命令を格納してもよく、上記命令は、コンピューティングデバイスによって実行されると、上記コンピューティングデバイスに、上記コンピューティングデバイスのディスプレイデバイスによって仮想ユーザインターフェイス（ＵＩ）を表示することを行わせ、上記仮想ＵＩは複数のＵＩ要素を含み、さらに、上記仮想ＵＩに向けられたユーザ視線を検出することと、検出された上記ユーザ視線に対応する視線軌跡を検出することと、検出された上記視線軌跡を、上記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、上記１つのＵＩ要素をターゲットＵＩ要素として識別することとを行わせてもよい。

１つ以上の実現例の詳細は、添付の図面および以下の説明に記載されている。その他の特徴は、説明および図面から、ならびに請求項から明らかになるであろう。

例示的なＡＲおよび／またはＶＲシステムを示す図である。 例示的なＡＲおよび／またはＶＲシステムを示す図である。 例示的なＡＲおよび／またはＶＲシステムを示す図である。 ＡＲおよび／またはＶＲ環境を生成し、このＡＲおよび／またはＶＲ環境と対話するための例示的なシステムを示す図である。 本明細書に記載されている実現例に従う、ＡＲおよび／またはＶＲ環境を生成し、このＡＲおよび／またはＶＲ環境と対話するための例示的な電子デバイスのブロック図である。 例示的な視線追跡システムの概略図である。 点視線入力モードを採用する例示的なユーザインターフェイスを示す図である。 点視線入力モードを採用する例示的なユーザインターフェイスを示す図である。 本明細書に記載されている実現例に従う、例示的な視線軌跡入力モードを採用する例示的なユーザインターフェイスを示す図である。 本明細書に記載されている実現例に従う、例示的な視線軌跡入力モードを採用する例示的なユーザインターフェイスを示す図である。 本明細書に記載されている実現例に従う、例示的な視線軌跡入力モードを採用する例示的なユーザインターフェイスを示す図である。 本明細書に記載されている実現例に従う、例示的なユーザインターフェイス要素軌跡および例示的な視線軌跡の概略図である。 本明細書に記載されている実現例に従う、例示的なユーザインターフェイス要素軌跡および例示的な視線軌跡の概略図である。 本明細書に記載されている実現例に従う、例示的なユーザインターフェイス要素軌跡および例示的な視線軌跡の概略図である。 本明細書に記載されている実現例に従う、例示的なユーザインターフェイス要素軌跡および例示的な視線軌跡の概略図である。 本明細書に記載されている実現例に従う、例示的なユーザインターフェイス要素軌跡および例示的な視線軌跡の概略図である。 本明細書に記載されている実現例に従う、例示的なユーザインターフェイス要素軌跡および例示的な視線軌跡の概略図である。 本明細書に記載されている実現例に従う、例示的なユーザインターフェイス要素軌跡および例示的な視線軌跡の概略図である。 本明細書に記載されている実現例に従う、ユーザ視線入力の検出方法のフローチャートの図である。 本明細書に記載されている技術を実現するために使用可能なコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。

詳細な説明
ユーザは、ＡＲおよび／またはＶＲ環境における特徴（すなわち、仮想オブジェクト、仮想ユーザインターフェイス（ＵＩ）など）と対話するための多数の異なる入力方法を利用することができる。そのような入力方法は、たとえば、外部コンピューティングデバイス（たとえばハンドヘルドコントローラなど）で受信されるユーザ入力、ジェスチャ入力、可聴／音声入力、視線入力（たとえば頭部注視入力および眼球注視入力を含む）などを含み得る。いくつかの実現例において、これらの入力方法は組み合わされてもよい。本明細書に記載されている実現例に従うシステムおよび方法は、視線入力を用いたＡＲおよび／またはＶＲ環境におけるＵＩとのユーザ対話を提供する。本明細書に記載されている実現例に従うシステムおよび方法は、考慮しなければＡＲ／ＶＲ環境におけるＵＩに向けられた視線入力の精度に影響を及ぼし得る、ＨＭＤの滑り、または動き、または再装着を考慮することができる。

図１Ａ～図１Ｃは、たとえば電子デバイスによって実行されるアプリケーションを通してＡＲおよび／またはＶＲ環境を生成することができる、さまざまな例示的な電子デバイスを示す。図１Ａに示す例に図示されるように、いくつかの実現例において、ユーザは、ウェアラブルデバイス１６のディスプレイ部分を介してＡＲ／ＶＲ環境を見て体験することができる。図１Ａに示す例では、ウェアラブルデバイスは、たとえばスマートグラスの形態のヘッドマウントデバイス１６である。この構成では、ユーザはヘッドマウントデバイス１６を通して物理的な実世界環境を見ることができ、仮想特徴、オブジェクト、ＵＩなどが、物理的な実世界環境のユーザの視野の中に置かれ得るかまたは視野に重ね合わされ得る。図１Ｂに示す例に図示されるように、いくつかの実現例において、ユーザは、物理的な実世界環境のユーザの直接的な視界を本質的に遮断するヘッドマウントデバイス１８のディスプレイ部分を介してＡＲ／ＶＲ環境を見て体験することができる。この構成では、物理的環境のモデルの画像、または物理的環境のパススルー画像が、ヘッドマウントデバイス１８のディスプレイ部分に表示され、仮想特徴、オブジェクト、ＵＩなどが、ユーザが見るＡＲ／ＶＲシーンに配置され得る。図１Ｃに示す例に図示されるように、いくつかの実現例において、ユーザは、ハンドヘルドデバイス１０のディスプレイ部分１２上でＡＲ／ＶＲ環境を見て体験することができる。例示的なハンドヘルドデバイス１０の撮像デバイス１４が、物理的な実世界環境のカメラの視野またはシーンを表示するための画像を、物理的な実世界環境のカメラの視野またはシーンに配置された仮想特徴、オブジェクト、ＵＩなどとともに提供し得る。

ここで、本開示の非限定的な例を詳細に参照し、その例を添付の図面に示す。図面を参照することにより、これらの例を以下に説明する。図面では、同様の参照番号は同様の要素を指す。

図１Ａ～図１Ｃに示すハンドヘルドデバイス１０ならびにヘッドマウントデバイス１６および１８は、ＡＲ環境および／またはＶＲ環境における仮想オブジェクトを表示する能力がある電子デバイスである。以下では、単に説明および図示を簡単にするために、本明細書に記載されている実現例に従うシステムおよび方法の例を、図１Ａに示す例示的なヘッドマウントデバイス１６と同様の電子デバイス上で見られるシーンに基づいて提示する。しかしながら、本明細書で説明する原理は、ユーザが視線入力を用いて仮想特徴、オブジェクト、ＵＩなどと対話することができるＡＲ／ＶＲ環境を生成および提示可能な他の電子デバイスおよび／またはシステムにも適用され得る。

状況によっては、図１Ａに示す例示的なＨＭＤ１６のようなヘッドアップディスプレイ（ＨＵＤ）デバイスまたはヘッドマウントディスプレイ（ＨＭＤ）デバイスを用いる場合、視線追跡は、ＡＲ／ＶＲ環境およびアプリケーションにおける入力および／または特徴との対話を検出する際に利点を提供し得る。たとえば、眼球追跡は、ユーザがたとえばオブジェクトを注視し、瞬きしてこのオブジェクトを選択することを可能にする、見てクリックするアクションを容易にし得る。加えて、眼球追跡は、高精細度（ＨＤ）コンテンツの最適化されたレンダリングを提供し得る。たとえば、眼球追跡は、シーン全体をＨＤでレンダリングするのではなく、ユーザの焦点が合っているシーンの部分のみをＨＤでレンダリングすることによって中心窩レンダリングを容易にすることにより、処理負荷を低減し得る。状況によっては、眼球追跡を用いて、ユーザ認証およびユーザ識別の両方のために、生体認証システムの一部として虹彩認識が行われてもよい。例示的なＨＭＤ１６の滑り、またはＨＭＤ１６の物理的な調整、またはユーザの頭部上のＨＭＤ１６の取り外し／再装着は、ＨＭＤ１６の視線追跡能力、特に眼球追跡能力を低下させることがあり、選択された仮想特徴、オブジェクト、ＵＩなどとの対応するユーザ対話の精度に影響を及ぼすことがある。

図２は、本開示の教示に従う、３ＤのＡＲおよび／またはＶＲ環境を作成してこの環境と対話するための例示的なシステム１００を示す。一般に、システム１００は、ユーザがアクセスする、見る、対話する、および操作するコンテンツを含む３ＤのＡＲ／ＶＲ環境を提供する。システム１００は、たとえば眼球追跡および／または頭部追跡を含む視線追跡を用いて、コンテンツ、アプリケーション、オブジェクト、特徴などにアクセスするオプションをユーザに提供することができる。図２に示す例では、ユーザは、たとえばスマートグラスの形態のＨＭＤ１１０を装着しており、このスマートグラスを通して物理的環境を見ることができ、物理的環境のユーザの視野の上に仮想特徴がオーバーレイされてＡＲ環境が作成されてもよい。

図２に示すように、例示的なシステム１００は、ネットワーク１２０を介してデータを交換可能な複数のコンピューティングデバイスおよび／または電子デバイスを含み得る。これらのデバイスは、クライアントまたはサーバを表し得るものであり、ネットワーク１２０またはその他の追加のおよび／もしくは代替のネットワークを介して通信することができる。例示的なクライアントデバイスとして、モバイデバイス１３１（たとえば、スマートフォン、タブレットコンピューティングデバイス、携帯情報端末、ポータブルメディアプレーヤなど）、ラップトップまたはネットブック１３２、カメラ（図示せず）、この例ではユーザが装着するＨＭＤ１１０、デスクトップコンピュータ１３３、ハンドヘルドデバイス１３４、ゲームデバイス（図示せず）、および、ネットワーク１２０もしくは他のネットワークを用いて他のコンピューティングデバイスもしくは電子デバイスもしくはシステムと通信することができる、または仮想コンテンツにアクセスするためにもしくはＡＲ／ＶＲ環境内で動作するために使用され得る、その他の電子デバイスまたはコンピューティングデバイスがあるが、これらに限定されない。デバイス１１０および１３１～１３４は、クライアントデバイスまたはサーバデバイスを表し得る。デバイス１１０および１３１～１３４は、それぞれのデバイス１１０および１３１～１３４に含まれるまたは関連するディスプレイデバイス上でＶＲコンテンツにアクセスする、ＶＲコンテンツをレンダリングする、提供する、または表示することができる、クライアントオペレーティングシステムおよび１つ以上のクライアントアプリケーションを実行することができる。デバイス１１０および１３１～１３４は、とりわけ、ＨＭＤ１１０または本明細書に開示されている他のＨＭＤによって実行される眼球追跡を利用するＶＲアプリケーションを実行することができる。

システム１００は、ＡＲ／ＶＲシーンを生成、修正、または実行することができるコンテンツおよび／または（たとえばＡＲ／ＶＲアプリケーション１４４の形態の）ＡＲ／ＶＲソフトウェアモジュールを格納する任意の数のコンテンツシステム１４０を含み得る。いくつかの例において、デバイス１１０および１３１～１３４は、クライアントオペレーティングシステムおよび１つ以上のクライアントアプリケーションを実行することができる、１つ以上のプロセッサおよび１つ以上のメモリデバイスを含む。ＨＭＤ１１０、他のデバイス１３１～１３３またはコンテンツシステム１４０は、図９に示す例示的なコンピューティングデバイスによって実現されてもよい。

アプリケーション１４４は、デバイス１１０および１３１～１３４のうちのいずれかまたはすべての上で実行されるように構成されてもよい。たとえば、ＨＭＤ１１０をデバイス１３１～１３４に接続して、コンテンツシステム１４０上のＡＲ／ＶＲコンテンツにアクセスするができる。デバイス１３１～１３４を、表示するコンテンツを提供可能なＨＭＤ１１０に（有線または無線で）接続することができる。ユーザのＡＲ／ＶＲシステムは、ＨＭＤ１１０単独であってもよく、またはデバイス１３１～１３４とＨＭＤ１１０との組み合わせであってもよい。

図３は、たとえば図２でユーザが装着している（たとえばスマートグラスの形態の）ＨＭＤ１１０のような、例示的な電子デバイス３００のブロック図であり、電子デバイス３００は、ユーザが体験するＡＲ環境を生成することができ、ユーザ入力を検出するための視線追跡（視線追跡および／または頭部の注視追跡を含む）を実行することができる。

電子デバイス３００は、検知システム３６０および制御システム３７０を含み得る。検知システム３６０は、たとえば、光センサ、音声センサ、画像センサ、距離／近接センサ、および／または他のセンサ、および／またはセンサの異なる組み合わせを含む、１つ以上の異なるタイプのセンサを含み得る。いくつかの実現例において、検知システム３６０は、たとえば眼球追跡システムを含む、１つ以上の視線追跡センサを含み得る。いくつかの実現例において、眼球追跡システムは、ユーザの視線を検出して追跡するように位置決めされる１つ以上の画像センサまたはカメラを含み得る。いくつかの実現例において、眼球追跡システムは、ユーザの目に向けられた光、たとえば赤外光を発するたとえば発光ダイオード（ＬＥＤ）のような、１つ以上の光源を含み得る。ＬＥＤによって発せられたこの光の、ユーザの目からの反射は、たとえば検知システム３６０の１つ以上の光センサによって検出されてもよい。ＬＥＤによって発せられた光の捕捉反射に基づいて、視線が追跡されてもよい。いくつかの実現例において、検知システム３６０は、頭部の注視方向および動きを検出して追跡するための慣性計測装置（ＩＭＵ）を含み得る。制御システム３７０は、たとえば、出力／停止制御デバイス、音声および映像制御デバイス、光学制御デバイス、ならびに／または他のそのようなデバイスならびに／またはデバイスの異なる組み合わせを含み得る。特定の実現例に応じて、検知システム３６０および／または制御システム３７０はより多いまたはより少ないデバイスを含んでもよい。電子デバイス３００は、検知システム３６０および制御システム３７０と通信するプロセッサ３９０を含み得る。プロセッサ３９０は、たとえば、１つ以上の画像センサによって捕捉された視線方向および動き入力、ならびに／またはＩＭＵによって捕捉された頭部の注視方向および動き入力など、検知システム３６０から受信した入力を処理することにより、入力を処理し、検出された視線入力に対応する命令を実行してもよい。電子デバイス３００は、制御システム３７０の制御下でプロセッサ２９０によって処理されて出力システム３５０によって出力されるユーザ入力を受信可能な入力システムを含み得る。入力システム３４０は、たとえば、タッチ入力面、音声入力を受信可能な音声入力デバイス（たとえば、検知システム３６０に含まれる音声センサまたはマイクを含む）、ジェスチャ認識デバイス（たとえば、検知システム３６０の画像センサによって捕捉されてプロセッサ３９０によって処理される画像を含む）、および他のそのような入力デバイスを含む、さまざまなタイプの入力デバイスを含み得る。出力システム３５０は、たとえば、ディスプレイデバイス、音声出力デバイス、またはスピーカ、物理的および／もしくは触覚出力デバイス、ならびに他のそのような出力デバイスのような、さまざまなタイプの出力デバイスを含み得る。電子デバイス３００は、メモリ３８０と、電子デバイス３００とたとえば図２に示す外部デバイスのような１つ以上の他の外部デバイスとの間の通信を提供する通信モジュール３９５とを含み得る。

非限定的な一例では、電子デバイス３００は、図４に示す例のように、たとえば眼鏡などのＨＵＤまたはＨＭＤであってもよい。特に、図４は、ユーザが装着するスマートグラスの形態の例示的なＨＭＤ３００の側面概略図である。この例では、ＨＭＤ３００は、単に説明および図示を目的として、眼球追跡を実行するための１つ以上の光源３６１と１つ以上の光センサ３６２とを含む眼球追跡デバイスを含む。本明細書で説明する原理は、他のタイプの眼球追跡デバイスを含むＨＭＤにも適用され得る。例示的なＨＭＤ３００は、ＨＭＤ３００を装着しているユーザの目Ｅの視線または光路に沿って１つ以上のレンズ３５２およびディスプレイデバイス３５５を位置決めするフレーム３０５を含み得る。たとえば１つ以上のＬＥＤの形態の１つ以上の光源３６１は、たとえば図４に示す例示的な光線Ｒ１に沿って、ユーザの目Ｅに向かって発光してもよく、たとえば間欠的に発光してもよい。いくつかの実現例において、光源３６１から発せられた光は、例示的な光線Ｒ２によって示されるように、ユーザの目Ｅによって反射し得る。いくつかの実現例において、ユーザの目Ｅによって反射した光は１つ以上の光センサ３６２によって検出されてもよい。ユーザの目Ｅからの光の反射は、たとえば、視線を追跡するためにＨＭＤ３００のプロセッサによって使用されてもよい。プロセッサは、検出された視線を、たとえばディスプレイデバイス上でまたはディスプレイデバイスを通してユーザが見ることができる要素と相関させてもよい。いくつかの実現例において、プロセッサは、検出された視線を、ディスプレイデバイスによって表示されるＵＩの要素と相関させて、ＵＩの要素とのユーザ対話を提供してもよい。図４に提供されている概略図に示す構成要素の配置および／または数は、単に例示目的である。いくつかの実現例において、例示的なＨＭＤ３００は、図４に示す例示的な構成とは異なるように配置および／または位置決めされた、より多いまたはより少ない光源３６１を含んでもよい。いくつかの実現例において、例示的なＨＭＤは、図４に示す例示的な構成とは異なるように配置および／または位置決めされた、より多いまたはより少ない光センサ３６２を含んでもよい。

上述のように、たとえば眼鏡、ヘッドセット、ゴーグルなどのＨＵＤまたはＨＭＤは、たとえばＡＲおよび／またはＶＲ環境において眼球注視入力および／または頭部注視入力を含む視線入力を受信するように構成されてもよい。いくつかの実現例において、入力モダリティとしての視線は、ＨＭＤによって実行される眼球追跡に依存してもよい。状況によっては、たとえば、ＨＭＤのカメラによって捕捉された画像に基づく画像ベースの追跡ではなく、図４に示す説明的な例に関して上述したように、特に、目からの光の反射、光源による出力、およびＨＭＤの光センサによる捕捉に基づいて視線が追跡される場合に、ＨＭＤの滑り、ＨＭＤの再装着、および／またはＨＭＤの他の再位置決めは、ＨＭＤによって行われる眼球追跡の精度に悪影響を及ぼすことがあり、これにより、ＨＭＤのような電力制約のあるデバイスでは法外な量の電力を消費することがある。そして、この眼球追跡の精度に対する悪影響は、入力モダリティとしての視線の精度に影響を及ぼすことがある。眼球追跡の精度を回復するための再較正は、時間がかかり大量のリソースが消費され得る。

本明細書に記載されている実現例に従うシステムおよび方法では、滑りの影響を受けないＵＩは、ＨＭＤのユーザによって選択可能なＵＩの要素の移動パターンを利用してもよい。いくつかの実現例において、これにより、視線軌跡がＵＩ要素との位置合わせから外れる原因となり得るＨＭＤの滑り、再装着、または他の動きが生じた場合でも、システムは視線軌跡に基づいてＵＩの要素の選択を区別することが可能になり得る。いくつかの実現例において、またこれにより、システムは、ＵＩ要素の表示の較正を調整して、求められた滑りに従って視線軌跡推定を再位置合わせすることが可能になり得る。いくつかの実現例において、マッチングさせなければ滑り誤差が生じやすく、マッチングさせなければ再較正が必要となる視線入力を、注視点の絶対位置ではなく、視線軌跡に基づいて、対応するＵＩ要素（たとえば、意図されているユーザ選択）とマッチングさせてもよい。本明細書に記載されている実現例に従うシステムおよび方法は、眼球追跡手法の大幅な変更に依拠することなく、ＵＩ要素に関するユーザの意図を判定する際に滑りを考慮し得る。

図５Ａは、上述のようなＡＲ／ＶＲ環境において、上述の例示的な電子デバイス３００のユーザに表示され得る例示的なＵＩ５００を示す。例示的なＵＩ５００は、１つ以上の静的ＵＩ要素５５０Ａ～５５０Ｉを含み得る。静的ＵＩ要素５５０Ａ～５５０Ｉは、上述のような視線入力を用いて、ユーザによって選択可能であってもよい。図５Ｂは、較正以降にＨＭＤ３００の何らかの動き（すなわち、滑り、再装着など）が起こった状況における、例示的なＵＩ３００とのユーザ対話を示す。図５Ｂに示すように、例示的な滑りが起こった状況において、ユーザ視線は（ＵＩ要素５５０Ａの選択に対応する）点５１０を意図している場合がある。しかしながら、例示的な滑りに起因して、視線は代わりに、静的ＵＩ５００上の点５２０に向けられたものであると推定されて、意図されているようなＵＩ要素５５０ＡではなくＵＩ要素５５０ＩとのマッチングおよびＵＩ要素５５０Ｉの選択が行われる場合がある。視線と静的ＵＩ５００／静的ＵＩ要素５５０Ａ～５５０Ｉとのマッチングは、（矢印Ａによって表される）視線オフセットの影響を非常に受けやすいため、滑りに起因する視線オフセットによって静的ＵＩ５００とのユーザの対話が不正確になり、この例では、結果として生じる選択が不正確になる。すなわち、この例では、ユーザ視線と静的ＵＩ５００の静的ＵＩ要素５５０Ａ～５５０Ｈのうちの１つとのマッチングは、滑りに起因してオフセットしている、静的ＵＩ５００／静的ＵＩ要素５５０Ａ～５５０Ｈに対する注視点の絶対位置に基づいている。この状況では、補正には完全な再較正プロセスが必要となる。

一方、本明細書に記載されている実現例に従う、ユーザ視線と動的ＵＩ要素または移動ＵＩ要素を含む動的ＵＩとの動的なマッチングは、滑りに起因する視線オフセットに基づく不正確さが生じにくいことがある。本明細書に記載されている実現例に従う動的ＵＩ要素を含む動的ＵＩでは、（たとえば、視線と意図されているＵＩ要素との間の）マッチングは、ユーザの目がターゲット持続時間にわたって所与のＵＩ要素を追うときに、または選択されることが意図されている所与のＵＩ要素をユーザの目が滑らかに追いかけるときに、（注視点の絶対位置に基づいてではなく）視線軌跡に基づいて行われ得る。動的ＵＩ要素のうちの１つがうまく選択されると、動的ＵＩ要素の（既知の）軌跡と、選択された動的ＵＩ要素を滑らかに追いかける間に観察された推定視線軌跡とに基づいて、目と画面の間の較正を計算することができる。この較正手順は、比較的シームレスであり得るものであり、今後の滑りに起因する視線オフセットを考慮し得る。

図６Ａは、本明細書に記載されている実現例に従う例示的なＵＩ６００を示す。例示的なＵＩ６００は、複数の動的ＵＩ要素６５０Ａ～６５０Ｈを含む動的ＵＩ６００である。すなわち、この例示的なＵＩ６００では、ＵＩ要素６５０Ａ～６５０Ｈは、移動可能であるか、またはＵＩ要素６５０Ａ～６５０Ｈが動いている状態で表示され、直線的に分離された軌跡で移動する。図６Ａ～図６Ｃに関して説明する例示的な実現例では、単に説明および図示を簡単にするために、例示的な動的ＵＩ要素６５０Ａ～６５０Ｈは実質的に円形の配置を有し、たとえば矢印Ｂによって示されるように実質的に円形のパターンで移動する。この実質的に円形のパターンでの移動を図６Ｂ（１）～図６Ｂ（５）に順次示す。しかしながら、本明細書で説明する原理は、異なる数のＵＩ要素を有するＵＩ、ならびに／または、ＵＩ要素が異なるように配置されたＵＩ、ならびに／または、ＵＩ要素が他のパターンで移動する、および／もしくは均一なおよび不均一なパターン、もしくはランダムなパターン、もしくは擬似ランダムなパターンを含む動的ＵＩ内の他の移動軌跡をたどるＵＩなど、他の動的ＵＩにも適用され得る。

図６Ｃは、較正以降にＨＭＤ３００の何らかの動き（すなわち、ＨＭＤ３００の滑り、ＨＭＤ３００の再装着、ＨＭＤ３００の再位置決めなど）が起こった状況における、例示的な動的ＵＩ６００とのユーザ対話を示す。図６Ｃに示すように、例示的な滑りが起こった状況において、ユーザ視線はＵＩ要素６５０Ａを意図している場合がある。この例では、（典型的に、上述のように、意図されているターゲットＵＩ要素から注視点がオフセットする原因となる）ＨＭＤ３００の滑りが起こっているが、（注視点ではなく）視線軌跡６１０が追跡され得る。システムは、視線軌跡６１０がＵＩ要素６５０Ａの表示軌跡６３０Ａを追いかけているまたはたどっていることを検出し得る。この状況では、システムはＵＩ要素６５０Ａの表示軌跡６３０Ａを知っている。ユーザ視線軌跡６１０が、意図されているターゲットＵＩ要素６５０Ａ、およびターゲットＵＩ要素６５０Ａの関連付けられた表示軌跡６３０Ａに対するオフセット６２０であっても、システムは、検出された視線軌跡６１０をＵＩ要素６５０Ａの表示軌跡６３０Ａとマッチングさせ得る。視線軌跡６１０とＵＩ要素６５０Ａの表示軌跡６３０Ａとのマッチングに基づいて、システムは、ＵＩ要素６５０Ａが検出された視線６１０のターゲットであると判断し得て、ＵＩ要素６５０Ａが選択され得る。いくつかの実現例において、ターゲットＵＩ要素６５０Ａの選択を確認した後、システムは、たとえば、別のそのような再較正の必要性が検出される、セッションの終了が検出される、などするまで、求められたオフセット６２０を用いて、システムが今後使用するための、比較的簡単な目とディスプレイの間の較正を実行してもよい。

図７Ａ～図７Ｃは、本明細書に記載されている実現例に従う、たとえば図６Ａ～図６Ｃに関して上述した視線軌跡６１０のような視線軌跡と、たとえば図６Ａ～図６Ｃに関して上述したターゲットＵＩ要素６５０Ａの既知の表示軌跡６３０のようなターゲットＵＩ要素の移動パターンまたは表示軌跡とのマッチングの概略図である。

上述のように、例示的な動的ＵＩ要素６５０の各々は、各自の別個の表示軌跡６３０を有し得る。これにより、システムは、特に、検出された視線軌跡６１０を複数のＵＩ要素６５０のうちの１つとマッチングさせようと試みる際に、複数の異なるＵＩ要素６５０同士を区別することにより、視線軌跡６１０に関連付けられた意図されているターゲットＵＩ要素６５０を決定することが可能になり得る。

図７Ａ～図７Ｇに示す概略図は、例示的なＵＩ要素６５０のうちの１つの例示的な表示軌跡６３０を、さまざまな異なる滑りのシナリオにおける例示的な視線軌跡６１０とともに示す。図７Ａ～図７Ｇに示す例示的な構成では、単に説明および図示を目的として、例示的な動的ＵＩ要素６５０がたどる例示的な表示軌跡６３０、すなわち例示的な軌跡または経路は実質的に円形である。いくつかの実現例において、表示軌跡は、擬似ランダムパターンを含む他のパターンに従ってもよい。表示軌跡のパターンまたは形状または輪郭にかかわらず、システムは特定のＵＩ要素に関連付けられた表示軌跡のパターンまたは形状または輪郭を知っているので、システムはさまざまなＵＩ要素同士を区別し、検出または観察された視線軌跡をＵＩ要素のうちの１つとマッチングさせることができる。

図７Ａは、ＨＭＤ３００がユーザの顔の上に位置決めされ、目と画面の間の較正が行われたシナリオを示す。図７Ａに示す較正後の状態では、表示軌跡６３０（実線で示す）と表示軌跡６１０（破線で示す）とが実質的に位置合わせされている。すなわち、観察された視線軌跡６３０は、ユーザが注視しているＵＩ要素６５０の表示軌跡６１０と実質的にマッチングまたは一致している。すなわち、表示軌跡６１０に沿って移動する動的ＵＩ要素６５０は、図７Ａに表される特定の時点でユーザ視線６１５と実質的に位置合わせされている。

図７Ｂ～図７Ｇは、図７Ａに示す状態からのＨＭＤ３００の何らかの形態の滑りによって、観察または検出された視線軌跡６１０がターゲットＵＩ要素６５０の表示軌跡６３０からオフセットしているさまざまなシナリオを示す。図７Ａ～図７Ｇでは静的に示されているが、動的ＵＩ要素６５０は、関数Ｇ（ｔ）を表す表示軌跡６３０（実線で示す）によって規定されるパターンに沿って移動することが理解される。視線軌跡６１０（破線で示す）は関数Ｇ′（ｔ）を表し得る。関数Ｇ′（ｔ）は、動的ＵＩ６００のＵＩ要素６５０のうちの１つとマッチングさせられる、観察または検出された視線軌跡６１０のパターンの尺度または推定値を提供し得る。図７Ａ～図７Ｇでは、検出されたユーザ視線６１５は、表示軌跡６３０に沿った動的ＵＩ要素６５０の位置によって表される時点に対応する時点で示されている。図７Ｂ～図７Ｇに示す例では、ＨＭＤ３００の滑りに起因して、ＵＩ要素６５０をターゲットとするユーザ視線は、ターゲットＵＩ要素６５０の表示軌跡６３０をたどらない。むしろ、視線軌跡６１０は、ＨＭＤ３００の滑りに起因して、ターゲットＵＩ要素６５０の表示軌跡６３０からオフセットしている。特に、ＨＭＤ３００の滑りに起因して、表示軌跡６３０と視線軌跡６１０との間に並進オフセットＴおよびスケーリングオフセットＳが存在している。図７Ｂ～図７Ｇは、滑りに起因するユーザの顔／目に対するＨＭＤ３００の配置に対応する、ＨＭＤ３００の異なるタイプの滑りに対応するさまざまな例示的なシナリオを示す。

図７Ｂは、ＨＭＤ３００が少し並進して、表示軌跡６３０と観察された視線軌跡６１０との間が実質的に均質にスケーリングされた例を示す。図７Ｂに示すように、観察または検出されたユーザ視線軌跡６１０（破線で示す）は、ＨＭＤ３００の滑りに起因して、ターゲットＵＩ要素６５０の表示軌跡６３０（実線で示す）に対してやや並進またはオフセットしている。図７Ｂに示す例では、視線軌跡６１０は、表示軌跡６５０に対してＸ方向に（すなわちＸ軸に沿って）およびＹ方向に（すなわちＹ軸に沿って）にオフセットまたは並進している。視線軌跡６１０の並進オフセットまたは並進は、表示軌跡６３０を表すパターンの中心部から視線軌跡６１０を表すパターンの中心部まで延びるベクトルＴによって表される。並進オフセットＴは、成分Ｔｘ（Ｘ方向におけるまたはＸ軸に沿ったオフセットまたは並進またはシフト）およびＴｙ（Ｙ方向におけるまたはＹ軸に沿ったオフセットまたは並進またはシフト）によって規定され得る。並進オフセットはたとえば、（たとえば図７Ａに示す較正後の位置に対する）Ｘ方向および／またはＹ方向におけるＨＭＤ３００の動きまたは変位に応答し得る。図７Ｂに示す例では、視線軌跡６１０のスケーリングオフセットＳは、スケーリング成分Ｓｘ（Ｘ方向におけるまたはＸ軸に沿ったスケーリング）およびＳｙ（Ｙ方向におけるまたはＹ軸に沿ったスケーリング）によって表され得る。スケーリング成分Ｓｘは、表示軌跡６３０と視線軌跡６１０との間のＸ軸に沿った圧縮または拡張を表し得る。スケーリング成分Ｓｙは、表示軌跡６３０と視線軌跡６１０との間のＹ軸に沿った圧縮または拡張を表し得る。スケーリングオフセットは、たとえば、ＨＭＤ３００がユーザの顔／目に近づくまたはユーザの顔／目から遠ざかることによってＨＭＤ３００のセンサがユーザの顔／目に近づくおよび／またはユーザの顔／目から遠ざかることに応答し得る。図７Ｂに示す例では、視線軌跡６１０は、Ｘ方向のスケーリングＳｘがＹ方向のスケーリングＳｙと実質的に同じであるという点で、ＨＭＤ３００の滑りに起因して表示軌跡６３０に対して実質的に均質にまたは均一にスケーリング（縮小または減少）されている。この実現例では、ＨＭＤ３００の現実的な滑りによってスケーリング（Ｘ方向およびＹ方向における実質的に均一なスケーリング）のみが生じており、視線軌跡６１０の変形は生じていない。

したがって、並進成分ＴｘおよびＴｙは、スケーリング成分ＳｘおよびＳｙとともに、ＨＭＤ３００の滑りに起因するユーザ視線軌跡６１０の並進および／またはスケーリングおよび／または変形を規定し得る。並進は、少なくとも一部が、たとえば、鼻梁に沿ったＨＭＤ３００の動き、ユーザの顔に対するＨＭＤ３００の横方向の（すなわち左から右への）動きなどに起因して起こり得る。圧縮および／または拡張の形態のスケーリングは、少なくとも一部が、滑りに起因するセンサの再位置決め、ユーザの顔に近づくおよび／またはユーザの顔から遠ざかるようなＨＭＤ３００の一部のセンサの位置決めに起因して起こり得る。動的ＵＩ６００のターゲットＵＩ要素６５０とのマッチングが行われると、視線軌跡６１０と既知の表示軌跡６３０との間の並進オフセットＴｘ、Ｔｙおよび／またはスケーリングオフセットＳｘ、Ｓｙが求められ得て、それらのオフセットが今後の視線検出に適用されることにより、目と画面の間の再較正が提供され得る。すなわち、視線軌跡６１０が解析されてＵＩ要素６５０のうちの１つの表示軌跡６３０とマッチングされると、そのターゲットＵＩ要素６５０を選択するために、ＨＭＤ３００の滑り状態であっても、それらのオフセットを用いて目と画面の間の再較正が行われて、システムが図７Ａに示すような較正後の状態に戻され得る。

図７Ｃは、ＨＭＤ３００の滑りによって、（並進成分ＴｘおよびＴｙによって規定される）並進オフセットＴならびに（スケーリング成分ＳｘおよびＳｙによって規定される）スケーリングオフセットＳが生じた状況を示す。図７Ｃに示す例では、観察または検出された視線軌跡６１０はＨＭＤ３００の滑りに起因して少し変形している。すなわち、この例では、スケーリングオフセットＳは、図７Ｂに示す例における実質的に均質なまたは均一なスケーリングと比較して、（Ｙ方向におけるまたはＹ軸に沿った）スケーリングＳｙから独立している（Ｘ方向におけるまたはＸ軸に沿った）スケーリングＳｘを含む。この例では、スケーリング成分ＳｘはＸ方向における（またはＸ軸に沿った）拡張を表し得るものであり、スケーリング成分ＳｙはＹ方向における（またはＹ軸に沿った）圧縮を表し得る。これは、ＨＭＤ３００の滑りによって、（図７Ａに示す較正後の位置と比較して）ＨＭＤ３００の一部のセンサがユーザの顔／目に近づくように位置決めされ、一部のセンサがユーザの顔／目から遠ざかるように位置決めされたことを示し得る。

図７Ｄは、ＨＭＤ３００の現実的な滑りによって、ＨＭＤ３００の不均一な滑りを示すある程度のせん断Ｓｘｙを含む並進オフセットＴおよびスケーリングオフセットＳが生じた実現例を示す。図７Ｅは、ＨＭＤ３００の滑りによって並進オフセットＴが生じ、Ｘ方向およびＹ方向において均質なまたは均一なスケーリングＳが生じた状況を示す。図７Ｅに示す例では、滑りは、示される時点における表示軌跡６３０上のターゲットＵＩ要素６５０に対する視線軌跡６１０の視線６１５のオフセット位置によって示されるように、ＨＭＤ３００のある程度の回転も含む。図７Ｆは、ＨＭＤ３００の現実的な滑りによって並進オフセットＴが生じ、Ｘ方向（すなわち拡張）およびＹ方向（すなわち圧縮）において独立したスケーリングＳが生じた実現例を示す。図７Ｆに示す例では、滑りは、示される時点における表示軌跡６３０上のターゲットＵＩ要素６５０に対する視線軌跡６１０の視線６１５のオフセット位置によって示されるように、ＨＭＤ３００のある程度の回転も含む。図７Ｇは、ＨＭＤ３００の滑りによって、せん断Ｓｘｙを含む並進オフセットＴおよびスケーリングオフセットＳが生じた状況を示す。図７Ｇに示す例では、滑りは、示される時点における表示軌跡６３０上のターゲットＵＩ要素６５０に対する視線軌跡６１０の視線６１５のオフセット位置によって示されるように、ＨＭＤ３００のある程度の回転も含む。

いくつかの実現例において、ＨＭＤ３００の滑りが生じた場合に検出された視線軌跡６１０に基づいてターゲットＵＩ要素６５０を決定する際に、１つ以上のアルゴリズムが実装されてもよい。たとえば、いくつかの実現例において、（並進滑りの例における）視線追跡のモデル化は以下の式１によって特徴付けられ得る。

式１ G'(t) = SG(t) + T
式１において、Ｇ（ｔ）は特定のＵＩ要素に関連付けられた真の表示軌跡を規定し得る。上述のように、ＴはＨＭＤの滑りに関連付けられた並進成分を表し得るものであり、ＳはＨＭＤの滑りに関連付けられたスケーリング成分を表し得る。（推定）ユーザ視線軌跡であるＧ′（ｔ）は式１を用いて求められ得る。

いくつかの実現例において、視線軌跡をターゲットＵＩ要素の移動パターンとマッチングさせる位相検出アルゴリズムを用いて、視線軌跡Ｇ′（ｔ）をＵＩ要素軌跡とマッチングさせることができる。そのような位相検出アルゴリズムは、ノイズ、並進オフセットおよびスケーリングの影響をそれほど受けないことがある。しかしながら、たとえばフーリエシフト定理のような位相検出アルゴリズムは、信号周期よりも１桁以上長いサンプリング周期に依存することがある。これは、動的ＵＩとの比較的迅速なユーザ対話を提供することと、動的ＵＩのＵＩ要素の移動速度とのバランスをとる上での課題を提起し得る。

上述のように、図７Ｅ、図７Ｆおよび図７Ｇは、ＨＭＤ３００の滑りが上述のような並進成分およびスケーリング成分を含み、さらに回転成分も含むことにより、検出された視線軌跡６１０がターゲットＵＩ要素６５０の表示軌跡６３０からオフセットしている例を示している。回転滑りは、少なくとも一部が、たとえばＨＭＤ３００の第１の側面の上方移動およびＨＭＤ３００の第２の側面の下方移動などに起因して起こり得る。いくつかの実現例において、（回転滑りを含む例における）視線追跡のモデル化は以下の式３によって特徴付けられ得る。

式３ G'(t) = SRG(t) + T
式３において、Ｓは滑りのスケーリング成分を表し得るものであり、Ｒは滑りの回転成分を表し得るものであり、Ｇ（ｔ）は特定のＵＩ要素に関連付けられた真の表示軌跡を規定し得るものであり、Ｔは滑りの並進成分を表し得る。このように、ＨＭＤ３００の回転滑りを含む状況における（推定）ユーザ視線軌跡であるＧ′（ｔ）は式３を用いて求められ得る。

図８は、本明細書に記載されている実現例に従う、ＡＲ／ＶＲ環境においてユーザ視線入力を検出する例示的な方法８００のフローチャートである。

上述の例示的な動的ＵＩ６００のような動的ＵＩが、たとえば眼鏡、ゴーグルのようなたとえばＨＭＤ３００のディスプレイデバイスを介して、ＡＲ／ＶＲ環境においてユーザに表示され得る。動的ＵＩ６００は、上述の例示的な動的ＵＩ要素６５０のような複数の動的ＵＩ要素を含んでもよく、動的ＵＩ要素６５０の各々は、システムが知っているそれぞれの独立した表示軌跡６３０に沿って移動する。動的ＵＩ要素６５０のうちの１つ以上は、たとえば視線入力モードを含むいくつかの異なる入力モードを用いるユーザによって選択可能であってもよい。

システムは、複数の動的ＵＩ要素６５０を含む動的ＵＩ６００に向けられたユーザ視線を検出し得る（ブロック８１０）。視線入力が動的ＵＩ要素６５０のうちの１つと一致すると判定された場合は、システムは、識別された動的ＵＩ要素６５０をターゲットＵＩ要素として設定し、さらなるアクションのためにこのＵＩ要素６５０を選択し得る（ブロック８２０，８８０，８９０）。視線入力が動的ＵＩ要素６５０のうちの１つと一致しないと判定された場合は（ブロック８２０）、システムは、検出されたユーザ視線に関連付けられた視線軌跡６１０を追跡し得る（８３０）。システムは、追跡されたユーザ視線軌跡６１０を動的ＵＩ要素６５０に対応する既知の表示軌跡６３０と比較して（ブロック８４０）、ユーザ視線軌跡６１０を動的ＵＩ要素６５０のうちの１つの表示軌跡６３０とマッチングさせ得る（ブロック８５０）。ユーザ視線軌跡６１０と動的ＵＩ要素６５０のうちの１つの表示軌跡６３０とのマッチングに応答して、システムは、識別されたＵＩ要素６５０をターゲットＵＩ要素として設定し、さらなるアクションのためにターゲットＵＩ要素を選択し得る（ブロック８５０，８８０，８９０）。次にシステムは、ユーザ視線軌跡６１０とターゲットＵＩ要素６５０の表示軌跡６３０との間のオフセットを求め得る（ブロック８６０）。オフセットは、たとえば、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み得る。システムは、求められたオフセットを用いて再較正を実行し得る（ブロック８７０）。セッションが終了する（ブロック８９５）までこのプロセスが継続され得る。

図９は、本明細書に記載されている技術とともに使用され得るコンピュータデバイス１０００およびモバイルコンピュータデバイス１０５０の一例を示す。コンピューティングデバイス１０００は、プロセッサ１００２と、メモリ１００４と、ストレージデバイス１００６と、メモリ１００４および高速拡張ポート１０１０に接続する高速インターフェイス１００８と、低速バス１０１４およびストレージデバイス１００６に接続する低速インターフェイス１０１２とを含む。コンポーネント１００２，１００４，１００６，１００８，１０１０および１０１２の各々は、さまざまなバスを用いて相互接続され、共通のマザーボード上にまたは適宜他の態様で搭載されてもよい。プロセッサ１００２は、コンピューティングデバイス１０００内で実行される命令を処理することができ、これらの命令は、高速インターフェイス１００８に結合されたディスプレイ１０１６などの外部入出力デバイス上にＧＵＩのためのグラフィック情報を表示するための、メモリ１００４内またはストレージデバイス１００６上に格納された命令を含む。他の実現例において、複数のメモリおよび複数タイプのメモリとともに、複数のプロセッサおよび／または複数のバスが適宜使用されてもよい。また、複数のコンピューティングデバイス１０００が接続されてもよく、各デバイスは、（たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

メモリ１００４は、コンピューティングデバイス１０００内に情報を格納する。一実現例において、メモリ１００４は、１つまたは複数の揮発性メモリユニットである。別の実現例において、メモリ１００４は、１つまたは複数の不揮発性メモリユニットである。また、メモリ１００４は、磁気ディスクまたは光ディスクなどの、別の形式のコンピュータ読取可能媒体であってもよい。

ストレージデバイス１００６は、コンピューティングデバイス１０００に大容量ストレージを提供可能である。一実現例において、ストレージデバイス１００６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、または、ストレージエリアネットワークもしくは他の構成内のデバイスを含むデバイスのアレイなどのコンピュータ読取可能媒体であってもよく、またはコンピュータ読取可能媒体を含んでもよい。コンピュータプログラム製品を情報担体において有形に具体化してもよい。コンピュータプログラム製品は、実行されると上述のような１つ以上の方法を実行する命令も含んでもよい。情報担体は、メモリ１００４、ストレージデバイス１００６、またはプロセッサ１００２上のメモリなどのコンピュータ読取可能媒体または機械読取可能媒体である。

高速コントローラ１００８は、コンピューティングデバイス１０００のための帯域幅を多く使用する動作を管理するのに対して、低速コントローラ１０１２は、帯域幅をそれほど使用しない動作を管理する。そのような機能の割り当ては例示に過ぎない。一実現例において、高速コントローラ１００８は、メモリ１００４、ディスプレイ１０１６に（たとえば、グラフィックスプロセッサまたはアクセラレータを介して）結合されるとともに、さまざまな拡張カード（図示せず）を受け付け得る高速拡張ポート１０１０に結合される。この実現例において、低速コントローラ１０１２は、ストレージデバイス１００６および低速拡張ポート１０１４に結合される。さまざまな通信ポート（たとえば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、たとえばネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなどの１つ以上の入出力デバイスに結合されてもよい。

コンピューティングデバイス１０００は、図に示すように多くの異なる形態で実現されてもよい。たとえば、標準的なサーバ１０２０として、またはそのようなサーバのグループで複数回実現されてもよい。さらに、ラックサーバシステム１０２４の一部として実現されてもよい。加えて、ラップトップコンピュータ１０２２などのパーソナルコンピュータとして実現されてもよい。あるいは、コンピューティングデバイス１０００からのコンポーネントが、デバイス１０５０などのモバイルデバイス（図示せず）内の他のコンポーネントと組み合わされてもよい。そのようなデバイスの各々は、コンピューティングデバイス１０００，１０５０のうちの１つ以上を含んでもよく、システム全体が、互いに通信する複数のコンピューティングデバイス１０００，１０５０で構成されてもよい。

コンピューティングデバイス１０５０は、いくつかあるコンポーネントの中で特に、プロセッサ１０５２と、メモリ１０６４と、ディスプレイ１０５４などの入出力デバイスと、通信インターフェイス１０６６と、トランシーバ１０６８とを含む。デバイス１０５０は、さらなるストレージを提供するために、マイクロドライブまたは他のデバイスなどの記憶装置が設けられてもよい。コンポーネント１０５０，１０５２，１０６４，１０５４，１０６６および１０６８の各々は、さまざまなバスを用いて相互接続され、これらのコンポーネントのうちのいくつかは、共通のマザーボード上にまたは適宜他の態様で搭載されてもよい。

プロセッサ１０５２は、メモリ１０６４に格納された命令を含む、コンピューティングデバイス１０５０内の命令を実行可能である。プロセッサは、別々の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザインターフェイスの制御、デバイス１０５０によって実行されるアプリケーション、およびデバイス１０５０による無線通信など、デバイス１０５０の他のコンポーネントの連携を提供してもよい。

プロセッサ１０５２は、ディスプレイ１０５４に結合された制御インターフェイス１０５８およびディスプレイインターフェイス１０５６を通してユーザと通信してもよい。ディスプレイ１０５４はたとえば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインターフェイス１０５６は、ディスプレイ１０５４を駆動してグラフィック情報および他の情報をユーザに提示するための適切な回路を含んでもよい。制御インターフェイス１０５８は、ユーザからコマンドを受信し、これらのコマンドを変換してプロセッサ１０５２に送信してもよい。加えて、デバイス１０５０と他のデバイスとの近接通信を可能にするために、外部インターフェイス１０６２がプロセッサ１０５２と通信するように設けられてもよい。外部インターフェイス１０６２は、たとえば、ある実現例では有線通信を提供してもよく、他の実現例では無線通信を提供してもよく、複数のインターフェイスが使用されてもよい。

メモリ１０６４は、コンピューティングデバイス１０５０内に情報を格納する。メモリ１０６４は、１つ以上のコンピュータ読取可能媒体、１つ以上の揮発性メモリユニット、または１つ以上の不揮発性メモリユニットのうちの１つ以上として実現されてもよい。また、拡張メモリ１０７４が設けられて、拡張インターフェイス１０７２を介してデバイス１０５０に接続されてもよく、拡張インターフェイス１０７２は、たとえばＳＩＭＭ（シングル・インライン・メモリ・モジュール）カードインターフェイスを含んでもよい。そのような拡張メモリ１０７４は、デバイス１０５０のための追加の記憶空間を提供してもよく、またはデバイス１０５０のためのアプリケーションもしくは他の情報を格納してもよい。具体的には、拡張メモリ１０７４は、上記のプロセスを実行または補完するための命令を含んでもよく、セキュアな情報も含んでもよい。このため、拡張メモリ１０７４はたとえば、デバイス１０５０のためのセキュリティモジュールとして設けられてもよく、デバイス１０５０のセキュアな使用を可能にする命令を用いてプログラムされてもよい。加えて、ハッキングできない態様でＳＩＭＭカードに識別情報を載せるなどして、セキュアなアプリケーションが追加情報とともにＳＩＭＭカードを介して提供されてもよい。

メモリは、以下に記載するように、たとえばフラッシュメモリおよび／またはＮＶＲＡＭメモリを含んでもよい。一実現例において、コンピュータプログラム製品が情報担体において有形に具体化される。コンピュータプログラム製品は、実行されると上述のような１つ以上の方法を実行する命令を含む。情報担体は、たとえばトランシーバ１０６８または外部インターフェイス１０６２を介して受信され得る、メモリ１０６４、拡張メモリ１０７４、またはプロセッサ１０５２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。

デバイス１０５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス１０６６を介して無線通信してもよい。通信インターフェイス１０６６は、とりわけ、ＧＳＭ（登録商標）音声電話、ＳＭＳ、ＥＭＳもしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳといった、さまざまなモードまたはプロトコル下で通信を提供してもよい。そのような通信は、たとえば無線周波数トランシーバ１０６８を介して行われてもよい。加えて、ブルートゥース、Ｗｉ－Ｆｉ（登録商標）、または他のそのようなトランシーバ（図示せず）を用いるなどして、短距離通信が行われてもよい。加えて、ＧＰＳ（全地球測位システム）受信機モジュール１０７０が、ナビゲーションおよび位置に関連する追加の無線データをデバイス１０５０に提供してもよく、当該データは、デバイス１０５０上で実行されるアプリケーションによって適宜使用されてもよい。

また、デバイス１０５０は、ユーザから発話の情報を受信してそれを使用可能なデジタル情報に変換し得る音声コーデック１０６０を用いて、可聴式に通信してもよい。音声コーデック１０６０は同様に、たとえばデバイス１０５０のハンドセットにおいて、スピーカを介するなどしてユーザのために可聴音を生成してもよい。そのような音は、音声電話からの音を含んでもよく、録音された音（たとえば、音声メッセージ、音楽ファイルなど）を含んでもよく、さらに、デバイス１０５０上で動作するアプリケーションによって生成された音を含んでもよい。

コンピューティングデバイス１０５０は、図に示すように多くの異なる形態で実現されてもよい。たとえば、携帯電話１０８０として実現されてもよい。また、スマートフォン１０８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。

本明細書に記載されているシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせで実現されてもよい。これらのさまざまな実現例は、プログラム可能なシステム上で実行可能および／または解釈可能である１つ以上のコンピュータプログラムでの実現例を含んでもよく、当該プログラム可能なシステムは、少なくとも１つのプログラム可能なプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとを含み、当該少なくとも１つのプログラム可能なプロセッサは、ストレージシステムとデータおよび命令を送受信するように結合された専用または汎用プロセッサであってもよい。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラム可能なプロセッサのための機械命令を含み、ハイレベルの手続き型プログラミング言語および／もしくはオブジェクト指向プログラミング言語で実現されてもよく、ならびに／またはアセンブリ言語／機械言語で実現されてもよい。本明細書で使用される「機械読取可能媒体」、「コンピュータ読取可能媒体」という用語は、機械命令を機械読取可能信号として受信する機械読取可能媒体を含む、機械命令および／またはデータをプログラム可能なプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味する。「機械読取可能信号」という用語は、機械命令および／またはデータをプログラム可能なプロセッサに提供するために使用される任意の信号を意味する。

ユーザとの対話を提供するために、本明細書に記載されているシステムおよび技術は、情報をユーザに表示するためのディスプレイデバイス（たとえば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供するために使用し得るキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実現され得る。ユーザとの対話を提供するために他の種類のデバイスも使用され得る。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信されてもよい。

本明細書に記載されているシステムおよび技術は、（たとえばデータサーバとして）バックエンドコンポーネントを含む、または、ミドルウェアコンポーネント（たとえばアプリケーションサーバ）を含む、または、フロントエンドコンポーネント（たとえば、本明細書に記載されているシステムおよび技術の実現例とユーザが対話できるようにするグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ）を含む、または、そのようなバックエンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステムで実現され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（たとえば通信ネットワーク）によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットを含む。

コンピューティングシステムはクライアントとサーバとを含み得る。クライアントとサーバは、通常は互いに離れており、通信ネットワークを通して対話するのが一般的である。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されクライアントとサーバとの関係を有するコンピュータプログラムによって発生する。

いくつかの実現例において、図１０に図示されたコンピューティングデバイスは、仮想現実とインターフェイス接続するセンサ（ＶＲヘッドセット／ＨＭＤデバイス１０９０）を含んでもよい。たとえば、コンピューティングデバイス１０５０または図１０に図示された他のコンピューティングデバイスに含まれる１つ以上のセンサは、ＶＲヘッドセット１０９０に入力を提供する、または一般に、ＶＲ空間に入力を提供することが可能である。センサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生体認証センサ、温度センサ、湿度センサ、および周囲光センサを含み得るが、これらに限定されない。コンピューティングデバイス１０５０は、センサを用いて、次にＶＲ空間への入力として使用可能なＶＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を求めることが可能である。たとえば、コンピューティングデバイス１０５０は、コントローラ、レーザーポインタ、キーボード、武器などの仮想オブジェクトとしてＶＲ空間に組み込まれてもよい。ＶＲ空間に組み込まれたときのユーザによるコンピューティングデバイス／仮想オブジェクトの位置決めによって、ユーザは、ＶＲ空間において特定の態様で仮想オブジェクトを見るためにコンピューティングデバイスを位置決めすることが可能になる。たとえば、仮想オブジェクトがレーザーポインタを表す場合、ユーザは、コンピューティングデバイスを、実際のレーザーポインタであるかのように操作することができる。ユーザはコンピューティングデバイスをたとえば左右に、上下に、円形に動かして、レーザーポインタを使用するのと同様の態様でデバイスを使用することができる。

いくつかの実現例において、コンピューティングデバイス１０５０に含まれるまたは接続される１つ以上の入力デバイスは、ＶＲ空間への入力として使用され得る。入力デバイスは、タッチスクリーン、キーボード、１つ以上のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイク、入力機能付きイヤホンもしくは小型イヤホン、ゲームコントローラ、または他の接続可能な入力デバイスを含み得るが、これらに限定されない。コンピューティングデバイスがＶＲ空間に組み込まれるとコンピューティングデバイス１０５０に含まれる入力デバイスと対話するユーザは、ＶＲ空間において特定のアクションを発生させることができる。

いくつかの実現例において、コンピューティングデバイス１０５０のタッチスクリーンは、ＶＲ空間においてタッチパッドとしてレンダリング可能である。ユーザは、コンピューティングデバイス１０５０のタッチスクリーンと対話することができる。対話は、たとえばＶＲヘッドセット１０９０において、ＶＲ空間におけるレンダリングされたタッチパッド上の動きとしてレンダリングされる。レンダリングされた動きは、ＶＲ空間において仮想オブジェクトを制御することができる。

いくつかの実現例において、コンピューティングデバイス１０５０に含まれる１つ以上の出力デバイスは、ＶＲ空間においてＶＲヘッドセット１０９０のユーザに出力および／またはフィードバックを提供可能である。出力およびフィードバックは、視覚、触覚、または音声によるものであり得る。出力および／またはフィードバックは、振動、１つ以上のライトまたはストロボをオンオフすることまたは点滅および／または明滅させること、アラームを鳴らすこと、チャイムを鳴らすこと、歌を演奏すること、ならびに音声ファイルを演奏することを含み得るが、これらに限定されない。出力デバイスは、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを含み得るが、これらに限定されない。

いくつかの実現例において、コンピューティングデバイス１０５０は、コンピュータで生成された３Ｄ環境における別のオブジェクトとして現れてもよい。ユーザによるコンピューティングデバイス１０５０との対話（たとえば、回転、振動、タッチスクリーンのタッチ、タッチスクリーンを横切る指のスワイプ）は、ＶＲ空間におけるオブジェクトとの対話と解釈され得る。ＶＲ空間におけるレーザーポインタの例では、コンピューティングデバイス１０５０は、コンピュータで生成された３Ｄ環境において仮想レーザーポインタとして現れる。ユーザがコンピューティングデバイス１０５０を操作すると、ＶＲ空間内のユーザは、レーザーポインタの動きを見る。ユーザは、ＶＲ環境におけるコンピューティングデバイス１０５０との対話からのフィードバックを、コンピューティングデバイス１０５０上またはＶＲヘッドセット１０９０上で受信する。

いくつかの実現例において、コンピューティングデバイス１０５０はタッチスクリーンを含んでもよい。たとえば、ユーザは、タッチスクリーン上で起こることをＶＲ空間内で起こることと模倣することができる特定の態様で、タッチスクリーンと対話することができる。たとえば、ユーザは、つまむタイプの動作を用いて、タッチスクリーン上に表示されているコンテンツをズームさせることができる。このタッチスクリーン上のつまむタイプの動作は、ＶＲ空間において提供される情報をズームさせることができる。別の例において、コンピューティングデバイスは、コンピュータで生成された３Ｄ環境における仮想ブックとしてレンダリングされてもよい。ＶＲ空間において、このブックのページがＶＲ空間内で表示され得て、タッチスクリーンを横切るユーザの指のスワイプは、仮想ブックのページを裏返す／めくることと解釈され得る。各ページを裏返す／めくると、ページの内容が変わるのが見え、それに加えて、本のページを裏返す音などの音声フィードバックがユーザに提供され得る。

いくつかの実現例において、コンピューティングデバイスに加えて１つ以上の入力デバイス（たとえばマウス、キーボード）が、コンピュータで生成された３Ｄ環境においてレンダリング可能である。レンダリングされた入力デバイス（たとえば、レンダリングされたマウス、レンダリングされたキーボード）は、ＶＲ空間内のオブジェクトを制御するために、ＶＲ空間内でレンダリングされたものとして使用可能である。

コンピューティングデバイス１０００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータを含むがこれらに限定されない、さまざまな形態のデジタルコンピュータおよびデバイスを表すことが意図されている。コンピューティングデバイス１０５０は、携帯情報端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスのような、さまざまな形態のモバイルデバイスを表すことが意図されている。ここに示された構成要素、それらの接続および関係、ならびにそれらの機能は、例示的であることを意図しているに過ぎず、本文書に記載のおよび／または請求項に記載の本発明の実現例を限定することを意図したものではない。

多くの実施形態を説明してきた。しかしながら、明細書の精神および範囲から逸脱することなくさまざまな変更がなされ得ることが理解されるであろう。

加えて、図に示された論理フローは、望ましい結果を得るために、示された特定の順序、または連続した順序を必要としない。加えて、説明したフローから他のステップを設けてもよく、ステップを削除してもよく、説明したシステムに対して他のコンポーネントを追加または削除してもよい。したがって、他の実施形態は、以下の請求項の範囲内にある。

記載されている実現例の特定の特徴について、本明細書に記載されているように説明してきたが、多くの変形、置換、変更および等価物が当業者に想起されるであろう。したがって、添付の請求項は、実現例の範囲内に入るすべてのこのような変形および変更を包含するよう意図されているということが理解されるべきである。それらは限定としてではなく単に一例として提示されており、形態および詳細のさまざまな変更がなされてもよいということが理解されるべきである。本明細書に記載されている装置および／または方法のいずれの部分も、相互排他的な組み合わせを除いて、いかなる組み合わせで組み合わされてもよい。本明細書に記載されている実現例は、記載されているさまざまな実現例の機能、構成要素および／または特徴のさまざまな組み合わせおよび／または下位組み合わせを含み得る。

以下にいくつかの例を記載する。
例１：コンピュータによって実現される方法であって、ヘッドマウントディスプレイ（ＨＭＤ）デバイスのディスプレイデバイスが、仮想ユーザインターフェイス（ＵＩ）を表示することを備え、上記仮想ＵＩは複数のＵＩ要素を含み、上記方法はさらに、上記仮想ＵＩに向けられたユーザ視線を検出することと、検出された上記ユーザ視線に対応する視線軌跡を検出することと、検出された上記視線軌跡を、上記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、上記１つのＵＩ要素をターゲットＵＩ要素として識別することと、上記視線軌跡と上記ターゲットＵＩ要素に関連付けられた上記表示軌跡との間のオフセットを求めることとを備え、上記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、上記方法はさらに、求められた上記オフセットに基づいてユーザ視線対話モードを再較正することを備える、方法。

例２：上記オフセットを求めることは、上記並進オフセットを求めることを含み、上記並進オフセットは、第１の方向における第１の並進オフセットと、第２の方向における第２の並進オフセットとを含み、上記オフセットを求めることはさらに、上記スケーリングオフセットを求めることを含み、上記スケーリングオフセットは、上記第１の方向における圧縮または拡張と、上記第２の方向における圧縮または拡張とを含む、請求項１に記載の方法。

例３：上記ユーザ視線対話モードを再較正することは、検出された上記ユーザ視線を上記仮想ＵＩおよび上記複数のＵＩ要素を用いて再設定して、上記第１および第２の並進オフセットならびに上記第１および第２のスケーリングオフセットを補償することを含む、請求項２に記載の方法。

例４：上記仮想ＵＩは、複数の動的ＵＩ要素を含む動的ＵＩであり、上記複数の動的ＵＩ要素の各々は、それぞれの上記動的ＵＩ要素の移動パターンを規定するそれぞれの表示軌跡を有する、請求項１に記載の方法。

例５：上記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の固有の移動パターンを規定する固有の表示軌跡を有する、請求項４に記載の方法。

例６：上記表示軌跡は、直線部分、円形部分、または曲線部分を含む、請求項５に記載の方法。

例７：上記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の擬似ランダムな移動パターンを規定する擬似ランダムな表示軌跡を有する、請求項５に記載の方法。

例８：上記ユーザ視線を検出すること、および上記視線軌跡を検出することは、上記ＨＭＤの眼球追跡システムがユーザ視線を追跡することと、上記仮想ＵＩおよび上記複数のＵＩ要素に対する追跡された上記ユーザ視線に基づいて、上記視線軌跡を検出することとを含む、請求項１～７の少なくとも１項に記載の方法。

例９：上記ユーザ視線を追跡することは、上記ＨＭＤの１つ以上の光源が、上記ユーザの目に向かって光を発することと、上記ＨＭＤの１つ以上の光センサが、上記１つ以上の光源から発せられた上記光の、上記ユーザの目による反射を検出することと、検出された上記反射に基づいて上記ユーザ視線を追跡することとを含む、請求項８に記載の方法。

例１０：電子デバイスであって、ディスプレイと、検知システムと、少なくとも１つのプロセッサと、命令を格納したメモリとを含み、上記命令は、上記少なくとも１つのプロセッサによって実行されると、上記電子デバイスに、上記ディスプレイによって仮想ユーザインターフェイス（ＵＩ）を表示することを行わせ、上記仮想ＵＩは複数のＵＩ要素を含み、さらに、上記仮想ＵＩに向けられたユーザ視線を検出することと、検出された上記ユーザ視線に対応する視線軌跡を検出することと、検出された上記視線軌跡を、上記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、上記１つのＵＩ要素をターゲットＵＩ要素として識別することと、上記視線軌跡と上記ターゲットＵＩ要素に関連付けられた上記表示軌跡との間のオフセットを求めることとを行わせ、上記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、さらに、求められた上記オフセットに基づいてユーザ視線対話モードを再較正することを行わせる、電子デバイス。

例１１：上記オフセットを求める際に、上記命令は上記少なくとも１つのプロセッサに、上記並進オフセットを求めることを行わせ、上記並進オフセットは、第１の方向における第１の並進オフセットと、第２の方向における第２の並進オフセットとを含み、さらに、上記スケーリングオフセットを求めることを行わせ、上記スケーリングオフセットは、上記第１の方向における圧縮または拡張と、上記第２の方向における圧縮または拡張とを含む、請求項１０に記載のデバイス。

例１２：上記ユーザ視線対話モードを再較正する際に、上記命令は上記少なくとも１つのプロセッサに、検出された上記ユーザ視線を上記仮想ＵＩおよび上記複数のＵＩ要素を用いて再設定して、上記第１および第２の並進オフセットならびに上記第１および第２のスケーリングオフセットを補償することを行わせる、請求項１１に記載のデバイス。

例１３：上記仮想ＵＩは、複数の動的ＵＩ要素を含む動的ＵＩであり、上記複数の動的ＵＩ要素の各動的ＵＩ要素は、それぞれの上記動的ＵＩ要素の固有の移動パターンを規定するそれぞれの表示軌跡を有する、請求項１２に記載のデバイス。

例１４：上記表示軌跡は、直線部分、円形部分、または曲線部分を含む、請求項１３に記載の方法。

例１５：上記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の擬似ランダムな移動パターンを規定する擬似ランダムな表示軌跡を有する、請求項１３に記載のデバイス。

例１６：上記ユーザ視線を検出し、上記視線軌跡を検出する際に、上記命令は上記少なくとも１つのプロセッサに、上記電子デバイスの眼球追跡システムによってユーザ視線を追跡することを行わせ、上記追跡することは、１つ以上の光源が、上記ユーザの目に向かって光を発することと、１つ以上の光センサが、上記１つ以上の光源から発せられた上記光の、上記ユーザの目による反射を検出することと、検出された上記反射に基づいて上記ユーザ視線を追跡することとを含む、請求項１０～１５の少なくとも１項に記載のデバイス。

例１７：上記電子デバイスはヘッドマウントディスプレイ（ＨＭＤ）デバイスであり、上記視線軌跡と上記ターゲットＵＩ要素に関連付けられた上記表示軌跡との間の上記オフセットは、上記ＨＭＤデバイスの最初の較正の後の上記ユーザの目に対する上記ＨＭＤデバイスの動きに起因する、請求項１０～１６の少なくとも１項に記載のデバイス。

例１８：命令を格納した非一時的なコンピュータ読取可能媒体であって、上記命令は、コンピューティングデバイスによって実行されると、上記コンピューティングデバイスに、上記コンピューティングデバイスのディスプレイデバイスによって仮想ユーザインターフェイス（ＵＩ）を表示することを行わせ、上記仮想ＵＩは複数のＵＩ要素を含み、さらに、上記仮想ＵＩに向けられたユーザ視線を検出することと、検出された上記ユーザ視線に対応する視線軌跡を検出することと、検出された上記視線軌跡を、上記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、上記１つのＵＩ要素をターゲットＵＩ要素として識別することと、上記視線軌跡と上記ターゲットＵＩ要素に関連付けられた上記表示軌跡との間のオフセットを求めることとを行わせ、上記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、さらに、求められた上記オフセットに基づいてユーザ視線対話モードを再較正することを行わせる、非一時的なコンピュータ読取可能媒体。

Claims (18)

1. コンピュータによって実現される方法であって、
   ヘッドマウントディスプレイ（ＨＭＤ）デバイスのディスプレイデバイスに表示される仮想ＵＩに向けられたユーザ視線を検出することを備え、前記仮想ＵＩは複数の仮想ＵＩ要素を含み、前記方法はさらに、
   検出された前記ユーザ視線に対応する視線軌跡を検出することと、
   検出された前記視線軌跡を、前記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、
   前記１つのＵＩ要素をターゲットＵＩ要素として識別することと、
   前記視線軌跡と前記ターゲットＵＩ要素に関連付けられた前記表示軌跡との間のオフセットを求めることとを備え、前記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、前記方法はさらに、
   求められた前記オフセットに基づいてユーザ視線対話モードを再較正することを備える、方法。
2. 前記オフセットを求めることは、
   前記並進オフセットを求めることを含み、前記並進オフセットは、
   第１の方向における第１の並進オフセットと、
   第２の方向における第２の並進オフセットとを含み、前記オフセットを求めることはさらに、
   前記スケーリングオフセットを求めることを含み、前記スケーリングオフセットは、
   前記第１の方向における圧縮または拡張と、
   前記第２の方向における圧縮または拡張とを含む、請求項１に記載の方法。
3. 前記ユーザ視線対話モードを再較正することは、検出された前記ユーザ視線を前記仮想ＵＩおよび前記複数のＵＩ要素を用いて再設定して、前記第１および第２の並進オフセットならびに前記第１および第２のスケーリングオフセットを補償することを含む、請求項２に記載の方法。
4. 前記仮想ＵＩは、複数の動的ＵＩ要素を含む動的ＵＩであり、前記複数の動的ＵＩ要素の各々は、それぞれの前記動的ＵＩ要素の移動パターンを規定するそれぞれの表示軌跡を有する、請求項１に記載の方法。
5. 前記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の固有の移動パターンを規定する固有の表示軌跡を有する、請求項４に記載の方法。
6. 前記表示軌跡は、直線部分、円形部分、または曲線部分を含む、請求項５に記載の方法。
7. 前記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の擬似ランダムな移動パターンを規定する擬似ランダムな表示軌跡を有する、請求項５に記載の方法。
8. 前記ユーザ視線を検出すること、および前記視線軌跡を検出することは、
   前記ＨＭＤの眼球追跡システムがユーザ視線を追跡することと、
   前記仮想ＵＩおよび前記複数のＵＩ要素に対する追跡された前記ユーザ視線に基づいて、前記視線軌跡を検出することとを含む、請求項１～７の少なくとも１項に記載の方法。
9. 前記ユーザ視線を追跡することは、
   前記ＨＭＤの１つ以上の光源が、前記ユーザの目に向かって光を発することと、
   前記ＨＭＤの１つ以上の光センサが、前記１つ以上の光源から発せられた前記光の、前記ユーザの目による反射を検出することと、
   検出された前記反射に基づいて前記ユーザ視線を追跡することとを含む、請求項８に記載の方法。
10. 電子デバイスであって、
    ディスプレイと、
    検知システムと、
    少なくとも１つのプロセッサと、
    命令を格納したメモリとを含み、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記電子デバイスに、
    前記ディスプレイによって仮想ユーザインターフェイス（ＵＩ）を表示することを行わせ、前記仮想ＵＩは複数のＵＩ要素を含み、さらに、
    前記仮想ＵＩに向けられたユーザ視線を検出することと、
    検出された前記ユーザ視線に対応する視線軌跡を検出することと、
    検出された前記視線軌跡を、前記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、
    前記１つのＵＩ要素をターゲットＵＩ要素として識別することと、
    前記視線軌跡と前記ターゲットＵＩ要素に関連付けられた前記表示軌跡との間のオフセットを求めることとを行わせ、前記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、さらに、
    求められた前記オフセットに基づいてユーザ視線対話モードを再較正することを行わせる、電子デバイス。
11. 前記オフセットを求める際に、前記命令は前記少なくとも１つのプロセッサに、
    前記並進オフセットを求めることを行わせ、前記並進オフセットは、
    第１の方向における第１の並進オフセットと、
    第２の方向における第２の並進オフセットとを含み、さらに、
    前記スケーリングオフセットを求めることを行わせ、前記スケーリングオフセットは、
    前記第１の方向における圧縮または拡張と、
    前記第２の方向における圧縮または拡張とを含む、請求項１０に記載のデバイス。
12. 前記ユーザ視線対話モードを再較正する際に、前記命令は前記少なくとも１つのプロセッサに、検出された前記ユーザ視線を前記仮想ＵＩおよび前記複数のＵＩ要素を用いて再設定して、前記第１および第２の並進オフセットならびに前記第１および第２のスケーリングオフセットを補償することを行わせる、請求項１１に記載のデバイス。
13. 前記仮想ＵＩは、複数の動的ＵＩ要素を含む動的ＵＩであり、前記複数の動的ＵＩ要素の各動的ＵＩ要素は、それぞれの前記動的ＵＩ要素の固有の移動パターンを規定するそれぞれの表示軌跡を有する、請求項１２に記載のデバイス。
14. 前記表示軌跡は、直線部分、円形部分、または曲線部分を含む、請求項１３に記載の方法。
15. 前記複数の動的ＵＩ要素の各動的ＵＩ要素は、その動的ＵＩ要素の擬似ランダムな移動パターンを規定する擬似ランダムな表示軌跡を有する、請求項１３に記載のデバイス。
16. 前記ユーザ視線を検出し、前記視線軌跡を検出する際に、前記命令は前記少なくとも１つのプロセッサに、
    前記電子デバイスの眼球追跡システムによってユーザ視線を追跡することを行わせ、前記追跡することは、
    １つ以上の光源が、前記ユーザの目に向かって光を発することと、
    １つ以上の光センサが、前記１つ以上の光源から発せられた前記光の、前記ユーザの目による反射を検出することと、
    検出された前記反射に基づいて前記ユーザ視線を追跡することとを含む、請求項１０～１５の少なくとも１項に記載のデバイス。
17. 前記電子デバイスはヘッドマウントディスプレイ（ＨＭＤ）デバイスであり、前記視線軌跡と前記ターゲットＵＩ要素に関連付けられた前記表示軌跡との間の前記オフセットは、前記ＨＭＤデバイスの最初の較正の後の前記ユーザの目に対する前記ＨＭＤデバイスの動きに起因する、請求項１０～１６の少なくとも１項に記載のデバイス。
18. 命令を格納した非一時的なコンピュータ読取可能媒体であって、前記命令は、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、
    前記コンピューティングデバイスのディスプレイデバイスによって仮想ユーザインターフェイス（ＵＩ）を表示することを行わせ、前記仮想ＵＩは複数のＵＩ要素を含み、さらに、
    前記仮想ＵＩに向けられたユーザ視線を検出することと、
    検出された前記ユーザ視線に対応する視線軌跡を検出することと、
    検出された前記視線軌跡を、前記複数のＵＩ要素のうちの１つのＵＩ要素に関連付けられた表示軌跡とマッチングさせることと、
    前記１つのＵＩ要素をターゲットＵＩ要素として識別することと、
    前記視線軌跡と前記ターゲットＵＩ要素に関連付けられた前記表示軌跡との間のオフセットを求めることとを行わせ、前記オフセットは、並進オフセット、スケーリングオフセット、または回転オフセットのうちの少なくとも１つを含み、さらに、
    求められた前記オフセットに基づいてユーザ視線対話モードを再較正することを行わせる、非一時的なコンピュータ読取可能媒体。

Images