JP6994515B2 - 後方散乱レーザスペックルパターンのオプティカルフローの追跡 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１７年４月２４日に出願された米国仮特許出願第６２／４８９，３３９号に基づく。
本発明は、拡張現実ヘッドギヤに関する。

近年、ユーザをコンピュータ生成仮想世界に没入させる、仮想現実デバイスが、導入されている。ある仮想現実デバイスは、ユーザの眼に近接近して設置された一対のディスプレイと、その目的が、ユーザが、ディスプレイの近接近にもかかわらず、ディスプレイ上に表示される画像上に合焦することを可能にすることである、一対のディスプレイとユーザの眼との間に介在される、補正光学系とを含む。そのような仮想現実デバイスのための主要な用途は、ゲーム用であるが、科学データ可視化等の他の用途もまた、検討される。

仮想現実に関連するが、より高度な開発中の技術は、拡張現実である。拡張現実ウェアラブル（すなわち、眼鏡形状因子を伴うヘッドギヤ）は、ユーザが、実世界と、実世界上に重畳される、仮想コンピュータ生成コンテンツとを同時に視認することを可能にするであろう。仮想コンテンツが現実であるという錯覚を改良するために、および／または仮想コンテンツおよび実世界をよりシームレスに統合するために、仮想コンテンツは、ユーザがヘッドギヤとともにその頭部を回転させる、またはその環境内を動き回るにもかかわらず、ユーザの実環境に固定される慣性基準フレーム内に存在するように現れることが望ましいであろう。したがって、例えば、仮想コンテンツが、実世界机の角上に静置する仮想本を含むことになる場合、ユーザが、本の画像を机の角上に投影させる、拡張現実ヘッドギヤとともに、その頭部を回転させても、本は、実世界内に、例えば、机の角上に固定されたままであるべきである。これを遂行するために、ユーザの頭部上に担持されるヘッドギヤの移動は、慎重に追跡され、拡張現実ヘッドギヤによって生成されている画像は、ヘッドギヤの移動の影響を相殺するために、視野内で急速に偏移される必要があるであろう。オブジェクトの配向を追跡する１つの方法は、１つ以上のジャイロスコープを使用することである。しかしながら、ジャイロスコープは、本質的に、ドリフトに悩まされ、したがって、ジャイロスコープ出力に基づいて、仮想オブジェクトを実世界内に固定する試みは、それらが実世界に対して固定位置を維持するように意図されるとき、実世界に対してゆっくりとドリフトする仮想オブジェクトにつながるであろう。

本明細書に開示されるある実施形態による、拡張現実ヘッドギヤは、少なくとも１つのレーザと、少なくとも１つの光学センサアレイとを装備する。各レーザは、部屋表面（例えば、壁、天井、または床）から部分的に反射され、関連付けられた光学センサアレイによって検出されたスペックルパターンを作成する、ビームを放出する。光学センサアレイは、例えば、デジタルカメラ内で使用され得るタイプのものであることができるが、しかしながら、本願では、２Ｄ光学センサアレイは、オブジェクトの集束された画像を捕捉するために使用される必要はなく、むしろ、それらは、部屋表面から反射されたレーザによって生成されたパターン化されたスペックルを捕捉し得る。センサアレイを横断したスペックルパターンの移動（ある場合には、適切に、「オプティカルフロー」と称される）が、部屋に固定される慣性基準フレーム内の拡張現実ヘッドギヤの移動を計算するために使用される。拡張現実の接眼レンズを使用して表示される画像は、部屋に固定される慣性基準フレーム内のその位置または速度を維持するために、計算された移動に基づいて偏移される。

本開示の一側面は、拡張現実ヘッドギヤであって、少なくとも１つの画像毎変調光源と、ユーザが実世界を見ることを可能にしながら、画像毎変調光をユーザの眼の中に結合するように構成される、少なくとも１つの透明接眼レンズと、コヒーレント光を少なくとも１つの環境表面上に投影するように、第１の方向に拡張現実ヘッドギヤから外向きに照準される、少なくとも第１のコヒーレント光源と、少なくとも１つの環境表面によって回折され、そこから反射される、光を受け取るように構成される、少なくとも第１のセンサアレイであって、光は、第１のスペックルパターンを第１のセンサアレイ上に形成する、第１のセンサアレイと、電子回路であって、該電子回路は、画像毎変調光源および第１のセンサアレイに結合され、該電子回路は、画像毎変調光源を動作させ、拡張現実ヘッドギヤを装着しているユーザによって占有される物理的空間に固定される慣性基準フレーム内に定義される座標のセットに仮想オブジェクトを表示し、第１のスペックルパターンの第１のコピーを第１の時間に受け取り、第１のスペックルパターンの第２のコピーを第２の時間に受け取り、第１のスペックルパターンの第１のコピーに対する第１のスペックルパターンの第２のコピーにおける偏移を決定し、第１のスペックルパターンの第１のコピーに対する第１のスペックルパターンの第２のコピーにおける偏移に基づいて、ユーザによって占有される物理的空間内の拡張現実ヘッドギヤの運動を決定し、拡張現実ヘッドギヤの運動に基づいて、画像毎変調光を調節し、拡張現実ヘッドギヤの運動を補償し、仮想オブジェクトを慣性基準フレーム内に定義される座標のセットに維持するように構成される。加えて、少なくとも１つの環境表面から反射された光を受け取るように構成される、第２のセンサアレイが、提供されてもよい。加えて、拡張現実はまた、コヒーレント光を少なくとも１つの環境表面上に投影するように、第２の方向に拡張現実ヘッドギヤから外向きに照準される、第２のコヒーレント光源を含んでもよい。加えて、拡張現実ヘッドギヤはまた、少なくとも１つの環境表面によって反射された第２のコヒーレント光源からの光が第１のセンサアレイに到達することを実質的に排除するように構成される、少なくとも１つの瞳絞りを含んでもよい。加えて、拡張現実ヘッドギヤはさらに、第１のコヒーレント光源および第２のコヒーレント光源の相互排他的放出立体角範囲を確立するように構成される、少なくとも１つの光学コンポーネントを含んでもよい。加えて、第１のセンサアレイは、第１の視野を有するように搭載されてもよく、第２のセンサアレイは、第２の視野を有するように搭載されてもよく、第１の視野は、第２の視野と部分的に重複してもよい。

本開示の一側面は、３つの独立軸のセットに沿った構造の平行移動運動および３つの独立軸のセットのうちの１つを中心とする構造の回転を感知および区別する方法であって、光を所定の立体角範囲にわたって放出し、構造に結合される、少なくとも１つのコヒーレント光源を提供するステップと、構造に結合される第１の２Ｄ光学センサアレイを提供するステップであって、第１の２Ｄ光学センサアレイは、第１の方向に向いている第１の法線ベクトルを有する、ステップと、構造に結合される、第２の２Ｄ光学センサアレイを提供するステップであって、第２の２Ｄ光学センサアレイは、第２の方向に向いている第２の法線ベクトルを有し、第１の法線ベクトルおよび第２の法線ベクトルは、平面を画定し、第１の法線ベクトルは、平面において第２の法線ベクトルに対して角度付けられる、ステップと、少なくとも１つのコヒーレント照明源を使用して、非鏡面環境表面を照明するステップであって、それによって、第１のスペックルパターンが、第１の２Ｄ光学センサアレイにおいて作られ、第２のスペックルパターンが、２Ｄ光学センサアレイにおいて作られる、ステップと、第１の２Ｄ光学センサアレイ上の第１のスペックルパターンの第１のオプティカルフローを感知し、第２の２Ｄ光学センサアレイ上の第２のスペックルパターンの第２のオプティカルフローを感知することによって、第１の法線ベクトルと第２の法線ベクトルとの間の平面上に非ゼロ投影を含む、３つの独立軸のセットの第１のものに沿った構造の平行移動を感知するステップであって、第１のオプティカルフローおよび第２のオプティカルフローは、第１の法線ベクトルと第２の法線ベクトルとの間の差異ベクトル上に反対方向投影を有する、ステップと、第１の２Ｄ光学センサアレイ上の第１のスペックルパターンの第３のオプティカルフローを感知し、第２の２Ｄ光学センサアレイ上の第２のスペックルパターンの第４のオプティカルフローを感知することによって、第１の法線ベクトルと第２の法線ベクトルとの間の角度範囲外の平面上に非ゼロ投影を含む、３つの独立軸のセットの第２のものに沿った構造の平行移動を感知するステップであって、第３のオプティカルフローおよび第４のオプティカルフローは、第１の法線ベクトルと第２の法線ベクトルとの間の差異ベクトル上に共通方向投影を有する、ステップと、第１の２Ｄ光学センサアレイ上の第１のスペックルパターンおよび第２の２Ｄ光学センサアレイ上の第２のスペックルパターンの同一感知垂直方向オプティカルフローを感知することによって、平面と垂直な非ゼロ成分を含む、３つの独立軸のセットの第３のものに沿った構造の平行移動を感知するステップと、第１の２Ｄ光学センサアレイ上の第１のスペックルパターンおよび第２の２Ｄ光学センサアレイ上の第２のスペックルパターンの反対垂直方向オプティカルフローを感知することによって、３つの独立軸の第１のものを中心とする構造の回転を感知するステップとを含む。

本開示の一側面は、３つの独立軸のセットに沿った構造の平行移動運動および３つの独立軸のセットを中心とする回転を感知および区別する方法を含み、該方法は、構造に結合される、第１の２Ｄ光学センサアレイを提供するステップであって、第１の２Ｄ光学センサアレイは、第１の方向に向けられている第１の面法線および第１の視野を有する、ステップと、構造に結合される、第２の２Ｄ光学センサアレイを提供するステップであって、第２の２Ｄ光学センサアレイは、第２の方向に向けられている第２の面法線および第２の視野を有する、ステップと、構造に結合される、第３の２Ｄ光学センサアレイを提供するステップであって、第３の２Ｄ光学センサアレイは、第３の方向に向けられている第３の面法線および第３の視野を有し、第１の方向、第２の方向、および第３の方向は、独立している、ステップと、光を第１の視野、第２の視野、および第３の視野の中に投影する、少なくとも１つのコヒーレント光源を提供するステップであって、表面を囲繞する非鏡面によって回折され、そこから反射された光は、第１のスペックルパターンを第１の２Ｄ光学センサアレイ上に、第２のスペックルパターンを第２の２Ｄ光学センサアレイ上に、第３のスペックルパターンを第３の２Ｄ光学センサアレイ上に形成する、ステップと、第２の２Ｄ光学センサアレイを使用することによって、第１の方向を中心とする回転を感知し、第１の方向に対する方位角である方向において第２のスペックルパターンの平行移動を感知し、第３の２Ｄ光学センサアレイを使用して、第１の方向に対する方位角である方向において第３のスペックルパターンの平行移動を感知するステップと、第２の２Ｄ光学センサアレイを使用することによって、第１の方向における平行移動を感知し、第１の方向における第２のスペックルパターンの平行移動を感知し、第３の２Ｄ光学センサアレイを使用して、第３の方向における第３のスペックルパターンの平行移動を感知するステップと、第１の２Ｄ光学センサアレイを使用することによって、第２の方向を中心とする回転を感知し、第２の方向に対する方位角である方向において第１のスペックルパターンの平行移動を感知し、第３の２Ｄ光学センサアレイを使用して、第２の方向に対する方位角である方向において第３のスペックルパターンの平行移動を感知するステップと、第１の２Ｄ光学センサアレイを使用することによって、第２の方向における平行移動を感知し、第２の方向における第１のスペックルパターンの平行移動を感知し、第３の２Ｄ光学センサアレイを使用して、第２の方向における第３のスペックルパターンの平行移動を感知するステップと、第２の２Ｄ光学センサアレイを使用することによって、第３の方向を中心とする回転を感知し、第３の方向に対する方位角である方向において第２のスペックルパターンの平行移動を感知し、第１の２Ｄ光学センサアレイを使用して、第３の方向に対する方位角である方向において第１のスペックルパターンの平行移動を感知するステップと、第１の２Ｄ光学センサアレイを使用することによって、第３の方向における平行移動を感知し、第３の方向における第１のスペックルパターンの平行移動を感知し、第２の２Ｄ光学センサアレイを使用して、第３の方向における第２のスペックルパターンの平行移動を感知するステップとを含む。
本発明は、例えば、以下を提供する。
（項目１）
拡張現実ヘッドギヤであって、
少なくとも１つの画像毎変調光源と、
少なくとも１つの透明接眼レンズであって、前記少なくとも１つの透明接眼レンズは、ユーザが実世界を見ることを可能にしながら、画像毎変調光をユーザの眼の中に結合するように構成される、少なくとも１つの透明接眼レンズと、
少なくとも第１のコヒーレント光源であって、前記少なくとも第１のコヒーレント光源は、コヒーレント光を少なくとも１つの環境表面上に投影するように、第１の方向に前記拡張現実ヘッドギヤから外向きに照準される、少なくとも第１のコヒーレント光源と、
前記少なくとも１つの環境表面から反射された光を受け取るように構成される少なくとも第１のセンサアレイであって、前記光は、第１のスペックルパターンを前記第１のセンサアレイ上に形成する、第１のセンサアレイと、
前記画像毎変調光源および前記第１のセンサアレイに結合された電子回路であって、前記電子回路は、
前記画像毎変調光源を動作させ、前記拡張現実ヘッドギヤを装着しているユーザによって占有される物理的空間に固定される慣性基準フレーム内に定義される座標のセットに仮想オブジェクトを表示することと、
前記第１のスペックルパターンの第１のコピーを第１の時間に受け取ることと、
前記第１のスペックルパターンの第２のコピーを第２の時間に受け取ることと、
前記第１のスペックルパターンの第１のコピーに対する前記第１のスペックルパターンの第２のコピーにおける偏移を決定することと、
前記第１のスペックルパターンの第１のコピーに対する前記第１のスペックルパターンの第２のコピーにおける偏移に基づいて、ユーザによって占有される前記物理的空間内の前記拡張現実ヘッドギヤの運動を決定することと
を行うように構成される、電子回路と
を備える、拡張現実ヘッドギヤ。
（項目２）
前記電子回路はさらに、
前記拡張現実ヘッドギヤの運動に基づいて、前記画像毎変調光を調節し、前記拡張現実ヘッドギヤの運動を補償し、前記仮想オブジェクトを前記慣性基準フレーム内に定義される前記座標のセットに維持すること
を行うように構成される、項目１に記載の拡張現実ヘッドギヤ。
（項目３）
前記少なくとも１つの環境表面からの光を受け取るように構成される第２のセンサアレイをさらに備える、項目１に記載の拡張現実ヘッドギヤ。
（項目４）
コヒーレント光を前記少なくとも１つの環境表面上に投影するように、第２の方向に前記拡張現実ヘッドギヤから外向きに照準される第２のコヒーレント光源をさらに備える、項目３に記載の拡張現実ヘッドギヤ。
（項目５）
前記少なくとも１つの環境表面によって反射された前記第２のコヒーレント光源からの光が前記第１のセンサアレイに到達することを実質的に排除するように構成される少なくとも１つの開口絞りをさらに備える、項目４に記載の拡張現実ヘッドギヤ。
（項目６）
前記第１のコヒーレント光源および前記第２のコヒーレント光源の相互排他的放出立体角範囲を確立するように構成される少なくとも１つの光学コンポーネントをさらに備える、項目４に記載の拡張現実ヘッドギヤ。
（項目７）
３つの独立軸のセットに沿った構造の平行移動運動および前記３つの独立軸のセットのうちの１つを中心とする前記構造の回転を感知および区別する方法であって、前記方法は、
光を所定の立体角範囲にわたって放出し、前記構造に結合される、少なくとも１つのコヒーレント光源を提供することと、
前記構造に結合される第１の２Ｄ光学センサアレイを提供することであって、前記第１の２Ｄ光学センサアレイは、第１の方向に向いている第１の法線ベクトルを有する、ことと、
前記構造に結合される第２の２Ｄ光学センサアレイを提供することであって、前記第２の２Ｄ光学センサアレイは、第２の方向に向いている第２の法線ベクトルを有し、前記第１の法線ベクトルおよび前記第２の法線ベクトルは、平面を画定し、前記第１の法線ベクトルは、前記平面において前記第２の法線ベクトルに対して角度付けられる、ことと、
少なくとも１つのコヒーレント照明源を使用して、非鏡面環境表面を照明することであって、それによって、第１のスペックルパターンが、前記第１の２Ｄ光学センサアレイにおいて作られ、第２のスペックルパターンが、前記２Ｄ光学センサアレイにおいて作られる、ことと、
前記第１の２Ｄ光学センサアレイ上の前記第１のスペックルパターンの第１のオプティカルフローを感知し、前記第２の２Ｄ光学センサアレイ上の第２のスペックルパターンの第２のオプティカルフローを感知することによって、前記第１の法線ベクトルと前記第２の法線ベクトルとの間の平面上に非ゼロ投影を含む前記３つの独立軸のセットの第１のものに沿った前記構造の平行移動を感知することであって、前記第１のオプティカルフローおよび前記第２のオプティカルフローは、前記第１の法線ベクトルと前記第２の法線ベクトルとの間の差異ベクトル上に反対方向投影を有する、ことと、
前記第１の２Ｄ光学センサアレイ上の前記第１のスペックルパターンの第３のオプティカルフローを感知し、前記第２の２Ｄ光学センサアレイ上の前記第２のスペックルパターンの第４のオプティカルフローを感知することによって、前記第１の法線ベクトルと前記第２の法線ベクトルとの間の角度範囲外の平面上に非ゼロ投影を含む前記３つの独立軸のセットの第２のものに沿った前記構造の平行移動を感知することであって、前記第３のオプティカルフローおよび前記第４のオプティカルフローは、前記第１の法線ベクトルと前記第２の法線ベクトルとの間の差異ベクトル上に共通方向投影を有する、ことと、
前記第１の２Ｄ光学センサアレイ上の前記第１のスペックルパターンおよび前記第２の２Ｄ光学センサアレイ上の前記第２のスペックルパターンの同一感知垂直方向オプティカルフローを感知することによって、前記平面と垂直な非ゼロ成分を含む前記３つの独立軸のセットの第３のものに沿った前記構造の平行移動を感知することと、
前記第１の２Ｄ光学センサアレイ上の前記第１のスペックルパターンおよび前記第２の２Ｄ光学センサアレイ上の前記第２のスペックルパターンの反対垂直方向オプティカルフローを感知することによって、前記３つの独立軸の第１のものを中心とする前記構造の回転を感知することと
を含む、方法。
（項目８）
３つの独立軸のセットに沿った構造の平行移動運動および前記３つの独立軸のセットを中心とする回転を感知および区別する方法であって、前記方法は、
前記構造に結合される第１の２Ｄ光学センサアレイを提供することであって、前記第１の２Ｄ光学センサアレイは、第１の方向に向けられている第１の面法線および第１の視野を有する、ことと、
前記構造に結合される第２の２Ｄ光学センサアレイを提供することであって、前記第２の２Ｄ光学センサアレイは、第２の方向に向けられている第２の面法線および第２の視野を有する、ことと、
前記構造に結合される第３の２Ｄ光学センサアレイを提供することであって、前記第３の２Ｄ光学センサアレイは、第３の方向に向けられている第３の面法線および第３の視野を有し、
前記第１の方向、前記第２の方向、および前記第３の方向は、独立している、ことと、
光を前記第１の視野、前記第２の視野、および前記第３の視野の中に投影する少なくとも１つのコヒーレント光源を提供することであって、表面を囲繞する非鏡面から反射された光は、第１のスペックルパターンを前記第１の２Ｄ光学センサアレイ上に、第２のスペックルパターンを前記第２の２Ｄ光学センサアレイ上に、第３のスペックルパターンを前記第３の２Ｄ光学センサアレイ上に形成する、ことと、
前記第２の２Ｄ光学センサアレイを使用することによって、前記第１の方向を中心とする回転を感知し、前記第１の方向に対する方位角である方向において前記第２のスペックルパターンの平行移動を感知し、前記第３の２Ｄ光学センサアレイを使用して、前記第１の方向に対する方位角である方向において前記第３のスペックルパターンの平行移動を感知することと、
前記第２の２Ｄ光学センサアレイを使用することによって、前記第１の方向における平行移動を感知し、前記第１の方向における前記第２のスペックルパターンの平行移動を感知し、前記第３の２Ｄ光学センサアレイを使用して、前記第１の方向における前記第３のスペックルパターンの平行移動を感知することと、
前記第１の２Ｄ光学センサアレイを使用することによって、前記第２の方向を中心とする回転を感知し、前記第２の方向に対する方位角である方向において前記第１のスペックルパターンの平行移動を感知し、前記第３の２Ｄ光学センサアレイを使用して、前記第２の方向に対する方位角である方向において前記第３のスペックルパターンの平行移動を感知することと、
前記第１の２Ｄ光学センサアレイを使用することによって、前記第２の方向における平行移動を感知し、前記第２の方向における前記第１のスペックルパターンの平行移動を感知し、前記第３の２Ｄ光学センサアレイを使用して、前記第２の方向における前記第３のスペックルパターンの平行移動を感知することと、
前記第２の２Ｄ光学センサアレイを使用することによって、前記第３の方向を中心とする回転を感知し、前記第３の方向に対する方位角である方向において前記第２のスペックルパターンの平行移動を感知し、前記第１の２Ｄ光学センサアレイを使用して、前記第３の方向に対する方位角である方向において前記第１のスペックルパターンの平行移動を感知することと、
前記第１の２Ｄ光学センサアレイを使用することによって、前記第３の方向における平行移動を感知し、前記第３の方向における前記第１のスペックルパターンの平行移動を感知し、前記第２の２Ｄ光学センサアレイを使用して、前記第３の方向における前記第２のスペックルパターンの平行移動を感知することと
を含む、方法。

図面は、本発明の好ましい実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の上記および他の利点および目的が得られる方法をより深く理解するために、上記に説明される本発明のより具体的な説明が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに記載および説明されるであろう。

図１は、本明細書に開示されるある実施形態による、拡張現実ヘッドギヤを装着しているユーザの頭部の正面図である。

図２は、図１に示される拡張現実ヘッドギヤ内に含まれる運動検出システムの概略図である。

図３は、ある実施形態による、図２に示される運動検出システムの一部の概略図であって、２つのコヒーレント光源間の光学隔離を図示する。

図４ａ－４ｆは、平行移動ステップのシーケンスに対応する、スペックルパターンのシーケンスを示す。 図４ａ－４ｆは、平行移動ステップのシーケンスに対応する、スペックルパターンのシーケンスを示す。 図４ａ－４ｆは、平行移動ステップのシーケンスに対応する、スペックルパターンのシーケンスを示す。

図５は、代替実施形態による、拡張現実ヘッドギヤ内に含まれる運動検出システムの概略図である。

図６は、別の実施形態による、眼鏡形状因子を伴う拡張現実ヘッドギヤの斜視図である。

図７は、図６に示される拡張現実ヘッドギヤ内に含まれる運動検出システムの概略図である。

図８は、ある実施形態による、図１および図６に示される拡張現実ヘッドギヤに適用可能である、拡張現実ヘッドギヤのブロック図である。

図９は、ある実施形態による、図１に示される拡張現実ヘッドギヤを動作させる方法フローチャートである。

図１０は、ある実施形態による、拡張現実ヘッドギヤの使用の実施例の略図である。

図１は、ある実施形態による、拡張現実ヘッドギヤ１０４を装着しているユーザの頭部１０２の正面図である。拡張現実ヘッドギヤ１０４は、眼鏡形状因子を有し、ヘッドギヤ１０４のレンズ（接眼レンズ）の形態をとる、左（ユーザの左）接眼レンズ１０８および右接眼レンズ１１０が搭載される、フレーム１０６を含む。接眼レンズ１０８、１１０は、ユーザの眼に向かう光の再指向を制御する、表面レリーフ反射および透過性回折格子を含むことができる、またはバルク型接眼レンズ１０８、１１０に内蔵される、傾斜された部分反射ミラーを含むことができる。例えば、各接眼レンズ１０８、１１０は、内部結合格子（ＩＣＧ）を含むことができ、これは、画像毎変調光を受け取り、画像毎変調光を各接眼レンズ内の全内部反射（ＴＩＲ）のための臨界角を上回る角度に回折する。ＩＣＧに加え、各接眼レンズはさらに、直交瞳拡張格子（ＯＰＥ）を含むことができ、これは、ＩＣＧによってＯＰＥに指向される光を射出瞳エクスパンダ（ＥＰＥ）の方に向かって漸次的に偏向させ、これは、光をユーザの眼位置に向かって外に漸次的に偏向させる。代替として、接眼レンズ１０８、１１０は、光をユーザの眼に再指向する、部分反射正面表面コーティングを含むことができる。後者の場合、接眼レンズは、平面である必要はないが、有限屈折力を有する、湾曲正面および背面（眼の近傍の）表面を含むことができる。再び図１を参照すると、画像毎変調左光源１１２は、左接眼レンズ１０８に光学的に結合され、画像毎変調右光源１１４は、右接眼レンズ１１０に光学的に結合される。画像毎変調光源１１２、１１４は、例えば、シリコン上液晶（ＬＣｏＳ）画像プロジェクタ、ファイバスキャナ、または発光型（例えば、マイクロ発光ダイオードマイクロ有機発光ダイオード）ディスプレイパネルを含むことができる。接眼レンズ１０８、１１０は、画像毎変調光をユーザの眼に光学的に結合する役割を果たす。接眼レンズ１０８、１１０はまた、透明であって、それによって、ユーザが、実世界を視認することを可能にする。画像毎変調光源１１２、１１４および接眼レンズ１０８、１１０は、画像を表示するために使用され、これは、本コンテキストでは、「仮想コンテンツ」と称される。仮想コンテンツは、接眼レンズ１０８、１１０を通して可視である、実世界を拡張させる。左接眼レンズ１０８は、画像毎変調左光源１１２と組み合わせて、左ディスプレイをともに形成し、右接眼レンズ１１０は、画像毎変調右光源１１４と組み合わせて、右ディスプレイを形成する。

多くの用途に関して、ユーザが、環境を動き回り、異なる方向を見るために、その頭部１０２を方向転換させるにつれて、拡張現実ヘッドギヤ１０４がユーザとともに移動および回転されるという事実にもかかわらず、仮想コンテンツを拡張現実ヘッドギヤのユーザが位置する環境（例えば、部屋）に固定される慣性基準フレーム内に位置付けさせる、またはその中で移動させる（例えば、歩行中の仮想人物）ことが望ましい。後者の目的を達成するために、接眼レンズ１０８、１１０を介して表示される画像および画像毎変調光源１１２、１１４は、ユーザの運動を補償するために偏移されなければならない。正しい偏移を決定することは、ユーザの運動（平行移動および回転）を慎重に追跡することを要求する。この目的を達成するために、拡張現実ヘッドギヤ１０４は、上向きに向いているレーザ（コヒーレント照明源）１１６と、側方に向いているレーザ１１８と、正面に向いているレーザ１２０を装備し、その全ては、フレーム１０６に機械的に結合される。レーザ１１６、１１８、１２０の向いている方向はまた、前述の方向に対して改変されることができるが、これは、単に、好適な方向の単純実施例である。上向きを向いた２Ｄ光学センサアレイ１２２、側方を向いた２Ｄ光学センサアレイ１２４、および正面を向いた２Ｄ光学センサアレイ１２６もまた、提供され、フレーム１０６に機械的に結合される。２Ｄ光学センサアレイ１２２、１２４、１２６は、例えば、相補的金属酸化物半導体（ＣＭＯＳ）ピクセルアレイまたは電荷結合素子（ＣＣＤ）ピクセルアレイを備えることができる。上向きに向いているレーザ１１６によって放出される光は、角度的に、上向きを向いた２Ｄ光学センサアレイ１２２の視野内にあって、側方に向いているレーザ１１８によって放出される光は、角度的に、側方を向いた２Ｄ光学センサアレイ１２４の視野内にあって、正面に向いているレーザ１２０によって放出される光は、角度的に、正面を向いた２Ｄ光学センサアレイ１２６の視野内にある。各レーザ１１６、１１８、１２０からの光は、光が放出レーザおよび関連付けられた２Ｄ光学センサアレイ１２２、１２４、１２６から離れるように伝搬する範囲まで、角度的に、２Ｄ光学センサアレイ１２２、１２４、１２６のうちの特定の１つの視野内にあるが、それが衝突する表面、例えば、壁、天井、または家具によって後方散乱されない限り、任意の有意な程度まで、関連付けられた２Ｄ光学センサアレイ１２２、１２４、１２６によって検出されないであろう。窓および鏡を除き、そのような表面は、概して、後方散乱された光が、散乱表面と２Ｄ光学センサアレイ１２２、１２４、１２６との間の空間を充填するスペックルパターンの形態をとるであろうように、拡散性である。スペックルパターンは、この場合、小規模表面粗度の回折パターンである。スペックルパターンは、２Ｄ光学センサアレイ１２２、１２４、１２６によって検出される。さらに、ユーザが拡張現実ヘッドギヤ１０４とともにその頭部１０２を移動させるにつれて、２Ｄ光学センサアレイ１２２、１２４、１２６は、スペックルパターンを充填する空間を通して移動し、そのような移動は、連続時間において２Ｄ光学センサアレイ１２２、１２４、１２６から読み取ることによって検出可能である。レーザ１１６、１１８、１２０は、２Ｄ光学センサアレイ１２２、１２４、１２６とともに移動するため、２Ｄ光学センサアレイを横断したスペックルパターンの検出された移動は、２Ｄ光学センサアレイ１２２、１２４、１２６の物理的移動の２倍となるであろう。剛体力学の場合、３つの平行移動自由度（例えば、デカルトＸ、Ｙ、Ｚ軸に沿った平行移動）と、３つの回転自由度（例えば、ヨー、ピッチ、およびロール）とが存在する。便宜上、代替として、変数Ｒｘ、Ｒｙ、Ｒｚを使用して、Ｘ、Ｙ、およびＺ軸を中心とする回転が、参照され得る。

図２は、図１に示される拡張現実ヘッドギヤ内に含まれる、運動検出システム２００の概略図である。運動検出システム２００は、上向きに向いているレーザ１１６と、側方に向いているレーザ１１８と、正面に向いているレーザ１２０と、上向きを向いた２Ｄ光学センサアレイ１２２と、側方を向いた２Ｄ光学センサアレイ１２４と、正面を向いた２Ｄ光学センサアレイ１２６とを含む。前述のコンポーネントは、Ｚ（上向き）、Ｙ（側方、ユーザの左）、およびＸ（正面）軸を含む、３Ｄデカルト座標系２０２に対して配向されて示される。上向き（＋Ｚ）を向いたレーザ１１６からのコヒーレント光は、天井表面２０４上に入射し、これは、非鏡面であって、ある程度の小規模表面粗度を含み、これは、スペックルパターンを形成するコヒーレント光を回折し、上向き（＋Ｚ）を向いた２Ｄ光学センサアレイ１２２上に衝突させる。同様に、側方（＋Ｙ）を向いたレーザ１１８からのコヒーレント光は、壁の側方を向いたパッチ２０６上に入射し、これは、スペックルパターンを形成する光を側方（＋Ｙ）を向いた２Ｄ光学センサアレイ１２４上に散乱させる。同様に、正面（＋Ｘ）を向いたレーザ１２０からのコヒーレント光は、壁の後ろ向きを向いたパッチ２０８上に入射し、これは、スペックルパターンを形成する光を正面（＋Ｘ）を向いた２Ｄ光学センサアレイ１２６上に散乱させる。図２では、Ｘ、Ｙ、およびＺ軸を中心とする回転は、表記Ｒｘ、Ｒｙ、Ｒｚによって示される。特定のデカルト軸（Ｘ、Ｙ、またはＺ）に沿った拡張現実ヘッドギヤ１０４の平行移動運動の成分は、成分と平行なスペックル偏移を平行移動運動の成分と異なる方向を向いた２つの２Ｄ光学センサアレイ１２２、１２４、および／または１２６上に生じさせる。したがって、例えば、＋Ｘ方向における平行移動成分は、スペックルパターンの＋Ｘ方向平行移動を上向き（＋Ｚ）を向いた２Ｄ光学センサアレイ１２２および側方（＋Ｙ）を向いた２Ｄ光学センサアレイ１２４上に生じさせる。スペックルパターンの誘発される平行移動は、ヘッドギヤ１０４の物理的平行移動の２倍と等しい。各２Ｄ光学センサアレイ１２２、１２４、１２６は、２Ｄセンサアレイ１２２、１２４、１２６によって感知されているレーザスポットが、連続フレーム間のスポットのサイズ（すなわち、半値全幅、ＦＷＨＭ）のある割合である距離を移動するように、十分に高いフレームレートで動作される。

図２における略図に示されるように、２Ｄ光学センサアレイ１２２、１２４、１２６は、デカルト座標系原点から変位される。拡張現実ヘッドギヤ１０４では、２Ｄ光学センサアレイは、ユーザの頸部の背後の近傍に位置する、頭部移動に関する事実上の回転中心から変位される。Ｘ、Ｙ、およびＺ軸を中心とする回転は、２Ｄ光学センサアレイ１２２、１２４、１２６上で作られたスペックルパターンの偏移を感知することによって感知される。所与の軸（Ｘ、ＹまたはＺ）を中心とする回転の成分は、所与の軸と平行方向を向いた２Ｄ光学センサアレイ１２２、１２４または１２６以外の２Ｄ光学センサアレイ１２２、１２４、または１２６上の所与の軸に対する方位角である、スペックル偏移を誘発するであろう。（本目的のために、正のデカルト軸を中心とする回転の正の向きは、右手の法則を使用して定義される。）したがって、例えば、－Ｘ方向は、側方（＋Ｙ）を向いた２Ｄ光学センサアレイ１２４上のＺ－軸に対する方位角であって、＋Ｙ方向もまた、正面（＋Ｘ）を向いた２Ｄ光学センサアレイ１２６上のＺ－軸に対する方位角である。故に、Ｚ－軸を中心とした正のＲｚ回転成分は、Ｘ方向スペックル偏移を側方（＋Ｙ）を向いた２Ｄ光学センサアレイ１２４上に誘発し、－Ｙ方向スペックル偏移を正面（＋Ｘ）を向いた２Ｄ光学センサアレイ１２６上に誘発するであろう。
下記の行列方程式ＥＱＵ．１は、デカルトＸ、Ｙ、およびＺ軸に沿ったインクリメント平行移動およびデカルトＸ、Ｙ、およびＺ軸を中心とするインクリメント回転を２Ｄ光学センサアレイ１２２、１２４、１２６上のスペックルパターンの偏移と関連させる。

ＥＱＵ．１の左側の係数行列内の非ゼロ係数は、３つの添字を有する。第１の添字は、Ｘ、Ｙ、Ｚ平行移動およびＸ、Ｙ、およびＺ軸を中心とするＲｘ、Ｒｙ、Ｒｚ回転間の拡張現実ヘッドギヤ１０４の運動上の６自由度のうちの１つを識別する。第２の添字は、２Ｄ光学センサアレイ１２２、１２４、１２６の正面（光を受け取る）表面に対して法線ベクトルの方向と等しい、それが向く方向（Ｘ、Ｙ、またはＺ）によって、２Ｄ光学センサアレイ１２２、１２４、１２６のうちの１つを識別する。第３の添字は、第２の添字によって識別される、特定の２Ｄ光学センサアレイ１２２、１２４、１２６上のスペックル偏移の方向（Ｘ、Ｙ、またはＺ）を識別する。平行移動自由度に関する、係数行列内の最初の３列内の非ゼロ係数は、２の値を有する。平行移動行列の第３から第６の列内の非ゼロ係数は、２／Ｒ_{ｓｅｎｓｏｒ}の値を有し、Ｒ_{ｓｅｎｓｏｒ}は、第２の添字によって識別される２Ｄ光学センサアレイ１２２、１２４、または１２６とユーザが拡張現実ヘッドギヤ１０４を装着しているときの事実上の回転中心（例えば、ユーザの頸部の背後）との間の距離である。

ＥＱＵ．１の左側の列ベクトルは、最初の３つの要素としてのインクリメント平行移動Δｘ、Δｙ、Δｚと、最後の３つの要素としてのＸ、Ｙ、およびＺ軸を中心とするインクリメント回転ΔＲｘ、ΔＲｙ、ΔＲｚとを含む。ＥＱＵ．１の右側の列ベクトルの各要素は、２Ｄ光学センサアレイ１２２、１２４、１２６のうちの１つ上のスペックル偏移である。各スペックル偏移要素は、添字および上付き文字Ｓによって示される。添字は、その法線ベクトルが配向される方向（それが向く方向）によって、２Ｄ光学センサアレイ１２２、１２４、１２６のうちの１つを識別する。上付き文字は、２Ｄ光学センサアレイ１２２、１２４、１２６上のスペックル偏移の方向を識別する。例証として、係数行列Ｃの第１の行は、ｙ方向における平行移動（Ｃ_{ｙ，ｘ，ｙ}によって示されるように）およびＺ軸を中心とする回転（Ｃ_{Ｒｚ，ｘ，ｙ}によって示されるように）の両方が、ｙ方向（ｚ軸に対する方位角）スペックル偏移を正面（＋Ｘ）方向を向いた２Ｄ光学センサアレイ１２６）上に生じさせるであろうことを示す。係数行列は、容易に反転可能であって、下記に与えられる行列方程式ＥＱＵ．２につながる。

式中、Ｃ ^－１ は、ＥＱＵ．１内の行列の反転である。ＥＱＵ．２は、ＥＱＵ．２の左側に現れるスペックル偏移のベクトルに基づいて拡張現実ヘッドギヤ１０４のインクリメント平行移動および回転を決定するために使用される。インクリメントスペックル偏移は、２つの連続時間において２Ｄ光学センサアレイ１２２、１２４、１２６上に形成されるスペックルパターンを読み取り、２つの連続時間におけるスペックルパターンの相対的偏移を決定することによって取得されることができる。Ｆａｒｎｅｂａｃｋ方法または正規化された相互相関等のオプティカルフロー追跡方法が、スペックルパターンの相対的偏移を決定するために使用されてもよい。決定されたインクリメント平行移動および回転に基づいて、画像毎変調光源１１２、１１４および接眼レンズ１０８、１１０を介して出力されている仮想コンテンツは、拡張現実ヘッドギヤ１０４が使用されている環境に固定される慣性座標系内の位置および／または運動を維持するように調節される。２Ｄ光学センサアレイ１２２、１２４、１２６は、レーザ１１６、１１８、１２０の向いている角度のフレーム毎変化が、レーザ１１６、１１８、１２０のＦＷＨＭビーム発散（図３の拡散器３１０、３１２の効果を含む）のある割合であるように、拡張現実ヘッドギヤの最大予期レートと比較して、十分に高レートで読み取られる。故に、２Ｄ光学センサアレイ１２２、１２４、１２６によって感知されるスペックルパターンのフレーム毎変化は、主に、偏移（オプティカルフロー）となる。加えて、レーザ１１６、１１８、１２０は、２Ｄ光学センサアレイ１２２、１２４、１２６のフレームレートと等しいパルスレートおよび２Ｄ光学センサアレイ１２２、１２４、１２６のフレーム周期（１／フレームレート）より実質的に短いパルス幅における、パルスモードで動作されることができる。そのような短レーザパルス幅を使用することは、スペックルパターンの運動誘発ぼけを回避することに役立つであろう。

図３は、ある実施形態による、図２に示される運動検出システムの一部の概略図であって、２つのコヒーレント光源間の光学隔離を図示する。図３に示される図は、側方に向いているレーザ１１８と、正面に向いているレーザ１２０とを含む。示されるように、側方に向いているレーザ１１８は、第１のコリメートレンズ３０４に光学的に結合される、第１のレーザダイオード３０２を含み、同様に、正面に向いているレーザ１２０は、第２のコリメートレンズ３０８に光学的に結合される、第２のレーザダイオード３０６を含む。コリメートレンズ３０４、３０８は、側方に向いているレーザ１１８および正面に向いているレーザ１２０のカバレッジ（放出）の相互に排他的な立体角範囲を確立する。第１のコリメートレンズ３０４は、側方に伝搬光ビームを形成し、第２のコリメートレンズ３０８は、正面に伝搬する光ビームを形成する。代替として、コリメートレンズの代わりに、制御された発散ビームを形成する、レンズが、使用されてもよい。さらに、ある半径方向（例えば、平坦上部）または非軸対称ビームプロファイルを確立する、ビーム成形レンズが、コリメートレンズの代わりに使用されてもよい。第１の低角度拡散器３１０は、第１のコリメートレンズ３０４の正面に位置付けられ、第２の低角度拡散器３１２は、第２のコリメートレンズ３０８の正面に位置付けられる。低角度拡散器３１０、３１２は、コリメートレンズ３０４、３０８によって形成される光ビームの輝度を低減させ、眼の安全性のために有用である。レーザダイオード３０２、３０６は、赤外線を放出してもよく、その場合、ユーザは、放出される光を見ることが不可能となるであろうことに留意されたい。低角度拡散器３１０、３１２は、非限定的実施例として、拡散ＦＷＨＭ２°～２０°によって特徴付けられることができる。側方を向いた２Ｄ光学センサアレイ１２４および正面を向いた２Ｄ光学センサアレイ１２６もまた、図３に示される。側方を向いた瞳絞り３１４は、側方を向いた２Ｄ光学センサアレイ１２４の正面に位置付けられ、側方を向いた２Ｄ光学センサアレイ１２４の視野を限定する役割を果たす。同様に、正面を向いた瞳絞り３１６は、正面を向いた２Ｄ光学センサアレイ１２６の正面に位置付けられ、正面を向いた２Ｄ光学センサアレイ１２６の視野を限定する役割を果たす。側方を向いた瞳絞り３１４は、第１の低角度拡散器３１０によって拡張されるような側方に向いているレーザ１１８の放出の立体角範囲に実質的に重複し、第２の低角度拡散器３１２によって拡張されるような正面に向いているレーザ１２０の立体角範囲放出を実質的に排除する、側方を向いた２Ｄ光学センサアレイ１２４の視野を確立する。同様に、正面を向いた瞳絞り３１６は、第２の低角度拡散器３１２によって拡張されるような正面に向いているレーザ１２０の放出の立体角範囲に実質的に重複し、第１の低角度拡散器３１０によって拡張されるような側方に向いているレーザ１１８の放出の立体角範囲を実質的に排除する、正面を向いた２Ｄ光学センサアレイ１２６の視野を確立する。したがって、各２Ｄ光学センサアレイは、その関連付けられたレーザによって放出される光によって作られた単一スペックルパターンのみを受け取るであろう。瞳絞り３１４、３１６の別の目的は、各２Ｄ光学センサアレイ１２４、１２６上に入射するスペックルパターン内のスペックルのサイズを拡大することである。スペックルパターン内のスペックルの特性サイズは、２Ｄセンサアレイ１２４、１２６を構成する個々のセンサ要素（ピクセル）のサイズと等しいまたはより大きくなるはずである。図３には図示されないが、上向きに向いているレーザ１１６は、側方に向いているレーザ１１８および正面に向いているレーザ１２０のために、図３に示されるものと同一内部設計を有し、また、低角度拡散器を装備することができ、上向きを向いた２Ｄ光学センサアレイ１２２もまた、瞳絞りを装備することができる。

代替実施形態によると、センサアレイ１２２、１２４、１２６は、それらが関連付けられるもの以外のレーザ１１６、１１８、１２０の放出からスペクトル的に隔離される。一実装では、上向きに向いているレーザ１１６は、第１のピーク波長を有する、第１のスペクトルラインを放出し、側方に向いているレーザ１１８は、第２のピーク波長を有する、第２のスペクトルラインを放出し、正面に向いているレーザ１２０は、第３のピーク波長を有する、第３のスペクトルラインを放出する。第１のスペクトルラインを透過させるが、第２のスペクトルラインまたは第３のスペクトルラインを透過させない、第１のスペクトル的選択的フィルタが、上向きを向いた２Ｄ光学センサアレイ１２２にわたって位置付けられ、第２のスペクトルラインを透過させるが、第１のスペクトルラインまたは第３のスペクトルラインを透過させない、第２のスペクトル的選択的フィルタが、側方を向いた２Ｄ光学センサアレイ１２４にわたって位置付けられ、第３のスペクトルラインを透過させるが、第１のスペクトルラインまたは第２のスペクトルラインを透過させない、第３のスペクトル的選択的フィルタが、正面を向いた２Ｄ光学センサアレイ１２６にわたって位置付けられる。

図４ａは、図１－３に示されるシステム内の運動を追跡するために使用され得る、スペックルパターン４００の初期画像である。図４ｂ－４ｆは、平行移動インクリメントのシーケンス後の図４ａに示されるスペックルパターン４００の画像４０８、４１０、４１２、４１４、４１６のシーケンスを示す。スペックルパターン４００内の初期の勝手な位置４０２が、垂直ライン４０４および水平ライン４０６とともにマークされる。限定ではないが、上記で述べられたもの等のオプティカルフロー追跡方法が、スペックルパターンの移動を追跡するために使用されることができる。スペックルパターンの平行移動距離は、運動検出システム２００を含む、物理的平行移動拡張現実ヘッドギヤ１０４の２倍に等しい。勝手に選択された位置４０２の場所は、連続図４ｂ－４ｆのそれぞれに示される。

図５は、代替実施形態による、拡張現実ヘッドギヤ１０４内に含まれる、運動検出システム５００の概略図である。システム３００は、第１の方向に向くように配向される、第１のレーザ５０６と、第２の方向に向くように配向される、第２のレーザ５０８と、第３の方向に向くように配向される、第３のレーザとを含む。システム３００はまた、第１の方向を向いた第１の２Ｄ光学センサアレイと、第２の方向を向いた第２の２Ｄ光学センサアレイと、第３の方向を向いた第３の２Ｄ光学センサアレイとを含む。図３に示される運動検出システム３００の場合、レーザ１１６、１１８、１２０は、３つの直交方向のセットに向き、２Ｄ光学センサアレイ１２２、１２４、１２６は、同一の３つの直交方向のセットに向くように配向されるのに対し、図５に示される運動検出システム５００の場合、第１、第２、および第３の方向は、直交しない。

図６は、別の実施形態による、眼鏡形状因子を伴う拡張現実ヘッドギヤ６００の斜視図であって、図７は、拡張現実ヘッドギヤ６００内に含まれる、運動検出システム７００の略図である。拡張現実ヘッドギヤ６００は、左（ユーザの左）透明接眼レンズ６０４と、右透明接眼レンズ６０６とを支持する、フレーム６０２を含む。左透明接眼レンズ６０４は、左ＩＣＧ６０４Ａと、左ＯＰＥ６０４Ｂと、左ＥＰＥ６０４Ｃとを含み、同様に、右透明接眼レンズ６０６は、右ＩＣＧ６０６Ａと、右ＯＰＥ６０６Ｂと、右ＥＰＥ６０６Ｃとを含む。接眼レンズ６０４、６０６はそれぞれ、代替として、複数の導波管を含み、複数の色チャネルをハンドリングする、および／または画像を異なる波面曲率（異なる仮想画像距離に対応する）に出力することができる。画像毎変調左光源６０８は、左透明接眼レンズ６０４に光学的に結合され、画像毎変調右光源６１０は、右透明接眼レンズ６０６に光学的に結合される。透明接眼レンズ６０４、６０６は、画像毎変調光をユーザの眼に光学的に結合する役割を果たす。

拡張現実ヘッドギヤ６００はさらに、右レーザ６１１と、左レーザ６１２と、左２Ｄ光学センサアレイ６１４と、右２Ｄ光学センサアレイ６１６とを装備する。前方方向は、図６に示されるデカルト座標系の３軸のうちの＋Ｘ軸に対応する。左レーザ６１２および左２Ｄ光学センサアレイ６１４は、前方方向に対して方位角的に左に傾斜された方向に向き（垂直に配向されるＺ軸を中心として回転する）、右レーザ６１１および右２Ｄ光学センサアレイ６１６は、前方方向に対して方位角的に右に傾斜された方向に向く。左レーザ６１２および左光学センサ６１４が向く方向は、左光学センサ６１４の受光表面に対して垂直の左法線ベクトルＮ_Ｌによって定義され、右レーザ６１１および右光学センサ６１６が向く方向は、右光学センサ６１６の受光表面に対して垂直の右法線ベクトルＮ_Ｒによって定義される。代替として、各レーザおよび関連付けられたセンサが向く方向間には、差異が存在し得る。左法線ベクトルＮ_Ｌと右法線ベクトルＮ_Ｒとの間の差異ベクトルＤは、図７に示される。左２Ｄ光学センサアレイ６１４および右２Ｄ光学センサアレイ６１６は、別個の視野を有する。左２Ｄ光学センサアレイ６１４の視野は、少なくとも、左レーザ６１２の放出の範囲の実質的部分を含み、右２Ｄ光学センサアレイ６１６の視野は、少なくとも、右レーザ６１１の放出の立体範囲の実質的部分を含む。左および右２Ｄ光学センサアレイ６１４、６１６の視野は、瞳絞りまたは他の視野限定光学コンポーネント（図６には図示せず）によって限定され得る。例えば、左２Ｄ光学センサアレイ６１４の視野は、放出右レーザ６１１の角度範囲を排除するように限定され得、その逆も同様である。

随意に、左２Ｄ光学センサアレイ６１４は、左結像レンズ６１８を装備することができ、右２Ｄ光学センサアレイ６１６は、右結像レンズ６２０を装備することができる。結像レンズ６１８、６２０は、それぞれ、結像レンズ６１８、６２０の正面の空間内に位置付けられる、左焦点面６２２および右焦点面６２４からのスペックル光を、２Ｄ光学センサアレイ６１４、６１６上に集束させ、拡大または拡大解除する。

デカルト座標の３軸のうちのＹ軸は、左から右に側方に延在することに留意されたい。拡張現実ヘッドギヤ６００内に組み込まれる運動検出システム７００は、Ｘ－軸、Ｙ－軸、およびＺ－軸に沿った平行移動成分と、前方を向いたＸ－軸を中心とする回転とを含む、４自由度を感知および区別することが可能である。左法線ベクトルＮ_Ｌおよび右法線ベクトルＮ_Ｒは、仮想平面を画定し、Ｎ_ＬおよびＮ_Ｒによって画定された平面上には、Ｎ_ＬとＮ_Ｒとの間の角度範囲が存在する。Ｎ_ＬとＮ_Ｒとの間の角度範囲内のＮ_ＬおよびＮ_Ｒによって画定された平面上に投影を有する、平行移動成分は、Ｎ_ＬおよびＮ_Ｒによって画定された平面と平行な左および右２Ｄ光学センサアレイ６１４、６１６上の反対方向スペックルパターン偏移を感知することによって感知されることができる。前述の場合、左２Ｄ光学センサアレイ６１４上の第１のオプティカルフローおよび右２Ｄ光学センサアレイ６１６上の第２のオプティカルフローは、反対方向投影を差異ベクトルＤ上に有する。

他方では、Ｎ_ＬとＮ_Ｒとの間の角度範囲外のＮ_ＬおよびＮ_Ｒによって画定された平面上に投影を有する、平行移動成分は、Ｎ_ＬおよびＮ_Ｒによって画定された平面と平行な左および右２Ｄ光学センサアレイ６１４、６１６上の同一方向スペックルパターン偏移を感知することによって感知されることができる。後者の場合、左２Ｄ光学センサアレイ６１４上の第１のオプティカルフローおよび右２Ｄ光学センサアレイ６１６上の第２のオプティカルフローは、共通方向投影を差異ベクトルＤ上に有する。さらに、Ｎ_ＬおよびＮ_Ｒによって画定された平面と垂直な平行移動成分は、Ｎ_ＬおよびＮ_Ｒによって画定された平面と垂直な左および右２Ｄ光学センサアレイ６１４、６１６上の同一方向スペックルパターン偏移を感知することによって感知されることができる。加えて、前方に延在する＋Ｘ軸を中心とする回転は、Ｎ_ＬおよびＮ_Ｒによって画定された平面と垂直な左および右２Ｄ光学センサアレイ６１４、６１６上の反対垂直方向スペックルパターン偏移を感知することによって感知されることができる。

図８は、ある実施形態による、拡張現実ヘッドギヤ９００のブロック図である。図８に示される設計は、ある実施形態による、図１および図６に示される拡張現実ヘッドギヤのために使用されることができる。拡張現実ヘッドギヤ９００は、左光透過性（シースルー）接眼レンズ９０２と、右光透過性接眼レンズ９０４と、第１のレーザダイオード９０６と、第１の２Ｄ光学センサアレイ９０８と、Ｎ番目のレーザダイオード９１０と、Ｎ番目の２Ｄ光学センサアレイ９１２とを含み、全て拡張現実ヘッドギヤフレーム９１４に機械的に結合される。識別子「Ｎ番目」の使用は、「Ｎ番目」によって識別されるものを含む、同様のコンポーネントの数が、可変であることを示すことを理解される。例えば、図１に示される拡張現実ヘッドギヤ１０４の場合、３つのレーザダイオードが、３つのレーザ１１６、１１８、１２０内で利用される一方、図６に示される拡張現実ヘッドギヤ６００の場合、単一レーザダイオード（図６には図示せず）が、前方に指向されるレーザ６１２内に提供される。

画像毎変調左光源９１６は、左光透過性接眼レンズ９０２に光学的に結合され、画像毎変調右光源９１８は、右光透過性接眼レンズ９０４に光学的に結合される。画像毎変調光源９１６、９１８は、例えば、ファイバスキャナ、ＬＣｏＳプロジェクタまたはＭＥＭＳ光ビームスキャナ、またはマイクロ発光型ディスプレイを備えることができる。左画像データソース９２０は、画像毎変調左光源９１６に結合され、右画像データソース９２２は、画像毎変調右光源９１８に結合される。画像データソース９２０、９２２は、例えば、ディスプレイドライバの形態をとることができる。画像毎変調左光源９１６は、左光透過性接眼レンズ９０２と組み合わせて、左ディスプレイ９４８を形成し、画像毎変調右光源９１８は、右光透過性接眼レンズ９０４と組み合わせて、右ディスプレイ９５０を形成する。左および画像毎変調右光源９１６、９１８は、それぞれ、左および右画像データ源９２０、９２２によって提供されるデータに従って、光を変調させる。左および右画像データ源９２０、９２２は、マイクロプロセッサとともに、ゲームエンジンプログラムを起動させる、グラフィック処理ユニット（ＧＰＵ）によってデータを供給される、フレームバッファの形態をとることができる。

第１のレーザダイオード９０６は、第１のコリメートレンズ９２４を通して、第１の拡散器９２６に光学的に結合され、Ｎ番目のレーザダイオード９１２は、Ｎ番目のコリメートレンズ９２８を通して、Ｎ番目の拡散器９３０に光学的に結合される。第１のコリメートレンズ９２４および第１の拡散器９２６を通して結合される、第１のレーザダイオード９０６からのコヒーレント光は、拡張現実ヘッドギヤ９００の環境内の第１の表面パッチ９３２（例えば、壁、天井、床、家具）上に入射し、これは、第１のスペックルパターン（小規模表面粗度の回折パターン）を形成し、第１の２Ｄ光学センサアレイ９０８上に入射する。同様に、Ｎ番目のコリメートレンズ９２８およびＮ番目の拡散器９３０を通して結合される、Ｎ番目のレーザダイオード９１０からのコヒーレント光は、拡張現実ヘッドギヤ９００の環境内のＮ番目の表面パッチ９３４上に入射し、Ｎ番目のスペックルパターンを形成し、これは、Ｎ番目の２Ｄ光学センサアレイ９１２上に入射する。

第１のセンサ読取回路９３６は、第１の２Ｄ光学センサアレイ９０８に結合され、Ｎ番目のセンサ読取回路９３８は、Ｎ番目の２Ｄ光学センサアレイ９１２に結合される。慣性測定ユニット（ＩＭＵ）９５２は、フレーム９１４に機械的に結合される。第１のセンサ読取回路９３６、Ｎ番目のセンサ読取回路９３８、左画像データソース９２０、第１の画像データソース９２２、ＩＭＵ９５２、少なくとも１つのプロセッサ９４０、少なくとも１つのプログラムメモリ９４２、および少なくとも１つの作業空間メモリ９４４は、少なくとも１つのバス９４６を介して、ともに結合される。少なくとも１つのプロセッサ９４０は、例えば、マイクロプロセッサ、グラフィック処理ユニット、デジタル信号プロセッサ、および／またはマイクロコントローラを含むことができる。ＩＭＵ９５２は、上記に説明されるコンポーネントと併用されることができ、これは、スペックルオプティカルフローを介して、運動を検出する。例えば、ＩＭＵ９５２は、運動情報の付加的冗長源として使用され、正確度を改良することができる、またはＩＭＵからの情報は、スペックルフロー監視を介して取得される情報と組み合わせられ、ヘッドギヤ９００の６ＤｏＦを完全に決定することができる。

図９は、ある実施形態による、図１に示される拡張現実ヘッドギヤ１０４を動作させる方法１０００のフローチャートである。図６、８に示される拡張現実ヘッドギヤ６００、９００は、類似様式で動作されることができる。ブロック１００２では、ヘッドギヤ１０４のローカル環境内の表面（例えば、２０４、２０６、２０８）が、拡張現実ヘッドギヤ１０４に固定されるレーザ１１６、１１８、１２０で照明される。ブロック１００４では、拡張現実ヘッドギヤのディスプレイは、少なくとも１つの仮想オブジェクトをローカル環境内のある位置（座標のセットによって定義される）に表示するように動作される。接眼レンズ１０８、１１０は、画像毎変調光源１１２、１１４と組み合わせて、ディスプレイをともに形成する。図１０は、図１０に示される方法に従って使用されている図１に示される拡張現実１０４ヘッドギヤの使用の実施例の略図である。図１０では、ヘッドギヤ１１００は、ユーザの頭部１０２上に示される。ユーザは、本の形態における仮想オブジェクト１１０２を視認しており、これは、拡張現実ヘッドギヤのディスプレイを使用して表示される。仮想オブジェクト１１０２は、実テーブル１１０４上に位置する。仮想コンテンツの他の実施例は、例えば、人々、動物、想像上の生物、および／または移動オブジェクトを含むことができる。移動仮想コンテンツの場合、仮想コンテンツの移動は、物理的環境に固定される慣性基準フレーム内で定義され、ヘッドギヤの運動は、ヘッドギヤの移動が速度を物理的環境に対する仮想コンテンツの意図される移動に追加するように、補償（相殺）され得るように追跡される。再び図９を参照すると、ブロック１００６では、光センサアレイ１２２、１２４、１２６が、環境表面（例えば、２０４、２０６、２０８）によって散乱されているレーザ１１６、１１８、１２０によって作られたスペックルパターンを感知するために使用される。下記に説明されるブロック１００６およびブロック１０１０を実行する際、スペックルパターンは、例えば、少なくとも１つのプロセッサ９４０（図８）の制御下、作業空間メモリ９４４（図８）内のセンサ読取回路９３６、９３８（図８）から受け取られ得る。ブロック１００８は、連続時間毎に実行されるループの開始をマークする。ブロック１０１０では、光センサアレイは、再び、環境表面（例えば、２０４、２０６、２０８）によって散乱されているレーザ１１６、１１８、１２０によって作られたスペックルパターンを感知するために使用される。ブロック１０１２では、各特定のスペックルパターン内の偏移が、特定のスペックルパターンの少なくとも１つの先行測定と比較して、決定される。上記に議論されるようなオプティカルフロー決定方法が、ブロック１０１２を実行する際に使用されてもよい。ブロック１０１４では、拡張現実ヘッドギヤの平行移動および回転座標の変化が、ブロック１０１２におけるスペックルパターンにおける偏移を決定するステップに基づいて決定される。ブロック１０１４を実行する際、上記に説明されるＥＱＵ．２が、使用されることができる。次に、ブロック１０１６では、拡張現実ヘッドギヤ１０４のディスプレイ上の仮想オブジェクトの位置（座標）が、ローカル環境内の仮想オブジェクトの位置を維持し、例えば、仮想本１１０２を実テーブル１１０４上の定位置に維持するために、ブロック１０１４において決定されるような少なくとも１つの座標の変化に従って偏移される。仮想オブジェクトの位置は、接眼レンズを通してユーザの眼に結合される、画像毎変調光を調節することによって、偏移される。方法１１００は、少なくとも１つのメモリ９４２内に記憶され、少なくとも１つの仕事空間メモリ９４４を使用して、少なくとも１つのプロセッサ９４０によって実行される、プログラムの制御下で実行されることができる。より一般的には、ヘッドギヤ１００、６００、９００は、いくつかの形態の電子回路を具備し、これは、代替として、非限定的実施例として、連続時間間のスペックル偏移を決定し、スペックル偏移に基づいて、連続時間間のインクリメント運動（平行移動および回転）を決定し、表示される仮想オブジェクトの位置を調節し、インクリメント運動を補償する、特定用途向け集積回路（ＡＳＩＣ）および／またはＦＰＧＡを含んでもよい。

上記に説明される実施形態は、それを通して、ユーザが実世界を視認しながら、また、仮想コンテンツも視認し得る、透明接眼レンズを含む、拡張現実眼鏡を含むが、代替として、上記に説明される６ＤｏＦ追跡システムは、これは、ユーザの実世界のビューが、オクルードされ、ユーザには、仮想コンテンツのみ見え得る、仮想現実ゴーグル内に組み込まれてもよい。上記に説明される６ＤｏＦシステムはまた、ユーザが、直接、実世界を視認することができないが、１つ以上のカメラによって捕捉され、仮想コンテンツとともにユーザに表示される、実世界の画像を視認することができる、拡張現実のタイプに適用されてもよい。

本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。

本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、および事象の記載された順番で実行されてもよい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解されたい。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。

加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。

また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」という単数形は、特に規定がない限り、複数形の指示対象を含む。換言すれば、冠詞の使用は、上記の説明および本開示と関連付けられる請求項において、対象アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を排除するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および均等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。

そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。

本発明の範疇は、提供される例示的および／または対象の明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。

Claims (6)

1. 拡張現実ヘッドギヤであって、
   画像毎変調光を提供するように構成される少なくとも１つの画像毎変調光源と、
   少なくとも１つの透明接眼レンズであって、前記少なくとも１つの透明接眼レンズは、ユーザが実世界を見ることを可能にしながら、前記画像毎変調光をユーザの眼の中に結合するように構成される、少なくとも１つの透明接眼レンズと、
   少なくとも第１のコヒーレント光源であって、前記少なくとも第１のコヒーレント光源は、コヒーレント光を少なくとも１つの環境表面上に投影するように、第１の方向に前記拡張現実ヘッドギヤから外向きに照準される、少なくとも第１のコヒーレント光源と、
   前記少なくとも１つの環境表面から反射された光を受け取るように構成される少なくとも第１のセンサアレイであって、前記光は、第１のスペックルパターンを前記第１のセンサアレイ上に形成する、第１のセンサアレイと、
   前記画像毎変調光源および前記第１のセンサアレイに結合された電子回路であって、前記電子回路は、
   前記少なくとも１つの画像毎変調光源を動作させ、前記拡張現実ヘッドギヤを装着している前記ユーザによって占有される物理的空間に固定される慣性基準フレーム内に定義される座標のセットに仮想オブジェクトを表示することと、
   前記第１のスペックルパターンの第１のコピーを第１の時間に受け取ることと、
   前記第１のスペックルパターンの第２のコピーを第２の時間に受け取ることと、
   前記第１のスペックルパターンの第１のコピーに対する前記第１のスペックルパターンの第２のコピーにおける偏移を決定することと、
   前記第１のスペックルパターンの第１のコピーに対する前記第１のスペックルパターンの第２のコピーにおける偏移に基づいて、前記ユーザによって占有される前記物理的空間内の前記拡張現実ヘッドギヤの運動を決定することと
   を行うように構成される、電子回路と
   を備える、拡張現実ヘッドギヤ。
2. 前記電子回路は、
   前記拡張現実ヘッドギヤの運動に基づいて、前記画像毎変調光を調節し、前記拡張現実ヘッドギヤの運動を補償し、前記仮想オブジェクトを前記慣性基準フレーム内に定義される前記座標のセットに維持すること
   を行うようにさらに構成される、請求項１に記載の拡張現実ヘッドギヤ。
3. 前記少なくとも１つの環境表面からの光を受け取るように構成される第２のセンサアレイをさらに備える、請求項１に記載の拡張現実ヘッドギヤ。
4. コヒーレント光を前記少なくとも１つの環境表面上に投影するように、第２の方向に前記拡張現実ヘッドギヤから外向きに照準される第２のコヒーレント光源をさらに備える、請求項３に記載の拡張現実ヘッドギヤ。
5. 前記少なくとも１つの環境表面によって反射された前記第２のコヒーレント光源からの光が前記第１のセンサアレイに到達することを排除するように構成される少なくとも１つの開口絞りをさらに備える、請求項４に記載の拡張現実ヘッドギヤ。
6. 前記第１のコヒーレント光源および前記第２のコヒーレント光源の相互排他的放出立体角範囲を確立するように構成される少なくとも１つの光学コンポーネントをさらに備える、請求項４に記載の拡張現実ヘッドギヤ。

Images