JP6444886B2 - ニアアイ・ディスプレイのディスプレイ更新時間の低減 - Google Patents

Description

ヘッド・マウント・ディスプレイ（ＨＭＤ）デバイス等のニアアイ・ディスプレイ（ＮＥＤ：near-eye display）デバイスは、拡張現実（ＡＲ）体験又は仮想現実（ＶＲ）体験のために、ユーザにより装着され得る。多くの要因が、ＮＥＤユーザの満足のいくユーザ体験に影響を及ぼし得るが、ユーザ・アクションに対するレスポンスを反映するために更新されることになる画像データのために相当な時間期間待たなければならないユーザにとって、良好でない画像品質又は短いバッテリ寿命は、不満足なユーザ体験の一般的な要因である。装着するのに快適であるべき消費者向け製品のこうした一般的な要因等の要因に対処することはまた、スペース、重量、電力、及びコスト（ＳＷａＰ−Ｃ）等の実際の要因を考慮に入れることも伴う。

本技術は、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の１以上の実施形態を提供する。当該方法の実施形態は、注目点（point of focus）から、ディスプレイ視野（display field of view）内に表示するための画像データまでの、ニアアイ・ディスプレイ・デバイスのディスプレイ視野における距離ベクトルを識別することを含む。注目点からの距離ベクトルと、低知覚基準（low perception criteria）と、に基づいて、ＮＥＤデバイスに通信可能に接続されたコンピュータ・システムは、表示されることになる画像データの少なくとも一部が、低知覚基準を満たさない無損失優先データ（lossless priority data）として適しているかどうかを判定する。当該方法の実施形態は、注目点からの距離ベクトルに基づいて、ＮＥＤデバイスに通信可能に接続されたコンピュータ・システムが、表示されることになる画像データの少なくとも一部が低知覚基準を満たす損失許容データ（allowed loss data）として適しているかどうかを判定することをさらに含む。損失許容データとして適している画像データの少なくとも一部に応じて、コンピュータ・システムは、損失伝送（lossy transmission）を許容する１以上の通信技術を用いて、損失許容データをＮＥＤデバイスに送信する。無損失優先データとして適している画像データの少なくとも一部に応じて、無損失伝送基準（lossless transmission criteria）を満たす１以上の通信技術を用いて、無損失優先データが、コンピュータ・システムにより、ＮＥＤデバイスに送信される。

本技術は、ニアアイ・ディスプレイ（ＮＥＤ）デバイスのディスプレイ更新時間を低減させる方法の１以上の実施形態を提供する。当該方法の実施形態は、通信可能に接続されたコンピュータ・システムからユーザ画像データを受信することと、受信されている画像データ内の、ＮＥＤデバイスのディスプレイ視野におけるユーザ焦点領域（user focal region）内に表示するためのユーザ焦点領域画像データ（user focal region image data）を識別することと、を含む。ユーザ焦点領域画像データが、無損失伝送基準を満たす１以上の通信技術を用いて取り出される（retrieved）。ユーザ焦点領域外に表示するための少なくとも何らかのセカンダリ画像データ（secondary image data）が、受信されている画像データ内で識別され、損失伝送を許容する１以上の通信技術を用いて取り出される。ユーザ焦点領域画像データ及び少なくとも何らかのセカンダリ画像データが、ＮＥＤデバイスのディスプレイ視野内に表示される。

本技術は、ニアアイ・ディスプレイ（ＮＥＤ）デバイス・システムの１以上の実施形態を提供する。ＮＥＤデバイス・システムの実施形態は、ニアアイ・サポート構造と、ニアアイ・サポート構造によりサポートされ、ディスプレイ視野を有するニアアイ・ディスプレイ（ＮＥＤ）と、を含むニアアイ・ディスプレイ・デバイスを備える。ＮＥＤシステムは、ニアアイ・サポート構造によりサポートされ、ニアアイ・ディスプレイ（ＮＥＤ）に光学的に結合される画像データを出力する画像生成ユニットをさらに備える。実施形態は、画像データの表示を制御するための、画像生成ユニットに通信可能に接続された１以上のプロセッサをさらに備える。１以上のプロセッサは、ユーザ焦点領域内に表示するためのユーザ焦点領域画像データを識別し、ＮＥＤデバイス・システムにより実行されている１以上のアプリケーションに基づいて、ユーザ焦点領域外に表示するためのセカンダリ画像データを識別する。第１の通信モジュールが、１以上のプロセッサに通信可能に接続され、通信媒体を介して、コンピュータ・システムに通信可能に接続される。通信モジュールは、無損失伝送基準を満たす１以上の通信技術を用いて、コンピュータ・システムから、ユーザ焦点領域画像データを取り出す。通信モジュールは、損失伝送を許容する１以上の通信技術を用いて、コンピュータ・システムから、少なくとも何らかのセカンダリ画像データを取り出す。

この概要は、発明を実施するための形態において以下でさらに説明されるコンセプトのうち選択したものを簡略化した形で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は必要不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を決定する際の助けとして使用されることを意図するものでもない。

ニアアイ・ディスプレイ（ＮＥＤ）デバイス・システムの一実施形態の例示的なコンポーネントを示すブロック図。 ＮＥＤデバイスと付属処理モジュールとの間で無線通信を用いるＮＥＤデバイス・システムの別の実施形態のブロック図。 ＮＥＤデバイス・システムの別の実施形態の例示的なコンポーネントを示すブロック図。 光学的シースルーＡＲディスプレイを有し、ハードウェア・コンポーネント及びソフトウェア・コンポーネントのためのサポートを提供する眼鏡として具現化されているＮＥＤデバイスの一実施形態におけるフレームの眼鏡テンプルの側面図。 ＮＥＤデバイスの同実施形態のディスプレイ光学系の一実施形態の上面図。 ＮＥＤシステムによりデータを受信するために、あるいは別のコンピュータ・システムによりＮＥＤシステムへデータを送信するために使用することができる通信モジュールの一実施形態のブロック図。 送信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の一実施形態のフローチャート。 ＮＥＤデバイス・システムの受信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の一実施形態のフローチャート。 ディスプレイ・デバイス２を装着しているユーザ周囲の空間の３次元（３Ｄ）マッピングにおける仮想オブジェクトの３Ｄ空間位置の一例を示す図。 ユーザ焦点領域内又はユーザ焦点領域外の位置に基づいて画像解像度を変えるＮＥＤデバイスにより表示されている仮想ヘリコプタの例を含むディスプレイ視野の一例を示す図。 ジェスチャがＮＥＤ視野内の注目点を示す、ヘリコプタの例の別のバージョンを示す図。 ニアアイ・ディスプレイ・デバイスにより画像データを表示するための、ソフトウェアの観点からの、システムの一実施形態のブロック図。 ニアアイ・ディスプレイ（ＮＥＤ）のディスプレイ視野内に画像データを表示するために領域を識別する方法の一実施形態のフローチャート。 ディスプレイ視野内のセカンダリ領域を決定し、セカンダリ領域に関連付けられた画像解像度を決定する方法の別の実施形態のフローチャート。 送信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の別の実施形態のフローチャート。 ＮＥＤデバイス・システムの受信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の別の実施形態のフローチャート。 異なるレベルの誤り訂正を用いるプロセスの例のフローチャート。 図９Ａの通信技術のいくつかの実施例を示すフローチャート。 受信画像データから無損失優先画像データ及び損失許容画像データを取り出す際に使用することができる通信技術のいくつかの他の例を示すフローチャート。 受信画像データから損失許容画像データを取り出すための通信技術の別の例を示すフローチャート。 伝送品質に応じて変化する変調技術を用いて画像データを送信するプロセスの例のフローチャート。 コンステレーション符号化スキームとしての変調通信技術のいくつかの実施例を示すフローチャート。 送受信されるべき画像データの優先度に基づいて、通信技術としての通信チャネルについてネゴシエートすることを示すフローチャート。 ネットワーク・アクセス可能なコンピューティング・システム、付属処理モジュール、又はニアアイ・ディスプレイ・デバイスの制御回路を実装するために使用することができるコンピューティング・システムの一実施形態のブロック図。

ニアアイ・ディスプレイ（ＮＥＤ）デバイスの一例は、ヘッド・マウント・ディスプレイ（ＨＭＤ）デバイスである。ＮＥＤデバイスは、拡張現実体験又は混合現実体験のために、現実オブジェクトとともに視野内に仮想オブジェクトの画像データを表示するために使用することができる。仮想現実システムにおいて、ＮＥＤは、現実世界の関係とは独立して、コンピュータで制御される画像を表示することができる。別の例において、ニアアイ・ディスプレイは、例えば、暗視デバイスといった赤外線撮像デバイス等の視野を拡張するためのアプリケーションにおいて使用することができる。こうした体験を現実的なものに保つために、ディスプレイは、ディスプレイのディスプレイ視野内のユーザの注目点の変化及び実行アプリケーションに基づく画像データの変化をもって、リアルタイムに更新される。注目点周囲のユーザ焦点領域が、眼追跡データ又はＮＥＤシステムのナチュラル・ユーザ入力システムにより生成されるジェスチャ・データにおいて識別されるポインティング・ジェスチャ等のナチュラル・ユーザ入力データに基づいて、ディスプレイ視野内で識別され得る。他の例において、ユーザ焦点領域は、ＮＥＤデバイスを装着しているユーザがニアアイ・ディスプレイの視野内の更新された画像データを見る可能性が高いので、実行アプリケーションに基づく画像データのディスプレイ位置の識別に基づいて予想され得る。

画像データは、静止画像データに加えて、ビデオ等の動画像データであり得る。画像データはまた、３次元であり得る。３Ｄ画像データの一例は、ホログラムである。画像データは、ポリゴン・メッシュにおいて表現することができる、あるいはエッジ・データとして表現することができる構造データを含む。さらに、画像データは、クロマ・データ又は彩度データと、輝度データと、を含む色データを含む。画像データの各カテゴリ内で、ビットが優先度を付けられる。例えば、より高い優先度ビットは、ワード・フォーマットで、予め定められた数の最上位ビット（ＭＳＢ）に格納され得るのに対し、より低い優先度ビットは、予め定められた数の最下位ビット（ＬＳＢ）に格納され得る。色ワードのＭＳＢビットは、緑色（green hue）等のベース・カラーを表すことができ、ＬＳＢビットは、色のうち緑色系列内の緑色を区別するより飽和した値（more saturation value）を表す。データが、ディスプレイ視野内で注目点から移動すると（例えば、ユーザが頭を動かす、あるいは画像がアプリケーションのロジックに基づいて変化すると）、ＬＳＢにより表された緑色間の微妙な差（subtlety）は、緑色レセプタ（green receptor）が窩（fovea）からの距離から離れてしまっているので、もはや人間の眼上で分解できるものではない、あるいは非常に小さな量である。したがって、より低い優先度色ビットを表現しないことは、ユーザ体験を著しく損なうものではない。

同様に、基本構造（例えば、骨格）を表す構造データは、高優先度データとして扱われ得るのに対し、詳細のレイヤ（layers of details）は、基本構造の上に構築されるので、メモリにおいて、低減した優先度のビット構造で表され得る。輝度データもまた、ワードのＭＳＢから優先度が低減したビットで格納され得る。注目点からの距離が増すにつれ、画像データを送信するコンピュータ・システムは、その距離を、送信のために失われ得る複数のより低い優先度ビット（例えば、複数のＬＳＢ）に関連付けることができる。

ＭＳＢからＬＳＢに加えて、画像データの異なるタイプの優先度を示す、コンテンツを記憶する他の予め定められたパターンがまた使用されてもよい。さらに、注目点からの距離に基づいて損失伝送を許容する通信技術を用いてどのくらいの量の画像データを送信できるかに関する予め定められた限界が存在してもよい。画像品質の段階的な減少がまた望ましく、また、人間の眼の分解能を超えて留まる、例えば、解像度といった画像品質が望ましい。ユーザ焦点領域から動くときの不意に現れる、あるいは消えるデータは、自然な視野体験から逸脱し、ユーザ体験を損なう。

人間の眼の分解能を利用し、無損失伝送及び損失伝送のための注目点に関連する位置に対する画像データを優先度付けする技術の実施形態について以下で説明する。さらに、いくつかの実施形態は、ユーザ焦点領域内の画像データ及びユーザ焦点領域外の画像データの異なる解像度レベルを使用する。

伝送における損失データは、絶対に到達しない失われたデータ、又は途中で破損したために送信されないデータを表す。通信においては、常に何らかの非常に小さな誤りが存在するので、無損失伝送基準は、全ての送信されたデータが受信機において正確に検出されているシステムの予め定められた基準に応じた、例えば、９９％又は９９．９９９９９９％よりも大きいといった高確率として説明される。無損失伝送基準を表す別の方法は、ビット誤り率である。いくつかの例において、記憶された無損失伝送基準は、全ビット誤り率を満たす通信特性及び通信技術の異なる組合せを識別し得る。そのような基準のいくつかの例は、通信媒体のタイプ、有線であるか又は無線であるか、伝送の範囲、雑音レベル範囲、及び誤り訂正技術の利用可能なタイプに関連付けられた誤り訂正率、並びに１以上の利用可能な変調技術に関連付けられた１以上の誤り率である。基準の１つのタイプを変更することは、無損失伝送基準を構成する他のタイプの基準の基準値を変更させ得る。無損失伝送基準を満たさないことにより損失伝送を許容することは、損失データをもたらさない場合があるが、例えば、受信機において正確に検出されたデータの８０％といったデータの損失の確率は、ユーザが注目している高優先度データについては、受け入れられないものであり得る。

図１Ａは、ニアアイ・ディスプレイ（ＮＥＤ）デバイス・システムの一実施形態の例示的なコンポーネントを示すブロック図である。図示した実施形態において、システムは、ヘッド・マウント・ディスプレイ（ＨＭＤ）デバイス２としてのニアアイ・ディスプレイ（ＮＥＤ）デバイスであって、付属処理モジュール（companion processing module）４として識別される別のコンピュータ・システムに有線６を介して通信可能に接続されるＮＥＤデバイスを含む。多くの実施形態において、付属処理モジュール４は、ＮＥＤデバイス上の通信モジュールとの直接１対１通信リンクを確立することができる。このリンクは、例えば、１０フィート以内といった、短距離とすることができる。直接リンクは、ネットワーク・ルータ又はセルラ・ステーション等の介入通信伝送ポイント（intervening communication transfer point）に依存しない。直接リンクの一例は、有線直接リンク、又は、空中の無線通信媒体を介した赤外線リンク等の無線直接リンクである。直接通信リンクに加えて、ＮＥＤデバイス２及び付属処理モジュール４はまた、他のネットワーク・デバイス等、ネットワーク・プロトコルを介して通信してもよい。多くの実施形態において、付属処理モジュール４は、ユーザにより装着される、あるいは保持される。そのいくつかの例は、手首ベースのモジュール、又は、スマートフォン若しくはタブレット等のモバイル・デバイスである。ユーザがＮＥＤディスプレイを装着しているときにユーザは付属処理モジュールを伴い、付属処理モジュールは、例えば、ＮＥＤデバイス用の補助ユーザ入力デバイスとして動作するといった、補助サービスを提供することができる。

図１Ｂは、ＮＥＤデバイス２と付属処理モジュール４との間で無線通信を用いるＮＥＤデバイス・システムの別の実施形態のブロック図である。図１Ｃは、ＮＥＤデバイス・システム８がニアアイ・ディスプレイ・デバイス２上に組み込まれている、付属処理モジュール４を含まないＮＥＤデバイス・システムの別の実施形態の例示的なコンポーネントを示すブロック図である。

これらの実施形態において、ＮＥＤデバイス２は、フレーム１１５状の眼鏡の形状であり、ＮＥＤがユーザにより装着されたときに、各眼は、ＮＥＤデバイスの前方に位置するそれぞれのディスプレイ光学系（display optical system）１４を介して見ることになる。この実施形態において、各ディスプレイ光学系１４は、投影ディスプレイを使用する。投影ディスプレイでは、画像データは、画像データがユーザ前方の３次元視野内の位置においてユーザに見えるように、画像データの表示を生成するためにユーザの眼に投影される。例えば、ユーザは、リビング・ルームにおいて、光学的シースルー・モード（optical see-through mode）で敵ヘリコプタ撃墜ゲーム（shoot down enemy helicopter game）をプレーしていることがある。ユーザは、人間の眼に近い画像データに焦点を合わせることができないので、ヘリコプタの画像は、レンズ１１６とレンズ１１８との間ではなく、ユーザのリビング・ルームにおいて、椅子の上を飛んでいるように、ユーザに見える。画像を生成するディスプレイは、画像が見られる場所とは分離されている。各ディスプレイ光学系１４は、ディスプレイとも呼ばれ、２つのディスプレイ光学系１４が合わせてディスプレイと呼ばれる場合もある。

いくつかの実施形態において、ディスプレイは、仮想現実（ＶＲ）コンテキストにおいて、画像データを表示していることがある。例えば、画像データは、装着者の現実世界環境とは独立して動く人及び物のものであり、ユーザの現実世界環境からの光は、例えば、不透明フィルタ（opacity filter）を介して、ディスプレイによりブロックされる。他の実施形態において、ディスプレイは、拡張現実（ＡＲ）のために使用されてもよい。ニアアイＡＲディスプレイを使用しているユーザは、現実オブジェクトとともに表示された仮想オブジェクトをリアルタイムに見る。詳細には、光学的シースルー拡張現実ディスプレイ・デバイスを装着しているユーザは、シースルー・ディスプレイの、したがって、シースルー・ディスプレイ及び光学的シースルー・ディスプレイのディスプレイ視野内で、仮想オブジェクト又は仮想エフェクトの画像データにより隠されていない現実オブジェクトを、ユーザの自然の視野で実際に見る。ビデオ・シースルー・ディスプレイ又はビデオ観視モード（video-see mode）で動作するディスプレイと時折呼ばれる、ビデオ観視ディスプレイ（video-see display）等の他のタイプの拡張現実ディスプレイでは、ディスプレイは、実際にはシースルーではない。なぜならば、ユーザは、ユーザの自然な視野で現実オブジェクトを見るのではなく、現実オブジェクトが、仮想オブジェクト及び仮想エフェクトの画像とともに、自然な視野で見えるように、隠されていない表示画像データを見るからである。以下のシースルー・ディスプレイへの言及は、光学的シースルー・ディスプレイを参照している。

これらの実施形態において、フレーム１１５は、適切な位置でＮＥＤデバイス２のエレメントを保持するためのニアアイ・サポート構造としてのみならず、電気接続のための管路としての便利な眼鏡フレームを提供する。ニアアイ・サポート構造のいくつかの他の例は、バイザ・フレーム（visor frame）又はゴーグル・サポートである。フレーム１１５は、音を記録しオーディオ・データを制御回路１３６に送信するためのマイクロフォン１１０を有するノーズ・ブリッジ（nose bridge）１０４を含む。フレームのテンプル又はサイド・アーム１０２は、ユーザの両耳の各々の上に静止し、この例において、右のサイド・アーム１０２ｒがＮＥＤデバイス２の制御回路１３６を含むものとして図示されている。

付属処理モジュール４は、様々な実施形態を取り得る。いくつかの実施形態において、付属処理モジュール４は、例えば、手首といったユーザの身体上に装着され得るポータブルな形態であってもよいし、モバイル・デバイス（例えば、スマートフォン、タブレット、ラップトップ）等の別のポータブルなコンピュータ・システムであってもよい。図１Ａ及び図１Ｂに示されるように、付属処理モジュール４は、１以上の通信ネットワーク５０を介して、有線又は無線で（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、赤外線パーソナル・エリア・ネットワーク、ＲＦＩＤ伝送、無線ユニバーサル・シリアル・バス（ＷＵＳＢ）で）、近くに位置する、あるいはリモート位置にある１以上のネットワーク・アクセス可能なコンピュータ・システム１２と、例えば、ピア・ツー・ピア通信の一部としてある位置又は環境にある他のニアアイ・ディスプレイ・デバイス・システム８と、利用可能である場合にはその環境にある１以上の３Ｄ画像キャプチャ・デバイス２０と、に通信することができる。他の実施形態において、付属処理モジュール４の機能は、ディスプレイ・デバイス２のソフトウェア・コンポーネント及びハードウェア・コンポーネントに統合することができる（図１Ｃ参照）。付属処理モジュール４のハードウェア・コンポーネントのいくつかの例は、図１１に示されている。

１以上のネットワーク・アクセス可能なコンピュータ・システム１２は、電力処理及びリモート・データ・アクセスのために利用することができる。コンピュータ・システム１２のハードウェア・コンポーネントの一例が、図１１に示されている。コンポーネントの複雑さ及び数は、コンピュータ・システム１２及び付属処理モジュール４の異なる実施形態ごとに大きく異なり得る。

アプリケーションは、コンピュータ・システム１２上で実行されていることがある。コンピュータ・システム１２は、ニアアイ・ディスプレイ・デバイス・システム８における１以上のプロセッサ上で実行されるアプリケーションとインタラクトする、あるいは、そのようなアプリケーションのための処理を実行する。例えば、３Ｄマッピング・アプリケーションは、１以上のコンピュータ・システム１２及びユーザのニアアイ・ディスプレイ・デバイス・システム８上で実行されていることがある。いくつかの実施形態において、アプリケーション・インスタンス（application instance）は、マスタ・ロール（master role）及びクライアント・ロール（client role）で実行することができ、そこでは、クライアント・コピー（client copy）が、ニアアイ・ディスプレイ・デバイス・システム８内の１以上のプロセッサ上で実行されており、そのディスプレイ視野の３Ｄマッピングを実行し、１以上のコンピュータ・システム１２から、マスタ３Ｄマッピング・アプリケーションからのそのビューにおけるオブジェクトのアップデートを含む３Ｄマッピングのアップデートを受信し、利用可能である場合、画像データ、奥行きデータ、及びオブジェクト識別データをマスタ・コピー（master copy）に返送する。さらに、いくつかの実施形態において、同じ環境内の異なるニアアイ・ディスプレイ・デバイス・システム８上で実行されている３Ｄマッピング・アプリケーション・インスタンスは、システム８間で、例えば、ピア・ツー・ピア構成の現実オブジェクト識別情報（identification）といったデータ・アップデートをリアルタイムに共有する。

用語「ディスプレイ視野」は、ＮＥＤデバイス・システムのディスプレイの視野を指す。すなわち、ディスプレイ視野は、ユーザの視点から見られるようなユーザ視野を大まかに表す（approximate）。しかしながら、自然な人間の視野は、周辺視野を含め、ユーザの眼間を中心に１８０度を超えて延びることができるのに対し、ＮＥＤのディスプレイ視野は、通常、より制限されている。例えば、ＮＥＤデバイスのディスプレイ視野は、人間の視野の中心部分のおよそ６０度を表し得る。多くの実施形態において、ディスプレイの各タイプのディスプレイ視野は、直交するＸ軸、Ｙ軸、及びＺ軸を有するビュー依存の座標系（view dependent coordinate system）によりマッピングされ得る。その座標系において、Ｚ軸は、１以上の基準点（reference point）からの奥行き位置を表す。例えば、ディスプレイは、各ディスプレイの光軸（図２Ｂの下の１４２参照）の交点等、各ディスプレイ１４ｌ、１４ｒの基準点を使用することができる。さらに、ディスプレイ視野はまた、オブジェクトを識別し、関連画像データを取り出すために有用である環境のビュー非依存の座標（view independent coordinate）においてマッピングされ得る。関連画像データは、次いで、画像データのユーザの視点を大まかに表すために、ビュー依存の座標において、表示のために方向付けられる。

図１の例示した実施形態において、１以上のコンピュータ・システム１２及びポータブル・ニアアイ・ディスプレイ・デバイス・システム８はまた、１以上の３Ｄ画像キャプチャ・デバイス２０へのネットワーク・アクセスを有する。３Ｄ画像キャプチャ・デバイス２０は、１人以上のユーザにより実行されるジェスチャ及び動きに加えて、サーフェス及びオブジェクトを含む周囲空間の構造が、キャプチャ、解析、及び追跡され得るように、例えば、１人以上のユーザ及び周囲空間を視覚的にモニタリングする１以上のカメラとすることができる。画像データ及び奥行きデータは、１以上の３Ｄ画像キャプチャ・デバイス２０によりキャプチャされた場合、ある位置にある１以上のニアアイ・ディスプレイ・デバイス・システム８の１以上のキャプチャ・デバイス１１３によりキャプチャされたデータを補足することができる。１以上のキャプチャ・デバイス２０は、ユーザ環境内に位置する１以上の奥行きカメラとすることができる。

図１Ｃは、ＮＥＤデバイス・システム８がニアアイ・ディスプレイ・デバイス２上に組み込まれている、付属処理モジュール４を含まないＮＥＤデバイス・システムの別の実施形態の例示的なコンポーネントを示すブロック図である。この実施形態において、ディスプレイ・デバイス２の制御回路１３６は、付属処理モジュール４が図１Ａにおいて提供する機能を組み込んでおり、通信ネットワーク５０を介し、通信モジュール（図２Ａの通信モジュール１３７参照）を経由して、近くに位置する、あるいはリモート位置にある１以上のコンピュータ・システム１２と、ある位置又は環境にある他のＮＥＤシステム８と、利用可能である場合にはその環境にある３Ｄ画像キャプチャ・デバイス２０と、に通信することができる。

図２Ａは、光学的シースルーＡＲディスプレイを有し、ハードウェア・コンポーネント及びソフトウェア・コンポーネントのためのサポートを提供する眼鏡として具現化されているＮＥＤデバイスの一実施形態におけるフレームの眼鏡テンプルの側面図である。例えば、カメラといった、少なくとも２つの物理環境対面画像キャプチャ・デバイス（physical environment facing capture device）１１３のうちの１つが、フレーム１１５の前方に存在する。画像キャプチャ・デバイス１１３は、少なくともシースルー・ディスプレイのディスプレイ視野内、したがって、ユーザの視野内の現実オブジェクトをマッピングするために、現実世界のビデオ及び静止画像等の画像データを、通常は色でキャプチャすることができる。いくつかの実施形態において、キャプチャ・デバイスは、赤外（ＩＲ）光、又は紫外線等の可視光スペクトル外の他のタイプの光に対して感度が高いものであり得る。画像は、暗視アプリケーション等のアプリケーションによる表示のために、キャプチャされたデータに基づいて生成され得る。

キャプチャ・デバイス１１３はまた、ユーザの頭部から外側に面しているという意味で、外側対面キャプチャ・デバイス（outward facing capture device）とも呼ばれる。任意的に、３Ｄマッピングのために使用することができる、ユーザの環境内の現実オブジェクトの画像データもキャプチャする外側対面サイド・キャプチャ・デバイスが存在してもよい。キャプチャ・デバイス１１３はまた、ユーザの頭部から外側に面しているという意味で、外側対面面キャプチャ・デバイスとも呼ばれる。図示したキャプチャ・デバイスは、それぞれのディスプレイ光学系１４の基準点に関して較正される、前方対面キャプチャ・デバイス（front facing capture device）である。そのような基準点の一例は、それぞれのディスプレイ光学系１４の光軸（図２Ｂの１４２参照）である。較正により、キャプチャ・デバイス１１３によりキャプチャされたデータからディスプレイ光学系１４のディスプレイ視野を決定することが可能となる。

いくつかの例において、画像キャプチャ・デバイス１１３はまた、奥行きに対して感度が高いものであり得る。例えば、画像キャプチャ・デバイス１１３は、奥行きデータを決定することができる赤外光を送信及び検出する奥行きセンシティブ・カメラ（depth sensitive camera）とすることができる。他の例において、フレーム１１５前方の、又はサイド・キャプチャ・デバイスが使用される場合にはそのサイドの別の奥行きセンサ（図示せず）がまた、ディスプレイ視野内のオブジェクト及び他のサーフェスに対する奥行きデータをキャプチャ及び提供してもよい。奥行きデータ及び画像データは、ディスプレイ視野を含むよう較正される画像キャプチャ・デバイス１１３のキャプチャされた視野の奥行きマップを形成する。ディスプレイ視野の３次元（３Ｄ）マッピングが、奥行きマップに基づいて生成され得る。

いくつかの実施形態において、物理環境対面キャプチャ・デバイス１１３は、立体視（stereopsis）に基づいて、画像データ内のオブジェクトの奥行き情報を決定することができるオーバーラッピング画像データ（overlapping image data）を提供する。視差、及び色等の明暗特徴（contrasting feature）を使用して、現実オブジェクトの相対位置を決定することもできる。

制御回路１３６は、ヘッド・マウント・ディスプレイ・デバイス２の他のコンポーネントをサポートする様々なエレクトロニクスを提供する。この例において、右のサイド・アーム１０２は、処理ユニット２１０と、プロセッサ読み取り可能な命令及びデータを記憶するための、処理ユニット２１０がアクセス可能なメモリ２４４と、処理ユニット２１０に通信可能に接続される通信モジュール１３７と、制御回路１３６のコンポーネント、並びに、キャプチャ・デバイス１１３、マイクロフォン１１０、及び以下で説明するセンサ・ユニット等の、ディスプレイ・デバイス２の他のコンポーネントに電力を供給する電源２３９と、を含む、ディスプレイ・デバイス２の制御回路１３６を含む。処理ユニット２１０は、中央処理ユニット（ＣＰＵ）及びグラフィックス処理ユニット（ＧＰＵ）を含む１以上のプロセッサを備えることができ、別の付属処理モジュール４のない実施形態では特に、少なくとも１つのグラフィックス処理ユニット（ＧＰＵ）を含む。

オーディオ出力デバイスの一例としてのイヤフォンのセット１３０のうちの１つのイヤフォンと、１以上の慣性センサを含む慣性検出ユニット１３２と、１以上の位置センサ又は近接センサを含む位置検出ユニット１４４と、が、サイド・アーム１０２内部に設けられる、あるいはサイド・アーム１０２に搭載される。位置検出ユニット１４４のいくつかの例は、ＧＰＳトランシーバ、赤外線（ＩＲ）トランシーバ、又はＲＦＩＤデータを処理するための無線周波数トランシーバである。一実施形態において、慣性検出ユニット１３２は、慣性センサとして、３軸磁力計、３軸ジャイロ、及び３軸加速度計を含む。慣性センサは、ヘッド・マウント・ディスプレイ・デバイス２の位置、向き、及び突然の加速を検出するためのものである。このような検出された動きから、ユーザの視点における変化及び画像データがユーザの視点とともに追跡するために更新されるディスプレイ視野における変化を示す頭部の位置、したがって、ディスプレイ・デバイスの向きがまた、決定され得る。この実施形態において、そのオペレーションにおいてアナログ信号を処理するユニット又はデバイスの各々は、制御回路を含む。この制御回路は、デジタル処理ユニット２１０及びメモリ２４４とデジタルでインタフェースを取り、それぞれのデバイスのために、アナログ信号を生成又は変換する、あるいはアナログ信号を生成及び変換する。アナログ信号を処理するデバイスのいくつかの例は、位置検出ユニット及び慣性検出ユニット、イヤフォン１３０に加えて、マイクロフォン１１０、キャプチャ・デバイス１１３、及び、各眼のディスプレイ光学系１４ｌ及び１４ｒのためのそれぞれのＩＲ照明源１３４Ａ及びそれぞれのＩＲ検出器１３４Ｂである。

ユーザの頭部の位置の追跡、及び少なくともディスプレイ視野の３Ｄマッピングは、どの画像データを異なる体験でユーザに提示すべきかを判定するために使用される。そのような体験として、ＮＥＤデバイス・システム８若しくはネットワーク・アクセス可能なコンピュータ・システム１２又はそれらの組合せの１以上のプロセッサによる、拡張現実、仮想現実、及び暗視等がある。

この実施形態において、画像生成ユニット１２０は、１以上の現実オブジェクトとインタラクトすることができる仮想オブジェクトの現実的な焦点３次元ディスプレイ（in-focus three dimensional display）を提供するディスプレイ視野内の指定された奥行き位置に見えるように、仮想オブジェクトを表示することができる。いくつかの例において、仮想的特徴の画像の焦点部分の複数の画像又は合成画像の急速な表示が、表示仮想データを異なる焦点領域において見えるようにするために、使用され得る。

図２Ａの例示した実施形態において、画像生成ユニット１２０は、レンズ・システム等の、マイクロディスプレイ及び結合光学素子（coupling optic）を含む。この例において、マイクロディスプレイにより出力される画像データは、反射面又は反射エレメント１２４に向けられる。反射面又は反射エレメント１２４は、画像生成ユニット１２０からの光を、ディスプレイ・ユニット１１２（図２Ｂ参照）に光学的に結合し、ディスプレイ・ユニット１１２は、デバイス２がユーザにより装着されたとき、画像を表す光を、ユーザの眼に向かわせる。

図２Ｂは、ＮＥＤデバイスのディスプレイ光学系の一実施形態の上面図である。ディスプレイ光学系１４のコンポーネントを示すために、この右眼用の１４ｒの場合、ディスプレイ光学系を取り囲むフレーム１１５の一部は、図示されていない。この実施形態において、ディスプレイ１４ｌ及びディスプレイ１４ｒは、光学的シースルー・ディスプレイであり、各ディスプレイは、２つのオプションのシースルー・レンズ１１６及び１１８間に図示されたディスプレイ・ユニット１１２を含み、ハーフ・ミラー、格子、及び画像生成ユニット１２０からの光をユーザの眼１４０に向かわせるために使用することができる他の光学エレメント等の１以上の光学エレメントを表す代表反射エレメント１３４Ｅを含む。矢印１４２は、ディスプレイ光学系１４ｒの光軸を表す。光学的シースルーＮＥＤのディスプレイ・ユニット１１２の一例は、導光光学エレメント（light guide optical element）を含む。導光光学エレメントの一例は、平面導波管（planar waveguide）である。

光学的シースルー拡張現実の実施形態において、ディスプレイ・ユニット１１２により、ニアアイ・ディスプレイ（ＮＥＤ）デバイス２の前方からの光が眼１４０により受け入れられることが可能となり得、それにより、ユーザが、画像生成ユニット１２０からの仮想的特徴の画像を見ることに加えて、ＮＥＤデバイス２の前方の空間の実際の直接的ビュー（actual direct view）を有することが可能となるように、ディスプレイ・ユニット１１２もまたシースルーである。「実際の直接的ビュー」という用語の使用は、オブジェクトの作成された画像表現を見るのではなく、人間の眼で現実世界オブジェクトを直接見る能力を指す。例えば、眼鏡を通して部屋を見ることにより、ユーザは、部屋の実際の直接的ビューを有することが可能となるのに対し、テレビジョン上で部屋のビデオを見ることは、部屋の実際の直接的ビューではない。

いくつかの実施形態において、各ディスプレイ・ユニット１１２はまた、任意的に、統合眼追跡システムを含んでもよい。例えば、赤外線（ＩＲ）照明源が、各ディスプレイ・ユニット１１２に光学的に結合され得る。可視光を眼に向かわせる１以上の光学エレメントはまた、ＩＲ照明を眼に向かわせることができ、眼からＩＲカメラ等のＩＲセンサへＩＲ反射を向かわせることができるという意味で、双方向的であり得る。瞳孔の位置が、各眼について、キャプチャされたそれぞれのＩＲセンサ・データから識別され得、眼モデル、例えば、Ｇｕｌｌｓｔｒａｎｄ眼モデルと、瞳孔の位置と、に基づいて、近似された窩の位置から伸びる各眼の注視線（gaze line）が、決定され得る。ディスプレイ視野内の注視点（point of gaze）が識別され得る。注視点におけるオブジェクトが、注目オブジェクトとして識別され得る。注視点周囲のユーザ焦点領域が、人間の視覚パラメータ（human vision parameter）に基づいて識別され得る、あるいは、人間の視覚パラメータに基づいて以前に決定された予め定められた距離に基づいて識別され得る。

この実施形態において、ディスプレイ・ユニット１１２は、ディスプレイの一部として動作する平面導波管を含み、また、眼追跡を統合する。代表反射エレメント１３４Ｅは、ミラー、格子、及び画像を表す可視光を平面導波管からユーザの眼１４０に向かわせる他の光学エレメント等の１以上の光学エレメントを表す。この実施形態において、代表反射エレメント１３４Ｅはまた、眼追跡システムの一部として、赤外光の双方向反射を行う。赤外線照明及び反射はまた、通常はユーザの瞳孔であるユーザの眼の位置及び動きを追跡するための眼追跡システム１３４の平面導波管を横切る。各動きはまた、まばたき（blink）を含み得る。眼追跡システム１３４は、眼追跡ＩＲ照明源１３４Ａ（赤外線発光ダイオード（ＬＥＤ）又はレーザ（例えば、ＶＣＳＥＬ））及び眼追跡ＩＲセンサ１３４Ｂ（例えば、ＩＲカメラ、ＩＲ光検出器の構成）を備える。代表反射エレメント１３４Ｅとともに波長選択フィルタ１３４Ｃ及び１３４Ｄが、双方向赤外（ＩＲ）フィルタリングを実施し、これが、好ましくは、光軸１４２の周りに集中して、ＩＲ照明を眼１４０に向かわせ、好ましくは、光軸１４２の周りでキャプチャされた反射を含むＩＲ反射をユーザの眼１４０から受け、この反射が、導波管からＩＲセンサ１３４Ｂに向けられる。

他の統合眼追跡ディスプレイの実施形態において、例えば、自由曲面プリズム（free form prism）といったプリズムが、ディスプレイ・ユニット１１２の一部を形成する。画像生成ユニット１２０及び眼追跡ＩＲ照明源１３４Ａからの画像データを表す光が、プリズムに光学的に結合される。プリズムの一例は、ウェッジ光学素子（wedge optic）である。眼からの反射が、プリズムを介してキャプチャされ、眼追跡ＩＲセンサ１３４Ｂに光学的に結合される。

他の実施形態において、眼追跡ユニット光学素子は、ディスプレイ光学素子と統合されない。ＨＭＤデバイスの眼追跡システムのさらなる例については、Kranzらの２００８年７月２２日に発行された「Head Mounted Eye Tracking and Display System」と題する米国特許７４０１９２０号、Lewisらの２０１１年８月３０日に出願された「Gaze Detection in a See-Through, Near-Eye, Mixed Reality Display」と題する米国特許出願番号１３／２２１７３９号、及びBohnの２０１１年９月２６日に出願された「Integrated Eye Tracking and Display System」と題する米国特許出願番号１３／２４５７００号を参照されたい。

導光光学エレメント１１２と整列している不透明フィルタ１１４は、自然光がディスプレイ・ユニット１１２を通過することを選択的にブロックすることにより、現実世界ビュー（real world view）に対する画像データのコントラストを高める。不透明フィルタは、仮想オブジェクトの画像が、より現実的に見え、色及び強度のフル・レンジを表すのを支援する。この実施形態において、不透明フィルタの図示せぬ電気制御回路が、制御回路１３６から、フレームを経由して通っている電気接続を介して、命令を受信する。不透明フィルタのさらなる詳細は、２０１０年９月２１に出願された「Opacity Filter For See-Through Mounted Display」と題する米国特許出願番号１２／８８７４２６号において提供されている。

再度、図２Ａ及び図２Ｂは、ヘッド・マウント・ディスプレイ・デバイス２の半分を示している。図示した実施形態では、完全なヘッド・マウント・ディスプレイ・デバイス２は、別のディスプレイ光学系１４を含み得る。別のディスプレイ光学系１４は、オプションのシースルー・レンズ１１６及び１１８の別のセット、別の不透明フィルタ１１４、別の導光光学エレメント１１２に加えて、別の画像生成ユニット１２０、別の外側対面キャプチャ・デバイス１１３、眼追跡システム１３４、及び別のイヤフォン１３０を有する。いくつかの実施形態において、各眼についてのディスプレイ光学系ではなく、両眼により見られる連続的ディスプレイ（continuous display）が存在してもよい。いくつかの実施形態において、単一の画像生成ユニット１２０が、両眼により見られる連続的ディスプレイに光学的に結合されてもよいし、眼のための別々のディスプレイに光学的に結合されてもよい。ヘッド・マウント・パーソナルＡ／Ｖ装置のさらなる詳細は、２０１０年１０月１５日に出願された「Fusing Virtual Content Into Real Content」と題する米国特許出願番号１２／９０５９５２号において示されている。

図２Ｃは、ＮＥＤシステムによりデータを受信するために、あるいは別のコンピュータ・システムによりＮＥＤシステムへデータを送信するために使用することができる通信モジュールの一実施形態のブロック図である。有線であるか又は無線である通信媒体に応じて、通信モジュール２５０は、有線通信又は無線通信を処理するよう具現化され得、場合によっては、含まれるアンテナ及びインタフェース回路の両方次第である。通信モジュール２５０は、制御回路１３６内に具現化されるコンピュータ・システム又は付属処理モジュール４内に具現化されるコンピュータ・システム等の、ＮＥＤシステムのコンピュータ・システムに通信可能に接続し、そのようなコンピュータ・システムに／からデータを伝送するための機能を提供する。例えば、通信モジュール１３７は、通信モジュール２５０の実施形態の機能を具現化することができる。別のＮＥＤシステム８又はネットワーク・アクセス可能なコンピュータ・システム１２等のコンピュータ・システムが、図２Ｃの実施形態等の通信モジュールを含んでもよい。そのような機能のいくつかの例は、１以上の規格又はプロトコル、及び誤り訂正技術に従って伝送のためにデータを符号化するとともに受信データを復号化することや、データを信号に変調し信号からデータを復調すること等の通信技術と、チャネルについてネゴシエートすることや衝突を解決すること等の通信管理アクティビティと、を含む。

図示した通信モジュールの実施形態は、通信管理モジュール１２３と、１以上のアンテナ１１９と、入力データ及び出力データのための１以上のデータ・バッファを含むメモリ１２１と、を含む。通信管理モジュール１２３は、画像データの受信及び送信を識別するために、ＮＥＤシステム８の１以上のプロセッサと通信する。無損失伝送基準は、通信モジュール２５０のためにメモリ１２１に記憶されてもよいし、通信可能に接続されたプロセッサからダウンロードされてもよい。通信管理モジュール１２３は、１以上のエンコーダと１以上のデコーダとを備え、画像データが無損失伝送のために処理されているか、あるいは損失許容伝送のために処理されているかに基づいて、エンコーダ及びデコーダに命令を提供する。例えば、命令は、順方向誤り訂正（ＦＥＣ）コード等の誤り訂正技術のための所定のヘッダ・ビットを設定するかどうかと、冗長データを含めるか否かと、を示すことができる。ビット密度は、注目点からの画像データの距離に基づいて変わり得るので、通信管理モジュール１２３は、変調器及び復調器に命令を提供する。例えば、以下においてユーザ焦点領域画像データと呼ばれるユーザ焦点領域内に表示するための画像データについて、ビット誤り率が無損失伝送基準を満たす１以上の通信チャネルの雑音特性に基づいて推定されるビット誤り率を提供するために選択されたビット・ツー・シンボル密度（bit-to-symbol density）とともに、コンステレーション符号化スキームが割り当てられ得る。

様々なチャネル状態が、ビット誤り率に影響を及ぼし得る。ビット誤り率は、管理部１２３によりテスト・パターンを用いて測定され得る、あるいは、検出された雑音レベルに基づいて推定され得る。１以上の雑音低減技術、誤り訂正技術、及び変調技術が、通信管理部１２３により選択及び適用されてもよいし、１以上の雑音低減技術、誤り訂正技術、及び変調技術が、ＮＥＤシステム８の１以上のプロセッサ（例えば、付属処理モジュールの９０２等の処理ユニット）により選択され、この選択が、通信管理部１２３に送信され、無損失伝送基準内のビット誤り率をもたらすために、通信管理部１２３により適用されてもよい。様々な無損失伝送基準が、様々な通信媒体に適用され得る。有線接続は、通信媒体の１つのタイプである。無線接続は、通信媒体の１つのタイプである。例えば、ツイスト・ペア等の異なるケーブル・タイプ又はＨＤＭＩ（登録商標）といった異なるタイプの有線接続が存在し、ＩＥＥＥ８０２．１１ファミリにおける無線プロトコルのような、無線接続のために適用され得る異なる無線プロトコルが存在する。

本技術は、自然な人間の視野の分解能限界を利用して、伝送されるデータの量を低減させ、人間の眼により知覚される可能性が低い画像データの無損失伝送を確実にする通信技術を回避して時間を節約する。人間の眼は、人間の網膜上で受けられている、所定の波長帯域の光の反射により、「見る」。窩は、網膜の中央にある。窩に到達する光を反射するオブジェクトが、最高のシャープネスで、あるいは人間の視野のための詳細の明瞭さをもって見られる。このタイプの明瞭な視覚（clear vision）は、中心視覚（foveal vision）と呼ばれる。両眼を用いる通常の場合では、人間の眼の注視点若しくは注目点又は注目オブジェクトは、光が反射されて各眼の窩の中央に戻るものである。注目オブジェクトの一例は、本のページ上の単語である。読者がページを見るとき、一般に、注目単語の周囲の複数の単語も明瞭に見える。複数の単語は、注視点を含むユーザ焦点領域内に存在し、ユーザ焦点領域において、オブジェクトは、シャープ又は明瞭に見える。これは、時折単一視覚（single vision）によるものと呼ばれる。

パーヌム融合（Panum’s fusional）として知られているボリューム（volume）は、人間の眼が単一視覚でオブジェクトを見るボリュームである。人間は、両眼視覚又は立体視覚を有する。各眼は、異なる視点から画像を生成する。パーヌム融合領域のこの小さなボリュームにおいてのみ、人間は、単一視覚でオブジェクトを見る。これは、一般に、オブジェクトに焦点が当てられていると言えるときを意味するものである。この領域外では、オブジェクトは、ぼやけて見えることがある、あるいは二重像として見えることさえある。パーヌム融合領域の中央内にあるのが、ユーザの眼の注目点又は注視点を含むホロプタ（Horopter）である。ユーザが空間内のある点に焦点を当てているとき、空間内のその点は、曲線上に位置する。空間内のこの曲線上のオブジェクトは、窩において眼の網膜に位置する。この曲線は、時折、水平ホロプタ（horizontal horopter）と呼ばれる。注視点の上にある眼から曲線上の注視点の下にある眼に向かって遠ざかるように傾く曲線を介した線である垂直ホロプタ（vertical horopter）も存在する。以下で使用される用語ホロプタは、その垂直成分及び水平成分の両方を指す。

眼球は、しばしば、Ｇｕｌｌｓｔｒａｎｄモデル等、球形状又は半球形状としてモデル化されるので、網膜上の領域のサイズは、しばしば、度若しくはラジアン単位、又は角度測定値で表される。以下において窩と呼ばれる中心窩は、網膜の中心にあり、２度より小さく、例えば、１．２度である。しかしながら、窩は、人間が、他の生物よりも広範な範囲の色を知覚することを可能にし、桿体細胞が提供するよりも、奥行きを含む詳細及び詳細な変化の正確な知覚を可能にする最高密度の錯体細胞を有する。桿体細胞は、網膜上の窩外に存在し、網膜上の錯体細胞の数を大幅に上回る。桿体細胞は、網膜のより広い視野から光を取り込むが、可視光に対する感度は、錯体細胞よりも著しく低い。しかしながら、桿体細胞は動きに対して敏感である。人が、「自分の眼の隅から」何かを見るとき、それは、桿体細胞の感度によるためである。まとめると、錯体細胞は、桿体細胞よりも高い分解能の画像を脳に提供する。網膜の中央にある窩から、錯体細胞の量は低減し、桿体細胞の数は増加する。その結果、人間は、各眼の窩の中心から角距離離れる詳細を知覚する。例えば、窩に近づくと、眼の角度分解能（angular resolution）は、上述したように１分（arcmin）程度である。中心窩から約８度ずれると、眼の自然な角度分解能は、２分を下回る半分だけ低下する。中心窩から約１５度ずれると、眼の分解能は、さらに半分だけ、例えば、窩の分解能の４分の１に低下する。

窩に到達する光の人間の眼の分解能は、およそ１分である。例えば、窩の１分の分解能により、ユーザは、ページ上のテキストを読むことが可能となる。６０×６０度のディスプレイ視野にわたる１分の分解能を実現するために使用される帯域幅の意味を与えるために、次の例が提示される。デュアル１０８０ｐビデオ・ストリームは、毎秒５．６ギガビット（５．６Ｇｂｐｓ）の通信帯域幅を用いて、毎秒６０フレーム（６０ｆｐｓ）及びピクセル当たり２４ビット（２４ｂｐｐ）で送信される。これは、ＵＳＢ３．０の能力を超えるものであり得、非常に新しい高速通信標準である。１分の分解能での６０×６０度のディスプレイ視野をカバーするために、３４Ｇｂｐｓという付随するデータ転送速度とともに、驚くべき３６００×３６００ピクセル解像度が使用される。単一の銅ケーブル・ペアを介して５Ｇｂｐｓのデータを超えるデータを送信する挑戦は意義がある。

以下のフローチャートは、画像データが表示されることになるディスプレイ視野内の注目点からの距離に基づいて、受信画像データをどのように送信及び処理するかを判定することにより、ディスプレイ更新時間を低減させる方法の実施形態を提供する。図８Ａ及び図８Ｂで説明する実施形態において、画像データが表示されることになる、注目点周りに集中した領域の観点で、距離を決定することができる。他の手法により、より段階的な形又は継続的な形で伝送品質基準を低減することが可能となる。

図３Ａは、送信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の一実施形態のフローチャートである。ＮＥＤデバイスに通信可能に接続された送信側コンピュータ・システムの一例は、付属処理モジュール４内に具現化されたコンピュータ・システムである。別の例において、送信側コンピュータ・システムは、図示したネットワーク・アクセス可能なコンピュータ・システム１２（例えば、ゲーム・コンソール又はクラウドベースのゲーム・サービスのコンピュータ・システム）等、ＮＥＤデバイス・システム８からリモートにあってもよい。ステップ２５２において、ＮＥＤに通信可能に接続されたコンピュータ・システムは、注目点からディスプレイ視野内に表示するための画像データまでの、ニアアイ・ディスプレイ視野における距離ベクトルを識別する。

距離は、画像データの再分割部分（subdivision）の各々について測定することができる。例えば、ピクチャ・エレメント、ディスプレイ・ユニット１１２のピクセル等の特定のディスプレイ領域により投影される画像データ・セグメントの中心からの距離を測定することができる。別の例において、距離は、例えば、バスケットボール・コート・シーンの３Ｄマッピングの座標における表示されたバスケットボールの中心等、画像データにより表されるオブジェクトの中心に対するものであってもよい。ステップ２５４において、注目点からの距離に基づいて、送信側コンピュータ・システムは、表示されることになる画像データの少なくとも一部が、低知覚基準を満たす損失許容データとして適しているかどうかを判定する。ステップ２５６において、注目点からの距離と、低知覚基準と、に基づいて、送信側コンピュータ・システムは、表示されることになる画像データの少なくとも一部が、低知覚基準を満たさない無損失優先データとして適しているかどうかを判定する。いくつかの例において、距離ベクトルを使用して、各眼について、交点まで戻るディスプレイ視野内の画像データの位置を、近似される網膜位置（例えば、１４３ｌ及び１４３ｒ）に関連付ける。交点から近似される中心窩までの角距離ベクトルが、低知覚基準へのより良い関連付けのために決定され得る。

低知覚基準は、予め定められており、色、構造、及び輝度を決定するための確立された人間の視覚基準（human vision criteria）に基づく。例えば、そのような人間の視覚基準は、人間の網膜上の錯体細胞及び桿体細胞分布のモデルに基づき得る。低知覚基準の一例は、ディスプレイ視野内に投影される画像データからの光が、網膜上で窩から所定の角距離にあることである。

注目点からの距離部分は、低知覚基準が満たされるかどうかを判定する際に、大きく重み付けされ得る。画像データは、ディスプレイ視野のエッジの近くにあり得るので、方向もまた、大きな重み付けを受け入れ得る。一般に、画像データが注目点に近いほど、その画像データは、無損失優先画像データとして適している可能性が高く、画像データが注目点から遠くなるほど、画像データは、損失許容画像データとして適している可能性が高い。一般に、以下でさらに説明するように、注目点を取り囲む画像焦点領域内のより多くのデータが、ユーザ焦点領域外に表示するための画像データよりも、無損失優先データとして適している。しかしながら、場合によっては、ユーザ焦点領域内に含まれる、注目点に十分近い画像データであっても、伝送からカットされる所定の低位ビットを有する場合がある。というのは、ユーザ焦点領域内であっても、低位ビットは低知覚基準を満たさないからである。データが周囲の色データに非常に近く、注目オブジェクトが、眼及びおそらくはニアアイ・ディスプレイの色解像度を超えるように、ディスプレイ視野内で十分遠く離れているので、色のためのワード・サイズの最下位ビットの低い数、例えば、２ビットは、損失伝送を用いて送信されることが許容され得る。

ステップ２５８において、損失許容データとして適している画像データの少なくとも一部に応じて、コンピュータ・システムは、損失伝送を許容する１以上の通信技術を用いて、損失許容データを送信し、ステップ２６０において、無損失伝送基準を満たす１以上の通信技術を用いて、損失許容画像データとして適していない画像データである無損失優先画像データを送信する。

図３Ｂは、ＮＥＤデバイス・システムの受信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の一実施形態のフローチャートである。上記で示したように、ＮＥＤデバイス・システムの受信側コンピュータ・システムの例は、処理ユニット２１０と、メモリ２４４と、通信モジュール１３７と、を備える制御回路１３６のハードウェア・コンポーネント及びソフトウェア・コンポーネント、又は付属処理モジュール４内に具現化されるコンピュータ・システムであり得る。

ステップ２６２において、受信側コンピュータ・システムは、通信可能に接続されたコンピュータ・システムから、画像データを受信し、ステップ２６４において、無損失伝送基準を満たす１以上の通信技術を用いて送信された、受信されている画像データ内の無損失優先画像データを識別する。ステップ２６６において、受信側コンピュータ・システムは、無損失伝送基準を満たすよう使用された１以上の通信技術に基づいて、無損失優先画像データを取り出す。

ステップ２６８において、受信側コンピュータ・システムは、受信されている画像データ内の損失許容データを識別し、ステップ２７０において、損失伝送を許容するよう使用された１以上の通信技術に基づいて、損失許容画像データを取り出す。ステップ２７２において、ＮＥＤデバイスは、ＮＥＤデバイスのディスプレイ視野内に、無損失優先画像データ及び損失許容画像データを表示する。

上述したように、眼追跡データは、窩の位置を近似するために使用することができる注視点を識別し得る。ユーザ焦点領域は、近似された光が、近似された窩の位置又は近似された窩の中心のある角距離内に含まれる、空間内の領域として識別され得る。例えば、上述した８度の近似を用いると、窩の中心の８度内の領域における画像データは、ユーザ焦点領域内に含まれる。セカンダリ領域（secondary region）もまた識別され得る。「セカンダリ」は、そのような領域がユーザ焦点領域内にはないことを示すために使用される。ユーザ焦点領域の画像データは、最重要なものである、あるいは、ユーザが自然に見ることができない、セカンダリ領域の画像データよりも優先度が高い。

指定された領域内の注目点又は位置からの距離に基づいて画像データの解像度を変化させることに加えて、その距離又は関連領域に基づいて、異なるディスプレイ更新速度が適用され得る。例えば、セカンダリ領域内のデータは、毎秒３０フレームで更新され得るのに対し、ユーザ焦点領域内のデータは、毎秒６０フレームで更新される。

さらに、サービス品質（ＱｏＳ）インジケータが、画像の再分割部分ごとに、例えば、記憶される画像データの一部としてピクセル又はボクセルで、記憶され得る。したがって、ＱｏＳインジケータを使用して、画像データにおける優先度、量、及び再分割部分の許容データ損失のタイプを識別することができる。例えば、輝度よりも色に関して許容されないデータ損失が存在し得る。１つのＱｏＳバケット（QoS bucket）に量子化されたピクセルは、眼がどのように機能するかに基づいて、画像の１つの領域に集まる。さらに、異なるＱｏＳ数又はインジケータが、ビットが低知覚基準を満たすか否かを判定する際に送信側コンピュータにより使用され得るピクセルに関連付けられた各ビットについて記憶され得る。そのようなアプローチの結果は、低優先度ビットの損失が高いほど、画像データは注目点から遠くなるが、それでも、その画像データのより高い優先度ビットの高画像品質を得る、ということであり得る。異なる伝送処理を示す１以上のＱｏＳインジケータの値は、無損失伝送基準の一部であり得る。

図４Ａは、ディスプレイ・デバイス２を装着しているユーザ周囲の空間の３Ｄマッピングにおける、仮想オブジェクトの３次元（３Ｄ）空間位置の一例を示している。３Ｄ空間位置は、オブジェクトがどれくらい空間を占有しているかと、空間を占有した３Ｄディスプレイ視野内のどこに配置されているかと、を識別する。例示的なコンテキストは、ユーザが敵ヘリコプタ２０２を撃墜するゲームである。（現実オブジェクト及び仮想オブジェクトのマッピングについては、図５を参照してより詳細に説明する。）

図４Ａのヘリコプタ２０２が、人間の中心視覚のための角度分解能１分を満たすためにディスプレイにより使用される解像度で示されている。尾部及び尾部ロータを有するヘリコプタ２０２ａは、この例においてはユーザ焦点領域外のデフォルト領域である第３の領域３０１及びユーザ焦点領域外の第２の領域内の上方左のディスプレイ視野にある。ヘリコプタ２０２ｂは、中央からちょうど上の右のディスプレイ視野からディスプレイ視野の中央に向かうわずかに下方の軌道上にあり、ディスプレイ視野の中央において、ヘリコプタ２０２ｃは、ユーザに向かって真っすぐに進んでおり、ヘリコプタ２０２ｃは、網膜１４３ｌ及び網膜１４３ｒ上の窩から伸びる注視線７０１ｌ及び注視線７０１ｒにより示される現在の注目オブジェクトである。これらの仮想ヘリコプタ２０２は動いており、ユーザは、ヘリコプタを撃墜するために自分の頭部を動かしている可能性がかなり高いので、画像データは、リアルタイムに３次元で更新されている。

人間の視覚の限界に起因して、図示するヘリコプタが全て、ユーザ焦点領域１０１に含まれないとき、ユーザは、そのようなディスプレイ解像度で、図示するヘリコプタ全てを自然に解像することはないであろう。ＮＥＤデバイス・システムは、人間の網膜に沿った知覚分解能の差異を利用することができる。図４Ｂとともに使用される図４Ａは、ユーザ焦点領域外の第２の領域における中央画像解像度レベル又は中間画像解像度レベルを含むより低い画像解像度レベルと、ユーザ焦点領域画像データ外のユーザ焦点領域画像データからより遠い第３の領域３０１の低画像解像度レベルと、の例を示している。ＱｏＳもまた、ここにおいて、画像データの再分割部分のために記憶されたＱｏＳ及び各ビットについて記憶されたＱｏＳが、より低い解像度レベルにあってもビットが損失許容可能であり得るチェック又は限界として動作するという点で、結び付けられ得る。

図４Ａはまた、ユーザ焦点領域１０１と、セカンダリ領域２０１及び３０１と、の例を示している。図示した例において、それぞれの眼からの注視線７０１ｌ及び注視線７０１ｒが近似される眼追跡データに基づいて、注視点が決定される。注視線は、眼の窩からディスプレイ視野への視線の近似を表す。両方の注視線が交わる場所が注視点であり、注視点は注目点の一例である。ユーザ焦点領域は注視点を含む。左眼１４０ｌに関して、注視線７０１ｌは、網膜１４３ｌ上の中心からわずかに左にずれている窩６９９ｌからディスプレイ視野に伸び、ヘリコプタ２０２ｃに伸びる。右眼１４０ｒに関して、注視線７０１ｒは、網膜１４３ｒ上の中心からわずかに右にずれている窩６９９ｒからディスプレイ視野に伸び、ヘリコプタ２０２ｃに伸びる。異なる実施形態は、モデル化技術を使用して、ディスプレイ視野内のパーヌム融合領域及びホロプタを識別する。現在の例のような他の実施形態は、人間の視覚を研究する分野からの周知の近似を使用することができる。

説明を続ける前に、図面は縮尺通りに描かれていないことに留意されたい。図４Ａのこの例において、注視点を含むユーザ焦点領域は、４つの線７０２ｌａ，７０２ｌｂ，７０２ｒａ、及び７０２ｒｂにより特定される。この例では、線７０２ｌａは、網膜上で注視線７０１ｌと窩との交点の左に約８度の点からディスプレイ視野に伸びる線を表す。補完的に、線７０２ｌｂは、網膜上で注視線７０１ｌと窩との交点の右に約８度の点からディスプレイ視野に伸びる線を表す。同様に、線７０２ｒａは、注視線７０１ｒと窩との交点の左に約８度の網膜からディスプレイ視野に伸びる。線７０２ｒｂは、注視線７０１ｒと窩との交点の右に約８度の網膜からディスプレイ視野に伸びる。

線７０２ｌｂと線７０２ｒｂとの交点は、ユーザ焦点領域のディスプレイ視野における左の境界上の点を形成する。同様に、線７０２ｌａと線７０２ｒａとの交点は、ユーザ焦点領域のディスプレイ視野における右の境界上の点を形成する。この例において、球形の形状（geometry）は、ユーザ焦点領域１０１を特定するために使用され、左の境界点及び右の境界点は、球形の直径を表す。例えば、矩形、円形、３Ｄ矩形、正方形、又は立方体といった異なる形状が、設計選択事項として使用されてもよい。

またこの例において示されるように、第２の領域２０１も特定される。この領域では、表示のための画像データは、参照の目的のためセカンダリ画像データと呼ばれる。セカンダリ画像データは、ユーザ焦点領域外に表示するためのデータである。この例において、第３の領域３０１の画像データもまた、セカンダリ画像データと呼ばれる。この例において、第３の領域３０１は、ユーザ焦点領域外であるデフォルト領域であり、第２の領域は、ディスプレイ視野内にある。

線７０３ｌａが、網膜上で注視線７０１ｌと窩との交点の左に約１５度であり、線７０３ｌｂが、網膜上で注視線７０１ｌと窩との交点の右に約１５度であることを除いて、第２の領域もユーザ焦点領域と同様に特定される。右眼に関して、線７０３ｒａ及び線７０３ｒｂは、注視線７０１ｒと窩との交点のそれぞれ左に約１５度及び右に約１５度の網膜上の交点からディスプレイ視野に伸びる。線７０３ｌｂと線７０３ｒｂとの交点は、第２の領域のディスプレイ視野における第２の左の境界上の点を形成し、線７０３ｌａと線７０３ｒａとの交点は、第２の領域のディスプレイ視野における第２の右の境界上の点を形成する。これら第２の左の境界及び第２の右の境界を有し、ユーザ焦点領域を含む球形２０１、したがって、注視点は、第２の領域を表す。

人間の視覚は、周辺視野を含め約２００度まで広がり得るが、前述したディスプレイ視野は、そこまで広がり得ない。例えば、頭部のサイズと、眼鏡産業及びＨＭＤ分野からのその頭部の細部の眼のモデルと、に基づいて決定される、例えば、ＮＥＤデバイスの窩の近似された位置から、ディスプレイ視野は、３次元の各々において、約６０度、例えば、水平方向に６０度、垂直方向、及び奥行き方向に広がり得る。ユーザ焦点領域１０１及び第２の領域２０１は、約３０度のディスプレイ視野を表す。

上述したように、自然な視覚の分解能は、網膜上の窩から８度から１５度の間、半分だけ低下し、１５度以降についてさらに半分だけ低下する。この例において、ユーザ焦点領域は、１分の角度分解能を満たすディスプレイ解像度を有し、第２の領域は、約２分の角度分解能を満たす中央解像度を有し、第３の領域は、低解像度を有する。例えば、低解像度は、４分の角度分解能を満たし得る。いくつかの例において、第２の領域を超えるデータは、表示されさえしないこともある、あるいは、ディスプレイ更新速度制約を維持するために表示の最低優先度を有することもある。

図４Ｂは、ユーザ焦点領域内又はユーザ焦点領域外の位置に基づいて画像解像度を変えるＮＥＤデバイスにより表示されている仮想ヘリコプタの例を含むディスプレイ視野の一例を示している。ヘリコプタ２０２ａは、第３の領域にあるので、この例において、ユーザは、ユーザ焦点領域の自然な眼の角度分解能の４分の１で、ヘリコプタ２０２ａを見るであろう。ヘリコプタ２０２ａの画像データは、この眼の分解能を満たす低画像解像度で提示される。ヘリコプタ２０２ａの尾部ロータは、尾部と同様、領域を有する矩形形状ではなく、線である。ヘリコプタ本体の曲線は、くぼみ（indentation）を失い、チョッパ（chopper）の眼鏡のサイド部分のような境界楕円（bounding ellipse）により表される。上部ロータもまた、矩形ボリュームを有する全ての３つのロータではなく、線である。解像度の損失に加えて、その効果は、人間の眼により気付かれるものではないので、ロータは、この第３の領域の画像データについて、伝送において失われることが許容されるであろう。着陸装置の下の一部（piece）のみが線により表されている。ヘリコプタは、ユーザの眼が画像を取り込むであろう自然な解像度をさらに低減させるように動いている。

ヘリコプタ２０２ｂは、第２の領域及び第３の領域にまたがって表示されている。画像データのダウンサンプリングを使用して、中央解像度バージョン及び低解像度バージョンを得ることができる。第２の領域内の上部ロータは、より細くなっているが、それでも何らかの矩形領域を有する。ヘリコプタのコックピットの本体の境界の曲線又はくぼみは、流線形であるが、それでも、形状は、ユーザ焦点領域のボリュームを有している。コックピットの窓の境界は、ダウンサンプリングに起因して、ユーザ焦点領域の正確な湾曲を失っている。第３の領域に伸びる上部ロータの一部は、線として見え、上部モータのベースは、垂直方向に薄くなっている。第３の領域内の尾部及び尾部ロータは、第３の領域内のヘリコプタ２０２ａと同様に、線として表示されている。

ユーザ焦点領域内のヘリコプタ２０２ｃは、図４Ａと同一に見える。

図４Ｃは、ジェスチャがＮＥＤ視野内の注目点を示す、図４Ｂのヘリコプタの例の別のバージョンを示している。この例において、ヘリコプタ２０２ｃに対するポインティング・ジェスチャを実行する、人間の手３８５の人間の指３８７が検出される。オブジェクトに対するジェスチャを使用して、注目オブジェクトを識別することもできる。例えば、仮想オブジェクト又は現実オブジェクトは、指又はハンドヘルド・オブジェクトを用いて指し示すことができる、あるいはユーザは、現実オブジェクト又は仮想オブジェクトに対して、保持ジェスチャ又は把持ジェスチャを行うことができる。ユーザ焦点領域１０１と、セカンダリ領域２０１及び３０１と、が、各網膜１４３の近似された位置上の窩の近似された位置に基づいて識別され得る。例えば、網膜の位置は、ＮＥＤディスプレイ・デバイスの頭部のサイズと、人間の眼球のモデルと、に基づいて近似され得る。そのようなモデルの一例は、Ｇｕｌｌｓｔｒａｎｄ図式眼モデルである。ジェスチャが向けられるオブジェクト又はポイントの３Ｄマッピング座標から、ディスプレイ視野内のオブジェクト又はポイントの位置が、各光軸１４２がそのそれぞれのディスプレイ・ユニットとどこで交わり、次いで、そこを近似された網膜の位置上の１以上の交点に関連付けることができるか等、デバイス上の１以上の基準点に再度関連付けられ得る。他の例において、オブジェクト又は注目点が、その３Ｄマッピング座標により、再度、近似された網膜の各位置上の１以上の交点に直接関連付けられ得る。

この例において、近似された網膜の位置上の１以上の交点からの各距離もまた、図４Ａ及び図４Ｂの例とちょうど同じように使用して、セカンダリ領域を識別することができる。例示の目的上、指３８７により示されるユーザが指し示している、ディスプレイ視野内の点からの線７０１ｌ及び線７０１ｒとして示されている光線が、近似された網膜１４３の位置における交点に戻るよう跡をたどられ、注視線として効果的に動作する。

他の例において、アプリケーションのタイプに基づいて、注目点及びユーザ焦点領域が、画像データがディスプレイ視野内のどこに表示されるか判定されることに基づいて、識別され得る。すなわち、ユーザは、表示されている新たなデータ又はその動きパターンを変えるデータを見る傾向にあるので、ユーザ焦点領域は、ユーザが焦点をどこに動かすかの予測に基づいて選択される。ユーザ焦点領域を識別するこれらの方法のうち２以上の組合せが使用されてもよい。例えば、アップデート時間基準（update time criteria）内のディスプレイ更新時間を保つために、眼追跡データに基づいてユーザ焦点領域の更新を待つ間に、画像データにおける変化が生じる視野内の予め定められた位置が、ユーザ焦点領域として使用され得る。

図５は、ニアアイ・ディスプレイ・デバイスにより画像データを表示するための、ソフトウェアの観点からの、システムの一実施形態のブロック図である。図５は、ＮＥＤシステム８、１以上のＮＥＤシステムと通信する１以上のリモート・コンピュータ・システム１２、又はそれらの組合せ等のシステムにより実装され得る、ソフトウェアの観点からのコンピューティング環境５４の一実施形態を示している。さらに、ＮＥＤシステムは、データを共有してリソースを処理するために、他のＮＥＤシステムと通信することができ、データのための、環境内の他の３Ｄ画像キャプチャ・デバイス２０等の他の画像キャプチャ・デバイスと通信することもできる。

この実施形態において、アプリケーション１６２が、ＮＥＤシステム８の１以上のプロセッサ上で実行されており、オペレーティング・システム１９０及び画像・オーディオ処理エンジン１９１と通信していることがある。アプリケーションは、拡張現実体験、仮想現実体験、又は拡張視覚体験のためのものであり得る。図示した実施形態において、リモート・コンピュータ・システム１２がまた、体験を高めるために通信する他のＮＥＤシステム８と同様に、アプリケーションのバージョン１６２Ｎを実行していることがある。

１以上のアプリケーションのアプリケーション・データ３２９がまた、１以上のネットワーク・アクセス可能な位置に記憶され得る。アプリケーション・データ３２９のいくつかの例は、ルール・データストア、オブジェクトの画像データ及びアプリケーションの画像（imagery）、ジェスチャ認識エンジン１９３により登録され得る、アプリケーションに関連付けられた１以上のジェスチャの参照データ、１以上のジェスチャのための実行基準、画像・オーディオ処理エンジンのオプションの物理学エンジン（図示せず）により登録され得る、アプリケーションに関連付けられた仮想オブジェクトのための物理学モデル、及び、オブジェクト物理特性データ・セット３２０に関連付けられ得る、仮想オブジェクトの色、形状、顔の特徴、装具（clothing）等のオブジェクト特性であり得る。

図５の実施形態に示されるように、コンピューティング環境５４のソフトウェア・コンポーネントは、オペレーティング・システム１９０と通信する画像・オーディオ処理エンジン１９１を含む。画像・オーディオ処理エンジン１９１は、ＮＥＤシステム８等のヘッド・マウント・ディスプレイ（ＨＭＤ）デバイス・システムのために実行されるアプリケーションをサポートするために、画像データ（例えば、ビデオ等の動きデータ又は静止）及びオーディオ・データを処理する。画像・オーディオ処理エンジン１９１の実施形態は、様々な機能を含み得る。図示した実施形態は、他の機能に含まれ、他の機能により示され、他の機能を追加することができる実行可能ソフトウェア・エレメントの選択を示している。画像・オーディオ処理エンジン１９１の図示した実施形態は、オブジェクト認識エンジン１９２、ジェスチャ認識エンジン１９３、ディスプレイ・データ・エンジン１９５、３Ｄオーディオ・エンジン３０４、音認識エンジン１９４、ユーザ焦点領域エンジン１９６、及びシーン・マッピング・エンジン３０６を含む。

コンピューティング環境５４はまた、データを１以上の画像・オーディオ・データ・バッファ１９９に記憶する。このバッファは、様々なソースからキャプチャされ得る、あるいは様々なソースから受信され得る画像データ及びオーディオ・データのためのメモリを提供する。例えば、このバッファは、通信可能に接続されたコンピュータ・システム１２から通信媒体を介してＮＥＤデバイス２又は付属処理モジュール４のいずれかにより受信された、表示のための画像データを記憶することができる。このバッファは、例えば、全メモリ２４４の一部として、ＮＥＤ上に存在してもよいし、付属処理モジュール４上に存在してもよい。付属処理モジュール４上の１以上のバッファは、ＮＥＤデバイス２に送信されることになる、表示のための画像データを保持することができる。少なくとも一時的にバッファに記憶することができるいくつかの他のタイプの画像データは、ＮＥＤシステム８の外側対面キャプチャ・デバイス１１３からキャプチャされた画像データ、利用可能である場合、他のキャプチャ・デバイス（例えば、３Ｄ画像キャプチャ・デバイス２０及び環境内の他のＮＥＤシステム８）によりキャプチャされた画像データ、使用される場合、眼追跡システムの眼追跡カメラからの画像データである。このバッファはまた、画像生成ユニット１２０により表示されることになる仮想オブジェクトの画像データを保持するためのバッファと、マイクロフォン１１０を介してユーザからキャプチャされた音等の入力及び出力両方のオーディオ・データ、並びにイヤフォン１３０等のオーディオ出力デバイスを介してユーザに出力されることになる、３Ｄオーディオ・エンジン３０４からのアプリケーションのためのサウンド・エフェクトのためのバッファと、を提供する。

図５の個々のエンジン及びデータ・ストアは、アプリケーション１６２が利用できるデータ及びタスクのサポート・プラットフォームとして設けられている。画像・オーディオ処理エンジン１９１の様々なエンジンは、データ・アップデートの通知を処理して受信するためにデータを識別するリクエストを送信することにより、１以上の機能を実装する。オペレーティング・システム１９０は、様々なエンジンとアプリケーションとの間の通信を円滑にする。オペレーティング・システム１９０は、ジェスチャ認識エンジン１９３がどのジェスチャを識別したかと、音認識エンジン１９４がどの単語又は音を識別したかと、上述したシーン・マッピング・エンジン３０６からのオブジェクトの位置と、をアプリケーションに利用可能にする。

シーン・マッピング・エンジン３０６についてまず説明する。ＮＥＤデバイスの各ディスプレイのディスプレイ視野の３Ｄマッピングは、キャプチャされた画像データ及び奥行きデータに基づいて、シーン・マッピング・エンジン３０６により決定され得る。３Ｄマッピングは、ディスプレイ視野内の現実オブジェクト又は仮想オブジェクトの３Ｄ位置を含む。いくつかの実施形態において、特にディスプレイに関して、３Ｄマッピングは、３Ｄ位置の例としての、オブジェクトの３Ｄ空間位置又は位置ボリューム（position volume）を含み得る。３Ｄ空間は、オブジェクトにより占有される空間のボリュームである。３Ｄ空間位置は、そのボリュームの境界の位置座標、又はディスプレイ視野を含む座標系における３Ｄ空間を表す。望まれる正確さに応じて、３Ｄ空間は、オブジェクトの３Ｄ形状をマッチングすることができる、あるいはあまり正確でないバウンディング形状（bounding shape）であり得る。いくつかの例において、３Ｄ空間位置は、オブジェクトの向き等の追加の情報を含む。他の例において、３Ｄ位置は、例えば、バウンディング円形、矩形、三角形等の２Ｄバウンディング形状と、オブジェクトの、ディスプレイ視野における奥行き位置と、を含む。

外側対面キャプチャ・デバイス１１３からのキャプチャされた画像データ及び奥行きデータを表す奥行きマップを、ニアアイ・ディスプレイのディスプレイ視野の３Ｄマッピングとして使用することができる。奥行きマップは、ユーザ視点を大まかに表す、ディスプレイ視野のビュー依存の座標系（view dependent coordinate system）を有する。キャプチャされたデータは、現実オブジェクトの動きを追跡するために、キャプチャ時間に基づいて、時間追跡され得る。仮想オブジェクトの位置が、奥行きマップにおいて位置合わせされ得る。

ユーザの環境内のユーザの周りにあるものをマッピングすることは、センサ・データにより支援され得る。例えば、３軸加速度計及び３軸磁力計といった慣性検出ユニット１３２からのデータが、ユーザの頭部の位置変化を決定し、そのような頭部の位置変化と、外側対面キャプチャ・デバイス１１３からの画像データ及び奥行きデータにおける変化と、の相関は、互いに対するオブジェクトの位置であって、ユーザが見ている環境又は位置のサブセットにおけるオブジェクトの位置を識別し得る。

シーン・マッピング・エンジン３０６はまた、３Ｄマッピングのためにビュー非依存の座標系を使用することができ、シーン・マッピング・エンジン３０６のコピーは、他のシステム（例えば、１２、２０、及び８）において実行されている他のシーン・マッピング・エンジン３０６と通信することができるので、マッピング処理は、更新されたマップを他のシステムと共有する１つのコンピュータ・システムにより、集中的に共有又は制御することができる。複数の視点から得られる奥行き画像内の重なり合う対象物（overlapping subject matter）が、ビュー非依存の座標系及び時間と、ボリューメトリック（volumetric）又は位置若しくは環境（例えば、部屋、店舗空間、又はジオフェンス領域（geofenced area）のｘ、ｙ、ｚ表現）の３Ｄマッピングを作成するために結合された画像コンテンツと、に基づいて、相互に関連付けられ得る。したがって、光、影、及びオブジェクト位置における変化が追跡され得る。

ビュー非依存のマップは、位置インデックス付き画像及び３Ｄマップ（location indexed images and 3D maps）３２４等のネットワーク・アクセス可能な位置に記憶することができる。位置インデックス付き画像及び３Ｄマップ３２４を検索するための位置データのいくつかの例は、ニアアイ・ディスプレイ（ＮＥＤ）上の位置検出ユニット１４４のＧＰＳトランシーバからのＧＰＳデータ、又はＮＥＤシステム８が接続しているＷｉＦｉ（登録商標）ホットスポット又はセルラ・ステーションのＩＰアドレスである。（画像データへのアクセスを伴う、装置８等のＨＭＤとコンピュータ・システム１２との間の協調的シーン・マッピングに関するさらなる情報については、Avi Bar-Zeevらの２０１０年１０月２７日に出願された「Low-Latency Fusing of Virtual and Real Content」と題する米国特許出願番号１２／９１２９３７号を参照されたい。）

シーン・マッピング・エンジン３０６は、画像・オーディオ処理エンジン１９１のオブジェクト認識エンジン１９２、及び画像データを表示させる１以上の実行アプリケーション１６２との通信に基づいて、ディスプレイ視野内又はユーザ周囲のボリューメトリック空間（volumetric space）内の現実オブジェクト及び仮想オブジェクトの位置、向き、及び動きを追跡する。

画像・オーディオ処理エンジン１９１のオブジェクト認識エンジン１９２は、キャプチャされた画像データと、利用可能である場合にはキャプチャされた奥行きデータと、に基づいて、あるいは立体視からの決定された奥行き位置に基づいて、ディスプレイ視野内の現実オブジェクト、その向き、及びその位置を検出及び識別する。オブジェクト認識エンジン１９２は、オブジェクト境界をマーキングし、オブジェクト境界を構造データと比較することにより、現実オブジェクトを互いと区別する。オブジェクト境界をマーキングする１つの例は、検出又は導出された奥行きデータ及び画像データ内のエッジを検出して、エッジを接続することである。ポリゴン・メッシュを使用して、オブジェクトの境界を表現してもよい。次いで、確率基準（probability criteria）内のオブジェクトのタイプを識別するために、オブジェクト境界データが、記憶された構造データ２００と比較される。オブジェクトのタイプを識別することに加えて、記憶された構造データ２００との比較に基づいて、識別されたオブジェクトの向きが検出され得る。

１以上の通信ネットワーク５０を介してアクセス可能な構造データ２００は、比較のための構造パターン及びパターン認識のための基準としての画像データ等の構造情報を記憶することができる。無生物オブジェクト（inanimate object）に加えて、他の画像処理アプリケーションと同様に、人間はオブジェクトの１タイプであり得るので、構造データの一例は、身体パーツを認識するのを助けるために参照され得る、記憶された人間の骨格モデルである。画像データがまた、顔認識のために使用されてもよい。オブジェクト認識エンジン１９２はまた、ユーザのユーザ・プロファイル・データ１９７、パーミッションが設定されネットワーク・アクセス可能な他のユーザのプロファイル・データ３２２、位置インデックス付き画像及び３Ｄマップ３２４、並びにインターネット・アクセス可能な画像３２６等の、他のソースからの記憶された画像データにも基づいて、オブジェクトの画像データに対して、顔認識及びパターン認識を実行することができる。画像データ及び奥行きデータからのモーション・キャプチャ・データもまた、オブジェクトの動き特性を識別し得る。オブジェクト認識エンジン１９２はまた、サイズ、形状、１以上の材料、及び動き特性等のオブジェクトの検出された特性を、構造データ２００に記憶された基準特性に対して、チェックすることができる。基準特性（例えば、構造パターン及び画像データ）はまた、仮想オブジェクトを生成するために、アプリケーションによりアクセスされ得る。

現実オブジェクトに関して、３Ｄサイズ、３Ｄ形状、検出された材料のタイプ、１以上の色、及び検出された境界形状等の複数のオブジェクト特性の各々について、データが割り当てられ得る。一実施形態において、基準特性との比較後にオブジェクト認識エンジン１９２により割り当てられた、検出された特性ごとの重み付き確率に基づいて、オブジェクトと、オブジェクト特性データ・セット３２０Ｎに記憶されたその特性と、が識別される。オブジェクトの検出及び追跡に関するさらなる情報は、２００９年１２月１８日に出願された「Motion Detection Using Depth Images」と題する米国特許出願１２／６４１７８８号と、「Device for Identifying and Tracking Multiple Humans over Time」と題する米国特許出願１２／４７５３０８号と、において見い出すことができる。

シーン・マッピング・エンジン３０６及びオブジェクト認識エンジン１９２は、その機能において各エンジンを支援するデータを交換する。例えば、オブジェクト識別と、オブジェクト認識エンジン１９２により決定された向きと、に基づいて、シーン・マッピング・エンジン３０６は、より正確に向きを識別するオブジェクトの３Ｄ空間位置又は位置ボリュームを更新することができる。例えば、横にある椅子は、右横に立っているときと比べて、そのボリュームの異なる位置座標を有する。位置の履歴と、オブジェクトに関してシーン・マッピング・エンジン３０６により更新された３Ｄ位置から識別された動き経路（motion path）と、は、特にオブジェクトが部分的に隠されているときに、オブジェクトを識別するオブジェクト認識エンジン１９２を支援し得る。

一実施形態において、ユーザ焦点領域エンジン１９６は、表示されるようスケジュールされた画像データの３Ｄディスプレイ視野内の座標を識別するために、アプリケーション１６２及びシーン・マッピング・エンジン３０６と通信する。例えば、アプリケーション１６２は、２０ｃｍの奥行きを有して上方左位置に表示されることになるポップアップ・メニューを識別することができ、シーン・マッピング・エンジン３０６は、ディスプレイ視野の３Ｄマッピング座標におけるこの位置を識別する。ポップアップ・メニューは注目オブジェクトである。いくつかの例において、ディスプレイ視野は、立方体又は他のボリューメトリック・ユニットに編成される。注目オブジェクトの一部を含む立方体は、ユーザ焦点領域の一部であると考えられる。

別の実施形態において、例えば、奥行き成分を含む、ディスプレイ視野内の注目オブジェクトの３Ｄ位置と、各網膜の近似された位置と、各網膜上の窩と、に基づいて、各眼の注視線が、再度、ユーザ焦点領域エンジン１９６により、関心オブジェクトから近似されたそれぞれの窩の位置に投影され得る。ユーザ焦点領域及び他のセカンダリ領域の境界が、近似された各網膜の位置上で近似された窩と注視線との交点から異なる角距離で出る光線の跡をたどることにより、決定され得る。

ポインティング・ジェスチャ等のジェスチャが、画像データに基づいて認識され、注目点又は注目オブジェクトを識別する図３Ｃについて上述したように、ユーザ焦点領域エンジン１９６が、前段落及び図３Ｃの説明と同じように、境界領域を決定することができる。

別の実施形態において、ユーザ焦点領域エンジン１９６は、注視点又は注視オブジェクトを識別する眼追跡システム１３４によりキャプチャされた画像データを処理するための眼追跡ソフトウェアを含む。ユーザ焦点領域の領域境界及びセカンダリ境界が、前述の例において説明したように識別され得る。図２Ｂの例において、眼追跡ソフトウェアは、光軸１４２周りでキャプチャされた眼の画像データを処理し、ユーザの眼とディスプレイ・デバイスとの固定空間関係を仮定して、注視線を決定することができる。

その一例がＧｕｌｌｓｔａｎｄモデルである眼のモデルにおいて、眼の回転の中心、角膜の中心、及び瞳孔の中心が、眼の光軸に沿って整列している。光軸が、回転の中心から例えば、１．２度といった小さな角度ずれている窩から伸びる視軸としてモデル化されるように、光軸は、光軸に適用される小さな角度補正（small angular correction）を有する。Lewisらの米国特許出願番号１３／２２１７３９号において説明されているようないくつかの例において、注視線検出座標系（gaze detection coordinate system）が、回転の中心、角膜の中心、及び瞳孔の中心を、例えば、ＩＲ・可視反射エレメント１３４Ｅ及び閃光を生成するためのＩＲイルミネータ等、ＮＥＤデバイスのＩＲセンサ・キャプチャ・ポイントに空間的に関連付けるように生成される。統合された眼追跡の例において、ＩＲイルミネータの位置はまた、反射エレメント１３４Ｅ上にあり得る。例えば、Bohnの米国特許出願番号１３／２４５７００号を参照されたい。空間関係における変化が、例えば、虹彩の外周のサイズにおける変化を検出することにより識別され得る。これが、眼とディスプレイとの空間関係の再決定をトリガする。他の実施形態において、上述したように、網膜及び窩の位置の予め定められた近似が、例えば、ＮＥＤデバイスの頭部のサイズに基づいて使用される。

空間関係が決定されると、眼窩内の瞳孔の位置が、眼の画像データから決定される。１以上のプロセッサ上で実行されているユーザ焦点領域エンジン１９６は、頭を振る動作（headshake）を調整するために平均化され得る、それぞれの眼の複数の画像データ・サンプルにおける黒色瞳孔領域（black pupil area）を識別する。瞳孔は円であり、角度をつけて見られたときに楕円である、ということが仮定され得る。瞳孔のサイズは照明の変化に応じて変化するので、照明が変化しないと仮定すると、楕円の１つの軸、すなわち、長軸は、それが変化しない瞳孔の直径を表すように、一定を保つ。

ディスプレイに沿って真っすぐに見るときに瞳孔がディスプレイ光軸１４２に沿って見ると仮定すると、瞳孔は、ディスプレイの光軸上で中央に寄せられたその検出領域を有するカメラの画像フレーム等の画像フォーマットにおいて、円のように見える。瞳孔がその注視線（gaze）を変化させ、画像フレームの中心から動くとき、瞳孔は、円が角度をつけて見られたときに楕円に見えるように、楕円のように見える。楕円の短軸の幅は、注視線の変化に応じて変化し、その幅の変化が、瞳孔が画像データにおいて円そっくりに近似する真っすぐな位置からの瞳孔の視野角における変化を示すために、測定され得る。画像フレームの中心の左側に狭くなった楕円は、ユーザが右側遠くを見ていることを示す。楕円が幅広になり画像フレームの中心の右側への距離が短くなることは、ユーザが左側を見ているがそれほど遠くを見ていないことを示す。

瞳孔の中心は楕円の中心である。楕円は、画像内の検出されたエッジ点からフィットされる。そのようなエッジ点は雑音を多く含み、エッジ点の全てが楕円上にあるわけではないので、楕円フィッティング・プロセスが、ランダムに選択された全てのエッジ点のサブセットに対して、多くの回数繰り返される。全てのエッジ点に最も整合するサブセットを使用して、最終的な楕円を得る。回転の中心、角膜の中心、及び瞳孔の中心が識別されると、眼の光軸を得るために、回転の中心から角膜の中心及び瞳孔の中心を経由する光線を伸ばすことができる。光軸を決定した後、光軸が視軸を近似し、光軸が注視ベクトル（gaze vector）として選択されるように、デフォルトのオフセット角度が適用され得る。

いくつかの実施形態において、ユーザ焦点領域エンジン１９６は、眼のフィットされた楕円又はＩＲキャプチャされた画像データを、以前に取得されたトレーニング画像データと比較する。トレーニング画像は、ＮＥＤデバイスを動作させるための初期化プロセスの一部としての眼追跡システム１３４の初期化中に取得され得るものである。各トレーニング画像は、注視線又は注視ベクトルを生成することができる、各トレーニング画像に関連付けられた、予め定められた注視角を有する。

注視点を決定するために、ユーザ焦点領域エンジン１９６は、ユーザ前方の３Ｄ空間における注視ベクトルの交点を決定し、その交点、注目点の一例である注視点、及び注視点に関連付けられた任意の現実オブジェクト又は仮想オブジェクトが、ディスプレイ視野の３Ｄマッピング内にあるかどうかを判定する。ユーザ焦点領域及びセカンダリ領域の境界が、上述したように決定され得る。

いくつかの実施形態において、ユーザ焦点領域エンジン１９６は、注目点と、ディスプレイ・エンジン１９５又はアプリケーション１６２が注目点までの画像データの距離を決定するために使用する注目オブジェクトと、を単に識別することができる。

いくつかの実施形態において、シーン・マッピング・エンジン３０６は、ユーザ焦点領域エンジン１９６により提供された注目点におけるアップデートをチェックし、注目点から、実行アプリケーションに従って表示されることになる画像データまでの、ディスプレイ視野における距離ベクトルを決定する。距離ベクトルは、画像データの像を映す各網膜上の角距離を決定するために、ユーザ焦点領域エンジン１９６に送信される。角距離と低知覚基準２０９とに基づいて、ユーザ焦点領域エンジン１９６は、画像データのうちどの部分が損失許容データとして適しているかを判定し、シーン・マッピング・エンジン３０６にその判定結果を通知する。

他の実施形態において、シーン・マッピング・エンジン３０６は、表示されることになる画像データが、低知覚基準２０９に基づく損失許容データであるかどうかと、画像データが、ユーザ焦点領域エンジン１９６により識別された、ディスプレイ視野内のユーザ焦点領域に含まれるか、又は他のセカンダリ領域に含まれるかと、を識別する。

シーン・マッピング・エンジン３０６は、通信モジュール２５０の通信管理部１２３に、どの画像データが損失許容データとして適しているかを通知する。通信管理部１２３は、損失許容データとして適してしないデータをどのように送信するかを判定するために、記憶された無損失伝送基準にアクセスし、損失伝送に関する限界又は制限を識別するために、損失伝送基準２１３にアクセスする。損失伝送基準は、無損失伝送基準におけるものと同じタイプの通信特性及びサービス品質インジケータの基準を含み得る。

３Ｄオーディオ・エンジン３０４は、位置型３Ｄオーディオ・エンジン（positional 3D audio engine）である。仮想オブジェクトのために再生されることになる音が、アプリケーション１６２により、音ライブラリ３１２にアップロードされ得る。アプリケーション１６２は、アプリケーションの実行ルールに基づいて音をいつ再生するかを、３Ｄオーディオ・エンジン３０４に指示する。３Ｄオーディオ・エンジンは、３Ｄマッピングから、仮想オブジェクトの３Ｄ位置を識別し、音がイヤフォン１３０又は他の実施形態ではスピーカ等の他のオーディオ出力デバイスにより再生されるときに、音が識別された３Ｄ位置から生じているようにするよう音を生成する。さらに、音ライブラリ３１２に記憶することができるオーディオ・データと、ユーザ・プロファイル・データ１９７又はユーザ・プロファイル３２２に記憶された音声データ・ファイルと、に基づいて、音認識エンジン１９４は、音声コマンドを介したアプリケーション制御と、位置認識及びオブジェクト認識と、のために、マイクロフォン１１０を介して受信された、現実世界からのオーディオ・データを識別する。

ジェスチャ認識エンジン１９３は、１以上のジェスチャを識別する。ジェスチャは、ユーザにより実行される、実行アプリケーションへの制御又は命令を示すアクションである。アクションは、例えば、手又は指といったユーザの身体部分により実行され得るが、眼の連続的なまばたきもジェスチャであり得る。一実施形態において、ジェスチャ認識エンジン１９３は、（骨格モデルにより表されるような）ユーザがいつ１以上のジェスチャを実行したかを識別するために、骨格モデルと、キャプチャされた画像データから導出された、骨格モデルに関連付けられた動きと、をジェスチャ・フィルタ・ライブラリ３１３における記憶されたジェスチャ・フィルタ（gesture filter）と比較する。いくつかの例において、ジェスチャを認識するための骨格追跡ではなく、ジェスチャ・トレーニング・セッション中に画像データをユーザの手又は指の画像モデルにマッチングすることが用いられ得る。ジェスチャ認識エンジン１９３に関するさらなる情報は、２００９年４月１３日に出願された「Gesture Recognizer System Architecture」と題する米国特許出願１２／４２２６６１号において見い出すことができる。ジェスチャ認識に関するさらなる情報は、２００９年２月２３日に出願された「Standard Gestures」と題する米国特許出願１２／３９１１５０号と、２００９年５月２９日に出願された「Gesture Tool」と題する米国特許出願１２／４７４６５５号と、において見い出すことができる。

ＮＥＤデバイス・システム８の１以上の実施形態におけるナチュラル・ユーザ・インタフェース（ＮＵＩ）の一実施形態は、外側対面キャプチャ・デバイス１１３と、少なくとも１つの身体部分の少なくとも１つのユーザの身体によるアクションの一例であるジェスチャを識別するためのジェスチャ認識エンジン１９３と、を含み得る。眼追跡システム１３４と、システム１３４によりキャプチャされたデータに基づいて眼の動きを解釈するための、ユーザ焦点領域エンジン１９６の一実施形態において実行されている眼追跡ソフトウェアと、がまた、ＮＥＤデバイス・システム８のナチュラル・ユーザ・インタフェースの別の実施形態におけるコンポーネントであり得る。コマンドを示す連続的なまばたき等の眼に基づくアクション、注視点、注視パターン（gaze pattern）、注視期間（gaze duration）、又は眼の動きもまた、少なくとも１つの身体部分の１以上のユーザの身体によるアクションとしてのナチュラル・ユーザ入力のいくつかの例である。ナチュラル・ユーザ入力は、眼追跡ソフトウェアにより識別された画像データ等のナチュラル・ユーザ入力データで表現される、あるいは眼追跡データで表現される。マイクロフォン及び音認識エンジン１９４はまた、音声コマンドのナチュラル・ユーザ入力を処理することができる。音声コマンドのナチュラル・ユーザ入力はまた、ジェスチャ及び眼の注視等の他の認識された身体によるアクションを補足し得る。いくつかの実施形態において、ユーザ焦点領域エンジン１９６は、通信可能に接続されたコンピュータ・システム（例えば、４又は８）上で実行されていることがあり、眼追跡システム１３４及び外側対面キャプチャ・デバイス１１３からの画像データが、ＮＥＤデバイスからバック・チャネル（back channel）を介して送信されるので、注視関連ジェスチャ認識処理（gaze related and gesture recognition processing）が、ＮＥＤデバイスの制御回路１３６からオフロードされる。

アプリケーション１６２は、画像データにより表され、アプリケーションにより制御されるオブジェクトの、ディスプレイ視野の３Ｄマッピングにおけるターゲット３Ｄ空間位置を識別する。例えば、ヘリコプタ・アプリケーションは、仮想ヘリコプタを撃墜するユーザのアクションに基づいて、ヘリコプタ２０２ａ、ヘリコプタ２０２ｂ、及びヘリコプタ２０２ｃの位置及びオブジェクト特性における変化を識別する。ディスプレイ・データ・エンジン１９５は、ディスプレイ視野内のターゲット３Ｄ空間位置を、ディスプレイ・ユニット１１２のディスプレイ座標に関連付ける。ディスプレイ・データ・エンジン１９５は、正しいサイズ及び視点で画像データを表示するために、並進、回転、及びスケーリング・オペレーションを実行する。アプリケーション又はディスプレイ・データ・エンジン１９５は、画像データ・オブジェクトの位置について、シーン・マッピング・エンジンを更新することができる。多くの実施形態において、通信可能に接続された付属処理モジュール４又は他のコンピュータ・システム１２から受信された、表示のための画像データは、送信される前のユーザ焦点領域に関連する、ディスプレイ視野内の位置に基づいて調整された画像解像度を有する。

以下の説明は、仮想オブジェクトが、ディスプレイ内の仮想オブジェクトのために決定された３Ｄ位置で現実的に見えるように、仮想オブジェクトを配置させる光学的シースルー拡張現実（ＡＲ）ディスプレイを更新するためのいくつかの例示的な処理を記述する。１つの例示的な実施例において、Ｚ−バッファは、例えば、ピクセルといった別々にアドレス可能なディスプレイ位置又は領域それぞれについてデータを格納する。ディスプレイ・データ・エンジン１９５は、現実オブジェクトの境界及び仮想オブジェクトの境界の両方とともに、Ｚ−バッファ内のディスプレイ視野の３Ｄマッピングをレンダリングする。ＮＥＤデバイスは、この例において、光学的シースルー・ディスプレイ・デバイスであるので、画像生成ユニット１２０が、現実オブジェクトではなく、画像データ・オブジェクトを表示するとき、Ｚ−バッファ内の現実オブジェクトの境界は、画像データ・オブジェクトがディスプレイ内で３次元的にどこに配置されることになるかの基準として動作する。画像データの色情報は、対応する色バッファに書き込まれる。

奥行き値が、例えば、ピクセルごとに（あるいは、ピクセルのサブセットに対して）といったように、ディスプレイ位置ごとに、あるいはディスプレイ位置のサブセットに対して記憶される。この実施形態において、奥行き値に基づく画像データの階層化は、Ｚ−バッファ及び色バッファの結果の両方に関して、画像生成ユニット１２０を制御して表示する合成画像をもたらす。ディスプレイ更新プロセスは、１秒当たり多くの回数実行することができる（例えば、リフレッシュ・レート）。

ビデオ観視拡張現実ディスプレイ又はビデオ観視モードでのシースルー・ディスプレイのオペレーションに関して、現実オブジェクトの画像データがまた、仮想オブジェクト又は他の拡張オブジェクト（enhanced object）の画像データとともに、Ｚ−バッファ及び対応する色バッファに書き込まれる。ビデオ観視モードでは、眼鏡の前方から反射される光が、ユーザの眼１４０に到達せず、現実オブジェクト、及び仮想オブジェクト又は拡張オブジェクトの両方の３Ｄ画像データが、ディスプレイ上で再生されるように、各シースルー・ディスプレイ１４の不透明フィルタを調整することができる。

デバイス・データ１９８は、パーソナル装置８の識別子と、例えば、ＩＰアドレスといったネットワーク・アドレスと、モデル番号と、インストールされたデバイス等の構成パラメータと、オペレーティング・システムの識別情報（identification）と、ＮＥＤシステム８においてどのようなアプリケーションが利用可能であるかと、ＮＥＤシステム８においてどのようなアプリケーションが実行されているかと、を含み得る。デバイス・データ１９８はまた、慣性検出ユニット１３２内の方位センサ、並びに位置検出ユニット１４４内の１以上の位置トランシーバ及び近接トランシーバ等のセンサ若しくは検出ユニットからのデータ、又はそのようなセンサ若しくは検出ユニットから決定されたデータを含み得る。さらに、ディスプレイ・ユニット、不透明フィルタ、処理ユニット、メモリ、通信モジュール、画像生成ユニット、及び電源等のハードウェア・コンポーネントの特性がまた、デバイス・データに記憶され得る。そのような特性のいくつかの例は、ディスプレイ解像度、プロセッサ速度、メモリ・サイズ及びメモリ・タイプ、電源のワット、画像生成ユニットの照明出力、通信モジュール内の送信機と受信機又はトランシーバのタイプ、アンテナ・パワー、ＩＥＥＥ８０２．１１ファミリ・メンバ等のサポートされる通信プロトコル、セルラ、赤外線、ＵＳＢ等の利用可能な有線インタフェース又は無線インタフェースのタイプ、スペクトル拡散及びコンステレーション符号化スキーム等のサポートされる変調スキームのタイプ、サポートされるキャリア帯域周波数、サポートされる誤り訂正技術及び圧縮技術である。

本技術は、主旨又はその本質的な特徴から逸脱することなく、他の特定の形態で具現化されてもよい。同様に、モジュール、ルーチン、アプリケーション、特徴、属性、方法、及び他の態様の特定の命名及び分割は、必須ではなく、本技術又はその特徴を実装するメカニズムは、異なる名前、分割、及び／又はフォーマットを有してもよい。

例示の目的上、以下の方法の実施形態は、上述したシステムの実施形態及び装置の実施形態のコンテキストで説明される。しかしながら、方法の実施形態は、上述したシステムの実施形態における動作に限定されるものではなく、他のシステムの実施形態において実施されてもよい。さらに、方法の実施形態は、ＮＥＤシステムが動作中であり、適用可能なアプリケーションが実行中である間に、継続的に実行されてもよい。

図６は、ニアアイ・ディスプレイ（ＮＥＤ）のディスプレイ視野内に画像データを表示するために領域を識別する方法の一実施形態のフローチャートである。図５の例示的なコンテキストにおいて、シーン・マッピング・エンジン３０６は、ステップ４２２において、ＮＥＤデバイスにより検出されたセンサ・データに基づいて、ディスプレイ視野を含む３Ｄマッピングを継続的に更新する。図５の説明は、慣性検出ユニット１３２に基づく頭部位置データ等のセンサ・データと、外側対面カメラ１１３によりキャプチャされた画像データと、の例を提供した。ステップ４２４において、注目点が、例えば、上述したようなユーザ焦点領域ソフトウェア１９６により識別され、ステップ４２６において、注目点を含む第１の領域のディスプレイ視野の３Ｄマッピングにおける座標が識別される。第１の領域は、ユーザ焦点領域と呼ばれる。ステップ４２８において、ユーザ焦点領域及び人間の視覚基準に基づいて、ユーザ焦点領域外の１以上のセカンダリ領域の３Ｄマッピングにおける座標もまた識別される。図４Ａ、図４Ｂ、及び図４Ｃの例において示したように、人間の眼の研究から予め定められている角距離が、人間の視覚基準の一例である。さらに、その例において示したように、ユーザ焦点領域内と、ユーザ焦点領域外とで、異なる画像解像度が適用され得る。

図７は、ディスプレイ視野内のセカンダリ領域を決定し、セカンダリ領域に関連付けられた画像解像度を決定する方法の別の実施形態のフローチャートである。いくつかの例において、マッピング・データは、複数のシステムにわたって共有することができ、アプリケーションは、複数のコンピュータ・システムにわたって実行することができるので、図７の方法の実施形態は、ＮＥＤデバイス・システム８の付属処理モジュール４、又は付属処理モジュール４の通信モジュール、ＮＥＤデバイス２の通信モジュール、又はそれら両方の通信モジュールと通信するネットワーク・アクセス可能なコンピュータ・システム１２により実行され得る。ステップ５０２において、ユーザ焦点領域の境界から、注目点から第２の角距離までの第２の領域の３Ｄマッピングにおける座標が識別される。ステップ５０４において、第２の領域の境界から、注目点から第３の角距離までの第３の領域の３Ｄマッピングにおける座標が識別される。ステップ５０６において、１以上の実行アプリケーションに基づいて、第２の領域内に表示するための画像データが識別され、ステップ５０８において、第３の領域内に表示するための画像データが識別される。画像データを送信するための帯域幅をさらに低減させ、したがって、ディスプレイ更新時間を低減させるために、第２の領域及び第３の領域のセカンダリ画像データが、画像解像度において低減され得る。画像データを低減させる１つの例は、画像データをダウンサンプリングすることによるものである。ステップ５１０において、第２の領域の画像データの少なくとも一部が、中間解像度レベルまでダウンサンプリングされ得、ステップ５１２において、第３の領域の画像データの少なくとも一部が、ユーザ焦点領域及び第２の領域の両方の画像解像度よりも低い解像度である解像度レベルまでダウンサンプリングされ得る。ダウンサンプリングされたデータが、次いで、セカンダリ領域のために送信され得る。

いくつかの実施形態はまた、ユーザ焦点領域画像データのための１以上の無損失圧縮技術と、セカンダリ画像データのための損失圧縮技術と、を使用することを含み得る。圧縮は、伝送と混同されるべきではない。損失圧縮により圧縮されたデータは、送信される前に、そのデータ完全性（data integrity）を低下させ、結果として生じる圧縮データは、無損失伝送基準を満たすよう送信され得る。伝送における損失又は無損失は、圧縮における損失又は無損失とは関係ない。

図８Ａ及び図８Ｂは、注目点周囲の領域において、注目点からの距離が識別される実施形態を示している。図８Ａは、送信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の一実施形態のフローチャートである。ＮＥＤデバイスに通信可能に接続されたコンピュータ・システムの一例は、付属処理モジュール４内に具現化されるコンピュータ・システムである。別の例において、送信側コンピュータ・システムは、図示したネットワーク・アクセス可能なコンピュータ・システム１２等、ＮＥＤデバイス・システム８からリモートにあってもよい。ステップ６０２において、ＮＥＤデバイスに通信可能に接続されたコンピュータ・システムは、１以上の実行アプリケーションに基づいて、ユーザ焦点領域画像データを識別し、ステップ６０４において、無損失伝送基準を満たす１以上の通信技術を用いて、ユーザ焦点領域画像データを送信する。この実施形態において、ユーザ焦点領域画像データは、無損失優先データとして扱われる。ステップ６０６において、コンピュータ・システムは、１以上の実行アプリケーションに基づいて、ユーザ焦点領域外に表示するためのセカンダリ画像データを識別し、ステップ６０８において、損失伝送を許容する１以上の通信技術を用いて、ユーザ焦点領域外に表示するための画像データの少なくとも一部を送信する。この実施形態において、セカンダリ画像データの少なくとも一部は、損失許容データとして扱われる。

いくつかの実施形態は、例えば、コンテンツ・タイプに基づいて、領域に関係なく、所定のタイプの画像データのために、無損失伝送技術を使用することができる。コンテンツ・タイプのいくつかの例は、テキスト及びピクチャである。別の基準は、シーン内に留まる傾向にあり、無損失伝送を満たす通信技術を用いて送信されるとともに、詳細さのレイヤを重ね合わせる、オブジェクトの構造コア（structural core）であり得、損失伝送を許容する色が送信され得る。別の例において、図４Ｂ及び図４Ｃの例とは異なり、画像解像度が、全体として、オブジェクトに適用される。オブジェクト全体の画像データが、オブジェクトの少なくとも一部が属する最高優先度領域に従って扱われる。例えば、部分的にユーザ焦点領域内にあり、部分的にユーザ焦点領域外にあるオブジェクトに関して、ユーザ焦点領域外のオブジェクトの画像データは、あたかもそれがユーザ焦点領域内にあるかのように、伝送のために処理される。

図８Ｂは、ＮＥＤデバイス・システムの受信側コンピュータ・システムの観点からの、ＮＥＤデバイスのディスプレイ更新時間を低減させる方法の一実施形態のフローチャートである。上記で示したように、ＮＥＤデバイス・システムの受信側コンピュータ・システムの例は、処理ユニット２１０と、メモリ２４４と、通信モジュール１３７と、を備える制御回路１３６のハードウェア・コンポーネント及びソフトウェア・コンポーネント、又は付属処理モジュール４内に具現化されるコンピュータ・システムであり得る。

ステップ６１２において、受信側コンピュータ・システムは、通信可能に接続されたコンピュータ・システム（例えば、４又は１２）から、画像データを受信し、ステップ６１４において、受信されている画像データ内のユーザ焦点領域画像データを識別する。通信モジュール２５０は、複数のベースに基づいて、受信されているデータ内の、異なる領域の画像データを互いと区別することができる。そのようなベースのいくつかの例は、画像データがどの通信チャネルを介して受信されるか、時分割多重化方式におけるどの時間窓で画像データが受信されるか、どのようにデータが変調されるか、データ・パケットのヘッダ内の１以上のビット等の識別データ、及び受信画像データ内の誤り訂正データの存在又は存在の欠如でさえある。無損失優先画像データと損失許容データとを区別するために、これらの例がまた使用されてもよい。

ステップ６１６において、受信側コンピュータ・システムは、無損失伝送基準を満たす１以上の通信技術を用いて、ユーザ焦点領域画像データを取り出し、ステップ６１８において、受信されている画像データ内の、ユーザ焦点領域外に表示するための少なくとも何らかのセカンダリ画像データを識別する。ステップ６２０において、少なくとも何らかのセカンダリ画像データが、損失伝送を許容する１以上の通信技術を用いて取り出される。ステップ６２２において、例えば、ディスプレイ・エンジン１９５の制御下にあるＮＥＤディスプレイ・デバイスは、ＮＥＤデバイスのディスプレイ視野内に、ユーザ焦点領域画像データ及び少なくとも何らかのセカンダリ画像データを表示する。

図９Ａ〜図９Ｄは、画像データを送信する際に使用することができる、例えば、画像データの注目点までの距離ベクトルにより表されるような位置関係に応じて、無損失伝送基準を満たし、損失伝送を許容する通信技術としての誤り訂正技術のいくつかの例を示している。図９Ａは、異なるレベルの誤り訂正を用いるプロセスの例のフローチャートである。この例は、通信技術として誤り訂正を適用することに焦点を当てている。ステップ６３２において、送信側コンピュータ・システムは、通信モジュールに、無損失伝送基準を満たす１以上の誤り訂正技術を用いて、無損失優先画像データを符号化させ、ステップ６３４において、送信側コンピュータ・システムは、通信モジュールに、損失伝送を許容するレベルの誤り訂正を用いて、損失許容データの少なくとも一部を符号化させる。

図９Ｂは、図９Ａの通信技術のいくつかの実施例を示すフローチャートである。ステップ６３６において、送信側コンピュータ・システムは、その通信モジュールに、パケットの１以上のデータ完全性ヘッダ・ビット（data integrity header bit）を設定することにより、無損失伝送基準を満たす１以上の誤り訂正技術を用いて、無損失優先画像データを符号化させ、例えば、図８Ａの例におけるユーザ焦点領域画像データといった無損失優先データのための冗長データを含める。そのような誤り訂正技術の一例は、順方向誤り訂正（ＦＥＣ）である。ステップ６３８において、損失許容画像データの少なくとも一部に関して、送信側コンピュータ・システムは、通信モジュールに、パケットの１以上のデータ完全性ヘッダ・ビットを設定することにより、損失許容画像データの少なくとも一部を符号化させ、損失許容データの少なくとも一部のための冗長データを含めない。

別の例において、ビタビ復号化等の畳み込み符号化技術等の順方向誤り訂正（ＦＥＣ）技術が、データを破裂されることなく、あるいはデータに穴をあけることなく、無損失優先データに対して実行され得、データの破裂を伴うビタビ復号化が、損失許容データに対して実行される。破裂されたデータを伴う又は伴わないターボ符号化がまた使用されてもよい。

図９Ｃは、受信画像データから無損失優先画像データ及び損失許容画像データを取り出す際に使用することができる通信技術のいくつかの他の例を示すフローチャートである。ステップ６４２において、ＮＥＤシステム・コンピュータ・システムの制御下にある通信モジュールは、受信された無損失優先画像データに対して、１以上の誤り訂正技術を実行し、ステップ６４４において、損失許容画像データの少なくとも一部に対しては、１以上の誤り訂正技術を実行することを省略する。

図９Ｄは、受信画像データから損失許容画像データを取り出すための通信技術の別の例を示すフローチャートである。ステップ６５２において、ＮＥＤシステムにおける受信側コンピュータ・システムの制御下にある通信モジュールは、受信された無損失優先画像データに対して、１以上の誤り訂正技術を実行し、ステップ６５４において、損失許容画像データの少なくとも一部の１以上のデータ完全性ヘッダ・ビットをチェックする。ステップ６５６において、通信モジュール２５０は、失われているか、あるいは破損されているかの少なくとも一方である損失許容データ・パケットの１以上の識別子を記憶する。ステップ６５８において、通信モジュール２５０は、ディスプレイ・エンジンによりアクセス可能なメモリ・バッファに、受信された損失許容画像データを記憶し、ステップ６６０において、ディスプレイ更新優先基準が満たされていることに応じて、失われたデータ、破損されたデータ、又はその両方のタイプのデータの伝送をリクエストする。

ディスプレイ更新優先基準の一例は、無損失優先画像データが優先度付けされる、１秒当たり少なくとも所定のフレーム数の更新速度を維持することである。無損失優先画像データのために優先度が付けられた時間窓における利用可能な帯域幅が存在する場合、破損された、あるいは送信に失敗した損失許容画像データが、無損失伝送基準を満たすよう送信される窓に含まれ得る。そのような実施形態は、セカンダリ領域内のオブジェクトにシフトしているユーザ・フォーカスが、予測可能である、あるいは、アプリケーションの性質に起因して生じないよりは可能性が高いアプリケーションにとって有用であり得る。

図１０Ａは、伝送品質に応じて変化する変調技術を用いて画像データを送信するプロセスの例のフローチャートである。ステップ６７２において、送信側コンピュータ・システムは、通信モジュール２５０に、無損失伝送基準のビット誤り率基準を満たす変調技術を用いて、無損失優先画像データを変調させ、ステップ６７４において、送信側コンピュータ・システムの制御下にある通信モジュール２５０は、ビット誤り率基準を満たさない変調技術を用いて、損失許容データの少なくとも一部を変調する。

図１０Ｂは、コンステレーション符号化スキームとしての変調通信技術のいくつかの実施例を示すフローチャートである。ステップ６８２において、送信側コンピュータ・システムは、通信モジュール２５０に、無損失伝送基準のビット誤り率基準を満たす、シンボル当たり複数ビットの第１のコンステレーション符号化スキームを用いて、無損失優先画像データを変調させる。ステップ６８４において、送信側コンピュータ・システムの制御下にある通信モジュール２５０は、シンボル当たりより多くのビットを有し、無損失伝送基準のビット誤り率基準を満たさない第２のコンステレーション符号化スキームを用いて、損失許容データの少なくとも一部を変調する。

上記の説明が示すように、損失許容データ及び無損失優先データの伝送は、同時又はほぼ同時（例えば、同じフレーム）であってもよいし、別々の時間（例えば、異なるフレーム）で行われてもよい。フレームの例に加えて、異なる優先度ビットが、同じ番号の付けられたコンステレーション・スキームを用いて、同じシンボル内で優先度付けされてもよい。コンステレーション・エンコーダは、シンボル内のコンステレーション・ポイントに関連付けられたより高位のビットの無損失優先データを符号化することができ、同じシンボルは、そのコンステレーション・ポイントに関連付けられたより低位のビットとしての損失許容データを符号化する。例えば、ＱＡＭ１６スキームにおいて、より高い優先度ビットは、１６個のコンステレーション・ポイントの各々について、高位のビットで符号化される。例えば、各コンステレーション・ポイントは、４ビットのパターンに関連付けられ、そのパターンの最上位ビットは、高位のビットを得る。その結果は、より高い優先度ビットが、シンボルの異なる象限で符号化される、ということである。シンボルの異なる象限におけるコンステレーション・ポイントは、同じ象限内のポイントよりも大きなハミング距離又は変調距離だけ分離される。より低い優先度ビットは、残りのより低位のビットを用いて符号化されるので、それらは、同じ象限内にあり、より近いハミング距離である可能性を有する。ハミング距離が近いほど、雑音が、検出器に、間違ったビット値、したがって、間違ったコンステレーション・ポイント及びコンステレーションにおける関連値を検出させる可能性が高くなる。

望まれる場合、異なる象限におけるコンステレーション・ポイント間のハミング距離又は変調距離が、同じ象限におけるポイント間の変調距離を狭めることを犠牲にして拡張される階層ＱＡＭ（ＨＱＡＭ）も使用されてよい。ＱＡＭ符号化は、注目点からの連続的な距離の変化に基づく画像品質の段階的な劣化に特に有用である。

図１０Ｃは、送受信されるべき画像データの優先度に基づいて、通信技術としての通信チャネルについてネゴシエートすることを示すフローチャートである。ステップ６９２において、ＮＥＤシステムにおける受信側コンピュータ・システムの制御下にある通信モジュールは、無損失伝送基準の第１のチャネル雑音基準を満たすかに基づいて、送信側通信モジュールと、無損失優先画像データのための通信チャネルについてネゴシエートし、ステップ６９４において、損失伝送を許容する第２のチャネル雑音基準を満たすかに基づいて、送信側通信モジュールと、少なくとも何らかの損失許容データのための通信チャネルについてネゴシエートする。

図１１は、コンピューティング環境５４のソフトウェア・コンポーネントの少なくとも一部をホストすることができる、ネットワーク・アクセス可能なコンピューティング・システム１２、付属処理モジュール４、又はニアアイ・ディスプレイ（ＮＥＤ）デバイスの制御回路１３６の別の実施形態を実装するために使用することができるコンピュータ・システムの一実施形態のブロック図である。図１１は、例示的なコンピュータ・システム９００を示している。その最も基本的な構成において、コンピュータ・システム９００は、通常、１以上の中央処理ユニット（ＣＰＵ）及び１以上のグラフィックス処理ユニット（ＧＰＵ）を含む１以上の処理ユニット９０２を含む。コンピュータ・システム９００はまたメモリ９０４を含む。コンピュータ・システムの正確な構成及びタイプに応じて、メモリ９０４は、揮発性メモリ９０５（ＲＡＭ等）、不揮発性メモリ９０７（ＲＯＭ、フラッシュ・メモリ等）、又はそれらの組合せを含み得る。この最も基本的な構成が、図１１において、破線９０６により示されている。さらに、コンピュータ・システム９００はまた、追加の特徴／機能を有することができる。例えば、コンピュータ・システム９００はまた、追加のストレージ（取り外し可能及び／又は取り外し不可能）を含み得る。そのようなストレージとして、磁気ディスク、磁気テープ、又は光ディスクがあるが、それらに限定されるものではない。そのような追加のストレージが、図１１において、取り外し可能なストレージ９０８及び取り外し不可能なストレージ９１０により示されている。

コンピュータ・システム９００はまた、デバイスが他のコンピュータ・システムと通信することを可能にする１以上のネットワーク・インタフェース及びトランシーバを含む１以上の通信モジュール９１２を含み得る。コンピュータ・システム９００はまた、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス等の１以上の入力デバイス９１４を有することができる。ディスプレイ、スピーカ、プリンタ等の１以上の出力デバイス９１６もまた含まれ得る。

図示した例示的なコンピュータ・システムは、コンピュータ読み取り可能記憶デバイスの例を含む。コンピュータ読み取り可能記憶デバイスはまた、プロセッサ読み取り可能記憶デバイスでもある。そのようなデバイスは、コンピュータ読み取り可能命令、データ構造、プログラム・モジュール、又は他のデータ等の情報を記憶するために任意の方法又は技術により実装された揮発性及び不揮発性の取り外し可能なメモリ・デバイス及び取り外し不可能なメモリ・デバイスを含み得る。プロセッサ読み取り可能記憶デバイス又はコンピュータ読み取り可能記憶デバイスのいくつかの例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、キャッシュ、フラッシュ・メモリ、若しくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、又は他の光ディスク・ストレージ、メモリ・スティック若しくはメモリ・カード、磁気カセット、磁気テープ、メディア・ドライブ、ハード・ディスク、磁気ディスク・ストレージ、若しくは他の磁気記憶デバイス、又は、情報を記憶するために使用することができ、コンピュータによりアクセスされ得る任意の他のデバイスである。

構造的特徴及び／又は方法論的動作に特有の言葉で主題を説明したが、添付の特許請求の範囲において定められる主題は、上述した特定の特徴又は動作に必ずしも限定されないことを理解すべきである。むしろ、上述した特定の特徴及び動作は、請求項を実施する例示的な形態として開示されたものである。

Claims (4)

1. ニアアイ・ディスプレイ・デバイスの３次元（３Ｄ）視野における３Ｄ距離ベクトルを決定するステップであって、前記３Ｄ距離ベクトルは、前記ニアアイ・ディスプレイ・デバイス上の予め定められた基準点と、前記ニアアイ・ディスプレイ・デバイスのユーザの一方の眼と、のうちの１つから、前記ユーザの３Ｄ注目点へと伸びるものであり、前記一方の眼は、前記ニアアイ・ディスプレイ・デバイスから離間しており前記ニアアイ・ディスプレイ・デバイスと接しておらず、前記ユーザの前記３Ｄ注目点は、前記ニアアイ・ディスプレイ・デバイスを超えており、前記３Ｄ視野内に存在する、ステップと、
   前記ユーザの前記３Ｄ注目点へと伸びる前記の決定された３Ｄ距離ベクトルと、予め定められた低知覚基準と、に基づいて、前記３Ｄ視野を表す画像データの少なくとも一部が、前記低知覚基準を満たさない無損失優先画像データとして適しているかどうかを判定するステップと、
   前記の決定された３Ｄ距離ベクトルに基づいて、前記３Ｄ視野を表す前記画像データの他の少なくとも一部が、前記低知覚基準を満たす損失許容画像データとして適しているかどうかを判定するステップと、
   前記画像データの他の少なくとも一部が損失許容画像データとして適していることに応じて、損失伝送を許容する１以上の通信技術を用いて、第１の更新データとして前記損失許容画像データを前記ニアアイ・ディスプレイ・デバイスに送信する第１送信ステップと、
   前記画像データの少なくとも一部が前記無損失優先画像データとして適していることに応じて、無損失伝送基準を満たす１以上の通信技術を用いて、第２の更新データとして前記無損失優先画像データを前記ニアアイ・ディスプレイ・デバイスに送信する第２送信ステップと、
   を含む、方法であって、
   前記無損失優先画像データを前記ニアアイ・ディスプレイ・デバイスに送信することは、
   無損失伝送基準を満たす１以上の通信技術を用いるコンピュータ・システムの使用を含み、
   前記方法は、
   無損失伝送基準を満たす１以上の誤り訂正技術を用いて、前記無損失優先画像データを符号化するステップ
   をさらに含み、
   損失伝送を許容する１以上の通信技術を用いて、前記コンピュータ・システムから前記ニアアイ・ディスプレイ・デバイスに前記損失許容画像データを送信することは、
   パケットの１以上のデータ完全性ヘッダ・ビットを設定し、損失伝送を許容するレベルの誤り訂正により、前記損失許容画像データの少なくとも一部のための冗長データを含めないことにより、前記損失許容画像データの前記少なくとも一部を符号化すること
   を含む、方法。
2. 無損失伝送基準を満たす前記１以上の通信技術は、順方向誤り訂正（ＦＥＣ）を含む、請求項１記載の方法。
3. 前記無損失優先画像データは、ユーザ焦点領域内に表示するためのユーザ焦点領域画像データを含み、
   前記損失許容画像データは、前記ユーザ焦点領域外に表示するための少なくとも何らかのセカンダリ画像データを含み、
   前記セカンダリ画像データは、前記ユーザ焦点領域画像データよりも低い画像解像度を有する、請求項１記載の方法。
4. 前記セカンダリ画像データは、前記ユーザ焦点領域画像データとは異なるディスプレイ更新速度を有する、請求項３記載の方法。

Images