JP7338941B2 - Ｈｍｄ配信システムおよび方法 - Google Patents

Description

本発明は、ヘッドマウントディスプレイ、および、コンテンツ、特に仮想現実コンテンツをヘッドマウントディスプレイに配信するためのシステムおよび方法に関する。

典型的な仮想現実設定の構成は、
コンピュータ・グラフィックス、フォトリアリスティック・グラフィックスまたはリアル３Ｄビデオで、仮想環境の立体３Ｄ画像を表示するヘッドマウントディスプレイ（ＨＭＤ：頭部装着型ディスプレイ）と、
加速度計などを介して実環境におけるＨＭＤの位置および姿勢を決定し、ＨＭＤの動きを測定するためのセンサは、ＨＭＤ上にあるセンサ、およびＨＭＤから離れたリモートセンサであって、例えば、ＨＭＤに搭載する加速度計でＨＭＤの動き、位置、および姿勢（ロール、ピッチ、偏揺れ角）を測定し、ハンドレルド(携帯)ユーザインタフェース装置でユーザからコマンドを受け取り、リモートセンサアレイが、仮想環境内でユーザに作成される可視の「安全ゾーン」に、ユーザ上のＨＭＤの位置を追跡可能にする、該センサと、
仮想環境に追加する画像を生成するとともに仮想環境内でのユーザの位置と反応を決定するための強力なプロセッサと、ユーザのＨＭＤ上で画像を立体３Ｄにレンダリングするための最高仕様のグラフィックスカードを備えたコンピュータと、を含む。

電源要件と通信帯域幅要件も存在する。

ヘッドマウントディスプレイ（ＨＭＤ）は、コンピュータ・グラフィックス、フォトリアリスティック・グラフィックス、またはリアル３Ｄビデオで仮想環境の立体３Ｄ画像を表示する。３Ｄ効果は必須ではないため、２Ｄ画像が使用可能である。ＨＭＤは多数のセンサを有する。

ユーザインタフェースとＨＭＤに、ＨＤＭに対するまたはリモートセンサアレイに対する相対位置を決定するためのセンサを組み込み得る。選択ポインタなどのユーザインタフェースは、仮想環境でレンダリングされてもよい。

典型的な仮想現実設定は、主に、ハイスペックなグラフィックスカードで遅れなく高速動画をレンダリングするための処理能力のために、計算集約的となっている。

ヘッドマウントディスプレイ上の画像のレンダリングの遅れは、動揺病を起こしやすく、十分なユーザ体験を提供できない。ユーザがヘッドマウントディスプレイで仮想現実のインタラクションに関っている場合、許容可能な遅れ時間の閾値は２０ミリ秒程度である。遅れ時間が２０ミリ秒を超えると、吐き気や動揺病が起こりうる。

着用者がヘッドマウントディスプレイで仮想現実のインタラクションに関わらず、単にビデオを見ているだけであれば、遅れ時間は問題にならない。ヘッドマウントディスプレイは、快適な視聴体験を提供するには少なくとも６０フレーム／秒（ｆｐｓ）のビデオを配信する必要がある。９０ｆｐｓを超えるフレームレートが好ましい。従来の仮想現実用ヘッドマウントディスプレイ画像配信システムは、グラフィックカードを備えた高性能、高仕様のコンピュータであるか、高品質で動きの速いグラフィックスのレンダリングができる特別仕様のゲーム機である。

仮想現実コンテンツを視聴するためには、視聴者／参加者が相当量のハードウェア、ソフトウェア、および／または帯域幅へアクセスすることが必要である。本発明の目的は、仮想現実イベントを視聴し、かつ参加を可能にするためのハードウェア、ソフトウェアおよび帯域幅に関する要件を減らすことである。

本発明の一態様は、立体画像をヘッドマウントディスプレイ（ＨＭＤ）装置に伝達して画像情報を着用者に伝えるように構成されたヘッドマウントディスプレイ画像配信システムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、前記ＨＭＤシステムは、視野を表示する１つ以上のディスプレイと、１つ以上のセンサと、前記ＨＭＤシステムによる画像処理なしに視野を１つ以上のディスプレイ上に直接表示するための画像データを、前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、前記画像配信システムは、前記センサからセンサデータを受信する１つ以上の入力部と、前記画像配信システムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信できるように構成された１つ以上の画像入力部と、前記ＨＭＤシステムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための画像データを配信する１つ以上の画像出力部と、を含む。

本発明の他の態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムを含むシステムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、その組合せはさらに、前記画像配信システムおよび前記ＨＭＤ装置とはリモートで、かつ通信バスを介して接続される、グラフィックス処理および計算リソースを含み、
前記ＨＭＤ装置は、
１つ以上のディスプレイと、
前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、
前記ＨＭＤによる画像処理なしに視野を１つ以上のディスプレイ上に直接表示するための画像データを、前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、
前記画像配信システムは、立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、その構成は
前記センサからセンサデータを受信する１つ以上の入力部と、
前記画像配信システムによる画像処理なし前記1つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを、受信するように構成された１つ以上の画像入力部と、
前記ＨＭＤシステムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための画像データを配信する１つ以上の画像出力部と、を含み、
前記グラフィックス処理および計算リソースは画像配信システムに対しての前記通信バスを介した画像のレンダリングおよび画像処理の大部分を行う機能を含む。

本発明の一態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、
■ 前記ＨＭＤ装置は、１つ以上のディスプレイと、前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、前記ＨＭＤによる画像処理なしに１つ以上のディスプレイ上に直接表示するための画像データを前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、
■ 前記画像配信システムは、立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、前記センサからセンサデータを受信する１つ以上の入力部と、前記画像配信システムによる画像処理なしに前記１つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するように構成された１つ以上の画像入力部と、前記ＨＭＤシステムによる画像処理なしに前記視野を１つ以上のディスプレイ上に直接表示するための画像データを配信する１つ以上の画像出力部と、を含む。

本発明の他の態様は、前記ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせた前記ヘッドマウントディスプレイ画像配信システムを提供し、さらにコンピュータリソースを含み、このコンピュータリソースは、前記仮想環境に追加する画像を生成すると共に仮想環境内でのユーザの位置や反応を決定するための強力なプロセッサと、前記画像配信システムを介して前記ユーザの前記ＨＭＤに配信するために画像を立体３Ｄにレンダリングするための最高仕様のグラフィックスカードとを備える。

本発明のさらなる態様は、前記ヘッドマウントディスプレイ装置を含まない、本発明の前記ヘッドマウントディスプレイ画像配信システムを提供する。

本発明の他の態様は、前記ヘッドマウントディスプレイ画像配信システムを備えていない、本発明の前記ヘッドマウントディスプレイ装置を提供する。

本発明のさらなる態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置に立体画像を伝達するように構成されたヘッドマウントディスプレイ画像配信システムの作動方法を提供する。

外部センサアレイを有するヘッドマウントディスプレイシステムの概略図である。 リモート処理およびグラフィックスリソースと通信する本発明の実施形態の概略図である。 リモート処理およびグラフィックスリソースと通信する本発明の実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。 本発明の実施形態で使用する画像データのアレイの概略図である。 リモート処理およびグラフィックスリソースと通信する本発明の一実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。 リモート処理およびグラフィックスリソースと通信する本発明の一実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。 本発明の実施形態で使用する視野を示す。 本発明の実施形態で使用する視野を示す。 本発明の実施形態で使用する視野の概略図である。 本発明の実施形態で使用する視野の概略図である。 本発明の実施形態で使用する視野の概略図である。 本発明の実施形態で使用する視野の概略図である。

本発明の理解のため、添付の図面を参照し本発明の実施形態を例示により説明する。

図１はヘッドマウントディスプレイシステム１の概略図を示す。該システムは基本構成要素として、１つ以上のディスプレイスクリーン３（図１には示されていない）を含むヘッドマウントディスプレイマスク２と、運動と位置センサ４と、アイトラッカー５と、さらに運動と位置センサ６と、を含む。図１はまた、位置マーカ６のｘｙｚ座標系における位置を検出するためのマスク２の外側のセンサアレイ７を示す。図１はまた、ポインタ８のジョイスティックを含むユーザインタフェース装置を示す。ポインタ８は、ヘッドマウントディスプレイマスク２および外部センサアレイ７の両方、または一方に対する位置が決定できるよう、それ自体の位置マーカを組み込んでもよい。

センサ４、５、６のいくつかはマスク２上またはＨＭＤ内に取り付けられ、他のセンサ７、８はＨＭＤから離れて配置される。１つのカテゴリのセンサ４、６、７は、加速度計などを介してＨＭＤの実環境における位置および姿勢を決定し、ＨＭＤの動きを測定する。例えばＨＭＤに取り付けた加速度計が、ＨＭＤの動き、位置、姿勢（ロール、ピッチ、偏揺れ角）を測定する。ポインタ８や他のユーザインターフェースデバイス、例えばジョイスティック、ポインタ、グローブはユーザのコマンドを受け取るために使用する。リモートセンサアレイ７は、仮想環境内でユーザに作成される可視の「安全ゾーン」に、ユーザ上のＨＭＤの位置を追跡可能にする。

ユーザはマスク２を着用し、ディスプレイスクリーン３上の画像にも現れるユーザインタフェース８を保持して、マスク２内の１つ以上のディスプレイスクリーン３上の画像を見る。ディスプレイによって提供される画像は仮想環境の立体画像が好ましい。配信システムは、選択に応じて、画像またはビデオ信号に同期したオーディオ信号を配信するように構成される。好ましくは、配信システムは、ＨＤＭＩ（登録商標）ポートを介して仮想現実体験の一部として同期音声を配信する。

ユーザインタフェース８は、手袋、靴下またはリストバンドのような着用可能要素であっても、またはジョイスティックまたはポインタのような別体要素でもよい。

全てのセンサからのデータは、有線接続および／または無線接続によって、マスク２内の１つ以上のディスプレイスクリーン３への画像データの配信も担当するコンソール１０に供給される。

コンソール１０は図２に示されるように外部モニタ１８に接続されており、ヘッドマウントディスプレイ２の着用者以外の管理者または運用者が、装着されたマスク２に表示されている画像は外部モニタ１８で見え得る。

従来のシステムと異なり、コンソール１０はヘッドマウントディスプレイ画像配信システム１０を有し、このシステムが当該画像配信システム１０による処理なしに、１つ以上のディスプレイ３上に視野５０を直接表示するための前処理済み画像データを受信するように構成された少なくとも１つの入力部１００を有する。本発明を実現するコンソール１０は、ヘッドマウントディスプレイ装置１による画像処理なしに、視野５０を１つ以上のディスプレイ３上に直接表示するための画像データを配信する。

好ましくは、コンソール１０およびヘッドマウントディスプレイマスク２は同じスペースまたは区切られた空間内に存在し、互いにローカルである。より好ましくは同じ無線ネットワーク上にあるか、有線接続で互いに通信可能なこと。好ましくは、画像表示のためのヘッドマウントディスプレイマスク２への接続は、ＨＤＭＩ（登録商標）接続により、またマスクからコンソール１０へのデータ接続はＵＳＢ接続による。

仮想現実ディスプレイは、有意なグラフィックス処理および計算リソースを必要とする。本発明の実施形態では、グラフィックス処理計算リソース２１は、ヘッドマウントディスプレイ１およびコンソール１０とはリモートに設けられているが、低遅延通信バス２０を介してこれらのローカルの要素に接続されている。グラフィックス処理は、仮想現実クラスタＣＵＤＡ上に配置されたＧＰＵコンピューティングクラウド経由で行い得る。仮想現実オペレータは、独自のインフラストラクチャ２１を提供し、グラフィックス処理および計算リソースを提供するリモート要素へのデータパッケージングおよびデータ分配を,低遅延通信バス２０を介して調整する。通信バス２０は入力ポート１００を通ってコンソール１０に接続されている。

グラフィックス処理計算リソース２１は、ヘッドマウントディスプレイ１およびコンソール１０とはリモートに設けられる。そのためコンソール１０は、非常に容易な画像処理が必要であれば、それを提供するだけでよい。グラフィックス処理計算リソース２１は、バス２０を介してコンソール１０に送信するための画像レンダリングおよび画像処理の、全てではないとしても大部分を担う。コンソールは、ＨＭＤスクリーン３の設定との互換性のために再フォーマットすることを除き、それ以上の有意な画像処理を行う機能を要求せず、また有していない。リモートのグラフィックス処理計算リソース２１は、コンソール１０よりも多くの画像処理を行い、好ましくはＨＭＤ１で画像処理は行われない。全ての画像レンダリングがリモートのグラフィックス処理計算リソース２１で行われてもよい。

ここで図３を参照すると、ＨＭＤスクリーン３に表示されている仮想環境は高山パノラマ画像である。装着者／ユーザは、前方を真っ直ぐ、スクリーンのほぼ中央の地平線と水平に見ている。本発明を実現するコンソール１０は、通信バス２０を介してシーンからレンダリングされる画像を要求し、その画像はレンダリングされて通信バス２０を介して画像Ｉとして返信される。この画像Ｉは、グラフィックス処理または前処理なしで、可能な限り直接的にコンソールＨＤＭＩ（登録商標）出力１２を介してスクリーン３に直接伝えられ、画像Ｉの視野５０を表示する。

ヘッドマウントディスプレイシステムのセンサ４、５、６および７、８は、次に着用者の視野５０に何が表示されるかを確認するため、着用者の動きを監視し、着用者がどこを見ているかを特定している。コンソール１０は、ヘッドマウントディスプレイからセンサデータ４、５、６、７、８を受信し、次の視野の画像を要求する。次の画像はその時にはリモートで準備とレンダリングがされ、通信バス２０を介したコンソール／画像配信システム１０による画像処理なしでコンソール１０に送られ、スクリーン３に供給される。コンソール１０からヘッドマウントディスプレイシステム１に出力された画像Ｉは、ヘッドマウントディスプレイ画像配信システム１０による画像処理なしで送られる。

グラフィックス処理計算リソース２１は低遅延通信バスを介して接続されているので、コンソール１０は本質的に計算上必要最小限のものとすることができる。遅れ時間閾値は２０マイクロ秒未満にする必要がある。

図４は、スクリーン３に表示される画像の視野（ＦＯＶ１）５０（１）を示す。視野５０（１）の外側では、画像は仮想環境内で連続しているが、視野５０（１）の外にある画像Ｉの領域５１（２～９）は表示されない。視野（ＦＯＶ１）の外の領域は、上側の５１（２）、下側の５１（６）、左側の５１（８）、右側の５１（４）、角に、右上の５１（３）、右下の５１（５）、左下の５１（７）左上の５１（９）が位置する。図４は領域を実質的に長方形として示しているが、領域は異なる形で定義し得る。図９～１２を参照されたい。視野（ＦＯＶ１）５０の外の領域５１が、図９および１０においては楕円形のローブ５１として示され、図１１では長方形の外周として、また図１２ではサイドバーとして示されている。

図５は、本発明のさらなる実施形態を示す。ここではＨＭＤセンサデータ４、５、６、７、８が、リモートのグラフィックス処理および計算リソースセンター２１で使用され、バス２０を介して視野画像データだけを返すのでなく、少なくとも部分的に視野の外にあってスクリーン３には未表示の画像の画像データも、視野画像データに加えて、返す。図５の例では、ＨＭＤセンサデータは、視野をレンダリングするだけでなく、着用者が次に視野の右側を見ることを予測するリモートの計算リソースにおいても利用される。すなわち、リモートの計算リソースは、視野の右側の画像データもレンダリングして、低遅延通信バス２０を介してコンソール１０に送り返す。着用者が実際に視線を表示視野の右側に移動するとコンソール１０が特定した場合、セレクタ１７は視野の右側を視野の右側にある画像データの「右」領域と共に表示できるように、視野の修正版を選び得る。

図６は本発明のさらなる実施形態である。ＨＭＤセンサデータ４、５、６、７、８のデータをローカルコンソール１０内のセレクタ１７に直接送信する。この実施形態では、センサデータは、通信バス２０を介してリモートのグラフィックス処理または計算リソースに送信されない。センサデータは、ヘッドマウントディスプレイシステムおよびコンソール１０に対してローカルのままとなる。

リモートのグラフィックス処理計算リソース２１は、視野をレンダリングするほか、視野５０（１）を囲む全ての領域５１（２～９）を通信バス２０により送信し、それらをローカルのコンソール１０に提供する。上記領域はコンソールで予め記憶され、セレクタ１７によって選択可能になる。セレクタ１７は、センサデータの制御下で、センサデータに応答して、着用者の視線が次に視野外のどこに向くかを予測または特定するように動作可能であり、着用者の視線の方向変化に合わせて、セレクタ１７は視野外の予め記憶した領域を選択し、その領域のさらなる前処理またはグラフィックス処理なしに、直接ヘッドマウントディスプレイスクリーンに供給する。センサデータおよび予測機能をコンソールおよびヘッドマウントディスプレイに対してローカルに保つことによって、コンソールは、リモートに位置するグラフィックス処理および計算リソースから独立させ得る。

図７は、視野（ＦＯＶ１）と、ＦＯＶ１の外の右側領域を示す。この右側領域は、コンソール１０でバッファされ（ここで右側領域は受信されるがＦＯＶには表示されない）、着用者の視線がＦＯＶ１の右側に向くと即時に送信できる。このバッファリング形式を本明細書では「事前記憶」と呼ぶ。同様に、図８はＦＯＶ１の上部外側領域を示し、その領域はヘッドマウントディスプレイスクリーンへの即時送信に備えてコンソール１０でバッファ(または事前記憶)される。

システムに利用可能なセンサの種類として、アイトラッカー（視線トラッカ－としても知られている）を備えても良く、ユーザの視線を監視することによって、ユーザが見ている、またはこれから視線が向かうスクリーン部分を特定する。そのようなセンサは光学式で非侵襲的であり、ヘッドセットの内部に取り付けられる。

本明細書および特許請求の範囲で使用されるとき、用語「含む／有する／備える（ｃｏｍｐｒｉｓｅｓ）および（ｃｏｍｐｒｉｓｉｎｇ）」およびそれらの変化形は、特定の特徴、ステップまたは整数値を含む意味で用いられている。その用語が、他の特徴、ステップまたは構成要素の存在を排除する意味であると解釈してはならない。

上記の説明、特許請求の範囲、または添付の図面に開示された特徴、それらの特定の形式でまたは開示された機能を行うための手段、または開示された結果を達成するための方法またはプロセスによって表された特徴は、適宜、別々に、または任意の組み合わせで利用することにより本発明を種々の異なる形態で実現可能である。

Claims (21)

1. 画像配信システムと組み合わせたヘッドマウントディスプレイ（ＨＭＤ）であって、前記画像配信システムは、画像情報を前記ＨＭＤの装着者に伝えるために前記ＨＭＤに三次元画像を伝達するように構成されており、前記画像配信システムと前記ＨＭＤは互いにローカルであり、
   前記ＨＭＤは、
   視野を表示する１つ以上のディスプレイと、
   センサデータを発生するように動作可能な１つ以上のセンサと、
   前記ＨＭＤによる画像処理なしに前記１つ以上のディスプレイ上に前記視野を直接表示するために画像データを前記画像配信システムから受け取るように構成された１つ以上の画像入力部とを含み、
   前記画像配信システムは、
   前記ＨＭＤセンサから前記センサデータを受け取るための１つ以上の入力部と、
   前記視野が移動するであろう１つ以上の方向を判定する処理のために処理リソースに前記センサデータを送るための手段と、
   前記画像配信システムによる画像処理なしに前記ＨＭＤの前記１つ以上のディスプレイ上に前記視野を直接表示するための前処理済み画像データを受け取るように構成された１つ以上の画像入力部と、
   前記ＨＭＤによる画像処理なしに前記視野を前記１つ以上のディスプレイ上に直接表示するための画像データを配信するための１つ以上の画像出力部とを含み、
   前記画像配信システムは、動作時において、前記視野の前記前処理済み画像データに加え、前記ディスプレイに未だ表示されていない画像の追加の前処理済み画像データを受け取るように動作可能であり、前記追加の前処理済み画像データは、前記視野に対して１つ以上の所定の方向において前記視野の外側にある１つ以上の画像に関連しており、
   前記画像配信システムは、前記視野が移動するであろう方向を前記センサデータから判定すると共に、その判定に応じて、その判定された方向において前記視野の外側にある画像領域の前記画像を前記ＨＭＤに提供する手段を含む、ことを特徴とする、画像配信システムと組み合わせたＨＭＤ。
2. 前記画像配信システムは、前記画像配信システムによる画像処理なしに、前記1つ以上
   のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するバッファを備えることを特徴とする、請求項１に記載の画像配信システムと組み合わせたＨＭＤ。
3. 前記画像配信システムは、画像またはビデオ信号に同期した音声信号を配信するように構成されることを特徴とする、請求項１又は２に記載の画像配信システムと組み合わせたＨＭＤ。
4. 前記画像配信システムは処理リソースを有し、前記センサから受信した前記センサデータは、前記視野が移動する１つ以上の方向を決定するため前記画像配信システムによって処理されることを特徴とする、請求項１～３のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
5. 前記画像配信システムは、視野画像データのみを記憶することを特徴とする、請求項１～４のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
6. 前記画像配信システムは、視野画像データを記憶し、さらに視野外にある1つ以上の画
   像領域の画像データを記憶することを特徴とする、請求項１～４のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
7. 前記画像配信システムは、事前記憶された画像データを前記ＨＭＤに配信するためのセレクタを有し、視野が移動すると予測される方向に基づいて選択が行われることを特徴とする、請求項１～４、６のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
8. ローカルデータループが存在し、そのローカルデータループは、前記画像配信システムがＨＭＤセンサデータを受信して前記視野の方向を決定し、決定方向において視野外にある画像領域の画像を配信することを特徴とする、請求項１～４、６、７のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
9. 決定方向は、ＨＭＤセンサデータから予測または導出された方向であることを特徴とする、請求項７又は８に記載の画像配信システムと組み合わせたＨＭＤ。
10. 前記ＨＭＤセンサは、前記ＨＭＤの動き、位置、および姿勢の１つ以上を決定することを特徴とする、請求項１～９のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
11. センサデータは、前記ディスプレイの動き、位置、姿勢、着用者の目の位置、アイトラッキング、および着用者に見られているディスプレイの領域のうちの少なくとも１つまたは任意の組合せを決定することを特徴とする、請求項１～１０のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
12. 前記ＨＭＤセンサは、アイトラッキングセンサを含むことを特徴とする、請求項１～１１のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
13. １つ以上の前記ＨＭＤセンサは、前記ＨＭＤの上または中に取り付けられていることを特徴とする、請求項１～１２のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
14. １つ以上の前記ＨＭＤセンサがローカルループ内にあり、どの前処理済み画像データを配信すべきかを知らせるため、少なくとも幾つかのセンサデータがリモート送信されない
    ことを特徴とする、請求項１～１３のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
15. ハンドヘルドユーザインタフェース装置は、前記ＨＭＤユーザからコマンドを受け取ることを特徴とする、請求項１～１４のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
16. リモートセンサアレイは、仮想環境内でユーザに作成される可視の「安全ゾーン」に、前記ユーザ上の前記ＨＭＤの位置を追跡可能にすることを特徴とする、請求項１～１５のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
17. 前記ＨＭＤおよび前記画像配信システムとはリモートにあるコンピュータリソースは、仮想環境に追加する画像を生成するとともに前記仮想環境内でのユーザの位置と反応を決定するためのプロセッサと前記ユーザの前記ＨＭＤ上で画像を立体３Ｄにレンダリングするためのグラフィックスカードをさらに備えていることを特徴とする、請求項１～１５のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
18. 前記コンピュータリソースは、コンピュータファーム、ＣＵＤＡ、および／またはＧＰＵであることを特徴とする、請求項１７に記載の画像配信システムと組み合わせたＨＭＤ。
19. １つ以上の前記センサは、前記ディスプレイの動き、位置、および姿勢を決定するように動作可能であることを特徴とする、請求項１～１８のいずれか一項に記載の画像配信システムと組み合わせたＨＭＤ。
20. 前記ＨＭＤ装置と前記画像配信システムは、同じネットワーク上で、または近距離無線通信方法によって無線接続で相互に接続されることを特徴とする、請求項１９に記載の画像配信システムと組み合わせたＨＭＤ。
21. 前記ＨＭＤ装置と前記画像配信システムとは、有線接続で相互に接続されることを特徴とする、請求項１９又は２０に記載の画像配信システムと組み合わせたＨＭＤ。