JP6408634B2 - 頭部装着ディスプレイ - Google Patents

Description

本発明は、頭部装着ディスプレイ（ＨＭＤ）及びコントローラと、ＨＭＤ機器ユニットとを使用するゲームプレイ方法及びシステムに関する。

ビデオゲーム産業には、長年に渡り、多くの変遷があった。演算能力が拡大するに従い、ビデオゲームの開発者は、同様に、演算能力の向上を利用するゲームソフトを開発してきた。この目的で、ビデオゲーム開発者は、非常に写実的なゲーム体験を作り出す高度な機能及び演算を組み込んだゲームをコード化している。しかしながら、ＨＭＤを使用するゲームには、今なお、多くの改善が必要である。

本発明の実施形態は、この文脈において、考案されている。

本発明の実施形態は、頭部装着ディスプレイ（ＨＭＤ）上へのゲームの描画方法及びシステムを提供する。いくつかの実施形態においては、ゲームプレイは、ユーザーが使用するコントローラに相関されてもよい、あるいはコントローラで実行されてもよい。本方法は、ＨＭＤ及びコントローラを追跡する様式、及び没入型インタラクティブ性を提供する方法を定義する。被追跡ＨＭＤ及びコントローラは、三次元空間内での相関インタラクティブプレイを有効にする。理解すべきは、本発明が、コンピュータ可読媒体上に、プロセス、装置、システム、デバイスまたは方法などの、多くの様式で実施可能であることである。以下に、本発明の、創意に富むいくつかの実施形態を説明する。

ヘッド装着部を含む頭部装着ディスプレイが開示される。これは、また、ヘッド装着部に連結されたビューイング・モジュールも含む。ビューイング・モジュールは、画像コンテンツを描画するよう構成されるスクリーン内へのビューポートを持つ内側部分と、外側ハウジングを含む。さらに、ビューイング・モジュールの外側ハウジングに統合されて複数の照明素子が含まれる。複数の照明素子は、頭部装着ディスプレイの画像追跡のために定義され、照明ロジックが複数の照明素子をアクティブまたは非アクティブに制御する。

いくつかの実施形態においては、通信モジュールによって交換されるデータは、入力データ、画像データ、オーディオ・データ及び慣性データを含む。

いくつかの実施形態における複数の照明素子は、発光ダイオード（ＬＥＤ）または赤外線（ＩＲ）エミッタとして定義される。

いくつかの実施形態におけるＬＥＤは、一つ以上の色を照らし出すよう定義され、一つ以上の色の照明は、照明ロジックによって制御される。

いくつかの実施形態における複数の照明素子は、外側ハウジング上に定義パターンで配置される。

いくつかの実施形態における外側ハウジングは、部分的に曲がった形状を持ち、複数の照明素子は、部分的に曲がった形状の周りにパターンとして配置される。

いくつかの実施形態における外側ハウジングは、複数の表面領域を持ち、複数の照明素子は、複数の表面領域の周りにパターンとして配置される。

いくつかの実施形態における複数の照明素子は、二つ以上の形状またはサイズを含む。

いくつかの実施形態においては、複数の照明素子の追加素子が、ヘッド装着部へ結合される。

もう一つの実施形態においては、頭部装着ディスプレイ（ＨＭＤ）が開示される。ＨＭＤは、ユーザーの頭に装着するためのヘッド装着部、及び、ヘッド装着部に連結され、ユーザーの眼前に配置されるよう構成されたビューイング・モジュールを含む。ビューイング・モジュールは、画像コンテンツを描画するよう構成されるスクリーン内へビューポートを保持させる内側と、内側を包囲する外側ハウジングを含む。ＨＭＤは、さらに、コンピュータ・システムとのデータ交換のための通信モジュールを含む。データは、入力データ、画像データ、オーディオ・データ及び慣性データ（他のデータも可能）を含む。ＨＭＤは、また、スクリーン上に画像コンテンツを描画するために画像データを処理するための画像処理モジュール、及びビューイング・モジュールの外側ハウジングに統合された複数の照明素子を含む。複数の照明素子は、カメラによる頭部装着ディスプレイの画像追跡のために定義される。ＨＭＤは、また、複数の照明素子のうちの特定な素子を、特定な時間にアクティブ及び／または非アクティブに、あるいは使用中にオンに制御するための照明ロジックを含む。

いくつかの実施形態における外側ハウジングは、前面部、第一側面部及び第二側面部を持つ。

いくつかの実施形態においては、複数の照明素子の第一の素子が、前面部の左側に配置され、複数の照明素子の第二の素子が、前面部の右側に配置される。

いくつかの実施形態における複数の照明素子の第一の素子は、部分的に前面部と第一側面部とに位置する二部形状を持ち、複数の照明素子の第二の素子は、部分的に前面部と第二側面部とに位置する二部形状を持つ。

いくつかの実施形態における複数の照明素子は、発光ダイオード（ＬＥＤ）または赤外線（ＩＲ）エミッタとして定義される。

いくつかの実施形態におけるＬＥＤは、一つ以上の色を照らし出すよう定義され、一つ以上の色のイルミネーションは、照明ロジックによって制御される。

いくつかの実施形態における複数の照明素子は、外側ハウジング上に定義パターンで配置される。

いくつかの実施形態における通信モジュールは、コンピュータとの有線接続または無線接続の一つである。

いくつかの実施形態における慣性データは、頭部装着ディスプレイによって、ユーザー着用中の検出運動に応答して生成される。

いくつかの実施形態における入力データは、頭部装着ディスプレイによって、ユーザー着用中のユーザー入力に応答して生成される。

いくつかの実施形態におけるオーディオ・データ及び画像データは、頭部装着ディスプレイに描画されるインタラクティブ・メディア・コンテンツに関連付けられる。

いくつかの実施形態におけるインタラクティブ・メディア・コンテンツは、ゲーム・データ、ビデオ・データ、インターネット・ナビゲーション・データ、ゲーム・データとインターネット・データとの組み合わせ、ソーシャル・メディア・データ、またはそれらの組み合わせを含む。

いくつかの実施形態における外側ハウジングは、部分的に曲がった形状を持ち、複数の照明素子は、部分的に曲がった形状の周りにパターンとして配置される。

いくつかの実施形態における外側ハウジングは、複数の表面領域を持ち、複数の照明素子は、複数の表面領域の周りにパターンとして配置される。

いくつかの実施形態における複数の照明素子は、二つ以上の形状またはサイズを含む。

いくつかの実施形態における複数の照明素子の追加素子は、ヘッド装着部へ結合される。

いくつかの実施形態における複数の照明素子は、外側ハウジング上に定義パターンで配置される。

もう一つの実施形態においては、頭部装着ディスプレイが開示される。頭部装着ディスプレイは、ヘッド装着部及びビューイング・モジュールを含む本体を含む。ビューイング・モジュールは、画像コンテンツを描画するよう構成されるスクリーン内へビューポートを保持するよう内側部分を含み、本体は、ビュー・モジュールを覆う外側ハウジングを含む。頭部装着ディスプレイは、さらに、ビューイング・モジュールの外側ハウジングに統合された複数の照明素子を含む。複数の照明素子は、頭部装着ディスプレイの画像追跡のために定義される。複数の照明素子は、パターンで配置される。また、画像追跡を容易にするために作動される複数の照明素子を制御するための照明ロジックも含まれる。

頭部装着ディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームの実行方法が提供される。実行は、スクリーン上にゲームのインタラクティブ・シーンを描画する。この方法は、ＨＭＤ空間位置を特定するために、ユーザーが装着したＨＭＤのデータを受信することを含む。方法は、また、コントローラ空間位置を特定するために、ユーザーが保持しているコントローラのデータを受信することを含む。ゲームプレイ中、方法は、スクリーン上のゲームのインタラクティブ・シーン内へ視点を描画することを含む。この場合の視点は、三次元で描画される空間体積である。方法は、ＨＭＤ空間位置の変化の検出に応じて視点を調整することを含む。コントローラは、ゲーム内のインタラクティブ性を作動させることが可能であり、没頭型三次元ゲームプレイ体験を提供するために、コントローラ及びＨＭＤの位置変化は相互に関連付けられる。

いくつかの実施形態におけるコントローラは、インタラクティブ性を作動させる入力を提供する。

いくつかの実施形態においては、コントローラ空間位置の変化が、追加の入力を提供する。

いくつかの実施形態における追加の入力は、発光体または慣性データの一つを含む。

いくつかの実施形態における発光体は、カメラを介して観察されるロケーション・データを提供し、発光体の色が追加のデータを提供する。

いくつかの実施形態における色は、プレイヤー番号またはモード、あるいは室内条件に基づく設定を示す。

いくつかの実施形態におけるコントローラは、インタラクティブ・シーン内に仮想オブジェクトとして表現され、仮想オブジェクトは、コントローラ空間位置へ実質的に対応する仮想空間位置のインタラクティブ・シーン内に描画され、コントローラ空間位置の変化が、スクリーン上に示される仮想オブジェクトの仮想空間位置を変化させる。

もう一つの実施形態においては、頭部装着ディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームの実行方法が提供される。この方法は、ゲームを実行することを含み、この場合の実行は、スクリーン上にゲームのインタラクティブ・シーンを描画する。この方法は、以下のことを含む。ＨＭＤ空間位置を特定するために、ユーザーが装着したＨＭＤのデータを受信すること。コントローラ空間位置を特定するために、ユーザーが保持しているコントローラのデータを受信すること。スクリーン上のゲームのインタラクティブ・シーン内へ視点を描画すること。及びＨＭＤ空間位置の変化の検出に応じて視点を調整すること。この方法は、プロセッサによって実行される。

いくつかの実施形態におけるコントローラは、仮想オブジェクトとしてインタラクティブ・シーン内に表現され、仮想オブジェクトは、コントローラ空間位置に対応する仮想空間位置のインタラクティブ・シーン内に描画され、コントローラ空間位置の変化が、仮想オブジェクトの仮想空間位置を変化させる。

いくつかの実施形態におけるインタラクティブ・シーンは、三次元フォーマットで描画されるため、インタラクティブ・シーン内のオブジェクトは、ＨＭＤの前に出現しインタラクティブ・シーン内へ距離感を持って延在する。

いくつかの実施形態におけるＨＭＤ及びコントローラ空間位置は、画像データ、慣性データ、無線データ、赤外線データの一つ以上、あるいはそれらの組み合わせを利用して追跡される。

いくつかの実施形態においては、画像データを使用する追跡は、奥行データを提供する立体カメラを使用して、ＨＭＤ及びコントローラ空間位置の一方または両方を検出することを含む。

もう一つの実施形態においては、頭部装着ディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームの実行方法が提供される。この方法は、ゲームを実行することを含み、この場合の実行は、スクリーン上にゲームのインタラクティブ・シーンを描画する。この方法は、以下のことを含む。ユーザーへ向けられているキャプチャ・ロケーションに対するＨＭＤ空間位置を特定するために、ユーザーが装着したＨＭＤの画像を受信すること。キャプチャ・ロケーションに対するコントローラ空間位置を特定するために、ユーザーが保持しているコントローラの画像を受信すること。この場合、コントローラは、実行中のゲームとのインタラクションを少なくとも部分的に作動させる入力を提供すること。スクリーン上のゲームのインタラクティブ・シーン内へ視点を描画すること。及び、ＨＭＤの受信画像内におけるＨＭＤ空間位置の変化の検出に応じて視点を調整すること。

いくつかの実施形態におけるコントローラは、仮想オブジェクトとしてインタラクティブ・シーン内に表現され、仮想オブジェクトは、コントローラ空間位置に対応する仮想空間位置のインタラクティブ・シーン内に描画され、コントローラ空間位置の変化が、仮想オブジェクトの仮想空間位置を変化させる。

いくつかの実施形態におけるゲームは、頭部装着ディスプレイへ通信接続されたコンピュータ上で実行される。

いくつかの実施形態におけるゲームは、ゲーム・クラウド上で実行され、頭部装着ディスプレイは、ゲーム・クラウドへ通信接続される。

いくつかの実施形態におけるＨＭＤ空間位置及びコントローラ空間位置の各々は、追加的に慣性データによって特定可能である。

本発明の他の態様は、添付図面と併せて、例証として本発明の原則を表す以下の詳細説明を参照することで明らかになる。

本発明は、添付図面と併せて、以下の説明を参照することによって最も良く理解できる。

本発明の実施形態による、ビデオゲームのインタラクティブゲームプレイのためのシステムを表す。

本発明の実施形態による頭部装着ディスプレイ（ＨＭＤ）を表す。

実行中のビデオゲームと併せて、本発明の実施形態によるＨＭＤの機能を概念的に表す。

本発明の実施形態によるＨＭＤから３Ｄで視聴可能な仮想空間の実施例、コントローラとのインタラクション及びそれらのコーディネーションを表す。

本発明の実施形態によるＨＭＤを装着し、コントローラを保持し、ビデオゲームに対して生成されるインタラクティブ・シーン内へ視点を変化させているユーザーの追加実施例を表す。

ビデオゲームをするときの、ＨＭＤを装着してコントローラを保持しているユーザーを表す。

本発明の実施形態による頭部装着ディスプレイの構成要素を表す。

本発明の種々の実施形態によるゲーム・システムのブロック図である。

図１は、本発明の実施形態による、ビデオゲームのインタラクティブゲームプレイのためのシステムを表す。本明細書での実施例は、ビデオゲームやゲームに関連させて提供されるが、実施形態は、異なる環境やツールにも適用可能である。そのような環境は、ビジネス・ツール環境、プレゼンテーション・ツール、電話会議システム、仮想訪問プログラム、仮想プロジェクト・コラボレーション、情報及びソーシャル・インタラクションの共有、ソーシャル・ネットワーク、ソーシャル・データ・マイニング、コミュニケーション等を含むことができる。

ビデオゲーム実施例におけるユーザー１００は、頭部装着ディスプレイ（ＨＭＤ）１０２を装着して図示される。ＨＭＤ１０２は、眼鏡、ゴーグルまたはヘルメットに類似した方式で装着されるものであり、ユーザー１００に対してビデオゲームまたは他のコンテンツを表示するよう構成される。ＨＭＤ１０２は、ユーザーの眼の近位に表示メカニズムを備える長所によって、ユーザーへ高度な没頭体験を提供する。したがって、ＨＭＤ１０２は、ユーザーの眼の各々に対して、ユーザーの視野の大部分または全域を占める表示領域を提供できる。

一つの実施形態におけるＨＭＤ１０２は、コンピュータ１０６へ接続可能である。コンピュータ１０６への接続は、有線または無線でよい。コンピュータ１０６は、本技術において既知である任意の一般または専用コンピュータでよい。例えば、限定せずに、ゲーム・コンソール、パーソナル・コンピュータ、ラップトップ、タブレット型コンピュータ、モバイル・デバイス、携帯電話、タブレット、シン・クライアント、セット・トップ・ボックス、メディア・ストリーミング・デバイス等を含む。一つの実施形態におけるコンピュータ１０６は、ビデオゲームを実行し、ＨＭＤ１０２による描画のために、ビデオゲームからのビデオ及びオーディオを出力するよう構成できる。

ユーザー１００は、ビデオゲームに対する入力を提供するために、コントローラ１０４を操作してもよい。加えて、カメラ１０８は、ユーザー１００が所在するインタラクティブ環境の画像をキャプチャするよう構成できる。これらのキャプチャ画像を分析することによって、ユーザー１００、ＨＭＤ１０２及びコントローラ１０４の位置及び運動を測定できる。一つの実施形態におけるコントローラ１０４は、発光体を含み、それを追跡することによって、その位置及び方位が測定可能である。加えて、下記に詳細に説明するように、ＨＭＤ１０２は、ＨＭＤ１０２の位置及び方位を測定するために追跡が可能な、一つ以上の発光体を含んでもよい。発光体は、イルミネーション・オブジェクトと見なされる。

一つの実施形態においては、イルミネーション・オブジェクトは、人間の眼で、及び／またはカメラまたは画像検出デバイス、あるいはディテクタまたはレシーバで観察した場合に、可視的相違を提供するよう光を放つ、あるいは輝くものである。一つの実施形態におけるイルミネーション・オブジェクトは、人間に可視な光を発することが可能であり、他の実施形態においては、人間に不可視な光を発する。一つの実施形態におけるイルミネーション・オブジェクトは、ＩＲエミッタを介して赤外線（ＩＲ）光を発してもよい。一つの実施例におけるイルミネーション・オブジェクトは、一つ以上の発光ダイオード（ＬＥＤ）であってもよい。各ダイオードは、白色光、あるいは種々の色合いの色光を発してもよい。いくつかの実施形態におけるイルミネーション・オブジェクトは、少なくとも部分的に透明である面の下に配置されてもよい。その面は、カバーであってもよく、その場合のカバーは、一つ以上の色で輝く、あるいは見えることになる。

いくつかの実施形態におけるイルミネーション・オブジェクトは、ＨＭＤの本体またはハウジング内へ統合される、ＨＭＤ上の明るい、あるいは透明なプラスチックの下に配置される、ＨＭＤの面上に露出される、特定な複数の色を照らし出す複数のカラー・シールドまたは材料の下に配置される、及び／または検出可能性を向上させる、追跡を向上させるために（例えば、傾き、回転、偏揺及び奥行を特定するために）、特定な形状に配置される。種々の実施例におけるＨＭＤは、種々の位置に種々のイルミネーション・オブジェクトを含んでもよい。その場合のＨＭＤは、正面、側面及び背面から追跡が可能である。一つの実施形態におけるイルミネーション・オブジェクトは、ＨＭＤのヘッド・バンドへ追加されてもよい。そのようなイルミネーション・オブジェクトは、ヘッド・バンドの側面に種々の位置で取り付けることができ、ユーザーが移動、回転、円回転などを行っているときの追跡を向上させ得る。

一つの実施形態においては、ＨＭＤ内に、照明ロジックが統合されてもよい。ＨＭＤは、イルミネーション・オブジェクトを作動させるために、一つ以上の回路を含んでもよい。単純な構成における照明ロジックは、イルミネーション・オブジェクトを、回路、スイッチ、トリガー、チップ、コントローラ、ＣＰＵ（中央処理ユニット）、ＤＳＰ（デジタル信号プロセッサ）、ＡＳＩＣ（特定用途向け集積回路）、及び／またはファームウェア及び／またはソフトウェアへ結合するワイヤーによって定義されてもよい。したがって、イルミネーション・オブジェクトは、イルミネーション・オブジェクトの一つまたはすべてが、点灯する、オンであり続ける、明滅する、コードでオン／オフする、発色する、ゲームの複数のＨＭＤプレイヤーを区別するために複数の特定な色を示す、等の時を制御が可能である。いくつかの実施形態におけるＨＭＤの回路は、画像データを受信して処理するためのロジックを含んでもよい。

例えば、コンピュータまたはゲーム・コンソールから受信される画像データは、ＨＭＤによって受信し処理してもよい。データ処理は、ビューイング・モジュール上へ画像データを描画することを含んでもよい。ビューイング・モジュールは、ＨＭＤを介しての視聴のための画像を描画するスクリーンを含んでもよい。いくつかの実施形態におけるＨＭＤのスクリーンは、二つの別個なスクリーン、例えば、各々の眼に対して一つ、と定義されてもよい。もう一つの実施形態におけるスクリーンは、一つのスクリーンであってもよい。この場合、各々の眼は、光学系を利用して、スクリーン上に焦点を合わせることが可能である。

カメラ１０８は、インタラクティブ環境から音をキャプチャするために、一つ以上のマイクを含んでもよい。マイク・アレイによってキャプチャされた音は、音源の位置を特定するために処理されてもよい。特定位置からの音は、特定位置からではない他の音を排除して、選択的に利用または処理することが可能である。さらに、カメラ１０８は、マルチプル画像キャプチャ・デバイス（例えば、立体視用の一対のカメラ）、ＩＲカメラ、デプスカメラ及びそれらの組み合わせを含むように定義できる。

もう一つの実施形態におけるコンピュータ１０６は、クラウド・ゲーム・プロバイダ１１２とネットワークを介して通信するシン・クライアントとして機能する。クラウド・ゲーム・プロバイダ１１２は、ユーザー１０２が行うビデオゲームを維持し、実行する。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４及びカメラ１０８からの入力をクラウド・ゲーム・プロバイダへ送信し、クラウド・ゲーム・プロバイダが、実行中のビデオゲームのゲーム状態に影響を及ぼす入力を処理する。実行中のビデオゲームからの出力、例えば、ビデオ・データ、オーディオ・データ及びハプティック・フィードバック・データは、コンピュータ１０６へ送信される。コンピュータ１０６は、そのデータを伝達前にさらに処理してもよいし、あるいはデータを関連デバイスへ直接送信してもよい。例えば、ビデオ及びオーディオ・ストリームはＨＭＤ１０２へ提供されるが、振動フィードバック指令はコントローラ１０４へ提供される。

一つの実施形態におけるＨＭＤ１０２、コントローラ１０４及びカメラ１０８は、それら自体が、クラウド・ゲーム・プロバイダ１１２と通信するためのネットワーク１１０へ接続するネットワーク・デバイスであってもよい。例えば、コンピュータ１０６は、ビデオゲーム処理を行わずネットワーク・トラフィックの通過を促進する、ルーター等のローカル・ネットワーク・デバイスであってもよい。ＨＭＤ１０２、コントローラ１０４及びカメラ１０８によるネットワークへの接続は、有線または無線でもよい。

図２は、本発明の実施形態による頭部装着ディスプレイ（ＨＭＤ）を表す。図示のように、ＨＭＤ１０２は複数の発光体２００Ａ−Ｈを含む。これらの発光体の各々は、特定形状を持つように構成されてもよく、また、同じ色または異なる色を持つようにも構成できる。発光体は、また、追跡性を向上させるために、ＨＭＤ上に特定なパターンで方位を定めて配置してもよい。発光体２００Ａ、２００Ｂ、２００Ｃ及び２００Ｄは、ＨＭＤ１０２の前面上に配置される。発光体２００Ｅ及び２００Ｆは、ＨＭＤ１０２の側面上に配置される。また、発光体２００Ｇ及び２００Ｈは、ＨＭＤ１０２の前面及び側面に架かるようＨＭＤ１０２の角部分に配置される。当然ではあるが、発光体は、ユーザーがＨＭＤ１０２を使用するインタラクティブ環境のキャプチャ画像内で識別可能である。発光体の識別及び追跡に基づき、インタラクティブ環境内のＨＭＤ１０２の位置及び方位は判定可能である。さらに、当然ではあるが、発光体のいくつかは、画像キャプチャ・デバイスに対するＨＭＤ１０２の特定な方位に応じて、視認可能あるいは不可能である。また、発光体の異なる部分（例えば、発光体２００Ｇ及び２００Ｈ）が、画像キャプチャ・デバイスに対するＨＭＤ１０２の方位に応じて、画像キャプチャに対して露出され得る。

一つの実施形態における発光体は、近傍にいる他者へ、ＨＭＤの現在の状態を示すように構成できる。例えば、発光体のいくつかまたはすべてが、ＨＭＤ１０２の現在の状態を示す特定な配色、輝度配置で構成されても、点滅するように、あるいは特定のオン／オフ作動構成または他の配置を有するように構成されてもよい。実施例として、発光体は、ビデオゲームの活動的ゲームプレイ（タイムラインが有効な間に、あるいはゲームのシーン内に発生する通常のゲームプレイ）中に対して、メニュー・インターフェイスをナビゲートする、あるいはゲーム設定を構成する（その間、ゲームのタイムラインまたはシーンが、非有効になる、あるいは休止する）等のビデオゲームの他の非活動的ゲームプレイ態様中に、異なる構成を示すように構成できる。発光体は、また、ゲームプレイの相対インテンシティー・レベルを示すように構成されてもよい。例えば、ゲームプレイの激しさが増すに連れ、発光体の輝度または点滅の頻度を上昇させてもよい。このようにすれば、ユーザーではない外部の人は、ＨＭＤ１０２上の発光体を見て、ユーザーが激しいゲームプレイに活発に挑んでいる最中で邪魔されたくないであろう、と分かることが可能である。

ＨＭＤ１０２は、さらに、一つ以上のマイクを含んでもよい。図解実施形態におけるＨＭＤ１０２は、ＨＭＤ１０２の前面上に配置されたマイク２０４Ａ及び２０４Ｂと、ＨＭＤ１０２の側面上に配置されたマイク２０４Ｃを含む。マイクのアレイを利用することによって、音源の位置を測定するために、マイクの各々からの音を処理できる。この情報は、不必要な音源の排除、音源と視覚識別との関連付け等を含む種々の方法に利用できる。

ＨＭＤ１０２は、一つ以上の画像キャプチャ・デバイスを含んでもよい。図解実施形態におけるＨＭＤ１０２は、画像キャプチャ・デバイス２０２Ａ及び２０２Ｂを含んで図示されている。立体視用の一対の画像キャプチャ・デバイスを利用することによって、環境の三次元（３Ｄ）画像及びビデオは、ＨＭＤ１０２の視点からの遠近図でキャプチャできる。そのようなビデオは、ＨＭＤ１０２を装着しているユーザーに対して、「ビデオ・シースルー」機能を提供するよう、表示させることができる。つまり、厳密な意味においては、ユーザーはＨＭＤ１０２を透過して見ることはできないが、画像キャプチャ・デバイス２０２Ａ及び２０２Ｂによってキャプチャされるビデオは、まるでＨＭＤ１０２を通して見ているかのように、ＨＭＤ１０２への外部環境を見ることができることと同等な機能を提供する。そのようなビデオは、拡張現実体験を提供するために、仮想エレメントで強化できる。あるいは、他の様式で仮想エレメントと結合または混合されてもよい。図解実施形態においては、ＨＭＤ１０２の前面上に二つのカメラが図示されているが、ＨＭＤ１０２上には、任意の数の外側へ向けたカメラを、任意の方向へ向けて設置してもよい。例えば、もう一つの実施形態においては、環境の追加のパノラマ画像キャプチャを提供するために、ＨＭＤ１０２の側面上にカメラを取り付けてもよい。

図３は、本発明の実施形態によるＨＭＤ１０２の機能を、実行中のビデオゲームと併せて概念的に表している。実行中のビデオゲームは、ビデオゲームのゲーム状態を更新するための入力を受信するゲーム・エンジン３２０によって定義される。ビデオゲームのゲーム状態は、少なくとも部分的に、現在のゲームプレイの種々の態様を定義するビデオゲームの種々のパラメータ値、例えば、オブジェクトの存在及び位置、仮想環境の条件、イベント・トリガー、ユーザー・プロファイル、視界遠近図などによって、定義できる。

図解実施形態におけるゲーム・エンジンは、一例として、コントローラ入力３１４、オーディオ入力３１６及びモーション入力３１８を受信する。コントローラ入力３１４は、コントローラ１０４等の、ＨＭＤ１０２とは分離したゲーム・コントローラの操作から定義されてもよい。例として、コントローラ入力３１４は、ゲーム・コントローラの操作から処理される方向入力、ボタン押し、トリガー起動、運動または他の種類の入力を含んでもよい。オーディオ入力３１６は、ＨＭＤ１０２のマイク３０２から、あるいは画像キャプチャ・デバイス１０８に含まれるマイクからのものを処理できる。モーション入力２１８は、ＨＭＤ１０２に含まれるモーション・センサ３００から、あるいはＨＭＤ１０２の画像をキャプチャする画像キャプチャ・デバイス１０８からのものを処理できる。ゲーム・エンジン３２０は入力を受信し、それらの入力は、ビデオゲームのゲーム状態を更新するゲーム・エンジンの構成に従って処理される。ゲーム・エンジン３２０は、ユーザーに提示されるコンテンツを定義するためにゲーム状態データを処理する種々のレンダリング・モジュールへ、ゲーム状態データを出力する。

図解実施形態においては、ビデオ・レンダリング・モジュール３２２は、ＨＭＤ１０２上に表示されるビデオ・ストリームを描画するよう定義される。ビデオ・ストリームは、ディスプレイまたはプロジェクタ・メカニズム３１０によって表示され、光学系３０８を通してユーザーの眼３０６に見えてもよい。オーディオ・レンダリング・モジュール３０４は、ユーザーによる聴取のためのオーディオ・ストリームを再生するよう構成される。一つの実施形態におけるオーディオ・ストリームは、ＨＭＤ１０２につながったスピーカ３０４を通して出力される。スピーカ３０４は、屋外スピーカ、ヘッドホン、あるいは音響を提供可能な他のどの種類のスピーカの形態であってもよいと理解するべきである。

一つの実施形態においては、ユーザーの視線の追跡を可能にするために、ＨＭＤ１０２内に凝視追跡カメラ３１２が含まれる。凝視追跡カメラは、ユーザーの眼の画像をキャプチャし、その画像は、ユーザーの凝視方向を判定するために分析される。一つの実施形態においては、ユーザーの凝視方向についての情報は、ビデオ・レンダリングに影響を与えるよう利用される。例えば、ユーザーの眼が特定な方向に向けられていることが判定されたなら、ユーザーが見ている領域に、より多くの細部を提供する、あるいはより速く更新させる等により、その方向に対するビデオ・レンダリングを優先または強調することができる。

加えて、触覚フィードバック・モジュール３２６が、触覚フィードバック・ハードウェアへ信号を提供するよう構成される。このハードウェアは、ＨＭＤ１０２、あるいは例えばコントローラ１０４等のユーザーが操作する他のデバイスのいずれかに含まれる。触覚フィードバックは、種々の種類の触感覚、例えば、振動フィードバック、温度フィードバック、圧力フィードバック等の形態をとってもよい。

図４Ａは、一つの実施形態による三次元視界をインタラクティブ空間内に表し、ユーザーによるビデオゲームプレイのシーンを示す。この実施例においては、図面４Ｂに示すように、ユーザーは頭部装着ディスプレイ（ＨＭＤ）を装着し、コントローラを持っている。一つの実施形態におけるユーザーは、図面４Ｂに示すように、ユーザーへ向けたカメラでモニターされる。カメラは、モノ・カメラ、あるいは奥行を特定可能な立体カメラである。カメラは、ゲームプレイ中、コントローラ及び頭部装着ディスプレイを特定することが可能である。コントローラ及び頭部装着ディスプレイの識別が、各々の空間位置を特定する。各々の空間位置は、コントローラ及び頭部装着ディスプレイの運動を独立して識別するよう追跡できる。追跡は、カメラでキャプチャした画像を使用して、位置、変位速度及び変位などを特定することを含むことができる。もう一つの実施形態におけるコントローラ及びＨＭＤは、各々、回路を含み、ベース・ステーション・コンピュータへデータを通信可能な慣性センサを含む。慣性センサのデータ（及び他の日付）を含むデータは、位置、変位、変位速度、及び他の６軸タイプのデータ要素を特定するために処理できる。

したがって、いくつかの実施形態はカメラを含むが、他の実施形態はカメラを含まない、と理解すべきである。カメラを使用する実施形態においては、図４Ａに示すように、ユーザーは、ゲームをしているとき、前方を向いて検出される。ユーザーがコントローラを保持していると、図面４Ｂに示すように、ユーザーの手は、ＨＭＤのスクリーン内に描画される三次元シーン内へ伸びているように見える可能性がある。一つの実施形態においては、実行中のゲームによって生成されるインタラクティブ・コンテンツのシーン内への視点が変化する。一つの実施形態における変化は、頭部装着ディスプレイを装着したユーザーの頭の動きによって提供される位置または視界によって誘導される。

視点をインタラクティブ空間内に表すために、ユーザーが見る領域は、３Ｄ体積の輪郭を描く破線内に示されている。見えないインタラクティブ・シーン・データは、ユーザーがその特定な領域または方向を見ていないという理由で、図面に破線で示されている。作動中、破線のコンテンツは、ユーザーがその特定な位置または方向へ目を向けるまで、描画されない。しかしながら、ユーザーが、頭部装着ディスプレイのスクリーン内のインタラクティブ・シーンの特定な部分を見られることを明確にするために、破線で図示している。

一つの実施形態においては、コントローラを保持しているユーザーの手の位置は、検出可能であり、インタラクティブ・シーン内へまるでユーザーが手を伸ばしているかのように、ＨＭＤのスクリーンへ入り込んで表示できる。このことは、図４Ａに表されている。そこでは、レース・カー・シーンを描画するビデオゲームにおいて、ユーザーがハンドルを握っている。注意すべきは、ＨＭＤの図面がＲ＆ＤタイプのＨＭＤのみを図示したものであり、商業的実施形態は、よりエルゴノミクスな仕上げの製品として製作されてもよいことである。

ＨＭＤは、インタラクティブ・シーン内への視界をユーザーに提供できる。図４Ｂに示すように、ユーザーが保持しているコントローラは、ユーザーがゲームをしていることを表している。このケースでは、挙動、位置、ボタン入力などが追跡されて、コンピュータ・システム上で実行されているゲームへ提供される入力に相関される。下記に説明するが、コンピュータ・システムは、ゲーム・コンソール、独立型コンピュータ、タブレット、スマートフォン、ウェブベースのコンピュータ、クラウド・サーバ、あるいは処理命令が可能な他のいずれかのシステムであってもよい。さらにもう一つの実施形態におけるコントローラ及び／またはＨＭＤは、ネットワークと直接的に通信が可能である。ネットワークは、それから、命令を実行するためのクラウド・システムと通信する。

図５Ａは、インタラクティブ・シーン内へ追加の視点を露出させるようユーザーが頭を左へ回した実施形態を表す。図５Ｂは、実世界のユーザーが頭を左へ回した状態を表す。この動作は、頭部装着ディスプレイのスクリーンから見たユーザーの前に、異なる三次元シーンを描画することを誘発した。加えて、図５Ｂは、コントローラを左へ回すユーザーを表す。左への方向転換は、緩やか、あるいは突然であり得るが、それは、コントローラの慣性センサを使用して検出可能であり得る。この場合、そのようなデータは、処理のためにコンピューティング・デバイスへ送信される。もう一つの実施形態では、コントローラの動きは、異なる空間位置を検出するカメラでモニターできる。異なる空間位置は、カメラで見たコントローラの位置または方位、あるいは位置及び方位を特定することによってモニターできる。

図５Ａに示すように、図５Ｂに示すユーザーによるコントローラの左への動きは、仮想シーン内におけるユーザーにハンドルを左へ回転させる。したがって、コントローラでのユーザーの動作は、頭部装着ディスプレイのスクリーンから見られる状態で仮想シーン内に表現可能である。同時に、図５Ａに示す仮想シーンへの視点も、頭部装着ディスプレイの検出位置及び方位に基づき変化することになる。頭部装着ディスプレイの位置検出は、発光体、マーカー、赤外線照明、あるいはそれらの組み合わせを識別することによって可能である。

他の実施形態においては、頭部装着ディスプレイの空間位置の特定は、頭部装着ディスプレイ内の慣性センサを追跡することによって可能である。さらに他の実施形態においては、カメラは、センサを検出することなく、三次元奥行マッピングを用いて単に頭の位置を検出することによって、頭の位置を追跡可能である。したがって、コントローラの動きと頭部装着ディスプレイの動きが追跡可能であるため、独立した運動位置、変位、移動速度の変化及び他の入力タイプの動きは、追跡可能であり、相互に関連付けることができる。相関関係は、コントローラ及び頭部装着ディスプレイの動きを追跡するマッピング・アルゴリズムによって可能であり、その結果、頭部装着ディスプレイ・スクリーン内に表示される視界は、頭部装着ディスプレイの動き及び移動と、ユーザーが保持しているコントローラによって提供されるインタラクティブ・フィードバックに従って変化可能である。

したがって、ユーザーの頭の動きとコントローラでの動作とのマッピングは、図５Ｂに示す実際の実世界のユーザーの動きと図５Ａに示すシーン内への視点とを参照することによって示される。上述のように、一つの実施形態におけるユーザーは、ユーザーによる認識として、インタラクティブ・シーン内へ到達可能である。つまり、ユーザーは、実際にシーン内へ手を延ばし実際のハンドルを保持している視認感覚を受ける。ユーザーには、ユーザーが彼または彼女の手を見ると、ハンドルを保持している仮想の手が描画されている。それから、彼または彼女の手の動きが実質的にマップされ、シーン内の仮想の手の動きへ関連付けられる。一つの実施形態における仮想の手は、拡張現実または仮想現実である。一つの拡張現実視界は、ユーザーの実際の手の画像が、頭部装着ディスプレイ・スクリーンによって提供される視界内で僅かに補強されるものでよい。

シーン内へ到達可能なものとして手を説明したが、ＨＭＤを介して見ることが可能な体のどの部位をも、ユーザーが３Ｄシーン内に実際に存在する感覚を提供するようシーン内に描画させてもよい。加えて、ユーザーは、追跡可能な他のコントローラを保持すること、あるいは衣類を身に着けることもできる。これにより、シーン内へ融合させる機能を提供し、現実及び仮想世界の輪郭をぼかすことが可能である。さらに他の実施形態においては、ユーザーは、触覚フィードバックを備えた服または手袋を身に着けることもできる。それにより、仮想シーン内における動作が、実世界へ変換される。ユーザーが仮想シーン内へ手を伸ばせば、ユーザーは仮想キャラクタと握手ができる。握手の体感は、触覚フィードバックを使用して、手袋へシミュレーションできる。

図６Ａ及び６Ｂは、ユーザーが頭を右へ回し、コントローラをも右へ向けた実施例を表す。図６Ａで、ユーザーの仮想の手は、レース・カーのハンドルを右へ回転させるように見える。頭部装着ディスプレイのスクリーン内に提供される三次元空間内へ表示される画像は、ユーザーがコントローラを右へ回転させた結果としての変化を表す。同時に、ユーザーは、彼の頭を僅かに右へ回転させている。これは、ハンドルを右へ回転させるときに実生活で起こる典型的に自然な動作である。したがって、この実世界の動作は、頭部装着ディスプレイ・スクリーン内に描画される仮想環境内に同じ動作をもたらす。

図６Ａは、右へ回転されたハンドルと、右へ転移した仮想シーン内への視点を示す。上述のように、三次元空間内への視点の外側の破線は、ユーザーが現在見ている範囲を越えて追加の仮想環境が存在することを、単に図解するものである。一つの実施形態におけるユーザーが現在見ている領域を越えた範囲は、現在の仮想視点に関しての自然な延長である。つまり、ユーザーがレース・カー内で真っ直ぐ前方を見ている場合、ユーザーは、頭を左へ向ければ、レース・カーの左側ウィンドウの外を実際に見ることができる。スタンド内のレース・カーの左側に観客（またはオブジェクト）が立っているなら、レース・カーが通り過ぎるときにユーザーが頭を左へ向ければ、その観客は視界に入ってくることになる。

図７Ａ及び７Ｂは、もう一つの実施例を表す。この場合のコントローラは、異なるタイプのコントローラである。コントローラのタイプは、ＭＯＶＥ（商標）コントローラであり、ソニー・コンピュータ・エンターテインメント社が製作したものである。このコントローラは、ハンドルと、追跡のために発光する球状オブジェクトを持つ。コントローラは、また、慣性センサと、ベース・コンピュータへ情報を送信するための他のボタンを含む。一つの実施形態におけるカメラは、コントローラを６軸（例えば、Ｘ、Ｙ、Ｚ、ピッチ、回転、偏揺）で追跡可能である。カメラは、また、頭部装着ディスプレイをも同時に追跡できる。もう一つの実施形態における頭部装着ディスプレイは、他の追跡機能を使用して追跡できる。慣性センサ、赤外線カメラ照明、音、ボタンによるデータ入力または運動などを利用することによって、他の追跡機能を含むことができる。

図７Ａ及び７Ｂに示す実施形態におけるユーザーは、図７Ａにおいて剣として表現される図７Ｂに示すコントローラを動かしている。ユーザーは、ゲームのキャラクタまたは対象と相互作用している。この場合のコントローラの動きは、ゲームに参加している仮想キャラクタの動きに対して追跡される。コントローラの位置と頭部装着ディスプレイの位置（及び関連運動）は、仮想シーン内へ視点を提供するために追跡される。この実施例においては、頭部装着ディスプレイを使用してゲームを行っているユーザーには、コントローラを保持しているユーザーが、仮想ゲーム内の仮想オブジェクト（例えば、剣）として現れることになる。しかし、図示のように、ユーザーの腕は、まるでユーザーが、ユーザーの真ん前にある３Ｄ空間内へ伸ばしているかのように見える。コントローラの動きは、ゲーム内の仮想オブジェクトの動きに対してマッピングされて関連付けられる。

図８Ａ及び８Ｂにおけるユーザーは、コントローラを同じ位置に維持して頭を左へ動かしている。ユーザーの頭の動きは、実行中のゲームによって生成されるシーン内へ新しい視点を露出させる。ユーザーの左への頭の動きは、ゲーム内に、ゲーム・エレメントがまるで現実の三次元エレメントであるかのように追加のインタラクティブ・シーン・エレメントを現す新しい視点を露出させる。

図９Ａ及び９Ｂは、再度、頭を右へ、コントローラを僅かに右へ動かしているユーザーを示す。これは、頭部装着ディスプレイのスクリーン内に表示されるインタラクティブ・シーン内へ新しい視界を現す。一つの実施形態においては、コントローラでのユーザーのアクションのマッピングは、頭部装着ディスプレイの位置情報を利用してシーン内への視点を調整しながら、ゲームプレイのインタラクティブ性を作動させることを支援する。

図１０は、ソファーに座ってコントローラを保持し、頭部装着ディスプレイを装着した実世界のプレイヤーの例を表す。

図１１は、立ってゲームをしているプレイヤーを表す。プレイヤーの頭及びコントローラの動きは、追跡されて、インタラクティブ三次元環境のシーン内への視点の変化に伝達される。

一つの実施形態におけるコントローラは、カメラで視認可能な一つ以上の発光体を含むことができる。発光体は、カメラがコントローラの方位を検出可能な形状に配置できる。発光体は、水平照明バーの形状に、あるいは複数の発光体として設けることができる。発光体は、カメラで識別可能な、種々の色を備えることもできる。色は、プレイヤー番号に関する情報を提供できる、あるいは種々の環境条件にあるコントローラを特定できる。

環境条件は、例えば、ユーザーがゲームをしている部屋の照明を含むことができる。もう一つの実施形態における条件は、プレイヤーがプレイしている空間内の背景色を決定することを含んでもよい。背景色に基づき、適切な色をコントローラ発光体の色に選択できる。例えば、背景が主に赤色ならば、追跡を向上させる検出性または識別性を提供するよう、コントローラには赤以外の色が選択される。さらに別の実施形態における色は、所定のリストの色から選択できる。この場合の選択色は、背景に対する特徴的閾値を超えるものである。さらにもう一つの実施形態におけるコントローラに対する色選択は、背景シーン内で最も（または極めて）目立たないものであってもよい。コントローラに対する色の選択は、時々、補正中、ゲームプレイ中、ゲーム内の特定なシーン中、ゲーム内の特定なアクション・シーケンス中、マルチプレイヤー・ゲーム環境における他のユーザーとのコミュニケーションのために、またはボタンを選択することによるユーザーのコントロール時に、または所定のアルゴリズム、状況、ルール、またはルールと状況との組み合わせに基づくコンピューティング・デバイスのコントロール時に調節可能である。

図１２は、本発明の実施形態による頭部装着ディスプレイ１０２の構成要素を示している。頭部装着ディスプレイ１０２は、プログラム命令を実行するためのプロセッサ１３００を含む。メモリ１３０２は、記憶の目的で備えられ、揮発性及び不揮発性メモリの両方を含んでもよい。ディスプレイ１３０４は、ユーザーが見る視覚的インターフェイスを提供するよう含まれる。バッテリ１３０６は、頭部装着ディスプレイ１０２のための電源として提供される。モーション検知モジュール１３０８は、磁力計１３１０、加速度計１３１２及びジャイロスコープ１３１４等の、種々のタイプの運動感知ハードウェアのいずれを含んでもよい。

加速度計は、加速度及び重力誘発反力を測定するデバイスである。異なる方向における加速の大きさ及び方向を検出するために、単軸及び複数軸モデルが利用できる。加速度計は、傾き、振動及びショックを感知するために使用される。一つの実施形態においては、重力の方向を提供するために、三つの加速度計１３１２が使用される。これらは、二つの角度（世界空間ピッチ及び世界空間回転）に対する絶対的基準を提供する。

磁力計は、頭部装着ディスプレイの近くの磁場の強度及び方向を測る。一つの実施形態における頭部装着ディスプレイ内には、世界空間偏揺角に対する絶対的基準を確実にするために、三つの磁力計１３１０が使用される。一つの実施形態における磁力計は、地磁界を測定するように設計される。地磁界は、±８０マイクロテスラである。磁力計は、金属の影響を受け、実際の偏揺で単調な偏揺測定値を提供する。磁場は、環境内の金属に起因して曲げられ、偏揺測定値にゆがみを引き起こす。必要に応じて、このゆがみは、ジャイロスコープまたはカメラ等の他のセンサからの情報を利用して、較正することができる。一つの実施形態においては、頭部装着ディスプレイ１０２の傾斜角及び方位角を取得するために、磁力計１３１０と共に加速度計１３１２が使用される。

ジャイロスコープは、角運動量の原理に基づき、方位を測定する、あるいは維持するデバイスである。一つの実施形態においては、三つのジャイロスコープ１３１４が、慣性感知に基づき、各軸（ｘ、ｙ及びｚ）を横切る運動に関する情報を提供する。ジャイロスコープは、急速な回転を検出する支援となる。しかし、絶対的基準が存在しない場合、ジャイロスコープは、時間経過に伴い漂流する可能性がある。このため、定期的にジャイロスコープをリセットする必要がある。これは、オブジェクトの視覚的追跡、加速度計、磁力計などに基づく位置／方位測定等の、他の入手可能な情報を利用して行うことが可能である。

現実の環境の画像及び画像ストリームをキャプチャするために、カメラ１３１６が設けられる。頭部装着ディスプレイ１０２には、（ユーザーが頭部装着ディスプレイ１０２のディスプレイを見ているときにユーザーから離れる方向へ向く）後方へ向けたカメラ、及び（ユーザーが頭部装着ディスプレイ１０２のディスプレイを見ているときにユーザーへ向く）前方へ向けたカメラを含む複数のカメラが設けられてもよい。加えて、現実の環境内のオブジェクトの深さ情報を検知するために、頭部装着ディスプレイ１０２には、デプスカメラ１３１８が含まれてもよい。

頭部装着ディスプレイ１０２は、オーディオ出力を提供するためにスピーカ１３２０を含む。また、周囲環境、ユーザーが話す言葉などからの音を含む現実の環境からのオーディオをキャプチャするために、マイク１３２２が含まれてもよい。頭部装着ディスプレイ１０２は、ユーザーへ触覚フィードバックを提供するために、触覚フィードバック・モジュール１３２４を含む。一つの実施形態における触覚フィードバック・モジュール１３２４は、触覚フィードバックをユーザーに提供するために、頭部装着ディスプレイ１０２の運動及び／または振動を引き起こすことが可能である。

頭部装着ディスプレイ１０２の状態の視覚インジケータとして、ＬＥＤ１３２６が備えられる。例えば、ＬＥＤは、バッテリ・レベル、電源オン等を示してもよい。頭部装着ディスプレイ１０２が情報をメモリカードから読み、メモリカードへ書き込むことが可能なようカードリーダ１３２８が設けられている。他の携帯機器、コンピュータ等の、周辺デバイスの接続、あるいは他のデバイスへの接続を可能にするインターフェイスの一つの実施例として、ＵＳＢインターフェイス１３３０が含まれる。頭部装着ディスプレイ１０２の種々の実施形態においては、頭部装着ディスプレイ１０２の接続性を拡張可能にする種々のタイプのインターフェイスのいずれが含まれてもよい。

無線ネットワーク技術を介してインターネットへの接続を可能にするために、ＷｉＦｉ（登録商標）モジュール１３３２が含まれる。また、頭部装着ディスプレイ１０２は、他のデバイスへの無線接続を可能にするために、ブルートゥース（登録商標）・モジュール１３３４をも含む。他のデバイスへの接続のために、通信リンク１３３６が含まれてもよい。一つの実施形態における通信リンク１３３６は、無線通信のために赤外線伝送を利用する。他の実施形態における通信リンク１３３６は、他のデバイスとの通信のために、種々の無線または有線伝送プロトコルのいずれを利用してもよい。

ユーザーに対して入力インターフェイスを提供するために、入力ボタン／センサ１３３８が含まれる。ボタン、タッチパッド、ジョイスティック、トラックボール等の、種々のタイプの入力インターフェイスのいずれが含まれてもよい。超音波技術を介して他のデバイスとの通信を促進するために、頭部装着ディスプレイ１０２内に超音波通信モジュール１３４０が含まれてもよい。

ユーザーからの生理的データの探知を可能にするために、バイオセンサ１３４２が含まれる。一つの実施形態におけるバイオセンサ１３４２は、ユーザーの皮膚を通してユーザーの生体電気信号を検出するために、一つ以上の乾性電極を含む。

頭部装着ディスプレイ１０２の前述の構成要素は、単に、頭部装着ディスプレイ１０２に含まれてもよい模範的な構成要素として説明した。本発明の種々の実施形態における頭部装着ディスプレイ１０２は、前述の種々の構成要素のいくつかを含んでもよいし、含まなくてもよい。頭部装着ディスプレイ１０２の実施形態は、本明細書で説明する発明の態様を促進する目的で、本明細書に記載されていないが本技術において既知である他の構成要素をさらに含んでもよい。

当業技術者には明らかであるが、本発明の種々の実施形態においては、前述の手で保持するデバイスは、種々のインタラクティブ機能を提供するために、ディスプレイ上に表示されるインタラクティブ・アプリケーションと併せて利用されてもよい。本明細書で説明する模範的な実施形態は、例示としてのみ提供されるもので、制限するものではない。

図１３は、本発明の種々の実施形態によるゲーム・システム１４００のブロック図である。ゲーム・システム１４００は、ネットワーク１４１５を介して一つ以上のクライアント１４１０へビデオ・ストリームを提供するように構成される。ゲーム・システム１４００は、典型的に、ビデオ・サーバ・システム１４２０とオプションのゲーム・サーバ１４２５を含む。ビデオ・サーバ・システム１４２０は、最小サービス品質で一つ以上のクライアント１４１０へビデオ・ストリームを提供するように構成される。例えば、ビデオ・サーバ・システム１４２０は、ビデオゲーム内の状態または視点を変化させるゲーム・コマンドを受信し、クライアント１４１０に、最小遅延時間で、この状態変化を反映する更新ビデオ・ストリームを提供してもよい。ビデオ・サーバ・システム１４２０は、未だに定義されていないフォーマットを含む多種多様な代替ビデオ・フォーマットでビデオ・ストリームを提供するように構成されてもよい。さらに、ビデオ・ストリームは、多種多様なフレーム率でユーザーへプレゼンテーションされるよう構成されたビデオ・フレームを含んでもよい。典型的フレーム率は、毎秒３０コマ、毎秒６０コマ及び毎秒１４２０コマである。本発明の代替的な実施例には、より高い、あるいはより低いフレーム率が含まれる。

本明細書で１４１０Ａ、１４１０Ｂ等と個々に言及されるクライアント１４１０は、頭部装着ディスプレイ、端末、パーソナル・コンピュータ、ゲーム・コンソール、タブレット型コンピュータ、電話機、セット・トップ・ボックス、キオスク、無線デバイス、デジタル・パッド、独立型デバイス、携帯型ゲーム機及び／または同等のものを含んでもよい。典型的に、クライアント１４１０は、符号化ビデオ・ストリームを受信し、ビデオ・ストリームを復号化し、ユーザー、例えば、ゲームのプレイヤーへ、復号化後のビデオを提示するよう構成される。符号化ビデオ・ストリームを受信し及び／またはビデオ・ストリームを復号化するプロセスは、典型的に、クライアントの受信バッファ内に個々のビデオ・フレームを保存することを含む。ビデオ・ストリームは、ユーザーへ、クライアント１４１０へ統合されたディスプレイ上に、あるいはモニターまたはテレビジョン等の別個のデバイス上に提示されてもよい。クライアント１４１０は、オプションとして、複数のゲーム・プレイヤーをサポートするように構成される。例えば、ゲーム・コンソールは、同時に二人、三人、四人以上のプレイヤーをサポートするように構成されてもよい。これらのプレイヤーの各人は、別個のビデオ・ストリームを受信してもよい。または、単一のビデオ・ストリームが、各プレイヤーに対して特別に生成された、例えば、各プレイヤーの視点に基づいて生成されたフレームの領域を含んでもよい。クライアント１４１０は、オプションとして、地理的に分散される。ゲーム・システム１４００に含まれるクライアントの数は、１または２から数千、数万、あるいはそれ以上と、広範囲に変化してもよい。本明細書で使用する用語「ゲーム・プレイヤー」は、ゲームを行う人を指し、用語「ゲームプレイ・デバイス」は、ゲームを行うために使用されるデバイスを指す。いくつかの実施形態におけるゲームプレイ・デバイスは、ユーザーへゲーム体験を提供するために共作用する複数のコンピューティング・デバイスを指してもよい。例えば、ゲーム・コンソール及びＨＭＤは、ＨＭＤを介して表示されるゲームを提供するために、ビデオ・サーバ・システム１４２０と共作用してもよい。一つの実施形態におけるゲーム・コンソールは、ビデオ・サーバ・システム１４２０からビデオ・ストリームを受信する。ゲーム・コンソールは、描画のためのＨＭＤへ、ビデオ・ストリームを転送する、あるいはビデオ・ストリームを更新する。

クライアント１４１０は、ネットワーク１４１５を介してビデオ・ストリームを受信するように構成される。ネットワーク１４１５は、任意の通信網でもよい。電話機回路網、インターネット、無線ネットワーク、電力線ネットワーク、ローカル・エリア・ネットワーク、広域ネットワーク、構内ネットワーク及び／または同等のものを含む。典型的実施形態におけるビデオ・ストリームは、例えばＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準プロトコルで通信される。択一的に、ビデオ・ストリームは、専用規格を介して通信される。

クライアント１４１０の典型的実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号化ロジック、ネットワーク通信機能及び入力デバイスからなるパーソナル・コンピュータである。復号化ロジックは、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体に保存されたソフトウェアを含んでもよい。ビデオ・ストリームを復号化（及び符号化）するシステムは、本技術において周知であり、使用する特定な符号化体系に応じて異なる。

クライアント１４１０は、必須ではないが、さらに、受信ビデオを修正するよう構成されたシステムを含んでもよい。例えば、クライアントは、更なるレンダリングを実行する、一つのビデオ画像をもう一つのビデオ画像上に重ねる、ビデオ画像をトリミングする及び／または同等の作業が可能なよう構成されてもよい。例えば、クライアント１４１０は、Ｉ−フレーム、Ｐ−フレーム及びＢ−フレーム等の、種々のタイプのビデオ・フレームを受信し、これらのフレームをユーザーへの表示のための画像へ処理するよう構成されてもよい。いくつかの実施形態においては、クライアント１４１０のメンバーは、ビデオ・ストリームに対する更なるレンダリング、陰影付け、三次元への変換などの操作を実行するよう構成される。クライアント１４１０のメンバーは、オプションとして、複数のオーディオまたはビデオ・ストリームを受信するように構成される。クライアント１４１０の入力デバイスは、例えば、片手ゲーム・コントローラ、両手ゲーム・コントローラ、ジェスチャー認識システム、凝視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバック・デバイス、運動及び／または位置検知デバイス、マウス、タッチスクリーン、神経インターフェイス、カメラ、未開発の入力デバイス及び／または同等のものを含んでもよい。

クライアント１４１０が受信するビデオ・ストリーム（及び、オプションとしてオーディオ・ストリーム）は、ビデオ・サーバ・システム１４２０によって生成されて提供される。さらに本明細書の他の箇所で説明するように、このビデオ・ストリームはビデオ・フレームを含む（及び、オーディオ・ストリームはオーディオ・フレームを含む）。ビデオ・フレームは、ユーザーへ表示される画像に意味のある貢献をするよう（例えば、適切なデータ構造内にピクセル情報を含むよう）構成される。本明細書で使用する用語「ビデオ・フレーム」は、ユーザーへ表示される画像に、例えば影響を与え、貢献するように構成される情報を主に含むフレームを指す。「ビデオ・フレーム」に関する本明細書の教示の大部分は、「オーディオ・フレーム」にも適用できる。

クライアント１４１０は、典型的に、ユーザーからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変化させる、あるいは別の場合ではゲームプレイに影響を及ぼすように構成されたゲーム・コマンドを含んでもよい。ゲーム・コマンドは、入力デバイスを使用して受信できる、及び／または、クライアント１４１０上で実行中の命令を演算処理することによって自動的に生成されてもよい。受信ゲーム・コマンドは、ネットワーク１４１５を介して、クライアント１４１０からビデオ・サーバ・システム１４２０及び／またはゲーム・サーバ１４２５へ通信される。例えば、いくつかの実施形態におけるゲーム・コマンドは、ビデオ・サーバ・システム１４２０を介してゲーム・サーバ１４２５へ通信される。いくつかの実施形態においては、ゲーム・コマンドの別個のコピーが、クライアント１４１０から、ゲーム・サーバ１４２５とビデオ・サーバ・システム１４２０へ通信される。ゲーム・コマンドの通信は、オプションとして、コマンドの独自性に依存する。ゲーム・コマンドは、オプションとして、クライアント１４１０Ａから、クライアント１４１０Ａへオーディオまたはビデオ・ストリームを提供するために使用されるチャネルとは異なる経路または通信チャネルを介して通信される。

ゲーム・サーバ１４２５は、オプションとして、ビデオ・サーバ・システム１４２０とは異なる実体によって作動させる。例えば、ゲーム・サーバ１４２５は、マルチプレイヤー・ゲームの発行者によって操作されてもよい。この実施例においては、ビデオ・サーバ・システム１４２０は、オプションとして、ゲーム・サーバ１４２５によってクライアントとして認識される。また、オプションとして、ゲーム・サーバ１４２５の視点から、従来技術によるゲーム・エンジンを実行している従来技術のクライアントに認識されるように構成される。ビデオ・サーバ・システム１４２０とゲーム・サーバ１４２５との間の通信は、オプションとして、ネットワーク１４１５を介して行われる。そのように、ゲーム・サーバ１４２５は、ゲーム状態情報を複数のクライアントへ送信する従来技術によるマルチプレイヤー・ゲーム・サーバであってもよい。それらクライアントの一つが、ゲーム・サーバ・システム１４２０である。ビデオ・サーバ・システム１４２０は、同時にゲーム・サーバ１４２５の複数の実例と通信するように構成されていてもよい。例えば、ビデオ・サーバ・システム１４２０は、異なるユーザーへ複数の異なるビデオゲームを提供するように構成できる。これらの異なるビデオゲームの各々は、異なるゲーム・サーバ１４２５によってサポートされ、及び／または異なる実体によって公開されてもよい。いくつかの実施形態においては、ビデオ・サーバ・システム１４２０の地理的に分布する複数の実体が、複数の異なるユーザーへゲーム・ビデオを提供するように構成される。ビデオ・サーバ・システム１４２０のこれらの実体の各々は、ゲーム・サーバ１４２５の同等な実体と通信する状態にあってもよい。ビデオ・サーバ・システム１４２０と一つ以上のゲーム・サーバ１４２５との間の通信は、オプションとして、専用通信チャネルを介して行われる。例えば、ビデオ・サーバ・システム１４２０は、これらの二つのシステム間での通信専用高帯域チャネルを介して、ゲーム・サーバ１４２５へ結合されてもよい。

ビデオ・サーバ・システム１４２０は、少なくとも、ビデオ・ソース１４３０、入出力デバイス１４４５、プロセッサ１４５０と非一時的ストレージ１４５５からなる。ビデオ・サーバ・システム１４２０は、一つのコンピューティング・デバイスを含んでも、あるいは複数のコンピューティング・デバイス間に分布されてもよい。これらのコンピューティング・デバイスは、オプションとして、ローカル・エリア・ネットワーク等の通信システムを介して結合される。

ビデオ・ソース１４３０は、例えば、ストリーミング・ビデオ、あるいは動画を形成する一連のビデオ・フレーム等の、ビデオ・ストリームを提供するように構成される。いくつかの実施形態におけるビデオ・ソース１４３０は、ビデオゲーム・エンジン及びレンダリング・ロジックを含む。ビデオゲーム・エンジンは、プレイヤーからゲーム・コマンドを受信し、受信コマンドに基づきビデオゲームの状態のコピーを維持するよう構成される。このゲーム状態は、ゲーム環境内のオブジェクトの位置と典型的に視点を含む。ゲーム状態は、また、オブジェクトの特性、画像、色及び／またはテクスチャを含んでもよい。

ゲーム状態は、典型的に、ゲーム・ルールと、移動、回転、攻撃、焦点設定、インタラクション、使用及び／または同等のものなどのゲーム・コマンドに基づいて維持される。ゲーム・エンジンの一部は、オプションとして、ゲーム・サーバ１４２５内に配置される。ゲーム・サーバ１４２５は、地理的に分散されたクライアントを使用している複数のプレイヤーから受信されるゲーム・コマンドに基づくゲーム状態のコピーを維持してもよい。これらのケースにおけるゲーム状態は、ゲーム・サーバ１４２５によってビデオ・ソース１４３０へ提供され、そこにゲーム状態のコピーが保存され、レンダリングが実行される。ゲーム・サーバ１４２５は、ネットワーク１４１５を介してクライアント１４１０から直接的にゲーム・コマンドを受信してもよい、及び／または、ビデオ・サーバ・システム１４２０を介してゲーム・コマンドを受信してもよい。

ビデオ・ソース１４３０は、典型的に、レンダリング・ロジック、例えば、ハードウェア、ファームウェア、及び／またはストレージ１４５５等のコンピュータ可読媒体に保存されたソフトウェアを含む。このレンダリング・ロジックは、ゲーム状態に基づき、ビデオ・ストリームのビデオ・フレームを作成するように構成される。レンダリング・ロジックのすべてまたは一部は、オプションとして、グラフィック処理装置（ＧＰＵ）内に配置される。レンダリング・ロジックは、典型的に、ゲーム状態及び視点に基づき、オブジェクト間の三次元空間関係を決定するよう、及び／または適切なテクスチャ等を適用するよう構成された処理ステージを含む。レンダリング・ロジックは、生ビデオを生成する。生ビデオは、通常、クライアント１４１０への通信の前に符号化される。例えば、生ビデオは、アドビ・フラッシュ（商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、リアルビデオ、ｍｐ３等に従って符号化されてもよい。符号化処理は、ビデオ・ストリームを生成する。ビデオ・ストリームは、オプションとして、遠隔デバイス上のデコーダへの送達のためにパッケージ化される。ビデオ・ストリームは、フレーム・サイズ及びフレーム率によって特徴づけられる。他の任意のフレーム・サイズを使用してもよいが、典型的フレーム・サイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８を含む。フレーム率は、秒単位のビデオ・フレーム数である。ビデオ・ストリームは、異なるタイプのビデオ・フレームを含んでもよい。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ−フレームは、ディスプレイ・デバイス上のすべてのマクロ・ブロック／ピクセルをリフレッシュする情報を含むが、Ｐ−フレームは、それらのサブセットをリフレッシュする情報を含む。Ｐ−フレームは、典型的に、データ・サイズがＩ−フレームよりも小さい。本明細書で使用する用語「フレーム・サイズ」は、フレーム内のピクセル数を指す。用語「フレーム・データ・サイズ」は、フレームを保存するために必要なバイト数を指す。

代替実施形態におけるビデオ・ソース１４３０は、カメラ等のビデオ記録デバイスを含む。このカメラは、コンピュータ・ゲームのビデオ・ストリーム内に含むことが可能な遅延ビデオまたはライブ・ビデオを生成するために使用されてもよい。結果として生じるビデオ・ストリームは、オプションとして、描画画像と、スチルまたはビデオ・カメラを使用して記録される画像を含む。ビデオ・ソース１４３０は、また、ビデオ・ストリームに含まれる以前に記録されたビデオを保存するように構成された記憶デバイスを含んでもよい。ビデオ・ソース１４３０は、オブジェクト、例えば、人の運動または位置を検出するように構成された運動または位置感知デバイス、及びゲーム状態を判定するよう、あるいは検出された運動及び／または配置に基づくビデオを生成するように構成されたロジックを含んでもよい。

ビデオ・ソース１４３０は、オプションとして、他のビデオ上に配置されるように構成されたオーバレイを提供するように構成される。例えば、これらのオーバレイは、コマンド・インターフェイス、ログイン・コマンド、ゲーム・プレイヤーへのメッセージ、他のゲーム・プレイヤーの画像、他のゲーム・プレイヤーのビデオ・フィード（例えば、ウェブカム・ビデオ）を含んでもよい。タッチスクリーン・インターフェイスまたは凝視検出インターフェイスを含むクライアント１４１０Ａの実施形態におけるオーバレイは、仮想キーボード、ジョイスティック、タッチパッド及び／または同等のものを含んでもよい。オーバレイの一つの実施例においては、プレイヤーの音声が、オーディオ・ストリーム上に重ねられる。ビデオ・ソース１４３０は、オプションとして、さらに一つ以上のオーディオ・ソースを含む。

ビデオ・サーバ・システム１４２０が、複数のプレイヤーからの入力に基づきゲーム状態を維持するように構成される実施形態においては、各プレイヤーが、視界の位置及び方向からなる異なる視点を持ってもよい。ビデオ・ソース１４３０は、オプションとして、各プレイヤーに対して、彼らの視点に基づき別個のビデオ・ストリームを提供するように構成される。さらに、ビデオ・ソース１４３０は、異なるフレーム・サイズ、フレーム・データ・サイズ、及び／またはクライアント１４１０の各々への符号化を提供するように構成されてもよい。ビデオ・ソース１４３０は、オプションとして、三次元ビデオを提供するように構成される。

入出力デバイス１４４５は、ビデオ・サーバ・システム１４２０のために、ビデオ、コマンド、情報要求、ゲーム状態、凝視情報、デバイス運動、デバイス位置、ユーザーの運動、クライアントの識別、プレイヤーの識別、ゲーム・コマンド、セキュリティ情報、オーディオ及び／または同等のものの情報を送信及び／または受信するように構成される。入出力デバイス１４４５は、典型的に、ネットワーク・カードまたはモデム等の通信ハードウェアを含む。入出力デバイス１４４５は、ゲーム・サーバ１４２５、ネットワーク１４１５及び／またはクライアント１４１０と通信するように構成される。

プロセッサ１４５０は、ロジック、例えば、本明細書で考察するビデオ・サーバ・システム１４２０の種々の構成要素内に含まれるソフトウェアを実行するように構成される。例えば、プロセッサ１４５０は、ビデオ・ソース１４３０、ゲーム・サーバ１４２５及び／またはクライアント・クォリファイア１４６０の機能を実行するために、ソフトウェア命令でプログラムされてもよい。ビデオ・サーバ・システム１４２０は、オプションとして、プロセッサ１４５０の複数の実体を含む。プロセッサ１４５０は、ビデオ・サーバ・システム１４２０によって受信されたコマンドを実行するために、あるいは本明細書で考察するゲーム・システム１４００の種々のエレメントの作動を調整するために、ソフトウェア命令でプログラムされてもよい。プロセッサ１４５０は、一つ以上のハードウェア・デバイスを含んでもよい。プロセッサ１４５０は電子プロセッサである。

ストレージ１４５５は、非一時的アナログ及び／またはデジタル記憶デバイスを含む。例えば、ストレージ１４５５は、ビデオ・フレームを保存するように構成されたアナログ記憶デバイスを含んでもよい。ストレージ１４５５は、コンピュータ可読デジタル・ストレージ、例えば、ハードディスク、光ドライブまたはソリッドステート・ストレージを含んでもよい。ストレージ１４１５は、ビデオ・フレーム、人工フレーム、ビデオ・フレーム及び人工フレームの両方を含むビデオ・ストリーム、オーディオ・フレーム、オーディオ・ストリーム及び／または同等のものを保存するように（例えば、適切なデータ構造またはファイル・システムとして）構成される。ストレージ１４５５は、オプションとして、複数のデバイス間に分散される。いくつかの実施形態におけるストレージ１４５５は、本明細書の他の箇所で考察するビデオ・ソース１４３０のソフトウェア・コンポーネントを保存するように構成される。これらのコンポーネントは、必要に応じて供給される準備が整ったフォーマットで記憶されてもよい。

ビデオ・サーバ・システム１４２０は、オプションとして、さらにクライアント・クォリファイア１４６０からなる。クライアント・クォリファイア１４６０は、クライアント１４１０Ａまたは１４１０Ｂ等のクライアントの機能を遠隔で判定するように構成される。これらの機能は、クライアント１４１０Ａそのものの機能と、クライアント１４１０Ａ及びビデオ・サーバ・システム１４２０間の一つ以上の通信チャネルの機能との両方を含むことができる。例えば、クライアント・クォリファイア１４６０は、ネットワーク１４１５を介して通信チャネルをテストするように構成されてもよい。

クライアント・クォリファイア１４６０は、クライアント１４１０Ａの機能を手動で、あるいは自動的に判定する（例えば、発見する）ことができる。手動判定は、クライアント１４１０Ａのユーザーと通信し、ユーザーが機能を提供するよう依頼することを含む。例えば、いくつかの実施形態におけるクライアント・クォリファイア１４６０は、クライアント１４１０Ａのブラウザ内に画像、テキスト及び／または同等のものを表示するように構成される。一つの実施形態におけるクライアント１４１０Ａは、ブラウザを含むＨＭＤである。もう一つの実施形態におけるクライアント１４１０Ａは、ブラウザを持つゲーム・コンソールであり、ブラウザは、ＨＭＤ上に表示されてもよい。それら表示オブジェクトは、ユーザーが、クライアント１４１０Ａに関するオペレーティング・システム、プロセッサ、ビデオ・デコーダ・タイプ、ネットワーク接続タイプ、ディスプレイ解像度などの情報を入力するよう要求する。ユーザーによって入力された情報は、クライアント・クォリファイア１４６０へ送信される。

自動判定は、例えば、クライアント１４１０Ａ上のエージェントを実行することによって、及び／またはテスト・ビデオをクライアント１４１０Ａへ送信することによって行ってもよい。エージェントは、ウェブページに埋められた、あるいはアドオンとしてインストールされたジャバ・スクリプト等の命令を演算処理するよう構成してもよい。エージェントは、オプションとして、クライアント・クォリファイア１４６０によって提供される。種々の実施形態におけるエージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの復号化及び表示機能、クライアント１４１０Ａ及びビデオ・サーバ・システム１４２０間の通信チャネルの遅延時間信頼性及びバンド幅、クライアント１４１０Ａのディスプレイ・タイプ、クライアント１４１０Ａ上に存在するファイアウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａ上で実行中のソフトウェア、クライアント１４１０Ａ内のレジストリ・エントリ等を検出可能である。

クライアント・クォリファイア１４６０は、ハードウェア、ファームウェア及び／またはコンピュータ可読媒体に保存されたソフトウェアを含む。クライアント・クォリファイア１４６０は、オプションとして、ビデオ・サーバ・システム１４２０の一つ以上の他のエレメントから分離したコンピューティング・デバイス上に配置される。例えば、いくつかの実施形態におけるクライアント・クォリファイア１４６０は、クライアント１４１０とビデオ・サーバ・システム１４２０の複数の実体との間の通信チャネルの特性を判定するように構成される。これらの実施形態におけるクライアント・クォリファイアによって発見された情報は、クライアント１４１０の一つへストリーミング・ビデオを送達するのに、ビデオ・サーバ・システム１４２０のどの実体が最適なのかを判定するために使用できる。

理解すべきことは、本明細書に定義する種々の実施形態が、本明細書に開示の種々の特徴を用いて特定な実施例へ結合または組み立てられてもよいことである。したがって、開示の実施例は、種々の実施に対する制限ではなく、単に可能ないくつかの実施例であり、種々のエレメントを結合させて、より多くの実施を定義することは可能である。いくつかの実施例は、開示の実施例、あるいは同等な実施例の趣旨を逸脱しない範囲で、より少ないエレメントを含んでもよい。

本発明の実施形態は、携帯用デバイス、マイクロプロセッサ・システム、マイクロプロセッサに基づくまたはプログラム可能な家電、ミニコンピュータ、メインフレーム・コンピュータ等を含む種々のコンピュータ・システム構成で実践されてもよい。本発明は、有線または無線ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境内で実践することもできる。

上記の実施形態に関して理解すべきことは、本発明が、コンピュータ・システム内に記憶されたデータを伴うコンピュータによる種々の演算処理を利用できることである。これらの演算処理は、物理量の物理的操作を必要とするものである。本発明の一部を形成する本明細書で説明の演算処理のいずれもが、有用な機械処理である。本発明は、また、これらの演算処理を実行するためのデバイスまたは装置に関する。装置は、必要目的に対して特別に構築できる。あるいは装置は、コンピュータ内に記憶されたコンピュータ・プログラムによって選択的に作動または構成される汎用コンピュータであってもよい。特に、種々の汎用機が、本明細書の教示に従って記述されたコンピュータ・プログラムと一緒に使用できる。あるいは、必要な処理を実行するために、より専用な装置を構築するのが、より便利な場合もある。

本発明は、コンピュータ可読媒体上のコンピュータ可読コードとして実施することもできる。コンピュータ可読媒体は、データを保存できる任意のデータ記憶デバイスでもあり、データは、その後、コンピュータ・システムによって読むことができる。コンピュータ可読媒体の実施例は、ハードディスク、ネットワーク接続ストレージ（ＮＡＳ）、読取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、他の光学及び非光学データ記憶デバイスを含む。コンピュータ可読媒体は、ネットワーク結合型コンピュータ・システムに分布するコンピュータ可読有形媒体を含むことができるため、コンピュータ可読コードは、分散様式で保存及び実行される。

方法オペレーションは、特定な順序で説明されたが、理解すべきことは、他の管理操作が、オペレーションの間に実行されてもよい、あるいはオペレーションが、僅かに異なる時間に行われるよう調整されてもよい、あるいはオーバレイ・オペレーションの処理が所望のやり方で実行される限り、オペレーションが、処理に関連して種々の間隔で処理オペレーションが実行されることを可能にするシステム内に分散させてもよいことである。

前述の発明は、明確に理解できるよう詳細に説明したが、添付の請求項の範囲内で、特定な変更及び修正が実践できることは明らかである。したがって、本実施形態は、説明的なもので制限するものではない、と見なすべきである。また、本発明は、本明細書に記載の詳細に限定されるものではなく、添付の請求項の範囲内及び同等のもので修正されてもよい。
実施形態をいくつか挙げる。
１．インタラクティブ環境を見るための頭部装着ディスプレイであって、
ヘッド装着部と、
前記ヘッド装着部に結合されたビューイング・モジュールであって、画像コンテンツを描画するよう構成されるスクリーン内へのビューポートを持つ内側と、外側ハウジングを含む前記ビューイング・モジュールと、
コンピュータ・システムとのデータ交換のための通信モジュールと、
前記スクリーン上に画像コンテンツを描画するための画像データを処理する画像処理モジュールと、
前記ビューイング・モジュールの前記外側ハウジングに統合された複数の照明素子であって、カメラによる前記頭部装着ディスプレイの画像追跡のために配置される前記複数の照明素子と、
前記複数の照明素子をアクティブまたは非アクティブに制御するための照明ロジックとを備え、
前記複数の照明素子は、前記頭部装着ディスプレイの位置および方位の特定を可能にするためにパターンで配置されており、前記カメラによってキャプチャされた画像の分析から得られる前記位置および前記方位は、前記スクリーン上に描画されたときの前記インタラクティブ環境の現在のビューを更新するための入力として用いられる、頭部装着ディスプレイ。
２．前記通信モジュールによって交換されるデータが、入力データ、画像データ、オーディオ・データ及び慣性データを含む、実施形態１に記載の頭部装着ディスプレイ。
３．前記複数の照明素子が、発光ダイオード（ＬＥＤ）または赤外線（ＩＲ）エミッタとして定義される、実施形態１に記載の頭部装着ディスプレイ。
４．前記ＬＥＤが、一つ以上の色を照らし出すように定義され、前記一つ以上の色のイルミネーションが、照明ロジックによって制御される、実施形態３に記載の頭部装着ディスプレイ。
５．前記外側ハウジングが、部分的に曲がった形状を持ち、前記複数の照明素子が、前記部分的に曲がった形状の周りにパターンで配置される、実施形態１に記載の頭部装着ディスプレイ。
６．前記複数の照明素子が、二つ以上の形状またはサイズを含む、実施形態１に記載の頭部装着ディスプレイ。
７．前記複数の照明素子の追加のものが、前記ヘッド装着部へ結合される、実施形態１に記載の頭部装着ディスプレイ。
８．インタラクティブ環境を見るための頭部装着ディスプレイであって、
ユーザーの頭に装着するためのヘッド装着部と、
前記ヘッド装着部へ結合されてユーザーの眼前に配置されるよう構成されたビューイング・モジュールとを含み、前記ビューイング・モジュールが、
画像コンテンツを描画するよう構成されるスクリーン内へのビューポートを持つ内側と、
前記内側を包囲し、前面部、第一側面部及び第二側面部を持つ外側ハウジングと、
入力データ、画像データ、オーディオ・データ及び慣性データを含むデータをコンピュータ・システムとデータ交換するための通信モジュールと、
前記スクリーン上に前記画像コンテンツを描画するための画像データを処理する画像処理モジュールと、
前記ビューイング・モジュールの前記外側ハウジングに統合された複数の照明素子であって、カメラによる前記頭部装着ディスプレイの画像追跡のために配置される前記複数の照明素子と、
前記複数の照明素子の特定なものをアクティブ及び非アクティブへ制御するための照明ロジックとを備え、
前記複数の照明素子は、前記頭部装着ディスプレイの位置および方位の特定を可能にするために前記前面部、前記第一側面部及び前記第二側面部上のパターンで配置されており、前記カメラによってキャプチャされた画像の分析から得られる前記位置および前記方位は、前記スクリーン上に描画されたときの前記インタラクティブ環境の現在のビューを更新するための入力として用いられる、頭部装着ディスプレイ。
９．前記複数の照明素子の第一の素子が、前記前面部の左側に配置され、前記複数の照明素子の第二の素子が、前記前面部の右側に配置される、実施形態８に記載の頭部装着ディスプレイ。
１０．前記複数の照明素子の前記第一の素子が、前記前面部と前記第一側面部とに部分的に位置する二部形状を持ち、前記複数の照明素子の前記第二の素子が、前記前面部と前記第二側面部とに部分的に位置する二部形状を持つ、実施形態９に記載の頭部装着ディスプレイ。
１１．前記通信モジュールが、前記コンピュータ・システムとの有線接続または無線接続のいずれかである、実施形態８に記載の頭部装着ディスプレイ。
１２．前記慣性データが、前記ユーザーが着用したときの検出運動に応答して前記頭部装着ディスプレイによって生成される、実施形態８に記載の頭部装着ディスプレイ。
１３．前記入力データが、前記ユーザーが着用したときのユーザー入力に応答する前記頭部装着ディスプレイによって生成される、実施形態８に記載の頭部装着ディスプレイ。
１４．前記オーディオ・データ及び前記画像データが、前記頭部装着ディスプレイで描画されるインタラクティブ・メディア・コンテンツに関連付けられる、実施形態８に記載の頭部装着ディスプレイ。
１５．前記インタラクティブ・メディア・コンテンツが、ゲーム・データ、ビデオ・データ、インターネット・ナビゲーション・データ、ゲーム・データとインターネット・データとの組み合わせ、ソーシャル・メディア・データ、あるいはそれらの組み合わせを含む、実施形態１４に記載の頭部装着ディスプレイ。
１６．インタラクティブ環境を見るための頭部装着ディスプレイであって、
ヘッド装着部と、
前記ヘッド装着部へ結合されたビューイング・モジュールであって、画像コンテンツを描画するよう構成されるスクリーン内へのビューポートを持つ内側部分と外側ハウジングを含む前記ビューイング・モジュールと、
前記ビューイング・モジュールの前記外側ハウジングに統合された複数の照明素子であって、カメラによる前記頭部装着ディスプレイの画像追跡のために配置された前記複数の照明素子と、
前記複数の照明素子をアクティブまたは非アクティブに制御するための照明ロジックとを備え、
前記複数の照明素子は、前記頭部装着ディスプレイの位置および方位の特定を可能にするために部分的に曲がった形状を持つ前記外側ハウジング上のパターンで配置されており、前記カメラによる前記複数の照明素子の一部または全部のキャプチャされた画像の分析から得られる前記位置および前記方位は、前記スクリーン上に描画されたときの前記インタラクティブ環境の現在のビューを更新するための入力として用いられ、
前記複数の照明素子の第一の素子が、前記外側ハウジングの前面部と前記外側ハウジングの左側部とに部分的に位置する二部形状を持ち、前記複数の照明素子の第二の素子が、前記外側ハウジングの前面部と前記外側ハウジングの右側部とに部分的に位置する二部形状を持つ、頭部装着ディスプレイ。
１７．さらに、コンピュータ・システムとのデータ交換のための通信モジュール、及び前記スクリーン上に前記画像コンテンツを描画するための画像データを処理する画像処理モジュールを備える、実施形態１６に記載の頭部装着ディスプレイ。
１８．頭部装着ディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームの実行方法であって、
ゲームを実行して、前記スクリーン上に前記ゲームのインタラクティブ・シーンを描画するステップと、
ＨＭＤ空間位置を特定するために、ユーザーが装着している前記ＨＭＤのデータを受信するステップと、
コントローラ空間位置を特定するために、前記ユーザーが保持しているコントローラのデータを受信するステップと、
前記ＨＭＤの前記スクリーン上の前記ゲームの前記インタラクティブ・シーン内へ視点を描画するためのデータを前記ＨＭＤへ送信するステップと、
前記ＨＭＤ空間位置の変化の検出に応じて前記視点を調節するためのデータを前記ＨＭＤへ送信するステップとを含み、プロセッサによって実行され、
前記コントローラが、仮想オブジェクトとして前記インタラクティブ・シーン内に表現され、前記仮想オブジェクトが、前記コントローラ空間位置に対応する仮想空間位置にある前記インタラクティブ・シーン内に描画され、前記コントローラ空間位置の変化が、前記頭部装着ディスプレイのスクリーンを通して見ることのできる前記仮想オブジェクトの前記仮想空間位置を変化させる、方法。
１９．前記インタラクティブ・シーンが三次元フォーマットで描画されるため、前記インタラクティブ・シーン内のオブジェクトは、前記ＨＭＤの前に現れ、前記インタラクティブ・シーン内へ距離感を持って延在する、実施形態１８に記載の方法。
２０．前記ＨＭＤ及びコントローラ空間位置が、一つ以上の画像データ、慣性データ、無線データ、赤外線データ、あるいはそれらの組み合わせを使用して追跡される、実施形態１８に記載の方法。
２１．画像データを使用する追跡が、奥行データを提供する立体カメラを使用して、前記ＨＭＤ及びコントローラ空間位置の一方または両方を検出することを含む、実施形態２０に記載の方法。
２２．頭部装着ディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームの実行方法であって、
ゲームを実行して、前記スクリーン上の前記ゲームのインタラクティブ・シーンを描画するステップと、
ユーザーが装着した前記ＨＭＤの画像を、前記ユーザーへ向けられているキャプチャ・ロケーションに対するＨＭＤ空間位置を特定するために受信するステップと、
前記ユーザーが保持しているコントローラの画像を、前記キャプチャ・ロケーションに対するコントローラ空間位置を特定するために受信するステップとを含み、前記コントローラは、実行中の前記ゲームとのインタラクションを少なくとも部分的に作動させるための入力を提供するものであり、
前記ゲームの前記インタラクティブ・シーン内へ視点を描画すること及び前記ＨＭＤの前記スクリーンへ送信するステップと、
前記ＨＭＤの受信画像内における前記ＨＭＤ空間位置の変化の検出に応じて前記視点を調整すること及び前記ＨＭＤの前記スクリーンへ送信するステップを含み、
前記コントローラが、仮想オブジェクトとして前記インタラクティブ・シーン内に表現され、前記仮想オブジェクトが、前記コントローラ空間位置に対応する仮想空間位置にある前記インタラクティブ・シーン内に描画され、前記コントローラ空間位置の変化が、前記頭部装着ディスプレイのスクリーンを通して見ることのできる前記仮想オブジェクトの前記仮想空間位置を変化させる、方法。
２３．前記ゲームが、前記頭部装着ディスプレイへ通信接続されたコンピュータ上で実行される、実施形態２２に記載の方法。
２４．前記ゲームが、ゲーム・クラウド上で実行され、前記頭部装着ディスプレイが、前記ゲーム・クラウドへ通信接続される、実施形態２３に記載の方法。
２５．前記ＨＭＤ空間位置及び前記コントローラ空間位置の各々が、慣性データによって追加的に特定可能である、実施形態２４に記載の方法。
２６．頭部装着ディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームを実行して、前記スクリーン上に前記ゲームのインタラクティブ・シーンを描画する方法であって、
ＨＭＤ空間位置を特定するために、ユーザーが装着している前記ＨＭＤのデータを受信するステップと、
コントローラ空間位置を特定するために、前記ユーザーが保持しているコントローラのデータを受信するステップと、
前記スクリーン上の前記ゲームの前記インタラクティブ・シーン内へ視点を描画するために、データを前記ＨＭＤへ送信するステップとを含み、前記視点は三次元で描画される空間体積であり、
前記ＨＭＤ空間位置の変化の検出に応じて前記視点を調節するために前記ＨＭＤへデータを送信するステップを含み、プロセッサによって実行され、
前記コントローラが、仮想オブジェクトとして前記インタラクティブ・シーン内に表現され、前記仮想オブジェクトが、前記コントローラ空間位置に実質的に対応する仮想空間位置にある前記インタラクティブ・シーン内に描画され、前記コントローラ空間位置の変化が、前記スクリーン上に表示される前記仮想オブジェクトの前記仮想空間位置を変化させる、方法。
２７．前記コントローラが、インタラクティブ性を作動させる入力を提供する、実施形態２６に記載の方法。
２８．前記コントローラ空間位置の変化が、追加の入力を提供する、実施形態２６に記載の方法。
２９．前記追加の入力が、発光体または慣性データのいずれかを含む、実施形態２８に記載の方法。
３０．前記発光体が、カメラを介して観察されるロケーション・データを提供し、前記発光体の色が、追加のデータを提供する、実施形態２９に記載の方法。
３１．前記色が、プレイヤー番号またはモード、あるいは室内条件に基づく設定を示す、実施形態３０に記載の方法。

Claims (19)

1. 頭部装着ディスプレイであって、
   ヘッド装着部と、
   前記ヘッド装着部に結合されたビューイング・モジュールであって、仮想現実シーンを描画するよう構成されるスクリーン内へのビューポートを持つ内側と、外側ハウジングを含む前記ビューイング・モジュールと、
   前記スクリーンに対して前記仮想現実シーンを生成するよう構成されたコンピュータ・システムとのデータ交換のための通信モジュールと、
   前記ビューイング・モジュールに統合され、前記外側ハウジングの正面の環境の深さデータをキャプチャするように向けられたデプスカメラとを備え、
   前記コンピュータ・システムは、前記デプスカメラによってキャプチャされた前記深さデータを用いて、前記環境における現実のオブジェクトを特定するよう構成され、前記現実のオブジェクトは前記仮想現実シーンに描画され、前記現実のオブジェクトの動きが前記仮想現実シーンにおける動きとして見えるように前記現実のオブジェクトは追跡され、
   前記デプスカメラによってキャプチャされたコントローラは、前記コントローラ以外の仮想オブジェクトとして前記仮想現実シーンに描画され、前記コントローラの動きはその仮想オブジェクトの動きに相互に関連づけられ、前記コントローラの動きと前記頭部装着ディスプレイの動きは、前記コントローラと前記頭部装着ディスプレイの動きを追跡するマッピング・アルゴリズムによって相互に関連づけられ、その結果、前記スクリーン内に表示される視界は、前記頭部装着ディスプレイの動きと前記コントローラによって提供されるインタラクティブ・フィードバックに従って変化可能である、頭部装着ディスプレイ。
2. 前記環境において前記デプスカメラによってキャプチャされた前記現実のオブジェクトは、当該頭部装着ディスプレイを着用するユーザの手である、請求項１に記載の頭部装着ディスプレイ。
3. 前記ユーザの前記手である前記現実のオブジェクトは、前記仮想現実シーンにおいて仮想の手として描画される、請求項２に記載の頭部装着ディスプレイ。
4. 前記仮想の手は、前記仮想現実シーンにおいて仮想オブジェクトとともに描画され、前記仮想現実シーンにおいて前記仮想オブジェクトと接触するような前記仮想の手の動きは、前記仮想オブジェクトと前記仮想の手の間の仮想的なインタラクションを生成する、請求項３に記載の頭部装着ディスプレイ。
5. 前記デプスカメラは、前記ユーザの前記手をキャプチャするように構成され、前記ユーザの前記手は、前記ユーザが前記仮想現実シーンに手を伸ばしているかのように前記ユーザの視点から前記仮想現実シーンに描画される、請求項２に記載の頭部装着ディスプレイ。
6. 前記ユーザの前記手は、前記デプスカメラによってキャプチャされたときの前記コントローラ上にある、請求項２に記載の頭部装着ディスプレイ。
7. 前記デプスカメラは、前記ユーザの第２の手をキャプチャするように構成され、前記ユーザの前記第２の手は前記仮想現実シーンに第２の仮想の手として描画され、前記仮想の手および前記第２の仮想の手は、前記ユーザの正面において前記仮想現実シーンに伸ばすように、ある視点から描画される、請求項３に記載の頭部装着ディスプレイ。
8. 前記デプスカメラは、コントローラを握る前記ユーザの前記手をキャプチャするように構成され、前記ユーザの前記手は前記コントローラ以外の仮想オブジェクトを扱う仮想の手として描画される、請求項２に記載の頭部装着ディスプレイ。
9. 前記通信モジュールによって交換されるデータは、入力データ、画像データ、オーディオデータ、または慣性データ、あるいはこれらの２以上の組み合わせである、請求項１に記載の頭部装着ディスプレイ。
10. 前記外側ハウジングは、ユーザが着用したときの当該頭部装着ディスプレイに向けられたカメラを用いて当該頭部装着ディスプレイを追跡するために用いられる１以上の照明素子を備える、請求項１に記載の頭部装着ディスプレイ。
11. 前記照明素子は、発光ダイオード（ＬＥＤ）または赤外線（ＩＲ）エミッタとして定義される、請求項１０に記載の頭部装着ディスプレイ。
12. 前記ＬＥＤは、一つ以上の色を照らし出すように定義され、前記一つ以上の色のイルミネーションは、前記コンピュータ・システムによって命令されたときに照明ロジックによって制御される、請求項１１に記載の頭部装着ディスプレイ。
13. 前記通信モジュールは、前記コンピュータ・システムとの有線接続または無線接続を有する、請求項１に記載の頭部装着ディスプレイ。
14. 前記頭部装着ディスプレイに統合された慣性センサによって慣性データが生成され、前記慣性データは、ユーザが着用したときの当該頭部装着ディスプレイの検出された運動に応答して生成される、請求項１に記載の頭部装着ディスプレイ。
15. 前記仮想現実シーンのコンテンツと関連づけられたものとして当該頭部装着ディスプレイにオーディオデータが提供される、請求項１に記載の頭部装着ディスプレイ。
16. 前記コンテンツは、ゲーム・データ、ビデオ・データ、インターネット・ナビゲーション・データ、インタラクティブ・データ、ゲーム・データとインターネット・データの組み合わせ、ソーシャル・メディア・データ、あるいはそれらの組み合わせを含む、請求項１５に記載の頭部装着ディスプレイ。
17. 頭部装着ディスプレイ（ＨＭＤ）を操作する方法であって、
    ヘッド装着部と、前記ヘッド装着部に結合されたビューイング・モジュールであって、仮想現実シーンを描画するよう構成されるスクリーン内へのビューポートを持つ内側と外側ハウジングを含む前記ビューイング・モジュールと、を有するＨＭＤを提供するステップと、
    前記スクリーンに対して前記仮想現実シーンを生成するよう構成されたコンピュータ・システムとのデータ交換のための通信モジュールを提供するステップと、
    前記ビューイング・モジュールに統合され、前記外側ハウジングの正面の環境の深さデータをキャプチャするように向けられたデプスカメラを提供するステップと、
    前記コンピュータ・システムによって、前記デプスカメラによってキャプチャされた前記深さデータを処理し、前記環境において前記ＨＭＤを着用するユーザの手を特定するステップとを備え、
    前記手は前記仮想現実シーンに描画され、前記手の動きが前記仮想現実シーンに伸ばした仮想の手の動きとして見えるように前記手は追跡され、
    前記ユーザの前記手によって握られたコントローラを検出するステップと、
    前記仮想現実シーンに描画されたとき前記ユーザの前記仮想の手によって扱われているものとして前記コントローラ以外の仮想オブジェクトを描画するステップとをさらに含み、
    前記コントローラの動きと前記頭部装着ディスプレイの動きは、前記コントローラと前記頭部装着ディスプレイの動きを追跡するマッピング・アルゴリズムによって相互に関連づけられ、その結果、前記スクリーン内に表示される視界は、前記頭部装着ディスプレイの動きと前記コントローラによって提供されるインタラクティブ・フィードバックに従って変化可能である、方法。
18. 前記仮想の手は、前記仮想現実シーンにおいて仮想オブジェクトとともに描画され、前記仮想現実シーンにおける前記仮想の手の動きは、前記ユーザが前記仮想オブジェクトに向かって前記仮想の手を動かすとき前記仮想オブジェクトと前記仮想の手の間の仮想的なインタラクションを生成する、請求項１７に記載の方法。
19. 前記ユーザの前記仮想の手は、前記ＨＭＤの前記ユーザが前記仮想現実シーンに手を伸ばしているかのように描画される、請求項１７に記載の方法。