JP6880081B2 - 方向インタフェースオブジェクト - Google Patents

Description

本開示は、ビデオゲームのゲームプレイ用のインタフェースオブジェクトに関し、より具体的には、ビデオゲームが、ヘッドマウントディスプレイ（ＨＭＤ）に提示される仮想現実（ＶＲ）環境コンテンツを規定することと、関連する方法及びシステムに関する。

ビデオゲーム業界は、年を追って多くの変化が起こっている。演算能力が拡大したので、ビデオゲームの開発者は、演算能力のこの向上を利用するゲームソフトウェアを同様に製作するようになった。このために、ビデオゲーム開発者は、高度な操作や数学を組み込んで、非常に詳細で魅力のあるゲーム体験を生み出すゲームをプログラムするようになった。

ゲームプラットフォームの例には、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ２（登録商標）（ＰＳ２）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）（ＰＳ３）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ４（登録商標）（ＰＳ４）が含まれ、それぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールは、ディスプレイ（典型的に、テレビ）に接続して、ハンドヘルドコントローラを用いたユーザインタラクションを可能にするように設計される。ゲームコンソールは、ＣＰＵ、集約的なグラフィックス処理を行うグラフィックスシンセサイザ、ジオメトリ変換を行うベクトルユニットを含む専用処理ハードウェアと、他のグルーハードウェア、ファームウェア、及び、ソフトウェアとを用いて設計される。ゲームコンソールは、ゲームコンソールを用いたローカルプレイのためにゲームディスクを受け容れる光ディスクリーダを備えて設計される。ユーザが、インターネットを介して他のユーザとインタラクティブにプレイできるオンラインゲームも可能である。ゲームの複雑さがプレイヤの興味を引き続けるため、ゲーム及びハードウェアのメーカは追加のインタラクティブ性とコンピュータプログラムを可能にするために革新を続けてきた。

コンピュータゲーム業界において増加傾向にあるのは、ユーザとゲームシステムのインタラクションを増やすゲームの開発である。より豊かなインタラクティブ体験を達成する１つの方法は、プレイヤの動きを追跡し、その動きをゲームへの入力として用いるために、無線ゲームコントローラを使用して、その動きをゲームシステムが追跡することである。一般的に言うと、ジェスチャ入力は、プレイヤが行い、電子デバイスが捕捉したジェスチャに、コンピュータシステム、ビデオゲームコンソール、スマート装置等の電子デバイスを反応させることを指す。

より没入型のインタラクティブ体験を達成する別の方法は、ヘッドマウンテッドディスプレイの使用である。ヘッドマウンテッドディスプレイは、ユーザによって装着され、仮想空間のビュー等の様々なグラフィックスを提示するように構成することができる。ヘッドマウンテッドディスプレイに提示されたグラフィックスは、ユーザの視界の大部分または全てをカバーすることができる。よって、ヘッドマウンテッドディスプレイは、視覚的に没入型の体験をユーザに提供することができる。

この文脈で開示の実施形態は生じる。

本開示の実施態様は、ビデオゲームのゲームプレイ中等、仮想現実（ＶＲ）環境におけるインタラクションに使用される方向インタフェースオブジェクトに関連するデバイス、方法、及び、システムを含む。ＶＲ環境は、ヘッドマウントディスプレイ（ＨＭＤ）を介して提示でき、インタフェースオブジェクトは、どちらの手が方向インタフェースオブジェクトの異なる部分を把持しているかを検出する機能を含んでよい。従って、ユーザの手に対応するＶＲ環境の仮想の手は、ＶＲ環境の対応するアイテム（例えば、武器または銃）のどの部分をどちらの手が持っているかを適切に示すように構成し得る。さらに、方向インタフェースオブジェクトを持っている時の手の姿勢の変化を、ＶＲ環境のユーザの対応するビューに反映できる。

ある実施態様において、上部管状部分と、前部管状部分であって、その上端が上部管状部分の第１の端部に結合されている前部管状部分と、下部管状部分であって、その第１の端部が前部管状部分の下端に結合されている下部管状部分と、後部管状部分であって、その上端が、上部管状部分の第１の端部の反対側の上部管状部分の第２の端部に結合され、その下端が下部管状部分の第１の端部の反対側の下部管状部分の第２の端部に結合されている後部管状部分と、上部管状部分の第１の端部に配置される追跡可能なオブジェクトと、を含む方向インタフェースオブジェクトが提供される。

ある実施態様において、前部管状部分は、第１の軸に沿っており、後部管状部分は、第１の軸と実質的に平行でない第２の軸に沿っている。

ある実施態様において、下部管状部分は、第３の軸に沿っており、前部管状部分は、第３の軸に垂直な方向に対して第１の角度をなして第１の軸に沿って下部管状部分から離れるように延び、後部管状部分は、第３の軸に垂直な方向に対して第２の角度をなして第２の軸に沿って下部管状部分から離れるように延び、第２の角度は、第１の角度より小さい。

ある実施態様において、上部管状部分は、第１の軸に沿っており、下部管状部分は、第１の軸とは実質的に平行でない第２の軸に沿っている。

ある実施態様において、上部管状部分は、第１の軸に沿って第１の方向に後部管状部分から離れるように延び、下部管状部分は、第１の方向から分かれる第２の方向に第２の軸に沿って後部管状部分から離れるように延びる。

ある実施態様において、追跡可能なオブジェクトは、実質的に球形である。

ある実施態様において、追跡可能なオブジェクトは、半透明な材料からなり、半透明な材料を照らすライトをさらに含む。

ある実施態様において、方向インタフェースオブジェクトは、前部管状部分に沿って配置された第１のジョイスティックと、上部管状部分の第２の端部に配置された第２のジョイスティックとをさらに含む。

ある実施態様において、方向インタフェースオブジェクトは、方向インタフェースオブジェクトの動きを感知する少なくとも１つの慣性センサをさらに含む。

ある実施態様において、方向インタフェースオブジェクトは、前部管状部分または後部管状部分とユーザの手との接触をそれぞれ検出するために前部管状部分または後部管状部分に沿って配置された少なくとも１つの接触センサをさらに含む。

ある実施態様において、方向インタフェースオブジェクトであって、上部管状部分と、前部管状部分であって、その上端が上部管状部分の第１の端部に結合される前部管状部分と、下部管状部分であって、その第１の端部が前部管状部分の下端に結合される下部管状部分と、後部管状部分であって、その上端が前部管状部分の第１の端部の反対側にある前部管状部分の第２の端部に結合され、その下端が下部管状部分の第１の端部の反対側にある下部管状部分の第２の端部に結合される後部管状部分と、上部管状部分の第１の端部に配置される追跡可能なオブジェクトと、方向インタフェースオブジェクトの動きを示す慣性データを生成するように構成された少なくとも１つの慣性センサとを含む方向インタフェースオブジェクトと、方向インタフェースオブジェクトが配置されたインタラクティブ環境の画像を撮影するように構成された撮像装置と、インタラクティブアプリケーションを実行して、仮想環境のビューをヘッドマウントディスプレイ（ＨＭＤ）にレンダリングするように構成されたコンピュータデバイスであって、撮影した画像と慣性データとを処理して、仮想環境のビューにレンダリングされる仮想オブジェクトの位置を決定するように構成されるコンピュータデバイスとを含むシステムを提供する。

開示の他の態様及び長所は、例を挙げて開示の原理を示す以下の詳細な記載を添付の図面と共に読むと明らかとなろう。

本開示は、添付図面と共に以下の記載を参照することでより良く理解されよう。

開示の実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す図である。

開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。 開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。

一実施形態による、ＨＭＤユーザがクライアントシステムとインタフェースし、クライアントシステムが第２画面と呼ばれる第２画面ディスプレイにコンテンツを提供する一例を示す図である。

開示の実施形態による、実行中のビデオゲームと共にＨＭＤの機能を概念的に示す図である。

開示の実施態様による、方向インタフェースオブジェクト１０４の側面図である。

開示の実施態様による、方向インタフェースオブジェクト１０４の追加の斜視図である。 開示の実施態様による、方向インタフェースオブジェクト１０４の追加の斜視図である。

開示の実施態様による、複数のタッチセンサを有する方向インタフェースオブジェクトの図である。

開示の実施態様による、方向インタフェースオブジェクトの前部管状部分と後部管状部分の側面にある上記タッチセンサによって測定された接触量を示す複数のグラフである。

開示の実施態様による、ユーザの現実の手に対応する適切な仮想の手をＶＲ環境にレンダリングする方法を示す図である。

開示の実施態様による、タッチセンサに触れるユーザの手の指の変化と、仮想の手のレンダリングの対応する変化とを示す図である。

開示の実施態様による、方向インタフェースオブジェクトの追跡を容易にする複数のライトを有する方向インタフェースオブジェクトの図である。

開示の実施態様による、可動重りを有する方向インタフェースオブジェクトの図である。

開示の実施態様による、ＨＭＤ１０２を用いてＶＲ環境を見るユーザ１００の図である。

開示の実施態様による、ＨＭＤ１０２を用いてＶＲ環境を見るユーザ１００の図である。

開示の実施態様による、ＨＭＤを用いてＶＲ環境を見るユーザの図である。

発明の実施形態による、方向インタフェースオブジェクト１０４のコンポーネントを示す図である。

開示の実施形態による、ヘッドマウントディスプレイのコンポーネントの図である。

開示の様々な実施形態による、ゲームシステム１４００のブロック図である。

本開示の以下の実施態様は、ビデオゲーム等のインタラクティブアプリケーションに入力を行うための方向インタフェースオブジェクトに関連するデバイス、方法、及び、システムを提供する。

様々な実施態様において、方法、システム、撮像オブジェクト、センサ、及び、関連するインタフェースオブジェクト（例えば、手袋、コントローラ、周辺デバイス等）は、ディスプレイ画面にほぼリアルタイムでレンダリングされるように設定されたデータを処理するように構成される。ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイ、第２画面のディスプレイ、ポータブルデバイスのディスプレイ、コンピュータディスプレイ、ディスプレイパネル、（例えば、インタラクティブ体験でコンテンツを視聴または共有していてよい）一人または複数の遠隔に接続されたユーザのディスプレイ等であってよい。

しかしながら、これらの特定の詳細の一部または全てが無くても本開示を実践し得ることが当業者には明らかであろう。他の例においては、本開示を不必要に分かりにくくしないように、周知のプロセスの動作は詳細には記載していない。

図１は、開示の実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。ヘッドマウンテッドディスプレイ（ＨＭＤ）１０２を装着しているユーザ１００が示されている。ＨＭＤ１０２は、眼鏡、ゴーグル、または、ヘルメットと同じように装着され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成される。ＨＭＤ１０２は、ユーザの目のすぐ近くにディスプレイ機構を設けることによって、非常に没入型の体験をユーザに提供する。従って、ＨＭＤ１０２は、ユーザの各目に、ユーザの視界の大部分または全体を占める表示領域を提供することができる。

一実施形態においては、ＨＭＤ１０２は、コンピュータ１０６に接続することができる。コンピュータ１０６への接続は、有線でも無線でもよい。コンピュータ１０６は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、これらに限らない当分野で既知の任意の汎用または専用コンピュータであってよい。一実施形態においては、コンピュータ１０６は、ビデオゲームを実行し、ＨＭＤ１０２でレンダリングするためにビデオゲームからビデオ及びオーディオを出力するように構成することができる。

ユーザ１００は、方向インタフェースオブジェクト１０４を操作して、ビデオゲームに入力を行ってよい。さらに、カメラ１０８は、ユーザ１００がいるインタラクティブ環境の画像を撮影するように構成することができる。これらの撮影した画像を分析して、ユーザ１００、ＨＭＤ１０２、及び、方向インタフェースオブジェクト１０４の位置と動きを決定することができる。様々な実施態様において、方向インタフェースオブジェクト１０４は、追跡可能なライト及び／または慣性センサ（複数可）を備えて、方向インタフェースオブジェクト１０４の位置と向きを決定することができる。

ユーザがＨＭＤ１０２に表示される仮想現実シーンとインタラクトする方法は様々であり、方向インタフェースオブジェクト１０４に加えて他のインタフェースデバイスを用いることができる。たとえば、片手コントローラも使用でき、両手コントローラも使用できる。ある実施形態においては、コントローラは、コントローラに関連付けられたライトを追跡することによって、または、コントローラに関連付けられた形、センサ、及び、慣性データを追跡することによって、自身で追跡できる。これらの様々な種類のコントローラを用いて、または、行われる手のジェスチャを１つまたは複数のカメラによって単に撮影することによって、ＨＭＤ１０２に提示される仮想現実環境とインタフェース、仮想現実環境を制御、操作、仮想現実環境とインタラクト、仮想現実環境に参加することが可能である。

さらに、ＨＭＤ１０２は、１つまたは複数のライトを備えてよく、そのライトを追跡してＨＭＤ１０２の位置と向きを決定することができる。カメラ１０８は、１つまたは複数のマイクロフォンを備えて、インタラクティブ環境からの音を捕捉することができる。マイクロフォンアレイが捕捉した音を処理して、音源の位置を識別してよい。識別された位置からの音を選択的に利用または処理して、識別した位置以外の他の音を除くことができる。さらに、カメラ１０８は、複数の撮像装置（例えば、ステレオペアカメラ）、ＩＲカメラ、デプスカメラ、及び、これらの組み合わせを含むように規定することができる。

別の実施形態においては、コンピュータ１０６は、クラウドゲームプロバイダ１１２とネットワークを介して通信するシンクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１０２がプレイしているビデオゲームを維持、実行する。コンピュータ１０６は、ＨＭＤ１０２、方向インタフェースオブジェクト１０４、及び、カメラ１０８からの入力を、クラウドゲームプロバイダに送信し、クラウドゲームプロバイダは、その入力を処理して、実行中のビデオゲームのゲーム状態に反映する。ビデオデータ、オーディオデータ、及び、触覚フィードバックデータ等の実行中のビデオゲームからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、送信前にデータをさらに処理してもよく、または、データを関連デバイスに直接送信してもよい。例えば、ビデオストリーム及びオーディオストリームは、ＨＭＤ１０２に提供され、振動フィードバックコマンドは、方向インタフェースオブジェクト１０４に提供される。

一実施形態においては、ＨＭＤ１０２、方向インタフェースオブジェクト１０４、及び、カメラ１０８は、それ自体、ネットワーク１１０に接続して、クラウドゲームプロバイダ１１２と通信するネットワーク化されたデバイスであってよい。例えば、コンピュータ１０６は、そうでなければ、ビデオゲーム処理を行わず、ネットワークトラフィックの通過を促進するルータ等のローカルネットワーク装置であってよい。ＨＭＤ１０２、方向インタフェースオブジェクト１０４、及び、カメラ１０８によるネットワークへの接続は、有線であっても無線であってもよい。

さらに、本開示の実施形態は、ヘッドマウントディスプレイを参照して記載し得るが、他の実施形態においては、ヘッドマウントでないディスプレイで置き換えられてよいことは理解されよう。ヘッドマウントでないディスプレイには、テレビ、プロジェクタ、ＬＣＤディスプレイ画面、ポータブルデバイス画面（例えば、タブレット、スマートフォン、ラップトップ等）、または、本実施形態による、ビデオをレンダリングするように、及び／または、インタラクティブなシーンもしくは仮想環境を表示するように構成できる任意の他の種類のディスプレイを含むが、これらに限らない。

開示の実施形態の態様は、図１に示すような方向インタフェースオブジェクト１０４に関する。図に示すように、ユーザ１００は、左手でトリガを持ち、右手で方向インタフェースオブジェクト１０４の最も前のセクションを持つ楽な姿勢で方向インタフェースオブジェクト１０４を持つことができる。一実施形態においては、仮想現実空間とインタフェースする時、仮想の武器またはポインティングデバイスを選択及び／または発射するように、左手がトリガを握るように設定される。右手は、方向インタフェースオブジェクト１０４の本体に置かれて、ユーザの親指が制御入力装置にアクセスする方法を提供する。制御入力装置は、例えば、ジョイスティックを含み、ジョイスティックを使用して、ユーザ１００のＨＭＤ１０２によって見られている仮想ユーザを制御してよい。例えば、ジョイスティックは、前に押すと、仮想ユーザが、仮想環境内で前に進むことができ、仮想ユーザが、左、右、及び、異なる方向にナビゲートするのを可能にしてよい。

右手、例えば、親指で制御できる他の選択ボタンは、共有ボタンであってよい。方向パッドの方向ボタン等、他のボタンも、右手の親指で簡単にアクセスできるように配置されてよい。ユーザの左手に関しては、ユーザの親指は、後部入力ジョイスティックにアクセスできる。後部入力ジョイスティックは、左手の親指より上にあり、左手は、トリガを握っている。以下に記載するように、左手の親指エリアの近く、または、方向インタフェースオブジェクト１０４の後部に配置されたボタンは、ジョイスティックと、典型的にコントローラに配置される他のボタンとを含み得る。例えば、ボタンは、三角形のボタン、四角形のボタン、円形のボタン、及び、Ｘボタンを含むことができ、それらは、ジョイスティックの周りに配置される。他の実施形態においては、様々な他のゲームコンソールコントローラ、及び、ゲームコンソールでないコントローラに共通のボタンが、方向インタフェースオブジェクト１０４に組み込まれてよい。ボタンの位置は、移動されてもよく、また、より多いボタンまたはより少ないボタンが備えられてよいことは理解されたい。

入力装置は、タッチスクリーン、ビデオ画面、及び、他の種類のセンサ及び入力装置を含み得ることは理解されたい。特定の１つの例においては、左手の親指は、トリガを握っている間、これらの他のボタンともインタフェースできる。方向インタフェースオブジェクト１０４は、組み込みの慣性センサを備え、それによって、慣性追跡に関する情報をコンピュータ１０６に通信することが可能になる。一実施形態においては、ＨＭＤ１０２で全ての処理を行うことが可能で、方向インタフェースオブジェクト１０４の慣性追跡は、ＨＭＤ１０２の回路によって処理できる。他の実施形態においては、慣性データは、ネットワーク１１０を介してクラウドゲームシステム１１２に転送できる。例えば、ＨＭＤ１０２でレンダリングされるゲームは、クラウドゲームシステム１１２で実行でき、ＨＭＤ１０２のディスプレイに返信できる。一構成においては、ユーザ１００と向かい合っているカメラ１０８は、ＨＭＤ１０２を追跡してよく、方向インタフェースオブジェクト１０４も追跡してよい。

以下に記載のように、追跡は、ユーザ１００がプレイしているシーンを撮影した画像フレームをモニタすることによって行われる。追跡により、ＨＭＤ１０２及び方向インタフェースオブジェクト１０４の位置を検出できる。一実施形態は、方向インタフェースオブジェクト１０４の前部の近くに照らされたオブジェクトを含む。照明オブジェクトは、例えば、輝くように光るボールであってよい。一構成においては、ボールの色は、ユーザに応じて変わってよい。例えば、複数のユーザが特定の位置でゲームをプレイしている場合、照らされたボールは、異なるプレイヤを区別するように異なる色の光を発する。

一実施形態においては、方向インタフェースオブジェクト１０４は、トリガがあるハンドル部分とトリガの反対側の遠位ハンドル位置とを取り巻く一体化された本体から規定される。ある実施形態においては、センサが、方向インタフェースオブジェクト１０４の表面に備えられて、ユーザの手が本体の表面に接触している時を検出してよい。センサは、一実施形態においては、ユーザが左手をトリガにおいて、または、右手をトリガにおいて方向インタフェースオブジェクト１０４を持っている時を検出できる。典型的には、ユーザが右利きであるか左利きであるかに応じて、ユーザは、最も持ちやすいように方向インタフェースオブジェクト１０４を持つ。一実施形態においては、センサは、どちらの手がトリガを握っているかを決定してよい。

以下に記載のように、トリガエリアと前部ハンドルとを握っている表面積の量を比較することも可能であってよい。ユーザの手が特定の側で把持位置にある時、より多くの表面積がユーザの手によって覆われている場合、それは、ユーザの方向インタフェースオブジェクト１０４の持ち方を示してよい。図１の例においては、左手はトリガを握り、右手は前部／ハンドルを持っている。トリガエリアの左側のセンサが、ユーザの手との接触がより多いことを検出する場合、これは、左手がトリガを握っていることを示してよい。トリガエリアの右側のセンサが、ユーザの手との接触がより多いことを検出する場合、これは、右手がトリガを握っていることを示してよい。ユーザの方向インタフェースオブジェクト１０４の持ち方を検出することによって、ＨＭＤ１０２を介して見られる仮想現実シーンの仮想オブジェクトの対応する持っている向きを提供する。例えば、ユーザがファーストパーソンシューターゲームをプレイしている場合、ＨＭＤ１０２を通して見られる銃は、シーンのユーザ１００の仮想現実を描いて、仮想の武器を持っている対応する右手または左手を示す。従って、方向インタフェースオブジェクト１０４の持ち方に応じて、対応する仮想現実ビューの武器も同じように持たれ、これは、よりリアルな対応するビューをユーザに提供する。

ある実施形態においては、較正動作を行ってユーザが保持する向きを決定することが可能である。較正動作は、例えば、ユーザに方向インタフェースオブジェクト１０４を把持するように求めることができる。把持されると、較正動作は、どちら向きに方向インタフェースオブジェクト１０４が把持されているかを検出し、その情報を使用して仮想オブジェクトの仮想現実画像（例えば、仮想の銃）にマッピングする。ある実施形態においては、センサは、方向インタフェースオブジェクト１０４の表面のユーザ１００の指の近くに配置されてよい。センサを使用して、ユーザ１００がオブジェクト１０４の表面から指を離す時を決定してよい。例えば、ユーザが指を表面から定期的に離している場合、これに対応する動きを、仮想表示シーンに示される仮想の手で示すことができる。すなわち、ユーザ１００がトリガの下で指を小刻みに動かす場合、ＨＭＤ１０２を通して見られる仮想現実シーンの仮想の手も、トリガを握る手に対応する手の指が小刻みに動く。ある実施形態においては、仮想現実シーンで小刻みに動くまたは移動する指は、方向インタフェースオブジェクト１０４上で動かされる同じ指に直接、対応しない場合があり、ユーザ１００に対応し、仮想現実シーンの指のある動きは、ユーザが物理的方向インタフェースオブジェクト１０４上で自分の指を動かしているとユーザが分かっていることに対応する。

これは、仮想現実シーンに生成された仮想現実の銃をＨＭＤ１０２を通して見る時、よりリアルな感情と感覚を与える。他の実施形態においては、ユーザが右手をトリガにおいて、または、左手をトリガにおいて方向インタフェースオブジェクトを持っているかの決定は、入力設定によって行うことができる。入力設定は、初期化状態中、較正中、または、ユーザが、ゲームプレイ中に方向インタフェースオブジェクト１０４を持つ向きを変更すると決定する場合に、設定できる。更なる実施形態において、検出は動的であってよく、ゲームプレイ中、自動で設定できる。例えば、検出が自動の場合、ユーザが方向インタフェースオブジェクト１０４を一時的に下に置き、その後、反対の手で持ち上げると、システムは、それを自動的に検出して、ＨＭＤ１０２でユーザに正確な向きを表示する。更なる実施形態において、方向インタフェースオブジェクト１０４の本体のあらゆる箇所に追加のセンサを備えることが可能であってよい。他のセンサは、本体の異なるセクタまたはセグメントに配置されて、ユーザがアクティブなトリガエリアも前部の制御エリアも握っていないことを決定し得る。例えば、ユーザが本体の下部から方向インタフェースオブジェクト１０４を持っている場合、システムは、ユーザが方向インタフェースオブジェクト１０４を持っている場所が分かる。

例として、ユーザが方向インタフェースオブジェクト１０４のどの位置を持っているかを検出することによって、シューティングもしくはポインティングゲームまたはナビゲーション機能ではないゲームプレイの様々な他の構成において、方向インタフェースオブジェクト１０４を使用することが可能である。ある実施形態においては、方向インタフェースオブジェクト１０４の本体を使用して、同じ共有空間で他のユーザとインタフェースすることができる。例えば、ＨＭＤユーザ１００は、観客が方向インタフェースオブジェクト１０４の一部を持つまたは引き寄せることを可能にすることができ、これは、他のインタフェースまたはコントロールを提供できる。よって、本体のあらゆる箇所にセンサの配置を可能にして、触れること、把持、タップ、こすること、対接触（ｐａｉｒｉｎｇ ｃｏｎｔａｃｔ）、または、任意の他の種類の物理的または近接入力を検出することによって、使用またはゲームプレイ機能またはインタフェース機能の検出を決定できる。ある実施形態においては、方向インタフェースオブジェクト１０４は、ＨＭＤ１０２等、他の入力装置と対にできる。一構成においては、デバイスを一緒にタップすることによってそのデバイスを対にすることが可能である。対にすることが必要であると決定されると、トリガを引くことによってデバイスを対にすることも可能であってよい。

デバイスが互いに近くにある時、それらのデバイスを対にすることも可能である。例えば、ユーザがＨＭＤ１０２から２または３フィート内で方向インタフェースオブジェクト１０４を持っている場合、両デバイスは対にすべきであると考えられる。一実施形態においては、デバイス同士を対にすることは、バックグラウンドで自動で行われるアルゴリズムによって処理できる。他の実施形態においては、対にすることは、ＨＭＤ１０２に提示された画面またはメニューまたはユーザインタフェースをナビゲートすることを含み得る。ある実施形態においては、ユーザは、方向インタフェースオブジェクト１０４をアイコン、コンテンツ、または、シーンに向け、その後、ボタン、トリガ、複数のボタンを押すこと、または、何らかのジェスチャ入力を行うことによって、ＨＭＤ１０２でインタフェース、ボタン、ナビゲーション、または他の入力を選択できる。

図２Ａ−１及び図２Ａ−２は、開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す。図２Ａ−１は、詳細には、開示の実施態様による、ＨＭＤの一例であるＰｌａｙｓｔａｔｉｏｎ（登録商標）ＶＲヘッドセットを示す。図に示すように、ＨＭＤ１０２は、複数のライト２００Ａ〜２００Ｈを備える。これらのライトはそれぞれ、特定の形を有するように構成されてよく、また、同じまたは異なる色を有するように構成することができる。ライト２００Ａ、２００Ｂ、２００Ｃ、２００Ｄは、ＨＭＤ１０２の前面に配置される。ライト２００Ｅ、２００Ｆは、ＨＭＤ１０２の側面に配置される。ライト２００Ｇ、２００Ｈは、ＨＭＤ１０２の前面と側面に及ぶように、ＨＭＤ１０２のコーナーに配置される。ライトは、ユーザがＨＭＤ１０２を使用するインタラクティブ環境を撮影した画像で識別できることは、理解されよう。ライトの識別及び追跡に基づいて、インタラクティブ環境におけるＨＭＤ１０２の位置と向きを決定することができる。さらに、ライトの一部は、撮像装置に対するＨＭＤ１０２の特定の向きに応じて、見える場合もあり、見えない場合もあることも理解されよう。また、異なる部分のライト（例えば、ライト２００Ｇ、２００Ｈ）が、撮像装置に対するＨＭＤ１０２の向きに応じて、撮像のために露出され得る。

一実施形態においては、ライトは、近くにいる他者に対してＨＭＤの現在の状態を示すように構成することができる。例えば、ライトの一部または全ては、一定の配色、強度の組み合わせを有するように構成されてよく、点滅、一定のオン／オフ構成、または、ＨＭＤ１０２の現在の状況を示す他の構成を有するように構成されてよい。例として、ライトは、ビデオゲームのゲームプレイがアクティブな間（一般的に、ゲームプレイがアクティブタイムライン中またはゲームシーン内で行われている）と、メニューインタフェースのナビゲートまたはゲーム設定の構成等のビデオゲームの他の非アクティブなゲームプレイ態様（この間、ゲームのタイムラインまたはシーンは非アクティブまたは一時停止してよい）とは、異なる構成を表示するように構成することができる。ライトは、ゲームプレイの相対強度レベルを示すように構成されてもよい。例えば、ゲームプレイの強度が増加すると、ライトの強度、または、点滅速度が増加してよい。こうすると、ユーザの外部の人は、ＨＭＤ１０２のライトを見て、ユーザが、積極的にゲームプレイに没頭しており、今は邪魔されたくないであろうことを理解し得る。

ＨＭＤ１０２は、さらに、１つまたは複数のマイクロフォンを備えてよい。図示の実施形態においては、ＨＭＤ１０２は、ＨＭＤ１０２の前面に規定されたマイクロフォン２０４Ａ、２０４Ｂと、ＨＭＤ１０２の側面に規定されたマイクロフォン２０４Ｃとを備える。マイクロフォンアレイを利用することによって、各マイクロフォンからの音を処理して、音源の位置を決定することができる。この情報は、不要な音源を除くこと、音源を視覚的識別と関連付けること等を含む、様々な方法で利用することができる。

ＨＭＤ１０２は、また、１つまたは複数の撮像装置も含んでよい。図示の実施形態においては、撮像装置２０２Ａ、２０２Ｂを備えるＨＭＤ１０２が示されている。ステレオペアの撮像装置を利用することによって、環境の三次元（３Ｄ）の画像及びビデオをＨＭＤ１０２の視点から撮影することができる。ＨＭＤ１０２を装着したユーザにこのようなビデオを提示して、ユーザに「ビデオシースルー」能力を提供することができる。すなわち、ユーザは、厳密な意味では、ＨＭＤ１０２を通して見ることはできないが、撮像装置２０２Ａ、２０２Ｂ（例えば、または、以下の図３に示すようにＨＭＤ１０２の本体外側に配置された１つまたは複数の正面を向いたカメラ１０８’）が撮影したビデオは、ＨＭＤ１０２を通して見るようにＨＭＤ１０２の外部の環境を見ることができる機能的に同等のものを提供することができる。このようなビデオは、仮想要素を用いて拡張されて、拡張現実体験を提供することができる、または、他の方法で、仮想要素と結合または融合させてもよい。図示の実施形態においては、２つのカメラは、ＨＭＤ１０２の前面に示されているが、任意の数の外向きのカメラをＨＭＤ１０２上に任意の向きで設置してよいことは理解されよう。例えば、別の実施形態においては、環境の追加のパノラマ画像を撮影するためにＨＭＤ１０２の側面に搭載されたカメラがあってよい。

図２Ｂは、クライアントシステム１０６とインタフェースしているＨＭＤ１０２のユーザ１００と、第２画面１０７と呼ばれる第２画面ディスプレイにコンテンツを提供しているクライアントシステム１０６との一例を示す。クライアントシステム１０６は、ＨＭＤ１０２から第２画面１０７へのコンテンツの共有を処理する集積電子機器を含んでよい。他の実施形態は、クライアントシステムとＨＭＤ１０２及び第２画面１０７のそれぞれとの間をインタフェースする別個のデバイス、モジュール、コネクタを含んでよい。この一般的な例においては、ユーザ１００は、ＨＭＤ１０２を装着しており、コントローラを用いてビデオゲームをプレイしている。コントローラは、方向インタフェースオブジェクト１０４であってもよい。ユーザ１００によるインタラクティブなプレイによって、ビデオゲームコンテンツ（ＶＧＣ）が生成され、ビデオゲームコンテンツ（ＶＧＣ）は、ＨＭＤ１０２にインタラクティブに表示される。

一実施形態においては、ＨＭＤ１０２に表示されているコンテンツは、第２画面１０７に共有される。一例においては、第２画面１０７を見ている人は、ユーザ１００がＨＭＤ１０２でインタラクティブにプレイしているコンテンツを見ることができる。別の実施形態においては、別のユーザ（例えば、プレイヤ２）が、クライアントシステム１０６とインタラクトして、第２画面コンテンツ（ＳＳＣ）を生成できる。コントローラ１０４（または、任意の種類のユーザインタフェース、ジェスチャ、オーディオ、もしくは、入力）と同様にインタラクトしているプレイヤが生成した第２画面コンテンツが、クライアントシステム１０６へのＳＳＣとして生成されてよく、ＨＭＤ１０２から受信したＶＧＣと共に第２画面１０７に表示できる。

従って、ＨＭＤユーザと同じ場所にいる、または、遠隔の他のユーザによるインタラクティブ性は、ＨＭＤユーザと、ＨＭＤユーザがプレイするコンテンツを第２画面１０７で見ているユーザとの両方にとって、ソーシャル、インタラクティブ、また、より没入型であり得る。図に示すように、クライアントシステム１０６は、インターネット１１０に接続できる。インターネットも、様々なコンテンツソース１２０からのコンテンツへのアクセスをクライアントシステム１０６に提供できる。コンテンツソース１２０は、インターネットを介してアクセス可能な任意の種類のコンテンツを含み得る。

このようなコンテンツは、ビデオコンテンツ、映画コンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、友達コンテンツ、広告コンテンツ等を含み得るが、これらに限らない。一実施形態においては、クライアントシステム１０６を使用して、ＨＭＤユーザのためのコンテンツを同時に処理でき、それによって、ＨＭＤは、ゲームプレイ中にインタラクティブ性と関連付けられたマルチメディアコンテンツを提供される。そして、クライアントシステム１０６は、他のコンテンツも提供でき、そのコンテンツは、第２画面へのビデオゲームコンテンツに関係がなくてもよい。クライアントシステム１０６は、一実施形態においては、コンテンツソース１２０の１つから、または、ローカルユーザもしくは遠隔ユーザから、第２画面コンテンツを受信できる。

図３は、開示の実施形態による、実行中のビデオゲームに関連してＨＭＤ１０２の機能を概念的に示す。実行中のビデオゲームは、入力を受信してビデオゲームのゲーム状態を更新するゲームエンジン３２０によって規定される。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の条件、イベントのトリガ、ユーザプロフィール、ビューの視点等の、現在のゲームプレイの様々な側面を規定するビデオゲームの様々なパラメータの値によって少なくとも部分的に規定することができる。

図示の実施形態においては、ゲームエンジンは、例として、コントローラ入力３１４、オーディオ入力３１６、及び、動作入力３１８を受信する。コントローラ入力３１４は、ハンドヘルドゲームコントローラ（例えば、Ｓｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４ワイヤレスコントローラ、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅ動作コントローラ）または方向インタフェースオブジェクト１０４等の、ＨＭＤ１０２とは別個のゲームコントローラの操作から規定されてよい。例として、コントローラ入力３１４は、方向入力、ボタンの押し下げ、トリガ起動、動き、ジェスチャ、または、ゲームコントローラの操作から処理される他の種類の入力を含んでよい。オーディオ入力３１６は、ＨＭＤ１０２のマイクロフォン３０２から、または、撮像装置１０８もしくはローカル環境の他の箇所に含まれるマイクロフォンから処理できる。動作入力３１８は、ＨＭＤ１０２に含まれる動作センサ３００、または、撮像装置１０８がＨＭＤ１０２の画像を撮影する場合、撮像装置１０８から処理できる。ゲームエンジン３２０は、入力を受信し、入力は、ゲームエンジンの設定に従って処理されて、ビデオゲームのゲーム状態を更新する。ゲームエンジン３２０は、ゲーム状態データを様々なレンダリングモジュールに出力し、レンダリングモジュールは、ゲーム状態データを処理して、ユーザに提示するコンテンツを規定する。

図示の実施形態においては、ビデオレンダリングモジュール３２２は、ＨＭＤ１０２に提示するためのビデオストリームをレンダリングするように規定される。ビデオストリームは、ディスプレイ／プロジェクタ機構３１０によって提示されてよく、また、ユーザの目３０６によって光学素子３０８を通して見られてよい。オーディオレンダリングモジュール３０４は、ユーザが聞くために、オーディオストリームをレンダリングするように構成される。一実施形態においては、オーディオストリームは、ＨＭＤ１０２に関連付けられたスピーカ３０４を通して出力される。スピーカ３０４は、オープンエアスピーカ、ヘッドフォン、または、オーディオを出すことができる任意の他の種類のスピーカの形をとってよいことは、理解されたい。

一実施形態においては、視線追跡カメラ３１２が、ユーザの視線を追跡できるようにＨＭＤ１０２に備えられている。視線追跡カメラは、ユーザの目の画像を撮影し、その画像が分析されて、ユーザの視線方向が決定される。一実施形態においては、ユーザの視線方向に関する情報を利用して、ビデオレンダリングに反映することができる。例えば、ユーザの目が特定の方向を見ていると決定されると、ユーザが見ている領域をより詳細に提供またはより速く更新する等によって、その方向のビデオレンダリングを優先または強調することができる。ユーザの視線方向は、ヘッドマウントディスプレイに対して、ユーザがいる現実環境に対して、及び／または、ヘッドマウントディスプレイにレンダリングされている仮想環境に対して規定できることは、理解されたい。

大まかに言って、視線追跡カメラ３１２が撮影した画像の分析は、単独で考慮される時、ＨＭＤ１０２に対するユーザの視線方向を提供する。しかしながら、ＨＭＤ１０２の追跡された位置と向きと一緒に考慮される時、ＨＭＤ１０２の位置と向きはユーザの頭部の位置及び向きと一致するので、ユーザの現実世界の視線方向が決定できる。すなわち、ユーザの現実世界の視線方向は、ユーザの目の位置の動きの追跡と、ＨＭＤ１０２の位置及び向きの追跡とから決定できる。仮想環境のビューがＨＭＤ１０２でレンダリングされる時、ユーザの現実世界の視線方向を適用して、仮想環境におけるユーザの仮想世界の視線方向を決定できる。

さらに、触覚フィードバックモジュール３２６は、ＨＭＤ１０２、または、方向インタフェースオブジェクト１０４等、ユーザが操作する他のデバイスに備えられた触覚フィードバックハードウェアに信号を供給するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバック等、様々な種類の触感の形態をとってよい。方向インタフェースオブジェクト１０４は、このような形態の触覚フィードバックをレンダリングする対応するハードウェアを備えてよい。

現在、ゲームプレイを共有するためのストリーミングサービスは非常に人気がある。ＤｕａｌＳｈｏｃｋ（登録商標）４ワイヤレスコントローラは、このような共有を可能にする「共有ボタン」をコントローラに直に備える。上記のように、（ＨＭＤ１０２を装着していてよい）ユーザが体験しているインタラクティブアクティビティを観戦、例えば、見る能力をユーザに提供する必要がある。例えば、一人のＨＭＤ仮想現実プレイヤが、ＨＭＤに提示されるアクティビティに没頭しており、（プレイヤと同じ場所または遠隔にいてよい）他の人／観客が、ＨＭＤプレイヤが体験しているインタラクティブ性または見ている仮想現実シーンを見ることに楽しみを見出している場合がある。本明細書においては、ＨＭＤプレイヤは、ＨＭＤに提示されるコンテンツを見ている人であり、もしくは、ＨＭＤに提示されるコンテンツとインタラクトしている人であってよく、または、ＨＭＤに提示されるゲームをプレイし得る人である。観客は、ＨＭＤを装着してよく、よって、プレイヤと同じ仮想環境にいる没入効果を体験して、観客の体験を高めてよい。

さらに別の実施形態においては、プレイヤが自分のアクティビティを行う間に見て観戦するように、遠隔プレイヤがプレイしている異なる種類のコンテンツまたはメディアを検索する能力、及び／または、異なるプレイヤから選択する能力をユーザに提示するウェブサイトが提供されてよい。遠隔プレイヤは、ある実施形態においては、ＨＭＤ１０２を用いてゲームをプレイしてよい。他の実施形態においては、遠隔プレイヤは、デバイスのディスプレイ画面またはテレビのディスプレイ画面を用いて、ゲームをプレイしてよく、または、コンテンツを見てよい。大まかに言って、遠隔で、例えば、ウェブサイトを介して他のプレイヤのアクティビティを見たいユーザは、特定のプレイヤもしくはゲームの種類、または、ゲームのサムネイル、または、コンテンツのサムネイルを選択して、プレイヤが指示しているアクティビティを見ることができる。従って、遠隔プレイヤがアクティブにプレイし得る特定のインタラクティブなコンテンツをユーザが見て、選択するのを可能にするウェブサイトを提供できる。プレイヤのアクティビティを見たい観客は、そのコンテンツをクリックして、視聴を開始するだけでよい。プレイヤと観客の一方または両方が、ＨＭＤを使用して仮想環境を見てよいことは理解されよう。

ＨＭＤプレイヤのアクションを見ている、視聴している人は、一般的に観客と呼ばれる。観客は、アクティビティ、インタラクティブ性、アクション、動き等を見るためのアクセスを与えられるが、必ずしもゲームアクションを制御していない人である。このために、この視聴者達は、観客と呼ばれる。ＨＭＤプレイヤの文脈において、ＨＭＤディスプレイに提示されているコンテンツは、動的で、ＨＭＤプレイヤの動きによって制御される。例えば、ＨＭＤプレイヤが、頭を動かすと、人の周囲の現実世界のビューで生じ得るのと同様に、視聴可能な異なるコンテンツがＨＭＤプレイヤに提示される。

ここでも、観客は、ＨＭＤプレイヤにとってローカルであっても遠隔であってもよい、また、図２Ｂを参照して記載したように、観客は、第２画面のＨＭＤコンテンツを見てよいことに注意されたい。あるいは、観客もＨＭＤを装着でき、ＨＭＤは、観客に、ＨＭＤプレイヤコンテンツのビューを提供する。ある実施形態においては、観客は、ＨＭＤプレイヤによるライブまたはほぼライブのコンテンツを見てよい。他の実施形態においては、観客は、ＨＭＤプレイヤが見ていたコンテンツの録画バージョンを見てよい。さらに、複数または多数の観客がＨＭＤプレイヤの同じコンテンツをライブまたは録画で見ることを可能にするウェブサイトが提供されてよい。

図４Ａは、開示の実施態様による、方向インタフェースオブジェクト１０４の側面図を示す。図に示すように、方向インタフェースオブジェクト１０４は、単一管状構造を有し、上部管状部分４００、前部管状部分４０２、後部管状部分４０４、及び、下部管状部分４０６を含む。上部管状部分４００の前端は、前部管状部分４０２の上端に結合される。上部管状部分４００の後端は、後部管状部分４０４の上端に結合される。下部管状部分４０６の前端は、前部管状部分４０２の下端に結合され、下部管状部分４０６の後端は、後部管状部分４０４の下端に結合される。

下部管状部分４０６は、図に示すように、軸４０８に沿って延びる。前部管状部分４０２は、軸４０８に垂直な方向に対して角φだけ前方に角度をなした軸４１０に沿って延びる。後部管状部分４０４は、軸４０８に垂直な方向に対して角θだけ前方に角度をなした軸４１２に沿って延びる。ある実施態様においては、角φは、角θより大きい。ある実施態様においては、角φは、角θとほぼ同じである。

上部管状部分４００は、軸４１４に沿って延び、実施態様においては、軸４１４は、下部管状部分４０６の軸４０８とほぼ平行である。ある実施態様においては、軸４１４は、軸４０８と平行ではない。ある実施態様においては、軸４１４は、軸４０８に対して前方に広がるように角度をなす。

方向インタフェースオブジェクト１０４は、ユーザがインタラクティブアプリケーションに入力を行うのを可能にする幾つかの機能と入力装置を備える。例えば、追跡可能なオブジェクト４１６が備えられ、そのオブジェクトは、方向インタフェースオブジェクト１０４が置かれたインタラクティブ環境で撮影された画像において認識に基づいて追跡できる。追跡可能なオブジェクト４１６は、追跡可能なオブジェクトに含まれるライト／ＬＥＤによって照らすことができ、さらに、オブジェクトの追跡を容易にするように、ローカル環境の他のオブジェクトのライトと区別し得る特定の色で照らされてよい。追跡可能なオブジェクト４１６は、ある実施態様においては、球形に構成できる。一方、他の実施態様においては、追跡可能なオブジェクト４１６は、任意の幾何形状または他の認識可能な形状を有してよい。

図示の実施態様において、追跡可能なオブジェクト４１６は、上部管状部分４００の前端に接続される。ある実施態様においては、上部管状部分は、前方に向かって先が細くなるように構成される。すなわち、上部管状部分の直径は、後ろから前に向かって小さくなるように構成できる。上部管状部分をこのように先細にすることによって、例えば、方向インタフェースオブジェクト１０４が撮像装置に対してある角度で向きを変える時、追跡可能なオブジェクトをより見やすくすることができる。

方向インタフェースオブジェクトは、前部管状部分４０２の後ろを向いている側に沿って配置された前部ジョイスティック４１８及び方向パッド４２０と、前部管状部分４０２の前を向いている側に沿って配置された前部トリガ４２２とを含む、前部管状部分４０２に沿って配置された様々な入力装置をさらに備える。

後部トリガ４２４は、上部管状部分４００と後部管状部分４０４との間の結合部の内側に配置される。ある実施態様においては、後部トリガ４２４は、一段式トリガであり、他の実施態様においては、後部トリガ４２４は、例えば、低い抵抗の最初の引きと、高い抵抗のリリース（ｂｒｅａｋ）を組み合わせた二段式トリガである。後部ジョイスティック４２６は、上部管状部分４００の後端に配置されて、後部管状部分４０４を把持する手の親指を用いてアクセス可能なように、上部管状部分の後端から後方に延びる。後部管状部分４０４を把持する手の同じ引き金を引く指（人差し指）を用いてアクセス可能なように、後部ジョイスティック４２６を囲むボタンと、後部トリガ４２４の近くの上部管状部分４００に沿って配置されるボタンとを含む後部ボタン４２８が、入力のために追加で備えられる。

方向インタフェースオブジェクト１０４は、通信ポート４３０をさらに備え、通信ポート４３０は、ある実施態様においては、ＵＳＢポートである。通信ポート４３０は、通信及び／または充電／電力のために、方向インタフェースオブジェクト１０４への有線接続を可能にする。

方向インタフェースオブジェクトの構成は、剛体を両手で使用できるようにして、ＶＲにおける武器の狙いの正確さを向上させ、没入型シミュレーションを可能にする。前部管状部分と後部管状部分の（例えば、角φとθによって示される）角度を異ならせることによって、プレイヤが、方向インタフェースオブジェクトを水平方向で静止して持ち、また、狙う時は、方向インタフェースオブジェクトが両方の位置から楽に「発射」できるようにする。

図４Ｂ及び４Ｃは、開示の実施態様による、方向インタフェースオブジェクト１０４の追加の斜視図を示す。

ある実施態様において、方向インタフェースオブジェクト１０４のユーザが把持する部分は、ユーザの手でしっかりと把持できるように、ざらざらした表面を有してよい、及び／または、柔軟な材料を含んでよい。例えば、ある実施態様においては、後ろを向いている部分４３２等、後部管状部分４０４の一部は、ざらざらしてよい、または、柔軟な材料の表面を含んでよい。ある実施態様においては、前を向いている部分４３４等、前部管状部分４０２の一部は、ざらざらしてよい、または、柔軟な材料の表面を含んでよい。

図５Ａは、開示の実施態様による、複数のタッチセンサを有する方向インタフェースオブジェクトを示す。図示の実施態様において、方向インタフェースオブジェクト１０４は、前部管状部分４０２の両側と後部管状部分４０４の両側に配置されるタッチセンサを備える。前部管状部分４０２は、前部管状部分の右側に配置される右前部タッチセンサ５００と、前部管状部分の左側に配置される左前部タッチセンサ５０２とを備える。後部管状部分４０４は、後部管状部分の右側に配置される右後部タッチセンサ５０４と、後部管状部分の左側に配置される左後部タッチセンサ５０６とを備える。

タッチセンサは、ユーザの手による接触を検出できる任意の種類のセンサであってよいことは理解されよう。ある実施態様においては、タッチセンサは、容量タッチセンサであってよい。さらに、様々な実施態様において、タッチセンサによって与えられる接触の位置特定（ｌｏｃａｌｉｚａｔｉｏｎ）の量は、タッチセンサの種類及び構成によって異なり得る。ある実施態様においては、タッチセンサは、接触量を検出できてよいが、接触をタッチセンサの特定の部分に限定することはできない。他の実施態様においては、タッチセンサは、さらに、接触をタッチセンサの特定の部分に限定できる。

タッチセンサの特定の構成を示すが、他の実施態様においては、タッチセンサの数、及び、タッチセンサの特定の配置は異なってよいことは理解されたい。ある実施態様においては、タッチセンサは、方向インタフェースオブジェクトの前部管状部分または後部管状部分の前を向いている部分に配置される。さらに、追加のタッチセンサが、ユーザの手と方向インタフェースオブジェクト１０４との間の接触をさらに区別できるように備えられてよい。

例として、タッチセンサを使用して、ユーザが方向インタフェースオブジェクトの一部から手を離す時を検出できる。例えば、ユーザが前の部分から手を離す場合、これを検出して仮想環境において、片手銃に使用できる、または、オブジェクト／コーナーのあたりでのシューティングを容易にする。

図５Ｂは、開示の実施態様による、方向インタフェースオブジェクトの前部管状部分の両側と後部管状部分の両側の上記タッチセンサによって測定される接触量を示す複数のグラフを示す。グラフ５１０において、左後部タッチセンサ（ＬＲＴＳ）、右後部タッチセンサ（ＲＲＴＳ）、左前部タッチセンサ（ＬＦＴＳ）、及び、右前部タッチセンサ（ＲＦＴＳ）のそれぞれに対する接触量を時間の経過と共に示している。接触量は、ユーザの手が接触しているタッチセンサの表面の検出量を示すセンサの読み取り値から取得する。グラフ５１０に示すように、最初、接触量は最低レベルで、タッチセンサと接触してないことを示している、これは、ユーザが方向インタフェースオブジェクトを持っていないことを示す。

その後、図に示すように、接触量は、様々な程度に増加する。グラフ５１０に示す実施態様において、ＬＲＴＳが検出する接触量は、ＲＲＴＳが検出する接触量よりも高いレベルまで増加する。これは、左手の掌が、左側に接触し、右側に接触していると推測される指よりも多く接触していると推測されるので、ユーザの左手が方向インタフェースオブジェクトの後部管状部分を持っていることを示し得る。また、ＬＦＴＳが接触する接触量は、ＲＦＴＳの接触量よりも低いレベルまで増加する。同様に、これは、ユーザの右手が前部管状部分を持っていることを示し得る。従って、タッチセンサによって検出される接触量の上記パターンは、ユーザが左手で方向インタフェースオブジェクト１０４の後部を持っており、右手で方向インタフェースオブジェクト１０４の前部を持っていることを示す。

グラフ５１２に示される接触量のパターンは、反対のシナリオを示し、ユーザが右手で方向インタフェースオブジェクト１０４の後部を持っており、左手で方向インタフェースオブジェクト１０４の前部を持っていることを示す。

どちらの手で方向インタフェースオブジェクトのどの部分を持っているかを検出することによって、ＶＲ環境の対応する仮想の手を適切にレンダリングすることが可能である。例えば、ユーザのアバターが、仮想の武器または他の仮想オブジェクトを仮想の手で持っていてよく、上記決定に基づいて、ＶＲ環境の仮想の右手及び仮想の左手が、ユーザの実際の右手及び左手の前部／後部における位置に一致するように、仮想の武器／オブジェクトを持つ。

図５Ｃは、開示の実施態様による、ユーザの現実の手に対応する適切な仮想の手をＶＲ環境にレンダリングする方法を示す。方法の動作５２０において、ユーザの手が持つように構成されたインタフェースオブジェクトのハンドルまたは部分の左側及び右側（両側）に位置する接触／タッチセンサによって接触量が検出される。方法の動作５２２において、左と右のタッチセンサによって検出された接触量を比較する。比較に基づいて、方法の動作５２４において、どちらの手がインタフェースオブジェクトのその部分を持っているかに関する決定が行われる。次に、方法の動作５２６において、ユーザの現実の手に対応するように仮想オブジェクトを持っている適切な仮想の手が、ＶＲ環境にレンダリングされる。本明細書に記載するように、ここに記載した方法は、両手に適用して、どちらの手がインタフェースオブジェクトの前部を持っており、どちらの手がインタフェースオブジェクトの後部を持っているかを決定できる。

図６は、開示の実施態様による、タッチセンサに触れるユーザの手の指の変化と、仮想の手のレンダリングの対応する変化とを示す。図に示すように、ユーザの左手が、方向インタフェースオブジェクト１０４の後部管状部分を持っており、ユーザの左手の指がタッチセンサ５０４に触れている。タッチセンサ５０４の接触エリアも時間の経過と共に図に示されている。時刻Ｔ０において、ユーザの３本指がタッチセンサ５０４に触れていることを示す３つの接触エリア６０２がある。時刻Ｔ１において、１本の指がタッチセンサから離れたことを示す２つの接触エリア６０４がある。時刻Ｔ２において、再び、３つの接触エリアが存在し、時刻Ｔ３において、１つの接触エリアがあり、時刻Ｔ４において、２つの接触エリアがある。

グラフ６１０は、タッチセンサによって検出される接触量を時間の経過と共に示す。図に示すように、接触量は、接触エリアの量、及び／または、タッチセンサに触れている指の数に応じて変わる。

ある実施態様においては、タッチセンサ５０４は、センサに触れている指の数を決定できないが、接触量を検出する。しかしながら、接触量に基づいて、タッチセンサに接触している指の数を推定することは可能であり、このような推定に基づいて、ＶＲ環境に対応する仮想の手をレンダリングして、指の動きを示すことができ、それによって、ユーザの指の動きの効果を模倣する。動かされる仮想の手の特定の指は、ユーザの手の動いた実際の指とは一致しない場合があるが、それでも、ＨＭＤを通してＶＲ環境を見ているユーザに指の動きを示す視覚フィードバックを提供することは理解されよう。

（現在記載の実施態様では親指またはトリガを引く指を含まない）ユーザの使用できる指３本全ての時、タッチセンサが検出する接触量は、較正動作で較正できる、または、最大接触量を検出することによって時間の経過と共に動的に決定できる。最大量からの減少は、検出できて、仮想の手の特定の種類の動きにマッピングされてよい。例えば、接触量の所定の量の減少は、１本の指が動いたことを示すとして推定でき、よって、仮想の手の（例えば、所定のまたはランダムに選んだ）１本の指が、インタフェースオブジェクトに対応する仮想オブジェクトに触れている／持っている状態から離れる。決定の正確さに役立つように、接触量は、経時的に追跡されて、ユーザの指の一定の向きに対応し得る最大値、最小値、及び、中間値を決定できる。また、特定の接触量は、特定の指に対応してよく、この分析に基づいて、接触量の変化によって、どの指をユーザが動かしているかを推定することも可能であってよい。

６１２を参照して、ＶＲ環境で仮想の手のレンダリングに対応するアクションを示す、これらは、タッチセンサによって検出された接触量に基づいている。図に示すように、様々な時点で、仮想の手の指を、タッチセンサ５０４に対するユーザの指の動きに相関する動きを示すように動かす／調節することができる。

図７は、開示の実施態様による、方向インタフェースオブジェクトの追跡を容易にするために複数のライトを有する方向インタフェースオブジェクトを示す。図に示すように、複数のライト７００、７０２、７０４、７０６は、それぞれ、方向インタフェースオブジェクト１０４の上部管状部分、前部管状部分、後部管状部分、及び、下部管状部分の両側に沿って配置される。対応するライトが、図示の実施態様において示される側の反対側に配置されてよい。さらに、ある実施態様においては、ライトは、方向インタフェースオブジェクト１０４の様々な管状部分／セクションの上部表面、下部表面、前部表面、または、後部表面に配置されてよい。様々なライトは、方向インタフェースオブジェクトの追跡または区別を助けるために様々な色を表示するように構成できる。方向インタフェースオブジェクト１０４の複数の追跡ライトの使用は、（方向インタフェースオブジェクトの撮像装置に対する距離及び向きの両方の点で）追跡の精度及び範囲の両方を向上させ得ることは理解されよう。ある実施態様においては、ライトの１つまたは複数の色及び／または強度は、設定可能であり、例えば、背景環境に対するコントラストを増すために、または、他のインタフェースオブジェクトもしくは（異なる色を呈するようにライトを制御し得る）コントローラから方向インタフェースオブジェクトを区別するために、設定または調節されてよい。

さらに、近接センサ７０８を方向インタフェースオブジェクトの上部管状部分の後端に配置できる。近接センサ７０８は、ユーザの親指が後部ジョイスティック４２６及び／または後部ボタン４２８に近い時を検出でき、このような検出に基づいて、仮想オブジェクトの対応する部分の上に親指が表示される（例えば、近くの手によって武器または他のオブジェクトの後部を持つ）ように、ＶＲ環境に対応する仮想の手がレンダリングされてよい。

図８は、開示の実施態様による、可動重りを有する方向インタフェースオブジェクトを示す。図示の実施態様において、可動重り８００は、方向インタフェースオブジェクト１０４の上部管状部分の内側に配置され、トラック８０２に沿って移動するように構成される。しかしながら、他の実施態様においては、可動重り８００は、方向インタフェースオブジェクト１０４の他の部分に配置されてよい。可動重り８００は、コンピュータまたはＨＭＤから受信された触覚フィードバックデータに応答して移動させることができる。可動重り８００は、所望の触覚効果に応じて、様々な加速度レベル、様々な速度で、様々な距離を移動するように制御できる。可動重り８００を利用して、ＶＲ環境で生じるイベントに基づいたはずみの感覚を提供してよい。例えば、可動重りは、方向インタフェースオブジェクトによって制御される仮想の武器をユーザが発射する時、移動されて、実際の武器と同じような反動の感覚を提供してよい。別の例においては、ユーザが、対応する仮想の武器を、例えば、方向インタフェースオブジェクト１０４を上に向けることによって、再装填する時、可動重り８００は、仮想の武器の再装填の感覚を模倣するように移動されてよい。

図９は、開示の実施態様による、ＨＭＤ１０２を用いてＶＲ環境を見るユーザ１００を示す。ユーザ１００は、ＶＲ環境のビュー９００を提供され、さらに、方向インタフェースオブジェクト１０４を持って、仮想シーンとインタラクトしている。方向インタフェースオブジェクト１０４を利用して、ＶＲ環境で武器を向け、ビュー９００に示す威嚇的な熊等のオブジェクトを撃つ。方向インタフェースオブジェクトの追跡可能なオブジェクトの視覚追跡と慣性センサからのデータとの組み合わせを入力として利用して、ＶＲ環境の仮想の武器を向ける方向を決定できる。

図１０は、開示の実施態様による、ＨＭＤ１０２を用いてＶＲ環境を見るユーザ１００を示す。ユーザ１００は、ＶＲ環境のビュー１０００を提供され、さらに、方向インタフェースオブジェクト１０４を持って、仮想シーンとインタラクトしている。ビュー１０００において、ユーザは、方向インタフェースオブジェクト１０４に対応する仮想の武器を持っている対応する仮想の手を見ることができる。仮想の手は、方向インタフェースオブジェクトを持っているユーザの左手と右手の実際の配置に一致するように配置されて、ユーザの現実の左手／右手が方向インタフェースオブジェクト１０４の前部／後部を持っているように、同じ仮想の左手／右手が仮想の武器の前部／後部を持っている。これは、ユーザの手とＶＲ環境の仮想の手との間の一致の感覚をユーザに与える。

仮想の武器は方向インタフェースオブジェクト１０４のＶＲ表現の一例であることを理解されよう。他の実施態様においては、他の種類の仮想オブジェクトが、方向インタフェースオブジェクトのＶＲ表現として表示できる。さらに、方向インタフェースオブジェクトのＶＲ表現は、物理的デバイスには存在しない特徴を表示できることは理解されよう。例には、バッテリレベルインジケータ、１つまたは複数のモードインジケータ、どのボタンを押すべきかを示す動く強調表示（ａｎｉｍａｔｅｄ ｈｉｇｈｌｉｇｈｔｓ）等が含まれる。

図１１は、開示の実施態様による、ＨＭＤを使用してＶＲ環境を見ているユーザを示す。ユーザ１００は、方向インタフェースオブジェクト１０４の近位のハンドルを左手で持ち、方向インタフェースオブジェクト１０４の遠位のハンドルを右手で持って、方向インタフェースオブジェクト１０４を持っている。それに対応して、ＨＭＤ１０２に表示されるＶＲ環境のビュー１１００においては、対応する仮想の左手は、仮想の武器の近位のハンドルを持っており、仮想の右手は、仮想の武器の遠位のハンドルを持っている。さらに、仮想の手の指は、上記のように、方向インタフェースオブジェクト１０４と手との接触の検出された変化に応答して、動かされてよい。

さらに、ユーザの左の親指は、方向インタフェースオブジェクトの上部の後端の上に示されていることに注意する。同様に、仮想の左手の親指は、仮想の武器の上部の後端の上の同様の位置にレンダリングされて示される。これは、方向インタフェースオブジェクトの上部の後端に組み込まれた近接センサによる検出に基づいて提供できる。

図１２を参照すると、発明の実施形態による、方向インタフェースオブジェクト１０４のコンポーネントの図が示されている。方向インタフェースオブジェクト１０４は、プログラム命令を実行するプロセッサ１２００を備える。メモリ１２０２が記憶のために備えられ、メモリ１２０２は、揮発性及び不揮発性の両方のメモリを含んでよい。バッテリ１２０６が、方向インタフェースオブジェクト１０４の電源として備えられる。動作検出モジュール１２０８は、磁力計１２１０、加速度計１２１２、及び、ジャイロスコープ１２１４等の様々な種類の動作検知ハードウェアのいずれかを備えてよい。

方向インタフェースオブジェクト１０４は、オーディオを出力するスピーカ１２２０を備える。また、周囲環境の音、ユーザの発話等を含む、オーディオを実環境から捕捉するためにマイクロフォン１２２２を備えてよい。方向インタフェースオブジェクト１０４は、ユーザに触覚フィードバックを提供する触覚フィードバックモジュール１２２４を備える。一実施形態においては、触覚フィードバックモジュール１２２４は、触覚フィードバックをユーザに提供するように、方向インタフェースオブジェクト１０４に動き及び／または振動を生じさせることができる。

ＬＥＤ／ライト１２２６を、方向インタフェースオブジェクト１０４の状態の視覚的インジケータとして備えることができる。例えば、ＬＥＤは、バッテリレベル、電源オン等を示してよい。さらに、ＬＥＤ／ライトを利用して、球形のオブジェクト等の追跡可能なオブジェクトを照らして、方向インタフェースオブジェクトの視覚追跡を容易にできる。ある実施態様においては、ＬＥＤ／ライトは、方向インタフェースオブジェクトの両側面に規定されて、画像認識に基づいた方向インタフェースオブジェクトの追跡を容易にする。ＵＳＢインタフェース１２３０は、周辺デバイスの接続、または、他のポータブルデバイス、コンピュータ等の他のデバイスへの接続を可能にするインタフェースの一例として備えられている。方向インタフェースオブジェクト１０４の様々な実施形態において、様々な種類のインタフェースのうちのいずれかを方向インタフェースオブジェクト１０４の接続性を向上させるために備えてよい。

ＷｉＦｉ（登録商標）モジュール１２３２は、無線ネットワーク技術を介してインターネットへの接続を可能にするために備えられる。また、方向インタフェースオブジェクト１０４は、他のデバイスへの無線接続を可能にするブルートゥース（登録商標）モジュール１２３４を備える。通信リンク１２３６も、他のデバイスへの接続のために備えられてよい。一実施形態においては、通信リンク１２３６は、無線通信のために赤外線伝送を利用する。他の実施形態においては、通信リンク１２３６は、他のデバイスと通信するために、様々な無線または有線の送信プロトコルのうちのいずれかを利用してよい。

入力ボタン／センサ１２３８は、入力インタフェースをユーザに提供するために備えられている。ボタン、タッチパッド、ジョイスティック、トラックボール等の様々な種類の入力インタフェースのいずれかを備えてよい。超音波技術を介して他のデバイスとの通信を容易にするために、超音波通信モジュール１２４０を方向インタフェースオブジェクト１０４に備えてよい。

バイオセンサ１２４２が、ユーザから生理学的データの検出を可能にするために備えられる。一実施形態においては、バイオセンサ１２４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するために１つまたは複数のドライ電極を備える。

方向インタフェースオブジェクト１０４の上記コンポーネントは、方向インタフェースオブジェクト１０４に備えられてよい単に例示のコンポーネントとして記載した。本発明の様々な実施形態において、方向インタフェースオブジェクト１０４は、様々な上記コンポーネントの一部を備えてもよく、備えなくてもよい。方向インタフェースオブジェクト１０４の実施形態は、本明細書に記載の本発明の態様を容易にするために、ここに記載していないが当分野では既知の他のコンポーネントをさらに備えてよい。

発明の様々な実施形態において、上記ハンドヘルドデバイスは、様々なインタラクティブ機能を提供するためにディスプレイに表示されたインタラクティブアプリケーションと共に利用されてよいことを、当業者は理解されよう。本明細書に記載の例示の実施形態は、例として記載しており、制限のために記載しているのではない。

図１３を参照すると、開示の実施形態による、ヘッドマウントディスプレイ１０２のコンポーネントの図が示されている。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ１３００を備える。メモリ１３０２が、記憶のために備えられ、メモリ１３０２は、揮発性、不揮発性の両方のメモリを含んでよい。ユーザが視聴し得る視覚インタフェースを提供するディスプレイ１３０４が備えられる。バッテリ１３０６が、ヘッドマウントディスプレイ１０２の電源として備えられる。動作検出モジュール１３０８は、磁力計１３１０、加速度計１３１２、及び、ジャイロスコープ１３１４等、様々な種類の動作検知ハードウェアのいずれかを備えてよい。

加速度計は、加速と重力によって引き起こされる反力とを測定するデバイスである。単軸及び多軸のモデルが、異なる方向の加速の大きさと方向の検出に利用できる。加速度計を使用して、傾き、振動、及び、衝撃を検知する。一実施形態においては、３つの加速度計１３１２を使用して、２つの角度（世界空間ピッチと世界空間ロール）に絶対参照を与える重力の方向を求める。

磁力計は、ヘッドマウントディスプレイの近くの磁場の強さと方向を測定する。一実施形態においては、３つの磁力計１３１０が、ヘッドマウントディスプレイ内で使用されて、世界空間ヨー角の絶対参照を確保する。一実施形態においては、磁力計は、±８０マイクロテスラである地球の磁場にわたるように設計される。磁力計は、金属の影響を受け、実際のヨーに対して単調であるヨー測定値を提供する。磁場は、環境中の金属が原因で歪む場合があり、これは、ヨー測定値の歪みを起こす。必要に応じて、この歪みは、ジャイロスコープまたはカメラ等、他のセンサからの情報を用いて較正できる。一実施形態においては、加速度計１３１２は、磁力計１３１０と共に使用されて、ヘッドマウントディスプレイ１０２の傾きと方位角を取得する。

ある実施態様においては、ヘッドマウントディスプレイの磁力計は、他の近くのデバイスの電磁石が非アクティブな間中、読み取られるように構成される。

ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持するデバイスである。一実施形態においては、３つのジャイロスコープ１３１４が、各軸（ｘ、ｙ、ｚ）に対する動きの情報を慣性感知に基づいて提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対参照の存在が無いと、時間が経つとドリフトする場合がある。これは、ジャイロスコープの周期的なリセットを必要とし、リセットは、オブジェクトの視覚追跡、加速度計、磁力計等に基づいた、位置／向きの決定等、他の入手可能な情報を用いて行うことができる。

カメラ１３１６が、現実環境の画像及び画像ストリームを撮影するために備えられる。後ろ（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザから離れる方向）を向いているカメラと、前（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザに向かう方向）を向いているカメラとを含む複数のカメラがヘッドマウントディスプレイ１０２に備えられてよい。さらに、デプスカメラ１３１８が、現実環境のオブジェクトの奥行情報を感知するために、ヘッドマウントディスプレイ１０２に備えられてよい。

ヘッドマウントディスプレイ１０２は、オーディオを出力するスピーカ１３２０を備える。また、マイクロフォン１３２２が、周辺環境の音、ユーザによる会話等を含む、現実環境からのオーディオを捕捉するために備えられてよい。ヘッドマウントディスプレイ１０２は、触覚フィードバックをユーザに提供する触覚フィードバックモジュール１３２４を備える。一実施形態においては、触覚フィードバックモジュール１３２４は、触覚フィードバックをユーザに提供するように、ヘッドマウントディスプレイ１０２に動き及び／または振動を起こすことができる。

ＬＥＤ１３２６は、ヘッドマウントディスプレイ１０２の状態の視覚的インジケータとして備えられる。例えば、ＬＥＤは、バッテリレベル、電源オン等を示してよい。カードリーダ１３２８が備えられて、ヘッドマウントディスプレイ１０２が、メモリカードから情報を読み取り、メモリカードに情報を書き込むのを可能にする。ＵＳＢインタフェース１３３０が、周辺デバイスの接続、または、他のポータブルデバイス、コンピュータ等、他のデバイスへの接続を可能にするためのインタフェースの一例として備えられる。ヘッドマウントディスプレイ１０２の様々な実施形態において、様々な種類のインタフェースのいずれかが、ヘッドマウントディスプレイ１０２の接続性を向上させるために備えられてよい。

ＷｉＦｉモジュール１３３２が、無線ネットワーク技術を介してインターネットまたはローカルエリアネットワークへの接続を可能にするために備えられる。また、ヘッドマウントディスプレイ１０２は、他のデバイスへの無線接続を可能にするブルートゥースモジュール１３３４を備える。通信リンク１３３６も、他のデバイスへの接続のために備えられてよい。一実施形態においては、通信リンク１３３６は、無線接続に赤外線伝送を利用する。他の実施形態においては、通信リンク１３３６は、他のデバイスとの通信のために、様々な無線または有線の送信プロトコルのいずれかを利用してよい。

入力ボタン／センサ１３３８が、入力インタフェースをユーザに提供するために備えられる。ボタン、タッチパッド、ジョイスティック、トラックボール等、様々な種類の入力インタフェースのいずれかが、備えられてよい。超音波通信モジュール１３４０が、超音波技術を介して他のデバイスとの通信を容易にするためにヘッドマウントディスプレイ１０２に備えられてよい。

バイオセンサ１３４２が、ユーザから生理学的データを検出できるように備えられる。一実施形態においては、バイオセンサ１３４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するための１つまたは複数のドライ電極を備える。

ビデオ入力装置１３４４が、ＨＭＤをレンダリングするために、一次処理コンピュータ（例えば、メインゲームコンソール）からビデオ信号を受信するように構成される。ある実施態様においては、ビデオ入力装置は、ＨＤＭＩ（登録商標）入力装置である。

ヘッドマウントディスプレイ１０２の上記コンポーネントは、ヘッドマウントディスプレイ１０２に備えられてよい例示のコンポーネントとして単に記載した。開示の様々な実施形態において、ヘッドマウントディスプレイ１０２は、様々な上記コンポーネントの一部を含んでもよく、含まなくてもよい。ヘッドマウントディスプレイ１０２の実施形態は、ここには記載しないが、当分野で既知の他のコンポーネントを、本明細書に記載の本開示の態様を容易にするために、さらに備えてよい。

図１４は、開示の様々な実施形態による、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、１つまたは複数のクライアント１４１０にネットワーク１４１５を介してビデオストリームを提供するように構成される。ゲームシステム１４００は、典型的に、ビデオサーバシステム１４２０と、オプションのゲームサーバ１４２５とを含む。ビデオサーバシステム１４２０は、ビデオストリームを１つまたは複数のクライアント１４１０に最低限のサービス品質で提供するように構成される。例えば、ビデオサーバシステム１４２０は、ビデオゲームの状態とビデオゲーム内の視点とを変更するゲームコマンドを受信してよく、状態のこの変化を反映する更新されたビデオストリームを最小の遅延時間でクライアント１４１０に提供してよい。ビデオサーバシステム１４２０は、今後、規定されるフォーマットも含む多種多様な代替ビデオフォーマットで、ビデオストリームを提供するように構成されてよい。さらに、ビデオストリームは、多種多様なフレームレートで、ユーザに提示されるように構成されたビデオフレームを含んでよい。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム、及び、毎秒１２０フレームであるが、より高いまたはより低いフレームレートが、開示の代替実施形態に含まれる。

本明細書では、個々に、１４１０Ａ、１４１０Ｂ等と呼ばれるクライアント１４１０は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んでよい。典型的に、クライアント１４１０は、符号化ビデオストリームを受信するように、ビデオストリームを復号するように、且つ、結果として生じるビデオをユーザ、例えば、ゲームのプレイヤに提示するように構成される。符号化ビデオストリームを受信するプロセス、及び／または、ビデオストリームを復号するプロセスは、典型的に、個々のビデオフレームをクライアントの受信バッファに記憶することを含む。ビデオストリームは、クライアント１４１０に一体化されたディスプレイ、または、モニタもしくはテレビ等の別個のデバイスで、ユーザに提示されてよい。クライアント１４１０は、任意選択で、複数のゲームプレイヤをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人、または、５人以上の同時プレイヤをサポートするように構成されてよい。これらの各プレイヤは、別個のビデオストリームを受信してよく、または、一つのビデオストリームが、特に各プレイヤに対して生成された、例えば、各プレイヤの視点に基づいて生成されたフレームの領域を含んでよい。クライアント１４１０は、任意選択で地理的に分散している。ゲームシステム１４００に含まれるクライアントの数は、１人もしくは２人から、何千、何万、または、それ以上と様々であってよい。本明細書においては、「ゲームプレイヤ」という語は、ゲームをプレイする人を指して使用され、「ゲームプレイデバイス」という語は、ゲームのプレイに使用されるデバイスを指して用いられる。ある実施形態においては、ゲームプレイデバイスは、協働してゲーム体験をユーザに伝える複数のコンピュータデバイスを指してよい。例えば、ゲームコンソール及びＨＭＤは、ビデオサーバシステム１４２０と協働して、ＨＭＤを通して視聴されるゲームを配信してよい。一実施形態においては、ゲームコンソールは、ビデオサーバシステム１４２０からビデオストリームを受信し、ゲームコンソールは、ビデオストリームまたはビデオストリームへの更新をレンダリングのためにＨＭＤに転送する。

クライアント１４１０は、ネットワーク１４１５を介してビデオストリームを受信するように構成される。ネットワーク１４１５は、電話ネットワーク、インターネット、無線ネットワーク、送電線網、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワーク等を含む、任意の種類の通信ネットワークであってよい。典型的な実施形態においては、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準的プロトコルを介して通信される。あるいは、ビデオストリームは、プロプライエタリ規格を介して通信される。

クライアント１４１０の典型的な例は、プロセッサ、不揮発メモリ、ディスプレイ、復号論理回路、ネットワーク通信機能、及び、入力装置を備えるパーソナルコンピュータである。復号論理回路は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含んでよい。ビデオストリームを復号（及び符号化する）システムは、当分野で周知であり、使用される特定の符号化スキームに応じて変わる。

クライアント１４１０は、受信したビデオを修正するように構成されたシステムをさらに含んでよいが、含まなくてもない。例えば、クライアントは、１つのビデオ画像を他のビデオ画像にオーバーレイする、ビデオ画像をクロップする等のために、さらにレンダリングを行うように構成されてよい。例えば、クライアント１４１０は、Ｉフレーム、Ｐフレーム、及び、Ｂフレーム等の様々な種類のビデオフレームを受信するように構成されてよく、また、これらのフレームを処理して、ユーザに表示する画像にするように構成されてよい。ある実施形態においては、クライアント１４１０のメンバーは、さらに、レンダリング、シェーディング、３Ｄへの変換、または、同様の操作をビデオストリームに対して行うように構成される。クライアント１４１０のメンバーは、任意選択で、複数のオーディオストリームまたはビデオストリームを受信するように構成される。クライアント１４１０の入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または位置検知装置、マウス、タッチスクリーン、神経インタフェース、カメラ、今後開発される入力装置等を含んでよい。

クライアント１４１０が受信したビデオストリーム（及び、任意選択で、オーディオストリーム）は、ビデオサーバシステム１４２０によって生成、提供される。さらに、本明細書の他の箇所に記載のように、このビデオストリームは、ビデオフレームを含み（且つ、オーディオストリームは、オーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有意の寄与をするように構成される（例えば、ビデオフレームは、適切なデータ構造の画素情報を含む）。本明細書においては、「ビデオフレーム」という語は、ユーザに示す画像に寄与するように構成された、例えば、影響を与えるように構成された情報を主に含むフレームを指して使用される。「ビデオフレーム」に関する本明細書の教示の大半は、「オーディオフレーム」にも適用できる。

クライアント１４１０は、典型的に、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更するように、または、他の形でゲームプレイに影響を与えるように構成されたゲームコマンドを含んでよい。ゲームコマンドは、入力装置を用いて受信できる、及び／または、クライアント１４１０で実行する演算命令によって自動的に生成されてよい。受信されたゲームコマンドは、クライアント１４１０からネットワーク１４１５を介してビデオサーバシステム１４２０及び／またはゲームサーバ１４２５に通信される。例えば、ある実施形態においては、ゲームコマンドは、ビデオサーバシステム１４２０を介してゲームサーバ１４２５に通信される。ある実施形態においては、ゲームコマンドの別々のコピーが、クライアント１４１０からゲームサーバ１４２５及びビデオサーバシステム１４２０に通信される。ゲームコマンドの通信は、任意選択で、コマンドのアイデンティティに依存する。ゲームコマンドは、任意選択で、オーディオストリームまたはビデオストリームをクライアント１４１０Ａに提供するのに使用される異なるルートまたは通信チャネルを通して、クライアント１４１０Ａから通信される。

ゲームサーバ１４２５は、任意選択で、ビデオサーバシステム１４２０とは異なるエンティティによって操作される。例えば、ゲームサーバ１４２５は、マルチプレイヤゲームの発行者によって操作されてよい。この例において、ビデオサーバシステム１４２０は、任意選択で、ゲームサーバ１４２５によってクライアントとして見られ、任意選択で、ゲームサーバ１４２５の視点からは、先行技術のゲームエンジンを実行する先行技術のクライアントに見えるように構成される。ビデオサーバシステム１４２０とゲームサーバ１４２５との間の通信は、任意選択で、ネットワーク１４１５を介して行われる。よって、ゲームサーバ１４２５は、ゲーム状態情報を複数のクライアントに送る先行技術のマルチプレイヤゲームサーバであってよく、そのクライアントの１つが、ビデオサーバシステム１４２０である。ビデオサーバシステム１４２０は、ゲームサーバ１４２５の複数のインスタンスと同時に通信するように構成されてよい。例えば、ビデオサーバシステム１４２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成できる。これらの異なるビデオゲームは、それぞれ、異なるゲームサーバ１４２５によってサポートされてよい、及び／または、異なるエンティティによって発行されてよい。ある実施形態においては、ビデオサーバシステム１４２０の幾つかの地理的に分散したインスタンスは、ゲームビデオを複数の異なるユーザに提供するように構成される。ビデオサーバシステム１４２０のこれらのインスタンスは、それぞれ、ゲームサーバ１４２５の同じインスタンスと通信してよい。ビデオサーバシステム１４２０と１つまたは複数のゲームサーバ１４２５との間の通信は、任意選択で専用通信チャネルを介して行われ得る。例えば、ビデオサーバシステム１４２０は、これら２つのシステム間の通信専用の広帯域チャネルを介してゲームサーバ１４２５に接続されてよい。

ビデオサーバシステム１４２０は、少なくともビデオソース１４３０、入出力装置１４４５、プロセッサ１４５０、及び、非一時的ストレージ１４５５を備える。ビデオサーバシステム１４２０は、１つのコンピュータデバイスを含んでよく、または、複数のコンピュータデバイス間に分散されてよい。これらのコンピュータデバイスは、任意選択で、ローカルエリアネットワーク等の通信システムを介して接続される。

ビデオソース１４３０は、ビデオストリーム、例えば、動画を形成するストリーミングビデオもしくは一連のビデオフレームを提供するように構成される。ある実施形態においては、ビデオソース１４３０は、ビデオゲームエンジンとレンダリング論理回路とを備える。ビデオゲームエンジンは、プレイヤからゲームコマンドを受信するように構成され、受信したコマンドに基づいて、ビデオゲームの状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境におけるオブジェクトの位置と、典型的には、視点とを含む。ゲーム状態は、オブジェクトのプロパティ、画像、色、及び／または、テクスチャも含んでよい。ゲーム状態は、典型的に、ゲーム規則と、移動、回転、攻撃、焦点を合わせる、インタラクト、使用等のゲームコマンドに基づいて維持される。ゲームエンジンの一部は、任意選択でゲームサーバ１４２５内に配置される。ゲームサーバ１４２５は、地理的に分散したクライアントを用いて複数のプレイヤから受信したゲームコマンドに基づいて、ゲーム状態のコピーを維持してよい。この場合、ゲーム状態は、ゲームサーバ１４２５によってビデオソース１４３０に提供され、ゲーム状態のコピーが記憶されて、レンダリングが行われる。ゲームサーバ１４２５は、クライアント１４１０からネットワーク１４１５を介して直接、ゲームコマンドを受信してよい、及び／または、ビデオサーバシステム１４２０を介してゲームコマンドを受信してよい。

ビデオソース１４３０は、典型的に、レンダリング論理回路、例えば、ハードウェア、ファームウェア、及び／または、ストレージ１４５５等のコンピュータ可読媒体に記憶されたソフトウェアを含む。このレンダリング論理回路は、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成するように構成される。レンダリング論理回路の全てまたは一部は、任意選択で、グラフィックス処理ユニット（ＧＰＵ）内に配置される。レンダリング論理回路は、典型的に、ゲーム状態と視点とに基づいて、オブジェクト間の三次元空間関係を決定するように、及び／または、適切なテクスチャ等を適用するように構成された処理段階を含む。レンダリング論理回路は、未加工ビデオを生成し、次に、通常は、クライアント１４１０に通信される前に符号化される。例えば、未加工ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ‐ｘ．、Ｘｖｉｄ．、ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３等に従って符号化されてよい。符号化プロセスによって、ビデオストリームが生成され、ビデオストリームは、リモートデバイス上のデコーダに送るために、任意選択でパッケージ化される。ビデオストリームは、フレームサイズとフレームレートによって特徴づけられる。典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８を含むが、任意の他のフレームサイズを用いてよい。フレームレートは、毎秒あたりのビデオフレームの数である。ビデオストリームは、異なる種類のビデオフレームを含んでよい。例えば、Ｈ．２６４規格は、「Ｐ」フレームと「Ｉ」フレームを含む。Ｉフレームは、ディスプレイ装置上のマクロブロック／画素の全てをリフレッシュする情報を含み、Ｐフレームは、そのサブセットをリフレッシュする情報を含む。Ｐフレームは、典型的に、Ｉフレームよりデータサイズが小さい。本明細書においては、「フレームサイズ」という語は、フレーム内の画素数を指す。「フレームデータサイズ」という語は、フレームの記憶に必要なバイト数を指して用いられる。

代替実施形態においては、ビデオソース１４３０は、カメラ等のビデオ記録装置を含む。このカメラを使用して、コンピュータゲームのビデオストリームに含み得る遅延ビデオまたはライブビデオを生成してよい。結果として生じるビデオストリームは、任意選択で、レンダリングされた画像と、スチルカメラまたはビデオカメラを用いて記録された画像との両方を含む。ビデオソース１４３０は、ビデオストリームに含める以前記録されたビデオを記憶するように構成された記憶装置も含んでよい。ビデオソース１４３０は、また、オブジェクト、例えば、人の動作または位置を検出するように構成された動作または位置検知装置と、検出された動作及び／または位置に基づいて、ゲーム状態を決定またはビデオを生成するように構成された論理回路とを含んでよい。

ビデオソース１４３０は、他のビデオ上に配置されるように構成されたオーバーレイを提供するように任意選択で構成される。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤのビデオフィード（例えば、ｗｅｂｃａｍビデオ）を含んでよい。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント１４１０Ａの実施形態においては、オーバーレイは、仮想のキーボード、ジョイスティック、タッチパッド等を含んでよい。オーバーレイの一例においては、プレイヤの音声が、オーディオストリームにオーバーレイされる。ビデオソース１４３０は、任意選択で１つまたは複数のオーディオソースをさらに含む。

ビデオサーバシステム１４２０が複数のプレイヤからの入力に基づいてゲーム状態を維持するように構成された実施形態においては、各プレイヤは、ビューの位置と方向を含む異なる視点を有してよい。ビデオソース１４３０は、任意選択で、各プレイヤの視点に基づいて、各プレイヤに別々のビデオストリームを提供するように構成される。さらに、ビデオソース１４３０は、異なるフレームサイズ、フレームデータサイズ、及び／または、符号化を各クライアント１４１０に提供するように構成されてよい。ビデオソース１４３０は、任意選択で３Ｄビデオを提供するように構成される。

入出力装置１４４５は、ビデオサーバシステム１４２０が、ビデオ、コマンド、情報の要求、ゲーム状態、視線情報、デバイスの動き、デバイスの位置、ユーザの動作、クライアントのアイデンティティ、プレイヤのアイデンティティ、ゲームコマンド、セキュリティ情報、オーディオ等の情報を送信及び／または受信するように構成される。入出力装置１４４５は、典型的に、ネットワークカードまたはモデム等の通信ハードウェアを含む。入出力装置１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／または、クライアント１４１０と通信するように構成される。

プロセッサ１４５０は、本明細書で述べたビデオサーバシステム１４２０の様々なコンポーネント内に含まれる論理回路、例えば、ソフトウェアを実行するように構成される。例えば、プロセッサ１４５０は、ビデオソース１４３０、ゲームサーバ１４２５、及び／または、クライアントクオリファイア１４６０の機能を行うために、ソフトウェア命令を用いてプログラムされてよい。ビデオサーバシステム１４２０は、任意選択で、プロセッサ１４５０の複数のインスタンスを含む。プロセッサ１４５０も、ビデオサーバシステム１４２０が受信したコマンドを実行するために、または、本明細書で述べたゲームシステム１４００の様々な要素の操作を連係させるために、ソフトウェア命令を用いてプログラムされてよい。プロセッサ１４５０は、１つまたは複数のハードウェアデバイスを含んでよい。プロセッサ１４５０は、電子プロセッサである。

ストレージ１４５５は、非一時的アナログ及び／またはデジタル記憶装置を含む。例えば、ストレージ１４５５は、ビデオフレームを記憶するように構成されたアナログ記憶装置を含んでよい。ストレージ１４５５は、例えば、ハードドライブ、光学ドライブ、または、ソリッドステートストレージ等、コンピュータ可読デジタルストレージを含んでよい。ストレージ１４１５は、ビデオフレーム、擬似フレーム、ビデオフレーム及び擬似フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム等を記憶するように（例えば、適切なデータ構造またはファイルシステムによって）構成される。ストレージ１４５５は、任意選択で複数のデバイスに分散される。ある実施形態においては、ストレージ１４５５は、本明細書の他の箇所で述べるビデオソース１４３０のソフトウェアコンポーネントを記憶するよう構成される。これらのコンポーネントは、必要に応じてプロビジョニング可能なフォーマットで記憶されてよい。

ビデオサーバシステム１４２０は、任意選択で、クライアントクオリファイア１４６０をさらに含む。クライアントクオリファイア１４６０は、クライアント１４１０Ａまたは１４１０Ｂ等のクライアントの能力を遠隔で判断するように構成される。この能力は、クライアント１４１０Ａ自体の能力と、クライアント１４１０Ａとビデオサーバシステム１４２０との間の１つまたは複数の通信チャネルの能力と両方を含み得る。例えば、クライアントクオリファイア１４６０は、ネットワーク１４１５を通して通信チャネルをテストするよう構成されてよい。

クライアントクオリファイア１４６０は、クライアント１４１０Ａの能力を手動または自動で判定（例えば、発見）できる。手動による判定は、クライアント１４１０Ａのユーザと通信し、ユーザに能力を提供するように求める。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０Ａのブラウザ内に画像、テキスト等を表示するよう構成される。一実施形態においては、クライアント１４１０Ａはブラウザを含むＨＭＤである。別の実施形態においては、クライアント１４１０Ａはブラウザを有するゲームコンソールであり、ＨＭＤに表示されてよい。表示されたオブジェクトは、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度等の情報を入力するようユーザに求める。ユーザにより入力された情報は、クライアントクオリファイア１４６０に返信される。

自動判定は、例えば、クライアント１４１０Ａでのエージェントの実行によって、及び／または、クライアント１４１０Ａへのテストビデオの送信によって行われてよい。エージェントは、ウェブページに埋め込まれるか、アドオンとしてインストールされた、Ｊａｖａ（登録商標）スクリプト等の演算命令を含んでよい。エージェントは、任意選択でクライアントクオリファイア１４６０によって提供される。様々な実施形態において、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの復号能力及び表示能力、クライアント１４１０Ａとビデオサーバシステム１４２０との間の通信チャネルの遅延時間信頼性及び帯域幅、クライアント１４１０Ａのディスプレイの種類、クライアント１４１０Ａのファイアウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａで実行されるソフトウェア、クライアント１４１０Ａ内のレジストリエントリ等を知ることができる。

クライアントクオリファイア１４６０は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクオリファイア１４６０は、ビデオサーバシステム１４２０の１つまたは複数の他の要素とは別個のコンピュータデバイス上に任意選択で配置される。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０とビデオサーバシステム１４２０の複数のインスタンスとの間の通信チャネルの特性を判断するよう構成される。これらの実施形態においては、クライアントクオリファイアが発見した情報を使用して、ビデオサーバシステム１４２０のどのインスタンスがクライアント１４１０の１つにストリーミングビデオを配信するのに最適かを判断できる。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブルな家電製品、ミニコンピュータ、メインフレームコンピュータ等を含む様々なコンピュータシステム構成で実践されてよい。開示は、有線または無線ネットワークを通してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピュータ環境においても実践できる。

上記の実施形態を念頭において、開示は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施操作を採用できることを理解されたい。これらの操作は、物理量を伴う物理的操作を要する操作である。開示の一部を成す本明細書に記載の操作はいずれも、有用な機械操作である。開示は、これらの操作を行うデバイスまたは装置にも関する。装置は、必要とされる目的に合わせて特別に構築できる、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または構成される汎用コンピュータであってよい。詳細には、様々な汎用機械を本明細書の教示に従って書かれたコンピュータプログラムと共に使用できる、または、必要な操作を行なうより専門的な装置を構築するとより便利な場合がある。

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとして実現することもできる。コンピュータ可読媒体は、データの記憶ができる任意のデータ記憶装置であり、データは、後にコンピュータシステムにより読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに、他の光学的及び非光学的データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散して記憶、実行されるように、ネットワーク接続コンピュータシステムを介して分散されたコンピュータ可読有形媒体を含み得る。

方法の動作を特定の順序で記載したが、オーバーレイ操作処理が所望の方法で実施される限り、操作と操作の間で他のハウスキーピング操作が行われてもよく、操作は、わずかに異なる時間に実施されるように調整されてもよく、または、処理に関連付けられた様々な間隔で、処理操作が行われるのを可能にするシステムに分散されてもよいことは理解されたい。

上記開示は、明確に理解されるように詳述したが、添付の請求項の範囲内で一定の変更及び修正を実践してよいことは明らかであろう。従って、本実施形態は、例示的なものであって限定的なものではなく、開示は本明細書の詳細に限定されず、本開示の範囲及び均等物の範囲内で修正されてよい。

Claims (16)

1. 上部管状部分と、
   前部管状部分であって、前記前部管状部分の上端が前記上部管状部分の第１の端部に結合される前記前部管状部分と、
   下部管状部分であって、前記下部管状部分の第１の端部が前記前部管状部分の下端に結合される前記下部管状部分と、
   後部管状部分であって、前記後部管状部分の上端が前記上部管状部分の前記第１の端部の反対側にある前記上部管状部分の第２の端部に結合され、前記後部管状部分の下端が、前記下部管状部分の前記第１の端部の反対側にある前記下部管状部分の第２の端部に結合される前記後部管状部分と、
   前記上部管状部分の前記第１の端部に配置される追跡可能なオブジェクトと、
   前記前部管状部分または前記後部管状部分とユーザの手とのそれぞれの接触を検出するために前記前部管状部分または前記後部管状部分の右側および左側に配置された少なくとも２つの接触センサであって、前記前部管状部分または前記後部管状部分の右側および左側に配置された接触センサは、ユーザのどちらの手が前記前部管状部分または前記後部管状部分を持っているかを決定することを可能にするように構成されており、前記接触センサは、接触量に基づいて、前記接触センサに接触している指の数を推定することを可能にするように構成され、特定の接触量と特定の指の間の対応関係と前記接触量の変化とに基づいて、どの指を動かしているかを推定することを可能にするように構成されている、少なくとも２つの接触センサと、
   を含む、方向インタフェースオブジェクト。
2. 前記前部管状部分は、第１の軸に沿っており、
   前記後部管状部分は、前記第１の軸と実質的に平行でない第２の軸に沿っている、
   請求項１に記載の方向インタフェースオブジェクト。
3. 前記下部管状部分は、第３の軸に沿っており、
   前記前部管状部分は、前記第３の軸に対して垂直な方向に対して第１の角度をなした前記第１の軸に沿って前記下部管状部分から離れるように延び、
   前記後部管状部分は、前記第３の軸に垂直な方向に対して第２の角度をなした前記第２の軸に沿って前記下部管状部分から離れるように延び、前記第２の角度は、前記第１の角度より小さい、
   請求項２に記載の方向インタフェースオブジェクト。
4. 前記上部管状部分は、第１の軸に沿っており、
   前記下部管状部分は、前記第１の軸と実質的に平行でない第２の軸に沿っている、
   請求項１に記載の方向インタフェースオブジェクト。
5. 前記上部管状部分は、前記第１の軸に沿って第１の方向に前記後部管状部分から離れるように延び、
   前記下部管状部分は、前記第２の軸に沿って、前記第１の方向から分かれる第２の方向に前記後部管状部分から離れるように延びる、
   請求項４に記載の方向インタフェースオブジェクト。
6. 前記追跡可能なオブジェクトは、実質的に球形である請求項１に記載の方向インタフェースオブジェクト。
7. 前記追跡可能なオブジェクトは、半透明な材料からなり、前記半透明な材料を照らすライトをさらに含む、請求項１に記載の方向インタフェースオブジェクト。
8. 前記前部管状部分に沿って配置される第１のジョイスティックと、
   前記上部管状部分の前記第２の端部に配置される第２のジョイスティックと
   をさらに含む、請求項１に記載の方向インタフェースオブジェクト。
9. 前記方向インタフェースオブジェクトの動きを感知する少なくとも１つの慣性センサをさらに含む、請求項１に記載の方向インタフェースオブジェクト。
10. 上部管状部分と、
    前部管状部分であって、前記前部管状部分の上端が前記上部管状部分の第１の端部に結合される前記前部管状部分と、
    下部管状部分であって、前記下部管状部分の第１の端部が前記前部管状部分の下端に結合される前記下部管状部分と、
    後部管状部分であって、前記後部管状部分の上端が前記上部管状部分の前記第１の端部の反対側にある前記上部管状部分の第２の端部に結合され、前記後部管状部分の下端が前記下部管状部分の前記第１の端部の反対側にある前記下部管状部分の第２の端部に結合される、前記後部管状部分と、
    前記上部管状部分の前記第１の端部に配置された追跡可能なオブジェクトと、
    前記前部管状部分または前記後部管状部分とユーザの手とのそれぞれの接触を検出するために前記前部管状部分または前記後部管状部分の右側および左側に配置された少なくとも２つの接触センサであって、前記前部管状部分または前記後部管状部分の右側および左側に配置された接触センサは、ユーザのどちらの手が前記前部管状部分または前記後部管状部分を持っているかを決定することを可能にするように構成されており、前記接触センサは、接触量に基づいて、前記接触センサに接触している指の数を推定することを可能にするように構成され、特定の接触量と特定の指の間の対応関係と前記接触量の変化とに基づいて、どの指を動かしているかを推定することを可能にするように構成されている、少なくとも２つの接触センサと、
    を含む方向インタフェースオブジェクトであって、
    前記前部管状部分は、第１の軸に沿っており、
    前記後部管状部分は、前記第１の軸と実質的に平行でない第２の軸に沿っており、
    前記下部管状部分は、第３の軸に沿っており、
    前記前部管状部分は、前記第３の軸に対して垂直な方向に対して第１の角度をなして前記第１の軸に沿って前記下部管状部分から離れるように延び、
    前記後部管状部分は、前記第３の軸に垂直な方向に対して第２の角度をなして前記第２の軸に沿って前記下部管状部分から離れるように延び、前記第２の角度は前記第１の角度より小さく、
    前記上部管状部分は、第１の軸に沿っており、
    前記下部管状部分は、前記第１の軸と実質的に平行でない第２の軸に沿っており、
    前記上部管状部分は、前記第１の軸に沿って第１の方向に前記後部管状部分から離れる方向に延び、
    前記下部管状部分は、前記第１の方向から分かれる第２の方向に前記第２の軸に沿って前記後部管状部分から離れるように延びる、
    方向インタフェースオブジェクト。
11. 前記追跡可能なオブジェクトは、実質的に球形である、請求項１０に記載の方向インタフェースオブジェクト。
12. 前記追跡可能なオブジェクトは、半透明な材料からなり、前記半透明な材料を照らすライトをさらに含む、請求項１０に記載の方向インタフェースオブジェクト。
13. 前記前部管状部分に沿って配置された第１のジョイスティックと、
    前記上部管状部分の前記第２の端部に配置された第２のジョイスティックと、
    をさらに含む、請求項１０に記載の方向インタフェースオブジェクト。
14. 前記方向インタフェースオブジェクトの動きを感知する少なくとも１つの慣性センサをさらに含む、請求項１０に記載の方向インタフェースオブジェクト。
15. 方向インタフェースオブジェクトであって、
    上部管状部分と、
    前部管状部分であって、前記前部管状部分の上端が前記上部管状部分の第１の端部に結合される前記前部管状部分と、
    下部管状部分であって、前記下部管状部分の第１の端部が前記前部管状部分の下端に結合される前記下部管状部分と、
    後部管状部分であって、前記後部管状部分の上端が前記上部管状部分の前記第１の端部の反対側にある前記上部管状部分の第２の端部に結合され、前記後部管状部分の下端が前記下部管状部分の前記第１の端部の反対側にある前記下部管状部分の第２の端部に結合される、前記後部管状部分と、
    前記上部管状部分の前記第１の端部に配置される追跡可能なオブジェクトと、
    前記前部管状部分または前記後部管状部分とユーザの手とのそれぞれの接触を検出するために前記前部管状部分または前記後部管状部分の右側および左側に配置された少なくとも２つの接触センサであって、前記前部管状部分または前記後部管状部分の右側および左側に配置された接触センサは、ユーザのどちらの手が前記前部管状部分または前記後部管状部分を持っているかを決定することを可能にするように構成されており、前記接触センサは、接触量に基づいて、前記接触センサに接触している指の数を推定することを可能にするように構成され、特定の接触量と特定の指の間の対応関係と前記接触量の変化とに基づいて、どの指を動かしているかを推定することを可能にするように構成されている、少なくとも２つの接触センサと、
    前記方向インタフェースオブジェクトの動きを示す慣性データを生成するように構成された少なくとも１つの慣性センサと、
    を含む前記方向インタフェースオブジェクトと、
    前記方向インタフェースオブジェクトが配置されるインタラクティブ環境の画像を撮影するように構成される撮像装置と、
    インタラクティブアプリケーションを実行して仮想環境のビューをヘッドマウントディスプレイ（ＨＭＤ）にレンダリングするように構成されたコンピュータデバイスであって、前記撮影された画像と前記慣性データとを処理して、前記仮想環境の前記ビューにレンダリングされた仮想オブジェクトの位置を決定するように構成された前記コンピュータデバイスと、
    を含む、システム。
16. 前記前部管状部分は、第１の軸に沿っており、
    前記後部管状部分は、前記第１の軸に実質的に平行でない第２の軸に沿っており、
    前記下部管状部分は、第３の軸に沿っており、
    前記前部管状部分は、前記第３の軸に垂直な方向に対して第１の角度をなして前記第１の軸に沿って前記下部管状部分から離れるように延び、
    前記後部管状部分は、前記第３の軸に垂直な方向に対して第２の角度をなして前記第２の軸に沿って前記下部管状部分から離れるように延び、前記第２の角度は前記第１の角度より小さい、
    請求項１５に記載のシステム。

Images