JP6759451B2 - 人による追跡装置のオクルージョンの影響を低減するシステム及び方法 - Google Patents

Description

本開示は、人による追跡装置のオクルージョンの影響を低減するシステム及び方法に関する。

典型的に、ヘッドマウントディスプレイ（ＨＭＤ）は、頭部の周囲に装着するポータブルデバイスであり、目から近距離に位置するディスプレイがユーザインタラクションのための画像を提供する。時には、ＨＭＤは、現実生活環境と仮想生活環境とが混合したものを提供し、そこで、ユーザは、コンピューティングデバイスが作成した画像と、ある現実生活の画像とを見ることができる。別の場合、ＨＭＤは、ＨＭＤディスプレイに仮想世界を提供して、外部の世界を遮る没入型体験をユーザに提供する。しかしながら、ＨＭＤデバイスを用いたゲームは、多くの改良を必要とする。

この文脈において、本開示に記載の実施形態が生じる。

いくつかの実施形態において、追跡装置の追跡可能な視野（ＦＯＶ）に対する妨害を特定する方法を記載する。方法は、ヘッドマウントディスプレイ（ＨＭＤ）に表示するビデオゲームを実行することを含む。ＨＭＤは、ユーザによって装着される。ビデオゲームの実行は、追跡装置によって追跡される時のヘッドマウントディスプレイの位置及び向きに基づいて変更される。方法は、ビデオゲームの実行中、追跡可能なＦＯＶが観客によって妨害されているかどうかを判断することをさらに含む。観客による妨害は、位置及び向きの決定を妨げる。方法は、観客が追跡可能なＦＯＶを妨げていると判断すると、観客を特定することと、追跡可能なＦＯＶへの妨害を取り除くように、ヘッドマウントディスプレイを介して出力される通知を生成することとを含む。

様々な実施形態において、ヘッドマウントディスプレイでビデオゲームをプレイ中、ユーザに対して観客を特定する方法を記載する。方法は、観客が追跡装置の追跡可能なＦＯＶ内にいるかどうかを判断することを含む。観客が追跡可能なＦＯＶ内にいるかどうかを判断する動作は、ビデオゲームコードが実行されてヘッドマウントディスプレイにビデオゲームを表示する時に、行われる。ヘッドマウントディスプレイは、ビデオゲームをプレイ中、ユーザによって装着されている。方法は、観客が追跡可能なＦＯＶ内にいると判断すると、観客が特定可能かどうかを判断することと、観客が追跡可能なＦＯＶ内にいる時、特定不能であると判断することに応答して、観客が追跡可能なＦＯＶを妨げているかどうかを判断することと、観客が追跡可能なＦＯＶを妨げていると判断すると、観客が追跡可能なＦＯＶを妨げているかどうかを判断することとをさらに含む。方法は、観客が追跡可能なＦＯＶを妨げていると判断したことに応答して、観客が追跡可能なＦＯＶを妨げていることをユーザに通知することを含む。

幾つかの実施形態において、追跡装置の追跡可能な視野（ＦＯＶ）への妨害を特定するシステムを記載する。システムは、ユーザが装着するように構成されたヘッドマウントディスプレイと、ビデオゲームのプレイ中、ユーザが装着するヘッドマウントディスプレイに結合されるプロセッサとを含む。プロセッサは、ヘッドマウントディスプレイにビデオゲームを表示するためにビデオゲームコードを実行するように構成される。ビデオゲームコードの実行は、追跡装置によって追跡される時のヘッドマウントディスプレイの位置及び向きに基づいて変更される。プロセッサは、ビデオゲームの実行中、追跡可能なＦＯＶが観客によって妨害されているかどうかを判断するようにさらに構成される。観客による妨害は、位置及び向きの決定を妨げる。プロセッサは、さらに、観客が追跡可能なＦＯＶを妨害していると判断すると、観客を特定するように、また、追跡可能なＦＯＶへの妨害を取り除くようにヘッドマウントディスプレイを介して出力される通知を生成するように構成される。

人による追跡装置のオクルージョンの影響を低減する本明細書に記載のシステム及び方法のいくつかの長所は、ヘッドマウントディスプレイ（ＨＭＤ）上のビデオゲームの表示の減速の原因を決定することを含む。例えば、ユーザがＨＭＤを装着してゲームをプレイしている現実世界環境を見ているカメラの露出が、観客がカメラの追跡可能な視野（ＦＯＶ）を遮っているかどうかを判断するように、また、観客を特定するように変更される。遮ることは、画像がＨＭＤに表示されるフレームレートに、例えば、フリーズ等の低下をもたらす。従って、観客が追跡可能なＦＯＶを遮っていると判断し、観客を特定することによって、ＨＭＤ上のビデオゲームの画像の表示の減速の原因が決定される。

他の長所は、ＨＭＤ上の画像の表示の減速の原因を取り除くことを含む。ユーザが、観客の識別情報を通知されると、ＨＭＤは、ユーザがビデオゲームをプレイしている現実世界環境に音声要求を発し、音声要求は、観客を特定し、さらに、観客に追跡可能なＦＯＶを遮らないように要求する。観客は、音声要求を受け取ると、追跡可能なＦＯＶを妨害しないように移動して、さらにユーザがＨＭＤ上でビデオゲームをプレイするのを可能にする。よって、減速の原因が取り除かれる。

さらに他の長所は、原因を適用して、ビデオゲームの表示の減速を補償する追加のクレジットをユーザに与えることを含む。例えば、ユーザは、ビデオゲームをプレイする追加の時間、または、ビデオゲームで追加のクレジットを与えられて、追跡可能なＦＯＶの妨害のユーザによるゲームプレイに対する影響を低減する。

ユーザのアウトサイドイン追跡を示すシステムの実施形態の図である。

ユーザのアウトサイドイン追跡を示すシステムの実施形態の図である。

ユーザのインサイドアウト追跡を示すシステムの実施形態の図である。

ユーザがいてビデオゲームをプレイしている環境の実施形態の図である。

ユーザがいて、アウトサイドイン追跡がカメラによって行われる環境の実施形態の上面図である。

観客がヘッドマウントディスプレイ（ＨＭＤ）及びハンドヘルドコントローラをカメラのビューから妨害している環境の上面図である。

ユーザがいて、インサイドアウト追跡がＨＭＤによって行われる環境の実施形態の上面図である。

観客がＨＭＤの追跡可能なＦＯＶを妨害している環境の上面図である。

環境の実施形態の図である。

カメラの追跡可能なＦＯＶを妨害していない位置から、追跡可能なＦＯＶを妨害している位置への観客の位置の変化を示す環境の実施形態の図である。

カメラのレンズからの環境のビューの実施形態の図である。

焦点領域と他の焦点領域とを有するカメラのビューを示す実施形態の図である。

観客が追跡可能なＦＯＶを妨害していることをユーザに通知する方法の実施形態のフローチャートである。

図５Ａの方法のフローチャートの続きである。

図５Ｂの方法のフローチャートの続きである。

ＨＭＤの１つまたは複数の画面に表示される通知の実施形態の図である。

ＨＭＤの１つまたは複数の画面に表示される他の通知の実施形態の図である。

ＨＭＤの１つまたは複数の画面に表示される通知の実施形態の図である。

ＨＭＤの１つまたは複数の画面に表示される他の通知の実施形態の図である。

ＨＭＤの１つまたは複数の画面に表示される通知の実施形態の図である。

ＨＭＤの１つまたは複数の画面に表示される通知の実施形態の図である。

ＨＭＤの１つまたは複数のディスプレイ画面に表示される画像の実施形態の図であり、画像は通知を含む。

ＨＭＤの１つまたは複数のディスプレイ画面に表示される画像の実施形態の図である。

ビデオゲームの連続した画像が追跡装置の１つまたは複数のディスプレイ画面に表示されるフレームレートの変化を示すグラフの実施形態である。

観客による妨害の結果としてシーンのジャンプを示すＨＭＤを介して見えるシーンの実施形態の図である。

ＨＭＤの実施形態の図である。

カメラの実施形態の図である。

コンピューティングデバイスの実施形態の図である。

ＨＭＤの等角図である。

本開示に記載の実施形態による、ビデオゲームのインタラクティブゲームプレイのシステムを示す図である。

本開示に記載の実施形態による、ＨＭＤを示す図である。

ユーザによって操作されるＨＭＤにビデオゲームコンテンツをレンダリングできるクライアントシステムを用いたゲームプレイの一例を示す図である。

ＨＭＤの実施形態の図である。

情報サービスプロバイダアーキテクチャの実施形態を示す図である。

ヘッドマウントディスプレイ（ＨＭＤ）のビデオゲームの表示の減速の原因を決定することを含む、人による追跡装置のオクルージョンの影響を低減するシステム及び方法を記載する。いくつかの実施形態においては、システム及び方法は、顔検出と、ステレオもしくは三次元再構成とを使用して、ＨＭＤを装着しているユーザがいる部屋を歩いている他の人を特定する。システム及び方法は、観客がカメラの前を歩いているのが検出されたのでユーザの追跡は低品質であると、ユーザに警告する。カメラを使用して、ユーザが携帯しているＨＭＤ及び／またはハンドヘルドコントローラの動きを追跡することによって、ユーザの動きを追跡する。様々な実施形態において、観客を特定するために、カメラの露出が変更される。いくつかの実施形態においては、ユーザを追跡する品質が落ちると、カメラの露出を変更する。

図１Ａは、ユーザ１０２のアウトサイドイン追跡を示すシステム１００の実施形態の図である。ユーザは、本明細書では、プレイヤと呼ばれることもある。システム１００は、カメラ１０４、ゲームコンソール１０６、ハンドヘルドコントローラ１０８、及び、ＨＭＤ１１０を含む。カメラ１０４の例には、デプスカメラ、カムコーダ、ビデオカメラ、デジタルカメラ、または、画像を記録またはキャプチャできる任意の他の光学機器等が含まれる。ゲームコンソール１０６の例には、ビデオゲームを表示するためにビデオ信号または画像データを出力する電子デバイス、デジタルデバイス、または、コンピュータデバイスが含まれる。ハンドヘルドコントローラ１０８の例には、ユーザ１０２がビデオゲームとインタラクトするために使用する入力装置が含まれる。ビデオゲームは、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に表示され、ＨＭＤ１１０は、ユーザ１０２が頭部に装着し、ユーザ１０２の目を覆う。ＨＭＤ１１０の例には、仮想現実（ＶＲ）画像または拡張現実（ＡＲ）画像を表示するディスプレイデバイスが含まれる。ゲームコンソール１０６は、通信媒体１１２を介してＨＭＤ１１０に結合される。本明細書に記載する通信媒体の例には、例えば、ケーブル、１つまたは複数の導電体等の有線媒体、または、Ｗｉ−Ｆｉ（商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線周波数（ＲＦ）等の無線媒体が含まれる。さらに、カメラ１０４は、通信媒体１１４を介してゲームコンソール１０６に結合される。また、ハンドヘルドコントローラ１０８は、通信媒体１１６を介してゲームコンソール１０６に結合される。

ゲームコンソール１０６は、ゲームコードを実行して、ビデオゲームの画像データを生成する。画像データは、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に画像をレンダリングするために、通信媒体１１２を介してＨＭＤ１１０に転送される。ユーザ１０２は、ＨＭＤ１１０に表示された画像を見て、ハンドヘルドコントローラ１０８を使用して、ビデオゲームに入力を行う。さらに、ユーザ１０２は、ビデオゲームのプレイ中に、例えば、部屋、建物の階床、事務所、家、アパート等、現実世界環境のある場所から他の場所に移動する。ユーザ１０２は、ハンドヘルドコントローラ１０８も動かし、及び／または、ハンドヘルドコントローラ１０８の１つまたは複数のボタンを選択する。ハンドヘルドコントローラ１０８の１つまたは複数のボタンが選択されると、１つまたは複数の入力信号が、ハンドヘルドコントローラによって生成される。

カメラ１０４は、カメラ１０４の視野（ＦＯＶ）１１８内にある、例えば、ＨＭＤ１１０及びハンドヘルドコントローラ１０８等、任意の現実世界の物体の画像をキャプチャする。例えば、カメラ１０４は、ＨＭＤ１１０上、及び、ハンドヘルドコントローラ１０８上の、例えば、発光ダイオード（ＬＥＤ）等の光源が発する光の画像、または、例えば、反射テープ等の他のマーカの画像をキャプチャする。ＦＯＶ１１８は、カメラ１０４が画像をキャプチャできる現実世界の全ての物体を含む。いくつかの実施形態においては、カメラ１０４は、ＨＭＤ１１０とハンドヘルドコントローラ１０８との画像をキャプチャすることに加えて、ユーザ１０２の画像をキャプチャする。カメラ１０４は、画像の画像データを、通信媒体１１４を介してゲームコンソール１０６に送信する。ゲームコンソール１０６のプロセッサは、カメラ１０４から受信した画像データを処理して、ＨＭＤ１１０及びコントローラ１０８の位置及び向きを決定する。プロセッサの例には、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス（ＰＬＤ）、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マルチコアプロセッサ、または、任意の他の処理ユニット等が含まれる。

入力信号が、ハンドヘルドコントローラ１０８から通信媒体１１６を介してゲームコンソール１０６に送信される。ゲームコンソール１０６のプロセッサは、入力信号、ＨＭＤ１１０の位置及び向き、及び／または、ハンドヘルドコントローラ１０８の位置及び向きから、ビデオゲームのゲームコードの次のゲーム状態を決定する。ゲーム状態は、ＨＭＤ１１０に表示するビデオゲームの画像の位置及び向きと、ビデオゲーム内のシーンとを含む。例えば、ユーザ１０２が、頭を左から右、または、右から左に動かして、ＨＭＤ１１０を動かすと、ビデオゲームのシーンは、動きの前にはシーンに見られなかった仮想物体を含む。シーンは、仮想物体、色、テクスチャ、強度レベル、仮想物体の場所、幅、長さ、次元、背景、仮想物体の数、仮想物体のサイズ等によって形成される。仮想物体の例には、車、アバター、家、犬、剣、ナイフ、銃、または、現実世界に存在しない任意の他の物体等が含まれる。

いくつかの実施形態においては、図１Ａに示す形のハンドヘルドコントローラ１０８ではなく、例えば、剣の形のハンドヘルドコントローラ、銃の形のハンドヘルドコントローラ、スティックの形のハンドヘルドコントローラ、ＭＯＶＥ（商標）ハンドヘルドコントローラ等、他の形状のハンドヘルドコントローラが、ビデオゲームをプレイするユーザ１０２によって使用される。

様々な実施形態において、ゲームコンソール１０６ではなく、以下にさらに記載する任意の他の種類のコンピューティングデバイスが使用される。

図１Ｂは、ユーザ１０２のアウトサイドイン追跡を示すシステム１３０の実施形態の図である。システム１３０は、ＨＭＤ１３２、ハンドヘルドコントローラ１３４、コンピューティングデバイス１３６、及び、プロジェクタ１３８Ａ、１３８Ｂを含む。コンピューティングデバイス１３６の例には、ラップトップコンピュータ、デスクトップコンピュータ、ゲームコンソール、スマートフォン等が含まれる。プロジェクタの例には、本明細書で使用される場合、微小電気機械システム（ＭＥＭＳ）の鏡とレーザ光源とを有するプロジェクタ、レーザ光源を有するプロジェクタ、赤外線光源を有するプロジェクタ、または、光を投影して現実世界環境の体積をスキャンするプロジェクタ等が含まれる。ＨＭＤ１３２は、光センサ１４０を有し、光センサ１４０は、ＨＭＤ１３２内に小さいブロックとして示される。ハンドヘルドコントローラ１３４も、光センサ１４２を有し、光センサ１４２は、ハンドヘルドコントローラ１３４内に小さいブロックとして示される。ＨＭＤ１３２は、通信媒体１１２を介してコンピューティングデバイス１３６に接続され、ハンドヘルドコントローラ１３４は、通信媒体１１６を介してコンピューティングデバイス１３６に接続される。

プロジェクタ１３８Ａ、１３８Ｂは、光を発して、環境内の体積を走査する。例えば、プロジェクタ１３８Ａは、ＦＯＶ１４０Ａを有し、ＦＯＶ１４０Ａは、プロジェクタ１３８Ａが発する光によって走査される体積である。他の例としては、プロジェクタ１３８Ｂは、ＦＯＶ１４０Ｂを有し、ＦＯＶ１４０Ｂは、プロジェクタ１３８Ｂが発する光によって走査される体積である。プロジェクタ１３８Ａ、１３８Ｂによって走査される環境内の体積は、プロジェクタ１３８Ａが発する光によって走査される体積とプロジェクタ１３８Ｂが発する光によって走査される体積との組み合わせである。

光センサ１３２は、プロジェクタ１３８Ａ、１３８Ｂが発する光を感知して、電気信号を生成し、その電気信号を、通信媒体１１２を介してコンピューティングデバイス１３６に送信する。同様に、光センサ１４２は、プロジェクタ１３８Ａ、１３８Ｂが発する光を感知して、電気信号を生成し、その電気信号を、通信媒体１１６を介してコンピューティングデバイス１３６に送信する。コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１３２の位置及び向きを、通信媒体１１２を介して受信した電気信号から計算し、ハンドヘルドコントローラ１３４の位置及び向きを、通信媒体１１６を介して受信した電気信号から計算する。

いくつかの実施形態においては、２つのプロジェクタ１３８Ａ、１３８Ｂの代わりに、任意の他の数、例えば、１、３、４等の数のプロジェクタが、ユーザ１０２がビデオゲームをプレイしている環境で使用される。

様々な実施形態において、ハンドヘルドコントローラ１３４の代わりに、ハンドヘルドコントローラ１０８（図１Ａ）が使用され、カメラ１０４（図１Ａ）も使用されて、ハンドヘルドコントローラ１０８及びＨＭＤ１３２の位置及び向きを決定する。

いくつかの実施形態においては、プロジェクタ１３８Ａ、１３８Ｂの代わりに、または、それらに加えて、超音波エミッタが使用される。さらに、ＨＭＤ１３２は、光センサの代わりに、または、光センサに加えて、超音波センサを含み、ハンドヘルドコントローラ１３４は、光センサの代わりに、または、光センサに加えて、超音波センサを含む。

図１Ｃは、ユーザ１０２のインサイドアウト追跡を示すシステム１５０の実施形態の図である。システム１５０は、ＨＭＤ１５２、ハンドヘルドコントローラ１５４、及び、コンピューティングデバイス１３６を含む。ＨＭＤ１５２は、例えば、慣性センサ、１つまたは複数のデプスカメラ、及び／または、近接センサ等、ＨＭＤ１５２の位置及び向きを決定するための１つまたは複数の位置及び向き測定装置を含む。例えば、ＨＭＤ１５２は、１つまたは複数のデプスカメラを有し、各デプスカメラは、現実世界環境の方を向くレンズを有して、現実世界環境にある、例えば、壁、テーブル、椅子、ランプ等、現実世界の物体とハンドヘルドコントローラ１５４との画像をキャプチャする。近接センサの例は、例えば、赤外線放射等、電磁放射を発し、現実世界環境, 例えば、部屋の壁１５６Ａ、１５６Ｂ、部屋にいる他の人、部屋の中の現実世界の物体等から帰る信号である、リターン信号の変化を感知するセンサである。慣性センサの例には、磁力計、加速度計、及び、ジャイロスコープが含まれる。同様に、ハンドヘルドコントローラ１５４は、ハンドヘルドコントローラ１５４の位置及び向きを決定するための１つまたは複数の位置及び向き測定装置を含む。ＨＭＤ１５２は、接続媒体１１２を介してコンピューティングデバイス１３６に接続され、ハンドヘルドコントローラ１５４は、接続媒体１１６を介してコンピューティングデバイス１３６に接続される。

ＨＭＤ１５２の１つまたは複数の位置及び向き測定装置は、ＨＭＤ１５２の動きに基づいて、電気信号を生成し、その電気信号を、通信媒体１１２を介してコンピューティングデバイス１３６に送信する。さらに、ハンドヘルドコントローラ１５４の１つまたは複数の位置及び向き測定装置は、ハンドヘルドコントローラ１５４の動きに基づいて、電気信号を生成し、その電気信号を、通信媒体１１６を介してコンピューティングデバイス１３６に送信する。コンピューティングデバイス１３６のプロセッサは、電気信号をＨＭＤ１５２から受信し、電気信号に基づいて、ＨＭＤ１５２の位置及び向きを計算する。同様に、コンピューティングデバイス１３６のプロセッサは、電気信号をハンドヘルドコントローラ１５４から受信して、ハンドヘルドコントローラ１５４の位置及び向きを電気信号に基づいて計算する。

いくつかの実施形態においては、１つまたは複数の位置及び向き測定装置に加えて、カメラ１０４（図１Ａ）を使用して、ハンドヘルドコントローラ１５４及びＨＭＤ１５２の画像をキャプチャする。これらの実施形態において、ハンドヘルドコントローラ１５４とＨＭＤ１５２は、それぞれ、光源または他のマーカを有する。

様々な実施形態において、１つまたは複数の位置及び向き測定装置に加えて、ＨＭＤ１５２は、光センサ１３２を有し、ハンドヘルドコントローラ１５４は、光センサ１４２を有する。さらに、システム１５０は、ＨＭＤ１５２及びハンドヘルドコントローラ１５４の位置及び向きを決定するためにプロジェクタ１３８Ａ、１３８Ｂを含む。

図２Ａは、ユーザ１０２がいてビデオゲームをプレイする現実世界環境２００の実施形態の図である。現実世界環境２００は、例えば、椅子２０２、テーブル２０４、ランプ２０６、テレビ２０８、箱２１０等、現実世界の物体を含む。環境２００は、観客２１２も含む。ユーザ１０２は、ＨＭＤ１５２を装着しており、ＨＭＤ１５２は、現実世界環境２００を向いているレンズを有するカメラ２１４を有する。カメラ２１４は、ＦＯＶ２１６を有し、ＦＯＶ２１６は、カメラ２１４が見る現実世界環境２００の部分で、カメラ２１４は、環境２００のその部分の１つまたは複数の画像をキャプチャする。例えば、カメラ２１４は、観客２１２、椅子２０２、テレビ２０８、ランプ２０６、及び、テーブル２０４の画像をキャプチャする。カメラ２１４は、ＦＯＶ２１６の外側にある箱２１０の画像をキャプチャできない。観客２１２は、ＦＯＶ２１６を妨害している。例えば、カメラ２０２は、観客２１２によってＦＯＶ２１６から妨害されているランプ２０６とユーザ１０２との間の奥行を決定できない。カメラ２０２によるランプ２０６のビューは、観客２１２によって妨害されている。他の例としては、カメラ２０２の代わりに、または、カメラ２０２に加えて、近接センサが使用される実施形態においては、近接センサは、観客２１２によってＦＯＶ２１６から妨害されているランプ２０６からユーザ１０２の距離及び向きを表す電気信号を生成できない。

図２Ｂは、ユーザ１０２がいて、アウトサイドイン追跡がカメラ１０４によって行われる現実世界環境２２０の実施形態の上面図である。環境２２０は、ユーザ１０２、観客２１２、ソファ２２２、ＨＭＤ１１０、ハンドヘルドコントローラ１０８、及び、カメラ１０４を含む。ソファ２２２は、現実世界の物体の例である。カメラ１０４は、ＦＯＶ２２４を有し、ＦＯＶ２２４は、ユーザ１０２、観客２１２、ＨＭＤ１１０、ハンドヘルドコントローラ１０８、及び、ソファ２２２の画像をキャプチャするカメラ１０４のビューである。例えば、ユーザ１０２、観客２１２、ＨＭＤ１１０、ハンドヘルドコントローラ１０８、及び、ソファ２２２等、全ての現実世界の全ての物体が、ＦＯＶ２２４内にあることに注意すべきである。

カメラ１０４は、追跡可能なＦＯＶ２２６も有し、ＦＯＶ２２６は、ＦＯＶ２２４より体積が小さい。例えば、追跡可能なＦＯＶ２２６は、ＦＯＶ２２４がカバーする床の表面積に比べて、環境２２０の床のより小さい表面積を有する。追跡可能なＦＯＶ２２６は、ＦＯＶ２２４の一部分である。追跡可能なＦＯＶ２２６は、ユーザ１０２、ＨＭＤ１１０、ハンドヘルドコントローラ１０８、及び、観客２１２を含む。カメラ１０４は、動作すると、追跡可能なＦＯＶ２２６内の現実世界の物体の画像をキャプチャできる。いくつかの実施形態においては、カメラ１０４は、ＦＯＶ２２４内にあるが、追跡可能なＦＯＶ２２６の外側にある現実世界の物体に焦点を合わせることができない。焦点の欠如によって、カメラ１０４は、ＦＯＶ２２４内にあるが、追跡可能なＦＯＶ２２６の外側にある現実世界の物体の鮮明な画像をキャプチャすることができない。鮮明な画像は、画像の鮮明さの所定の閾値レベルを超え、不鮮明な画像は、所定の閾値レベルを超えない。閾値レベルは、カメラ１０４のメモリデバイスに記憶され、カメラ１０４のプロセッサによって実施される。カメラ１０４は、追跡可能なＦＯＶ２２６内にある現実世界の物体に焦点を合わせて、現実世界の物体の画像をキャプチャできる。

観客２１２は、ＨＭＤ１１０及びハンドヘルドコントローラ１０８を追跡可能なＦＯＶ２２６から妨害していない。例えば、ＨＭＤ１１０は、ＨＭＤ１１０の画像をキャプチャするカメラ１０４のレンズから見える。他の例としては、ハンドヘルドコントローラ１０８も、ハンドヘルドコントローラ１０８の画像をキャプチャするカメラ１０４のレンズから見える。

図２Ｃは、観客２１２がＨＭＤ１１０及びハンドヘルドコントローラ１０８をカメラ１０４の追跡可能なＦＯＶ２２６から妨害している環境２２０の上面図である。例えば、ユーザ１０２、ＨＭＤ１１０、ハンドヘルドコントローラ１０８、及び、観客２１２等の現実世界の物体は、追跡可能なＦＯＶ２２６内にある。しかしながら、観客２１２が、ハンドヘルドコントローラ１０８の前に立って、ハンドヘルドコントローラ１０８の１つまたは複数の部分のビューを遮っている。ハンドヘルドコントローラ１０８のビューは、カメラ１０４のレンズからのビューである。ハンドヘルドコントローラ１０８の１つまたは複数の部分のビューが遮られている時、カメラ１０４は、ハンドヘルドコントローラ１０８の１つまたは複数の部分の画像をキャプチャできない。同様に、観客２１２は、ＨＭＤ１１０の前に立って、ＨＭＤ１１０の１つまたは複数の部分のビューを遮っている。ＨＭＤ１１０のビューは、カメラ１０４のレンズからのビューである。ＨＭＤ１１０の１つまたは複数の部分のビューが遮られている時、カメラ１０４は、ＨＭＤ１１０の１つまたは複数の部分の画像をキャプチャできない。例えば、コンピューティングデバイス１３６のプロセッサは、カメラ１０４のＦＯＶの画像をカメラ１０４から通信媒体１１４を介して受信し、その画像から、現実世界環境の方を向いているＨＭＤ１１０の前面にあるマーカの数等、ＨＭＤ１１０上のマーカの数が、所定のマーカ数より少ないかかどうかを判断する。所定の数のマーカが、ＨＭＤ１１０の前面等、所定の部分にある。画像内のマーカの数が所定のマーカ数より少ないと判断されると、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０上のマーカの１つまたは複数がオクルージョンされ、観客２１２が、追跡可能なＦＯＶ２２６を妨害していると決定する。他方、マーカ数が所定のマーカ数と一致等、所定のマーカ数未満でないと判断されると、コンピューティングデバイス１３６のプロセッサは、観客２１２が追跡可能なＦＯＶ２２６を妨害していないと判断する。

図３Ａは、ユーザ１０２がいて、インサイドアウト追跡がＨＭＤ１５２によって行われる環境の実施形態３００の上面図である。環境３００は、ユーザ１０２、観客２１２、ソファ２２２、ＨＭＤ１５２、ハンドヘルドコントローラ１０８、及び、ランプ２０６を含む。ＨＭＤ１５２内に実装されるカメラ２０２は、ＦＯＶ３０４を有し、ＦＯＶ３０４は、ランプ２０６、ハンドヘルドコントローラ１０８、及び、壁３０８の画像をキャプチャするカメラ２０２のビューである。例えば、ランプ２０６、ハンドヘルドコントローラ１０８、及び、壁３０８等の現実世界の物体はＦＯＶ３０４内にあることに注意すべきである。しかしながら、環境３００の、例えば、壁３０８Ｂ、壁３０８Ｃ、及び、壁３０８Ｄ等、残りの壁は、ＦＯＶ３０４の外側にある。

カメラ２０２は、追跡可能なＦＯＶ３０６も有し、ＦＯＶ３０６は、ＦＯＶ３０４より体積が小さい。例えば、追跡可能なＦＯＶ３０６は、ＦＯＶ３０４がカバーする床の表面積と比べて、環境３００の床のより小さい表面積を有する。追跡可能なＦＯＶ３０６は、ＦＯＶ３０４の一部分である。追跡可能なＦＯＶ３０６は、ハンドヘルドコントローラ１０８及び壁３０８Ａを含む。カメラ２０２は、動作されると、追跡可能なＦＯＶ３０６内の現実世界の物体の画像をキャプチャできる。いくつかの実施形態においては、カメラ２０２は、ＦＯＶ３０４内にあるが、追跡可能なＦＯＶ３０６の外側にある現実世界の物体に焦点を合わせることができない。焦点の欠如により、カメラ２０２は、ＦＯＶ３０４内にあるが、追跡可能なＦＯＶ３０６の外側にある現実世界の物体の鮮明な画像をキャプチャすることがでない。鮮明な画像は、画像の鮮明さの所定の制限を超え、不鮮明な画像は、所定の制限を超えない。所定の制限は、カメラ２０２のメモリデバイスに記憶され、カメラ２０２のプロセッサによって実施される。カメラ２０２は、追跡可能なＦＯＶ３０６内の現実世界の物体に焦点を合わせて、現実世界の物体の画像をキャプチャできる。

観客２１２は、追跡可能なＦＯＶ３０６内の、例えば、壁３０８Ａ等の現実世界の物体を妨害しておらず、妨害されていない現実世界の物体は、カメラ２０２及びコンピューティングデバイス１３６（図１Ｃ）によって使用されて、ＨＭＤ１５２の位置及び向きを決定する。例えば、観客２１２は、追跡可能なＦＯＶ３０６の外側にいて、ＨＭＤ１５２の近接センサが発する電磁波が、壁３０８Ａに到達してＨＭＤ１５２に戻るのを妨害しておらず、ＨＭＤ１５２のデプスカメラのレンズを通して見える壁３０８Ａのビューを遮っていない。他の例としては、観客２１２が追跡可能なＦＯＶ３０６内にいない時、ＨＭＤ１５２の近接センサが発する電磁波はいずれも壁３０８ＡによってＨＭＤ１５２の方に反射され、近接センサによって感知される。さらに他の例として、観客２１２が追跡可能なＦＯＶ３０６内にいない時、カメラ２０２のレンズは、壁３０８Ａが見える。

図３Ｂは、観客２１２がＨＭＤ１５２の追跡可能なＦＯＶ３０６を妨害している環境３００の上面図である。例えば、ハンドヘルドコントローラ１０８及び観客２１２等の現実世界の物体は、追跡可能なＦＯＶ３０６内にある。しかしながら、観客２１２は、ハンドヘルドコントローラ１０８の前に立って、壁３０８Ａの１つまたは複数の部分のビューをＨＭＤ１５２から遮っている。壁３０８Ａのビューは、カメラ２０２のレンズからのビューである。コンピューティングデバイス１３６（図１Ｃ）のプロセッサが環境３００内のＨＭＤ１５２の位置及び向きを決定するのを可能にする壁３０８Ａの１つまたは複数の部分の画像をカメラ２０２はキャプチャできない。同様に、観客２１２は、ＨＭＤ１５２の前に立って、壁３０８Ａの１つまたは複数の部分のビューを遮っている。同様に、観客２１２は、ＨＭＤ１５２の近接センサが発する電磁波を遮っており、電磁波は、壁３０８Ａの一部に到達できず、壁３０８Ａの一部から近接センサの方に反射することができない。

図３Ｃは、環境２２０の実施形態の図である。ユーザ１０２は、ＨＭＤ１１０を装着している。ＨＭＤ１１０の１つまたは複数のディスプレイ画面上に、ＨＭＤ１１０のプロセッサは、ビデオゲームの画像３５０をレンダリングする。画像３５０には、ユーザ１０２のアバター３５２がいる。カメラ１０４の追跡可能なＦＯＶ２２６は、カメラ１０４とユーザ１０２との間に立っている観客２１２によって妨害されている。例えば、カメラ１０４は、ＨＭＤ１１０の一部分の画像をキャプチャできない。説明すると、カメラ１０４は、ＨＭＤ１１０上の、例えば、光源、反射テープ等、任意のマーカの画像をキャプチャできない。カメラ１０５とＨＭＤ１１０の１つまたは複数の部分との間には見通し線が無い。さらに、他の例としては、カメラ１０４は、ハンドヘルドコントローラ１０８の一部分の画像をキャプチャできない。カメラ１０５とハンドヘルドコントローラ１０８の１つまたは複数の部分との間には、見通し線が無い。

観客２１２の妨害によって、カメラ１０４は、ＨＭＤ１１０の１つまたは複数の部分の画像をキャプチャできない。カメラ１０４がＨＭＤ１１０の１つまたは複数の部分の画像をキャプチャできない時間中、コンピューティングデバイス１３６のプロセッサは、画像を使用して、ＨＭＤ１１０の位置及び向きを計算できない。

同様に、観客２１２の妨害によって、カメラ１０４は、ハンドヘルドコントローラ１０８の１つまたは複数の部分の画像をキャプチャできない。ハンドヘルドコントローラ１０８の１つまたは複数の部分の画像をキャプチャできない時間、コンピューティングデバイス１３６のプロセッサは、画像を使用して、ハンドヘルドコントローラ１０８の位置及び向きを計算できない。

図４Ａは、カメラ１０４の追跡可能なＦＯＶ２２６を妨害していない位置から追跡可能なＦＯＶ２２６を妨害している位置への観客２１２の位置の変化を示す環境２２０の実施形態の図である。ユーザ１０２が、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に表示されるビデオゲームをプレイしている時、観客２１２は、ソファ２２２に座っている。しばらくした後、観客２１２は、立ち上がって、ユーザ１０２の横の位置に向かって歩く。観客２１２は、歩き続けて、ドア４０２を通って環境２２０を出る。カメラ１０４がＨＭＤ１１０の１つまたは複数の部分が見えないように観客２１２がカメラ１０４のビューを遮る時、追跡可能なＦＯＶ２２６は、観客２１２に妨害されている。同様に、いくつかの実施形態においては、カメラ１０４がハンドヘルドコントローラ１０８の１つまたは複数の部分が見えないように観客がカメラ１０４のビューを遮る時、ハンドヘルドコントローラ１０８が位置する追跡可能なＦＯＶ２２６の一部分が、観客２１２に妨害されている。

図４Ｂは、カメラ１０４のレンズからの環境２２０のビュー４１０の実施形態の図である。例えば、ビュー４１０は、カメラ１０４のディスプレイデバイスに表示される。ビュー４１０は、ＨＭＤ１１０、ハンドヘルドコントローラ１０８、ユーザ１０２、観客２１２、及び、ソファ２２２の画像を含む。ＨＭＤ１１０は、その表面に、ＨＭＤ１１０の位置及び向きの決定を容易にする４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄ、４１２Ｅとラベル付けされたマーカを有する。いくつかの実施形態においては、マーカ４１２Ａ〜４１２Ｅは、ＨＭＤ１１０の一部分である。

観客２１２がＦＯＶ２２４内にいるが、追跡可能なＦＯＶ２２６の外側にいる時、カメラ１０４は、観客２１２の顔を検出して、観客２１２をユーザ１０２に対して特定する。いくつかの実施形態においては、観客２１２が追跡可能なＦＯＶ２２６の外側であるが、ＦＯＶ２２４内にいる時、観客２１２の顔の画像をキャプチャすることに加えて、または、その代わりに、観客２１２が追跡可能なＦＯＶ２２６内に入った後、カメラ１０４が観客２１２の顔を検出し、観客２１２の顔の画像をキャプチャする。

カメラ１０４は、観客２１２の顔の画像をキャプチャし、その画像を、通信媒体１１４（図１Ａ）を介してコンピューティングデバイス１３６（図１Ｂ）に送信する。コンピューティングデバイス１３６のプロセッサは、顔の画像から、画像が、コンピューティングデバイス１３６のメモリデバイス内、または、ＨＭＤ１１０（図１Ａ）、ＨＭＤ１３２（図１Ｂ）、もしくは、ＨＭＤ１５２（図１Ｃ）が結合されているクラウドコンピューティングネットワーク内のユーザ特定（ＩＤ）データベースに事前に記憶された画像と一致するかどうかを判断する。ＨＭＤ１１０、ＨＭＤ１３２、または、ＨＭＤ１５２は、ルータを介してクラウドコンピューティングネットワークに結合される。コンピューティングデバイス１３６のプロセッサは、顔の画像が事前に記憶された画像と一致すると判断すると、事前に記憶された画像に、例えば、マッピングされた、リンクされた、対応する等、関連付けられたユーザＩＤを有するとして、観客２１２を特定する。コンピューティングデバイス１３６のプロセッサは、ユーザＩＤを、通信媒体１１２（図１Ａ）を介してＨＭＤ１１０に送信する。ＨＭＤ１１０のプロセッサは、ユーザＩＤを受信すると、ユーザＩＤをＨＭＤ１１０の１つまたは複数のディスプレイ画面に表示し、それによって、ユーザ１０２は、観客２１２を認識でき、観客２１２がＨＭＤ１１０の位置及び向きが決定しない理由であると判断できる。位置及び向きが決定しないと、ゲーム状態に影響を与える。例えば、コンピューティングデバイス１３６のプロセッサは、最初に、ＨＭＤ１１０の位置及び向きを決定しないと、次のゲーム状態を決定できない。ＨＭＤ１１０の位置及び向きが、ゲームコードに入力されて、次のゲーム状態を決める。

図４Ｃは、焦点領域４２２と他の焦点領域４２４とを有するカメラ１０４のビュー４２０を示す実施形態の図である。焦点領域４２２は、マーカ４１２Ａ〜４１２Ｅの画像と、マーカ４２６Ａ及び４２６Ｂの画像とを含む。マーカ４２６Ａ及び４２６Ｂは、ハンドヘルドコントローラ１０８の表面に位置する。マーカ４２６Ａ及び４２６Ｂの例には、光源と反射テープが含まれる。いくつかの実施形態においては、マーカ４２６Ａ〜４２６Ｂは、ハンドヘルドコントローラ１０８の一部である。ビュー４２０は、カメラ１０４のレンズを通したビューである。例えば、ビュー４２０は、カメラ１０４のディスプレイデバイス上にカメラ１０４のプロセッサによって表示される。

カメラ１０４は、焦点領域４２２及び４２４に焦点を合わせる。例えば、カメラ１０４の超音波エミッタは、音波を生成し、その音波をＦＯＶ２２４の方に送る。ＨＭＤ１１０、ハンドヘルドコントローラ１０８、及び、観客２１２がＦＯＶ２２４内にいる時、音波は、ＨＭＤ１１０、ハンドヘルドコントローラ１０８、及び、観客２１２から反射される。カメラ１０４の音検出器が、反射音波を検出して、電気信号を生成する。電気信号は、音検出器からカメラ１０４のプロセッサに送信される。カメラ１０４のプロセッサは、ＨＭＤ１１０及びコントローラ１０８から反射された音波の振幅が観客２１２から反射された音波の振幅より大きいかかどうかを判断する。ＨＭＤ１１０から反射された音波の振幅が観客２１２から反射された音波の振幅より大きいと判断すると、カメラ１０４のプロセッサは、カメラ１０４の露出制御機構を制御して、マーカ４１２Ａ〜４１２Ｅの画像に焦点を合わせる。説明すると、カメラ１０４のプロセッサは、カメラ１０４内の開口駆動部に信号を送信して、モータの動きを制御し、モータは、回転して、カメラ１０４内の開口絞りの位置を変化させ、カメラ１０４の開口の直径を変化させる。モータは、カメラ１０４内に配置される。さらに、カメラ１０４のプロセッサは、カメラ１０４内のシャッタ駆動部に信号を送信して、カメラ１０４の駆動機構に電流信号を提供し、駆動機構は、ある量の電磁場を生成し、電磁場は、カメラ１０４のシャッタが開閉する速度を変える。開口絞りとシャッタ絞りとの制御は、焦点領域４２２に焦点を合わせるのを助ける。同様に、ハンドヘルドコントローラ１０８から反射される音波の振幅が観客２１２から反射される音波の振幅より大きいと判断すると、プロセッサは、露出制御機構を制御して、マーカ４２６Ａ及び４２６Ｂの画像に焦点を合わせて、焦点領域４２４を生成する。

カメラ１０４が焦点領域４２２及び４２４に焦点を合わせると、複数の光センサを含む光検出器システムが、マーカ４１２Ａ〜４１２Ｅとマーカ４２６Ａ及び４２６Ｂとの画像をキャプチャして、電気信号を生成し、電気信号は、光検出器システムからカメラ１０４のプロセッサに送信される。カメラ１０４のプロセッサは、電気信号をコンピューティングシステム１３６（図１Ｂ）のプロセッサに通信媒体１１４（図１Ａ）を介して送信する。コンピューティングシステム１３６のプロセッサは、電気信号から、ＨＭＤ１１０の位置及び向きとハンドヘルドコントローラ１０８の位置及び向きとを決定する。例えば、電気信号の強度は、ＨＭＤ１１０の位置を規定する。説明すると、強度の第１の値が強度の第２の値より大きい時、第１の値が光検出器システムによって検出された時のＨＭＤ１１０の位置は、第２の値が光検出器システムによって検出された時のＨＭＤ１１０の位置よりカメラ１０４に近い。さらに、例として、カメラ１０４がキャプチャした画像のマーカ４１２Ａ〜４１２Ｅの向きは、現実世界環境２２０のＨＭＤ１１０の向きと同じである。同様に、例として、電気信号の強度は、ハンドヘルドコントローラ１０８の位置を規定する。説明すると、強度の第１の値が強度の第２の値より大きい時、第１の値が光検出器システムによって検出された時のハンドヘルドコントローラ１０８の位置は、第２の値が光検出器システムによって検出された時のハンドヘルドコントローラ１０８の位置よりカメラ１０４に近い。さらに、例として、カメラ１０４がキャプチャした画像のマーカ４２６Ａ及び４２６Ｂの向きは、現実世界環境２２０のハンドヘルドコントローラ１０８の向きと同じである。

いくつかの実施形態においては、ＨＭＤ１１０は、ＨＭＤ１１０の位置及び向きの決定を可能にする任意の他の数、例えば、３、７、１０、２０等のマーカを含む。同様に、様々な実施形態において、ハンドヘルドコントローラ１０８は、ハンドヘルドコントローラ１０８の位置及び向きの決定を可能にする任意の他の数、例えば、３、７、１０、２０等のマーカを含む。

様々な実施形態において、ＨＭＤ１１０上のマーカは、図４Ｂに示すのと異なる配置で付けられる。同様に、幾つかの実施形態において、ハンドヘルドコントローラ１０８上のマーカは、図４Ｂに示すのと異なる配置で付けられる。

図５Ａは、観客が追跡可能なＦＯＶ２２６を妨害していることをユーザ１０２に通知する方法５００の実施形態のフローチャートである。方法５００は、コンピューティングデバイス１３６（図ＩＢ及び１Ｃ）のプロセッサによって実行される。

方法５００の動作５０２において、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ及びハンドヘルドコントローラを追跡する。例えば、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０の位置及び向きとハンドヘルドコントローラ１０８（図１Ａ）の位置及び向き、または、ＨＭＤ１３２の位置及び向きとハンドヘルドコントローラ１３４（図１Ｂ）の位置及び向き、並びに、ＨＭＤ１５２の位置及び向きとハンドヘルドコントローラ１５４（図１Ｃ）の位置及び向きを決定する。ＨＭＤ１１０及びハンドヘルドコントローラ１０８の位置及び向きを決定する例は、前述した。他の例としては、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０及びハンドヘルドコントローラ１０８の画像をキャプチャするように、通信媒体１１４（図１Ａ）を介して信号をカメラ１０４のプロセッサに送信する。カメラ１０４のプロセッサは、信号を受信すると、光検出器システムに画像をキャプチャするように命令する。光検出器システムは、ＨＭＤ１１０及びハンドヘルドコントローラ１０８から反射される光から電気信号を生成する。電気信号は、処理されて、画像の画像データを生成し、画像データは、カメラ１０４のプロセッサによって通信媒体１１４を介してコンピューティングデバイス１３６のプロセッサに送信される。コンピューティングデバイスのプロセッサは、ＨＭＤ１１０及びハンドヘルドコントローラ１０８の位置及び向きを、例えば、光の強度等を用いることによって、上記のように画像データから決定する。画像データは、レンダリングされて画像を表示するデータである。ＨＭＤ及びハンドヘルドコントローラを追跡する例を、図４Ｃを用いて示す。ＨＭＤ及びハンドヘルドコントローラに焦点を合わせて、ＨＭＤ及びハンドヘルドコントローラを追跡する。

方法５００の動作５０４において、観客２１２（図４Ａ）がＦＯＶ２２４（図４Ａ）内にいるかどうかが判断される。例えば、コンピューティングデバイス１３６のプロセッサは、音波を生成して現実世界環境２２０に向けて送るように超音波エミッタにコマンドを送信するように、通信媒体１１４（図１Ａ）を介してカメラ１０４のプロセッサに命令を送信する。プロセッサは、命令を受信すると、コマンドを送信する。超音波エミッタは、コマンドを受信すると、音波を生成し、放射する。音波は、観客２１２からカメラ１０４の音検出器に向かって反射される。音検出器は、反射音波から電気信号を生成し、その電気信号をカメラ１０４のプロセッサに送信する。カメラ１０４のプロセッサは、通信媒体１１４を介してコンピューティングデバイス１３６のプロセッサに電気信号を送信する。コンピューティングデバイス１３６のプロセッサは、電気信号の振幅が所定の振幅閾値より大きいかかどうかを判断する。電気信号の振幅が所定の振幅閾値より大きいと判断すると、コンピューティングデバイス１３６のプロセッサは、観客がＦＯＶ２２４内にいると判断する。他方、電気信号の振幅が所定の振幅閾値以下であると判断すると、コンピューティングデバイス１３６のプロセッサは、観客が、例えば、ＦＯＶ２２４の外側にいる等、ＦＯＶ２２４内にいないと判断する。他の例としては、コンピューティングデバイス１３６のプロセッサは、音波を生成して現実世界環境３００（図３Ａ）に向けて送るようにカメラ２０２の超音波エミッタにコマンドを送信するように、通信媒体１１２（図１Ｃ）を介してカメラ２０２（図２Ａ）のプロセッサに命令を送信する。プロセッサは、命令を受信すると、コマンドを送信する。カメラ２０２の超音波エミッタは、コマンドを受信すると、音波を生成、放射する。音波は、観客２１２からカメラ２０２の音検出器に向かって反射される。カメラ２０２の音検出器は、反射音波から電気信号を生成し、その電気信号をカメラ２０２のプロセッサに送信する。カメラ２０２のプロセッサは、通信媒体１１２を介してコンピューティングデバイス１３６のプロセッサに電気信号を送信する。コンピューティングデバイス１３６のプロセッサは、観客２１２がＦＯＶ３０４内にいるかＦＯＶ３０４の外側にいるかを、観客２１２がＦＯＶ２２４内にいるかＦＯＶ２２４の外側にいるかを判断するために前述したのと同じように判断する。

観客２１２がＦＯＶ２２４内にいないと判断すると、動作５０２が繰り返される。例えば、コンピューティングデバイス１３６のプロセッサは、観客２１２がＦＯＶ２２４内にいないと判断すると、ＨＭＤ１１０及びハンドヘルドコントローラ１０８の追跡を続ける。

他方、観客２１２がＦＯＶ２２４内にいると判断すると、方法５００の動作５０６において、観客２１２を特定可能かどうか判断される。例えば、観客２１２がＦＯＶ２２４内にいると判断すると、コンピューティングデバイス１３６のプロセッサは、通信媒体１１４を介してカメラ１０４のプロセッサに、観客２１２を含む現実世界環境２２０の画像をキャプチャするように指示する。カメラ１０４がキャプチャした現実世界環境２２０の画像から、コンピューティングデバイス１３６のプロセッサは、画像内の観客２１２の表現の品質が所定の品質閾値より高いかどうかを判断する。例えば、コンピューティングデバイス１３６のプロセッサは、観客２１２の表現の品質が画像内の背景と、画像にキャプチャされた現実世界の他の物体とから観客２１２を区別するのに十分であるかどうかを判断する。説明すると、コンピューティングデバイス１３６のプロセッサは、観客２１２の顔の輪郭が画像の背景から区別されるかどうかを判断する。画像の背景は、現実世界環境２２０の壁、現実世界環境２２０内のソファ２２２、及び、例えば、窓、絵画等を含む他の現実世界の物体を含む。観客２１２の表現の品質が画像内の背景と画像でキャプチャされた他の現実世界の物体とから観客２１２を区別するのに十分であると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２の表現の品質は所定の品質閾値を超えると判断する。他方、観客２１２の表現の品質が画像内の背景と画像でキャプチャされた他の現実世界の物体とから観客２１２を区別するのには十分でないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２の表現の品質は所定の品質閾値を超えず、観客２１２は特定できないと判断する。観客２１２の表現の品質が所定の品質閾値を超えると判断すると、コンピューティングデバイス１３６のプロセッサは、観客の表現がユーザＩＤデータベースに予め記憶された画像と一致するかどうかを判断する。さらに、観客の表現がユーザＩＤデータベースに予め記憶された画像と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスし、観客２１２は特定可能であると判断する。

他の例としては、観客２１２がＦＯＶ２２４内にいると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２が声を出した時、観客２１２の音声をキャプチャするようにＨＭＤ１１０の録音装置に命じるように、通信媒体１１２（図１Ａ）を介してＨＭＤ１１０のプロセッサに命令する。プロセッサは、観客２１２の音声をキャプチャするようにＨＭＤ１１０のマイクロフォンにコマンドを送信する。マイクロフォンが音声をキャプチャし、音声を電気信号に変換し、電気信号は、ＨＭＤ１１０のアナログデジタルコンバータ（Ａ−Ｄコンバータ）によって、アナログ形式からデジタル形式に変換され、ＨＭＤ１１０の音声メモリデバイスに音声データとして記憶される。ＨＭＤ１１０のプロセッサは、ＨＭＤ１１０の音声メモリデバイスから音声データにアクセスし、その音声データを、通信媒体１１２を介してコンピューティングデバイス１３６のプロセッサに送信する。コンピューティングデバイス１３６のプロセッサは、音声データがユーザＩＤデータベースに予め記憶された音声データと一致するかどうかを判断する。説明すると、コンピューティングデバイス１３６のプロセッサは、音声データの、例えば、音色、高さ等のパラメータが、予め記憶された音声データのパラメータと一致するかどうかを判断する。音声データは、コンピューティングデバイス１３６のメモリデバイスのユーザＩＤデータベースに予め記憶されている。予め記憶された音声データは、例えば、ユーザＩＤと１対１の関係を有する、ユーザＩＤにリンクされる、ユーザＩＤとのマッピングを有する等、ユーザＩＤに関連付けられる。パラメータがユーザＩＤデータベースに予め記憶されたパラメータと一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスし、観客２１２は特定可能であると判断する。さらに、パラメータがユーザＩＤデータベースに予め記憶されたパラメータに一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は特定できないと判断する。

さらに別の例として、観客２１２の表現と観客２１２の音声データとの両方を使用して、観客２１２が特定可能かどうかを判断する。例えば、観客２１２の表現の品質が画像内の背景と画像でキャプチャされた他の現実世界の物体とから観客２１２を区別するのに十分でないと判断すると、及び／または、音声データに関連付けられたパラメータがユーザＩＤデータベースに予め記憶されたパラメータに一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は特定できないと判断する。他方、観客の表現がユーザＩＤデータベースに予め記憶された画像に一致し、且つ、音声データに関連付けられたパラメータがユーザＩＤデータベースに予め記憶されたパラメータと一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は特定可能であると判断する。

動作５０６において、観客２１２は特定可能であると判断すると、ＨＭＤ１１０及びハンドヘルドコントローラ１０８を追跡する動作５０２が繰り返される。他方、動作５０６において、観客２１２は特定できないと判断すると、方法５００の動作５０８が実行される。例えば、コンピューティングデバイス１３６のプロセッサは、音波を生成し、その音波を現実世界環境２２０に向かって送るように超音波エミッタにコマンドを送信するように、通信媒体１１４（図１Ａ）を介してカメラ１０４のプロセッサに命令を送信する。カメラ１０４のプロセッサは、命令を受信すると、コマンドを送信する。超音波エミッタは、コマンドを受信すると、音波を生成し、放射する。音波は、観客２１２からカメラ１０４の音検出器に向かって反射される。音検出器は、反射音波から電気信号を生成し、その電気信号をカメラ１０４のプロセッサに送信する。カメラ１０４のプロセッサは、通信媒体１１４を介してコンピューティングデバイス１３６のプロセッサに電気信号を送信する。コンピューティングデバイス１３６のプロセッサは、電気信号の振幅が所定の振幅制限より大きいかかどうかを判断する。

電気信号の振幅が所定の振幅制限より大きいと判断すると、コンピューティングデバイス１３６のプロセッサは、観客は追跡可能なＦＯＶ２２６内にいると判断する。他方、電気信号の振幅が所定の振幅制限以下であると判断すると、コンピューティングデバイス１３６のプロセッサは、例えば、観客はＦＯＶ２２６の外側にいる等、観客は追跡可能なＦＯＶ２２６内にはいなと判断する。いくつかの実施形態においては、追跡可能なＦＯＶ２２６に関連付けられた所定の振幅制限は、ＦＯＶ２２４に関連付けられた所定の振幅閾値より大きさが大きいことに注意すべきである。例えば、ＦＯＶ２２４に関連付けられた所定の振幅閾値を超える観客２１２から反射された電気信号の振幅は、追跡可能なＦＯＶ２２６に関連付けられた所定の振幅制限を超えない場合がある。この場合、観客２１２は、ＦＯＶ２２４内にいるが、追跡可能なＦＯＶ２２６の外側にいる。

他の例としては、コンピューティングデバイス１３６のプロセッサは、音波を生成し、その音波を現実世界環境３００に向かって送るようにカメラ２０２の超音波エミッタにコマンドを送信するように、通信媒体１１２（図１Ｂ）を介してＨＭＤ１５２のカメラ２０２のプロセッサ（図２Ａ）に命令を送信する。命令を受信すると、カメラ２０２のプロセッサは、コマンドを送信する。コマンドを受信すると、超音波エミッタは、音波を生成し、放射する。音波は、観客２１２からカメラ２０２の音検出器に向かって反射される。音検出器は、反射音波から電気信号を生成し、その電気信号をカメラ２０２のプロセッサに送信する。カメラ２０２のプロセッサは、観客２１２が追跡可能なＦＯＶ３０６内にいるかどうかを判断するために、電気信号を、通信媒体１１２を介してコンピューティングデバイス１３６のプロセッサに送信する。観客２１２が追跡可能なＦＯＶ３０６内にいるかどうかの判断は、観客２１２が追跡可能なＦＯＶ２２６内にいるかどうかの判断に関して前述したのと同じように行われる。

観客２１２が追跡可能なＦＯＶ２２６内にいないと判断すると、動作５０２が繰り返される。他方、観客２１２が追跡可能なＦＯＶ２２６内にいると判断すると、方法５００の動作５１０で、観客２１２が、追跡可能なＦＯＶ２２６内にいる時、特定可能かどうかが判断される。例えば、観客２１２が追跡可能なＦＯＶ２２６内にいると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２を含む現実世界環境２２０の画像をキャプチャするように、通信媒体１１４を介してカメラ１０４のプロセッサに指示する。カメラ１０４がキャプチャした現実世界環境２２０の画像から、コンピューティングデバイス１３６のプロセッサは、動作５０６で前述したように、画像内の観客２１２の表現の品質が所定の品質閾値より高いかかどうかを判断する。観客２１２の表現の品質が所定の品質閾値を超えると判断すると、コンピューティングデバイス１３６のプロセッサは、観客の表現がユーザＩＤデータベースに予め記憶された画像と一致するかどうかを判断する。さらに、観客の表現がユーザＩＤデータベースに予め記憶された画像と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスし、観客２１２は特定可能であると判断する。

他の例としては、観客２１２が追跡可能なＦＯＶ２２６内にいると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２が声を出した時、観客２１２の音声をキャプチャするようにＨＭＤ１１０の録音装置に命令するようにＨＭＤ１１０のプロセッサに通信媒体１１２（図１Ａ）を介して指示する。プロセッサは、観客２１２の音声をキャプチャするようにＨＭＤ１１０のマイクロフォンにコマンドを送信する。動作５０６で前述した同じプロセスが実行される。説明すると、観客２１２の音声から生成された音声データに関連付けられたパラメータがユーザＩＤデータベースに予め記憶されたパラメータと一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスし、観客２１２は特定可能であると判断する。さらに、パラメータがユーザＩＤデータベースに予め記憶されたパラメータと一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は特定できないと判断する。

さらに他の例として、動作５０６で前述したように、観客２１２の表現と観客２１２の音声データとの両方を使用して、観客２１２が特定可能かどうかを判断する。

動作５１０において観客２１２は特定可能であると判断すると、ＨＭＤ１１０及びハンドヘルドコントローラ１０８を追跡する動作５０２が繰り返される。他方、動作５１０において、観客２１２は特定できないと判断すると、図５Ｂに関して記載したように、方法５００の動作５１２が繰り返される。

図５Ｂは、図５Ａの方法５００のフローチャートの続きである。動作５１２において、観客２１２がカメラ１０４の追跡可能なＦＯＶ２２６を妨害しているかどうかを判断する。例えば、マーカ４１２Ａ、または、マーカ４１２Ｂ、または、マーカ４１２Ｃ、または、マーカ４１２Ｄ、または、マーカ４１２Ｅ、または、マーカ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２、４１２Ｅの２つ以上の組み合わせから反射する光を観客２１２が遮っているかどうかが判断される。説明すると、カメラ１０４は、観客２１２と、マーカ４１２Ａ〜４１２Ｅのうちの１つまたは複数との表現を含む画像をキャプチャし、その画像をコンピューティングデバイス１３６のプロセッサに送信する。コンピューティングデバイス１３６のプロセッサは、マーカ４１２Ａ、または、マーカ４１２Ｂ、または、マーカ４１２Ｃ、または、マーカ４１２Ｄ、または、マーカ４１２Ｅ、または、マーカ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄ、４１２Ｅの２つ以上の組み合わせのいずれかの部分が画像にキャプチャされているかどうかを判断する。プロセッサは、画像にキャプチャされたマーカ４１２Ａ、または、マーカ４１２Ｂ、または、マーカ４１２Ｃ、または、マーカ４１２Ｄ、または、マーカ４１２Ｅの形状と、マーカの予め記憶された形状とを比較する。いくつかの実施形態においては、全てのマーカ４１２Ａ〜４１２Ｅは同じ形状を有することに注意すべきである。画像でキャプチャされたマーカの部分の形状が予め記憶されたマーカの形状と一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、画像はマーカ全体を含まず、マーカの一部分が観客２１２によってオクルージョンされていると判断する。他方、画像のマーカ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄ、または、４１２Ｅの形状が予め記憶されたマーカの形状と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、画像がマーカ全体を含むと判断する。コンピューティングデバイス１３６のプロセッサは、マーカ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄ、４１２Ｅの各々の形状が予め記憶された形状と一致する画像内のマーカの数が、予め記憶された数と等しいかかどうかを判断する。マーカ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄ、４１２Ｅの各々の形状が予め記憶された形状と一致する画像内のマーカ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄ、４１２Ｅの数が予め記憶された数と等しいと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２が追跡可能なＦＯＶ２２６のＨＭＤ１１０を妨害していないと判断する。予め記憶された形状と予め記憶された数とは、コンピューティングデバイス１３６のメモリデバイス内に記憶されることに注意すべきである。

他の説明として、カメラ１０４は、観客２１２とＨＭＤ１１０との表現を含む画像をキャプチャし、その画像をコンピューティングデバイス１３６のプロセッサに送信する。コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０のいずれかの部分が画像にキャプチャされているかどうかを判断する。プロセッサは、画像にキャプチャされたＨＭＤ１１０の形状と予め記憶されたＨＭＤ１１０の形状とを比較する。画像にキャプチャされたＨＭＤ１１０の一部分の形状が予め記憶されたＨＭＤ１１０の形状に一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、画像はＨＭＤ１１０全体を含まず、ＨＭＤ１１０の一部分が観客２１２によってオクルージョンされていると判断する。他方、画像のＨＭＤ１１０の形状が予め記憶されたＨＭＤ１１０の形状と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、その画像はＨＭＤ１１０全体を含むと判断する。画像がＨＭＤ１１０全体を含むと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は追跡可能なＦＯＶ２２６のＨＭＤ１１０を妨害していないと判断する。他方、画像がＨＭＤ１１０全体を含まないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２が追跡可能なＦＯＶ２２６内のＨＭＤ１１０を妨害していると判断する。

他の例としては、観客２１２が、マーカ４２６Ａ、または、マーカ４２６Ｂ、または、マーカ４２６Ａと４２６Ｂの両方から反射された光を遮っているかどうかが判断される。説明すると、カメラ１０４は、観客２１２の表現と、マーカ４２６Ａ及び／またはマーカ４２６Ｂとの表現を含む画像をキャプチャし、その画像をコンピューティングデバイス１３６のプロセッサに送信する。コンピューティングデバイス１３６のプロセッサは、マーカ４２６Ａ、または、マーカ４２６Ｂ、または、マーカ４２６Ａと４２６Ｂの両方のいずれかの部分が画像にキャプチャされているかどうかを判断する。プロセッサは、画像にキャプチャされてたマーカの形状とマーカの所定の形状とを比較する。画像にキャプチャされたマーカ４２６Ａまたは４２６Ｂの形状がマーカの所定の形状と一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、その画像はマーカ全体を含まず、マーカの一部分が観客２１２によってオクルージョンされていると判断する。他方、画像のマーカ４２６Ａまたは４２６Ｂの形状がマーカの所定の形状と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、画像はマーカ全体を含むと判断する。コンピューティングデバイスのプロセッサは、マーカ４２６Ａと４２６Ｂの各々の形状が所定の形状と一致する画像のマーカの数が所定のマーカ数と等しいかどうかを判断する。マーカ４２６Ａと４２６Ｂの各々の形状が所定の形状と一致する画像のマーカ４２６Ａと４２６Ｂとの数が所定の数と等しいと決定すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は追跡可能なＦＯＶ２２６内のハンドヘルドコントローラ１０８を妨害していないと判断する。所定の形状と所定の数とはコンピューティングデバイス１３６のメモリデバイス内に記憶されていることに注意すべきである。

他の説明として、カメラ１０４は、観客２１２とハンドヘルドコントローラ１０８との表現を含む画像をキャプチャし、その画像をコンピューティングデバイス１３６のプロセッサに送信する。コンピューティングデバイス１３６のプロセッサは、ハンドヘルドコントローラ１０８のいずれかの部分が画像にキャプチャされているかどうかを判断する。プロセッサは、画像にキャプチャされたハンドヘルドコントローラ１０８の形状と予め記憶されたハンドヘルドコントローラ１０８の形状と比較する。画像にキャプチャされたハンドヘルドコントローラ１０８の部分の形状が予め記憶されたハンドヘルドコントローラ１０８の形状と一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、その画像はハンドヘルドコントローラ１０８全体を含まず、ハンドヘルドコントローラ１０８の一部分が観客２１２によってオクルージョンされていると判断する。他方、画像のハンドヘルドコントローラ１０８の形状が予め記憶されたハンドヘルドコントローラ１０８の形状と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、その画像はハンドヘルドコントローラ１０８全体を含むと判断する。画像がハンドヘルドコントローラ１０８全体を含むと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は追跡可能なＦＯＶ２２６内のハンドヘルドコントローラ１０８を妨害していないと判断する。他方、画像がハンドヘルドコントローラ１０８全体を含まないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は追跡可能なＦＯＶ２２６内のハンドヘルドコントローラ１０８を妨害していると判断する。

他の例としては、プロジェクタ１３８Ａ、１３８Ｂ（図１Ｂ）が発する光がＨＭＤ１３２（図１Ｂ）の光センサ１３２（図１Ｂ）によって検出されないかどうかが判断される。説明すると、コンピューティングデバイス１３６（図１Ｂ）のプロセッサは、所定の時間より長い間、電気信号を光センサ１４０の１つまたは複数から受信していないかかどうかを判断する。プロジェクタ１３８Ａ、１３８Ｂが発する光が光センサ１４０によって検出されると、電気信号が光センサ１４０の１つまたは複数によって生成される。観客２１２がプロジェクタ１３８Ａ、１３８Ｂの１つまたは複数の追跡可能なＦＯＶを妨害している時、光センサ１４０の１つまたは複数は、電気信号を生成しない。電気信号は、生成されると、ＨＭＤ１３２の光センサ１４０から通信媒体１１２（図１Ｂ）を介してコンピューティングデバイス１３６のプロセッサに送信される。しかしながら、電気信号が光センサ１４０の１つまたは複数によって生成されない時、電気信号の送信は起こらず、よって、コンピューティングデバイス１３６のプロセッサによる電気信号の受信も起こらない。所定の時間より長い間、電気信号が光センサ１４０の１つまたは複数から受信されていないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２がプロジェクタ１３８Ａ、１３８Ｂの１つまたは複数の追跡可能なＦＯＶを妨害していると判断する。

他の例としては、ＨＭＤ１５２のカメラ２１４（図２Ａ）は、カメラ２１４の前の現実世界環境３００の画像をキャプチャする。画像は、観客２１２の画像を含む。ＨＭＤ１５２のプロセッサは、その画像を、通信媒体１１２を介してコンピューティングデバイス１３６のプロセッサに送信する。コンピューティングデバイス１３６のプロセッサは、画像と、コンピューティングデバイス１３６のメモリデバイスに記憶された、例えば、人の形状、男性の形状、女性の形状等、所定の形状とから、画像が観客２１２の表現を含むと判断する。例えば、コンピューティングデバイス１３６のプロセッサは、画像内の観客２１２の表現の形状と、所定の形状とを比較し、表現の形状と所定の形状との間に一致があると判断すると、プロセッサは、画像は観客２１２の表現を含むと判断する。他方、一致が生じていないと判断すると、コンピューティングデバイス１３６のプロセッサは、画像は観客２１２の表現を含まないと判断する。画像が観客２１２の表現を含むと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は追跡可能なＦＯＶ３０６（図３Ａ及び３Ｂ）を妨害していると判断する。他方、画像が観客２１２の表現を含まないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は追跡可能なＦＯＶ３０６を妨害していないと判断する。

観客２１２が追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害していないと判断すると、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０及びハンドヘルドコントローラ１０８を追跡する動作５０２を引き続き行う。他方、観客２１２が追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害していると判断すると、方法５００の動作５１４において、観客２１２が特定可能かどうかを判断する。例えば、観客２１２が追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害していると判断すると、コンピューティングデバイス１３６のプロセッサは、通信媒体１１４を介してカメラ１０４のプロセッサに観客２１２を含む現実世界環境２２０の画像をキャプチャするように指示する。カメラ１０４がキャプチャした現実世界環境２２０の画像から、コンピューティングデバイス１３６のプロセッサは、動作５０６で前述したように、画像内の観客２１２の表現の品質が所定の品質閾値より高いかかどうかを判断する。観客２１２の表現の品質が所定の品質閾値を超えると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２の表現がユーザＩＤデータベースに予め記憶された画像と一致するかどうかを判断する。さらに、観客２１２の表現がユーザＩＤデータベースに予め記憶された画像と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスし、観客２１２は特定可能であると判断する。

他の例としては、観客２１２が追跡可能なＦＯＶ３０６（図３Ａ）内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害していると判断すると、コンピューティングデバイス１３６のプロセッサは、通信媒体１１２を介してカメラ２０２のプロセッサ（図２Ａ）に観客２１２を含む現実世界環境３００（図３Ａ）の画像をキャプチャするように指示する。カメラ２０２がキャプチャした現実世界環境３００の画像から、コンピューティングデバイス１３６のプロセッサは、動作５０６で前述したように、画像内の観客２１２の顔の表現の品質が所定の品質閾値より高いかかどうかを判断する。画像内の観客２１２の顔の表現が所定の品質閾値より高い時、観客２１２は、ＨＭＤ１５２の近くにいることに注意すべきである。観客２１２の顔の表現の品質が所定の品質閾値を超えると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２の顔の表現がユーザＩＤデータベースに予め記憶された画像と一致するかどうかを判断する。さらに、観客２１２の顔の表現がユーザＩＤデータベースに予め記憶された画像と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスし、観客２１２は特定可能であると判断する。

さらに他の例として、観客２１２が追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害していると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２が声を出した時、観客２１２の音声をキャプチャするようにＨＭＤ１１０またはＨＭＤ１４０（図１Ｂ）の録音装置に命令するように通信媒体１１２（図１Ａ）を介してＨＭＤ１１０またはＨＭＤ１４０のプロセッサに指示する。ＨＭＤ１１０のプロセッサは、観客２１２の音声をキャプチャして、キャプチャした音声データを生成するようにＨＭＤ１１０またはＨＭＤ１４０のマイクロフォンにコマンドを送信する。キャプチャされた音声データは、ＨＭＤ１１０またはＨＭＤ１４０のプロセッサからコンピューティングデバイス１３６のプロセッサに通信媒体１１２を介して送信される。動作５０６で前述されたのと同じプロセスが、その後、実行される。説明すると、観客２１２の音声から生成された音声データに関連付けられたパラメータがユーザＩＤデータベースに予め記憶されたパラメータと一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスし、観客２１２は特定可能であると判断する。さらに、パラメータがユーザＩＤデータベースに予め記憶されたパラメータに一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は特定できないと判断する。

さらに他の例として、動作５０６で前述したように、観客２１２の表現と観客２１２の音声データとの両方を使用して観客２１２が特定可能かどうかを判断する。

他の例としては、カメラ１０４のプロセッサは、カメラ１０４内の開口駆動部に信号を送信してモータの動きを制御し、モータは回転して、カメラ１０４の開口の直径が大きくなるように、カメラ１０４内の開口絞りの位置を変更する。その直径は、ＨＭＤ１１０及びハンドヘルドコントローラ１０８を追跡するためにＨＭＤ１１０及びハンドヘルドコントローラ１０８の画像が動作５０２（図５Ａ）でキャプチャされる時のカメラ１０４の開口部の直径より大きくなる。さらに、カメラ１０４のプロセッサは、駆動機構に電流信号を提供するようにカメラ１０４内のシャッタ駆動部に信号を送信して、駆動機構は、ある量の電磁場を生成し、電磁場は、カメラ１０４のシャッタが開閉する速度を増加させる。シャッタ速度は、動作５０２（図５Ａ）でＨＭＤ１１０及びハンドヘルドコントローラ１０８の画像をキャプチャするのに使用されるシャッタ速度と比較して増加する。シャッタ速度は、カメラ１０４の開口部の直径が増加した結果として、カメラ１０４に入る光の量が増えるのを補償するために増加する。開口部の直径とシャッタ速度とは、ＨＭＤ１１０及びハンドヘルドコントローラ１０８への焦点の量と比較して、より観客２１２の顔に焦点を合わせるように動作５１４で変更されて、観客２１２の顔の画像をキャプチャする。いくつかの実施形態においては、開口部の直径とシャッタ速度とは、ＨＭＤ１１０及びハンドヘルドコントローラ１０８とに焦点を合わせる代わりに、観客２１２の顔に焦点を合わせるように動作５１４で変更されて、観客２１２の顔の画像をキャプチャする。観客２１２の顔への焦点の量を増加させてカメラ１０４によってキャプチャされた画像は、カメラ１０４のプロセッサから通信媒体１１４を介してコンピューティングデバイス１３６のプロセッサに送信される。コンピューティングデバイス１３６のプロセッサは、観客２１２の顔の画像が、例えば、ユーザＩＤデータベースの顔の画像等、予め記憶された画像に一致するかどうかを判断する。さらに、観客２１２の顔の画像がユーザＩＤデータベースに予め記憶された画像に一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスして、観客２１２は特定可能であると判断する。他方、観客２１２の顔の画像がユーザＩＤデータベースに予め記憶された画像に一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は特定できないと判断する。

他の例としては、観客２１２の顔の画像と観客２１２の音声データとを使用して、観客２１２が特定可能かどうかを判断する。例えば、観客２１２の音声から生成された音声データに関連付けられたパラメータが、ユーザＩＤデータベースに予め記憶されたパラメータと一致すると判断すると、及び／または、観客２１２の顔のキャプチャされた画像がユーザＩＤデータベースに予め記憶された画像と一致すると判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２のユーザＩＤにアクセスして、観客２１２は特定可能であると判断する。他方、音声データに関連付けられたパラメータがユーザＩＤデータベースに予め記憶されたパラメータと一致せず、観客２１２の顔のキャプチャされた画像がユーザＩＤデータベースに予め記憶された画像と一致しないと判断すると、コンピューティングデバイス１３６のプロセッサは、観客２１２は特定できないと判断する。

動作５１４で観客２１２は特定できないと判断すると、方法５００の動作５１６が行われる。動作５１６において、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に及び／またはＨＭＤ１１０の放音装置を介して通知を提供するように、通信媒体１１２（図１Ａ）を介してＨＭＤ１１０のプロセッサに命令を送信する。命令を受信すると、ＨＭＤ１１０のプロセッサは、通知を提供する。例えば、通知は、観客２１２が追跡可能なＦＯＶ２２６を妨害しているというメッセージの表示と、ユーザ１０２に観客２１２を特定するようにという要求の表示とを含む。他の例としては、通知は、観客２１２が追跡可能なＦＯＶ２２６を妨害している結果、ビデオゲームの表示の品質係数が低下しているというメッセージの表示を含む。さらに別の例として、ＨＭＤ１１０のプロセッサは、観客２１２の顔を表示して、ユーザ１０２に観客２１２を特定するように要求し、また、観客２１２が追跡可能なＦＯＶ２２６を妨害しているというメッセージを表示する。さらに他の例として、命令を受信すると、ＨＭＤ１１０のプロセッサは、ＨＭＤ１１０の音声メモリデバイスに記憶された観客２１２の音声データにアクセスして、ＨＭＤ１１０のデジタルアナログコンバータを制御して、音声データをアナログ形式の電気信号に変換する。音声データは、コンピューティングデバイス１３６のプロセッサから通信媒体１１２を介してＨＭＤ１１０のプロセッサによって受信され、ＨＭＤ１１０に記憶される。ＨＭＤ１１０のプロセッサは、さらに、ＨＭＤ１１０の１つまたは複数のスピーカを含むスピーカシステムを制御して、電気信号を音声信号に変換して観客の音声を、スピーカシステムを通して出力する。音声は、観客２１２を特定する音声要求に含められる。音声要求は、ＨＭＤ１１０のプロセッサによって生成される。ユーザ１０２は、要求内に含められた音声によって観客２１２を特定するように通知される。

様々な実施形態において、音波を放射するために使用する超音波エミッタの代わりに、光エミッタを使用して、光を放射し、光検出器システムを使用して、現実世界の物体から反射される光を検出する。ＦＯＶ２２４に関連付けられた光強度振幅閾値を用いて反射される光の強度を使用して、現実世界の物体がＦＯＶ２２４内にあるかどうかを判断する。さらに、追跡可能なＦＯＶ２２６に関連付けられた光強度振幅制限を用いて反射される光の強度を使用して、現実世界の物体が追跡可能なＦＯＶ２２６内にあるかどうかを判断する。

いくつかの実施形態においては、動作５１４は、動作５０６及び５０８の代わりに行われることに注意すべきである。例えば、図５Ｂの動作５１４に関して前述したように、図５Ａの動作５０４で、観客２１２がＦＯＶ２２４内にいると判断すると、カメラ１０４の露出が変更される。他の例としては、図５Ｂの動作５１４に関して前述したように、図５Ａの動作５０８において、観客２１２が追跡可能なＦＯＶ２２６内にいると判断すると、カメラ１０４の露出が変更される。幾つかの実施形態において、図５Ｂの動作５１４に関して前述したように、カメラ１０４の露出は、例えば、所定の時間間隔等、周期的に変更されて、観客２１２を特定する。例えば、コンピューティングデバイス１３６のプロセッサは、周期的な時間間隔で、または、時々等、非周期的な時間間隔で、カメラ１０４の露出を変更して観客２１２を特定するようにカメラ１０４のプロセッサに命令を送信する。

図５Ｃは、図５Ｂの方法５００のフローチャートの続きである。動作５１８において、観客２１２の識別情報がユーザ１０２から受信されたかどうかを判断する。例えば、コンピューティングデバイス１３６のプロセッサは、動作５１６の通知に応答して、ユーザ１０２が、例えば、観客２１２のユーザＩＤ、観客２１２の名前等、観客２１２を特定する入力を、ハンドヘルドコントローラ１０８を介してＨＭＤ１１０のプロセッサに提供したかどうかを判断する。説明すると、ユーザ１０２は、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に表示された様々な英数字を、ハンドヘルドコントローラ１０８を介して選択して、観客２１２の名前を選択する。入力を受信すると、ＨＭＤ１１０のプロセッサは、通信媒体１１２を介して入力をコンピューティングデバイス１３６のプロセッサに送信する。入力を受信すると、コンピューティングデバイス１３６のプロセッサは、観客２１２の識別情報がユーザ１０２から受信されたと判断する。いくつかの実施形態においては、ＨＭＤ１１０のプロセッサは、観客２１２の識別情報がユーザ１０２から受信されるまで、動作５１６の通知の提供を続ける。

図５Ｂの動作５１４に戻って、観客２１２が特定できないと判断すると、図５Ｃの方法５００の動作５２０が行われる。動作５２０中、ユーザ１０２は、観客２１２が追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害していることを通知される。例えば、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に及び／またはＨＭＤ１１０の放音装置を介して通知を提供するように、通信媒体１１２（図１Ａ）を介してＨＭＤ１１０のプロセッサに命令を送信する。命令を受信すると、ＨＭＤ１１０のプロセッサは、通知を提供する。例えば、通知は、観客２１２が追跡可能なＦＯＶ２２６を妨害しているというメッセージの表示を含み、そのメッセージは、ユーザ１０２に対して観客２１２を特定する観客２１２のユーザＩＤを含む。さらに、通知は、観客２１２が追跡可能なＦＯＶ２２６を妨害しないように観客２１２に移動を求めるようにというユーザへのメッセージを含む。他の例としては、ＨＭＤ１１０のプロセッサは、観客２１２のユーザＩＤを表示し、観客２１２が追跡可能なＦＯＶ２２６を妨害しているというメッセージも表示する。さらに、通知は、観客２１２が追跡可能なＦＯＶ２２６を妨害しないように観客２１２に移動を求めるようにというユーザ１０２へのメッセージを含む。さらに他の例として、命令を受信すると、ＨＭＤ１１０のプロセッサは、ＨＭＤ１１０の音声メモリデバイスに記憶された予め録音された音声データにアクセスし、ＨＭＤ１１０のデジタルアナログコンバータを制御して、予め録音された音声データをアナログ形式の電気信号に変換する。ＨＭＤ１１０のプロセッサは、さらに、ＨＭＤ１１０のスピーカシステムを制御して、電気信号を音声信号に変換し、ユーザＩＤを有する観客２１２が追跡可能なＦＯＶ２２６を妨害していることをユーザ１０２に示す音声を出力する。他の例としては、命令を受信すると、ＨＭＤ１１０のプロセッサは、ＨＭＤ１１０の音声メモリデバイスに記憶された予め録音された音声データにアクセスし、ＨＭＤ１１０のデジタルアナログコンバータを制御して、予め録音された音声データを電気信号に変換する。ＨＭＤ１１０のプロセッサは、さらに、ＨＭＤ１１０のスピーカシステムを制御して、電気信号を音声信号に変換して、ユーザＩＤを有する観客２１２が追跡可能なＦＯＶ２２６を妨害していることをユーザ１０２に示す音声と、追跡可能なＦＯＶ２２６を妨害しないように観客２１２に移動を求める音声も出力する。動作５２０の後、動作５０２が繰り返される。

いくつかの実施形態においては、観客２１２は、自分が追跡可能なＦＯＶ２２６を妨害していることを、ＨＭＤ１１０の音媒体を介して通知される。これらの実施形態において、図５Ｂの動作５１２と５１６との間に、または、動作５１６と５２０との間に、または、動作５１２と５２０との間に、または、動作５２０と５０２との間に、コンピューティングデバイス１３６のプロセッサは、ＨＭＤ１１０の放音装置を介して通知を提供するように通信媒体１１２（図１Ａ）を介してＨＭＤ１１０のプロセッサに命令を送信する。命令を受信すると、観客２１２が装着するＨＭＤのプロセッサが、通知を提供する。例えば、命令を受信すると、ＨＭＤ１１０のプロセッサは、ＨＭＤ１１０の音声メモリデバイスに記憶された、及び／または、命令内で受信された音声情報にアクセスし、ＨＭＤ１１０のデジタルアナログコンバータを制御して、音声情報をアナログ形式の電気信号に変換する。ＨＭＤ１１０のプロセッサは、さらに、ＨＭＤ１１０のスピーカシステムを制御して、電気信号を音声信号に変換し、観客２１２の音声を、スピーカシステムを介して出力する。音声は、観客２１２に追跡可能なＦＯＶ２２６を妨害しないようにということを示す音声要求に含められる。音声要求は、ＨＭＤ１１０のプロセッサによって生成される。観客２１２は、音声要求に含められた音声によって、追跡可能なＦＯＶ２２６を妨害しないように移動するよう通知される。

幾つかの実施形態において、観客２１２は、自分が追跡可能なＦＯＶ２２６を妨害していることを、コンピューティングデバイス１３６に結合されたテレビまたはコンピュータモニタ等のディスプレイデバイスを介して通知される。例えば、図５Ｂの動作５１２と５１６との間に、または、動作５１６と５２０との間に、または、動作５１２と５２０との間に、または、動作５２０と５０２との間に、コンピューティングデバイス１３６のプロセッサは、ディスプレイデバイスのディスプレイ画面及び／またはディスプレイデバイスの１つまたは複数のオーディオスピーカ等のスピーカシステムを介して通知を提供するように、有線通信媒体または無線通信媒体等の通信媒体を介してコンピューティングデバイス１３６に結合されたディスプレイデバイスのプロセッサに命令を送信する。コンピューティングデバイス１３６をディスプレイデバイスに結合する有線通信媒体の例は、高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））ケーブルである。命令を受信すると、ディスプレイデバイスのプロセッサは、通知を表示する。説明すると、命令を受信すると、ディスプレイデバイスのプロセッサは、ディスプレイデバイスのディスプレイ画面に、観客２１２が追跡可能なＦＯＶ２２６を妨害していることを表示し、観客２１２に追跡可能なＦＯＶ２２６の外側に移動するように要求する。他の説明として、命令を受信すると、ディスプレイデバイスのプロセッサは、ディスプレイデバイスのディスプレイ画面に、観客２１２が追跡可能なＦＯＶ２２６を妨害していることを表示し、観客２１２に移動するように要求する。他の説明として、音声情報を含む命令を受信すると、ディスプレイデバイスのプロセッサは、ディスプレイデバイスのデジタルアナログコンバータを制御して、音声情報を電気信号に変換する。ディスプレイデバイスのプロセッサは、さらに、ディスプレイデバイスのスピーカシステムを制御して、電気信号を音声信号に変換し、ディスプレイデバイスのスピーカシステムを介して音声を出力する。音声は、観客２１２に追跡可能なＦＯＶ２２６を妨害しないようにということを示す音声要求に含められる。音声要求は、ディスプレイデバイスのプロセッサによって生成される。観客２１２は、追跡可能なＦＯＶ２２６を妨害しないように移動することを音声要求に含められた音声によって通知される。

様々な実施形態において、観客２１２も、頭部にＨＭＤを装着しており、観客２１２は、観客２１２が追跡可能なＦＯＶ２２６を妨害していることを観客２１２が装着したＨＭＤを介して通知される。例えば、図５Ｂの動作５１２と５１６との間に、または、動作５１６と５２０との間に、または、動作５１２と５２０との間に、または、動作５２０と５０２との間に、コンピューティングデバイス１３６のプロセッサは、観客２１２が装着したＨＭＤを介して観客２１２に通知を提供するように、観客２１２が装着したＨＭＤに結合された通信媒体を介して観客２１２が装着したＨＭＤのプロセッサに命令を送信する。観客２１２が装着したＨＭＤに結合される通信媒体は、通信媒体１１２（図１Ａ）の構造及び機能と同じ構造及び機能である。命令を受信すると、観客２１２が装着したＨＭＤのプロセッサは、観客２１２が装着したＨＭＤに通知を表示する、及び／または、通知を示す音声を生成する。説明すると、通知は、観客２１２が追跡可能なＦＯＶ２２６を妨害しており、観客２１２は追跡可能なＦＯＶ２２６を妨害しないように移動すべきであるというメッセージとして、ディスプレイデバイスのディスプレイ画面に表示される。他の説明として、通知は、観客２１２が追跡可能なＦＯＶ２２６を妨害している結果、ユーザ１０２がプレイしているビデオゲームの表示の品質係数が低下しており、観客２１２は追跡可能なＦＯＶ２２６を妨害しないように移動すべきであるというメッセージとして、ディスプレイデバイスのディスプレイ画面に表示される。他の説明として、音声情報を含む命令を受信すると、観客２１２が装着したＨＭＤのプロセッサは、観客２１２が装着したＨＭＤのデジタルアナログコンバータを制御して、音声情報を電気信号に変換する。観客２１２が装着したＨＭＤのプロセッサは、さらに、観客２１２が装着したＨＭＤのスピーカシステムを制御して、電気信号を音声信号に変換し、観客２１２が装着したＨＭＤの１つまたは複数のオーディオスピーカ等のスピーカシステムを介して音声を出力する。音声は、観客２１２に追跡可能なＦＯＶ２２６を妨害しないように示す音声要求に含められる。音声要求は、観客２１２が装着したＨＭＤのプロセッサによって生成される。観客２１２は、追跡可能なＦＯＶ２２６を妨害しないように移動することを要求に含められた音声によって通知される。

いくつかの実施形態においては、方法５００は、コンピューティングデバイス１３６のプロセッサの代わりに、または、それに加えて、クラウドコンピューティングネットワークの１つまたは複数のプロセッサによって実行される。クラウドコンピューティングネットワークの１つまたは複数のプロセッサは、ＨＭＤ１１０（図１Ａ）、ＨＭＤ１３２（図１Ｂ）、または、ＨＭＤ１５２（図１Ｃ）にルータを介して結合される。

図５Ａ〜図５Ｃの実施形態の一部は、ＨＭＤに関して記載したが、実施形態は、本明細書に記載のハンドヘルドコントローラにも等しく適用されることに注意すべきである。

図６Ａは、例えば、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）またはＨＭＤ１５２（図１Ｃ）等、ＨＭＤの１つまたは複数の画面に表示される通知６０２の実施形態の図である。通知６０２は、観客２１２の顔の画像６０３を有し、例えば、カメラ１０４（図１Ａ）またはプロジェクタ１３８Ａ、１３８Ｂ（図１Ｂ）またはカメラ２０２（図２Ａ）等、追跡装置の、例えば、追跡可能なＦＯＶ２２６等の追跡可能なＦＯＶの前を観客２１２が歩いており、追跡に影響を及ぼし得ることをユーザ１０２に示す。

図６Ｂは、例えば、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）またはＨＭＤ１５２（図１Ｃ）等、ＨＭＤの１つまたは複数の画面に表示される他の通知６０４の実施形態の図である。通知６０４は、観客２１２の顔の画像６０３を有し、観客２１２が追跡装置の追跡可能なＦＯＶの前を歩いていることをユーザ１０２に示す。さらに、通知６０４は、通知の一部である画像６０３から観客２１２を特定するようにというユーザ１０２への要求を含む。

図６Ｃは、例えば、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）またはＨＭＤ１５２（図１Ｃ）等、ＨＭＤの１つまたは複数の画面に表示される通知６０６の実施形態の図である。通知６０６は、観客２１２の顔の画像６０３と、追跡装置の追跡可能なＦＯＶを妨害している他の観客の顔の他の画像６０７とを有する。通知は、観客２１２と他の観客とが追跡装置の追跡可能なＦＯＶの前を移動しており、その動きが、追跡装置の、例えば、焦点、品質等の追跡の忠実度を低下させ得ることをユーザ１０２に示す。

図６Ｄは、例えば、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）またはＨＭＤ１５２（図１Ｃ）等、ＨＭＤの１つまたは複数の画面に表示される他の通知６０８の実施形態の図である。通知６０８は、観客２１２の顔の画像６０３と、他の観客の顔の画像６０７とを有し、観客２１２と他の観客とが追跡装置の追跡可能なＦＯＶの前を移動しており、その動きが、追跡の忠実度を低下させ得ることをユーザ１０２に示す。さらに、通知は、画像６０３から観客２１２を特定し、且つ、画像６０７から他の観客を特定するようにというユーザ１０２への要求を含む。観客の画像６０３及び６０７は、通知の一部である。

図６Ｅは、例えば、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）またはＨＭＤ１５２（図１Ｃ）等、ＨＭＤの１つまたは複数の画面に表示される通知６１０の実施形態の図である。通知６１０は、例えば、観客２１２の名前「ジョン」等のユーザＩＤを有し、観客２１２が追跡装置の追跡可能なＦＯＶを妨害していることをユーザ１０２に示す。通知６１０は、追跡装置の追跡可能なＦＯＶを妨害しないようにジョンに移動することを依頼するようにというユーザ１０２へのメッセージを含む。

図６Ｆは、例えば、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）またはＨＭＤ１５２（図１Ｃ）等、ＨＭＤの１つまたは複数の画面に表示される通知６１２の実施形態の図である。通知６１２は、例えば、観客２１２の名前「ボブ」等のユーザＩＤを有し、観客２１２がユーザ１０２の前にいることをユーザ１０２に示す。通知６１２は、さらに、追跡装置の追跡に影響を及ぼし得ることをユーザ１０２に示す。通知６１２は、ＨＭＤのプロセッサがボブに追跡装置の追跡可能なＦＯＶを妨害しないように移動することを依頼するのを許可するユーザ１０２へのメッセージをさらに含む。通信媒体１１６（図１Ａ）を介してハンドヘルドコントローラ１０８のボタンの指示選択を受信すると、コンピューティングデバイス１３６のプロセッサは、通信媒体１１２（図１Ａ）を介してＨＭＤ１１０のプロセッサに命令を送信する。命令を受信すると、ＨＭＤ１１０のプロセッサは、追跡装置の追跡可能なＦＯＶを妨害しないように移動することをボブに要求する音声を発するように放音装置に命令する。

図６Ｇは、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に表示される画像３５０の実施形態の図である。画像３５０は、通知６３０を含む。通知６３０は、追跡装置の追跡可能なＦＯＶが観客２１２によって妨害されて追跡の品質が低下していることを示す。通知６３０は、ビデオゲームの画像３５０内に埋め込まれる。

図７は、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に表示される画像の実施形態の図である。画像７００は、ユーザ１０２によるビデオゲームのプレイのタイムライン７０２と、例えば、妨害線等の妨害インジケータ７０４とを含む。タイムライン７０２は、時点ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、ｔ７、ｔ８、ｔ９、及び、ｔ１０を時系列でプロットする。さらに、タイムライン７０２に沿って、例えば、観客２１２もしくは他の観客、または、観客２１２と他の観客の両方等、一人または複数の観客による妨害を示す妨害インジケータ７０４がプロットされる。例えば、時点ｔ２では、観客２１２と他の観客の両方が、追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害している。他の例としては、時点ｔ４とｔ５との間に、観客２１２が追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害している。さらに他の例として、時点ｔ８とｔ９との間に、他の観客が、追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害している。

画像７００は、ＨＭＤ１１０のプロセッサによってレンダリングされ、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に表示される。コンピューティングデバイス１３６のプロセッサは、観客２１２もしくは他の観客、または、観客２１２と他の観客の両方が、追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害しているかどうかを判断し、両方の観客のユーザＩＤを判断する。さらに、ある時点で、観客が追跡可能なＦＯＶ２２６内のＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８を妨害していると判断され、その時点が、コンピューティングデバイス１３６のメモリデバイスのプロセッサによって記録される。例として、時点は、例えば、インターネット、または、イントラネット、または、ローカルエリアネットワーク、または、広域ネットワーク、または、それらの組み合わせ等、または、クラウドコンピューティングネットワーク等、コンピュータネットワークからコンピューティングデバイス１３６のプロセッサによって取得される。例えば、コンピューティングデバイス１３６のプロセッサは、コンピューティングデバイス１３６のオペレーティングシステムのクロックをネットワークタイムプロトコル（ＮＴＰ）サーバのクロックと同期し、ネットワークタイムプロトコル（ＮＴＰ）サーバは、コンピューティングデバイス１３６のプロセッサによってコンピュータネットワークを介してアクセスされる。コンピューティングデバイス１３６のプロセッサは、タイムライン７０２のタイムラインデータと、妨害インジケータ７０４のデータとを含む画像７００の画像データを生成する。例えば、妨害インジケータ７０４は、例えば、のこぎり波等の複数の波を含み、複数の波は、例えば、観客が追跡装置の追跡可能なＦＯＶを妨害しているとコンピューティングデバイス１３６のプロセッサが判断する時等、妨害時の観客による妨害を示す。さらに、コンピューティングデバイス１３６のプロセッサによって生成される画像データは、追跡装置の追跡可能なＦＯＶを妨害している観客のユーザＩＤを妨害インジケータ７０４に沿って示すユーザＩＤデータを含む。

コンピューティングデバイス１３６のプロセッサは、画像７００の画像データを、通信媒体１１２（図１Ａ）を介してＨＭＤ１１０のプロセッサに送信する。ＨＭＤ１１０のプロセッサは、ユーザ１０２が見るＨＭＤ１１０の１つまたは複数のディスプレイ画面に画像７００を生成するために画像データをレンダリングする。

いくつかの実施形態においては、ビデオゲームのゲームプレイ中、追跡装置の追跡可能なＦＯＶ２２６の、例えば、ＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８等の追跡可能なＦＯＶが妨害されたと判断すると、コンピューティングデバイス１３６のプロセッサは、ユーザ１０２のユーザアカウントに追加のクレジットを与えることを決定する。例えば、マルチプレイヤゲームにおいて、コンピューティングデバイス１３６のプロセッサが、ユーザ１０２は追跡可能なＦＯＶを妨害されたが、例えば、ビデオゲームの他のプレイヤ等の他のユーザは、追跡可能なＦＯＶを妨害されていないと判断する。そう判断すると、コンピューティングデバイス１３６のプロセッサは、他のユーザと比較して、例えば、追加のゲームポイント、追加のプレイ時間等、追加のクレジットをユーザ１０２に与える。説明すると、例えば、ユーザ１０２と他のユーザ等、両方のユーザが、ビデオゲームのプレイにｘ時間割り当てられている時、ユーザ１０２が装着しているＨＭＤ９００の動きを追跡している追跡装置の追跡可能なＦＯＶが妨害され、他のユーザが装着しているＨＭＤ９００の動きを追跡している他の追跡装置の他の追跡可能なＦＯＶは妨害されていないと判断すると、コンピューティングデバイス１３６のプロセッサは、ビデオゲームをプレイするために、ユーザ１０２にｘ＋ｙ時間割り当て、他のユーザにはｘ時間割り当てる。

図８Ａは、ビデオゲームの連続画像が、例えば、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）または、ＨＭＤ１５２（図１Ｃ）等、ＨＭＤの１つまたは複数のディスプレイ画面に表示されるフレームレートの変化を示すグラフ８００の実施形態である。グラフ８００は、時点ｔに対して、フレーム毎秒（ＦＰＳ）で測定されるフレームレートをプロットする。グラフ８００は、プロット８０２を有する。プロット８０２は、観客２１２がユーザ１０２の近くで追跡装置の追跡可能なＦＯＶ内を歩いているが追跡可能なＦＯＶを妨害していない時点から、観客２１２が追跡可能なＦＯＶを妨害している時点、さらに、観客２１２がもはや追跡可能なＦＯＶを妨害していない時点までのフレームレートをプロットする。観客２１２が追跡可能なＦＯＶを妨害せずに追跡可能なＦＯＶ内にいる時間中、フレームレートは、例えば、３０フレーム毎秒、６０フレーム毎秒等、通常のフレームレートである。例えば、時点ｔｘまで、ＨＭＤ１１０のプロセッサは、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に通常のフレームレートでビデオゲームの画像を表示する。追跡可能なＦＯＶの妨害が無い時、ビデオゲームの状態は、カメラ１０４（図１Ａ）がキャプチャしたＨＭＤ１１０とハンドヘルドコントローラ１０８との画像に基づいて、コンピューティングデバイス１３６のプロセッサによって生成される。状態は、ＨＭＤ１１０の動きに基づいて、または、ハンドヘルドコントローラ１０８の動きに基づいて、または、それらの組み合わせに基づいて、生成される。例えば、ビデオゲームの画像の画角は、ＨＭＤ１１０がユーザ１０２によって動かされると、変化する。ビデオゲームの状態を実施するビデオゲームデータは、コンピューティングデバイス１３６のプロセッサから通信媒体１１２を介してＨＭＤ１１０のプロセッサに送信される。ビデオゲームデータの例には、ビデオゲームの仮想物体の色、テクスチャ、及び、陰影と、ビデオゲームの背景の色、テクスチャ、及び、陰影等が含まれる。ＨＭＤ１１０のプロセッサは、ビデオゲームデータをレンダリングして、ＨＭＤ１１０の１つまたは複数のディスプレイ画面に通常のフレームレートでビデオゲームの画像を表示する。

他方、追跡可能なＦＯＶが、例えば、時点ｔｘと時点ｔｙとの間等、ある時間、観客２１２によって妨害される時、ビデオゲームの状態は、ＨＭＤ１１０の動きに基づいて、ハンドヘルドコントローラ１０８の動きに基づいて、または、それらの組み合わせに基づいて、コンピューティングデバイス１３６のプロセッサによって低速で生成される。低速は、通常のフレームレートを達成する状態の生成速度よりも低い。追跡可能なＦＯＶが観客２１２によって妨害されると、ＨＭＤ１１０の少なくとも一部分、及び／または、ハンドヘルドコントローラ１０８の少なくとも一部分が、追跡装置に検出されない。例えば、カメラ１０４は、ＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８に焦点を合わせることができない。他の例としては、カメラ１０４は、ＨＭＤ１１０のマーカ４１２Ａ〜４１２Ｅの少なくとも１つに焦点を合わせることができない。さらに他の例として、カメラ１０４は、マーカ４１２Ａ〜４１２Ｅの少なくとも１つの画像をキャプチャできない。さらに他の例として、カメラ１０４は、ハンドヘルドコントローラ１０８のマーカ４２６Ａ及び４２６Ｂの少なくとも１つの画像をキャプチャできない。ゲーム状態が低速で生成される時、コンピューティングデバイス１３６のプロセッサは、通信媒体１１２を介してビデオゲームデータをＨＭＤ１１０のプロセッサに転送する。ＨＭＤ１１０のプロセッサは、ビデオゲームデータを受信し、例えば、５フレーム毎秒等、通常のフレームレートより低いフレームレートで画像を生成する。このような低いフレームレートの結果、ビデオゲームをプレイしている間、ユーザ１０２によるビデオゲーム体験が最適にはならない。いくつかの実施形態においては、状態が生成されるフレームレートまたは速度は、品質係数の一例である。様々な実施形態において、ＨＭＤ１１０及び／またはハンドヘルドコントローラ１０８の位置及び向きを決定する速度は、品質係数の一例である。

図８Ｂは、観客２１２が妨害した結果、シーン８５０におけるジャンプを示すＨＭＤ１１０を介して見えるシーン８５０の実施形態の図である。ＨＭＤ１１０が位置Ａにある時、シーン８５０の部分８５２がユーザ１０２に対してＨＭＤ１１０に表示される。ＨＭＤ１１０が位置Ａから位置Ｂに動き、位置Ｃ、さらに、位置Ｄに移りながら、追跡可能なＦＯＶが観客２１２によって妨害されると、シーン８５０の部分８５４が、ＨＭＤ１１０に表示される。部分８５４は、部分８５２が表示された直後に、表示される。これは、妨害の結果、部分８５６の表示に対応するＨＭＤ１１０の位置及び向きが決定できないからである。追跡可能なＦＯＶが観客２１２によって妨害されていない時、シーン８５０の部分８５６が、部分８５２が表示された後にＨＭＤ１１０に表示され、部分８５６が表示された後、部分８５４がＨＭＤ１１０に表示される。観客２１２が追跡可能なＦＯＶを妨害すると、部分８５２から部分８５４にジャンプする。品質係数の他の例は、本明細書に記載のように、シーン８５０の部分の表示の順序である。シーン８５０の２つの部分の間のシーン８５０の部分の１つが、ＨＭＤ１１０に表示されない時、品質係数が低下する。

ユーザ１０２は、シーン８５０に没入し、品質係数の変化の理由が分からない。ユーザ１０２は、没入すると、現実世界で何が起こっているか分からない。コンピューティングデバイス１３６のプロセッサは、品質係数の変化は観客２１２の妨害の結果であることを識別し、ユーザ１０２にその事を通知する。

図９は、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１３２（図１Ｂ）または、ＨＭＤ１５２（図１Ｃ）の例であるＨＭＤ９００の実施形態の図である。ＨＭＤ９００は、プロセッサ９０２、ディスプレイ画面９０４、画像メモリデバイス９０６、録音装置９０８、放音装置９１０、インタフェース９１２、超音波エミッタ９３０、及び、超音波検出器９３２を含む。本明細書で使用される場合、プロセッサは、中央処理装置、または、マイクロプロセッサ、または、マイクロコントローラ、または、特定用途向け集積回路（ＡＳＩＣ）、または、プログラム可能論理デバイス（ＰＬＤ）である。さらに、本明細書で使用する場合、メモリデバイスは、リードオンリメモリ（ＲＯＭ）、または、ランダムアクセスメモリ（ＲＡＭ）、または、ＲＡＭ及びＲＯＭの両方を含むデバイスである。メモリデバイスの例には、フラッシュメモリ、独立冗長ディスクアレイ（ＲＡＩＤ：ｒｅｄｕｎｄａｎｔ ａｒｒａｙ ｏｆ ｉｎｄｅｐｅｎｄｅｎｔ ｄｉｓｋｓ）、ハードディスク等が含まれる。本明細書で使用される場合、ディスプレイ画面の例には、液晶ディスプレイ（ＬＣＤ）画面、発光ダイオード（ＬＥＤ）ディスプレイ画面、プラズマディスプレイ画面等が含まれる。本明細書で使用される場合、インタフェースの例には、データのパラレル転送のためのパラレルインタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、無線媒体を介した通信のための、例えば、Ｂｌｕｅｔｏｏｔｈ（商標）、Ｗｉ−Ｆｉ（商標）、ＲＦ等、無線伝送プロトロコルを実施する回路等が含まれる。録音装置９０８は、マイクロフォン９１４、アナログデジタルコンバータ９１６、フィルタ９１８、及び、音声メモリデバイス９２０を含む。さらに、放音装置９１０は、音声メモリデバイス９２０及びスピーカシステム９２２を含み、スピーカシステム９２２は、１つまたは複数のスピーカを含む。

プロセッサ９０２は、画像メモリデバイス９０６に記憶された画像データにアクセスし、画像データをレンダリングして、例えば、ビデオゲームの画像、通知の画像、ビデオゲームの画像に含められた通知の画像等、画像をディスプレイ画面９０４に表示する。画像データは、ビデオゲームまたは通知の画像データである。画像データは、コンピューティングデバイス１３６のプロセッサから通信媒体１１２（図１Ａ）及びインタフェース９１２を介して受信される。

さらに、プロセッサ９０２は、例えば、イネーブル信号等の信号をマイクロフォン９１４に送信して、マイクロフォン９１４を有効にして、観客２１２の音声を集めて、その音声を電気信号に変換する。電気信号は、次に、アナログデジタルコンバータ９１６によってアナログ形式からデジタル形式に変換されてデータを生成する。データは、フィルタ９１２によってフィルタリングされて、データからノイズを除去して、フィルタリングされたデータを生成する。フィルタリングされたデータは、音声メモリデバイス９２０に記憶される。いくつかの実施形態においては、プロセッサ９０２は、音声メモリデバイス９２０からフィルタリングされたデータにアクセスし、コンピューティングデバイス１３６のメモリデバイスに予め記憶された音声データとフィルタリングされたデータとを比較するために、インタフェース９１２を介してフィルタリングされたデータをコンピューティングデバイス１３６のプロセッサに送信する。

プロセッサ９０２は、音声データをコンピューティングデバイス１３６のプロセッサから通信媒体１１２及びインタフェース９１２を介して受信し、その音声データを音声メモリデバイス９２０に記憶する。コンピューティングデバイス１３６のプロセッサから受信される音声データの例には、追跡可能なＦＯＶが妨害しないように移動するようにという観客２１２への通知が含まれる。

プロセッサ９２０は、フィルタリングされたデータ、及び／または、音声メモリデバイス９２０に記憶された音声データにアクセスして、フィルタリングされたデータ及び／または音声データをデジタルアナログコンバータ９２４に提供する。デジタルアナログコンバータ９２４は、フィルタリングされたデータ及び／または音声データをデジタル形式からアナログ形式に変換して電気信号を生成する。スピーカシステム９２２は、電気信号を音声に変換し、その音声を現実世界環境２２０（図２Ｂ）に出力する。

プロセッサ９２０は、信号を超音波エミッタ９３０に送信する。信号を受信すると、超音波エミッタ９３０は、本明細書に記載の現実世界環境に超音波を放射する。現実世界環境から反射した超音波は、超音波検出器９３２によって検出されて電気信号を生成する。電気信号は、アナログ形式からデジタル形式に変換された後、超音波検出器９３２からプロセッサ９０２に送信される。プロセッサ９０２は、デジタル形式にされた電気信号であるデータを受信し、そのデータを、本明細書に記載の現実世界環境の、例えば、ＨＭＤ１１０、観客２１２、ハンドヘルドコントローラ１０８等、現実世界の物体と追跡装置との間の距離を決定するために、インタフェース９１２を介してコンピューティングデバイス１３６のプロセッサに送信する。

いくつかの実施形態においては、プロセッサ９０２の代わりに、任意の他の数のプロセッサを使用して、プロセッサ９０２によって行われる本明細書に記載の機能を実行する。

様々な実施形態において、録音装置９０８は、フィルタ９１８を含まず、アナログデジタルコンバータ９１６は、音声メモリデバイス９２０に接続される。

図１０は、カメラ１０４（図１Ａ）、または、ＨＭＤ１５２（図２Ａ）のカメラ２０２（図２Ａ）の例であるカメラ１０００の実施形態の図である。カメラ１０００は、プロセッサ１００２、露出制御機構１００４、インタフェース１００６、メモリデバイス１０２２、及び、光検出器システム１０３０を含み、光検出器システム１０３０は、本明細書に記載の現実世界環境から反射される光を検出する複数の光センサを含む。露出制御機構１００４は、露出装置１００８、モータ１０１０、駆動機構１０１２、開口駆動部１０１４、及び、シャッタ駆動部１０１６を含む。開口駆動部１０１４の例には、１つまたは複数のトランジスタが含まれる。シャッタ駆動部１０１６の例には、１つまたは複数のトランジスタが含まれる。さらに、モータ１０１０の例には、ステッピングモータが含まれる。駆動機構１０１２の例には、コイルが含まれる。露出装置１００８は、開口絞り１０１８及びシャッタ絞り１０２０を含む。

プロセッサ１００２は、カメラ１０００の、例えば、開口絞り１０１８間に形成される開口部の大きさの増加、開口部の大きさの減少、シャッタ絞り１０２０の開閉速度の増加、速度の減少等、露出を変更するように、コンピューティングデバイス１３６のプロセッサからインタフェース１００６を介して命令を受信する。プロセッサ１００２は、命令を受信すると、開口駆動部１０１４に信号を送信する。開口駆動部１０１４は、信号を受信すると、電流信号を生成し、モータ１０１０に送信する。モータ１０１０は、電流信号を受信すると、回転して、開口絞り１０１８の開口の直径を変えて、カメラ１０００の焦点深度をさらに変更する。例えば、より小さい直径を有する開口等、開口を狭くするには、焦点深度は、例えば、より大きい直径を有する開口等、広い開口に比べて、より大きくなる。さらに、命令を受信すると、プロセッサ１００２は、他の信号を生成し、その信号をシャッタ駆動部１０１６に送信する。他の信号を受信すると、シャッタ駆動部１０１６は、ある量の電流信号を生成し、その電流信号を駆動機構１０１２に送信する。駆動機構１０１２は、電流信号を受信すると、ある量の電磁場を生成して、シャッタ絞りをある速度で開閉して、カメラ１０００の光検出器システム１０３０によって検出される光の量を制御する。

さらに、光検出器システム１０３０がキャプチャした画像はいずれも、プロセッサ１００２によってメモリデバイス１００２に記憶される。画像は、プロセッサ１００２によってメモリデバイス１００２からアクセスされ、インタフェース１００６を介してコンピューティングデバイス１３６のプロセッサに送信される。

図１１は、コンピューティングデバイス１３６の実施形態の図である。コンピューティングデバイス１３６は、プロセッサ１１０２、メモリデバイス１１０４、インタフェース１１０６、インタフェース１１０８、及び、インタフェース１１１０を含む。プロセッサ１１０２及びメモリデバイス１１０４の様々な機能をここに記載する。さらに、プロセッサ１１０２は、カメラ１０００（図１０）のプロセッサ１００２とインタフェース１１０６を介して通信する。プロセッサ１１０２は、ＨＭＤ９００のプロセッサ９０２とインタフェース１１０８を介して通信し、プロセッサ１１０２は、例えば、ハンドヘルドコントローラ１０８（図１Ａ）、ハンドヘルドコントローラ１３４（図１Ｂ）、または、ハンドヘルドコントローラ１５４（図１Ｃ）等のハンドヘルドコントローラとインタフェース１１１０を介して通信する。

図１２は、ＨＭＤ１１０（図１Ａ）またはＨＭＤ１５２（図１Ｃ）の例であるＨＭＤ１２００の等角図である。ＨＭＤ１２００は、ユーザ１０２が装着する時、ユーザの頭部の後ろにくるバンド１２０２、１２０４を含む。さらに、ＨＭＤ１２００は、例えば、スピーカ等のイヤホン１２０６Ａ、１２０６Ｂを含み、イヤホン１２０６Ａ、１２０６Ｂは、例えば、ビデオゲームのゲームコード、ゲームプログラム、仮想環境生成プログラム等のコンピュータプログラムの実行によって生成される、例えば、ゲーム環境、仮想ツアー環境等の仮想環境に関連付けられた音を出す。ＨＭＤ１２００は、ＨＭＤ１２００のディスプレイ画面に表示される仮想環境をユーザが見るのを可能にするレンズ１２０８Ａ、１２０８Ｂを含む。溝１２８０は、ユーザ１０２の鼻に載って鼻でＨＭＤ１２００を支持する。

いくつかの実施形態においては、ＨＭＤ１２００は、ユーザ１０２がサングラス、眼鏡、または、老眼鏡を装着するのと同じように、ユーザ１０２によって装着される。

図１３は、本開示に記載の実施形態による、ビデオゲームのインタラクティブゲームプレイのシステムを示す。ＨＭＤ９００を装着しているユーザ１０２が示される。ＨＭＤ９００は、眼鏡、ゴーグル、または、ヘルメットと同じように装着され、ビデオゲームまたは他のコンテンツをユーザ１０２に表示するように構成される。ＨＭＤ９００は、ユーザ１０２の目のすぐ近くの表示機構（例えば、光学素子及びディスプレイ画面）とＨＭＤ９００に配信されるコンテンツのフォーマットとによって、ユーザ１０２に没入型体験を提供する。一例において、ＨＭＤ９００は、ユーザ１０２の各目に対して表示領域を提供し、表示領域は、ユーザ１０２の視野の大部分または全体を占めることもある。

一実施形態においては、ＨＭＤ９００は、コンピューティングデバイス１３６に接続される。コンピューティングデバイス１３６への接続は、有線または無線である。コンピューティングデバイス１３６は、一実施形態においては、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレット、モバイルデバイス、スマートフォン、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス、スマートテレビ等を含むが、これらに限らない任意の一般的または専用コンピュータである。いくつかの実施形態においては、ＨＭＤ９００は、例えば、インターネット、イントラネット、ローカルエリアネットワーク、広域ネットワーク等、コンピュータネットワーク１３１０に直接、接続し、これは、個別のローカルコンピュータを必要とすること無く、クラウドゲーミングを可能にする。一実施形態においては、コンピューティングデバイス１３６は、ビデオゲーム（及び、他のデジタルコンテンツ）を実行し、ＨＭＤ９００によるレンダリングのために、ビデオゲームからビデオ及び音声を出力する。コンピューティングデバイス１３６は、本明細書ではクライアントシステムと呼ぶこともあり、これは、一例においては、ビデオゲームコンソールである。

コンピューティングデバイス１３６は、いくつかの実施形態においては、ローカルまたはリモートのコンピュータであり、コンピュータは、エミュレーションソフトウェアを実行する。クラウドゲーミングの実施形態において、コンピューティングデバイス１３６は、リモートであり、データセンタで仮想化される複数のコンピューティングサービスによって表され、データセンタでは、ゲームシステム／論理が、仮想化されて、コンピュータネットワーク１３１０を通してユーザ１０２に配信される。

ユーザ１０２は、ハンドヘルドコントローラ１０８を操作して、仮想環境への入力を行う。一例において、ハンドヘルドコントローラ１０８は、例えば、ユーザ１０２がいる現実世界環境等、環境の画像をキャプチャする。これらのキャプチャされた画像を分析して、ユーザ１０２、ＨＭＤ９００、及び、ハンドヘルドコントローラ１０８の位置と動きを決定する。一実施形態においては、ハンドヘルドコントローラ１０８は、ライト（単数または複数）を含み、ライトを追跡して、ハンドヘルドコントローラ１０８の位置及び向きを決定する。さらに、以下により詳細に記述するように、一実施形態においては、ＨＭＤ９００は、１つまたは複数のライトを含み、そのライトをマーカとして追跡して、仮想環境の表示中、ほぼリアルタイムで、ＨＭＤ９００の位置及び向きを決定する。

ハンドヘルドコントローラ１０８は、一実施形態においては、現実世界環境からの音をキャプチャする１つまたは複数のマイクロフォンを含む。マイクロフォンアレイがキャプチャした音を処理して、音源の位置を特定する。特定された位置からの音が、選択的に利用または処理されて、特定された位置からではない他の音を除外する。さらに、一実施形態においては、ハンドヘルドコントローラ１０８またはＨＭＤ９００は、複数の撮像装置（例えば、立体視カメラ）、赤外線（ＩＲ）カメラ、デプスカメラ、及び、これらの組み合わせを含む。

いくつかの実施形態においては、コンピューティングデバイス１３６は、コンピューティングデバイス１３６の処理ハードウェアでローカルにゲームを実行する。ゲームまたはコンテンツは、物理的媒体の形態等の任意の形態（例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップまたはカード等）で、または、コンピュータネットワーク１３１０からダウンロードして取得される。

いくつかの実施形態においては、コンピューティングデバイス１３６は、クラウドゲーミングプロバイダ１３１２とコンピュータネットワーク１３１０を介して通信するクライアントとして機能する。クラウドゲーミングプロバイダ１３１２は、ユーザ１０２がプレイしているビデオゲームを維持、実行する。コンピューティングデバイス１３６は、ＨＭＤ９００及びハンドヘルドコントローラ１０８からクラウドゲーミングプロバイダ１３１２に入力を送信し、クラウドゲーミングプロバイダ１３１２は、入力を処理して、実行しているビデオゲームのゲーム状態に影響を与える。ビデオデータ、音声データ、及び、触覚フィードバックデータ等の実行しているビデオゲームからの出力は、コンピューティングデバイス１３６に送信される。コンピューティングデバイス１３６は、さらに、送信前にデータを処理する、または、関連する装置にデータを直接送信する。例えば、ビデオストリーム及び音声ストリームは、ＨＭＤ９００に提供され、振動フィードバックコマンドが、ハンドヘルドコントローラ１０８に提供される。

一実施形態においては、ＨＭＤ９００及びハンドヘルドコントローラ１０８は、コンピュータネットワーク１３１０に接続して、クラウドゲーミングプロバイダ１３１２と通信するネットワーク化されたデバイスである。例えば、コンピューティングデバイス１３６は、ビデオゲーム処理を行わずネットワークトラフィックの通過を促進するルータ等のローカルネットワークデバイスである。ＨＭＤ９００及びハンドヘルドコントローラ１０８のコンピュータネットワーク１３１０への接続は、有線または無線である。

いくつかの実施形態においては、ＨＭＤ９００で実行されるコンテンツ、または、ディスプレイデバイス１３１４に表示可能なコンテンツは、コンテンツソース１３１６のいずれかから取得される。コンテンツソースの例は、例えば、ダウンロード可能なコンテンツ及び／またはストリーミングコンテンツを提供するインターネットのウェブサイトを含んでよい。ある例においては、コンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト、仮想ツアーコンテンツ、漫画コンテンツ等、任意の種類のマルチメディアコンテンツを含んでよい。

一実施形態においては、ユーザ１０２は、ＨＭＤ９００でビデオゲームをプレイしており、このようなコンテンツは、没入型の三次元（３Ｄ）インタラクティブコンテンツである。ＨＭＤ９００上のコンテンツは、ユーザ１０２がプレイしている間、ディスプレイデバイス１３１４に共有される。一実施形態においては、ディスプレイデバイス１３１４に共有されるコンテンツは、ユーザ１０２の近くで、または、リモートで、他のユーザが、ユーザ１０２のゲームプレイを同時に見るのを可能にする。さらに別の実施形態においては、ディスプレイデバイス１３１４でユーザ１０２のゲームプレイを見ている他のユーザは、ユーザ１０２とインタラクティブに参加する。例えば、ディスプレイデバイス１３１４でゲームプレイを見ている他のユーザは、ゲームシーンのキャラクタを制御し、フィードバックを行い、交流を行い、及び／または、（テキスト、音声、アクション、ジェスチャによって等）コメントを提供し、これによって、ＨＭＤ９００を装着していない他のユーザがユーザ１０２と交流することが可能になる。

図１４は、本開示に記載の実施形態による、ＨＭＤ１４００を示す。ＨＭＤ１４００は、ＨＭＤ１３２（図１Ｂ）の例である。図に示すように、ＨＭＤ１４００は、複数の光センサ１４０２Ａ〜Ｈ、Ｊ及びＫを含む（例えば、ここで、１４０２Ｋ及び１４０２Ｊは、ＨＭＤヘッドバンドの後部または後ろ側を向いて位置している）。これらの光センサの各々は、特定の形及び／または位置を有するように構成される。光センサ１４０２Ａ、１４０２Ｂ、１４０２Ｃ、及び、１４０２Ｄは、ＨＭＤ１４００の、例えば、前側等、前面に配置される。光センサ１４０２Ｅ及び１４０２Ｆは、ＨＭＤ１４００の側面に配置される。また、光センサ１４０２Ｇ及び１４０２Ｈは、ＨＭＤ９００の前面と側面にわたるように、ＨＭＤ１４００の角に配置される。

光センサ１４０２Ａ〜Ｈ、Ｊ、及び、Ｋの１つまたは複数によって検出されるレーザビームの１つまたは複数に基づいて、現実世界環境のＨＭＤ１４００の位置が決定される。光センサの一部は、プロジェクタ１３８Ａと１３８Ｂ（図１Ｂ）のうちの１つに対するＨＭＤ１４００の特定の向きによって、ビームを検出できないことをさらに理解されよう。いくつかの実施形態においては、慣性センサが、ＨＭＤ１４００に配置され、光センサ１３０２Ａ〜Ｈ、Ｊ、及び、Ｋの代わりに位置に関するフィードバックを提供する。いくつかの実施形態においては、光センサ１３０２Ａ〜Ｈ、Ｊ、及び、Ｋと慣性センサとは、協働して、位置／動作データの混合と選択とを可能にする。

ＨＭＤ１４００は、一実施形態においては、１つまたは複数のマイクロフォンをさらに含む。図示の実施形態のおいては、ＨＭＤ１４００は、ＨＭＤ１４００の前面に位置するマイクロフォン１４０４Ａ及び１４０４Ｂと、ＨＭＤ１４００の側面に位置するマイクロフォンとを含む。マイクロフォンアレイを利用することによって、各マイクロフォンからの音を処理して、音源の位置を決定する。この情報は、不要な音源の除外、音源と視覚的特定との関連付け等を含む、様々な方法で利用される。

いくつかの実施形態においては、ＨＭＤ１４００は、１つまたは複数の撮像装置を含む。図示の実施形態において、ＨＭＤ１４００は、撮像装置１４０６Ａ及び１４０６Ｂを含むことが示されている。いくつかの実施形態においては、立体視撮像装置を利用することによって、現実世界環境の３Ｄ画像及びビデオが、ＨＭＤ１４００の視点からキャプチャされる。このようなビデオが、ユーザ１０２に提示されて、ＨＭＤ１４００を装着するユーザ１０２に、「ビデオシースルー」能力を提供する。すなわち、ユーザ１０２は、厳密な意味でＨＤＭ１４００を透かして見ることはできないが、にもかかわらず、撮像装置１４０６Ａ及び１４０６Ｂによってキャプチャされたビデオは、ＨＭＤ１４００の外部の現実世界環境を、まるでＨＭＤ１４００を透かして見ているのと機能的に同じものを提供する。

このようなビデオは、一実施形態においては、仮想要素で拡張されて、拡張現実体験を提供する、または、他の様式で、仮想要素と混合、または、融合される。図示の実施形態においては、２つのカメラを、ＨＭＤ１４００の前面に示しているが、外部を向いている任意の数のカメラがあってよい、または、１つのカメラをＨＭＤ１４００に設置して、任意の方向に向けてよいことは理解されよう。例えば、他の実施形態においては、環境の追加のパノラマ画像をキャプチャするためにＨＭＤ１４００の側面に取り付けられたカメラがあってよい。

図１５は、ユーザ１０２が操作するＨＭＤ９００にビデオゲームコンテンツをレンダリングできるクライアントシステム１５０２を用いたゲームプレイの一例を示す。この例においては、ＨＭＤ９００に提供される、例えば、ゲームコンテンツ等の仮想物体の状態は、リッチ・インタラクティブ３Ｄ空間にある。上記のように、仮想物体の状態が、クライアントシステム１５０２にダウンロードされる、または、一実施形態においては、クラウド処理システムによって実行される。クラウドゲーミングサービス１５３２は、ユーザのユーザアカウントのデータサービス１５０４を含み、ユーザは、特定のゲーム１５３０へのアクセス、他の友達との体験の共有、コメントの投稿、及び、自分のアカウント情報の管理を許可される。

クラウドゲーミングサービス１５３２は、特定のユーザアカウントのためのゲームデータ１５０６を記憶し、ユーザアカウントは、ゲームプレイ中、将来のゲームプレイ中、ソーシャルメディアネットワークへの共有中に使用可能であってよく、または、トロフィ、賞、ステータス、ランキング等の記憶に使用されてよい。ソーシャルデータ１５０８は、クラウドゲーミングサービス１５３２によって管理される。一実施形態において、ソーシャルデータ１５０８は、別個のソーシャルメディアネットワークによって管理され、ソーシャルメディアネットワークは、コンピュータネットワーク１３１０を通してクラウドゲーミングサービス１５３２とインタフェースされる。コンピュータネットワーク１３１０を介して、任意の数のクライアントシステム１５１０が、コンテンツへのアクセスと他のユーザとのインタラクションとのために接続される。

引き続き、図１５の例に関して、ＨＭＤ９００で見られる３Ｄインタラクティブシーンは、３Ｄビューで示されるキャラクタ等のゲームプレイ、または、他の仮想環境を含む。例えば、Ｐ１等の一つのキャラクタが、ＨＭＤ９００を装着しているユーザ１０２によって制御される。この例は、二人のプレイヤ間のバスケットボールシーンを示す、ユーザ１０２は、３Ｄビューで、他のキャラクタに対してボールをダンクシュートしている。他のキャラクタは、ゲームのＡＩ（人工知能）キャラクタであってよい、または、他のプレイヤ（Ｐｎ）（複数可）によって制御されてよい。ＨＭＤ９００を装着しているユーザ１０２は、使用している空間を動いているのが示されており、ＨＭＤ９００は、ユーザ１０２の頭部の動き及び体の位置に基づいて動く。カメラ１０４は室内のディスプレイデバイス１５１４の上に位置するとして示されているが、ＨＭＤ９００を使用するために、カメラ１０４はＨＭＤ９００の画像をキャプチャできる任意の場所に置かれる。従って、ＨＭＤ９００にレンダリングされるコンテンツは、カメラ１０４の視点からＨＭＤ９００が位置する方向に依存するので、ユーザ１０２は、カメラ１０４及びディスプレイデバイス１５１４から約９０度回転されて示される。言うまでもなく、ＨＭＤ９００を使用中、ユーザ１０２は、ＨＭＤ９００によってレンダリングされる動的な仮想シーンを利用するために必要に応じて、動き、頭部を回転させ、様々な方向を見ている。

図１６を参照すると、本開示に記載の実施形態による、ＨＭＤ１６００の構成要素の例の図が示されている。ＨＭＤ１６００は、図１Ａに示すＨＭＤ１１０、または、図１ＢのＨＭＤ１３２、または、図１ＣのＨＭＤ１５２の例である。有効にされる構成及び機能に応じて、より多くのまたはより少ない構成要素が含まれてよい、または、ＨＭＤ１６００から除外されてよいことは理解すべきである。ＨＭＤ１６００は、ＨＭＤ１６００のプロセッサが実行しているように本明細書に記載のプログラム命令を実行するためのプロセッサ１６０２を含む。ＨＭＤ１６００のメモリデバイス１６０４が、記憶のために提供され、一実施形態においては、揮発性メモリと不揮発性メモリの両方を含む。ディスプレイ１６０６が、ユーザ１０２が見る視覚インタフェースを提供するためにＨＭＤ１６００内に含まれる。

ディスプレイ１６０６は、１つの単一のディスプレイ画面によって、または、ユーザ１０２の片目ごとに別々のディスプレイ画面の形態で規定される。２つのディスプレイ画面が備えられる時、左目用と右目用のビデオコンテンツを別々に提供することが可能である。片目ごとにビデオコンテンツを別々に提示することは、例えば、３Ｄコンテンツのより優れた没入型制御を提供する。本明細書に記載するように、一実施形態においては、第２画面は、一方の目のための出力を使用することによって、ＨＭＤ１６００の第２画面コンテンツを提供され、次に、２次元（２Ｄ）形式で表示するために、コンテンツをフォーマットする。一方の目は、一実施形態においては、左目用ビデオフィードであるが、他の実施形態においては、右目用ビデオフィードである。

電池１６０８はＨＭＤ１６００の電源として備えられる。他の実施形態においては、電源は電力に対するコンセント接続を含む。他の実施形態においては、電力へのコンセント接続と電池１６０８とが備えられる。動作検出モジュール１６１０は、磁力計１６１２、加速度計１６１４、及び、ジャイロスコープ１６１６等の様々な種類の動作検知ハードウェアのいずれかを含む。

加速度計１６１４は、加速度及び重力により誘発される反力を測定する装置である。単軸及び多軸（例えば、６軸）のモデルは、異なる方向の加速度の大きさ及び方向を検出できる。加速度計１６１４は、傾斜、振動、及び衝撃を感知するために使用される。一実施形態においては、３つの加速度計を使用して重力の方向を提供し、重力の方向は、２つの角度（世界空間ピッチ及び世界空間ロール）の絶対基準を与える。

磁力計１６１２は、ＨＭＤ１６００の近傍で磁場の強さと方向とを測定する。一実施形態においては、磁力計はＨＭＤ１６００内で使用され、世界空間ヨー角度の絶対基準を保証する。一実施形態においては、磁力計１６１２は、±８０マイクロテスラである地球磁場にわたるように設計される。磁力計は、金属の影響を受け、実際のヨーと単調であるヨー測定値を提供する。磁場は、環境の中の金属のために歪められ、このことがヨー測定の歪みを生じさせる。必要に応じて、この歪みは、ジャイロスコープまたはカメラ等の他のセンサからの情報を使用して、較正される。一実施形態においては、加速度計１６１４は、磁力計１６１２と共に使用されて、ＨＭＤ１６００の傾斜とアジマスとを取得する。

ジャイロスコープ１６１６は、角運動量の原理に基づいて向きを測定または維持する装置である。一実施形態においては、３つのジャイロスコープが慣性感知に基づいて各軸（ｘ、ｙ、ｚ）に対する移動に関する情報を提供する。ジャイロスコープは高速回転を検出するのに役立つ。しかしながら、ジャイロスコープは、絶対基準が存在しなければ、経時的にドリフトする。ドリフトを低減するために、ジャイロスコープは周期的にリセットされる。リセットは、物体の視覚的追跡、加速度計、磁力計等に基づいた位置／向きの決定等、他の利用できる情報を使用して行ってよい。

カメラ１６１８は、現実世界環境の画像及び画像ストリームをキャプチャするために備えられる。一実施形態においては、後ろを向いている（ユーザがＨＭＤ１６００のディスプレイを見ている時にユーザから離れる方に向けられた）カメラと、前を向いている（ユーザがＨＭＤ１６００のディスプレイを見ている時にユーザの方に向けられた）カメラとを含む複数のカメラが（任意選択で）ＨＭＤ１６００に含まれる。さらに、いくつかの実施形態においては、デプスカメラ１６２０が、現実世界環境の物体の奥行情報を感知するためにＨＭＤ１６００に含まれる。

ＨＭＤ１６００は、音声出力を提供するためのスピーカ１６２２を含む。また、一実施形態においては、マイクロフォン１６２４が、周囲環境からの音、ユーザが行う発話等を含む、現実世界環境からの音声をキャプチャするために含まれる。いくつかの実施形態においては、ＨＭＤ１６００は、ユーザ１０２に触覚フィードバックを提供するための触覚フィードバックモジュール１６２６を含む。一実施形態においては、触覚フィードバックモジュール１６２６は、ユーザに触覚フィードバックを提供するようにＨＭＤ１６００の動き及び／または振動を起こすことができる。

光センサ１６３０が、ビームの１つまたは複数を検出するために備えられる。カードリーダ１６３２が備えられて、ＨＭＤ１６００が、メモリカードの情報を書き込み、メモリカードから情報を読み取るのを可能にする。ＵＳＢインタフェース１６３４が、周辺装置の接続、または、他のポータブルデバイス、コンピュータ、ゲームコンソール等、他のデバイス等への接続を可能にするインタフェースの一例として含まれる。ＨＭＤ１６００の様々な実施形態において、様々な種類のインタフェースのいずれかが、ＨＭＤ１６００のより良い接続性を可能にするように含まれてよい。

いくつかの実施形態においては、Ｗｉ−Ｆｉモジュール１６３６が、無線ネットワーキング技術を介したコンピュータネットワークへの接続を可能にするために含まれる。また、一実施形態においては、ＨＭＤ１６００は、他のデバイスへの無線接続を可能にするために、Ｂｌｕｅｔｏｏｔｈモジュール１６３８を含む。通信リンク１６４０は、他のデバイスへの接続のために含まれる。一実施形態においては、通信リンク１６４０は無線通信のために赤外線伝送を利用する。他の実施形態においては、通信リンク１６４０は、他のデバイスとの通信のために様々な無線または有線の伝送プロトコルのいずれかを利用する。

入力ボタン／センサ１６４２は、ユーザに入力インタフェースを提供するために含まれる。ボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール等の様々な種類の入力インタフェースのいずれかが含まれてよい。一実施形態においては、超音波通信モジュール１６４４が、超音波技術を介して他のデバイスとの通信を容易にするためにＨＭＤ１６００に含まれる。

いくつかの実施形態においては、バイオセンサ１６４６は、ユーザ１０２からの、生理学的データの検出を可能にするために含まれる。一実施形態においては、バイオセンサ１６４６は、ユーザ／プロファイル等を識別するために、ユーザの皮膚を通したユーザの生体電気信号の検出、声検出、目の網膜検出のための１つまたは複数の乾式電極を含む。

ＨＭＤ１６００の上記の構成要素は、ＨＭＤ１６００に含まれてよい単に例示的な構成要素として記載した。本開示に記載した様々な実施形態においては、ＨＭＤ１６００は様々な上記の構成要素の一部を含むこともあれば、含まないこともある。ＨＭＤ１６００の実施形態はさらに、本明細書に記載した本発明の態様を容易にするために、本明細書には記載していないが、当分野で既知の他の構成要素を含んでよい。

一実施形態においては、ＨＭＤ１６００は、発光ダイオードを含み、発光ダイオードは、光センサ１６３０に追加して用いられて、ＨＭＤ１６００の位置及び／または向きを決定する。例えば、ＨＭＤ１６００が位置する環境内にあるＬＥＤ及びカメラを用いて、光センサ１６３０と本明細書に記載の方法とを用いて決定された位置及び／または向きを確認または否定する。

本開示に記載の様々な実施形態において、上記ハンドヘルドデバイスは、ディスプレイに表示されるインタラクティブアプリケーションと併せて利用されて、様々なインタラクティブ機能を提供することを当業者は理解されよう。本明細書に記載の例示的な実施形態は、制限としてではなく、例としてのみ提供される。

一実施形態においては、本明細書においては、クライアント及び／またはクライアントデバイスは、ＨＭＤ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、ワイヤレスデバイス、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んでよい。典型的に、クライアントは、符号化ビデオストリームを受信し、ビデオストリームを復号し、結果として生じたビデオを、ユーザ、例えば、ゲームのプレイヤに提示するように構成される。符号化ビデオストリームを受信するプロセス、及び／または、ビデオストリームを復号するプロセスは、典型的に、個々のビデオフレームをクライアントの受信バッファに記憶することを含む。ビデオストリームは、クライアントに一体化されたディスプレイ上で、または、モニタもしくはテレビ等の別個のデバイス上で、ユーザ１０２に提示されてよい。

クライアントは、任意選択で複数のゲームプレイヤに対応するように構成される。例えば、ゲームコンソールは、２、３、４、または、それ以上の同時プレイヤ（例えば、Ｐ１、Ｐ２、．．．Ｐｎ）をサポートするように構成されてよい。これらのプレイヤの各々は、ビデオストリームを受信もしくは共有し、または、１つのビデオストリームは、各プレイヤに合わせて特に生成された、例えば、各プレイヤの視点に基づいて生成された、フレームの領域を含み得る。任意の数のクライアントが、ローカル（例えば、同じ場所にいる）、または、地理的に分散している。ゲームシステムに含まれるクライアントの数は、１もしくは２から、何千、何万、または、それ以上と大きく異なる。本明細書では、「ゲームプレイヤ」という用語は、ゲームをプレイする人を指して使用され、「ゲームプレイデバイス」という用語は、ゲームをプレイするのに使用されるデバイスを指して使用される。いくつかの実施形態においては、ゲームプレイデバイスは、協力してゲーム体験をユーザに配信する複数のコンピューティングデバイスを指してよい。

例えば、ゲームコンソール及びＨＭＤは、ビデオサーバシステムと協働して、ＨＭＤを通して見るゲームを配信する。一実施形態においては、ゲームコンソールは、ビデオサーバシステムからビデオストリームを受信し、ゲームコンソールは、ビデオストリームまたはビデオストリームに対するアップデートをレンダリングのためにＨＭＤ及び／またはテレビに転送する。

さらに、ＨＭＤは、ビデオゲームコンテンツ、映画コンテンツ、ビデオクリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、ギャンブルゲームコンテンツ、電話会議／ミーティングコンテンツ、ソーシャルメディアコンテンツ（例えば、投稿、メッセージ、メディアストリーム、友達イベント、及び／または、ゲームプレイ）、ビデオ部分及び／または音声コンテンツ、ブラウザ及びアプリケーションを介してインターネット経由でソースから消費するようにされたコンテンツ、及び、任意の種類のストリーミングコンテンツ等、生成または使用される任意の種類のコンテンツを見る、及び／または、それらとインタラクトするために使用される。当然、上記に列挙したコンテンツは、制限ではなく、ＨＭＤで視聴できる、または、画面もしくはＨＭＤの画面にレンダリングできる限り、任意の種類のコンテンツがレンダリングできる。

一実施形態においては、クライアントは、受信したビデオを変更するシステムをさらに含む。例えば、クライアントは、１つのビデオ画像を他のビデオ画像にオーバーレイするため、ビデオ画像をトリミングするため等、さらなるレンダリングを行う。他の例としては、クライアントは、Ｉフレーム、Ｐフレーム、及び、Ｂフレーム等、様々な種類のビデオフレームを受信し、これらのフレームを、ユーザに表示する画像に処理する。いくつかの実施形態においては、クライアントのメンバーは、さらなるレンダリング、シェーディング、３Ｄへの変換、２Ｄへの変換、歪み除去、サイジング等の操作をビデオストリームに対して行うように構成される。クライアントのメンバーは、任意選択で、複数の音声ストリームまたはビデオストリームを受信するように構成される。

クライアントの入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または位置感知デバイス、マウス、タッチスクリーン、神経インタフェース、カメラ、今後開発される入力装置等を含む。

いくつかの実施形態においては、ビデオソースは、ストレージ等のコンピュータ可読媒体に記憶される、例えば、ハードウェア、ファームウェア、及び／または、ソフトウェアのレンダリングロジックを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成される。レンダリングロジックの全てまたは一部は任意選択で１つまたは複数のグラフィックスプロセッシングユニット（ＧＰＵ）内に配置される。レンダリングロジックは、典型的に、ゲーム状態及び視点に基づいて、物体間の３次元空間関係を決定するために、及び／または、適切なテクスチャ等を適用するために構成された処理段階を含む。レンダリングロジックは、符号化される未処理ビデオを生成する。例えば、未処理ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、ＨＴＭＬ−５、．ｗaｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ、Ｘｖｉｄ、ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌ ｖｉｄｅｏ、ｍｐ３等に従って符号化される。符号化プロセスによって、ビデオストリームを生成し、ビデオストリームは、任意選択でデバイスのデコーダに配信するためにパッケージ化される。ビデオストリームはフレームサイズ及びフレームレートで特徴付けられる。典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８、１０８０ｐを含むが、任意の他のフレームサイズが使用されてよい。フレームレートは１秒あたりのビデオフレーム数である。一実施形態においては、ビデオストリームは異なる種類のビデオフレームを含む。例えば、Ｈ．２６４規格は「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、ディスプレイデバイス上の全てのマクロブロック／ピクセルをリフレッシュするための情報を含み、Ｐフレームはそのサブセットをリフレッシュするための情報を含む。Ｐフレームは典型的にはＩフレームよりもデータサイズが小さい。本明細書では、「フレームサイズ」という用語はフレーム内のピクセル数を指す。用語「フレームデータサイズ」は、フレームを記憶するために必要とされるバイト数を指して使用される。

いくつかの実施形態においては、クライアントは、汎用コンピュータ、専用コンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティングデバイス、携帯ゲーム機、セルラーフォン、セットトップボックス、ストリーミングメディアインタフェース／デバイス、スマートテレビもしくはネットワーク化ディスプレイ、または、本明細書に規定されるクライアントの機能を達成するように構成できる任意の他のコンピューティングデバイスである。一実施形態においては、クラウドゲーミングサーバは、ユーザによって利用されているクライアントデバイスの種類を検出するように、且つ、ユーザのクライアントデバイスに適切なクラウドゲーミング体験を提供するように構成される。例えば、画像設定、音声設定、及び、他の種類の設定が、ユーザのクライアントデバイスに合わせて最適化されてよい。

図１７は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）１７０２は、地理的に分散され、コンピュータネットワーク１３１０を介して接続されたユーザ１７００−１、１７００−２、１７００−３、１７００−４等に多数の情報サービスを配信する。ユーザ１７００−１または１７００−２また１７００−３、および１７００−４のうちのいずれの代わりにも、ユーザ１０２が、多数の情報サービスを受信することに注意すべきである。一実施形態においては、ＩＳＰは株価更新等の一種類のサービス、または、放送媒体、ニュース、スポーツ、ゲーム等の様々なサービスを配信する。さらに、各ＩＳＰによって提供されるサービスは動的である、すなわち、サービスは任意の時点で追加または取り除くことができる。従って、特定の種類のサービスを特定の個人に提供するＩＳＰは経時的に変化し得る。例えば、ユーザは、ユーザが地元にいる間、ユーザに近接するＩＳＰによってサービスを提供され、ユーザが異なる都市に旅行すると、異なるＩＳＰによってサービスを提供される。地元のＩＳＰは必要な情報及びデータを新しいＩＳＰに転送し、これによりユーザの情報は新しい都市までユーザを「追いかけ」、データをユーザにより近く、よりアクセスしやすくする。別の実施形態においては、マスタ−サーバ関係が、ユーザの情報を管理するマスタＩＳＰと、マスタＩＳＰからの制御下でユーザと直接、インタフェースするサーバＩＳＰとの間に確立される。他の実施形態においては、クライアントが世界を動き回ると、データはあるＩＳＰから他のＩＳＰに転送され、ユーザにサービスを提供するためにより良い位置にあるＩＳＰが、これらのサービスを提供するＩＳＰになる。

ＩＳＰ１７０２は、コンピュータネットワーク１３１０を介して顧客にコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）１７０６を含む。ＡＳＰモデルを使用して提供されるソフトウェアは、オンデマンドソフトウェアまたはサービス型ソフトウェア（ＳａａＳ）とも呼ばれる。（顧客関係管理等の）特定のアプリケーションプログラムにアクセスを提供する簡略な形式は、ＨＴＴＰ等の標準プロトコルの使用による。アプリケーションソフトウェアはベンダのシステムに存在し、ベンダによって提供される専用クライアントソフトウェア、またはシンクライアント等の他のリモートインタフェースによって、ＨＴＭＬを使用するウェブブラウザを通してユーザによってアクセスされる。

地理的に広いエリアにわたって配信されるサービスは、クラウドコンピューティングを使用することが多い。クラウドコンピューティングは、動的にスケラブルで、多くの場合仮想化されたリソースがコンピュータネットワーク１３１０を介してサービスとして提供されるコンピューティングの形式である。ユーザは、ユーザをサポートする「クラウド」の技術インフラの専門家である必要はない。一実施形態においては、クラウドコンピューティングは、インフラとしてのサービス（ＩaａＳ）、プラットフォームとしてのサービス（ＰａａＳ）、及び、ソフトウェアとしてのサービス（ＳａａＳ）等の異なるサービスに分けられる。クラウドコンピューティングサービスは、ウェブブラウザからアクセスされる共通ビジネスアプリケーションをオンラインで提供することが多く、ソフトウェア及びデータはサーバに記憶される。クラウドという用語は、インターネットがコンピュータネットワーク図でどのように描かれているのかに基づいて（例えば、サーバ、ストレージ、及び、論理を使用する）インターネットの隠喩として使用され、インターネットが隠している複雑なインフラの抽象概念である。

さらに、ＩＳＰ１７０２は、シングルプレーヤビデオゲーム及びマルチプレーヤビデオゲームをプレイするゲームクライアントが使用するゲーム処理サーバ（ＧＰＳ）１７０８を含む。インターネットを介してプレイされる大部分のビデオゲームは、ゲームサーバへの接続を介して動作する。典型的に、ゲームは、プレイヤからデータを収集し、他のプレイヤにデータを分散する専用のサーバアプリケーションを使用する。これはピアツーピア構成より効率が良く且つ効果的であるが、サーバアプリケーションをホストするために別個のサーバを必要とする。他の実施形態においては、ＧＰＳが、プレイヤ間に通信を確立し、各プレイヤのゲームプレイデバイスは集中型ＧＰＳに依存することなく情報を交換する。

専用ＧＰＳは、クライアントから独立して実行するサーバである。このようなサーバは通常、データセンタにある専用ハードウェアで実行され、より多くの帯域幅及び専用処理力を提供する。専用サーバは、大部分のＰＣベースのマルチプレイヤゲームにとってゲームサーバをホストする好ましい方法である。大量マルチプレーヤオンラインゲームは、ゲームタイトルを所有するソフトウェア企業によって通常ホストされる専用サーバで実行し、専用サーバがコンテンツを制御し、更新することを可能にする

放送処理サーバ（ＢＰＳ）１７１０は音声信号またはビデオ信号を視聴者に分配する。非常に狭い範囲の視聴者に対する放送はナローキャスティングと呼ばれることがある。放送分配の最後の行程は、信号が聴取者または視聴者にどのように達するのかであり、信号はラジオ局またはテレビ局と同様に無線でアンテナ及び受信器まで来てよい、または、局を介してもしくはネットワークから直接、ケーブルテレビもしくはケーブルラジオ（もしくは「無線ケーブル」）を通って来てよい。インターネットも、特に信号及び帯域幅を共有可能にするマルチキャスティングで、ラジオまたはテレビのいずれかを受信者にもたらしてよい。歴史的に、放送は全国放送または地域放送等の地理的地域によって区切られてきた。しかしながら、高速インターネットの拡散により、コンテンツは世界のほとんどすべての国に到達し得るので、放送は地理によって規定されない。

ストレージサービスプロバイダ（ＳＳＰ）１７１２はコンピュータ記憶スペース及び関係する管理サービスを提供する。ＳＳＰは定期的なバックアップ及びアーカイビングも提供する。サービスとしてストレージを提供することによって、ユーザは必要に応じてより多くのストレージを注文できる。他の主要な長所は、ＳＳＰはバックアップサービスを含み、ユーザは、ユーザのコンピュータのハードドライブが故障した場合、全てのデータを失わないという点である。さらに、いくつかの実施形態においては、複数のＳＳＰがユーザーデータの完全または部分的なコピーを有し、ユーザがいる場所やデータにアクセスするために使用するデバイスに関わりなく、ユーザは、効率的にデータにアクセスできる。例えば、ユーザは、自宅のコンピュータでだけでなく、移動中、携帯電話でも、個人ファイルにアクセスできる。

通信プロバイダ１７１４は、ユーザに接続機能を提供する。１つの種類の通信プロバイダは、インターネットへのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイヤルアップ、ＤＳＬ、ケーブルモデム、ファイバ、無線、または専用高速相互接続等の、インターネットプロトコルデータグラムを配信するのに適したデータ伝送技術を使用して、ＩＳＰの顧客を接続する。通信プロバイダは、電子メール、インスタントメッセージ、及び、ＳＭＳテキストメッセージ等、メッセージングサービスも提供できる。他の種類の通信プロバイダは、インターネットに直接バックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダは、一実施形態においては、電気通信企業、データキャリヤ、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者等を含む。

データ交換部１７０４は、ＩＳＰ１７０２内部の幾つかのモジュールを相互接続し、これらのモジュールを、ネットワーク１３１０を介してユーザ１７００に接続する。データ交換部１７０４は、ＩＳＰ１７０２の全てのモジュールが近接している小さいエリアをカバーする、または、異なるモジュールが地理的に分散している時、大きい地理的エリアをカバーする。例えば、データ交換部１７８８はデータセンタのキャビネット内の高速ギガビットイーサネット（登録商標）（もしくはより高速）、または、大陸間仮想エリアネットワーク（ＶＬＡＮ）を含む。

ユーザ１７００は、クライアントデバイス１７２０を用いてリモートサービスにアクセスする。クライアントデバイス１７２０は、少なくともＣＰＵ、ディスプレイ、及び入力／出力（Ｉ／Ｏ）装置を含む。クライアントデバイスは、パーソナルコンピュータ（ＰＣ）、携帯電話、ネットブック、タブレット、ゲームシステム、パーソナルデジタルアシスタント（ＰＤＡ）等であってよい。一実施形態においては、ＩＳＰ１７０２は、クライアントが使用するデバイスの種類を認識し、採用する通信方法を調整する。他の場合、クライアントデバイスは、ＨＴＭＬ等の標準的な通信方法を使用して、ＩＳＰ１７０２にアクセスする。

上記実施形態は、例えば、仮想現実、拡張現実等のインタラクティブなコンテンツに適用でき、インタラクティブなコンテンツは、例えば、他の人々とインターネットを介して通信するコンピュータプログラム、ゲームコード、仮想現実シーンを表示するためのコンピュータプログラム、拡張現実シーンを表示するためのコンピュータプログラム等のプログラムアプリケーションを実行することによって生成されることに注意すべきである。いくつかの実施形態においては、ビデオゲームは、仮想現実コンテンツまたは拡張現実コンテンツの一例である。

本開示に記載の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含む様々なコンピュータシステム構成で実践されてよい。本開示に記載の実施形態は、有線ベースまたは無線のネットワークを通してリンクされるリモート処理装置によってタスクが行われる分散コンピューティング環境でも実践できる。

上記の実施形態を念頭に、本開示に記載の実施形態はコンピュータシステムに記憶されるデータを伴う様々なコンピュータ実施操作を採用できることは理解すべきである。これらの操作は、物理量の物理的な操作を要する操作である。本開示に記載の実施形態の一部を形成する本明細書に記載の操作はいずれも、有用な機械操作である。本開示に記載のいくつかの実施形態は、これらの操作を行うデバイスまたは装置にも関する。装置は、必要とされる目的のために特に構築されてよい、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に作動もしくは構成される汎用コンピュータであってよい。特に、様々な汎用機械が、本明細書の教示に従って作成されたコンピュータプログラムと共に使用できる、または、必要とされる操作を行うためにより専門化した装置を構築するとより便利な場合がある。

本開示に記載のいくつかの実施形態は、コンピュータ可読媒体上でコンピュータ可読コードとしても実現できる。コンピュータ可読媒体は、データを記憶する任意のデータ記憶装置であり、そのデータは、後にコンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例には、ハードドライブ、ＮＡＳ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、光学データ記憶装置、非光学データ記憶装置等が含まれる。コンピュータ可読媒体は、コンピュータ可読コードが分散式で記憶、実行されるように、ネットワークで結合されたコンピュータシステムを介して分散されるコンピュータ可読有形媒体を含み得る。

いくつかの実施形態においては、本明細書に記載の実施形態のいずれもが、残りの実施形態のいずれかと組み合わせられることに注意すべきである。

さらに、上記実施形態の一部はゲーム環境に関して記載したが、いくつかの実施形態においては、ゲームの代わりに、例えば、テレビ会議環境等の他の環境が使用される。

方法操作は特定の順序で記載したが、他のハウスキーピング操作が、操作間に行われてよい、または、操作は、わずかに異なる時点に生じるように調整されてよい、または、オーバーレイ操作の処理が所望のように実行される限り、処理と関連付けられた様々な間隔で処理操作の発生を可能にするシステムに分散されてよいことを理解すべきである。

本開示に記載の上記実施形態は理解を明確にするために多少詳細に記載したが、ある一定の変更及び修正が添付の特許請求の範囲内で実施できることは明らかとなろう。従って、本実施形態は制限的ではなく説明的なものとみなされるべきであり、実施形態は、本明細書に示される詳細に限定されず、添付の特許請求の範囲及び同等物の範囲内で変更されてよい。

Claims (20)

1. 追跡装置の追跡可能な視野（ＦＯＶ）に対する妨害を特定する方法であって、
   ヘッドマウントディスプレイに複数の画像を表示するためにインタラクティブなコンテンツを実行することであって、前記ヘッドマウントディスプレイは、ユーザが装着するように構成され、前記インタラクティブなコンテンツの前記実行は、前記追跡装置によって追跡される時の前記ヘッドマウントディスプレイの位置及び向きに基づいて変更される、前記インタラクティブなコンテンツを実行することと、
   前記インタラクティブなコンテンツの前記実行中に、前記追跡可能なＦＯＶが観客によって妨害されていると判断することであって、前記観客による前記妨害は、前記位置及び向きの追跡に関連付けられた品質係数を低下させる、前記追跡可能なＦＯＶが観客によって妨害されていると判断することと、
   前記観客による前記妨害の結果として前記品質係数が低下したことを前記ユーザに通知することと、
   前記追跡可能なＦＯＶが前記観客によって妨害されていると判断すると、前記観客の識別を判断することをさらに含み、前記観客の前記識別を判断することは、前記追跡装置が、前記ヘッドマウントディスプレイの近くの人間の顔を検出することと、
   を含む、方法。
2. 追跡装置の追跡可能な視野（ＦＯＶ）に対する妨害を特定する方法であって、
   ヘッドマウントディスプレイに複数の画像を表示するためにインタラクティブなコンテンツを実行することであって、前記ヘッドマウントディスプレイは、ユーザが装着するように構成され、前記インタラクティブなコンテンツの前記実行は、前記追跡装置によって追跡される時の前記ヘッドマウントディスプレイの位置及び向きに基づいて変更される、前記インタラクティブなコンテンツを実行することと、
   前記インタラクティブなコンテンツの前記実行中に、前記追跡可能なＦＯＶが観客によって妨害されていると判断することであって、前記観客による前記妨害は、前記位置及び向きの追跡に関連付けられた品質係数を低下させる、前記追跡可能なＦＯＶが観客によって妨害されていると判断することと、
   前記観客による前記妨害の結果として前記品質係数が低下したことを前記ユーザに通知することと、
   前記追跡可能なＦＯＶが前記観客によって妨害されていると判断すると、前記観客の識別を判断することをさらに含み、前記観客の前記識別を判断することは、前記ヘッドマウントディスプレイではなく前記観客に焦点を合わせるように、カメラのシャッタ速度と、前記カメラの開口絞りとを制御することと、
   を含む、方法。
3. 追跡装置の追跡可能な視野（ＦＯＶ）に対する妨害を特定する方法であって、
   ヘッドマウントディスプレイに複数の画像を表示するためにインタラクティブなコンテンツを実行することであって、前記ヘッドマウントディスプレイは、ユーザが装着するように構成され、前記インタラクティブなコンテンツの前記実行は、前記追跡装置によって追跡される時の前記ヘッドマウントディスプレイの位置及び向きに基づいて変更される、前記インタラクティブなコンテンツを実行することと、
   前記インタラクティブなコンテンツの前記実行中に、前記追跡可能なＦＯＶが観客によって妨害されていると判断することであって、前記観客による前記妨害は、前記位置及び向きの追跡に関連付けられた品質係数を低下させる、前記追跡可能なＦＯＶが観客によって妨害されていると判断することと、
   前記観客による前記妨害の結果として前記品質係数が低下したことを前記ユーザに通知することと、
   前記観客が前記追跡可能なＦＯＶを妨害していることを前記観客に通知することと、
   を含む、方法。
4. 前記追跡可能なＦＯＶが前記観客によって妨害されていると判断することは、前記ヘッドマウントディスプレイが、ある時間、妨害されていると判断することを含み、前記妨害は、フレームレートの達成に使用される前記時間中、前記位置及び向きの継続的な追跡を低下させる、請求項１から３のいずれかに記載の方法。
5. 前記ユーザに通知することは、前記追跡可能なＦＯＶが前記観客によって妨害されていることを前記ユーザに示す前記ヘッドマウントディスプレイに表示するための画像通知を生成することを含む、請求項１から３のいずれかに記載の方法。
6. 前記ユーザに通知することは、前記追跡可能なＦＯＶが前記観客によって妨害されていること示す前記ヘッドマウントディスプレイを介して音を出力する音声通知を生成することを含む、請求項１から３のいずれかに記載の方法。
7. 前記追跡装置は、前記ヘッドマウントディスプレイが見えるように配置されたカメラ、または、プロジェクタと光センサの組み合わせ、または、前記ヘッドマウントディスプレイのカメラである、請求項１から３のいずれかに記載の方法。
8. 前記品質係数の前記低下は、前記ヘッドマウントディスプレイに提示される前記インタラクティブなコンテンツの提示品質の低下に関連付けられる、請求項１から３のいずれかに記載の方法。
9. ヘッドマウントディスプレイ上でインタラクティブなコンテンツとやり取り中に、ユーザに対して観客を特定する方法であって、
   前記観客が追跡装置の追跡可能な視野（ＦＯＶ）内にいると判断することであって、前記観客が前記追跡可能なＦＯＶ内にいるかどうかを前記判断することは、インタラクティブなコンテンツが実行されて、複数の画像を前記ヘッドマウントディスプレイに表示する時に行われ、前記ヘッドマウントディスプレイは、前記インタラクティブなコンテンツの前記実行中、前記ユーザが装着するように構成される、前記観客が追跡装置の追跡可能な視野（ＦＯＶ）内にいると判断することと、
   前記観客が前記追跡可能なＦＯＶ内にいると判断すると、前記観客が特定可能であると判断することと、
   前記観客が前記追跡可能なＦＯＶを妨害していると判断することと、
   前記観客が前記追跡可能なＦＯＶを妨害していると判断すると、前記観客を特定することと、
   前記観客が前記追跡可能なＦＯＶを妨害していると判断することに応答して、前記観客が前記追跡可能なＦＯＶを妨害していることを前記ユーザに通知することと、
   を含む、方法。
10. 前記観客が前記追跡可能なＦＯＶを妨害していると判断することは、前記ヘッドマウントディスプレイが、ある時間、遮られていると判断することを含み、前記遮ることは、フレームレートの達成に使用される時間中、前記ヘッドマウントディスプレイの位置及び向きの連続的な追跡を低下させる、請求項９に記載の方法。
11. 前記ユーザに通知することは、前記追跡可能なＦＯＶが前記観客によって妨害されていることを前記ユーザに示す前記ヘッドマウントディスプレイに表示するための画像通知を生成することを含む、請求項９に記載の方法。
12. 前記ユーザに通知することは、前記追跡可能なＦＯＶが前記観客によって妨害されていることを示す前記ヘッドマウントディスプレイを介して音を出力する音声通知を生成することを含む、請求項９に記載の方法。
13. 前記追跡装置は、前記ヘッドマウントディスプレイが見えるように配置されたカメラ、または、プロジェクタと光センサの組み合わせ、または、前記ヘッドマウントディスプレイのカメラである、請求項９に記載の方法。
14. 追跡装置の追跡可能な視野（ＦＯＶ）への妨害を特定するシステムであって、
    ユーザが装着するように構成され、インタラクティブなコンテンツを表示するヘッドマウントディスプレイと、
    前記ヘッドマウントディスプレイに結合されたプロセッサと、
    を含み、前記プロセッサは、
    複数の画像を前記ヘッドマウントディスプレイに表示するために前記インタラクティブなコンテンツを実行することであって、前記インタラクティブなコンテンツの前記実行は、前記追跡装置によって追跡される時の前記ヘッドマウントディスプレイの位置及び向きに基づいて変更される、前記インタラクティブなコンテンツを実行すること、
    前記インタラクティブなコンテンツの前記実行中、前記追跡可能なＦＯＶが観客によって妨害されていると判断することであって、前記観客による前記妨害は、前記位置及び向きの決定に関連付けられた品質係数を低下させる、前記追跡可能なＦＯＶが観客によって妨害されていると判断すること、
    前記追跡可能なＦＯＶが前記観客によって妨害されていると判断すると、前記観客を特定すること、および
    前記観客による前記妨害の結果として品質係数が低下しているという前記ヘッドマウントディスプレイを介して出力される通知を生成すること、
    を行うように構成される、システム。
15. 前記追跡可能なＦＯＶが前記観客によって妨害されていると判断するために、前記プロセッサは、前記ヘッドマウントディスプレイが、ある時間、遮られていることを判断するように構成され、前記ヘッドマウントディスプレイを前記遮ることは、フレームレートを達成するのに使用される時間中、前記位置及び向きの連続的な追跡に影響を与える、請求項１４に記載のシステム。
16. 前記観客を特定するために、前記プロセッサは、前記追跡装置の焦点を前記ヘッドマウントディスプレイ上の焦点から前記観客に変更するように構成される、請求項１４に記載のシステム。
17. 前記通知を生成するために、前記プロセッサは、前記追跡可能なＦＯＶが前記観客によって妨害されていることを前記ユーザに示す前記ヘッドマウントディスプレイに表示する画像通知を生成するように構成される、請求項１４に記載のシステム。
18. 前記通知を生成するために、前記プロセッサは、前記追跡可能なＦＯＶが前記観客によって妨害されていることを前記ユーザに示す前記ヘッドマウントディスプレイを介して音を出力する音声通知を生成するように構成される、請求項１４に記載のシステム。
19. 前記追跡装置は、前記ヘッドマウントディスプレイが見えるように配置されたカメラ、または、プロジェクタと光センサの組み合わせ、または、前記ヘッドマウントディスプレイのカメラである、請求項１４に記載のシステム。
20. 前記観客を特定するために、前記プロセッサは、前記ヘッドマウントディスプレイではなく前記観客に焦点を合わせるように、カメラのシャッタ速度と前記カメラの開口絞りとを制御するように構成される、請求項１４に記載のシステム。