JP2023549657A - 複数の視点から撮像された立体レンダリング画像データを表示するための３ｄビデオ会議システムおよび方法 - Google Patents

Abstract

本方法は、人工現実デバイスに関連付けられたコンピューティングシステムによって、ネットワークを介して、ユーザの第１の画像および第２の画像を含む第２のコンピューティングシステムのユーザのビデオデータを受信することを含む。第１の画像および第２の画像は、第２のコンピューティングシステムの第１のカメラおよび第２のカメラによってそれぞれ同時に撮像されてもよい。コンピューティングシステムは、ユーザを表示するための平面プロキシを生成し、かつ３次元仮想環境内の平面プロキシの姿勢を決定する。コンピューティングシステムは、それぞれ、決定された姿勢を有する平面プロキシおよび第１の画像と、決定された姿勢を有する平面プロキシおよび第２の画像とに基づいて、人工現実デバイスの左目用ディスプレイの左側画像および右目用ディスプレイの右側画像をレンダリングする。コンピューティングシステムは、左目用ディスプレイおよび右目用ディスプレイをそれぞれ使用して、レンダリングされた左側画像および右側画像を表示する。【選択図】図２

Description

本開示は、一般に、コンピュータグラフィックスおよびレンダリング画像データの表示に関する。

人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、または撮像されたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。人工現実は、たとえば人工現実におけるコンテンツの生成および／または人工現実における使用（たとえば、人工現実における活動の実行）がなされるアプリケーション、製品、付属品、サービス、またはこれらの何らかの組合せと関連付けられている場合がある。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

本明細書に記載の実施形態は、人工現実デバイス上で複数の視点から撮像された画像データを表示するためのシステム、方法およびメディアを包含する。複数の視点から撮像されたユーザまたは対象の画像データをレンダリングして表示することにより、本明細書で開示される実施形態は、３次元再生に従来必要とされていた複雑なハードウェア設定ならびに相当な電力および帯域幅の要件なしに、仮想環境におけるユーザの３次元再生をシミュレートする。開示された実施形態は、様々な用途、たとえば、人工現実デバイスを使用するビデオ通話体験に有用である。

一実施形態では、コンピューティングシステムは、対象またはユーザの複数の視点を含む画像データを受信し、本明細書に記載の１つまたは複数の技術を利用して、３次元体験をシミュレートする人工現実システムの第２のユーザに多視点画像データをレンダリングして表示してもよい。特定の実施形態では、コンピューティングシステムは、たとえば限定ではなく、多視点画像データをレンダリングして表示するために、仮想環境内の平面プロキシまたは３Ｄメッシュをさらに利用してもよい。本明細書に記載の技術は、２次元再生と比較した場合に対象のシルエット周辺の画質および深度知覚を改善する一方で、３次元再生と比較した場合に電力およびデータ帯域幅の要件を同時に低減する没入型の多視点体験を提供することによって既存の技術を改善する。

本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生物を含み得る、ユーザへの提示前に何らかの様式で調節されている現実の形態である。人工現実コンテンツは、完全に生成されたコンテンツ、または撮像されたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。また、特定の実施形態では、人工現実は、たとえば人工現実におけるコンテンツの生成および／または人工現実における使用（たとえば、人工現実における活動の実行）がなされるアプリケーション、製品、付属品、サービスまたはこれらの何らかの組合せと関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

本開示の第１の態様によれば、人工現実デバイスに関連付けられた第１のコンピューティングシステムによって、ネットワークを介して、第２のコンピューティングシステムのユーザのビデオデータを受信することであって、ビデオデータが、第２のコンピューティングシステムのユーザの第１の撮像された画像およびユーザの第２の撮像された画像を含み、第１の撮像された画像および第２の撮像された画像が、それぞれ第２のコンピューティングシステムの第１のカメラおよび第２のカメラによって同時に撮像される、第２のコンピューティングシステムのユーザのビデオデータを受信することと、第２のコンピューティングシステムのユーザを表示するための平面プロキシを生成することと、３次元仮想環境内で平面プロキシの姿勢を決定することと、決定された姿勢を有する平面プロキシおよび第１の撮像された画像に基づいて、人工現実デバイスの左目用ディスプレイの左側表示画像をレンダリングすることと、決定された姿勢を有する平面プロキシおよび第２の撮像された画像に基づいて、人工現実デバイスの右目用ディスプレイの右側表示画像をレンダリングすることと、レンダリングされた左側表示画像および右側表示画像をそれぞれ左目用ディスプレイおよび右目用ディスプレイを使用して表示することとを含む方法が提供される。

いくつかの実施形態では、平面プロキシは、人工現実デバイスの姿勢に対して配置される。

いくつかの実施形態では、平面プロキシは、３次元仮想環境内の固定された位置および向きに配置されてもよい。

いくつかの実施形態では、本方法は、第２のコンピューティングシステムから設定データを受信することであって、第２のコンピューティングシステムからの設定データが、第２のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、第２のコンピューティングシステムから設定データを受信することと、第３のコンピューティングシステムから設定データを受信することであって、第３のコンピューティングシステムからの設定データが、第３のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、第３のコンピューティングシステムから設定データを受信することと、第２のコンピューティングシステムおよび第３のコンピューティングシステムからの設定データに基づいて、３次元環境内の平面プロキシの姿勢を調整することとをさらに含んでもよい。

いくつかの実施形態では、第１のカメラおよび第２のカメラは、縦座標平面において互いに人間の瞳孔間距離未満の距離に位置してもよい。

いくつかの実施形態では、本方法は、第１のコンピューティングシステムまたは第２のコンピューティングシステムが、縦座標平面における第１のカメラまたは第２のカメラの位置を調整することをさらに含んでもよい。

いくつかの実施形態では、本方法は、ユーザを含む第１の撮像された画像の一部分を選択することと、ユーザを含む第２の撮像された画像の一部分を選択することとをさらに含んでもよく、左側表示画像は、第１の撮像された画像の選択された一部分に基づいてレンダリングされ、右側表示画像は、第２の撮像された画像の選択された一部分に基づいてレンダリングされる。

いくつかの実施形態では、本方法は、第１の画像内の１つまたは複数の画素の赤／緑／青（ＲＧＢ）色値を決定することと、第２の画像内の１つまたは複数の対応する画素の赤／緑／青（ＲＧＢ）色値を決定することと、第１の画像内の１つまたは複数の画素のＲＧＢ色値を、第２の画像内の１つまたは複数の対応する画素のＲＧＢ色値と一致するように調整することとをさらに含んでもよい。

いくつかの実施形態では、本方法は、平面プロキシに対する人工現実の視野角を決定することと、
視野角が所定の最大閾値を超えていると決定することと、人工現実デバイスの視野角が所定の最大閾値を超えているという決定に基づいて、左目用ディスプレイ上の左側表示画像および右目用ディスプレイ上の右側表示画像の表示を終了することとをさらに含んでもよい。

本開示のさらなる態様によれば、ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、ソフトウェアは、人工現実デバイスに関連付けられた第１のコンピューティングシステムによって実行された場合に、ネットワークを介して、第２のコンピューティングシステムのユーザのビデオデータを受信することであって、ビデオデータが、ユーザの第１の撮像された画像およびユーザの第２の撮像された画像を含み、第１の撮像された画像および第２の撮像された画像が、それぞれ第２のコンピューティングシステムの第１のカメラおよび第２のカメラによって同時に撮像される、第２のコンピューティングシステムのユーザのビデオデータを受信することと、ユーザを表示するための平面プロキシを生成することと、３次元仮想環境内で平面プロキシの姿勢を決定することと、決定された姿勢を有する平面プロキシおよび第１の撮像された画像に基づいて、人工現実デバイスの左目用ディスプレイの左側表示画像をレンダリングすることと、決定された姿勢を有する平面プロキシおよび第２の撮像された画像に基づいて、人工現実デバイスの右目用ディスプレイの右側表示画像をレンダリングすることと、レンダリングされた左側表示画像および右側表示画像をそれぞれ左目用ディスプレイおよび右目用ディスプレイを使用して表示することと、を行うように動作可能である、ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体が提供される。

いくつかの実施形態では、平面プロキシは、人工現実デバイスの姿勢に対して配置されてもよい。

いくつかの実施形態では、平面プロキシは、３次元仮想環境内の固定された位置および向きに配置されてもよい。

いくつかの実施形態では、ソフトウェアは、実行される場合に、第２のコンピューティングシステムから設定データを受信することであって、第２のコンピューティングシステムからの設定データが、第２のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、第２のコンピューティングシステムから設定データを受信することと、第３のコンピューティングシステムから設定データを受信することであって、第３のコンピューティングシステムからの設定データが、第３のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、第３のコンピューティングシステムから設定データを受信することと、第２のコンピューティングシステムおよび第３のコンピューティングシステムからの設定データに基づいて、３次元環境内の平面プロキシの姿勢を調整することとを行うように、さらに動作可能であってもよい。

いくつかの実施形態では、第１のカメラおよび第２のカメラは、縦座標平面において互いに人間の瞳孔間距離未満の距離に位置してもよい。

いくつかの実施形態では、ソフトウェアは、第１のコンピューティングシステムまたは第２のコンピューティングシステムによって実行される場合に、縦座標平面における第１のカメラまたは第２のカメラの位置を調整するようにさらに動作可能であってもよい。

本開示のさらなる態様によれば、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読非一時的記憶媒体とを備える人工現実デバイスに関連付けられた第１のコンピューティングシステムが提供され、１つまたは複数のコンピュータ可読非一時的記憶媒体は、１つまたは複数のプロセッサに接続され、かつ命令を含み、命令は、１つまたは複数のプロセッサによって実行された場合に、システムに、ネットワークを介して、第２のコンピューティングシステムのユーザのビデオデータを受信することであって、ビデオデータが、ユーザの第１の撮像された画像およびユーザの第２の撮像された画像を含み、第１の撮像された画像および第２の撮像された画像が、それぞれ第２のコンピューティングシステムの第１のカメラおよび第２のカメラによって同時に撮像される、第２のコンピューティングシステムのユーザのビデオデータを受信することと、ユーザを表示するための平面プロキシを生成することと、３次元仮想環境内で平面プロキシの姿勢を決定することと、決定された姿勢を有する平面プロキシおよび第１の撮像された画像に基づいて、人工現実デバイスの左目用ディスプレイの左側表示画像をレンダリングすることと、決定された姿勢を有する平面プロキシおよび第２の撮像された画像に基づいて、人工現実デバイスの右目用ディスプレイの右側表示画像をレンダリングすることと、レンダリングされた左側表示画像および右側表示画像をそれぞれ左目用ディスプレイおよび右目用ディスプレイを使用して表示することとを行わせるように動作可能である。

いくつかの実施形態では、平面プロキシは、人工現実デバイスの姿勢に対して配置されてもよい。

いくつかの実施形態では、平面プロキシは、３次元仮想環境内の固定された位置および向きに配置されてもよい。

いくつかの実施形態では、プロセッサは、命令を実行した場合に、第２のコンピューティングシステムから設定データを受信することであって、第２のコンピューティングシステムからの設定データが、第２のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、第２のコンピューティングシステムから設定データを受信することと、第３のコンピューティングシステムから設定データを受信することであって、第３のコンピューティングシステムからの設定データが、第３のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、第３のコンピューティングシステムから設定データを受信することと、第２のコンピューティングシステムおよび第３のコンピューティングシステムからの設定データに基づいて、３次元環境内の平面プロキシの姿勢を調整することとを行うように、さらに動作可能であってもよい。

いくつかの実施形態では、第１のカメラおよび第２のカメラは、縦座標平面において互いに人間の瞳孔間距離未満の距離に位置してもよい。

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、本明細書で開示される実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

例示的な人工現実システムを示す図である。 環境内のユーザの画像データをキャプチャする複数のカメラを示す図である。 仮想環境内で生成された平面プロキシを示す図である。 仮想環境内で生成された３Ｄメッシュを示す図である。 人工現実デバイス上に表示されたユーザのレンダリング画像データを示す図である。 複数の視点から撮像された立体レンダリング画像データを表示するための例示的な方法６００を示す図である。 ソーシャルネットワーキングシステムと関連付けられた例示的なネットワーク環境を示す図である。 例示的なコンピュータシステムを示す図である。

図１は、例示的な人工現実システム１００およびユーザ１０２を示す図である。特定の実施形態では、人工現実システム１００は、ヘッドセット１０４と、コントローラ１０６と、コンピューティングシステム１０８とを備えてもよい。ユーザ１０２は、左目用ディスプレイおよび右目用ディスプレイを介してユーザ１０２に視覚的な人工現実コンテンツを表示してもよいヘッドセット１０４を装着してもよい。ヘッドセット１０４は、オーディオ人工現実コンテンツをユーザ１０２に提供してもよいオーディオ機器を含んでもよい。ヘッドセット１０４は、環境の画像および映像をキャプチャすることができる１つまたは複数のカメラ１１０を備えてもよい。ヘッドセット１０４は、ユーザ１０２の輻輳距離を決定する視線追跡システムを含んでもよい。輻輳距離は、ユーザの目から、ユーザの視線が収束しているオブジェクト（たとえば、現実世界のオブジェクトまたは仮想空間内の仮想オブジェクト）までの距離であってもよい。ヘッドセット１０４は、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれてもよい。

１つまたは複数のコントローラ１０６は、人工現実システム１００とペアリングされてもよい。特定の実施形態では、１つまたは複数のコントローラ１０６には、ユーザ１０２がコントローラ１０６を介して特定の機能を実行してもよいように、人工現実システム１００がコントローラの姿勢を推定し、および／またはコントローラの位置を追跡するための少なくとも１つの慣性測定ユニット（ＩＭＵ）および赤外線（ＩＲ）発光ダイオード（ＬＥＤ）が備えられてもよい。特定の実施形態では、１つまたは複数のコントローラ１０６は、コンピューティングシステム１０８によって追跡されるように分散した１つまたは複数の追跡可能なマーカを備えてもよい。１つまたは複数のコントローラ１０６は、トラックパッドおよび１つまたは複数のボタンを備えてもよい。１つまたは複数のコントローラ１０６は、ユーザ１０２からの入力を受け、この入力をコンピューティングシステム１０８に伝えてもよい。１つまたは複数のコントローラ１０６はまた、ユーザ１０２に触覚フィードバックを提供してもよい。コンピューティングシステム１０８は、ケーブルまたは無線接続によって、ヘッドセット１０４および１つまたは複数のコントローラ１０６に接続されてもよい。１つまたは複数のコントローラ１０６は、本開示の他の態様を不明瞭にしないようここでは明確に示されていない、ハードウェア、ソフトウェアおよび／またはファームウェアの組合せを含んでもよい。

コンピューティングシステム１０８は、ヘッドセット１０４およびコントローラ１０６を制御して、人工現実コンテンツをユーザ１０２に与えるとともに、ユーザ１０２からの入力を受けるようにしてもよい。コンピューティングシステム１０８は、独立型ホストコンピュータシステムであってもよいし、ヘッドセット１０４と一体化されたオンボードコンピュータシステムであってもよいし、モバイル機器であってもよいし、人工現実コンテンツをユーザ１０２に与えるとともに、ユーザ１０２からの入力を受けることが可能なその他任意のハードウェアプラットフォームであってもよい。

特定の実施形態では、コンピューティングシステム１０８は、人工現実システム１００の１つまたは複数の構成要素からセンサデータを受信してもよい。たとえば限定ではなく、ヘッドセット１０４は、ユーザのリアルタイムの動きを追跡し、その動きを表現するかまたは記述するためにセンサデータを出力するジャイロスコープまたは慣性測定ユニットを含んでもよい。このような動き追跡センサーによって提供されるセンサデータは、ユーザの現在の向きを決定し、その向きをレンダリングエンジンに提供して、仮想カメラを３次元空間内で配向／再配向するために、コンピューティングシステム１０８によって使用されてもよい。限定ではなく別の例として、１つまたは複数のコントローラ１０６は、ＩＭＵセンサデータを収集してコンピューティングシステム１０８に送信するように構成された慣性測定ユニット（ＩＭＵ）および赤外線（ＩＲ）発光ダイオード（ＬＥＤ）を含んでもよい。特定の実施形態では、コンピューティングシステム１０８は、たとえば限定ではなく、ＳＬＡＭ追跡またはＩＲベースの追跡などの１つまたは複数の追跡技術を含む１つまたは複数のセンサデータを利用して、人工現実システム１００の１つまたは複数の構成要素の姿勢を決定してもよい。

特定の実施形態では、コンピューティングシステム１０８は、人工現実システム１００の１つまたは複数の構成要素から１つまたは複数の画像データを受信してもよい。特定の実施形態では、この画像データは、人工現実システム１００に関連付けられた１つまたは複数のカメラ１１０からの撮像された画像データを含む。たとえば、図１は、ヘッドセット１０４内に接続された１つまたは複数のカメラ１１０を示す。これらの１つまたは複数のカメラ１１０は、たとえば限定ではなく、ヘッドセット１０４に関連付けられた下向きの１つまたは複数のカメラ（たとえば、起立中のユーザ１０２の足の方を向く）など、様々な視点に関連付けられた画像をキャプチャするように位置決めされてもよい。

特定の実施形態では、コンピューティングシステム１０８は、３次元空間内の１つまたは複数のカメラ１１０の姿勢を決定してもよい。コンピューティングシステムは、センサデータまたは画像データのうちの１つまたは複数を利用して、１つまたは複数のカメラ１１０の姿勢を決定してもよい。特定の実施形態では、コンピューティングシステム１０８は、ＳＬＡＭなどの位置特定技術を利用して、３次元座標空間内の１つまたは複数のカメラ１１０の姿勢を決定してもよい。特定の実施形態では、この姿勢は、たとえば限定ではなく絶対グローバル座標系（たとえば、ｘ，ｙ，ｚ）を介して、または人工現実システム１００の１つまたは複数の構成要素、たとえば限定ではなく、ヘッドセット１０４もしくは１つまたは複数のコントローラ１０６に対するローカル座標系を介して、１つまたは複数の座標系を使用して表されてもよい。

特定の実施形態では、コンピューティングシステム１０８は、ユーザ１０２に関連付けられたヘッドセット１０４の姿勢を決定してもよい。ヘッドセットの姿勢は、コンピューティングシステム１０８によって受信されたセンサデータまたは画像データのいずれかを利用することによって決定されてもよい。ユーザ１０２に関連付けられたヘッドセットの姿勢は、ヘッドセット１０４の位置および向きを含んでもよい。特定の実施形態では、ユーザ１０２に関連付けられたヘッドセットの姿勢を含む位置および向きは、たとえば限定ではなく絶対グローバル座標系（たとえば、ｘ，ｙ，ｚ）を介して、または人工現実システム１００の１つまたは複数の構成要素もしくはユーザ１０２の１つまたは複数のジョイント、たとえば限定ではなく、１つまたは複数のコントローラ１０６に対するローカル座標系を介して、１つまたは複数の座標系を使用して表されてもよい。

特定の実施形態では、コンピューティングシステム１０８は、ユーザ１０２に関連付けられた１つまたは複数のコントローラ１０６のコントローラ姿勢を決定してもよい。ユーザ１０２に関連付けられたコントローラ姿勢は、コンピューティングシステム１０８によって受信されたセンサデータまたは画像データのいずれかを利用することによって決定されてもよい。特定の実施形態では、コンピューティングシステム１０８は、たとえば限定ではなく、画像分類またはオブジェクト検出などの１つまたは複数のコンピュータビジョン技術を使用して、ユーザ１０２に関連付けられたコントローラ１０６の姿勢を決定してもよい。ユーザ１０２に関連付けられたコントローラの姿勢は、コントローラ１０６の位置および向きを含んでもよい。ユーザ１０２に関連付けられたコントローラの姿勢を含む位置および向きは、たとえば限定ではなく絶対グローバル座標系（たとえば、ｘ，ｙ，ｚ）を介して、または人工現実システム１００の１つまたは複数の構成要素もしくはユーザ１０２の１つまたは複数のジョイント、たとえば限定ではなく、ヘッドセット１０４に対するローカル座標系を介して、１つまたは複数の座標系を使用して表されてもよい。コントローラの姿勢を決定するための方法は、米国特許出願第２０２０年１月３日に出願された、「Ｊｏｉｎｔ Ｉｎｆｒａｒｅｄ ａｎｄ Ｖｉｓｉｂｌｅ Ｌｉｇｈｔ Ｖｉｓｕａｌ－Ｉｎｅｒｔｉａｌ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ」と題する米国特許出願第１６／７３４，１７２号明細書に記載されている。

人工現実システムは、各ユーザのオーディオおよび画像のデータ（たとえば、ビデオ）を送信するビデオ通話アプリケーションにおいて２人またはそれ以上のユーザが互いに通信することを可能にすることを含む、様々なアプリケーションに利用される。人工現実システムは、一般に、計算およびリソース効率が良いビデオ通話アプリケーションにおいて２次元画像データを使用するが、人工現実システムの全機能を利用して豊かで没入型のビデオ通話体験を提供するものではない。他の人工現実システムは、人工現実環境においてユーザまたはシーンの完全なモデルをレンダリングするために３次元ビデオ通話を利用する。しかし、完全な３次元ビデオ通話は、複雑なハードウェア設定ならびに相当な電力および帯域幅の要件を必要とするため、平均的な消費者にとって有益ではない。

さらに、人間の両眼視の性質により、現実世界のオブジェクトは、人間の２つの目によって知覚されるオブジェクトの両視点に起因してのみ知覚可能な視野依存性の外観の違い（たとえば、反射、屈折）を示す。これらの視野依存性の外観の違いは、異なる物質を知覚して識別する人間の脳の能力において重要な役割を果たす。しかし、２次元および３次元の両方のビデオ通話アプリケーションは、画像データをキャプチャするために単一の入力ＲＧＢカメラを利用することが多く、ユーザに表示されると、表示のために単一の視点のみが撮像されてレンダリングされるため、これらの視野依存性の外観の違い（たとえば、光沢のある机の上の光沢および鏡面反射）を示すことができない。

本開示は、人工現実システムを使用したビデオ通話のための立体レンダリング技術を使用することによって、既存の人工現実ビデオ通話技術を改善する。高い水準では、コンピューティングシステムは、対象またはユーザの複数の視点を含む画像データを受信し、本明細書に記載の１つまたは複数の技術を利用して、３次元のビデオ通話体験をシミュレートする人工現実システムのユーザに多視点画像データをレンダリングして表示してもよい。特定の実施形態では、コンピューティングシステムは、たとえば限定ではなく、多視点画像データをレンダリングして表示するために、仮想環境内の平面プロキシまたは３Ｄメッシュをさらに利用してもよい。本明細書に記載の技術を使用して、開示された実施形態は、３次元ビデオ通話と比較した場合に電力およびデータ帯域幅の要件を同時に低減しながら、オブジェクトのシルエット周辺の画質および深度知覚の顕著な改善と共に、没入型の多視点ビデオ通話体験を提供することによって既存の技術を改善する。

特定の実施形態では、人工現実デバイスに関連付けられたコンピューティングシステムのユーザは、第２の人工現実デバイスに関連付けられた第２のコンピューティングシステムの第２のユーザを含む環境の画像データを受信してもよい。図２は、環境内のユーザの画像データをキャプチャする複数のカメラを示している。特定の実施形態では、対象２１０は、人工現実デバイスに関連付けられたコンピューティングシステムのユーザであってもよい。特定の実施形態では、画像データはビデオデータであってもよい。特定の実施形態では、左カメラ２１５および右カメラ２２５の２つのカメラを使用して、環境内の対象２１０の画像データをキャプチャしてもよい。特定の実施形態では、複数のカメラの各々は、（図２に示すように）単一のデバイス内に含まれてもよく、たとえば、複数のカメラを備えるモバイルコンピューティングデバイス、または、複数のカメラのうちの１つまたは複数のカメラは、別個のデバイスに含まれ（たとえば、カメラ２１５はモバイルコンピューティングデバイス上のカメラであってもよく、カメラ２２５はウェブカメラであってもよい）、コンピューティングシステムに通信可能に結合されるかまたは関連付けられてもよい。特定の実施形態では、複数のカメラは、対象２１０の人工現実デバイスに関連付けられたコンピュータシステムに通信可能に結合されるかまたは関連付けられてもよい。

特定の実施形態では、複数のカメラにおける各カメラは、水平な部屋の床から同じ垂直距離になるように位置決めされる（すなわち、各カメラは、図２に示すｘ－ｙ－ｚ座標空間内の適用軸またはｚ軸上の共通の座標を共有する）。特定の実施形態では、複数のカメラの各カメラは、任意の２つの隣接するカメラが縦座標軸上で互いに既知の距離に位置するように、縦座標軸または図２に示すようなｙ軸に沿って位置決めされる。特定の実施形態では、縦座標軸上の任意の２つのカメラ間の既知の距離は、コンピューティングシステムによって調整されてもよい。限定ではなく、例として、任意の２つのカメラ間の距離は、人間の瞳孔間距離のおおよその範囲内（たとえば、２５ｍｍから８０ｍｍの間）の距離、人間の瞳孔間距離のおおよその範囲よりも小さい（たとえば、クライアントデバイス上の任意の２つのカメラ間の距離のおおよその範囲（たとえば、５ｍｍから２５ｍｍの間））距離、またはより大きな動物の視覚をシミュレートする人間の瞳孔間距離よりも広い距離であってもよい。

特定の実施形態では、複数のカメラの各カメラは、複数のカメラにおける他のカメラの各々とは異なる視点から対象２１０の画像データを同時にキャプチャする。図２に示すように、左カメラ２１５は左カメラ画像２３５をキャプチャしてもよく、右カメラ２２５は右カメラ画像２４５をキャプチャしてもよく、左カメラ画像２３５の視点は、カメラ２１５から収集された画像データがカメラ２２５および複数のカメラにおける他のすべてのカメラとは異なる視点からのものであるように、右カメラ画像２４５の視点とは異なる。特定の実施形態では、この左画像２３５は、対象２１０を観察する人の左目から観察されるシーンの視点を表してもよく、特定の実施形態では、右画像２４５は、対象２１０を観察する人の右目から観察されるシーンの視点を表してもよい。特定の実施形態では、これらの異なる視点は、複数のカメラの各カメラが他のカメラの各々から（カメラの位置および向きを含む）固有の姿勢 を有することを保証することによって達成されてもよい。特定の実施形態では、複数のカメラ内の１つまたは複数のカメラの１つまたは複数の特性を変更することによって、異なる視点を達成してもよい（たとえば、左カメラ２１５は広角レンズを有し、右カメラ２２５は望遠レンズを有する）。図２は、２つの異なるカメラから撮像された２つの視点からの画像データを示しているが、本開示は、各々が異なる視点から画像データをキャプチャする、複数のカメラにおける任意の数のカメラを想定している。特定の実施形態では、撮像された画像データは、撮像された画像データをレンダリングして人工現実デバイスに表示するために、第２のユーザの人工現実デバイスに関連付けられたコンピューティングシステムに送信されてもよい。

特定の実施形態では、コンピューティングシステムは、複数のカメラのうちの１つまたは複数の１つまたは複数のパラメータを調整してもよい。これらの調整は、画像データをキャプチャする前に、またはキャプチャすると同時に行ってもよい。特定の実施形態では、１つまたは複数のカメラに対するこれらの調整のうちの１つまたは複数は、画像データ内で観察される対象２１０の視点を調整してもよい。一例として、特定の実施形態では、コンピューティングシステムは、縦座標軸上の複数のカメラのうちの１つまたは複数のカメラ間のベースライン距離を調整してもよい。特定の実施形態では、複数のカメラのうちの１つまたは複数のカメラ間の既定のベースライン距離は、平均的な人間の瞳孔間距離（たとえば、２５ｍｍ～８０ｍｍ）にほぼ等しい。特定の実施形態では、この調整は所定の範囲内に含まれてもよい。特定の実施形態では、カメラ間のベースライン距離がより小さい構成（たとえば、３５ｍｍ）は、ユーザが、サイズは大きく見えるがより遠くに離れている（すなわち、横軸またはｘ軸に沿った複数のカメラからの距離が大きい）大きなシーンの画像をもたらす一方で、カメラ間のベースライン距離がより大きい構成（たとえば、７５ｍｍ）は、ユーザが、サイズは小さく見えるがカメラに近い（すなわち、横軸またはｘ軸に沿った複数のカメラからの距離が小さい）小さなシーンの画像をもたらす。

特定の実施形態では、コンピューティングシステムは、レンダリングされたステレオ画像のスケーリングをさらに調整し、それによって画像データ内のカメラからのユーザの視差、知覚されたサイズ、および知覚された距離をスケーリングしてもよい。これらの調整は、たとえば、限定するものではないが、対象が等身大を超えるが、カメラから遠く離れていると知覚される画像をもたらすことがある。

特定の実施形態では、コンピューティングシステムは、ステレオ収束オフセットを調整してもよい。特定の実施形態では、この収束オフセットは、たとえば、０．０から１．０の間に限定されず、所定の範囲内に入っていてもよい。収束オフセットが小さい（たとえば、約０．０）表示構成では、深度が大きい画像が得られ、シーンの背景は無限大にマッピングされ（すなわち、背景は、横軸またはｘ軸に沿って複数のカメラからより大きな距離に現れる）、その一方で、収束オフセットが大きい（たとえば、約１．０）構成では、深度が小さい画像が得られ、シーンの背景は対象とほぼ同じ深度に現れる（すなわち、背景は、横軸またはｘ軸に沿って複数のカメラからより小さい距離に現れる）。

特定の実施形態では、１つまたは複数のカメラに対する１つまたは複数の調整は、対象２１０に関連付けられたコンピューティングシステムによって実行されてもよく、または、これらの１つまたは複数の調整は、たとえば限定ではなく、対象２１０の画像を見ている第２のユーザの人工現実デバイスに関連付けられたコンピューティングシステムなど、対象２１０から画像データを受信しているコンピューティングシステムによって実行されてもよい。

本明細書で開示される特定の実施形態はまた、コンピューティングシステムが、たとえば限定ではなく、画質を改善するために、または人工現実デバイス上で画像データをレンダリングして表示するために必要なリソースを低減するために、撮像された画像データのうちの１つまたは複数の特性を調整することを可能にする。特定の実施形態では、撮像された画像データに対する１つまたは複数の調整は、画像データを送信する前に対象２１０に関連付けられたコンピューティングシステムによって実行されてもよく、または撮像された画像データに対する１つまたは複数の調整は、たとえば限定ではなく、対象２１０の画像を見ているユーザの人工現実デバイスに関連付けられたコンピューティングシステムなど、対象２１０から画像データを受信しているコンピューティングシステムによって実行されてもよい。

特定の実施形態では、コンピューティングシステムは、１つまたは複数の撮像された画像の色を決定して調整してもよい。特定の実施形態では、撮像された画像内の各ピクセルには、赤／緑／青（ＲＧＢ）の色値（たとえば、白色画素に（２５５，２５５，２５５）のＲＧＢ色値が割り当てられてもよい）および対応するローカル座標値（たとえば、ｘ，ｙ座標）が割り当てられてもよい。特定の実施形態では、コンピューティングシステムは、このデータを使用してユーザの画像を強調することができる。特定の実施形態では、ＲＧＢ色値は、照明および色補正の目的のために、典型的な環境のＲＧＢ色値と比較されてもよい。たとえば、ＲＧＢ色値が、現在、撮像された画像に青みがあることを示す場合、コンピューティングシステムは、シーンを色補正するために１つまたは複数の撮像された画像内の１つまたは複数のピクセルを調整してもよい。

特定の実施形態では、コンピューティングシステムは、割り当てられた画素ＲＧＢおよび位置座標値を使用して、１つまたは複数の画像内の１つまたは複数の画素を互いに対して色補正してもよい。たとえば、限定ではなく、各カメラの異なる視点もしくは設定のために、左画像２３５内の画素のＲＧＢ色は右画像２４５のものとは異なっていてもよい。たとえば、左画像２３５内のグローバル位置座標（０，４０）の画素が（１６５，４２，４２）のＲＧＢ色値を有してもよい一方で、右画像２４５では、対応するグローバル位置（０，４０）の画素は（１６０，８２，４５）のＲＧＢ色値を有してもよい。特定の実施形態では、コンピューティングシステムは、特定の位置の画素のＲＧＢ色値が撮像された各画像にわたって一貫しているように、１つまたは複数の画素のＲＧＢ色値を調整してもよい。そうすることにより、画像がレンダリングされて表示されるときに、ユーザにとってより一貫した審美的に満足のいく体験を提供してもよい。

特定の実施形態では、コンピューティングシステムは、人工現実デバイス上で画像をレンダリングして表示する前に画像をセグメント化してもよい。たとえば、コンピューティングシステムは、各画像内の背景環境（たとえば、椅子、テーブルなど）から前景（たとえば、ユーザ）を識別してセグメント化してもよい。特定の実施形態では、コンピューティングシステムは、対象２１０上の複数の表面点に対応する左画像２３５および右画像２４５内の１つまたは複数の座標点を決定してもよい。特定の実施形態では、これらの座標点の各々は、対象２１０の特定の関節（たとえば、頭部関節、首関節など）に対応してもよい。特定の実施形態では、コンピューティングシステムは、前景（たとえば、ユーザ）を背景環境から区別するために、前述のように画像内のピクセルの割り当てられたＲＧＢ色値をさらに利用してもよい。特定の実施形態では、コンピューティングシステムは、点のセット内の１つまたは複数の点を包含する各画像の境界ボックスを生成してもよい。境界ボックスは、点のセット内のすべての点を含むのに十分な大きさであってもよい。特定の実施形態では、コンピューティングシステムは、境界ボックス内の画像データを含む前景データのみがコンピューティングシステムによって送信されてレンダリングされてもよいように、背景画像データを前景画像データから除去してもよい。画像の前景領域をレンダリングして表示するだけで、コンピューティングシステムは、ビデオ通話体験中の帯域幅要件および待ち時間を低減することができる。

特定の実施形態では、コンピューティングシステムは、対象２１０の受信画像データを表示するために仮想現実環境で平面プロキシを生成してもよい。図３は、仮想環境内で生成された平面プロキシを示している。特定の実施形態では、コンピューティングシステムに関連付けられた人工現実デバイス３１５を装着している観察者３１０は、たとえばビデオ通話アプリケーションを介して、対象２１０の画像データを見ることを望む場合がある。平面プロキシ３２０をレンダリングすることは、コンピューティングシステムが多視点画像データ３２５を表示することを可能にし、これは、特定の実施形態では、平面プロキシ３２０を用いて左目用ディスプレイ上の左カメラ画像２３５および右目用ディスプレイ上の右カメラ画像２４５の両方を同時に表示することを含む。画像データをレンダリングして表示するために平面プロキシを利用することにより、視覚的アーチファクトを相対的に低減し、ならびに計算、電力およびデータ帯域幅の要件を低減しながら、対象２１０の現実的な表示が観察者３１０に提供される。

特定の実施形態では、コンピューティングシステムは、３次元仮想環境内の平面プロキシ３２０の姿勢をさらに決定してもよい。平面プロキシ３２０の姿勢は、たとえば限定ではなく、観察者３１０の仮想環境に基づいて、観察者３１０が対話しているアプリケーションに基づいて、または観察者３１０による選択を通じて決定されてもよい。特定の実施形態では、平面プロキシ３２０の姿勢は、仮想環境にアンカされてもよい（すなわち、仮想環境内の固定された位置および向きに配置されてもよい）。この実施形態では、平面プロキシ３２０は、人工現実デバイス３１５の観察者３１０が平面プロキシ３２０に近づくと、平面プロキシ３２０を使用してレンダリングされた多視点画像データ３２５のサイズがより大きく現れるように、仮想環境内に固定されているように見える。特定の実施形態では、平面プロキシ３２０の姿勢は、（たとえば、特定のｘ，ｙ，ｚ座標の）仮想環境内の絶対座標に基づいて固定されてもよく、または、平面プロキシ３２０の姿勢は、（たとえば、仮想環境内の壁またはテーブルに対する座標に配置される）仮想環境内の１つまたは複数の固定されたオブジェクトまたは位置に対して固定されてもよい。固定された（すなわち、アンカされた）姿勢は、観察者３１０が仮想環境全体にわたって移動するときに、観察者３１０が、平面プロキシ３２０を用いてレンダリングされた多視点画像データ３２５を異なる視点から見ることを可能にし、観察者３１０が環境全体にわたって移動するときに平面プロキシ３２０からの距離を調整することをさらに可能にする。

特定の実施形態では、平面プロキシ３２０の姿勢は、仮想環境内の観察者３１０の位置に対して、または観察者３１０に関連付けられた人工現実デバイス３１５、たとえばヘッドセットまたはコントローラの位置に対して決定されてもよい。特定の実施形態では、コンピューティングシステムは、観察者３１０に関連付けられた人工現実デバイス３１５からセンサデータを受信して、その位置を決定してもよい。特定の実施形態では、コンピューティングシステムは、観察者３１０と人工現実デバイス３１５との間の既知の関係をさらに利用して、観察者３１０の姿勢（たとえば、人工現実デバイス３１５の姿勢と観察者３１０の頭部姿勢との間の既知の関係）を決定してもよい。特定の実施形態では、コンピューティングシステムは、平面プロキシ３２０が常に観察者３１０の頭部姿勢から一定の距離および向きに留まる（すなわち、仮想環境全体にわたって観察者３１０と共に移動する）ように、たとえば観察者３１０の頭部姿勢（たとえば、頭部が固定された姿勢）に対して平面プロキシ３２０を配置してもよい。この実施形態では、多視点画像データ３２５のレンダリングは、人工現実デバイス３１５の観察者３１０から所定の距離にある仮想環境において 「浮遊」 しているように見え、したがって、観察者３１０が仮想環境全体を移動するときであっても、観察者３１０からは同じサイズで同じ距離にあるように見える。これにより、観察者３１０は、平面プロキシ３２０を用いてレンダリングされた多視点画像データ３２５を観察者３１０が仮想環境全体を移動するのと同じ視点から見ることが可能になり、これは、たとえば限定ではなく、仮想環境を歩いている間に対象２１０とビデオ会議を行うのに有用であってもよい。

特定の実施形態では、コンピューティングシステムは、平面プロキシ３２０の固定された（すなわち、アンカされた）姿勢と相対（すなわち、浮いている）姿勢の表示を切り替えることができる。特定の実施形態では、観察者３１０は、１つまたは複数のコントローラ１０６と対話すること（たとえば、コントローラボタンを押すこと、またはコントローラを特定の方法で動かすこと）によって、平面プロキシ３２０の固定された（すなわち、アンカされた）姿勢と相対（すなわち、浮いている）姿勢とを切り替えることができる。

特定の実施形態では、コンピューティングシステムは、平面プロキシ３２０の代わりに、またはそれに加えて、対象２１０の撮像された画像データをレンダリングするために仮想環境内の対象２１０を表す３Ｄメッシュを生成してもよい。図４は、仮想環境内で生成された３Ｄメッシュを示している。特定の実施形態では、人工現実デバイス３１５を装着している観察者３１０は、たとえばビデオ通話アプリケーションを介して、対象２１０の画像データを見ることを望む場合がある。３Ｄメッシュ４２０は、たとえば限定ではなく、対象２１０の撮像されたセンサデータまたは画像データを使用する既知の技術を使用して生成されてもよい。特定の実施形態では、３Ｄメッシュ４２０は、観察者３１０の仮想環境（たとえば、対象２１０の頭部または上部胴体）における対象２１０の少なくとも一部の３次元投影をシミュレートしてもよい。３Ｄメッシュ４２０をレンダリングすることは、コンピューティングシステムが多視点画像データ３２５を表示することを可能にし、これは、特定の実施形態では、３Ｄメッシュ４２０を用いて左目用ディスプレイ上の左カメラ画像２３５および右目用ディスプレイ上の右カメラ画像２４５の両方を同時に表示することを含む。

特定の実施形態では、コンピューティングシステムは、３次元仮想環境内の３Ｄメッシュ４２０の姿勢をさらに決定してもよい。３Ｄメッシュ４２０の姿勢は、たとえば限定ではなく、観察者３１０の仮想環境に基づいて、観察者３１０が対話しているアプリケーションに基づいて、または観察者３１０による選択を通じて決定されてもよい。特定の実施形態では、３Ｄメッシュ４２０の姿勢は、仮想環境に固定されてもよい（すなわち、仮想環境内の固定された位置および向きに配置されてもよい）。この実施形態では、３Ｄメッシュ４２０は、人工現実デバイス３１５の観察者３１０が３Ｄメッシュ４２０に近づくと、３Ｄメッシュ４２０を使用してレンダリングされた多視点画像データ３２５のサイズがより大きく現れるように、仮想環境内に固定されているように見える。特定の実施形態では、３Ｄメッシュ４２０の姿勢は、（たとえば、特定のｘ，ｙ，ｚ座標の）仮想環境内の絶対座標に基づいて固定されてもよく、または、３Ｄメッシュ４２０の姿勢は、（たとえば、仮想環境内の壁またはテーブルに対する座標に配置される）仮想環境内の１つまたは複数の固定されたオブジェクトまたは位置に対して固定されてもよい。固定された（すなわち、アンカされた）姿勢は、観察者３１０が仮想環境全体にわたって移動するときに、観察者３１０が、３Ｄメッシュ４２０を用いてレンダリングされた多視点画像データ３２５を異なる視点から見ることを可能にし、観察者３１０が環境全体にわたって移動するときに３Ｄメッシュ４２０からの距離を調整することをさらに可能にする。

特定の実施形態では、３Ｄメッシュ４２０の姿勢は、仮想環境内の観察者３１０の位置に対して、または観察者３１０に関連付けられた人工現実デバイス３１５、たとえばヘッドセットまたはコントローラの位置に対して決定されてもよい。特定の実施形態では、コンピューティングシステムは、観察者３１０に関連付けられた人工現実デバイス３１５からセンサデータを受信して、その位置を決定してもよい。特定の実施形態では、コンピューティングシステムは、観察者３１０と人工現実デバイス３１５との間の既知の関係をさらに利用して、観察者３１０の姿勢（たとえば、人工現実デバイス３１５の姿勢と観察者３１０の頭部姿勢との間の既知の関係）を決定してもよい。特定の実施形態では、コンピューティングシステムは、３Ｄメッシュ４２０が常に観察者３１０の頭部姿勢から一定の距離および向きに留まる（すなわち、仮想環境全体にわたって観察者３１０と共に移動する）ように、たとえば観察者３１０の頭部姿勢（たとえば、頭部が固定された姿勢）に対して３Ｄメッシュ４２０を配置してもよい。この実施形態では、多視点画像データ３２５のレンダリングは、人工現実デバイス３１５の観察者３１０から所定の距離にある仮想環境において 「浮遊」 しているように見え、したがって、観察者３１０が仮想環境全体を移動するときであっても、観察者３１０からは同じサイズで同じ距離にあるように見える。これにより、観察者３１０は、３Ｄメッシュ４２０を用いてレンダリングされた多視点画像データ３２５を観察者３１０が仮想環境全体を移動するのと同じ視点から見ることが可能になり、これは、たとえば限定ではなく、仮想環境を歩いている間に対象２１０とビデオ会議を行うのに有用であってもよい。

特定の実施形態では、コンピューティングシステムは、３Ｄメッシュ４２０の固定された（すなわち、アンカされた）姿勢と相対（すなわち、浮いている）姿勢の表示を切り替えることができる。特定の実施形態では、観察者３１０は、１つまたは複数のコントローラ１０６と対話すること（たとえば、コントローラボタンを押すこと、またはコントローラを特定の方法で動かすこと）によって、３Ｄメッシュ４２０の固定された（すなわち、アンカされた）姿勢と相対（すなわち、浮いている）姿勢とを切り替えることができる。

特定の実施形態では、コンピューティングシステムは、観察者３１０に関連付けられた人工現実デバイス上に表示するために、対象２１０の多視点画像データ３２５をレンダリングしてもよい。たとえば、コンピューティングシステムは、観察者３１０に関連付けられた人工現実デバイスの左目用ディスプレイおよび右目用ディスプレイにそれぞれ表示するために左カメラ画像２３５および右カメラ画像２４５をレンダリングしてもよい。特定の実施形態では、撮像された画像は、平面プロキシの決定された姿勢、３Ｄメッシュの決定された姿勢に基づいて、または１つまたは複数のカメラによって撮像された対応する画像を使用してレンダリングされてもよい。特定の実施形態では、レンダリングされた画像のうちの１つまたは複数は、本明細書に開示されるように撮像された画像データの特性に対する１つまたは複数の調整を含んでもよい。

特定の実施形態では、レンダリングされた左カメラ画像２３５および右カメラ画像２４５は、対象２１０の３Ｄ視点をシミュレートする、観察者３１０の人工現実デバイスの左目用ディスプレイおよび右目用ディスプレイにそれぞれ同時に表示されてもよい。図５は、人工現実デバイス上に表示されたユーザのレンダリング画像データを示している。特定の実施形態では、コンピューティングシステムは、人工現実デバイスの各ディスプレイ、たとえば、ヘッドセットの左目用ディスプレイ５１０および右目用ディスプレイ５２０の画像をレンダリングして表示してもよい。特定の実施形態では、左目の視点を表すカメラから撮像された画像、たとえば左カメラ２１５によって撮像された左カメラ画像２３５は、左目用ディスプレイ５１０に表示されてもよい。特定の実施形態では、右目の視点を表すカメラから撮像された画像、たとえば右カメラ２２５によって撮像された右カメラ画像２４５は、右目用ディスプレイ５２０に表示されてもよい。

たとえば左画像２３５および右画像２４５を含む多視点画像データ３２５を表示することは、たとえば限定ではなく、対象２１０と観察者３１０との間のビデオ通話体験など、様々な用途のためのいくつかの改善を生みだす。たとえば、多視点画像データ３２５が対象２１０を表す平面プロキシ３２０に基づいてレンダリングされる場合、コンピューティングシステムは、リソースが集約的であってもよい対象２１０の完全な３Ｄ再構成を必要とせずに、対象２１０を用いた３Ｄ通話体験の視覚的外観をシミュレートすることができる。さらに、平面プロキシ３２０上に多視点画像データ３２５を表示することは、視覚的アーチファクトの低減、ならびに計算、電力およびデータ帯域幅の要件の低減をもたらす。

別の例として、生成された３Ｄメッシュ４２０に関連して多視点画像データ３２５がレンダリングされる場合、出力は、立体テクスチャモデリングを使用して、撮像された画像を３Ｄメッシュ４２０にマッピングし、これは対象２１０の３次元モデルを表してもよい。この立体テクスチャモデリングは、人間の両眼視の複数の視点（たとえば、深度再構成、テクスチャ、または左目および右目の視点が同時に見られた場合にのみ見える可能性があるユーザの他の固有の特徴）に起因してのみ見える特徴を３Ｄメッシュ４２０上にレンダリングする。たとえば、観察者３１０によって知覚される画質は、平面視テクスチャと比較した場合、屈折およびハイライトが適切に再現されるため、オブジェクトのシルエット周辺で大幅に改善され、光沢のある表面（たとえば、ガラステーブルまたは携帯電話の画面）のユーザの知覚を改善する。別の例として、対象２１０と視線を合わせることは、３Ｄメッシュ４２０を回転させることによってシミュレートすることができ、３Ｄメッシュ４２０は、たとえば、通話者間の正確なポインティングジェスチャ、または両方のユーザによる仮想オブジェクトの操作を限定するものではないが、仮想空間における相互作用をサポートする。

さらなる実施形態は、観察者３１０が本明細書に記載の方法（たとえば、グループビデオ通話アプリケーション）を使用して２人または以上の対象を同時に見ることを可能にする。さらに、観察者３１０が複数の通話者と対話する場合、コンピューティングシステムは、設定データ（たとえば、付帯的および固有のカメラパラメータ、センサデータ、または対象に関連付けられたコンピューティングシステムからの画像データ）を利用して、複数の通話者間でより一貫した体験を作り出してもよい。一例として、観察者３１０は、第１の対象および第２の対象との三者体験を開始し、第１の対象および第２の対象の両方が観察者３１０に同時に表示される。特定の実施形態では、第１の対象の設定データは、第２の対象の設定データとは異なる可能性がある（たとえば、第１の対象は第２の対象よりもカメラから遠くに位置する可能性があり、第２の対象は第１の対象よりもベースライン距離が広いカメラを有する可能性がある、など）。調整しない場合、第１の対象および第２の対象を同時に表示することは、観察者にとって不快な体験になる可能性がある（たとえば、第１の対象は第２の対象よりもはるかに大きくなる可能性があり、一方の対象は他方の対象よりも遠くに見える可能性がある、など）。

これを改善するために、コンピューティングシステムは、たとえば限定ではなく、カメラの特性または対象とカメラとの間の距離など、各対象の構成に関する設定データを受信し、かつ観察者３１０に対するすべての対象の知覚された深度もしくは位置を調整してもよい。特定の実施形態では、これらの調整は、たとえば限定ではなく、平面プロキシもしくは３Ｄメッシュの姿勢を調整すること、または平面プロキシもしくは３Ｄメッシュをスケーリングすることを含んでもよい。これらの調整により、異なる構成にもかかわらず、第１の対象および第２の対象の両方が、観察者３１０からほぼ同じサイズと距離とで現れてもよい。

特定の実施形態は、コンピューティングシステムが、観察者３１０に関連付けられた人工現実デバイスの向きに基づいて多視点画像データ３２５の向きを調整することをさらに可能にする。特定の実施形態では、コンピューティングシステムは、観察者３１０に関連付けられた人工現実デバイスからセンサデータを受信し、センサデータに基づいて、観察者３１０に関連付けられた人工現実デバイスの向きを決定してもよい。この向きを使用して、コンピューティングシステムは、その後、観察者３１０に関連付けられた人工現実デバイスの向きに一致するように、表示された多視点画像データ３２５の向きを調整してもよい。特定の実施形態では、コンピューティングシステムは、人工現実デバイスの向きが所定の最大閾値、たとえば、観察者３１０が多視点画像データ３２５を見ている特定の視野角を超えているとさらに決定してもよい。特定の実施形態では、コンピューティングシステムは、人工現実デバイスの向きが所定の最大閾値を超えているという決定に基づいて、観察者３１０に関連付けられた人工現実デバイス上の多視点画像データ３２５の表示を終了してもよい。

簡単にするために、本明細書で開示される実施形態は、複数の視点から対象２１０の画像データをキャプチャし、かつこれらの画像を観察者３１０に表示する方法を説明する。しかし、特定の実施形態では、これらの方法を使用して、複数の視点から観察者３１０の画像データを同時にキャプチャし、かつこれらの画像を対象２１０に表示してもよいことを理解されたい。このようにして、対象２１０および観察者３１０は、たとえば限定ではなく、両方のユーザが同時に他方のユーザのシミュレートされた３Ｄ画像データの表示を見ることができるように、人工現実ビデオ通話体験を通じて互いに対話することができる。

図６は、複数の視点から撮像された立体レンダリング画像データを表示するための例示的な方法６００を示している。本方法は、人工現実デバイスに関連付けられたコンピューティングシステムが、ネットワークを介して、第２のコンピューティングシステムのユーザのビデオデータを受信するステップ６１０で開始してもよく、ビデオデータは、ユーザの第１の撮像された画像およびユーザの第２の撮像された画像を含み、第１の撮像された画像および第２の撮像された画像は、第２のコンピューティングシステムの第１のカメラおよび第２のカメラによってそれぞれ同時に撮像される。特定の実施形態では、左カメラおよび右カメラの２つのカメラを使用して、環境内のユーザの画像データをキャプチャしてもよい。特定の実施形態では、左カメラおよび右カメラは、水平な部屋の床から同じ垂直距離になるように位置決めされる。特定の実施形態では、縦座標軸上の左カメラと右カメラとの間の既知の距離は、平均的な人間の瞳孔間距離にほぼ等しい。特定の実施形態では、コンピューティングシステムは、複数のカメラのうちの１つまたは複数の１つまたは複数のパラメータを調整してもよい。

ステップ６２０では、コンピューティングシステムは、ユーザを表示するための平面プロキシを生成する。ステップ６３０では、コンピューティングシステムは、３次元仮想環境内の平面プロキシの姿勢を決定する。特定の実施形態では、平面プロキシの姿勢は、仮想環境に固定されてもよい（すなわち、仮想環境内の固定された位置および向きに配置されてもよい）。特定の実施形態では、平面プロキシの姿勢は、表示された画像データを見るユーザの位置に対して、または表示された画像データを見るユーザに関連付けられた人工現実デバイス、たとえばヘッドセットまたはコントローラの位置に対して決定されてもよい。特定の実施形態では、コンピューティングシステムは、平面プロキシの固定された（すなわち、アンカされた）姿勢と相対（すなわち、浮いている）姿勢の表示を切り替えることができる。

ステップ６４０では、コンピューティングシステムは、決定された姿勢を有する平面プロキシと第１の撮像された画像とに基づいて、人工現実デバイスの左目用ディスプレイの左側表示画像をレンダリングする。ステップ６５０では、コンピューティングシステムは、決定された姿勢を有する平面プロキシと第２の撮像された画像とに基づいて、人工現実デバイスの右目用ディスプレイの右側表示画像をレンダリングする。特定の実施形態では、撮像された画像は、平面プロキシの決定された姿勢に基づいてレンダリングされてもよい。ステップ６６０では、コンピューティングシステムは、左目用ディスプレイおよび右目用ディスプレイをそれぞれ使用して、レンダリングされた左側表示画像および右側表示画像を表示する。

特定の実施形態は、適切な場合、図６の方法の１つまたは複数のステップを繰り返してもよい。本開示では、図６の方法の特定のステップが特定の順序で発生するものとして説明および図示がなされているが、本開示は、図６の方法の任意の好適なステップが任意の好適な順序で発生することを想定している。さらに、本開示は、図６の方法の特定のステップを含む複数の視点から撮像された立体レンダリング画像データを表示するための例示的な方法を説明し、かつ図示しているが、本開示は、適切な場合、図６の方法のステップのすべてを含むか、一部を含むか、またはいずれも含まない任意の好適なステップを含むレンダリング画像データを表示するための任意の好適な方法を想定している。さらに、本開示では、図６の方法の特定のステップを実行する特定の構成要素、デバイスまたはシステムの説明および図示がなされているが、本開示は、図６の方法の任意の好適なステップを実行する任意の好適な構成要素、デバイスまたはシステムの任意の好適な組合せを想定している。

図７は、ソーシャルネットワーキングシステムと関連付けられた例示的なネットワーク環境７００を示している。ネットワーク環境７００は、ネットワーク７１０によって互いに接続されているクライアントシステム７３０、ソーシャルネットワーキングシステム７６０、およびサードパーティシステム７７０を含む。図７は、クライアントシステム７３０、ソーシャルネットワーキングシステム７６０、サードパーティシステム７７０およびネットワーク７１０の特定の配置を示しているが、本開示は、クライアントシステム７３０、ソーシャルネットワーキングシステム７６０、サードパーティシステム７７０およびネットワーク７１０の任意の好適な配置を想定している。限定ではなく、例として、クライアントシステム７３０、ソーシャルネットワーキングシステム７６０、およびサードパーティシステム７７０のうちの２つまたはそれ以上は、ネットワーク７１０を迂回して互いに直接接続されてもよい。別の例として、クライアントシステム７３０、ソーシャルネットワーキングシステム７６０、およびサードパーティシステム７７０のうちの２つまたはそれ以上は、全体的または部分的に互いが物理的または論理的に同一場所に位置してもよい。また、図７は、特定の数のクライアントシステム７３０、ソーシャルネットワーキングシステム７６０、サードパーティシステム７７０、およびネットワーク７１０を示しているが、本開示は、任意の好適な数のクライアントシステム７３０、ソーシャルネットワーキングシステム７６０、サードパーティシステム７７０、およびネットワーク７１０を想定している。限定ではなく、例として、ネットワーク環境７００は、複数のクライアントシステム７３０、ソーシャルネットワーキングシステム７６０、サードパーティシステム７７０およびネットワーク７１０を含んでもよい。

本開示は、任意の好適なネットワーク７１０を想定している。限定ではなく、例として、ネットワーク７１０の１つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部分、公衆交換電話網（ＰＳＴＮ）の一部分、セルラー電話ネットワーク、またはこれらのうちの２つ以上の組合せを含むことが可能である。ネットワーク７１０は、１つまたは複数のネットワーク７１０を含むことが可能である。

リンク７５０は、クライアントシステム７３０、ソーシャルネットワーキングシステム７６０、およびサードパーティシステム７７０を、通信ネットワーク７１０に接続するかまたは互いに接続してもよい。本開示は、任意の好適なリンク７５０を想定している。特定の実施形態では、１つまたは複数のリンク７５０は、１つまたは複数の、（たとえば、デジタル加入者回線（ＤＳＬ）またはデータオーバーケーブルサービスインターフェース仕様（ＤＯＣＳＩＳ）などの）有線リンク、（たとえば、Ｗｉ－Ｆｉまたはワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）などの）無線リンク、または（たとえば、同期光ネットワーク（ＳＯＮＥＴ）または同期デジタルハイアラーキ（ＳＤＨ）などの）光リンクを含む。特定の実施形態では、１つまたは複数のリンク７５０は、各々、アドホックネットワーク、イントラネット、エクストラネット、ＶＰＮ、ＬＡＮ、ＷＬＡＮ、ＷＡＮ、ＷＷＡＮ、ＭＡＮ、インターネットの一部分、ＰＳＴＮの一部分、セルラー技術ベースのネットワーク、衛星通信技術ベースのネットワーク、別のリンク７５０、または、２つまたはそれ以上のこのようなリンク７５０の組合せを含む。リンク７５０は、ネットワーク環境７００の全体を通じて必ずしも同じである必要はない。１つまたは複数の第１のリンク７５０は、１つまたは複数の第２のリンク７５０とは１つまたは複数の点において異なっていてもよい。

特定の実施形態では、クライアントシステム７３０は、クライアントシステム７３０によって実施されるかまたはサポートされる適切な機能を実行することが可能な、ハードウェア、ソフトウェア、または埋込み論理構成要素、または２つまたはそれ以上のこのような構成要素の組合せを含む電子デバイスであってもよい。限定ではなく、例として、クライアントシステム７３０は、デスクトップコンピュータ、ノートブックコンピュータもしくはラップトップコンピュータ、ネットブック、タブレットコンピュータなどのコンピュータシステム、ｅブックリーダ、ＧＰＳデバイス、カメラ、携帯情報端末（ＰＤＡ）、ハンドヘルド電子デバイス、セルラー電話、スマートフォン、拡張／仮想現実デバイス、その他の適切な電子デバイス、またはそれらの任意の適切な組合せを含むことが可能である。本開示は、任意の好適なクライアントシステム７３０を想定している。クライアントシステム７３０は、クライアントシステム７３０のネットワークユーザがネットワーク７１０にアクセスすることを可能にすることができる。クライアントシステム７３０は、クライアントシステム７３０のユーザが、他のクライアントシステム７３０で他のユーザと通信することを可能にしてもよい。

特定の実施形態では、クライアントシステム７３０は、ウェブブラウザ７３２を含んでもよく、１つまたは複数のアドオン、プラグインまたは他の拡張機能を有してもよい。クライアントシステム７３０におけるユーザは、ウェブブラウザ７３２を（サーバ７６２、またはサードパーティシステム７７０に関連付けられたサーバなどの）特定のサーバに向けるユニフォームリソースロケータ（ＵＲＬ）または他のアドレスを入力してもよく、ウェブブラウザ７３２は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）要求を生成し、ＨＴＴＰ要求をサーバに通信してもよい。サーバは、ＨＴＴＰ要求を受け入れ、ＨＴＴＰ要求に応答する１つまたは複数のハイパーテキストマークアップ言語（ＨＴＭＬ）ファイルをクライアントシステム７３０に通信してもよい。クライアントシステム７３０は、ユーザへの提示のためにサーバからのＨＴＭＬファイルに基づいてウェブインターフェース（たとえば、ウェブページ）をレンダリングしてもよい。本開示は、任意の好適なソースファイルを想定している。限定ではなく、例として、ウェブインターフェースは、特定の必要に応じて、ＨＴＭＬファイル、拡張可能ハイパーテキストマークアップ言語（ＸＨＴＭＬ）ファイル、または拡張可能マークアップ言語（ＸＭＬ）ファイルからレンダリングされてもよい。このようなインターフェースは、スクリプト、マークアップ言語とスクリプトとの組合せ、などを実行してもよい。本明細書では、ウェブインターフェースへの言及は、適切な場合、（ブラウザがウェブインターフェースをレンダリングするために使用してもよい）１つまたは複数の対応するソースファイルを包含し、その逆もまた同様である。

特定の実施形態では、ソーシャルネットワーキングシステム７６０は、オンラインソーシャルネットワークをホストすることができるネットワークアドレス指定可能なコンピューティングシステムであってもよい。ソーシャルネットワーキングシステム７６０は、たとえば、ユーザプロファイルデータ、概念プロファイルデータ、ソーシャルグラフ情報、またはオンラインソーシャルネットワークに関係する他の好適なデータなどの、ソーシャルネットワーキングデータを生成し、記憶し、受信し、送信してもよい。ソーシャルネットワーキングシステム７６０は、直接的に、またはネットワーク７１０を介して、ネットワーク環境７００の他の構成要素によってアクセスされてもよい。限定ではなく、例として、クライアントシステム７３０は、ウェブブラウザ７３２、または、ソーシャルネットワーキングシステム７６０に関連付けられているネイティブアプリケーション（たとえば、モバイルソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、別の好適なアプリケーション、もしくはそれらの任意の組合せ）を使用して、直接またはネットワーク７１０を介してソーシャルネットワーキングシステム７６０にアクセスしてもよい。特定の実施形態では、ソーシャルネットワーキングシステム７６０は、１つまたは複数のサーバ７６２を含んでもよい。各サーバ７６２は、単一のサーバ、あるいは複数のコンピュータまたは複数のデータセンタにわたる分散型サーバであってもよい。サーバ７６２は、たとえば限定ではないが、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書に記載の機能またはプロセスを実施するのに好適な別のサーバ、あるいはそれらの任意の組合せなど、様々な種類のものであってもよい。特定の実施形態では、各サーバ７６２は、サーバ７６２によって実施されるかまたはサポートされる適切な機能を実行するための、ハードウェア、ソフトウェア、または埋込み論理構成要素、または２つまたはそれ以上のこのような構成要素の組合せを含んでもよい。特定の実施形態では、ソーシャルネットワーキングシステム７６０は、１つまたは複数のデータストア７６４を含んでもよい。データストア７６４は、様々な種類の情報を記憶するために使用されてもよい。特定の実施形態では、データストア７６４に記憶された情報は、固有のデータ構造に従って編成されてもよい。特定の実施形態では、各データストア７６４は、リレーショナルデータベース、列指向データベース、相関データベース、または他の好適なデータベースであってもよい。本開示は、特定のタイプのデータベースを説明するかまたは示すが、本開示は任意の好適なタイプのデータベースを企図する。特定の実施形態は、クライアントシステム７３０、ソーシャルネットワーキングシステム７６０、またはサードパーティシステム７７０が、データストア７６４に記憶された情報の管理、取り出し、修正、追加または削除を行うことを可能にするインターフェースを提供してもよい。

特定の実施形態では、ソーシャルネットワーキングシステム７６０は、１つまたは複数のソーシャルグラフを１つまたは複数のデータストア７６４に記憶してもよい。特定の実施形態では、ソーシャルグラフは、（各々特定のユーザに対応する）複数のユーザノードまたは（各々特定の概念に対応する）複数の概念ノードを含み得る、複数のノードと、ノードをつなげる複数のエッジとを含み得る。ソーシャルネットワーキングシステム７６０は、オンラインソーシャルネットワークのユーザに、他のユーザとの通信および対話を行う能力を提供してもよい。特定の実施形態では、ユーザは、ソーシャルネットワーキングシステム７６０を介してオンラインソーシャルネットワークに参加し、次いで、自分が繋がりたいと望むソーシャルネットワーキングシステム７６０の複数の他のユーザに繋がり（たとえば、関係）を付加してもよい。本明細書では、「友達」という用語は、ユーザが、ソーシャルネットワーキングシステム７６０を介して、繋がり、関連付けまたは関係を形成したソーシャルネットワーキングシステム７６０の任意の他のユーザを指してもよい。

特定の実施形態では、ソーシャルネットワーキングシステム７６０は、ソーシャルネットワーキングシステム７６０によってサポートされる様々な種類のアイテムまたはオブジェクトについてアクションをとる能力をユーザに提供してもよい。限定ではなく、例として、アイテムおよびオブジェクトは、ソーシャルネットワーキングシステム７６０のユーザが属してもよいグループまたはソーシャルネットワーク、ユーザが興味を持つ可能性があるイベントまたはカレンダーエントリ、ユーザが使用してもよいコンピュータベースアプリケーション、ユーザがサービスを介してアイテムの購入または販売を行うことを可能にするトランザクション、ユーザが実施してもよい広告との対話、あるいは他の好適なアイテムまたはオブジェクトを含んでもよい。ユーザは、ソーシャルネットワーキングシステム７６０において、またはソーシャルネットワーキングシステム７６０とは別個であり、ネットワーク７１０を介してソーシャルネットワーキングシステム７６０に結合された、サードパーティシステム７７０の外部システムによって、表されることが可能であるものと対話してもよい。

特定の実施形態では、ソーシャルネットワーキングシステム７６０は、様々なエンティティをリンクすることが可能であってもよい。限定ではなく、例として、ソーシャルネットワーキングシステム７６０は、ユーザが、互いと対話すること、ならびにサードパーティシステム７７０または他のエンティティからコンテンツを受信することを可能にしてもよく、あるいは、ユーザがアプリケーションプログラミングインターフェース（ＡＰＩ）または他の通信チャネルを通してこれらのエンティティと対話することを可能にしてもよい。

特定の実施形態では、サードパーティシステム７７０は、１つまたは複数の種類のサーバ、１つまたは複数のデータストア、限定はしないがＡＰＩを含む１つまたは複数のインターフェース、１つまたは複数のウェブサービス、１つまたは複数のコンテンツソース、１つまたは複数のネットワーク、または、たとえばサーバが通信してもよい任意の他の好適な構成要素を含んでもよい。サードパーティシステム７７０は、ソーシャルネットワーキングシステム７６０を動作させるエンティティとは異なるエンティティによって動作させられてもよい。しかし、特定の実施形態では、ソーシャルネットワーキングシステム７６０およびサードパーティシステム７７０は、互いと連携して動作して、ソーシャルネットワーキングシステム７６０またはサードパーティシステム７７０のユーザにソーシャルネットワーキングサービスを提供してもよい。この意味で、ソーシャルネットワーキングシステム７６０は、サードパーティシステム７７０などの他のシステムが、インターネットにわたってユーザにソーシャルネットワーキングサービスおよび機能を提供するために使用してもよい、プラットフォームまたはバックボーンを提供してもよい。

特定の実施形態では、サードパーティシステム７７０は、サードパーティコンテンツオブジェクトプロバイダを含んでもよい。サードパーティコンテンツオブジェクトプロバイダは、クライアントシステム７３０に通信されてもよい、コンテンツオブジェクトの１つまたは複数のソースを含んでもよい。限定としてではなく一例として、コンテンツオブジェクトは、たとえば、映画の上映時間、映画のレビュー、レストランのレビュー、レストランのメニュー、製品情報およびレビュー、または他の好適な情報など、ユーザにとって興味のある物またはアクティビティに関する情報を含み得る。限定としてではなく別の例として、コンテンツオブジェクトは、クーポン、ディスカウントチケット、ギフト券、または他の好適なインセンティブオブジェクトなど、インセンティブコンテンツオブジェクトを含み得る。

特定の実施形態では、ソーシャルネットワーキングシステム７６０は、ソーシャルネットワーキングシステム７６０とのユーザの対話を向上させてもよい、ユーザ生成コンテンツオブジェクトも含む。ユーザ生成コンテンツは、ユーザがソーシャルネットワーキングシステム７６０に追加するか、アップロードするか、送信するかまたは「投稿」してもよいものを含んでもよい。限定ではなく、例として、ユーザは、クライアントシステム７３０からソーシャルネットワーキングシステム７６０への投稿を通信する。投稿は、ステータス更新または他のテキストデータ、ロケーション情報、写真、ビデオ、リンク、音楽あるいは他の同様のデータまたはメディアなど、データを含み得る。コンテンツはまた、ニュースフィードまたはストリームなどの「通信チャネル」を通して、サードパーティによってソーシャルネットワーキングシステム７６０に追加されてもよい。

特定の実施形態では、ソーシャルネットワーキングシステム７６０は、様々なサーバ、サブシステム、プログラム、モジュール、ログおよびデータストアを含んでもよい。特定の実施形態では、ソーシャルネットワーキングシステム７６０は、ウェブサーバ、アクションロガー、ＡＰＩ要求サーバ、関連性およびランキングエンジン、コンテンツオブジェクト分類子、通知コントローラ、アクションログ、サードパーティコンテンツオブジェクト露出ログ、推論モジュール、許可／プライバシーサーバ、検索モジュール、広告ターゲッティングモジュール、ユーザインターフェースモジュール、ユーザプロファイルストア、つながりストア、サードパーティコンテンツストア、またはロケーションストアのうちの１つまたは複数を含んでもよい。ソーシャルネットワーキングシステム７６０は、ネットワークインターフェース、セキュリティ機構、ロードバランサ、フェイルオーバサーバ、管理およびネットワーク運用コンソール、他の好適な構成要素、またはそれらの任意の好適な組合せなど、好適な構成要素も含んでもよい。特定の実施形態では、ソーシャルネットワーキングシステム７６０は、ユーザプロファイルを記憶するための１つまたは複数のユーザプロファイルストアを含んでもよい。ユーザプロファイルは、たとえば、経歴情報、人口統計学的情報、行動情報、ソーシャル情報、あるいは、職歴、学歴、趣味もしくは選好、興味、親和性、またはロケーションなど、他のタイプの記述的情報を含み得る。興味情報は、１つまたは複数のカテゴリーに関係する興味を含み得る。カテゴリーは一般的であるかまたは固有のものであり得る。限定としてではなく一例として、ユーザが、靴のブランドに関する記事に対して「いいね！」を表明した場合、カテゴリーは、ブランド、あるいは「靴」または「衣類」の一般的なカテゴリーであり得る。つながりストアは、ユーザに関するつながり情報を記憶するために使用され得る。つながり情報は、同様のまたは共通の職歴、グループメンバーシップ、趣味、学歴を有するか、あるいはいかなる形でも関係するか、または共通属性を共有する、ユーザを指示し得る。つながり情報は、（内部と外部の両方の）異なるユーザとコンテンツとの間のユーザ定義されたつながりをも含み得る。ウェブサーバは、ネットワーク７１０を介してソーシャルネットワーキングシステム７６０を１つまたは複数のクライアントシステム７３０もしくは１つまたは複数のサードパーティシステム７７０にリンクさせるために使用されてもよい。ウェブサーバは、ソーシャルネットワーキングシステム７６０と１つまたは複数のクライアントシステム７３０との間でメッセージの受信およびルーティングを行うためのメールサーバまたは他のメッセージング機能を含んでもよい。ＡＰＩ要求サーバは、サードパーティシステム７７０が、１つまたは複数のＡＰＩを呼び出すことによってソーシャルネットワーキングシステム７６０からの情報にアクセスすることを可能にしてもよい。アクションロガーは、ソーシャルネットワーキングシステム７６０上の、またはソーシャルネットワーキングシステム７６０から離れたユーザのアクションに関するウェブサーバからの通信を受信するために使用されてもよい。アクションログと併せて、サードパーティコンテンツオブジェクトへのユーザ露出についてのサードパーティコンテンツオブジェクトログが維持され得る。通知コントローラは、コンテンツオブジェクトに関する情報をクライアントシステム７３０に提供してもよい。情報は、通知としてクライアントシステム７３０へ押し出されることが可能であり、または情報は、クライアントシステム７３０から受け取られた要求に応答してクライアントシステム７３０から引き出されることが可能である。許可サーバは、ソーシャルネットワーキングシステム７６０のユーザの１つまたは複数のプライバシー設定を施行するために使用されてもよい。ユーザのプライバシー設定は、ユーザに関連付けられた特定の情報がどのように共有され得るかを決定する。許可サーバは、ユーザが、たとえば適切なプライバシー設定を設定することなどによって、自分のアクションがソーシャルネットワーキングシステム７６０によって記録されること、またはその他のシステム（たとえば、サードパーティシステム７７０）と共有されることについてオプトインまたはオプトアウトを行うことを可能にしてもよい。サードパーティコンテンツオブジェクトストアは、サードパーティシステム７７０などのサードパーティから受信されたコンテンツオブジェクトを記憶するために使用されてもよい。ロケーションストアは、ユーザに関連付けられたクライアントシステム７３０から受信されたロケーション情報を記憶するために使用されてもよい。広告価格設定モジュールは、ソーシャル情報、現在時間、ロケーション情報、または他の好適な情報を組み合わせて、関連する広告を通知の形態でユーザに提供し得る。

図８は、例示的なコンピュータシステム８００を示している。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または図示される機能を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム８００上で稼働しているソフトウェアは、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または図示される機能を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム８００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。

本開示は、任意の好適な数のコンピュータシステム８００を想定している。本開示は、任意の好適な物理的形態をとるコンピュータシステム８００を想定している。限定としてではなく例として、コンピュータシステム８００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうちの２つまたはそれ以上の組合せであってもよい。適切な場合、コンピュータシステム８００は、１つまたは複数のコンピュータシステム８００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンタにわたるか、あるいは１つまたは複数のネットワーク内の１つまたは複数のクラウド構成要素を含んでもよいクラウド内に常駐してもよい。適切な場合、１つまたは複数のコンピュータシステム８００は、実質的な空間的もしくは時間的制限なしに、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実施してもよい。限定ではなく、例として、１つまたは複数のコンピュータシステム８００は、リアルタイムでまたはバッチモードで、本明細書に記載または図示される１つまたは複数の方法の１つもしくは複数のステップを実施してもよい。１つまたは複数のコンピュータシステム８００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実施してもよい。

特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２と、メモリ８０４と、記憶装置８０６と、入出力（Ｉ／Ｏ）インターフェース８０８と、通信インターフェース８１０と、バス８１２とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを作成する命令など、命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４または記憶装置８０６から命令を取り出し（またはフェッチし）、それらの命令を復号して実行し、次いで、１つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリ８０４または記憶装置８０６に書き込んでもよい。特定の実施形態では、プロセッサ８０２は、データ、命令またはアドレスのための１つまたは複数の内部キャッシュを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ８０２を想定している。限定ではなく、例として、プロセッサ８０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含んでもよい。命令キャッシュ内の命令は、メモリ８０４または記憶装置８０６内の命令のコピーであってもよく、命令キャッシュは、プロセッサ８０２によるそれらの命令の取出しを高速化してもよい。データキャッシュ内のデータは、プロセッサ８０２で実行される命令が動作する対象のメモリ８０４または記憶装置８０６内のデータのコピー、プロセッサ８０２で実行される後続の命令によるアクセスのための、またはメモリ８０４もしくは記憶装置８０６に書き込むための、プロセッサ８０２で実行された以前の命令の結果、あるいは他の好適なデータであってもよい。データキャッシュは、プロセッサ８０２による読取りまたは書込みの動作を高速化してもよい。ＴＬＢは、プロセッサ８０２のための仮想アドレストランスレーションを高速化してもよい。特定の実施形態では、プロセッサ８０２は、データ、命令またはアドレスのための１つまたは複数の内部レジスタを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ８０２を想定している。適切な場合、プロセッサ８０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ８０２を含んでもよい。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

特定の実施形態では、メモリ８０４は、プロセッサ８０２が実行するための命令、またはプロセッサ８０２が動作する対象のデータを記憶するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム８００は、記憶装置８０６または（たとえば、別のコンピュータシステム８００などの）別のソースからメモリ８０４に命令をロードしてもよい。プロセッサ８０２は、次いで、命令をメモリ８０４から内部レジスタもしくは内部キャッシュにロードしてもよい。命令を実行するために、プロセッサ８０２は、命令を内部レジスタもしくは内部キャッシュから取り出し、それらの命令を復号してもよい。命令の実行中またはその後に、プロセッサ８０２は、（中間結果または最終結果であってもよい）１つまたは複数の結果を内部レジスタもしくは内部キャッシュに書き込んでもよい。プロセッサ８０２は、次いで、それらの結果のうちの１つまたは複数をメモリ８０４に書き込んでもよい。特定の実施形態では、プロセッサ８０２は、１つまたは複数の内部レジスタもしくは内部キャッシュ内の、あるいは（記憶装置８０６または他の場所とは対照的な）メモリ８０４内の命令のみを実行し、１つまたは複数の内部レジスタもしくは内部キャッシュ内の、あるいは（記憶装置８０６または他の場所とは対照的な）メモリ８０４内のデータのみに対して動作する。（アドレスバスおよびデータバスを各々が含んでもよい）１つまたは複数のメモリバスは、プロセッサ８０２をメモリ８０４に結合してもよい。バス８１２は、以下で説明されるように、１つまたは複数のメモリバスを含んでもよい。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサ８０２とメモリ８０４との間に常駐し、プロセッサ８０２によって要求されるメモリ８０４へのアクセスを容易にする。特定の実施形態では、メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを想定している。メモリ８０４は、適切な場合には、１つまたは複数のメモリ８０４を含んでもよい。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

特定の実施形態では、記憶装置８０６は、データまたは命令のための大容量記憶装置を含む。限定ではなく、例として、記憶装置８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含んでもよい。記憶装置８０６は、適切な場合、取外し可能な媒体または取外し不可能な（または固定された）媒体を含んでもよい。記憶装置８０６は、適切な場合、コンピュータシステム８００の内部または外部にあってもよい。特定の実施形態では、記憶装置８０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、記憶装置８０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量記憶装置８０６を想定している。記憶装置８０６は、適切な場合、プロセッサ８０２と記憶装置８０６との間の通信を容易にする１つまたは複数の記憶装置制御ユニットを含んでもよい。適切な場合、記憶装置８０６は、１つまたは複数の記憶装置８０６を含んでもよい。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

特定の実施形態では、Ｉ／Ｏインターフェース８０８は、コンピュータシステム８００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェアまたはその両方を含む。コンピュータシステム８００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含んでもよい。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム８００との間の通信を可能にしてもよい。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース８０８とを想定している。適切な場合、Ｉ／Ｏインターフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含んでもよい。Ｉ／Ｏインターフェース８０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース８０８を含んでもよい。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

特定の実施形態では、通信インターフェース８１０は、コンピュータシステム８００と、１つまたは複数の他のコンピュータシステム８００もしくは１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェアまたはその両方を含む。限定ではなく、例として、通信インターフェース８１０は、イーサネットまたは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、または、ＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含んでよい。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース８１０とを想定している。限定ではなく、例として、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信してもよい。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム８００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信してもよい。コンピュータシステム８００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース８１０を含んでもよい。通信インターフェース８１０は、適切な場合、１つまたは複数の通信インターフェース８１０を含んでもよい。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに結合する、ハードウェア、ソフトウェアまたはその両方を含む。限定ではなく、例として、バス８１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含んでもよい。バス８１２は、適切な場合、１つまたは複数のバス８１２を含んでもよい。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。

本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

Claims (15)

1. 人工現実デバイスに関連付けられた第１のコンピューティングシステムによって、
   ネットワークを介して、第２のコンピューティングシステムのユーザのビデオデータを受信することであって、前記ビデオデータが、前記第２のコンピューティングシステムの前記ユーザの第１の撮像された画像および前記ユーザの第２の撮像された画像を含み、前記第１の撮像された画像および前記第２の撮像された画像が、それぞれ前記第２のコンピューティングシステムの第１のカメラおよび第２のカメラによって同時に撮像される、受信することと、
   前記第２のコンピューティングシステムの前記ユーザを表示するための平面プロキシを生成することと、
   ３次元仮想環境内で前記平面プロキシの姿勢を決定することと、
   決定された前記姿勢を有する前記平面プロキシおよび前記第１の撮像された画像に基づいて、前記人工現実デバイスの左目用ディスプレイの左側表示画像をレンダリングすることと、
   決定された前記姿勢を有する前記平面プロキシおよび前記第２の撮像された画像に基づいて、前記人工現実デバイスの右目用ディスプレイの右側表示画像をレンダリングすることと、
   レンダリングされた前記左側表示画像および前記右側表示画像をそれぞれ前記左目用ディスプレイおよび前記右目用ディスプレイを使用して表示することと
   を含む、方法。
2. 前記平面プロキシが、前記人工現実デバイスの姿勢に対して配置され、および／または好ましくは、前記平面プロキシが、前記３次元仮想環境内の固定された位置および向きに配置される、請求項１に記載の方法。
3. 前記第２のコンピューティングシステムから設定データを受信することであって、前記第２のコンピューティングシステムからの前記設定データが、前記第２のコンピューティングシステムの前記第１のカメラおよび前記第２のカメラの１つまたは複数の特性を含む、受信することと、
   第３のコンピューティングシステムから設定データを受信することであって、前記第３のコンピューティングシステムからの前記設定データが、前記第３のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、受信することと、
   前記第２のコンピューティングシステムおよび前記第３のコンピューティングシステムからの前記設定データに基づいて、前記３次元環境内の前記平面プロキシの前記姿勢を調整することと
   をさらに含む、請求項１または２に記載の方法。
4. 前記第１のカメラおよび前記第２のカメラが、縦座標平面において互いに人間の瞳孔間距離未満の距離に位置し、好ましくは、前記縦座標平面における前記第１のカメラまたは前記第２のカメラの位置を調整する前記第１のコンピューティングシステムまたは前記第２のコンピューティングシステムをさらに備える、請求項１、２または３に記載の方法。
5. 前記ユーザを含む前記第１の撮像された画像の一部分を選択することと、
   前記ユーザを含む前記第２の撮像された画像の一部分を選択することと
   をさらに含み、
   前記左側表示画像が、前記第１の撮像された画像の選択された前記一部分に基づいてレンダリングされ、前記右側表示画像が、前記第２の撮像された画像の選択された前記一部分に基づいてレンダリングされる、請求項１から４のいずれか一項に記載の方法。
6. 前記第１の画像内の１つまたは複数の画素の赤／緑／青（ＲＧＢ）色値を決定することと、
   前記第２の画像内の１つまたは複数の対応する画素の赤／緑／青（ＲＧＢ）色値を決定することと、
   前記第１の画像内の前記１つまたは複数の画素の前記ＲＧＢ色値を、前記第２の画像内の前記１つまたは複数の対応する画素の前記ＲＧＢ色値と一致するように調整することと
   をさらに含む、請求項１から５のいずれか一項に記載の方法。
7. 前記平面プロキシに対する前記人工現実の視野角を決定することと、
   前記視野角が所定の最大閾値を超えていると決定することと、
   前記人工現実デバイスの前記視野角が前記所定の最大閾値を超えているという決定に基づいて、前記左目用ディスプレイ上の前記左側表示画像および前記右目用ディスプレイ上の前記右側表示画像の表示を終了することと
   をさらに含む、請求項１から６のいずれか一項に記載の方法。
8. ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、人工現実デバイスに関連付けられた第１のコンピューティングシステムによって実行された場合に、
   ネットワークを介して、第２のコンピューティングシステムのユーザのビデオデータを受信することであって、前記ビデオデータが、前記ユーザの第１の撮像された画像および前記ユーザの第２の撮像された画像を含み、前記第１の撮像された画像および前記第２の撮像された画像が、それぞれ前記第２のコンピューティングシステムの第１のカメラおよび第２のカメラによって同時に撮像される、受信することと、
   前記ユーザを表示するための平面プロキシを生成することと、
   ３次元仮想環境内で前記平面プロキシの姿勢を決定することと、
   決定された前記姿勢を有する前記平面プロキシおよび前記第１の撮像された画像に基づいて、前記人工現実デバイスの左目用ディスプレイの左側表示画像をレンダリングすることと、
   決定された前記姿勢を有する前記平面プロキシおよび前記第２の撮像された画像に基づいて、前記人工現実デバイスの右目用ディスプレイの右側表示画像をレンダリングすることと、
   レンダリングされた前記左側表示画像および前記右側表示画像をそれぞれ前記左目用ディスプレイおよび前記右目用ディスプレイを使用して表示することと
   を行うように動作可能である、コンピュータ可読非一時的記憶媒体。
9. 前記平面プロキシが、前記人工現実デバイスの姿勢に対して配置され、および／または好ましくは、前記平面プロキシが、前記３次元仮想環境内の固定された位置および向きに配置される、請求項８に記載のコンピュータ可読非一時的記憶媒体。
10. 前記ソフトウェアが、実行された場合に、
    前記第２のコンピューティングシステムから設定データを受信することであって、前記第２のコンピューティングシステムからの前記設定データが、前記第２のコンピューティングシステムの第前記１のカメラおよび前記第２のカメラの１つまたは複数の特性を含む、受信することと、
    第３のコンピューティングシステムから設定データを受信することであって、前記第３のコンピューティングシステムからの前記設定データが、前記第３のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、受信することと、
    前記第２のコンピューティングシステムおよび前記第３のコンピューティングシステムからの前記設定データに基づいて、前記３次元環境内の前記平面プロキシの前記姿勢を調整することと
    を行うようにさらに動作可能である、請求項８または９に記載のコンピュータ可読非一時的記憶媒体。
11. 前記第１のカメラおよび前記第２のカメラが、縦座標平面において互いに人間の瞳孔間距離未満の距離に位置し、好ましくは、前記ソフトウェアが、前記縦座標平面における前記第１のカメラまたは前記第２のカメラの位置を調整する前記第１のコンピューティングシステムまたは前記第２のコンピューティングシステムによって実行される場合にさらに動作可能である、請求項８、９または１０に記載のコンピュータ可読非一時的記憶媒体。
12. 人工現実デバイスに関連付けられた第１のコンピューティングシステムであって、
    １つまたは複数のプロセッサと、
    １つまたは複数のコンピュータ可読非一時的記憶媒体と、
    を備え、前記１つまたは複数のコンピュータ可読非一時的記憶媒体は、１つまたは複数の前記プロセッサに接続され、かつ命令を含み、前記命令は、１つまたは複数の前記プロセッサによって実行された場合に、前記システムに、
    ネットワークを介して、第２のコンピューティングシステムのユーザのビデオデータを受信することであって、前記ビデオデータが、前記ユーザの第１の撮像された画像および前記ユーザの第２の撮像された画像を含み、前記第１の撮像された画像および前記第２の撮像された画像が、それぞれ前記第２のコンピューティングシステムの第１のカメラおよび第２のカメラによって同時に撮像される、受信することと、
    前記ユーザを表示するための平面プロキシを生成することと、
    ３次元仮想環境内で前記平面プロキシの姿勢を決定することと、
    決定された前記姿勢を有する前記平面プロキシおよび前記第１の撮像された画像に基づいて、前記人工現実デバイスの左目用ディスプレイの左側表示画像をレンダリングすることと、
    決定された前記姿勢を有する前記平面プロキシおよび前記第２の撮像された画像に基づいて、前記人工現実デバイスの右目用ディスプレイの右側表示画像をレンダリングすることと、
    レンダリングされた前記左側表示画像および前記右側表示画像をそれぞれ前記左目用ディスプレイおよび前記右目用ディスプレイを使用して表示することと
    を行わせるように動作可能である、第１のコンピューティングシステム。
13. 前記平面プロキシが、前記人工現実デバイスの姿勢に対して配置され、および／または好ましくは、前記平面プロキシが、前記３次元仮想環境内の固定された位置および向きに配置される、請求項１２に記載のシステム。
14. 前記プロセッサが、前記命令を実行した場合に、
    前記第２のコンピューティングシステムから設定データを受信することであって、前記第２のコンピューティングシステムからの前記設定データが、前記第２のコンピューティングシステムの第前記１のカメラおよび前記第２のカメラの１つまたは複数の特性を含む、受信することと、
    第３のコンピューティングシステムから設定データを受信することであって、前記第３のコンピューティングシステムからの前記設定データが、前記第３のコンピューティングシステムの第１のカメラおよび第２のカメラの１つまたは複数の特性を含む、受信することと、
    前記第２のコンピューティングシステムおよび前記第３のコンピューティングシステムからの前記設定データに基づいて、前記３次元環境内の前記平面プロキシの前記姿勢を調整することと
    を行うようにさらに動作可能である、請求項１２または１３に記載のシステム。
15. 前記第１のカメラおよび前記第２のカメラが、縦座標平面において互いに人間の瞳孔間距離未満の距離に位置する、請求項１２、１３または１４に記載のシステム。

Images