JP7510986B2 - 一元化レンダリング - Google Patents

Description

（関連出願の相互参照）
本願は、その内容が、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる、２０１８年６月１８日に出願された、米国特許出願第１６／０１１，４１３号の利益を主張する。

本開示は、一般に、ディスプレイ上でグラフィカルデータを視覚的にレンダリングするためのシステムおよび方法に関し、特に、単一のディスプレイ上で複数のコンピュータアプリケーションからデータを視覚的にレンダリングするためのシステムおよび方法に関する。

種々の技術が、コンピュータアプリケーションのグラフィカルデータをディスプレイにレンダリングするために存在する。これらの技術が、グラフィカルデータを現実的に、すなわち、物理的世界に基づく視認者の予期と一貫して、かつそのように効率的にレンダリングすることが、望ましくあり得る。また、レンダリング技術が、例えば、複数のアプリケーションが単一のディスプレイ上に表示されるべきグラフィカルデータに寄与する、コンピュータシステムを含む、種々のトポロジのコンピュータシステムに適応することも、望ましくあり得る。

従来的システムは、多くの場合、そのような多重アプリケーションシステムにおいてコンテンツを現実的かつ効率的にレンダリングすることができない。例えば、いくつかのそのようなシステムでは、単一のディスプレイ上に複数のアプリケーションからのグラフィカルデータをレンダリングすることは、データがディスプレイ上で誤ってソートされることをもたらし、ディスプレイの現実感を損なう、予期せぬ視覚結果を生成する。さらに、１つのアプリケーションからのグラフィカルデータは、照明および影付け効果を介して、またはシェーダを介して等、別のアプリケーションからのグラフィカルデータと現実的に相互作用することができない場合がある。加えて、いくつかのそのようなシステムは、不可視表面のカリング等のレンダリング最適化を使用し、算出効率を増加させる、それらの能力において限定される。

拡張現実（ＡＲ）または「複合現実」を伴うシステムは、特に、複数のアプリケーションからのグラフィカルデータを単一のディスプレイにレンダリングすることの問題のより良好なソリューションを要求する。例えば、ＡＲシステムは、複数のユーザが、共有仮想空間内で、単一のディスプレイにレンダリングされる全てのユーザからの仮想コンテンツと相互作用する潜在性を持つ。そのような相互作用が、真実味を持ち、ユーザにとって有意義であり、ＡＲシステムのグラフィカル出力が、説得力があり、ユーザの視覚予期と一貫することを要求し得、異なるタイプおよび数のユーザ、ユーザハードウェア、およびユーザソフトウェア、ならびにユーザがシステムに関与することを所望し得る異なる方法に適応するために十分に柔軟であり、高いフレームレートで継続的動作を持続するため、かつモバイルデバイス上のバッテリ寿命を最大限にするために十分に効率的であることが、望ましい。さらに、ＡＲシステムにおける個々のユーザと関連付けられるアプリケーションおよびアプリケーションデータが、セキュリティ（信頼できないユーザの間のデータアクセスによって損なわれ得る）を提供することと、特に、システムのユーザの数が大きくなるにつれて、スケーラビリティを維持することとの両方のために、他のユーザから独立したままであることが、望ましくあり得る。さらに、そのようなシステムは、ユーザおよびユーザアプリケーションに対する技術的制約を最小限にすることから利益を享受し得、例えば、ユーザがＡＲシステムに参加するためのハードウェア要件を限定することは、より多くのユーザに参加するように促す。これは、個々のユーザまたはユーザのハードウェア上で起動するアプリケーションが複雑なレンダリング動作を実施する必要がある程度を限定することによって、例えば、そのような動作を専用ハードウェア上で起動するサーバ側ホストアプリケーション等の共有システムにオフロードすることによって、達成され得る。

本開示の実施例は、複数のアプリケーションが単一のディスプレイ上に表示されるべきグラフィカルデータに寄与する、コンピュータシステムを説明する。本開示の実施例は、グラフィカルデータを現実的に、すなわち、物理的世界に基づく視認者の予期と一貫して、かつ効率的にレンダリングするために使用されることができる。本開示の実施例によると、第１のグラフィカルデータは、第１のクライアントアプリケーションから受信されてもよく、第２のグラフィカルデータは、第２の独立クライアントアプリケーションから受信されてもよい。第１および第２のグラフィカルデータは、第１および第２のグラフィカルデータによって表されるノードの間の関係を記述するために使用され得る、シーングラフ等の「一元化」データ構造に組み合わせられてもよい。一元化データ構造は、故に、現実的かつ効率的様式で、第１および第２のグラフィカルデータを反映する場面をディスプレイにレンダリングするために使用されることができる。
本発明は、例えば、以下を提供する。
（項目１）
方法であって、
コンピュータシステムの第１のクライアントアプリケーションから、複数の第１のノードを備える第１のグラフィカルデータを受信することと、
前記コンピュータシステムの第２のクライアントアプリケーションから、複数の第２のノードを備える第２のグラフィカルデータを受信することと、
シーングラフを発生させることと
を含み、
前記シーングラフは、前記複数の第１のノードのうちの少なくとも１つの第１のノードと前記複数の第２のノードのうちの少なくとも１つの第２のノードとの間のオクルージョン関係を記述し、
前記シーングラフは、前記オクルージョン関係に基づいて、レンダリングされる場面を作成するように構成され、少なくとも１つの第２のノードは、少なくとも１つの第１のノードをオクルードする、方法。
（項目２）
前記コンピュータシステムのプロセッサによって、前記シーングラフをトラバースすることをさらに含む、項目１に記載の方法。
（項目３）
前記コンピュータシステムは、ディスプレイと通信するように構成され、前記方法はさらに、前記ディスプレイ上に出力を表示することを含む、項目２に記載の方法。
（項目４）
前記出力を表示することは、前記複数の第１のノードのうちの少なくとも１つの第１のノードおよび前記複数の第２のノードのうちの少なくとも１つの第２のノードを表示することを含む、項目３に記載の方法。
（項目５）
前記出力を表示することは、少なくとも１つの第１のノードを表示することから成る、項目４に記載の方法。
（項目６）
前記コンピュータシステムにおいて、最適化を前記出力に適用することをさらに含む、項目２に記載の方法。
（項目７）
前記最適化を適用することは、表面をカリングすることを含む、項目６に記載の方法。
（項目８）
前記コンピュータシステムにおいて、視覚効果を前記出力に適用することをさらに含む、項目２に記載の方法。
（項目９）
前記視覚効果を適用することは、光量値を計算することを含む、項目８に記載の方法。
（項目１０）
前記視覚効果を適用することは、シェーダを実行することを含む、項目８に記載の方法。
（項目１１）
前記コンピュータシステムにおいて、物理的効果を前記出力に適用することをさらに含む、項目２に記載の方法。
（項目１２）
前記物理的効果を適用することは、衝突を検出することを含む、項目１１に記載の方法。
（項目１３）
前記第１のクライアントアプリケーションは、前記コンピュータシステム上で実行される第１のアプリケーションであり、前記第２のクライアントアプリケーションは、前記コンピュータシステム上で実行される第２のアプリケーションであり、前記第１のクライアントアプリケーションは、前記第２のクライアントアプリケーションに対して前記コンピュータシステム上でサンドボックス化される、項目１に記載の方法。
（項目１４）
前記第１のグラフィカルデータは、前記第１のクライアントアプリケーションと関連付けられる第１のクライアントシーングラフに対応し、
前記第２のグラフィカルデータは、前記第２のクライアントアプリケーションと関連付けられる第２のクライアントシーングラフに対応し、
前記第１のクライアントシーングラフは、前記第２のクライアントシーングラフに対して前記コンピュータシステム上でサンドボックス化され、
前記第１のクライアントシーングラフは、前記シーングラフに対して前記コンピュータシステム上でサンドボックス化され、
前記第２のクライアントシーングラフは、前記シーングラフに対して前記コンピュータシステム上でサンドボックス化される、項目１に記載の方法。
（項目１５）
前記シーングラフは、バージョン付きシーングラフのバージョンに対応する、項目１に記載の方法。
（項目１６）
前記第１のグラフィカルデータは、前記コンピュータシステムの第１の処理スレッドを使用して、前記シーングラフに通信され、前記第２のグラフィカルデータは、前記第１の処理スレッドから独立する前記コンピュータシステムの第２の処理スレッドを使用して、前記シーングラフに通信される、項目１に記載の方法。
（項目１７）
１つ以上のプロセッサを備えるシステムであって、前記１つ以上のプロセッサは、方法を実施するように構成され、前記方法は、
コンピュータシステムの第１のクライアントアプリケーションから、複数の第１のノードを備える第１のグラフィカルデータを受信することと、
前記コンピュータシステムの第２のクライアントアプリケーションから、複数の第２のノードを備える第２のグラフィカルデータを受信することと、
シーングラフを発生させることと
を含み、
前記シーングラフは、前記複数の第１のノードのうちの少なくとも１つの第１のノードと前記複数の第２のノードのうちの少なくとも１つの第２のノードとの間のオクルージョン関係を記述し、
前記シーングラフは、前記オクルージョン関係に基づいて、レンダリングされる場面を作成するように構成され、少なくとも１つの第２のノードは、少なくとも１つの第１のノードをオクルードする、システム。
（項目１８）
前記方法はさらに、前記コンピュータシステムのプロセッサに、前記シーングラフをトラバースさせることを含む、項目１７に記載のシステム。
（項目１９）
前記コンピュータシステムは、ディスプレイと通信するように構成され、前記方法はさらに、前記コンピュータシステムに、前記ディスプレイ上に出力を提示させることを含む、項目１８に記載のシステム。
（項目２０）
前記出力を表示することは、前記複数の第１のノードのうちの少なくとも１つの第１のノードおよび前記複数の第２のノードのうちの少なくとも１つの第２のノードを表示することを含む、項目１９に記載のシステム。
（項目２１）
前記出力を表示することは、少なくとも１つの第１のノードを表示することから成る、項目２０に記載のシステム。
（項目２２）
前記方法はさらに、前記コンピュータシステムに、最適化を前記出力に適用させることを含む、項目１８に記載のシステム。
（項目２３）
前記最適化を適用することは、表面をカリングすることを含む、項目２２に記載のシステム。
（項目２４）
前記方法はさらに、前記コンピュータシステムに、視覚効果を前記出力に適用させることを含む、項目１８に記載のシステム。
（項目２５）
前記視覚効果を適用することは、光量値を計算することを含む、項目２４に記載のシステム。
（項目２６）
前記視覚効果を適用することは、シェーダを実行することを含む、項目２４に記載のシステム。
（項目２７）
前記方法はさらに、前記コンピュータシステムに、物理的効果を前記出力に適用させることを含む、項目１８に記載のシステム。
（項目２８）
前記物理的効果を適用することは、衝突を検出することを含む、項目２７に記載のシステム。
（項目２９）
前記第１のクライアントアプリケーションは、前記コンピュータシステム上で実行される第１のアプリケーションであり、前記第２のクライアントアプリケーションは、前記コンピュータシステム上で実行される第２のアプリケーションであり、前記第１のクライアントアプリケーションは、前記第２のクライアントアプリケーションに対して前記コンピュータシステム上でサンドボックス化される、項目１７に記載のシステム。
（項目３０）
前記第１のグラフィカルデータは、前記第１のクライアントアプリケーションと関連付けられる第１のクライアントシーングラフに対応し、
前記第２のグラフィカルデータは、前記第２のクライアントアプリケーションと関連付けられる第２のクライアントシーングラフに対応し、
前記第１のクライアントシーングラフは、前記第２のクライアントシーングラフに対して前記コンピュータシステム上でサンドボックス化され、
前記第１のクライアントシーングラフは、前記シーングラフに対して前記コンピュータシステム上でサンドボックス化され、
前記第２のクライアントシーングラフは、前記シーングラフに対して前記コンピュータシステム上でサンドボックス化される、項目１７に記載のシステム。
（項目３１）
前記シーングラフは、バージョン付きシーングラフのバージョンに対応する、項目１７に記載のシステム。
（項目３２）
前記第１のグラフィカルデータは、前記コンピュータシステムの第１の処理スレッドを使用して、前記シーングラフに通信され、前記第２のグラフィカルデータは、前記第１の処理スレッドから独立する前記コンピュータシステムの第２の処理スレッドを使用して、前記シーングラフに通信される、項目１７に記載のシステム。
（項目３３）
前記システムは、前記コンピュータシステムを備える、項目１７に記載のシステム。
（項目３４）
前記第１のクライアントアプリケーションは、前記１つ以上のプロセッサを介して実行される第１のアプリケーションであり、前記第２のクライアントアプリケーションは、前記１つ以上のプロセッサを介して実行される第２のアプリケーションであり、前記第１のクライアントアプリケーションは、前記第２のクライアントアプリケーションに対して前記システム上でサンドボックス化される、項目１７に記載のシステム。

図１Ａ－１Ｅは、本開示の実施例による、グラフィカルディスプレイを含む、例示的コンピュータシステムを図示する。

図２Ａは、本開示の実施例による、例示的コンピュータシステムにおけるデータの例示的フローを示す。

図２Ｂは、本開示の実施例による、例示的コンピュータシステムに対応する例示的レンダラ出力を示す。

図２Ｃは、本開示の実施例による、複数の独立アプリケーションを含む、例示的コンピュータシステムにおけるデータの例示的フローを示す。

図２Ｄは、本開示の実施例による、複数の独立アプリケーションを含む、例示的コンピュータシステムに対応する例示的レンダラ出力を示す。

図３Ａは、本開示の実施例による、一元化シーングラフを使用して、複数の独立アプリケーションからの３Ｄデータをディスプレイにレンダリングし得る、例示的コンピュータシステムのコンポーネントを図示する。

図３Ｂは、本開示の実施例による、複数の独立クライアントアプリケーションを含む、例示的コンピュータシステムに関する例示的クライアントアプリケーションの側面を図示する。

図３Ｃは、本開示の実施例による、複数の独立クライアントアプリケーションを含む、例示的コンピュータシステムに関する例示的クライアント・サーバインターフェースの側面を図示する。

図３Ｄは、本開示の実施例による、複数の独立クライアントアプリケーションを含む、例示的コンピュータシステムに関する例示的ホストアプリケーション３４０の側面を図示する。

図３Ｅは、本開示の実施例による、複数の独立クライアントアプリケーションを含む、例示的コンピュータシステムに関する例示的レンダラ３６０の側面を図示する。

図４は、本開示の実施例による、任意のポータブルまたは非ポータブルデバイス内で具現化され得る、システムアーキテクチャの実施例を図示する。

実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面が、参照される。他の実施例も、使用され得、構造変更が、開示される実施例の範囲から逸脱することなく、行われ得ることを理解されたい。

図１Ａ－１Ｅは、ディスプレイを伴う種々の例示的コンピュータシステムを図示する。図１Ａは、外部モニタに接続される例示的デスクトップコンピュータを示す。図１Ｂは、ディスプレイを含む、例示的ラップトップを示す。図１Ｃは、統合ディスプレイを含む、例示的モバイルデバイスを示す。図１Ｄは、ディスプレイを含む、例示的テレビを示す。図１Ｅは、頭部搭載型ディスプレイを含む、例示的コンピュータシステムを示す。本開示は、いかなる特定のタイプのコンピュータシステムにも、いかなる特定のタイプのディスプレイにも、またはコンピュータシステムをディスプレイに接続するいかなる特定の手段にも限定されない。本開示はさらに、２次元ディスプレイに限定されず、特に、立体ディスプレイ等の３次元ディスプレイが、検討される。

いくつかの例示的コンピュータシステムでは、ディスプレイ上にグラフィックで（「レンダリングされる場面」として）提示されるべきデータは、３次元空間内でオブジェクト（ポリゴンを含む、２Ｄまたは３Ｄ幾何プリミティブ等）を表すデータ（「３Ｄデータ」）を含み、ディスプレイ上で３Ｄデータを提示することは、視軸に沿って配向される視認起点から視認されるような３次元空間内のオブジェクトに対応する画像（「表示される場面」）を提示することを含む。例えば、コンピュータシステム上で起動するソフトウェアアプリケーション（３Ｄエンジンを使用するビデオゲーム等）では、３Ｄデータは、３次元ゲーム世界の中のオブジェクトの空間座標、配向、および／または視覚性質、ならびにゲーム世界の中の視認起点および視軸を記述するデータを含んでもよい。３Ｄデータはまた、レンダリングされるべきオブジェクトと関連付けられるテクスチャに関連するデータ、オブジェクトに関連するシェーダパラメータ、およびオブジェクトが表示され得る方法に影響を及ぼす他の情報を含んでもよい。ゲームは、例えば、「レンダリング」または「描画」段階の間、表示される場面としてディスプレイ上に提示するためのレンダリングされる場面を作成するように、ソフトウェアおよび／またはハードウェア「パイプライン」に指示してもよい。そのような実施例では、概して、結果として生じる画像が、視覚世界についてのユーザの予期を反映することが、望ましい。特に、概して、視認起点により近接する第１の不透明なオブジェクトが、第１のオブジェクトの後方に第２のオブジェクトをオクルードすることが、望ましい。正しくオクルードされていないオブジェクトは、ユーザを混乱させ得、オブジェクトが３次元空間内に位置する場所を明確に提示しない場合がある。いくつかの例示的コンピュータシステムでは、オクルージョンは、視認起点により近接するオブジェクトが、視認起点からより遠いオブジェクトの上でソートまたは描画される、ソーティングを通して達成される。

１つのオブジェクトが、別のものを現実的にオクルードするように、ディスプレイ上に提示するために複数のオブジェクトをソートすることは、オブジェクト間の関係、例えば、３次元空間内のオブジェクト間の空間関係についての情報を要求する。いくつかの例示的コンピュータシステムは、シーングラフを利用し、場面としてレンダリングされるべきオブジェクト等の１つ以上のオブジェクト間の関係（例えば、階層関係）を表す。本明細書で使用されるように、シーングラフは、そのような関係を表す任意のデータ構造である。例えば、シーングラフでは、提示されるべきレンダリングされるオブジェクトは、グラフではノードとして表されてもよく、ノード間の関係は、オブジェクト間の論理または空間関係を表す。レンダラは、次いで、当技術分野で公知の技法に従って、シーングラフをトラバースし、適切なオクルージョンを達成するであろう様式で、オブジェクトのうちの少なくとも１つを表示のためにレンダリングまたは準備することができる。言い換えると、レンダラは、ノードを有するオブジェクトの場面を作成し得るが、ディスプレイ上の提示は、レンダラ内の別のオブジェクトによってオクルードされるオブジェクトが、結果として生じる表示される場面内で部分的にのみ提示されるであろうように、レンダリングされるオブジェクトのサブセットのみであり得る（そのような実施形態における出力は、オブジェクトのオクルードされない部分である）。そのような選択的表示は、ユーザが、所与の時間周期内に視認可能であるように第２のアプリケーションから起動する第２のオブジェクトによって具現化されるコンテンツのみを所望する場合、第１のアプリケーションから起動する第１のオブジェクトによって具現化されるコンテンツを不明瞭にするために有益であり得る。いくつかの実施例では、シーングラフは、３Ｄデータを含むアプリケーションと、その３Ｄデータを画面への提示のためにレンダリングするためのレンダラとの間に位置する、中間データ構造であり、いくつかの実施例では、アプリケーションは、場面情報をシーングラフに書き込み、シーングラフは、場面をレンダリングする、または表示される場面を出力するためにレンダラによって後で使用されてもよい。

図２Ａは、例示的コンピュータシステム２００におけるデータの例示的フローを示す。システム２００では、単一のアプリケーション２１０は、レンダラ２５０がディスプレイ２９０上での提示のためにオブジェクト２２０をレンダリングするために使用し得る、シーングラフ２４０にデータを書き込むことができる。例えば、オブジェクト２２０は、２つの人間の手、すなわち、手２３２および手２３６の３Ｄ表現をともに備える、いくつかのオブジェクト（例えば、ポリゴン）を含んでもよく、アプリケーションは、例えば、レンダリングまたは描画段階の間、視軸に沿って配向される視認起点の視点からディスプレイ上に提示されるようにオブジェクト２２０に指示してもよい。実施例では、手２３２および手２３６は、握手で相互係止され、手の相対位置付けのため、視認者は、視認起点および視軸に対して、手２３２のいくつかの部分が手２３６の部分をオクルードし、手２３６を構成するいくつかのポリゴンが手２３２の部分をオクルードすることを予期する。アプリケーション２１０は、他のポリゴンをオクルードするはずであるポリゴン、すなわち、他のものの上に表示するようにソートされるはずであるポリゴンを識別するために使用され得る、オブジェクト２２０を構成するポリゴンの間の空間関係等のオブジェクト２２０の間の関係を記述する情報を、シーングラフ２４０に書き込むことができる。例えば、シーングラフ２４０は、ポリゴン２３４（手２３２に属する）が、視認起点と手２３６を構成するポリゴンとの間に位置付けられ、したがって、手２３６におけるそれらのポリゴンをオクルードするはずであり、ポリゴン２３８（手２３６に属する）が、視認起点と手２３２を備えるポリゴンとの間に位置付けられ、したがって、手２３２におけるそれらのポリゴンをオクルードするはずであることを反映し得る。レンダラ２５０は、次いで、オブジェクト２２０または手２３２のみもしくは手２３２のオクルードされない部分または手２３６のみ等のサブセットを、提示のために所望のオクルージョンと一貫するディスプレイ２９０への出力として出力してもよい。

図２Ｂは、図２Ａに示される例示的コンピュータシステム２００のレンダラ２５０の例示的出力を示す。図２Ａに関して上記に説明される実施例では、オブジェクト２２０の相対位置に基づいて、視認者は、手２３２を構成するいくつかのオブジェクト（ポリゴン２３４等）が手２３６をオクルードし、手２３６を構成するいくつかのオブジェクト（ポリゴン２３８等）が手２３２をオクルードすることを予期する。図２Ｂに示される例示的出力は、予期されるオクルージョンと一貫する。すなわち、図２Ａのオブジェクト２２０は、視認者の予期と一貫する握手をディスプレイ２９０上に提示するように正しく表示される。

図２Ａおよび２Ｂに示される例示的コンピュータシステム２００では、シーングラフ２４０は、単一のアプリケーションのみによって、アプリケーション２１０に直接書き込まれる。レンダラ２５０は、次いで、シーングラフ２４０をトラバースし、適切なオクルージョンを伴って手２３２および手２３６をレンダリングする。例示的コンピュータシステム２００等のレンダリングプロセスの一部としてシーングラフを使用する従来的システムは、シーングラフ（例えば、シーングラフ２４０）が、複数の独立アプリケーションから直接入力を受信するときに、オブジェクトを正しくオクルードしない場合がある。これらの状況では、例示的コンピュータシステム２００と異なり、ディスプレイ上でオブジェクトを正しくソートするために必要とされ得る、オブジェクト関係データの全てを伴うシーングラフを提供し得るアプリケーションが、１つも存在しない。

図２Ｃは、２つの独立アプリケーションを使用する、例示的コンピュータシステム２０１におけるデータの例示的フローを示し、上記に説明されるオクルージョン問題を図示する。上記に説明される例示的コンピュータシステム２００と異なり、例示的コンピュータシステム２０１は、２つの独立アプリケーション、すなわち、アプリケーション２１２と、アプリケーション２１４とを含む。例示的コンピュータシステム２０１では、アプリケーション２１２およびアプリケーション２１４は両方とも、データをシーングラフ２４０に書き込み、それらの個別の３Ｄデータを単一のディスプレイ２９０にレンダリングする。図２Ｃでは、アプリケーション２１２は、オブジェクト２２２（手２３２を構成するオブジェクトを含む）をレンダリングおよび提示しようと試み、アプリケーション２１４は、オブジェクト２２４（手２３６を構成するオブジェクトを含む）をレンダリングおよび提示しようと試みる。本実施例では、図２Ａおよび２Ｂに説明される実施例におけるように、手２３２および手２３６は、同一の３Ｄ環境内で並行して表示される場合、視認者が、手２３２の部分が手２３６をオクルードし、手２３６の部分が手２３２をオクルードすることを予期するであろうように、握手で相互係止されるであろう。

図２Ｃに示される実施例は、レンダリングされるべきオブジェクトの現実的なオクルージョンを達成することの困難を有し得る。実施例では、アプリケーション２１２は、オブジェクト２２２（手２３２を含む）に対応するデータをシーングラフ２４０に書き込むことができ、アプリケーション２１４は、オブジェクト２２４（手２３６を含む）に対応するデータを同一のシーングラフ２４０に書き込むことができる。しかしながら、例示的コンピュータシステム２０１では、アプリケーション２１２およびアプリケーション２１４が、独立（「サンドボックス化された」）アプリケーションである場合、アプリケーション２１２は、アプリケーション２１４のオブジェクト２２４（手２３６およびその構成オブジェクトを含む）に関連するデータにアクセスすることができず、同様に、アプリケーション２１４は、アプリケーション２１２のオブジェクト２２２（手２３２およびその構成オブジェクトを含む）に関連するデータにアクセスすることができない。すなわち、いくつかの実施例では、アプリケーション２１２またはアプリケーション２１４のいずれも、オブジェクト２２２とオブジェクト２２４との間の関係を完全に識別することができない。したがって、アプリケーション２１２またはアプリケーション２１４のいずれも、他のオブジェクトをオクルードするオブジェクト、またはオブジェクトがディスプレイ上でソートされるはずである順序を識別するために必要であり得る、情報をシーングラフ２４０に書き込むことができない。

図２Ｄは、図２Ｃに示される例示的コンピュータシステム２０１のレンダラ２５０の例示的出力を示す。図２Ｃに関して上記に説明される実施例では、オブジェクト２２２およびオブジェクト２２４の相対位置付けに基づいて、視認者は、手２３２のいくつかの部分が手２３６をオクルードし、手２３６のいくつかの部分が手２３２をオクルードすることを予期する。しかしながら、図２Ａおよび２Ｂと異なり、図Ｃのシーングラフ２４０は、上記に説明されるように、オブジェクト２２２および２２４を正しくソートし、所望のオクルージョンを生成することができない。代わりに、示される実施例では、オブジェクト２２２の全ては、オブジェクト２２４の全ての上にソートされる。図２Ｄに示される例示的出力は、したがって、予期されるオクルージョンと一貫しない。結果として生じる握手画像は、したがって、アプリケーション２１２およびアプリケーション２１４においてオブジェクトを正確に反映せず、画像は、加えて、不自然に見え得、視認者にとって紛らわしくあり得る。

図２Ａ－２Ｄのシーングラフ２４０等の従来的シーングラフの他の不利点は、例示的コンピュータシステム２０１において等の複数の独立アプリケーションと併用されるときに、明白である。例えば、レンダリング効率は、図２Ａのアプリケーション２１０において等でレンダリングされるべき場面全体に対応するデータを使用して、実現されることができる。例えば、オクルードされるであろう表面を把握することによって、図２Ａの例示的コンピュータシステム２００は、それらの表面をカリングするようにシステム２００に命令し、それによって、算出リソースの不必要な支出を回避することができる。本カリングは、各アプリケーションが、カリングされるべきである表面を決定するための場面知識を保有しない場合があるため、図２Ｃの例示的コンピュータシステム２０１等の多重アプリケーションシステムでは可能ではない場合がある。さらに、例示的コンピュータシステム２００等の単一のアプリケーションのみを伴う、いくつかの実施例では、有益な効果が、場面内の他のオブジェクトの存在に基づいて、オブジェクトに適用されてもよい。例えば、現実的な照明および影付け効果をオブジェクトに適用することは、近傍のオブジェクトに対応するデータを要求し得る。さらに、いくつかのシェーダ効果は、そのようなデータから利益を享受する。同様に、粒子システムまたは衝突検出システムによって発生される効果は、そのようなデータから利益を享受し得る。そのような効果は、そのような効果を適用するために必要なノード関係情報の全てを提供することが可能であり得るアプリケーションが、１つも存在しないため、３Ｄデータが複数の独立アプリケーションによって提供されるシステムにおいて限定される、または不可能であり得る。

本開示は、一元化シーングラフを使用し、複数の独立アプリケーションからの３Ｄデータをレンダリングするシステムの上記の不利点に対処する、システムおよび方法を提示する。一元化シーングラフが、複数の独立アプリケーションがレンダリングされるべき３Ｄデータを提供するシステム（図２Ｃの例示的コンピュータシステム２０１等）において、図２Ｃのシーングラフ２４０等の従来的シーングラフの代わりに使用されることができる。本明細書に説明されるように、いくつかの実施例では、一元化シーングラフは、複数の個々の入力ソースから３Ｄデータを受信し、その３Ｄデータに対応する情報を中心の場所に書き込み、その３Ｄデータに基づいて、オブジェクトを備えるレンダリングされる場面を作成するレンダラによるアクセスのためにその情報を維持するシステムを含むことができる。そのレンダリングされる場面は、現実的なオブジェクトオクルージョン、算出効率、視覚効果（照明および影付け等）、または別様に一元化シーングラフを利用しないシステムでは実現することが困難もしくは不可能であろう物理的効果（衝突検出等）もしくはオクルードされるオブジェクトの部分的表示を反映する出力（グラフィカル出力等）を発生させるために使用されてもよい。

いくつかの実施例では、例示的コンピュータシステムは、共通３Ｄ環境内の１つ以上のオブジェクトを表す３Ｄデータをそれぞれ含む、複数のアプリケーションを含む。複数のアプリケーションはそれぞれ、これが、他のアプリケーションに依存しないままであるように、「サンドボックス化された」環境内に存在してもよく、例えば、各個別のアプリケーションのデータは、各他のアプリケーションのデータから独立し得、各アプリケーションは、各他のアプリケーションのデータへのアクセスを有していない場合があり、アプリケーションのそれぞれの３Ｄデータが、同一の３Ｄ環境に対応し得る一方、各アプリケーションは、３Ｄ環境のその独自のインスタンスを維持する。例えば、各アプリケーションは、各プレーヤが同一のゲーム世界のインスタンスまたは３Ｄ環境内に存在するが、他のプレーヤのデータへの直接アクセスが欠けている、オンラインマルチプレーヤビデオゲーム内のプレーヤを表してもよい。そのような実施例では、全てのプレーヤが、ゲーム世界の単一のインスタンスにおいて同時にレンダリングされることが、望ましくあり得るが、各プレーヤが、各他のクライアント参加者の３Ｄデータをレンダリングするために必要な情報を維持することは、望ましくない場合がある（またはコンピュータ的に法外である）。さらに、セキュリティ目的のために、他のプレーヤに利用可能であるプレーヤの情報を限定することが、望ましくあり得る。

いくつかの実施例では、複数のサンドボックス化されるアプリケーションはそれぞれ、独立して、その３Ｄデータに対応する情報をローカルシーングラフに書き込むことができ、その情報は、後で共通一元化シーングラフに書き込まれる。一元化シーングラフは、次いで、各アプリケーションによって提供される集合的３Ｄデータに基づいて、画像としてディスプレイ上での提示のための場面をレンダリングするように、レンダラによってトラバースされることができる。複数のサンドボックス化されたアプリケーションのそれぞれから単一の一元化シーングラフに３Ｄデータを通信することによって、レンダラは、全てのアプリケーションの３Ｄデータの同時知識を要求する、またはそれから利益を享受する、オクルージョン、照明効果、およびレンダリング最適化（表面カリング等）等の有益な技法を適用することができる。これらの利益は、各サンドボックス化されたアプリケーションの要求される算出オーバーヘッドを限定しながら実現され、単一のアプリケーションの視点から、アプリケーションが行う必要があることは、単一のシーングラフを更新し、その３Ｄデータを反映することだけであり、他の動作は、本システムの別のコンポーネントによって実施される。さらに、セキュリティ利益が、サンドボックス化されたアプリケーションの間の分離を維持することによって、取得されることができる。

図３Ａは、一元化シーングラフを使用して、複数の独立アプリケーションからの３Ｄデータをディスプレイにレンダリングし得る、例示的コンピュータシステム３００のコンポーネントを図示する。図示される実施例は、クライアント・サーバトポロジを利用するが、しかしながら、本開示は、クライアント・サーバ実施例に限定されない。例示的コンピュータシステム３００では、第１のクライアントアプリケーション３１０および第２のクライアントアプリケーション３２０は、それぞれ、（いくつかの実施例では、ネットワークを経由して）３Ｄデータをクライアント・サーバインターフェース３３０に通信する。いくつかの実施例では、クライアントアプリケーション３１０および３２０は、相互から独立して動作し、独立してそれらの３Ｄデータをクライアント・サーバインターフェース３３０に通信する、「サンドボックス化された」アプリケーションである。クライアント・サーバインターフェース３３０は、クライアントアプリケーション３１０および３２０から更新された３Ｄデータを受信し、（いくつかの実施例では、ネットワークを経由して）その３Ｄデータをサーバ側ホストアプリケーション３４０に通信することができる。いくつかの実施例では、クライアント・サーバインターフェース３３０は、マルチスレッディング技法を使用し、複数のプロセッサスレッドを使用して、３Ｄデータを受信する、処理する、および／またはホストアプリケーション３４０に通信する。いくつかの実施例では、クライアント・サーバインターフェースは、３Ｄデータがホストアプリケーション３４０に通信されるレートを（抑制することによって等）制御するための論理を含む。ホストアプリケーション３４０は、クライアント・サーバインターフェースから受信される３Ｄデータを使用し、一元化シーングラフ３５０が、クライアントアプリケーション３１０および３２０から受信される３Ｄデータを反映するように、一元化シーングラフ３５０を更新することができる。いくつかの実施例では、一元化シーングラフ３５０は、シーングラフの複数のバージョンを備え、公知のバージョニング技法が、一元化シーングラフ３５０への更新が並行して起こることを可能にするために使用される。レンダラ３６０は、次いで、一元化シーングラフ３５０をトラバースし、適宜、最適化および効果を適用し、コンピュータモニタ等のディスプレイ３７０上に表示されるように出力（例えば、クライアントアプリケーション３１０および３２０のうちの少なくとも１つのデータ、ならびにいくつかの実施形態では、オクルードするアプリケーションデータを伴わない、１つのクライアントアプリケーションのオクルードされる部分のみを備えるグラフィカル出力）を発生させることができる。

図３Ｂは、図３Ａに示される例示的コンピュータシステム３００に関する例示的クライアントアプリケーション３１０の側面を図示する。示される実施例では、３Ｄデータ３１２は、ディスプレイ３７０上に提示されるべきである３Ｄ環境内のグラフィカルオブジェクト（幾何プリミティブ、例えば、ポリゴン等）を表す。３Ｄデータ３１２は、クライアントアプリケーション３１０によって更新されてもよい（３１４）。例えば、クライアントアプリケーション３１０が、１秒あたり６０回反復するレンダリングループを伴うアプリケーションである場合、クライアントアプリケーション３１０は、３Ｄデータ３１２を１秒あたり６０回更新し、レンダリング出力において反映されるはずであるアプリケーションの動作の過程の間に、そのデータの変更を反映してもよい。いくつかの実施例では、３Ｄデータ３１２は、各クライアントアプリケーション３１０にローカルであり得る、ローカルシーングラフ３１６として表される。いくつかの実施例では、ローカルシーングラフ３１６は、一元化シーングラフ３５０内のデータに対応するデータ（ノード等）を含んでもよい。３Ｄデータ３１２が、更新される（３１４）際、クライアントアプリケーション３１０は、ローカルシーングラフ３１６を更新し、３Ｄデータ３１２の直近のバージョンを反映することができる。ローカルシーングラフ３１６が、更新される際、これは、クライアントデータ３１８を発生させる（３１７）ようにクライアントアプリケーション３１０によって使用されることができる。いくつかの実施例では、クライアントデータ３１８は、その全体としてローカルシーングラフ３１６を表してもよい。いくつかの実施例では、クライアントデータ３１８は、以前のクライアントデータ３１８が、クライアント・サーバインターフェース３３０に送信された以降にローカルシーングラフ３１６に行われた変更を表してもよい。例えば、クライアントデータ３１８は、ローカルシーングラフ３１６に追加された、またはそれから削除されたノード、ローカルシーングラフ３１６内のノードの間の関係の変更、もしくはローカルシーングラフ３１６内のノードの性質の変更を含み得る。いくつかの実施例では、クライアントデータ３１８は、シーングラフノードに対応する識別番号等の識別子を使用し、ローカルシーングラフ３１６からのデータと一元化シーングラフ３５０上の対応するデータとの間の関係を識別してもよい。クライアントデータ３１８は、次いで、ホストアプリケーション３４０への最終的な通信のために、クライアント・サーバインターフェース３３０に通信されることができる。いくつかの実施例では、クライアント・サーバインターフェース３３０へのクライアントデータ３１８の通信は、ネットワークを経由して起こってもよい。いくつかの実施例では、クライアントヘルパアプリケーションが、ローカルシーングラフ３１６から、または３Ｄデータ３１２から、クライアントデータ３１８を発生させるために、クライアントアプリケーション３１０と併用されてもよい。

クライアントアプリケーション３１０に関して説明される側面は、同様に、クライアントアプリケーション３２０、または（クライアントアプリケーション３１０とともに）例示的コンピュータシステム３００を備える他のクライアントアプリケーションを説明し得る。本明細書に説明されるシステムおよび方法は、任意の数のクライアントアプリケーションおよびクライアントデータを含むように拡張され得、本開示は、いかなるそのような数にも限定されず、さらに、いくつかの利益（例えば、算出効率の向上）が、ますます増加するクライアントアプリケーションを用いるとより明白になり得ることが、当業者によって理解されるであろう。上記に説明されるように、クライアントアプリケーション３１０および３２０は、データまたは機能性を共有しない、サンドボックス化されたアプリケーションであってもよい。例えば、例示的コンピュータシステム３００では、クライアントアプリケーション３２０は、クライアントアプリケーション３１０に属する、３Ｄデータ３１２およびローカルシーングラフ３１６から独立する、その独自の３Ｄデータおよびローカルシーングラフを有してもよい。しかしながら、例示的コンピュータシステム３００を含む、いくつかの実施例では、単一のクライアント・サーバインターフェース３００が、クライアントアプリケーション３１０および３２０等の複数のクライアントアプリケーションによって共有される。

図３Ｃは、図３Ａおよび３Ｂに示される例示的コンピュータシステム３００に関する例示的クライアント・サーバインターフェース３３０の側面を図示する。実施例では、クライアントデータ３１８およびクライアントデータ３２８は、図３Ｂに関して上記に説明されるように、個別のクライアントアプリケーション３１０および３２０に通信される、またはそれによって更新される、クライアントデータである。いくつかの実施例では、クライアントデータ３１８および３２８は、異なるレートにおいてクライアント・サーバインターフェース３３０上で更新されてもよい。これは、例えば、１つのクライアントアプリケーションが、別のクライアントアプリケーションよりも能力が低いコンピューティングハードウェア上で実行される（そのクライアントアプリケーションに、そのクライアントデータをより低い頻度で更新させる）場合、１つのクライアントアプリケーションが、別のクライアントアプリケーションよりも低い帯域幅のネットワークを経由してクライアント・サーバインターフェース３３０と通信する場合、または１つのクライアントアプリケーションと関連付けられるクライアントデータが、別のクライアントアプリケーションと関連付けられるクライアントデータよりも複雑である（かつ発生させるためにより多くの処理時間を要求する）場合に起こり得る。クライアント・サーバインターフェース３３０上でクライアントデータを更新する異なるレートはまた、ネットワーク故障が、クライアントアプリケーションを一時的にオフラインにさせる場合等の動作条件の一時的急変の結果であり得る。例えば、コンピュータシステム３００が、クライアントデータを更新する異なるレートに耐えることが、望ましく、例えば、１つのクライアントアプリケーションに影響を及ぼすネットワーク故障が、他のクライアントアプリケーションからのクライアントデータを使用して一元化シーングラフ３５０を更新するレート、または場面がレンダリングされるレートに悪影響を及ぼさないことが、望ましくあり得る。また、一元化シーングラフ３５０を更新する際に、これが、クライアントアプリケーションに対する一元化シーングラフまたはレンダリングされる表示の不安定化もしくは非同期化をもたらし得るため、１つのクライアントアプリケーションからのクライアントデータが、他のクライアントアプリケーションからのクライアントデータに過剰に遅れて遅滞しない、またはその前で過剰に先導しないことを確実にすることが、望ましくあり得る。

いくつかの実施例では、クライアント・サーバインターフェース３３０の役割は、クライアントデータを更新するレートの差異または増減を取り扱うことである。図３Ｃを参照すると、例示的クライアント・サーバインターフェース３３０は、それぞれ、独立処理スレッド３３２および３３４を介してクライアントデータ３１８および３２８を受信してもよく、スレッドを取り扱うためのスレッドマネージャ３３６を含んでもよい。複数のスレッドを利用し、クライアントアプリケーション３１０およびクライアントアプリケーション３２０等の異なるソースからのクライアントデータを更新することは、１つのソースに関する問題が他のソースからのデータを遮断しない、または別様に悪影響を及ぼすことを防止することができる。示される実施例では、スレッドマネージャ３３６は、それぞれ、スレッド３３２および３３４を使用して、クライアントアプリケーション３１０および３２０からクライアントデータ３１８および３２８を入力し、ホストデータ３１９および３２９（それぞれ、クライアントデータ３１８および３２８、クライアントアプリケーション３１０および３２０、ならびにスレッド３３２および３３４に対応する）をホストアプリケーション３４０に出力してもよい。スレッドマネージャ３３６は、スレッド３３２および３３４を処理するため、スループット問題またはスレッド３３２および３３４に関連する他の問題を識別し、対処するため、ならびに／もしくはホストデータ３１９および３２９の出力を制御するための論理を含んでもよい。例えば、クライアントデータ３１８およびクライアントデータ３２８が、（それぞれ、スレッド３３２および３３４を介して）ほぼ同一のレートで更新している場合、スレッドマネージャ３３６は、単純に、ほぼ同一のレートでホストデータ３１９および３２９（それぞれ、クライアントデータ３１８および３１９に対応する）を更新してもよい。しかしながら、クライアントデータ３１８が、クライアントデータ３２８よりもはるかに速いレートで更新される場合、スレッドマネージャ３３６は、（例えば、よい低い頻度でこれをホストアプリケーション３４０に通信することによって）クライアントデータ３１８を抑制し、これがクライアントデータ３２８をはるかに上回ることを防止してもよい。スレッドマネージャ３３６はまた、ホストデータが更新される全体的レートを制御してもよい。例えば、スレッドマネージャ３３６は、ホストデータ３１９および／または３２９を更新するレートを抑制し、本ホストデータが、ホストアプリケーション３４０がこれを処理し得るよりも速く更新すること（クライアントアプリケーション３１０および／または３２０、一元化シーングラフ３５０、ならびに／もしくはディスプレイ３７０への出力の望ましくない非同期化をもたらし得る）を防止してもよい。

図３Ｄは、図３Ａ－３Ｃに示される例示的コンピュータシステム３００に関する例示的ホストアプリケーション３４０の側面を図示する。本明細書に説明されるものは、スレッド３４１がホストアプリケーション３４０内で付加的スレッドと並行して実行され得る、ホストアプリケーション３４０内のスレッド３４１内で実行される動作である。いくつかの実施例では、ホストアプリケーション３４０内のマルチスレッド処理は、複数のクライアントアプリケーションまたはホストデータの複数のセットが、（いくつかの実施例では、一元化シーングラフの異なるバージョンを更新することによって）同一の一元化シーングラフ３５０を同時に更新することを可能にする利点を持ち得る。これは、ひいては、ディスプレイ上での提示のためのレンダリングされる場面へのクライアントデータの全体的スループットを増加させ得る。いくつかの実施例では、マルチスレッディングは、例えば、スレッドが不注意に同一のデータに書き込むことを防止するために、ロックが一元化シーングラフデータ上に設置されることを要求し得る。しかしながら、いくつかの実施例では、説明される動作のうちの１つ以上のものは、スレッド内で実行されない場合がある。

図３Ｄに示される実施例では、ホストデータ３１９（クライアントアプリケーション３１０およびクライアントデータ３１８に対応する）が、図３Ｃに関して上記に説明されるように更新される（３４２）。ホストアプリケーション３４０は、次いで、ホストデータ３１９が一元化シーングラフ３５０の以前のバージョンに行い得る変更を識別してもよい。例えば、ホストアプリケーション３４０は、一元化シーングラフ３５０に関して、ホストデータ３１９がノードを追加する、ノードを削除する、２つのノードの間の関係を変更する、またはノードの性質を変更するであろうことを識別してもよい。（図３Ｄに示される実施例等のいくつかの実施例では、ホストアプリケーション３４０は、ホストデータハンドラ３４４を使用して、これらの動作またはその他を実施してもよい）。ホストアプリケーション３４０は、ホストデータ３１９に従って作成または更新されるべき一元化シーングラフ３５０のバージョンを識別してもよい（３５２）。いくつかの実施例では、一元化シーングラフ３５０のバージョン３５２に書き込むことに先立って、ホストアプリケーション３４０は、そのバージョンをロックし、他のプロセスがこれを並行して修正することを防止してもよい。ホストアプリケーション３４０は、（例えば、ホストデータ３１９に対応するようにバージョン３５２内のシーングラフノードを追加または削除することによって）バージョン３５２に変更を行い、ホストデータ３１９を反映してもよい。いくつかの実施例では、ホストアプリケーション３４０は、次いで、バージョン３５２をロック解除し、バージョン３５２に対応するバージョン番号の値を更新してもよい（３５６）。ホストアプリケーション３４０は、次いで、ホストデータを更新し（３４２）、図３Ｄに示されるプロセスを繰り返してもよい。一元化シーングラフ３５０が、個々のクライアントアプリケーションから導出される個々のホストデータを反映するように更新される際、一元化シーングラフ３５０は、個々のクライアントアプリケーションが「サンドボックス化され」、相互から独立し得ても、複数のクライアントアプリケーションからの集合的ホストデータを反映するであろう。

図３Ｅは、図３Ａ－３Ｄに示される例示的コンピュータシステム３００に関する例示的レンダラ３６０の側面を図示する。いくつかの実施例では、レンダラ３６０は、ホストアプリケーション３４０の一部を構成する。いくつかの実施例では、レンダラ３６０は、例示的コンピュータシステム３００の別のコンポーネントの一部であってもよい、または別個のコンポーネントもしくはアプリケーションであってもよい。いくつかの実施例では、レンダラ３６０は、例示的コンピュータシステム３００の１つ以上のコンポーネンと異なる物理的ハードウェアにおいて実装されてもよく、ネットワークを経由してそれらのコンポーネントのうちの１つ以上のものと通信してもよい。

図３Ｅに示される実施例では、レンダラ３６０は、一元化シーングラフ３５０のバージョン３５２に作用する。実施例では、レンダラの役割は、一元化シーングラフ３５０のバージョン３５２に基づいて、ディスプレイ３７０上での提示のための出力またはグラフィカル出力等のデータを備えるレンダリングされる場面を作成することである。本プロセスの一部として、レンダラ３６０は、公知のシーングラフトラバース技法を使用して、バージョン３５２をトラバースしてもよい（３６２）。トラバース３６２の間または後に、レンダラ３６０は、適宜、一元化シーングラフ３５０を更新（３６４）し、トラバースの結果を反映してもよい。例えば、トラバース３６２の一部として、レンダラ３６０は、一元化シーングラフ３５０から削除されるべきである、放棄されたノードを識別してもよい。トラバース３６２および／または更新３６４に続いて、レンダラ３６０は、種々の最適化３６６を場面に適用してもよい。例えば、レンダラ３６０は、不明瞭なまたは不可視の表面をカリングし、不必要な算出リソースを消費することを回避してもよい。トラバース３６２および／または更新３６４に続いて、レンダラ３６０は、１つ以上の視覚効果３６７を場面に適用してもよい。例えば、いくつかの実施例では、レンダラ３６０は、照明効果または影効果を適用する、１つ以上のシェーダを適用する、粒子効果を適用する、および／または物理的効果を適用してもよい。最後に、レンダラ３６０は、データをグラフィカル出力パイプラインに出力することができ、その結果は、ディスプレイ３７０上に出力を表示することができる。

コンピュータシステムの上記の例示的プロセスは、任意の好適な論理回路によって提供されてもよい。好適な論理回路は、ソフトウェアプログラムにおいて実装される命令を実行すると、プロセスを実施する、１つ以上のコンピュータプロセッサ（例えば、ＣＰＵ、ＧＰＵ等）を含んでもよい。加えて、そのようなプロセスはまた、プロセスを提供する論理設計を実装する、プログラマブル論理（例えば、ＰＬＤ、ＦＰＧＡ等）またはカスタマイズされた論理（例えば、ＡＳＩＣ等）等のハードウェア論理回路において実装される、対応する論理設計を介して提供されることができる。さらに、そのようなプロセスは、ソフトウェアおよびハードウェア論理回路を起動する、両方の１つ以上のプロセッサを組み合わせる実装を介して提供されることができる。

図４は、上記の実施例のうちのいずれかまたは全てを実装するために使用され得る、例示的システム４００を図示する。上記の実施例（全体的または部分的に）は、任意のポータブルデバイス（ウェアラブルデバイスを含む）または非ポータブルデバイス、例えば、通信デバイス（例えば、モバイル電話、スマートフォン）、マルチメディアデバイス（例えば、ＭＰ３プレーヤ、ＴＶ、ラジオ）、ポータブルまたはハンドヘルドコンピュータ（例えば、タブレット、ネットブック、ラップトップ）、デスクトップコンピュータ、一体型デスクトップ、周辺デバイス、頭部搭載型デバイス（例えば、統合ディスプレイを含み得る）、もしくはこれらのタイプのデバイスのうちの２つ以上のものの組み合わせを含む、例示的システムアーキテクチャ４００の包含に適合可能な任意の他のシステムまたはデバイス内で具現化されてもよい。上記の実施例は、無線ネットワークを介して通信する２つ以上のコンピュータ等の２つ以上の物理的に別個のデバイスにおいて具現化されてもよい。上記の実施例は、データを、頭部搭載型ディスプレイに、および／またはそれから通信する、ベルトパック等の２つ以上の物理的に異なるデバイスにおいて具現化されてもよい。図４は、概して、１つ以上のコンピュータ可読媒体４０１と、処理システム４０４と、Ｉ／Ｏサブシステム４０６と、高周波（ＲＦ）回路４０８と、オーディオ回路４１０と、センサ回路４１１とを含む、システム４００の一実施例のブロック図である。これらのコンポーネントは、１つ以上の通信バスまたは信号ライン４０３によって結合されてもよい。

図４に示されるアーキテクチャは、システム４００の一例示的アーキテクチャにすぎず、システム４００は、示されるものよりも多いもしくは少ないコンポーネント、またはコンポーネントの異なる構成を有し得ることが明白となるはずである。図４に示される種々のコンポーネントは、１つ以上の信号処理および／または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、もしくはそれらの任意の組み合わせにおいて実装されることができる。

図４の例示的システムアーキテクチャ４００を参照すると、ＲＦ回路４０８は、１つ以上の他のデバイスへの無線リンクまたはネットワークを経由して情報を送信および受信するために使用されることができ、本機能を実施するための周知の回路を含む。ＲＦ回路４０８およびオーディオ回路４１０は、周辺機器インターフェース４１６を介して処理システム４０４に結合されることができる。インターフェース４１６は、周辺機器と処理システム４０４との間の通信を確立および維持するための種々の公知のコンポーネントを含むことができる。オーディオ回路４１０は、オーディオスピーカ４５０およびマイクロホン４５２に結合されることができ、インターフェース４１６から受信される音声信号を処理し、ユーザが他のユーザとリアルタイムで通信することを可能にするための公知の回路を含むことができる。いくつかの実施例では、オーディオ回路４１０は、ヘッドホンジャック（図示せず）を含むことができる。

センサ回路４１１は、限定ではないが、１つ以上の発光ダイオード（ＬＥＤ）または他の光エミッタ、１つ以上のフォトダイオードまたは他の光センサ、１つ以上の光熱センサ、磁力計、加速度計、ジャイロスコープ、気圧計、コンパス、近接性センサ、カメラ、周囲光センサ、温度計、ＧＰＳセンサ、電気眼球図記録（ＥＯＧ）センサ、および残存バッテリ寿命、電力消費量、プロセッサ速度、ＣＰＵ負荷、ならびに同等物を感知し得る種々のシステムセンサを含む、種々のセンサに結合されることができる。頭部搭載型デバイスを伴うような実施例では、１つ以上のセンサは、ユーザの眼移動を追跡すること、またはその眼の画像に基づいてユーザを識別すること等のユーザの眼に関連する機能性と関連して採用されてもよい。

周辺機器インターフェース４１６は、本システムの入力および出力周辺機器を、プロセッサ４１８およびコンピュータ可読媒体４０１に結合することができる。１つ以上のプロセッサ４１８は、コントローラ４４を介して１つ以上のコンピュータ可読媒体４０１と通信してもよい。コンピュータ可読媒体４０１は、１つ以上のプロセッサ４１８によって使用するためのコードおよび／またはデータを記憶し得る、任意のデバイスまたは媒体（信号を除外する）であり得る。いくつかの実施例では、媒体４０１は、非一過性コンピュータ可読記憶媒体であり得る。媒体４０１は、限定ではないが、キャッシュ、主要メモリ、および二次メモリを含む、メモリ階層を含むことができる。メモリ階層は、ＲＡＭ（例えば、ＳＲＡＭ、ＤＲＡＭ、ＤＤＲＡＭ）、ＲＯＭ、ＦＬＡＳＨ（登録商標）、ディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）、ならびにＤＶＤ（デジタルビデオディスク）等の磁気および／または光学記憶デバイスの任意の組み合わせを使用して実装されることができる。媒体４０１はまた、（信号を除外し、信号が変調される搬送波を除外するが）コンピュータ命令またはデータを示す情報伝達信号を搬送するための伝送媒体を含んでもよい。例えば、伝送媒体は、限定ではないが、インターネット（ワールドワイドウェブとも称される）、イントラネット、ローカエルエリアネットワーク（ＬＡＮ）、ワイドローカルエリアネットワーク（ＷＬＡＮ）、ストレージエリアネットワーク（ＳＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、および同等物を含む、通信ネットワークを含んでもよい。

１つ以上のプロセッサ４１８は、媒体４０１内に記憶された種々のソフトウェアコンポーネントを起動し、システム４００のための種々の機能を実施することができる。いくつかの実施例では、ソフトウェアコンポーネントは、オペレーティングシステム４２２と、通信モジュール（または命令のセット）４２４と、Ｉ／Ｏ処理モジュール（または命令のセット）４２６と、グラフィックスモジュール（または命令のセット）４２８と、１つ以上のアプリケーション（または命令のセット）４３０とを含むことができる。これらのモジュールおよび上記のアプリケーションはそれぞれ、上記に説明される１つ以上の機能および本願に説明される方法（例えば、コンピュータ実装方法および本明細書に説明される他の情報処理方法）を実施するための命令のセットに対応することができる。これらのモジュール（すなわち、命令のセット）は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの種々のサブセットは、種々の実施例において、組み合わせられる、または別様に再配列されてもよい。いくつかの実施例では、媒体４０１は、上記に識別されるモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、媒体４０１は、上記に説明されていない付加的モジュールおよびデータ構造を記憶してもよい。

オペレーティングシステム４２２は、一般的システムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理等）を制御および管理するための種々のプロシージャ、命令のセット、ソフトウェアコンポーネント、ならびに／もしくはドライバを含むことができ、種々のハードウェアとソフトウェアコンポーネントとの間の通信を促進する。

通信モジュール４２４は、１つ以上の外部ポート４３６を経由して、またはＲＦ回路４０８を介して、他のデバイスとの通信を促進することができ、ＲＦ回路４０８および／または外部ポート４３６から受信されるデータを取り扱うための種々のソフトウェアコンポーネントを含むことができる。

グラフィックスモジュール４２８は、１つ以上のディスプレイ表面上でグラフィカルオブジェクトをレンダリング、動画化、および表示するための種々の公知のソフトウェアコンポーネントを含むことができる。ディスプレイ表面は、２Ｄまたは３Ｄディスプレイを含んでもよい。ディスプレイ表面は、例示的システム４００の１つ以上のコンポーネントに直接または間接的に結合されてもよい。タッチ感知ディスプレイ（例えば、タッチスクリーン）を伴う実施例では、グラフィックスモジュール４２８は、タッチ感知ディスプレイ上でオブジェクトをレンダリング、表示、および動画化するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュール４２８は、遠隔ディスプレイにレンダリングするためのコンポーネントを含むことができる。カメラを組み込むもの等のいくつかの実施例では、グラフィックスモジュール４２８は、レンダリングされたグラフィカルオブジェクトとカメラデータ（頭部搭載型カメラから捕捉されるもの等）または写真データ（衛星によって捕捉された画像等）を合成することによって形成される画像を作成および／または表示するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュールは、画像を頭部搭載型ディスプレイデバイスにレンダリングするためのコンポーネントを含むことができる。いくつかの実施例では、画像は、仮想コンテンツの要素のビュー（例えば、３次元仮想環境内のオブジェクト）および／または物理的世界のビュー（例えば、ユーザの物理的周辺を示すカメラ入力）を含んでもよい。いくつかの実施例では、ディスプレイは、仮想コンテンツおよび物理的世界のビューの合成画像を提示してもよい。いくつかの実施例では、物理的世界のビューは、レンダリングされた画像であってもよく、いくつかの実施例では、物理的世界のビューは、カメラからの画像であってもよい。

１つ以上のアプリケーション４３０は、限定ではないが、ブラウザ、アドレス帳、連絡先リスト、電子メール、インスタントメッセージ、文書処理、キーボードエミュレーション、ウィジェット、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、音声複製、場所決定能力（全地球測位システム（ＧＰＳ）によって提供されるもの等）、音楽プレーヤ等を含む、システム４００上にインストールされた任意のアプリケーションを含むことができる。

Ｉ／Ｏサブシステム４０６は、眼Ｉ／Ｏデバイス４１２および種々の機能を制御または実施するための１つ以上の他のＩ／Ｏデバイス４１４に結合されることができる。例えば、眼Ｉ／Ｏデバイス４１２は、眼入力（例えば、眼追跡のためのセンサ）またはユーザジェスチャ入力（例えば、光学センサ）を処理するための種々のコンポーネントを含み得る、眼Ｉ／Ｏデバイスコントローラ４３２を介して、処理システム４０４と通信することができる。１つ以上の他の入力コントローラ４３４は、電気信号を他のＩ／Ｏデバイス４１４に送信し、それから受信することができる。他のＩ／Ｏデバイス４１４は、物理的ボタン、ダイヤル、スライダスイッチ、スティック、キーボード、タッチパッド、付加的ディスプレイ画面、またはそれらの任意の組み合わせを含んでもよい。

Ｉ／Ｏ処理モジュール４２６は、限定ではないが、眼Ｉ／Ｏデバイスコントローラ４３２を介して眼Ｉ／Ｏデバイス４１２から、またはＩ／Ｏコントローラ４３４を介して他のＩ／Ｏデバイス４１４から受信される、入力を受信および処理することを含む、眼Ｉ／Ｏデバイス４１２および／または他のＩ／Ｏデバイス４１４と関連付けられる種々のタスクを実施するための種々のソフトウェアコンポーネントを含むことができる。いくつかの実施例では、Ｉ／Ｏデバイス４１４および／またはＩ／Ｏ処理モジュール４２６は、触知または非触知手段によって提供され得る、ジェスチャ入力と関連付けられる種々のタスクを実施してもよい。いくつかの実施例では、ジェスチャ入力は、例えば、ユーザの眼、腕、手、および／または指の移動を検出するためのカメラもしくは別のセンサによって提供されてもよい。いくつかの実施例では、Ｉ／Ｏデバイス４１４および／またはＩ／Ｏ処理モジュール４２６は、ユーザが相互作用することを所望するディスプレイ上のオブジェクト、例えば、ユーザが指し示しているＧＵＩ要素を識別するように構成されてもよい。いくつかの実施例では、眼Ｉ／Ｏデバイス４１２および／またはＩ／Ｏ処理モジュール４２６は、ユーザが見ているオブジェクトまたはディスプレイ上の領域を識別すること等の眼追跡タスクを実施するように（光学またはＥＯＧセンサの補助によって等）構成されてもよい。いくつかの実施例では、デバイス（ハードウェア「ビーコン」等）が、２Ｄまたは３Ｄ環境に対するユーザの手の場所を識別すること等のタッチＩ／Ｏデバイス４１２および／またはＩ／Ｏ処理モジュール４２６のジェスチャ関連タスクを補助するように、ユーザによって装着または保持されてもよい。いくつかの実施例では、眼Ｉ／Ｏデバイス４１２および／またはＩ／Ｏ処理モジュール４２６は、ユーザの眼に関連するカメラセンサからのデータ等のセンサ入力に基づいて、ユーザを識別するように構成されてもよい。

いくつかの実施例では、グラフィックスモジュール４２８は、ＧＵＩ内で視覚出力をユーザに表示することができる。視覚出力は、テキスト、グラフィック、ビデオ、およびそれらの任意の組み合わせを含んでもよい。視覚出力の一部または全ては、ユーザインターフェースオブジェクトに対応してもよい。いくつかの実施例では、Ｉ／Ｏデバイス４１２および／または４１４ならびに／もしくはコントローラ４３２および／または４３４は（媒体４０１内の任意の関連付けられるモジュールおよび／または命令のセットとともに）、ジェスチャおよび／または眼移動を検出ならびに追跡することができ、検出されたジェスチャおよび／または眼移動を、１つ以上のユーザインターフェースオブジェクト等のグラフィカルオブジェクトとの相互作用に変換することができる。眼Ｉ／Ｏデバイス４１２および／または眼Ｉ／Ｏデバイスコントローラ４３２が、ユーザの眼移動を追跡するように構成される実施例では、ユーザは、グラフィカルオブジェクトを見ることによって、それらと直接相互作用することができる。

フィードバックが、表示されている内容および／またはコンピューティングシステムの状態もしくは複数の状態に基づいて、眼Ｉ／Ｏデバイス４１２または別のＩ／Ｏデバイス４１４によって等、提供されてもよい。フィードバックは、光学的に（例えば、光信号または表示された画像）、機械的に（例えば、触覚フィードバック、タッチフィードバック、力フィードバック、または同等物）、電気的に（例えば、電気刺激）、嗅覚、音響的に（例えば、ビープ音または同等物）、または同等物、もしくはそれらの任意の組み合わせで、かつ可変または非可変様式で、伝送されてもよい。

システム４００はまた、種々のハードウェアコンポーネントに給電するための電力システム４４４を含むことができ、電力管理システム、１つ以上の電源、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力ステータスインジケータ、および典型的には、ポータブルデバイスにおける電力の発生、管理、ならびに分配と関連付けられる任意の他のコンポーネントを含んでもよい。

いくつかの実施例では、周辺機器インターフェース４１６、１つ以上のプロセッサ４１８、およびメモリコントローラ４２０は、処理システム４０４等の単一のチップ上に実装されてもよい。いくつかの他の実施例では、それらは、別個のチップ上に実装されてもよい。

いくつかの実施例では、方法が、開示される。本方法は、コンピュータシステムの第１のクライアントアプリケーションから、複数の第１のノードを備える、第１のグラフィカルデータを受信することと、コンピュータシステムの第２のクライアントアプリケーションから、複数の第２のノードを備える、第２のグラフィカルデータを受信することと、シーングラフを発生させることとを含んでもよく、シーングラフは、第１のノードと第２のノードとの間のオクルージョン関係等の関係を記述し、シーングラフは、コンピュータシステムのプロセッサによってトラバースされると、ノードを備える場面をレンダリングするように構成される。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムのプロセッサによって、シーングラフをトラバースすることを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、コンピュータシステムは、ディスプレイと通信するように構成されてもよく、本方法はさらに、ディスプレイ上でレンダリングされる場面における別のノードによってオクルードされない少なくとも１つのノードを備える出力を提示することを含んでもよい。いくつかの実施形態では、オクルージョンは、所与の視点からオブジェクトのレンダリングされる場面を視認するときの別のものによる１つのノードの視覚的遮断である。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、コンピュータシステムは、ディスプレイと通信するように構成されてもよく、本方法はさらに、シーングラフ上に存在するようにレンダリングされる場面を表示する、またはオクルードされない第１もしくは第２の複数のノードのそれらのノードのみを表示する一方、他のノードを表示しないことによって等、ディスプレイ上で出力を表示することを含んでもよい。例えば、第２の複数のノードが、第１の複数のノードの一部をオクルードする場合、表示される出力は、第２の複数のノードのうちのいずれも表示しない、第１の複数のオクルードされないノードのみであり得る。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、最適化を出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、最適化を適用することは、表面をカリングすることを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、視覚効果を出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、光量値を計算することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、シェーダを実行することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、物理的効果を出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、物理的効果を適用することは、衝突を検出することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のクライアントアプリケーションは、コンピュータシステム上で実行される第１のアプリケーションであってもよく、第２のクライアントアプリケーションは、コンピュータシステム上で実行される第２のアプリケーションであってもよく、第１のクライアントアプリケーションは、第２のクライアントアプリケーションに対してコンピュータシステム上でサンドボックス化されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のグラフィカルデータは、第１のクライアントアプリケーションと関連付けられる第１のクライアントシーングラフに対応してもよく、第２のグラフィカルデータは、第２のクライアントアプリケーションと関連付けられる第２のクライアントシーングラフに対応してもよく、第１のクライアントシーングラフは、第２のクライアントシーングラフに対してコンピュータシステム上でサンドボックス化されてもよく、第１のクライアントシーングラフは、シーングラフに対してコンピュータシステム上でサンドボックス化されてもよく、第２のクライアントシーングラフは、シーングラフに対してコンピュータシステム上でサンドボックス化されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、シーングラフは、バージョン付きシーングラフのバージョンに対応してもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のグラフィカルデータは、コンピュータシステムの第１の処理スレッドを使用して、シーングラフに通信されてもよく、第２のグラフィカルデータは、第１の処理スレッドから独立するコンピュータシステムの第２の処理スレッドを使用して、シーングラフに通信されてもよい。

いくつかの実施例では、方法が、開示される。本方法は、ディスプレイを伴うコンピュータシステムのシーングラフをトラバースすることであって、シーングラフは、第１のアプリケーションと関連付けられる第１の３Ｄデータを備え、第１の３Ｄデータは、１つ以上のノードを備え、シーングラフは、第２のアプリケーションと関連付けられる第２の３Ｄデータを備え、第２の３Ｄデータは、１つ以上のノードを備え、第１のアプリケーションは、第２のアプリケーションに対してコンピュータシステム上でサンドボックス化され、シーングラフは、第１の３Ｄデータのノードと第２の３Ｄデータのノードとの間の関係を備える、ことと、ディスプレイ上でシーングラフに対応する画像を表示することであって、画像は、シーングラフをトラバースすることの出力に対応し、画像は、そのデータの部分的表示または完全表示のいずれかの関係を反映する、こととを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、関係は、空間関係であってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、最適化を、シーングラフをトラバースすることの出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、最適化を適用することは、表面をカリングすることを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、視覚効果を、シーングラフをトラバースすることの出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、光量値を計算することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、シェーダを実行することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、物理的効果を、シーングラフをトラバースすることの出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、物理的効果を適用することは、衝突を検出することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、シーングラフは、バージョン付きシーングラフのバージョンに対応してもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１の３Ｄデータに対応するグラフィカルデータは、コンピュータシステム上で実行されるホストアプリケーションによってシーングラフに通信されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１の３Ｄデータに対応するグラフィカルデータは、ホストアプリケーションのクライアントによってホストアプリケーションに通信されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１の３Ｄデータに対応する第１のグラフィカルデータは、第１の処理スレッドを使用するホストアプリケーションによって、シーングラフに通信されてもよく、第２の３Ｄデータに対応する第２のグラフィカルデータは、第１の処理スレッドから独立する第２の処理スレッドを使用するホストアプリケーションによって、シーングラフに通信されてもよい。

いくつかの実施例では、コンピュータシステムが、開示される。本システムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、上記に説明される方法のうちの１つ以上のものを実施させる、命令を記憶する、メモリとを備えてもよい。

いくつかの実施例では、非一過性コンピュータ可読記憶媒体が、開示される。非一過性コンピュータ可読記憶媒体は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、コンピュータシステムの第１のクライアントアプリケーションから、複数の第１のノードを備える、第１のグラフィカルデータを受信することと、コンピュータシステムの第２のクライアントアプリケーションから、複数の第２のノードを備える、第２のグラフィカルデータを受信することと、シーングラフを発生させることとを含み、シーングラフは、第１のノードと第２のノードとの間の関係を記述し、シーングラフは、コンピュータシステムのプロセッサによってトラバースされるとき、オクルージョン関係に基づいて、場面をレンダリングするように構成され、第１または第２の複数のノード内の第１または第２のノードのうちの１つ以上のものは、その他をオクルードする、方法を実施させる、命令を記憶してもよい。いくつかの実施形態では、オクルージョンは、所与の視点からオブジェクトのレンダリングされる場面を視認するときの別のものによる１つのノードの視覚的遮断である。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムのプロセッサによって、シーングラフをトラバースすることを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、コンピュータシステムは、ディスプレイと通信するように構成されてもよく、本方法はさらに、これがシーングラフ上に存在するようにレンダリングされる場面を表示する、またはオクルードされない第１もしくは第２の複数のノードのそれらのノードのみを表示する一方、他のノードを表示しないことによって等、ディスプレイ上で出力を表示することを含んでもよい。例えば、第２の複数のノードが、第１の複数のノードの一部をオクルードする場合、表示される出力は、第２の複数のノードのうちのいずれも表示しない、第１の複数のオクルードされないノードのみであり得る。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、最適化を出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、最適化を適用することは、表面をカリングすることを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、視覚効果を出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、光量値を計算することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、シェーダを実行することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、物理的効果を出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、物理的効果を適用することは、衝突を検出することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のクライアントアプリケーションは、コンピュータシステム上で実行される第１のアプリケーションであってもよく、第２のクライアントアプリケーションは、コンピュータシステム上で実行される第２のアプリケーションであってもよく、第１のクライアントアプリケーションは、第２のクライアントアプリケーションに対してコンピュータシステム上でサンドボックス化されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のグラフィカルデータは、第１のクライアントアプリケーションと関連付けられる第１のクライアントシーングラフに対応してもよく、第２のグラフィカルデータは、第２のクライアントアプリケーションと関連付けられる第２のクライアントシーングラフに対応してもよく、第１のクライアントシーングラフは、第２のクライアントシーングラフに対してコンピュータシステム上でサンドボックス化されてもよく、第１のクライアントシーングラフは、シーングラフに対してコンピュータシステム上でサンドボックス化されてもよく、第２のクライアントシーングラフは、シーングラフに対してコンピュータシステム上でサンドボックス化されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、シーングラフは、バージョン付きシーングラフのバージョンに対応してもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のグラフィカルデータは、コンピュータシステムの第１の処理スレッドを使用して、シーングラフに通信されてもよく、第２のグラフィカルデータは、第１の処理スレッドから独立するコンピュータシステムの第２の処理スレッドを使用して、シーングラフに通信されてもよい。

いくつかの実施例では、非一過性コンピュータ可読記憶媒体が、開示される。非一過性コンピュータ可読記憶媒体は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、ディスプレイを伴うコンピュータシステムのシーングラフをトラバースすることであって、シーングラフは、第１のアプリケーションと関連付けられる第１の３Ｄデータを備え、第１の３Ｄデータは、１つ以上のノードを備え、シーングラフは、第２のアプリケーションと関連付けられる第２の３Ｄデータを備え、第２の３Ｄデータは、１つ以上のノードを備え、第１のアプリケーションは、第２のアプリケーションに対してコンピュータシステム上でサンドボックス化され、シーングラフは、第１の３Ｄデータのノードと第２の３Ｄデータのノードとの間の関係を備える、ことと、ディスプレイ上でシーングラフに対応する画像を表示することであって、画像は、シーングラフをトラバースすることの出力に対応し、画像は、関係を反映する、こととを含む、方法を実施させる、命令を記憶してもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、関係は、空間関係であってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、最適化を、シーングラフをトラバースすることの出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、最適化を適用することは、表面をカリングすることを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、視覚効果を、シーングラフをトラバースすることの出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、光量値を計算することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、視覚効果を適用することは、シェーダを実行することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、コンピュータシステムにおいて、物理的効果を、シーングラフをトラバースすることの出力に適用することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、物理的効果を適用することは、衝突を検出することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、シーングラフは、バージョン付きシーングラフのバージョンに対応してもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１の３Ｄデータに対応するグラフィカルデータは、コンピュータシステム上で実行されるホストアプリケーションによってシーングラフに通信されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１の３Ｄデータに対応するグラフィカルデータは、ホストアプリケーションのクライアントによってホストアプリケーションに通信されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１の３Ｄデータに対応する第１のグラフィカルデータは、第１の処理スレッドを使用するホストアプリケーションによって、シーングラフに通信されてもよく、第２の３Ｄデータに対応する第２のグラフィカルデータは、第１の処理スレッドから独立する第２の処理スレッドを使用するホストアプリケーションによって、シーングラフに通信されてもよい。

いくつかの実施例では、コンピュータシステムが、開示される。本システムは、１つ以上のプロセッサと、コンピュータシステムにおいて、第１のクライアントアプリケーションから第１の場面データを受信し、コンピュータシステムにおいて、第２のクライアントアプリケーションから第２の場面データを受信するように構成される、記憶装置と、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、第１の場面データおよび第２の場面データに基づいて、グラフィカルデータ構造を発生させることであって、グラフィカルデータ構造は、１つ以上のプロセッサによって実行されるレンダリング動作への入力として提供されるときに、ディスプレイ上の画像に対応する出力をもたらすように構成される、ことを含む、方法を実施させる、命令を記憶する、メモリとを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、グラフィカルデータ構造は、表示リストおよび表示ツリーのうちの少なくとも１つであってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、入力としてグラフィカルデータ構造を使用して、レンダリング動作を実行することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、コンピュータシステムはさらに、ディスプレイを備えてもよく、本方法はさらに、ディスプレイ上に画像を表示することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のクライアントアプリケーションは、第１のデバイスの１つ以上のプロセッサによって実行される第１のアプリケーションであってもよく、第２のクライアントアプリケーションは、第１のデバイスの１つ以上のプロセッサによって実行される第２のアプリケーションであってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のクライアントアプリケーションは、第１のデバイスの１つ以上のプロセッサによって実行される第１のアプリケーションであってもよく、第２のクライアントアプリケーションは、第２のデバイスの１つ以上のプロセッサによって実行される第２のアプリケーションであってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、記憶装置はさらに、第３のクライアントアプリケーションから第３の場面データを受信するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、記憶装置から第１の場面データを削除することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、グラフィカルデータ構造は、第１のデータと、第２のデータとを備えてもよく、本方法はさらに、第１のデータが、オクルードされたビューまたはオクルードされないビューに対応するかどうかを決定することと、第１のデータが、オクルードされないビューに対応するという決定に応答して、第１のデータに基づいて、オクルードされないビューを備える画像をレンダリングすることと、第１のデータがオクルードされたビューに対応するという決定に応答して、オクルードされたビューを備えない画像をレンダリングすることとを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、記憶装置はさらに、第１の場面データを受信することに応答して、第１の場面データを第１のバージョンとしてバージョン制御システム内に記憶するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、記憶装置はさらに、第１のクライアントアプリケーションから第３の場面データを受信し、第３の場面データを第２のバージョンとしてバージョン制御システム内に記憶するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法はさらに、グラフィカルデータ構造を発生させることに応答して、記憶装置から第１のバージョンを削除することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、本方法は、記憶装置が第３の場面データを受信することと並行して実施されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、記憶装置は、第２の場面データを受信することと並行して第１の場面データを受信するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、記憶装置は、第１のデータレートに対応する第１の間隔で第３の場面データを受信するように構成されてもよく、本方法はさらに、第２のデータレートに対応するように第１の間隔の長さを調節することを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１の場面データは、新しいデータ、削除されたデータ、およびデータの間の関係の変化のうちの少なくとも１つを備えてもよい。

いくつかの実施例では、コンピュータシステムが、開示される。コンピュータシステムは、サーバと、サーバデータと、第１のクライアントアプリケーションと、第２のクライアントアプリケーションとを備えてもよく、サーバにおいて、第１のクライアントアプリケーションから第１の未処理場面データを受信し、サーバにおいて、第２のクライアントアプリケーションから第２の未処理場面データを受信し、サーバにおいて、第１のクライアントアプリケーションからの第１の未処理場面データ、第２のクライアントアプリケーションからの第２の未処理場面データ、およびサーバデータを、一元化場面データ構造に組み込み、サーバにおいて、一元化場面データ構造内に含有されるデータの少なくとも一部を実行し、一元化場面データ構造内で実行されたデータに基づいて、グラフィカルデータ構造を作成するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、グラフィカルデータ構造は、表示リストまたは表示ツリーであってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、コンピュータシステムはさらに、グラフィカルデータ構造を処理画像にレンダリングするように構成される、レンダリングエンジンを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、コンピュータシステムはさらに、処理画像を表示するように構成されるディスプレイを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、ディスプレイは、物理的世界の少なくとも部分的ビューを維持しながら、仮想コンテンツを表示することが可能であり得る。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のクライアントアプリケーションおよび第２のクライアントアプリケーションは、単一の物理的デバイス上で起動する、２つの異なるアプリケーションであってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１のクライアントアプリケーションおよび第２のクライアントアプリケーションは、別個の物理的デバイス上でそれぞれ起動する、２つの異なるアプリケーションであってもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、サーバは、第３のクライアントアプリケーションから第３の未処理場面データを受信するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、サーバは、第１のクライアントアプリケーションからの未処理場面データの実行後に、第１のクライアントアプリケーションから未処理場面データを削除するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、レンダリングエンジンはさらに、オクルージョンモジュールであって、グラフィカルデータ構造内のデータを第１のオクルードされたカテゴリおよび第２のオクルードされないカテゴリに分離し、第２のオクルードされないカテゴリを表示するように構成される、オクルージョンモジュールを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、サーバは、第１のクライアントアプリケーションからの第１の未処理場面データを第１のバージョンとして記憶するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、サーバは、第１のクライアントアプリケーションからの第３の未処理場面データを第２のバージョンとして記憶するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、コンピュータシステムは、第１のクライアントアプリケーションからの第１の未処理場面データの第１のバージョンがサーバによって受信される時間から、第１のクライアントアプリケーションからの第１の未処理場面データが読み取られ、実行されるまで、第１のクライアントアプリケーションからの第１の未処理場面データの第１のバージョンを記憶するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、サーバは、サーバが第２のクライアントから第２の未処理場面データを受信するのと同時に、第１のクライアントから第１の未処理場面データを受信するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、サーバは、第１のクライアントアプリケーションが未処理場面データをサーバに送信するレートを減速するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、またはその代替として、第１および第２のクライアントアプリケーションから受信されるデータは、新しいデータ、削除されたデータ、以前に転送されたデータの間の関係の変化、および修正されたデータから成る群から選択される少なくとも１つであってもよい。

開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付される請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるものである。

Claims (20)

1. 方法であって、
   第１のデバイスの第１のクライアントアプリケーションから、第１のグラフィックデータを受信することと、
   第１のデータレートで、前記第１のクライアントアプリケーションから、更新された第１のグラフィックデータを受信することと、
   第２のデバイスの第２のクライアントアプリケーションから、第２のグラフィックデータを受信することであって、前記第１のデバイスは、前記第２のデバイスと異なる、ことと、
   第２のデータレートで、前記第２のクライアントアプリケーションから、更新された第２のグラフィックデータを受信することであって、前記第２のデータレートは、前記第１のデータレートと異なる、ことと、
   前記第２のデータレートが過剰に高いという決定に応答して、前記第２のデータレートより低い第３のデータレートで前記第２のグラフィックデータを更新することと、
   前記更新された第１のグラフィックデータに基づいて、前記更新された第２のグラフィックデータにさらに基づいて、サーバにおいてシーングラフを発生させることと
   を含み、
   前記シーングラフは、前記第１および第２のクライアントアプリケーションに関して同期化され、
   前記シーングラフを発生させることは、
   前記第３のデータレートに従って、前記更新された第１のグラフィックデータに基づいて、前記シーングラフの第１のバージョンを更新することと、
   前記第３のデータレートに従って前記更新された第２のグラフィックデータに基づいて、前記第１のバージョンと同時に、前記シーングラフの第２のバージョンを更新することと
   を含む、方法。
2. コンピュータシステムのプロセッサによって、前記シーングラフをトラバースし、出力をレンダリングすることをさらに含む、請求項１に記載の方法。
3. 前記コンピュータシステムは、ディスプレイと通信するように構成され、前記方法は、前記ディスプレイ上に前記出力を表示することをさらに含む、請求項２に記載の方法。
4. 前記コンピュータシステムにおいて、最適化を前記出力に適用することをさらに含む、請求項２に記載の方法。
5. 前記最適化を適用することは、表面を抜粋することを含む、請求項４に記載の方法。
6. 前記コンピュータシステムにおいて、視覚効果を前記出力に適用することをさらに含む、請求項２に記載の方法。
7. 前記視覚効果を適用することは、光量値を計算することを含む、請求項６に記載の方法。
8. 前記視覚効果を適用することは、シェーダを実行することを含む、請求項６に記載の方法。
9. 前記コンピュータシステムにおいて、物理的効果を前記出力に適用することをさらに含む、請求項２に記載の方法。
10. 前記物理的効果を適用することは、衝突を検出することを含む、請求項９に記載の方法。
11. 前記第１のクライアントアプリケーションは、前記第１のデバイス上で実行される第１のアプリケーションであり、前記第２のクライアントアプリケーションは、前記第２のデバイス上で実行される第２のアプリケーションであり、前記第１のクライアントアプリケーションは、前記第２のクライアントアプリケーションに対してサンドボックス化される、請求項１に記載の方法。
12. 前記第１のグラフィックデータは、前記第１のクライアントアプリケーションと関連付けられる第１のクライアントシーングラフに対応し、
    前記第２のグラフィックデータは、前記第２のクライアントアプリケーションと関連付けられる第２のクライアントシーングラフに対応し、
    前記第１のクライアントシーングラフは、前記第２のクライアントシーングラフに対して前記第１のデバイス上でサンドボックス化され、
    前記第１のクライアントシーングラフは、前記シーングラフに対して前記第１のデバイス上でサンドボックス化され、
    前記第２のクライアントシーングラフは、前記シーングラフに対して前記第２のデバイス上でサンドボックス化される、請求項１に記載の方法。
13. 前記シーングラフは、バージョン付きシーングラフのバージョンに対応する、請求項１に記載の方法。
14. 前記第１のグラフィックデータは、コンピュータシステムの第１の処理スレッドを使用して、前記シーングラフに通信され、前記第２のグラフィックデータは、前記第１の処理スレッドから独立している第２の処理スレッドを使用して、前記シーングラフに通信される、請求項１に記載の方法。
15. コンピュータシステムであって、
    １つ以上のプロセッサと、
    命令を記憶するメモリであって、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    第１のデバイスの第１のクライアントアプリケーションから、第１のノードを備える第１のグラフィックデータを受信することと、
    第１のデータレートで、前記第１のクライアントアプリケーションから、更新された第１のグラフィックデータを受信することと、
    第２のデバイスの第２のクライアントアプリケーションから、第２のノードを備える第２のグラフィックデータを受信することであって、前記第１のデバイスは、前記第２のデバイスと異なる、ことと、
    第２のデータレートで、前記第２のクライアントアプリケーションから、更新された第２のグラフィックデータを受信することであって、前記第２のデータレートは、前記第１のデータレートと異なる、ことと、
    前記第２のデータレートが過剰に高いという決定に応答して、前記第２のデータレートより低い第３のデータレートで前記第２のグラフィックデータを更新することと、
    サーバにおいてシーングラフを発生させることであって、
    前記シーングラフは、前記第１および第２のクライアントアプリケーションに関して同期化され、
    前記シーングラフを発生させることは、
    前記第３のデータレートに従って、前記更新された第１のグラフィックデータに基づいて、前記シーングラフの第１のバージョンを更新することと、
    前記第３のデータレートに従って前記更新された第２のグラフィックデータに基づいて、前記第１のバージョンと同時に、前記シーングラフの第２のバージョンを更新することと
    を含む、ことと
    を含む方法を実施させる、メモリと
    を備える、コンピュータシステム。
16. 前記方法は、前記シーングラフをトラバースし、画像をレンダリングすることをさらに含む、請求項１５に記載のコンピュータシステム。
17. 前記コンピュータシステムは、ディスプレイをさらに備え、前記方法は、前記ディスプレイ上に画像を表示することをさらに含む、請求項１６に記載のコンピュータシステム。
18. 前記第１のクライアントアプリケーションは、前記第１のデバイス上で実行される第１のアプリケーションであり、前記第２のクライアントアプリケーションは、前記第２のデバイス上で実行される第２のアプリケーションであり、前記第１のクライアントアプリケーションは、前記第２のクライアントアプリケーションに対してサンドボックス化される、請求項１５に記載のコンピュータシステム。
19. 前記第１のグラフィックデータは、前記第１のクライアントアプリケーションと関連付けられる第１のクライアントシーングラフに対応し、
    前記第２のグラフィックデータは、前記第２のクライアントアプリケーションと関連付けられる第２のクライアントシーングラフに対応し、
    前記第１のクライアントシーングラフは、前記第２のクライアントシーングラフに対して前記第１のデバイス上でサンドボックス化され、
    前記第１のクライアントシーングラフは、前記シーングラフに対して前記第１のデバイス上でサンドボックス化され、
    前記第２のクライアントシーングラフは、前記シーングラフに対して前記第２のデバイス上でサンドボックス化される、請求項１５に記載のコンピュータシステム。
20. 前記第１のグラフィックデータは、前記コンピュータシステムの第１の処理スレッドを使用して、前記シーングラフに通信され、前記第２のグラフィックデータは、前記第１の処理スレッドから独立している前記コンピュータシステムの第２の処理スレッドを使用して、前記シーングラフに通信される、請求項１５に記載のコンピュータシステム。