JP2024504050A - ３ｄストリーム処理 - Google Patents

Abstract

本出願は、無線ネットワークを通じてエクステンデッドリアリティデバイスに送信するため、３Ｄ画像データストリームを処理するように設定された、処理エンティティを動作させるための方法であって、実世界オブジェクトの構造を表現する第１の画像データストリームと、実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含む、３Ｄストリームを受信することと、対応する送信時間指示を、第１の画像データストリームおよび第２の画像データストリームのそれぞれに追加し、それにより、修正された第１のストリームおよび修正された第２のストリームを含む修正されたストリームをもたらすことと、修正されたストリームを、ネットワークを通じてエクステンデッドリアリティデバイスに送信することと、修正された第１のストリームおよび修正された第２のストリームのそれぞれに対する処理時間指示を受信することと、処理時間指示に基づいて、３Ｄ画像データストリームおよび修正されたストリームのうち少なくとも一方の適合を開始することとを含む、方法に関する。【選択図】図１０

Description

本出願は、処理エンティティを動作させるための方法、および対応する処理エンティティに関する。さらに、コンピュータプログラム、およびコンピュータプログラムを備えるキャリアが提供される。特に、本明細書の実施形態は、無線ネットワークを通じて送信するための、３Ｄ画像ストリームデータの処理に関する。

近年、リモート会議および仮想通信の重要性が急速に増してきた。これに関連して、点群または任意の３Ｄ画像データストリームは、デプスカメラから、拡張現実（ＡＲ）デバイス、複合現実（ＭＲ）デバイス、または仮想現実（ＶＲ）デバイスなどの、ＸＲ（エクステンデッドリアリティ）デバイスにストリーミングされる。３Ｄコンテンツの点群（例えば、３Ｄ画像フレーム）は、Ｉｎｔｅｌ ＲｅａｌｓｅｎｓｅまたはＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔなどのデプスカメラによってキャプチャされる。

一般に、キャプチャされた３Ｄコンテンツを表現するのに、メッシュ、テクスチャ、およびＵＶマップが使用される。メッシュは、ＡＲ／ＶＲ内のオブジェクトの形状を規定するデータ構造である。異なるメッシュトポロジーのタイプ、例えば、三角形メッシュ、線メッシュ、または点メッシュがある。タイプは、メッシュ面が、三角測量、点、または線を使用して作成される手法を示し、各線は、２つの頂点インデックスなどで構成される。メッシュは、３Ｄコンテンツの形状を規定するエッジおよび頂点を含む。

ＵＶマッピングは、２Ｄ画像を３Ｄモデルの表面に投影してテクスチャマッピングを行う、３Ｄモデリングプロセスである。ＵＶマッピングにより、３Ｄオブジェクトを構成する多角形に色を加えることが可能である。ＵＶマッピングプロセスは、画像内のピクセルを多角形上の表面マッピングに割り振ることを伴う。レンダリング演算は、ＵＶテクスチャ座標を使用して、三次元表面をどのようにペイントするかを決定する。

テクスチャは、オブジェクトのデジタル２Ｄピクチャ（ＲＧＢ画像とも呼ばれる）である。メッシュ、テクスチャ、およびＵＶの組合せが、３Ｄ画像ストリーム内で表現されるシーンの３Ｄ表現を作成する。メッシュおよびテクスチャから人間を抽出し、ＵＶを適用することによって、異なる角度からキャプチャすることができる、人間の３Ｄ表現を作成することが可能である。

３Ｄ画像データのストリーミングは帯域幅集約的である。メッシュ、ＵＶ、およびテクスチャを含む１フレームの解像度が４８０×６４０の場合、平均データ量は１１ＭＢであり、したがって、毎秒６０フレームの場合のデータ量は毎秒６００ＭＢとなる。ＨＤまたはＵＨＤ解像度の場合、毎秒当たりのビットレートはＧＢ単位である。３Ｄ画像データの圧縮はまだ十分に発達していない。結果として、モバイルネットワークを通じて６００ＭＢ／秒の帯域幅要件を有する３Ｄ画像データのストリーミングを行うことが課題である。圧縮が利用可能になったとしても、品質に対する影響があり、また３Ｄ画像データの送達を最適化するための方策が依然として必要である。図１は、デプスカメラによって生成された点群を、ＡＲ眼鏡などのＸＲデバイスにオーバーザトップストリーミングするための、高レベルシステムアーキテクチャを提供する。ネットワークに対する要件は、帯域幅、レイテンシ、およびジッタ（レイテンシの変動）の点で非常に高い。

３Ｄまたはデプスカメラ８０は、３Ｄ画像データストリームを生成し、点群の生成および符号化は、コンピュータもしくはゲーミングコンソール２０で、またはデプスカメラで実施されてもよい。ストリームは、無線（例えば、セルラ）ネットワーク４０を通じてモバイルエンティティまたはＵＥ ３０に送信され、モバイルエンティティまたはＵＥ ３０で復号およびレンダリングが実施される。エクステンデッドリアリティデバイス７０を着用し、ＵＥに接続されているユーザは、デバイス７０を使用して３Ｄ画像データストリームを観ることができる。

３Ｄ画像データストリームはまた、純粋な２Ｄ画像のレンダリングと比較してメッシュレンダリング時間が長いため、データの同期に関して問題がある。テクスチャおよびＵＶ処理はメッシュ処理の８倍の速度であり、そのことが、メッシュによって規定される表面と対応するテクスチャとの不整合につながる。例として、人間の画像をレンダリングする際、人間の頭部が左から右に素早く移動した場合、メッシュは頭部が正面位置に残ったままであるが、テクスチャおよび人間の画像と関連付けられたＵＶマップは既に左を向いている。結果として、左向きの位置で、人間の画像は鼻を頬の形状でレンダリングする。

したがって、上述の問題を克服するとともに、上述した不整合が最小限に抑えられるように、無線ネットワークを通じて送信される３Ｄ画像データストリームの処理および表示を改善する必要がある。

この必要性は、独立請求項の特徴によって満たされる。さらなる態様は従属請求項に記載される。

第１の態様によれば、無線ネットワークを通じてエクステンデッドリアリティデバイスに送信するため、３Ｄ画像データストリームを処理するように設定された、処理エンティティを動作させるための方法が提供される。方法は、３Ｄ画像データストリームを受信するステップを含み、３Ｄ画像データストリームは、少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームを含み、３Ｄ画像データストリームは、少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームを含む。処理エンティティは、対応する送信時間指示を第１の画像データストリームおよび第２の画像データストリームのそれぞれに追加し、それにより、修正された第１のストリームおよび修正された第２のストリームを含む修正されたストリームが生成される。修正されたストリームは、無線ネットワークを通じてエクステンデッドリアリティデバイスに送信され、処理エンティティは、エクステンデッドリアリティデバイスから、修正された第１のストリームおよび修正された第２のストリームのそれぞれに対する処理時間指示を受信する。さらに、修正された第１のストリームおよび修正された第２のストリームの処理時間指示に基づいて、３Ｄ画像データストリームおよび修正されたストリームのうち少なくとも一方の適合が開始される。

さらに、上述したように、またはさらに詳細に後述するように働くように動作する、対応する処理エンティティが提供される。

代替例として、３Ｄ画像データストリームを処理して、無線ネットワークを通じてエクステンデッドリアリティデバイスに送信するように設定された、処理エンティティが提供され、処理エンティティは、３Ｄ画像データストリームを受信するように設定された第１のモジュールを備え、３Ｄ画像データストリームは、少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームと、少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含む。処理エンティティは、対応する送信時間指示を第１の画像データストリームおよび第２の画像データストリームのそれぞれに追加するように設定された第２のモジュールを備え、それにより、修正された第１のストリームおよび修正された第２のストリームを含む修正されたストリームが生成される。処理エンティティは、修正されたストリームを、無線ネットワークを介してエクステンデッドリアリティデバイスに送信するように設定された、第３のモジュールを備える。修正された第１のストリームおよび修正された第２のストリームのそれぞれに対する処理時間指示を、エクステンデッドリアリティデバイスから受信するように設定された、第４のモジュールが提供される。処理エンティティの第５のモジュールは、修正された第１のストリームおよび修正された第２のストリームの処理時間指示に基づいて、３Ｄ画像データストリームのエンティティで修正されたストリームのうち少なくとも１つの適合を開始するように設定される。

送信時間指示を含み、処理時間を受信することにより、処理エンティティは、エクステンデッドリアリティデバイスにおける送信および処理状況を推測することができる。例として、修正されたストリーム部分、修正された第１のストリームおよび修正された第２のストリーム、ならびに対応する送信時間指示と対応する処理時間を比較することによって、現在の条件に対して反応し、３Ｄ画像データストリーム、修正されたストリームのどちらか、または両方のストリームを修正して、エクステンデッドリアリティデバイスにおける修正された第１のストリームおよび修正された第２のストリームの同期が維持されるようにすることが可能である。例として、実世界オブジェクトは、人間および１つまたは複数の背景オブジェクトを表現するシーンを含むことができる。

加えて、無線ネットワークを通じて３Ｄカメラによって生成された３Ｄ画像データストリームを受信するように設定された、処理エンティティを動作させるための方法が提供され、３Ｄ画像データストリームは、少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームと、少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含む。方法は、３Ｄカメラから、３Ｄカメラの解像度を示す解像度インジケータを受信するステップと、３Ｄ画像データストリームに示される少なくとも実世界オブジェクトの活動を決定し、解像度インジケータ、送信帯域幅、および決定された活動を考慮に入れて、第１の画像データストリームに対して３Ｄカメラによって使用される第１のフレームレートと、第２の画像データストリームに対して３Ｄカメラによって使用される第２のフレームレートとを決定するステップと、を含む。３Ｄカメラには、決定された第１のフレームレートに基づいて決定されたスケーリングパラメータ、および第２のフレームレートが通知される。

加えて、上述したように、またはさらに詳細に後述するように働くように動作する、対応する処理エンティティが提供される。

代替例として、無線ネットワークを通じて、３Ｄカメラによって生成された３Ｄ画像データストリームを受信するように設定された、処理エンティティが提供され、データストリームは、少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームと、少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含み、処理エンティティは、３Ｄカメラから、３Ｄカメラの解像度を示す解像度インジケータを受信するように設定された、第１のモジュールを備える。３Ｄ画像データストリームに示される少なくとも実世界オブジェクトの活動を決定するように設定された、第２のモジュールが提供される。処理エンティティは、３Ｄ画像データストリームを処理エンティティに送信するのに使用される、さらなる無線ネットワークの送信帯域幅を決定するように設定された、第３のモジュールを備える。処理エンティティの第４のモジュールは、解像度インジケータ、送信帯域幅、および決定された活動を考慮に入れて、第１の画像データストリームに対して３Ｄカメラによって使用される第１のフレームレートと、第２の画像データストリームに対して３Ｄカメラによって使用される第２のフレームレートとを決定するように設定される。処理エンティティの第５のモジュールは、３Ｄカメラに、決定された第１のフレームレートに基づいて決定されたスケーリングパラメータ、および第２のフレームレートを通知するように設定される。

さらに、プログラムコードを備え、プログラムコードを実行することによって、処理エンティティの少なくとも１つの処理ユニットに、上述したような、またはさらに詳細に後述するような方法を実行させる、コンピュータプログラムが提供される。

さらに、コンピュータプログラムを含むキャリアであって、電子信号、光学信号、無線信号、またはコンピュータ可読記憶媒体のうち１つである、キャリアが提供される。

上述した特徴、および以下で説明する特徴は、示唆されるそれぞれの組合せだけではなく、本発明の範囲から逸脱することなく、他の組合せまたは単独でも使用できることが理解されるべきである。上述した態様および後述する実施形態の特徴は、別段の明示がない限り、他の実施形態で互いに組み合わされてもよい。

本出願の上記および追加の特徴ならびに効果は、以下の詳細な記載を添付図面と併せ読むことで明らかとなるであろう。図面中、同様の参照番号は同様の要素を指す。

当該技術分野で知られているような、セルラネットワーク上におけるエクステンデッドリアリティデバイスへの３Ｄ画像データストリームのストリーミングを示す概略図である。 当該技術分野で知られている問題を克服するとともに、本発明の特徴を備える、３Ｄ画像データストリームの処理を含むアーキテクチャを示す概略図である。 当該技術分野で知られている問題を克服するとともに、本発明の特徴を備える、３Ｄ画像データストリームを処理するためのアーキテクチャを示す別の概略図である。 図２および図３に示されるようなシステムにおける３Ｄ画像データストリームのストリーミングを改善する助けとなる、情報の交換をさらに詳細に示す図である。 ネットワーク帯域幅に応じたメッシュおよびテクスチャのスケーリングを示す概略図である。 ３Ｄ画像データストリーム内に存在するシーンに示されるユーザ活動に応じた、メッシュおよびテクスチャのスケーリングを示す概略図である。 画像データストリーム内に示される人間の活動の決定を概略的に示す図である。 現在の条件に基づいて３Ｄ画像データストリームを生成する、エンティティ間の通信のシーケンスを示す概略図である。 テクスチャがメッシュよりも高速で処理されたときに起こり、レンダリングされた３Ｄ画像上での不整合につながる、問題を示す概略図である。 エクステンデッドリアリティデバイスにおいてレンダリングされた３Ｄ画像上での不整合が回避されるように、図９に示される問題を克服するための、関与するエンティティ間でのメッセージ交換を示す概略図である。 図２～図１０に関連して考察されるような処理に関与する処理エンティティによって実施される方法のフローチャート例を示す図である。 プロセスの始まりにおいて関与するエンティティを設定するように、処理エンティティによって実施される方法のフローチャート例を示す図である。 ３Ｄ画像データストリームの異なる部分を同期させるように設定された処理エンティティを示す一例の概略図である。 ３Ｄ画像データストリームの異なる部分を同期させるように設定された処理エンティティを示す別の例の概略図である。 ストリームスケーリングを実施するように設定された処理エンティティを示す一例の概略図である。 ストリームスケーリングを実施するように設定された処理エンティティを示す別の例の概略図である。

以下、添付図面を参照しながら本発明の実施形態について詳細に記載する。実施形態についての以下の記載は限定的な意味で解釈されるべきでないことが理解されるべきである。本発明の範囲は、単なる例証であるべきものである、以下に記載する実施形態によって、または図面によって、限定されないものとする。

図面は概略的表現とみなされるべきものであり、図面に示される要素は必ずしも縮尺通りには示されない。それよりもむしろ、様々な要素は、要素の機能および一般的目的が当業者にとって明白となるようにして表される。図面に示され以下に記載される、物理的ユニットまたは機能的ユニットの機能ブロック、デバイス、構成要素の間の接続または結合はいずれも、間接的な接続または結合によって実現されてもよい。機能ブロックは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せの形で実現されてもよい。

本出願の文脈内において、モバイルエンティティまたはユーザ機器（ＵＥ）という用語は、例えば、人間、ユーザによって、個人的通信のために使用される、デバイスを指す。デバイスは、電話タイプのデバイス、セルラ電話、移動局、コードレス電話、または無線データ接続を装備した、ラップトップ、ノートブック、ノートパッド、もしくはタブレットのような携帯情報端末タイプのデバイスであることができる。ＵＥは、ＵＥを使用するユーザと関連付けられた、国際移動体加入者識別情報（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ：ＩＭＳＩ）、一時的移動体加入者識別情報（Ｔｅｍｐｏｒａｒｙ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ：ＴＭＳＩ）、または世界的に一意の一時的ＵＥ識別情報（Ｇｌｏｂａｌｌｙ Ｕｎｉｑｕｅ Ｔｅｍｐｏｒａｒｙ ＵＥ Ｉｄｅｎｔｉｔｙ：ＧＵＴＩ）などの固有の識別情報を含む、加入者識別情報モジュール（ＳＩＭ）または電子ＳＩＭを装備してもよい。ＵＥ内にＳＩＭが存在することにより、ＵＥがユーザのサブスクリプションによって一意的にカスタマイズされる。

明瞭にするため、ユーザと加入者との間には違いがあるが、緊密なつながりもあることが注目される。ユーザは、ネットワークへのサブスクリプションを獲得することによってネットワークへのアクセスを得て、そのことによってネットワーク内の加入者となる。ネットワークは次に、例として、ＩＭＳＩ、ＴＭＳＩ、またはＧＵＴＩなどを使用して、加入者を認識し、関連付けられたサブスクリプションを使用して関連するサブスクリプションデータを識別する。ユーザは、ＵＥエンティティの実際のユーザであることができ、またサブスクリプションを所有する者であってもよいが、ユーザおよびサブスクリプションの所有者は異なることもある。

以下、デプスカメラまたは３Ｄカメラによってキャプチャされ、最適化され、後でエクステンデッドリアリティデバイスに送信される、点群ストリームまたは３Ｄ画像データストリームの送信について考察する。以下、点群ストリームまたは３Ｄ画像データストリームは互換可能に使用される。同じように、３Ｄカメラはデプスカメラに対応する。

以下で説明するように、好ましくはクラウド機能として実現される処理エンティティが提供され、処理エンティティは、ネットワーク条件、デバイス能力、および３Ｄ画像データストリームで提示されるシーンに示されるユーザの移動（即ち、ユーザ活動）に基づいて、メッシュおよびテクスチャを含む３Ｄ画像データストリームをスケーリングし同期するのに使用することができる。ネットワーク情報およびユーザ活動は、メッシュおよびテクスチャを送信し、３Ｄ画像データストリームを適宜スケーリングするための、要件を決定するのに使用されることがある。さらに、レンダリング時間を含む実際の処理時間に関する、エクステンデッドリアリティデバイスからのフィードバックが、３Ｄ画像データストリームの異なるコンポーネントについて考慮されて、新しいメッシュなどの３Ｄ画像データストリームの新しい部分がどこで必要とされるか、またはメッシュ更新がいつ提供されるべきかに関してインスタンスが決定される。

本出願は、リアルタイム３Ｄ通信に対する２つの課題領域に対処する。まず最初に、メッシュなど、画像データストリーム内で示される構造を送信するフレームレート（第１の画像データストリームとも呼ばれる）、およびテクスチャなど、視覚的外観を表現する画像データストリームの部分（第２の画像データストリームとも呼ばれる）は、ネットワーク帯域幅およびユーザ活動に基づいてスケーリングするように適合される。第二に、３Ｄ画像データストリームの異なる部分、つまり画像データストリームのシーン内に示されるオブジェクトの構造を表現する部分もしくはデータストリーム（以下、第１の修正されたストリームとも称される）、または視覚的外観を含むストリーム（以下、第２の修正されたストリームとも称される）は、ＸＲデバイスにおける処理またはレンダリング時間に基づいて、異なるフレームレートで送信される。本出願はさらに、図２および図３と関連してさらに詳細に考察されるように、好ましくはクラウドのエッジに位置する処理エンティティを提供することによって、３Ｄ通信のためのアップリンクまたはプロダクションエッジ機能およびダウンリンク／ディストリビューションエッジ機能の必要性に対処する。

図２は、３Ｄ画像データストリームまたは点群を３Ｄカメラ８０からＸＲデバイス７０にストリーミングする、エンドツーエンドシステムの概観を提供し、クラウドコンポーネントは通信経路に提供される。通信経路は、エクステンデッドリアリティデバイスにおいて生じる（第１の画像データストリームおよび第２の画像データストリームの）処理時間の差が考慮に入れられるようにして、３Ｄ画像データストリームを処理する、３Ｄカメラからインターネットまたは処理エンティティ１００へのアップリンク接続を説明する、無線ネットワーク５０の第１の無線リンクまたは部分を含んでもよい。さらに、無線リンク６０、ダウンリンク無線リンク、または無線ネットワークが、エクステンデッドリアリティデバイス７０に向けて提供される。図２は、３Ｄカメラに近い第１のクラウドコンポーネントまたはサーバと、ＸＲデバイス７０に近いさらなるクラウドサーバまたはコンポーネントとの、２つのクラウドコンポーネントを示している。

ネットワーク条件、ユーザ活動、およびデバイス特性に基づいて、最適化された３Ｄ点ストリームを提供するために、点群ストリームスケーリングおよび／または点群ストリーム同期が提案される。３Ｄ画像データストリームの生成は３Ｄカメラで行われ、ストリームレンダリングはＸＲデバイス７０で実施される。カメラは、例えばＵＳＢケーブルを介して、ＰＣに接続されてもよく、カメラおよびデバイス７０は、セルラまたは無線ネットワークに接続するため、何らかのＵＥに接続することができる。また、ストリームレンダリングが接続されたユーザ機器（ＵＥ）で行われて、デバイス７０がテザリングデバイスとして動作するようにすることが可能である。

図２に示される実施形態では、後述するように、ネットワーク帯域幅およびユーザ活動に基づいて送信するためのフレームレートの適合は、デバイス７０における処理時間に基づいて、３Ｄ画像データストリームの異なる部分を同期するのと同じエンティティで実施される。

処理時間は、デバイス７０でのレンダリングを含む、送信、バッファリング、および任意の復号または処理などのいくつかの時間成分を含む、３Ｄ画像データストリームのフレームを受信した後、フレームをレンダリングするまでの持続時間である。

図３は、図２に示されるのと同様の状況を示しているが、現在の環境条件に照らしてフレームレートを適合させることを含む機能ステップが異なっており、レンダリング時間または処理時間に基づいて、異なるストリーム部分の送信が異なる構成要素２００または１００で実施される。処理エンティティ２００は、デバイス、送信帯域幅などのネットワーク設定、およびユーザ活動に基づいて、３Ｄ画像データストリーム内のメッシュおよびテクスチャのスケーリングを担う。処理エンティティ１００は、レンダリングがＸＲデバイス７０におけるひずみまたは遅延を引き起こさないように、３Ｄ画像データストリームの異なる部分の異なるフレームレートの制御を担う。

以下のセクションでは、第１の部分について、つまり、デバイス設定、ネットワーク条件、およびユーザ活動に基づいた、３Ｄ画像データストリームのスケーリングについて記載する。図２の実施形態では、スケーリングは処理エンティティ１００によって実施され、図３の実施形態では、スケーリングは処理エンティティ２００によって実施される。３Ｄ画像データストリームに最適なスケーリングは、処理エンティティ１００または２００において、クラウドによって実施される。３Ｄ画像データストリームは、人間などの実世界オブジェクトの構造または幾何学形状を表現する第１の画像データストリーム（部分）を備え、データストリームはさらに、視覚的外観を表現する第２の画像データストリーム（部分）を備える。第１の画像データストリームはメッシュを含むことができ、第２の画像データストリームはテクスチャおよびＵＶを備えることができる。スケーリングは、現在のネットワーク条件（例えば、ネットワーク帯域幅）に基づいて、３Ｄストリーム内のメッシュおよびテクスチャに必要とされる適切なスケールを決定することによって行われる。スケールはまた、ＸＲデバイス７０における同期の問題を回避するために、ユーザ活動から導き出される、メッシュおよびテクスチャを更新するための要件によって決定される。同期の問題は、図９に関連してやはり考察されるようなネットワークの問題により、テクスチャが早く到着し、メッシュが更新されないときに起こり得る。スケーリング（ストリーム内のメッシュコンポーネントの送信の低減など）も、メッシュのストリーミングを実行可能にするために、ユーザの移動が少ないことによってメッシュの更新が不要なときに、ネットワーク上における帯域幅の要件を低減するのに必要なことがある。

点群ストリームが非常に複雑なため、点群圧縮は、実際上、作成側におけるクラウドのエッジで起こる可能性がある。問題は圧縮前にあり、多量のデータを、無線アップリンクを通じてエッジまたはクラウドにアップロードする必要がある。１つの具体例は、図２に示される処理エンティティ１００によって、または図３に示される処理エンティティ２００によって実施される、エッジにおける点群処理である。ここで、アーチファクトまたは背景が除去されてもよく、各点群データストリームに対して複雑な動作を実施することができる。活動を特性決定するため、３Ｄカメラ８０との閉ループを確立することによって、新しいメッシュが必要なときのみ更新されてもよく、それによって多くのアップリンク帯域幅および処理時間を節約することができる。圧縮は無線アップリンクの後に適用されてもよい。

スケーリングプロセスについて、図４と関連してさらに詳細に考察する。３Ｄカメラ８０は、デバイス解像度、ネットワーク条件、およびユーザ活動を、処理エンティティ１００、２００に送信する。ユーザ活動は、眼球運動、表情の変化、もしくは姿勢の変化、または他のあらゆる運動を含むことができる。これらのパラメータの少なくとも一部は、３Ｄカメラの最適な設定を決定するための入力として使用されてもよい。メッシュのフレームレートとテクスチャ／ＵＶのフレームレートとの比に対応するスケーリング比が、カメラ８０に提供され、エクステンデッドリアリティデバイスにも提供される。エクステンデッドリアリティデバイス７０はまた、自身の解像度、表示解像度を、処理エンティティ１００、２００に提供してもよい。

図５は、測定されたネットワーク条件に基づいた、３Ｄ画像データストリームのメッシュコンポーネントおよびテクスチャコンポーネントのマッピングを示している。メッシュは、構造を表現するデータストリームの部分であり、超高帯域幅でのより高いフレームレートを許容することができるが、低帯域幅になるほど高フレームレートが許容しづらくなって、指数関数的な減衰につながる。視覚的外観、ここではテクスチャを表現する他の部分のフレームレートは、帯域幅の要件がより低いため、フレームレートの減少がより緩やかである。

図６は、構造的表現および視覚的外観のフレームレート、即ちメッシュおよびテクスチャのフレームレートが、眼球運動、頭部の姿勢変化、または表情の変化など、３Ｄ画像データストリームのシーン内で示されるユーザの運動などのユーザ活動に基づいて適合される、一例を示している。ユーザ活動が大きいほど、ユーザ体感の需要を満たすため、より高いメッシュレートが必要になる。視覚的外観、ここではテクスチャを表現するデータ部分の場合、ユーザ活動が少ない場合の没入品質を維持するため、比較的高いフレームレートが必要とされる。

ユーザ活動は、図７に示されるような、連続するメッシュフレーム間のメッシュまたは点群の座標の差を考慮することによって決定されてもよい。各点群座標「Ｐ」は、Ｘ、Ｙ、およびＺ座標によって特性決定されてもよい。すべての点群の差の合計が、活動閾値に基づいてユーザ活動スコアを決定する、スケーリングされたシステムに供給される。出力は１～１００でスケーリングされてもよく、スケール１は「活動なし」を表し、スケール１００は「最大活動」を示す。一般性を失うことなく、かかるスケーリングモデルを、コンテンツタイプ、複雑さなどの異なるパラメータに基づいて、訓練し調節することができる。図７に示されるように、処理エンティティ１００は、ユーザ活動スコアの計算を実施することができる。さらなる最適化されたスケーリングの例は、以下のように、唇の動き、姿勢の変化などの一般化された活動特性決定を考慮することができる。
低活動スコア＝１０→メッシュフレームレート（２０ｆｐｓ）
中活動スコア＝５０→メッシュフレームレート（４０ｆｐｓ）
高活動スコア＝９０→メッシュフレームレート（６０ｆｐｓ）
別の最適化されたスケーリング測定基準は、フレームレートを一定に保った場合のメッシュ密度であることができ、または以下の組合せであることができる。
低活動スコア＝１０→メッシュ密度（Ｘ／４データポイント）
中活動スコア＝５０→メッシュ密度（Ｘ／２データポイント）
高活動スコア＝９０→メッシュ密度（Ｘデータポイント）
ここで、Ｘは、１フレーム内のデータポイントの数、例えば１０ｋのデータポイントに対応する。

図８は、処理エンティティにおいて実施される、メッシュおよびテクスチャの最適なスケーリングのためのメッセージ交換を説明している。図８は、アップリンク帯域幅が限定され、全点群ストリームをリアルタイムでＸＲデバイスに提供することができないシナリオに対処する。

ステップＳ８１で、処理エンティティは、メッシュおよびテクスチャのための解像度に関して３Ｄカメラからの入力を収集し、ステップＳ８２で、処理エンティティはまた、任意に、表示解像度に関してＸＲデバイスからの入力を受信する。ＸＲデバイスはヘッドマウントディスプレイであってもよいが、ＸＲデバイスはヘッドマウントディスプレイに限定されず、他のいずれのＸＲデバイスも使用されてもよいことが理解されるべきである。さらに、処理エンティティは、図７と関連して上述したような、ユーザの運動、メッシュの回転および並進移動など、ユーザ活動の入力をカメラから収集する（Ｓ８３）。さらに、処理エンティティ１００または２００は、帯域幅およびレイテンシ情報などのネットワーク情報を受信する。ネットワーク情報は、ステップＳ８４およびＳ８５によって示されるように、カメラ、ＵＥによって、またはネットワークによって提供することができる。ステップＳ８６で、処理エンティティは、受信した情報に基づいて最適なスケーリングを決定し、それにより、後述するように、メッシュおよびテクスチャまたは点群ストリームのレートを規定する。ステップＳ８７で、１秒当たりのメッシュおよびテクスチャの比である、結果として得られる最適なスケーリングが、３Ｄカメラに、また任意にステップＳ８８でＸＲデバイスに提供される。

以下、点群ストリーム同期のための方策が、ＸＲデバイス７０へのダウンリンク方向で、処理エンティティにおいて実施される。後述する方策では、ＸＲデバイスへのデータストリームの送信は、ＸＲデバイスの処理時間に基づいて適合される。この処理時間は、チャネル上での送信時間、バッファリング、復号、メッシュ再構成、およびレンダリングなど、ＸＲデバイス７０における追加の遅延を含むことができる。３Ｄ画像データストリームの処理の間、以下の典型的な遅延が観察されることがある。一例では、ＸＲデバイスにおけるメッシュ全体の処理またはレンダリングには最大で２００ｍｓかかる可能性がある。ＸＲデバイスにおけるメッシュのレンダリング更新または部分は約３０ｍｓかかる場合がある。テクスチャおよびＵＶのレンダリングは最大で３０ｍｓかかる可能性がある。

図９は、テクスチャがメッシュよりも高速で処理される場合の、ピクチャ内の表面の不整合の問題に対処する。処理エンティティでは、入力されるメッシュおよびテクスチャまたはＵＶは同期されている。メッシュおよびテクスチャまたはＵＶの送信時間は、メッシュ全体を送信するときにばらつく場合がある。ＸＲデバイスにおいて、テクスチャまたはＵＶは（テクスチャまたはＵＶのデータ量がより少ないことに照らして）メッシュよりも高速で受信される。さらに、メッシュ全体のレンダリング時間はテクスチャまたはＵＶに対する時間よりも長く、そのため、メッシュに対して追加の遅延がもたらされる。したがって、フレームｎ＋３のテクスチャは既にレンダリングされており、一方でフレームｎ＋１のメッシュがほぼ同時にレンダリングされる、図９に示されるような状況が起こり得る。したがって、レンダリング時間、データストリームの対応する部分が表示される時間は、テクスチャとメッシュとで異なる。

図１０は、デバイス７０から受信されるようなレンダリング時間または所有のフィードバックに基づいて、処理エンティティ１００がメッシュ更新を送出することができる、同期の方策を示している。この状況では、３Ｄカメラからデバイス７０にストリーミングされるデータの量も大幅に低減される。それに加えて、同期によって、最適な形で、接続中断の後に機能を回復することが可能になる。

図１０のステップＳ１０１で、３Ｄカメラは、メッシュ、テクスチャ、およびＵＶを包含する３Ｄ画像データストリームをクラウドに送出する。ステップＳ１０２で、処理エンティティは、メッシュ、テクスチャ、およびＵＶを整合させ、それぞれに特定のフォーマットでタイムスタンプを付け、後でＸＲデバイス７０に送出されるキューにストリームを追加する。可能なタイムスタンプは次のフォーマットを有することができる。
ｙｙｙｙ－ＭＭ－ｄｄ ＨＨ：ｍｍ：ｓｓ．ＳＳＳ （１）

ステップＳ１０３で、フレームのうち第１のフレームの間、処理エンティティは、メッシュ全体、テクスチャ、およびＵＶを、タイムスタンプまたは送信時間指示を含めて、ＸＲデバイス７０に送出する。

ステップＳ１０４で、ＸＲデバイス７０は、点群ストリームを受信した後、受信データを処理し、エンドユーザのために同じタイムスタンプを用いてデータをレンダリングする。

ステップＳ１０５で、ＸＲデバイス７０は、メッシュ、テクスチャ、およびＵＶを含む各要素に対して処理時間（処理時間指示）を報告する。処理時間またはレンダリング時間は、ＸＲデバイス７０上の要素を処理し、ユーザに対して表示するのにかかる時間として規定される。
Ｒｔ［ｅ］＝ｔ＿ｓ－ｔ＿ｄ （２）
Ｒｔ：レンダリング時間
ｅ：要素（メッシュ、テクスチャ、ＵＶ）
ｔ＿ｓ：データ処理が開始したときのタイムスタンプ
ｔ＿ｄ：データがＸＲデバイス内部で表示されたときのタイムスタンプ

ステップＳ１０６で、処理エンティティ１００は、処理時間指示を受信し、受信した情報を実際のタイムスタンプと比較する。ステップＳ１０７で、処理エンティティ１００は、フレームが同期しているか否かをチェックする。フレーム間の遅延があらかじめ規定された時間量よりも小さい場合、処理エンティティは、テクスチャおよびＵＶとともに（全メッシュデータの代わりに）メッシュ更新のみを送出することができる。この方策により、カメラからエクステンデッドリアリティデバイスにストリーミングされるデータの量が低減される。さらなる選択肢として、遅延の差があらかじめ規定された閾値よりも大きい場合、処理エンティティはコマンドをデバイス７０に送出して、３Ｄデータストリームの現在のキューを落とし、全メッシュデータ、テクスチャ、およびＵＶを包含する最新キューを再送信する。これにより、最適な形で、接続中断の後に機能を回復することが可能になる。

上述したスケーリングおよび同期の方策は、現在のレンダリング時間に関する情報がデバイス７０から３Ｄカメラ８０に提供されるように、組み合わせることができる。メッシュ更新のみが必要な場合、処理エンティティは、フィードバックを３Ｄカメラに提供して、カメラが最適化されたストリームをＸＲデバイス７０に提供し、一対一の会議に有用なことがあるアップリンク帯域幅を保存するようにすることができる。処理エンティティはさらに、メッシュのどの領域が更新を要しているか、フィードバックを３Ｄカメラ８０に提供することができる。例として、ユーザ運動を示しているストリーム内の領域のみが更新されてもよい。さらに、物体または人間または顔の移動を予測し、物体または人間または顔が移動もしくは転回したときにその像を外挿することが可能である。この方策は人工知能に基づいてもよい。予測のためのこの方策は、処理エンティティにおいて、例としてアップリンク帯域幅の限定に照らして、メッシュを３Ｄカメラから検索できない場合、またはダウンリンク帯域幅の限定がある場合にリアルタイムでＸＲデバイスに送出されてもよい事例を補償するものとみなすことができる。

図１１は、画像データストリームの、つまり、この３Ｄ画像データストリームに包含される構造を表現する第１のストリームおよび視覚的外観を表現する第２のストリームの、異なる部分を同期する例において、処理エンティティ１００によって実施されるステップの一部を概説している。ステップＳ１１１で、処理エンティティ１００は、人間など、少なくとも１つの実世界オブジェクトの構造を表現する第１の部分または第１の画像データストリームを含む、この実データストリームを受信し、３Ｄデータストリームは、第２のストリーム部分、つまりオブジェクトの視覚的外観を表現する第２の画像データストリームを含む。ステップＳ１１２で、処理エンティティは、対応する送信時間指示をストリーム部分それぞれに、つまり第１の画像データストリームおよび第２の画像データストリームに追加し、それにより、修正された第１のストリームおよび修正された第２のストリームを含む修正されたストリームが生成される。これについては、図１０に関連してステップＳ１０２で上述した。移行時間指示は、両方のストリーム、第１のストリームまたは第２のストリームで同じであることができるが、ストリームそれぞれに対して別個かつ特異的でもあり得る。ステップＳ１１３で、ここでは送信時間を含んでいる修正されたストリームは、ステップＳ１０３でも考察したように、エクステンデッドリアリティデバイスに送信される。ステップＳ１１４で、処理エンティティは次に、修正されたストリームの異なる部分それぞれについて処理時間指示を受信する。これについては、ステップＳ１０５で上述した。修正されたストリームおよび受信したストリームの異なるコンポーネントについて、送信時間指示および処理時間指示が分かっているので、処理ユニットによって受信されたような、受信した３Ｄ画像データストリームの適合、あるいは処理エンティティによって修正されたようなストリームの適合を開始することが可能である。さらに、３Ｄ画像データストリームおよび修正されたストリーム両方が適合されることが可能である。

図１２は、図４および図８と関連して、処理エンティティ１００または２００によって実施されるステップを概説している。

ステップＳ１２１は、３Ｄカメラによって受信されるような、解像度の受信を説明している。さらに、ステップＳ１２２で、３Ｄ画像データストリームのシーンに示されるオブジェクトの活動が決定される。この活動は、カメラの側から受信されてもよく、または３Ｄ画像データストリームが既に受信されている場合、処理エンティティの内部で決定されてもよい。さらに、ステップＳ１２３で、処理エンティティに対するデータストリームのアップリンク送信に使用される、無線ネットワークの送信帯域幅が決定される。受信した情報に基づいて、処理エンティティは、ステップＳ１２４で、構造を表現する画像データストリーム部分に対して３Ｄカメラによって使用されるべきフレームレート、およびストリーム内に示されるオブジェクトの視覚的外観を表現する画像データストリームの部分に対してカメラによって使用されるべきフレームレートを決定することができる。ステップＳ１２５で、処理エンティティは、構造を含むストリーム部分のフレームレートと、視覚的外観を含むストリーム部分のフレームレートとの比を説明する、スケーリングパラメータを３Ｄカメラに通知する。

図１３は、処理エンティティが関与する上述したステップを実施することができる、処理エンティティの概略図を示している。上述したように、処理エンティティは、処理能力を提供するのに使用されるハードウェア構成要素または仮想マシンがクラウド環境の異なるノードにわたって分散されるように、クラウド環境で実現されてもよい。いずれにせよ、明瞭にするため、異なる構成要素は単一のモジュールとして図１２に示されている。処理エンティティ１００は、修正されたストリームをＸＲデバイスに送信するなど、３Ｄデータストリームまたは制御メッセージを他のエンティティに送信するのに使用される、インターフェース１１０を備える。インターフェース１１０はさらに、ストリームを３Ｄカメラから受信するように設定され、またカメラ解像度、ユーザ活動、または無線ネットワークの送信帯域幅などのデータを受信するように設定される。処理エンティティはさらに、処理エンティティ１００の動作を担う処理ユニット１２０を備える。処理ユニット１２０は、１つまたは複数のプロセッサを備えることができ、メモリ１３０に格納された命令を実施することができ、メモリは、読出し専用メモリ、ランダムアクセスメモリ、大容量記憶装置、ハードディスクなどを含んでもよい。メモリはさらに、処理エンティティが関与する上述の機能を実現するように、処理ユニット１２０によって実行される好適なプログラムコードを含むことができる。

図１４は、２つの部分を含む３Ｄ画像データストリームを受信するように設定された第１のモジュールを備える、処理エンティティの別の概略的アーキテクチャ図を示している。個々の送信時間指示を異なるストリーム部分それぞれに追加するように設定された、モジュール３２０が提供される。送信時間指示を含む修正されたストリームをＸＲデバイスに送信するように設定された、モジュール３３０が提供される。モジュール３４０は、修正されたストリーム部分それぞれに対する処理時間を受信するように設定される。受信した情報に基づいて、データストリームの少なくとも１つ（第１のデータストリームまたは第２のデータストリーム）の適合を開始するように設定された、モジュール３５０が提供される。

図１５は、図８と関連して考察したようなストリームスケーリングを実施するのみであってもよい、処理エンティティの一例の概略図を示している。図１３と関連して上述したように、異なるハードウェア構成要素または仮想マシンがクラウド内で分散されるようにして、処理エンティティ２００をクラウド環境内で実現することができる。いずれにせよ、処理エンティティ２００は、データストリームまたは制御メッセージを他のエンティティに送信するために提供され、データストリームまたは制御メッセージを他のエンティティから受信するように設定された、インターフェース２１０を備える。インターフェースは、カメラセッティングまたはユーザ活動またはネットワーク条件などの情報を受信するように設定される。さらに、インターフェースは、スケーリングをカメラまたはＸＲデバイスに送信することができる。エンティティ２００はさらに、エンティティ２００の動作を担う処理ユニット２２０を備える。処理エンティティ２２０は、１つまたは複数のプロセッサを備え、メモリ２３０に格納された命令を実施することができ、メモリは、読出し専用メモリ、ランダムアクセスメモリ、大容量記憶装置、ハードディスクなどを含んでもよい。メモリはさらに、処理エンティティ２００が関与する上述の機能を実現するように、処理ユニット２２０によって実行される好適なプログラムコードを含むことができる。

図１６は、ストリームスケーリングを実施するように設定された処理エンティティ４００のさらなる一例の表現を示している。エンティティ４００は、３Ｄカメラの解像度を受信するように設定された第１のモジュール４１０を備える。さらに、モジュール４２０は、画像データストリーム内に示されるシーンに存在するユーザ活動を受信するように設定される。３Ｄ画像データストリームを処理エンティティに送信するのに使用される、無線ネットワークの送信帯域幅をさらに決定する、モジュール４３０が提供される。ストリームの異なる部分のフレームレートを決定するように設定された、モジュール４４０が提供され、フレームレートの比がどのようにレーティングして、メッシュを含むストリームの部分がテクスチャまたはＵＶを含むストリームの部分のフレームレートに対してレーティングされるかを示すスケーリングパラメータを、少なくともカメラに通知するように設定された、モジュール４５０が提供される。

上記の考察から、いくつかの一般的な結論を導き出すことができる。処理エンティティ１００はさらに、修正された第１および第２のストリームの処理時間指示に基づいて、エクステンデッドリアリティデバイスにおいて、修正された第１および第２のストリームの処理時間の一方が他方よりも短いと決定することができる。適合が開始されると、エクステンデッドリアリティデバイスにおける第１および第２の修正されたストリームの同期を開始することが可能である。

同期が開始されると、これは、２つの修正されたストリームから、修正されたストリームの一方のフレームレートが低減されること、つまり、エクステンデッドリアリティデバイスにおいて他方よりも低速で処理される、修正されたストリームを意味することができる。さらに、エクステンデッドリアリティデバイスに、エクステンデッドリアリティデバイスにおいて表示のためにバッファリングされる、修正されたデータストリームのペンディング部分を落とすように要求することが可能である。

さらに、３Ｄ画像データストリームを生成するように設定された３Ｄカメラ８０に、対応する第１および第２の修正されたストリームがエクステンデッドリアリティデバイスにおいてより高速で処理される、第１および第２の画像データストリームのうち一方のフレームレートを、対応する修正されたストリームがエクステンデッドリアリティデバイスにおいてより低速で処理される、受信した３Ｄ画像データストリームの他方のフレームレートに適合させるように要求することが可能である。

さらに、修正された第１のストリームおよび修正された第２のストリームの送信時間指示の現在の値を、修正された第１のストリームおよび修正された第２のストリームの受信した処理時間指示と比較することが可能であり、適合は比較に基づいて開始される。

ここで、修正された第１のストリームの送信時間指示の現在の値と、修正された第１のストリームの受信した処理時間指示との第１の差を生成し、修正された第２のストリームの送信時間指示の現在の値と、修正された第２のストリームの受信した処理時間指示との第２の差を生成することが可能である。そのため、適合は第１の差および第２の差に基づいて開始される。これについては、上記した式２によってさらに詳細に上述している。

第１の差および第２の差のうち少なくとも一方が、第１の時間間隔よりも大きいが第２の時間間隔よりも小さい場合、エクステンデッドリアリティデバイスに送信される修正されたストリームの送信レートが低減されてもよい。さらに、第１の差および第２の差の少なくとも一方が第２の時間間隔よりも大きい場合、エクステンデッドリアリティデバイスは、エクステンデッドリアリティデバイスにおいて表示のためにペンディングしているペンディング中のデータストリームフレームを落とすように求められ、その際、送信のために処理エンティティに現在存在している修正されたストリームの現在の部分は、エクステンデッドリアリティデバイスに送信される。

第１の画像データストリームは、メッシュおよび点群のうち少なくとも１つを含むことができ、第２の画像データストリームは、メッシュおよび点群のうち少なくとも１つのテクスチャを含むことができ、ＵＶマッピングを含んでもよい。さらに、音声データも含む、第３のストリーム部分または第３のストリームなどのさらなるストリーム部分が提供されてもよい。

エクステンデッドリアリティデバイスにおいてコンテンツをレンダリングするレンダリング時間は、処理時間に基づいて決定されてもよく、レンダリング時間は３Ｄカメラに送信される。

さらに、３Ｄ画像データストリームの他の領域と比較して、少なくとも１つの実世界オブジェクトの運動の増加が検出された、３Ｄ画像データストリームにおいて表現されるシーン内の関心領域を決定することが可能である。次に、関心領域に関する情報は、３Ｄデータストリームを生成するように設定された３Ｄカメラに送信される。

さらに、既に決定された関心領域、および少なくとも１つの実世界オブジェクトの決定された運動に基づいて、少なくとも１つの実世界オブジェクトの運動の増加が予期される、３Ｄ画像データストリームにおいて表現されるシーン内の将来の関心領域を決定することが可能であり、将来の関心領域に関する情報は３Ｄカメラに送信される。

３Ｄカメラは次に、この情報を使用し、将来の関心領域内のメッシュの送信に集中するかまたは送信を制限することができる。

さらに、関心領域において示される活動の度合いを反映して、関心領域に基づいて活動スコアを決定することが可能である。次に、活動スコアに基づいた、また３Ｄカメラに送信される、第１の画像データストリームに対して提案されるフレームレートが決定され、それにより、次いで３Ｄカメラが提案されたフレームレートを使用することができる。

３Ｄ画像データストリームは、アップリンク無線ネットワークを介して３Ｄカメラ８０から受信することができ、ダウンリンク無線ネットワークを介してエクステンデッドリアリティデバイス７０に送信される。処理デバイス１００は、３Ｄカメラで使用される解像度を示す、解像度インジケータを３Ｄカメラ８０から受信することができる。さらに、３Ｄ画像データストリーム内に示される少なくとも１つの実世界オブジェクトの活動を決定することができ、決定は、カメラ自体から受信されてもよく、または３Ｄ画像データストリームの連続フレームに基づいて処理エンティティ内で決定されてもよい。さらに、３Ｄ画像データストリームを処理エンティティ１００に送信するのに使用される、アップリンク無線ネットワークの送信帯域幅が決定されてもよい。さらに、幾何学形状を含むストリームの部分である第１の画像データストリームに対して、３Ｄカメラによって使用されるべき、第１のフレームレートを決定することができ、視覚的外観を含む部分である第２の画像データストリームに対して、３Ｄカメラ８０によって使用されるべき、第２のフレームレートが決定され、２つのフレームレートは、解像度インジケータ、送信帯域幅、および決定された活動を考慮に入れて決定されてもよい。さらに、３Ｄカメラには、第１のフレームレートおよび第２のフレームレートに基づいて決定されるパラメータである、スケーリングパラメータが通知されてもよい。

フレームレートは、３Ｄ画像データストリーム内の第１の画像データストリームのフレームレートと第２の画像データストリームのフレームレートの比として決定されてもよい。

少なくとも１つの実世界オブジェクトは、人間などの生物を含んでもよい。

示されるように、３Ｄ画像データストリームは、音声データを含む第３のストリームを含んでもよい。

上述の解決策は、３Ｄ画像データストリームのストリーミングの際に起こることがある、帯域幅およびレイテンシの問題に対処し、結果としてユーザ体験の改善をもたらす。最適化された解決策を、実時間の制約下で働くＸＲ会議のシナリオに使用することができる。

Claims (42)

1. 無線ネットワーク（６０）を通じてエクステンデッドリアリティデバイス（７０）に送信するため、３Ｄ画像データストリームを処理するように設定された、処理エンティティ（１００）を動作させるための方法であって、
   少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームと、前記少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含む、前記３Ｄ画像データストリームを受信することと、
   対応する送信時間指示を、前記第１の画像データストリームおよび前記第２の画像データストリームのそれぞれに追加し、それにより、修正された第１のストリームおよび修正された第２のストリームを含む修正されたストリームをもたらすことと、
   前記修正されたストリームを、前記無線ネットワークを通じて前記エクステンデッドリアリティデバイスに送信することと、
   前記修正された第１のストリームおよび前記修正された第２のストリームのそれぞれに対する処理時間指示を、前記エクステンデッドリアリティデバイスから受信することと、
   前記修正された第１のストリームおよび前記修正された第２のストリームの前記処理時間指示に基づいて、前記３Ｄ画像データストリームおよび前記修正されたストリームのうち少なくとも一方の適合を開始することと
   を含む、方法。
2. 前記修正された第１および第２のストリームの前記処理時間指示に基づいて、前記エクステンデッドリアリティデバイスにおいて、前記修正された第１および第２のストリームの前記処理時間の一方が他方よりも短いと決定することをさらに含み、適合を開始することが、前記エクステンデッドリアリティデバイスにおける前記第１および第２の修正されたストリームの同期を開始することを含む、請求項１に記載の方法。
3. 前記同期を開始することが、
   ２つの前記修正されたストリームのうち他方よりも低速で処理される、前記修正されたストリームの一方のフレームレートを低減すること、
   前記エクステンデッドリアリティデバイスに、前記エクステンデッドリアリティデバイスにおいて表示のためにバッファリングされる、修正されたデータストリームのペンディング部分を落とすように要求すること、
   受信した前記３Ｄ画像データストリームを生成するように設定された３Ｄカメラに、対応する前記第１または第２の修正されたストリームが前記エクステンデッドリアリティデバイスにおいてより高速で処理される、前記第１および第２の画像データストリームのうち一方のフレームレートを、対応する前記修正されたストリームが前記エクステンデッドリアリティデバイスにおいてより低速で処理される、受信した前記３Ｄ画像データストリームの他方のフレームレートに適合させるように要求すること
   のうち少なくとも１つを含む、請求項２に記載の方法。
4. 前記修正された第１のストリームおよび前記修正された第２のストリームの前記送信時間指示の現在の値を、前記修正された第１のストリームおよび前記修正された第２のストリームの受信した前記処理時間指示と比較することをさらに含み、前記適合が前記比較に基づいて開始される、請求項１から３のいずれか一項に記載の方法。
5. 前記修正された第１のストリームの前記送信時間指示の現在の値と、前記修正された第１のストリームの受信した前記処理時間指示との第１の差が生成され、前記修正された第２のストリームの前記送信時間指示の前記現在の値と、前記修正された第２のストリームの前記受信した処理時間指示との第２の差が生成され、前記適合が、前記第１の差および前記第２の差に基づいて開始される、請求項４に記載の方法。
6. 前記第１の差および前記第２の差のうち少なくとも一方が、第１の時間間隔よりも大きいが第２の時間間隔よりも小さい場合、前記エクステンデッドリアリティデバイスに送信される前記修正されたストリームの送信レートが低減される、請求項５に記載の方法。
7. 前記第１の差および前記第２の差の少なくとも一方が第２の時間間隔よりも大きい場合、前記エクステンデッドリアリティデバイスが、前記エクステンデッドリアリティデバイスにおいて表示のためにペンディングしている前記修正されたストリームのペンディング中のデータストリームフレームを落とすように求められ、前記処理エンティティに現在存在している前記修正されたストリームの現在の部分が、前記エクステンデッドリアリティデバイスに送信される、請求項５または６に記載の方法。
8. 前記第１の画像データストリームが、メッシュおよび点群のうち少なくとも１つを含み、前記第２の画像データストリームが、メッシュおよび点群のうち少なくとも１つのテクスチャと、ＵＶマッピングとを含む、請求項１から７のいずれか一項に記載の方法。
9. 前記処理時間を決定することが、レンダリング時間を決定することを含み、前記レンダリング時間が前記３Ｄカメラに送信される、請求項１から８のいずれか一項に記載の方法。
10. 前記３Ｄ画像データストリームの他の領域と比較して前記少なくとも１つの実世界オブジェクトの運動の増加が検出された、前記３Ｄ画像データストリームにおいて表現されるシーン内の関心領域をさらに決定し、前記関心領域に関する情報が、前記３Ｄ画像データストリームを生成するように設定された３Ｄカメラに送信される、請求項１から９のいずれか一項に記載の方法。
11. 前記関心領域、および前記少なくとも１つの実世界オブジェクトの決定された運動に基づいて、前記少なくとも１つの実世界オブジェクトの前記運動の増加が予期される、前記３Ｄ画像データストリームにおいて表現されるシーン内の将来の関心領域をさらに決定し、前記将来の関心領域に関する情報が前記３Ｄカメラに送信される、請求項１０に記載の方法。
12. 前記関心領域において示される活動の度合いを反映して、前記関心領域に基づいて活動スコアが決定され、前記活動スコアに基づいて、前記第１の画像データストリームに対して提案されるフレームレートが決定され、前記３Ｄカメラに送信される、請求項１０または１１に記載の方法。
13. 前記３Ｄ画像データストリームが、さらなる無線ネットワークを介して、受信した前記３Ｄ画像データストリームを生成するように設定された３Ｄカメラから受信され、
    前記３Ｄカメラから、前記３Ｄカメラの解像度を示す解像度インジケータを受信するステップと、
    前記３Ｄ画像データストリームに示される前記少なくとも１つの実世界オブジェクトの活動を決定するステップと、
    前記３Ｄ画像データストリームを前記処理エンティティに送信するのに使用される、前記さらなる無線ネットワークの送信帯域幅を決定するステップと、
    前記解像度インジケータ、前記送信帯域幅、および決定された前記活動を考慮に入れて、前記第１の画像データストリームに対して前記３Ｄカメラによって使用される第１のフレームレートと、前記第２の画像データストリームに対して前記３Ｄカメラによって使用される第２のフレームレートとを決定するステップと、
    決定された前記第１のフレームレートに基づいて決定されたスケーリングパラメータ、および前記第２のフレームレートを、前記３Ｄカメラに通知するステップと
    をさらに含む、請求項１から１２のいずれか一項に記載の方法。
14. 前記スケーリングパラメータが、前記３Ｄ画像データストリーム内の前記第１の画像データストリームのフレームレートと前記第２の画像データストリームのフレームレートの比として決定される、請求項１３に記載の方法。
15. 前記少なくとも１つの実世界オブジェクトが生物を含む、請求項１から１４のいずれか一項に記載の方法。
16. 前記３Ｄ画像データストリームが、音声データを含む第３のストリームをさらに含む、請求項１から１５のいずれか一項に記載の方法。
17. 無線ネットワークを通じて３Ｄカメラによって生成された、少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームと、前記少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含む、３Ｄ画像データストリームを受信するように設定された、処理エンティティ（２００）を動作させるための方法であって、
    前記３Ｄカメラから、前記３Ｄカメラの解像度を示す解像度インジケータを受信することと、
    前記３Ｄ画像データストリームに示される前記少なくとも実世界オブジェクトの活動を決定することと、
    前記３Ｄ画像データストリームを前記処理エンティティに送信するのに使用される、さらなる無線ネットワークの送信帯域幅を決定することと、
    前記解像度インジケータ、前記送信帯域幅、および決定された前記活動を考慮に入れて、前記第１の画像データストリームに対して前記３Ｄカメラによって使用される第１のフレームレートと、前記第２の画像データストリームに対して前記３Ｄカメラによって使用される第２のフレームレートとを決定することと、
    決定された前記第１のフレームレートに基づいて決定されたスケーリングパラメータ、および前記第２のフレームレートを、前記３Ｄカメラに通知することと
    を含む、方法。
18. 前記３Ｄ画像データストリームが表示されるエクステンデッドリアリティデバイスに、前記スケーリングパラメータをさらに通知する、請求項１７に記載の方法。
19. 前記スケーリングパラメータが、前記３Ｄ画像データストリーム内の前記第１の画像データストリームのフレームレートと前記第２の画像データストリームのフレームレートの比を含む、請求項１７または１８に記載の方法。
20. 無線リンクを通じて３Ｄ画像データをエクステンデッドリアリティデバイスに送信するように設定された処理エンティティであって、処理デバイスが、
    少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームと、前記少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含む、３Ｄ画像データストリームを受信し、
    対応する送信時間指示を、前記第１の画像データストリームおよび前記第２の画像データストリームのそれぞれに追加し、それにより、修正された第１のストリームおよび修正された第２のストリームを含む修正されたストリームをもたらし、
    前記修正されたストリームを、無線ネットワークを通じて前記エクステンデッドリアリティデバイスに送信し、
    前記修正された第１のストリームおよび前記修正された第２のストリームのそれぞれに対する処理時間指示を、前記エクステンデッドリアリティデバイスから受信し、
    前記修正された第１のストリームおよび前記修正された第２のストリームの前記処理時間指示に基づいて、前記３Ｄ画像データストリームおよび前記修正されたストリームのうち少なくとも一方の適合を開始する
    ように動作する、処理エンティティ。
21. 前記修正された第１および第２のストリームの前記処理時間指示に基づいて、前記エクステンデッドリアリティデバイスにおいて、前記修正された第１および第２のストリームの前記処理時間の一方が他方よりも短いと決定するようにさらに動作し、適合を開始することが、前記エクステンデッドリアリティデバイスにおける前記第１および第２の修正されたストリームの同期を開始することを含む、請求項２０に記載の処理エンティティ。
22. 前記同期を開始するため、
    ２つの前記修正されたストリームのうち他方よりも低速で処理される、前記修正されたストリームの一方のフレームレートを低減し、
    前記エクステンデッドリアリティデバイスに、前記エクステンデッドリアリティデバイスにおいて表示のためにバッファリングされる、修正されたデータストリームのペンディング部分を落とすように要求し、
    受信した前記３Ｄ画像データストリームを生成するように設定された３Ｄカメラに、対応する前記第１または第２の修正されたストリームが前記エクステンデッドリアリティデバイスにおいてより高速で処理される、前記第１および第２の画像データストリームのうち一方のフレームレートを、対応する前記修正されたストリームが前記エクステンデッドリアリティデバイスにおいてより低速で処理される、受信した３Ｄ画像データストリームの他方のフレームレートに適合させるように要求する
    ようにさらに動作する、請求項２１に記載の処理エンティティ。
23. 前記修正された第１のストリームおよび前記修正された第２のストリームの前記送信時間指示の現在の値を、前記修正された第１のストリームおよび前記修正された第２のストリームの受信した前記処理時間指示と比較し、前記比較に基づいて前記適合を開始するようにさらに動作する、請求項２０から２２のいずれか一項に記載の処理エンティティ。
24. 前記修正された第１のストリームの前記送信時間指示の現在の値と、前記修正された第１のストリームの受信した前記処理時間指示との第１の差を生成し、前記修正された第２のストリームの前記送信時間指示の前記現在の値と、前記修正された第２のストリームの前記受信した処理時間指示との第２の差を生成し、前記第１の差および前記第２の差に基づいて前記適合を開始するようにさらに動作する、請求項２３に記載の処理エンティティ。
25. 前記第１の差および前記第２の差のうち少なくとも一方が、第１の時間間隔よりも大きいが第２の時間間隔よりも小さい場合、前記エクステンデッドリアリティデバイスに送信される前記修正されたストリームの送信レートを低減するようにさらに動作する、請求項２４に記載の処理エンティティ。
26. 前記第１の差および前記第２の差の少なくとも一方が第２の時間間隔よりも大きい場合、前記エクステンデッドリアリティデバイスにおいて表示のためにペンディングしている前記修正されたストリームのペンディング中のデータストリームフレームを落とすように前記エクステンデッドリアリティデバイスに求め、前記処理エンティティに現在存在している前記修正されたストリームの現在の部分を、前記エクステンデッドリアリティデバイスに送信するようにさらに動作する、請求項２４または２５に記載の処理エンティティ。
27. 前記第１の画像データストリームが、メッシュおよび点群のうち少なくとも１つを含み、前記第２の画像データストリームが、メッシュおよび点群のうち少なくとも１つのテクスチャと、ＵＶマッピングとを含む、請求項２０から２６のいずれか一項に記載の処理エンティティ。
28. 前記処理時間に基づいてレンダリング時間を決定し、前記レンダリング時間を前記３Ｄカメラに送信するようにさらに動作する、請求項２０から２７のいずれか一項に記載の処理エンティティ。
29. 前記３Ｄ画像データストリームの他の領域と比較して前記少なくとも１つの実世界オブジェクトの運動の増加が検出された、前記３Ｄ画像データストリームにおいて表現されるシーン内の関心領域を決定し、前記関心領域に関する情報を、前記３Ｄ画像データストリームを生成するように設定された３Ｄカメラに送信するようにさらに動作する、請求項２０から２８のいずれか一項に記載の処理エンティティ。
30. 前記関心領域、および前記少なくとも１つの実世界オブジェクトの決定された運動に基づいて、前記少なくとも１つの実世界オブジェクトの前記運動の増加が予期される、前記３Ｄ画像データストリームにおいて表現されるシーン内の将来の関心領域を決定し、前記将来の関心領域に関する情報を前記３Ｄカメラに送信するようにさらに動作する、請求項２９に記載の処理エンティティ。
31. 前記関心領域において示される活動の度合いを反映して、前記関心領域に基づいて活動スコアを決定し、前記活動スコアに基づいて、前記第１の画像データストリームに対して提案されるフレームレートを決定し、提案された前記フレームレートを前記３Ｄカメラに送信するようにさらに動作する、請求項２９または３０に記載の処理エンティティ。
32. 前記３Ｄ画像データストリームが、さらなる無線ネットワークを介して、受信した前記３Ｄ画像データストリームを生成するように設定された３Ｄカメラから受信され、
    前記３Ｄカメラから、前記３Ｄカメラの解像度を示す解像度インジケータを受信し、
    前記３Ｄ画像データストリームに示される前記少なくとも１つの実世界オブジェクトの活動を決定し、
    前記３Ｄ画像データストリームを前記処理エンティティに送信するのに使用される、前記さらなる無線ネットワークの送信帯域幅を決定し、
    前記解像度インジケータ、前記送信帯域幅、および決定された前記活動を考慮に入れて、前記第１の画像データストリームに対して前記３Ｄカメラによって使用される第１のフレームレートと、前記第２の画像データストリームに対して前記３Ｄカメラによって使用される第２のフレームレートとを決定し、
    決定された前記第１のフレームレートに基づいて決定されたスケーリングパラメータ、および前記第２のフレームレートを、前記３Ｄカメラに通知する
    ように動作する、請求項２０から３１のいずれか一項に記載の処理エンティティ。
33. 前記３Ｄ画像データストリーム内の前記第１の画像データストリームのフレームレートと前記第２の画像データストリームのフレームレートの比として、前記スケーリングパラメータを決定するようにさらに動作する、請求項３２に記載の処理エンティティ。
34. 前記少なくとも１つの実世界オブジェクトが生物を含む、請求項２０から３３のいずれか一項に記載の処理エンティティ。
35. 前記３Ｄ画像データストリームが、音声データを含む第３のストリームをさらに含む、請求項２０から３４のいずれか一項に記載の処理エンティティ。
36. メモリと少なくとも１つの処理ユニットとをさらに備え、前記メモリが、前記少なくとも１つの処理ユニットによって実行可能な命令を含み、前記命令が前記少なくとも１つの処理ユニットによって実行されると、前記処理エンティティが、請求項１から１６のいずれか一項に記載の方法を実施するように動作する、請求項２０から３４のいずれか一項に記載の処理エンティティ。
37. 無線ネットワークを通じて３Ｄカメラによって生成された、少なくとも１つの実世界オブジェクトの構造を表現する第１の画像データストリームと、前記少なくとも１つの実世界オブジェクトの視覚的外観を表現する第２の画像データストリームとを含む、３Ｄ画像データストリームを受信するように設定された、処理エンティティ（２００）であって、
    前記３Ｄカメラから、前記３Ｄカメラの解像度を示す解像度インジケータを受信し、
    前記３Ｄ画像データストリームに示される前記少なくとも実世界オブジェクトの活動を決定し、
    前記３Ｄ画像データストリームを前記処理エンティティに送信するのに使用される、さらなる無線ネットワークの送信帯域幅を決定し、
    前記解像度インジケータ、前記送信帯域幅、および決定された前記活動を考慮に入れて、前記第１の画像データストリームに対して前記３Ｄカメラによって使用される第１のフレームレートと、前記第２の画像データストリームに対して前記３Ｄカメラによって使用される第２のフレームレートとを決定し、
    決定された前記第１のフレームレートおよび前記第２のフレームレートに基づいて決定されたスケーリングパラメータを、前記３Ｄカメラに通知する
    ように動作する、処理エンティティ。
38. 前記３Ｄ画像データストリームが表示されるエクステンデッドリアリティデバイスに、前記スケーリングパラメータを通知するようにさらに動作する、請求項３７に記載の処理エンティティ。
39. 前記スケーリングパラメータが、前記３Ｄ画像データストリーム内の前記第１の画像データストリームのフレームレートと前記第２の画像データストリームのフレームレートの比を含む、請求項３７または３８に記載の処理エンティティ。
40. メモリと少なくとも１つの処理ユニットとをさらに備え、前記メモリが、前記少なくとも１つの処理ユニットによって実行可能な命令を含み、前記命令が前記少なくとも１つの処理ユニットによって実行されると、前記処理エンティティが、請求項１７から１９のいずれか一項に記載の方法を実施するように動作する、請求項３７から３９のいずれか一項に記載の処理エンティティ。
41. 処理エンティティの少なくとも１つの処理ユニットによって実行されるプログラムコードを含み、前記プログラムコードを実行することによって、前記少なくとも１つの処理エンティティに、請求項１から１９のいずれか一項に記載の方法を実施させる、コンピュータプログラム。
42. 電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである、請求項４１に記載のコンピュータプログラムを含むキャリア。

Images