JP2023504797A

JP2023504797A - 映像符号化および映像復号のための方法、装置およびコンピュータプログラム

Info

Publication number: JP2023504797A
Application number: JP2022531438A
Authority: JP
Inventors: サバアーサン; イゴールクルチオ
Original assignee: ノキアテクノロジーズオサケユイチア
Priority date: 2019-11-29
Filing date: 2020-11-17
Publication date: 2023-02-07
Anticipated expiration: 2040-11-17
Also published as: WO2021105552A8; WO2021105552A1; EP4066507A4; JP7397985B2; EP4066507A1; CN114982249A; US20230012201A1

Abstract

実施形態は、方法であって、全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること（７１０）、プレゼンテーションを見るためのビューポート制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化し、ビットストリームをレシーバデバイスに送信すること（７２０）、指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信すること（７３０）、プレゼンテーションをレシーバデバイスにストリーミングすること（７４０）を含み、応答が、受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、この方法は、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信し、それに従ってプレゼンテーションを適合させること（７５０）も含み、応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、プレゼンテーションは、応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングされる（７５０）、方法に関する。

Description

本解決策は一般に、映像符号化および／または送信ならびに映像復号および／または受信に関する。

画像および映像（ｖｉｄｅｏ）を取り込むことができるデバイスは、限られた視野角（ａｎｇｕｌａｒｆｉｅｌｄｏｆｖｉｅｗ）を取り込むデバイスから、３６０度コンテンツ（ｃｏｎｔｅｎｔ）を取り込むデバイスへと進化した。これらのデバイスは、デバイスの周囲全体のビジュアルおよび音声コンテンツを取り込むことができる。すなわち、これらのデバイスは全視野角を取り込むことができる。全視野角は３６０度視野と呼ばれることがある。より正確には、これらのデバイスは球形視野（すなわち全ての空間方向に３６０度の視野）を取り込むことができる。新しいタイプの画像／映像取込みデバイスに加えて、ヘッドマウントディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄｄｉｓｐｌａｙ）などの新しいタイプの出力技術も発明され生産されている。これらのデバイスは、人が、自身の周囲全体のビジュアルコンテンツを見ることを可能にし、３６０度カメラによって取り込まれたシーンの中に「没入した」感覚を与える。視野が球形である新しい取込みおよび表示パラダイムは一般的に仮想現実（ＶＲ）と呼ばれ、将来的に人々がメディアコンテンツを体験する一般的な手法であると信じられている。

本発明のさまざまな実施形態に対して追求される保護の範囲は、独立請求項によって示されている。本明細書に記載されているが、独立請求項の範囲には含まれていない実施形態および特徴がある場合、それらは、本発明のさまざまな実施形態を理解するのに役立つ例であると解釈すべきである。

さまざまな態様は、独立請求項に記載されている内容を特徴とする方法、装置、およびその中に記憶されたコンピュータプログラムを含むコンピュータ可読メディアを含む。従属請求項にはさまざまな実施形態が開示されている。

第１の態様によれば、方法であって、全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること、プレゼンテーションを見るためのビューポート（ｖｉｅｗｐｏｒｔ）制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化し、ビットストリームをレシーバ（ｒｅｃｅｉｖｅｒ）デバイスに送信すること、指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信すること、プレゼンテーションをレシーバデバイスにストリーミングすることを含む、方法を提供し、応答が、受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、この方法は、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信し、それに従ってプレゼンテーションを適合させることも含み、応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、プレゼンテーションは、応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングされる。

第２の態様によれば、装置であって、全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成する手段と、プレゼンテーションを見るためのビューポート制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化する手段、およびビットストリームをレシーバデバイスに送信する手段と、指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信する手段と、プレゼンテーションをレシーバデバイスにストリーミングする手段とを備える、装置が提供され、応答が、レシーバデバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、この装置はさらに、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信する手段、およびそれに従ってプレゼンテーションを適合させる手段も備え、応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、この装置は、プレゼンテーションを、応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングする手段を備える。

第３の態様によれば、装置であって、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備える、装置が提供され、メモリおよびコンピュータプログラムコードは、この少なくとも１つのプロセッサを用いて、少なくとも、
－全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること、
－プレゼンテーションを見るためのビューポート制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化し、ビットストリームをレシーバデバイスに送信すること、
－指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信すること、
－プレゼンテーションをレシーバデバイスにストリーミングすること
を装置に実行させるように構成されており、
－応答が、受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、コンピュータプログラム製品は、装置またはシステムに、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信し、それに従ってプレゼンテーションを適合させるためのコンピュータプログラムコードを含み、
－応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、コンピュータプログラム製品は、装置またはシステムに、プレゼンテーションを応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングさせるためのコンピュータプログラムコードを含む。

第４の態様によれば、コンピュータプログラム製品であって、少なくとも１つのプロセッサ上で実行されるときに、装置またはシステムに、全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成させ、プレゼンテーションを見るためのビューポート制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化し、ビットストリームをレシーバデバイスに送信させ、指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信させ、プレゼンテーションをレシーバデバイスにストリーミングさせるように構成されたコンピュータプログラムコードを含み、応答が、受信デバイスによって制御可能なビューポート制御に関する指示を含んでいるときに、このコンピュータプログラム製品は、装置またはシステムに、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信し、それに従ってプレゼンテーションを適合させるためのコンピュータプログラムコードを含み、応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいるときに、このコンピュータプログラム製品は、装置またはシステムに、プレゼンテーションを、応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングさせるためのコンピュータプログラムコードを含む。

ある実施形態によれば、受信デバイスによって制御可能なビューポート制御オプションは、ビューポートを、受信デバイスによって、３自由度まで、または６自由度まで、拘束された空間（ｃｏｎｓｔｒａｉｎｅｄｓｐａｃｅ）内もしくは拘束のない空間（ｕｎｃｏｎｓｔｒａｉｎｅｄｓｐａｃｅ）内で制御することを含む。

ある実施形態によれば、受信デバイスによって制御不能なビューポート制御オプションは、推奨ビューポートまたはプレゼンタ（ｐｒｅｓｅｎｔｅｒ）ビューポートに基づくビューポート制御を含む。

ある実施形態によれば、全方位ビジュアルメディアコンテンツがネットワークを介して受信される。

ある実施形態によれば、全方位ビジュアルメディアが取り込まれる。

ある実施形態によれば、音声が受信デバイスから受信される。

以下では、添付図面を参照して、さまざまな実施形態をより詳細に説明する。

ＯＭＡＦエンドツーエンドシステムの一例を示す図である。参加者を含む会議室の例を示す図である。遠隔会議構成の一例を示す図である。遠隔会議のさまざまなフェーズの一例を示す図である。３６０度ビデオ推奨ビューポートのシーケンスとして形成された２Ｄ映像がレシーバデバイスによってリクエストされている、シグナリングフローの一例を示す図である。没入型のコンテンツがレシーバデバイスによってリクエストされている、シグナリングフローの一例を示す図である。ある実施形態による方法を例示する流れ図である。ある実施形態による装置を示す図である。

以下では、いくつかの実施形態を仮想現実（ＶＲ）の文脈で説明する。ＶＲコンテンツの消費（ｃｏｎｓｕｍｐｔｉｏｎ）は没入型である。ＶＲコンテンツから生じていないコンテンツもしくは情報を見ること、またはそれと対話することをＶＲユーザに要求する多くの状況がある。本実施形態は、ネットワークを介して没入型のコンテンツが送信されているときに、デバイス上でそのコンテンツ消費を可能にする。本実施形態は３６０度ＶＲ会議に適用可能である。しかしながら、本発明はＶＲ会議に限定されないことに留意すべきである。実際、さまざまな実施形態が、ＶＲ映像ストリーミングが実行される任意の環境で有用である。

写真撮影および映画撮影が始まって以降、最も一般的なタイプの画像および映像コンテンツは、比較的狭い視野を有するカメラによって取り込まれ、長方形のシーンとしてフラットディスプレイ上に表示されている。本出願では、そのようなコンテンツは「フラットコンテンツ」または「フラット画像」または「フラット映像」と呼ばれる。カメラは主として指向性であり、それによって、カメラは、限られた視野角（カメラが向けられた視野）だけを取り込む。そのようなフラット映像は、２次元コンテンツを表示することができるディスプレイデバイスによって出力される。

より最近には、新たな画像および映像取込みデバイスが使用可能になった。これらのデバイスは、デバイスの周囲全体のビジュアルおよび音声コンテンツを取り込むことができる。すなわち、これらのデバイスは全視野角を取り込むことができ、時に３６０度視野と呼ばれる。より正確には、これらのデバイスは球形視野（すなわち全ての空間方向に３６０度の視野）を取り込むことができる。さらに、ヘッドマウントディスプレイおよび他のデバイスなどの新しいタイプの出力デバイスは、人が、３６０度ビジュアルコンテンツを見ることを可能にする。

使用可能なメディアファイル形式規格には、国際標準化機構（ＩＳＯ）ベースメディアファイル形式（ＩＳＯ／ＩＥＣ１４４９６－１２。これはＩＳＯＢＭＦＦと略されることがある）、ムービングピクチャーエクスパーツグループ（ＭＰＥＧ）－４ファイル形式（ＩＳＯ／ＩＥＣ１４４９６－１４。ＭＰ４形式としても知られている）、ＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ（ネットワーク抽象化層））ユニット構造化映像（ｕｎｉｔｓｔｒｕｃｔｕｒｅｄｖｉｄｅｏ）のためのファイル形式（ＩＳＯ／ＩＥＣ１４４９６－１５）、および高効率映像符号化（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）規格（ＨＥＶＣまたはＨ．２６５／ＨＥＶＣ）が挙げられる。

ＩＳＯＢＭＦＦの一部の概念、構造および仕様が、それに基づいて実施形態を実施することができるコンテナファイル形式の一例として下に説明される。本発明の態様はＩＳＯＢＭＦＦに限定されず、むしろ、その上で本発明を部分的にまたは完全に実現することができる１つの可能なベースに対する説明が与えられる。

高効率画像ファイル形式（ＨｉｇｈＥｆｆｉｃｅｎｃｙＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）（ＨＥＩＦ）は、画像および画像シーケンスの記憶のために、ムービングピクチャーエクスパーツグループ（ＭＰＥＧ）によって開発された規格である。とりわけ、この規格は、高効率映像符号化（ＨＥＶＣ）規格に従って符号化されたデータのファイルカプセル化を容易にする。ＨＥＩＦは、使用されたＩＳＯベースメディアファイル形式（ＩＳＯＢＭＦＦ）の上に構築される特徴を含む。

ＩＳＯＢＭＦＦ構造および特徴は、ＨＥＩＦの設計において多く使用されている。ＨＥＩＦの基本設計は、アイテムとして記憶された静止画像およびトラックとして記憶された画像シーケンスを含む。

以下では、用語「全方位」が、コンテンツをレンダリングしているデバイスの視野よりも大きな空間的広がりを有し得るメディアコンテンツを指すことがある。全方位コンテンツは例えば、水平次元において実質的に３６０度および垂直次元において実質的に１８０度をカバーすることがあるが、全方位は、水平方向に３６０度未満のビューおよび／または垂直方向に１８０度未満のビューをカバーするコンテンツに関することもある。

水平に３６０度視野および垂直に１８０度視野をカバーするパノラマ画像を、正距円筒図法（ｅｑｕｉｒｅｃｔａｎｇｕｌａｒｐｒｏｊｅｃｔｉｏｎ）（ＥＲＰ）を使用して２次元画像平面にマップされた球によって表すことができる。このケースでは、水平座標は経度と同等と考えること、および垂直座標は緯度と同等と考えることができ、変換またはスケーリングは適用されない。一部のケースでは、３６０度の水平視野であるが１８０度未満の垂直視野を有するパノラマコンテンツを、球の極エリアが２次元画像平面にマップされていない、正距円筒図法の特別なケースと考えることができる。一部のケースでは、パノラマコンテンツが、３６０度未満の水平視野および最大１８０度の垂直視野を有することがあり、それ以外は正距円筒図法形式の特性を有することがある。

エンドユーザにとって、全方位コンテンツ消費などの没入型マルチメディアは、２Ｄコンテンツの消費に比べて複雑である。これは、より高い自由度をエンドユーザが使用できることによる。自由は、より高い不確実性ももたらす。ＭＰＥＧ全方位メディア形式（ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＭｅｄｉａＦｏｒｍａｔ）（ＯＭＡＦ）ｖ１は、単一の３ＤｏＦ（３自由度）コンテンツの全方位ストリーミングを規格化した（ビューワ（ｖｉｅｗｅｒ）は単位球の中心に位置し、３自由度（ヨー－ピッチ－ロール）を有する。続くフェーズ規格化（ＭＰＥＧ－Ｉフェーズ１ｂ）は完成に近い。このフェーズは、ユーザとの対話と、ビューポート依存ストリーミング（ＶＤＳ）操作およびバンド幅管理を最適化する手段とを有する、多数の３ＤｏＦおよび３ＤｏＦ＋コンテンツ消費を可能にすることが期待される。

ビューポートは、表示およびユーザが見るのに適した全方位画像または映像の領域と定義することができる。現在のビューポート（時に単にビューポートと呼ぶことがある）は、現在表示されており、したがってユーザが見ることができる球形映像の部分と定義することができる。任意の時点において、アプリケーションによってヘッドマウントディスプレイ（ＨＭＤ）上でレンダリングされた映像は、ビューポートと呼ばれる３６０度映像の部分をレンダリングする。同様に、従来のディスプレイ上で３６０度コンテンツの空間部分を見ているとき、現在表示されている空間部分がビューポートである。ビューポートは、レンダリングディスプレイを介して表示された全方位映像の中に表現された３６０度世界のウィンドウである。ビューポートは、水平視野（ＶＨＦｏＶ）および垂直視野（ＶＶＦｏＶ）によって特徴付けることができる。

全方位空間を、重なりの有るビューポートのマップとして想像することができるように、３６０度空間を、それぞれが所与の距離（例えば度で表現された距離）で分離されたビューポートの離散セットに分割することができ、ヘッドマウントディスプレイ（ＨＭＤ）を用いてコンテンツを見ている間にユーザが自分の向きを変化させるにつれて、ビューポートは離散的に切り換えられる。ビューポート間の重なりがゼロまで低下したとき、ビューポートを、３６０度空間内の隣り合う重なりのないタイルとして想像することができる。Ｈ．２６５ビデオコーデックは、この状況（重なり有りと無しの両方）を実現するために使用することができるタイルの概念を実施する。

ＶＲ映像をストリーミングしているときに、ビューポート（すなわちその時点で見ている向き）をカバーしている３６０度映像コンテンツのサブセットを最高の品質／解像度で伝送することができ、一方で、３６０度映像の残りの部分をより低い品質／解像度で伝送することができる。これがＶＤＳシステムの特徴であり、このことは、全方位映像が全ての方向に高い品質でストリーミングされるビューポート独立ストリーミングシステムとは対照的である。

全方位メディア形式（ＯＭＡＦ）規格（ＩＳＯ／ＩＥＣ２３０９０－２）は、球領域に対してジェネリック時限メタデータシンタックスを指定する。時限メタデータトラックの目的は、トラックサンプルエントリタイプによって指示される。指定された球領域に対する全てのメタデータトラックのサンプル形式は共通部分から始まり、その後に、メタデータトラックのサンプルエントリに特定の延長部分が続くことがある。それぞれのサンプルは球領域を指定する。

ＯＭＡＦに指定された特定の球領域時限メタデータトラックのうちの１つは、推奨ビューポート時限メタデータトラックとして知られており、これは、ビューイング向きの制御をユーザが有していないとき、またはビューイング向きの制御をユーザがリリースしたときに表示すべきビューポートを指示する。推奨ビューポート時限メタデータトラックを使用して、推奨ビューポートを、「ディレクターズカット」に基づいてまたはビューイング統計量の測定に基づいて指示することができる。推奨ビューポートのテキスト記述をサンプルエントリの中に提供することができる。推奨ビューポートのタイプをサンプルエントリの中に指示することができ、以下の中のものとすることができる：ディレクターズカットによる推奨ビューポート、例えばコンテンツ作成者またはコンテンツプロバイダの創造的意図に従って提案されたビューポート。

図１は、ＯＭＡＦシステムアーキテクチャを例示している。システムは、例えばビデオカメラ内またはネットワークサーバ内に置くことができる。図１に示されるように、全方位メディア（Ａ）を取得する。ＯＭＡＦシステムが映像源の部分である場合、全方位メディア（Ａ）はカメラ手段から取得する。ＯＭＡＦシステムがネットワークサーバ内にある場合、全方位メディア（Ａ）は、ネットワークを介して映像源から取得する。

全方位メディアは、画像データ（Ｂ_i）および音声データ（Ｂ_a）を含み、それらは別々に処理される。画像ステッチング（ｉｍａｇｅｓｔｉｔｃｈｉｎｇ）、回転、投影および領域ワイズパッキング（ｒｅｇｉｏｎ－ｗｉｓｅｐａｃｋｉｎｇ）において、入力（Ｂ_i）として提供されたソースメディアの画像／映像をステッチングして、グローバル座標軸により単位球上に球ピクチャを生成する。次いで、単位球をグローバル座標軸に対して回転させる。ローカル座標軸からグローバル座標軸へ変換するための回転量は、ローテーションボックス（ＲｏｔａｔｉｏｎＢｏｘ）の中に指示された回転角によって指定することができる。単位球のローカル座標軸は、回転させた座標系の軸である。ローテーションボックスの不在は、ローカル座標軸がグローバル座標軸と同じであることを指示する。次いで、回転させた単位球上の球形ピクチャを、２次元投影ピクチャに、例えば正距円筒図法を使用して変換する。立体視コンテンツの空間パッキングが適用されるときに、２つのビューのための２つの球形ピクチャを２つの成分ピクチャに変換し、その後に、フレームパッキングを適用して、１つの投影ピクチャ上に２つの成分ピクチャをパッキングする。次いで、長方形領域ワイズパッキングを適用して、投影ピクチャから、パッキングされたピクチャを取得することができる。次いで、パッキングされたピクチャ（Ｄ）を映像および画像符号化のために提供し、その結果として、符号化された画像（Ｅ_i）および／または符号化された映像ストリーム（Ｅ_v）を得る。ソースメディアの音声を、符号化された音声（Ｅ_a）として提供する音声符号化への入力（Ｂ_a）として提供する。次いで、符号化されたデータ（Ｅ_i、Ｅ_v、Ｅ_a）を、再生（Ｆ）および配信（すなわちストリーミング）（Ｆ_s）のためファイルにカプセル化する。

ＨＭＤなどのＯＭＡＦプレーヤ２００内で、ファイルカプセル化解除器（ｆｉｌｅｄｅｃａｐｓｕｌａｔｏｒ）が、ファイル（Ｆ’、Ｆ’_s）を処理し、符号化されたビットストリーム（Ｅ’_i、Ｅ’_v、Ｅ’_a）を抽出し、メタデータを解析する。次いで、音声、映像および／または画像を復号して、復号されたデータ（Ｄ’、Ｂ’_a）にする。頭部／目追跡デバイスによって感知されたビューポートおよび向きに従って、復号されたピクチャ（Ｄ’）をディスプレイ上に投影する。同様に、復号された音声（Ｂ’_a）を、ラウドスピーカ／ヘッドホンを通してレンダリングする。

Ｍａｔｒｏｓｋａファイル形式は、（限定はされないが）映像、音声、ピクチャまたはサブタイトルトラックのいずれかを１つのファイルに記憶することができる。Ｍａｔｒｏｓｋａは、ＷｅｂＭなどの導出ファイル形式のためのベース形式として使用することができる。Ｍａｔｒｏｓｋａは、拡張可能なバイナリメタ言語（ＥｘｔｅｎｓｉｂｌｅＢｉｎａｒｙＭｅｔａＬａｎｇｕａｇｅ）（ＥＢＭＬ）をベースとして使用する。ＥＢＭＬは、ＸＭＬの原理によってインスパイアされたバイナリおよびオクテット（バイト）アラインド形式を指定する。ＥＢＭＬ自体は、バイナリマークアップの技法の一般化された記述である。Ｍａｔｒｏｓｋａファイルは、ＥＢＭＬ「文書」を構成するエレメントからなる。エレメントは、エレメントＩＤ、エレメントのサイズの記述子、およびバイナリデータ自体を含む。エレメントは入れ子にすることができる。Ｍａｔｒｏｓｋａのセグメントエレメントは、他のトップレベル（レベル１）エレメントのためのコンテナである。Ｍａｔｒｏｓｋａファイルは、１つのセグメントを含むことができる（しかし、１つのセグメントからなるとは限らない）。Ｍａｔｒｏｓｋａファイルの中のマルチメディアデータは、クラスタ（またはクラスタエレメント）に編成されており、それぞれが数秒のマルチメディアデータを含むことができる。クラスタは、ＢｌｏｃｋＧｒｏｕｐエレメントを含み、ＢｌｏｃｋＧｒｏｕｐエレメントはブロックエレメントを含む。キューズエレメント（ＣｕｅｓＥｌｅｍｅｎｔ）はメタデータを含み、このメタデータは、ランダムアクセスまたはシーキングを支援することができ、シークポイントに対するファイルポインタまたはそれぞれのタイムスタンプを含むことができる。

伝送チャネルまたは通信チャネルまたはチャネルは、ワイヤなどの物理伝送媒体、または多重化された媒体を介する論理接続のいずれかを指すことがある。

リアルタイムトランスポートプロトコル（ＲＴＰ）は、音声および映像などの時限メディアのリアルタイムトランスポートのために広範囲に使用されている。ＲＴＰは、ユーザデータグラムプロトコル（ＵＤＰ）の上で機能することができ、ＵＤＰは、インターネットプロトコル（ＩＰ）の上で機能することができる。ＲＴＰは、ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ３５５０．ｔｘｔから入手可能なインターネットエンジニアリングタスクフォース（ＩＥＴＦ）リクエストフォーコメンツ（ＲＦＣ）３５５０の中に指定されている。ＲＴＰトランスポートでは、メディアデータがＲＴＰパケットにカプセル化される。通常、それぞれのメディアタイプまたはメディアコーディング形式は専用ＲＴＰペイロード形式を有する。

ＲＴＰセッションは、ＲＴＰと通信している一群の参加者間のアソシエーションである。それは、いくつかのＲＴＰストリームを潜在的に運ぶことができるグループ通信チャネルである。ＲＴＰストリームは、メディアデータを含むＲＴＰパケットのストリームである。ＲＴＰストリームは、特定のＲＴＰセッションに属するＳＳＲＣによって識別される。ＳＳＲＣは、同期源（ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎｓｏｕｒｃｅ）、またはＲＴＰパケットヘッダの中の３２ビットＳＳＲＣフィールドである同期源識別子のいずれかを指す。同期源は、同期源からの全てのパケットが、同じタイミングおよびシーケンス数空間の部分を形成し、そのため、レシーバデバイスが、再生のために同期源によってパケットをグループ化することができることを特徴とする。同期源の例は、マイクロホンもしくはカメラなどの信号源またはＲＴＰミキサから導出されたパケットのストリームのセンダ（ｓｅｎｄｅｒ）を含む。それぞれのＲＴＰストリームは、ＲＴＰセッション内において固有のＳＳＲＣによって識別される。

ユニフォームリソースアイデンティファイヤ（ＵＲＩ）は、リソースの名称を識別するために使用される文字列と定義することができる。このような識別は、特定のプロトコルを使用してネットワークを介してリソースの表現と対話することを可能にする。ＵＲＩは、そのＵＲＩに対する具体的なシンタックスおよび関連するプロトコルを指定するスキームを通して定義される。ユニフォームリソースロケータ（ＵＲＬ）およびユニフォームリソースネーム（ＵＲＮ）はＵＲＩの形態である。ＵＲＬは、ウェブリソースを識別し、リソースの表現に作用するまたはリソースの表現を取得する手段を指定するＵＲＩと定義することができ、リソースの主アクセス機構とネットワーク位置の両方を指定する。ＵＲＮは、特定の名前空間の中の名前によってリソースを識別するＵＲＩと定義することができる。ＵＲＮを使用して、リソースの位置またはリソースにどのようにアクセスするのかを暗示することなく、リソースを識別することができる。

以下では、３６０度会議（３６０－ｄｅｇｒｅｅｃｏｎｆｅｒｅｎｃｅ）、遠隔会議（ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ）、テレプレゼンス（ｔｅｌｅｐｒｅｓｅｎｃｅ）などのストリーミング可能な３６０度イベントに対する実施形態について論じる。しかしながら、既述のとおり、３６０度会議に加えて、それらの実施形態は、他のＶＲストリーミング解決策に対しても適している。図２ａ～２ｃは、３６０度遠隔会議のさまざまな状況を表している。３６０度会議は、センダによってレシーバデバイスにストリーミングされるライブミーティングであることができ、センダは、３６０度（すなわち全方位）カメラ、または映像源に動作可能に接続されたシステムもしくは映像を記録するための手段を含むシステムなどの映像源である。センダからレシーバへのストリーミング可能なコンテンツは少なくとも映像および音声を含む。センダの目的は、記録中の映像をレシーバデバイスに向けてストリーミングすることである。センダは、レシーバデバイスから少なくとも音声データを受信するための手段を含むこともでき、受信した音声データを、ストリーミング可能なイベントの参加者に出力することもできる。

図２ａ～２ｃでは、一群の参加者が会議室でミーティングを開いている。この会議室は、物理的要素（すなわちカメラ２２０、ビュースクリーン２１０、物理的参加者）を含む仮想会議システムＡと考えることができ、リモート参加者にコンテンツを共有し、リモート参加者からデータを受信することができる。既述のとおり、仮想会議システムＡは、少なくとも、３６０度（すなわち全方位）カメラ２２０およびビュースクリーン２１０を含む。このミーティングには、会議通話を通して２人のリモート参加者Ｂ、Ｃも参加している。仮想会議システムＡの物理的参加者は、ビュースクリーン２１０を使用して、リモート参加者Ｂ、Ｃから送られた共有プレゼンテーションおよび／または映像ストリームを表示する。リモート参加者のうちの１人であるＢは、会議コンテンツの３６０度ビューを得るためのヘッドマウントディスプレイ、および自分の映像を取り込むカメラを使用している。リモート参加者のうちの１人であるＣは、会議にアクセスするために携帯電話を使用している。この携帯電話は、会議の３６０度映像を示すこと、および自分の映像を取り込むことができる。

図２ａの例では、任意のメディアアウェアな（ｍａｄｉａ－ａｗａｒｅ）ネットワーク要素なしで会議通話が設定されている。両リモート参加者Ｂ、Ｃは、自分のビューポート向きに関する情報を仮想会議システムＡに送信し、仮想会議システムＡは、３６０度カメラ２２０からのビューポート依存映像ストリーム（ｖｉｗｐｏｒｔ－ｉｎｄｅｐｅｎｄｅｎｔｖｉｄｅｏｓｔｒｅａｍ）をリモート参加者Ｂ、Ｃに送信する。

図２ｂの例では、ネットワーク機能を使用して会議通話が設定されており、メディアリソース機能（ＭｅｄｉａＲｅｓｏｕｒｃｅＦｕｎｃｔｉｏｎ）（ＭＲＦ）またはメディア制御ユニット（ＭｅｄｉａＣｏｎｔｒｏｌＵｎｉｔ）（ＭＣＵ）２３０によって実行することができる。この例では、ＭＲＦ／ＭＣＵ２３０が、仮想会議システムＡからビューポート独立ストリーム（ｖｉｗｐｏｒｔ－ｉｎｄｅｐｅｎｄｅｎｔｓｔｒｅａｍ）を受信する。両リモート参加者Ｂ、Ｃは、ＭＲＦ／ＭＣＵ２３０にビューポート向き情報を送信し、ＭＲＦ／ＭＣＵ２３０からビューポート依存ストリームを受信する。図２ｂに示されるように、会話式非没入型コンテンツ用のＡ／ＶチャネルもＭＲＦ／ＭＣＵ２３０を経由することができる。図２ｂの例は、双方向音声および一方向没入型映像によって、遠隔会議に参加しているリモート参加者Ｂ、Ｃの没入体験を可能にすることを目指す。

図２ｃの例では、多数の会議室Ｘ用の仮想会議システムが、ＭＲＦ／ＭＣＵ２３０に３６０度映像を送信している。それらの会議室は、他の会議室のうちの１つの会議室を含む他の参加者から、その会議室のビュースクリーン２１０に表示された２Ｄ映像ストリームを受信することを選択することができる。リモート参加者Ｂ、Ｃは、これらの多数の会議室からの使用可能な３６０度映像のうちの任意の１つの映像を見ること、またはそれらの会議室からの映像を見ないことを選択することができる。１つの会議室から別の会議室への切り換えは手動で、または見ている方向もしくは優勢な話者などの他の機構を使用して引き起こすことができる。ＭＲＦ／ＭＣＵ２３０は、その時点でアクティブビューワがいない会議室のいずれかからの３６０度映像の受信を休止することをシグナリングすることができる。

一部の実施形態では、３６０度会議を完全に仮想的なものとすることができ、そのような会議では、全てのミーティング参加者がリモート参加者、すなわちネットワークを介して会議に接続しているレシーバデバイスであり、センダが、仮想会議およびリモート参加者の仮想表現を生成しているコンピュータである。

図３は、３６０度会議３００の設定のさらなる例を例示している。この例では、３６０度会議３００が、会議を記録している３６０度映像システム３１０などの少なくとも１つのセンダを含む。さらに、３６０度会議３００は、ライブ参加者３１５に加えて、レシーバデバイス３３０、３３５を有する１人または数人のリモート参加者も含み、レシーバデバイスは、３６０度映像システム３１０によって取り込まれた３６０度映像を見ることを可能にする会議システムへの接続を確立することによって会議に「参加している」。以下では、ストリーミングされたコンテンツの受信者としてのデバイスの役割を強調するために、リモート参加者のデバイス３３０、３３５を「レシーバデバイス」と呼ぶ。しかしながら、レシーバデバイス３３０、３３５は、データ、例えば音声を送信することもできることが理解される。

レシーバデバイス３３０、３３５は、ヘッドマウントディスプレイ３３５などの仮想現実ディスプレイシステムとすることができるが、その代わりに（またはそれに加えて）２次元（２Ｄ）コンテンツだけを示すことができるディスプレイ３３０とすることもできる。

ヘッドマウントディスプレイは、３次元（３Ｄ）コンテンツを示すことができるデバイスである。その目的のため、ヘッドマウントディスプレイは、左目用および右目用の画像を表示するための２つのスクリーンセクションまたは２つのスクリーンを備えることができる。それらのディスプレイは目に近く、したがって、画像を見やすくするため、および目の視野をできるだけカバーするよう画像を広げるために、レンズが使用される。ＨＭＤは、ユーザの頭部に、ユーザが頭部を回転させたときでもＨＭＤが所定の位置にとどまるように取り付けられる。このデバイスは、頭部の運動および頭部の方向を決定するための向き検出モジュールを有することができる。ヘッドマウントディスプレイは、記録された／ストリーミングされたコンテンツの３次元（３Ｄ）認知をユーザに与える。ヘッドマウントディスプレイのユーザは、所与の瞬間に、ビューポートと呼ばれる３６０度コンテンツの部分だけを見る。ビューポートのサイズは、ＨＭＤの垂直および水平視野によって定義される。ビューポート内では、没入型コンテンツの音声対象物の大部分が可視であることがあり、その一方で、一部の音声対象物はユーザの後ろにあることがあり、したがってビューポート内では可視でないことがある。既述のとおり、ビューポートは３６０度コンテンツの部分である。したがって、「ビューポート」は、表示およびユーザが見るのに適した全方位画像または映像の領域を定義するための用語であり、その時点で表示されており、したがってユーザが見ることができる球形映像の部分と定義される。

図３では、センダが、３６０度映像システム３１０として例示されている。３６０度映像システム３１０の代わりに、センダが、３６０度映像を共有している会議参加者の１人であってもよいこと、または、センダが、ミドルボックス（ｍｉｄｄｌｅｂｏｘ）もしくはネットワーク機器、すなわちメディア配信ができる任意のコンピュータネットワーキングデバイスであってもよいことが理解される。そのようなミドルボックスの例はメディアゲートウェイ、会議サーバなどである。センダは、ＭＰＥＧＤＡＳＨプロトコルを介してコンテンツを配信するように構成されたストリーミングサーバであってもよい。センダの容量に応じて、センダは、ビューポート独立またはビューポート依存配信を提供することができる。さらに、ビューポート依存配信が提供される場合には、ビューポートを決定するための制御信号を、ヘッドマウントディスプレイまたは３６０度コンテンツを表示することができる他のデバイスからセンダに配信する必要がある。

ビューポートは、ＨＭＤ３３５などのレシーバデバイスのユーザの頭部および体の運動に基づいて決定することができる。ビューポートは、レシーバデバイス３３５から、制御チャネルを介して、３６０度映像システム３１０などのセンダに送信することができる。受信したビューポートに基づいて、センダは、決定されたビューポートに関する映像コンテンツを送信することができる。ＨＭＤユーザ自身の運動以外の手段によるビューポート制御は、ビューワの映像酔い（ｍｏｔｉｏｎｓｉｃｋｎｅｓｓ）を引き起こしうることが理解される。

ビューポートを決定するため、（センダおよびレシーバの両方を含む）ＶＲ会議システムは３ＤｏＦをサポートすることができる。３ＤｏＦをサポートしているシステムは、ヨー、ピッチおよびロールの周りの頭部回転運動を可能にする。別の実施形態では、６ＤｏＦ（６自由度）運動をサポートすることができる。６ＤｏＦは、回転運動に加えて、頭部または体のさらなる平行移動、例えば頭部または体を上、下、右、左、前および後ろに平行移動させることを可能にし、この平行移動は、空間内を任意の方向に歩き回ることを含む。６ＤｏＦ運動は、ユーザが動き回ることができる定義された空間内に拘束された運動とすること（例えば３ＤｏＦ＋）、または拘束のない運動とするができる。

図４は、映像会議ストリームの配信の一例を例示している。取込みフェーズ４１０で、ビデオカメラ４１１が、何人かの参加者を含む会議の全方位データを記録する。フェーズ４２０で、ビデオカメラシステムまたはミドルボックスまたは一部の他のネットワークサーバが、取り込まれた全方位データ４２５のビューポート依存コンテンツ４２６、４２７、４２８を生成する（ビューポートの数は図４に示された数とは大幅に異なることがある）。消費フェーズ４３０で、ユーザのヘッドマウントディスプレイ４３５に、ある特定のコンテンツ４３８が提供される。提供されたコンテンツ４３８は、例えば、頭部運動および頭部の方向に従って、またはユーザの手動選択によって決定することができる。そのような情報は、ビューポート依存コンテンツを生成するビデオカメラシステムまたはミドルボックスに提供されたこともある。

あるいは、レシーバデバイスが、（図３に参照符号３３０によって示される）２Ｄディスプレイである場合、ディスプレイのユーザは、別のユーザのビューポートに従うことを選択することができ、またはセンダにおいて使用可能な他の予測方法、例えば優勢な話者もしくは運動追跡に基づくビューポートを選択することを選択することができる。

ビューポートに関する上記の議論に関して、本実施形態の目的は、センダ、すなわち映像源によってサポートされたビューポート制御シグナリングのタイプ、およびレシーバデバイス、すなわちリモートデバイスがセッション中に使用したいビューポート制御のタイプをシグナリングするための適切なセッションレベルシグナリングを提供することである。

レシーバデバイスが、会議の３６０度映像コンテンツを受信するために３６０度映像会議に参加したとき、３６０度センダは、以下の形式のうちのいずれかでレシーバデバイスに映像コンテンツを送信することができる：
－没入型ビューポート独立映像、
－没入型ビューポート依存映像、
－フラット化ビューポート依存２Ｄコンテンツ。

没入型ビューポート独立映像とは、その中に一切のビューポート定義を含まないコンテンツのことである。没入型ビューポート独立映像の配信は、センダがビューポート依存コンテンツを提供することができない場合に、センダによって選択されることがある。あるいは、多数のレシーバデバイスに映像を配信するミドルボックス（例えばメディアゲートウェイ）が、映像センダからのビューポート独立映像をリクエストし、レシーバデバイスにビューポート依存映像を再配信することもある。この種の状況は、センダが、多数のレシーバに対するビューポート依存ストリームを提供／符号化することができないときに起こることがあり、その上に、ミドルボックスは、その点に関して会議通話を支援するように構成されている。さらなる代替として、デバイス容量の限界、プライバシー上の理由または個人的好みのため、レシーバデバイスが、ビューポート独立映像をリクエストすることもできる。

没入型ビューポート依存映像とは、（例えばビューポートをより高い品質に符号化することにより）ビューポート内にある画像が球の残りの部分とは異なって取り扱われるコンテンツを指す。そのようなコンテンツは、ビューポート向きに基づいてセンダがレシーバデバイスに提供することができる。ビューポートは、シグナリングを介してセンダがレシーバデバイスから受信したビューポート情報に基づいて、センダが決定することができる。別のケースでは、ユーザＡがユーザＢのビューポートに従うことを選択したときに、シグナリングを介してセンダがＢから受信したビューポート情報に基づいて、センダがＡのビューポートを決定することができ、このことは、セッション制御中に全ての当事者間で既に協議され、合意されている。第３のケースでは、予測法または他のアプリケーションレベルの方法（例えば優勢な話者、運動追跡など）に基づいて、外部シグナリングなしで、センダが、レシーバデバイスのビューポートを決定することができる。

フラット化ビューポート依存２Ｄコンテンツとは、非没入型のコンテンツを指す。そのようなコンテンツは、１つのビューポートに基づいて、２Ｄディスプレイを有するレシーバデバイスに提供することができる。映像源は、そのビューポートを、シグナリングを介してレシーバデバイスから受信されているビューポート情報に基づいて決定することができる。別のケースでは、ユーザＡがユーザＢのビューポートに従うことを選択したときに、シグナリングを介してセンダがＢから受信したビューポート情報に基づいて、センダがＡのビューポートを決定することができ、このことは、セッション制御中に全ての当事者間で既に協議され、合意されている。第３のケースでは、予測法または他のアプリケーションレベルの方法（例えば優勢な話者、運動追跡など）に基づいて、外部シグナリングなしで、センダが、レシーバデバイスのビューポートを決定することができる。フラット化ビューポート依存２Ｄコンテンツは、リクエストされたコンテンツを２Ｄオーバレイとして他のＶＲコンテンツの上に表示したいＨＭＤレシーバデバイスによってリクエストされることもある。

３６０度映像コンテンツのレシーバデバイスは、映像のストリーミング中に、例えば会議通話中にレシーバデバイスが使用したいであろうビューポート制御オプションを選択することができる。このことは、レシーバデバイスが、没入型コンテンツのフラット化２Ｄバージョンを受信したい場合であっても適用可能である。ビューポート制御オプションは以下のうちの１つでありうる：
－レシーバデバイスがビューポートを制御し、この情報が、セッション中に、例えばＲＴＣＰフィードバックを使用してセンダにシグナリングされる。２つ以上のシグナリング機構が可能である場合、センダは、異なるシグナリング機構を提供することができる。
－レシーバデバイスがビューポートを制御するが、この情報は、セッション中にセンダにシグナリングされない。このことは、メディアがビューポート依存コンテンツとして配信されないだろうことを意味する。
－レシーバデバイスは別のユーザ（プレゼンタ）のビューポートに従う。このオプションが使用される場合、センダは、レシーバデバイスのユーザに、その中から選択するための可能なプレゼンタのリストを提供することができる。プレゼンタによる許可をリクエストするために追加のシグナリングが必要となることがある。

センダは、３６０度映像を見るためにセンダが提供することができるビューポート制御オプションのタイプを指示するパラメータをビットストリームに符号化することができる。セッション制御中または確立されたセッション中に、ビットストリームをセンダから受信デバイスにシグナリングすることができる。ある実施形態によれば、ビューポートを制御するオプションを指定するパラメータはｖｉｅｗｐｏｒｔ＿ｃｔｒｌである（このパラメータの名称は変更できることが理解される）。ｖｉｅｗｐｏｒｔ＿ｃｔｒｌは、以下の値のうちの１つまたは複数を有することができる：
○ ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿３ｄｏｆ、
○ ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆｃ、
○ ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆｕ、
○ ｄｅｖｉｃｅ＿ｎｏｔｓｉｇｎａｌｌｅｄ、
○ ｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔ、
○ ｐｒｅｓｅｎｔｅｒ＿ｖｉｅｗｐｏｒｔ。

レシーバデバイスは、これらの値のうちの１つの値を選択して、レシーバデバイスからセンダに送信する応答に含めることができる。

応答がｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿３ｄｏｆを含むとき、ビューポートは、レシーバデバイスによって最大３ＤｏＦで制御される。レシーバデバイスは、セッション中に、この情報（例えばヨー、ピッチ、ロール、または異なる形式の他のビューポート座標）をセンダにシグナリングする。ビューポートフィードバックに使用されるシグナリングのタイプは、異なるパラメータを使用して協議することができ、または、ｖｉｅｗｐｏｒｔ＿ｃｔｒｌ信号内で、例えばｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿ｒｔｃｐｆｂなどを使用して実行することができる。

応答がｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆｃを含むとき、ビューポートは、レシーバデバイスによって、拘束された空間内で最大６ＤＯＦで制御され（例えばＭＰＥＧ委員会によって定義された３ＤｏＦ＋またはＷｉｎｄｏｗｅｄ６ＤｏＦ）、レシーバデバイスは、セッション中に、この情報をセンダにシグナリングする。ビューポートフィードバックに使用されるシグナリングのタイプは、異なるパラメータを使用して協議することができ、または、ｖｉｅｗｐｏｒｔ＿ｃｔｒｌ信号内で、例えばｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿ｒｔｃｐｆｂなどを使用して実行することができる。

応答がｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆｕを含むとき、ビューポートは、レシーバデバイスによって、拘束のない空間で最大６ＤｏＦで制御され、レシーバデバイスは、セッション中に、この情報をセンダにシグナリングする。ビューポートフィードバックに使用されるシグナリングのタイプは、異なるパラメータを使用して協議することができ、または、これは、ｖｉｅｗｐｏｒｔ＿ｃｔｒｌ信号内で、例えばｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿ｒｔｃｐｆｂなどを使用して実行することができる。

応答がｄｅｖｉｃｅ＿ｎｏｔｓｉｇｎａｌｌｅｄを含むとき、ビューポートはレシーバデバイスによって制御され、レシーバデバイスは、セッション中に、（例えばプライバシー上の理由で）センダに一切の情報をシグナリングしない。このモードは、ビューポート独立ストリームを受信することに帰着する。

応答がｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔを含むとき、レシーバデバイスは、センダによって決定される、メディアストリームの推奨ビューポートに従う。推奨ビューポートに対して２つ以上の機構が提供されることがあり、それらの機構は、別個に、またはｖｉｅｗｐｏｒｔ＿ｃｔｒｌの延長としてシグナリングすることができる。例えばｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔ＿ａｕｄｉｏ、ｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔ＿ｍｏｔｉｏｎなど。

応答がｐｒｅｓｅｎｔｅｒ＿ｖｉｅｗｐｏｒｔを含むとき、レシーバデバイスは、プレゼンタのビューポートに従う。この場合、プレゼンタは、同じストリームの別のビューワである。このモードを使用するときには、プレゼンタが２人以上いる場合に、レシーバデバイスが、適切なシグナリングを使用して（例えばプレゼンタの名称または索引などを指示することによって）プレゼンタを選択することができるべきである。

上で定義した情報はレシーバからセンダへ流れることができる。しかしながら、あるいは、情報をセンダからレシーバに向かって伝送することもできる。この場合、協議はないが、レシーバ側からの受容または拒否だけがあることがある。

このシグナリングは、ＩＥＴＦＳＤＰ（ＳｅｓｓｉｏｎＤｅｓｃｒｉｐｔｉｏｎＰｒｏｔｏｃｏｌ（セッション記述プロトコル））を介して実行することができる。ＩＥＴＦＳＤＰは、ストリーミングメディア通信パラメータを記述するための形式である。ＳＤＰは、ＲＴＰ、ＲＴＳＰまたはＳＩＰとともに使用することができる。一例として、ＳＤＰフィールドのシンタックスおよびセマンティクスを以下に示す。メディアタイプの属性として、またはビューポート制御が必要な全てのメディアタイプに当てはまるセッションレベルパラメータとして、信号ｖｉｅｗｐｏｒｔ＿ｃｔｒｌを含めることができる。
シンタックス
ｖ＝０
ｏ＝Ａｌｉｃｅ２８９０８４４５２６２８９０８４２８０７ＩＮＩＰ４１３１．１６３．７２．４
ｓ＝３６０ＶＲｃｏｎｆｅｒｅｎｃｉｎｇ
ｃ＝ＩＮＩＰ４１３１．１６４．７４．２
ｔ＝００
ｍ＝ｖｉｄｅｏ４９１７０ＲＴＰ／ＡＶＰ９９
ａ＝ｒｔｐｍａｐ：９９Ｈ２６４／９００００
ａ＝ｖｉｅｗｐｏｒｔ＿ｃｔｒｌ：＜ｃｏｎｔｒｏｌ＿ｔｙｐｅ＞
セマンティクス
ｃｏｎｔｒｏｌ＿ｔｙｐｅ：
０－＞ｄｅｖｉｃｅ＿ｎｏｔｓｉｇｎａｌｌｅｄ
１－＞ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿３ｄｏｆ
２－＞ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆｃ
３－＞ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆｕ
４－＞ｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔ
５－＞ｐｒｅｓｅｎｔｅｒ＿ｖｉｅｗｐｏｒｔ

センダは、ＳＤＰオファーの中に、センダがサポートする全てのビューポート制御オプションのリストを含み、レシーバデバイスは、ＳＤＰ応答の中に、レシーバデバイスが受信することを望むビューポート制御オプションを含む。センダとレシーバデバイスは、セッションの始めおよびセッション中に、これらの制御オプションを協議および再協議することができる。図４は、シグナリングフローの一例を例示しており、レシーバデバイスは、センダからの推奨ビューポートを有する２Ｄ映像（３６０度コンテンツのフラット化バージョン）をリクエストしている２Ｄディスプレイデバイスである。図４では、映像源が、Ｉｎｖｉｔｅ、ＳＤＰオファーを、Ｓｅｓｓｉｏｎパラメータとともに送信する。Ｉｎｖｉｔｅメッセージは、ｖｉｅｗｐｏｒｔ＿ｃｔｒｌの信号：｛ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ、ｄｅｖｉｃｅ＿ｎｏｔｓｉｇｎａｌｌｅｄ、ｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔ、ｐｒｅｓｅｎｔｅｒ＿ｖｉｅｗｐｏｒｔ｝、および任意選択でプレゼンタのリストも含む。ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿ｘｘｘは、ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿３ｄｏｆ、拘束のないまたは拘束されたｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆを指すことがある。最初のＩｎｖｉｔｅメッセージは、受信デバイスが３６０度会議に参加するために送信される。図４の例では、レシーバデバイスが２Ｄディスプレイデバイスであり、この２Ｄディスプレイデバイスは選択されたメディアに応答し、この例では、選択されたメディアが、推奨ビューポートに従う２Ｄ映像ストリームである。メディアはＲＴＰを介して送信され、ＲＴＣＰが、ビューポート情報なしで報告する。

図５は、ＨＭＤデバイスを備えたレシーバデバイスが、デバイス制御のビューポートを有する没入型コンテンツをリクエストするときのシグナリングフローを示している。図５では、映像源が、Ｉｎｖｉｔｅ、ＳＤＰオファーを、Ｓｅｓｓｉｏｎパラメータとともに送信する。Ｉｎｖｉｔｅメッセージは、ｖｉｅｗｐｏｒｔ＿ｃｔｒｌの信号：｛ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ、ｄｅｖｉｃｅ＿ｎｏｔｓｉｇｎａｌｌｅｄ、ｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔ、ｐｒｅｓｅｎｔｅｒ＿ｖｉｅｗｐｏｒｔ｝、および任意選択でプレゼンタのリストも含む。ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿ｘｘｘは、ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿３ｄｏｆ、拘束のないまたは拘束されたｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄ＿６ｄｏｆを指すことがある。最初のＩｎｖｉｔｅメッセージは、受信デバイスが３６０度会議に参加するために送信される。図５の例では、レシーバデバイスがＨＭＤディスプレイデバイスであり、このＨＭＤディスプレイデバイスは選択されたメディアに応答し、この例では、選択されたメディアが、ビューポート制御を有する没入型映像ストリームである。メディアはＲＴＰを介して送信され、ＲＴＣＰが、ビューポート情報とともに報告する。

センダが、コンテンツがＭＰＥＧＤＡＳＨプロトコルを介して配信されるストリーミングサーバである場合、上に示したシグナリングは、ＳＤＰを介して運ばれず、ＤＡＳＨＭＰＤの中で運ばれる。ＳＤＰまたはＤＡＳＨＭＰＤの代わりに、他のシグナリングスキームも使用して、シグナリングされた情報を、例えばＲＴＰ／ＲＴＳＰ、ＲＴＣＰなどによって提供される他のトランスポートプロトコルオプションを介して運ぶことができる。

ある実施形態によれば、メディア配信中に制御タイプを動的に変化させることが可能である。このことは、最初に協議された制御タイプの代わりに、レシーバデバイスが、別のタイプの制御タイプを使用することを望んでいることを意味する。そのような実施形態では、情報のシグナリングが、ＲＴＰ／ＲＴＣＰを介して、またはＭＰＥＧＤＡＳＨ（ＨＴＴＰ）を介して起こる。

図７は、ある実施形態による方法を例示する流れ図である。方法は、全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること７１０、プレゼンテーションを見るためのビューポート制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化し、ビットストリームをレシーバデバイスに送信すること７２０、指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信すること７３０、プレゼンテーションをレシーバデバイスにストリーミングすること７４０、を含み、応答が、受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、この方法は、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信し、それに従ってプレゼンテーションを適合させること７５０も含み、応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、プレゼンテーションは、応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングされる７６０。

ある実施形態による装置は、全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成する手段と、プレゼンテーションを見るためのビューポート制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化し、ビットストリームをレシーバデバイスに送信する手段と、指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信する手段と、プレゼンテーションをレシーバデバイスにストリーミングする手段とを備え、応答が、レシーバデバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、この装置は、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信する手段、およびそれに従ってプレゼンテーションを適合させる手段も備え、応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、この装置は、プレゼンテーションを、応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングする手段を備える。これらの手段は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備え、プロセッサはプロセッサ回路をさらに含むことができる。このメモリおよびコンピュータプログラムコードは、この少なくとも１つのプロセッサを用いて、さまざまな実施形態に従って図７の流れ図の方法をこの装置に実行させるように構成されている。

装置の一例が図８に示される。望ましい場合には、単一の物理デバイスを用いて、例えば単一のプロセッサ内で、いくつかの機能を実行することができる。装置９０は、主処理ユニット９１、メモリ９２、ユーザインタフェース９４、通信インタフェース９３を備える。図８に示される、ある実施形態による装置は、カメラモジュール９５も備える。メモリ９２は、コンピュータプログラムコードを含むデータを装置９０に記憶する。このコンピュータプログラムコードは、図６の流れ図による方法を実施するように構成されている。カメラモジュール９５は、プロセッサ９１によって処理されるべき入力データを、映像ストリームの形式で受信する。通信インタフェース９３は、処理されたデータを、例えばＨＭＤなどの別のデバイスのディスプレイに転送する。装置９０が、カメラモジュール９５を含む映像源であるときには、ユーザインタフェースからユーザ入力を受信することができる。装置９０が、ネットワーク内のミドルボックスである場合には、ユーザインタフェースはカメラモジュールなどの任意選択である。

これらのさまざまな実施形態は利点を提供することができる。例えば、実施形態は、リアルタイムセッション中にセンダ／レシーバがビューポート制御を確立する手法を提供する。実施形態は、２Ｄディスプレイデバイスに特定のオプション（ｐｒｅｓｅｎｔｅｒ＿ｖｉｅｗｐｏｒｔおよびｒｅｃｏｍｍｅｎｄｅｄ＿ｖｉｅｗｐｏｒｔ）、およびジェネリックオプション（ｄｅｖｉｃｅ＿ｓｉｇｎａｌｌｅｄおよびｄｅｖｉｃｅ＿ｎｏｔｓｉｇｎａｌｌｅｄ）も提供する。没入型コンテンツの代わりにフラット２Ｄメディアストリームが配信されるとき、ユーザに関連情報を提供している間、センダは、バンド幅を効果的に節約することができる。一切のビューポート情報をシグナリングしないことを選択することによって、デバイスは、プライバシーを保持することができる。最後に、ビューポート依存ストリーミングを提供することができない限られた容量を有するセンダは、このことをレシーバにシグナリングすることができる。

これらのさまざまな実施形態は、メモリに存在し、関連装置に方法を実行させるコンピュータプログラムコードの助けを借りて実施することができる。例えば、デバイスは、データを処理、受信および伝送するための回路および電子装置と、メモリの中のコンピュータプログラムコードと、コンピュータプログラムコードを実行したときにある実施形態の特徴をデバイスに実行させるプロセッサとを含むことができる。さらに、サーバのようなネットワークデバイスは、データを処理、受信および伝送するための回路および電子装置と、メモリの中のコンピュータプログラムコードと、コンピュータプログラムコードを実行したときにある実施形態の特徴をネットワークデバイスに実行させるプロセッサとを含むことができる。コンピュータプログラムコードは、１つまたは複数の操作特性を含む。上記操作特性は、構成を通して、上記コンピュータによって、上記プロセッサのタイプに基づいて定義されており、バスによって上記プロセッサにシステムが接続可能であり、システムのプログラム可能な操作特性は、全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること、プレゼンテーションを見るためのビューポート制御オプションであり、受信デバイスによって制御可能なオプションと受信デバイスによって制御不能なオプションとを含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化し、ビットストリームをレシーバデバイスに送信すること、指示されたビューポート制御オプションのうちの１つをレシーバデバイスから応答として受信すること、プレゼンテーションをレシーバデバイスにストリーミングすること、を含み、応答が、受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、この方法は、プレゼンテーションのストリーミング中に、ビューポート定義に関する情報をレシーバデバイスから受信し、それに従ってプレゼンテーションを適合させることも含み、応答が、受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、プレゼンテーションは、応答の中に指定されたビューポート制御に従ってレシーバデバイスにストリーミングされる。

ある実施形態によるコンピュータプログラム製品は、非一過性コンピュータ可読メディア上に実施することができる。別の実施形態によれば、このコンピュータプログラム製品は、データパケットの中でネットワークを介してダウンロードすることができる。

望ましい場合には、本明細書で論じた異なる機能を、異なる順序でおよび／または他の機能と同時に実行することができる。さらに、望ましい場合には、上で説明した機能および実施形態のうちの１つもしくは複数を任意選択とすることができ、または組み合わせることができる。

独立請求項には実施形態のさまざまな態様が記載されているが、他の態様は、単に特許請求の範囲に明示的に記載された組合せだけでなく、記載された実施形態および／または従属請求項からの特徴と独立請求項の特徴との他の組合せを含む。

以上の説明は例示的な実施形態を説明しているが、これらの説明を限定的に解釈すべきでないことも本明細書では留意すべきである。むしろ、添付の特許請求の範囲に定義された本開示の範囲を逸脱することなく実施することができるいくつかの変更および修正が存在する。

Claims

方法であって、
－全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること、
－前記プレゼンテーションを見るためのビューポート制御オプションであり、前記ビューポート制御オプションが受信デバイスによって制御可能なオプションと前記受信デバイスによって制御不能なオプションとを含み、前記受信デバイスによって制御不能な前記オプションが、少なくともプレゼンタビューポートに基づくビューポート制御を含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化すること、
－前記ビットストリームを前記レシーバデバイスに送信すること、
－前記指示されたビューポート制御オプションのうちの１つまたは組合せを前記レシーバデバイスから応答として受信すること、
－前記プレゼンテーションを前記レシーバデバイスにストリーミングすること
を含み、
－前記応答が、前記受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、前記方法が、前記プレゼンテーションのストリーミング中に、ビューポート定義に関する情報を前記レシーバデバイスから受信し、それに従って前記プレゼンテーションを適合させることも含み、
－前記応答が、前記受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、前記プレゼンテーションが、前記応答の中に指定された前記ビューポート制御に従って前記レシーバデバイスにストリーミングされる、
方法。
前記受信デバイスによって制御可能な前記ビューポート制御オプションが、前記ビューポートを、前記受信デバイスによって、３自由度まで、または６自由度まで拘束された空間内もしくは拘束のない空間内において制御することを含む、請求項１に記載の方法。
前記受信デバイスによって制御不能な前記ビューポート制御オプションが、推奨ビューポートに基づくビューポート制御も含む、請求項１に記載の方法。
前記全方位ビジュアルメディアコンテンツをネットワークを介して受信することをさらに含む、請求項１～３のいずれか１項に記載の方法。
前記全方位ビジュアルメディアを取り込むことをさらに含む、請求項１～３のいずれか１項に記載の方法。
前記受信デバイスから音声を受信することをさらに含む、請求項１～５のいずれか１項に記載の方法。
装置であって、
－全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成する手段と、
－前記プレゼンテーションを見るためのビューポート制御オプションであり、前記ビューポート制御オプションが受信デバイスによって制御可能なオプションと前記受信デバイスによって制御不能なオプションとを含み、前記受信デバイスによって制御不能な前記オプションが、少なくともプレゼンタビューポートに基づくビューポート制御を含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化する手段と、
－前記ビットストリームを前記レシーバデバイスに送信する手段と、
－前記指示されたビューポート制御オプションのうちの１つまたは組合せを前記レシーバデバイスから応答として受信する手段と、
－前記プレゼンテーションを前記レシーバデバイスにストリーミングする手段と
を備え、
－前記応答が、前記レシーバデバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、前記装置が、前記プレゼンテーションのストリーミング中に、ビューポート定義に関する情報を前記レシーバデバイスから受信する手段、およびそれに従って前記プレゼンテーションを適合させる手段も備え、
－前記応答が、前記受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、前記装置が、前記プレゼンテーションを、前記応答の中に指定された前記ビューポート制御に従って前記レシーバデバイスにストリーミングする手段を備える、
装置。
前記受信デバイスによって制御可能な前記ビューポート制御オプションが、前記ビューポートを、前記受信デバイスによって、３自由度まで、または６自由度まで拘束された空間内もしくは拘束のない空間内において制御することを含む、請求項７に記載の装置。
前記受信デバイスによって制御不能な前記ビューポート制御オプションが、推奨ビューポートに基づくビューポート制御も含む、請求項７に記載の装置。
前記全方位ビジュアルメディアコンテンツをネットワークを介して受信することをさらに含む、請求項７～９のいずれか１項に記載の装置。
前記全方位ビジュアルメディアを取り込むことをさらに含む、請求項７～１０のいずれか１項に記載の装置。
前記受信デバイスから音声を受信することをさらに含む、請求項７～１１のいずれか１項に記載の装置。
コンピュータプログラム製品であって、少なくとも１つのプロセッサ上で実行されたときに、
－全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること、
－前記プレゼンテーションを見るためのビューポート制御オプションであり、前記ビューポート制御オプションが受信デバイスによって制御可能なオプションと前記受信デバイスによって制御不能なオプションとを含み、前記受信デバイスによって制御不能な前記オプションが、少なくともプレゼンタビューポートに基づくビューポート制御を含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化すること、
－前記ビットストリームを前記レシーバデバイスに送信すること、
－前記指示されたビューポート制御オプションのうちの１つまたは組合せを前記レシーバデバイスから応答として受信すること、
－前記プレゼンテーションを前記レシーバデバイスにストリーミングすること、
を装置またはシステムにさせるように構成されたコンピュータプログラムコードを含み、
－前記応答が、前記受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、前記コンピュータプログラム製品が、前記装置または前記システムに、前記プレゼンテーションのストリーミング中に、ビューポート定義に関する情報を前記レシーバデバイスから受信し、それに従って前記プレゼンテーションを適合させるためのコンピュータプログラムコードを含み、
－前記応答が、前記受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、前記コンピュータプログラム製品が、前記装置または前記システムに、前記プレゼンテーションを、前記応答の中に指定された前記ビューポート制御に従って前記レシーバデバイスにストリーミングさせるためのコンピュータプログラムコードを含む、
コンピュータプログラム製品。
装置であって、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備え、前記メモリおよび前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、少なくとも、
－全方位ビジュアルメディアコンテンツを含むプレゼンテーションを定義するビットストリームを生成すること、
－前記プレゼンテーションを見るためのビューポート制御オプションであり、前記ビューポート制御オプションが受信デバイスによって制御可能なオプションと前記受信デバイスによって制御不能なオプションとを含み、前記受信デバイスによって制御不能な前記オプションが、少なくともプレゼンタビューポートに基づくビューポート制御を含む、ビューポート制御オプションを指示するパラメータをビットストリームに符号化すること、
－前記ビットストリームを前記レシーバデバイスに送信すること、
－前記指示されたビューポート制御オプションのうちの１つまたは組合せを前記レシーバデバイスから応答として受信すること、
－前記プレゼンテーションを前記レシーバデバイスにストリーミングすること
を前記装置に実行させるように構成されており、
－前記応答が、前記受信デバイスによって制御可能なビューポート制御に関する指示を含んでいたときに、前記コンピュータプログラム製品が、前記装置または前記システムに、前記プレゼンテーションのストリーミング中に、ビューポート定義に関する情報を前記レシーバデバイスから受信し、それに従って前記プレゼンテーションを適合させるためのコンピュータプログラムコードを含み、
－前記応答が、前記受信デバイスによって制御不能なビューポート制御に関する指示を含んでいたときに、前記コンピュータプログラム製品が、前記装置または前記システムに、前記プレゼンテーションを、前記応答の中に指定された前記ビューポート制御に従って前記レシーバデバイスにストリーミングさせるためのコンピュータプログラムコードを含む、
装置。
前記受信デバイスによって制御可能な前記ビューポート制御オプションが、前記ビューポートを、前記受信デバイスによって、３自由度まで、または６自由度まで拘束された空間内もしくは拘束のない空間内において制御することを含む、請求項１４に記載の装置。
前記受信デバイスによって制御不能な前記ビューポート制御オプションが、推奨ビューポートに基づくビューポート制御も含む、請求項１４に記載の装置。
前記全方位ビジュアルメディアコンテンツをネットワークを介して受信することをさらに含む、請求項１４～１６のいずれか１項に記載の装置。
前記全方位ビジュアルメディアを取り込むことをさらに含む、請求項１４～１７のいずれか１項に記載の装置。
前記受信デバイスから音声を受信することをさらに含む、請求項１４～１８のいずれか１項に記載の装置。