JP6979035B2 - 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム - Google Patents

仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム Download PDF

Info

Publication number
JP6979035B2
JP6979035B2 JP2018560004A JP2018560004A JP6979035B2 JP 6979035 B2 JP6979035 B2 JP 6979035B2 JP 2018560004 A JP2018560004 A JP 2018560004A JP 2018560004 A JP2018560004 A JP 2018560004A JP 6979035 B2 JP6979035 B2 JP 6979035B2
Authority
JP
Japan
Prior art keywords
media
quality
media data
regions
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018560004A
Other languages
English (en)
Other versions
JP2019524004A5 (ja
JP2019524004A (ja
Inventor
ナエル ウエドラオゴ
フランク ドゥヌアル
ジョナサン タケ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2019524004A publication Critical patent/JP2019524004A/ja
Publication of JP2019524004A5 publication Critical patent/JP2019524004A5/ja
Application granted granted Critical
Publication of JP6979035B2 publication Critical patent/JP6979035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、概略として、通信ネットワーク、例えばインターネットプロトコル（ＩＰ）標準に準拠する通信ネットワーク上のタイムドメディアデータストリームの分野に関する。より具体的には、本発明は、ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ（ＨＴＴＰ）を使用するＩＰネットワーク上で仮想現実又は全方向性メディアデータのストリーミングを向上する方法、デバイス及びコンピュータプログラムに関する。
ビデオ符号化は、ビデオ画像が送信又は記憶可能となるように、一連のビデオ画像をコンパクトなデジタル化されたビットストリームに変換する方法である。符号化デバイスは、表示及び鑑賞に関するビットストリームの再構築が利用可能な関連する復号デバイスで、ビデオ画像を符号化するのに使用される。概略の目的は、元のビデオ情報よりも小さいサイズとなるようにビットストリームを成形することである。これにより、ビットストリームコードを送信又は記憶するのに転送ネットワーク又は記憶デバイスに要求される容量は、効果的に減少する。一般的に、送信されるために、ビデオビットストリームは、通常はヘッダ及びチェックビットを付加する送信プロトコルに従ってカプセル化される。
通常、通信ネットワーク上のメディアデータをストリーミングすることは、メディアプレゼンテーションを表すデータが、通信ネットワーク上でクライアントデバイスともいう再生デバイスに、サーバともいうホストコンピュータによって提供されることを意味する。一般的に、クライアントデバイスは、デスクトップパーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ノートブック又は可搬コンピュータ、携帯電話、ワイヤレスハンドヘルドデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソール、ヘッドマウントデバイスなど、様々な従来のコンピューティングデバイスのいずれかとして実施されるメディア再生コンピュータである。通常、クライアントデバイスは、（配信されるべきファイル全体を待つよりも）ホストから受信するにつれてストリーミングされたコンテンツをレンダリングする。
一般的に、メディアプレゼンテーションは、クライアントデバイスによって連携して再生されるためにクライアントデバイスにサーバから送信され得るオーディオ、ビデオ、テキスト、メタデータ及び／又はサブタイトルなどの幾つかのメディアコンポーネントを含む。それらのメディアコンポーネントは通常、別個のメディアストリームに個別に符号化され、次に、全体で又は個別に、それらは複数のメディアセグメントにカプセル化され、後者によって連携して再生されるクライアントデバイスにサーバから送信される。
一般的な方法は、クライアントデバイスが特性（例えば解像度、計算能力及び帯域幅）の関数として１つのバージョンを選択できるように、同一のメディアコンポーネントの幾つかのバージョンに対するアクセスを付与することを目的とする。既存の独占所有権のある解決策によれば、代替バージョンの各々が記述され、メディアデータが小さな時間的セグメントに分割される。セグメントは、異なるメディアに関する圧縮データ又は生データを含むメディアセグメントであってもよいし、クライアントにおけるメディア復号器をセットアップ、インスタンス化及び初期化するのに使用される初期化セグメントであってもよい。
ＨＴＴＰを介した動的及び適応ストリーミングのコンテキストにおいて、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）といわれる標準が、ＭＰＥＧ標準化委員会（「ＩＳＯ／ＩＥＣ ２３００９−１、Ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ（ＤＡＳＨ）、パート１、メディアプレゼンテーション記述及びセグメントフォーマット」）から出現した。この標準により、メディアプレゼンテーションのメディアコンテンツのコンパクトな記述のＨＴＴＰ Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｉｏｎ（ＵＲＬ）との関連付けが可能となる。通常、そのような関連付けは、マニフェストファイル又は記述ファイルといわれるファイルに記述される。ＤＡＳＨのコンテキストにおいて、このマニフェストファイルは、ＭＰＤファイル（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｉｓｃｒｉｐｔｉｏｎ）ともいわれるＸＭＬファイルである。ＸＭＬファイルも使用するＳｍｏｏｔｈＳｔｒｅａｍｉｎｇのような、又はプレイリストともいうマニフェストに関するプレーンテキストファイルを幾らか使用するＨＴＴＰＬｉｖｅＳｔｒｅａｍｉｎｇのような、他のマニフェストベースのストリーミングソリューションが存在する。好ましい実施形態として、ＤＡＳＨはストリーミングプロトコルとして使用されるが、マニフェストに付加される記述的情報はこれらの他のソリューションにおいて同等の効果を提供し得る。
マニフェストファイルは、マニフェストに記述されるメディアサンプルに関する記述的情報を指定するディスクリプタのセットを収集する。ディスクリプタは、例えばＸＭＬノード（要素及び／又は属性）のような構造化要素であってもよいし、又はキーワード若しくはコメントがこれらのディスクリプタの搬送に特化される場合はＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）で記述されてもよいし、プレーンテキストフォーマットにさえ記述されてもよい。
マニフェストファイルを受信することにより、クライアントデバイスは、各メディアコンテンツコンポーネントの記述を得る。したがって、メディアプレゼンテーションに提案されたメディアコンテンツコンポーネントの種類が認識され、関連する初期化及び／又はメディアセグメントをダウンロードするのに使用すべきＨＴＴＰ ＵＲＬが理解される。そのため、クライアントデバイスは、どのメディアコンテンツコンポーネントを（ＨＴＴＰ要求を介して）ダウンロードして再生（すなわちメディアセグメントを受信した後に復号して再生）するかを決定することができる。
そのような関連付けに加えて、ＤＡＳＨ標準は、各メディアコンテンツを時間間隔の関数として分割することを提案する。時間分解は、ＭＰＤファイルに記述される。したがって、後者は、ＨＴＴＰ ＵＲＬとメディアコンテンツからの各コンポーネントのコンパクトな記述との間の関連付けを、各時間間隔にわたって定義する。各メディアコンテンツコンポーネントは、これらの時間間隔に対応する複数の独立したメディアセグメントにカプセル化され得る。
この標準により、クライアントが、所望の時間間隔にわたってメディアプレゼンテーションの所望のメディアコンテンツコンポーネントをダウンロードすることが可能となる。
ＭＰＥＧ ＤＡＳＨにおけるメディアセグメント内のメディアコンテンツコンポーネントのストリーミングに使用されるカプセル化ファイルフォーマットは、ＭＰＥＧ標準化活動のコンテキストにおいて定義されたＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔに準拠し得る。特に、カプセル化ファイルフォーマットは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）のカプセル化の標準化及びＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ（ＩＳＯ／ＩＥＣ １４４９６パート１５）におけるそのスケーラブルな延長に関連し得る。なお、ＤＡＳＨは、カプセル化ファイルフォーマットに不可知論的である。例えば、使用できるＭＰＥＧ−２Ｔｒａｎｓｐｏｒｔストリーム又はメディアストリームをカプセル化するＷｅｂＭ若しくはＣｏｍｍｏｎＭｅｄｉａＡｐｐｌｉｃａｔｉｏｎＦｏｒｍａｔである。
なお、タイル構成に依拠する対象領域の抽出／ストリーミング及び表示は、例えばユーザがビデオシーケンスの特定のエリアをクリックして特定の選択したエリアについてより高解像度のビデオにアクセスすること、又はある空間のエリア（又はタイル）から他へとビデオシーケンスをナビゲーション／パンニングすることを許可することによって、ストリーミング中のインタラクティブ高品質ズームイン機能を可能とするのに特に役立つ。
ビデオ解像度は、標準精細度（ＳＤ）から高精細度（ＨＤ）及び超高精細度（例えば、４Ｋ２Ｋ又は８Ｋ４Ｋ）まで連続的に増加することが想定されるべきである。ビデオシーケンスは、シングルレイヤ（例えばＨＥＶＣ）又はマルチレイヤ（例えばスケーラブルＨＥＶＣ）符合化標準のいずれかを使用して符号化され得る。マルチレイヤコーディングフォーマットの場合、所与のレイヤは、１以上の他のレイヤに対する参照データとして使用され得る。レイヤ化されたビデオ編成は、複数の従属メディアコンテンツコンポーネントを用いて効率的に表されることができ、各コンポーネントはスケーラビリティの異なるレベルでビデオレイヤを表す。所与のメディアコンテンツコンポーネントを復号するために、クライアントデバイスは、メディアコンテンツコンポーネントそれ自体だけでなく、それが依存する全てのメディアコンテンツコンポーネントにアクセスする必要がある。
また、ビデオストリーミング機能を有するモバイル及び接続デバイスの急増も想定されるべきである。したがって、モバイルデバイスのユーザが、品質を維持したまま又は向上させることによってビデオシーケンスのサブパーツを表示し、又はサブパーツに着目したい場合、ビデオシーケンスをタイルに分割することが重要となる。したがって、タイルを使用することにより、ユーザは、ビデオシーケンスの空間的なサブパーツ（又は部分若しくは領域）をインタラクティブに要求できる。スケーラブルビデオコーディングフォーマット（例えばスケーラブルＨＥＶＣ又はマルチビューＨＥＶＣ）の場合、符号化依存性が拡張レイヤのタイルとベースレイヤの１以上のタイルとの間に存在し得ることを除いて、各ビデオレイヤは、複数の独立した空間的サブパーツに編集可能ともなる。
さらに、ワイドスクリーンの使用及びゴーグルなどのヘッドマウントデバイスの使用も急速に増加し、ユーザに没入型体験を提供する。さらに、旧来的な２Ｄスクリーン上で没入型体験を提供するために、あるメディアプレーヤは、クライアントがナビゲーションメニューを介してビデオ内をパンニングできるようにする特定のユーザインターフェースを提供する。幾つかのデバイスが、現在ユーザを仮想現実（ＶＲ）環境に没入させるのに利用可能である。ＶＲビデオシーケンス又は全方向性ビデオシーケンスは、一般的には、広いエリアを撮影する少なくとも１つの広角対物レンズを搭載した１台のカメラ又は種々の方向におけるビデオ及びオーディオデータを取り込む幾つかの同期カメラのいずれかによって撮像される。後者の場合、結果として生じる複数のビデオシーケンスは、その後、一般的にＰａｎｏｒａｍａビデオシーケンスといわれるシングルビデオシーケンスを形成するように変換される。各カメラが４Ｋ解像度を有する例を考慮すると、結果として生じるパノラマビデオシーケンスは、１０Ｋよりも大きい解像度を有することもあり、その処理（計算、メモリ記憶、転送及びさらにはネットワーク転送に関して）を複雑にする。
そのようなビデオシーケンスのファイルフォーマットにおけるカプセル化は、例えば全方向性ファイルフォーマット仕様又はＩＳＯベースメディアファイルフォーマットに基づいて行うことができる。
様々な表示デバイス、例えば異なる処理及び表示能力を有する大型スクリーン又はヘッドマウントディスプレイ（ＨＭＤ）は、特にＨＴＴＰを介した適応ストリーミングのコンテキストにおいて全てのデバイスに適応できるストリーミングソリューションの必要性を生じさせる。特に、ＨＭＤの表示サイズは、一般的に大型スクリーンのサイズよりも小さい。結果として、Ｐａｎｏｒａｍａビデオシーケンスのサブパーツ（又は部分若しくは領域）への空間的なアクセスは、ＨＭＤデバイスで表示するＰａｎｏｒａｍａビデオシーケンスの全体を送信することを回避する。
したがって、クライアントの必要性及び特性の機能として、仮想現実又は全方向性メディアデータのストリーミングを最適化する必要がある。
本発明は、前述の事項のうちの１以上に対処するために考案されたものである。
これに関連して、例えばｈｔｔｐプロトコルを使用するインターネットのなどのＩＰネットワークを介する仮想現実メディアコンテンツの適応ストリーミングに関する解決策が提供される。
本発明の第１の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバから受信する方法が提供され、受信されたメディアデータは、ワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること、又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、レンダリングは、ワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、方法はクライアントにおいて実行され、
ワイドビューの撮像投影を表すメディアデータの情報を含む記述ファイルをサーバから受信するステップであって、その情報はメディアデータを生成するワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区間の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをサーバに送信するステップ、及び、
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをサーバから受信するステップ
を備える。
したがって、本発明の方法は、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明の方法によれば、クライアントは、少ないリソースしか必要としない。
一実施形態では、メディアデータを生成するワイドビューの撮像に関する記述的情報は、撮像投影に関連する。
一実施形態では、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルは、表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定される。
一実施形態では、記述的情報は、少なくとも部分的に少なくとも１つのディスクリプタ内に提供される。
一実施形態では、少なくとも１つのディスクリプタはメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備え、記述的情報は少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
一実施形態では、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画は、撮像投影から生じる領域の関数として定義される。
一実施形態では、少なくとも１つのディスクリプタはメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタはメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備える。
一実施形態では、記述的情報は、受信すべきメディアデータに関するリソースを識別する情報を備える。
一実施形態では、品質レベルはフレーム符号の関数として定義された視野を備え、視野は空間的部分又は好適なレンダリング視野に対応する
一実施形態では、視野は複数の値によって定義され、複数の値の少なくとも一つの値は品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
一実施形態では、品質レベルはフレーム符号の関数として定義される視点を備え、視点は空間的部分又は好適なレンダリング視点に関する。
一実施形態では、記述的情報は、フレーム符号の識別子をさらに備える。
一実施形態では、品質レベルは、品質ランクを備える。
一実施形態では、ディスクリプタは、受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられる。
本発明の第２の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバからクライアントにストリーミングする方法が提供され、ストリーミングされるメディアデータは、クライアントがワイドビューの少なくとも一部を３Ｄ幾何学的表示面上にレンダリングすること、又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面上にレンダリングすることを可能とし、レンダリングはワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、方法はサーバにおいて実行され、
ワイドビューの撮像投影を表すメディアデータについての情報を備える記述ファイルをクライアントに送信するステップであって、その情報はメディアデータを生成するためのワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも一つの空間的区画の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをクライアントから受信するステップ、及び、
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをクライアントに送信するステップ
を備える。
したがって、本発明の方法は、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明の方法によれば、クライアントは、少ないリソースしか必要としない。
一実施形態では、メディアデータを生成するワイドビューの撮像に関する記述的情報は、撮像投影に関連する。
一実施形態では、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルは、表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定される。
一実施形態では、記述的情報は、少なくとも部分的に少なくとも１つのディスクリプタ内に提供される。
一実施形態では、少なくとも１つのディスクリプタはメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備え、記述的情報は少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
一実施形態では、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画は、撮像投影から生じる領域の関数として定義される。
一実施形態では、少なくとも１つのディスクリプタはメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタはメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備える。
一実施形態では、記述的情報は、受信すべきメディアデータに関するリソースを識別する情報を備える。
一実施形態では、品質レベルはフレーム符号の関数として定義された視野を備え、視野は空間的部分又は好適なレンダリング視野に対応する
一実施形態では、視野は複数の値によって定義され、複数の値の少なくとも一つの値は品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
一実施形態では、品質レベルはフレーム符号の関数として定義される視点を備え、視点は空間的部分又は好適なレンダリング視点に関する。
一実施形態では、記述的情報は、フレーム符号の識別子をさらに備える。
一実施形態では、品質レベルは、品質ランクを備える。
一実施形態では、ディスクリプタは、受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられる。
本発明の第３の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバから受信するためのクライアントに対するデバイスが提供され、受信されるメディアデータは、ワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること、又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、レンダリングはワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、デバイスが、
ワイドビューの撮像投影を表すメディアデータに関する情報を備える記述ファイルをサーバから受信するステップであって、その情報はメディアデータを生成するためのワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区間の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをサーバに送信するステップ、及び、
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをサーバから受信するステップ
を実行するように構成されたマイクロプロセッサを備える。
したがって、本発明のデバイスは、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明のデバイスによれば、クライアントは、少ないリソースしか必要としない。
一実施形態では、マイクロプロセッサは、メディアデータを生成するワイドビューの撮像に関する記述的情報が撮像投影に関連するようにさらに構成される。
一実施形態では、マイクロプロセッサは、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルが表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定されるようにさらに構成される。
一実施形態では、マイクロプロセッサは、記述的情報が少なくとも部分的に少なくとも１つのディスクリプタ内に提供されるようにさらに構成される。
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備えるようにさらに構成され、記述的情報が少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
一実施形態では、マイクロプロセッサは、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画が撮像投影から生じる領域の関数として定義されるようにさらに構成される。
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタがメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、記述的情報が受信すべきメディアデータに関するリソースを識別する情報を備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義された視野を備えるようにさらに構成され、視野は空間的部分又は好適なレンダリング視野に対応する。
一実施形態では、マイクロプロセッサは、視野が複数の値によって定義されるようにさらに構成され、複数の値の少なくとも一つの値は品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義される視点を備えるようにさらに構成され、視点は空間的部分又は好適なレンダリング視点に関する。
一実施形態では、マイクロプロセッサは、記述的情報がフレーム符号の識別子をさらに備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、品質レベルが品質ランクを備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、ディスクリプタが受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられるようにさらに構成される。
本発明の第４の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバからクライアントにストリーミングするためのサーバに対するデバイスが提供され、ストリーミングされるメディアデータはクライアントがワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、レンダリングはワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、デバイスは、
ワイドビューの撮像投影を表すメディアデータの情報を含む記述ファイルをクライアントに送信するステップであって、情報はメディアデータを生成するためのワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも一つの空間的区画の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをクライアントから受信するステップ、及び
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをクライアントに送信するステップ
を実行するように構成されたマイクロプロセッサを備える。
したがって、本発明のデバイスは、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明のデバイスによれば、クライアントは、少ないリソースしか必要としない。
一実施形態では、マイクロプロセッサは、メディアデータを生成するワイドビューの撮像に関する記述的情報が撮像投影に関連するようにさらに構成される。
一実施形態では、マイクロプロセッサは、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルが表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定されるようにさらに構成される。
一実施形態では、マイクロプロセッサは、記述的情報が少なくとも部分的に少なくとも１つのディスクリプタ内に提供されるようにさらに構成される。
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備えるようにさらに構成され、記述的情報は少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
一実施形態では、マイクロプロセッサは、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画が撮像投影から生じる領域の関数として定義されるようにさらに構成される。
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタがメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、記述的情報が受信すべきメディアデータに関するリソースを識別する情報を備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義された視野を備えるようにさらに構成され、視野が空間的部分又は好適なレンダリング視野に対応する。
一実施形態では、マイクロプロセッサは、視野が複数の値によって定義されるようにさらに構成され、複数の値の少なくとも一つの値が品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義される視点を備えるようにさらに構成され、視点が空間的部分又は好適なレンダリング視点に関する。
一実施形態では、マイクロプロセッサは、記述的情報がフレーム符号の識別子をさらに備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、品質レベルが品質ランクを備えるようにさらに構成される。
一実施形態では、マイクロプロセッサは、ディスクリプタが受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられるようにさらに構成される。
本発明はソフトウェアで実施され得るので、本発明は、任意の適切な搬送媒体、特に適切な有体搬送媒体又は適切な一時的搬送媒体上でプログラム可能な装置に提供するコンピュータ可読コードとして具現され得る。有体搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又は固体メモリデバイスなどの記憶媒体を含み得る。一時的搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号又は電磁信号、例えばマイクロ波若しくはＲＦ信号などの信号を含み得る。
本発明の更なる効果が、図面及び詳細な説明を検討すれば当業者には明らかとなる。任意の追加の効果がここに組み込まれることが意図される。
本発明の実施形態を、例示としてのみ、以下の図面を参照してここに説明する。
図１ａ、１ｂ及び１ｃからなる図１は、パノラマビデオシーケンスの特性を概略的に示す。 図２は、本発明の実施形態が基づく、ＨＴＴＰを介するメディアストリーミングの一般原則を示す。 図３ａは、メディアプレゼンテーション及び対応するマニフェストファイルを生成するステップを示す。 図３ｂは、マニフェストファイルを受信するステップ及びメディアストリームを選択するステップを示す。 図４は、ＤＡＳＨコンテキストにおけるマニフェストファイルの構造例を示す。 図５は、本発明の１以上の実施形態を具現化するコンピューティングデバイスの概略ブロック図である。
実施形態によれば、本発明により、クライアントによって必要とされる特性に対応する特性を有するセグメントが要求され得るように仮想現実又は全方向性メディアコンテンツのセグメントの記述をストリーミングマニフェスト又はストリーミング再生リストに提供することが可能となる。そのような特性は、特に、視野、視点、及び動的適応を可能とする相対的な品質情報を備える。
ＤＡＳＨのコンテキストにおいて、及び好ましい実施形態として、ストリーミングマニフェスト：メディアプレゼンテーションディスクリプション（ＭＰＤ）を形成するために、メディアコンテンツをメディアデータセグメントにカプセル化するのにＩＳＯ ＢＭＦＦ標準が使用される。一般的に、各トラックは、ＤＡＳＨを使用して独立したメディアコンテンツとしてマニフェストに記述される。
しかし、（例えばメタデータトラックとしてＯＭＡＦ定義を介して）ＭＰＤに記述されたＶＲビデオシーケンスの特定の符号化構成を特定するために、ユーザは（マニフェストに加えて）第１の初期化セグメントをダウンロードしなければならないことが観察されている。次にユーザは、ＶＲビデオコンテンツの符号化構成を取得するのに、最低限でも各ビデオコンテンツの各第１のメディアデータセグメントの始まりをダウンロードしなければならず、さらにＶＲコンテンツ特性を指定するメタデータサンプルを含むメタデータトラックもダウンロードしなければならない。この初期化情報をダウンロードすると、遅延及び追加のＨＴＴＰ往復時間が発生する。これらの遅延により、ユーザは、メディアプレゼンテーションの鑑賞を開始する前に待機しなければならない。
これらの問題を解決するために、品質に関する種々の設定を有する全ての仮想現実メディアコンテンツコンポーネントは、マニフェストにコンパクトな方法で記述される。このように、特定の符合化構成及び／又は特定の品質レベルとＨＴＴＰ−ＵＲＬとの間の関連付けを確立することができ、ビデオセグメントのダウンローディングが全てのビデオセグメントの代替に関して最適に実行される。言い換えると、本発明の実施形態により、マニフェスト又は再生リストに記述される異なるメディアストリーム内の符合化構成（及び品質についても）を正確に表現することが可能となり、ビデオバージョンを選択する場合に、ダウンロードする必要のあるもの及びオプションでダウンロード可能なものをストリーミングクライアントに示すことが可能となる。
上述したように、エンドユーザに没入型体験を提供するように生成される新しい種類のビデオシーケンスが存在する。そのようなビデオシーケンスは、「魚眼」対物レンズを使用するか、複数の方向に応じて取得画像に対して特殊なリグに配置される幾つかのカメラを使用して撮像される。後者の設定によれば、得られる画像はワイドシーンのパノラマ画像を形成するためにスティッチングされる（「魚眼」対物レンズを使用する場合は、このパノラマ画像が直接得られる）。
図１ａ、１ｂ及び１ｃからなる図１に、マルチ方向性、プルリ方向性、全方向性、３６０°又は仮想現実ビデオシーケンスともいわれるパノラマビデオシーケンスの特性を概略的に示す。
以下では、ワイドビューは、画像が取得されるシーンのビューであり、このワイドビューは一般に使用されるよりも大きな視野角（広角）に対応すると考えられる。説明のために、１８０°パノラマをワイドビューとして考える。他の例は、撮影されたシーンの没入型ビューを形成する水平軸に沿った３６０°（おそらく垂直軸においても３６０°）ワイドビューである。そのようなワイドビューに対応する画像は、通常は仮想現実に使用される。なお、３６０°ビューは、コンピュータによって生成される合成シーケンスであってもよい。
広角のビューにおいて、一般的にパノラマビデオシーケンスは、適切な比率を保持するように、表示されるより前に幾何学的な投影を必要とする。なお、使用される投影は、現実を反映しなくてもよく、むしろワイドビューの（すなわちステレオ投影ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｆ／ｗｉｋｉ／Ｓｔｅｒｅｏｇｒａｐｈｉｃ＿ｐｒｏｊｅｃｔｉｏｎに基づく小さな惑星の写真効果のような）芸術的表現であってもよい。
ワイドビューから撮像された（又は計算された）画像及び画像のシーケンスは、それぞれパノラマ画像及びパノラマ画像シーケンスを形成する。
例えば、図１ａのビデオ１００は、パノラマ画像１０５−１から１０５−ｎのシーケンスからなる。これらのパノラマ画像は、画像の２Ｄプラン上へのワイドビューの投影から生じる。
それゆえ、各パノラマビデオ又はパノラマ画像は、特定の幾何学的投影、又は２Ｄマップ内への参照点を囲む３Ｄ球面シーン（又はその一部）の幾何学的な変換であるパノラマ投影と関連付けられる。幾つかのタイプの投影が存在する（非限定リストである）。
−球体型投影
−楕円球体型投影
−円筒型投影
−立方体型投影
−角錐型投影
−投影使用なし
なお、ここで、画素の不連続なマップを生成し得る投影が存在する。説明のために、立方体投影は、全体として立方体の１つの面に各々が対応する６つの投影エリアからなる。
パノラマ領域は、パノラマ画像の、長方形であってもなくてもよい画素のサブセットである。各パノラマ領域は、パノラマ投影タイプの特定のタイプからもたらされる。例えば、立方体型投影を考慮すると、パノラマ画像の各領域は、立方体の１つの面に対応し得る。
図１ａに戻り、パノラマ画像１０５−１は、立方体型投影から生じる。それゆえ、Ｒ１からＲ６の６つのエリアに分割される。これらのエリアの各々は、一般的に１１０に参照されるパノラマ領域であり、立方体の１つの面に対応する。
図１ｂに示すように、ディスプレイ上の３６０°パノラマ画像のレンダリングは、全体として、ディスプレイ上に投影を介してパノラマ画像を変換することにあり、球体１１５として表され得る３Ｄワイドビューの没入型観察を可能とする。
図１ｃに示すように、ディスプレイの特性に依存して、３Ｄワイドビューを表す３Ｄ球体の部分１２０のみが鑑賞され得る。この部分は、ディスプレイの視野（ＦＯＶ）によって決定される。このＦＯＶは、部分の２つの観測角度によって、例えば水平ＦＯＶ角度１２５及び垂直ＦＯＶ角度１３０でパラメータ化される。他のパラメータ化は、水平ＦＯＶ及び対角ＦＯＶ角度である。
所定の３Ｄフレーム符号（例えば図１ｂの３Ｄフレーム符号１３５）における球体表面上のワイドビューのバージョンの投影の観察方向を視点という。ビューポート１４０は、特定の視点及び特定のＦＯＶに従って（３Ｄ球体に投影された）パノラマ画像の投影に対応する２Ｄ画像である。
図２に、ＨＴＴＰを介するメディアストリーミングの一般原則を示し、本発明の実施形態はそれに基づいている。
図示のように、メディアサーバ２００は、特に、異なるメディアコンテンツコンポーネント例えばオーディオ及びビデオデータストリームを含むメディアプレゼンテーション２０５がその中に含まれるメディアプレゼンテーションを備える。オーディオ及びビデオストリームは、独立してインターリーブ又は記憶され得る。メディアプレゼンテーションは、メディアコンテンツコンポーネントの代替のバージョンを（異なるビットレート、品質、解像度、サンプリングレートなどで）提案できる。
例えば、このメディアプレゼンテーションのメディアコンテンツコンポーネントは、ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ及びＤＡＳＨ推奨に従ってカプセル化される。カプセル化ステップの結果、各代替バージョン（すなわちＤＡＳＨコンテキストのＲｅｐｒｅｓｅｎｔａｔｉｏｎ、例えばＲｅｐｒｅｓｅｎｔａｔｉｏｎ１及びＲｅｐｒｅｓｅｎｔａｔｉｏｎ２）は、小さな独立した及び連続的な時間的メディアセグメント（それぞれ例えば時間的メディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３）、例えばＭＰ４標準（ＩＳＯ／ＩＥＣ１４４９６−１４）に準拠して、独立してアドレッシング及びダウンロードされ得るメディアセグメントに、時間的に分割される。各メディアセグメントは、１以上のメディアコンテンツコンポーネントを含む。アドレス（すなわち図示の例ではＨＴＴＰ ＵＲＬアドレス）は全てのメディアセグメントに対してサーバ２００によって設定され、マニフェストは図３を参照してこれより以下に説明するように作成される。
マニフェスト、例えばＭＰＤは、ドキュメント、典型的にはＸＭＬファイルであり（又はＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇについてはプレーンテキストファイルでさえある）、所与のメディアプレゼンテーションについてアクセス可能となる全てのメディアコンテンツコンポーネントを記述する。そのような記述は、メディアコンテンツコンポーネントのタイプ（例えばオーディオ、ビデオ、オーディオビデオ、メタデータ又はテキスト）、メディアセグメントの継続時間及びメディアセグメントに関連付けられるアドレス（例えばＵＲＬ）、すなわちメディアコンテンツコンポーネントが得られるアドレスを備え得る。
通常、ＭＰＤは、図４に示す階層データモデルに基づく。それは１つ又は複数の期間（図４の符号４００）で構成され、各期間は開始時間及び継続時間を有し、１つ又は複数のアダプテーションセット（図４の符号４０１）で構成される。アダプテーションセットは、１つ又は複数のメディアコンテンツコンポーネント及びその種々の符号化された代替（図４の符号４０２）についての情報を提供し、同一のメディアコンテンツコンポーネントの各符号化された代替はＲｅｐｒｅｓｅｎｔａｔｉｏｎといわれる。そして、各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎは、通常は１つ又は複数のメディア及び／又は初期化セグメント（図４の符号４０３）で構成される。
説明のために、メディアプレゼンテーション２０５のオーディオ及びビデオストリームは、インターリービングされているとみなす。これらのインターリービングされたオーディオ及びビデオデータストリームは、２つの代替のバージョンとして提案され、各バージョンは連続的な時間的メディアセグメント、例えば３つの連続的な期間に対応する３つの連続的な時間的メディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３に分割される。マニフェストファイルは、幾つかのメディアセグメントを含む少なくとも２つのバージョンを備える少なくとも１つのアダプテーションセット（図示せず）で構成されるメディアプレゼンテーションを記述する。これらのセグメントのアドレスは、サーバ２００によって設定される。メディアコンテンツコンポーネント並びにメディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３に関係する情報のこれらのアドレス及び他の項目は、メディアプレゼンテーション２０５に対応するマニフェスト２１５においてアクセス可能である。
このマニフェストファイルは、クライアント２２０に送信される（ステップ２２５）。受信された後、クライアント２２０によって解析されて、マニフェストファイル２１５はどのプレゼンテーションが利用可能であるか、メディアプレゼンテーション２０５のメディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３のどちらがアクセス可能であるかを判定する。また、マニフェストファイル２１５は、これらのメディアセグメントのｈｔｔｐアドレス及びこれらのメディアセグメント間の関係を特定するのにも使用される。さらに、マニフェストファイル２１５によって、メディアプレゼンテーションのコンテンツ（すなわち所与の例においてはインターリービングされたオーディオ及びビデオ）についての情報の項目が与えられる。情報のこれらの項目は、解像度、ビットレート及び同様の情報を備え得る。
したがって、この情報を考慮すると、クライアント２２０のアダプテーションロジックモジュール２５０は、適切なバージョンからメディアセグメントを選択して、これらのメディアセグメントをダウンロードする対応するｈｔｔｐ要求を発行することができる（ステップ２３０）。それに応じて、サーバ２００は、要求された時間的メディアセグメントを送信する（ステップ２３５）。ｈｔｔｐ応答２３５において受信されたこれらの時間的メディアセグメントは、パージング（デカプセル化）され、次に適切なメディアデコーダ２４０（通常はメディアタイプ毎に１つの復号器）において復号され、ディスプレイ２４５に表示され得る。特に、表示するステップは、例えばパノラマ画像を新しいフレーム符号（ディスプレイフレーム符号）に投影する変換処理を含み得る。
なお、サーバ２００は、別個のサーバ又はデバイスにあってもよく、各々が以下のステップの１以上を実行する。
−メディアコンテンツを生成するステップ
−メディアストリームをファイルフォーマットにカプセル化するステップ
−ストリーミングマニフェスト又は再生リストファイルを生成するステップ
−メディアプレゼンテーションを送信するステップ、及び
−多くの場合、コンテンツセグメントとしてメディアコンテンツを送信するステップ
それゆえ、クライアントは、マニフェストについての要求を第１のサーバ、例えばアプリケーションサーバに発してもよく、メディアコンテンツについての要求を１以上の他のサーバ、例えばメディアサーバ又はストリーミングサーバに発してもよい。例えばメディアがＣＤＮ（コンテンツ配信ネットワーク）を介して配信される場合は、メディアサンプルを送信するサーバも異なっていてもよい。
図３ａに、メディアプレゼンテーション及び対応するマニフェストファイルを生成するステップを示す。そのようなステップは通常、図２のサーバ２００などのサーバによって実行される。
それぞれ３００及び３０５で示されるオーディオ及びビデオデータは、例えば図３に示すステップを実行するサーバに接続されるデータ記憶サーバなどの外部ソースから通信ネットワークを介して得ることができる。
図示のように、生ビデオデータ３０１は、仮想現実ビデオを生成するようにスティッチングされ得る（ステップ３０２）。そのようなステップは、サーバ内で又は遠隔的に、例えばビデオソースにおいて実行され得る。
シーンのワイドビュー、例えば図１ｂの符号１８０で示すように水平方向及び垂直方向の両方に３６０°ビューを考慮しつつ、ワイドビューのパノラマ画像は、１台のイメージセンサ又はイメージセンサのセットによって撮像されたこのワイドビューの２Ｄ画像上への投影（撮像投影という）に対応する。したがって、撮像投影スキームは、例えば記録されたシーンの適切な比率を保持するように各パノラマ画像に関連付けられる。
オーディオデータは、ステップ３１０の間に圧縮される。そのような圧縮は、例えばＭＰ３規格（ＭＰＥＧ−１／２オーディオレイヤ３）に基づき得る。並行して（又は以前又は以降で）、ビデオデータは、ステップ３１５の間に圧縮される。この目的のために、ＭＰＥＧ４、ＭＰＥＧ／ＡＶＣ、ＳＶＣ、ＨＥＶＣ又はスケーラブルＨＥＶＣなどのビデオデータ圧縮アルゴリズムが使用され得る。
オーディオ及びビデオデータは、それぞれ符号３２０及び３２５で示すようにデータエレメンタリストリームとして圧縮される。オーディオ及びビデオデータが圧縮された後（ステップ３２６）、圧縮されたエレメンタリストリームは、メディアプレゼンテーション３３５全体を作成するようにステップ３３０の間にカプセル化される。
例えば、ＩＳＯ ＢＭＦＦ標準（又は、さらに説明のために、このＩＳＯ ＢＭＦＦ標準のＡＶＣ、ＳＶＣ、ＨＥＶＣ又はスケーラブルＨＥＶＣへの延長）は、メディアプレゼンテーション全体として符号化されたオーディオ及びビデオエレメンタリストリームのコンテンツを記述するのに使用され得る。したがって、カプセル化されたメディアプレゼンテーションは、マニフェスト、例えばＸＭＬマニフェスト３４５の生成（ステップ３４０）についての入力として使用される。
ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ及びＷｅｂＭなどの、メディアデータストリームに関する記述的メタデータ及びタイミング情報を提供するいずれのカプセル化フォーマットもまた使用され得る。カプセル化フォーマットは、サーバによって抽出されることができストリーミングクライアントがメディアデータの最適なバージョンを選択することに役立つマニフェストファイルに提供され得る記述的情報を提供する必要がある。
図３ｂに、マニフェストファイルからメディアプレゼンテーションを選択するステップを示す。通常、そのようなステップは、図２のクライアント２２０などのストリーミングクライアントによって実行される。最初のクライアント要求３５０に応じて、マニフェストファイル３４５が、クライアントによって受信される。マニフェストファイルは、ダウンロードされるべきメディアストリームを特定するようにステップ３６０でパージングされる。
次に、メディアストリームの選択ステップ３６５は、クライアントの特性（例えば帯域幅、コーデック、解像度、ＶＲサポートなど）に一致するメディアセグメントのリストを特定することを目的とする。これは、図２に示すクライアント２２０のアダプテーションロジック２５０などのアダプテーションロジックによって対処され得る。例えば、クライアントは、ステップ３７０でそれらのＨＴＴＰ ＵＲＬアドレスで要求されたメディアセグメントのリストを含むＲｅｐｒｅｓｅｎｔａｔｉｏｎをＭＰＤファイルから選択する。
それに応じて、メディアプレゼンテーションファイルが受信される。それにはカプセル化されたメディアストリームが含まれる。そしてメディアデータエレメンタリストリームは、ステップ３８０でメディアストリームを復号する前に、カプセル化フォーマットから抽出される。例えばＩＳＯ ＢＭＦＦファイルの場合、エレメンタリストリームの抽出は通常、ｍｐ４リーダ又はｍｐ４パーザによって対処される。したがって、各エレメンタリストリームは、適切な復号器で復号され、次にステップ３９０の間にＶＲレンダラ上にレンダリングされる。
特に、レンダリング処理は、没入型体験を提供する復号されたサンプルのレンダリング投影ステップを含む。ストリーミングセッションの間、クライアントのアダプテーションロジックは、送信を監視し（ステップ３８５）、メディアの別のバージョンに切替えることもある（例えばクライアントバッファがオーバーフロー若しくはアンダーフローの危険性がある場合、又はユーザインターフェースを介してユーザからの選択若しくは動作に従う場合）。そのような場合、アルゴリズムは、ステップ３６５に戻る。切替えがない場合、ステップ３７０において、同一バージョンの次のメディアセグメントが要求される。
図４に、ＤＡＳＨマニフェストファイルの階層型コンテンツの例を示す。より正確には、サーバで利用可能なメディアプレゼンテーションのコンテンツ及びメディアデータともいわれる各メディアコンポーネントとＨＴＴＰアドレスとの間の関係を示す。
説明のために、メディアプレゼンテーションは、（任意のコンテンツをスプライシングする）ｐｅｒｉｏｄといわれる粗粒期間に時間的に分割され得る。
ＭＰＤレベルでの「ｐｅｒｉｏｄ」は、ある時間間隔に対して利用可能な全てのメディアコンポーネント（ピリオドが１つのみの場合はメディアプレゼンテーションの完全な継続時間であり得る）を記述する。このピリオド内で、メディアコンテンツコンポーネントは、簡単なストリーミング、ランダムアクセス及び切替を可能とするように、前述の小さな時間間隔に対応する幾つかのデータセグメントから構成され得る。
ＭＰＤ（例えばＸＭＬ ＭＰＤ）は、各ピリオドに対応する全てのデータを含む。したがって、この情報を受信すると、クライアントは、各時間間隔のコンテンツを認識する。例えば、メディアプレゼンテーション４００は幾つかの要素に分割され、各々はｐｅｒｉｏｄに対応する。さらに説明のために、第２のピリオドは、モーメント１００ｓ及び２９４ｓ内に構成される。
各メディアプレゼンテーションのピリオドは、対応する時間間隔に対して利用可能なメディアコンテンツコンポーネントを記述するデータを含む。４０１として示すメディアプレセンセーションのピリオドの１つをより詳細に説明する。
さらに、幾つかの「アダプテーションセット」要素が、１つはビデオ記述に関して、１つはオーディオ記述に関して組込まれる。各アダプテーションセットは、所与のトラックに関連付けられる。この例においては、第１のアダプテーションセットはビデオトラックに関連付けられ、第２のアダプテーションセットは考慮されている時間間隔においてビデオトラックに対応するオーディオトラックに関連付けられる。
図示のように、アダプテーションセット構造４０２は、サーバで利用可能な符号化されたビデオの異なる可能なＲｅｐｒｅｓｅｎｔａｔｉｏｎ（すなわちバージョン）に関する情報を含む。この例においては、第１のＲｅｐｒｅｓｅｎｔａｔｉｏｎは、５００ｋｂｉｔ／ｓのビットレートで符号化される６４０×４８０の空間的解像度を有するビデオである。さらなるパラメータは、フィールド「ＳｅｇｍｅｎｔＩｎｆｏ」４０３によって与えられる。
第２のＲｅｐｒｅｓｅｎｔａｔｉｏｎは、２５０ｋｂｉｔ／ｓで符号化される同一のビデオである。例えば、第１のＲｅｐｒｅｓｅｎｔａｔｉｏｎと比較すると品質の低下を表し得る。クライアントは、ネットワーク上の利用可能な帯域幅に応じて、それらのＲｅｐｒｅｓｅｎｔａｔｉｏｎの間を切替ることができることになる。
これらのＲｅｐｒｅｓｅｎｔａｔｉｏｎの各々は、クライアントがビデオに関係するＨＴＴＰアドレスを知る場合にはＨＴＴＰ要求によってダウンロードされ得る。各ＲｅｐｒｅｓｅｎｔａｔｉｏｎのコンテンツとＨＴＴＰアドレスとの間の関連付けは、追加の時間的サブレイヤを使用することによって行われる。
符号４０３で示すように、ビデオＲｅｐｒｅｓｅｎｔａｔｉｏｎ４０２は、（この例では１０秒の）時間的セグメントに分割される。
各時間的セグメント４０３は、ＨＴＴＰアドレスを介してアクセス可能なサーバで記憶されたコンテンツである。さらに、初期化セグメントは、利用可能である。この初期化セグメントは、（ビデオがＩＳＯ ＢＭＦＦ又は延長を使用してカプセル化されていた場合）カプセル化されたビデオのＭＰ４コンテンツを記述するＭＰ４初期化情報を含む。例えば、それは、クライアントがビデオに関する復号アルゴリズムをインスタンス化するのに役立つ。初期化セグメント及びメディアセグメントのＨＴＴＰアドレスは、ＭＰＤ（又は記述）ファイルに与えられ、以下により詳細に説明する。
なお、ＤＡＳＨ標準は、アダプテーションセットレベル又はサブリプレゼンテーションレベルのいずれかで、ＭＰＤのメディアコンテンツコンポーネント間の空間的関係を表す能力を導入する。それは「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ＶＲ：２０１４」と等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタのいずれかを使用することにある。＠ｖａｌｕｅ属性は、ＳＲＤ（空間的関係記述）パラメータの値のコンマ区切りのリストで構成され、以下のパラメータを備える。
−ｓｏｕｒｃｅ＿ｉｄは、メディアコンテンツのソースの識別子を提供する。Ｐｅｒｉｏｄ内で「ｓｏｕｒｃｅ＿ｉｄ値」といわれる同一の値を共有する異なるＳＲＤで使用されるパラメータ（ｏｂｊｅｃｔ＿ｘ、ｏｂｊｅｃｔ＿ｙ、ｏｂｊｅｃｔ＿ｗｉｄｔｈ、ｏｂｊｅｃｔ＿ｈｅｉｇｈｔ）が比較されて２つのＲｅｐｒｅｓｅｎｔａｔｉｏｎが相互に空間的に関連していることを特定し得る。
−ｏｂｊｅｃｔ＿ｘは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの左上角部の水平位置を提供する。
−ｏｂｊｅｃｔ＿ｙは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの左上角部の垂直位置を提供する。
−ｏｂｊｅｃｔ＿ｗｉｄｔｈは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの幅を提供する。
−ｏｂｊｅｃｔ＿ｈｅｉｇｈｔは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの高さを提供する。
−ｔｏｔａｌ＿ｗｉｄｔｈは、同一のｓｏｕｒｃｅ＿ｉｄ値のＳＲＤを有するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオのｘ軸に沿った最大範囲を提供する。この値は、存在しない場合は、同一のｓｏｕｒｃｅ＿ｉｄ値を有するＳＲＤアノテーションのｔｏｔａｌ＿ｗｉｄｔｈ値に設定される。所与のｓｏｕｒｃｅ＿ｉｄ値について、少なくとも１つのｔｏｔａｌ＿ｗｉｄｔｈ値が指定されなければならない。
−ｔｏｔａｌ＿ｈｅｉｇｈｔは、同一のｓｏｕｒｃｅ＿ｉｄ値のＳＲＤを有するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオのｙ軸に沿った最大範囲を提供する。この値は、存在しない場合は、同一のｓｏｕｒｃｅ＿ｉｄ値を有するＳＲＤアノテーションのｔｏｔａｌ＿ｈｅｉｇｈｔ値に設定される。所与のｓｏｕｒｃｅ＿ｉｄ値について、少なくとも１つのｔｏｔａｌ＿ｈｅｉｇｈｔ値が指定されなければならない。
−ｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄは、同一のｓｏｕｒｃｅ＿ｉｄ値を有するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎのグループに関する識別子を提供する。ｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄパラメータは、ＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎのグループが重なりのない若しくは間隙のない連続ビデオのグループを構成しているか、又は同一のスケーラビリティレイヤの一部であることを示すのに使用されることができる。
ｏｂｊｅｃｔ＿ｘ及びｏｂｊｅｃｔ＿ｙパラメータ（それぞれｏｂｊｅｃｔ＿ｗｉｄｔｈ及びｏｂｊｅｃｔ＿ｈｅｉｇｈｔ）は、ソースと関連付けられた座標系において関連するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎの、ｓｏｕｒｃｅ＿ｉｄパラメータによって識別される２Ｄ位置（それぞれ２Ｄサイズ）を表す。この座標系は、任意の原点を使用し得る。特定の実施形態によれば、ｘ軸は左から右に向けられ、ｙ軸は上から下に向けられる。同一のｓｏｕｒｃｅ＿ｉｄ値を共有する全てのＳＲＤは、同一の原点及び軸配向を有する。
ｔｏｔａｌ＿ｗｉｄｔｈ及びｔｏｔａｌ＿ｈｅｉｇｈｔ値は、この座標系における参照空間を定義する。ｏｂｊｅｃｔ＿ｘ、ｏｂｊｅｃｔ＿ｙ、ｏｂｊｅｃｔ＿ｗｉｄｔｈ及びｏｂｊｅｃｔ＿ｈｅｉｇｈｔパラメータの値は、ｔｏｔａｌ＿ｗｉｄｔｈ及びｔｏｔａｌ＿ｈｅｉｇｈｔパラメータの値に関連している。同一のｓｏｕｒｃｅ＿ｉｄ値を共有するＳＲＤの位置（ｏｂｊｅｃｔ＿ｘ、ｏｂｊｅｃｔ＿ｙ）及びサイズ（ｏｂｊｅｃｔ＿ｗｉｄｔｈ、ｏｂｊｅｃｔ＿ｈｅｉｇｈｔ）は、参照空間のサイズを考慮して、すなわち、それぞれのディスクリプタのｏｂｊｅｃｔ＿ｘ及びｏｂｊｅｃｔ＿ｗｉｄｔｈ値をｔｏｔａｌ＿ｗｉｄｔｈ値で除し、ｏｂｊｅｃｔ＿ｙ及びｏｂｊｅｃｔ＿ｈｅｉｇｈｔ値をｔｏｔａｌ＿ｈｅｉｇｈｔ値で除した後に比較されてもよい。
上述したように、仮想現実ビデオサーバは、異なる処理能力及び異なるディスプレイ構成、例えば狭角ディスプレイ（ゴーグルに関しては通常４０−１２０°ＦＯＶ）から顕著な広角（マルチプロジェクタディスプレイ及び／又はウォールスクリーンに関しては最大３６０°ＦＯＶ）を有し得る多種多様なクライアントに対応する必要がある。したがって、適応ストリーミングコンテキストにおいては、ビデオサーバは、ビデオシーケンスの符号化されたバージョンを多数生成して（クライアントによって正しくレンダリングされないサンプルに対して、送信中に帯域幅を消費することを回避するように）各特定のクライアントがその処理制約を満たす適切なメディアストリームを確実に見つけられるようにする必要がある。
本発明の実施形態によれば、ビデオサーバは、ＶＲコンテンツの使用に特定の仮想現実メディアデータの新規の組合せを生成する。これら新規の組合せにより、ＶＲクライアントに対して選択代替が付加され、それによりＶＲクライアントのニーズの機能として最適なＶＲストリームを選択することが可能となる。特に、ビデオサーバは、異なる視野（ＦＯＶ）を有するビデオシーケンスを生成し得る。サーバは、クライアントが最良の品質を与えられた視点を選択できるように、パノラマ画像の特定のエリアにおいて異なる符号化品質も使用してもよい。
品質の差は以下の項目のいずれか１つ又は両方に起因し得る。
−特定のエリアに関する異なる符号化品質（ＱＰ）、及び
−特定の視点においてより高い画素解像度にもたらし得る異なるパノラマ投影
例えば、ビデオサーバは、角錐型投影を使用し得る。この投影モデルにおいては、角錐底面は、他の４つの面よりも高い画素解像度を有する。結果として、角錐底面上に球体として表される３Ｄワイドビューの１つの視点から投影されるサンプルの品質は、反対方向に従って投影されるサンプルよりも良好な品質を有する。それゆえビデオサーバは、異なる投影方向を使用して（例えば、３Ｄワイドビューを表す球体の規則的なサンプリングで、あらゆる方向において）、幾つかのストリーム（例えば３０）を計算する。
符号化処理ループ（例えば図３を参照して説明されるステップ３００から３２６）の最後に得られるストリームのセットは、その後にファイルフォーマット（通常はＩＳＯ ＢＭＦＦ）を使用する異なるメディアストリームにカプセル化される。なお、ストリームのセットは、各ストリームについて異なるカプセル化トラックを使用して同じメディアストリームにカプセル化されてもよい。これには、特に各符号化されるレイヤが単一のメディアストリームの異なるトラックにカプセル化され得るスケーラブルビデオストリームに当てはまる。
付録のテーブル１に示す第１の実施形態によれば、ビデオサーバは、１つのメディアストリームの少なくとも１つのセグメントの視野を特定する情報を含むマニフェストファイル（例えばＤＡＳＨコンテキストに対してはＭＰＤ）を生成する。この情報は、３Ｄワイドビューを表す球体の３Ｄフレーム符号、例えば図１ｂのフレーム符号１３５において、関係するセグメントと共に鑑賞され得る最大視野に対応する。
第１の代替例によれば、ＦＯＶは、それぞれ図１ｃに示す水平及び垂直角度１２５及び１３０などの水平角度、垂直角度又は斜角度のいずれかに対応する単一の値によってパラメータ化される。このＦＯＶ値は、０から３６０まで変化し得るものであり、度で測定された角度に対応する。
ＭＰＤファイルにおいて、この新規のパラメータは、ＭＰＤの幾つかのレベルでの専用ディスクリプタにおいて定義され得る。
特に、この新規のディスクリプタは、ＸＭＬノード（属性又は要素）としてセグメントの記述において定義されてもよく、水平ＦＯＶ角度については＠ＨＦＯＶ、垂直ＦＯＶ角度については＠ＶＦＯＶ又は対角ＦＯＶについては＠ＤＦＯＶである。また、アダプテーションセット、リプレゼンテーション又はサブリプレゼンテーションレベルでの属性又は要素において定義されてもよい。例えばここでは名称が提供され、任意の予約された名称が、ＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＴｙｐｅ要素、ＡｄａｐｔａｔｉｏｎＳｅｔＴｙｐｅ、ＲｅｐｒｅｓｅｎｔａｔｉｏｎＴｙｐｅ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎＴｙｐｅの新規の属性としてＭＰＤのＸＭＬスキームにおいて使用され宣言され得る。
この新規のディスクリプタは、専用のディスクリプタにおいて、例えばサブリプレゼンテーションレベル、リプレゼンテーションレベル又はアダプテーションセットレベルで定義され得る（例えばそのｓｃｈｅｍｅＩｄＵｒｉ属性において「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ＶＲ：２０１６」のような特定のＵＲＮでシグナリングされる）ＶＲコンテンツに専用のディスクリプタにおいて定義され得る。それは、親ＡｄａｐｔａｔｉｏｎＳｅｔ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎがＶＲのｓｃｈｅｍｅＩｄＵｒｉ属性をサポートしないクライアントによって対処される場合にはＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタとして、及び親ＡｄａｐｔａｔｉｏｎＳｅｔ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎがＶＲのｓｃｈｅｍｅＩｄＵｒｉ属性をサポートしないクライアントによって破棄される必要のある場合にはＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタとして定義され得る。
次に、使用されるべき（２つの角度値によってパラメータ化された）ＦＯＶは、ＭＰＤによって提供される角度値及び対応するメディアサンプルのサイズ又はアスペクト比を使用して計算される。説明のために、ＭＰＤによって提供されるＦＯＶ情報が水平ＦＯＶ角度である場合、垂直ＦＯＶ角度は、このＦＯＶ情報値をアスペクト比で除することによって計算される。したがって、一例として、ＭＰＤが１８０（初期設定では度）に等しいＨＦＯＶ値及び１６／９であるアスペクト比を示す場合、垂直値は、１８０＊９／１６＝１０１°に等しくなる。
第２の代替例によれば、ＦＯＶは、同一のディスクリプタを使用する少なくとも２つの角度値によってマニフェストファイルに指定される。第２のＦＯＶを計算する必要がなく、クライアント端でのマニフェストの処理時間はわずかに改善される。
なお、マニフェストファイルにおいてＦＯＶパラメータを定義する効果は、クライアントはマニフェストファイルをパージングしてＦＯＶパラメータの関数として選択する適切なバージョンを識別するだけでよいことである。マニフェストにおけるこの付加的な情報がなければ、クライアントは、全てのバージョンの初期化セグメントをダウンロードしてストリームのＦＯＶに関するファイルフォーマットにおける情報をパージングする必要がある。
したがって、クライアントは、マニフェストファイルをパージングし、各メディアストリーム代替についてＦＯＶの情報を抽出する。クライアントは、そのＦＯＶに最も近いＦＯＶを有するメディアストリームを選択する。ＦＯＶがディスプレイのＦＯＶよりも狭い場合は、復号された画像はＶＲコンテンツの正確な鑑賞を保証するようにレンダリング前に引き延ばされる。
代替例では、クライアントは、予備的なステップにおいて、ＦＯＶ値がそのＦＯＶよりも狭いメディアストリームを破棄する。
そして、クライアントのディスプレイＦＯＶに最も近いＦＯＶのメディアストリームのみが選択される。それにより、十分なＦＯＶを有するメディアストリームが選択されることが保証される。
他の実施形態によれば、ビデオサーバは、メディアセグメントと関連付けられる目標とするディスプレイの構成を指定するマニフェストにおいて他の情報を指定する。例えばＭＰＤにおいては、これはアダプテーションセットレベルで、リプレゼンテーションレベルで又はサブリプレゼンテーションレベルであっても行われ得る。
例えば、そのような情報は、ディスプレイの目標とするＦＯＶに向けられてもよい。したがって、ストリームは、９０°水平ＦＯＶを有するＨＭＤを目標とするように符号化されてもよく、一方で他のストリームは２１０°水平ＦＯＶを目標とするように符号化されてもよい。目標とする（又は好適な）ＦＯＶがメディアストリームのＦＯＶより狭いことがあるので、目標とする（又は好適な）ＦＯＶは前述のＦＯＶ情報と異なることが観察される。特に、ある撮像投影は、パノラマの特定の部分上により多くの画素解像度を提供する。例えば、角錐型投影は、その底面上により高い品質を生成する。角錐底面の対応するＦＯＶは、投影の１つのパラメータであり、それゆえＶＲストリームごとに異なっていてもよい。例えば、結果として生じるストリームは３６０°ＦＯＶ及び３Ｄフレーム符号（例えば図１ｂの３Ｄフレーム符号１３５）における角錐底面のサイズに対応する１２０°の好適な（又は目標とする）ＦＯＶを提供し得る。
付録のテーブル２の疑似マニフェストは、アダプテーションセットレベルで好適な（又は目標とする）ＦＯＶ値（ここでは１８０、度単位とみなされる）を専用のディスクリプタにおいて示すマニフェストの一例である。なお、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ汎用ＤＡＳＨディスクリプタに対する新規属性によって搬送される情報は、このＤＡＳＨ汎用ディスクリプタの値属性に配置されることができる。
結果として、このアダプテーションセットに属する全てのリプレゼンテーションは、１８０°のＦＯＶで表示されるのに適している。好適な（又は目標とする）ＦＯＶパラメータのシンタックスは、先の実施形態のＦＯＶパラメータと同様に定義され得る。特に、それは、それぞれ水平、垂直又は対角の好適なＦＯＶ値のいずれかに対応する複数の値を有する単一のパラメータを介して、又は３つの可能なＦＯＶ角度からの２つの値によって指定され得る。単一のＦＯＶ角度値を使用する場合には、ＨＦＯＶは、デフォルトで使用される。２つの値が使用される場合には、ＨＦＯＶ及びＶＦＯＶが、デフォルトで使用される。代替例において、好適なＦＯＶディスクリプタは、使用される角度及びＦＯＶを定義するそれらの値も指定する情報を含む。
クライアント端では、マニフェストの受信に応じて、かつ後者をパージングした後、好適なＦＯＶパラメータを得てもよい。結果として、クライアントは、その所定のディスプレイのＦＯＶ以上に大きく、かつ最も近い好適な（又は目標とする）ＦＯＶを有するバージョンを選択し得る。結果として、クライアントは、そのレンダリングデバイス上に最高のレンダリング品質を提供することになるメディアセグメントを要求することが可能となる。
マニフェストに指定され得る第２のパラメータは、最適な視点（すなわち１つのバージョンを鑑賞するのに使用されるべき鑑賞方向）である。このパラメータは、ワイドビューリプレゼンテーションのフレーム符号（例えば図１ｂのフレーム符号１３５）における鑑賞方向を指定する値のセットを記述する。
付録のテーブル３は、そのようなパラメータをＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタにバージョンレベルで付加することによって、クライアントに最適な視点を提供する方法を説明する疑似マニフェストの一例である。この例によれば、このパラメータは、４つのｏｐｔｉｍａｌＶｉｅｗｐｏｉｎｔ値＝「ｒｅｆＩＤ，ｙａｗ，ｐｉｔｃｈ，ｒｏｌｌ」によって定義され、
−ｒｅｆＩＤは、共通のフレーム符号を選択する目的のフレーム符号の識別子であり、
−ｙａｗは、フレーム符号識別子の値に関連付けられるフレーム符号におけるＹａｗ角度の値であり、
−ｐｉｔｃｈは、フレーム符号識別子の値に関連付けられるフレーム符号におけるＰｉｔｃｈ角度の値であり、
−ｒｏｌｌは、フレーム符号識別子の値に関連付けられるフレーム符号におけるＲｏｌｌ角度の値である。
通常、ＨＭＤシステムに対して、Ｙａｗ角度は頭部の左から右へ又は右から左への回転に対応し、Ｐｉｔｃｈ角度は上から下へ又は下から上への回転に対応し、Ｒｏｌｌ角度は鑑賞方向軸周りの頭部の回転（傾き）に対応する。
フレーム符号の識別子は、好ましくは、最適な鑑賞方向座標が同一のフレーム符号において定義されるバージョンに対して同一となる固有の識別子の値である。フレーム符号の原点は、デフォルト、又はクライアントによって（例えばＤＡＳＨコンテキストにおいては「ｍａｉｎ」値を有するＲｏｌｅディスクリプタを介して、又はデフォルトの視点情報を提供するのに定義された特定の名称及びｓｃｈｅｍｅＩｄＵｒｉを有する専用のＤＡＳＨディスクリプタを介して）選択された初期バージョンであるべきであり、Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌは、このリプレゼンテーションに対しては０に等しくなるべきである。
代替例によれば、Ｙａｗ値のみが定義され、残る２つの値（Ｐｉｔｃｈ及びＲｏｌｌ）はオプション（及びデフォルトで０に設定される）である。例えば、値＝「０，１８０，０」は、ヨー角度の値は０であり、ピッチ角度の値は１８０°であり、ロール角度の値は０であることを意味する。別の例は、値＝「１２０」である。この場合、ヨー値のみが指定され（１２０に等しい）ピッチ及びロールはデフォルトの値０に等しいと推測される。デフォルトによって、角度値は度で表され、他の単位が好適である場合には、ＦＯＶディスクリプタにａｎｇｌｅ＿ｕｎｉｔ（例えばａｎｇｌｅ＿ｕｎｉｔ＝「ｒａｄｉａｎ」）又は第４の選択的パラメータを提供する付加的な属性を必要とする。
代替例によれば、Ｙａｗ、Ｐｉｔｃｈ及びＲｏｌｌは、全て選択的である（及びデフォルトで０に設定される）。そのような場合には、ディスクリプタは、どの角度が定義されるかを明示的に指定した。例えば、前述の値属性は、２つのコンポーネントパラメータのリストである。第１のコンポーネントは、例えば「ヨー」、「ピッチ」若しくは「ロール」と等しい角度のタイプを指定する文字列であるか、又は各角度タイプに関連付けられる所定の整数値である。第２のコンポーネントは、第１のコンポーネントの値によって内部に定められる角度の対応する値である。
ここでも、クライアント端では、マニフェストの受信に応じて、かつ後者をパージングした後、最適な視点パラメータを得てもよい。その結果、クライアントは、視点状態に最も近い最適な視点を有するバージョンを選択し得る。例えば、ユーザの現在の鑑賞方向（視点）がメディアストリーム選択処理（例えば図３ｂのステップ３６５）の間に特定される場合には、この観測視点は、各バージョンの最適な視点情報と比較される参照値として使用される。観測視点との差異を最小にするバージョン（すなわちＤＡＳＨコンテキストにおけるＡｄａｐｔａｔｉｏｎＳｅｔ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ）は、選択される。結果として、クライアントは、現在のクライアントの鑑賞状態に対して最高の品質を提供すべきメディアセグメントを要求することが可能となる。
付録のテーブル２及びテーブル３に示す例において、マニフェストパーザがサポートされていない場合にはディスクリプタを無視可能とするために、好適なＦＯＶ及び／又は最適な視点がＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタに指定されることが観察される。実際に、最適な視点又は好適なＦＯＶのいずれかが無視されていても、リプレゼンテーションは、さらに再生可能である。
代替例によれば、ビデオサーバは、非ＶＲクライアントに有用なものとはならない代替のリプレゼンテーションを無視させ、デフォルトのリプレゼンテーション（ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタを伴うもの）を選択させるように、１つの特定のリプレゼンテーション又はアダプテーションセットを除いてこれらのパラメータをＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタに指定する。パラメータは、好ましくは、これらのパラメータがアダプテーションセットレベル、リプレゼンテーションレベル又はサブリプレゼンテーションレベルのいずれかで使用され得るように、ＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＴｙｐｅで提供される。
他の代替例によれば、好適なＦＯＶ及び／又は最適な視点は、ＶＲコンテンツに関する情報のパージングをさらに簡単にするように、アダプテーションセットレベルにおいて（又はリプレゼンテーション若しくはサブリプレゼンテーションレベルにおいて）ある専用のＸＭＬノード内に（ＭＰＤスキームに宣言されるその名称で）指定される。次に、ＶＲ情報パラメータは、子要素又はＭＰＤのＸＭＬ要素のいずれかの属性のどちらかとして指定され得る。そのような場合には、ＶＲ情報は、存在する場合には、それが指定されるＸＭＬ要素によって記述されたメディアストリームだけでなく、その全ての子にも適用される。
さらに他の実施形態によれば、ビデオサーバは、クライアントがパノラマ画像のサブパートに関連付けられる異なるレベルの品質の機能として適切なバージョンを選択することに役立つマニフェストファイルを生成し得る。例えば、ビデオサーバは、立方体型投影を使用する１つのパノラマビデオシーケンスに対して幾つかのメディアデータストリームを符号化し得る。立方体型投影の各面は、異なる品質レベルで符号化され得る。したがって、ビデオサーバは、（各ストリームに対して異なる）１つのパノラマ領域が高品質であるがその他は中度又は低度の品質となるように、各ストリーム内において６つの異なるストリームを生成する。同様のストリーム構成が、パノラマ投影の他のタイプに対して使用され得る。
そのような場合、クライアントは、ユーザ鑑賞方向（又は視点）の機能として選択するバージョンを特定することができない。したがって、ビデオサーバは、好ましくは、クライアントがユーザ視点の機能として適切なバージョンを選択するのに役立つヒントを提供するマニフェストファイルに新規の情報を付加する。
この実施形態によれば、サーバは、パノラマ領域に好ましくは対応するパノラマストリームにおける品質領域のセットを定義する。品質領域の位置は、品質領域の記述であるマニフェストの新規の情報フィールドにおいて予め定められていてもよいし、指定されていてもよい。そのようなｑｕａｌｉｔｙＲｅｇｉｏｎパラメータは、ｘ軸及びｙ軸座標を含み各パノラマ画像における領域並びにパノラマ領域のサイズ（幅及び高さ）を局在化する。これらの４つの値は、パノラマ領域を識別するｑｕａｌｉｔｙＲｅｇｉｏｎパラメータの値の第１のセットを構成する。
パノラマ領域の位置に加えて、オプションのパラメータは、パノラマ領域に関するさらなる情報を指定するのに使用され得る。説明のために、それによってパノラマ領域が対応する立方体型投影の面を示す識別子が指定され得る。識別子は、前、後、上、下、左又は右の面に対応する所定の整数値であり得る。例えば、ＯＭＡＦにおいて提案された表面識別子値の１つであり得る。識別子は、先のリストにおける面の名称そのままである文字列要素としても定義されてもよい。同様のアプローチが、他の投影タイプに対して使用され得る。
他のフィールドは、値の第１のセットと関連付けられて、領域と関連付けられる品質ランクを提供し得る。そのような品質ランクは、０に等しい場合には最高品質を示す整数値であり得る。品質ランクが増加する場合は、品質が低下する。あるいは、品質ランクは、「ｈｉｇｈ、ｌｏｗ、ｍｅｄｉｕｍ、ｈｉｇｈｅｓｔ及びｌｏｗｅｓｔ」などの所定の値のセット内に選択され得る。
付録のテーブル４ａに、以下のシンタックスｑｕａｌｉｔｙＲｅｇｉｏｎ＝「ｑＲｅｇＩｄ，ｘ，ｙ，ｗ，ｈ」を有する品質領域ディスクリプタの一例を示し、
−ｑＲｅｇＩｄは、品質領域の固有識別子であり、
−（ｘ，ｙ）は、品質領域の座標であり、
−（ｗ，ｈ）は、それぞれ品質領域の幅及び高さである。
この例では、ｑｕａｌｉｔｙＲｅｇｉｏｎは、ＤＡＳＨ汎用ディスクリプタの新規の要素として表される。それらは、１つの新規の属性におけるリストとしても表されることもでき、ＤＡＳＨの場合には選択されたディスクリプタ（ＤＡＳＨ汎用のもの又は明示的なもののいずれか）内にこれら５つのパラメータを提供する任意のＸＭＬ構造によっても表されることもできる。
ｑｕａｌｉｔｙＲｅｇｉｏｎ座標は、パノラマビデオシーケンスフレーム符号において定義される。ｑｕａｌｉｔｙＲｅｇｉｏｎは、パノラマビデオシーケンスの全ての異なるバージョンに共通のディスクリプタにおいて定義される。通常、テーブル４ａの例に示すように、ＭＰＤファイルは、Ｐａｎｏｒａｍａバージョン毎に幾つかのＲｅｐｒｅｓｅｎｔａｔｉｏｎを有するＡｄａｐｔａｔｉｏｎＳｅｔを含む。それゆえ、ＱｕａｌｉｔｙＲｅｇｉｏｎディスクリプタは、ＡｄａｐｔａｔｉｏｎＳｅｔレベルで定義される。パノラマビデオシーケンスの異なるバージョンが異なるサイズを有する場合には、ｑｕａｌｉｔｙＲｅｇｉｏｎ座標は、その幅及び高さ属性を使用するＡｄａｐｔａｔｉｏｎＳｅｔ参照において定義される。ＰａｎｏｒａｍａにおけるｑｕａｌｉｔｙＲｅｇｉｏｎの対応する位置は、ＡｄａｐｔａｔｉｏｎＳｅｔの幅（ｒｅｓｐ．高さ）及びパノラマビデオシーケンスの幅（ｒｅｓｐ．高さ）の比を適用することによって特定される。品質ランク情報は、各パノラマバージョンレベルで、第１のパラメータがｑｕａｌｉｔｙＲｅｇｉｏｎディスクリプタに記述された領域の固有識別子ｑＲｅｇＩｄであるｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｏｒで指定される。ｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｏｒの第２のパラメータは、ｑｕａｌｉｔｙＲａｎｋの値である。
代替例において、パノラマ領域の位置は、空間的関係ディスクリプタに従って指定される。例えば、ＤＡＳＨコンテキストにおいては、ＳＲＤディスクリプタが、各品質領域に対応する各メディアストリームに対して使用される。この場合は、ＳＲＤディスクリプタは、その値が対応する品質領域の固有識別子に対応するｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄを含む。テーブル４ｂに、ＳＲＤディスクリプタを使用してｑｕａｌｉｔｙＲｅｇｉｏｎ情報を指定する情報を有するマニフェストファイルを示す。シーケンスの２つのパノラマバージョンは、第１のＡｄａｐｔａｔｉｏｎＳｅｔにおいて２つのＲｅｐｒｅｓｅｎｔａｔｉｏｎ内に記述される。さらに、ＳＲＤディスクリプタは、この第１のＡｄａｐｔａｔｉｏｎＳｅｔにおいて使用されパノラマビデオシーケンスが品質領域にさらに分割されることを示す。そして、品質領域の各々（例えば２つ）は、異なるＡｄａｐｔａｔｉｏｎＳｅｔに（例えば第２及び第３のＡｄａｐｔａｔｉｏｎＳｅｔに）記述される。品質領域に対応するＡｄａｐｔａｔｉｏｎＳｅｔのＳＲＤディスクリプタにおいて使用されるｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄ値は、ｑＲｅｇＩｄ品質領域の固有識別子として使用される。そして、先の実施形態と同一のｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｏｒは、１つのパノラマビデオシーケンスバージョンに対応する各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎにおいて使用される。
他の実施形態によれば、品質領域は、ワイドビューバージョンのフレーム符号（例えば図１ｂのフレーム符号１３５）において定義される。そのような場合には、品質領域を局在化することを可能とする値の第１のセットは、（図１ｃを参照することにより示すように）視点及びＦＯＶに関連付けられたフレーム符号において特定される。
好適な視点を参照することによって、上述したように、品質領域の視点は、ヨー、ピッチ及びロール値に対応する３つのベクトル成分のセットとして定義され得る。代替例においては、３つの成分のうちの少なくとも１つが提供され、他は０に等しいと推測される。
同様に、品質領域のＦＯＶは、単一のＦＯＶ値、典型的には水平ＦＯＶ角度、又は２つのＦＯＶ値、例えば水平ＦＯＶ角度及び垂直ＦＯＶ角度で表され得る。
最後の実施形態によって提供される効果は、品質領域がパノラマ投影から独立して定義され得るという事実にある。
付録のテーブル４ｃに、パノラマシーケンスの２つのバージョンに対応する２つのリプレゼンテーションに指令された疑似マニフェストの一例を示す。第１のリプレゼンテーションによれば、１２０°の水平ＦＯＶ及び９０°の垂直ＦＯＶに対する（０，０，０）視点方向における品質領域は、高品質レベル（「ｒ０」）を用いて符号化される。パノラマ画像の残りの領域は、より低い品質レベルを用いて符号化される。第２のリプレゼンテーションによれば、１２０°の水平ＦＯＶ及び９０°の垂直ＦＯＶに対する（１８０，０，０）視点方向における品質領域は高品質を用いて意符号化され、パノラマ画像の残りの領域はより低い品質レベルを用いてさらに符号化される。
特定の実施形態によれば、サーバ２００は、アダプテーションセット、リプレゼンテーション又はサブリプレゼンテーションレベルで専用のＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタにｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｉｏｎパラメータを含むＭＰＤファイルを生成する。
このパラメータのシンタックスは、以下のようなものであればよい。
ｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｉｏｎ＝“ｐｉｔｃｈ，ｙａｗ，ｒｏｌｌ，ｈ＿ｆｏｖ，ｖ＿ｆｏｖ，ｑｕａｌｉｔｙＲａｎｋ［，ｒｅｇｉｏｎＩＤ］”
ここで
−ｐｉｔｃｈ、ｙａｗ及びｒｏｌｌは、フレーム符号における視点方向であり、
−ｈ＿ｆｏｖ及びｖ＿ｆｏｖは、それぞれ水平及び垂直ＦＯＶ角度であり、
−ｑｕａｌｉｔｙＲａｎｋは、品質ランクであり、及び
−オプションのｒｅｇｉｏｎＩＤ値は、（適用可能であれば）品質領域が対応するパノラマ領域を示す。
そのようなマニフェストを受信すると、クライアントは、各品質領域記述に記述された対応する値とそれらを比較するように、その鑑賞方向及び現在のＦＯＶを特定する。現在表示されているパノラマ画像のエリアを含む品質領域に対する最高品質ランクを提供するリプレゼンテーションが選択されてもよい。
マニフェスト、例えばクライアント端でのＭＰＤのパージングを簡略化するために、ビデオサーバは、ＭＰＤにおいて指定される品質領域のリストを生成し得る。品質領域のリストは、ＭＰＤの任意のレベル（トップレベル、ピリオド、アダプテーションセット、リプレゼンテーション又はサブリプレゼンテーション）で、そのリストが領域リストのレベルの任意のサブレベルに対して有効であるという制約と共に定義され得る。好ましくは、品質領域のリストは、ピリオドレベルで定義される。
先の実施形態を参照して上述したように、品質領域のリストの品質領域は、ワイドビューリプレゼンテーションのフレーム符号（例えば図１ｂのフレーム符号１３５）における視点及びＦＯＶから特定され得る。例えば、１つのｑｕａｌｉｔｙＲｅｇｉｏｎパラメータは、ｑＲｅｇＩｄが品質領域の固有識別子であり、（ｐｉｔｃｈ，ｙａｗ，ｒｏｌｌ）が視点値を表し、（ｈ＿ｆｏｖ，ｖ＿ｆｏｖ）が水平及び垂直ＦＯＶ角度を表すｑｕａｌｉｔｙＲｅｇｉｏｎ＝“ｑＲｅｇＩｄ，ｐｉｔｃｈ，ｙａｗ，ｒｏｌｌ，ｈ＿ｆｏｖ，ｖ＿ｆｏｖ”値で定義され得る。
品質領域のリストは、品質領域におけるワイドビューのサンプリングに対応する幾つかの品質領域のリストである。
付録のテーブル５に示すように、疑似マニフェストファイルは、ＶＲ ｓｃｈｅｍｅＩｄＵｒｉ属性がピリオドレベルで定義される専用のディスクリプタにｎ個の品質領域（ここでｎは４より大きい整数値）のリストを定義する。
各リプレゼンテーションは、品質領域識別子を参照して品質ランク値が後続する品質領域識別子を備えるｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｉｏｎ属性における各領域に関連付けられたｑｕａｌｉｔｙＲａｎｋ属性を指定する。
ｎ個の品質領域の各々に対するｑｕａｌｉｔｙＲａｎｋ値を指定することを回避するために、特別な品質領域識別子（通常、「ｄｅｆａｕｌｔ」文字列又は−１に等しい）は、非特定領域に対するデフォルトのｑｕａｌｉｔｙＲａｎｋ値を示す。
テーブル５に示す例において、第１のリプレゼンテーションは、品質領域のデフォルトのｑｕａｌｉｔｙＲａｎｋ値が５であり品質領域識別子ゼロに対応するｑｕａｌｉｔｙＲｅｇｉｏｎが品質ランク０を有することを示す２つの品質領域記述パラメータを含む。
クライアント端では、マニフェストを受信すると、後者は、パージングされて、ユーザによって表示されるべき品質領域の識別子を特定する。そして、クライアントは、そのように特定された品質領域識別子に対する最低のｑｕａｌｉｔｙＲａｎｋ値を有するリプレゼンテーションを選択する。したがって、この最後の実施形態において、クライアント側のパージング処理は、減少する。
なお、前述した実施形態において、ＶＲ関連パラメータは、ＭＰＤの任意のレベルで定義され得る。特に、新規のパラメータの任意の組合せが、サーバとクライアントとの間のストリームコンテキストに応じて可能である。さらに、ＶＲ関連パラメータは、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ＶＲ：２０１６」と等しいＳｃｈｅｍｅＩｄＵｒｉ属性を有する専用のディスクリプタ、典型的にはＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタ（又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタ）で定義するべきである。ＶＲ関連パラメータは、新規のＸＭＬノード（要素又は属性）として定義されてもよい。代替例において、これらのパラメータは、任意のＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＴｙｐｅ互換可能なＸＭＬ要素の新規の要素（又は属性）として直接導入される。そのような場合には、ＶＲ関連パラメータは、ＶＲ関連パラメータ及びその子パラメータを含む最上位のＸＭＬ要素に対して有効である。
特定の実施形態によれば、サーバは、再生可能なＶＲコンテンツに対するデフォルトのリプレゼンテーションを選択することによって、新規のＶＲディスクリプタをサポートしないクライアントとの後方互換性を提供する。選択されたリプレゼンテーションは、例えばパノラマビューに対応していてもよいし、ディスプレイ端で投影処理が適用されなくても過大な歪みなく表示可能なパノラマビューのデフォルトのパノラマ領域に対応していてもよい。
その目的のため、サーバは、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタタイプをこの選択されたリプレゼンテーションに関連付けられる新規のＶＲディスクリプタに対して使用することができ、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタタイプをその他のリプレゼンテーションに対して使用することができる。これにより、新規のＶＲディスクリプタをサポートしないクライアントがマニフェストファイルの１つのビューを復号できることが保証される。他の代替例において、選択されたリプレゼンテーションは、例えば「ｍａｉｎ」値のＲｏｌｅディスクリプタを介してデフォルトのビューとして定義される。
図５は、本発明の１以上の実施形態を実装するコンピューティングデバイス５００の概略ブロック図である。コンピューティングデバイス５００は、マイクロコンピュータ、ワークステーション又は軽量ポータブルデバイスなどのデバイスであってもよい。コンピューティングデバイス５００は、
−マイクロプロセッサなどの中央処理装置（ＣＰＵ）５０１、
−本発明の実施形態の方法の実行可能コードを記憶するランダムアクセスメモリ（ＲＡＭ）５０２、その他、マニフェストを読み出し、及び書き込み、並びに／又はビデオを符号化し、並びに／又は所与のファイルフォーマットでデータを読み出し、若しくは生成するための方法を実行するのに必要な変数及びパラメータを記録するように適合されたレジスタ、例えばそのメモリ容量が拡張ポートに接続されたオプションのＲＡＭによって拡張可能である、
−本発明の実施形態を具現化するコンピュータプログラムを記憶する読出し専用メモリ（ＲＯＭ）５０３、
−通常、処理されるべきデジタルデータが送信又は受信される通信ネットワークに順次接続されるネットワークインターフェース５０４。ネットワークインターフェース５０４は、単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェースのセット（例えば有線及び無線インターフェース、又は異なる種類の有線若しくは無線インターフェース）から構成されてもよい。データは、ＣＰＵ５０１において稼働するソフトウェアアプリケーションの制御下で送信用にネットワークインターフェースに書き込まれ、又は受信用にネットワークインターフェースから読み出される。
−ユーザからの入力を受信する又はユーザに情報を表示するユーザインターフェース（ＵＩ）５０５、
−ハードディスク（ＨＤ）５０６、
−ビデオソース又はディスプレイなどの外部デバイスとデータを送受信するためのＩ／Ｏモジュール５０７
に接続された通信バスを備える。
実行可能コードは、読出し専用メモリ５０３、ハードディスク５０６、又は例えばディスクなどの取り外し可能デジタル媒体のいずれかに記憶され得る。変形例によれば、プログラムの実行可能コードは、実行される前にハードディスク５０６などの通信デバイス５００の記憶手段の１つに記憶されるために、ネットワークインターフェース５０４を介して通信ネットワークによって受信され得る。
中央処理装置５０１は、本発明の実施形態による１つ又は複数のプログラムのソフトウェアコードの命令又は一部の実行を制御及び指示するように適合され、その命令は前述の記憶手段の１つに記憶される。電源投入後、ＣＰＵ５０１は、例えばプログラムＲＯＭ５０３又はハードディスク（ＨＤ）５０６からそれらの命令がロードされた後のソフトウェアアプリケーションに関連する主ＲＡＭメモリ５０２からの命令を実行することができる。ＣＰＵ５０１によって実行される場合、そのようなソフトウェアアプリケーションは、前述の図に示すフローチャートのステップを実行する。
この実施形態においては、装置は、ソフトウェアを使用して本発明を実施するプログラム可能な装置である。一方、代替的には、本発明は、（例えば特定用途向け集積回路すなわちＡＳＩＣの形態における）ハードウェアにおいて実施されてもよい。
本発明を特定の実施形態を参照して上で説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある変形例は当業者には明らかになるはずである。
例えば本発明は、例えば特定の対象領域を拡大するようにＴＶ又はマルチメディアディスプレイのリモートコントローラとして作用するカメラ、スマートフォン、ヘッドマウントディスプレイ又はタブレットのようなデバイスに組み込まれてもよい。それらはまた、特定の対象エリアを選択することによってマルチメディアプレゼンテーションの個人用の閲覧体験を有するのに同じデバイスから使用され得る。これらのデバイス及び方法からのユーザによる他の使用は、その人の選好するビデオの選択された一部を他の接続デバイスと共有することである。それらはまた、監視カメラが本発明によるデータを提供する方法をサポートするという条件で、スマートフォン又はタブレットと共に使用して、監視下にある建造物の特定エリアで何が起こっているかを監視することができる。
多くのさらなる変更及び変形が、前述の例示された実施形態を参照することにより当業者に示唆され、それらは例としてのみ与えられており、本発明の範囲を限定することを意図したものではなく、その範囲は添付の特許請求の範囲によってのみ特定される。特に、異なる実施形態からの異なる特徴は、適宜入れ替えられてもよい。
付録
テーブル１：視野を指定する情報を有する疑似マニフェスト
<MPD>
<Period …>
<!-- Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" HFOV="180"/>
<SegmentTemplate media="seg_$Number$.m4s" startNumber="1" initialization="seg_init.mp4"/>
<Representation id="1" ...>… </Representation>
<Representation id="2" …>… </Representation>
</AdaptationSet>
<!-- Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" HFOV="360"/>
<SegmentTemplate media="seg2_$Number$.m4s" startNumber="1" initialization="seg2_init.mp4" …/>
<Representation Id="3’ …>… </Representation>
</AdaptationSet>
</MPD>

テーブル２：好適な視野を指定する情報を有する疑似マニフェスト
<MPD>
<Period …>
<!-- Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" preferredFOV="180"/>
<SegmentTemplate media="seg_$RepresentationId$_$Number$.m4s" startNumber="1" initialization="seg_$RepresentationId$_init.mp4"/>
<Representation id="1" ...>… </Representation>
<Representation id="2" …> … </Representation>
</AdaptationSet>
</MPD>

テーブル３：最適な視点を指定する情報を有する疑似マニフェスト
<MPD>
<Period …>
<!-- First Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" optimalViewpoint=”0,0,0,0"/>
<SegmentTemplate media="seg_$Number$.m4s" startNumber="1" initialization ="seg_init.mp4"/>
<Representation id="1" ...>… </Representation>
<Representation id="2" …> … </Representation>
<!-- Second Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" optimalViewpoint=”0,180,0,0"/>
<SegmentTemplate media="seg2_$Number$.m4s" startNumber="1" initialization ="seg2_init.mp4"/>
<Representation id="3" ...>… </Representation>
<Representation id="4" …> … </Representation>
</AdaptationSet>
</MPD>

テーブル４ａ：ＳＲＤディスクリプタに基づく品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<…>
<AdaptationSet width=1920 height=1080>
<SupplementalProperty schemeIdUri="urn:mpeg:dash:VR:2016"
<qualityRegion qRegId=”1” x=”0” y=”0” w=”1920” h=”540” />
<qualityRegion qRegId="2” x=”0” y=”540” w=”1920” h=”540" />
</SupplementalProperty>
<!-- First Panorama version -->
…
<Representation …>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=“1” quality=“0” />
<qualityRegionDescription qRegId=”2” quality= “5” />
</SupplementalProperty>
…
</Representation>

<!-- Second Panorama version -->
…
<Representation …>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”1” quality =“5” />
<qualityRegionDescription qRegId=”2” quality=“0”/>
</SupplementalProperty>
…
</Representation>
<AdaptationSet>

テーブル４ｂ：ＳＲＤディスクリプタに基づく品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<…>
<!-- First Panorama version -->
…
<AdaptationSet …>
<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014"
value="1, 0, 0, 0, 0, 1920, 1080"/>
<Representation …>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”1” quality=”0” />
<qualityRegionDescription qRegId=”2” quality =”5”/>
</SupplementalProperty>
…
</Representation>

<!-- Second Panorama version -->
…
<Representation …>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”1” quality=”5” />
<qualityRegionDescription qRegId =”2” quality =”0”/>
</SupplementalProperty>
…
</Representation>
</AdaptationSet>
…
<!-- First quality region-->
<AdaptationSet…>
…
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014"
value="1, 0, 0, 1920, 540, 1920, 1080, 1"/>
…
</AdaptationSet>

<!-- Second quality region2-->
<AdaptationSet>
…
< EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014"
value="1, 0, 540, 1920, 540, 1920, 1080, 2"/>
…
</AdaptationSet>
<…>

テーブル４ｃ：品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<!-- First Panorama view 1-->
…
<Representation …>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” qualityRegionDescription=”0, 0, 0, 120, 90, r0, front”/>
…
</Representation>
…
<!-- Second Panorama view 2-->
<Representation>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0,Pyramidal,2” qualityRegionDescription=”180,0,0,120,90,r0,front”/>
…
</Representation>
<…>

テーブル５：品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<…>
<!-- Quality Region descriptions -->
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016">
<qualityRegion value=”0, 0, 0, 0, 120, 90”/>
<qualityRegion value=”1, 10, 0, 0, 120, 90”/>
<qualityRegion value=”2, 20, 0, 0, 120, 90”/>
<qualityRegion value=”3, 30, 0, 0, 120, 90”/>
<…>
<qualityRegion value=”n,320, 0, 0, 120,9 0”/>
</SupplementalProperty>
<…>
<!-- First Panorama view 1-->
<Representation>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”default” quality=”5” />
<qualityRegionDescription qRegId=”0” quality=”0”/>
</SupplementalProperty>
…
</Representation>
<…>
<!-- Second Panorama view 2-->
<Representation>
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”default” quality=”5” /> <qualityRegionDescription qRegId =”1” quality=”0”/>
</SupplementalProperty>
…
</Representation>
<…>

Claims (17)

  1. 全方向メディアフォーマットに準拠したメディアデータを受信するための方法であって、
    MPEG-DASH規格に準拠し、かつ複数の領域のメディアデータのURI（uniform resource identifier）と、前記複数の領域のそれぞれのメディアデータを記述するメディア情報と、前記複数の領域の少なくとも１つの品質ランクを示す品質情報であって前記品質ランクに対応する所定の整数値と、を含むメディアプレゼンテーションディスクリプションをサーバから受信するステップと、
    前記品質ランクに応じて１以上の領域を選択するステップと、
    前記メディアプレゼンテーションディスクリプションの少なくとも１つのURIを用いて前記１以上の領域に対応するメディアデータを要求する少なくとも１つの要求メッセージを前記サーバに送信するステップと、
    前記サーバから、前記少なくとも１つの要求メッセージに従って前記１以上の領域に対応する前記メディアデータを受信するステップと、
    を有することを特徴とする方法。
  2. 前記品質情報は、アダプテーションセットレベル、またはリプレゼンテーションレベルにおいて存在することを特徴とする請求項１に記載の方法。
  3. 前記メディアプレゼンテーションディスクリプションは、さらに視野情報のフィールドを含むことを特徴とする請求項１または２に記載の方法。
  4. 全方向メディアフォーマットに準拠したメディアデータを提供する方法であって、
    MPEG-DASH規格に準拠し、かつ複数の領域のメディアデータのURI（uniform resource identifier）と、前記複数の領域のそれぞれのメディアデータを記述するメディア情報と、前記複数の領域の少なくとも１つの品質ランクを示す品質情報であって前記品質ランクに対応する所定の整数値とを含むメディアプレゼンテーションディスクリプションをクライアントデバイスに送信するステップと、
    前記クライアントデバイスから、前記メディアプレゼンテーションディスクリプションの少なくとも１つのURIを用いて、前記品質ランクに応じて選択された１以上の領域に対応するメディアデータを要求する少なくとも１つの要求メッセージを受信するステップと、
    前記クライアントデバイスに、前記少なくとも１つの要求メッセージに従って前記１以上の領域に対応する前記メディアデータを提供するステップと、
    を有することを特徴とする方法。
  5. 前記品質情報は、特定の@schemeldURIを用いてSupplementalProperty要素に記述されることを特徴とする請求項１から４のいずれか１項に記載の方法。
  6. 前記領域は、２次元領域であることを特徴とする請求項１から５のいずれか１項に記載の方法。
  7. 前記領域は、３次元幾何学的表示面における前記メディアデータの幾何学的投影を表すことを特徴とする請求項１から５のいずれか１項に記載の方法。
  8. 前記領域は、球体の少なくとも一部への前記メディアデータの幾何学的投影を表すこと特徴とする請求項７に記載の方法。
  9. 前記球体の少なくとも一部は、pitch値、yaw値、roll値、水平視野角および垂直視野角によって特徴づけられることを特徴とする請求項８に記載の方法。
  10. 全方向メディアフォーマットに準拠したメディアデータを受信するクライアントデバイスであって、
    MPEG-DASH規格に準拠し、かつ複数の領域のメディアデータのURI（uniform resource identifier）と、前記複数の領域のそれぞれのメディアデータを記述するメディア情報と、前記複数の領域の少なくとも１つの品質ランクを示す品質情報であって前記品質ランクに対応する所定の整数値と、を含むメディアプレゼンテーションディスクリプションをサーバから受信する第１の受信手段と、
    前記品質ランクに応じて１以上の領域を選択する選択手段と、
    前記第１の受信手段によって受信した前記メディアプレゼンテーションディスクリプションの少なくとも１つのURIを用いて前記１以上の領域に対応するメディアデータを要求する少なくとも１つの要求メッセージを前記サーバに送信する送信手段と、
    前記サーバから、前記送信手段によって送信した前記少なくとも１つの要求メッセージに従って前記１以上の領域に対応する前記メディアデータを受信する第２の受信手段と、
    を有することを特徴とするクライアントデバイス。
  11. 前記品質情報は、特定の@schemeldURIを用いてSupplementalProperty要素に記述されることを特徴とする請求項１０に記載のクライアントデバイス。
  12. 前記領域は、２次元領域であることを特徴とする請求項１０または１１に記載のクライアントデバイス。
  13. 全方向メディアフォーマットに準拠したメディアデータを提供するサーバであって、
    MPEG-DASH規格に準拠し、かつ複数の領域のメディアデータのURI（uniform resource identifier）と、前記複数の領域のそれぞれのメディアデータを記述するメディア情報と、前記複数の領域の少なくとも１つの品質ランクを示す品質情報であって前記品質ランクに対応する所定の整数値とを含むメディアプレゼンテーションディスクリプションをクライアントデバイスに送信する送信手段と、
    前記クライアントデバイスから、前記メディアプレゼンテーションディスクリプションの少なくとも１つのURIを用いて、前記品質ランクに応じて選択された１以上の領域に対応するメディアデータを要求する少なくとも１つの要求メッセージを受信する受信手段と、
    前記クライアントデバイスに、前記少なくとも１つの要求メッセージに従って前記１以上の領域に対応する前記メディアデータを提供する提供手段と、
    を有することを特徴とするサーバ。
  14. 前記品質情報は、特定の@schemeldURIを用いてSupplementalProperty要素に記述されることを特徴とする請求項１３に記載のサーバ。
  15. 前記領域は、２次元領域であることを特徴とする請求項１３または１４に記載のサーバ。
  16. プログラム可能な装置のためのコンピュータプログラムであって、前記コンピュータプログラムは、前記プログラムが読み込まれ、プログラム可能な装置によって実行されると請求項１から９のいずれか１項に記載の方法の各ステップを実行するための命令を備える、コンピュータプログラム。
  17. 請求項１から９のいずれか１項に記載の方法を実現するコンピュータプログラムの命令を記憶するコンピュータ可読記憶媒体。
JP2018560004A 2016-05-23 2017-05-18 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム Active JP6979035B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1609058.1A GB2550589B (en) 2016-05-23 2016-05-23 Method, device, and computer program for improving streaming of virtual reality media content
GB1609058.1 2016-05-23
PCT/EP2017/062051 WO2017202700A1 (en) 2016-05-23 2017-05-18 Method, device, and computer program for improving streaming of virtual reality media content

Publications (3)

Publication Number Publication Date
JP2019524004A JP2019524004A (ja) 2019-08-29
JP2019524004A5 JP2019524004A5 (ja) 2020-06-25
JP6979035B2 true JP6979035B2 (ja) 2021-12-08

Family

ID=56369831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018560004A Active JP6979035B2 (ja) 2016-05-23 2017-05-18 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム

Country Status (7)

Country Link
US (1) US20190158933A1 (ja)
EP (1) EP3466091B1 (ja)
JP (1) JP6979035B2 (ja)
KR (1) KR102246002B1 (ja)
CN (1) CN109155873B (ja)
GB (1) GB2550589B (ja)
WO (1) WO2017202700A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6485865B2 (ja) * 2015-05-15 2019-03-20 日本電気株式会社 配信制御装置、中継装置、配信システム、配信制御方法、及びプログラム
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
MX2022004787A (es) * 2016-10-12 2022-12-01 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10560660B2 (en) * 2017-01-04 2020-02-11 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
JP2019118026A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019162567A1 (en) 2018-02-23 2019-08-29 Nokia Technologies Oy Encoding and decoding of volumetric video
CN111869221B (zh) * 2018-04-05 2021-07-20 华为技术有限公司 Dash对象之间的有效关联
CN110519652B (zh) * 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
US10779014B2 (en) 2018-10-18 2020-09-15 At&T Intellectual Property I, L.P. Tile scheduler for viewport-adaptive panoramic video streaming
CN113170235A (zh) * 2018-12-03 2021-07-23 索尼集团公司 信息处理装置和方法
WO2020190270A1 (en) * 2019-03-15 2020-09-24 STX Financing, LLC Systems and methods for compressing and decompressing a sequence of images
EP3949422A1 (en) 2019-03-26 2022-02-09 PCMS Holdings, Inc. System and method for multiplexed rendering of light fields
CN112150603B (zh) * 2019-06-28 2023-03-28 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
CN110619669B (zh) * 2019-09-19 2023-03-28 深圳市富视康智能股份有限公司 一种支持多种图形样式的鱼眼图像渲染系统及方法
CN116347183A (zh) * 2020-06-04 2023-06-27 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法及相关装置
CN115004716A (zh) * 2020-06-24 2022-09-02 中兴通讯股份有限公司 容积媒体处理方法和装置
US20220103655A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Proactively selecting virtual reality content contexts
US11922561B2 (en) * 2020-10-06 2024-03-05 Mediatek Singapore Pte. Ltd. Methods and systems for implementing scene descriptions using derived visual tracks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285832A (ja) * 2000-01-24 2001-10-12 Matsushita Electric Ind Co Ltd データ受信装置，データ受信方法，データ伝送方法，およびデータ記憶媒体
CN102056015B (zh) * 2009-11-04 2012-12-05 沈阳迅景科技有限公司 一种全景虚拟现实漫游中的流媒体应用方法
PL2719190T3 (pl) * 2011-06-08 2018-02-28 Koninklijke Kpn N.V. Dostarczanie treści segmentowanej przestrzennie
EP2824885B1 (en) * 2013-07-12 2019-01-23 Provenance Asset Group LLC A manifest file format supporting panoramic video
US10447746B2 (en) * 2013-07-26 2019-10-15 Futurewei Technologies, Inc. System and method for spatial adaptation in adaptive streaming
US20150130814A1 (en) * 2013-11-11 2015-05-14 Amazon Technologies, Inc. Data collection for multiple view generation
US10694192B2 (en) * 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
JP6440747B2 (ja) * 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定

Also Published As

Publication number Publication date
GB201609058D0 (en) 2016-07-06
GB2550589B (en) 2019-12-04
EP3466091B1 (en) 2022-05-04
KR102246002B1 (ko) 2021-04-29
CN109155873A (zh) 2019-01-04
JP2019524004A (ja) 2019-08-29
US20190158933A1 (en) 2019-05-23
GB2550589A (en) 2017-11-29
CN109155873B (zh) 2021-09-17
EP3466091A1 (en) 2019-04-10
WO2017202700A1 (en) 2017-11-30
KR20190008901A (ko) 2019-01-25

Similar Documents

Publication Publication Date Title
JP6979035B2 (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
JP7223106B2 (ja) 仮想現実メディアコンテンツを適応ストリーミングする方法、デバイス及びコンピュータプログラム
JP6735415B2 (ja) オーディオビジュアルコンテンツの観察点および観察向きの制御された選択のための方法および装置
KR102261559B1 (ko) 정보 처리 방법 및 장치
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
WO2019202207A1 (en) Processing video patches for three-dimensional content
JP2019526178A (ja) 空間的にタイリングされた全方位ビデオのストリーミング
WO2018068213A1 (zh) 一种视频数据的处理方法及装置
JP7035088B2 (ja) 魚眼ビデオデータのための高レベルシグナリング
KR20210016530A (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
TWI786572B (zh) 沉浸式媒體提供方法、獲取方法、裝置、設備及存儲介質
KR20210019017A (ko) 컨텐츠의 처리 방법 및 장치
JP2022524871A (ja) メディアコンテンツにおけるレイトバインディングのための方法および装置
CN107438203B (zh) 用于建立和接收清单的方法、网络设备及终端
KR20200020913A (ko) 미디어 정보를 처리하는 방법 및 장치
US20240080501A1 (en) Processing of multi-view video
JP2021064822A (ja) 通信装置、通信装置の制御方法およびプログラム
Kammachi‐Sreedhar et al. Omnidirectional video delivery with decoder instance reduction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211112

R151 Written notification of patent or utility model registration

Ref document number: 6979035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151