JP7337150B2 - 後方互換性を有するメディアビットストリーム - Google Patents

後方互換性を有するメディアビットストリーム Download PDF

Info

Publication number
JP7337150B2
JP7337150B2 JP2021515155A JP2021515155A JP7337150B2 JP 7337150 B2 JP7337150 B2 JP 7337150B2 JP 2021515155 A JP2021515155 A JP 2021515155A JP 2021515155 A JP2021515155 A JP 2021515155A JP 7337150 B2 JP7337150 B2 JP 7337150B2
Authority
JP
Japan
Prior art keywords
version
entry
feature
bitstream
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515155A
Other languages
English (en)
Other versions
JP2022501900A (ja
Inventor
マルティン ペッテション,
ミトラ ダムガニアン,
リキャルド ショバーリ,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2022501900A publication Critical patent/JP2022501900A/ja
Application granted granted Critical
Publication of JP7337150B2 publication Critical patent/JP7337150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

例えば、Motion Pictures Expert Group(MPEG)のビットストリームなど、後方互換性のあるメディアビットストリームを作成しかつ処理することに関する実施形態が開示される。
近年、仮想現実(VR)はますます普及している。ヘッドマウントディスプレイ(HMD)の進歩によって、バリアが動かされて高品質VRをマスマーケットに参入させやすくなっている。VRの使用事例には、全方位ビデオまたは360度ビデオともいうゲームおよびVRビデオが含まれる。
1.MPEGおよび没入型ビデオ
Motion Pictures Experts Group(MPEG)は現在、MPEG-Iの一連の標準で公開されるように没入型ビデオのためのいくつかのアクティビティに取り組んでいる。1つのアクティビティは、ユーザが、ヘッドマウントディスプレイ(HMD)を使用する天球の全方向ではあるが、原点を中心とした固定された頭部位置で見ることができる3自由度(3DoF)、別名360度ビデオに関係する。
別のアクティビティは、ユーザが3DoFのような全天球を体感するが、頭部をわずかに移動させることによってある程度自由にオブジェクトを見回せる拡張された3自由度(3DoF+)ビデオに関係する。これを技術的に実現するために、3DoF+シーンはテクスチャおよび深度情報両方を含んでいる多数のビューからビルドされる。中間ビューは隣接ビューからのテクスチャおよび深度を使用して合成される。
MPEGは、6自由度(6DoF)ビデオのためのアクティビティも有する。6DoFビデオでは、ユーザは、ユーザが立って、場合によっては歩き回れるようにするのに十分な、3DoF+と比較してかなり大きくなったボリュームでオブジェクトを見回せるのに十分な柔軟性を有する。6DoFビデオを実現するための計画は、背景ビデオおよびポイントクラウドオブジェクトの組み合わせを使用することを含む。ポイントクラウドオブジェクトは、幾何学情報(3D空間における点)およびポイントクラウドにおけるそれぞれの点に付けられる属性で表される。属性は、明度(例えば、RGBテクスチャ)、反射率、占有率、および不透明度を含む。
3DoF、3DoF+、および6DoFの範囲は図1に示されている。3DoF、3DoF+、および6DoFの全ては、立体観察をサポートすることが可能である。
2.OMAF
MPEG-I標準化作業の一部は、全方向ビデオ用のメディアフォーマットを開発することである。このメディアフォーマットは、全方向メディアフォーマット(OMAF)と称される。OMAFの第1のバージョンは、最終決定されており、OMAFの第2のバージョン(OMAF v2)に関する作業は進行中であり、このバージョンは、3DoF+ビデオのサポートを含む機能の追加を含むことが予想される。例えば、Dynamic Adaptive Streaming over HTTP(DASH)などのシグナリングイネーブラ(signaling enabler)と組み合わせて、OMAFを使用してインターネット上で全方向ビデオのシグナリングをサポートする。
OMAFの最初のバージョンでは、2つのビデオコード:(1)Advanced Video Coding(AVC)/H.264および(2)高効率符号化(HEVC)がサポートされる。両方のコーデックは、MPEGとITU-Tとの間の協調作業である共同作業部会(JCT-VC)において開発されている。MPEGおよびITU-Tは、現在、Joint Video Experts Team(JVET)内で、汎用ビデオコーデック(VVC)と称される次世代ビデオコーデックに取り組んでいる。OMAFの将来のバージョンによってサポートされる可能性があるVVCは、AVCおよびHEVCよりも全方向ビデオに対するサポートが一層良くなっていることが見込まれている。
3.投影フォーマット
カメラ(またはカメラのリグ)、およびカメラが360度ビデオをどのようにキャプチャするかに応じて、種々のフォーマットが存在する。OMAFによってサポートされる2つの一般的な投影フォーマットは、(1)正距円筒図法および(2)キューブマップ投影である。正距円筒フォーマットは、世界地図によって容易に説明でき、この場合、赤道は左から右に及んでおり、両極における画素は上罫線および下罫線に沿って広がっている。よって粒度は両極で高くなっている。キューブマップ投影は、立方体形状における6つの2Dビデオ投影によってビルドされる。キューブマップビデオは、6つの異なる直交方向:上、下、前、後ろ、左、および右で6つのカメラによって2Dビデオをキャプチャすることによって作成されてよい。図2は、典型的なキューブマップの一例を示す。
360度ビデオを効率的に圧縮するために、カメラによってキャプチャされる投影済みビデオフォーマットは、典型的には、圧縮により適したピクチャにパッキングされる。このピクチャはパックドピクチャと称される。パックドピクチャを復号後、パックドピクチャは、HMDまたはディスプレイにレンダリングされる前に、アンパッキングされて、プロジェクテッドピクチャと称される投影フォーマットを有するピクチャになる。
プロジェクテッドピクチャをパックドピクチャにパッキングすることが有用である時の簡易な使用事例は、正距円筒フォーマットに対するものである。正距円筒図法での極がプロジェクテッドピクチャの残りの部分より高い粒度を有するため、圧縮用のパックドピクチャは両極における画素に関して圧縮されてよい。これは、上部分および下部分がプロジェクテッドピクチャと比較してパックドピクチャで収縮されている図3に例示されている。
図4は、360度カメラがシーンをキャプチャし、かつ360度ビデオをサーバに送る360度ビデオの典型的な使用事例の一例を示す。サーバは、さらにまた、ビデオをHMDでユーザに送る。プロジェクテッドピクチャの解像度はパックドピクチャの解像度より大きくてよい。
容易くなされるある観察は、ユーザが天球上でビデオコンテンツを1方向に一度しか見られないことである。天球上でユーザによって見られるものは観察地点と称される。観察地点外のものはユーザには見られず、この部分のビデオデータを少なくとも高品質で送ることは無駄である。
4.タイル化されたビデオ
OMAFにおける特徴のうちの1つは、ビデオのタイル化をサポートすることである。ピクチャのタイルはピクチャの領域と称される時がある。タイル化されたビデオは互いに別々にコード化されたいくつかのタイルによってビルドされるが、これは、単一のタイルが符号化されたビットストリームから抽出可能であり、また別々に復号可能であることを意味する。これは、現在のビューポートを含めているタイルのみを高品質で送るために360度ビデオストリーミングで利用される。他のタイルはスキップされてよい、または低品質で送信されてよい。
図5は、タイルが、観察地点に対しては高品質を、他の部分に対しては低品質を可能にするように利用される典型的な使用事例の一例を示す。図5に示されるように、カメラは360度ビデオをキャプチャしかつこれをサーバに送る。サーバは、360度ビデオの高品質バージョンおよび低品質バージョンを作成する。ビデオは、OMAFおよびDASHを使用してHMDデバイスでユーザにストリーミングされる。HMDデバイスは、ユーザはどの方向を見ているのかを検出し、かつビューポートには高品質タイルを、残りの部分には低品質タイルを要求する。サーバは、要求された高品質タイルおよび低品質タイルをパッキングされたビデオピクチャにパッキングし、かつこれをHMDに送る。HMDは該ピクチャをアンパッキングし、かつパッキングされたタイルをプロジェクテッドピクチャ上の正しい場所に投影する。
5.保護帯域
OMAFにおいて、投影のためにタイルをつなぎ合わせる時の画質を改善するためにパックドピクチャにおいて保護帯域を使用するオプションがある。保護帯域は、2つの領域間の境界をシームレスに混合させるために使用されてよい。保護帯域は、OMAFではレンダリングされないパックドピクチャにおける部分として規定されるが、つなぎ目などの視覚アーティファクトが、パックドピクチャからの領域を一緒につなぎ合わせることを回避するまたは軽減するようにパックドピクチャのレンダリング部分を改善するために使用されてよい。図6は、投影領域を有するプロジェクテッドピクチャ、および周りに保護帯域を有するパックドピクチャにおけるこの対応するパッキング領域の一例を示す。
6.領域別パッキング
OMAFはパックドピクチャに対する255の種々の領域をサポートする。OMAFにおける領域別パッキングは、パックドピクチャにおける領域がプロジェクテッドピクチャにおける領域にどのようにアンパッキングされるのかを規定する。パックドピクチャにおける領域を復号した後、この領域は、ディスプレイまたはHMDにレンダリングされる前に、ビットストリームにおける領域別パッキング情報を使用してプロジェクテッドピクチャの領域に投影される。
現在のOMAF v2の作業草案(WD)(M17827v1)における領域別パッキングのシンタックスおよびセマンティクスは、以下の表および説明において以下に示されている。
Figure 0007337150000001
Figure 0007337150000002
Figure 0007337150000003
Figure 0007337150000004
Figure 0007337150000005
Figure 0007337150000006
Figure 0007337150000007
Figure 0007337150000008
OMAF仕様ではまた、「RegionWisePackingBoxがないことは、領域別パッキングが適用されていないこと、すなわち、パックドピクチャがプロジェクテッドピクチャと同一であることを指示している」ことが述べられている。よって、これは、RegionWisePackingBoxがない時の既定動作である。
7.領域別パッキング情報のコンパクトな記述
領域別パッキング情報の表示をよりコンパクトにするための提案が取り入れられた。この提案は以下の3つの異なる部分から成るものであった。
(1)スケールファクター-矩形領域パッキング構造における投影領域およびパッキング領域に対する幅、高さ、上オフセット、および左オフセットのビット数を低減したスケールファクターおよびスケーリングされた値をシグナリングする。フラグを使用してスケーリングが使用されることになるかどうかを指示する。
(2)コピーサイズ-全ての領域が同じサイズを有する場合に第1の領域のみの領域幅および高さをシグナリングする。フラグは、プロジェクテッドピクチャおよびパックドピクチャのそれぞれが、全ての領域が同じサイズを有するかどうかを指示するために使用される。
(3)ラスタスキャン順序-全ての領域がラスタスキャン順序で順序付けされる場合、領域の上オフセットおよび左オフセットをシグナリングしない。該オフセットは、ピクチャ幅、ならびに領域の幅および高さを使用して受信側で再構成可能である。フラグは、プロジェクテッドピクチャおよびパックドピクチャのそれぞれが、全ての領域がラスタスキャン順序で順序付けされるかどうかを指示するために使用される。
上述した提案は、「m43436-領域別パッキング情報のコンパクトな記述に関して」の寄書においてMPEGに対して提案された。該寄書は、OMAFの検討中の技術(TuC)文書で採用された。
前述の提案は、OMAFビットストリームおよびファイルにおける領域別パッキング情報のよりコンパクトな記述のための手段を提供するが、この提案の欠点は、OMAFの以前のバージョン(OMAF v1)と後方互換性がないことである。
OMAF v1のみをサポートするメディアプレーヤーは、更新されたRegionWisePackingBoxによってメディアビットストリームを正しくパースすることができなくなる。メディアプレーヤーはRegionWisePackingBoxがOMAF v1に適合すると考えるため、プレーヤーはOMAF v1の仕様に従ってボックスにおけるビットをパースしようとするが、ビットが、OMAFの更新バージョンにおけるRegionWisePackingBoxの更新された仕様に従って書き込まれているため、達成できず、場合によってはクラッシュする。
この問題は、OMAFにおける領域別パッキング情報の機能に対してだけでなくメディアビットストリームシンタックス仕様の第1のバージョンのみをサポートするメディアプレーヤーがメディアビットストリームシンタックス仕様の更新バージョンをサポートするメディアビットストリームをパースすることができると予想される時、後方互換性が望まれるメディアビットストリームシンタックス仕様に対して機能の更新がなされる何らかの状況に対しても存在する。
本開示には、メディアビットストリームシンタックス仕様の種々のバージョンに適合するメディアビットストリームおよびメディアプレーヤーに関して後方互換性を提供するための実施形態が記載されている。
1つの実施形態では、メディアビットストリームにおいて利用可能な特徴に対する第1のエントリ(例えば、第1のボックス)およびメディアビットストリームにおいて利用可能な更新された特徴に対する第2のエントリ(例えば、第2のボックス)をビットストリームに含むことによってビットストリームを後方互換性があるものにし、ここで第1のエントリは、シンタックス仕様の第1のバージョンをサポートするメディアプレーヤーおよびシンタックス仕様の更新バージョンをサポートするメディアプレーヤー両方によって理解され、第2のエントリは、シンタックス仕様の更新バージョンをサポートするメディアプレーヤーによって理解されるが、シンタックス仕様の第1のバージョンをサポートするメディアプレーヤーによって理解されない。例えば、第1のエントリはシンタックス仕様の第1のバージョンの元の特徴を含んでおり、第2のエントリはシンタックス仕様の更新バージョンの更新された特徴を含んでいる。このように、メディアビットストリームは、シンタックス仕様の第1のバージョンのみをサポートするメディアプレーヤーと後方互換性があるように徹底することができるが、シンタックス仕様の更新バージョンをサポートするメディアプレーヤーに更新された特徴を依然提供する。
提案された実施形態の利点は、メディアビットストリームシンタックス仕様の第1のバージョンのみをサポートするメディアプレーヤーが、メディアビットストリームシンタックス仕様の更新バージョンに適合するメディアビットストリームをパースできるものとすることが予想されるメディアビットストリームシンタックス仕様に対して後方互換性を提供することができることである。
別のより具体的な実施形態では、OMAF仕様の以前のバージョンと後方互換性がある領域別パッキング情報のよりコンパクトな記述が提供される。これは、1つの実施形態では、新しいボックスを、領域別パッキング情報のよりコンパクトな記述を提供するOMAFの新しいバージョン、ExtendedRegionWisePackingBoxに加えることによって行われ、領域別パッキングをより広範囲に実現するための機能を加える。OMAF仕様の以前のバージョンに最初に規定される元の領域別パッキングボックスも含むことによって、後方互換性を徹底することができる。ビットレートを低く抑えるために、元の領域別パッキングボックスは、パックドピクチャとプロジェクテッドピクチャとの間に簡略化されているが有効なマッピングを提供することができる。このより具体的な実施形態の利点は、領域別パッキング情報のよりコンパクトな記述を提供する機能でOMAF仕様を更新する時に領域別パッキング情報機能に対して後方互換性が提供されることである。
本明細書に組み込まれ、かつ本明細書の一部を形成する添付の図面は、さまざまな実施形態を示す。
没入型ビデオの3つの例を示す図である。 典型的なキューブマップの一例を示す図である。 正距円筒ピクチャを、圧縮により適したパックドピクチャにパッキングする一例を示す図である。 360度ビデオの典型的な使用事例を示す図である。 タイルによる例示の使用事例を示す図である。 パッキング領域周りの保護帯域と共にプロジェクテッドピクチャおよびパックドピクチャを示す図である。 特徴の第1のバージョンを保持する第1のエントリを有するビットストリームを示す図である。 特徴の第2のバージョンを保持する第2のエントリを有するビットストリームを示す図である。 特徴の第1のバージョンおよび特徴の第2のバージョンを保持する第2のエントリを有するビットストリームを示す図である。 特徴の第1のバージョンおよび特徴の第2のバージョンを保持する第1のエントリを有するビットストリームを示す図である。 第1の実施形態を示す図である。 第2の実施形態を示す図である。 RWPおよびERWPを使用する2つの解像度によるキューブマップの領域別パッキングを示す図である。 RWPおよびERWPを使用する2つの解像度によるキューブマップの領域別パッキングの代替バージョンを示す図である。 1つの実施形態によるプロセスを示すフローチャートである。 1つの実施形態によるプロセスを示すフローチャートである。 1つの実施形態によるビットストリーム発生器(BG)のブロック図である。 1つの実施形態によるBGの機能ユニットを示す略図である。 1つの実施形態によるメディアプレーヤー(MP)のブロック図である。 1つの実施形態によるMPの機能単位を示す略図である。 1つの実施形態によるプロセスを示すフローチャートである。 1つの実施形態によるMPの機能単位を示す略図である。
以下は、本開示において使用される用語のいくつかの定義である。
「ビットストリーム」。ビットストリームは、ネットワーク上で送信される一連のビットとみなされる。ビットストリームは代替的には、HDD、RAM、またはフラッシュメモリなどの物理媒体上に記憶される1つまたは複数のデータファイルであってよい。
「メディアプレーヤー」。メディアプレーヤーは、この文脈では、ファイル/セグメント受信またはファイルアクセス、ファイル/セグメントカプセル除去、オーディオ、ビデオ、画像、またはtimed textビットストリームの復号、およびオーディオ、ビデオ、画像、またはtimed textのレンダリングに対する総称である。
「エントリ」。エントリは、ビットストリームにおけるシンタックスエレメントのセットを有する構造体またはコンテナの位置に対するポインタとみなされる。エントリは、ISO/IEC 14496-12(ISO Base Media File Format(ISOBMFF))と称されるエントリ、ボックス、プロパティ、またはアトムであってよい。
「特徴」。特徴は、メディアを復号またはレンダリングする際の機能とみなされ、1つまたは複数のシンタックスエレメントのセットとしてビットストリームにおいて記述される。
後方互換性による特徴の更新
1つの実施形態では、メディアビットストリームにおいて利用可能な特徴に対する第1のエントリ(例えば、第1のボックス)およびメディアビットストリームにおいて利用可能な更新された特徴に対する第2のエントリ(例えば、第2のボックス)をビットストリームに含むことによってビットストリームを後方互換性があるものにし、ここで第1のエントリは、シンタックス仕様の第1のバージョンをサポートするメディアプレーヤーおよびシンタックス仕様の更新バージョンをサポートするメディアプレーヤー両方によって理解され、第2のエントリは、シンタックス仕様の更新バージョンをサポートするメディアプレーヤーによって理解されるが、シンタックス仕様の第1のバージョンをサポートするメディアプレーヤーによって理解されない。例えば、第1のエントリはシンタックス仕様の第1のバージョンの元の特徴を含んでおり、第2のエントリはシンタックス仕様の更新バージョンの更新された特徴を含んでいる。このように、メディアビットストリームは、シンタックス仕様の第1のバージョンのみをサポートするメディアプレーヤーと後方互換性があるように徹底することができるが、シンタックス仕様の更新バージョンをサポートするメディアプレーヤーに更新された特徴を依然提供する。
特徴の複雑な現実化のために、第2のエントリの更新された特徴における複雑な現実化を提供すること、および第1のエントリにおける元の特徴の簡易であるが依然有効な現実化を提供することによって、第1のエントリの元の特徴における複雑な表示のみを提供することと比較してビットを節約することが可能になる場合がある。より具体的には、第2のエントリにおける更新された特徴が第1のエントリにおける元の特徴で達成可能である現実化のよりコンパクトな表示のための手段を提供する場合、ビットは節約可能である。
メディアビットストリームシンタックス仕様の第1のバージョンは特徴Xの第1のバージョンを含んでいる。メディアビットストリームシンタックス仕様の第1のバージョンが復号される「S1」。少なくとも、特徴Xの簡易な現実化は、メディアビットストリームの正確なパース、復号、および/またはレンダリングに必要とされる。特徴XはビットストリームにおけるエントリAに含まれている(例えば、ビットストリームにおけるエントリEに含まれている)。メディアビットストリームシンタックス仕様S1は、未知のエントリが無視されパースされないようにする規則を含んでいる。
特徴「X2」(または「X2」)と称される特徴Xの更新/拡張は、メディアビットストリームシンタックス仕様の第2の更新バージョンに追加される。メディアビットストリームシンタックス仕様の第2のバージョンは「S2」と示される。特徴X2は新しいエントリBに含まれている。メディアビットストリームシンタックス仕様の第2のバージョンS2は、メディアビットストリームシンタックス仕様の第1のバージョンS1と同様に、エントリAにおける特徴Xを含む。仕様S2は、特徴X2が特徴Xの更新または拡張であるかどうかを指定してよい。
メディアビットストリームシンタックス仕様の第1のバージョンS1は、エントリEがエントリAを含んでいても含んでいてなくてもよいことを指定してよい。メディアビットストリームシンタックス仕様の第2のバージョンS2は、エントリEが、i)エントリAもエントリBも含んでいない、ii)エントリAおよびエントリBを含んでいる、iii)エントリAを含んでいるが、エントリBを含んでいない、または、iv)エントリBを含んでいるが、エントリAを含んでいない場合があることを指定してよい。
図7Aは、特徴Xを有するエントリAを含んでいる第1のメディアビットストリームBS1(すなわち、シンタックス仕様S1に従ったビットストリーム)を示す。シンタックス仕様S1のみをサポートするプレーヤーPv1は、メディアビットストリームBS1を受信し、エントリAにおける特徴Xをパースし、それに応じてメディアを復号および/またはレンダリングする。シンタックス仕様S2をサポートするプレーヤーPv2も、メディアビットストリームBS1を受信し、エントリAにおける特徴Xをパースし、それに応じて、メディアを復号および/またはレンダリングする。それ故に、図7Aに示されるように、更新されたプレーヤーPv2は、シンタックス仕様S1の以前のバージョンに適合するビットストリームをパースすることができるようにする。
図7Bは別の例を示す。図7Bに示されるように、メディアビットストリームシンタックス仕様S2をサポートする第2のメディアビットストリームBS2は、特徴X2を有するエントリBを含んでいる。プレーヤーPv2は、ビットストリームBS2を受信する時、エントリBにおける特徴X2をパースし、それに応じてメディアを復号および/またはレンダリングすることができる。しかしながら、プレーヤーPv1は、ビットストリームBS2を受信する時、エントリBを認識せず、かつエントリBにおける特徴X2をパースできないことを知っている。特徴XまたはX2はメディアの正しい復号および/またはレンダリングに必要とされるため、Pv1はメディアを正しくレンダリングしない。特徴Xおよび特徴X2両方をエントリBに入れることによって、図7CにおけるビットストリームBS3に示されるように、Pv1がエントリBを認識しないためプレーヤーPv1に対して同様の結果がもたらされることになる。特徴Xおよび特徴X2両方をエントリAに入れることによって、図7DにおけるビットストリームBS4に示されるように、プレーヤーPv1がエントリAを認識し、かつエントリAのコンテンツをパースできることを予想するため、エントリAを自動的に破棄しないことになるため、プレーヤーPv1に対するより大きな問題をもたらすことが考えられる。しかしながら、エントリAは特徴Xおよび特徴X2両方を含んでいるため、Pv1は、エントリAをパースすることができなくなり、かつこれをパースしようとしてクラッシュする場合がある。
しかしながら、ビットストリームがエントリAにおける特徴XおよびエントリBにおける特徴X2を含んでいる場合、図8AにおけるビットストリームBS5によって示されるように、プレーヤーPv1およびPv2は両方共、これらのそれぞれの特徴をパースできることになる。プレーヤーPv1は、エントリAを認識し、特徴Xをパースし、メディアを復号および/またはレンダリングすることになる。エントリBはPv1によって認識されず、Pv1は単にエントリBを破棄することになる。プレーヤーPv2は、ビットストリームにおいてエントリAおよびエントリB両方を見出し、エントリBが利用可能であるためエントリAを破棄することを決定する。エントリBにおける特徴X2はパースされ、メディアは正しく復号および/またはレンダリングされる。エントリBは、ビットストリームにおけるエントリAの前に、エントリAが発見されると破棄できるように位置付けられてよい。
特徴X2が、特徴Xと比較して特徴の現実化の表現を圧縮する手段で更新されている場合、特徴X2が複雑な現実化(CR)を表すために使用され、特徴Xが簡易であるが有効な現実化(SR)を表すために使用される場合に複雑な現実化のためのビットを節約することが可能であり、このためのビットコストは、複雑な現実化が特徴Xで提示された場合より少ない。これは以下のように表されてよい。
Figure 0007337150000009
代替バージョンでは、特徴X2は特徴Xの更新ではなく、特徴Xが特徴X2に必要とされることを意味する特徴Xの拡張である。この場合、プレーヤーPv2は、エントリAの特徴XおよびエントリBの特徴X2両方をパースして、メディアを正しく復号および/またはレンダリングする。これは図8Bに示されている。
簡易な現実化(SR)が複雑な現実化(CR)の部分集合であり、かつPv2がエントリAおよびエントリB両方をパースする場合、節約されたビットはさらには以下で近似されてよい。
Figure 0007337150000010
代替的な実施形態では、エントリAにおける特徴Xは基本ユーザに提供され、エントリBにおける特徴X2はプレミアムユーザに提供される。例えば、基本ユーザ(すなわち、基本レベルのサービスのみをサブスクライブしているユーザ)が特徴X2を処理できるPv2プレーヤーを有している場合でも、特徴X2はユーザに提供されないが、これは、ユーザが基本レベルのサービスのみをサブスクライブしているからである。
メディアプレーヤーPv2のデコーダは、メディアビットストリームシンタックス仕様の第2のバージョンS2に従ってメディアビットストリームをパースしかつ復号する時に以下の表に示されるステップを行ってよい。この場合、ビットストリームシンタックスの第2のバージョンS2は、メディアビットストリームシンタックス仕様の第1のバージョンS1に適合する第1の特徴Xを含んでいる第1のエントリA、および、メディアビットストリームシンタックス仕様の更新バージョンS2に適合する第2の特徴X2を含んでいる第2のエントリBの、どれも含んでいない、いずれか、または両方を含んでいる場合があるエントリEを指定する。
Figure 0007337150000011
メディアビットストリームエンコーダは、Pv1およびPv2によってパース可能であるメディアビットストリームを符号化するために以下の表に示されるステップを行ってよい。
Figure 0007337150000012
ExtendedRegionWisePackingBox
このセクションでは、OMAF仕様に特有である後方互換性を提供するための一実施形態について説明する。
この実施形態では、新しいボックスはOMAF仕様の更新バージョン(例えば、バージョン2)に追加される。(ここでは「ExtendedRegionWisePackingBox」(ERWPボックス)または「CompactRegionWisePackingBox」(CRWPボックス)と称される)ボックスは、RWPボックスと比較して、シンタックスが追加されたおよび/または修正されたOMAF v1における領域別パッキング(RWP)ボックスの更新である。
OMAF v1プレーヤーに完全に後方準拠するように、メディアビットストリームはRWPボックスおよびERWPボックス両方を含んでいてよい。RWPボックスはさらにまた、レンダリングされるメディアの有効であるが好ましくは簡易な表示を含んでいるものとする。有効かつ簡易な表示の一例は、ビューポート、すなわち、360度天球の1部分の2Dビデオのみを提供することである。別の例は、キューブマップにマッピングを提供するが、それぞれの面をいくつかのタイルに分割しないことである。
メディアビットストリームが(Pv1と称される)OMAF v1プレーヤーによって受信される場合、Pv1はRWPボックスをパースするがPv1によって理解されないERWPボックスを無視し、さらにまた、レンダリングのためにRWPボックスにおける情報を使用する。メディアビットストリームが(Pv2と称される)OMAF v2プレーヤーによって受信される場合、Pv2はERWPボックスをパースするが、ERWPボックスが利用可能であるためRWPボックスを無視し、さらにまた、レンダリングのためにERWPボックスにおける情報を使用する。RWPボックスのみを含んでおりERWPボックスを含んでいないビットストリームでは、Pv2は、レンダリングのためにRWPボックスにおける情報をパースしかつ使用することが考えられる。
これは、キューブマップの領域別パッキングが2つの異なる解像度に対してなされている図9における例に示されている。低解像度キューブマップに対する全てのキューブ面は、最初RWPを使用してパッキングされている。低解像度キューブマップからのキューブ面に加えて、それぞれのキューブ面が16タイルに分割されている、高解像度キューブマップからのタイルの選択されたセットは、RWPで可能であるよりもよりコンパクトなやり方で、ERWPを使用してパッキングされる。Pv1がビットストリームを受信する場合、Pv1は、ERWPボックスを破棄しかつ低解像度キューブマップによってRWPボックスをパースする。Pv2がビットストリームを受信する場合、ERWPボックスが利用可能であるためPv2はRWPボックスを無視し、かつ完全低解像度キューブマップおよび高解像度キューブマップからのタイルのセット両方でERWPボックスをパースする。
代替バージョンでは、メディアビットストリームがPv2によって受信される場合、RWPボックスおよびERWPボックスは両方共パースされ、これらの組み合わせられた情報はレンダリングに使用される。これを機能させるために、ERWPボックスは、ERWPボックスにおける機能がRWPボックスにおける機能と適合するようなRWPボックスの拡張であるものとする。これは、完全低解像度キューブマップがERWPボックスに含まれない図10に示されている。Pv2は、完全低解像度キューブマップ、および高解像度キューブマップからの選択されたタイル両方をアンパッキングすることができるようにRWPボックスおよびERWPボックス両方をパースする。この代替バージョンは、低解像度キューブマップに対するマッピングがRWPボックスに送られることだけが必要であるため余分なビットを節約することが考えられるが、RWPボックスおよびERWPボックスが両方共、パースされかつ組み合わせられる必要があるため複雑さが加わる。
いくつかの実施形態では、RWPボックスは基本ユーザに提供されるが、EPWPボックスも、プレミアムユーザに提供される。
領域別パッキング情報を記述するよりコンパクトなやり方を可能にすることに加えて、ERWPボックスはRWPボックスより多い領域をサポートすることができる。これは例えば、いくつかのビューがパッキングされかつ送信される必要があることが予想される3DoF+ビデオに有用である場合がある。ERWPボックスはまた、3DoF+ビデオおよび6DoFビデオをサポートするために追加の特徴を含んでよい。これは、深度マップ、いくつかの異なるビューを組み合わせる/パッキングする新しいやり方、幾何情報をパッキングする新しいやり方、およびポイントクラウド属性などに対する特有のサポートを含んでよい。
以下の表は、OMAF v2 WD(w17827-v1)に加えてExtendedRegionWisePackingBoxおよびExtendedRegionWisePackingPropertyに対する例示の定義、シンタックス、およびセマンティクスを提供する。領域の最大数は、より複雑な表示をサポートするために255から216-1まで増加している。
Figure 0007337150000013
Figure 0007337150000014
Figure 0007337150000015
Figure 0007337150000016
Figure 0007337150000017
Figure 0007337150000018
Figure 0007337150000019
RegionWisePackingBoxおよびExtendedRegionWisePackingBoxが組み合わせられるべきかどうかを決定するためのフラグ
さらに別の実施形態では、フラグは、RegionWisePackingBoxから導出された領域マッピングのセットが、領域別パッキングのために領域マッピングの完全なセットを形成するためにExtendedRegionWisePackingBoxから導出される領域マッピングのセットと組み合わせられるべきかどうかを判定するために使用される。例えば、RegionWisePackingBoxにおける領域マッピングがExtendedRegionWisePackingBoxにも存在する、すなわち、領域マッピングが冗長である場合、RegionWisePackingBoxを無視しかつ破棄しても安全である場合があり、領域マッピングの完全なセットは、ExtendedRegionWisePackingBoxから導出可能である。フラグは、ExtendedRegionWisePackingStructに、またはExtendedRegionWisePackingBoxに直接入れられ得る。
以下は、RegionWisePackingBoxが冗長であるか否かを指示するためにフラグを使用している、ExtendedRegionWisePackingBoxに対するシンタックスおよびセマンティクスの一例である。
Figure 0007337150000020
以下は、RegionWisePackingBoxにおける領域がExtendedRegionWisePackingBoxにおける領域と組み合わせられるべきか否かを指示するためにフラグを使用しているExtendedRegionWisePackingBoxに対するシンタックスおよびセマンティクスのさらなる例である。
Figure 0007337150000021
別のバージョンでは、RegionWisePackingBoxがビットストリームに存在する場合、ExtendedRegionWisePackingBoxによって圧縮されないRegionWisePackingBoxにおけるパラメータの一部は、ExtendedRegionWisePackingStructにおいて明示的にシグナリングされる代わりにRegionWisePackingBoxから導出されてよい。これらのパラメータは、proj_picture_width、proj_picture_height、packed_picture_width、packed_picture_height、および保護帯域パラメータを含んでよい。フラグは、パラメータが明示的にシグナリングされるべきか否かを判定するためにExtendedRegionWisePackingStructにおいて使用されてよい。
既存のOMAF v1のRegionWisePackingBoxにおけるバージョン番号の使用
さらに別の実施形態では、更新された機能を有するRegionWisePackingBoxのバージョン番号を非ゼロ値に設定することで、更新されたRegionWisePackingBoxがOMAF v1のみをサポートするOMAFプレーヤーによって理解されないという指示を提供することによって後方互換性が可能とされる。
これは、OMAF v1からのRegionWisePackingBoxが、OMAF v2において、背景においておよび上記に説明されるように領域別パッキング情報のよりコンパクトな記述を提供するために、バージョンパラメータに対する追加の値および変更されたシンタックスによって更新される、以下のシンタックスにおいて例示される。
Figure 0007337150000022
FullBoxは以下のようにISO/IEC 14996-12(ISOBMFF)で規定される。
Figure 0007337150000023
これら2つのフィールドのセマンティクスは、バージョンがボックスのこのフォーマットのバージョンを指定する整数であること、およびフラグがフラグのマップであることである。認識されていないバージョンのボックスは無視されかつスキップされるものとする。
この解決策では、OMAF v2ビットストリームをパースするOMAF v1メディアプレーヤーは、バージョン値が1に設定され、およびこのボックスを無視しかつスキップする時更新されたRegionWisePackingBoxを理解できないことを知っている。よって、OMAF v1プレーヤーがボックスの拡張された特徴をパースしようとし、場合によってはクラッシュするような問題はなくなる。
この解決策の不利な面は、パースの問題のみを解決することである。有効な領域別パッキングがOMAF v1仕様に従って360度ビデオシーンを正しくレンダリングすることが必要とされる場合、この実施形態の解決策はこのようなレンダリングを提供することができない。
RegionWisePackingStructにおけるRectExtendedRegionWisePackingに対する新しいpacking_typeの使用
さらに別の実施形態では、新しいパッキングタイプはRegionWisePackingStructに取り入れられる。新しいパッキングタイプは、packing_typeに対して非ゼロ値、例えば1によって指示される。RegionWisePackingStructをパースする時、packing_typeが0に等しい場合、RectRegionWisePackingがパースされる。その代わりにpacking_typeが1に等しい場合、先の実施形態からのExtendedRectRegionWisePackingがパースされる。これが上述されるバージョンフラグ解決策と組み合わせられる場合、これは、新しいバージョン番号によってRegionWisePackingBox内のExtendedRectRegionWisePackingを表すやり方である可能性がある。
図11は、ビットストリームを生成するためのビットストリーム発生器(BG)1302(図13を参照)によって行われる、一実施形態によるプロセス1100を示すフローチャートである。プロセス1100はステップs1102で始まってよい。
ステップs1102では、BG1302は、ビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様の第1のバージョンS1によって規定される特徴Xの第1のバージョンを有する第1のエントリAを含む。
ステップs1104では、BG1302は、ビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様S1の更新バージョンS2によって規定される特徴X2の第2のバージョンを有する第2のエントリBを含む。1つの実施形態では、特徴X2は特徴Xの更新である。別の実施形態では、特徴X2は特徴Xの拡張である。
いくつかの実施形態では、特徴X2は、特徴Xと比較して特徴の現実化の表現を圧縮するための手段を含む。いくつかの実施形態では、ビットストリームはシンタックス仕様に適合し、シンタックス仕様はOMAFのバージョンである。
いくつかの実施形態では、特徴Xは領域別パッキングであり、特徴X2は領域別パッキングの拡張バージョンである。いくつかの実施形態では、特徴Xは領域別パッキングであり、特徴X2は領域別パッキングの更新バージョンである。
いくつかの実施形態では、エントリEは、特徴X2が特徴Xの更新であるかどうかかつ実施形態2に従ってエントリAは破棄されるべきかどうか、または、特徴X2が特徴Xの拡張であるかどうか、および実施形態3に従ってパースされかつ特徴X2と組み合わせられるべきかどうかの指示を含んでいる。
いくつかの実施形態では、エントリAおよびエントリBは同じエントリタイプを有し、エントリAは第1のバージョンを指示するバージョンインジケータを含んでおり、エントリBは第2のバージョンを指示するバージョンインジケータを含んでおり、第2のバージョンは第1のバージョンより高い。
図12は、BG1302によって生成されるビットストリームにおいて符号化されるメディア(例えば、ピクチャおよび/またはオーディオ)を処理する(例えば、復号するおよび/またはレンダリングする)ためのメディアプレーヤー(MP)1502(図15を参照)によって行われる、一実施形態によるプロセス1200を示すフローチャートである。プロセス1200はステップs1202で始めてよい。ステップs1202では、MP1502は、特徴X2を含んでいるエントリBを受信しかつパースする。ステップs1204では、MP1502は、特徴Xを含んでいるエントリAを受信する。ステップs1206では、MP1502は、エントリAを破棄するか否かを判定する。ステップs1208では、MP1502はピクチャを処理するために少なくとも特徴X2を使用する。
いくつかの実施形態では、エントリAを破棄するか否かを判定することは、MP1502が、特徴X2が特徴Xの更新であるかまたは特徴Xの拡張であるかどうかを判定することを含む。
いくつかの実施形態では、MP1502は、特徴X2が特徴Xの更新であると判定した結果としてエントリAを破棄する。いくつかの実施形態では、エントリBは、特徴X2が特徴Xの更新であることを指示する情報を含む。
いくつかの実施形態では、プロセス1200は、エントリAをパースすること、および、特徴X2が特徴Xの拡張であると判定した結果としてピクチャを処理するために特徴Xおよび特徴X2を使用することをさらに含む。いくつかの実施形態では、エントリBは、特徴X2が特徴Xの拡張であることを指示する情報を含む。
いくつかの実施形態では、第2のエントリBはビットストリームのコンテナに含まれており、メディアプレーヤーは、第1のエントリAがまたコンテナに含まれていると判定した結果として第1のエントリAを破棄する。いくつかの実施形態では、コンテナはProjectedOmniVideoBoxである。
図13は、本明細書に開示される方法を実行するためのいくつかの実施形態によるビットストリーム発生器(BG)1302のブロック図である。図13に示されるように、BG1302は、プロセッサが種々の場所に併置または分散されてよい1つもしくは複数のプロセッサ(P)1355(例えば、汎用マイクロプロセッサ、および/または、特定用途向け集積回路(ASIC)およびフィールドプログラマブルゲートアレイ(FPGA)などの1つもしくは複数の他のプロセッサ)を含んでよい処理回路(PC)1302と、ネットワーク130(例えば、インターネット)に(直接または間接的に)接続されるネットワークインターフェース1303(例えば、受信機(Rx)1345および送信機(Tx)1346を含む送受信回路)と、1つもしくは複数の不揮発性記憶デバイスおよび/または1つもしくは複数の揮発性記憶デバイスを含んでよいローカルストレージユニット(別名「データ記憶システム」)1308と、を備えてよい。PC1302がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品(CPP)1341が提供されてよい。CPP1341は、コンピュータ可読命令(CRI)1344を含むコンピュータプログラム(CP)1343を記憶するコンピュータ可読媒体(CRM)1342を含む。CRM1342は、磁気媒体(例えば、ハードディスク)、光媒体、およびメモリデバイス(例えば、ランダムアクセスメモリ、フラッシュメモリ)などの非一時的なコンピュータ可読媒体であってよい。いくつかの実施形態では、コンピュータプログラム1343のCRI1344は、PC1302によって実行される時、CRIがBG1302に本明細書に説明されるステップ(例えば、フローチャートを参照して本明細書に説明されるステップ)を行わせるように設定される。他の実施形態では、BG1302は、コードを必要とすることなく本明細書に説明されるステップを行うように設定されてよい。すなわち、例えば、PC1302は、単に1つまたは複数のASICで構成されてよい。それ故に、本明細書に説明される実施形態の特徴は、ハードウェアおよび/またはソフトウェアにおいて実装されてよい。
図14は、一実施形態によるBG1302の機能ユニットを示す略図である。図14に示されるように、BG1302は、ビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様の第1のバージョンS1によって規定される特徴Xを含んでいるエントリAを含むように設定されるエントリAユニット1402と、ビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様S1の更新バージョンS2によって規定される特徴X2を含んでいるエントリBを含むように設定されるエントリBユニット1404と、を含む。
図15は、本明細書に開示される方法を実行するためのいくつかの実施形態によるメディアプレーヤー(MP)1502のブロック図である。図15に示されるように、MP1502は、プロセッサが種々の場所に併置または分散されてよい1つもしくは複数のプロセッサ(P)1555(例えば、汎用マイクロプロセッサ、および/または特定用途向け集積回路(ASIC)およびフィールドプログラマブルゲートアレイ(FPGA)などの1つもしくは複数の他のプロセッサ)を含んでよい処理回路(PC)1502と、ネットワーク150(例えば、インターネット)に(直接または間接的に)接続されるネットワークインターフェース1503(例えば、受信機(Rx)1545および送信機(Tx)1546を含む送受信回路)と、1つもしくは複数の不揮発性記憶デバイスおよび/または1つもしくは複数の揮発性記憶デバイスを含んでよいローカルストレージユニット(別名「データ記憶システム」)1508と、を備えてよい。PC1502がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品(CPP)1541が提供されてよい。CPP1541は、コンピュータ可読命令(CRI)1544を含むコンピュータプログラム(CP)1543を記憶するコンピュータ可読媒体(CRM)1542を含む。CRM1542は、磁気媒体(例えば、ハードディスク)、光媒体、およびメモリデバイス(例えば、ランダムアクセスメモリ、フラッシュメモリ)などの非一時的なコンピュータ可読媒体であってよい。いくつかの実施形態では、コンピュータプログラム1543のCRI1544は、PC1502によって実行される時、CRIがMP1502に本明細書に説明されるステップ(例えば、フローチャートを参照して本明細書に説明されるステップ)を行わせるように設定される。他の実施形態では、MP1502は、コードを必要とすることなく本明細書に説明されるステップを行うように設定されてよい。すなわち、例えば、PC1502は、単に1つまたは複数のASICで構成されてよい。それ故に、本明細書に説明される実施形態の特徴は、ハードウェアおよび/またはソフトウェアにおいて実装されてよい。
図16は、一実施形態によるMP1502の機能単位を示す略図である。図16に示されるように、MP1502は、ビットストリームのエントリEに含まれるエントリBを受信するための受信ユニット1602であって、ビットストリームは特徴Xを含んでいるエントリAも含み、エントリBは特徴Xの更新または拡張である特徴X2を含む、受信ユニット1602と、エントリBをパースするように設定されるパースユニット1604と、エントリAを破棄するか否かを判定するように設定される判定ユニット1606と、を含む。
図17は、メディアプレーヤー1520によって行われる、一実施形態によるプロセス1700を示すフローチャートである。プロセス1700はステップs1701で始めてよい。ステップs1701は、メディアビットストリームに含まれているエントリ(エントリE)を受信することを含む。ステップs1702はエントリEをパースすることを含む。ステップs1704は、エントリEをパースする結果として、エントリEが、i)メディアビットストリームシンタックス仕様の第1のバージョンに適合する特徴の第1のバージョンを含んでいる第1のエントリ(エントリA)、およびii)メディアビットストリームシンタックス仕様の更新バージョンに適合する特徴の第2のバージョンを含んでいる第2のエントリ(エントリB)を両方共含んでいるかを判定することを含む。ステップs1705はエントリBをパースすることを含む。ステップs1705が行われた後、ステップs1706またはステップs1708のどちらかが行われる。ステップs1706は、エントリBをパースすることに基づいて、特徴の第2のバージョンが特徴の第1のバージョンの更新であるかを判定することを含む。ステップs1708は、エントリBをパースすることに基づいて、特徴の第2のバージョンが特徴の第1のバージョンの拡張であるかを判定することを含む。
図18は、一実施形態によるMP1502の機能単位を示す略図である。図18に示されるように、MP1502は、メディアビットストリームに含まれているエントリ(エントリE)を受信するように適応される受信ユニット1802と、エントリEをパースするように適応される第1のパースユニット1804と、エントリEが、i)メディアビットストリームシンタックス仕様の第1のバージョンに適合する特徴の第1のバージョンを含んでいる第1のエントリ(エントリA)、およびii)メディアビットストリームシンタックス仕様の更新バージョンに適合する特徴の第2のバージョンを含んでいる第2のエントリ(エントリB)を両方共含んでいるかどうかを判定するように適応される第1の判定ユニット1806と、エントリBをパースする第2のパースユニット1808と、エントリBをパースすることに基づいて、a)特徴の第2のバージョンが特徴の第1のバージョンの更新であるかどうか、またはb)特徴の第2のバージョンが特徴の第1のバージョンの拡張であるかどうかを判定するように適応される第2の判定ユニット1810と、を含む。
実施形態のいくつかの簡潔な説明
A1.後方互換性のあるビットストリームを生成する方法であって、ビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様の第1のバージョンS1によって規定される特徴の第1のバージョンXを有する第1のエントリAを含むことと、ビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様の更新バージョンS2によって規定される特徴の第2のバージョンX2を有する第2のエントリBを含むことと、を含む、方法。
A2.特徴X2は特徴Xと比較して特徴の現実化の表現を圧縮するための手段を含む、実施形態A1の方法。
A3.エントリAは領域別パッキングボックスである、実施形態A1~A2のいずれか1つの方法。
A4.ビットストリームはシンタックス仕様に適合し、シンタックス仕様はOMAFのバージョンである、実施形態A1~A3のいずれか1つの方法。
A5.特徴Xは領域別パッキングであり、特徴X2は領域別パッキングの拡張バージョンである、実施形態A1~A4のいずれか1つの方法。
A6.特徴Xは領域別パッキングであり、特徴X2は領域別パッキングの更新バージョンである、実施形態A1~A4のいずれか1つの方法。
A7.エントリEは、特徴X2が特徴Xの更新であるかどうかかつ実施形態2に従ってエントリAは破棄されるべきかどうか、または、特徴X2が特徴Xの拡張であるかどうか、および実施形態3に従ってパースされかつ特徴X2と組み合わせられるべきかどうかの指示を含んでいる、実施形態A1~A6のいずれか1つの方法。
A8.エントリAおよびエントリBは同じエントリタイプを有し、エントリAは第1のバージョンを指示するバージョンインジケータを含んでおり、エントリBは第2のバージョンを指示するバージョンインジケータを含んでおり、第2のバージョンは第1のバージョンより高い、実施形態A1~A7のいずれか1つの方法。
B1.メディアプレーヤーによって実行される方法であって、メディアプレーヤーが実施形態A1~A8のいずれか1つの後方互換性のあるビットストリームを受信することを含む、方法。
B2.後方互換性のあるビットストリームを受信することは、エントリBを受信すること、エントリBをパースすること、エントリAを受信すること、エントリAを破棄するか否かを判定すること、およびピクチャを処理する(例えば、レンダリングするおよび/または復号する)ために少なくとも特徴X2を使用することを含む、実施形態B1の方法。
B3.第1のエントリAを破棄するか否かを判定することは、特徴X2が特徴Xの更新であるかまたは特徴Xの拡張であるかどうかを判定することを含む(例えば、この判定はエントリBおよび/またはエントリAに含まれるバージョン番号に基づくことができる)、実施形態B2の方法。
B4.プレーヤーが、特徴X2が特徴Xの更新であると判定した結果として第1のエントリAを破棄することをさらに含む、実施形態B3の方法。
B5.第2のエントリBは、特徴X2が特徴Xの更新であることを指示する情報を含む、実施形態B4の方法。
B6.第1のエントリAをパースすること、および、特徴X2が特徴Xの拡張であると判定した結果としてピクチャを処理するために特徴Xおよび特徴X2を使用すること、をさらに含む、実施形態B3の方法。
B7.第2のエントリBは、特徴X2が特徴Xの拡張であることを指示する情報を含む、実施形態B6の方法。
B8.第2のエントリBはビットストリームのコンテナに含まれており、メディアプレーヤーは、第1のエントリAがまたコンテナに含まれていると判定した結果として第1のエントリAを破棄する、実施形態B2の方法。
B9.コンテナはProjectedOmniVideoBoxである、実施形態B8の方法。
C1.メディアビットストリームシンタックス仕様の更新バージョンS2に従ってメディアビットストリームをパースしかつ処理する(例えば、レンダリングするおよび/または復号する)ための方法であって、ビットストリームシンタックスの更新バージョンS2は、メディアビットストリームシンタックス仕様の第1のバージョンSに適合する第1の特徴Xを含んでいる第1のエントリA、および、メディアビットストリームシンタックス仕様の更新バージョンS2に適合する第2の特徴X2を含んでいる第2のエントリBの、どれも含んでいない、いずれか、または両方を含んでいる場合があるエントリEを指定し、方法は、エントリEをパースする時、エントリEにエントリAは含まれておりエントリBは含まれていないかどうかを判定し、そうである場合、エントリAにおける特徴Xをパースすることと、エントリEをパースする時、エントリEにエントリBは含まれておりエントリAは含まれていないかどうかを判定し、そうである場合、エントリBにおける特徴X2をパースすることと、エントリEをパースする時、エントリEにエントリAおよびエントリBが両方共含まれているかどうかを判定し、そうである場合、エントリBにおける特徴X2をパースすることと、エントリEにエントリAまたはエントリBのどちらかが含まれている場合、パースされた特徴を使用してメディアビットストリームを処理することと、を含む、方法。
C2.エントリEをパースしかつエントリAおよびエントリBが両方共エントリEに含まれているかを判定する時、特徴X2が特徴Xの更新である場合、エントリAを破棄しかつエントリBにおける特徴X2をパースする、実施形態C1の方法。
C3.エントリEをパースしかつエントリAおよびエントリBが両方共エントリEに含まれていることを判定する時、特徴X2が特徴Xの拡張である場合、エントリAにおける特徴XおよびエントリBにおける特徴X2を両方共パースする、実施形態C1の方法。
C4.特徴X2は、特徴Xと比較して特徴の現実化の表現を圧縮するための手段を含む、実施形態C1~C3のいずれか1つの方法。
特有のOMAFの事例
C5.メディアビットストリームはオーディオおよび/またはビデオビットストリームである、実施形態C1~C4のいずれか1つの方法。
C6.エントリは、ポインタ、構造体、コンテナ、ボックス、プロパティ、またはアトムである、実施形態C1~C5のいずれか1つの方法。
C7.メディアビットストリームシンタックス仕様SはOMAFの第1のバージョンであり、メディアビットストリームシンタックス仕様S2はOMAFの更新バージョンである、実施形態C1~C6のいずれか1つの方法。
C8.特徴Xは領域別パッキングであり、特徴X2は領域別パッキングの拡張バージョンである、実施形態C1~C7のいずれか1つの方法。
C9.特徴Xは領域別パッキングであり、特徴X2は領域別パッキングの更新バージョンである、実施形態C1~C7のいずれか1つの方法。
C10.エントリEは、特徴X2が特徴Xの更新であるかどうか、およびエントリAは破棄されるものとするかどうか、または特徴X2が特徴Xの拡張であり、かつ特徴X2と組み合わせられるものとするかどうかの指示を含んでいる、実施形態C1~C9のいずれか1つの方法。
C11.エントリAおよびエントリBは同じエントリタイプを有するが、エントリBはエントリBのバージョンインジケータより高いバージョンインジケータを含んでいる、実施形態C1~C10のいずれか1つの方法。
さまざまな実施形態が(いずれの付録も含んで)本明細書で説明されているが、これらは例示としてのみ提示されており限定するものではないことは理解されるべきである。よって、本開示の広さおよび範囲は、上述した例示の実施形態のいずれかによって限定されるべきでない。また、これらの全ての可能な変形における上述した要素の任意の組み合わせは、別段本明細書で指示されない限り、または明らかに文脈に矛盾しない限り、本開示に包含される。
さらに、上述されかつ図面に示されるプロセスは一連のステップとして示されるが、これは単に例証のためになされたものである。それ故に、いくつかのステップが追加される場合があり、いくつかのステップが省略される場合があり、ステップの順序が配列し直される場合があり、いくつかのステップが並列に行われる場合があることが考えられる。
以下の説明は、付録から、本出願が優先権を主張する米国特許仮出願までである。付録は国際標準化機構(ISO)の寄書の関連テキストを含んだものである。
1.要約
これは、リュブリャナでのMPEG会議で提案されたm43436のその後の寄書である。会議では、領域別パッキング情報のコンパクトな記述を取り入れたm43436が後方互換性問題を有することが論評された。この寄書では、後方互換性問題を解決するための解決策が提案されている。
新しいボックス、ExtendedRegionWisePackingBoxをOMAF v2仕様に追加することが提案される。OMAF v1との完全な後方互換性が所望される時、ビットストリームにおいてRegionWisePackingBoxおよびExtendedRegionWisePackingBox両方を送ることが推奨される。RegionWisePackingPropertyに対して同じ解決策が提案される。
提案された変更についてのテキストはこの寄書に含まれる。このテキストを、OMAF v2作業草案(WD)の次のバージョンに追加することが提案される。
2.序文
OMAF第2版WDは領域別パッキングについてのテキストを含む。領域別パッキング構造はパックドピクチャにおけるそれぞれの領域をプロジェクテッドピクチャ上にどのようにアンパッキングしかつ投影するのかについての情報を含んでいる。
m43436において、領域別パッキング情報のコンパクトな記述が提案された。m43436における解決策は、領域別パッキング情報を圧縮するための3つの方法を含んでいた。
(1)スケールファクター-矩形領域パッキング構造における投影領域およびパッキング領域についての幅、高さ、上オフセット、および左オフセットに対するビット数を低減したスケールファクターおよびスケーリングされた値がシグナリングされる。フラグを使用してスケーリングが使用されることになるかどうかを指示する。
(2)コピーサイズ-全ての領域が同じサイズを有する場合に第1の領域のみの領域幅および高さがシグナリングされる。フラグは、プロジェクテッドピクチャおよびパックドピクチャのそれぞれが、全ての領域が同じサイズを有するかどうかを指示するために使用される。
(3)ラスタスキャン順序-全ての領域がラスタスキャン順序で順序付けされる場合、領域の上オフセットおよび左オフセットをシグナリングしない。該オフセットは、ピクチャ幅、ならびに領域の幅および高さを使用して受信側で再構成可能である。フラグは、全ての領域がラスタスキャン順序で順序付けされるかどうかを指示するためにプロジェクテッドピクチャおよびパックドピクチャのそれぞれに使用される。
方法は、互いに別々に適用可能である、または最大圧縮のために組み合わせ可能である。
リュブリャナの会議では、OMAFの検討中技術(TuC)にこの提案を含ませることが合意され、ここで「以下のシンタックスは後方互換性がない場合があることは留意されたい」という編集後記が付けられた。
シンタックスのいくつかの態様は、OMAF v1クライアントが新しいパラメータでの提案された更新済みRWPシグナリングによってコンテンツを扱うことができないかもしれないという後方互換性問題を有することが論評された。
3.提案
この寄書では、OMAF v2仕様における新しいボックスおよび新しいエントリ、ExtendedRegionWisePackingBoxおよびExtendedRegionWisePackingPropertyを取り入れることによってリュブリャナ会議で特定された後方互換性問題を解決することが提案されている。新しいボックスおよびエントリは両方共、OMAF TuCにおいて説明される領域別パッキングのコンパクトな記述に対する機能を含む、新しいExtendedRegionWisePackingStructを含んでいる。
ExtendedRegionWisePackingBoxについてのテキストは、以下の注記を含んでいる(同様の注記がExtendedRegionWisePackingPropertyのテキストに加えられている):「OMAF v1との後方互換性について、RegionWisePackingBoxは、ProjectedOmniVideoBoxにおいてExtendedRegionWisePackingBoxの後に存在するものとする。RegionWisePackingBoxは、パックドピクチャとプロジェクテッドピクチャとの間の少なくとも1つの有効なマッピングを含むものとする。OMAF v2プレーヤーは、ExtendedRegionWisePackingBoxが利用可能である場合、RegionWisePackingBoxを破棄するものとする。」
よって、RegionWisePackingBoxおよびExtendedRegionWisePackingBoxを両方共含んでいるビットストリームは、OMAF v1プレーヤーおよびOMAF v2プレーヤー両方によって扱われる可能性がある。OMAF v1プレーヤーは、プレーヤーには未知であるためExtendedRegionWisePackingBoxを破棄し、RegionWisePackingBoxをパースし、この情報を使用してコンテンツをレンダリングする。OMAF v2プレーヤーは、ExtendedRegionWisePackingBoxをパースし、かつこの情報を使用してコンテンツをレンダリングする。
ビットレートを低く抑えるために、RegionWisePackingBoxが、パックドピクチャとプロジェクテッドピクチャとの間の簡略化されているが有効なマッピングを提供することが好ましい。
4.提案されたテキスト変更
以下の表に含まれているテキストをOMAF v2 WDの次の改訂版に追加することが提案される。
Figure 0007337150000024
Figure 0007337150000025
Figure 0007337150000026
Figure 0007337150000027
Figure 0007337150000028
Figure 0007337150000029
Figure 0007337150000030
Figure 0007337150000031
Figure 0007337150000032

Claims (20)

  1. 後方互換性のあるビットストリームを生成する方法(1100)であって、
    前記ビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様の第1のバージョンによって規定される特徴の第1のバージョンを有する第1のエントリAを含むこと(s1102)と、
    前記ビットストリームの前記エントリEにおいて、前記メディアビットストリームシンタックス仕様の更新バージョンによって規定される前記特徴の前記第1のバージョンの拡張である前記特徴の第2のバージョンを有する第2のエントリBを含むこと(s1104)と、を含み、
    前記エントリAおよび前記エントリBは、構造体、コンテナ、またはボックスであり、
    前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISO Base Media File Format)の第1のバージョンであり、
    更新された前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISO Base Media File Format)の更新バージョンであり、
    前記エントリEは、i)前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの更新であること、または、ii)前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの拡張であることを指示する情報を含んでいる、方法。
  2. 前記エントリEは、前記ビットストリームにおける1つまたは複数のシンタックスエレメントのセットを有する構造体またはコンテナの位置に対するポインタである、請求項1に記載の方法。
  3. 前記特徴の前記第1のバージョンは領域別パッキングであり、前記特徴の前記第2のバージョンは前記領域別パッキングの更新バージョンまたは拡張バージョンであり、前記メディアビットストリームシンタックス仕様は全方向メディアフォーマット(OMAF)の第1のバージョンであり、更新された前記メディアビットストリームシンタックス仕様は全方向メディアフォーマット(OMAF)の更新バージョンである、請求項1または2に記載の方法。
  4. 前記エントリEにおいて、前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの拡張であることを指示する情報を含むことをさらに含む、請求項1から3のいずれか一項に記載の方法。
  5. メディアビットストリームをパースしかつ処理するための方法(1700)であって、
    前記メディアビットストリームに含まれているエントリEを受信すること(s1701)と、
    前記エントリEをパースすること(s1702)と、
    前記エントリEを前記パースすることに基づいて、前記エントリEが、i)メディアビットストリームシンタックス仕様の第1のバージョンに適合する特徴の第1のバージョンを含んでいる第1のエントリA、およびii)前記メディアビットストリームシンタックス仕様の更新バージョンに適合する前記特徴の第2のバージョンを含んでいる第2のエントリBを両方共含んでいるかを判定すること(s1704)であって、前記エントリEは、前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの拡張であることを指示する情報を含んでいる、ことに応答して、
    前記エントリBをパースすること(s1705)と、
    前記エントリBを前記パースすることに基づいて、前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの拡張であるかを判定すること(s1708)に応答して、
    前記エントリAにおける前記特徴の前記第1のバージョンおよび前記エントリBにおける前記特徴の前記第2のバージョンを両方共パースすること、および、
    前記エントリAからの前記特徴の前記第1のバージョンおよび前記エントリBからの前記特徴の前記第2のバージョンを組み合わせることと、を含み、
    前記エントリAおよび前記エントリBは、構造体、コンテナ、またはボックスであり、前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISOBMFF)の第1のバージョンであり、更新された前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISOBMFF)の更新バージョンである、方法。
  6. 前記エントリEは、前記メディアビットストリームにおける1つまたは複数のシンタックスエレメントのセットを有する構造体またはコンテナの位置に対するポインタである、請求項5に記載の方法。
  7. 前記メディアビットストリームはオーディオおよび/またはビデオビットストリームである、請求項5または6に記載の方法。
  8. 前記特徴の前記第1のバージョンは領域別パッキングであり、前記特徴の前記第2のバージョンは前記領域別パッキングの拡張バージョンであり、前記メディアビットストリームシンタックス仕様は全方向メディアフォーマット(OMAF)の第1のバージョンであり、更新された前記メディアビットストリームシンタックス仕様は全方向メディアフォーマット(OMAF)の更新バージョンである、請求項5から7のいずれか一項に記載の方法。
  9. 前記特徴の前記第1のバージョンおよび前記第2のバージョンを復号すること、および/または前記メディアビットストリームをレンダリングするために前記特徴の前記第1のバージョンおよび前記第2のバージョンを使用することをさらに含む、請求項5から8のいずれか一項に記載の方法。
  10. 前記方法はメディアプレーヤーで実行される、請求項5から9のいずれか一項に記載の方法。
  11. 後方互換性のあるビットストリームのエントリEにおいて、メディアビットストリームシンタックス仕様の第1のバージョンによって規定される特徴の第1のバージョンを有する第1のエントリAを含むように、および
    前記後方互換性のあるビットストリームの前記エントリEにおいて、前記メディアビットストリームシンタックス仕様の更新バージョンによって規定される前記特徴の前記第1のバージョンの拡張である前記特徴の第2のバージョンを有する第2のエントリBを含むように設定され、
    前記エントリAおよび前記エントリBは、構造体、コンテナ、またはボックスであり、
    前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISOBMFF)の第1のバージョンであり、
    更新された前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISOBMFF)の更新バージョンであり、
    前記エントリEは、i)前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの更新であること、または、ii)前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの拡張であることを指示する情報を含んでいる、ビットストリーム発生器(1302)。
  12. 前記エントリEは、前記ビットストリームにおける1つまたは複数のシンタックスエレメントのセットを有する構造体またはコンテナの位置に対するポインタである、請求項11に記載のビットストリーム発生器。
  13. 前記ビットストリーム発生器は、前記エントリEにおいて、前記特徴の前記第2のバージョンが前記特徴の第1のバージョンの拡張であることを指示する情報を含むようにさらに設定される、請求項11または12に記載のビットストリーム発生器。
  14. メディアビットストリームに含まれているエントリEを受信するように、
    前記エントリEをパースするように、
    前記エントリEを前記パースすることに基づいて、前記エントリEが、i)メディアビットストリームシンタックス仕様の第1のバージョンに適合する特徴の第1のバージョンを含んでいる第1のエントリA、およびii)前記メディアビットストリームシンタックス仕様の更新バージョンに適合する前記特徴の第2のバージョンを含んでいる第2のエントリBを両方共含んでいるかを判定することであって、前記エントリEは、前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの拡張であることを指示する情報を含んでいる、ことに応答して、
    前記エントリBをパースする(s1705)ように、
    前記エントリBを前記パースすることに基づいて、前記特徴の前記第2のバージョンが前記特徴の前記第1のバージョンの拡張であるかを判定することに応答して、
    前記エントリAにおける前記特徴の前記第1のバージョンおよび前記エントリBにおける前記特徴の前記第2のバージョンを両方共パースすること、および、
    前記エントリAからの前記特徴の前記第1のバージョンおよび前記エントリBからの前記特徴の前記第2のバージョンを組み合わせること、を行うように設定される、デバイスであって、
    前記エントリAおよび前記エントリBは、構造体、コンテナ、またはボックスであり、前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISO Base Media File Format)の第1のバージョンであり、更新された前記メディアビットストリームシンタックス仕様はISO/IEC 14496-12(ISO Base Media File Format)の更新バージョンである、デバイス。
  15. 前記エントリEは、前記メディアビットストリームにおける1つまたは複数のシンタックスエレメントのセットを有する構造体またはコンテナの位置に対するポインタである、請求項14に記載のデバイス。
  16. 前記メディアビットストリームはオーディオおよび/またはビデオビットストリームである、請求項14または15に記載のデバイス。
  17. 前記特徴の前記第1のバージョンおよび前記第2のバージョンを復号するように、および/または前記メディアビットストリームをレンダリングするために前記特徴の前記第1のバージョンおよび前記第2のバージョンを使用するようにさらに設定される、請求項14から16のいずれか一項に記載のデバイス。
  18. 請求項1から4のいずれか一項に記載の方法に従って生成される、または請求項11から13のいずれか一項に記載のビットストリーム発生器によって生成される後方互換性のあるビットストリームを受信するようにさらに設定される、請求項14から17のいずれか一項に記載のデバイス。
  19. 前記デバイスはメディアプレーヤー(1502)である、請求項14から18のいずれか一項に記載のデバイス。
  20. デバイスのプロセッサによって実行されるプログラムコードを含むコンピュータプログラムであって、前記プロセッサによる前記プログラムコードの実行によって前記デバイスに請求項1から10のいずれか一項に記載の方法による動作を行わせる、コンピュータプログラム。
JP2021515155A 2018-09-25 2019-09-24 後方互換性を有するメディアビットストリーム Active JP7337150B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862736002P 2018-09-25 2018-09-25
US62/736,002 2018-09-25
PCT/EP2019/075713 WO2020064733A1 (en) 2018-09-25 2019-09-24 Media bistream having backwards compatibility

Publications (2)

Publication Number Publication Date
JP2022501900A JP2022501900A (ja) 2022-01-06
JP7337150B2 true JP7337150B2 (ja) 2023-09-01

Family

ID=68104584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515155A Active JP7337150B2 (ja) 2018-09-25 2019-09-24 後方互換性を有するメディアビットストリーム

Country Status (6)

Country Link
US (2) US11595695B2 (ja)
EP (1) EP3857876A1 (ja)
JP (1) JP7337150B2 (ja)
BR (1) BR112021005703A2 (ja)
CA (1) CA3113755A1 (ja)
WO (1) WO2020064733A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748155B1 (en) * 2022-04-20 2023-09-05 Snowflake Inc. Declarative engine for workloads

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009502055A (ja) 2005-07-15 2009-01-22 ソニー株式会社 変更ファイルフォーマット、ファイルサーバ、データ処理システム及びデータ抽出方法
WO2017142949A1 (en) 2016-02-17 2017-08-24 Qualcomm Incorporated Handling of end of bitstream nal units in l-hevc file format and improvements to hevc and l-hevc tile tracks

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1977604B1 (en) 2006-01-11 2014-03-19 Nokia Corporation Method for a backward -compatible encapsulation of a scalable coded video signal into a sequence of aggregate data units
US9538172B2 (en) 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
US10257527B2 (en) * 2013-09-26 2019-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Hybrid codec scalable video
US10129566B2 (en) * 2015-03-16 2018-11-13 Microsoft Technology Licensing, Llc Standard-guided video decoding performance enhancements
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10652631B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
US10999605B2 (en) 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009502055A (ja) 2005-07-15 2009-01-22 ソニー株式会社 変更ファイルフォーマット、ファイルサーバ、データ処理システム及びデータ抽出方法
WO2017142949A1 (en) 2016-02-17 2017-08-24 Qualcomm Incorporated Handling of end of bitstream nal units in l-hevc file format and improvements to hevc and l-hevc tile tracks

Also Published As

Publication number Publication date
US20210400307A1 (en) 2021-12-23
CA3113755A1 (en) 2020-04-02
JP2022501900A (ja) 2022-01-06
WO2020064733A1 (en) 2020-04-02
US11595695B2 (en) 2023-02-28
BR112021005703A2 (pt) 2021-06-22
EP3857876A1 (en) 2021-08-04
US20230199225A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
KR102307819B1 (ko) 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림
US11200700B2 (en) Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
TWI748114B (zh) 用於媒體內容之按區塊包裝,內容覆蓋度,以及發信訊框包裝
US10404991B2 (en) Method of displaying a region of interest in a video stream
US11272159B2 (en) Method and device for transmitting stereo media content
US11765407B2 (en) Method, device, and computer program for transmitting media content
US10939086B2 (en) Methods and apparatus for encoding and decoding virtual reality content
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
US10672102B2 (en) Conversion and pre-processing of spherical video for streaming and rendering
TWI768487B (zh) 用於編碼/解碼沉浸式媒體的視訊資料的方法和裝置
US20210176509A1 (en) Method, device, and computer program for transmitting media content
US20200107006A1 (en) Method and device for transmitting region information of 360-degree video
WO2019229293A1 (en) An apparatus, a method and a computer program for volumetric video
US20220247991A1 (en) Information processing apparatus, information processing method, reproduction processing device, and reproduction processing method
KR102271444B1 (ko) 영역 기반 360도 비디오를 전송하는 방법, 영역 기반 360도 비디오를 수신하는 방법, 영역 기반 360도 비디오 전송 장치, 영역 기반 360도 비디오 수신 장치
US20230199225A1 (en) Media bitstream having backwards compatibility
KR20200007733A (ko) Pcc 데이터의 효과적인 압축을 위한 부호화/복호화 방법 및 장치
US20240114168A1 (en) Methods and apparatus for signaling 2d and 3d regions in immersive media
WO2020157376A1 (en) An apparatus, a method and a computer program for volumetric video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7337150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150