JP2023542227A - 補助情報のシグナリング - Google Patents

Abstract

デジタルビデオを符号化、復号化、又はトランスコーディングするシステム、方法、及び装置が記載される。ビデオデータを処理する、一例となる方法は、フォーマット規則に従ってビデオとビデオのビットストリームとの間の変換を実行するステップを含み、フォーマット規則は、ビットストリームに含まれる補足強化情報フィールドにより、ビットストリームが、補助情報を表す１つ以上のビデオレイヤを有するかどうかが示される、ことを定める。

Description

［関連出願への相互参照］
適用される特許法及び／又はパリ条約に従う規則の下で、本願は、２０２０年９月２９日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０２０／１１８７１１号に対する優先権及びその利益を適宜請求するようになされたものである。法の下での全ての目的のために、上記の出願の全開示は、本願の開示の部分として参照により援用される。

［技術分野］
本特許明細書は、ビデオ符号化、トランスコーディング、又は復号化を含むデジタルビデオコーディング技術に関係がある。

デジタルビデオは、インターネット及び他のデジタル通信網で最大のバンド幅使用を占めている。ビデオを受信及び表示することができるユーザ機器の接続数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は増え続けることが予想される。

本明細書は、ファイルフォーマットに従ってビデオ又は画像のコーディングされた表現を処理するためにビデオエンコーダ及びデコーダによって使用され得る技術を開示する。

一例となる態様で、ビデオデータを処理する方法が開示される。方法は、フォーマット規則に従ってビデオとビデオのビットストリームとの間の変換を実行するステップを含み、フォーマット規則は、ビットストリームに含まれる補足強化情報フィールド又はビデオユーザビリティ情報シンタックス構造により、ビットストリームが、複数のビデオが複数のビデオレイヤにおいてコーディングされているマルチビュービットストリームを有するかどうかが示される、ことを定める。

他の例となる態様で、ビデオデータを処理する方法が開示される。方法は、フォーマット規則に従ってビデオとビデオのビットストリームとの間の変換を実行するステップを含み、フォーマット規則は、ビットストリームに含まれる補足強化情報フィールドにより、ビットストリームが、補助情報を表す１つ以上のビデオレイヤを有するかどうかが示される、ことを定める。

他の例となる態様で、ビデオ処理方法が開示される。方法は、ビデオピクチャを含むビデオとビデオのコーディングされた表現との間の変換を実行するステップを含み、コーディングされた表現はフォーマット規則に従い、フォーマット規則は、コーディングされた表現に含まれるフィールドによりビデオがマルチビュービデオであることが示される、ことを定める。

他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオピクチャを含むビデオとビデオのコーディングされた表現との間の変換を実行するステップを含み、コーディングされた表現はフォーマット規則に従い、フォーマット規則は、コーディングされた表現に含まれるフィールドにより、ビデオが複数のビデオレイヤにおいてコーディングされた表現でコーディングされていることが示される、ことを定める。

更なる他の例となる態様で、ビデオエンコーダ装置が開示される。ビデオエンコーダは、上記の方法を実装するよう構成されたプロセッサを有する。

更なる他の例となる態様では、ビデオデコーダ装置が開示される。ビデオデコーダは、上記の方法を実装するよう構成されたプロセッサを有する。

更なる他の例となる態様では、コードが記憶されているコンピュータ可読媒体が開示される。コードは、プロセッサ実行可能コードの形で、本明細書で記載される方法の１つを具現化する。

更なる他の例となる態様では、ビットストリームが記憶されているコンピュータ可読媒体が開示される。ビットストリームは、本明細書で記載される方法を用いて生成又は処理される。

これら及び他の特徴は、本明細書にわたって記載される。

例となるビデオ処理システムのブロック図である。 ビデオ処理装置のブロック図である。 ビデオ処理の例示的な方法のフローチャートである。 本開示のいくつかの実施形態に係るビデオコーディングシステムを表すブロック図である。 本開示のいくつかの実施形態に係るエンコーダを表すブロック図である。 本開示のいくつかの実施形態に係るデコーダを表すブロック図である。 ２つのＯＬＳを含み、ＯＬＳ２が０に等しいｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［１］［０］を有するビットストリームの例である。 ビデオ処理の例示的な方法のフローチャートである。 ビデオ処理の例示的な方法のフローチャートである。

セクション見出しは、理解を簡単にするために本明細書で使用されているのであって、各セクションで開示されている技術及び実施形態の適用可能性をそのセクションにのみ制限するものではない。更に、Ｈ．２６６という用語は、開示されている技術の範囲を限定するためではなく、理解を容易にするためにのみ、いくつかの記載で使用されている。そのようなものとして、本明細書で記載される技術は、他のビデオコーデックプロトコル及び設計にも適用可能である。本明細書中、編集の変更は、ＶＶＣ仕様の現在の草案に関して、テキストの取消を示す取消線及びテキストの追加を示す強調表示によってテキストに対して示されている。

［１．導入］
本明細書は、ビデオコーディング技術に関係がある。具体的に、それは、バーサタイルビデオコーディング（Versatile Video Coding，ＶＶＣ）ビデオビットストリームのスケーラビリティディメンション情報のシグナリングに関係がある。アイデアは、個別的に、又は様々な組み合わせで、如何なるビデオコーディング標準規格又は非標準のビデオコーデック、例えば、最近最終合意に達したＶＶＣ、にも適用されてよい。

［２．頭字語］
ＡＣＴ Adaptive Colour Transform
ＡＬＦ Adaptive Loop Filter
ＡＭＶＲ Adaptive Motion Vector Resolution
ＡＰＳ Adaptation Parameter Set
ＡＵ Access Unit
ＡＵＤ Access Unit Delimiter
ＡＶＣ Advanced Video Coding（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ １４４９６－１０）
Ｂ Bi-predictive
ＢＣＷ Bi-prediction with CU-level Weights
ＢＤＯＦ Bi-Directional Optical Flow
ＢＤＰＣＭ Block-Based Delta Pulse Code Modulation
ＢＰ Buffering Period
ＣＡＢＡＣ Context-based Adaptive Binary Arithmetic Coding
ＣＢ Coding Block
ＣＢＲ Constant Bit Rate
ＣＣＡＬＦ Cross-Component Adaptive Loop Filter
ＣＬＶＳ Coded Layer Video Sequence
ＣＬＶＳＳ Coded Layer Video Sequence Start
ＣＰＢ Coded Picture Buffer
ＣＲＡ Clean Random Access
ＣＲＣ Cyclic Redundancy Check
ＣＴＢ Coding Tree Block
ＣＴＵ Coding Tree Unit
ＣＵ Coding Unit
ＣＶＳ Coded Video Sequence
ＣＶＳＳ Coded Video Sequence Start
ＤＣＩ Decoding Capability Information
ＤＰＢ Decoded Picture Buffer
ＤＲＡＰ Dependent Random Access Point
ＤＵ Decoding Unit
ＤＵＩ Decoding Unit Information
ＥＧ Exponential-Golomb
ＥＧｋ k-th order Exponential-Golomb
ＥＯＢ End Of Bitstream
ＥＯＳ End Of Sequence
ＦＤ Filler Data
ＦＩＦＯ First-In, First-Out
ＦＬ Fixed-Length
ＧＢＲ Green, Blue, and Red
ＧＣＩ General Constraints Information
ＧＤＲ Gradual Decoding Refresh
ＧＰＭ Geometric Partitioning Mode
ＨＥＶＣ High Efficiency Video Coding（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ ２３００８－２）
ＨＲＤ Hypothetical Reference Decoder
ＨＳＳ Hypothetical Stream Scheduler
Ｉ Intra
ＩＢＣ Intra Block Copy
ＩＤＲ Instantaneous Decoding Refresh
ＩＬＲＰ Inter-Layer Reference Picture
ＩＲＡＰ Intra Random Access Point
ＬＦＮＳＴ Low Frequency Non-Separable Transform
ＬＰＳ Least Probable Symbol
ＬＳＢ Least Significant Bit
ＬＴＲＰ Long-Term Reference Picture
ＬＭＣＳ Luma Mapping with Chroma Scaling
ＭＩＰ Matrix-based Intra Prediction
ＭＰＳ Most Probable Symbol
ＭＳＢ Most Significant Bit
ＭＴＳ Multiple Transform Selection
ＭＶＰ Motion Vector Prediction
ＮＡＬ Network Abstraction Layer
ＯＬＳ Output Layer Set
ＯＰ Operation Point
ＯＰＩ Operating Point Information
Ｐ Predictive
ＰＨ Picture Header
ＰＯＣ Picture Order Count
ＰＰＳ Picture Parameter Set
ＰＲＯＦ Prediction Refinement with Optical Flow
ＰＴ Picture Timing
ＰＵ Picture Unit
ＱＰ Quantization Parameter
ＲＡＤＬ Random Access Decodable Leading (picture)
ＲＡＳＬ Random Access Skipped Leading (picture)
ＲＢＳＰ Raw Byte Sequence Payload
ＲＧＢ Red, Green, and Blue
ＲＰＬ Reference Picture List
ＳＡＯ Sample Adaptive Offset
ＳＡＲ Sample Aspect Ratio
ＳＥＩ Supplemental Enhancement Information
ＳＨ Slice Header
ＳＬＩ Subpicture Level Information
ＳＯＤＢ String Of Data Bits
ＳＰＳ Sequence Parameter Set
ＳＴＲＰ Short-Term Reference Picture
ＳＴＳＡ Step-wise Temporal Sublayer Access
ＴＲ Truncated Rice
ＴＵ Transform Unit
ＶＢＲ Variable Bit Rate
ＶＣＬ Video Coding Layer
ＶＰＳ Video Parameter Set
ＶＳＥＩ Versatile Supplemental Enhancement Information（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７）
ＶＵＩ Video Usability Information
ＶＶＣ Versatile Video Coding（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３）

［３．最初の議論］
［３．１．ビデオコーディング標準規格］
ビデオコーディング標準規格は、よく知られているＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ標準規格の開発を通じて主に発展してきた。ＩＴＵ－ＴはＨ．２６１及びＨ．２６３を作り出し、ＩＳＯ／ＩＥＣはＭＰＥＧ－１及びＭＰＥＧ－４ Ｖｉｓｕａｌを作り出し、２つの組織は共同でＨ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ標準規格を作り出した。Ｈ．２６２以降、ビデオコーディング標準規格は、時間予測に変換コーディングをプラスしたものが利用されるハイブリッド型ビデオコーディング構造に基づいている。ＨＥＶＣを超える将来のビデオコーディング技術を探求するために、ＪＶＥＴ（Joint Video Exploration Team）が２０１５年にＶＣＥＧ及びＭＰＥＧによって共同で設立された。それ以降、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Joint Exploration Model）と名付けられた参照ソフトウェアに置かれてきた。後に、ＶＶＣ（Versatile Video Coding）プロジェクトが公式に始まると、ＪＶＥＴはＪＶＥＴ（Joint Video Experts Team）と改名された。ＶＶＣは、２０２０年６月１日に終了した１９回目のＪＶＥＴで最終合意された新しいコーディング標準規格であり、ＨＥＶＣと比較してビットレートを５０％削減することを目標としている。

ＶＶＣ（Versatile Video Coding）標準規格（ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３）及び関連するＶＳＥＩ（Versatile Supplemental Enhancement Information）標準規格（ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７）は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の使用と、適応ビットレートストリーミング、ビデオ領域抽出、複数のコーディングされたビデオビットストリームからのコンテンツの合成及びマージ、マルチビュービデオ、スケラーブルレイヤードコーディング、並びにビューポート適応３６０°没入ビデオのようなより新しくより進歩した使用ケースとの両方を含む最大限に広範囲の用途での使用のために設計されている。

［３．２．ビデオに基づいた点群圧縮（Video based Point Cloud Compression，Ｖ－ＰＣＣ）］
略してＶ－ＰＣＣとも呼ばれるＩＳＯ／ＩＥＣ ２３０９０－５，Information technology - Coded Representation of Immersive Media - Part 5: Visual Volumetric Video-based Coding （V3C） and Video-based Point Cloud Compression（V-PCC）は、点群信号のコーディングされた表現を規定する標準規格である。Ｖ－ＰＣＣ標準規格は、最近最終合意されたもう１つの標準規格である。

Ｖ－ＰＣＣは、ＶＶＣ、ＨＥＶＣ、ＡＶＣなどのような特定のビデオコーデックを使用してコーディングされ得る占有、ジオメトリ、テクスチャ属性、マテリアル属性、透明度属性、反射率属性、及び標準属性のようなデータタイプを規定する。

［３．３．ＶＶＣにおける時間スケーラビリティのサポート］
ＶＶＣは、ＨＥＶＣで見られるような時間スケーラビリティの類似したサポートを含む。そのようなサポートは、ＮＡＬユニットヘッダでの時間ＩＤのシグナリング、特定の時間サブレイヤのピクチャがより低い時間サブレイヤのピクチャによるインター予測参照に使用され得ないという制限、サブビットストリーム抽出プロセス、及び適切な入力の各サブビットストリーム抽出出力が適合（conforming）ビットストリームでなければならないという要求をサポートする。ＭＡＮＥ（Media-Aware Network Element(s)）は、時間スケーラビリティに基づいたストリーム適応のためにＮＡＬユニットヘッダ内の時間ＩＤを利用することができる。

［３．４．ＶＶＣにおけるシーケンス内のピクチャ分解能の変更］
ＡＶＣ及びＨＥＶＣでは、ピクチャの空間分解能は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限りは、変更することができない。ＶＶＣは、常にイントラコーディングされるＩＲＡＰピクチャを符号化せずに、ある位置でシーケンス内でのピクチャ分解能の変更を可能にする。この特徴は、インター予測に使用される参照ピクチャが復号中の現在ピクチャとは異なる分解能を有している場合にその参照ピクチャのリサンプリングを必要とするということで、参照ピクチャリサンプリング（Reference Picture Resampling，ＲＰＲ）と呼ばれることがある。

既存の実施の動き補償モジュールを再利用することを可能にするために、スケーリング比は、１／２以上（参照ピクチャから現在ピクチャへの２倍のダウンサンプリング）かつ８以下（８倍のアップサンプリング）であるよう制限される。水平及び垂直スケーリング比は、参照ピクチャ及び現在ピクチャについて指定されているピクチャ幅及び高さ、並びに左、右、上、及び下スケーリングオフセットに基づいて導出される。

例えばネットワーク条件の変化に即応するためにストリーミング又はビデオ会議シナリオで瞬時のビットレートスパイクを引き起こすＩＲＡＰピクチャをコーディングする必要性なしに、ＲＰＲは分解能の変更を可能にする。ＲＰＲはまた、ビデオ領域の全体又は関心のある一部の領域のズームが必要とされる適応シナリオでも使用され得る。スケーリングウィンドウオフセットは、より広範囲のズームに基づいた適用をサポートするよう負であることができる。負のスケーリングウィンドウオフセットはまた、抽出されたサブビットストリームに対して元のビットストリームで見られるのと同じスケーリングウィンドウを保ちながら、マルチレイヤビットストリームからのサブピクチャシーケンスの抽出を可能にする。

ピクチャリサンプリング及び動き補償が２つの異なる段階で適用されるＨＥＶＣのスケーラブル拡張における空間スケーラビリティとは異なり、ＶＶＣのＲＰＲは、サンプル位置の導出及び動きベクトルスケーリングが動き補償中に実行されるブロックレベルでの同じプロセスの部分として実行される。

実施複雑性を制限することを目指して、ＣＬＶＳ内のピクチャ分解能の変更は、ＣＬＶＳ内のピクチャがピクチャごとに複数のサブピクチャを有する場合には許可されない。更に、デコーダ側動きベクトル精緻化（decoder side motion vector refinement）、双方向オプティカルフロー（bi-directional optical flow）、及びオプティカルフローによる予測精緻化（prediction refinement with optical flow）は、ＲＰＲが現在ピクチャと参照ピクチャとの間で使用される場合には適用されない。時間動きベクトル候補の導出のための同一位置（collocated）ピクチャも、現在ピクチャと同じピクチャサイズ、スケーリングウィンドウオフセット、及びＣＴＵサイズを有するように制限される。

ＲＰＲのサポートについて、ＶＶＣ設計のその他の側面は、ＨＥＶＣとは異なるものにされている。第１に、ピクチャ分解能並びに対応する適合性（conformance）及びスケーリングウィンドウは、ＳＰＳでではなく、ＰＰＳでシグナリングされ、一方、ＳＰＳでは、最大ピクチャ分解能及び対応する適合ウィンドウがシグナリングされる。応用では、ＳＰＳでの対応する適合ウィンドウオフセットを伴った最大ピクチャ分解能は、クロッピング後に、意図された又は所望のピクチャ出力サイズとして使用され得る。第２に、シングルレイヤビットストリームの場合に、各ピクチャストア（１つの復号されたピクチャの記憶のためのＤＰＢ内のスロット）は、最大ピクチャ分解能を有している復号されたピクチャを記憶するのに必要なバッファサイズを占有する。

［３．５．ＶＶＣにおけるマルチレイヤスケーラビリティのサポート］
ＶＶＣコア設計においてＲＰＲを用いて現在ピクチャとは異なるサイズの参照ピクチャからインター予測する能力を有することにより、ＶＶＣは、異なる分解能の複数のレイヤ、例えば、標準画質分解能及び高精細分解能を夫々有する２つのレイヤ、を含むビットストリームを容易にサポートすることができる。ＶＶＣデコーダでは、そのような機能は、空間スケーラビリティのサポートに必要なアップサンプリング機能がＲＰＲアップサンプリングフィルタを再利用することによって提供され得るということで、如何なる追加の信号処理レベルのコーディングツールも必要とせずに組み込まれ得る。それでもなお、ビットストリームのスケーラビリティサポートを可能にするための追加の高位シンタックス設計が必要とされる。

スケーラビリティはＶＶＣでサポートされているが、マルチレイヤプロファイルにしか含まれていない。ＡＶＣ及びＨＥＶＣの拡張を含む如何なる先のビデオコーディング標準規格におけるスケーラビリティサポートとも異なり、ＶＶＣスケーラビリティの設計は、可能な限りシングルレイヤデコーダ設計に適したものとなっている。マルチレイヤビットストリームのための復号化能力は、あたかもビットストリームに単一レイヤしかないかのように規定されている。例えば、ＤＰＢサイズなどの復号化能力は、復号されるべきビットストリーム内のレイヤの数に依存しない方法で規定されている。基本的に、シングルレイヤビットストリームのために設計されているデコーダは、マルチレイヤビットストリームを復号することができるように大幅な変更を必要としない。

ＡＶＣ及びＨＥＶＣのマルチレイヤ拡張の設計と比較して、ＨＬＳの側面は、いくらかの柔軟性を犠牲にして大幅に簡素化されている。例えば、１）ＩＲＡＰ ＡＵは、ＣＶＳに存在するレイヤの夫々についてピクチャを含むことを求められており、これにより、レイヤ単位で開始される復号化プロセスを規定する必要がなくなり、２）複雑なＰＯＣ再設定メカニズムに代えて、ＰＯＣシグナリングのためのよりずっと簡単な設計がＶＶＣには含まれており、導出されたＰＯＣ値がＡＵ内の全ピクチャについて同じであることを確認する。

ＨＥＶＣと同様に、レイヤ及びレイヤ依存性に関する情報はＶＰＳに含まれる。ＯＬＳの情報は、どのレイヤがＯＬＳに含まれるかと、どのレイヤが出力されるかと、各ＯＬＳに関連したＰＴＬ及びＨＲＤパラメータなどのような他の情報とのシグナリングのために与えられる。ＨＥＶＣと同様に、カスタム出力モードで全レイヤ、最高レイヤのみ、又は特定の指示されたレイヤのどれかを出力する３つの動作モードが存在する。

ＶＶＣでのＯＬＳ設計とＨＥＶＣでのＯＬＳ設計との間にはいくつかの違いがある。第１に、ＨＥＶＣでは、レイヤセットがシグナリングされ、次いで、ＯＬＳがレイヤセットに基づいてシグナリングされ、各ＯＬＳについて、出力レイヤがシグナリングされる。ＨＥＶＣの設計により、レイヤは、出力レイヤでも出力レイヤを復号するために必要なレイヤでもないＯＬＳに属することができるようになった。ＶＶＣでは、設計は、ＯＬＳ内の任意のレイヤが出力レイヤ又は出力レイヤを復号するために必要なレイヤのどちらかであることを必要とする。従って、ＶＶＣでは、ＯＬＳは、ＯＬＳの出力レイヤを示すことによってシグナリングされ、次いで、ＯＬＳに属する他のレイヤは、ＶＰＳで示されているレイヤ依存性によって、簡単に導出される。更に、ＶＶＣは、各レイヤが少なくとも１つのＯＬＳに含まれることを必要とする。

ＶＶＣ ＯＬＳ設計における他の違いは、ＯＬＳにマッピングされている識別されたレイヤの組に属する全てのＮＡＬユニットからＯＬＳが構成されるＨＥＶＣとは対照的に、ＶＶＣが、ＯＬＳにマッピングされている非出力レイヤに属する一部のＮＡＬユニットを除き得る点である。より具体的には、ＶＶＣのＯＬＳは、０に等しいｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔを有するＩＲＡＰ若しくはＧＤＲピクチャ又はインターレイヤ予測に使用されるサブレイヤからのピクチャのみを含む非出力レイヤを含んだ、ＯＬＳにマッピングされているレイヤの組から成る。これは、ＯＬＳを形成するレイヤ内の全サブレイヤの“必要な”全てのピクチャのみを考慮してマルチレイヤビットストリームの最適なレベル値を示すことを可能にする。ここで、“必要な”とは、出力又は復号化に必要であることを意味する。図７は、０に等しいｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［１］［０］を有する２レイヤビットストリーム、すなわち、ＯＬＳ２が抽出されるときにレイヤＬ０からのＩＲＡＰピクチャのみが保たれるサブビットストリーム、の例を示す。

異なるレイヤでの異なるＲＡＰ周期性を許すことが有益であるいくつかのシナリオを考慮すると、ＡＶＣ及びＨＥＶＣと同様に、ＡＵは、整列されていないＲＡＰを含むレイヤを有することを許される。マルチレイヤビットストリーム内のＲＡＰ、つまり、全レイヤでＲＡＰを持ったＡＵ、のより迅速な識別のために、アクセスユニットデリミタ（Access Unit Delimiter，ＡＵＤ）は、ＡＵがＩＲＡＰ ＡＵ又はＧＤＲ ＡＵであるかどうかを示すフラグを持ったＨＥＶＣと比較して拡張された。更に、ＡＵＤは、ＶＰＳが複数のレイヤを示す場合に、そのようなＩＲＡＰ又はＧＤＲ ＡＵに存在することを義務づけられている。しかし、ＶＰＳによって示されるシングルレイヤビットストリーム又はＶＰＳを参照しないビットストリームの場合に、ＡＵＤは、ＨＥＶＣで見られるように、完全に任意である。これは、この場合に、ＲＡＰが、ＡＵ内の第１スライスのＮＡＬユニットタイプ及び各々のパラメータセットから容易に検出され得るからである。

複数のレイヤによるＳＰＳ、ＰＰＳ、及びＡＰＳの共有を可能にするために、同時に、ビットストリーム抽出プロセスが復号化プロセスで必要なパラメータセットを無駄にしないことを確認するために、第１レイヤのＶＣＬ ＮＡＬユニットは、その第１レイヤを含む全てのＯＬＳがより低いレイヤのＩＤ値によって識別されるレイヤも含む限りは、同じ又はより低いレイヤのＩＤ値を有するＳＰＳ、ＰＰＳ、又はＡＰＳを参照することができる。

［３．６．ＶＵＩ及びＳＥＩメッセージ］
ＶＵＩは、ＳＰＳの部分として（及び、場合により、ＨＥＶＣのＶＰＳでも）送信されるシンタックス構造である。ＶＵＩは、規範的な復号化プロセスに影響を及ぼさないが、コーディングされたビデオの適切なレンダリングにとって重要であり得る情報を運ぶ。

ＳＥＩは、復号、表示、又は他の目的に関係があるプロセスを支援する。ＶＵＩと同じく、ＳＥＩは規範的な復号化プロセスに影響を及ぼさない。ＳＥＩはＳＥＩメッセージで運ばれる。ＳＥＩメッセージのデコーダサポートは任意である。しかし、ＳＥＩメッセージは、ビットストリーム適合性に影響を及ぼし（例えば、ビットストリーム内のＳＥＩメッセージのシンタックスが仕様に従わない場合に、ビットストリームは適合しない。）、一部のＳＥＩメッセージはＨＲＤ仕様で必要とされる。

ＶＶＣで使用されるＶＵＩシンタックス構造及びほとんどのＳＥＩメッセージは、ＶＶＣ仕様において規定されておらず、むしろＶＳＥＩ仕様で規定されている。ＨＲＤ適合性試験に必要なＳＥＩメッセージは、ＶＶＣ仕様で規定されている。ＶＶＣ ｖ１は、ＨＲＤ適合性試験に関連した５つのＳＥＩメッセージを定義しており、ＶＳＥＩ ｖ１は、２０個の追加のＳＥＩメッセージを規定している。ＶＳＥＩ仕様で運ばれるＳＥＩメッセージは、適合するデコーダ挙動に直接に影響せず、それらがコーディングフォーマットにとらわれない方法で使用され得るように定義されており、これにより、ＶＶＣに加えて、ＶＳＥＩを、他のビデオコーディング標準規格により将来使用することができる。ＶＶＣシンタックス要素名を具体的に参照するのではなく、ＶＳＥＩ仕様は、値がＶＶＣ仕様内でセットされている変数を参照する。

ＨＥＶＣと比較して、ＶＶＣのＶＵＩシンタックス構造は、ピクチャの適切なレンダリングに関連した情報にのみ焦点を当てており、如何なるタイミング情報又はビットストリーム制限指示も含まない。ＶＶＣでは、ＶＵＩはＳＰＳ内でシグナリングされ、ＳＰＳは、バイトでのＶＵＩペイロードの長さを通知するようＶＵＩシンタックス構造の前に長さフィールドを含む。これは、デコーダが容易に情報を飛び越すことを可能にし、より重要なことには、ＳＥＩメッセージシンタックス拡張と同様の方法で、ＶＵＩシンタックス構造の終わりに新しいシンタックス要素を直接追加することによって、便利な将来のＶＵＩシンタックス構造を可能にする。

ＶＵＩシンタックス構造は、次の情報を含む：
●インターレースされているか又は累進的であるコンテンツ；
●コンテンツがフレームパックされた立体視ビデオ又は投影全方向ビデオを含むかどうか；
●サンプルアスペクト比：
●コンテンツがオーバースキャン表示に適しているかどうか；
●超高解像度（Ultra High Definition，ＵＨＤ）対高解像度（High Definition，ＨＤ）の色空間及びハイダイナミックレンジ（High Dynamic Range，ＨＤＲ）シグナリングすることができるようにするために特に重要な、原色、マトリックス、及び伝達特性を含む色の説明；
●輝度（ルーマ）と比較した彩度（クロマ）の位置（ＨＥＶＣと比較して、累進的なコンテンツについて、シグナリングが明確化された）。

ＳＰＳが如何なるＶＵＩも含まないとき、情報は指定されていないと見なされ、ビットストリームがディスプレイでのレンダリングを意図されている場合に、アプリケーションによって指定されるか、又は外部手段によって運ばれなければならない。

表１は、ＶＶＣ ｖ１について規定されている全てのＳＥＩメッセージと、それらのシンタックス及びセマンティクスを含む仕様とをリストアップしている。ＶＳＥＩ仕様で規定されている２０個のＳＥＩメッセージのうち、多くはＨＥＶＣから継承された（例えば、フィラーペイロード及び両方のユーザデータＳＥＩメッセージ）。いくつかのＳＥＩメッセージは、コーディングされたビデオコンテンツの正確な処理又はレンダリングに必須である。これは、例えば、マスタリング表示色ボリューム、コンテンツ光レベル情報、又はＨＤＲコンテンツに特に関連する代替伝達特性ＳＥＩメッセージについて当てはまる。他の例には、正距円筒図法、球面回転、領域ごとのパッキング、全方向ビューポートＳＥＩメッセージなどがあり、これらは、３６０°ビデオコンテンツのシグナリング及び処理に関連する。

ＶＶＣ ｖ１のために規定された新しいＳＥＩメッセージは、フレームフィールドＳＥＩメッセージ、サンプルアスペクト比情報ＳＥＩメッセージ、及びサブピクチャレベル情報ＳＥＩメッセージを含む。

フレームフィールドＳＥＩメッセージは、関連するピクチャがどのように表示されるべきか（フィールドパリティ又はフレーム繰り返し周期）と、関連するピクチャのスキャンタイプと、関連するピクチャが前のピクチャの複製であるかどうかとを示す情報を含む。この情報は、関連する画像のタイミング情報とともに、以前のビデオコーディング標準規格では画像タイミングＳＥＩメッセージで通知されていた。しかし、フレームフィールド情報及びタイミング情報は、必ずしも一緒にシグナリングされるとは限らない２つの異なる種類の情報であることが観察された。典型的な例は、システムレベルでタイミング情報をシグナリングするが、ビットストリーム内でフレームフィールド情報をシグナリングすることから成る。従って、ピクチャタイミングＳＥＩメッセージからフレームフィールド情報を削除し、代わりにそれを専用のＳＥＩメッセージ内でシグナリングすることが決定された。この変更により、フレームフィールド情報のシンタックスを変更して、フィールドのペアリングやフレーム繰り返しのためのより多くの値など、追加のより明確な指示をディスプレイに伝えることも可能になった。

サンプルアスペクト比ＳＥＩメッセージは、同じシーケンス内の異なるピクチャについて異なるサンプルアスペクト比をシグナリングすることを可能にし、一方、ＶＵＩに含まれる対応する情報はシーケンス全体に適用される。それは、同じシーケンスの異なるピクチャに異なるサンプルアスペクト比を持たせるスケーリング係数で参照ピクチャリサンプリング機能を使用する場合に関連し得る。

サブピクチャレベル情報ＳＥＩメッセージは、サブピクチャシーケンスのレベル情報を提供する。

［４．開示されている技術的解決法によって解決される技術的課題］
ＶＶＣはマルチレイヤスケーラビリティをサポートする。しかし、ＶＶＣのマルチレイヤビットストリームを所与として、ＯＬＳのビットストリームがマルチビュービットストリームであるか、それとも、単に、ＳＮＲ及び／又は空間スケーラビリティを持った複数のレイヤから成るビットストリームであるかは、未知である。更に、ＶＶＣのマルチレイヤビットストリームを所与として、アルファ、デプス、などのような補助情報を表す１つ以上のレイヤが存在するかどうか、及び、そうである場合に、どのレイヤが何を表しているかは、未知である。

［５．技術的解決法のリスト］
上記の課題を解決するために、以下で要約されている方法が開示される。発明は、概要を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。更に、これらの発明は、個々に適用されても、又はあらゆる方法で組み合わされてもよい。

１）ＶＶＣビデオビットストリームがマルチビュービットストリームであるかどうかを示す情報は、ＶＶＣビデオビットストリームでシグナリングされる。
ａ．一例で、情報はＳＥＩメッセージ（例えば、スケーラビリティディメンションＳＥＩメッセージと呼ばれる。）でシグナリングされる。
ｉ．一例で、スケーラビリティディメンションＳＥＩメッセージは、ビットストリームｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅの情報を提供する。ビットストリームｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅは、スケーラビリティディメンションＳＥＩメッセージを含む任意の後続ＡＵまでの、しかしそれを含まない全ての後続ＡＵを含むゼロ以上のＡＵが後に続く、現在のスケーラビリティディメンションＳＥＩメッセージを含むＡＵを復号化順に有するＡＵの連続として定義される。
ｉｉ．一例で、ＳＥＩメッセージは、ビットストリームがマルチビュービットストリームであり得るかどうかを示すフラグを含む。
ｉｉｉ．一例で、ＳＥＩメッセージは、各レイヤのビューＩＤを示す。
１．一例で、ＳＥＩメッセージは、ビューＩＤがレイヤごとにシグナリングされるかどうかを示すフラグを含む。
２．一例で、レイヤごとのビューＩＤのビットでの長さは、ＳＥＩメッセージでシグナリングされる。
ｂ．一例で、情報はＶＵＩの部分としてシグナリングされる。

２）ＶＶＣビデオビットストリームが補助情報を表す１つ以上のレイヤを含むかどうかを示す情報は、ＶＶＣビデオビットストリームでシグナリングされる。
ａ．一例で、情報はＳＥＩメッセージ（例えば、スケーラビリティディメンションＳＥＩメッセージ）でシグナリングされる。
ｉ．一例で、スケーラビリティディメンションＳＥＩメッセージは、ビットストリームｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅの情報を提供する。ビットストリームｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅは、スケーラビリティディメンションＳＥＩメッセージを含む任意の後続ＡＵまでの、しかしそれを含まない全ての後続ＡＵを含むゼロ以上のＡＵが後に続く、現在のスケーラビリティディメンションＳＥＩメッセージを含むＡＵを復号化順に有するＡＵの連続として定義される。
ｉｉ．一例で、ＳＥＩメッセージは、ビットストリームが１つ以上のレイヤによって運ばれる補助情報を含み得るかどうかを示すフラグを含む。
ｉｉｉ．一例で、ＳＥＩメッセージは、各レイヤの補助ＩＤを示す。
１．一例で、ＳＥＩメッセージは、補助ＩＤがレイヤごとにシグナリングされるかどうかを示すフラグを含む。
２．一例で、補助ＩＤの値（例えば、０）は、当該レイヤが補助ピクチャを含まないことを示す。
３．一例で、補助ＩＤの値（例えば、１）は、補助情報のタイプがアルファであることを示す。
４．一例で、補助ＩＤの値（例えば、２）は、補助情報のタイプがデプスであることを示す。
５．一例で、補助ＩＤの値（例えば、３）は、補助情報のタイプが占有（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
６．一例で、補助ＩＤの値（例えば、４）は、補助情報のタイプがジオメトリ（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
７．一例で、補助ＩＤの値（例えば、５）は、補助情報のタイプが属性（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
８．一例で、補助ＩＤの値（例えば、６）は、補助情報のタイプがテクスチャ属性（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
９．一例で、補助ＩＤの値（例えば、７）は、補助情報のタイプがマテリアル属性（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
１０．一例で、補助ＩＤの値（例えば、８）は、補助情報のタイプが透明度属性（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
１１．一例で、補助ＩＤの値（例えば、９）は、補助情報のタイプが反射率属性（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
１２．一例で、補助ＩＤの値（例えば、１０）は、補助情報のタイプが標準属性（例えば、Ｖ－ＰＣＣで規定される。）であることを示す。
ｂ．一例で、情報はＶＵＩの部分としてシグナリングされる。

［６．実施形態］
以下は、ＶＶＣ仕様及びＶＳＥＩ仕様に適用することができる、上記のセクション５で要約された本発明の側面のいくつかについてのいくつかの例示的な実施形態である。

［６．１．第１実施形態］
この実施例は、項目１、１．ａ、及び全てのそのサブ項目、２、２．ａ、２．ａ．ｉ、２．ａ．ｉｉ、２．ａ．ｉｉｉ、２．ａ．ｉｉｉ．１、２．ａ．ｉｉｉ．２、２．ａ．ｉｉｉ．３、及び２．ａ．ｉｉｉ．４に係る。

［６．１．１．スケーラビリティディメンションＳＥＩメッセージのシンタックス］

［６．１．２．スケーラビリティディメンションＳＥＩメッセージのセマンティクス］
スケーラビリティディメンションＳＥＩメッセージは、１）ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅがマルチビュービットストリームであり得る場合には、各レイヤのビューＩＤ、及び２）ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅにおいて１つ以上のレイヤによって運ばれる補助情報（例えば、デプス又はアルファ）が存在し得る場合には、各レイヤの補助ＩＤといった、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ（以下で定義される。）内のレイヤごとのスケーラビリティディメンション情報を提供する。ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅは、スケーラビリティディメンションＳＥＩメッセージを含む任意の後続ＡＵまでの、しかしそれを含まない全ての後続ＡＵを含むゼロ以上のＡＵが後に続く、現在のスケーラビリティディメンションＳＥＩメッセージを含むＡＵを復号化順に有するＡＵの連続である。
ｓｄ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１をプラスしたものは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内のレイヤの最大数を示す。
１に等しいｓｄ＿ｍｕｌｔｉｖｉｅｗ＿ｉｎｆｏ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅがマルチビュービットストリームであり得ることを示し、ｓｄ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［］シンタックス要素がスケーラビリティディメンションＳＥＩメッセージに存在する。０に等しいｓｄ＿ｍｕｌｔｉｖｉｅｗ＿ｉｎｆｏ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅがマルチビュービットストリームではないことを示し、ｓｄ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［］シンタックス要素はスケーラビリティディメンションＳＥＩメッセージに存在しない。
１に等しいｓｄ＿ａｕｘｉｌａｒｙ＿ｉｎｆｏ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内において１つ以上のレイヤによって運ばれる補助情報が存在し得ることを示し、ｓｄ＿ａｕｘ＿ｉｄ［］シンタックス要素がスケーラビリティディメンションＳＥＩメッセージに存在する。０に等しいｓｄ＿ａｕｘｉｌａｒｙ＿ｉｎｆｏ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内において１つ以上のレイヤによって運ばれる補助情報が存在しないことを示し、ｓｄ＿ａｕｘ＿ｉｄ［］シンタックス要素はスケーラビリティディメンションＳＥＩメッセージに存在しない。
ｓｄ＿ｖｉｅｗ＿ｉｄ＿ｌｅｎは、ｓｄ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］シンタックス要素のビットでの長さを指定する。
ｓｄ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］は、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内のｉ番目のレイヤのビューＩＤを指定する。ｓｄ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］シンタックス要素の長さはｓｄ＿ｖｉｅｗ＿ｉｄ＿ｌｅｎビットである。存在しない場合には、ｓｄ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］の値は、０に等しいと推測される。
０に等しいｓｄ＿ａｕｘ＿ｉｄ［ｉ］は、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内のｉ番目のレイヤが補助ピクチャを含まないことを示す。０よりも大きいｓｄ＿ａｕｘ＿ｉｄ［ｉ］は、下の表２で特定されているように、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内のｉ番目のレイヤにおける補助ピクチャのタイプを示す。

注記１：１２８以上１５９以下の範囲内のｓｄ＿ａｕｘ＿ｉｄに関連した補助ピクチャの解釈は、ｓｄ＿ａｕｘ＿ｉｄの値以外の手段により指定される。
ｓｄ＿ａｕｘ＿ｉｄ［ｉ］は、この仕様のこのバージョンに適合するビットストリームの場合に、０以上２以下、又は１２８以上１５９以下の範囲内にあるべきである。ｓｄ＿ａｕｘ＿ｉｄ［ｉ］の値は、０以上２以下、又は１２８以上１５９以下の範囲内にあるべきであるが、この仕様のこのバージョンにおいて、デコーダは、０以上２５５以下の範囲内のｓｄ＿ａｕｘ＿ｉｄ［ｉ］の値を許すべきである。

図１は、本明細書で開示されている様々な技術が実装され得る例示的なビデオ処理システム１９００を示すブロック図である。様々な実施は、システム１９００のコンポーネントのいくつか又は全てを含み得る。システム１９００は、ビデオコンテンツを受ける入力部１９０２を含み得る。ビデオコンテンツは、生の又は圧縮されていないフォーマット、例えば、８又は１０ビットのマルチコンポーネントピクセル値で受け取られてよく、あるいは、圧縮又は符号化されたフォーマットにあってもよい。入力部１９０２は、ネットワークインターフェース、ペリフェラルバスインターフェース、又はストレージインターフェースに相当し得る。ネットワークインターフェースの例には、Ｅｔｈｅｒｎｅｔ（登録商標）、受動光ネットワーク（Passive Optical Network，ＰＯＮ）などのような有線インターフェース、及びＷｉ－Ｆｉ又はセルラーネットワークなどの無線インターフェースがある。

システム１９００は、本明細書で記載されている様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント１９０４を含んでもよい。コーディングコンポーネント１９０４は、ビデオのコーディングされた表現を生成するよう、入力部１９０２からコーディングコンポーネント１９０４の出力部までビデオの平均ビットレートを低減し得る。コーディング技術は、従って、ビデオ圧縮又はビデオトランスコーディング技術と時々呼ばれる。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、保存されても、あるいは、接続された通信を介して伝送されてもよい。入力部１９０２で受け取られたビデオの保存又は通信されたビットストリーム（又はコーディングされた）表現は、ピクセル値又は表示インターフェース１９１０へ送られる表示可能なビデオを生成するコンポーネント１９０８によって使用されてもよい。ユーザが見ることができるビデオをビットストリーム表現から生成するプロセスは、ビデオ圧縮解除と時々呼ばれる。更に、特定のビデオ処理動作が「コーディング」動作又はツールと呼ばれる一方で、そのようなコーディングツール又は動作はエンコーダで使用され、コーディングの結果を入れ替える対応する復号化ツール又は動作は、デコーダによって実行されることになることが理解されるだろう。

ペリフェラルバスインターフェース又は表示インターフェースの例には、ユニバーサルシリアルバス（ＵＳＢ）又は高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））又はＤｉｓｐｌａｙｐｏｒｔ（登録商標）などが含まれ得る。ストレージインターフェースの例には、ＳＡＴＡ（Serial Advanced Technology Attachment）、ＰＣＩ（Peripheral Component Interconnect）、ＩＤＥ（Integrated Drive Electronics）インターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、あるいは、デジタルデータ処理及び／又はビデオ表示を実行する能力がある他のデバイスなどの、様々な電子デバイスで具現化されてもよい。

図２は、ビデオ処理装置３６００のブロック図である。装置３６００は、本明細書で記載されている方法の１つ以上を実装するために使用され得る。装置３６００は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス（ＩｏＴ）レシーバ、などで具現化されてもよい。装置３６００は、１つ以上のプロセッサ３６０２、１つ以上のメモリ３６０４、及びビデオ処理ハードウェア３６０６を含み得る。プロセッサ３６０２は、本明細書で記載される１つ以上の方法を実装するよう構成され得る。メモリ（複数のメモリ）３６０４は、本明細書で記載される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理ハードウェア３６０６は、ハードウェア回路において、本明細書で記載されるいくつかの技術を実装するために使用され得る。いくつかの実施形態で、ビデオ処理ハードウェア３６０６は、プロセッサ３６０２、例えば、グラフィクス・コプロセッサに少なくとも部分的に含まれてもよい。

図４は、本開示の技術を利用し得る例示的なビデオコーディングシステム１００を表すブロック図である。

図４に示されるように、ビデオコーディングシステム１００は、送信元デバイス１１０及び送信先デバイス１２０を含んでよい。送信元デバイス１１０は、符号化されたビデオデータを生成し、ビデオ符号化デバイスと呼ばれ得る。送信先デバイス１２０は、送信元デバイス１１０によって生成された符号化されたビデオデータを復号することができ、ビデオ復号化デバイスと呼ばれ得る。

送信元デバイス１１０は、ビデオソース１１２、ビデオエンコーダ１１４、及び入力／出力（Ｉ／Ｏ）インターフェース１１６を含んでよい。

ビデオソース１１２は、ビデオ捕捉デバイスなどのソース、ビデオコンテンツプロバイダからビデオデータを受け取るインターフェース、及び／又はビデオデータを生成するコンピュータグラフィクスシステム、あるいは、そのようなソースの組み合わせを含んでよい。ビデオデータは１つ以上のピクチャを有してもよい。ビデオエンコーダ１１４は、ビットストリームを生成するようビデオソース１１２からのビデオデータを符号化する。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットの連続を含んでよい。ビットストリームは、コーディングされたピクチャ及び関連するデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連するデータは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変調器／復調器（モデム）及び／又は送信器を含んでよい。符号化されたビデオデータは、Ｉ／Ｏインターフェース１１６を介して送信先デバイス１２０に対してネットワーク１３０ａを通じて直接に伝送されてよい。符号化されたビデオデータはまた、送信先デバイス１２０によるアクセスのために記憶媒体／サーバ１３０ｂに記憶されてもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、ビデオデコーダ１２４、及び表示デバイス１２２を含んでよい。

Ｉ／Ｏインターフェース１２６は、受信器及び／又はモデムを含んでよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０又は記憶媒体／サーバ１３０ｂから符号化されたビデオデータを取得してよい。ビデオデコーダ１２４は、符号化されたビデオデータを復号してよい。表示デバイス１２２は、復号されたビデオデータをユーザに表示してよい。表示デバイス１２２は、送信先デバイス１２０と一体化されてもよく、あるいは、外付け表示デバイスとインターフェース接続するよう構成されて送信先デバイス１２０の外にあってもよい。

ビデオエンコーダ１１４及びビデオデコーダ１２４は、ＨＥＶＣ（High Efficiency Video Coding）標準規格、ＶＶＣ（Versatile Video Coding）標準規格、並びに他の現在の及び／又は更なる標準規格などのビデオ圧縮規格に従って作動してもよい。

図５は、ビデオエンコーダ２００の例を表すブロック図であり、図４に表されているシステム１００のビデオエンコーダ１１４であってよい。

ビデオエンコーダ２００は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図５の例では、ビデオエンコーダ２００は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオエンコーダ２００の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサが、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。

ビデオエンコーダ２００の機能コンポーネントは、パーティションユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５及びイントラ予測ユニット２０６を含み得る予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆変換ユニット２１１と、再構成ユニット２１２と、バッファ２１３と、エントロピ符号化ユニット２１４とを含んでよい。

他の例では、ビデオエンコーダ２００は、より多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例において、予測ユニット２０２は、イントラブロックコピー（Intra Block Copy，ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在のビデオブロックが位置しているピクチャであるところの、ＩＢＣモードで、予測を実行してよい。

更に、動き推定ユニット２０４及び動き補償ユニット２０５などのいくつかのコンポーネントは、高度に集積されてもよいが、説明のために図５の例では別々に表されている。

パーティションユニット２０１は、ピクチャを１つ以上のビデオブロックにパーティション化し得る。ビデオエンコーダ２００及びビデオデコーダ３００は、様々なビデオブロックサイズをサポートしてよい。

モード選択ユニット２０３は、例えば、エラー結果に基づいて、イントラ又はインターのコーディングモードの１つを選択し、結果として得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット２０７へ、及び参照ピクチャとしての使用のために、符号化されたブロックを再構成する再構成ユニット２１２へ供給してよい。いくつかの例において、モード選択ユニット２０３は、予測がインター予測信号及びイントラ予測信号に基づくイントラ－インター複合予測（Combination of Intra and Inter Prediction，ＣＩＩＰ）モードを選択してもよい。モード選択ユニット２０３はまた、インター予測の場合に、ブロックの動きベクトルのための分解能（例えば、サブピクセル又は整数ピクセル精度）を選択してもよい。

現在のビデオブロックに対してインター予測を実行するために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成し得る。動き補償ユニット２０５は、動き情報と、現在のビデオブロックに関連したピクチャ以外のバッファ２１３からのピクチャの復号されたサンプルとに基づいて、現在のビデオブロックの予測されたビデオブロックを決定し得る。

動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在のビデオブロックがＩスライス、Ｐスライス、又はＢスライスであるかどうかに応じて、現在のビデオブロックのために異なる動作を実行してもよい。

いくつかの例において、動き推定ユニット２０４は、現在のビデオブロックのために一方向予測を実行してもよく、動き推定ユニット２０４は、現在のビデオブロックのための参照ビデオブロックをリスト０又はリスト１の参照ピクチャから探してもよい。動き推定ユニット２０４は、次いで、参照ビデオブロックを含むリスト０又はリスト１内の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット２０４は、現在のビデオブロックの動き情報として参照インデックス、予測方向インジケータ、及び動きベクトルを出力してもよい。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のブロックの予測されたビデオブロックを生成してもよい。

他の例では、動き推定ユニット２０４は、現在のビデオブロックのために双方向予測を実行してもよく、動き推定ユニット２０４は、現在のビデオブロックのための参照ビデオブロックをリスト０内の参照ピクチャから探してもよく、また、現在のビデオブロックのためのもう１つの参照ビデオブロックをリスト１内の参照ピクチャから探してもよい。動き推定ユニット２０４は、次いで、参照ビデオブロックを含むリスト０及びリスト１内の参照ピクチャを示す参照インデックスと、それらの参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在のビデオブロックの動き情報として、現在のビデオブロックの参照インデックス及び動きベクトルを出力してもよい。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のビデオブロックの予測されたビデオブロックを生成してもよい。

いくつかの例において、動き推定ユニット２０４は、デコーダの復号化処理のために動き情報のフルセットを出力してもよい。

いくつかの例において、動き推定ユニット２０４は、現在のビデオの動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、他のビデオブロックの動き情報を参照して現在のビデオブロックの動き情報をシグナリングしてもよい。例えば、動き推定ユニット２０４は、現在のビデオブロックの動き情報が隣接ビデオブロックの動き情報と十分に類似していることを決定してもよい。

一例において、動き推定ユニット２０４は、現在のビデオブロックに関連したシンタックス構造において、現在のビデオブロックが他のビデオブロックと同じ動き情報を有していることをビデオデコーダ３００に示す値を示してもよい。

他の例では、動き推定ユニット２０４は、現在のビデオブロックに関連したシンタックス構造において、他のビデオブロック及び動きベクトル差分（Motion Vector Difference，ＭＶＤ）を特定してもよい。動きベクトル差分は、現在のビデオブロックの動きベクトルと、指示されたビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ３００は、現在のビデオブロックの動きベクトルを決定するために、指示されたビデオブロックの動きベクトル及び動きベクトル差分を使用し得る。

上述されたように、ビデオエンコーダ２００は、動きベクトルを予測的にシグナリングしてもよい。ビデオエンコーダ２００によって実装され得る予測シグナリング技術の２つの例には、アドバンスド動きベクトル予測（Advanced Motion Vector Prediction，ＡＭＶＰ）及びマージモードシグナリングがある。

イントラ予測ユニット２０６は、現在のビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット２０６が現在のビデオブロックに対してイントラ予測を実行する場合に、イントラ予測ユニット２０６は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、現在のビデオブロックの予測データを生成し得る。現在のビデオブロックの予測データは、予測されたビデオブロック及び様々なシンタックス要素を含み得る。

残差生成ユニット２０７は、現在のビデオブロックから現在のビデオブロックの予測されたビデオブロックを減じること（例えば、マイナス符号によって示される。）によって、現在のビデオブロックの残差データを生成してよい。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプルコンポーネントに対応する残差ビデオブロックを含み得る。

他の例では、例えば、スキップモードで、現在のビデオブロックについて、現在のビデオブロックの残差データは存在しない場合があり、残差生成ユニット２０７は、減算演算を実行しなくてもよい。

変換処理ユニット２０８は、現在のビデオブロックに関連した残差ビデオブロックに１つ以上の変換を適用することによって、現在のビデオブロックの１つ以上の変換係数ビデオブロックを生成してよい。

変換処理ユニット２０８が現在のビデオブロックに関連した変換係数ビデオブロックを生成した後、量子化ユニット２０９は、現在のビデオブロックに関連した１つ以上の量子化パラメータ（ＱＰ）値に基づいて、現在のビデオブロックに関連した変換係数ビデオブロックを量子化してよい。

逆量子化ユニット２１０及び逆変換ユニット２１１は、変換係数ビデオブロックに各々逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット２１２は、再構成された残差ビデオブロックを、予測ユニット２０２によって生成された１つ以上の予測されたビデオブロックからの対応するサンプルに加えて、バッファ２１３での記憶のために、現在のブロックに関連した再構成されたビデオブロックを生成してよい。

再構成ユニット２１２がビデオブロックを再構成した後、ループフィルタリング動作が、ビデオブロックにおいてビデオブロッキングアーチファクトを低減するよう実行されてもよい。

エントロピ符号化ユニット２１４は、ビデオエンコーダ２００の他の機能コンポーネントからデータを受け取ってもよい。エントロピ符号化ユニット２１４がデータを受け取ると、エントロピ符号化ユニット２１４は、エントロピ符号化されたデータを生成するよう１つ以上のエントロピ符号化動作を実行し、そのエントロピ符号化されたデータを含むビットストリームを出力し得る。

図６は、ビデオデコーダ３００の例を表すブロック図であり、図４で表されているシステム１００のビデオデコーダ１２４であってよい。

ビデオデコーダ３００は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図６の例では、ビデオデコーダ３００は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオデコーダ３００の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサが、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。

図６の例では、ビデオデコーダ３００は、エントロピ復号化ユニット３０１と、動き補償ユニット３０２と、イントラ予測ユニット３０３と、逆量子化ユニット３０４と、逆変換ユニット３０５と、再構成ユニット３０６と、バッファ３０７とを含む。ビデオデコーダ３００は、いくつかの例において、ビデオエンコーダ２００（図５）に関して記載された符号化パスとは概して逆の復号化パスを実行してもよい。

エントロピ復号化ユニット３０１は、符号化されたビットストリームを取り出し得る。符号化されたビットストリームは、エントロピコーディングされたビデオデータ（例えば、ビデオデータの符号化されたブロック）を含んでもよい。エントロピ復号化ユニット３０１は、エントロピコーディングされたビデオデータを復号してよく、エントロピ復号されたビデオデータから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定し得る。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することによって、そのような情報を決定してよい。

動き補償ユニット３０２は、場合により、補間フィルタに基づいた補間を実行して、動き補償されたブロックを生成してよい。サブピクセル精度で使用される補間フィルタのための識別子が、シンタックス要素に含まれてもよい。

動き補償ユニット３０２は、参照ブロックのサブ整数ピクセルについて補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２００によって使用された補間フィルタを使用し得る。動き補償ユニット３０２は、受け取られたシンタックス情報に従って、ビデオエンコーダ２００によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。

動き補償ユニット３０２は、符号化されたビデオシーケンスのフレーム及び／又はスライスを符号化するために使用されるブロックのサイズと、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのようにパーティション化されるかを記述するパーティション情報と、各パーティションがどのように符号化されるかを示すモードと、各インター符号化されたブロックについての１つ以上の参照フレーム（及び参照フレームリスト）と、符号化されたビデオシーケンスを復号するための他の情報とを決定するために、シンタックス情報のいくつかを使用してもよい。

イントラ予測ユニット３０３は、空間的に隣接するブロックから予測ブロックを形成するよう、例えば、ビットストリームで受け取られたイントラ予測モードを使用してもよい。逆量子化ユニット３０４は、ビットストリームで供給されてエントロピ復号化ユニット３０１によって復号された量子化されたビデオブロック係数を逆量子化、すなわち、量子化解除する。逆変換ユニット３０５は逆変換を適用する。

再構成ユニット３０６は、動き補償ユニット３０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックを残差ブロックに加算して、復号されたブロックを形成し得る。必要に応じて、デブロッキングフィルタも、ブロッキネスアーチファクトを取り除くために、復号されたブロックにフィルタをかけるよう適用されてもよい。復号されたビデオブロックは、次いで、バッファ３０７に格納され、バッファ３０７は、その後の動き補償／イントラ予測のために参照ブロックを供給し、更には、復号されたビデオを表示デバイスでの提示のために生成する。

いくつかの実施形態によって好まれている解決法のリストが次に与えられる。

以下は、前のセクション（例えば、項目１）で議論された技術の例示的な実施形態を示す。

解決法１．
ビデオ処理の方法（例えば、図３に表されている方法７００）であって、
ビデオピクチャを含むビデオと前記ビデオのコーディングされた表現との間の変換を実行するステップ（７０２）を有し、
前記コーディングされた表現はフォーマット規則に従い、
前記フォーマット規則は、前記ビデオがマルチビュービデオであることを示すフィールドが前記コーディングされた表現に含まれることを定める、
方法。

解決法２．
前記フィールドは、前記コーディングされた表現の補足強化情報部分に含まれる、
解決法１の方法。

解決法３．
前記フィールドは、前記コーディングされた表現のビデオユーザビリティ情報部分に含まれる、
解決法１の方法。

以下は、前のセクション（例えば、項目２）で議論された技術の例示的な実施形態を示す。

解決法４．
ビデオ処理の方法であって、
ビデオピクチャを含むビデオと前記ビデオコーディングされた表現との間の変換を実行するステップを有し、
前記コーディングされた表現はフォーマット規則に従い、
前記フォーマット規則は、前記ビデオが複数のビデオレイヤにおいて前記コーディングされた表現にコーディングされていることを示すフィールドが前記コーディングされた表現に含まれることを定める、
方法。

解決法５．
前記フィールドは、前記コーディングされた表現の補足強化情報部分に含まれる、
解決法４の方法。

解決法６．
前記フィールドは、前記コーディングされた表現のビデオユーザビリティ情報部分に含まれる、
解決法４の方法。

解決法７．
前記変換は、前記ビデオから前記コーディングされた表現を生成することを有する、
解決法１乃至６のいずれかの方法。

解決法８．
前記変換は、前記コーディングされた表現を復号して前記ビデオを生成することを有する、
解決法１乃至６のいずれかの方法。

解決法９．
解決法１乃至８の１つ以上に記載される方法を実装するよう構成されたプロセッサを有するビデオ復号化装置。

解決法１０．
解決法１乃至８の１つ以上に記載される方法を実装するよう構成されたプロセッサを有するビデオ符号化装置。

解決法１１．
プロセッサによって実行される場合に、解決法１乃至８のいずれかに記載される方法プロセッサに実装させるコンピュータコードが記憶されているコンピュータプログラム製品。

解決法１２．
解決法１乃至８のいずれかにしたがって生成されたコーディングされた表現を記憶するコンピュータ可読媒体。

本明細書で記載される方法、装置、又はシステム。

本明細書で記載されている解決法で、エンコーダは、コーディングされた表現をフォーマット規則に従って生成することによって、フォーマット規則に従ってよい。本明細書で記載されている解決法で、デコーダは、復号されたビデオを生成するために、フォーマット規則に従うシンタックス要素の有無を知った上で、フォーマット規則を用いて、コーディングされた表現内のシンタックス要素をパースしてよい。

図８は、ビデオ処理の例示的な方法のフローチャートである。動作８０２は、フォーマット規則に従ってビデオとビデオのビットストリームとの間の変換を実行することを含み、フォーマット規則は、ビットストリームに含まれている補足強化情報フィールド又はビデオユーザビリティ情報シンタックス構造により、ビットストリームが、複数のビューが複数のビデオレイヤにおいてコーディングされているマルチビュービットストリームを有するかどうかが示される、ことを定める。

いくつかの実施形態において、フォーマット規則は、補足強化情報フィールドがビットストリームにおいて補足強化情報メッセージ内のスケーラビリティディメンション情報に含まれる、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージが、ビットストリームがマルチビュービットストリームであるかどうかを示す第１フラグを含む、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージがビットストリームの複数のビデオレイヤのうちの各ビデオレイヤのビュー識別子を含む、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージが各ビデオレイヤのビュー識別子のビットの長さを含む、ことを定める。

いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージが、各ビデオレイヤについてビュー識別子がビットストリームに含まれるかどうかを示す第２フラグを含む、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージ内のスケーラビリティディメンション情報が、第３補足強化情報メッセージ内の第３スケーラビリティディメンション情報を含む後続のアクセスユニットまでの、しかしそれを含まない全ての後続のアクセスユニットを含むゼロ以上のアクセスユニットが後に続いている、第２補足強化情報メッセージ内の第２スケーラビリティディメンション情報を含むアクセスユニットを復号化順に含む一連のアクセスユニットに関する情報を提供する、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報フィールドがビットストリームにおいてビデオユーザビリティ情報シンタックス構造に含まれる、ことを定める。いくつかの実施形態において、ビットストリームは、バーサタイルビデオコーディングビットストリームである。いくつかの実施形態において、変換を実行するステップは、ビデオをビットストリームに符号化することを含む。いくつかの実施形態において、変換を実行するステップは、ビットストリームをビデオから生成することを含み、方法は、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することを更に含む。いくつかの実施形態において、変換を実行するステップは、ビデオをビットストリームから復号することを含む。

図９は、ビデオ処理の例示的な方法のフローチャートである。動作９０２は、フォーマット規則に従ってビデオとビデオのビットストリームとの間の変換を実行することを含み、フォーマット規則は、ビットストリームに含まれる補足強化情報フィールドにより、補助情報を表す１つ以上のビデオレイヤをビットストリームが有するかどうかが示される、ことを定める。

いくつかの実施形態において、フォーマット規則は、補足強化情報フィールドがビットストリームにおいて補足強化情報メッセージ内のスケーラビリティディメンション情報に含まれる、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージが、ビットストリームが１つ以上のビデオレイヤの補助情報を含むかどうかを示す第１フラグを含む、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージがビットストリームの複数のビデオレイヤのうちの各ビデオレイヤの補助識別子を含む、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第１値により、そのビデオレイヤが補助ピクチャを含まないことが示される、ことを定める。

いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第２値により、そのビデオレイヤの補助情報のタイプがアルファ（alpha）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプがデプス（depth）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージが、各ビデオレイヤについて補助識別子がビットストリームに含まれるかどうかを示す第２フラグを含む、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第４値により、そのビデオレイヤの補助情報のタイプが占有（occupancy）であることが示される、ことを定める。

いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプがジオメトリ（geometry）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプが属性（attribute）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプがテクスチャ属性（texture attribute）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプがマテリアル属性（material attribute）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプが透明度属性（transparent attribute）であることが示される、ことを定める。

いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプが反射率属性（reflectance attribute）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、ビデオレイヤの補助識別子の第３値により、そのビデオレイヤの補助情報のタイプが標準属性（normal attribute）であることが示される、ことを定める。いくつかの実施形態において、フォーマット規則は、補足強化情報メッセージ内のスケーラビリティディメンション情報が、第３補足強化情報メッセージ内の第３スケーラビリティディメンション情報を含む後続のアクセスユニットまでの、しかしそれを含まない全ての後続のアクセスユニットを含むゼロ以上のアクセスユニットが後に続いている、第２補足強化情報メッセージ内の第２スケーラビリティディメンション情報を含むアクセスユニットを復号化順に含む一連のアクセスユニットに関する情報を提供する、ことを定める。

いくつかの実施形態において、フォーマット規則は、補足強化情報フィールドがビットストリームにおいてビデオユーザビリティ情報に含まれる、ことを定める。いくつかの実施形態において、ビデオは、バーサタイルビデオコーディングビデオである。いくつかの実施形態において、変換を実行するステップは、ビデオをビットストリームに符号化することを含む。いくつかの実施形態において、変換を実行するステップは、ビットストリームをビデオから生成することを含み、方法は、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することを更に含む。いくつかの実施形態において、変換を実行するステップは、ビデオをビットストリームから復号することを含む。

いくつかの実施形態において、ビデオ復号化装置は、本特許文献で記載されている技術の１つ以上で挙げられている方法を実装するよう構成されたプロセッサを有する。いくつかの実施形態において、ビデオ符号化装置は、本特許文献で記載されている技術の１つ以上で挙げられている方法を実装するよう構成されたプロセッサを有する。いくつかの実施形態において、コンピュータプログラム製品は、プロセッサによって実行される場合に、本特許文献で記載されている技術をプロセッサに実施させるコンピュータ命令が記憶されている。いくつかの実施形態において、非一時的なコンピュータ可読記憶媒体は、本特許文献で記載されている技術のいずれか１つの方法に従って生成されたビットストリームを記憶する。

いくつかの実施形態において、非一時的なコンピュータ可読記憶媒体は、本特許文献で記載されている技術のいずれかに挙げられている方法をプロセッサに実施される命令を記憶している。いくつかの実施形態において、ビットストリーム生成の方法は、本特許文献で記載されている技術のいずれかに挙げられている方法に従ってビデオのビットストリームを生成するステップと、ビットストリームをコンピュータ可読プログラム媒体に記憶するステップとを有する。いくつかの実施形態において、本特許文献で記載されている方法、装置、開示されている方法に従って生成されたビットストリーム、又はシステム。

本特許文献中、「ビデオ処理」という用語は、ビデオ符号化、ビデオ復号化、ビデオ圧縮又はビデオ圧縮解除を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から、対応するビットストリーム表現への変換中に、又はその逆も同様に、適用されてもよい。現在のビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるような、ビットストリーム内で同一位置にあるか又は異なった場所に広がっているかのどちらかであるビットに対応してもよい。例えば、マクロブロックは、変換及びコーディングされた誤差残余値に関して、更には、ビットストリーム内のヘッダ及び他のフィールドにおけるビットを用いて、符号化されてよい。更に、変換中に、デコーダは、上記の解決法で記載されているように、決定に基づいて、いくつかのフィールドが存在している又は存在していない可能性があると知った上で、ビットストリームをパースしてもよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれている又は含まれるべきではないと決定し、それに応じて、コーディングされた表現にシンタックスフィールドを含めるか又は除くことによって、コーディングされた表現を生成してもよい。

開示されている技術のいくつかの実施形態は、ビデオ処理ツール又はモードを有効にするとの決定又は判断を行うことを含む。例において、ビデオ処理ツール又はモードが有効にされる場合に、エンコーダは、ビデオのブロックの処理においてそのツール又はモードを使用又は実装することになるが、ツール又はモードの使用に基づき、必ずしも、結果として得られるビットストリームを変更しなくてもよい。つまり、ビデオのブロックからビデオのビットストリーム表現への変換は、ビデオ処理ツール又はモードが決定又は判断に基づき有効にされる場合にそのツール又はモードを使用することになる。他の例においては、ビデオ処理ツール又はモードが有効にされる場合に、デコーダは、ビットストリームがそのビデオ処理ツール又はモードに基づき変更されていると知った上で、ビットストリームを処理することになる。つまり、ビデオのビットストリーム表現からビデオのブロックへの変換は、決定又は判断に基づき有効にされたビデオ処理ツール又はモードを用いて実行されることになる。

開示されている技術のいくつかの実施形態は、ビデオ処理ツール又はモードを無効にするとの決定又は判断を行うことを含む。例において、ビデオ処理ツール又はモードが無効にされる場合に、エンコーダは、ビデオのブロックからビデオのビットストリーム表現への変換においてそのツール又はモードを使用しない。他の例においては、ビデオ処理ツール又はモードが無効にされる場合に、デコーダは、決定又は判断に基づき無効にされたビデオ処理ツール又はモードを用いてビットストリームは変更されていないと知った上で、ビットストリームを処理することになる。

本明細書中で記載されている開示された及び他の解決法、例、実施形態、モジュール及び機能動作は、デジタル電子回路で、あるいは、本明細書で開示されている構造及びそれらの構造的な同等物を含むコンピュータソフトウェア、ファームウェア、又はハードウェアで、あるいは、それらのうちの１つ以上の組み合わせで実装可能である。開示された及び他の実施形態は、１つ以上のコンピュータプログラム製品、つまり、データ処理装置によって実行されるか又はその動作を制御するためにコンピュータ可読媒体で符号化されたコンピュータプログラム命令の１つ以上のモジュール、として実装可能である。コンピュータ可読媒体は、マシン可読記憶デバイス、マシン可読記憶基板、メモリデバイス、マシン可読な伝播信号に影響を与える物質の組成、又はそれらの１つ以上の組み合わせであることができる。「データ処理装置」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成された信号、例えば、マシンにより生成された電気的、光学的、又は電磁気信号であり、適切なレシーバ装置への伝送のために情報を符号化するよう生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。）は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するわけではない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル）で、他のプログラム又はデータ（例えば、マークアップ言語文書で保存された１つ以上のスクリプト）を保持するファイルの部分において保存可能である。コンピュータプログラムは、１つのコンピュータで、あるいは、１つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで実行されるようデプロイ可能である。

本明細書で説明されているプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及びロジックフローはまた、専用のロジック回路、例えば、ＦＰＧＡ（Field Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）によっても実行可能であり、装置は、そのようなものとして実装可能である。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを読み出すことになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する１つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを保存する１つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような１つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、消去可能なプログラム可能リード・オンリー・メモリ（ＥＰＲＯＭ）、電気的消去可能なプログラム可能リード・オンリー・メモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク；光学磁気ディスク；並びにコンパクトディスク型リード・オンリー・メモリ（ＣＤ ＲＯＭ）及びデジタルバーサタイルディスク型リード・オンリー・メモリ（ＤＶＤ－ＲＯＭ）ディスクを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。

本明細書は、多数の詳細を含むが、それらは、あらゆる対象の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書で説明されている特定の特徴は、単一の実施形態で組み合わせても実装可能である。逆に、単一の実施形態に関連して説明されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして先に説明され、更には、そのようなものとして最初に請求されることがあるが、請求されている組み合わせからの１つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。

同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が示されているその特定の順序で又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書で説明されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。

ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。

［関連出願への相互参照］
本願は、２０２０年９月２９日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０２０／１１８７１１号に対する優先権及びその利益を主張して２０２１年９月２９日付けで出願された国際特許出願第ＰＣＴ／ＣＮ２０２１／１２１５１３号に基づくものである。上記の全ての特許出願は、それらの全文を参照により本願に援用される。

Claims (29)

1. ビデオデータを処理する方法であって、
   フォーマット規則に従ってビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、
   前記フォーマット規則は、前記ビットストリームに含まれている補足強化情報フィールドにより、前記ビットストリームが、補助情報を表す１つ以上のビデオレイヤを有するかどうかが示される、ことを定める、
   方法。
2. 前記フォーマット規則は、前記補足強化情報フィールドが前記ビットストリームにおいて補足強化情報メッセージ内のスケーラビリティディメンション情報に含まれる、ことを定める、
   請求項１に記載の方法。
3. 前記フォーマット規則は、前記補足強化情報メッセージが、前記ビットストリームが前記１つ以上のビデオレイヤのための前記補助情報を含むかどうかを示す第１フラグを含む、ことを定める、
   請求項２に記載の方法。
4. 前記フォーマット規則は、前記補足強化情報メッセージが前記ビットストリームの複数のビデオレイヤのうちの各ビデオレイヤの補助識別子を含む、ことを定める、
   請求項２に記載の方法。
5. 前記フォーマット規則は、ビデオレイヤの補助識別子の第１値により、当該ビデオレイヤが補助ピクチャを含まないことが示される、ことを定める、
   請求項４に記載の方法。
6. 前記フォーマット規則は、ビデオレイヤの補助識別子の第２値により、当該ビデオレイヤの補助情報タイプがアルファであることが示される、ことを定める、
   請求項４に記載の方法。
7. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプがデプスであることが示される、ことを定める、
   請求項４に記載の方法。
8. 前記フォーマット規則は、前記補足強化情報メッセージが、各ビデオレイヤについて前記補助識別子が前記ビットストリームに含まれるかどうかを示す第２フラグを含む、ことを定める、
   請求項４に記載の方法。
9. 前記フォーマット規則は、ビデオレイヤの補助識別子の第４値により、当該ビデオレイヤの補助情報のタイプが占有であることが示される、ことを定める、
   請求項４に記載の方法。
10. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプがジオメトリであることが示される、ことを定める、
    請求項４に記載の方法。
11. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプが属性であることが示される、ことを定める、
    請求項４に記載の方法。
12. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプはテクスチャ属性であることが示される、ことを定める、
    請求項４に記載の方法。
13. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプがマテリアル属性であることが示される、ことを定める、
    請求項４に記載の方法。
14. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプが透明度属性であることが示される、ことを定める、
    請求項４に記載の方法。
15. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプが反射率属性であることが示される、ことを定める、
    請求項４に記載の方法。
16. 前記フォーマット規則は、ビデオレイヤの補助識別子の第３値により、当該ビデオレイヤの補助情報のタイプが標準属性であることが示される、ことを定める、
    請求項４に記載の方法。
17. 前記フォーマット規則は、前記補足強化情報メッセージ内の前記スケーラビリティディメンション情報が、第３補足強化情報メッセージ内の第３スケーラビリティディメンション情報を含む後続のアクセスユニットまでの、しかしそれを含まない全ての後続のアクセスユニットを含むゼロ以上のアクセスユニットが後に続いている、第２補足強化情報メッセージ内の第２スケーラビリティディメンション情報を含むアクセスユニットを復号化順に含む一連のアクセスユニットに関する情報を提供する、ことを定める、
    請求項２に記載の方法。
18. 前記フォーマット規則は、前記補足強化情報フィールドが前記ビットストリームにおいてビデオユーザビリティ情報に含まれる、ことを定める、
    請求項１に記載の方法。
19. 前記ビデオは、バーサタイルビデオコーディングビデオである、
    請求項１乃至１８のうちいずれかに記載の方法。
20. 前記変換を実行するステップは、前記ビデオを前記ビットストリームに符号化することを含む、
    請求項１乃至１９のうちいずれかに記載の方法。
21. 前記変換を実行するステップは、前記ビットストリームを前記ビデオから生成することを含み、
    当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
    請求項１乃至１９のうちいずれかに記載の方法。
22. 前記変換を実行するステップは、前記ビデオを前記ビットストリームから復号することを含む、
    請求項１乃至１９のうちいずれかに記載の方法。
23. 請求項１乃至２２のうちの一項以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ復号化装置。
24. 請求項１乃至２２のうちの一項以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ符号化装置。
25. プロセッサによって実行される場合に、前記プロセッサに、請求項１乃至２２のうちいずれかに記載の方法を実施させるコンピュータ命令が記憶されているコンピュータプログラム製品。
26. 請求項１乃至２２のうちいずれか一項に記載の方法により生成されたビットストリームを記憶する非一時的なコンピュータ可読記憶媒体。
27. 請求項１乃至２２のうちいずれかに記載の方法をプロセッサに実施させる命令を記憶している非一時的なコンピュータ可読記憶媒体。
28. ビットストリーム生成の方法であって、
    請求項１乃至２２のうちいずれかに記載の方法によりビデオのビットストリームを生成するステップと、
    前記ビットストリームをコンピュータ可読プログラム媒体に記憶するステップと
    を有する方法。
29. 本明細書で記載されている方法、装置、開示されている方法により生成されたビットストリーム、及びシステム。

Images