JP7307777B2 - ビデオコーディングにおける適応パラメータセットの格納 - Google Patents

Description

［関連出願への相互参照］
適用可能な特許法及び／又はパリ条約に従う規則の下で、本願は、２０２０年１０月７日付けで出願された米国特許仮出願第６３／０８８８０９号の優先権及び利益を適宜主張するよう行われている。法の下での全ての目的のために、上記の出願の全開示は、本願の開示の部分として参照により組み込まれる。

［技術分野］
本特許文献は、ファイルフォーマットでのデジタルオーディオビデオメディア情報の生成、記憶及び消費に関係がある。

デジタルビデオは、インターネット及び他のデジタル通信ネットワーク上で最大バンド幅使用を占める。ビデオを受信及び表示することが可能なユーザデバイスの接続数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は成長し続けることが予期される。

本特許文献は、ファイルフォーマットに従ってビデオ又は画像のコーディングされた表現を処理するビデオエンコーダ及びデコーダによって使用され得る技術を開示する。

一例となる態様で、ビデオ処理方法が開示される。方法は、視覚メディアファイルと視覚メディアデータのビットストリームとの間の変換をフォーマット規則に従って実行するステップを含み、フォーマット規則は、第１適応パラメータセットネットワーク抽象型レイヤユニットが、（１）ビデオコーディングレイヤトラックのサンプル又はビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び（２）非ビデオコーディングレイヤトラックのサンプルで、視覚メディアファイルに同時に格納されないようにすることを指定し、ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、第１適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのためのクロマスケーリング付きルーママッピング（luma mapping with chroma scaling）パラメータと、ビデオストリームのためのスケーリングリストパラメータとを含む。

他の例となる態様で、ビデオ処理方法が開示される。方法は、視覚メディアデータと視覚メディアデータに対応する情報を格納するファイルとの間の変換をフォーマット規則に従って実行するステップを含み、フォーマット規則は、ファイルの非ビデオコーディングレイヤ（非ＶＣＬ）トラックを識別する第１条件及び／又はファイルのビデオコーディングレイヤ（ＶＣＬ）トラックを識別する第２条件を指定する。

更なる他の例となる態様で、ビデオエンコーダ装置が開示される。ビデオエンコーダは、上記の方法を実装するよう構成されたプロセッサを有する。

更なる他の例となる態様で、ビデオデコーダ装置が開示される。ビデオデコーダは、上記の方法を実装するよう構成されたプロセッサを有する。

更なる他の例となる態様で、コードを記憶しているコンピュータ可読媒体が開示される。コードは、プロセッサ実行可能なコードの形で、ここで記載されている方法の１つを具現する。

更なる他の例となる態様で、ビットストリームを記憶しているコンピュータ可読媒体が開示される。ビットストリームは、本文書で記載されている方法を用いて生成又は処理される。

これら及び他の特徴は、本文書を通じて記載される。

例となるビデオ処理システムのブロック図である。 ビデオ処理装置のブロック図である。 ビデオ処理の方法の例についてのフローチャートである。 本開示のいくつかの実施形態に従ってビデオコーディングシステムを表すブロック図である。 本開示のいくつかの実施形態に従ってエンコーダを表すブロック図である。 本開示のいくつかの実施形態に従ってデコーダを表すブロック図である。 エンコーダブロック図の例を示す。 ビデオ処理の方法の例についてのフローチャートである。

セクション見出しは、理解を簡単にするために本文書中で使用されており、各セクションで開示されている技術及び実施形態の適用可能性をそのセクションにのみ限定しない。更に、Ｈ．２６６の専門用語は、理解を簡単にするためにのみ一部の記載で使用されており、開示されている技術の範囲を限定するためではない。従って、ここで記載される技術は、他のビデオコーデックプロトコル及び設計にも適用可能である。本文書中、編集の変更は、ＶＶＣ仕様又はＩＳＯＢＭＦＦファイルフォーマット仕様の現在の草案に対して、取り消されたテキストを二重括弧（例えば、［［・・・］］）で示し、追加されたテキストを太字イタリック体で示すことによって、テキストに示されている。

１．簡潔な解説
本文書は、画像ファイルフォーマットに関係がある。具体的に、それは、ＩＳＯ基本メディアファイルフォーマット（ISO Base media File Format，ＩＳＯＢＭＦＦ）に基づいたメディアファイルでのピクチャヘッダ（Picture Header，ＰＨ）、適応パラメータセット（Adaptation Parameter Set，ＡＰＳ）、デコーディング能力情報（Decoding Capability Information，ＤＣＩ）、及びバーサタイル・ビデオ・コーディング（Versatile Video Coding，ＶＶＣ）ビデオビットストリームの動作点情報（Operating Point Information，ＯＰＩ）ネットワーク抽象型レイヤ（Network Abstraction Layer，ＮＡＬ）ユニットのシグナリング及びストレージに関係がある。アイデアは、任意のコーデック、例えば、ＶＶＣ標準規格によってコーディングされている画像に対して、そして、任意の画像ファイルフォーマット、例えば、開発中のＶＶＣビデオファイルフォーマットに対して、個々に又は様々な組み合わせで適用されてよい。

２．略称
ＡＣＴ Adaptive Colour Transform
ＡＬＦ Adaptive Loop Filter
ＡＭＶＲ Adaptive Motion Vector Resolution
ＡＵ Access Unit
ＡＵＤ Access Unit Delimiter
ＡＶＣ Advanced Video Coding（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ２６４｜ＩＳＯ／ＩＥＣ １４４９６－１０）
Ｂ Bi-predictive
ＢＣＷ Bi-prediction with CU-level Weights
ＢＤＯＦ Di-Directional Optical Flow
ＢＤＰＣＭ Block-based Delta Pulse Code Modulation
ＢＰ Buffering Period
ＣＡＢＡＣ Context-based Adaptive Binary Arithmetic Coding
ＣＢ Coding Block
ＣＢＲ Constant Bit Rate
ＣＣＡＬＦ Cross-Component Adaptive Loop Filter
ＣＰＢ Coded Picture Buffer
ＣＲＡ Clean Random Access
ＣＲＣ Cyclic Redundancy Check
ＣＴＢ Coding Tree Block
ＣＴＵ Coding Tree Unit
ＣＵ Coding Unit
ＣＶＳ Coded Video Sequence
ＤＰＢ Decoded Picture Buffer
ＤＣＩ Decoding Capability Information
ＤＲＡＰ Dependent Random Access Point
ＤＵ Decoding Unit
ＤＵＩ Decoding Unit Information
ＥＧ Exponential-Golomb
ＥＧｋ k-th order Exponential-Golomb
ＥＯＢ End Of Bitstream
ＥＯＳ End Of Sequence
ＦＤ Filler Data
ＦＩＦＯ First-In, First-Out
ＦＬ Fixed-Length
ＧＢＲ Green, Blue, and Red
ＧＣＩ General Constraints Information
ＧＤＲ Gradual Decoding Refresh
ＧＰＭ Geometric Partitioning Mode
ＨＥＶＣ High Efficiency Video Coding（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ ２３００８－２）
ＨＲＤ Hypothetical Reference Decoder
ＨＳＳ Hypothetical Stream Scheduler
Ｉ Intra
ＩＢＣ Intra Block Copy
ＩＤＲ Instantaneous Decoding Refresh
ＩＬＲＰ Inter-Layer Reference Picture
ＩＲＡＰ Intra Random Access Picture
ＬＦＮＳＴ Low Frequency Non-Separable Transform
ＬＰＳ Least Probable Symbol
ＬＳＢ Least Significant Bit
ＬＴＲＰ Long-Term Reference Picture
ＬＭＣＳ Luma Mapping with Chroma Scaling
ＭＩＰ Matrix-based Intra Prediction
ＭＰＳ Most Probable Symbol
ＭＳＢ Most Significant Bit
ＭＴＳ Multiple Transform Selection
ＭＶＰ Motion Vector Prediction
ＮＡＬ Network Abstraction Layer
ＯＬＳ Output Layer Set
ＯＰ Operation Point
ＯＰＩ Operating Point Information
Ｐ Predictive
ＰＨ Picture Header
ＰＯＣ Picture Order Count
ＰＰＳ Picture Parameter Set
ＰＲＯＦ Prediction Refinement with Optical Flow
ＰＴ Picture Timing
ＰＵ Picture Unit
ＱＰ Quantization Parameter
ＲＡＤＬ Random Access Decodable Leading（ピクチャ）
ＲＡＳＬ Random Access Skipped Leading（ピクチャ）
ＲＢＳＰ Raw Byte Sequence Payload
ＲＧＢ Red, Green, and Blue
ＲＰＬ Reference Picture List
ＳＡＯ Sample Adaptive Offset
ＳＡＲ Sample Aspect Ratio
ＳＥＩ Supplemental Enhancement Information
ＳＨ Slice Header
ＳＬＩ Subpicture Level Information
ＳＯＤＢ String Of Data Bits
ＳＰＳ Sequence Parameter Set
ＳＴＲＰ Short-Term Reference Picture
ＳＴＳＡ Step-wise Temporal Sublayer Access
ＴＲ Truncated Rice
ＶＢＲ Variable Bit Rate
ＶＣＬ Video Coding Layer
ＶＰＳ Video Parameter Set
ＶＳＥＩ Versatile Supplemental Enhancement Information（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７）
ＶＵＩ Video Usability Information
ＶＶＣ Versatile Video Coding（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３）

３．ビデオコーディングの紹介
３．１．ビデオコーディング標準規格
ビデオコーディング標準規格は、主として、よく知られているＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ標準規格の開発を通じて、進化してきた。ＩＴＵ－Ｔは、Ｈ．２６１及びＨ．２６３を作り出し、ＩＳＯ／ＩＥＣは、ＭＰＥＧ－１及びＭＰＥＧ－４ Ｖｉｓｕａｌを作り出し、２つの組織は共同で、Ｈ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）並びにＨ．２６５／ＨＥＶＣ標準規格を作り出した。Ｈ．２６２以降、ビデオコーディング標準規格は、ハイブリッドビデオコーディング構造に基づいており、時間予測及び変換コーディングが利用される。ＨＥＶＣを越える将来のビデオコーディング技術を探るために、ＪＶＥＴ（Joint Video Exploration Team）が２０１５年にＶＣＥＧ及びＭＰＥＧによって共同設立された。それ以来、多くの新しい方法がＪＶＥＴによって導入され、ＪＥＭ（Joint Exploration Model）と名付けられた参照ソフトウェアに置かれてきた。ＪＶＥＴは、ＶＶＣ（Versatile Video Coding）プロジェクトが公式に始まったときに、ＪＶＥＴ（Joint Video Experts Team）であるよう後に改名された。ＶＶＣは、２０２０年７月１日に終了したその第１９回会議でＪＶＥＴによってまとめられた、ＨＥＶＣと比較してビットレート５０％減を目指す新しいコーディング標準規格である。

ＶＶＣ（Versatile Video Coding）標準規格（ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３）及び関連するＶＳＥＩ（Versatile Supplemental Enhancement Information）標準規格（ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７）は、テレビ放送、ビデオ会議、又は記憶媒体からの再生などの従来の使用と、適応ビットレートストリーミング、ビデオ領域抽出、複数のコーディングされたビデオビットストリームからのコンテンツの合成及びマージ、マルチビュービデオ、スケーラブルレイヤードコーディング、並びにビューポート適応３６０°没入メディアなどのより新しくかつより高度な使用ケースとの両方を含む最大限に広い範囲の用途での使用のために設計されている。

３．２．ファイルフォーマット標準規格
メディアストリーミングアプリケーションは、通常は、ＩＰ、ＴＣＰ、及びＨＴＴＰトランスポート方法に基づいており、通常は、ＩＳＯ基本メディアファイルフォーマット（ＩＳＯＢＭＦＦ）などのファイルフォーマットに依存する。１つのそのようなストリーミングシステムは、ＨＴＴＰを介した動的適応ストリーミング（Dynamic Adaptive Streaming over HTTP，ＤＡＳＨ）である。ＩＳＯＢＭＦＦ及びＤＡＳＨによるビデオフォーマットを使用するために、ＡＶＣファイルフォーマット及びＨＥＶＣファイルフォーマットなどのビデオフォーマットに特有のファイルフォーマット規格が、ＩＳＯＢＭＦＦトラックにおける並びにＤＡＳＨ表現及びセグメントにおけるビデオコンテンツのカプセル化のために必要とされることになった。ビデオビットストリームに関する重要な情報、例えば、プロファイル、ティア、及びレベル、並びにその他多くは、コンテンツ選択を目的として、例えば、ストリーミングセッションの開始時の初期化及びストリーミングセッション中のストリーム適応の両方のための適切なメディアセグメントの選択のために、ファイルフォーマットレベルメタデータ及び／又はＤＡＳＨメディア提示記述（Media Presentation Description，ＭＰＤ）として公開されることが必要となった。

同様に、ＩＳＯＢＭＦＦによる画像フォーマットを使用するために、ＡＶＣ画像ファイルフォーマット及びＨＥＶＣ画像ファイルフォーマットなどの画像フォーマットに特有のファイルフォーマット規格が必要とされる可能性がある。

ＩＳＯＢＭＦＦに基づくＶＶＣビデオコンテンツの格納のためのファイルフォーマットであるＶＶＣビデオファイルフォーマットは、現在、ＭＰＥＧによって開発中である。

ＩＳＯＢＭＦＦに基づく、ＶＶＣを用いてコーディングされた画像コンテンツの格納のためのファイルフォーマットである、ＶＶＣ画像ファイルフォーマットは、現在、ＭＰＥＧによって開発中である。

３．３．ＶＶＣにおけるＰＨ、ＡＰＳ、ＤＣＩ及びＯＰＩ ＮＡＬユニット
ＰＨ、ＡＰＳ、ＤＣＩ及びＯＰＩ ＮＡＬユニットを含む、いくつかの新しいタイプのＮＡＬユニットが、ＶＶＣに導入されている。

３．３．１．適応パラメータセット（ＡＰＳ）
適応パラメータセット（ＡＰＳ）は、ピクチャの複数のスライスによって及び／又は異なるピクチャのスライスによって共有され得るが、ピクチャ間で頻繁に変化する可能性があり、変動の総数が高くなるので、ＰＰＳへの包含には適さないピクチャ及び／又はスライスレベルの情報を運ぶ。ＡＰＳには、３種類のパラメータが含まれる。適応ループフィルタ（ＡＬＦ）パラメータ、クロマスケーリング付きルーマサンプリング（ＬＭＣＳ）パラメータ、及びスケーリングリストパラメータである。ＡＰＳは、プリフィックス又はサフィックスとして、関連するスライスの前又は後のどちらかにある２つの相異なるＮＡＬユニットタイプで運ばれ得る。後者は、超低遅延シナリオで役立ち、例えば、エンコーダが、デコーディング順序で後続のピクチャによって使用されることになっているＡＬＦパラメータの生成前にピクチャのスライスを送信することを可能にすることができる。

３．３．２．ピクチャヘッダ（ＰＨ）
ピクチャヘッダ（ＰＨ）構造は、ＰＵごとに存在する。ＰＨは、別個のＰＨ ＮＡＬユニットに存在するか、あるいは、スライスヘッダ（ＳＨ）に含まれるかのどちらかである。ＰＨは、ＰＵがただ１つのスライスから成る場合には、ＳＨにしか含まれ得ない。設計を簡単にするために、ＣＬＶＳ内で、ＰＨは、全部がＰＨ ＮＡＬユニットに又は全部がＳＨにのみあることができる。ＰＨがＳＨにある場合に、ＣＬＶＳにはＰＨ ＮＡＬユニットはない。

ＰＨは、２つの目的のために設計される。第１の目的は、ピクチャの全てのスライスについて同じ値を有している全てのパラメータを運んで、各ＳＨで同じパラメータを繰り返さないようにすることによって、ピクチャごとに複数のスライスを含むピクチャについてＳＨのシグナリングオーバーヘッドを低減するのを助けることである。パラメータには、ＩＲＡＰ／ＧＤＲピクチャ指示、インター／イントラスライス許可フラグ、及びＰＯＣ、ＰＲＬ、デブロッキングフィルタ、ＳＡＯ、ＡＬＤ、ＬＭＣＳ、スケーリングリスト、ＱＰデルタ、重み付き予測、コーディングブロックパーティショニング、仮想境界、同一位置（collocated）ピクチャ、などに関する情報がある。第２の目的は、デコーダが複数のスライスを含む各コーディングされたピクチャの最初のスライスを識別するのを助けることである。ただ１つのＰＨがＰＵごとに存在するので、デコーダがＰＨ ＮＡＬユニットを受信する場合に、それは、次のＶＣＬ ＮＡＬユニットがピクチャの最初のスライスであると容易に分かる。

３．３．３．デコーディング能力情報（ＤＣＩ）
ＤＣＩ ＮＡＬユニットは、ビットストリームレベルのＰＴＬ情報を含む。ＤＣＩ ＮＡＬユニットは、ＶＶＣビットストリームの送信側及び受信側の間のセッションネゴシエーション中に使用され得る１つ以上のＰＴＬシンタックス構造を含む。ＤＣＩ ＮＡＬユニットがＶＶＣビットストリームに存在する場合に、ビットストリームのＣＶＳにおける各出力レイヤセット（Output Layer Set，ＯＬＳ）は、ＤＣＩ ＮＡＬユニット内のＰＴＬ構造の少なくとも１つで運ばれるＰＴＬ情報に従うべきである。

ＡＶＣ及びＨＥＶＣで、セッションネゴシエーションのためのＰＴＬ情報は、ＳＰＳで（ＨＥＶＣ及びＡＶＣについて）及びＶＳＰで（ＨＥＶＣ階層化拡張について）利用可能である。ＨＥＶＣ及びＡＶＣでセッションネゴシエーションのためのＰＴＬ情報を運ぶこの設計には、ＳＰＳ及びＶＰＳの範囲が、ビットストリーム全体ではなく、ＣＶＳ内にあるので、欠点がある。そのため、送信側及び受信側のセッション開始は、新しいＣＶＳごとにビットストリームストリーミング中に再開される可能性がある。ＤＣＩは、それがビットストリームレベルの情報を運ぶということで、この問題を解決する。よって、支持されているデコーディング能力への準拠は、ビットストリームの終わりまで保証され得る。

３．３．４．動作点情報（ＯＰＩ）
ＨＥＶＣ及びＶＶＣのデコーディングプロセスは、デコーダＡＰＩを通じて、デコーディング動作点、すなわちデコードされるべきビットストリームのターゲットＯＬＳ及び最上位サブレイヤ、をセットするための類似した入力変数を有している。しかし、ビットストリームのレイヤ及び／又はサブレイヤが伝送中に取り除かれるか、又はデバイスがデコーダＡＰＩをアプリケーションに公開しないシナリオでは、デコーダは、デコーダが所与のビットストリームを処理するための動作点を正確に通知され得ないことが起こり得る。従って、デコーダは、ビットストリーム内のピクチャの特性、例えば、デコードされたピクチャのための適切なバッファ割り当て及び個々のピクチャが出力されるか否か、について結論を下すことができない可能性がある。この問題に対処するために、ＶＶＣは、これら２つの変数をビットストリーム内で示すモードを、新たに導入された動作点情報（ＯＰＩ）ＮＡＬユニットを通じて追加する。ビットストリームの最初にあるＡＵ及びその個々のＣＶＳで、ＯＰＩ ＮＡＬユニットは、デコードされるべきビットストリームのターゲットをデコーダに通知する。

ＯＰＩ ＮＡＬユニットが存在し、動作点もデコーダＡＰＩ情報を介してデコーダへ供給される（例えば、アプリケーションは、ターゲットＯＬＳ及びサブレイヤに関する更に更新された情報を有し得る）場合に、デコーダＡＰＩ情報は優先される。デコーダＡＰＩ及び任意のＯＰＩ ＮＡＬユニットの両方がビットストリームにない場合には、適切な予備的選択が、適切なデコーダ動作を可能にするようＶＶＣで指定される。

３．４．ＶＶＣビデオファイルフォーマットのいくつかの仕様
３．４．１．トラックのタイプ
ＶＶＣビデオファイルフォーマットは、ＩＳＯＢＭＦＦファイルでのＶＶＣビットストリームの搬送のために、次のタイプのビデオトラックを規定する：
ａ）ＶＶＣトラック：
ＶＶＣトラックは、そのサンプル及びサンプルエントリにＮＡＬユニットを含めることによって、場合により、ＶＶＣビットストリームの他のサブレイヤを含む他のＶＶＣトラックを参照することによって、かつ、場合により、ＶＶＣサブピクチャトラックを参照することによって、ＶＶＣビットストリームを表す。ＶＶＣトラックがＶＶＣサブピクチャトラックを参照する場合に、それはＶＶＣ基本トラックと呼ばれる。
ｂ）ＶＶＣ非ＶＣＬトラック：
ＡＬＦ、ＬＭＣＳ、又はスケーリングリストパラメータを運ぶＡＰＳ、及び他の非ＶＣＬ ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットを含むトラックとは別個であるトラックに格納され、それを通じて伝送され得る。これはＶＶＣ非ＶＣＬトラックである。
ｃ）ＶＶＣサブピクチャトラック：
ＶＶＣサブピクチャトラックは、次の：
１つ以上のＶＶＣサブピクチャのシーケンス、
長方形エリアを形成する１つ以上の完全スライスのシーケンス
のうちのどちらか一方を含む。
ＶＶＣサブピクチャトラックのサンプルは、次の：
デコーディング順序において連続している、ＩＳＯ／ＩＥＣ ２３０９０－３で規定されている１つ以上の完全サブピクチャ、
長方形エリアを形成しかつデコーディング順序において連続している、ＩＳＯ／ＩＥＣ ２３０９０－３で規定されている１つ以上の完全スライス
のうちのどちらか一方を含む。
ＶＶＣサブピクチャトラックのいずれかのサンプルに含まれているＶＶＣサブピクチャ又はスライスは、デコーディング順序において連続している。
注釈：ＶＶＣ非ＶＣＬトラック及びＶＶＣサブピクチャトラックは、次のように、ストリーミングアプリケーションでのＶＶＣビデオの最適な配信を可能にする。これらのトラックは夫々、それら自体のＤＡＳＨ表現で運ばれ得る。トラックのサブセットのデコーディング及びレンダリングのために、ＶＶＣサブピクチャトラックのサブセットを含むＤＡＳＨ表現及び非ＶＣＬトラックを含むＤＡＳＨ表現は、セグメントごとに、クライアントによって要求可能である。このようにして、ＡＰＳ及び他の非ＶＣＬ ＮＡＬユニットの冗長な伝送は回避され得る。

３．４．２．ＶＶＣエレメンタリストリーム構造
これらのタイプのエレメンタリストリームは、ＶＶＣコンテンツを格納するために定義される：
如何なるパラメータセットも含まないビデオエレメンタリストリーム（video elementary stream）；全てのパラメータセットは、１つ以上のサンプルエントリに格納される；
パラメータセットを含むことができ、それらの１つ以上のサンプルエントリに格納されたパラメータセットも有することができるビデオ及びパラメータセットエレメンタリストリーム（video and parameter set elementary stream）；
ビデオトラックで運ばれるエレメンタリストリームと同期した非ＶＣＬ ＮＡＬユニットを含む非ＶＣＬエレメンタリストリーム（non-VCL elementary stream）。
注釈：ＶＶＣ非ＶＣＬトラックは、そのサンプルエントリでパラメータセットを含まない。

３．４．３．デコーダ設定情報サンプルグループ
３．４．３．１．定義
このサンプルグループのサンプルグループ記述エントリはＤＣＩ ＮＡＬユニットを含む。同じデコーダ設定情報サンプルグループ記述エントリにマッピングされた全てのサンプルは、同じＶＶＣビットストリームに属する。
このサンプルグループは、同じＤＣＩ ＮＡＬユニットがＶＶＣトラック内の異なるサンプルエントリに対して使用されるかどうか、つまり、異なるサンプルエントリに属するサンプルが同じＶＶＣビットストリームを属するかどうかを示す。２つのサンプルエントリのサンプルが同じデコーダ設定情報サンプルグループ記述エントリにマッピングされる場合に、プレイヤーは、デコーダの再初期化なしでサンプルエントリを切り替えることができる。
いずれかのＤＣＩ ＮＡＬユニットがいずれかのサンプルエントリに又はインバンドに存在する場合には、それは、デコーダ設定情報サンプルグループに含まれているＤＣＩ ＮＡＬユニットと厳密に同じであるべきである。

３．４．３．２．シンタックス

３．４．３．３．セマンティクス
ｄｅｃｉＮａｌＵｎｉｔＬｅｎｇｔｈは、ＤＣＩ ＮＡＬユニットのバイトの長さを示す。
ｄｅｃｉＮａｌＵｎｉｔは、ＩＳＯ／ＩＥＣ ２３０９０－３で規定されているＤＣＩ ＮＡＬユニットを含む。

４．開示されている技術的解決法によって解決される技術的課題の例
ＰＨ、ＡＰＳ、ＤＣＩ、及びＯＰＩ ＮＡＬユニットのシグナリングに関するＶＶＣビデオファイルフォーマットの最新の設計には、次の問題がある：
１）ＶＶＣ基本トラック及びＶＶＣ非ＶＣＬトラックは、ＶＣＬ ＮＡＬユニットを含むべきではない。しかし、ＶＶＣ非ＶＣＬトラックの現在の定義は、ＶＶＣ基本トラックにも適用されることになる。更に、現在の定義によって、ＶＶＣ非ＶＣＬトラックは常にＡＰＳ ＮＡＬユニットを含む。しかし、それにより、非ＶＣＬ ＮＡＬユニットには、ＡＰＳ ＮＡＬユニットを除いて、ピクチャヘッダＮＡＬユニット及び場合により他の非ＶＣＬ ＮＡＬユニットを含めることができなくなる。
そのようなＶＶＣ非ＶＣＬトラックを認めることは、例えば、１つのＰＨトラック（ＶＶＣ基本トラックで見られるような同じ情報を含むが、非ＶＣＬトラックとして）、複数のＡＰＳトラック（ＶＶＣ非ＶＣＬトラックとして）、及び夫々がサブピクチャシーケンスを含む複数のＶＶＣサブピクチャトラックを有することによって、異なるサブピクチャがＡＰＳの異なるセットを使用する場合に、サブピクチャトラックのレイトバンディング（late-banding）のために、ファイルでの抽出可能なサブピクチャベースのシングルレイヤビットストリームの最適な格納を可能にする。
２）ＡＰＳ ＮＡＬユニットは全て、１つのＶＶＣ非ＶＣＬトラックに又はＶＶＣトラックに格納される。言い換えると、ＡＰＳ ＮＡＬユニットは、１つよりも多いトラックに格納され得ない。これは、ＬＭＣＳパラメータを含むＡＰＳ ＮＡＬユニット（すなわち、ＬＭＣＳ ＡＰＳ）又はスケーリングリスト（Scaling List，ＳＬ）パラメータを含むＡＰＳ ＮＡＬユニット（すなわち、ＳＬ ＡＰＳ）に有効であるが、ＡＬＦパラメータを含むＡＰＳ ＮＡＬユニット（すなわち、ＡＬＦ ＡＰＳ）にとって理想的でない。異なるＶＶＣサブピクチャトラックはＡＬＦ ＡＰＳの異なるセットを使用する可能性があるので、複数のＶＶＣ非ＶＣＬトラックがＶＶＣビットストリームのためにＡＬＦ ＡＰＳを運ぶことを可能にすることが望ましい。
３）ＤＣＩ ＮＡＬユニットは、ビデオエレメンタリストリームとビデオ及びパラメータセットエレメンタリストリームとの定義において考慮されない。その結果、ビデオエレメンタリストリームは、パラメータセットを含まないが、ＤＣＩ ＮＡＬユニットを含み得る。
４）非ＶＣＬエレメンタリストリームの定義は、非ＶＣＬエレメンタリストリームでＶＣＬ ＮＡＬユニットを含む可能性を除外する。
５）デコーダ設定情報サンプルグループは、ＤＣＩ ＮＡＬユニットのシグナリングのためのメカニズムを提供する。しかし、次の問題が存在する：
ａ．最も一般的な使用ケースで、トラックの全てのサンプルは、同じビットストリームに属することになる（あるいは、ビットストリームの数に関わらず、同じＤＣＩを共有することになる）。そのような場合については、適用可能なＤＣＩをサンプルグループシグナリングを通じて見つけ出すことが複雑である。
ｂ．同じデコーダ設定情報サンプルグループ記述エントリにマッピングされた全てのサンプルは同じＶＶＣビットストリームに属する、と言われている。しかし、これは、（例えば、ＥＯＢ ＮＡＬユニットによって決定された）複数のＶＶＣビットストリームに属するが同じトラック内にあるサンプルが、可能な場合でも同じＤＣＩ ＮＡＬユニットを共有することを認めない。
６）ＯＰＩ ＮＡＬユニットは、同じエントリ記述に含められることを認められない。しかし、多くの場合に、ＯＰＩ ＮＡＬユニットは、ＶＶＣビットストリームに存在する場合に、パラメータセットと同様に扱われるべきであるから、それらは同じエントリ記述に含まれることを認められるべきである。

５．例となる解決法及び実施形態
上記の問題及び他を解決するために、以下で要約された方法が開示される。項目は、一般概念を説明するための例として見なされるべきであり、狭い意味で解釈されるべきではない。更に、これらの項目は、個々に適用されても又は何らかの方法で組み合わされてもよい。
１）問題１及び２を解決するために、次の項目のうちの１つ以上が提案される：
ａ．ＶＶＣ非ＶＣＬトラックは、非ＶＣＬ ＮＡＬユニットのみを含むトラックとして定義され、ＶＶＣトラックによって‘ｖｖｃＮ’トラック参照を通じて参照される。
ｂ．ＶＶＣ非ＶＣＬトラックは、他の非ＶＣＬ ＮＡＬユニットの有無によらず、ＶＣＬ ＮＡＬユニットを含むトラックとは別個であるトラックに格納され、それを通じて伝送されるＡＬＦ、ＬＭＣＳ、又はスケーリングリストパラメータを運ぶＡＰＳを含んでもよいことが定められる。
ｃ．ＶＶＣ非ＶＣＬトラックは、ＡＰＳ ＮＡＬユニットの有無によらず、かつ、他の非ＶＣＬ ＮＡＬユニットの有無によらず、ＶＣＬ ＮＡＬユニットを含むトラックであるトラックに格納され、それを通じて伝送されるピクチャヘッダＮＡＬユニットも含んでもよいことが定められる。
ｄ．ビデオストリームのためのピクチャヘッダＮＡＬユニットは、ＶＶＣトラックのサンプル又はＶＶＣ非ＶＣＬトラックのサンプルのどちらかに格納され得るが、同時に両方にではないことが定められる。
ｅ．ビデオストリームのためのＬＭＣＳ ＡＰＳ ＮＡＬユニット（すなわち、ＬＭＣＳパラメータを含むＡＰＳ ＮＡＬユニット）及びスケーリングリストＡＰＳ ＮＡＬユニット（すなわち、スケーリングリストパラメータを含むＡＰＳ ＮＡＬユニット）は、ＶＶＣトラックのサンプル及び／又はサンプルエントリ、あるいは、ＶＶＣ非ＶＣＬトラックのサンプルのどちらかに格納され得るが、同時に両方にではないことが定められる。
ｆ．ビデオストリームのためのＡＬＦ ＡＰＳ ＮＡＬユニット（すなわち、ＡＬＦパラメータを含むＡＰＳ ＮＡＬユニット）は、ＶＶＣトラックのサンプル及び／又はサンプルエントリに、ＶＶＣ非ＶＣＬトラックのサンプルに、あるいは、同時に両方に格納され得ることが定められる。
２）問題３を解決するために、次の項目のうちの１つ以上が提案される：
ａ．ビデオエレメンタリストリームは、ＶＣＬ ＮＡＬユニットを含むが、如何なるパラメータセット、ＤＣＩ、又はＯＰＩ ＮＡＬユニットも含まないエレメンタリストリームとして定義される；全てのパラメータセット、ＤＣＩ、及びＯＰＩ ＮＡＬユニットはサンプルエントリに格納される。
ｉ．代替的に、ビデオエレメンタリストリームは、ＶＣＬ ＮＡＬユニットを含むが、如何なるパラメータセット又はＤＣＩ ＮＡＬユニットも含まないエレメンタリストリームとして定義される；全てのパラメータセット及びＤＣＩ ＮＡＬユニットはサンプルエントリに格納される。
ｂ．ＤＣＩ ＮＡＬユニットをパラメータセットと厳密に同じに扱うべきである。つまり、ＤＣＩ ＮＡＬユニットは、ビデオトラックのサンプルエントリにのみ含まれ得る（例えば、サンプルエントリタイプ名が‘ｖｖｃ１’である場合）か、あるいは、ビデオトラックのサンプル及びサンプルエントリのどちらか一方又は両方にあることができる（例えば、サンプルエントリタイプ名が‘ｖｖｉ１’である場合）。
３）問題４を解決するために、非ＶＣＬエレメンタリストリームは、非ＶＣＬ ＮＡＬユニットのみを含むエレメンタリストリームであり、これらの非ＶＣＬ ＮＡＬユニットは、ビデオトラックで運ばれるエレメンタリストリームと同期することが定められる。
４）問題５を解決するために、次の項目のうちの１つ以上が提案される：
ａ．トラックの全てのサンプルが同じビットストリームに属する（又はビットストリームの数に関わらず、同じＤＣＩを共有する）場合については、ＤＣＩ ＮＡＬユニットは、トラックレベルボックス、例えば，トラックヘッダボックス、トラックレベルメタボックス、又は他のトラックレベルボックスでシグナリングされてもよい。
ｂ．（例えば、ＥＯＢ ＮＡＬユニットによって決定された）複数のＶＶＣビットストリームに属するが同じトラック内にあるサンプルが、同じＤデコーダ設定情報サンプルグループに属し、その結果、同じデコーダ設定情報サンプルグループ記述エントリを共有することを認める。
５）問題６を解決するために、ＯＰＩ ＮＡＬユニットは、例えば、デコーダ設定記録での非ＶＣＬ ＮＡＬユニットアレイの１つとして、サンプルエントリ記述に含まれることを認められる。
ａ．代替的に、ＯＰＩ ＮＡＬユニットをパラメータセットと厳密に同じに扱うべきである。つまり、ＯＰＩ ＮＡＬユニットは、ビデオトラックのサンプルエントリにのみ含まれ得る（例えば、サンプルエントリタイプ名が‘ｖｖｃ１’である場合）か、あるいは、ビデオトラックのサンプル及びサンプルエントリのどちらか一方又は両方にあることができる（例えば、サンプルエントリタイプ名が‘ｖｖｉ１’である場合）。

６．実施形態
以下は、上記のセクション５で要約された発明態様のいくつかについての実施形態のいくつかの例であり、これらは、ＶＶＣビデオファイルフォーマットのための標準仕様に適用され得る。変更されたテキストは、最新の仕様草案に基づく。追加又は修正されている最も関連する部分は、太字イタリック体で示され、削除された部分のいくつかは、削除またはキャンセルされたテキストを二重括弧（例えば、［［・・・］］）で囲むことで示される。本質的に編集に関するものであって、強調表示されないその他の変更も存在することがある。

６．１．第１実施形態
この実施形態は、項目１ａ、１ｂ、１ｃに関する。

６．１．１．トラックのタイプ
この仕様は、ＶＶＣビットストリームの搬送のために次のタイプのビデオトラックを規定する。
ａ）ＶＶＣトラック：

ｂ）ＶＶＣ非ＶＣＬトラック：

ｃ）ＶＶＣサブピクチャトラック：
ＶＶＣサブピクチャトラックは、次の：
１つ以上のＶＶＣサブピクチャのシーケンス、
長方形エリアを形成する１つ以上の完全スライスのシーケンス
のうちのどちらか一方を含む。
ＶＶＣサブピクチャトラックのサンプルは、次の：
デコーディング順序において連続している、ＩＳＯ／ＩＥＣ ２３０９０－３で規定されている１つ以上の完全サブピクチャ、
長方形エリアを形成しかつデコーディング順序において連続している、ＩＳＯ／ＩＥＣ ２３０９０－３で規定されている１つ以上の完全スライス
のうちのどちらか一方を含む。
ＶＶＣサブピクチャトラックのいずれかのサンプルに含まれているＶＶＣサブピクチャ又はスライスは、デコーディング順序において連続している。

６．２．第２実施形態
この実施形態は、項目４ｂに関する。

６．３．第３実施形態
この実施形態は、項目５に関する。

６．３．１．ＶＶＣデコーダ設定記録の定義
この従属節は、ＩＳＯ／ＩＥＣ ２３０９０－３ビデオコンテンツのためのデコーダ設定情報を規定する。

６．３．２．ＶＶＣデコーダ設定記録のセマンティクス

６．４．第４実施形態
この実施形態は、１ａ、１ｂ、１ｃ、１ｄ、１ｅ及び１ｆに関する。

６．４．１．背景：ＶＶＣの特徴（参考情報）
ＶＶＣコンテンツの格納は、ＩＳＯ基本メディアファイルフォーマットの既存の能力を使用するが、ＶＶＣコーデックの次の特徴をサポートするための拡張も定義する：
ｄ）パラメータセット並びにＤＣＩ及びＯＰＩ ＮＡＬユニット：

ｅ）ピクチャヘッダ
ピクチャヘッダ（ＰＨ）構造は、ピクチャの全てのスライスに対して同じであるパラメータを含み、ピクチャごとに存在し、それ自体のＮＡＬユニットに又はスライスヘッダ（ＳＨ）に直接に存在する。ＰＨは、ピクチャが１つしかスライスを有してない場合には、ＳＨにしか含まれ得ない。ＣＬＶＳ内で、ＰＨは、全てＰＨ ＮＡＬユニットにのみ、又は全てＳＨにのみ存在し得る。
ｆ）サブピクチャ
ＶＶＣサブピクチャは、ピクチャ内の１つ以上のスライスの長方形領域である。エンコーダは、ピクチャ境界のようにサブピクチャ境界を扱ってもよく、サブピクチャ境界にわたってループフィルタリングをオフしてもよい。よって、選択された構造がＶＶＣビットストリームから抽出されたり、又はあて先ＶＶＣビットストリームへマージされたりすることができるように、サブピクチャをエンコードすることが可能である。更に、そのようなＶＶＣビットストリーム抽出又はマージ動作は、ＶＣＬ ＮＡＬユニットの変更なしで行われ得る。ビットストリームに存在するサブピクチャのサブピクチャ識別子（ＩＤ）は、ＳＰＳ又はＰＰＳで示されてもよい。

６．４．２．トラックのタイプ
この仕様は、ＶＶＣビットストリームの搬送のために次のタイプのビデオトラックを規定する。
ｇ）ＶＶＣトラック：

ｈ）ＶＶＣ非ＶＣＬトラック：

ｉ）ＶＶＣサブピクチャトラック：
ＶＶＣサブピクチャトラックは、次の：
１つ以上のＶＶＣサブピクチャのシーケンス、
長方形エリアを形成する１つ以上の完全スライスのシーケンス
のうちのどちらか一方を含む。
ＶＶＣサブピクチャトラックのサンプルは、次の：
デコーディング順序において連続している、ＩＳＯ／ＩＥＣ ２３０９０－３で規定されている１つ以上の完全サブピクチャ、
長方形エリアを形成しかつデコーディング順序において連続している、ＩＳＯ／ＩＥＣ ２３０９０－３で規定されている１つ以上の完全スライス
のうちのどちらか一方を含む。
ＶＶＣサブピクチャトラックのいずれかのサンプルに含まれているＶＶＣサブピクチャ又はスライスは、デコーディング順序において連続している。

６．４．３．規範的な順序及び制限
規範的なストリームフォーマットは、４．３．２での一般的な条件に加えて次の条件を満足するＶＶＣエレメンタリストリームである：

図１は、本明細書で開示されている様々な技術が実装され得る例示的なビデオ処理システム１９００を示すブロック図である。様々な実施には、システム１９００のコンポーネントの一部又は全てが含まれ得る。システム１９００は、ビデオコンテンツを受け取る入力部１９０２を含んでよい。ビデオコンテンツは、生の（raw）又は圧縮されていないフォーマットで受け取られてよく、例えば、８又は１０ビットのマルチコンポーネントピクセル値であり、あるいは、圧縮された又はエンコードされたフォーマットであってもよい。入力部１９０２は、ネットワークインターフェース、ペリフェラルバスインターフェース、又はストレージインターフェースに相当し得る。ネットワークインターフェースの例には、Ｅｔｈｅｒｎｅｔ（登録商標）、受動光ネットワーク（ＰＯＮ）などの有線インターフェース、及びＷｉ－Ｆｉ又はセルラーインターフェースなどの無線インターフェースが含まれる。

システム１９００は、本明細書で説明されている様々なコーディング又はエンコーディング方法を実装し得るコーディングコンポーネント１９０４を含んでよい。コーディングコンポーネント１９０４は、ビデオのコーディングされた表現を生成するよう、入力部１９０２からコーディングコンポーネント１９０４の出力部へのビデオの平均ビットレートを低減し得る。従って、コーディング技術は、ビデオ圧縮又はビデオトランスコーディング技術と時々呼ばれる。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、保存されるか、あるいは、接続された通信を介して伝送されてよい。入力部１９０２で受け取られたビデオの保存又は通信されたビットストリーム（又はコーディングされた）表現は、ピクセル値又は表示インターフェース１９１０へ送られる表示可能なビデオを生成するコンポーネント１９０８によって使用されてよい。ユーザが見ることができるビデオをビットストリーム表現から生成するプロセスは、ビデオ圧縮解除と時々呼ばれる。更に、特定のビデオ処理動作が「コーディング」動作又はツールと呼ばれる一方で、そのようなコーディングツール又は動作はエンコーダで使用され、コーディングの結果を入れ替える対応するデコーディングツール又は動作は、デコーダによって実行されることになることが理解されるだろう。

ペリフェラルバスインターフェース又は表示インターフェースの例には、ユニバーサルシリアルバス（ＵＳＢ）又は高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））又はＤｉｓｐｌａｙｐｏｒｔ（登録商標）などが含まれ得る。ストレージインターフェースの例には、ＳＡＴＡ（Serial Advanced Technology Attachment）、ＰＣＩ、ＩＤＥインターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、又はデジタルデータ処理及び／又はビデオ表示を実行する能力がある他のデバイスなどの様々な電子デバイスで具現されてもよい。

図２は、ビデオ処理装置３６００のブロック図である。装置３６００は、本明細書で記載される方法の１つ以上を実装するために使用されてよい。装置３６００は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス（ＩｏＴ）レシーバ、などで具現されてもよい。装置３６００は、１つ以上のプロセッサ３６０２、１つ以上のメモリ３６０４、及びビデオ処理ハードウェア３６０６を含んでよい。プロセッサ３６０２は、本明細書で記載される１つ以上の方法を実装するよう構成されてよい。メモリ（複数であってもよい）３６０４は、本明細書で記載される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてよい。ビデオ処理ハードウェア３６０６は、ハードウェア回路において、本明細書で記載されるいくつかの技術を実装するために使用されてよい。いくつかの実施形態で、ビデオ処理ハードウェア３６０６は、プロセッサ３６０２、例えば、グラフィクス・コプロセッサに少なくとも部分的に含まれてもよい。

図４は、本開示の技術を利用し得る例示的なビデオコーディングシステム１００を表すブロック図である。

図４に示されるように、ビデオコーディングシステム１００は、発信元デバイス１１０及び送信先デバイス１２０を含んでよい。発信元デバイス１１０は、エンコードされたビデオデータを生成し、ビデオエンコーディングデバイスと呼ばれ得る。送信先デバイス１２０は、発信元デバイス１１０によって生成されたエンコードされたビデオデータをデコードすることができ、ビデオデコーディングデバイスと呼ばれ得る。

発信元デバイス１１０は、ビデオソース１１２、ビデオエンコーダ１１４、及び入出力（Ｉ／Ｏ）インターフェース１１６を含んでよい。

ビデオソース１１２は、ビデオ捕捉デバイスなどのソース、ビデオコンテンツプロバイダからビデオデータを受け取るインターフェース、及び／又はビデオデータを生成するコンピュータグラフィクスシステム、あるいは、そのようなソースの組み合わせを含んでよい。ビデオデータは１つ以上のピクチャを有してもよい。ビデオエンコーダ１１４は、ビットストリームを生成するようビデオソース１１２からのビデオデータをエンコードする。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットのシーケンスを含んでよい。ビットストリームは、コーディングされたピクチャ及び関連するデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連するデータは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変調器／復調器（モデム）及び／又は送信器を含んでよい。エンコードされたビデオデータは、Ｉ／Ｏインターフェース１１６を介して送信先デバイス１２０に対してネットワーク１３０ａを通じて直接に伝送されてよい。エンコードされたビデオデータはまた、送信先デバイス１２０によるアクセスのために記憶媒体／サーバ１３０ｂに記憶されてもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、ビデオデコーダ１２４、及び表示デバイス１２２を含んでよい。

Ｉ／Ｏインターフェース１２６は、受信器及び／又はモデムを含んでよい。Ｉ／Ｏインターフェース１２６は、発信元デバイス１１０又は記憶媒体／サーバ１３０ｂからエンコードされたビデオデータを取得してよい。ビデオデコーダ１２４は、エンコードされたビデオデータをデコードしてよい。表示デバイス１２２は、デコードされたビデオデータをユーザに表示してよい。表示デバイス１２２は、送信先デバイス１２０と一体化されてもよく、あるいは、外付け表示デバイスとインターフェース接続するよう構成されて送信先デバイス１２０の外にあってもよい。

ビデオエンコーダ１１４及びビデオデコーダ１２４は、ＨＥＶＣ（High Efficiency Video Coding）標準規格、ＶＶＣ（Versatile Video Coding）標準規格、並びに他の現在の及び／又は更なる標準規格などのビデオ圧縮規格に従って作動してもよい。

図５は、ビデオエンコーダ２００の例を表すブロックであり、図４に表されているシステム１００のビデオエンコーダ１１４であってよい。

ビデオエンコーダ２００は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図５の例で、ビデオエンコーダ２００は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオエンコーダ２００の様々なコンポーネントの間で共有されてよい。いくつかの例で、プロセッサは、本開示で記載される技術のいずれか又は全てを実行するよう構成されてよい。

ビデオエンコーダ２００の機能コンポーネントは、パーティションユニット２０１と、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５及びイントラ予測ユニット２０６を含み得る予測ユニット２０２と、残差生成ユニット２０７と、変換ユニット２０８と、量子化ユニット２０９と、逆量子化ユニット２１０と、逆変換ユニット２１１と、再構成ユニット２１２と、バッファ２１３と、エントロピエンコーディングユニット２１４とを含んでよい。

他の例で、ビデオエンコーダ２００は、より多い、より少ない、又は異なる機能コンポーネントを含んでよい。例において、予測ユニット２０２は、イントラブロックコピー（Intra Block Copy，ＩＢＣ）ユニットを含んでよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在のビデオブロックが位置しているピクチャであるＩＢＣモードで、予測を実行してよい。

更に、動き推定ユニット２０４及び動き補償ユニット２０５などのいくつかのコンポーネントは、高度に集積されてもよいが、説明のために図５の例では別々に表されている。

パーティションユニット２０１は、ピクチャを１つ以上のビデオブロックにパーティション化してよい。ビデオエンコーダ２００及びビデオデコーダ３００は、様々なビデオブロックサイズをサポートしてよい。

モード選択ユニット２０３は、例えば、エラー結果に基づいて、イントラ又はインターのコーディングモードの１つを選択し、結果として得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット２０７へ、及び参照ピクチャとしての使用のために、エンコードされたブロックを再構成する再構成ユニット２１２へ供給してよい。いくつかの例で、モード選択ユニット２０３は、予測がインター予測信号及びイントラ予測信号に基づくイントラ及びインター予測複合（Combination of Intra and Inter Prediction，ＣＩＩＰ）モードを選択してもよい。モード選択ユニット２０３はまた、インター予測の場合に、ブロックの動きベクトルのための分解能（例えば、サブピクセル又は整数ピクセル精度）を選択してもよい。

現在のビデオブロックに対してインター予測を実行するために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成してよい。動き補償ユニット２０５は、動き情報と、現在のビデオブロックに関連したピクチャ以外のバッファ２１３からのピクチャのデコードされたサンプルとに基づいて、現在のビデオブロックの予測されたビデオブロックを決定してよい。

動き推定ユニット２０４及び動き補償ユニット２０５は、例えば、現在のビデオブロックがＩスライス、Ｐスライス、又はＢスライスであるかどうかに応じて、現在のビデオブロックのために異なる動作を実行してよい。

いくつかの例で、動き推定ユニット２０４は、現在のビデオブロックのために一方向予測を実行してもよく、動き推定ユニット２０４は、現在のビデオブロックのための参照ビデオブロックをリスト０又はリスト１の参照ピクチャから探してもよい。動き推定ユニット２０４は、次いで、参照ビデオブロックを含むリスト０又はリスト１内の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット２０４は、現在のビデオブロックの動き情報として参照インデックス、予測方向インジケータ、及び動きベクトルを出力してよい。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のブロックの予測されたビデオブロックを生成してよい。

他の例では、動き推定ユニット２０４は、現在のビデオブロックのために双方向予測を実行してもよく、動き推定ユニット２０４は、現在のビデオブロックのための参照ビデオブロックをリスト０内の参照ピクチャから探してもよく、また、現在のビデオブロックのためのもう１つの参照ビデオブロックをリスト１内の参照ピクチャから探してもよい。動き推定ユニット２０４は、次いで、参照ビデオブロックを含むリスト０及びリスト１内の参照ピクチャを示す参照インデックスと、参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット２０４は、現在のビデオブロックの動き情報として現在のビデオブロックの参照インデックス及び動きベクトルを出力してよい。動き補償ユニット２０５は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のビデオブロックの予測されたビデオブロックを生成してよい。

いくつかの例で、動き推定ユニット２０４は、デコーダのデコーディング処理のために動き情報のフルセットを出力してよい。

いくつかの例で、動き推定ユニット２０４は、現在のビデオの動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、他のビデオブロックの動き情報を参照して現在のビデオブロックの動き情報をシグナリングしてもよい。例えば、動き推定ユニット２０４は、現在のビデオブロックの動き情報が隣接ビデオブロックの動き情報と十分に類似していることを決定してもよい。

一例で、動き推定ユニット２０４は、現在のビデオブロックに関連したシンタックス構造で、現在のビデオブロックが他のビデオブロックと同じ動き情報を有していることをビデオデコーダ３００に示す値を示してもよい。

他の例では、動き推定ユニット２０４は、現在のビデオブロックに関連したシンタックス構造で、他のビデオブロック及び動きベクトル差分（Motion Vector Difference，ＭＶＤ）を特定してもよい。動きベクトル差分は、現在のビデオブロックの動きベクトルと、特定されているビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ３００は、現在のビデオブロックの動きベクトルを決定するために、特定されているビデオブロックの動きベクトル及び動きベクトル差分を使用してもよい。

上述されたように、ビデオエンコーダ２００は、動きベクトルを予測的にシグナリングしてよい。ビデオエンコーダ２００によって実装され得る予測シグナリング技術の２つの例には、アドバンスド動きベクトル予測（Advanced Motion Vector Prediction，ＡＭＶＰ）及びマージモードシグナリングがある。

イントラ予測ユニット２０６は、現在のビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット２０６が現在のビデオブロックに対してイントラ予測を実行する場合に、イントラ予測ユニット２０６は、同じピクチャ内の他のビデオブロックのデコードされたサンプルに基づいて、現在のビデオブロックの予測データを生成してよい。現在のビデオブロックの予測データは、予測されたビデオブロック及び様々なシンタックス要素を含んでよい。

残差生成ユニット２０７は、現在のビデオブロックから現在のビデオブロックの予測されたビデオブロックを減じること（例えば、マイナス符号によって示される）によって、現在のビデオブロックの残差データを生成してよい。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプルコンポーネントに対応する残差ビデオブロックを含んでよい。

他の例では、例えば、スキップモードで、現在のビデオブロックの残差データは存在しなくてもよく、残差生成ユニット２０７は、減算演算を実行しなくてもよい。

変換処理ユニット２０８は、現在のビデオブロックに関連した残差ビデオブロックに１つ以上の変換を適用することによって、現在のビデオブロックの１つ以上の変換係数ビデオブロックを生成してよい。

変換処理ユニット２０８が現在のビデオブロックに関連した変換係数ビデオブロックを生成した後、量子化ユニット２０９は、現在のビデオブロックに関連した１つ以上の量子化パラメータ（ＱＰ）値に基づいて、現在のビデオブロックに関連した変換係数ビデオブロックを量子化してよい。

逆量子化ユニット２１０及び逆変換ユニット２１１は、変換係数ビデオブロックに各々逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット２１２は、再構成された残差ビデオブロックを、予測ユニット２０２によって生成された１つ以上の予測されたビデオブロックからの対応するサンプルに加えて、バッファ２１３での記憶のために、現在のブロックに関連した再構成されたビデオブロックを生成してよい。

再構成ユニット２１２がビデオブロックを再構成した後、ループフィルタリング動作が、ビデオブロックにおいてビデオブロッキングアーチファクトを低減するよう実行されてもよい。

エントロピエンコーディングユニット２１４は、ビデオエンコーダ２００の他の機能コンポーネントからデータを受け取ってもよい。エントロピエンコーディングユニット２１４がデータを受け取るとき、エントロピエンコーディングユニット２１４は、エントロピエンコードされたデータを生成し、そのエントロピエンコードされたデータを含むビットストリームを生成するよう、１つ以上のエントロピエンコーディング動作を実行してよい。

図６は、ビデオデコーダ３００の例を表すブロック図であり、図４で表されているシステム１００のビデオデコーダ１２４であってよい。

ビデオデコーダ３００は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図６の例で、ビデオデコーダ３００は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオデコーダ３００の様々なコンポーネントの間で共有されてよい。いくつかの例で、プロセッサは、本開示で記載される技術のいずれか又は全てを実行するよう構成されてよい。

図６の例で、ビデオデコーダ３００は、エントロピデコーディングユニット３０１と、動き補償ユニット３０２と、イントラ予測ユニット３０３と、逆量子化ユニット３０４と、逆変換ユニット３０５と、再構成ユニット３０６と、バッファ３０７とを含む。ビデオデコーダ３００は、いくつかの例で、ビデオエンコーダ２００（図５）に関して記載されたエンコーディングパスとは概して逆のデコーディングパスを実行してよい。

エントロピデコーディングユニット３０１は、エンコードされたビットストリームを取り出してよい。エンコードされたビットストリームは、エントロピコーディングされたビデオデータ（例えば、ビデオデータのエンコードされたブロック）を含んでよい。エントロピデコーディングユニット３０１は、エントロピコーディングされたビデオデータをデコードしてよく、エントロピデコードされたビデオデータから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定してよい。動き補償ユニット３０２は、例えば、ＡＭＶＰ及びマージモードを実行することによって、そのような情報を決定してよい。

動き補償ユニット３０２は、場合により、補間フィルタに基づく補間を実行して、動き補償されたブロックを生成してもよい。サブピクセル精度で使用される補間フィルタのための識別子は、シンタックス要素に含まれてもよい。

動き補償ユニット３０２は、参照ブロックのサブ整数ピクセルについて補間値を計算するために、ビデオブロックのエンコード中にビデオエンコーダ２００によって使用された補間フィルタを使用してもよい。動き補償ユニット３０２は、受け取られたシンタックス情報に従って、ビデオエンコーダ２００によって使用された補間フィルタを決定し、その補間フィルタを使用して、予測ブロックを生成し得る。

動き補償ユニット３０２は、エンコードされたビデオシーケンスのフレーム及び／又はスライスをエンコードするために使用されるブロックのサイズと、エンコードされたビデオシーケンスのピクチャの各マクロブロックがどのようにパーティション化されるかを記述するパーティション情報と、各インターコーディングされたブロックについての１つ以上の参照フレーム（及び参照フレームリスト）と、エンコードされたビデオシーケンスをデコードするための他の情報とを決定するために、シンタックス情報のいくつかを使用してもよい。

イントラ予測ユニット３０３は、空間的に隣接するブロックから予測ブロックを形成するよう、例えば、ビットストリームで受け取られたイントラ予測モードを使用してよい。逆量子化ユニット３０４は、ビットストリームで供給されてエントロピデコーディングユニット３０１によってデコードされた量子化されたビデオブロック係数を逆量子化する、すなわち、量子化解除する。逆変換ユニット３０５は、逆変換を適用する。

再構成ユニット３０６は、動き補償ユニット３０２又はイントラ予測ユニット３０３によって生成された対応する予測ブロックを残差ブロックに加算して、デコードされたブロックを形成してよい。望まれる場合には、デブロッキングフィルタも、ブロッキネスアーチファクトを取り除くために、デコードされたブロックにフィルタをかけるよう適用されてもよい。デコードされたビデオブロックは、次いで、バッファ３０７に格納され、バッファ３０７は、その後の動き補償／イントラ予測のために参照ブロックを提供し、更には、デコードされたビデオを表示デバイスでの提示のために生成する。

いくつかの実施形態によって望まれる解決法の列挙が、次に与えられる。

以下の解決法は、前のセクション（例えば、項目１～４）で議論されている技術の例示的な実施形態を示す。

１．視覚メディア処理方法（例えば、図３に表されている方法３０００）であって、
視覚メディアデータと前記視覚メディアデータに対応する情報を格納するファイルとの間の変換をフォーマット規則に従って実行するステップ（３００２）を含み、
前記フォーマット規則は、前記ファイルの非ビデオコーディングレイヤ（非ＶＣＬ）トラックを識別する第１条件及び／又は前記ファイルのビデオコーディングレイヤ（ＶＣＬ）トラックを識別する第２条件を指定する、
方法。

２．解決法１の方法であって、
前記第１条件は、前記非ＶＣＬトラックが非ＶＣＬネットワーク抽象型レイヤのみを含み、特定のトラック参照を通じて前記ＶＣＬトラックで識別されることを指定する、
方法。

３．解決法１～２の方法であって、
前記第１条件は、前記非ＶＣＬトラックが、前記ＶＣＬトラックに対応する適応パラメータセット（ＡＰＳ）を含むことを指定する、
方法。

４．解決法１～３のいずれかの方法であって、
前記ＶＣＬトラックのための前記第２条件は、前記ＶＣＬトラックがデコーディング能力情報（ＤＣＩ）又は動作点情報（ＯＰＩ）ネットワーク抽象型レイヤユニットを含むことができないことを指定する、
方法。

５．解決法１の方法であって、
前記第１条件は、前記非ＶＣＬトラックが、非ＶＣＬネットワーク抽象型レイヤユニットを含む１つ以上のエレメンタリストリームを含み、
前記非ＶＣＬネットワーク抽象型レイヤユニットは、前記ＶＣＬトラック内のエレメンタリストリームと同期する、
方法。

６．解決法１～５のいずれかの方法であって、
前記変換は、前記視覚メディアデータのビットストリーム表現を生成し、該ビットストリーム表現を前記ファイルフォーマット規則に従って前記ファイルに格納することを有する、
方法。

７．解決法１～５のいずれかの方法であって、
前記変換は、前記視覚メディアデータを回復するよう前記フォーマット規則に従って前記ファイルをパースすることを有する、
方法。

８．解決法１～７の１つ以上で記載されている方法を実装するよう構成されたプロセッサを有するビデオデコーディング装置。

９．解決法１～７の１つ以上で記載されている方法を実装するよう構成されたプロセッサを有するビデオエンコーディング装置。

１０．コンピュータコードを記憶しており、該コードは、プロセッサデ実行される場合に、該プロセッサに、解決法１～７のいずれかに記載されている方法を実装させる、
コンピュータプログラム製品。

１１．解決法１～７のいずれかに従って生成されるファイルフォーマットに従うビットストリーム表現を記憶するコンピュータ可読媒体。

１２．本開示で記載される方法、装置、又はシステム。

本明細書で記載される解決法では、エンコーダは、コーディングされた表現をフォーマット規則に従って生成することによって、フォーマット規則に従い得る。本明細書で記載される解決法では、デコーダは、デコードされたビデオを生成するよう、フォーマット規則に従ってシンタックス要素の有無を知った上で、コーディングされた表現内のシンタックス要素をパースするためにフォーマット規則を使用し得る。

技術１．視覚メディアデータを処理する方法（図８に表される方法８０００）であって、
視覚メディアファイルと視覚メディアデータのビットストリームとの間の変換をフォーマット規則に従って実行するステップ（８００２）を有し、
前記フォーマット規則は、適応パラメータセットネットワーク抽象型レイヤユニットが、（１）ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び（２）非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されないようにすることを指定し、
前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
前記適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのためのクロマスケーリング付きルーママッピングパラメータと、前記ビデオストリームのためのスケーリングリストパラメータとを含む、
方法。

技術２．技術１の方法であって、
前記フォーマット規則は、前記適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
方法。

技術３．技術１の方法であって、
前記フォーマット規則は、前記適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
方法。

技術４．技術１の方法であって、
前記フォーマット規則は、第２適応パラメータセットネットワーク抽象型レイヤユニットが、（１）ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び（２）非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されることを許されることを更に指定し、
前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
前記第２適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのための適応ループフィルタパラメータを含む、
方法。いくつかの実施形態で、視覚メディアデータを処理方法は、視覚メディアファイルと視覚メディアデータのビットストリームとの間の変換をフォーマット規則に従って実行するステップを有し、フォーマット規則は、適応パラメータセットが、（１）ビデオコーディングレイヤトラックのサンプル又はビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び（２）非ビデオコーディングレイヤトラックのサンプルで、視覚メディアファイルに同時に格納されることを許されることを指定し、ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのための適応ループフィルタパラメータを含む。

技術５．技術４の方法であって、
前記フォーマット規則は、前記第２適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
方法。いくつかの実施形態で、フォーマット規則は、適応パラメータセットネットワーク抽象型レイヤユニットが、ビデオコーディングレイヤトラックのサンプル又はビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で視覚メディアファイルに格納されることを指定する。

技術６．技術４の方法であって、
前記フォーマット規則は、前記第２適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
方法。いくつかの実施形態で、フォーマット規則は、適応パラメータセットネットワーク抽象型レイヤユニットが非ビデオコーディングレイヤトラックのサンプルで視覚メディアファイルに格納されることを指定する。

技術７．技術１～６のいずれかの方法であって、
前記変換は、前記視覚メディアファイルを生成し、前記フォーマット規則に従って前記視覚メディアファイルに前記ビットストリームを格納することを有する、
方法。

技術８．技術１～６のいずれかの方法であって、
前記変換は、前記視覚メディアファイルを生成することを有し、
当該方法は、非一時的なコンピュータ可読記録媒体に前記視覚メディアファイルを記憶することを更に有する、
方法。

技術９．技術１～６のいずれかの方法であって、
前記変換は、前記ビットストリームを再構成するよう前記フォーマット規則に従って前記視覚メディアファイルをパースすることを有する、
方法。

技術１０．技術１～９のいずれかの方法であって、
前記視覚メディアファイルは、バーサタイル・ビデオ・コーディング（ＶＶＣ）によって処理され、
前記ビデオコーディングレイヤトラック又は前記非ビデオコーディングレイヤトラックは、ＶＶＣトラックである、
方法。

技術１１．視覚メディアデータを処理する装置であって、
プロセッサと、命令を記憶している非一時的なメモリとを有し、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、技術１～１０の１つ以上で記載されている方法を実装させる、
装置。

技術１２．プロセッサに、技術１～１０の１つ以上で記載されている方法を実装させる命令を記憶している非一時的なコンピュータ可読記憶媒体。

技術１３．ビデオ処理装置によって実行された方法によって生成される視覚メディアファイルのビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、
前記方法は、
技術１～１０の１つ以上で記載されている方法に従ってフォーマット規則を決定するステップと、
前記決定に基づき前記視覚メディアファイルを生成するステップと
を有する、
非一時的なコンピュータ可読記録媒体。いくつかの実施形態で、非一時的なコンピュータ可読記録媒体は、ビデオ処理装置によって実行された方法によって生成される視覚メディアファイルのビットストリームを記憶しており、方法は、フォーマット規則に従って視覚メディアデータに基づき視覚メディアファイルを生成するステップを有し、フォーマット規則は、第１適応パラメータセットネットワーク抽象型レイヤユニットが、（１）ビデオコーディングレイヤトラックのサンプル又はビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び（２）非ビデオコーディングレイヤトラックのサンプルで、視覚メディアファイルに同時に格納されないようにすることを指定し、記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、第１適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのためのクロマスケーリング付きルーママッピングパラメータと、前記ビデオストリームのためのスケーリングリストパラメータとを含む。

技術１４．技術１～１０の１つ以上で記載されている方法を実装するよう構成されたプロセッサを有するビデオデコーディング装置。

技術１５．技術１～１０の１つ以上で記載されている方法を実装するよう構成されたプロセッサを有するビデオエンコーディング装置。

技術１６．コンピュータコードを記憶しており、該コードは、プロセッサデ実行される場合に、該プロセッサに、技術１～１０のいずれかに記載されている方法を実装させる、
コンピュータプログラム製品。

技術１７．技術１～１０のいずれかに従って生成されるファイルフォーマットに従うビットストリーム表現を記憶するコンピュータ可読媒体。

技術１８．技術１～１０のいずれかで記載されている方法がビデオ処理装置で実行されることによって生成される視覚メディアファイルのビットストリームを記憶する非一時的なコンピュータ可読記録媒体。

技術１９．視覚メディアファイル生成の方法であって、
技術１～１０のいずれかで記載されている方法に従って視覚メディアファイルを生成するステップと、
前記視覚メディアファイルをコンピュータ可読プログラム媒体に記憶するステップと
を有する方法。

本明細書中、「ビデオ処理」という用語は、ビデオエンコーディング、ビデオデコーディング、ビデオ圧縮又はビデオ圧縮解除を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から、対応するビットストリーム表現への変換中に、又はその逆も同様に、適用されてよい。現在のビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるような、ビットストリーム内で同一位置にあるか又は異なった場所に広がっているかのどちらかであるビットに対応してよい。例えば、マクロブロックは、変換及びコーディングされた誤差残余値に関して、更には、ビットストリーム内のヘッダ及び他のフィールドにおけるビットを用いて、エンコードされてよい。更には、変換中、デコーダは、上記の解決法で説明されているように、決定に基づいて、いくつかのフィールドの有無の可能性を分かった上でビットストリームをパースしてよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきか否かを決定し、それに応じて、ビットストリーム表現からシンタックスフィールドを含めるか又は除くことによって、ビットストリーム表現を生成してよい。

本明細書で説明されている開示の及び他の解決法、例、実施形態、モジュール及び機能動作は、デジタル電子回路において、あるいは、本明細書で開示されている構造及びそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて、あるいは、それらの１つ以上の組み合わせにおいて実装可能である。開示されている実施形態及び他の実施形態は、１つ以上のコンピュータプログラム製品、例えば、データ処理装置による実行のために又はその動作を制御するためにコンピュータ可読媒体上で符号化されたコンピュータプログラム命令の１つ以上のモジュールとして、実装可能である。コンピュータ可読媒体は、機械読み出し可能な記憶デバイス、機械読み出し可能な記憶担体、メモリデバイス、機械読み出し可能な伝搬信号をもたらす組成物、又はそれらの１つ以上の組み合わせであることができる。「データ処理装置」との用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理する全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、機械により生成された電気的、光学的、又は電磁気的信号であって、適切なレシーバ装置への伝送のために情報を符号化するよう生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。）は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応しない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル）で、他のプログラム又はデータ（例えば、マークアップ言語文書で保存された１つ以上のスクリプト）を保持するファイルの部分において保存可能である。コンピュータプログラムは、１つのコンピュータで、あるいは、１つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで実行されるようデプロイ可能である。

本明細書で説明されているプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及びロジックフローはまた、専用のロジック回路、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）によっても実行可能であり、装置は、そのようなものとして実装可能である。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか１つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを読み出すことになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する１つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを保存する１つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような１つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク；光学磁気ディスク；並びにＣＤＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。

本明細書は、多数の詳細を含むが、それらは、あらゆる対象の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書で説明されている特定の特徴は、単一の実施形態と組み合わせても実装可能である。逆に、単一の実施形態に関連して説明されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして先に説明され、更には、そのようなものとして最初に請求されることがあるが、請求されている組み合わせからの１つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてもよい。

同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が示されているその特定の順序で又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書で説明されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。

ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。

１００ ビデオコーディングシステム
１１０ 発信元デバイス
１１２ ビデオソース
１１４，２００ ビデオエンコーダ
１１６，１２６ 入出力（Ｉ／Ｏ）インターフェース
１２０ 送信先デバイス
１２２ 表示デバイス
１２４，３００ ビデオデコーダ
１３０ａ ネットワーク
１３０ｂ 記憶媒体／サーバ
２０１ パーティションユニット
２０２ 予測ユニット
２０３ モード選択ユニット
２０４ 動き推定ユニット
２０５，３０２ 動き補償ユニット
２０６，３０３ イントラ予測ユニット
２０７ 残差生成ユニット
２０８ 変換ユニット
２０９ 量子化ユニット
２１０，３０４ 逆量子化ユニット
２１１，３０５ 逆変換ユニット
２１２，３０６ 再構成ユニット
２１３、３０７ バッファ
２１４ エントロピエンコーディングユニット
３０１ エントロピデコーディングユニット
１９００ ビデオ処理システム
３６００ ビデオ処理装置
３６０２ プロセッサ
３６０４ メモリ
３６０６ ビデオ処理ハードウェア

Claims (11)

1. 視覚メディアデータを処理する方法であって、
   視覚メディアファイルと視覚メディアデータのビットストリームとの間の変換をフォーマット規則に従って実行するステップを有し、
   前記フォーマット規則は、第１適応パラメータセットネットワーク抽象型レイヤユニットが、（１）ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び（２）非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されないようにすることを指定し、
   前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
   前記第１適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのためのクロマスケーリング付きルーママッピングパラメータと、前記ビデオストリームのためのスケーリングリストパラメータとを含み、
   前記フォーマット規則は、第２適応パラメータセットネットワーク抽象型レイヤユニットが、（１）ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び（２）非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されることを許されることを更に指定し、
   前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
   前記第２適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのための適応ループフィルタパラメータを含む、
   方法。
2. 前記フォーマット規則は、前記第１適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
   請求項１に記載の方法。
3. 前記フォーマット規則は、前記第１適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
   請求項１に記載の方法。
4. 前記フォーマット規則は、前記第２適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
   請求項１に記載の方法。
5. 前記フォーマット規則は、前記第２適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
   請求項１に記載の方法。
6. 前記変換は、前記視覚メディアファイルを生成し、前記フォーマット規則に従って前記視覚メディアファイルに前記ビットストリームを格納することを有する、
   請求項１乃至５のうちいずれか一項に記載の方法。
7. 前記変換は、前記視覚メディアファイルを生成することを有し、
   当該方法は、非一時的なコンピュータ可読記録媒体に前記視覚メディアファイルを記憶することを更に有する、
   請求項１乃至５のうちいずれか一項に記載の方法。
8. 前記変換は、前記ビットストリームを再構成するよう前記フォーマット規則に従って前記視覚メディアファイルをパースすることを有する、
   請求項１乃至５のうちいずれか一項に記載の方法。
9. 前記視覚メディアファイルは、バーサタイル・ビデオ・コーディング（ＶＶＣ）によって処理され、
   前記ビデオコーディングレイヤトラック又は前記非ビデオコーディングレイヤトラックは、ＶＶＣトラックである、
   請求項１乃至８のうちいずれか一項に記載の方法。
10. 視覚メディアデータを処理する装置であって、
    プロセッサと、命令を記憶している非一時的なメモリとを有し、
    前記命令は、前記プロセッサによって実行されると、前記プロセッサに、請求項１乃至９のうちいずれか一項に記載の方法を実装させる、
    装置。
11. プロセッサに、請求項１乃至９のうちいずれか一項に記載の方法を実装させる命令を記憶している非一時的なコンピュータ可読記憶媒体。
    

Images