JP7355791B2 - サブピクチャトラックの参照および処理 - Google Patents

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年９月１７日出願の米国特許仮出願第６３／０７９９３３号および２０２０年１０月６日出願の米国特許仮出願第６３／０８８１２６号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許文献は、ファイルフォーマットのデジタルオーディオ映像媒体情報の生成、記憶、および消費に関する。

デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

本明細書は、映像エンコーダおよびデコーダが、ファイルフォーマットに従って映像または画像の符号化表現を処理するために使用できる技術を開示する。

１つの例示的な態様において、視覚メディアデータを処理する方法が開示される。この方法は、視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行うことを含み、前記視覚メディアデータは、１つまたは複数のサブピクチャまたは複数のスライスを含む１つ以上のピクチャを含み、前記視覚メディアファイルは、フォーマット規則に従って前記１つ以上のトラックを記憶し、前記フォーマット規則は、前記１つ以上のスライスまたは前記１つ以上のサブピクチャのシーケンスを含むトラックが、前記１つ以上のピクチャの矩形領域を覆うことを規定する。

別の例示的な態様において、視覚メディアデータ処理の別の方法が開示される。前記方法は、フォーマット規則に従って、視覚メディアデータと、視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行うことを含み、前記視覚メディアファイルは、前記視覚メディアデータの１つ以上のサブピクチャのための符号化された情報を記憶する１つ以上のサブピクチャトラックを参照するベーストラックを含み、前記フォーマット規則は、前記ベーストラックにおけるサンプルおよび１つ以上のサブピクチャトラックから映像ユニットを再構成するために使用されるプロセスを規定する。

さらに別の例示的な態様において、映像処理装置が開示される。この映像処理装置は、上述した方法を実装するように構成された処理装置を備える。

さらに別の例示的な態様において、１つ以上のビットストリームを含むファイルに視覚メディアデータを記憶する方法が開示される。この方法は、上述した方法に対応し、且つ前記１つ以上のビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む。

さらに別の例示的な態様において、ビットストリームを記憶するコンピュータ可読媒体が開示される。前記ビットストリームは、上述した方法に従って生成される。

さらに別の例示的な態様において、ビットストリームを記憶するための映像処理装置が開示され、前記映像処理装置は、上述した方法を実装するように構成される。

さらに別の例示的な態様において、ビットストリームが、上述した方法に従って生成されるファイルフォーマットに準拠する、コンピュータ可読媒体が開示される。

これらの、およびその他の特徴は、本明細書全体にわたって説明されている。

映像処理システム例を示すブロック図である。 映像処理装置のブロック図である。 映像処理方法の一例を示すフローチャートである。 本開示のいくつかの実施形態による映像符号化システムを示すブロック図である。 本開示のいくつかの実施形態によるエンコーダを示すブロック図である。 本開示のいくつかの実施形態によるデコーダを示すブロック図である。 エンコーダブロック図の例を示す。 １８個のタイル、２４個のスライス、および２４個のサブピクチャに分割されたピクチャを示す。 典型的なサブピクチャに基づくビューポートに依存する３６０°映像配信スキームである。 ２つのサブピクチャと４つのスライスとを含むビットストリームから１つのサブピクチャを取り出す例を示す。 開示される技術のいくつかの実装形態に基づく、視覚メディアデータ処理の例示的な方法を示す。 開示される技術のいくつかの実装形態に基づく、視覚メディアデータ処理の例示的な方法を示す。

本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、Ｈ．２６６という用語は、ある説明において、理解を容易にするためだけに使用され、開示された技術の範囲を限定するために用いられたものではない。このように、本明細書で説明されている技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。本明細書において、編集変更は、ＶＶＣ規格またはＩＳＯＢＭＦＦファイルフォーマット規格の現在の草案に対して、取り消されたテキストを示す取り消し線および付加されたテキストを示すハイライト（太字のイタリック体を含む）によってテキストに示す。

１． 初期の協議
本明細書は、映像ファイルフォーマットに関する。具体的には、本発明は、ＩＳＯベースのメディアファイル形式（ＩＳＯＢＭＦＦ）に基づいて、メディアファイルにおけるマルチトラックにおける汎用映像符号化（ＶＶＶＣ）映像ビットストリームのサブピクチャに関する。この考えは、任意のコーデック、例えば、ＶＶＣ規格によって符号化された映像ビットストリーム、および任意の映像ファイルフォーマット、例えば、開発されているＶＶＣ映像ファイルフォーマットに、個々にまたは様々な組み合わせで適用されてもよい。
２． 略語
ＡＣＴ 適応色変換
ＡＬＦ 適応ループフィルタ
ＡＭＶＲ 適応型動きベクトル解像度
ＡＰＳ 適応パラメータセット
ＡＵ アクセスユニット
ＡＵＤ アクセスユニット区切り文字
ＡＶＣ 高度映像符号化（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６－１０）
Ｂ 双方向予測
ＢＣＷ ＣＵレベル重み付き双方向予測
ＢＤＯＦ 双方向オプティカルフロー
ＢＤＰＣＭ ブロックベースのデルタパルス符号変調
ＢＰ バッファリング時間
ＣＡＢＡＣ コンテキストに基づく適応２進算術符号化
ＣＢ 符号化ブロック
ＣＢＲ 一定ビットレート
ＣＣＡＬＦ クロスコンポーネント適応ループフィルタ
ＣＰＢ 符号化ピクチャバッファ
ＣＲＡ クリーンなランダムアクセス
ＣＲＣ 巡回冗長性検査
ＣＴＢ 符号化ツリーブロック
ＣＴＵ 符号化ツリーユニット
ＣＵ 符号化ユニット
ＣＶＳ 符号化映像シーケンス
ＤＰＢ 復号化ピクチャバッファ
ＤＣＩ 復号化能力情報
ＤＲＡＰ 従属ランダムアクセスポイント
ＤＵ 復号化ユニット
ＤＵＩ 復号化ユニット情報
ＥＧ 指数ゴロム
ＥＧｋ ｋ次指数ゴロム
ＥＯＢ ビットストリームの末端
ＥＯＳ シーケンスの末端
ＦＤ フィラーデータ
ＦＩＦＯ 先入れ先出し
ＦＬ 固定長
ＧＢＲ 緑色、青色、赤色
ＧＣＩ 一般的な制約情報
ＧＤＲ 緩やかな復号化更新
ＧＰＭ ジオメトリ分割モード
ＨＥＶＣ 高効率映像符号化（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ２３００８－２）
ＨＲＤ 仮想参照デコーダ
ＨＳＳ 仮想ストリームスケジューラ
Ｉ イントラ
ＩＢＣ イントラブロックコピー
ＩＤＲ 瞬時復号化更新
ＩＬＲＰ 層間参照画像
ＩＲＡＰ イントラランダムアクセスポイント
ＬＦＮＳＴ 低周波数非可分変換
ＬＰＳ 最小確率シンボル
ＬＳＢ 最下位ビット
ＬＴＲＰ 長期参照画像
ＬＭＣＳ 彩度スケーリングを伴う輝度マッピング
ＭＩＰ マトリックスに基づくイントラ予測
ＭＰＳ 最大確率記号
ＭＳＢ 最上位ビット
ＭＴＳ 多重変換選択
ＭＶＰ 動きベクトル予測
ＮＡＬ ネットワーク抽象化層
ＯＬＳ 出力層セット
ＯＰ 動作点
ＯＰＩ 動作点情報
Ｐ 予測
ＰＨ ピクチャヘッダ
ＰＯＣ ピクチャオーダカウント
ＰＰＳ ピクチャパラメータセット
ＰＲＯＦ オプティカルフローによる予測微調整
ＰＴ ピクチャタイミング
ＰＵ ピクチャユニット
ＱＰ 量子化パラメータ
ＲＡＤＬ ランダムアクセス復号化可能リード（ピクチャ）
ＲＡＳＬ ランダムアクセススキップリード（ピクチャ）
ＲＢＳＰ 生バイトシーケンスペイロード
ＲＧＢ 赤、緑、青
ＲＰＬ 参照ピクチャリスト
ＳＡＯ サンプル適応オフセット
ＳＡＲ サンプルアスペクト比
ＳＥＩ 補足強化情報
ＳＨ スライスヘッダ
ＳＬＩ サブピクチャレベル情報
ＳＯＤＢ データビットのストリング
ＳＰＳ シーケンスパラメータセット
ＳＴＲＰ 短期参照ピクチャ
ＳＴＳＡ ステップワイズ時間的サブレイヤアクセス
ＴＲ 短縮ライス
ＶＢＲ 可変ビットレート
ＶＣＬ 映像符号化層
ＶＰＳ 映像パラメータセット
ＶＳＥＩ 汎用補足強化情報（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７４ ｜ ＩＳＯ／ＩＥＣ２３００２－７）
ＶＵＩ 映像可用性情報
ＶＶＣ（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６６ ｜ ＩＳＯ／ＩＥＣ２３０９０－３）Ｈ．２６５｜ＩＳＯ／ＩＥＣ２３００８－２）

３． 映像符号化の導入
３．１． 映像符号化規格
映像符号化規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは、後に汎用映像符号化（ＶＶＣ）プロジェクトが正式に始まったとき、共同映像エキスパートチーム（ＪＶＥＴ）に改称された。ＶＶＣは新しい符号化規格であり、ＨＥＶＣに比べて５０％のビットレート低減を目指し、２０２０年７月１日に終了した第１９回ＪＶＥＴ総会において完成した。

汎用映像符号化（ＶＶＣ）規格（ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３）と汎用補足強化情報（ＶＳＥＩ）規格（ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７）は、テレビ放送、ビデオ会議、記憶媒体からの再生などの従来の用途に加え、適応ビットレートストリーミング、映像領域抽出、複数の符号化映像ビットストリームからのコンテンツの合成・結合、マルチビュー映像、スケーラブルレイヤードコーディング、ビューポートに適応した３６０°没入型メディアなど、より新しく、より高度な用途を含め、最大限に幅広いアプリケーションで使用できるように設計されている。

３．２． ファイルフォーマット規格
メディアストリーミングアプリケーションは、一般的に、ＩＰ、ＴＣＰ、およびＨＴＴＰトランスポート方法に基づいており、一般的に、ＩＳＯベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ）などのファイルフォーマットに依存する。そのようなストリーミングシステムの１つは、ＨＴＴＰ（ＤＡＳＨ）を介した動的適応ストリーミングである。ＩＳＯＢＭＦＦとＤＡＳＨで映像フォーマットを使用するには、ＩＳＯ／ＩＥＣ １４４９６－１５（「情報技術－オーディオビジュアルオブジェクトの符号化－Ｐａｒｔ１５：ネットワーク抽象化層（ＮＡＬ）単位で構造化されたＩＳＯベースのメディアファイルフォーマットの映像のキャリッジ」）のＡＶＣファイルフォーマットやＨＥＶＣファイルフォーマットのような、映像フォーマット固有のファイルフォーマット仕様が、ＩＳＯＢＭＦＦトラックやＤＡＳＨの表現やセグメントに映像コンテンツをカプセル化するために必要である。映像ビットストリームに関する重要な情報、例えば、プロファイル、階層、レベル、その他多数は、コンテンツ選択のために、例えば、ストリーミングセッションの開始時の初期化およびストリーミングセッション中のストリーム適応の両方のために、ファイルフォーマットレベルのメタデータおよび／またはＤＡＳＨメディアプレゼンテーション記述（ＭＰＤ）として公開される必要がある。

同様に、ＩＳＯＢＭＦＦを用いた画像フォーマットを使用するために、この画像フォーマットに固有の、例えば、ＩＳＯ／ＩＥＣ２３００８－１２におけるＡＶＣ画像ファイルフォーマットおよびＨＥＶＣ画像ファイルフォーマットなどのようなファイルフォーマット仕様（「情報技術－異種環境における高効率符号化およびメディア配信－パート１２：画像ファイルフォーマット」）が必要とされる。

ＩＳＯＢＭＦＦに基づくＶＶＣ映像コンテンツを記憶するためのファイルフォーマットであるＶＶＣ映像ファイルフォーマットは、現在、ＭＰＥＧによって開発されている。ＶＶＣ映像ファイルフォーマットの最新草案仕様は、ＭＰＥＧ出力文書Ｎ１９４５４（「情報技術－オーディオビジュアルオブジェクトの符号化－Ｐａｒｔ１５：ネットワーク抽象化層（ＮＡＬ）単位で構造化されたＩＳＯベースのメディアファイルフォーマットの映像のキャリッジ－補正２：ＩＳＯＢＭＦＦにおけるＶＶＣおよびＥＶＣのキャリッジについて」２０２０年７月）に含まれている。

ＩＳＯＢＭＦＦに基づく、ＶＶＣを使用して符号化された画像内容を記憶するためのファイルフォーマットであるＶＶＣ画像ファイルフォーマットは、現在、ＭＰＥＧによって開発されている。ＶＶＣ画像ファイルフォーマットの最新草案仕様は、ＭＰＥＧ出力文書Ｎ１９４６０（「情報技術－異種環境における高効率符号化およびメディア配信－第１２部：画像ファイルフォーマット－補正３：ＶＶＣ、ＥＶＣ、スライドショーおよびその他の改善のサポート」、２０２０年７月）に含まれている。

３．３ＨＥＶＣにおけるピクチャ分割スキーム
ＨＥＶＣは、正規のスライス、依存性のあるスライス、タイル、ＷＰＰ（Ｗａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ）という４つの異なるピクチャ分割スキームを含み、これらを適用することで、最大転送ユニット（ＭＴＵ）サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。

正規のスライスは、Ｈ．２６４／ＡＶＣと同様である。各正規のスライスは、それ自体のＮＡＬユニットにカプセル化され、スライス境界にわたるインピクチャ予測（イントラサンプル予測、動き情報予測、符号化モード予測）およびエントロピー符号化依存性は無効化される。このように、正規のスライスを、同じピクチャ内の他の正規のスライスとは独立して再構成することができる（しかし、ループフィルタリング動作のために依然として相互依存性がある場合がある）。

正規のスライスは、並列化に使用できる唯一のツールであり、Ｈ．２６４／ＡＶＣでもほぼ同じフォーマットで利用可能である。正規のスライスに基づく並列化は、あまり処理装置間通信またはコア間通信を必要としない（予測符号化されたピクチャを復号化するとき、動き補償のために処理装置間またはコア間データ共有を除き、一般的に、ピクチャ内予測のために処理装置間またはコア間データ共有よりもはるかに重い）。しかしながら、同じ理由で、正規のスライスを使用すると、スライスヘッダのビットコストおよびスライス境界にわたる予測が欠如していることに起因して、符号化のオーバーヘッドが大きくなる可能性がある。さらに、正規のスライスは（後述の他のツールとは対照的に）、正規のスライスのピクチャ内独立性および各正規のスライスがそれ自体のＮＡＬユニットにカプセル化されることに起因して、ＭＴＵサイズ要件に適応するようにビットストリームを分割するための鍵となるメカニズムとしても機能する。多くの場合、並列化の目標およびＭＴＵサイズマッチングの目標は、ピクチャにおけるスライスレイアウトに矛盾する要求を課す。このような状況を実現したことにより、以下のような並列化ツールが開発された。

従属スライスは、ショートスライスヘッダを有し、ピクチャ内予測を一切中断することなく、ツリーブロック境界でビットストリームを分割することを可能にする。基本的に、従属スライスは、正規のスライスを複数のＮＡＬユニットに断片化し、正規のスライス全体の符号化が完了する前に正規のスライスの一部を送出することを可能にすることによって、エンドツーエンドの遅延を低減する。

ＷＰＰにおいて、ピクチャは、単一行の符号化ツリーブロック（ＣＴＢ）に分割される。エントロピー復号化および予測は、他の分割におけるＣＴＢからのデータを使用することを許可される。ＣＴＢ行の並列復号によって並列処理が可能であり、１つのＣＴＢ行の復号の開始が２つのＣＴＢだけ遅延され、それによって、対象のＣＴＢが復号化される前に、対象のＣＴＢの右上のＣＴＢに関するデータが確実に利用可能になる。この互い違いのスタート（グラフで表現される場合、波面のように見える）を使用することで、ピクチャがＣＴＢ行を含む数までの処理装置／コアを使用して並列化することが可能である。１つのピクチャ内の近傍のツリーブロック行間のピクチャ内予測が許可されるので、ピクチャ内予測を可能にするために必要な処理装置間／コア間通信は十分となり得る。ＷＰＰ分割は、適用されない場合と比較して、追加のＮＡＬユニットの生成をもたらさず、従って、ＷＰＰは、ＭＴＵサイズマッチングのためのツールではない。しかし、ＭＴＵサイズのマッチングが必要な場合、一定の符号化オーバーヘッドを伴って、ＷＰＰで正規のスライスを使用することができる。

タイルは、ピクチャをタイルの列および行に分割する水平および垂直境界を規定する。タイルの列は、ピクチャの上から下へと延びている。同様に、タイル行は、ピクチャの左から右に延びる。ピクチャにおけるタイルの数は、単にタイル列の数にタイル行の数を乗算することで導出することができる。

ＣＴＢのスキャン順序は、１つのタイル内でローカルになるように（１つのタイルのＣＴＢラスタスキャンの順に）変更され、その後、１つのピクチャのタイルラスタスキャンの順に従って、次のタイルの左上のＣＴＢを復号化する。正規のスライスと同様に、タイルは、ピクチャ内予測依存性およびエントロピー復号化依存性を損なう。しかしながら、これらは、個々のＮＡＬユニット（この点でＷＰＰと同じ）に含まれる必要がなく、従って、タイルは、ＭＴＵサイズマッチングに使用できない。各タイルは、１つの処理装置／コアによって処理されてもよく、処理ユニット間のピクチャ内予測に必要な処理装置間／コア間通信は、近傍のタイルを復号化することは、１つのスライスが２つ以上のタイルにまたがっている場合、共有スライスヘッダを搬送すること、および再構成されたサンプルおよびメタデータのループフィルタリングに関連する共有に限定される。１つのスライスに２つ以上のタイルまたはＷＰＰセグメントが含まれる場合、該スライスにおける第１のもの以外の各タイルまたはＷＰＰセグメントのエントリポイントバイトオフセットが、スライスヘッダにおいて信号通知される。

説明を簡単にするために、ＨＥＶＣにおいては、４つの異なるピクチャ分割スキームの適用に関する制限が規定されている。所与の符号化映像シーケンスは、ＨＥＶＣに指定されたプロファイルのほとんどについて、タイルおよび波面の両方を含むことができない。各スライスおよびタイルについて、以下の条件のいずれかまたは両方を満たさなければならない。１）１つのスライスにおけるすべての符号化ツリーブロックは、同じタイルに属し、２）１つのタイルにおけるすべての符号化ツリーブロックは、同じスライスに属する。最後に、１つの波面セグメントはちょうど１つのＣＴＢ行を含み、ＷＰＰが使用されている時に、１つのスライスが１つのＣＴＢ行内で始まる場合、同じＣＴＢ行で終わらなければならない。

最近のＨＥＶＣの修正は、ＪＣＴ－ＶＣの出力文書であるＪＣＴＶＣ－ＡＣ１００５、Ｊ．ボイス、Ａ．ラマスブラモニアン、Ｒ．スクピン、Ｇ．Ｊ．スリ版、Ａ．トゥラピス、Ｙ．－Ｋ．ワング（ｅｄｉｔｏｒｓ），“ＨＥＶＣ追加の補足強化情報（草案４），”２０１７年１０月２４日，下記で入手可能：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２９＿Ｍａｃａｕ／ｗｇ１１／ＪＣＴＶＣ－ＡＣ１００５－ｖ２．ｚｉｐ．この補正を含め、ＨＥＶＣは、３つのＭＣＴＳ関連ＳＥＩメッセージ、即ち、時間的ＭＣＴＳ ＳＥＩメッセージ、ＭＣＴＳ抽出情報セットＳＥＩメッセージ、およびＭＣＴＳ抽出情報ネストＳＥＩメッセージを規定する。

時間的ＭＣＴＳ ＳＥＩメッセージは、ビットストリーム中にＭＣＴＳが存在することを示し、ＭＣＴＳに信号を送信する。各ＭＣＴＳにおいて、動きベクトルは、ＭＣＴＳ内部のフルサンプル位置を指し、且つ補間のためにＭＣＴＳ内部のフルサンプル位置のみを必要とするフラクショナルサンプル位置を指すように制限され、且つＭＣＴＳ外部のブロックから導出された時間的動きベクトル予測のための動きベクトル候補の使用は許可されない。このように、各ＭＣＴＳは、ＭＣＴＳに含まれていないタイルが存在せず、独立して復号化されてもよい。

ＭＣＴＳ抽出情報セットＳＥＩメッセージは、ＭＣＴＳサブビットストリーム抽出（ＳＥＩメッセージの意味論の一部として指定される）において使用できる補足情報を提供し、ＭＣＴＳセットのための適合ビットストリームを生成する。この情報は、複数の抽出情報セットからなり、各抽出情報セットは、複数のＭＣＴＳセットを定義し、ＭＣＴＳサブビットストリーム抽出処理において使用される代替ＶＰＳ、ＳＰＳ、およびＰＰＳのＲＢＳＰバイトを含む。ＭＣＴＳサブビットストリーム抽出処理に従ってサブビットストリームを抽出する場合、パラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ）を書き換えるかまたは置き換える必要があるが、その理由は、スライスアドレスに関連する構文要素の１つまたは全て（ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇおよびｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ａｄｄｒｅｓｓを含む）が、一般的に、異なる値となる必要があるため、スライスヘッダはわずかに更新される必要がある。

３．４． ＶＶＣにおけるピクチャの分割およびサブピクチャ
３．４．１． ＶＶＣにおけるピクチャ分割
ＶＶＣにおいて、１つのピクチャは、１つ以上のタイル行および１つ以上のタイル列に分割される。１つのタイルは、１つのピクチャの１つの矩形領域を覆う１つのＣＴＵのシーケンスである。１つのタイルにおけるＣＴＵは、そのタイル内でラスタスキャン順にスキャンされる。

１つのスライスは、１つのピクチャのタイル内において、整数個の完全なタイルまたは整数個の連続した完全なＣＴＵ行からなる。

２つのモードのスライス、即ちラスタスキャンスライスモードおよび矩形スライスモードがサポートされる。ラスタスキャンスライスモードにおいて、１つのスライスは、１つのピクチャのタイルラスタスキャンにおける１つの完全なタイルのシーケンスを含む。矩形スライスモードにおいて、１つのスライスは、ピクチャの矩形領域をセット的に形成する複数の完全なタイル、またはピクチャの矩形領域をセット的に形成する１つのタイルの複数の連続した完全なＣＴＵ行のいずれかを含む。矩形スライス内のタイルを、そのスライスに対応する矩形領域内で、タイルラスタスキャンの順にスキャンする。

１つのサブピクチャは、１つのピクチャの矩形領域をセット的に覆う１つ以上のスライスを含む。

３．４．２． サブピクチャの概念および機能性
ＶＶＣにおいて、個々のサブピクチャは、例えば図８に示すように、ピクチャの矩形領域をまとめて覆う１つ以上の完全な矩形スライスからなる。１つのサブピクチャは、抽出可能なように指定されてもよいし（即ち、同じピクチャの他のサブピクチャおよび前のピクチャの復号化の順序で独立して符号化されてもよいし）、抽出不可能なように指定されてもよい。サブピクチャが抽出可能であるかどうかにかかわらず、エンコーダは、各サブピクチャごとに、サブピクチャの境界にわたって個々にインループフィルタリング（非ブロック化、ＳＡＯ、およびＡＬＦを含む）を適用するかどうかを制御することができる。

機能的には、サブピクチャは、ＨＥＶＣにおける動き拘束タイルセット（ＭＣＴＳ）に類似している。それらは両方とも、ビューポートに依存する３６０°の映像ストリーミングの最適化および関心領域（ＲＯＩ）アプリケーションのような使用例のために、符号化ピクチャのシーケンスの矩形サブセットの独立した符号化および抽出を可能にする。

３６０°映像のストリーミング、別名、全方向性映像のストリーミングにおいて、任意の特定の瞬間に、全方向性映像球体全体のサブセット（即ち、現在のビューポート）のみがユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを変更し、その結果、現在のビューポートを変更することができる。クライアント側で利用可能な現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、且つユーザにレンダリングする準備ができていることが望ましいが、ユーザが突然その視線方向を球面上の任意の場所に変えた場合に備えて、全方位映像の高品質な表現は、任意の瞬間にユーザにレンダリングされている現在のビューポートにのみ必要である。全方位映像全体の高画質表現を適切な粒度のサブピクチャに分割することで、図８に示されるように、左側に１２枚の高解像度のサブピクチャ、右側に残りの１２枚の低解像度の全方位映像のサブピクチャを配置するという最適化が可能になる。

別の典型的なサブピクチャに基づくビューポートに依存する３６０°の映像配信スキームが図９に示されており、ここでは、フル映像のより高い解像度の表現のみがサブピクチャからなり、一方、フル映像のより低い解像度の表現は、サブピクチャを使用せず、より高い解像度の表現よりも頻度の低いＲＡＰで符号化できる。クライアント側は、フル映像を低解像度で受信し、より高い解像度映像の場合、クライアント側は、現在のビューポートを覆うサブピクチャのみを受信して復号化する。

３．４．３． サブピクチャとＭＣＴＳの相違
サブピクチャとＭＣＴＳとの間には、いくつかの重要な設計上の相違がある。第１に、ＶＶＣにおけるサブピクチャの特徴は、この場合、サブピクチャの境界においてサンプルパディングを適用することで、サブピクチャが抽出可能である場合であっても、ピクチャの境界における場合と同様に、サブピクチャの外側を指す符号化ブロックの動きベクトルを許容する。第２に、ＶＶＣのマージモードおよびデコーダ側動きベクトル微調整処理において、動きベクトルの選択および導出のために追加の変更を導入した。これにより、ＭＣＴＳのためにエンコーダ側で適用される非規範的な動き制約に比べて、より高い符号化効率が可能になる。第３に、ピクチャのシーケンスから１つ以上の抽出可能なサブピクチャを抽出し、適合ビットストリームであるサブビットストリームを生成する場合、ＳＨ（およびＰＨ ＮＡＬユニットが存在する場合、それら）を書き換える必要がない。ＨＥＶＣ ＭＣＴＳに基づくサブビットストリーム抽出においては、ＳＨの書き換えが必要である。なお、ＨＥＶＣ ＭＣＴＳ抽出およびＶＶＣサブピクチャ抽出の両方において、ＳＰＳおよびＰＰＳの書き換えが必要である。しかしながら、一般的に、ビットストリーム内には少数のパラメータセットしか存在せず、各ピクチャは少なくとも１つのスライスを有するため、ＳＨの書き換えはアプリケーションシステムにとって大きな負担となり得る。第４に、１つのピクチャ内の異なるサブピクチャのスライスは、異なるＮＡＬユニットタイプを有する場合がある。これは、以下でより詳細に説明するように、しばしば１つのピクチャ内の混合ＮＡＬユニットタイプまたは混合サブピクチャタイプと呼ばれる特徴である。第５に、ＶＶＣは、サブピクチャシーケンスのためにＨＲＤおよびレベル定義を規定し、従って、各抽出可能なサブピクチャシーケンスのサブビットストリームの適合性をエンコーダによって保証することができる。

３．４．４． ピクチャ内の混合サブピクチャタイプ
ＡＶＣおよびＨＥＶＣにおいて、１つのピクチャにおけるすべてのＶＣＬ ＮＡＬユニットは、同じＮＡＬユニットタイプを有している必要がある。ＶＶＣは、１つのピクチャ内で特定の異なるＶＣＬ ＮＡＬユニットタイプを有するサブピクチャを混合する選択肢を導入し、これにより、ピクチャレベルだけでなくサブピクチャレベルでもランダムアクセスをサポートする。ＶＶＣ ＶＣＬにおいて、１つのサブピクチャ内のＮＡＬユニットは、依然として同じＮＡＬユニットタイプを有している必要がある。

ＩＲＡＰサブピクチャからのランダムアクセスの能力は、３６０°映像アプリケーションに有益である。図９に示されたものに類似したビューポートに依存する３６０°映像配信スキームにおいて、空間的に近傍のビューポートの内容は大きく重複し、即ち、ビューポートにおけるサブピクチャの一部のみが、ビューポートの向きを変更する間に新しいサブピクチャに置き換えられ、ほとんどのサブピクチャはビューポートに残る。ビューポートに新規に導入されるサブピクチャシーケンスは、ＩＲＡＰスライスで開始しなければならないが、ビューポートの変更時に残りのサブピクチャがインター予測を実行することを許可される場合、全体の伝送ビットレートを有意に低減することができる。

ピクチャが１つのタイプのＮＡＬユニットだけを含むか、または２つ以上のタイプを含むかの指示は、ピクチャが参照するＰＰＳに提供される（即ち、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇと呼ばれるフラグを使用する）。１つのピクチャは、ＩＲＡＰスライスを含むサブピクチャと、末尾のスライスを含むサブピクチャとを同時に構成することができる。１つのピクチャ内の、ＮＡＬユニットタイプＲＡＳＬおよびＲＡＤＬの先頭ピクチャスライスを含む、異なるＮＡＬユニットタイプの他の若干の組み合わせが許可され、これにより、異なるビットストリームから抽出されたオープンＧＯＰおよびクローズＧＯＰ符号化構造を有するサブピクチャシーケンスを１つのビットストリームにマージすることができる。

３．４．５．サブピクチャレイアウトおよびＩＤ信号通知
ＶＶＣにおけるサブピクチャのレイアウトは、ＳＰＳにおいて信号通知され、従って、ＣＬＶＳ内で一定である。各サブピクチャは、その左上のＣＴＵの位置およびＣＴＵの数におけるその幅および高さによって信号伝達され、よって、１つのサブピクチャが、ＣＴＵ粒度を有するピクチャの矩形領域を確実に覆う。ＳＰＳにおいてサブピクチャが信号通知される順序は、ピクチャ内の各サブピクチャのインデックスを決定する。

ＳＨまたはＰＨを書き換えることなくサブピクチャシーケンスの抽出およびマージを有効化するために、ＶＶＣにおけるスライスアドレッシングスキームは、サブピクチャＩＤおよびサブピクチャ固有のスライスインデックスに基づいて、スライスをサブピクチャに関連付ける。ＳＨにおいて、スライスを含むサブピクチャのサブピクチャＩＤおよびサブピクチャレベルのスライスインデックスが信号通知される。なお、特定のサブピクチャのサブピクチャＩＤの値は、そのサブピクチャインデックスの値と異なってもよい。２つの間のマッピングは、ＳＰＳまたはＰＰＳで信号通知される（しかし、両方ではない）か、または暗黙的に推測される。存在する場合、サブピクチャサブビットストリーム抽出処理中にＳＰＳおよびＰＰＳを書き換える時に、サブピクチャＩＤマッピングを書き換えるか、または追加する必要がある。サブピクチャＩＤおよびサブピクチャレベルのスライスインデックスは、共に、デコードされたピクチャのＤＰＢスロット内におけるスライスの第１の復号化されたＣＴＵの正確な位置をデコーダに示す。サブビットストリーム抽出の後、サブピクチャのサブピクチャＩＤは変化しないが、サブピクチャのインデックスは変化する場合がある。たとえサブピクチャにおける１つ目のＣＴＵのラスタスキャンＣＴＵアドレスが元のビットストリームにおける値と比較して変化したとしても、サブピクチャＩＤの変化しなかった値およびそれぞれのＳＨのサブピクチャレベルのスライスインデックスは、抽出されたサブビットストリームの復号化ピクチャにおける各ＣＴＵの位置を依然として正確に判定する。図１０は、サブピクチャＩＤ、サブピクチャインデックス、およびサブピクチャレベルスライスインデックスを使用して、２つのサブピクチャおよび４つのスライスを含む例で、サブピクチャの抽出を有効化することを示している。

サブピクチャ抽出と同様に、サブピクチャのための信号通知は、異なるビットストリームが協調して生成されれば（例えば、異なるサブピクチャＩＤを使用するが、そうでない場合、ほとんど整列されたＳＰＳ、ＰＰＳ、およびＰＨパラメータ、例えば、ＣＴＵサイズ、彩度フォーマット、符号化ツール等を使用する）、ＳＰＳおよびＰＰＳを書き換えるだけで、異なるビットストリームからのいくつかのサブピクチャを１つのビットストリームにマージすることを許可する。

ＳＰＳおよびＰＰＳにおいて、それぞれサブピクチャおよびスライスが独立して信号通知されるが、従順なビットストリームを形成するために、サブピクチャとスライスとの間には固有の相互制約がある。第１に、サブピクチャの存在は、矩形のスライスを使用し、ラスタスキャンスライスを禁止する必要がある。第２に、所与のサブピクチャのスライスは、復号化の順序で連続したＮＡＬユニットであるべきであり、このことは、サブピクチャのレイアウトがビットストリーム内の符号化されたスライスＮＡＬユニットの順序を制約することを意味する。
３．５． ＶＶＣ映像ファイルフォーマットの詳細
３．５．１． トラックのタイプ
ＶＶＣ映像ファイルフォーマットは、ＩＳＯＢＭＦＦファイルにおけるＶＶＣビットストリームをキャリッジするための以下のタイプの映像トラックを規定する。
ａ）ＶＶＣトラック：
ＶＶＣトラックは、そのサンプルおよびサンプルエントリにＮＡＬユニットを含めることによって、また、場合によってはＶＶＣビットストリームの他のサブレイヤを含む他のＶＶＣトラックを参照することによって、そして、場合によってはＶＶＣサブピクチャトラックを参照することによって、ＶＶＣビットストリームを表す。１つのＶＶＣトラックがＶＶＣサブピクチャトラックを参照する場合、これをＶＶＣベーストラックと呼ぶ。
ｂ）ＶＶＣ非ＶＣＬトラック：
ＡＬＦ、ＬＭＣＳ、またはスケーリングリストパラメータを搬送するＡＰＳ、および他の非ＶＣＬ ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットを含むトラックとは別個のトラックに記憶され且つ該トラックを介して送信されてもよく、これはＶＶＣ非ＶＣＬトラックである。
ｃ）ＶＶＣ サブピクチャトラック：
ＶＶＣサブピクチャトラックは、以下のいずれかを含む。
１つ以上のＶＶＣサブピクチャのシーケンス。
１つの矩形領域を形成する１つ以上の完全なスライスのシーケンス。
ＶＶＣサブピクチャトラックの１つのサンプルは、以下のいずれかを含む。
ＩＳＯ／ＩＥＣ２３０９０－３で規定されているような、復号化の順序で連続した１つ以上の完全なサブピクチャ。
ＩＳＯ／ＩＥＣ２３０９０－３で規定されているような、１つの矩形領域を形成し、復号化の順序で連続する１つ以上の完全なスライス。
ＶＶＣサブピクチャトラックの任意のサンプルに含まれるＶＶＣサブピクチャまたはスライスは、復号化の順序で連続している。
注：ＶＶＣ非ＶＣＬトラックおよびＶＶＣサブピクチャトラックは、ストリーミングアプリケーションにおけるＶＶＣ映像の最適な配信を以下のように可能にする。これらのトラックはそれぞれ、それ自体のＤＡＳＨ表現で搬送されてもよく、トラックのサブセットを復号化およびレンダリングするために、ＶＶＣサブピクチャトラックのサブセットを含むＤＡＳＨ表現、および非ＶＣＬトラックを含むＤＡＳＨ表現は、クライアントがセグメントごとに要求することができる。このようにして、ＡＰＳおよび他の非ＶＣＬ ＮＡＬユニットの冗長な伝送が回避できる。
３．５．２．ＶＶＣビットストリームにおいて搬送される矩形領域の概要
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。
－ 復号化の順序で連続する１つ以上のＶＶＣサブピクチャのシーケンス、又は、
－ １つの矩形領域を形成し、復号化の順序で連続する１つ以上の完全なスライスのシーケンス。
矩形の領域は、穴のない矩形を覆う。ピクチャ内の矩形領域は互いに重複しない。
矩形領域は、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｆｌａｇが１に等しい矩形領域視覚サンプルグループ記述エントリ（すなわち、ＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙのインスタンス）によって記述してもよい。
１つのトラックのそれぞれのサンプルが１つの矩形領域のみのＮＡＬユニットからなる場合、タイプ‘ｔｒｉｆ’のＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘを使用してサンプルを矩形領域に関連付けることができるが、デフォルトサンプルグルーピングメカニズムが使用される場合（すなわち、タイプ‘ｔｒｉｆ’のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘのバージョンが２以上である場合）、このタイプ‘ｔｒｉｆ’のＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘは省略可能である。そうでない場合、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘｅｓ（タイプ‘ｎａｌｍ’）およびｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒが‘ｔｒｉｆ’であり、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（タイプ‘ｎａｌｍ’）を介して、サンプル、ＮＡＬユニット、および矩形領域を関連付ける。ＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙは、以下を記述する。
－ １つの矩形領域、
－ この矩形領域と他の矩形領域との間の符号化依存性。
各ＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙには、ｇｒｏｕｐＩＤと呼ばれる固有の識別子が割り当てられる。この識別子を使用して、サンプルにおけるＮＡＬユニットを特定のＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙに関連付けることができる。
輝度サンプル座標を使用して、矩形領域の位置およびサイズを識別する。
ムービーフラグメントとともに使用される場合、ＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙは、ＩＳＯ／ＩＥＣ１４４９６－１２の８．９．４項に定義されるように、トラックフラグメントボックスに新しいＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘを定義することによって、ムービーフラグメントの持続時間に対して定義され得る。ただし、既に定義されたＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙと同じｇｒｏｕｐＩＤを有するトラックフラグメントには、ＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙは存在しない。
ＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙで使用されるベース領域は、この矩形領域グループエントリに関連付けられた矩形領域におけるＮＡＬユニットが属するピクチャである。
連続するサンプルにおいてベース領域のサイズに何らかの変化がある場合（例えば、参照ピクチャの再サンプリング（ＲＰＲ）またはＳＰＳのサイズ変更の場合）、サンプルは、そのそれぞれのベース領域のサイズを反映した異なるＲｅｃｔａｎｇｕｌａｒＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙエントリに関連付けられるべきである。
１つの矩形領域にマッピングされたＮＡＬユニットは、通常通り、ＶＶＣトラックに含まれてもよいし、或いはＶＶＣサブピクチャトラックと呼ばれる別個のトラックに含まれてもよい。
３．５．３．ＶＶＣサブピクチャトラックを参照するＶＶＣトラックにおけるサンプルからピクチャユニットを再構成する方法
ＶＶＣトラックのサンプルを、黒丸の順に以下のＮＡＬユニットを含むアクセスユニットに分解する。
●サンプル中のＡＵＤ ＮＡＬユニット（あれば）（および第１のＮＡＬユニット）。
●サンプルが同じサンプルエントリに関連付けられた一連のサンプルの最初のサンプルである場合、そのサンプルエントリに含まれているパラメータセットおよびＳＥＩ ＮＡＬユニット（もしあれば）。
●サンプル中に存在し、かつＰＨ ＮＡＬユニットまでのＮＡＬユニット。
●このサンプルにマッピングされた「ｓｐｏｒ」サンプルグループ記述エントリで指定された順序で、参照された各ＶＶＣサブピクチャトラックから時間的に整列された（復号化時間内の）解決済みサンプルの内容で、ＶＰＳ、ＤＣＩ、ＳＰＳ、ＰＰＳ、ＡＵＤ、ＰＨ、ＥＯＳ、ＥＯＢ ＮＡＬユニットがある場合はすべてを除く。トラック参照は、以下のように分解される。
注１：参照されたＶＶＣサブピクチャトラックがＶＶＣ非ＶＣＬトラックに関連付けられている場合、ＶＶＣサブピクチャトラックの分解されたサンプルは、ＶＶＣ非ＶＣＬトラックの時間整列されたサンプルの非ＶＣＬ ＮＡＬユニット（もしあれば）を含む。
●サンプル中のＰＨ ＮＡＬユニットの後に続くＮＡＬユニット。
注２：サンプルにおけるＰＨ ＮＡＬユニットの後に続くＮＡＬユニットは、サフィックスＳＥＩ ＮＡＬユニット、サフィックスＡＰＳ ＮＡＬユニット、ＥＯＳ ＮＡＬユニット、ＥＯＢ ＮＡＬユニット、または最後のＶＣＬ ＮＡＬユニットの後に許可される予約ＮＡＬユニットを含むことができる。
‘ｓｐｏｒ’サンプルグループ記述エントリの‘ｓｕｂｐ’トラック参照インデックスは、以下のように分解される。
●トラック参照がＶＶＣサブピクチャトラックのトラックＩＤを指している場合、トラック参照はＶＶＣサブピクチャトラックに分解される。
●そうでない場合（トラック参照は‘ａｌｔｅ’のトラックグループを指す）、トラック参照を‘ａｌｔｅ’のトラックグループのいずれかのトラックに分解する。特定のトラック参照インデックス値が前回のサンプルにおける特定のトラックに分解された場合、現在のサンプルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘ａｌｔｅ’トラックグループにおける任意の他のトラック。
注３：同じ‘ａｌｔｅ’トラックグループにおけるＶＶＣサブピクチャトラックは、復号化の不整合を回避するために、同じＶＶＣベーストラックによって参照される他のＶＶＣサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合がある。
●すべてのＶＶＣサブピクチャトラックは、ＶＶＣサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●サブピクチャの境界を越えてループフィルタリングをオフにする。
読取装置が、最初の選択であるかまたは前回の選択とは異なる１組のサブピクチャＩＤ値を有するＶＶＣサブピクチャを含むＶＶＣサブピクチャトラックを選択した場合、以下のステップを実行することができる。
●‘ｓｐｏｒ’サンプルグループ記述エントリを調査し、ＰＰＳまたはＳＰＳ ＮＡＬユニットを変更する必要があるかどうかを結論づける。
注：ＳＰＳの変更は、ＣＬＶＳの開始時にのみ可能である。
●‘ｓｐｏｒ’サンプルグループディスクリプションエントリが、含まれているＮＡＬユニットにおけるサブピクチャＩＤの前後または内部にスタートコードエミュレーション防止バイトが存在することを示す場合、ＮＡＬユニットからＲＢＳＰを導出する（即ち、スタートコードエミュレーション防止バイトを削除する）。次のステップでオーバーライドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、‘ｓｐｏｒ’サンプルグループエントリにおけるビット位置およびサブピクチャＩＤの長さを用いて、どのビットを上書きするかを確定し、サブピクチャＩＤを選択されたものにアップデートする。
●ＰＰＳまたはＳＰＳのサブピクチャＩＤ値を最初に選択するとき、読取装置は、再構築されたアクセスユニットにおいて、選択したサブピクチャＩＤ値でＰＰＳまたはＳＰＳをそれぞれ書き換えることが必要である。
●ＰＰＳまたはＳＰＳのサブピクチャＩＤ値が、同じＰＰＳ ＩＤ値またはＳＰＳ ＩＤ値を有する前のＰＰＳまたはＳＰＳ（それぞれ）と比較された場合、読取装置は、前のＰＰＳおよびＳＰＳのコピー（同じＰＰＳまたはＳＰＳ ＩＤ値を有するＰＰＳまたはＳＰＳがそれぞれアクセスユニットに存在しない場合）を含め、更新されたサブピクチャＩＤ値を有するＰＰＳまたはＳＰＳ（それぞれ）を再構成されたアクセスユニットに書き換える必要がある。
３．５．４． サブピクチャ順サンプルグループ
３．５．４．１． 定義
このサンプルグループは、ＶＶＣベーストラック、即ち、ＶＶＣサブピクチャトラックを参照する‘ｓｕｂｐ’トラックを有するＶＶＣトラックにおいて使用される。各サンプルグループディスクリプションエントリは、符号化ピクチャのサブピクチャまたはスライスを復号化の順序で示し、‘ｓｕｂｐ’タイプのトラック参照のインデックスは、復号化の順序で連続する１つ以上のサブピクチャまたはスライスを示す。
サブピクチャの選択に呼応してＰＰＳまたはＳＰＳを容易に書き換えるために、各サンプルグループ記述エントリは、以下を含むことができる。
－ ＰＰＳまたはＳＰＳ ＮＡＬユニットにおいて選択されたサブピクチャＩＤを変更すべきかどうかの指示。
－ サブピクチャＩＤ構文要素の長さ（ビット単位）。
－ 含まれているＲＢＳＰにおけるサブピクチャＩＤ構文要素のビット位置。
－ サブピクチャＩＤの前にまたはサブピクチャＩＤ内にスタートコードエミュレーション防止バイトが存在するかどうかを示すフラグ。
－ サブピクチャＩＤを含むパラメータセットのパラメータセットＩＤ。
３．５．４．２． 構文
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶｖｃＳｕｂｐｉｃＯｒｄｅｒＥｎｔｒｙ（）ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（‘ｓｐｏｒ’）
｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１）ｓｕｂｐｉｃ＿ｉｄ＿ｉｎｆｏ＿ｆｌａｇ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１５）ｎｕｍ＿ｓｕｂｐｉｃ＿ｒｅｆ＿ｉｄｘ；
ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｓｕｂｐｉｃ＿ｒｅｆ＿ｉｄｘ；ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６）ｓｕｂｐ＿ｔｒａｃｋ＿ｒｅｆ＿ｉｄｘ；
ｉｆ（ｓｕｂｐｉｃ＿ｉｄ＿ｉｎｆｏ＿ｆｌａｇ）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（４）ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１２）ｓｕｂｐｉｃ＿ｉｄ＿ｂｉｔ＿ｐｏｓ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１）ｓｔａｒｔ＿ｃｏｄｅ＿ｅｍｕｌ＿ｆｌａｇ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１）ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｆｌａｇ；
ｉｆ（ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｆｌａｇ）
ｕｎｓｉｇｎｅｄ ｉｎｔ（６）ｐｐｓ＿ｉｄ；
ｅｌｓｅ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１）ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｆｌａｇ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（４）ｓｐｓ＿ｉｄ；
ｂｉｔ（１） ｒｅｓｅｒｖｅｄ＝０；
｝
｝
｝
３．５．４．３． 意味論
ｓｕｂｐｉｃ＿ｉｄ＿ｉｎｆｏ＿ｆｌａｇが０である場合、ＳＰＳおよび／またはＰＰＳに提供されるサブピクチャＩＤ値が、示されたｓｕｂｐ＿ｔｒａｃｋ＿ｒｅｆ＿ｉｄｘ値の集まりに対して正確であり、従って、ＳＰＳまたはＰＰＳの書き換えが必要でないことを示す。ｓｕｂｐｉｃ＿ｉｎｆｏ＿ｆｌａｇが１であると、ＳＰＳおよび／またはＰＰＳがｓｕｂｐ＿ｔｒａｃｋ＿ｒｅｆ＿ｉｄｘ値のセットに対応するサブピクチャを示すように書き換える必要があることを示す。
ｎｕｍ＿ｓｕｂｐｉｃ＿ｒｅｆ＿ｉｄｘは、ＶＶＣトラックが参照するサブピクチャトラックまたはサブピクチャトラックのトラックグループの参照インデックスの数を示す。
ｓｕｂｐ＿ｔｒａｃｋ＿ｒｅｆ＿ｉｄｘは、ｉのそれぞれの数値に対して、ＶＶＣトラックから再構成されたＶＶＣビットストリームに含まれるべき１つ以上のサブピクチャまたはスライスのｉ番目のリストの‘ｓｕｂｐ’トラック参照インデックスを指定する。
ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１＋１は、ＰＰＳまたはＳＰＳのサブピクチャＩＤ構文要素のビット数を示し、どちらがこの構造によって参照されても構わない。
ｓｕｂｐｉｃ＿ｉｄ＿ｂｉｔ＿ｐｏｓは、参照されるＰＰＳまたはＳＰＳ ＲＢＳＰにおける第１のサブピクチャＩＤ構文要素の第１のビットの０から始まるビット位置を示す。
ｓｔａｒｔ＿ｃｏｄｅ＿ｅｍｕｌ＿ｆｌａｇが０である場合、参照されたＰＰＳまたはＳＰＳ ＮＡＬユニットにおけるサブピクチャＩＤの前または内部にスタートコードエミュレーション防止バイトが存在しないことを示す。
ｓｔａｒｔ＿ｃｏｄｅ＿ｅｍｕｌ＿ｆｌａｇが１である場合、参照されたＰＰＳまたはＳＰＳ ＮＡＬユニットにおけるサブピクチャＩＤの前または内部にスタートコードエミュレーション防止バイトが存在し得ることを示す。
ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｆｌａｇが０である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるＰＰＳ ＮＡＬユニットがサブピクチャＩＤ構文要素を含まないことを示す。
ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｆｌａｇが１である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるＰＰＳ ＮＡＬユニットがサブピクチャＩＤ構文要素を含む。
ｐｐｓ＿ｉｄ（存在する場合）は、このサンプルグループ記述エントリにマッピングされるサンプルに適用されるＰＰＳのＰＰＳ ＩＤを示す。
ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｆｌａｇが存在し、且つ０である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるＰＰＳ ＮＡＬユニットがサブピクチャＩＤ構文要素を含まないことを示し、サブピクチャＩＤ値が推測される。
ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｆｌａｇが存在し、且つ１である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるＳＰＳ ＮＡＬユニットがサブピクチャＩＤ構文要素を含む。
ｓｐｓ＿ｉｄ（存在する場合）は、このサンプルグループ記述エントリにマッピングされるサンプルに適用されるＳＰＳのＳＰＳ ＩＤを示す。
３．５．５． サブピクチャエンティティグループ
３．５．５．１． 一般
複数のＶＶＣサブピクチャトラックからのマージされたビットストリームの適合性を示すレベル情報を提供するサブピクチャエンティティグループが定義される。
注：ＶＶＣベーストラックは、ＶＶＣサブピクチャトラックをマージするための別のメカニズムを提供する。
暗示的な再構成処理は、パラメータセットの修正を必要とする。サブピクチャエンティティグループは、再構成されたビットストリームのためのパラメータセットを容易に生成できるような指針を与える。
１つのグループ内の共同復号化されるべき符号化されたサブピクチャが互いに差し替え可能である、即ち、プレーヤが、同じレベル寄与を有する１つのサンプルごとのサブピクチャのグループから複数のアクティブトラックを選択する場合、ＳｕｂｐｉｃＣｏｍｍｏｎＧｒｏｕｐＢｏｘは、連帯で復号化される場合、得られる組み合わせ規則およびｌｅｖｅｌ＿ｉｄｃを示す。
異なる特性、例えば異なる解像度を有する符号化されたサブピクチャが連帯で復号化されるように選択された場合、ＳｕｂｐｉｃＭｕｌｔｉｐｌｅＧｒｏｕｐＳＢｏｘは、連帯で復号化される場合、得られる組み合わせ規則およびｌｅｖｅｌ＿ｉｄｃを示す。
サブピクチャエンティティグループに含まれるすべてのｅｎｔｉｔｙ＿ｉｄ値は、ＶＶＣサブピクチャトラックを識別する。存在する場合、ＳｕｂｐｉｃＣｏｍｍｏｎＧｒｏｕｐＢｏｘおよびＳｕｂｐｉｃＭｕｌｔｉｐｌｅＧｒｏｕｐＳＢｏｘは、ムービーレベルのＭｅｔａＢｏｘにおけるＧｒｏｕｐｓＬｉｓｔＢｏｘに含まれるものであり、ファイルレベルまたはトラックレベルのＭｅｔａＢｏｘｅｓに含まれないものとする。
３．５．５．２． サブピクチャ共通グループボックスの構文
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＳｕｂｐｉｃＣｏｍｍｏｎＧｒｏｕｐＢｏｘ ｅｘｔｅｎｄｓ ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ（‘ａｃｇｌ’，０，０）
｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｌｅｖｅｌ＿ｉｄｃ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｎｕｍ＿ａｃｔｉｖｅ＿ｔｒａｃｋｓ；
｝
３．５．５．３． サブピクチャ共通グループボックスの意味論
ｌｅｖｅｌ＿ｉｄｃは、エンティティグループからｎｕｍ＿ａｃｔｉｖｅ＿ｔｒａｃｋｓエンティティを選択した場合、そのエンティティが適合するレベルを示す。
ｎｕｍ＿ａｃｔｉｖｅ＿ｔｒａｃｋｓは、ｌｅｖｅｌ＿ｉｄｃの値を指定するトラックの数を指示す。
３．５．５．４． サブピクチャの複数のグループボックスの構文
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＳｕｂｐｉｃＭｕｌｔｉｐｌｅＧｒｏｕｐｓＢｏｘ ｅｘｔｅｎｄｓ ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘ（‘ａｍｇｌ’，０，０）
｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｌｅｖｅｌ＿ｉｄｃ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄｓ；
ｓｕｂｇｒｏｕｐＩｄＬｅｎ＝（ｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄｓ＞＝（１＜＜２４）） ？３２：
（ｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄｓ＞＝（１＜＜１６））？２４：
（ｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄｓ＞＝（１＜＜８））？１６：８；
ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐ；ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（ｓｕｂｇｒｏｕｐＩｄＬｅｎ）ｔｒａｃｋ＿ｓｕｂｇｒｏｕｐ＿ｉｄ［ｉ］；
ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄｓ；ｉ＋＋）
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｎｕｍ＿ａｃｔｉｖｅ＿ｔｒａｃｋｓ［ｉ］；
｝
３．５．５．５． 意味論
ｌｅｖｅｌ＿ｉｄｃは、０からｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄｓ－１までの範囲のｉのすべての値について、ＩＤがｉであるサブグループの中から任意のｎｕｍ＿ａｃｔｉｖｅ＿ｔｒａｃｋｓ［ｉ］トラックを選択するという組み合わせが適合するレベルを示す。
ｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄは別個のサブグループの数を示し、各サブグループはｔｒａｃｋ＿ｓｕｂｇｒｏｕｐ＿ｉｄ［ｉ］の同じ値で識別される。ｔｒａｃｋ＿ｓｕｂｇｒｏｕｐ＿ｉｄ［ｉ］の異なる値によって、異なるサブグループが識別される。
ｔｒａｃｋ＿ｓｕｂｇｒｏｕｐ＿ｉｄ［ｉ］は、このエンティティグループのｉ番目のトラックのサブグループＩＤを示す。サブグループＩＤの値は、０からｎｕｍ＿ｓｕｂｇｒｏｕｐ＿ｉｄｓ－１までの（両端を含む）範囲とする。
ｎｕｍ＿ａｃｔｉｖｅ＿ｔｒａｃｋｓ［ｉ］は、ｌｅｖｅｌ＿ｉｄｃに記載されているＩＤがｉであるサブグループにおけるトラック数を示す。

４． 開示される技術的解決策によって対処する例示的な技術的問題
複数のトラックのＶＶＣビットストリームにおけるサブピクチャのキャリッジに関するＶＶＣ映像ファイルフォーマットの最近の設計は、以下のような問題を有する。
１）ＶＶＣサブピクチャトラックの１つのサンプルは、以下のいずれかを含む。Ａ）ＩＳＯ／ＩＥＣ２３０９０－３で規定されているような、復号化の順序で連続した１つ以上の完全なサブピクチャ。Ｂ）ＩＳＯ／ＩＥＣ２３０９０－３に規定されているような、１つの矩形領域を形成し、復号化の順序で連続する１つ以上の完全なスライス。
しかしながら、以下のような問題が存在する。
ａ．また、ＶＶＣのサブピクチャトラックは、スライスを含むトラックと同様に、矩形領域をカバーしなければならないとした方が理にかなっている。
ｂ．ＶＶＣサブピクチャトラックのサブピクチャやスライスが動きに制約されていること、すなわち抽出可能であること、または自己完結していることを要求する方が、理にかなっている。
ｃ．ＶＶＣのサブピクチャトラックには、元のビットストリームでは復号化の順序で連続していないが、このトラック自体を復号化すれば、これらのサブピクチャが復号化の順序で連続するような、矩形領域を形成するサブピクチャのセットを含めることができるようにしてはどうか。例えば、３６０度の映像の視野（ＦＯＶ）が、投影された映像の左右の境界にあるいくつかのサブピクチャで覆われているような場合には、そのようなことは許されないのか？
２）ＶＶＣベーストラックのサンプルと、ＶＶＣベーストラックによって参照されるＶＶＣサブピクチャトラックのリストにおける時間整列されたサンプルとからＰＵを再構成する際に、ＰＨ ＮＡＬユニットがサンプル中に存在しない場合、ＶＶＣベーストラックのサンプルにおける非ＶＣＬ ＮＡＬユニットの順番は、明確に特定されない。
３）サブピクチャオーダサンプルグループメカニズム（‘ｓｐｏｒ’）は、異なるサンプルのために、再構成ビットストリームにおけるサブピクチャトラックからのサブピクチャの異なる順序を有効化し、且つＳＰＳおよび／またはＰＰＳ書き換えを必要とする場合を有効化する。しかし、これらの柔軟性のいずれかが必要とされる理由は不明である。そのため、‘ｓｐｏｒ’サンプルグループのメカニズムが不要となり、サンプルグループを削除することができる。
４）ＶＶＣベーストラックのサンプルと、ＶＶＣベーストラックによって参照されるＶＶＣサブピクチャトラックのリストにおける時間整列サンプルとからＰＵを再構成する場合、ＶＶＣサブピクチャトラックの時間整列サンプルにおけるＮＡＬユニットをＰＵに加えると、すべてのＶＰＳ、ＤＣＩ、ＳＰＳ、ＰＰＳ、ＡＵＤ、ＰＨ、ＥＯＳ、ＥＯＢ ＮＡＬユニットがあれば、それらを除外する。しかし、ＯＰＩ ＮＡＬユニットはどうか？ＳＥＩ ＮＡＬユニットはどうか？これらの非ＶＣＬ ＮＡＬユニットがサブピクチャトラックに存在することを許可される理由は何であるか？存在する場合、ビットストリーム再構成において、それらを通過させるだけでよいか？
５）２つのサブピクチャエンティティグループのボックスのコンテナを、ムービーレベルのＭｅｔａＢｏｘとする。ただし、ファイルレベルのＭｅｔａＢｏｘにボックスが含まれている場合にのみ、エンティティグループのｅｎｔｉｔｙ＿ｉｄ値がトラックＩＤを参照することができる。
６）サブピクチャエンティティグループは、関連するサブピクチャ情報がトラックの時間の長さ全体にわたって一貫している場合に機能する。しかしながら、これは常にそうであるとは限らない。例えば、特定のサブピクチャシーケンスに対して異なるＣＶＳが異なるレベルを有する場合、どのようになるか。その場合、サンプルグループを代わりに使用して、本質的に同じ情報を搬送すべきであるが、異なるサンプル（例えば、ＣＶＳ）ごとに特定の情報が異なることを可能にすべきである。
７）各ＶＶＣベーストラックには、現在、サブピクチャオーダ（‘ｓｐｏｒ’）のサンプルグループが存在することが義務付けられている。‘ｓｐｏｒ’サンプルグループメカニズムは、異なるサンプルのために、再構成ビットストリームにおけるサブピクチャトラックからのサブピクチャの異なる順序を有効化し、且つＳＰＳおよび／またはＰＰＳ書き換えを必要とする場合を有効化する。ただし、ＶＶＣベーストラックの‘ｓｕｂｐ’トラックリファレンスを介して、サブピクチャのストレートな“早期バインディング”を行う場合には、‘ｓｐｏｒ’サンプルグループは必要ない。

５． 技術的解決策の一覧
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般的な概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよい。
１） ＶＶＣサブピクチャトラックにおいて、以下の項目のうちの１つ以上を提案する。
ａ．サブピクチャを含む場合、１つのＶＶＣサブピクチャトラックが１つの矩形領域を覆うようにすることが必要である。
ｂ．ＶＶＣサブピクチャトラックにおけるサブピクチャまたはスライスは、他の領域を覆うサブピクチャまたはスライスが存在しなくても抽出、復号化および提示ができるように、動き拘束されることが必要である。
ｉ．代替的に、ＶＶＣサブピクチャトラックにおけるサブピクチャまたはスライスが、他の領域を覆うサブピクチャまたはスライスの動き補償に依存することを可能にし、その結果、他の領域を覆うサブピクチャまたはスライスのいずれかが存在しなければ、サブピクチャまたはスライスを抽出、復号化、提示できない。
ｃ．１つのＶＶＣサブピクチャトラックが、１つの矩形領域を形成するが、元の／全体のＶＶＣビットストリームにおける復号化の順序において連続していない１つのサブピクチャまたはスライスのセットを含むことができる。
これにより、元の／全体のＶＶＣビットストリームにおける、例えば、投影画像の左右の境界において、復号化の順序で連続していないサブピクチャで覆われる３６０°映像の視野（ＦＯＶ）を、ＶＶＣサブピクチャトラックによって表現することができるようになる。
ｄ．ＶＶＣサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの順序は、元の／全体のＶＶＣビットストリームにおけるそれらの順序と同じであることが必要である。
ｅ．ＶＶＣサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの復号化の順序が、元の／全体のＶＶＣビットストリームにおいて連続しているかどうかを示す指示を追加する。
ｉ．この指示は、例えば、ＶＶＣベーストラックサンプルエントリ記述において、または他のどこかで信号通知される。
ｉｉ．元の／全体のＶＶＣビットストリームにおいて、ＶＶＣサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの順番が復号化の順序で連続していることが示されていない場合、このトラックにおけるサブピクチャまたはスライスは、他のＶＶＣサブピクチャトラックにおけるサブピクチャまたはスライスとマージされてはならない。例えば、この例において、ＶＶＣベーストラック参照は、トラック基準フォーマット‘ｓｕｂｐ’によって、このＶＶＣサブピクチャトラックおよび別のＶＶＣサブピクチャトラックの両方を参照することが許可されない。
ｆ．ＶｖｃＮＡＬＵＣｏｎｆｉｇＢｏｘにフラグｎａｌｕｓＩｎＣｏｎｔｉｇｕｏｕｓＤｅｃｏｄｉｎｇＯｒｄｅｒＦｌａｇを追加する。このフラグが１であることは、各サンプルにおけるＮＡＬユニットが元のビットストリーム全体において復号化の順序で連続していることを示し、よって、タイプ‘ｓｕｂｐ’のトラック参照によってＶＶＣサブピクチャトラックを参照するＶＶＣベーストラックは、同じトラック参照を通して他のＶＶＣサブピクチャトラックを参照してもよい。値０は、各サンプルにおけるＮＡＬユニットが元のビットストリーム全体において復号化の順序で連続していてもいなくてもよいことを示し、よって、タイプ‘ｓｕｂｐ’のトラック参照によってＶＶＣサブピクチャトラックを参照するＶＶＣベーストラックは、同じトラック参照を通して他のＶＶＣサブピクチャトラックを参照しなくてもよい。
２）ＶＶＣベーストラックのサンプルと、ＶＶＣベーストラックによって参照されるＶＶＣサブピクチャトラックのリストにおける時間整列されたサンプルとから、トラック参照によってＰＵを再構成する場合、サンプル中にＰＨ ＮＡＬユニットが存在するかどうかにかかわらず、ＶＶＣベーストラックのサンプルにおける非ＶＣＬ ＮＡＬユニットの順番がはっきりと特定される。
ａ．一例において、ＶＶＣサブピクチャトラックにおけるＮＡＬユニットの前に、ＰＵに配置されるべきＶＶＣベーストラックのサンプルからのセットＮＡＬユニットは、以下のように指定される。サンプルの中に、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、ＲＳＶ＿ＮＶＣＬ＿２７、ＵＮＳＰＥＣ＿３０、ＵＮＳＰＥＣ＿３１のいずれかであるＮＡＬユニットが少なくとも１つ存在する場合（このようなＮＡＬユニットタイプを持つＮＡＬユニットは、ピクチャユニット内の最初のＶＣＬ ＮＡＬユニットに先行することはできない）、サンプル内のこれらのＮＡＬユニットの最初のものまででこれを除くＮＡＬユニット、そうでない場合はサンプル内のすべてのＮＡＬユニット。
ｂ．一例において、ＶＶＣサブピクチャトラックにおけるＮＡＬユニットの後に、ＰＵに配置されるべきＶＶＣベーストラックのサンプルからのセットＮＡＬユニットは、以下のように指定される。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴ、ＥＯＢ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴ、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、ＲＳＶ＿ＮＶＣＬ＿２７、ＵＮＳＰＥＣ＿３０、またはＵＮＳＰＥＣ＿３１であるサンプル内のすべてのＮＡＬユニット。
３）‘ｓｕｂｐ’トラック参照を使用して、ＶＶＣトラックが複数の（サブピクチャ）トラックを参照できるようにし、参照順は、参照されたＶＶＣサブピクチャトラックから再構成されたビットストリームにおけるサブピクチャの復号化の順序を示す。
ａ．ＶＶＣベーストラックのサンプルと、ＶＶＣベーストラックによって参照されるＶＶＣサブピクチャトラックリストにおける時間整列されたサンプルとからＰＵを再構成する場合、参照サブピクチャトラックのサンプルは、‘ｓｕｂｐ’トラック参照において参照されるＶＶＣサブピクチャトラックの順に処理される。
４）サブピクチャトラックにＡＵレベルまたはピクチャレベルの非ＶＣＬ ＮＡＬユニット（ＡＵＤ、ＤＣＩ、ＯＰＩ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＨ、ＥＯＳ、ＥＯＢのＮＡＬユニット、ＡＵレベルおよびピクチャレベルのＳＥＩメッセージのみを含むＳＥＩ ＮＡＬユニットを含む）の存在を禁止する。ＡＵレベルのＳＥＩメッセージは、１つ以上のＡＵ全体に適用される。ピクチャレベルのＳＥＩメッセージは、１つ以上のピクチャ全体に適用される。
ａ．さらに、ＶＶＣベーストラックのサンプルと、ＶＶＣベーストラックから参照されるＶＶＣサブピクチャトラックのリストの中の時間的に整列させたサンプルからＰＵを再構成する際に、ＶＶＣサブピクチャトラックの時間的に整列させたサンプルに含まれるすべてのＮＡＬユニットが、特定の非ＶＣＬ ＮＡＬユニットを廃棄することなく、ＰＵに追加される。
５）ＶＶＣベーストラックのサンプルと、ＶＶＣベーストラックからトラックリファレンスを介して参照されるＶＶＣサブピクチャトラックのリストの中の時間的にずれたサンプルから、ＰＵを再構成する際に、‘ｓｐｏｒ’サンプルグループの使用を削除し、‘ｓｐｏｒ’サンプルグループに基づくパラメータセットの書き換え処理の記述を削除する。
６）‘ｓｐｏｒ’サンプルグループの仕様を削除する。
７）各‘ｓｕｂｐ’トラック参照インデックスは、ＶＶＣサブピクチャトラックのトラックＩＤまたはＶＶＣサブピクチャトラックグループのトラックグループＩＤのいずれかを参照し、それ以外のものは参照しないことを規定する。
８）問題５を解決するために、２つのサブピクチャエンティティグループのボックスのコンテナを、ファイルレベルのＭｅｔａＢｏｘとして、以下のように規定する。ＳｕｂｐｉｃＣｏｍｍｏｎＧｒｏｕｐＢｏｘおよびＳｕｂｐｉｃＭｕｌｔｉｐｌｅＧｒｏｕｐＳＢｏｘは、存在する場合、ファイルレベルのＭｅｔａＢｏｘにおけるＧｒｏｕｐｓＬｉｓｔＢｏｘに含まれるべきであり、他のレベルのＭｅｔａＢｏｘに含まれてはならない。
９） 問題６を解決するために、２つのサンプルグループを追加し、２つのサブピクチャエンティティグループと同様の情報を伝えるようにする。これにより、ＶＶＣファイルフォーマットは、関連するサブピクチャ情報がトラックの時間の長さ全体で一貫していない場合、例えば、異なるＣＶＳが特定のサブピクチャシーケンスに対して異なるレベルを持っている場合などに対応できるようになる。
１０）問題７を解決するために、以下の項目の１つ以上を提案する。
ａ．１つの‘ｓｐｏｒ’サンプルグループは、それぞれのＶＶＣベーストラックに対して選択可能であるように規定される。
ｂ．ＰＵを再構成する場合、‘ｓｐｏｒ’サンプルグループが、ＶＶＣベーストラックに存在しない場合には、参照サブピクチャトラックのサンプルは、‘ｓｕｂｐ’トラック参照において参照されるＶＶＣサブピクチャトラックの順に処理される。
６． 実施形態
以下は、上記第５章に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、ＶＶＣ映像ファイルフォーマットの標準仕様に適用できる。変更したテキストは、ＭＰＥＧ出力文書Ｎ１９４５４の最終草案仕様（情報技術－オーディオビジュアルオブジェクトの符号化－パート１５：ＩＳＯベースのメディアファイルフォーマットのネットワーク抽象化層（ＮＡＬ）単位で構造化された映像のキャリッジ、補正２：ＩＳＯＢＭＦＦにおけるＶＶＣおよびＥＶＣのキャリッジ、２０２０年７月）に基づく。既に追加または修正された最も関連性のある部分は、太字およびイタリック文字で強調表示され、且つ削除された部分の一部は、二重括弧でマークされている（例えば、［［ａ］］は、‘ａ’という文字の削除を示す）。本質的に編集可能であるため、強調されていない他の何らかの変更があってもよい。
６．１． 第一の実施形態
本実施形態は１ａ、１ｂ、１ｃ項である。
６．１．１． トラックのタイプ
本明細書では、ＶＶＣビットストリームをキャリッジするための以下のタイプの映像トラックを指定する。
ａ）ＶＶＣトラック：
ＶＶＣトラックは、そのサンプルおよび／またはサンプルエントリにＮＡＬユニットを含めることによって、且つ場合によっては、‘ｖｏｐｉ’および‘ｌｉｎｆ’サンプルグループを介して、または‘ｏｐｅｇ’エンティティグループを介してＶＶＣビットストリームの他のレイヤおよび／またはサブレイヤを含む他のＶＶＣトラックを関連付けることによって、また、場合によってはＶＶＣサブピクチャトラックを参照することによって、ＶＶＣビットストリームを表す。
ＶＶＣトラックがＶＶＣサブピクチャトラックを参照する場合、これをＶＶＣベーストラックとも呼ぶ。ＶＶＣベーストラックは、ＶＣＬ ＮＡＬユニットを含まないものとし、‘ｖｖｃＮ’トラックリファレンスを介してＶＶＣトラックによって参照されないものとする。
ｂ）ＶＶＣ非ＶＣＬトラック：
ＶＶＣ非ＶＣＬトラックは、非ＶＣＬ ＮＡＬユニットのみを含むトラックであり、‘ｖｖｃＮ’トラック基準によってＶＶＣトラックによって参照される。
ＶＶＣの非ＶＣＬトラックには、ＡＬＦ、ＬＭＣＳ、またはスケーリングリストのパラメータを搬送するＡＰＳが、他の非ＶＣＬ ＮＡＬユニットとともに、または他の非ＶＣＬ ＮＡＬユニットを伴わずに、ＶＣＬ ＮＡＬユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるＡＰＳを含んでいてもよい。
ＶＶＣの非ＶＣＬトラックには、また、ＡＰＳ ＮＡＬユニットとともに、または伴わずに、また、他の非ＶＣＬ ＮＡＬユニットとともに、または他の非ＶＣＬ ＮＡＬユニットを伴わずに、ピクチャヘッダＮＡＬユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるＡＰＳを含んでいてもよい。
ｃ）ＶＶＣサブピクチャトラック：
ＶＶＣサブピクチャトラックは、以下のいずれかを含む。

１つの矩形領域を形成する１つ以上の完全なスライスのシーケンス。
ＶＶＣサブピクチャトラックの１つのサンプルは、以下のいずれかを含む。

［［ＶＶＣサブピクチャトラックの任意のサンプルに含まれるＶＶＣサブピクチャまたはスライスは、復号化の順序で連続している。］］

６．１．２． ＶＶＣビットストリームにおいて搬送される矩形領域の概要
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。

矩形の領域は、穴のない矩形を覆う。ピクチャ内の矩形領域は互いに重複しない。
．．．
６．２． 第二の実施形態
本実施形態は、項目２、２ａ、２ｂ、３、３ａ、４、４ａ、５に関する。
６．２．１． ＶＶＣサブピクチャトラックを参照するＶＶＣトラックにおけるサンプルからピクチャユニットを再構成する方法

●サンプル中に［［あれば］］存在するＡＵＤ ＮＡＬユニット［［および第１のＮＡＬユニット］］。

●サンプルが同じサンプルエントリに関連付けられた一連のサンプルの最初のサンプルである場合、もしあれば、そのサンプルエントリに含まれているパラメータセットおよびＳＥＩ ＮＡＬユニット。

注２：参照されたＶＶＣサブピクチャトラックがＶＶＣ非ＶＣＬトラックに関連付けられている場合、ＶＶＣサブピクチャトラックの分解されたサンプルは、ＶＶＣ非ＶＣＬトラックにおける時間整列サンプルの非ＶＣＬ ＮＡＬユニット（複数可）がある場合、その非ＶＣＬ ＮＡＬユニットを含む。

［［注２：サンプルにおけるＰＨ ＮＡＬユニットの後に続くＮＡＬユニットは、サフィックスＳＥＩ ＮＡＬユニット、サフィックスＡＰＳ ＮＡＬユニット、ＥＯＳ ＮＡＬユニット、ＥＯＢ ＮＡＬユニット、または最後のＶＣＬ ＮＡＬユニットの後に許可される予約ＮＡＬユニットを含むことができる。］］
［［‘ｓｐｏｒ’サンプルグループ記述エントリの］］‘ｓｕｂｐ’トラック基準インデックスは、以下のように分解される。
●トラック参照がＶＶＣサブピクチャトラックのトラックＩＤを指している場合、トラック参照はＶＶＣサブピクチャトラックに分解される。
●そうでない場合（トラック参照は「ａｌｔｅ」のトラックグループを指す）、トラック参照は「ａｌｔｅ」のトラックグループのいずれかのトラックに分解され、特定のトラック参照インデックスが前のサンプルの特定のトラックに分解された場合、現在のサンプルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘ａｌｔｅ’トラックグループにおける任意の他のトラック。
注３：同じ‘ａｌｔｅ’トラックグループにおけるＶＶＣサブピクチャトラックは、復号化の不整合を回避するために、同じＶＶＣベーストラックによって参照される他のＶＶＣサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合がある。
●すべてのＶＶＣサブピクチャトラックは、ＶＶＣサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●［［サブピクチャの境界でループフィルタリングをオフにする。
読取装置が、最初の選択であるかまたは前回の選択とは異なる１組のサブピクチャＩＤ値を有するＶＶＣサブピクチャを含むＶＶＣサブピクチャトラックを選択した場合、以下のステップを実行することができる。
●‘ｓｐｏｒ’サンプルグループ記述エントリを調査し、ＰＰＳまたはＳＰＳ ＮＡＬユニットを変更する必要があるかどうかを結論づける。
注：ＳＰＳの変更は、ＣＬＶＳの開始時にのみ可能である。
●‘ｓｐｏｒ’サンプルグループディスクリプションエントリが、含まれているＮＡＬユニットにおけるサブピクチャＩＤの前後または内部にスタートコードエミュレーション防止バイトが存在することを示す場合、ＮＡＬユニットからＲＢＳＰを導出する（即ち、スタートコードエミュレーション防止バイトを削除する）。次のステップでオーバーライドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、‘ｓｐｏｒ’サンプルグループエントリにおけるビット位置およびサブピクチャＩＤの長さを用いて、どのビットを上書きするかを確定し、サブピクチャＩＤを選択されたものにアップデートする。
●ＰＰＳまたはＳＰＳのサブピクチャＩＤ値を最初に選択するとき、読取装置は、再構築されたアクセスユニットにおいて、選択したサブピクチャＩＤ値でＰＰＳまたはＳＰＳをそれぞれ書き換えることが必要である。
●ＰＰＳまたはＳＰＳのサブピクチャＩＤ値が、同じＰＰＳ ＩＤ値またはＳＰＳ ＩＤ値を有する前のＰＰＳまたはＳＰＳ（それぞれ）と比較された場合、読取装置は、前のＰＰＳおよびＳＰＳのコピー（同じＰＰＳまたはＳＰＳ ＩＤ値を有するＰＰＳまたはＳＰＳがそれぞれアクセスユニットに存在しない場合）を含め、更新されたサブピクチャＩＤ値を有するＰＰＳまたはＳＰＳ（それぞれ）を再構成されたアクセスユニットに書き換える必要がある。］］
６．３． 第三の実施形態
本実施形態は項目１ａ、１ｂ、１ｃ、１ｆ、２、２ａ、２ｂ、４、４ａ、１０である。
トラックのタイプ
本明細書では、ＶＶＣビットストリームをキャリッジするための以下のタイプの映像トラックを指定する。
ｄ） ＶＶＣトラック：
ＶＶＣトラックは、そのサンプルおよび／またはサンプルエントリにＮＡＬユニットを含めることによって、且つ場合によっては、‘ｖｏｐｉ’および‘ｌｉｎｆ’サンプルグループを介して、または‘ｏｐｅｇ’エンティティグループを介してＶＶＣビットストリームの他のレイヤおよび／またはサブレイヤを含む他のＶＶＣトラックを関連付けることによって、また、場合によってはＶＶＣサブピクチャトラックを参照することによって、ＶＶＣビットストリームを表す。

ｅ）ＶＶＣ非ＶＣＬトラック：
ＶＶＣ非ＶＣＬトラックは、非ＶＣＬ ＮＡＬユニットのみを含むトラックであり、「ｖｖｃＮ」トラック基準によってＶＶＣトラックによって参照される。
ＶＶＣの非ＶＣＬトラックには、ＡＬＦ、ＬＭＣＳ、またはスケーリングリストのパラメータを搬送するＡＰＳが、他の非ＶＣＬ ＮＡＬユニットとともに、または他の非ＶＣＬ ＮＡＬユニットを伴わずに、ＶＣＬ ＮＡＬユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるＡＰＳを含んでいてもよい。
ＶＶＣの非ＶＣＬトラックには、また、ＡＰＳ ＮＡＬユニットとともに、または伴わずに、また、他の非ＶＣＬ ＮＡＬユニットとともに、または他の非ＶＣＬ ＮＡＬユニットを伴わずに、ピクチャヘッダＮＡＬユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるＡＰＳを含んでいてもよい。
ｆ）ＶＶＣ サブピクチャトラック：
ＶＶＣサブピクチャトラックは、以下のいずれかを含む。

１つの矩形領域を形成する１つ以上の完全なスライスのシーケンス。
ＶＶＣサブピクチャトラックの１つのサンプルは、以下のいずれかを含む。

［［ＶＶＣサブピクチャトラックの任意のサンプルに含まれるＶＶＣサブピクチャまたはスライスは、復号化の順序で連続している。］］

ＶＶＣビットストリームにおいて搬送される矩形領域の概要
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。

矩形の領域は、穴のない矩形を覆う。ピクチャ内の矩形領域は互いに重複しない。
．．．
ＶＶＣサブピクチャトラックを参照するＶＶＣトラックにおけるサンプルからピクチャユニットを再構成する方法

●サンプル中に存在［［あれば］］するＡＵＤ ＮＡＬユニット［［（および第１のＮＡＬユニット）］］。

●サンプルが同じサンプルエントリに関連付けられた一連のサンプルの最初のサンプルである場合、もしあれば、そのサンプルエントリに含まれているパラメータセットおよびＳＥＩ ＮＡＬユニット。

注２：参照されたＶＶＣサブピクチャトラックがＶＶＣ非ＶＣＬトラックに関連付けられている場合、ＶＶＣサブピクチャトラックの分解されたサンプルは、ＶＶＣ非ＶＣＬトラックにおける時間整列サンプルの非ＶＣＬ ＮＡＬユニット（複数可）がある場合、その非ＶＣＬ ＮＡＬユニットを含む。

［［注２：サンプルにおけるＰＨ ＮＡＬユニットの後に続くＮＡＬユニットは、サフィックスＳＥＩ ＮＡＬユニット、サフィックスＡＰＳ ＮＡＬユニット、ＥＯＳ ＮＡＬユニット、ＥＯＢ ＮＡＬユニット、または最後のＶＣＬ ＮＡＬユニットの後に許可される予約ＮＡＬユニットを含むことができる。］］
［［‘ｓｐｏｒ’サンプルグループ記述エントリの］］‘ｓｕｂｐ’トラック基準インデックスは、以下のように分解される。
●トラック参照がＶＶＣサブピクチャトラックのトラックＩＤを指している場合、トラック参照はＶＶＣサブピクチャトラックに分解される。
●そうでない場合（トラック参照は‘ａｌｔｅ’のトラックグループを指す）、トラック参照は‘ａｌｔｅ’のトラックグループのいずれかのトラックに分解され、特定のトラック参照インデックスが前のサンプルの特定のトラックに分解された場合、現在のサンプルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘ａｌｔｅ’トラックグループにおける任意の他のトラック。
注３：同じ‘ａｌｔｅ’トラックグループにおけるＶＶＣサブピクチャトラックは、復号化の不整合を回避するために、同じＶＶＣベーストラックによって参照される他のＶＶＣサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合がある。
●すべてのＶＶＣサブピクチャトラックは、ＶＶＣサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●［［サブピクチャの境界でループフィルタリングをオフにする。］］
読取装置が、最初の選択であるかまたは前回の選択とは異なる１組のサブピクチャＩＤ値を有するＶＶＣサブピクチャを含むＶＶＣサブピクチャトラックを選択した場合、以下のステップを実行することができる。
●‘ｓｐｏｒ’サンプルグループ記述エントリを調査し、ＰＰＳまたはＳＰＳ ＮＡＬユニットを変更する必要があるかどうかを結論づける。
注：ＳＰＳの変更は、ＣＬＶＳの開始時にのみ可能である。
●‘ｓｐｏｒ’サンプルグループディスクリプションエントリが、含まれているＮＡＬユニットにおけるサブピクチャＩＤの前後または内部にスタートコードエミュレーション防止バイトが存在することを示す場合、ＮＡＬユニットからＲＢＳＰを導出する（即ち、スタートコードエミュレーション防止バイトを削除する）。次のステップでオーバーライドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、‘ｓｐｏｒ’サンプルグループエントリにおけるビット位置およびサブピクチャＩＤの長さを用いて、どのビットを上書きするかを確定し、サブピクチャＩＤを選択されたものにアップデートする。
●ＰＰＳまたはＳＰＳのサブピクチャＩＤ値を最初に選択するとき、読取装置は、再構築されたアクセスユニットにおいて、選択したサブピクチャＩＤ値でＰＰＳまたはＳＰＳをそれぞれ書き換えることが必要である。
●ＰＰＳまたはＳＰＳのサブピクチャＩＤ値が、同じＰＰＳ ＩＤ値またはＳＰＳ ＩＤ値を有する前のＰＰＳまたはＳＰＳ（それぞれ）と比較された場合、読取装置は、前のＰＰＳおよびＳＰＳのコピー（同じＰＰＳまたはＳＰＳ ＩＤ値を有するＰＰＳまたはＳＰＳがそれぞれアクセスユニットに存在しない場合）を含め、更新されたサブピクチャＩＤ値を有するＰＰＳまたはＳＰＳ（それぞれ）を再構成されたアクセスユニットに書き換える必要がある。
サンプルエントリ名称および（ＶＶＣ映像ストリーム定義の）形式
定義
．．．
ＶＶＣトラックは、‘ｓｕｂｐ’トラックリファレンスを含んでもよく、エントリは、ＶＶＣサブピクチャトラックのｔｒａｃｋ＿ＩＤ値かＶＶＣサブピクチャトラックの‘ａｌｔｅ’トラックグループのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ値のどちらかを含む。
［［ＶＶＣトラックは、‘ｓｕｂｐ’トラック基準を含む場合、ＶＶＣベーストラックと呼ばれ、以下が適用される。
－ ＶＶＣトラックのサンプルは、ＶＣＬ ＮＡＬユニットを含まないとする。］］

．．．
構文

意味論
基本クラスＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙにおけるＣｏｍｐｒｅｓｓｏｒｎａｍｅは、値「＼０１２ＶＶＣ 符号化」が推奨されるときに使用されるコンプレッサの名前を示す（＼０１２は１０であり、文字列の長さはバイトである）。
ＶｖｃＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄは、１１．３．３に定義されている。

ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅに１を加えたものは、ＶｖｃＮＡＬＵＣｏｎｆｉｇＢｏｘを含むトラックにおけるＮＡＬＵｎｉｔＬｅｎｇｔｈフィールドのバイト長を示す。このフィールドの値は、それぞれ１、２または４バイトで符号化された長さに対応する０、１または３のうちの１つである。
［［ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＋１］ＶＶＣサブピクチャトラックに含まれるサブピクチャシーケンスの数を指定する。
ｓｕｂｐｉｃ＿ｉｄ、ＶＶＣサブピクチャトラックに含まれるサブピクチャのシーケンスのサブピクチャ識別子を指定する。］］

図１は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１９００を示すブロック図である。様々な実装形態は、システム１９００のモジュールの一部又は全部を含んでもよい。システム１９００は、映像コンテンツを受信するための入力ユニット１９０２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット１９０２は、ネットワークインタフェース、周辺バスインタフェース、又は記憶インタフェースを表してもよい。ネットワークインタフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インタフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインタフェース等の無線インタフェースを含む。

システム１９００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール１９０４を含んでもよい。符号化モジュール１９０４は、入力ユニット１９０２からの映像の平均ビットレートを符号化モジュール１９０４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール１９０４の出力は、モジュール１９０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット１９０２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、モジュール１９０８によって使用されて、表示インタフェースユニット１９１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。

周辺バスインタフェースユニットまたは表示インタフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインタフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図２は、映像処理装置３６００のブロック図である。装置３６００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置３６００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置３６００は、１つ以上の処理装置３６０２と、１つ以上のメモリ３６０４と、映像処理ハードウェア３６０６と、を含んでもよい。１つまたは複数の処理装置３６０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）３６０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア３６０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いくつかの実施形態において、映像処理ハードウェア３６０６は、処理装置３６０２、例えばグラフィックコプロセッサに少なくとも部分的に含まれてもよい。

図４は、本開示の技術を利用し得る例示的な映像符号化システム１００を示すブロック図である。

図４に示すように、映像符号化システム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元デバイス１１０は、映像符号化機器と呼ばれてもよい符号化映像データを生成する。送信先デバイス１２０は、送信元デバイス１１０によって生成された、映像復号化デバイスと呼ばれ得る符号化映像データを復号化してもよい。

送信元デバイス１１０は、映像送信元１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インタフェース１１６と、を備えてもよい。

映像送信元１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインタフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１つ以上のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データの符号化表現を形成するビットシーケンスを含んでもよい。ビットストリームは、符号化ピクチャおよび関連付けられたデータを含んでもよい。符号化ピクチャは、ピクチャの符号化表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインタフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインタフェース１１６を介して送信先デバイス１２０に直接送信されてもよい。符号化された映像データは、送信先デバイス１２０がアクセスするために、記憶媒体／サーバ１３０ｂに記憶されてもよい。

送信先デバイス１２０は、Ｉ／Ｏインタフェース１２６、映像デコーダ１２４、および表示装置１２２を含んでもよい。

Ｉ／Ｏインタフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインタフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂから符号化映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データを復号化してもよい。表示デバイス１２２は、復号化された映像データをユーザに表示してもよい。表示装置１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示装置とインタフェースするように構成される送信先デバイス１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像符号化（ＨＥＶＣ）規格、汎用映像符号化（ＶＶＶＭ）規格、および他の現在のおよび／またはさらなる規格等の映像圧縮規格に従って動作してもよい。

図５は、映像エンコーダ２００の一例を示すブロック図であり、この映像エンコーダ２００は、図４に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれかまたは全部を行うように構成してもよい。図５の実施例において、映像エンコーダ２００は、複数の機能性モジュールを含む。本開示で説明されている技術は、映像エンコーダ２００の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明されている技術のいずれか又はすべてを実行するように構成されてもよい。

映像エンコーダ２００の機能性モジュールは、分割ユニット２０１、プレディケーションユニット２０２を含んでもよく、予測ユニット２０２は、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、およびイントラ予測ユニット２０６、残差生成ユニット２０７、変換ユニット２０８、量子化ユニット２０９、逆量子化ユニット２１０、逆変換ユニット２１１、再構成ユニット２１２、バッファ２１３、およびエントロピー符号化ユニット２１４を含んでもよい。

他の例において、映像エンコーダ２００は、より多い、より少ない、または異なる機能性モジュールを含んでもよい。一例において、予測ユニット２０２は、ＩＢＣ（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいてプレディケーションを行うことができる。

さらに、動き推定ユニット２０４および動き補償ユニット２０５などのいくつかのモジュールは、高度に統合されてもよいが、説明のために、図５の例においては別個に表現されている。

分割ユニット２０１は、１つのピクチャを１つ以上の映像ブロックに分割してもよい。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートすることができる。

モード選択ユニット２０３は、例えば、誤りの結果に基づいて、イントラ符号化モードまたはインター符号化モードのうちの１つを選択し、得られたイントラ符号化ブロックまたはインター符号化ブロックを残差生成ユニット２０７に供給し、残差ブロックデータを生成し、再構成ユニット２１２に供給し、符号化ブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例では、モード選択ユニット２０３は、インター予測信号及びイントラ予測信号に基づいて予測を行うイントラ及びインター組み合わせ予測（ＣＩＩＰ）モードを選択してもよい。また、モード選択ユニット２０３は、プレディケーション間の場合、ブロックの動きベクトルの解像度（例えば、サブピクセルまたは整数画素精度）を選択してもよい。

現在の映像ブロックに対してインター予測を行うために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することで、現在の映像ブロックのための動き情報を生成してもよい。動き補償ユニット２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの動き情報および復号化サンプルに基づいて、現在の映像ブロックのための予測映像ブロックを判定してもよい。

動き推定ユニット２０４および動き補償ユニット２０５は、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかによって、例えば、現在の映像ブロックに対して異なる演算を行ってもよい。

いくつかの例では、動き推定ユニット２０４は、現在の映像ブロックに対して単方向予測を行い、動き推定ユニット２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索して、現在の映像ブロックを求める。そして、動き推定ユニット２０４は、リスト０又はリスト１における、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの空間変位を示す動きベクトルとを含む参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、及び動きベクトルを、現在の映像ブロックの動き情報として出力する。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット２０４は、リスト０における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト１における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。次に、動き推定ユニット２０４は、参照映像ブロックを含むリスト０及びリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在の映像ブロックの参照インデックス及び動きベクトルを、現在の映像ブロックの動き情報として出力する。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成する。

いくつかの例では、動き推定ユニット２０４は、デコーダの復号化処理のために、動き情報のフルセットを出力してもよい。

いくつかの例では、動き推定ユニット２０４は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット２０４は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していると決定してもよい。

一例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ３００に示す値を示してもよい。

別の例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差（ＭＶＤ）とを識別してもよい。動きベクトルの差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、指示された映像ブロックの動きベクトルおよび動きベクトルの差を使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技術の２つの例は、高度動きベクトルプレディケーション（ＡＭＶＰ）およびマージモード信号通知を含む。

イントラ予測ユニット２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット２０６が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット２０６は、同じピクチャ中の他の映像ブロックの復号化されたサンプルに基づいて、現在の映像ブロックのために予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成ユニット２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロック（複数可）を減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット２０７は、減算演算を行わなくてもよい。

変換処理ユニット２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックのための１つ以上の変換係数映像ブロックを生成してもよい。

変換処理ユニット２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット２０９は、現在の映像ブロックに関連付けられた１つ以上の量子化パラメータ（ＱＰ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化ユニット２１０および逆変換ユニット２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット２１２は、プレディケーションユニット２０２が生成した１つ以上の予測映像ブロックからの対応するサンプルに再構成された残差映像ブロックを加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ２１３に記憶してもよい。

再構成ユニット２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作を行ってもよい。

エントロピー符号化ユニット２１４は、映像エンコーダ２００の他の機能性モジュールからデータを受信してもよい。エントロピー符号化ユニット２１４は、データを受信すると、エントロピー符号化ユニット２１４は、１つ以上のエントロピー符号化演算を行い、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してもよい。

図６は、映像デコーダ３００の一例を示すブロック図であり、この映像デコーダ３００は、図４に示すシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれかまたは全部を行うように構成してもよい。図６の実施例において、映像デコーダ３００は、複数の機能性モジュールを含む。本開示で説明されている技術は、映像デコーダ３００の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明されている技術のいずれか又はすべてを実行するように構成されてもよい。

図６の実施例において、映像デコーダ３００は、エントロピー復号化ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、および再構成ユニット３０６、並びにバッファ３０７を含む。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図５）に関して説明した符号化パスとほぼ逆の復号化パスを行ってもよい。

エントロピー復号化ユニット３０１は、符号化ビットストリームを取り出してもよい。符号化ビットストリームは、エントロピー符号化された映像データ（例えば、映像データの符号化ブロック）を含んでもよい。エントロピー復号化ユニット３０１は、エントロピー符号化された映像データを復号化し、エントロピー復号化された映像データから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を判定してもよい。動き補償ユニット３０２は、例えば、ＡＭＶＰおよびマージモードを行うことで、このような情報を決定してもよい。

動き補償ユニット３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。

動き補償ユニット３０２は、映像ブロックの符号化中に映像エンコーダ２００によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算してもよい。動き補償ユニット３０２は、受信した構文情報に従って、映像エンコーダ２００が使用する補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。

動き補償ユニット３０２は、構文情報の一部を使用して、符号化された映像シーケンスのフレーム（複数可）および／またはスライス（複数可）を符号化するために使用されるブロックのサイズ、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、インター符号化ブロック間の各１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号化するための他の情報を決定してもよい。

イントラ予測ユニット３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット３０３は、ビットストリームに提供され、エントロピー復号化ユニット３０１によって復号化された量子化された映像ブロック係数を逆量子化、すなわち、非量子化する。逆変換ユニット３０３は、逆変換を適用する。

再構成ユニット３０６は、残差ブロックと、動き補償ユニット２０２またはイントラ予測ユニット３０３によって生成された対応する予測ブロックとを合計し、復号化ブロックを形成する。所望であれば、ブロックアーチファクトを除去するために、復号化されたブロックをフィルタリングするために非ブロック化フィルタを適用してもよい。復号化された映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のための参照ブロックを提供し、且つ表示装置に表示するための復号化された映像を生成する。

次に、いくつかの実施形態において好適な解決策を列挙する。

第１の解決策のセットを以下に提供する。以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

１．視覚メディアデータと、この視覚メディアデータのビットストリーム表現を記憶するファイルの間での変換を、フォーマット規則に従って行うことを含み、前記ファイルは、前記視覚メディアデータのサブピクチャのデータを含むトラックを含み、前記フォーマット規則は、前記トラックの構文を規定する、視覚メディア処理方法。

２．前記フォーマット規則は、前記トラックが１つの矩形領域を覆うように規定する、解決策１に記載の方法。

３．前記フォーマット規則は、前記トラックに含まれるサブピクチャまたはスライスが独立して抽出可能、復号化可能であり、且つ提示可能であることを規定する、解決策１に記載の方法。

以下の解決策は、前章（例えば、項目３、４）で論じた技術の例示的な実施形態を示す。

４．視覚メディアデータと、この視覚メディアデータのビットストリーム表現を記憶するファイルの間での変換を、フォーマット規則に従って行うことを含み、前記ファイルは、第１のトラックおよび／または１つ以上のサブピクチャトラックを含み、前記フォーマット規則は、前記トラックおよび／または前記１つ以上のサブピクチャトラックの構文を規定する、視覚メディア処理方法。

５．前記フォーマット規則は、前記トラックが前記１つ以上のサブピクチャトラックへの参照を含むことを規定する、解決策４に記載の方法。

６．前記フォーマット規則は、前記１つ以上のサブピクチャトラックにアクセスユニットレベルまたはピクチャレベルの非映像符号化層ネットワーク抽象化層ユニットを含めることを許可しない、解決策４に記載の方法。

７．前記許可されなかったユニットは、復号化能力情報構造、またはパラメータセット、または動作点情報、またはヘッダ、またはストリームの末端、またはピクチャの末端を含む、解決策６に記載の方法。

８．前記変換は、前記視覚メディアデータのビットストリーム表現を生成することと、前記フォーマット規則に従って、前記ファイルへの前記ビットストリーム表現を記憶することと、を含む、解決策１～７のいずれかに記載の方法。

９．前記変換は、前記フォーマット規則に従って前記ファイルを構文解析し、前記視覚メディアデータを復元することを含む、解決策１～７のいずれかに記載の方法。

１０．解決策１～９の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号化装置。

１１．解決策１～９の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号化装置。

１２．コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、処理装置により実行されると、前記処理装置に、解決策１～９のいずれかに記載の方法を実装させるコンピュータプログラム製品。

１３．解決策１～９のいずれかに従って生成されたファイルフォーマットに準拠したビットストリーム表現を実行するコンピュータ可読媒体。

１４．本明細書に記載の方法、装置またはシステム。

第２の解決策のセットは、前章（例えば、項目１）で論じた技術の例示的な実施形態を提供する。

１．視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行うこと１１０２を含み、前記視覚メディアデータは、１つまたは複数のサブピクチャまたは複数のスライスを含む１つ以上のピクチャを含み、前記視覚メディアファイルは、フォーマット規則に従って、前記１つ以上のトラックを記憶し、前記フォーマット規則は、前記１つ以上のスライスまたは前記１つ以上のサブピクチャのシーケンスを含むトラックが、前記１つ以上のピクチャの矩形領域を覆うことを規定する、映像メディアデータの処理方法（例えば、図１１に示す方法１１０）。

２．前記フォーマット規則は、前記トラックに含まれる１つ以上のサブピクチャまたは１つ以上のスライスが、別のサブピクチャまたは前記矩形領域とは異なる別の領域を覆う別のスライスが存在せず、独立して抽出可能、復号化可能および提示可能であることを規定する、解決策１に記載の方法。

３．前記フォーマット規則は、前記トラックに含まれる１つ以上のサブピクチャまたは１つ以上のスライスが、前記矩形領域とは異なる別の領域を覆う別のサブピクチャまたは別のスライスに動き補償で依存することを規定する、解決策１に記載の方法。

４．前記フォーマット規則は、前記１つ以上のスライスまたは複数のサブピクチャが、前記トラックに記憶されたビットストリームの復号化の順序で連続しなくてもよいことを規定する、解決策１に記載の方法。

５．復号化の順序で連続していない１つ以上のサブピクチャによって覆われる３６０度の映像の視野を、このトラックによって表現する、解決策１に記載の方法。

６．前記フォーマット規則は、トラックの各サンプルにおける１つ以上のサブピクチャまたは１つ以上のスライスの順序が、前記トラックに記憶されたビットストリームにおける１つ以上のサブピクチャまたは複数のスライスの順序と同じであることを規定する、解決策１に記載の方法。

７．前記フォーマット規則は、トラックの各サンプルにおける前記１つ以上のサブピクチャまたは前記１つ以上のスライスの復号化の順序が、前記トラックに記憶されたビットストリームにおいて連続しているかどうかを示す指示を含むかどうかをさらに規定する、解決策１に記載の方法。

８．前記指示が、前記トラックのベーストラックサンプルエントリ記述に含まれる、解決策７に記載の方法。

９．前記フォーマット規則は、前記指示がないことに呼応して、前記トラックにおける前記１つ以上のサブピクチャまたは複数のスライスを別のサブピクチャまたは別のトラックの別のスライスにマージすることを許可しないことをさらに指定する、解決策７に記載の方法。

１０．前記指示は、ネットワーク抽象化層（ＮＡＬ）構成ボックスに含まれる、解決策７に記載の方法。

１１．前記指示が１であることは、前記トラックの各サンプルにおけるＮＡＬユニットが、ビットストリームの復号化の順序で連続しており、かつ前記トラックをトラック参照で参照するベーストラックが、前記トラック参照を有する他のトラックを指すことを示す、解決策７に記載の方法。

１２．前記指示が０であることは、前記トラックの各サンプルにおけるＮＡＬユニットが、ビットストリームの復号化の順序で連続することを許可するかしないかを示し、かつ前記トラックをトラック参照で参照するベーストラックが、前記トラック参照を有する他のトラックを参照しなくてもよいことを示す、解決策７に記載の方法。

１３．前記視覚メディアデータは、汎用映像符号化（ＶＶＣ）によって処理され、前記１つ以上のトラックはＶＶＣトラックである、解決策１～１２のいずれか１項に記載の方法。

１４．前記変換は、前記視覚メディアファイルを生成することと、前記フォーマット規則に従って、前記１つ以上のビットストリームを前記視覚メディアファイルに記憶することと、を含む、解決策１～１３のいずれか１つに記載の方法。

１５．前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解析し、前記１つ以上のビットストリームを再構成することを含む、解決策１～１３のいずれか１項に記載の方法。

１６．視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行うこと１１０２を含み、前記視覚メディアデータは、１つまたは複数のサブピクチャまたは複数のスライスを含む１つ以上のピクチャを含む方法を実装するように構成された処理装置を含み、前記視覚メディアファイルは、フォーマット規則に従って前記１つ以上のトラックを記憶し、前記フォーマット規則は、前記１つ以上のスライスまたは前記１つ以上のサブピクチャのシーケンスを含むトラックが、前記１つ以上のピクチャの矩形領域を覆うことを規定する、映像メディアデータの処理装置。

１７．前記フォーマット規則は、トラックの各サンプルにおける前記１つ以上のサブピクチャまたは前記１つ以上のスライスの復号化の順序が、前記トラックに記憶されたビットストリームにおいて連続しているかどうかを示す指示を含むかどうかを規定する、解決策１６に記載の装置。

１８．処理装置に、視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行わせる命令を記憶する非一時的なコンピュータ可読記録媒体であって、前記視覚メディアデータは、１つまたは複数のサブピクチャまたは複数のスライスを含む１つ以上のピクチャを含み、前記視覚メディアファイルは、フォーマット規則に従って前記１つ以上のトラックを記憶し、前記フォーマット規則は、前記１つ以上のスライスまたは前記１つ以上のサブピクチャのシーケンスを含むトラックが、前記１つ以上のピクチャの矩形領域を覆うことを規定する、非一時的なコンピュータ可読記録媒体。

１９．前記フォーマット規則は、トラックの各サンプルにおける前記１つ以上のサブピクチャまたは前記１つ以上のスライスの復号化の順序が、前記トラックに記憶されたビットストリームにおいて連続しているかどうかを示す指示を含むかどうかを規定する、解決策１８に記載の非一時的なコンピュータ可読記録媒体。

２０．映像処理装置によって行われる方法によって生成されるビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、映像処理データの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアライフを生成することを含み、前記視覚メディアデータは、１つまたは複数のサブピクチャまたは複数のスライスを含む１つ以上のピクチャを含み、前記視覚メディアファイルは、フォーマット規則に従って前記１つ以上のトラックを記憶し、前記フォーマット規則は、前記１つ以上のスライスまたは前記１つ以上のサブピクチャのシーケンスを含むトラックが、前記１つ以上のピクチャの矩形領域を覆うことを規定する、非一時的なコンピュータ可読記録媒体。

２１．前記フォーマット規則は、トラックの各サンプルにおける前記１つ以上のサブピクチャまたは前記１つ以上のスライスの復号化の順序が、前記トラックに記憶されたビットストリームにおいて連続しているかどうかを示す指示を含むかどうかを規定する、解決策１８に記載の非一時的なコンピュータ可読記録媒体。

２２．解決策１～１５のいずれか１つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。

２３．１つまたは複数のビットストリームを含むファイルに視覚メディアデータを記憶する方法であって、解決策１～１５のいずれか１項に記載の方法を含み、かつ前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、方法。

２４．実行されると、解決策１～１５のいずれか１つ以上に記載の方法を処理装置に実装させるプログラムコードを記憶したコンピュータ可読媒体。

２５．上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。

２６．解決策１～１５のいずれか１つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。

２７．解決策１～１５のいずれかに従って生成されたファイルフォーマットに準拠したビットストリーム表現を実行するコンピュータ可読媒体。

２８．本明細書に記載の方法、装置またはシステム。

第３の解決策のセットは、前章（例えば、項目３，５，６，７および１０）で論じた技術の例示的な実施形態を示す。

１．視覚メディアデータ処理方法（図１２に示す方法１２００）であって、フォーマット規則に従って、視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行うこと１２０２を含み、前記視覚メディアファイルは、前記視覚メディアデータの１つ以上のサブピクチャのための符号化情報を記憶する１つ以上のサブピクチャトラックを参照するベーストラックを含み、前記フォーマット規則は、前記ベーストラックにおけるサンプルと１つ以上のサブピクチャトラックから、映像ユニットを再構成するために使用されるプロセスを規定する、方法。

２．前記フォーマット規則は、前記ベーストラックが、前記１つ以上のサブピクチャトラックを参照するためのサブピクチャトラック参照を含むことを規定し、前記サブピクチャトラック参照において参照される前記１つ以上のサブピクチャトラックの順序は、前記１つ以上のサブピクチャトラックから再構成された前記映像ユニットにおける前記サブピクチャトラックのサンプルの順序を示す、解決策１に記載の方法。

３．前記フォーマット規則は、各サブピクチャトラック参照が、１つのサブピクチャトラックのトラック識別か１つのサブピクチャトラックグループのトラックグループ識別のどちらかを指すインデックスを有することをさらに規定する、解決策１に記載の方法。

４．前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラックに対して任意選択可能であることを規定する、解決策１に記載の方法。

５．前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラックに含まれていない場合、前記ベーストラックにおいて参照される前記サブピクチャトラックの順序を決定する際に、１つ以上のサブピクチャトラック参照を使用することをさらに規定する、解決策４に記載の方法。

６．前記フォーマット規則は、サブピクチャ順サンプルグループの使用を除去し、かつ前記サブピクチャ順サンプルグループに基づいてパラメータセット書き換えプロセスの記述を除去することをさらに規定する、解決策４に記載の方法。

７．前記フォーマット規則は、前記サブピクチャ順サンプルグループの仕様を削除することをさらに規定する、解決策４に記載の方法。

８．前記視覚メディアデータは、汎用映像符号化（ＶＶＣ）によって処理され、前記１つ以上のトラックはＶＶＣトラックである、解決策１～７のいずれか１項に記載の方法。

９．前記変換は、前記視覚メディアファイルを生成することと、前記フォーマット規則に従って、前記１つ以上のビットストリームを前記視覚メディアファイルに記憶することと、を含む、解決策１～８のいずれか１つに記載の方法。

１０．前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解析し、前記１つ以上のビットストリームを再構成することを含む、解決策１～８のいずれか１項に記載の方法。

１１．視覚メディアデータ処理装置であって、フォーマット規則に従って、視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行うことを含み、前記視覚メディアファイルは、前記視覚メディアデータの１つ以上のサブピクチャのための符号化された情報を記憶する１つ以上のサブピクチャトラックを参照するベーストラックを含み、前記フォーマット規則は、前記ベーストラックにおけるサンプルおよび１つ以上のサブピクチャトラックから映像ユニットを再構成するために使用されるプロセスを規定する、装置。

１２．前記フォーマット規則は、前記ベーストラックが、前記１つ以上のサブピクチャトラックを参照するためのサブピクチャトラック参照を含むことを規定し、前記サブピクチャトラック参照において参照される前記１つ以上のサブピクチャトラックの順序は、前記１つ以上のサブピクチャトラックから再構成された前記映像ユニットにおける前記サブピクチャトラックのサンプルの順序を示す、解決策１１に記載の装置。

１３．前記フォーマット規則は、各サブピクチャトラック参照が、１つのサブピクチャトラックのトラック識別か１つのサブピクチャトラックグループのトラックグループ識別のどちらかを指すインデックスを有することをさらに規定する、解決策１１に記載の装置。

１４．前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラックに対して任意選択可能であることを規定する、解決策１１に記載の装置。

１５．前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラックに含まれていない場合、前記ベーストラックにおいて参照される前記サブピクチャトラックの順序を決定する際に、１つ以上のサブピクチャトラック参照を使用することをさらに規定する、解決策１４に記載の装置。

１６．前記フォーマット規則は、サブピクチャ順サンプルグループの使用を除去し、かつ前記サブピクチャ順サンプルグループに基づいてパラメータセット書き換えプロセスの記述を除去することをさらに規定する、解決策１４に記載の装置。

１７．前記フォーマット規則は、前記サブピクチャ順サンプルグループの仕様を削除することをさらに規定する、解決策１４に記載の装置。

１８．非一時的なコンピュータ可読記録媒体であって、処理装置にフォーマット規則に従って、視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行わせ、前記視覚メディアファイルは、前記視覚メディアデータの１つ以上のサブピクチャのための符号化された情報を記憶する１つ以上のサブピクチャトラックを参照するベーストラックを含み、前記フォーマット規則は、前記ベーストラックにおけるサンプルと１つ以上のサブピクチャトラックから、映像ユニットを再構成するために使用されるプロセスを規定する、非一時的なコンピュータ可読記録媒体。

１９．前記フォーマット規則は、前記ベーストラックが、前記１つ以上のサブピクチャトラックを参照するためのサブピクチャトラック参照を含むことを規定し、前記サブピクチャトラック参照において参照される前記１つ以上のサブピクチャトラックの順序は、前記１つ以上のサブピクチャトラックから再構成された前記映像ユニットにおける前記サブピクチャトラックのサンプルの順序を示す、解決策１８に記載の非一時的なコンピュータ可読記録媒体。

２０．映像処理装置によって行われる方法によって生成されたビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、前記方法は、フォーマット規則に従って、視覚メディアデータと、前記視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルを生成することを含み、前記視覚メディアファイルは、符号化情報を記憶する前記視覚メディアデータの１つ以上のサブピクチャのための符号化された情報を記憶する１つ以上のサブピクチャトラックを参照するベーストラックを含み、前記フォーマット規則は、前記ベーストラックにおけるサンプルおよび１つ以上のサブピクチャトラックから、映像ユニットを再構成するために使用されるプロセスを規定する、非一時的なコンピュータ可読記録媒体。

２１．解決策１～１０のいずれか１つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。

２２．１つまたは複数のビットストリームを含むファイルに視覚メディアデータを記憶する方法であって、解決策１～１０のいずれか１つに記載の方法を含み、かつ前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、方法。

２３．実行されると、解決策１～１０のいずれか１つ以上に記載の方法を処理装置に実装させるプログラムコードを記憶したコンピュータ可読媒体。

２４．上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。

２５．解決策１～１０のいずれか１つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。

２６．解決策１～１０のいずれかに従って生成されたファイルフォーマットに準拠したビットストリーム表現を実行するコンピュータ可読媒体。

２７．本明細書に記載の方法、装置またはシステム。

例示的な解決策において、視覚メディアデータは、映像または画像に対応する。本明細書に記載の解決策において、エンコーダは、フォーマット規則に従って符号化表現を生成することで、フォーマット規則に準拠することができる。本明細書に記載の解決策において、デコーダは、フォーマット規則に従って、構文要素の有無を知りつつ、符号化表現における構文要素を構文解析することで、復号された映像を生成するために、このフォーマット規則を使用してもよい。上記の解決策において、視覚メディアデータは、映像または画像に対応する。

本明細書では、“映像処理”という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドを符号化表現に含めるか、または符号化表現から除外することによって、それに応じて符号化表現を生成してもよい。

本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。“データ処理装置”という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (12)

1. フォーマット規則に従って、視覚メディアデータと、この視覚メディアデータの１つ以上のビットストリームを記憶する１つ以上のトラックを含む視覚メディアファイルとの変換を行うことを含む視覚メディアデータを処理する方法であって、
   前記視覚メディアファイルは、前記視覚メディアデータの１つ以上のサブピクチャのための符号化された情報を記憶する１つ以上のサブピクチャトラックを参照するベーストラックを含み、
   前記フォーマット規則は、前記ベーストラックにおけるサンプルおよび前記１つ以上のサブピクチャトラックから映像ユニットを再構成するために使用されるプロセスを規定し、
   前記フォーマット規則は、前記ベーストラックが、前記１つ以上のサブピクチャトラックを参照するためのサブピクチャトラック参照を含むことを規定し、前記サブピクチャトラック参照において参照される前記１つ以上のサブピクチャトラックの順序は、前記１つ以上のサブピクチャトラックから再構成された前記映像ユニットにおける前記１つ以上のサブピクチャトラックのサンプルの順序を示す、視覚メディアデータを処理する方法。
2. 前記フォーマット規則は、各サブピクチャトラック参照が、サブピクチャトラックのトラック識別かサブピクチャトラックグループのトラックグループ識別のどちらかを指すインデックスを有することをさらに規定する、請求項１に記載の方法。
3. 前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラックに対して任意選択可能であることを規定する、請求項１または２に記載の方法。
4. 前記フォーマット規則は、前記サブピクチャ順サンプルグループが前記ベーストラックに含まれていない場合、前記ベーストラックにおいて参照される前記１つ以上のサブピクチャトラックの順序を決定する際に、サブピクチャトラック参照が使用されることをさらに規定する、請求項３に記載の方法。
5. 前記フォーマット規則は、前記サブピクチャ順サンプルグループの使用を削除し、かつ前記サブピクチャ順サンプルグループに基づいてパラメータセット書き換えプロセスの記述を削除することをさらに規定する、請求項３に記載の方法。
6. 前記フォーマット規則は、前記視覚メディアファイルから前記サブピクチャ順サンプルグループの仕様を削除することをさらに規定する、請求項３に記載の方法。
7. 前記視覚メディアデータは、汎用映像符号化（ＶＶＣ）によって処理され、前記１つ以上のトラックはＶＶＣトラックである、請求項１～６のいずれか１項に記載の方法。
8. 前記変換は、前記フォーマット規則に従って、前記視覚メディアファイルを生成することと、前記１つ以上のビットストリームを前記視覚メディアファイルに記憶することと、を含む、請求項１～７のいずれか１項に記載の方法。
9. 前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解析し、前記１つ以上のビットストリームを再構成することを含む、請求項１～７のいずれか１項に記載の方法。
10. 請求項１～９のいずれか１項に記載の方法を実装するように構成された処理装置を備える映像処理装置。
11. １つ以上のビットストリームを含むファイルに視覚メディアデータを記憶する方法であって、請求項１～９のいずれか１項に記載の方法を含み、かつ前記１つ以上のビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、方法。
12. 実行されると、請求項１～９のいずれか１項に記載の方法を処理装置に実装させるプログラムコードを記憶するコンピュータ可読媒体。

Images