JP2023529431A - 映像ピクチャにおけるサブピクチャ数の制約 - Google Patents

Abstract

【要約】映像符号化および映像復号のためのいくつかの技術を説明している。１つの例示的な方法は、規則に従って映像とこの映像のビットストリームとの間で変換を行うことを含む。この規則は、１つのサブピクチャシーケンスが、（１）同じサブピクチャインデックスを有し且つマルチサブピクチャレイヤにおけるレイヤに属する対象のＣＶＳ内のすべてのサブピクチャと、（２）０のサブピクチャインデックスを有し且つＯＬＳのレイヤに属するがマルチサブピクチャレイヤに属さない対象のＣＶＳにおけるすべてのサブピクチャとを含むことを規定する。【選択図】図７

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年６月８日出願の米国特許仮出願第６３／０３６，３６５号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許明細書は、画像および映像のコーディングおよびデコーディングに関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

本明細書は、映像のエンコーダおよびデコーダが、映像または画像のコーディングされた表現を処理するために使用することができる技法を開示する。

１つの例示的な態様において、映像データを処理する方法が開示される。この方法は、規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を含む映像とこの映像のビットストリームとの間で変換を行うことを含む。この規則は、サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージが、このＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含むことを規定する。ＳＬＩ ＳＥＩメッセージの構文構造は、（１）サブピクチャシーケンスのためのサブレイヤの最大数を規定する第１の構文要素と、（２）サブピクチャシーケンスのためのレベル情報が１つ以上のサブレイヤ表現のために存在するかどうかを規定する第２の構文要素と、（３）ビットストリームのレベル制限の一部にそれぞれ関連付けられた多数のサブレイヤのためのループと、各サブピクチャシーケンスが適合するレベルを示すレベル指標と、を含む。

別の例示的な態様において、映像データを処理する方法が開示される。この方法は、規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を有する映像の現在のアクセスユニットとこの映像のビットストリームとの間で変換を行うことを含む。この規則は、サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージが、このＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含むことを規定する。ＳＬＩ ＳＥＩメッセージは、現在のアクセスユニットから、ビットストリームの終わりまで、または、このＳＬＩ ＳＥＩメッセージとは異なるコンテンツを含む後続のＳＬＩ ＳＥＩメッセージを含む次のアクセスユニットまで、復号順に続く。

別の例示的な態様において、映像データを処理する方法が開示される。この方法は、規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を有する映像の現在のアクセスユニットとこの映像のビットストリームとの間で変換を行うことを含む。サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージは、ＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含む。１つ以上のＯＬＳにおける、サブピクチャの数が１よりも大きいことを示す参照シーケンスパラメータセットにおける変数を、マルチサブピクチャレイヤと呼ぶ。ＯＬＳのセットにおけるコーディングされた映像シーケンスは、対象コーディッド映像シーケンス（ＣＶＳ）と呼ばれる。この規則は、１つのサブピクチャシーケンスが、（１）同じサブピクチャインデックスを有しかつマルチサブピクチャレイヤにおけるレイヤに属する対象のＣＶＳ内のすべてのサブピクチャと、（２）０のサブピクチャインデックスを有しかつＯＬＳのレイヤに属するがマルチサブピクチャレイヤに属さない対象のＣＶＳにおけるすべてのサブピクチャとを含むことを規定する。

別の例示的な態様において、映像処理方法が開示される。この方法は、１つ以上の映像サブレイヤを含む映像とこの映像のコーディングされた表現との間で変換を行うことを含み、コーディングされた表現はフォーマット規則に準拠し、このフォーマット規則は、このコーディングされたにおける多数のサブレイヤにまたがる構文構造と、この構文構造に含まれる各サブレイヤを示す１つ以上の構文フィールドとを含むように規定し、この構文構造は、信号通知された部分および参照レベル指標に関する情報を含む。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のサブピクチャを含む映像とこの映像のコーディングされた表現との間で変換を行うことを含み、この変換は、１つ以上のサブピクチャレベル情報のための補足強化情報を使用または生成する。

さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の１つをプロセッサが実行可能なコードの形式で実施する。

これらのおよび他の特徴は、本明細書全体にわたって説明される。

ピクチャのラスタスキャンスライス分割の例を示し、ピクチャは、１２個のタイルと３個のラスタスキャンスライスとに分割される。 ピクチャの矩形スライス分割の例を示し、ピクチャは、２４個のタイル（６個のタイル列および４個のタイル行）と９個の矩形スライスとに分割される。 タイルおよび矩形のスライスに分割されたピクチャの例を示し、ピクチャは、４つのタイル（２つのタイルの列および２つのタイルの行）と４つの矩形スライスとに分割される。 １５個のタイル、２４個のスライス、および２４個のサブピクチャに分割されたピクチャを示す。 映像処理システム例を示すブロック図である。 映像処理装置のブロック図である。 映像処理方法の一例を示すフローチャートである。 本開示のいくつかの実施形態による映像コーディングシステムを示すブロック図である。 本開示のいくつかの実施形態によるエンコーダを示すブロック図である。 本開示のいくつかの実施形態によるデコーダを示すブロック図である。 典型的な、サブピクチャに基づくビューポートに依存する３６０°映像コーディング方式の例を示す。 サブピクチャおよび空間的スケーラビリティに基づくビューポート依存型３６０°映像コーディング方式を示す。 本技術の１つ以上の実施形態による映像データ処理の方法を表すフローチャートである。 本技術の１つ以上の実施形態による映像データ処理の別の方法を表すフローチャートである。 本技術の１つ以上の実施形態による映像データ処理のさらに別の方法を表すフローチャートである。

本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、Ｈ．２６６という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。本明細書において、編集変更は、ＶＶＣ規格の現在の草案に対して、取り消されたテキストを示す取り消し線および付加されたテキストを示すハイライト（太字のイタリック体を含む）によってテキストに示す。

１． 概要
本明細書は、映像コーディング技術に関する。具体的には、サブピクチャシーケンスのためのレベル情報を規定し、信号通知することに関する。本発明は、シングルレイヤ映像コーディングおよびマルチレイヤ映像コーディングに対応する任意の映像コーディング規格または非標準映像コーデック、例えば、開発中の汎用映像コーディング（ＶＶＣ）に適用してもよい。

２． 略語
ＡＰＳ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（適応パラメータセット）
ＡＵ Ａｃｃｅｓｓ Ｕｎｉｔ（アクセスユニット）
ＡＵＤ Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ（アクセスユニット区切り文字）
ＡＶＣ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度映像コーディング）
ＢＰ Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ（バッファリング期間）
ＣＬＶＳ Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディッドレイヤ映像シーケンス）
ＣＰＢ Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（コーディッドピクチャバッファ）
ＣＲＡ Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ（クリーンランダムアクセス）
ＣＴＵ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（コーディングツリーユニット）
ＣＶＳ Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディッド映像シーケンス）
ＤＰＢ Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（復号されたピクチャバッファ）
ＤＰＳ Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（復号パラメータセット）
ＤＵＩ Ｄｅｃｏｄｉｎｇ Ｕｎｉｔ Ｉｎｆｏｒｍａｔｉｏｎ（復号ユニット情報）
ＥＯＢ Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ（ビットストリーム終端）
ＥＯＳ Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ（シーケンス終端）
ＧＣＩ Ｇｅｎｅｒａｌ Ｃｏｎｓｔｒａｉｎｔｓ Ｉｎｆｏｒｍａｔｉｏｎ（一般的な制約情報）
ＧＤＲ Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（漸次的復号リフレッシュ）
ＨＥＶＣ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率映像コーディング）
ＨＲＤ Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＤＲ Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（瞬時復号リフレッシュ）
ＪＥＭ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＭＣＴＳ Ｍｏｔｉｏｎ－Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ（動き制約タイルセット）
ＮＡＬ Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ（ネットワーク抽象化レイヤ）
ＯＬＳ Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ（出力レイヤセット）
ＰＨ Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ（ピクチャヘッダ）
ＰＰＳ Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ピクチャパラメータセット）
ＰＴ Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ（ピクチャタイミング）
ＰＴＬ Ｐｒｏｆｉｌｅ， Ｔｉｅｒ ａｎｄ Ｌｅｖｅｌ（プロファイル、ティアおよびレベル）
ＰＵ Ｐｉｃｔｕｒｅ Ｕｎｉｔ（ピクチャユニット）
ＲＲＰ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ（参照ピクチャ再サンプリング）
ＲＢＳＰ Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ（生バイトシーケンスペイロード）
ＳＥＩ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補足強化情報）
ＳＨ Ｓｌｉｃｅ Ｈｅａｄｅｒ（スライスヘッダ）
ＳＬＩ Ｓｕｂｐｉｃｔｕｒｅ Ｌｅｖｅｌ Ｉｎｆｏｒｍａｔｉｏｎ（サブピクチャレベル情報）
ＳＰＳ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（シーケンスパラメータセット）
ＳＶＣ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（スケーラブル映像コーディング）
ＶＣＬ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ（映像コーディングレイヤ）
ＶＰＳ Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（映像パラメータセット）
ＶＴＭ ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＶＶＣ試験モデル）
ＶＵＩ Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（映像ユーザビリティ情報）
ＶＶＣ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（汎用映像コーディング）

３． 初期の協議
映像コーディング規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えた将来の映像コーディング技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは四半期に１回開催され、新しいコーディング規格はＨＥＶＣに比べて５０％のビットレート低減を目指している。２０１８年４月のＪＶＥＴ会議において、新しい映像コーディング規格を「ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と正式に命名し、その時、第１版のＶＶＣテストモデル（ＶＴＭ）をリリースした。ＶＶＣの標準化に寄与する努力が続けられているので、すべてのＪＶＥＴ会議において、ＶＶＣ標準に新しいコーディング技術が採用されている。毎回の会議の後、ＶＶＣ作業草案およびテストモデルＶＴＭは更新される。ＶＶＣプロジェクトは、現在、２０２０年７月の会合における技術完成（ＦＤＩＳ）を目指している。

３．１ ＨＥＶＣにおけるピクチャ分割スキーム
ＨＥＶＣには、正規のスライス、依存性のあるスライス、タイル、ＷＰＰ（Ｗａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ）という４つの異なる画像分割スキームがあり、これらを適用することで、最大転送ユニット（ＭＴＵ）サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。

正規のスライスは、Ｈ．２６４／ＡＶＣと同様である。各正規のスライスは、それ自体のＮＡＬユニットにカプセル化され、スライス境界にわたるインピクチャ予測（イントラサンプル予測、動き情報予測、コーディングモード予測）およびエントロピーコーディング依存性は無効化される。このように、１つの正規のライスを、同じピクチャ内の他の正規のスライスとは独立して再構成することができる（しかし、ループフィルタリング動作のために依然として相互依存性がある場合がある）。

正規のスライスは、並列化に使用できる唯一のツールであり、Ｈ．２６４／ＡＶＣでもほぼ同じ形式で使用できる。正規のスライスに基づく並列化は、プロセッサ間通信またはコア間通信をあまり必要としない（予測コーディングされたピクチャを復号するとき、動き補償のためのプロセッサ間またはコア間データ共有を除いて、通常、インピクチャ予測のためにプロセッサ間またはコア間データ共有よりもはるかに重い）。しかしながら、同じ理由で、正規のスライスを使用すると、スライスヘッダのビットコストおよびスライス境界にわたる予測が欠如していることに起因して、コーディングのオーバーヘッドが大きくなる可能性がある。さらに、レギュラースライスは（後述の他のツールとは対照的に）、レギュラースライスのインピクチャの独立性および各レギュラースライスがそれ自体のＮＡＬユニットにカプセル化されることに起因して、ＭＴＵサイズ要件に適応するようにビットストリームを分割するための鍵となるメカニズムとしても機能する。多くの場合、並列化の目標およびＭＴＵサイズマッチングの目標は、画像におけるスライスレイアウトに矛盾する要求を課す。このような状況を実現したことにより、以下のような並列化ツールが開発された。

従属スライスは、ショートスライスヘッダを有し、ピクチャ内予測を一切中断することなく、ツリーブロック境界でビットストリームを区分することを可能にする。基本的に、従属スライスは、正規のスライスを複数のＮＡＬユニットに断片化し、正規のスライス全体の符号化が完了する前に正規のスライスの一部を送出することを可能にすることによって、エンドツーエンド遅延を低減する。

ＷＰＰにおいて、ピクチャは、単一行の符号化ツリーブロック（ＣＴＢ）に分割される。エントロピー復号および予測は、他の分割におけるＣＴＢからのデータを使用することを許可される。ＣＴＢ行の並列復号によって並列処理が可能であり、１つのＣＴＢ行の復号の開始が２つのＣＴＢだけ遅延され、それによって、対象のＣＴＢが復号される前に、対象のＣＴＢの上および右のＣＴＢに関するデータが確実に利用可能になる。この互い違いのスタート（グラフで表される場合、波面のように見える）を使用することで、ピクチャがＣＴＢ行を含む数までのプロセッサ／コアを用いて並列化することが可能である。１つのインピクチャの近傍のツリーブロック行間のインピクチャ予測が許可されるので、インピクチャ予測を可能にするために必要なプロセッサ間／コア間通信は十分となり得る。ＷＰＰ分割は、適用されない場合と比較して、追加のＮＡＬユニットの生成をもたらさず、従って、ＷＰＰは、ＭＴＵサイズマッチングのためのツールではない。しかし、ＭＴＵサイズのマッチングが必要な場合、一定の符号化オーバーヘッドを伴って、ＷＰＰで正規のスライスを使用することができる。

タイルは、ピクチャをタイルの列および行に分割する水平および垂直境界を規定する。タイルの列は、ピクチャの上から下へと延びている。同様に、タイル行は、ピクチャの左から右に延びる。ピクチャにおけるタイルの数は、単にタイル列の数にタイル行の数を乗算することで得ることができる。

ＣＴＢのスキャン順序は、１つのタイル内でローカルになるように（１つのタイルのＣＴＢラスタスキャンの順に）変更され、その後、１つのピクチャのタイルラスタスキャンの順に従って、次のタイルの左上のＣＴＢを復号する。正規のスライスと同様に、タイルは、インピクチャ予測依存性およびエントロピー復号依存性を損なう。しかしながら、これらは、個々のＮＡＬユニット（この点でＷＰＰと同じ）に含まれる必要がなく、従って、タイルは、ＭＴＵサイズマッチングに使用できない。各タイルは、１つのプロセッサ／コアによって処理されてもよく、処理ユニット間のインピクチャ予測に必要なプロセッサ間／コア間通信では、近傍タイルの復号は、スライスが２つ以上のタイルにまたがっている場合、共有スライスヘッダの伝達と、再構築されたサンプルおよびメタデータのループフィルタリングに関連する共有とに限定される。１つのスライスに２つ以上のタイルまたはＷＰＰセグメントが含まれる場合、該スライスにおける第１のもの以外の各タイルまたはＷＰＰセグメントのエントリポイントバイトオフセットが、スライスヘッダにおいて信号通知される。

説明を簡単にするために、ＨＥＶＣにおいては、４つの異なるピクチャ分割方式の適用に関する制限が規定されている。所与のコーディッド映像シーケンスは、ＨＥＶＣに指定されたプロファイルのほとんどについて、タイルおよび波面の両方を含むことができない。各スライスおよびタイルについて、以下の条件のいずれかまたは両方を満たさなければならない。１）１つのスライスにおけるすべてのコーディングされたツリーブロックは、同じタイルに属し、２）１つのタイルにおけるすべてのコーディングされたツリーブロックは、同じスライスに属する。最後に、１つの波面セグメントはちょうど１つのＣＴＢ行を含み、ＷＰＰが使用されている時に、１つのスライスが１つのＣＴＢ行内で始まる場合、同じＣＴＢ行で終わらなければならない。

最近のＨＥＶＣの修正は、ＪＣＴ－ＶＣの出力文書であるＪＣＴＶＣ－ＡＣ１００５、Ｊ．ボイス、Ａ．ラマスブラモニアン、Ｒ．スクピン、Ｇ．Ｊ．スリバン、Ａ．トゥラピス、Ｙ．－Ｋ．ワング（ｅｄｉｔｏｒｓ），”ＨＥＶＣ追加の捕捉強化情報（Ｄｒａｆｔ４），”２０１７年１０月２４日、下記で入手可能：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２９＿Ｍａｃａｕ／ｗｇ１１／ＪＣＴＶＣ－ＡＣ１００５－ｖ２．ｚｉｐ。この修正を含め、ＨＥＶＣは、３つのＭＣＴＳ関連ＳＥＩメッセージ、即ち、時間的ＭＣＴＳ ＳＥＩメッセージ、ＭＣＴＳ抽出情報セットＳＥＩメッセージ、およびＭＣＴＳ抽出情報ネスティングＳＥＩメッセージを特定する。

時間ＭＣＴＳ ＳＥＩメッセージは、ビットストリーム中にＭＣＴＳが存在することを示し、ＭＣＴＳに信号を送信する。各ＭＣＴＳにおいて、動きベクトルは、ＭＣＴＳ内部のフルサンプル位置と、補間のためにＭＣＴＳ内部のフルサンプル位置のみを必要とするフラクショナルサンプル位置とを指すように制限され、かつ、ＭＣＴＳ外部のブロックから導出された時間動きベクトル予測のための動きベクトル候補の使用は許可されない。このように、各ＭＣＴＳは、ＭＣＴＳに含まれていないタイルが存在せず、独立して復号されてもよい。

ＭＣＴＳ抽出情報セットＳＥＩメッセージは、ＭＣＴＳサブビットストリーム抽出（ＳＥＩメッセージの意味の一部として規定される）において使用され得る補足情報を提供し、ＭＣＴＳセットのための適合ビットストリームを生成する。この情報は、複数の抽出情報セットを含み、各抽出情報セットは、複数のＭＣＴＳセットを定義し、ＭＣＴＳサブビットストリーム抽出処理において使用される代替ＶＰＳ、ＳＰＳ、およびＰＰＳのＲＢＳＰバイトを含む。ＭＣＴＳサブビットストリーム抽出プロセスによってサブビットストリームを抽出する場合、パラメータセット（ＶＰＳ，ＳＰＳ，ＰＰＳ）を書き換えるかまたは置き換える必要があるが、その理由は、スライスアドレスに関連する構文要素の１つまたは全て（ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇおよびｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ａｄｄｒｅｓｓを含む）が異なる値となる必要があるためである。

３．２． ＶＶＣにおけるピクチャの分割
ＶＶＣにおいて、１つのピクチャは、１または複数のタイル行および１または複数のタイル列に分割される。１つのタイルは、１つのピクチャの１つの矩形領域を覆う１つのＣＴＵのシーケンスである。１つのタイルにおけるＣＴＵは、そのタイル内でラスタスキャン順にスキャンされる。

１つのスライスは、１つのピクチャのタイル内において、整数個の完全なタイルまたは整数個の連続した完全なＣＴＵ行からなる。

２つのモードのスライス、即ちラスタスキャンスライスモードおよび矩形スライスモードがサポートされる。ラスタスキャンスライスモードにおいて、１つのスライスは、１つのピクチャのタイルラスタスキャンにおける１つの完全なタイルのシーケンスを含む。矩形スライスモードにおいて、１つのスライスは、ピクチャの矩形領域を集合的に形成する複数の完全なタイル、またはピクチャの矩形領域を集合的に形成する１つのタイルの複数の連続した完全なＣＴＵ行のいずれかを含む。矩形スライス内のタイルを、そのスライスに対応する矩形領域内で、タイルラスタスキャンの順にスキャンする。

１つのサブピクチャは、１つのピクチャの矩形領域を集合的に広がる１つ以上のスライスを含む。

図１は、ピクチャのラスタスキャンスライス分割の例を示し、ピクチャは、１２個のタイルと３個のラスタスキャンスライスとに分割される。

図２は、ピクチャの矩形スライス分割の例を示し、ピクチャは、２４個のタイル（６個のタイル列および４個のタイル行）と９個の矩形スライスとに分割される。

図３は、タイルおよび矩形のスライスに分割されたピクチャの例を示し、このピクチャは、４つのタイル（２つのタイル列および２つのタイル行）と４つの矩形スライスとに分割される。

図４は、１つのピクチャをサブピクチャで分割する例を示し、１つのピクチャは、１８個のタイルに分割され、左側の１２個が、４×４のＣＴＵの１つのスライスをそれぞれ含み、右側の６個のタイルが、２×２のＣＴＵの垂直方向に積み重ねられたスライスをそれぞれ含み、全体で２４個のスライスおよび２４個の異なる寸法のサブピクチャとなる（各スライスは、１つのサブピクチャ）。

３．３ シーケンス内のピクチャ解像度の変更
ＡＶＣおよびＨＥＶＣにおいて、ピクチャの空間的解像度は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限り、変更することができない。ＶＶＣは、常にイントラコーディング化されたＩＲＡＰピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャがデコードされている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング（ＲＰＲ）と称する。

スケーリング比は、１／２（参照ピクチャから現在のピクチャへのダウンサンプリングの２倍）以上８（８倍のアップサンプリング）以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる３つの再サンプリングフィルタセットを規定する。３つの組の再サンプリングフィルタは、それぞれ、１／２～１／１．７５、１／１．７５～１／１．２５、および１／１．２５～８の範囲のスケーリング比に適用される。各組の再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して１６個のフェーズを有し、彩度に対して３２個のフェーズを有する。実際には、通常のＭＣ補間プロセスは、１／１．２５～８の範囲のスケーリング比を有する再サンプリングプロセスの特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。

ＨＥＶＣとは異なる、この特徴をサポートするためのＶＶＣ設計の他の態様は、以下を含む。ｉ）ＳＰＳの代わりに、ＰＰＳにおいて、画像解像度および対応する適合性ウインドウを信号通知し、ＳＰＳにおいて、最大ピクチャ解像度を信号通知する。ｉｉ）単層ビットストリームの場合、各ピクチャ記憶域（１つの復号されたピクチャを記憶するためのＤＰＢ内の１つのスロット）は、最大ピクチャ解像度を有する復号されたピクチャを記憶するために必要なバッファサイズを占める。

３．４． 全般およびＶＶＣにおけるスケーラブル映像コーディング（ＳＶＣ）
ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、時には、映像コーディングにおけるスケーラビリティとも呼ばれる）は、ＢＬ（Ｂａｓｅ Ｌａｙｅｒ：基本レイヤ）（時には、ＲＬ（Ｒｅｆｅｒｅｎｃｅ Ｌａｙｅｒ：参照レイヤ）と呼ばれる）および１または複数のＥＬ（Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ：スケーラブルエンハンスメントレイヤ）が使用される映像コーディングを参照する。ＳＶＣにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。１つ以上のエンハンスメントレイヤは、例えば、より高い空間的、時間的、および／または信号対雑音（ＳＮＲ）レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下層がＢＬとして機能し、上層がＥＬとして機能することができる。中間レイヤは、ＥＬまたはＲＬのいずれか、またはその両方として機能することができる。例えば、中間レイヤ（例えば、最下レイヤでも最上レイヤでもないレイヤ）は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する増強レイヤのためのＥＬであってもよく、同時に、中間レイヤの上の１つ以上の増強レイヤのためのＲＬとしての役割を果たす。同様に、ＨＥＶＣ規格のマルチビューまたは３Ｄ拡張では、複数のビューが存在してもよく、１つのビューの情報を利用して別のビューの情報をコーディング（例えば、符号化または復号）することができる（例えば、動き推定、動きベクトル予測および／または他の冗長性）。

ＳＶＣにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル（例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等）に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤのコーディッド映像シーケンスによって利用できるパラメータは、映像パラメータセット（ＶＰＳ）に含まれてもよく、コーディッド映像シーケンスにおける１つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット（ＳＰＳ）に含まれてもよい。同様に、１つのピクチャの１つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット（ＰＰＳ）に含まれてもよく、１つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。

ＶＶＣにおけるＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリングはＲＰＲアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、ＶＶＣにおけるＳＤおよびＨＤ解像度の２つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更（スケーラビリティをサポートしない場合と比較して）が必要である。スケーラビリティサポートは、ＶＶＣバージョン１に規定されている。ＡＶＣおよびＨＥＶＣの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、ＶＶＣのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームの復号能力は、ビットストリームに１つのレイヤしかなかったかの如く規定される。例えば、ＤＰＢサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しないように規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームを復号することができるようにするために、多くの変更を必要としない。ＡＶＣおよびＨＥＶＣの多層拡張の設計と比較して、ＨＬＳの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、ＩＲＡＰ ＡＵは、ＣＶＳに存在する各レイヤの画像を含むことが必要である。

３．５ サブピクチャに基づくビューポート依存の３６０°映像ストリーミング
３６０°映像のストリーミング、すなわち、全方向性映像のストリーミングにおいて、任意の特定の瞬間に、全方向性映像球体全体のサブセット（すなわち、現在のビューポート）のみがユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを変更し、その結果、現在のビューポートを変更することができる。クライアント側が現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、かつユーザにレンダリングする準備ができていることが望ましいが、ユーザが突然その視線方向を球面上の任意の場所に変えた場合に備えて、すぐにユーザにレンダリングされている現在のビューポートに対してのみ、全方向性映像の高品質表現が必要となる。全方位映像全体の高品質表現を適切な粒度でサブピクチャに分割することにより、このような最適化が有効化される。ＶＶＣを使用して、２つの表現は、互いに独立した２つのレイヤとして符号化され得る。

典型的なサブピクチャに基づくビューポートに依存する３６０°の映像配信方式が図１１に示されており、ここでは、フル映像のより高い解像度の表現がサブピクチャからなり、一方、フル映像のより低い解像度の表現は、サブピクチャを使用せず、より高い解像度の表現よりも頻度の低いランダムアクセスポイントでコーディングできる。クライアントは低解像度のフル映像を受信し、より高い解像度の映像については、現在のビューポートをカバーするサブピクチャのみを受信して復号する。

また、最近のＶＶＣ草案の仕様は、図１２に示すように、改善された３６０°映像コーディング方式をサポートする。図１１に示されたアプローチと比較した唯一の相違は、図１２に示されたアプローチに対してレイヤ間予測（ＩＬＰ）が適用されることである。

３．６． パラメータセット
ＡＶＣ、ＨＥＶＣ、ＶＶＣはパラメータ集合を規定する。パラメータセットのタイプは、ＳＰＳ、ＰＰＳ、ＡＰＳ、ＶＰＳ等である。ＳＰＳ、ＰＰＳは、ＡＶＣ、ＨＥＶＣ、ＶＶＣのすべてでサポートされている。ＶＰＳは、ＨＥＶＣから導入されたものであり、ＨＥＶＣおよびＶＶＣの両方に含まれる。ＡＰＳは、ＡＶＣまたはＨＥＶＣに含まれていなかったが、最近のＶＶＣ草案のテキストに含まれている。

ＳＰＳは、シーケンスレベルのヘッダ情報を伝送するように設計され、ＰＰＳは、頻繁に変化しないピクチャレベルのヘッダ情報を伝送送するように設計された。ＳＰＳおよびＰＰＳを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、ＳＰＳおよびＰＰＳを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。

ＶＰＳは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。

ＡＰＳは、コーディングするためのかなりのビットを必要とし、複数のピクチャによって共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、そのようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。

３．７． プロファイル、ティアおよびレベル
映像コーディング規格は、通常、プロファイルおよびレベルを規定する。一部の映像コーディング規格は、ＨＥＶＣや開発中のＶＶＣなどのティアも規定する。

プロファイル、ティア、およびレベルは、ビットストリームに対する制限を規定し、従ってビットストリームを復号するのに必要な能力を制限する。プロファイル、ティア、およびレベルは、個々のデコーダ実装間の相互運用性を示すために使用されてもよい。

各プロファイルは、そのプロファイルに準拠するすべてのデコーダによってサポートされるべきアルゴリズムの特徴および制限のサブセットを規定する。なお、エンコーダは、１つのプロファイルにサポートされるすべての特定または特徴を使用する必要がなく、１つのプロファイルに準拠したデコーダは、すべてのコーディングツールまたは特徴をサポートする必要がある。

１つのティアの各レベルは、ビットストリーム構文要素がとりうる値の制限のセットを規定する。同じティアおよびレベル定義のセットは、通常、すべてのプロファイルで使用されるが、個々の実装は、異なるティアをサポートしてもよく、ティア内では、サポートされる各プロファイルごとに異なるレベルをサポートしてもよい。任意の所与のプロファイルの場合、１つのティアのレベルは、一般的に、特定のデコーダ処理負荷およびメモリ能力に対応する。

映像コーデック仕様に準拠した映像デコーダの能力は、映像コーデック仕様において規定されたプロファイル、ティア、およびレベルの制約に準拠した映像ストリームの復号能力によって規定される。規定されたプロファイルのためのデコーダの能力を表現するとき、そのプロファイルにサポートされるティアおよびレベルもまた表現されるべきである。

３．８． ＶＶＣにおけるサブピクチャシーケンスのためのレベル情報の規定および信号通知
最近のＶＶＣ草案テキストにおいて、ＶＶＣにおけるサブピクチャシーケンスのレベル情報の規定および信号通知は、サブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージによるものであり、ＶＶＣのＣ．７項で規定されるサブピクチャサブビットストリーム抽出処理を適用することで、ビットストリームからサブピクチャシーケンスを抽出することができる。

最近のＶＶＣ草案テキストにおけるサブピクチャレベル情報ＳＥＩメッセージの構文およびセマンティクスは、以下のとおりである。

Ｄ．７．１ サブピクチャレベル情報ＳＥＩメッセージ構文

Ｄ．７．２ サブピクチャレベル情報ＳＥＩメッセージセマンティクス
サブピクチャレベル情報ＳＥＩメッセージは、付録Ａに従ってサブピクチャシーケンスを含む抽出されたビットストリームの適合性を試験する場合に、ビットストリームにおけるサブピクチャシーケンスが適合するレベルに関する情報を含む。
ＣＬＶＳの任意のピクチャにサブピクチャレベル情報ＳＥＩメッセージが存在する場合、ＣＬＶＳの第１のピクチャに対してサブピクチャレベル情報ＳＥＩメッセージが存在するものとする。サブピクチャレベル情報ＳＥＩメッセージは、現在のレイヤについて、現在のピクチャからＣＬＶＳの終わりまで復号順で持続する。同じＣＬＶＳに適用されるすべてのサブピクチャレベル情報ＳＥＩメッセージは、同じコンテンツを有するものとする。１つのサブピクチャシーケンスは、１つのＣＬＶＳ内のすべてのサブピクチャで構成され、これらのサブピクチャは同じサブピクチャインデックス値を有する。
１つのＣＬＶＳに対して１つのサブピクチャレベル情報ＳＥＩメッセージが存在する場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値は、０～ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の範囲内にある各ｉの値において、１に等しいものとすることが、ビットストリーム適合性の要件である。

変数ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］は、（ｓｐｓ＿ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｊ］＋１）＊ＣｔｂＳｉｚｅＹ＊（ｓｐｓ＿ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｊ］＋１）＊ＣｔｂＳｉｚｅＹと等しく設定される。
ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］が存在しない場合、その値は、Ｃｅｉｌ（２５６＊ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］÷ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ＊ＭａｘＬｕｍａＰｓ（ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃ）÷ＭａｘＬｕｍａＰｓ（ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］）－１に等しいと推論される。
変数ＬａｙｅｒＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］は、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１に等しく設定される。
変数ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］は、ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］＋（２５６－ｓｌｉ＿ｎｏｎ＿ｓｕｂｐｉｃ＿ｌａｙｅｒｓ＿ｆｒａｃｔｉｏｎ［ｉ］）÷２５６＊（ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｆｒａｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１）に等しく設定される。
変数ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］およびＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］は、以下のように導出される。
ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６） （Ｄ．６）
ＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＭａｘＣＰＢ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６） （Ｄ．７）
Ａ．４．２項で規定されるように、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］から導出されたＭａｘＣＰＢを用いる。
変数ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］およびＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］は、以下のように導出される。
ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＶｃｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［０］［ｊ］÷２５６） （Ｄ．８）
ＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］＝Ｆｌｏｏｒ（ＣｐｂＮａｌＦａｃｔｏｒ＊ＶａｌＢＲ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［０］［ｊ］÷２５６） （Ｄ．９）
ここで、ＶａｌＢＲの値は、以下のように導出される。
－ＶＰＳまたはＳＰＳにおけるそれぞれのＨＲＤパラメータにおいてｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［Ｈｔｉｄ］［ＳｃＩｄｘ］が利用可能である場合、ＶａｌＢＲは、（ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１［Ｈｔｉｄ］［ＳｃＩｄｘ］＋１）＊２^{（６＋ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ）}に等しく設定され、ここでＨｔｉｄは考慮されたサブレイヤインデックス、ＳｃＩｄｘは考慮されたスケジュールインデックスである。
－そうでない場合、ＶａｌＢＲは、Ａ．４．２項で規定されるように、ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［０］から導出されたＭａｘＢＲに等しく設定される。
注記１－サブピクチャを抽出するとき、結果として得られるビットストリームは、ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］およびＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］以上のＣｐｂＳｉｚｅ（ＶＰＳ、ＳＰＳのいずれかに示される、または推論される）と、ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］およびＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］以上のＢｉｔＲａｔｅ（ＶＰＳ、ＳＰＳのいずれかに示される、または推論される）を有する。
抽出処理への入力ビットストリームにおいて、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が０より大きいレイヤから、ｊが０からｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１までの範囲内にあるｊ番目のサブピクチャを、０より大きいｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１を有するレイヤから抽出し、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇが０に等しく、ｌｅｖｅｌがｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］（ｉは０からｎｕｍ＿ｒｅｆ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１の範囲）に等しいプロファイルに適合することによって得られるビットストリーム中の各レイヤは、付録Ｃで規定される各ビットストリーム適合性試験において、以下の制約に従うものとするのがビットストリーム適合性の要件である。
－Ｃｅｉｌ（２５６＊ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］÷ＬａｙｅｒＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）は、ＭａｘＬｕｍａＰｓ以下であるものとする。ここで、ＭａｘＬｕｍａＰｓは、レベルｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］に対して表Ａ．１で規定されている。
－Ｃｅｉｌ（２５６＊（ｓｐｓ＿ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｊ］＋１）＊ＣｔｂＳｉｚｅＹ÷ＬａｙｅｒＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）の値は、Ｓｑｒｔ（ＭａｘＬｕｍａＰｓ＊８）以下であるものとする。
－Ｃｅｉｌ（２５６＊（ｓｐｓ＿ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｊ］＋１）＊ＣｔｂＳｉｚｅＹ÷ＬａｙｅｒＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）の値は、Ｓｑｒｔ（ＭａｘＬｕｍａＰｓ＊８）以下であるものとする。
－ＳｕｂｐｉｃＷｉｄｔｈＩｎＴｉｌｅｓ［ｊ］の値は、ＭａｘＴｉｌｅＣｏｌｓ以下であり、ＳｕｂｐｉｃＨｅｉｇｈｔＩｎＴｉｌｅｓ［ｊ］の値は、ＭａｘＴｉｌｅＲｏｗｓ以下であるものとする。ここで、ＭａｘＴｉｌｅＣｏｌｓおよびＭａｘＴｉｌｅＲｏｗｓは、レベルｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］に対して表Ａ．１で規定されている。
－ＳｕｂｐｉｃＷｉｄｔｈＩｎＴｉｌｅｓ［ｊ］＊ＳｕｂｐｉｃＨｅｉｇｈｔＩｎＴｉｌｅｓ［ｊ］の値は、ＭａｘＴｉｌｅＣｏｌｓ＊ＭａｘＴｉｌｅＲｏｗｓ＊ＬａｙｅｒＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］以下であるものとする。ここで、ＭａｘＴｉｌｅＣｏｌｓおよびＭａｘＴｉｌｅＲｏｗｓは、レベルｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］に対して表Ａ．１で規定されている。
ｊが０からｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１までの範囲内にあるｊ番目のサブピクチャを抽出し、ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇが０に等しく、レベルがｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］（ｉは０からｓｌｉ＿ｎｕｍ＿ｒｅｆ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１の範囲）に等しいプロファイルに適合することによって得られる各レイヤは、付録Ｃで規定される各ビットストリーム適合性試験において、以下の制約に従うものとするのがビットストリーム適合性の要件である。
－ＡＵ０のＳｕｂｐｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹの値について、ｊ番目のサブピクチャに対応するＡＵ０のＮｕｍＢｙｔｅｓＩｎＮａｌＵｎｉｔ変数の合計は、ＡＵ０のＳｕｂｐｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹの値に対して、ＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒ＊（Ｍａｘ（ＳｕｂｐｉｃＳｉｚｅＹ［ｊ］，ｆＲ＊ＭａｘＬｕｍａＳｒ＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷２５６）＋ＭａｘＬｕｍａＳｒ＊（ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［０］－ＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［０］）＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］）÷（２５６＊ＭｉｎＣｒ）以下とする。ここで、ＭａｘＬｕｍａＳｒとＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒは、レベルｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］においてそれぞれ、ＡＵ０に適用される表Ａ．２および表Ａ．３で規定された値であり、ＭｉｎＣｒは、Ａ．４．２に示したように導出される。
－ＡＵ０のＳｕｂｐｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹの値について、ｊ番目のサブピクチャに対応するＡＵｎ（ｎは０より大きい）のＮｕｍＢｙｔｅｓＩｎＮａｌＵｎｉｔ変数の合計は、ＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒ＊ＭａｘＬｕｍａＳｒ＊（ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］－ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｎ－１］）＊ＯｌｓＲｅｆＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］［ｊ］÷（２５６＊ＭｉｎＣｒ）以下とする。ここで、ＭａｘＬｕｍａＳｒとＦｏｒｍａｔＣａｐａｂｉｌｉｔｙＦａｃｔｏｒは、レベルｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］において、それぞれＡＵｎに適用される表Ａ．２および表Ａ．３で規定された値であり、ＭｉｎＣｒは、Ａ．４．２に示したように導出される。
サブピクチャシーケンスレベルインジケータＳｕｂｐｉｃＬｅｖｅｌＩｄｃの値は、以下のように導出される。
ＳｕｂｐｉｃＬｅｖｅｌＩｄｃ＝ｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃ
ＳｕｂｐｉｃＬｅｖｅｌＩｄｘ＝０
ｆｏｒ（ｉ＝ｎｕｍ＿ｒｅｆ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１；ｉ＞＝１；ｉ－－）
ｉｆ（ＯｌｓＬｅｖｅｌＦｒａｃｔｉｏｎ［ｉ］＜＝２５６）｛
ＳｕｂｐｉｃＬｅｖｅｌＩｄｃ＝ｓｌｉ＿ｒｅｆ＿ｌｅｖｅｌ＿ｉｄｃ［ｉ］
ＳｕｂｐｉｃＬｅｖｅｌＩｄｘ＝ｉ
｝ （Ｄ．１０）
ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇが０に等しく、かつＳｕｂｐｉｃＬｅｖｅｌＩｄｃに等しいレベルを有するプロファイルに準拠するサブピクチャシーケンスビットストリームは、付録Ｃで規定されるように、各ビットストリーム適合性試験のための以下の制約に従うものとする。
－ＶＣＬ ＨＲＤパラメータの場合、ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］は、ＣｐｂＶｃｌＦａｃｔｏｒ＊ＭａｘＣＰＢ以下とする。ここで、表Ａ．３にＣｐｂＶｃｌＦａｃｔｏｒを規定し、表Ａ．１にＭａｘＣＰＢをＣｐｂＶｃｌＦａｃｔｏｒビットの単位で規定される。
－ＮＡＬ ＨＲＤパラメータの場合、ＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］は、ＣｐｂＮａｌＦａｃｔｏｒ＊ＭａｘＣＰＢ以下とする。ここで、表Ａ．３にＣｐｂＮａｌＦａｃｔｏｒを規定し、表Ａ．１にＭａｘＣＰＢをＣｐｂＮａｌＦａｃｔｏｒビットの単位で規定される。
－ＶＣＬ ＨＲＤパラメータの場合、ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］は、ＣｐｂＶｃｌＦａｃｔｏｒ＊ＭａｘＢＲ以下とする。ここで、表Ａ．３にＣｐｂＶｃｌＦａｃｔｏｒを規定し、表Ａ．１にＭａｘＢＲをＣｐｂＶｃｌＦａｃｔｏｒビットの単位で規定される。
－ＮＡＬ ＨＲＤパラメータの場合、ＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］は、ＣｐｂＮａｌＦａｃｔｏｒ＊ＭａｘＢＲ以下とする。ここで、表Ａ．３にＣｐｂＮａｌＦａｃｔｏｒを規定し、表Ａ．１にＭａｘＢＲをＣｐｂＮａｌＦａｃｔｏｒビットの単位で規定される。
注記２－サブピクチャシーケンスが抽出されるとき、結果として得られるビットストリームは、ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ［ｉ］［ｊ］およびＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ［ｉ］［ｊ］以上のＣｐｂＳｉｚｅ（ＶＰＳ、ＳＰＳのいずれかに示される、または推論される）と、ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ［ｉ］［ｊ］およびＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌ［ｉ］［ｊ］以上のＢｉｔＲａｔｅ（ＶＰＳ、ＳＰＳのいずれかに示される、または推論される）を有する。

４． 開示される技術的解決策によって解決される技術課題
既存のサブピクチャシーケンスのレベル情報の規定および信号通知のためのＶＶＣ設計は、以下の問題を有する。

（１）ＳＬＩ ＳＥＩメッセージは、最も高いＴｅｍｐｏｒａｌＩｄの値に関わらず、サブピクチャシーケンスのための単一のレベル情報のセットのみを信号通知する。しかしながら、１つのピクチャにつき１つのサブピクチャを有するビットストリームと同様に、異なるサブレイヤ表現は、異なるレベルに準拠してもよい。

（２）ＳＬＩ ＳＥＩメッセージは、ビットストリームに含まれている場合のみ利用可能であるように規定される。しかしながら、パラメータセットおよび他のＨＲＤ関連ＳＥＩメッセージと同様に、ＳＬＩ ＳＥＩメッセージはまた、外部手段によって利用可能にされるべきである。

（３）ＳＬＩ ＳＥＩメッセージの持続性範囲は、１つのＣＶＳ内にあるように規定される。しかし、ほとんどの場合、ＳＬＩ ＳＥＩメッセージは、多数の連続したＣＶＳに適用され、しばしばビットストリーム全体に適用される。

（４）サブピクチャシーケンスの定義は、１つのピクチャ当たり１つのサブピクチャを有するレイヤが１つ以上存在する場合を含まない。

（５）１つのＣＶＳに対して１つのＳＬＩ ＳＥＩメッセージが存在する場合、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は、１つのピクチャ当たり複数のサブピクチャを有するレイヤ内のピクチャによって参照されるすべてのＳＰＳに対して同じであることを要件とする制約が欠落している。そうでない場合、ｓｌｉ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値がｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値に等しいことを要件とすることが意味をなさない。

（６）ｓｌｉ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１のセマンティクスは、ピクチャごとに複数のサブピクチャを有するレイヤ１つ以上が存在する場合には機能しない。

（７）同じ元のビットストリームから抽出された異なるサブピクチャシーケンスは異なるレベルに準拠することができるので、変数ＳｕｂｐｉｃＬｅｖｅｌＩｄｃおよびＳｕｂｐｉｃＬｅｖｅｌＩｄｘは、サブピクチャシーケンス固有であるように規定される必要がある。

５．解決策および実施形態の一覧
上記課題を解決するために、以下に示す方法が開示されている。本発明は、一般的な概念を説明するための例と見なされるべきであり、狭義に解釈されるべきではない。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよい。
１）第１の問題を解決するために、ｓｌｉ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１、ｓｌｉ＿ｓｕｂｌａｙｅｒ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、および信号通知された部分および参照レベル指標のサブレイヤのループを追加し、ＰＴＬ構文構造におけるレベル情報の信号通知と整合性をとる。
ａ．一例において、さらに、ｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇもまたサブレイヤに固有にされ、すなわち、ｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ［ｋ］に変更され、サブレイヤのためにループ内に移動される。
ｉ．一例において、さらに、下位サブレイヤのｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ［ｋ］が存在しない場合、ｓｌｉ＿ｃｂｒ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ［ｋ＋１］に等しいと推論される。
ｂ．一例において、さらに、下位サブレイヤのための分数または参照レベル指標が存在しない場合、次の上位サブレイヤのためのものと同じであると推論される。
２）第２の問題を解決するために、ＳＬＩ ＳＥＩメッセージがビットストリームに含まれているか、または外部手段によって提供されるかのいずれかで、パラメータセットおよび他の３つの適合性／ＨＲＤ関連のＳＥＩメッセージ、即ちＰＴ、ＢＰ、ＤＵＩ ＳＥＩメッセージと整合性をとることを可能にする。
３）第３の問題を解決するために、持続性範囲を１つのＣＶＳから１つ以上のＣＶＳに変更し、レベル情報が信号通知されるまたは信号通知されてもよいＶＰＳおよびＳＰＳと整合性を取るようにする。
４）第４の問題を解決するため、１つのピクチャにつき１つのサブピクチャを有するレイヤが１つ以上存在する場合を含むように、サブピクチャシーケンスの定義を変更する。
５）第５の問題を解決するために、１つのＣＶＳに対して１つのＳＬＩ ＳＥＩメッセージが存在する場合、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は、１つのピクチャ当たり複数のサブピクチャを有するレイヤ内のピクチャによって参照されるすべてのＳＰＳに対して同じであることを要件とする。
６）第６の問題を解決するために、ｓｌｉ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１のセマンティクスを、構文要素が１つのピクチャ当たり複数のサブピクチャを有するレイヤのサブピクチャに関するものとなるように規定する。
７）第７の問題を解決するために、ＳＬＩ ＳＥＩメッセージのセマンティクスにおける最後の制約セットにおいて、変数ＳｕｂｐｉｃＬｅｖｅｌＩｄｃおよびＳｕｂｐｉｃＬｅｖｅｌＩｄｘの両方並びに配列ＳｕｂｐｉｃＣｐｂＳｉｚｅＶｃｌ、ＳｕｂｐｉｃＣｐｂＳｉｚｅＮａｌ、ＳｕｂｐｉｃＢｉｔＲａｔｅＶｃｌ、およびＳｕｂｐｉｃＢｉｔＲａｔｅＮａｌに配列インデックス、サブピクチャシーケンスのインデックスを追加する。

６． 実施形態
以下は、本章の上記に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、ＶＶＣ仕様に適用できる。既に追加または修正された最も関連する部分には太字のイタリック体において下線を付し、削除された部分のうちのいくつかは、［［］］を使用して示す。

６．１． 実施形態１
本実施形態は、項目１～７およびその一部の小項目についてである。

Ｄ．７．１ サブピクチャレベル情報ＳＥＩメッセージ構文

Ｄ．７．２ サブピクチャレベル情報ＳＥＩメッセージセマンティクス

図５は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１９００を示すブロック図である。様々な実装形態は、システム１９００のコンポーネントの一部または全部を含んでもよい。システム１９００は、映像コンテンツを受信するための入力ユニット１９０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット１９０２は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、ＰＯＮ（Ｐａｓｓｉｖｅ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１９００は、本明細書に記載される様々なコーディングまたはエンコーディング方法を実装することができるコーディングコンポーネント１９０４を含んでもよい。コーディングコンポーネント１９０４は、入力１９０２からの映像の平均ビットレートをコーディングコンポーネント１９０４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力１９０２において受信された、記憶されたまたは通信された映像のビットストリーム（またはコーディングされた）表現は、コンポーネント１９０８によって使用されて、表示インターフェース１９１０に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダおよびそれに対応する、コーディングの結果を逆にするデコーデイングツールまたは動作が、デコーダによって行われることが理解されよう。

周辺バスインターフェースまたは表示インターフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）またはハイビジョンマルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図６は、映像処理装置３６００のブロック図である。装置３６００は、本明細書に記載の方法の１または複数を実装するために使用されてもよい。装置３６００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置３６００は、１つ以上の処理装置３６０２と、１つ以上のメモリ３６０４と、映像処理ハードウェア３６０６と、を含んでもよい。１つまたは複数の処理装置３６０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）３６０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア３６０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

図８は、本開示の技法を利用し得る例示的な映像符号化システム１００を示すブロック図である。

図８に示すように、映像コーディングシステム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元デバイス１１０は、符号化映像データを生成するものであり、映像符号化機器とも称され得る。送信先デバイス１２０は、送信元デバイス１１０によって生成された、符号化された映像データを復号してよく、映像復号デバイスと呼ばれ得る。

送信元デバイス１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を備えてもよい。

映像ソース１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１または複数のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データをエンコードし、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。エンコードされた映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を介して送信先デバイス１２０に直接送信されてよい。エンコードされた映像データは、送信先デバイス１２０がアクセスするために、記録媒体／サーバ１３０ｂに記憶してもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示装置１２２を含んでもよい。

Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂからエンコードされた映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データを復号してもよい。表示装置１２２は、復号された映像データをユーザに表示してもよい。表示装置１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示装置とインターフェースで接続するように構成される送信先デバイス１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像符号化（ＨＥＶＣ）規格、汎用映像符号化（ＶＶＶＭ）規格、および他の現在のおよび／またはさらなる規格等の映像圧縮規格に従って動作してもよい。

図９は、映像エンコーダ２００の一例を示すブロック図であり、この映像エンコーダ２００は、図８に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図９の実施例において、映像エンコーダ２００は、複数の機能性モジュールを含む。本開示で説明される技法は、映像エンコーダ２００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ２００の機能コンポーネントは、分割ユニット２０１、予測ユニット２０２、残差生成ユニット２０７、変換ユニット２０８、量子化ユニット２０９、逆量子化ユニット２１０、逆変換ユニット２１１、再構成ユニット２１２、バッファ２１３、およびエントロピー符号化ユニット２１４を含んでもよく、予測ユニット２０２は、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、およびイントラ予測ユニット２０６を含む。

他の例において、映像エンコーダ２００は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を実行してもよい。

さらに、動き推定ユニット２０４および動き補償ユニット２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図９の例においては別個に表現されている。

分割ユニット２０１は、ピクチャを１または複数の映像ブロックに分割してもよい。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択ユニット２０３は、例えば、誤りの結果に基づいて、イントラまたはインターのコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを、残差ブロックデータを生成するために残差生成ユニット２０７に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成するために再構成ユニット２１２に供給してもよい。いくつかの例において、モード選択ユニット２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うＣＩＩＰ（Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｉｎｔｒａ ａｎｄ Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）モードを選択してもよい。また、モード選択ユニット２０３は、インター予測の場合、ブロックの動きベクトルの解像度（例えば、サブピクセルまたは整数画素精度）を選択してもよい。

現在の映像ブロックに対してインター予測を行うために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックに対する動き情報を生成してもよい。動き補償ユニット２０５は、動き情報および現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの復号されたサンプルに基づいて、現在の映像ブロックに対する予測映像ブロックを決定してもよい。

動き推定ユニット２０４および動き補償ユニット２０５は、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかに基づいて、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例において、動き推定ユニット２０４は、現在の映像ブロックに対して単方向予測を実行し、動き推定ユニット２０４は、現在の映像ブロックに対する参照映像ブロックのために、リスト０またはリスト１の参照ピクチャを検索してもよい。動き推定ユニット２０４は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト０またはリスト１における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット２０４は、リスト０における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト１における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。動き推定ユニット２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。

いくつかの例において、動き推定ユニット２０４は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。

いくつかの例では、動き推定ユニット２０４は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット２０４は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ３００に示す値を示してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、指定された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技術の２つの例は、高度動きベクトル予測（ＡＭＶＰ）およびマージモード信号通知を含む。

イントラ予測ユニット２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット２０６が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット２０６は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成ユニット２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成ユニット２０７は、減算動作を行わなくてもよい。

変換処理ユニット２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１または複数の変換を適用することによって、現在の映像ブロックのための１または複数の変換係数映像ブロックを生成してもよい。

変換処理ユニット２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット２０９は、現在の映像ブロックに関連付けられた１または複数の量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化ユニット２１０および逆変換ユニット２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット２１２は、予測ユニット２０２によって生成された１または複数の予測映像ブロックに対応するサンプルに再構成された残差映像ブロックを追加して、バッファ２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成ユニット２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化ユニット２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット２１４がデータを受信した場合、エントロピー符号化ユニット２１４は、１または複数のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図１０は、映像デコーダ３００の一例を示すブロック図であり、この映像デコーダ３００は、図８に示すシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図１０の実施例において、映像デコーダ３００は、複数の機能モジュールを備える。本開示で説明される技法は、映像デコーダ３００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図１０の実施例において、映像デコーダ３００は、エントロピー復号ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、および再構成ユニット３０６、並びにバッファ３０７を備える。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図９）に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。

エントロピー復号ユニット３０１は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピー符号化された映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピー復号ユニット３０１は、エントロピー符号化された映像データを復号し、エントロピー復号された映像データから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット３０２は、例えば、ＡＭＶＰおよびマージモードを行うことで、このような情報を決定してもよい。

動き補償ユニット３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。

動き補償ユニット３０２は、映像ブロックのエンコーディング中に映像エンコーダ２００によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算してもよい。動き補償ユニット３０２は、受信した構文情報に基づいて、映像エンコーダ２００により使用される補間フィルタを決定し、予測ブロックを生成に補間フィルタを使用してしてもよい。

動き補償ユニット３０２は、エンコードされた映像シーケンスのフレームおよび／またはスライスをエンコードするために使用されるブロックのサイズを判定するための構文情報、エンコードされた映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのようにエンコードされるかを示すモード、各インターエンコードされたブロックに対する１つ以上の参照フレーム（および参照フレームリスト）、およびエンコードされた映像シーケンスをデコードするための他の情報のうちいくつかを使用してもよい。

イントラ予測ユニット３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット３０３は、ビットストリームに提供され、エントロピー復号ユニット３０１によって復号された量子化された映像ブロック係数を逆量子化（すなわち、逆量子化）する。逆変換ユニット３０３は、逆変換を適用する。

再構成ユニット３０６は、残差ブロックと、動き補償ユニット２０２またはイントラ予測ユニット３０３によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。デコードされた映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、表示デバイスに表示するためにデコードされた映像を生成する。

次に、いくつかの実施形態において好適な解決策を列挙する。

以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

１． １つ以上の映像サブレイヤを含む映像とこの映像のコーディングされた表現との間で変換を行うこと（７０２）を含み、コーディングされた表現はフォーマット規則に準拠し、このフォーマット規則は、このコーディングされた表現における多数のサブレイヤにまたがる構文構造と、この構文構造に含まれる各サブレイヤを示す１つ以上の構文フィールドとを含むように規定し、この構文構造は、信号通知された部分および参照レベル指標に関する情報を含む、映像処理方法（例えば、図７に示す方法７００）。

２． 前記フォーマット規則は、前記構文構造に明示的に含まれていない特定の部分が、次に高いサブレイヤと同じ値を有すると解釈されることを規定する、解決策１に記載の方法。

以下の解決策は、前章（例えば、項目２、５、６）で論じた技術の例示的な実施形態を示す。

３． １つ以上のサブピクチャを含む映像とこの映像のコーディングされた表現との間で変換を行うことを含み、この変換は、１つ以上のサブピクチャレベル情報のための補足強化情報を使用または生成する、映像処理方法。

４． 前記補足強化情報が前記コーディングされた表現に含まれる、解決策３に記載の方法。

５．前記補足強化情報は、前記コーディングされた表現から除外され、前記コーディングされた表現とは異なるメカニズムを使用して、符号化端と復号端との間で通信される、解決策３に記載の方法。

６． 前記コーディングされた表現は、各シーケンスパラメータセットにおいて、１つのピクチャ当たり複数のサブピクチャを有するレイヤにおいて、サブピクチャの数を示すシーケンスパラメータセットごとに同じ値を信号通知することを規定するフォーマット規則に準拠する、解決策４に記載の方法。

７． 前記変換は、前記映像を前記コーディングされた表現に符号化することを含む、解決策１～６のいずれかに記載の方法。

８． 前記変換は、前記映像の画素値を生成するために前記コーディングされた表現を復号することを含む、解決策１～６のいずれかに記載の方法。

９． 解決策１～８の１つ以上に記載の方法を実行するように構成された処理装置を備える、映像復号装置。

１０． 解決策１～８の１つ以上に記載の方法を実行するように構成された処理装置を備える、映像符号化装置。

１１． コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、プロセッサにより実行されると、前記プロセッサに、解決策１～８のいずれかに記載の方法を実行させるコンピュータプログラム製品。

１２． 本明細書に記載の方法、装置またはシステム。

図１３は、本技術の１つ以上の実施形態による映像データ処理の方法１３００を表すフローチャートである。方法１３００は、動作１３１０において、規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を含む映像とこの映像のビットストリームとの間で変換を行うことを含む。この規則は、サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージが、このＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含むことを規定する。ＳＬＩ ＳＥＩメッセージの構文構造は、（１）サブピクチャシーケンスのためのサブレイヤの最大数を規定する第１の構文要素と、（２）サブピクチャシーケンスのためのレベル情報が１つ以上のサブレイヤ表現のために存在するかどうかを規定する第２の構文要素と、（３）ビットストリームのレベル制限の一部にそれぞれ関連付けられた多数のサブレイヤのためのループと、各サブピクチャシーケンスが適合するレベルを示すレベル指標と、を含む。

いくつかの実施形態において、前記第１の構文要素の値は０から映像パラメータセットに示される最大サブレイヤ数マイナス１の範囲である。いくつかの実施形態において、第２の構文要素がビットストリームに含まれていないことに呼応して、第２の構文要素は０であると推論される。いくつかの実施形態において、１つのサブレイヤｋに関連付けられたビットストリームのレベル制限の一部が存在しないことに呼応して、この部分は１つのサブレイヤｋ＋１に関連する部分に等しいと推論される。いくつかの実施形態において、１つのサブレイヤｋに関連付けられたレベル指標が存在しないことに呼応して、前記レベル指標は１つのサブレイヤｋ＋１に関連付けられたレベル指標に等しいと推論される。

いくつかの実施形態において、前記構文構造は、各サブレイヤに対して、前記レベル指標に関連付けられたビットストリームのレベル制限の一部を規定する第３の構文要素をさらに含む。サブレイヤｋに関連付けられた第３の構文要素が存在しないことに呼応して、第３の構文要素は、サブレイヤｋ＋１に関連付けられた構文要素に等しいと推論される。いくつかの実施形態において、前記構文構造は、各々のサブピクチャシーケンスに信号通知される参照レベルの数を規定する第４の構文要素をさらに含む。いくつかの実施形態において、前記構文構造は、１つの仮想ストリームスケジューラ（ＨＳＳ）が１つのサブピクチャシーケンスに対して間欠ビットレートモードで動作するか或いは一定ビットレート（ＣＢＲ）モードで動作するかどうかを規定する第５の構文要素をさらに含む。

図１４は、本技術の１つ以上の実施形態による映像データ処理の方法１４００を表すフローチャートである。方法１４００は、動作１４１０において、規則に従って、１つ以上個の出力レイヤセット（ＯＬＳ）を有する映像の現在のアクセスユニットとこの映像のビットストリームとの間で変換を行うことを含む。この規則は、サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージが、このＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含むことを規定する。ＳＬＩ ＳＥＩメッセージは、現在のアクセスユニットから、ビットストリームの終わりまで、または、このＳＬＩ ＳＥＩメッセージとは異なるコンテンツを含む後続のＳＬＩ ＳＥＩメッセージを含む次のアクセスユニットまで、復号順に続く。

いくつかの実施形態において、この規則は、同じＣＶＳに適用可能なすべてのＳＬＩ ＳＥＩメッセージが同じコンテンツを有することを規定する。いくつかの実施形態において、前記ＳＬＩ ＳＥＩメッセージはビットストリームに含まれるか或いは外部手段により提供されることにより現在のアクセスユニットに存在する。いくつかの実施形態において、サブピクチャレベルの指標を示す第１の変数は、各々のサブピクチャシーケンスの値を含むように規定される。いくつかの実施形態において、サブピクチャレベルのインデックスを示す第２の変数は、各々のサブピクチャシーケンスの値を含むように規定される。

図１５は、本技術の１つ以上の実施形態による映像データ処理の方法１５００を表すフローチャートである。方法１５００は、動作１５１０において、規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を有する映像の現在のアクセスユニットとこの映像のビットストリームとの間で変換を行うことを含む。サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージは、ＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含む。１つ以上のＯＬＳにおける、サブピクチャの数が１よりも大きいことを示す参照シーケンスパラメータセットにおける変数を、マルチサブピクチャレイヤと呼ぶ。ＯＬＳのセットにおけるコーディングされた映像シーケンスは、対象コーディッド映像シーケンス（ＣＶＳ）と呼ばれる。この規則は、１つのサブピクチャシーケンスが、（１）同じサブピクチャインデックスを有しかつマルチサブピクチャレイヤにおけるレイヤに属する対象のＣＶＳ内のすべてのサブピクチャと、（２）０のサブピクチャインデックスを有しかつＯＬＳのレイヤに属するがマルチサブピクチャレイヤに属さない対象のＣＶＳにおけるすべてのサブピクチャとを含むことを規定する。

いくつかの実施形態において、前記ビットストリームは、１つのコーディッド映像シーケンスのために存在するＳＬＩ ＳＥＩメッセージに呼応して、マルチサブピクチャレイヤのピクチャにより参照されるすべてのシーケンスパラメータセットが同じ数のサブピクチャを有することを規定するフォーマット規則に基づいて規定する。いくつかの実施形態において、１つ以上のＯＬＳのコーディッド映像シーケンス（ＣＶＳ）の任意のアクセスユニットに対してＳＬＩ ＳＥＩメッセージが存在することに呼応して、この規則は、このＳＬＩ ＳＥＩメッセージがこのＣＶＳの第１のアクセスユニットに対して存在することを規定する。いくつかの実施形態において、ＳＬＩ ＳＥＩメッセージの構文構造における構文要素は、対象ＣＶＳにおけるマルチサブピクチャレイヤにおけるピクチャにおけるサブピクチャの数を規定する。

いくつかの実施形態において、変換は、映像をビットストリームに符号化することを含む。いくつかの実施形態において、変換は、ビットストリームから映像を復号することを含む。

本明細書に記載の解決策において、エンコーダは、フォーマット規則に従ってコーディングされた表現を生成することで、フォーマット規則に準拠することができる。本明細書に記載の解決策において、デコーダは、フォーマット規則に従って、構文要素の有無を知りつつ、コーディングされた表現における構文要素を構文解析することで、復号された映像を生成するために、このフォーマット規則を使用してもよい。

本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、かつビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、それに応じて、その構文フィールドを、コーディングされた表現に含めるか、またはコーディングされた表現から除外することによって、コーディングされた表現を生成してもよい。

本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１または複数の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報をエンコードするために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１または複数のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。コンピュータプログラムを、１つのコンピュータで実行するように展開することができ、あるいは、１つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの特徴を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１または複数の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および実施例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０２０年６月８日出願の米国特許仮出願第６３／０３６，３６５号の優先権および利益を主張する、２０２１年６月７日出願の国際特許出願第ＰＣＴ／ＵＳ２０２１／０３６２５７号に基づく。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (11)

1. 映像データを処理する方法であって、
   規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を有する映像の現在のアクセスユニットと前記映像のビットストリームとの間で変換を行うことを含み、
   サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージは、ＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含み、１つ以上のＯＬＳにおける、サブピクチャの数が１よりも大きいことを示す参照シーケンスパラメータセットにおける変数を、マルチサブピクチャレイヤと呼び、
   ＯＬＳのセットにおけるコーディッド映像シーケンスを、対象のコーディッド映像シーケンス（ＣＶＳ）と呼び、
   前記規則は、１つのサブピクチャシーケンスが、（１）同じサブピクチャインデックスを有し且つマルチサブピクチャレイヤにおけるレイヤに属する対象のＣＶＳ内のすべてのサブピクチャと、（２）０のサブピクチャインデックスを有し且つＯＬＳのレイヤに属するがマルチサブピクチャレイヤに属さない対象のＣＶＳにおけるすべてのサブピクチャとを含むことを規定する、方法。
2. 前記ビットストリームは、１つのコーディッド映像シーケンスに対して前記ＳＬＩ ＳＥＩメッセージが存在することに呼応して、前記マルチサブピクチャレイヤのピクチャにより参照されるすべてのシーケンスパラメータセットが同じ数のサブピクチャを有することを規定するフォーマット規則に基づいて規定する、請求項１に記載の方法。
3. １つ以上のＯＬＳのコーディッド映像シーケンス（ＣＶＳ）の任意のアクセスユニットに対してＳＬＩ ＳＥＩメッセージが存在することに呼応して、前記規則は、このＳＬＩ ＳＥＩメッセージがこのＣＶＳの第１のアクセスユニットに対して存在することを規定する、請求項１または請求項２に記載の方法。
4. ＳＬＩ ＳＥＩメッセージの構文構造における構文要素は、対象のＣＶＳにおけるマルチサブピクチャレイヤにおけるピクチャにおけるサブピクチャの数を規定する、請求項１から請求項３のいずれかに記載の方法。
5. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、請求項１から請求項４のいずれかに記載の方法。
6. 前記変換は、前記ビットストリームから前記映像を復号することを含む、請求項１から請求項４のいずれかに記載の方法。
7. 映像のビットストリームを記憶するための方法であって、
   規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を含む映像から前記映像のビットストリームを生成することと、
   前記生成されたビットストリームを記憶することと、を含み、
   サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージは、ＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含み、１つ以上のＯＬＳにおける、サブピクチャの数が１よりも大きいことを示す参照シーケンスパラメータセットにおける変数を、マルチサブピクチャレイヤと呼び、
   ＯＬＳのセットにおけるコーディッド映像シーケンスを、対象のコーディッド映像シーケンス（ＣＶＳ）と呼び、
   前記規則は、１つのサブピクチャシーケンスが、（１）同じサブピクチャインデックスを有し且つマルチサブピクチャレイヤにおけるレイヤに属する対象のＣＶＳ内のすべてのサブピクチャと、（２）０のサブピクチャインデックスを有し且つＯＬＳのレイヤに属するがマルチサブピクチャレイヤに属さない対象のＣＶＳにおけるすべてのサブピクチャと、を含むことを規定する、方法。
8. 請求項１から請求項７の１項以上に記載の方法を実装するように構成される処理装置を備える、
   映像復号装置。
9. 請求項１から請求項７の１項以上に記載の方法を実装するように構成される処理装置を備える、
   映像符号化装置。
10. コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、プロセッサにより実行されると、前記プロセッサに、請求項１から請求項７のいずれかに記載の方法を実装させるコンピュータプログラム製品。
11. 映像処理装置によって行われる方法によって生成される映像のビットストリームを記憶する、非一時的なコンピュータ可読記録媒体であって、前記方法は、
    規則に従って、１つ以上の出力レイヤセット（ＯＬＳ）を含む映像から映像のビットストリームを生成することと、
    前記生成されたビットストリームを記憶することと、を含み、
    サブピクチャレベル情報（ＳＬＩ）補足強化情報（ＳＥＩ）メッセージは、ＳＬＩ ＳＥＩメッセージが適用される１つ以上のＯＬＳのコーディッド映像シーケンスのセットにおけるサブピクチャシーケンスのレベルに関する情報を含み、１つ以上のＯＬＳにおける、サブピクチャの数が１よりも大きいことを示す参照シーケンスパラメータセットにおける変数を、マルチサブピクチャレイヤと呼び、
    ＯＬＳのセットにおけるコーディッド映像シーケンスを、対象のコーディッド映像シーケンス（ＣＶＳ）と呼び、
    前記規則は、１つのサブピクチャシーケンスが、（１）同じサブピクチャインデックスを有し且つマルチサブピクチャレイヤにおけるレイヤに属する対象のＣＶＳ内のすべてのサブピクチャと、（２）０のサブピクチャインデックスを有し且つＯＬＳのレイヤに属するがマルチサブピクチャレイヤに属さない対象のＣＶＳにおけるすべてのサブピクチャと、を含むことを規定する、非一時的なコンピュータ可読記録媒体。

Images