JP2023529421A - 映像コーディングにおける補足強化情報の制約 - Google Patents

Abstract

映像符号化および映像復号のためのいくつかの技術を説明している。映像データを処理するための例示的な方法は、映像と映像のビットストリームとの変換を行うことを含み、この変換は、特定のペイロードタイプに関連付けられていない補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージを含む補足強化情報ネットワーク抽象化レイヤユニットに応じて、補足強化情報ネットワーク抽象化レイヤユニットがプレフィクス補足強化情報ネットワーク抽象化レイヤユニットタイプに等しいネットワーク抽象化レイヤユニットタイプを含むことを規定するフォーマット規則に従って行われる。【選択図】図７

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年６月９日出願の米国特許仮出願第６３／０３６７４３号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許明細書は、画像および映像コーディングおよび復号に関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

本明細書は、映像エンコーダおよびデコーダが、映像または画像のコーディング表現を処理するために使用することができる技法を開示する。

１つの例示的な態様において、映像処理方法が開示される。この方法は、１つ以上のサブピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、フィラーペイロードを有する１つ以上の補足強化情報メッセージが、フォーマット規則に従って変換中に処理され、フォーマット規則は、フィラーペイロードを有するその１つ以上の補足強化情報メッセージがスケーラブルネスティング補足強化情報メッセージ内に存在することを許可しない。

別の例示的な態様において、映像処理方法が開示される。この方法は、映像と映像のビットストリームとの変換を行うことを含み、１つ以上の構文要素は、フォーマット規則に従って変換中に処理され、フォーマット規則は、この１つ以上の構文要素が、複数のサブピクチャを有するピクチャを有するこの映像のレイヤのサブピクチャ情報を示すために使用されることを規定する。

別の例示的な態様において、映像処理方法が開示される。この方法は、複数のサブピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、この変換中、フォーマット規則に従って、スケーラブルネスト型補足強化情報メッセージを処理し、このフォーマット規則は、１つ以上のサブピクチャインデックスを使用してこのスケーラブルネスト型補足強化情報メッセージに関連付けることを規定する。

別の例示的な態様において、映像処理方法が開示される。この方法は、フォーマット規則に従って、１つ以上のサブピクチャを有する映像とこの映像のビットストリームとの変換を行うことを含み、このフォーマット規則は、１つ以上のサブピクチャレベル情報の補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージに応じて、ビットストリームにおけるスケーラブルネスティング補足強化情報メッセージにおける第１の構文要素を特定の値に設定することを規定し、この第１の構文要素の特定の値は、このスケーラブルネスティング補足強化情報メッセージが規定の出力映像レイヤセットに適用される１つ以上のスケーラブルネスティング補足強化情報メッセージを含むことを示す。

別の例示的な態様において、映像処理方法が開示される。この方法は、複数のサブピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、この変換は、スケーラブルネスティング補足強化情報メッセージが、第１のペイロードタイプの第１の補足強化情報メッセージと第２のペイロードタイプの第２の補足強化情報メッセージとを含むことを許可しないことを規定するフォーマット規則に従う。

別の例示的な態様において、映像処理方法が開示される。この方法は、映像と映像のビットストリームとの間で変換を行うことを含み、この変換は、特定のペイロードタイプに関連付けられていない補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージを含む補足強化情報ネットワーク抽象化レイヤユニットに応じて、補足強化情報ネットワーク抽象化レイヤユニットがプレフィクス補足強化情報ネットワーク抽象化レイヤユニットタイプに等しいネットワーク抽象化レイヤユニットタイプを含むことを規定するフォーマット規則に従って行われる。

別の例示的な態様において、映像処理方法が開示される。この方法は、映像と映像のビットストリームとの変換を行うことを含み、この変換は、特定のペイロードタイプに関連付けられた補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージを含む補足強化情報ネットワーク抽象化レイヤユニットに応じて、補足強化情報ネットワーク抽象化レイヤユニットがサフィックス補足強化情報ネットワーク抽象化レイヤユニットタイプに等しいネットワーク抽象化レイヤユニットタイプを含むことを規定するフォーマット規則に従って行われる。

別の例示的な態様において、映像処理方法が開示される。この方法は、１つ以上のサブピクチャまたは１つ以上のサブピクチャシーケンスを含む映像と、映像のコーディング表現と、の変換を行うことを含み、コーディング表現は、スケーラブルネスト型補足強化情報（ＳＥＩ）がコーディング表現内に含まれているかどうか、またどのように含まれているかを規定するフォーマット規則に準拠する。

さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の１つをプロセッサが実行可能なコードの形式で実施する。

これらのおよび他の特徴は、本明細書全体にわたって説明される。

ピクチャのラスタスキャンスライス分割の例を示し、ピクチャは、１２個のタイルと３個のラスタスキャンスライスとに分割される。 ピクチャの矩形スライス分割の例を示し、ピクチャは、２４個のタイル（６個のタイル列および４個のタイル行）と９個の矩形スライスとに分割される。 タイルおよび矩形のスライスに分割されたピクチャの例を示し、ピクチャは、４つのタイル（２つのタイルの列および２つのタイルの行）と４つの矩形スライスとに分割される。 １５個のタイル、２４個のスライス、および２４個のサブピクチャに分割されたピクチャを示す。 映像処理システムの一例を示すブロック図である。 映像処理装置のブロック図である。 映像処理方法の一例を示すフローチャートである。 本開示のいくつかの実施形態による映像コーディングシステムを示すブロック図である。 本開示のいくつかの実施形態によるエンコーダを示すブロック図である。 本開示のいくつかの実施形態によるデコーダを示すブロック図である。 典型的なサブピクチャに基づくビューポート依存型の３６０°映像コーディング方式の例を示す。 サブピクチャおよび空間的スケーラビリティに基づくビューポート依存型３６０°映像コーディング方式を示す。 映像データ処理の方法の例を示すフローチャートである。 映像データ処理の方法の例を示すフローチャートである。 映像データ処理の方法の例を示すフローチャートである。 映像データ処理の方法の例を示すフローチャートである。 映像データ処理の方法の例を示すフローチャートである。 映像データ処理の方法の例を示すフローチャートである。 映像データ処理の方法の例を示すフローチャートである。

本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、Ｈ．２６６という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。本明細書において、編集変更は、ＶＶＣ規格の現在の草案に対して、取り消されたテキストを示す取り消し線および付加されたテキストを示すハイライト（太字のイタリック体を含む）によってテキストに示す。

１． 導入

本明細書は、映像コーディング技術に関する。具体的には、サブピクチャシーケンスのためのレベル情報を規定し、信号通知することに関する。本発明は、単層映像コーディングおよび多層映像コーディングに対応する任意の映像コーディング標準または非標準映像コーデック、例えば、開発中の汎用映像コーディング（ＶＶＣ）に適用されてもよい。

２． 略語

ＡＰＳ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（適応パラメータセット）
ＡＵ Ａｃｃｅｓｓ Ｕｎｉｔ（アクセスユニット）
ＡＵＤ Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ（アクセスユニット区切り文字）
ＡＶＣ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度映像コーディング）
ＢＰ Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ（バッファリング期間）
ＣＬＶＳ Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされたレイヤ映像シーケンス）
ＣＰＢ Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（コーディングされたピクチャバッファ）
ＣＲＡ Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ（クリーンランダムアクセス）
ＣＴＵ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（コーディングツリーユニット）
ＣＶＳ Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされた映像シーケンス）
ＤＰＢ Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（復号されたピクチャバッファ）
ＤＰＳ Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（復号パラメータセット）
ＤＵＩ Ｄｅｃｏｄｉｎｇ Ｕｎｉｔ Ｉｎｆｏｒｍａｔｉｏｎ（復号ユニット情報）
ＥＯＢ Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ（ビットストリーム終端）
ＥＯＳ Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ（シーケンス終端）
ＧＣＩ Ｇｅｎｅｒａｌ Ｃｏｎｓｔｒａｉｎｔｓ Ｉｎｆｏｒｍａｔｉｏｎ（一般的な制約情報）
ＧＤＲ Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（漸次的復号更新）
ＨＥＶＣ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率映像コーディング）
ＨＲＤ Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＤＲ Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（瞬時復号更新）
ＪＥＭ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＭＣＴＳ Ｍｏｔｉｏｎ－Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ（動き制約タイルセット）
ＮＡＬ Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ（ネットワーク抽象化レイヤ）
ＯＬＳ Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ（出力レイヤセット）
ＰＨ Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ（ピクチャヘッダ）
ＰＰＳ Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ピクチャパラメータセット）
ＰＴ Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ（ピクチャタイミング）
ＰＴＬ Ｐｒｏｆｉｌｅ，Ｔｉｅｒ ａｎｄ Ｌｅｖｅｌ（プロファイル、層およびレベル）
ＰＵ Ｐｉｃｔｕｒｅ Ｕｎｉｔ（ピクチャユニット）
ＲＲＰ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ（参照ピクチャ再サンプリング）
ＲＢＳＰ Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ（生バイトシーケンスペイロード）
ＳＥＩ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補足強化情報）
ＳＨ Ｓｌｉｃｅ Ｈｅａｄｅｒ（スライスヘッダ）
ＳＬＩ Ｓｕｂｐｉｃｔｕｒｅ Ｌｅｖｅｌ Ｉｎｆｏｒｍａｔｉｏｎ（サブピクチャレベル情報）
ＳＰＳ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（シーケンスパラメータセット）
ＳＶＣ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（スケーラブル映像コーディング）
ＶＣＬ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ（映像コーディングレイヤ）
ＶＰＳ Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（映像パラメータセット）
ＶＴＭ ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＶＶＣ試験モデル）
ＶＵＩ Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（映像ユーザビリティ情報）
ＶＶＣ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（汎用映像コーディング）

３． 初期の協議

映像コーディング規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えた将来の映像コーディング技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは四半期に１回開催され、新しいコーディング規格はＨＥＶＣに比べて５０％のビットレート低減を目指している。２０１８年４月のＪＶＥＴ会議において、新しい映像コーディング規格を「ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と正式に命名し、その時、第１版のＶＶＣ試験モデル（ＶＴＭ）をリリースした。ＶＶＣの標準化に寄与する努力が続けられているので、すべてのＪＶＥＴ会議において、ＶＶＣ標準に新しいコーディング技術が採用されている。毎回の会議の後、ＶＶＣ作業草案および試験モデルＶＴＭを更新する。ＶＶＣプロジェクトは、現在、２０２０年７月の会合における技術完成（ＦＤＩＳ）を目指している。

３．１ ＨＥＶＣにおけるピクチャ分割スキーム

ＨＥＶＣには、正規のスライス、従属スライス、タイル、ＷＰＰ（Ｗａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ）という４つの異なるピクチャ分割スキームがあり、これらを適用することで、最大転送ユニット（ＭＴＵ）サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。

正規のスライスは、Ｈ．２６４／ＡＶＣと同様である。各正規のスライスは、それ自体のＮＡＬユニットにカプセル化され、スライス境界にわたるインピクチャ予測（イントラサンプル予測、動き情報予測、コーディングモード予測）およびエントロピーコーディング依存性は無効化される。このように、１つの正規のスライスを、同じピクチャ内の他の正規のスライスとは独立して再構成することができる（しかし、ループフィルタリング動作のために依然として相互依存性がある場合がある）。

正規のスライスは、並列化に使用できる唯一のツールであり、Ｈ．２６４／ＡＶＣでもほぼ同じ形式で使用できる。正規のスライスに基づく並列化は、プロセッサ間通信またはコア間通信をあまり必要としない（予測コーディングされたピクチャを復号するとき、動き補償のためのプロセッサ間またはコア間データ共有を除いて、通常、インピクチャ予測のためにプロセッサ間またはコア間データ共有よりもはるかに重い）。しかしながら、同じ理由で、正規のスライスを使用すると、スライスヘッダのビットコストおよびスライス境界にわたる予測が欠如していることに起因して、かなりのコーディングのオーバーヘッドが発生する可能性がある。さらに、正規のスライスは（後述の他のツールとは対照的に）、正規のスライスのインピクチャの独立性および各正規のスライスがそれ自体のＮＡＬユニットにカプセル化されることに起因して、ＭＴＵサイズ要件に適応するようにビットストリームを分割するための鍵となるメカニズムとしても機能する。多くの場合、並列化の目標およびＭＴＵサイズマッチングの目標は、ピクチャにおけるスライスレイアウトに矛盾する要求を課す。このような状況を実現したことにより、以下のような並列化ツールが開発された。

従属スライスは、ショートスライスヘッダを有し、ピクチャ内予測を一切中断することなく、ツリーブロック境界でビットストリームを分割することを可能にする。基本的に、従属スライスは、正規のスライスを複数のＮＡＬユニットに断片化し、正規のスライス全体のエンコーディングが完了する前に正規のスライスの一部を送出することを可能にすることによって、エンドツーエンド遅延を低減する。

ＷＰＰにおいて、ピクチャは、単一行のコーディングツリーブロック（ＣＴＢ）に分割される。エントロピー復号および予測は、他の分割におけるＣＴＢからのデータを使用することを許可される。ＣＴＢ行の並列復号によって並列処理が可能であり、１つのＣＴＢ行の復号の開始が２つのＣＴＢだけ遅延され、それによって、対象のＣＴＢが復号される前に、対象のＣＴＢの上および右のＣＴＢに関するデータが確実に利用可能になる。この互い違いのスタート（グラフで表される場合、波面のように見える）を使用することで、ＣＴＢ行を含むピクチャと同じ数のプロセッサ／コアまで並列化することが可能である。１つのピクチャ内における近傍のツリーブロック行間のインピクチャ予測が許可されるので、インピクチャ予測を可能にするために必要なプロセッサ間／コア間通信は十分となり得る。ＷＰＰ分割は、適用されない場合と比較して、追加のＮＡＬユニットの生成をもたらさず、従って、ＷＰＰは、ＭＴＵサイズマッチングのためのツールではない。しかし、ＭＴＵサイズのマッチングが必要な場合、一定のコーディングのオーバーヘッドを伴って、ＷＰＰで正規のスライスを使用することができる。

タイルは、ピクチャをタイルの列および行に分割する水平および垂直境界を規定する。タイルの列は、ピクチャの上から下へと延びている。同様に、タイル行は、ピクチャの左から右に延びる。ピクチャにおけるタイルの数は、単にタイル列の数にタイル行の数を乗算することで得ることができる。

ピクチャのタイルラスタスキャンの順で次のタイルの左上のＣＴＢを復号する前に、ＣＴＢのスキャン順序は、タイル内でローカルになるように（タイルのＣＴＢラスタスキャンの順に）変更される。正規のスライスと同様に、タイルは、インピクチャ予測依存性およびエントロピー復号依存性を損なう。しかしながら、これらは、個々のＮＡＬユニット（この点でＷＰＰと同じ）に含まれる必要がなく、従って、タイルは、ＭＴＵサイズマッチングに使用できない。各タイルは、１つのプロセッサ／コアによって処理されてもよく、近傍タイルを復号する処理ユニット間のインピクチャ予測に必要なプロセッサ間／コア間通信は、スライスが２つ以上のタイルにまたがっている場合における共有スライスヘッダの伝達と、再構築されたサンプルおよびメタデータのループフィルタリングに関連する共有と、に限定される。１つのスライスに２つ以上のタイルまたはＷＰＰセグメントが含まれる場合、このスライスにおける第１のもの以外の各タイルまたはＷＰＰセグメントのエントリポイントバイトオフセットが、スライスヘッダにおいて信号通知される。

説明を簡単にするために、ＨＥＶＣにおいては、４つの異なるピクチャ分割方式の適用に関する制限が規定されている。所与のコーディングされた映像シーケンスは、ＨＥＶＣに指定されたプロファイルのほとんどについて、タイルおよび波面の両方を含むことができない。各スライスおよびタイルについて、以下の条件のいずれかまたは両方を満たさなければならない。１）１つのスライスにおけるすべてのコーディングされたツリーブロックは、同じタイルに属し、２）１つのタイルにおけるすべてのコーディングされたツリーブロックは、同じスライスに属する。最後に、１つの波面（ｗａｖｅｆｒｏｎｔ）セグメントはちょうど１つのＣＴＢ行を含み、ＷＰＰが使用されている際に、１つのスライスが１つのＣＴＢ行内で始まる場合、同じＣＴＢ行で終わらなければならない。

最近のＨＥＶＣの修正は、ＪＣＴ－ＶＣの出力文書であるＪＣＴＶＣ－ＡＣ１００５、Ｊ．ボイス、Ａ．ラマスブラモニアン、Ｒ．スクピン、Ｇ．Ｊ．スリヴァン、Ａ．トゥラピス、Ｙ．－Ｋ．ワング（ｅｄｉｔｏｒｓ），“ＨＥＶＣ追加の捕捉強化情報（Ｄｒａｆｔ４），”Ｏｃｔ．２４，２０１７，で規定され、下記で公的に入手可能である。hｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２９＿Ｍａｃａｕ／ｗｇ１１／ＪＣＴＶＣ－ＡＣ１００５－ｖ２．ｚｉｐ。この修正を含め、ＨＥＶＣは、３つのＭＣＴＳ関連ＳＥＩメッセージ、即ち、時間的ＭＣＴＳ ＳＥＩメッセージ、ＭＣＴＳ抽出情報セットＳＥＩメッセージ、およびＭＣＴＳ抽出情報ネスティングＳＥＩメッセージを特定する。

時間的ＭＣＴＳ ＳＥＩメッセージは、ビットストリーム中にＭＣＴＳが存在することを示し、ＭＣＴＳを信号通知する。各ＭＣＴＳにおいて、動きベクトルは、ＭＣＴＳ内部のフルサンプル位置と、補間のためにＭＣＴＳ内部のフルサンプル位置のみを必要とするフラクショナルサンプル位置とを指すように制限され、かつ、ＭＣＴＳ外部のブロックから導出された時間動きベクトル予測のための動きベクトル候補の使用は許可されない。このように、各ＭＣＴＳは、ＭＣＴＳに含まれていないタイルが存在せず、独立して復号されてもよい。

ＭＣＴＳ抽出情報セットＳＥＩメッセージは、ＭＣＴＳサブビットストリーム抽出（ＳＥＩメッセージの意味の一部として規定される）において使用され得る補足情報を提供し、ＭＣＴＳセットのための適合ビットストリームを生成する。この情報は、複数の抽出情報セットを含み、各抽出情報セットは、複数のＭＣＴＳセットを定義し、ＭＣＴＳサブビットストリーム抽出処理において使用される代替ＶＰＳ、ＳＰＳ、およびＰＰＳのＲＢＳＰバイトを含む。ＭＣＴＳサブビットストリーム抽出プロセスによってサブビットストリームを抽出する場合、パラメータセット（ＶＰＳ，ＳＰＳ，ＰＰＳ）を書き換えるかまたは置き換える必要があり、スライスヘッダをわずかに更新する必要があるが、その理由は、スライスアドレスに関連する構文要素の１つまたは全て（ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇおよびｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ａｄｄｒｅｓｓを含む）が、典型的に異なる値となる必要があるためである。

３．２． ＶＶＣにおけるピクチャの分割

ＶＶＣにおいて、１つのピクチャは、１または複数のタイル行および１または複数のタイル列に分割される。１つのタイルは、１つのピクチャの１つの矩形領域を覆う１つのＣＴＵのシーケンスである。１つのタイルにおけるＣＴＵは、そのタイル内でラスタスキャン順にスキャンされる。

１つのスライスは、１つのピクチャのタイル内において、整数個の完全なタイルまたは整数個の連続した完全なＣＴＵ行を含む。

スライスの２つのモード、即ちラスタスキャンスライスモードおよび矩形スライスモードがサポートされている。ラスタスキャンスライスモードにおいて、１つのスライスは、１つのピクチャのタイルラスタスキャンにおける１つの完全なタイルのシーケンスを含む。矩形スライスモードにおいて、１つのスライスは、ピクチャの矩形領域を集合的に形成する複数の完全なタイル、または、ピクチャの矩形領域を集合的に形成する１つのタイルの複数の連続した完全なＣＴＵ行、のいずれかを含む。矩形スライス内のタイルを、そのスライスに対応する矩形領域内で、タイルラスタスキャンの順にスキャンする。

１つのサブピクチャは、１つのピクチャの矩形領域を集合的に覆う１または複数のスライスを含む。

図１は、ピクチャのラスタスキャンスライス分割の例を示し、ピクチャは、１２個のタイルと３個のラスタスキャンスライスとに分割される。

図２は、ピクチャの矩形スライス分割の例を示し、ピクチャは、２４個のタイル（６個のタイル列および４個のタイル行）と９個の矩形スライスとに分割される。

図３は、タイルおよび矩形スライスに分割されたピクチャの例を示し、ピクチャは、４つのタイル（２つのタイルの列および２つのタイルの行）と４つの矩形スライスとに分割される。

図４は、１つのピクチャをサブピクチャで分割する例を示し、１つのピクチャは、１８個のタイルに分割され、左側の１２個が、４×４のＣＴＵの１つのスライスをそれぞれ含み、右側の６個のタイルが、２×２のＣＴＵの垂直方向に積み重ねられたスライスをそれぞれ含み、全体で２４個のスライスおよび２４個の異なる寸法のサブピクチャとなる（各スライスは、１つのサブピクチャ）。

３．３ シーケンス内のピクチャ解像度の変更

ＡＶＣおよびＨＥＶＣにおいて、ピクチャの空間的解像度は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限り、変更することができない。ＶＶＣは、常にイントラコーディングされたＩＲＡＰピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング（ＲＰＲ）と称する。

スケーリング比は、１／２（参照ピクチャから現在のピクチャへの２倍のダウンサンプリング）以上８（８倍のアップサンプリング）以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる３つのセットの再サンプリングフィルタを規定する。３つのセットの再サンプリングフィルタは、それぞれ、１／２～１／１．７５、１／１．７５～１／１．２５、および１／１．２５～８の範囲のスケーリング比に適用される。各セットの再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して１６個のフェーズを有し、彩度に対して３２個のフェーズを有する。実際には、通常のＭＣ補間プロセスは、１／１．２５～８の範囲のスケーリング比を有する再サンプリングプロセスの特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。

ＨＥＶＣとは異なる、この特徴をサポートするためのＶＶＣ設計の他の態様は、ｉ）ＳＰＳの代わりにＰＰＳにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、ＳＰＳにおいて最大ピクチャ解像度を信号通知すること、ｉｉ）単層ビットストリームの場合、各ピクチャストア（１つの復号ピクチャを記憶するためのＤＰＢにおける１つのスロット）は、最大ピクチャ解像度を有する復号ピクチャを記憶するために必要なバッファサイズを占めることを含む。

３．４ 全般およびＶＶＣにおけるスケーラブル映像コーディング（ＳＶＣ）

ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、時には、映像コーディングにおけるスケーラビリティとも呼ばれる）は、ＢＬ（Ｂａｓｅ Ｌａｙｅｒ：基本レイヤ）、時にはＲＬ（Ｒｅｆｅｒｅｎｃｅ Ｌａｙｅｒ：参照レイヤ）と呼ばれる）および１または複数のＥＬ：（Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ：スケーラブルエンハンスメントレイヤ）が使用される映像コーディングを参照する。ＳＶＣにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。１つ以上のエンハンスメントレイヤは、例えば、より高い空間的、時間的、および／または信号対雑音（ＳＮＲ）レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下層がＢＬとして機能し、上層がＥＬとして機能することができる。中間レイヤは、ＥＬまたはＲＬのいずれか、またはその両方として機能することができる。例えば、中間レイヤ（例えば、最下レイヤでも最上レイヤでもないレイヤ）は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在するエンハンスメントレイヤのためのＥＬであってもよく、同時に、中間レイヤの上の１つ以上のエンハンスメントレイヤのためのＲＬとしての役割を果たす。同様に、ＨＥＶＣ規格のマルチビューまたは３Ｄ拡張では、複数のビューが存在してもよく、１つのビューの情報を利用して別のビューの情報をコーディング（例えば、符号化または復号）してもよい（例えば、動き推定、動きベクトル予測および／または他の冗長性）。

ＳＶＣにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル（例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等）に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤの１つ以上のコーディング映像シーケンスによって利用できるパラメータは、映像パラメータセット（ＶＰＳ）に含まれてもよく、コーディング映像シーケンスにおける１つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット（ＳＰＳ）に含まれてもよい。同様に、１つのピクチャの１つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット（ＰＰＳ）に含まれてもよく、１つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。

ＶＶＣにおけるＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）のサポートにより、空間的スケーラビリティサポートに必要なアップサンプリングはＲＰＲアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、ＶＶＣにおけるＳＤおよびＨＤ解像度の２つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更（スケーラビリティをサポートしない場合と比較して）が必要である。スケーラビリティサポートは、ＶＶＣバージョン１に規定されている。ＡＶＣおよびＨＥＶＣの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、ＶＶＣのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームの復号能力は、ビットストリームに１つのレイヤしかなかったかの如く規定される。例えば、ＤＰＢサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しないように規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームを復号することができるようにするために、多くの変更を必要としない。ＡＶＣおよびＨＥＶＣの多層拡張の設計と比較して、ＨＬＳの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、ＩＲＡＰ ＡＵは、ＣＶＳに存在する各レイヤのピクチャを含むことが必要である。

３．５ サブピクチャに基づくビューポート依存の３６０°映像ストリーミング

３６０°映像のストリーミング、すなわち、全方向映像のストリーミングにおいて、任意の特定の瞬間に、全方向映像球体全体のサブセット（すなわち、現在のビューポート）のみがユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを変更し、その結果、現在のビューポートを変更することができる。クライアント側が利用可能な現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、かつ、ユーザが突然その視線方向を球面上の任意の場所に変えた場合に備えて、ユーザにレンダリングする準備ができていることが望ましいが、全方向映像の高品質表現は、すぐにユーザにレンダリングされている現在のビューポートに対してのみ必要となる。全方位映像全体の高品質表現を適切な粒度でサブピクチャに分割することにより、このような最適化が有効化される。ＶＶＣを使用して、２つの表現は、互いに独立した２つのレイヤとして符号化され得る。

典型的なサブピクチャに基づくビューポートに依存する３６０°の映像配信方式が図１１に示されており、ここでは、フル映像のより高い解像度の表現がサブピクチャからなり、一方、フル映像のより低い解像度の表現は、サブピクチャを使用せず、より高い解像度の表現よりも頻度の低いランダムアクセスポイントでコーディングできる。クライアントは低解像度のフル映像を受信し、より高い解像度の映像については、現在のビューポートをカバーするサブピクチャのみを受信して復号する。

また、最近のＶＶＣ草案の仕様は、図１２に示すように、改善された３６０°映像コーディング方式をサポートする。図１１に示されたアプローチと比較した唯一の相違は、図１２に示されたアプローチに対してレイヤ間予測（ＩＬＰ）が適用されることである。

３．６． パラメータセット

ＡＶＣ、ＨＥＶＣ、ＶＶＣはパラメータ集合を規定する。パラメータセットのタイプは、ＳＰＳ、ＰＰＳ、ＡＰＳ、およびＶＰＳを含む。ＳＰＳおよびＰＰＳは、ＡＶＣ、ＨＥＶＣおよびＶＶＣのすべてでサポートされている。ＶＰＳは、ＨＥＶＣから導入されたものであり、ＨＥＶＣおよびＶＶＣの両方に含まれる。ＡＰＳは、ＡＶＣまたはＨＥＶＣに含まれていなかったが、最近のＶＶＣ草案のテキストに含まれている。

ＳＰＳは、シーケンスレベルのヘッダ情報を担持するように設計され、ＰＰＳは、頻繁に変化しないピクチャレベルのヘッダ情報を担持するように設計された。ＳＰＳおよびＰＰＳを用いると、シーケンスまたはピクチャごとに頻繁に変化しない情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、ＳＰＳおよびＰＰＳを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。

ＶＰＳは、多層ビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。

ＡＰＳは、コーディングするためのかなりのビットを必要とし、複数のピクチャによって共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、そのようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。

３．７． ＶＶＣにおけるサブピクチャシーケンスのためのネストされたＳＥＩメッセージの規定および信号通知

最近のＶＶＣ草案テキストにおいて、ＶＶＣにおけるネストされたＳＥＩメッセージのサブピクチャシーケンスの規定および信号通知は、スケーラブルネスティングＳＥＩメッセージによって行われる。サブピクチャシーケンスは、サブピクチャレベル情報（ＳＬＩ）ＳＥＩメッセージの意味論において定義される。ＶＶＣのＣ．７項に規定されるサブピクチャサブビットストリーム抽出処理を適用することで、ビットストリームから１つのサブピクチャシーケンスを抽出することができる。

最近のＶＶＣ草案テキストにおけるスケーラブルネスティングＳＥＩメッセージの構文および意味論は、以下のとおりである。

Ｄ．６．１ スケーラブルネスティングＳＥＩメッセージ構文

Ｄ．６．２ スケーラブルネスティングＳＥＩメッセージ意味論

このスケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを特定のＯＬＳまたは特定のレイヤに関連付けるとともに、ＳＥＩメッセージを特定のサブピクチャのセットに関連付けるメカニズムを提供する。
スケーラブルネスティングＳＥＩメッセージは、１つ以上のＳＥＩメッセージを含む。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、スケーラブルネスト型ＳＥＩメッセージとも呼ばれる。
スケーラブルネスティングＳＥＩメッセージおけるＳＥＩメッセージの格納に以下の制約が適用されることは、ビットストリーム適合性の要件である。
－ｐａｙｌｏａｄＴｙｐｅが１３２に等しいＳＥＩメッセージ（復号ピクチャハッシュ）は、ｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇが１に等しいスケーラブルネスティングＳＥＩメッセージにのみ含まれるものとする。
－ｐａｙｌｏａｄＴｙｐｅが１３３に等しいＳＥＩメッセージ（スケーラブルネスティング）は、スケーラブルネスティングＳＥＩメッセージに含まれないものとする。
－スケーラブルネスティングＳＥＩメッセージがＢＰ、ＰＴまたはＤＵＩ ＳＥＩメッセージを含む場合、このスケーラブルネスティングＳＥＩメッセージは、ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）、１（ＰＴ）または１３０（ＤＵＩ）に等しくない他のＳＥＩメッセージを含まないものとする。
スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に以下の制限が適用されることは、ビットストリーム適合性の要件である。
－スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、１４５（ＤＲＡＰ指示）、または１６８（フレームフィールド情報）に等しいＳＥＩメッセージを含む場合、このスケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものとする。

１に等しいｓｎ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト型ＳＥＩメッセージが特定のＯＬＳに適用されることを規定する。０に等しいｓｎ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト型ＳＥＩメッセージが特定のレイヤに適用されることを規定する。ｓｎ＿ｏｌｓ＿ｆｌａｇの値に以下の制限が適用されることは、ビットストリーム適合性の要件である。
－スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）、１（ＰＴ）、または１３０（ＤＵＩ）に等しいＳＥＩメッセージを含む場合、ｓｎ＿ｏｌｓ＿ｆｌａｇの値は１に等しいものとする。
－スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔにおける値に等しいＳＥＩメッセージを含む場合、ｓｎ＿ｏｌｓ＿ｆｌａｇの値は０に等しいものとする。

１に等しいｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇは、規定されたＯＬＳまたはレイヤに適用されるスケーラブルネスト型ＳＥＩメッセージが、規定されたＯＬＳまたはレイヤの特定ののサブピクチャのみに適用されることを規定する。０に等しいｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇは、規定のＯＬＳまたはレイヤに適用されるスケーラブルネスト型ＳＥＩメッセージが、特定のＬＳまたはレイヤの全てのサブピクチャに適用されることを規定する。

ｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト型ＳＥＩメッセージが適用されるＯＬＳの数を規定する。ｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲内にあるものとする。

ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｓｎ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、スケーラブルネスト型ＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを規定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０からＴｏｔａｌＮｕｍＯｌｓｓ－２までの範囲内にあるものとする。
変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。
ｉｆ（ｉ＝＝０）
ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］＝ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］ （Ｄ．４）
ｅｌｓｅ
ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］＝ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ－１］＋ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］＋１

１に等しいｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト型ＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されることを規定する。０に等しいｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト型ＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されてもされなくてもよいことを規定する。

ｓｎ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト型ＳＥＩメッセージが適用されるレイヤの数を規定する。ｓｎ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の範囲内にあるものとする。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

ｓｎ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト型ＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を規定する。ｓｎ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいものとする。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。
ｓｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト型ＳＥＩメッセージが適用されるレイヤのｎｕｂｍｅｒを規定する変数ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ、および、スケーラブルネスト型ＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値のリストを規定するリストｎｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］（ｉは０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲である）は、以下のように導出される。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

ｉｆ（ｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）｛
ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ＝ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］
ｆｏｒ（ｉ＝０；ｉ＜ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ；ｉ＋＋）
ｎｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］＝ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］＋ｉ］（Ｄ．５）
｝ｅｌｓｅ｛
ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ＝ｓｎ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１
ｆｏｒ（ｉ＝０；ｉ＜ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ；ｉ＋＋）
ｎｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］＝（ｉ＝＝０）？ｎｕｈ＿ｌａｙｅｒ＿ｉｄ：ｓｎ＿ｌａｙｅｒ＿ｉｄ［ｉ］
｝

ｓｎ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト型ＳＥＩメッセージが適用されるサブピクチャの数を規定する。ｓｎ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は、ＣＬＶＳ内のピクチャが参照するＳＰＳにおけるｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値以下のものとする。

ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１＋１は、構文要素ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ［ｉ］を表すのに用いられるビット数を規定する。ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１の値は、０～１５の範囲内にあるものとする。
ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１の値は、１つのＣＬＶＳに存在するすべてのスケーラブルネスティングＳＥＩメッセージに対して同じであるものとすることが、ビットストリーム適合性の要件である。

ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ［ｉ］は、スケーラブルネスト型ＳＥＩメッセージに関連付けられたｉ番目のサブピクチャＩＤを示す。ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ［ｉ］の構文要素の長さは、ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１＋１ビットである。

ｓｎ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト型ＳＥＩメッセージの数を規定する。ｓｎ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、０～６３の範囲内にあるものとする。

ｓｎ＿ｚｅｒｏ＿ｂｉｔは、０に等しいものとする。

４． 開示される技術的解決策によって解決される技術課題

スケーラブルネスティングＳＥＩメッセージによって、サブピクチャおよびサブピクチャシーケンスのためにネストされたＳＥＩメッセージを規定し、信号通知するための既存のＶＶＣ設計は、以下の課題を有する。

１） スケーラブルネスティングＳＥＩメッセージを１つ以上のサブピクチャに関連付けるために、スケーラブルネスト型ＳＥＩメッセージは、サブピクチャＩＤを使用する。しかしながら、スケーラブルネスト型ＳＥＩメッセージの持続性の範囲は、多数の連続したＡＵであってもよく、１つのレイヤにおける特定のサブピクチャインデックスを有するサブピクチャのサブピクチャＩＤは、ＣＬＶＳ内で変化してもよい。そのため、サブピクチャＩＤを用いる代わりに、スケーラブルネスティングＳＥＩメッセージにおいてサブピクチャインデックスを使用するべきである。

２） フィラーペイロードＳＥＩメッセージは、存在する場合、関連付けられたサブピクチャが削除されるときに、サブピクチャサブビットストリーム抽出処理において、出力ビットストリームから削除する必要がある。しかしながら、スケーラブルネスティングＳＥＩメッセージにフィラーペイロードＳＥＩメッセージを含めることができる場合、サブピクチャサブビットストリーム抽出処理におけるフィラーペイロードＳＥＩメッセージを除去するには、スケーラブルネスティングＳＥＩメッセージから何らかのスケーラブルネスト型ＳＥＩメッセージを抽出することを必要とする場合がある。

３） ＳＬＩ ＳＥＩメッセージはＯＬＳに適用されるので、他の３つのＨＲＤ関連のＳＥＩメッセージ（即ち、ＢＰ／ＰＴ／ＤＵＩ ＳＥＩメッセージ）と同様に、ＳＬＩ ＳＥＩメッセージがスケーラブルネスト型である場合、ｓｎ＿ｏｌｓ＿ｆｌａｇの値は１に等しい必要がある。さらに、ＳＬＩ ＳＥＩメッセージは、このＳＬＩ ＳＥＩメッセージが適用されるＯＬＳ内のピクチャ内のすべてのサブピクチャの情報を規定するため、ＳＬＩ ＳＥＩメッセージを含むスケーラブルネスティングＳＥＩメッセージに対してｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が１に等しいことは意味がない。

４） スケーラブルネスティングＳＥＩメッセージがＢＰ、ＰＴ、ＤＵＩ、またはＳＬＩ ＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、または２０３（ＳＬＩ）でない他のＳＥＩメッセージを含まないものとすることを要求する制約が欠落している。

５） なお、１つのスケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、１４５（ＤＲＡＰ指示）、または１６８（フレームフィールド情報）に等しいＳＥＩメッセージを含む場合、このスケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴと等しいものとすることを規定する。しかし、多数の他のＳＥＩメッセージをネストするとき、スケーラブルネスティングＳＥＩメッセージの値は、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅも有することができる。

６） スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが１３２に等しい（復号されたピクチャハーシュ）ＳＥＩメッセージを含む場合、このスケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものとするという制約が欠落している。

７） ＯＬＳが、１ピクチャに複数のサブピクチャを持つレイヤと１ピクチャに１つのサブピクチャを持つレイヤとを持つ場合に対応できるように、ｓｎ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１とｓｎ＿ｓｕｂｐｉｃ＿ｉｄｘ［ｉ］の意味論は、１ピクチャに複数のサブピクチャを持つレイヤのサブピクチャに関する構文要素として規定する必要がある。

５． 解決策および実施形態の一覧

上記課題を解決するために、以下に示す方法が開示されている。解決策の項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。

１） 第１の課題を解決するために、スケーラブルネスティングＳＥＩメッセージにおいて、サブピクチャとスケーラブルネスト型ＳＥＩメッセージとを関連付けるためのサブピクチャインデックス（サブピクチャＩＤを用いる代わりに）を使用する。
ａ． 一例において、構文要素ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ［ｉ］をｓｎ＿ｓｕｂｐｉｃ＿ｉｄｘ［ｉ］に変更し、その結果、ｓｎ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１構文要素を削除する。

２） 第２の課題を解決するために、フィラーペイロードＳＥＩメッセージがスケーラブルネスト型であること、すなわち、スケーラブルネスティングＳＥＩメッセージに含めることが禁止される。

３）第３の課題を解決するため、スケーラブルネスティングＳＥＩメッセージが１つ以上のＳＬＩ ＳＥＩメッセージを含む場合、ｓｎ＿ｏｌｓ＿ｆｌａｇの値が１に等しくなるものとするように制約を加える。
ａ． 一例において、さらに、または代替的に、スケーラブルネスティングＳＥＩメッセージが１つ以上のＳＬＩ ＳＥＩメッセージを含む場合、ｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が０に等しくなるものとするように制約を加える。

４） 第４の課題を解決するため、スケーラブルネスティングＳＥＩメッセージがＢＰ、ＰＴ、ＤＵＩ、またはＳＬＩ ＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージは、ｐａｙｌｏａｄＴｙｐｅが０（ＢＰ）、１（ＰＴ）、１３０（ＤＵＩ）、または２０３（ＳＬＩ）に等しくない他のＳＥＩメッセージを含まないものとすることが要求される。

５） ５番目の課題を解決するため、スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが３（フィラーペイロード）または１３２（復号されたピクチャハッシュ）に等しくないＳＥＩメッセージを含む場合、このスケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴと等しいものとすることを規定する。

６） 第６の課題を解決するため、スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが１３２（復号されたピクチャハッシュ）に等しいＳＥＩメッセージを含む場合、このスケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものとするという制約を追加する。

７） 第７の課題を解決するため、ｓｎ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１およびｓｎ＿ｓｕｂｐｉｃ＿ｉｄｘ［ｉ］の意味論は、構文要素がピクチャ当たり複数のサブピクチャを有するレイヤのサブピクチャに関する情報を規定するように規定される。

６． 実施形態

６．１． 実施形態１

本実施形態は、項目１～５およびその一部の副項目についてである。

Ｄ．６．１ スケーラブルネスティングＳＥＩメッセージ構文

Ｄ．６．２ スケーラブルネスティングＳＥＩメッセージ意味論

このスケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを特定のＯＬＳまたは特定のレイヤに関連付けるとともに、ＳＥＩメッセージを特定のサブピクチャのセットに関連付けるメカニズムを提供する。
スケーラブルネスティングＳＥＩメッセージは、１つ以上のＳＥＩメッセージを含む。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、スケーラブルネスト型ＳＥＩメッセージとも呼ばれる。
スケーラブルネスティングＳＥＩメッセージおけるＳＥＩメッセージの格納に以下の制約が適用されることは、ビットストリーム適合性の要件である。

１に等しいｓｎ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト型ＳＥＩメッセージが特定のＯＬＳに適用されることを規定する。０に等しいｓｎ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト型ＳＥＩメッセージが特定のレイヤに適用されることを規定する。
ｓｎ＿ｏｌｓ＿ｆｌａｇの値に以下の制限が適用されることは、ビットストリーム適合性の要件である。

１に等しいｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇは、規定されたＯＬＳまたはレイヤに適用されるスケーラブルネスト型ＳＥＩメッセージが、規定されたＯＬＳまたはレイヤの特定ののサブピクチャのみに適用されることを規定する。０に等しいｓｎ＿ｓｕｂｐｉｃ＿ｆｌａｇは、規定のＯＬＳまたはレイヤに適用されるスケーラブルネスト型ＳＥＩメッセージが、特定のＬＳまたはレイヤの全てのサブピクチャに適用されることを規定する。

ｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト型ＳＥＩメッセージが適用されるＯＬＳの数を規定する。ｓｎ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲内にあるものとする。

ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｓｎ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、スケーラブルネスト型ＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを規定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０からＴｏｔａｌＮｕｍＯｌｓｓ－２までの範囲内にあるものとする。
変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。

ｉｆ（ｉ＝＝０）
ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］＝ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］ （Ｄ．４）
ｅｌｓｅ
ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］＝ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ－１］＋ｓｎ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］＋１

ｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しいことは、スケーラブルネスト型ＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されることを規定する。ｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しいことは、スケーラブルネスト型ＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されてもされなくてもよいことを規定する。

ｓｎ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト型ＳＥＩメッセージが適用されるレイヤの数を規定する。ｓｎ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の範囲内にあるものとする。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

ｓｎ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト型ＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を規定する。ｓｎ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいものとする。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。
ｓｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト型ＳＥＩメッセージが適用されるレイヤの数を規定する変数ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓおよびスケーラブルネスト型ＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを規定するリストＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］（ｉは０～ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲内にある）は、以下のように導出される。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

ｉｆ（ｓｎ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）｛
ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ＝ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］
ｆｏｒ（ｉ＝０；ｉ＜ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ；ｉ＋＋）
ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］＝ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］＋ｉ］ （Ｄ．５）
｝ｅｌｓｅ｛
ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ＝ｓｎ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１
ｆｏｒ（ｉ＝０；ｉ＜ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ；ｉ＋＋）
ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］＝（ｉ＝＝０）？ｎｕｈ＿ｌａｙｅｒ＿ｉｄ：ｓｎ＿ｌａｙｅｒ＿ｉｄ［ｉ］
｝

ｓｎ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト型ＳＥＩメッセージの数を規定する。ｓｎ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、０～６３の範囲内にあるものとする。

ｓｎ＿ｚｅｒｏ＿ｂｉｔは、０に等しいものとする。

図５は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１９００を示すブロック図である。様々な実装形態は、システム１９００のコンポーネントの一部または全部を含んでもよい。システム１９００は、映像コンテンツを受信するための入力１９０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力１９０２は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、ＰＯＮ（Ｐａｓｓｉｖｅ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１９００は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント１９０４を含んでもよい。コーディングコンポーネント１９０４は、入力１９０２からの映像の平均ビットレートをコーディングコンポーネント１９０４の出力に低減し、映像のコーディング表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力１９０２において受信された、記憶されたまたは通信された映像のビットストリーム（またはコーディングされた）表現は、コンポーネント１９０８によって使用されて、表示インターフェース１９１０に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダで使用され、コーディングの結果を逆にする対応する復号ツールまたは動作は、デコーダによって行われることが理解されよう。

周辺バスインターフェースまたは表示インターフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）またはハイビジョンマルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を実施可能な他のデバイス等の様々な電子デバイスにおいて実施されてもよい。

図６は、映像処理装置３６００のブロック図である。装置３６００は、本明細書に記載の方法の１または複数を実装するために使用されてもよい。装置３６００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置３６００は、１つ以上の処理装置３６０２と、１つ以上のメモリ３６０４と、映像処理ハードウェア３６０６と、を含んでもよい。１つまたは複数の処理装置３６０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）３６０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア３６０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

図８は、本開示の技法を利用し得る例示的な映像コーディングシステム１００を示すブロック図である。

図８に示すように、映像コーディングシステム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元デバイス１１０は、符号化映像データを生成するものであり、映像符号化機器とも称され得る。送信先デバイス１２０は、送信元デバイス１１０によって生成された、符号化された映像データを復号してよく、映像復号デバイスと呼ばれ得る。

送信元デバイス１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を備えてもよい。

映像ソース１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１または複数のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディング表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディング表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。エンコードされた映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を介して送信先デバイス１２０に直接送信されてよい。エンコードされた映像データは、送信先デバイス１２０がアクセスするために、記録媒体／サーバ１３０ｂに記憶してもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示デバイス１２２を含んでもよい。

Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂからエンコードされた映像データを取得してもよい。映像デコーダ１２４は、エンコードされた映像データを復号してもよい。表示デバイス１２２は、復号された映像データをユーザに表示してもよい。表示デバイス１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示デバイスとインターフェースで接続するように構成される送信先デバイス１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像（ＨＥＶＣ）規格、汎用映像符号化（ＶＶＭ）規格、および他の現在のおよび／またはさらなる規格等の映像圧縮規格に従って動作してもよい。

図９は、映像エンコーダ２００の一例を示すブロック図であり、この映像エンコーダ２００は、図８に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図９の実施例において、映像エンコーダ２００は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像エンコーダ２００の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ２００の機能コンポーネントは、分割ユニット２０１、予測ユニット２０２、残差生成ユニット２０７、変換ユニット２０８、量子化ユニット２０９、逆量子化ユニット２１０、逆変換ユニット２１１、再構成ユニット２１２、バッファ２１３、およびエントロピー符号化ユニット２１４を含んでもよく、予測ユニット２０２は、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、およびイントラ予測ユニット２０６を含んでもよい。

他の例において、映像エンコーダ２００は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を行うことができる。

さらに、動き推定ユニット２０４および動き補償ユニット２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図９の例においては別個に表現されている。

分割ユニット２０１は、ピクチャを１つ以上の映像ブロックに分割してもよい。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択ユニット２０３は、例えば、誤りの結果に基づいて、イントラまたはインターによるコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット２０７に供給し、残差ブロックデータを生成して再構成ユニット２１２に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うＣＩＩＰ（Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｉｎｔｒａ ａｎｄ Ｉｎｔｅｒ Ｐｒｅｄｉｃａｔｉｏｎ）モードを選択してもよい。モード選択ユニット２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセルまたは整数ピクセル精度）を選択してもよい。

現在の映像ブロックに対してインター予測を実行するために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックに対する予測映像ブロックを判定してもよい。

動き推定ユニット２０４および動き補償ユニット２０５は、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかによって、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例において、動き推定ユニット２０４は、現在の映像ブロックに対して単一方向予測を行い、動き推定ユニット２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索してもよい。動き推定ユニット２０４は、参照映像ブロックを含むリスト０またはリスト１における参照ピクチャを示す参照インデックスと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルと、を生成してもよい。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックを双方向予測してもよく、動き推定ユニット２０４は、リスト０における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト１における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。動き推定ユニット２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。

いくつかの例において、動き推定ユニット２０４は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。

いくつかの例では、動き推定ユニット２０４は、現在の映像に対する動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット２０４は、現在の映像ブロックの動き情報が近隣の映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ３００に示す値を示してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルと、の差分を示す。映像デコーダ３００は、指定された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技法の２つの例は、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃａｔｉｏｎ）およびマージモード信号通知を含む。

イントラ予測ユニット２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット２０６が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット２０６は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックに対する予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成ユニット２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックに対する残差データがなくてもよく、残差生成ユニット２０７は、減算動作を行わなくてもよい。

変換処理ユニット２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックに対する１つ以上の変換係数映像ブロックを生成してもよい。

変換処理ユニット２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット２０９は、現在の映像ブロックに関連付けられた１つ以上の量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化ユニット２１０および逆変換ユニット２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット２１２は、予測ユニット２０２によって生成された１つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成ユニット２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化ユニット２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット２１４がデータを受信すると、エントロピー符号化ユニット２１４は、１つ以上のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図１０は、映像デコーダ３００の一例を示すブロック図であり、この映像デコーダ３００は、図８に示すシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図１０の実施例において、映像デコーダ３００は、複数の機能コンポーネントを備える。本開示で説明される技法は、映像デコーダ３００の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図１０の実施例において、映像デコーダ３００は、エントロピー復号ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、および再構成ユニット３０６、並びにバッファ３０７を備える。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図９）に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。

エントロピー復号ユニット３０１は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピー符号化された映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピー復号ユニット３０１は、エントロピー符号化された映像データを復号し、エントロピー復号された映像データから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット３０２は、例えば、ＡＭＶＰおよびマージモードを行うことで、このような情報を判定してもよい。

動き補償ユニット３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタに対する識別子が含まれてもよい。

動き補償ユニット３０２は、映像ブロックの符号化中に映像エンコーダ２００によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素に対する補間値を計算してもよい。動き補償ユニット３０２は、受信した構文情報に基づいて、映像エンコーダ２００が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。

動き補償ユニット３０２は、符号化された映像シーケンスのフレームおよび／またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロックに対する１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスをデコードするための他の情報のうちのいくつかを使用してもよい。

イントラ予測ユニット３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット３０３は、ビットストリームに提供され、エントロピー復号ユニット３０１によって復号された量子化された映像ブロック係数を逆量子化（すなわち、逆量子化）する。逆変換ユニット３０３は、逆変換を適用する。

再構成ユニット３０６は、残差ブロックと、動き補償ユニット２０２またはイントラ予測ユニット３０３によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。デコードされた映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、表示デバイスに表示するためにデコードされた映像を生成する。

次に、いくつかの実施形態において好適な解決策を列挙する。

以下の解決策は、前章（例えば、全項目）で論じた技術の例示的な実施形態を示す。

１．映像処理方法は、１つ以上のサブピクチャまたは１つ以上のサブピクチャシーケンスを含む映像と、映像のコーディング表現と、の間で変換を行うことを含み、コーディング表現は、スケーラブルネスト型補足強化情報（ＳＥＩ）がコーディング表現内に含まれているかどうか、またはどのように含まれているかを規定するフォーマット規則に準拠する、方法。

以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

２．前記フォーマット規則は、前記コーディング表現がサブピクチャインデックスを使用して、対応するスケーラブルネスト型ＳＥＩ情報にサブピクチャを関連付けることを規定する、解決策１に記載の方法。

以下の解決策は、前章（例えば、項目２）で論じた技術の例示的な実施形態を示す。

３．前記フォーマット規則は、スケーラブルネスト型でのフィルタペイロードＳＥＩメッセージの使用を許可しない、解決策１～２のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目３）で論じた技術の例示的な実施形態を示す。

４．前記フォーマット規則は、１つ以上のサブピクチャレベル情報ＳＥＩメッセージを含むスケーラブルネスティングＳＥＩメッセージに対して、その存在を示すためのフラグが前記コーディング表現に含まれることを規定する、解決策１～３のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目４）で論じた技術の例示的な実施形態を示す。

５．前記フォーマット規則は、あるタイプのメッセージを含むスケーラブルＳＥＩメッセージに、あるタイプのペイロードのネスト型ＳＥＩメッセージを含めることを無効化する、解決策１～４のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目５）で論じた技術の例示的な実施形態を示す。

６．前記フォーマット規則は、フィラーペイロードタイプまたは復号ピクチャハッシュタイプでないＳＥＩメッセージが、特定のネットワーク抽象化レイヤユニットタイプを有することが要求されることを規定する、解決策１～５のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目６）で論じた技術の例示的な実施形態を示す。

７．前記フォーマット規則は、復号ピクチャハッシュタイプのＳＥＩメッセージが、特定のネットワーク抽象化レイヤユニットタイプを有することが要求されることを規定する、解決策１～６のいずれかに記載の方法。

以下の解決策は、前章（例えば、項目７）で論じた技術の例示的な実施形態を示す。

８．前記フォーマット規則は、前記構文要素が、１つのピクチャ当たり複数のサブピクチャを有する前記レイヤのサブピクチャに関する情報を規定することを規定する、解決策１～７のいずれかに記載の方法。

９．前記変換は、前記映像を前記コーディング表現に符号化することを含む、解決策１～８のいずれかに記載の方法。

１０．前記変換は、前記映像の画素値を生成するために前記コーディング表現を復号することを含む、解決策１～８のいずれかに記載の方法。

１１．解決策１～１０の１つ以上に記載の方法を実行するように構成された処理装置を備える、映像復号装置。

１２．解決策１～１０の１つ以上に記載の方法を実行するように構成された処理装置を備える、映像符号化装置。

１３．コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、プロセッサにより実行されると、前記プロセッサに、解決策１～１０のいずれかに記載の方法を実行させるコンピュータプログラム製品。

１４．本明細書に記載の方法、装置またはシステム。

本明細書に記載の解決策において、エンコーダは、フォーマット規則に従ってコーディングされた表現を生成することで、フォーマット規則に準拠することができる。本明細書に記載の解決策において、デコーダは、フォーマット規則に従って、構文要素の有無を知りつつ、コーディングされた表現における構文要素を構文解析することで、復号された映像を生成するために、このフォーマット規則を使用してもよい。

図１３は、例示的な映像データ処理の方法１３００のフローチャートである。動作１３０２は、１つ以上のサブピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、フィラーペイロードを有する１つ以上の補足強化情報メッセージが、フォーマット規則に従って変換中に処理され、フォーマット規則は、フィラーペイロードを有するその１つ以上の補足強化情報メッセージがスケーラブルネスティング補足強化情報メッセージ内に存在することを許可しない。

方法１３００のいくつかの実施形態において、フィラーペイロードを有する１つ以上の補足強化情報メッセージは、値が３に等しいペイロードタイプを含む。方法１３００のいくつかの実施形態において、フォーマット規則は、スケーラブルネスティングを有する１つ以上の第２の補足強化情報メッセージがスケーラブルネスティング補足強化情報メッセージに含まれていることを許可しない。

図１４は、例示的な映像データ処理の方法１４００のフローチャートである。動作１４０２は、映像と映像のビットストリームとの間で変換を行うことを含み、１つ以上の構文要素は、フォーマット規則に従って変換中に処理され、この１つ以上の構文要素が、複数のサブピクチャを有するピクチャを有するこの映像のレイヤのサブピクチャ情報を示すために使用されることを規定する。

方法１４００のいくつかの実施形態において、１つ以上の構文要素は、第１の構文要素を含み、第１の構文要素の値に１を加えたものは、複数のサブピクチャを有するピクチャにおけるサブピクチャの数を規定する。方法１４００のいくつかの実施形態において、第１の構文要素の値は、複数のサブピクチャレイヤにおけるピクチャによって参照されるシーケンスパラメータセットにおける第２の構文要素の値以下である。方法１４００のいくつかの実施形態において、１つ以上の構文要素は、第３の構文要素を含み、第３の構文要素は、複数のサブピクチャを有するピクチャにおける各ピクチャのｉ番目のサブピクチャのサブピクチャインデックスを示す。方法１４００のいくつかの実施形態において、第１の構文要素は、ｓｎ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１としてラベル付けされる。方法１４００のいくつかの実施形態において、第３の構文要素は、ｓｎ＿ｓｕｂｐｉｃ＿ｉｄｘ［ｉ］としてラベル付けされる。

図１５は、例示的な映像データ処理の方法１５００のフローチャートである。動作１５０２は、複数のサブピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、この変換中、フォーマット規則に従って、スケーラブルネスト型補足強化情報メッセージを処理し、このフォーマット規則は、１つ以上のサブピクチャインデックスを使用してこのスケーラブルネスト型補足強化情報メッセージに関連付けることを規定する。

方法１５００のいくつかの実施形態において、フォーマット規則は、１つ以上のサブピクチャをスケーラブルネスト型補足強化情報メッセージに関連付けるために、１つ以上のサブピクチャ識別子を使用することを許可しない。方法１５００のいくつかの実施形態において、フォーマット規則は、第１の構文要素をスケーラブルネスト型補足強化情報メッセージにおける第２の構文要素に置き換え、このフォーマット規則は、スケーラブルネスト型補足強化情報メッセージから第３の構文要素を除去し、第１の構文要素は、１つ以上の映像レイヤにおける各ピクチャのｉ番目のサブピクチャのサブピクチャ識別子を示し、第２の構文要素は、１つ以上の映像レイヤにおける各ピクチャのｉ番目のサブピクチャのサブピクチャインデックスを示し、前記第３の構文要素に１を加えたものは、第１の構文要素を表すために使用されるビット数を規定する。

図１６は、例示的な映像データ処理の方法１６００のフローチャートである。動作１６０２は、フォーマット規則に従って、１つ以上のサブピクチャを有する映像とこの映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、１つ以上のサブピクチャレベル情報補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージに応じて、ビットストリームにおけるスケーラブルネスティング補足強化情報メッセージにおける第１の構文要素を特定の値に設定することを規定し、この第１の構文要素の特定の値は、このスケーラブルネスティング補足強化情報メッセージが特定の出力映像レイヤセットに適用される１つ以上のスケーラブルネスト型補足強化情報メッセージを含むことを示す。

方法１６００のいくつかの実施形態において、フォーマット規則は、１つ以上のサブピクチャレベル情報補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージに応じて、ビットストリームにおける第２の構文要素の値が０に等しいことを規定し、第２の構文要素の値が０に等しいこととは、スケーラブルネスティング補足強化情報メッセージが、１つ以上の出力映像レイヤセットまたは１つ以上の映像レイヤのすべてのサブピクチャに適用される１つ以上のスケーラブルネスト型補足強化情報メッセージを含むことを規定する。方法１６００のいくつかの実施形態において、フォーマット規則は、スケーラブルネスティング補足強化情報メッセージにおける１つ以上のスケーラブルネスト型補足強化情報メッセージのペイロードタイプが２０３であり、補足強化情報メッセージのペイロードタイプが２０３であることを規定し、補足強化情報メッセージのペイロードタイプが２０３であることは、この補足強化情報メッセージがサブピクチャレベル情報補足強化情報メッセージであることを示す。方法１６００のいくつかの実施例において、第１の構文要素の特定の値は１に等しい。

図１７は、例示的な映像データ処理の方法１７００のフローチャートである。動作１７０２は、複数のサブピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、この変換は、スケーラブルネスティング補足強化情報メッセージが、第１のペイロードタイプの第１の補足強化情報メッセージと第２のペイロードタイプの第２の補足強化情報メッセージとを含むことを許可しないことを規定するフォーマット規則に従う。

方法１７００のいくつかの実施形態において、第１のペイロードタイプは、バッファリング時間補足強化情報メッセージのペイロードタイプを含む。方法１７００のいくつかの実施形態において、第１のペイロードタイプは、ピクチャタイミング補足強化情報メッセージのペイロードタイプを含む。方法１７００のいくつかの実施形態において、第１のペイロードタイプは、復号ユニット情報補足強化情報メッセージのペイロードタイプを含む。方法１７００のいくつかの実施形態において、第１のペイロードタイプは、サブピクチャレベル情報補足強化情報メッセージのペイロードタイプを含む。方法１７００のいくつかの実施形態において、第２のペイロードタイプは、以下のうちのいずれでもないペイロードタイプを含む。（ｉ）バッファリング時間補足強化情報メッセージのペイロードタイプ（ｉｉ）ピクチャタイミング補足強化メッセージのペイロードタイプ（ｉｉｉ）復号ユニット情報補足強化メッセージのペイロードタイプ、および（ｉｖ）サブピクチャレベル情報補足強化情報メッセージのペイロードタイプ。

図１８は、例示的な映像データ処理の方法１８００のフローチャートである。動作１８０２は、映像と映像のビットストリームとの間で変換を行うことを含み、この変換は、特定のペイロードタイプに関連付けられた補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージを含む補足強化情報ネットワーク抽象化レイヤユニットに応じて、補足強化情報ネットワーク抽象化レイヤユニットが、プレフィックス補足強化情報ネットワーク抽象化レイヤユニットタイプに等しいネットワーク抽象化レイヤユニットタイプを含むことを規定するフォーマット規則に従って行われる。

方法１８００のいくつかの実施形態において、ネットワーク抽象化レイヤユニットタイプは、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しい。

図１９は、例示的な映像データ処理の方法１９００のフローチャートである。動作１９０２は、映像と映像のビットストリームとの間で変換を行うことを含み、この変換は、特定のペイロードタイプに関連付けられた補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージを含む補足強化情報ネットワーク抽象化レイヤユニットに応じて、補足強化情報ネットワーク抽象化レイヤユニットが、サフィックス補足強化情報ネットワーク抽象化レイヤユニットタイプに等しいネットワーク抽象化レイヤユニットタイプを含むことを規定するフォーマット規則に従って行われる。

方法１９００のいくつかの実施形態において、ネットワーク抽象化レイヤユニットタイプは、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しい。

方法１８００～１９００のいくつかの実施形態において、特定のペイロードタイプは、復号ピクチャハーシュの補足強化情報メッセージのペイロードタイプである。方法１８００～１９００のいくつかの実施形態において、特定のペイロードタイプは、１３２に等しい値に関連付けられる。

方法１３００～１９００のいくつかの実施形態において、変換を実行することは、映像をビットストリームに符号化することを含む。方法１３００～１９００のいくつかの実施形態において、変換を実行することは、映像からビットストリームを生成することを含み、方法は、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む。方法１３００～１９００のいくつかの実施形態において、変換を実行することは、ビットストリームから映像を復号することを含む。いくつかの実施形態において、映像復号装置は、方法１３００～１９００またはその実施形態を実装するように構成された処理装置を含む。いくつかの実施形態において、映像符号化装置は、方法１３００～１９００またはその実施形態を実装するように構成された処理装置を含む。いくつかの実施形態において、コンピュータ命令が記憶されたコンピュータプログラム製品は、処理装置により実行されることにより、処理装置に方法１３００～１９００の動作またはその実施形態を実装させる。いくつかの実施形態において、非一時的なコンピュータ可読記憶媒体が、方法１３００～１９００またはその実施形態に従って生成されたビットストリームを記憶する。いくつかの実施形態において、処理装置に方法１３００～１９００またはその実施形態を実装させる命令を記憶する非一時的なコンピュータ可読記憶媒体。いくつかの実施形態において、方法（複数可）１３００～１９００に従った映像のビットストリームを生成することと、このビットストリームをコンピュータ可読プログラム媒体に記憶することと、を含む、ビットストリーム生成方法。いくつかの実施形態において、本願明細書に開示される方法またはシステムに従って、方法、装置、生成されたビットストリームを提供する。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、映像ブロックを処理する際にツールまたはモードを使用するまたは実装するが、ツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。

開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを無効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが無効にされた場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、決定または判定に基づいて無効化された映像処理ツールまたはモードを使用してビットストリームが修正されていないことを知って、ビットストリームを処理する。

本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、かつビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドをコーディングされた表現に含めるか、またはコーディング表現から除外することによって、それに応じてコーディングされた表現を生成してもよい。

本明細書に開示された、およびその他の解決策、例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的均等物を含めて、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実施してもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報をエンコードするために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１または複数のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。コンピュータプログラムを、１つのコンピュータで実行するように展開することができ、あるいは、１つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。

本明細書に記載された処理およびロジックフローは、入力データに対して動作し、出力を生成することによって機能を行うための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサ（処理装置）は、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの特徴を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および実施例のみが記載されており、この特許明細書に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０２１年６月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０２１／０３６３５３に基づくものであり、２０２０年６月９日出願の米国特許仮出願第６３／０３６７４３の優先権および利益を主張する。前述の全ての特許出願は、その全体が参照により本明細書に組み込まれる。

Claims (16)

1. 映像データを処理する方法であって、
   映像と前記映像のビットストリームとの変換を行うことを含み、
   前記変換は、特定のペイロードタイプに関連付けられていない補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージを含む補足強化情報ネットワーク抽象化レイヤユニットに応じて、補足強化情報ネットワーク抽象化レイヤユニットがプレフィクス補足強化情報ネットワーク抽象化レイヤユニットタイプに等しいネットワーク抽象化レイヤユニットタイプを含むことを規定するフォーマット規則に従って行われる、
   方法。
2. 前記ネットワーク抽象化レイヤユニットタイプは、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しい、
   請求項１に記載の方法。
3. 映像データを処理する方法であって、
   映像と前記映像のビットストリームとの変換を行うことを含み、
   前記変換は、特定のペイロードタイプに関連付けられた補足強化情報メッセージを含むスケーラブルネスティング補足強化情報メッセージを含む補足強化情報ネットワーク抽象化レイヤユニットに応じて、補足強化情報ネットワーク抽象化レイヤユニットがサフィックス補足強化情報ネットワーク抽象化レイヤユニットタイプに等しいネットワーク抽象化レイヤユニットタイプを含むことを規定するフォーマット規則に従って行われる、
   方法。
4. 前記ネットワーク抽象化レイヤユニットタイプは、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しい、
   請求項３に記載の方法。
5. 前記特定のペイロードタイプは、復号ピクチャハーシュの補足強化情報メッセージのペイロードタイプである、
   請求項１から４のいずれか１項に記載の方法。
6. 前記特定のペイロードタイプは、１３２に等しい値に関連付けられる、
   請求項１から５のいずれか１項に記載の方法。
7. 前記変換を行うことは、前記映像を前記ビットストリームに符号化することを含む、
   請求項１から６のいずれか１項に記載の方法。
8. 前記変換を行うことは、前記映像から前記ビットストリームを生成することを含み、
   前記方法は、更に、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することを含む、
   請求項１から６のいずれか１項に記載の方法。
9. 前記変換を行うことは、前記ビットストリームから前記映像を復号することを含む、
   請求項１から６のいずれか１項に記載の方法。
10. 請求項１から９の１項以上に記載の方法を実装するように構成された処理装置を備える、
    映像復号装置。
11. 請求項１から９の１項以上に記載の方法を実装するように構成された処理装置を備える、
    映像符号化装置。
12. コンピュータ命令が記憶されたコンピュータプログラム製品であって、
    前記命令は、処理装置により実行されると、前記処理装置に、請求項１から９のいずれか１項に記載の方法を実装させる、
    コンピュータプログラム製品。
13. 請求項１から９のいずれか１項に記載の方法に従って生成されたビットストリームを記憶する、
    非一時的なコンピュータ可読記憶媒体。
14. 非一時的なコンピュータ可読記憶媒体であって、
    請求項１から９のいずれか１項に記載の方法を処理装置に実装させる命令を記憶する、
    非一時的なコンピュータ可読記憶媒体。
15. ビットストリーム生成方法であって、
    請求項１から９のいずれか１項に記載の方法に従って映像のビットストリームを生成することと、
    前記ビットストリームをコンピュータ可読プログラム媒体に記憶することと、を含む、
    方法。
16. 本明細書に記載の開示された方法またはシステムに従って生成された方法、装置またはビットストリーム。

Images