JP2023526658A - コーディングされた映像におけるシーケンスの終端の表示 - Google Patents

Abstract

映像符号化方法および装置、並びに映像復号方法および装置の例について説明する。映像処理の例示的な方法は、映像と映像のビットストリームとの変換を行うことを含む。ビットストリームはフォーマット規則に準拠する。このビットストリームは、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含む。フォーマット規則は、復号順において、レイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットに続くビットストリームのレイヤの第１のＰＵに応答して、第１のＰＵの変数を特定の値に設定し、この変数は、この第１のＰＵがコーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）ＰＵであるかどうかを示す。【選択図】図３

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年５月２２日出願の米国特許仮出願第６３／０２９３３４号の優先権および利益を適時に主張するためになされる。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許文献は、画像および映像の符号化および復号に関する。

デジタル映像が、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予想される。

本明細書は、映像符号化または復号を行うために、映像エンコーダおよびデコーダによって使用され得る技術を開示する。

１つの例示的な態様において、映像処理方法が開示される。この方法は、映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、ビットストリームは、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、このフォーマット規則は、復号順において、レイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットに続くビットストリームのレイヤの第１のＰＵ（ｆｉｒｓｔ ＰＵ）に応答して、第１のＰＵの変数を特定の値に設定し、この変数は、この第１のＰＵがコーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）ＰＵであるかどうかを示す。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に従って、１つ以上のピクチャユニット（ＰＵ）を備える１つ以上のレイヤを含み、このフォーマット規則は、この特定のレイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットの後のこの特定のレイヤのＰＵが特定のタイプのＰＵであることを規定する。いくつかの実施形態において、ＰＵの特定のタイプは、イントラランダムアクセスポイント（ＩＲＡＰ）タイプまたは漸次的復号更新（ＧＤＲ）タイプのうちの１つである。いくつかの実施形態において、ＰＵの特定のタイプは、コーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）ＰＵである。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像と映像のビットストリームとの変換を行うことを含み、ビットストリームは、フォーマット規則に従って、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、フォーマット規則は、存在する場合、シーケンス終端（ＥＯＳ）生バイトシーケンスペイロード（ＲＢＳＰ）構文構造は、復号順でビットストリームのＥＯＳネットワーク抽象化レイヤ（ＮＡＬ）ユニットと同じレイヤに属する次に続くＰＵが、イントラランダムアクセスポイント（ＩＲＡＰ）ＰＵタイプまたは漸次的復号更新（ＧＤＲ）ＰＵタイプからの特定のＰＵタイプであることを規定する、ことを規定する。いくつかの実施形態において、特定のＰＵタイプはＩＲＡＰ ＰＵタイプである。いくつかの実施形態において、特定のＰＵタイプはＧＤＲ ＰＵタイプである。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に従って、１つ以上のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む１つ以上のレイヤを含み、このフォーマット規則は、シーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットのヘッダにおける第１レイヤ識別子が、このビットストリームの１つ以上のレイヤのうちの１つの第２レイヤ識別子に等しい必要があることを規定する。いくつかの実施形態において、前記フォーマット規則は１つのピクチャユニット（ＰＵ）に複数のＥＯＳ ＮＡＬユニットを含めることをさらに許容する。いくつかの実施形態において、前記フォーマット規則は、前記ＥＯＳ ＮＡＬユニットの第１レイヤ識別子が、前記ＥＯＳ ＮＡＬユニットに関連する映像コーディングレイヤ（ＶＣＬ）ＮＡＬユニットの第３レイヤ識別子以下であることを要求することを規定する。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像と映像のビットストリームとの変換を行うことを含み、ビットストリームは、フォーマット規則に従って、１つ以上のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを有する１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、フォーマット規則は、ＰＵのシーケンス終端を示す第１のＮＡＬユニットに応じて、第１のＮＡＬユニットは、他のＮＡＬユニット以外のＰＵ内のすべてのＮＡＬユニット中の最後のＮＡＬユニットであって、存在する場合、別のシーケンス終端を示し、または、存在する場合、ビットストリームの終端を示すことを規定する。いくつかの実施形態において、他のＮＡＬユニットはシーケンス終端（ＥＯＳ）ＮＡＬユニットである。いくつかの実施形態において、他のＮＡＬユニットはビットストリーム終端（ＥＯＢ）ＮＡＬユニットであることができる。

さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成された処理装置を備える。

さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成された処理装置を備える。

さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の１つを処理装置が実行可能なコードの形式で実施する。

さらに別の例示的な態様において、ビットストリームをコンピュータ可読媒体に記憶する方法が開示される。ビットストリームは、上述した方法を使用して生成される。

これらのおよび他の特徴は、本文書全体にわたって説明される。

本開示のいくつかの実施形態による映像コーディングシステムを示すブロック図である。 映像処理に使用されるハードウェアプラットフォームの例を示すブロック図である。 映像処理方法の一例を示すフローチャートである。 例示的な映像コーディングシステムを示すブロック図である。 本開示のいくつかの実施形態によるエンコーダを示すブロック図である。 本開示のいくつかの実施形態によるデコーダを示すブロック図である。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。

本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、Ｈ．２６６という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。

１． 導入

本明細書は、映像コーディング技術に関する。具体的には、特にマルチレイヤおよびマルチサブレイヤコンテキストにおける、映像コーディングでのＥＯＳ ＮＡＬユニットの取り扱いに関する。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）をサポートする任意の映像コーディング規格または非標準映像コーデックに適用されてもよい。

２． 略語

ＡＰＳ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（適応パラメータセット）
ＡＵ Ａｃｃｅｓｓ Ｕｎｉｔ（アクセスユニット）
ＡＵＤ Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ（アクセスユニット区切り文字）
ＡＶＣ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高度映像コーディング）
ＣＬＶＳ Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされたレイヤ映像シーケンス）
ＣＰＢ Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（コーディングされたピクチャバッファ）
ＣＲＡ Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ（クリーンランダムアクセス）
ＣＴＵ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（コーディングツリーユニット）
ＣＶＳ Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ（コーディングされた映像シーケンス）
ＤＣＩ Ｄｅｃｏｄｉｎｇ Ｃａｐａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（復号能力情報）
ＤＰＢ Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（復号されたピクチャバッファ）
ＥＯＢ Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ（ビットストリーム終端）
ＥＯＳ Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ（シーケンス終端）
ＧＤＲ Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（漸次的復号更新）
ＨＥＶＣ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率映像コーディング）
ＨＲＤ Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＤＲ Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ（瞬時復号更新）
ＩＬＰ Ｉｎｔｅｒ－Ｌａｙｅｒ Ｐｒｅｄｉｃｔｉｏｎ（インタレイヤ予測）
ＩＬＲＰ Ｉｎｔｅｒ－Ｌａｙｅｒ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ（インタレイヤ参照ピクチャ）
ＪＥＭ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＬＴＲＰ Ｌｏｎｇ－Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ（長期参照ピクチャ）
ＭＣＴＳ Ｍｏｔｉｏｎ－Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ（動作制約タイルセット）
ＮＡＬ Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ（ネットワーク抽象化レイヤ）
ＯＬＳ Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ（出力レイヤセット）
ＰＨ Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ（ピクチャヘッダ）
ＰＰＳ Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ピクチャパラメータセット）
ＰＴＬ Ｐｒｏｆｉｌｅ，Ｔｉｅｒ ａｎｄ Ｌｅｖｅｌ（プロファイル、ティアおよびレベル）
ＰＵ Ｐｉｃｔｕｒｅ Ｕｎｉｔ（ピクチャユニット）
ＲＡＰ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ（ランダムアクセスポイント）
ＲＢＳＰ Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ（生バイトシーケンスペイロード）
ＳＥＩ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補足強化情報）
ＳＰＳ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（シーケンスパラメータセット）
ＳＴＲＰ Ｓｈｏｒｔ－Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ（短期参照ピクチャ）
ＳＶＣ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（スケーラブル映像コーディング）
ＶＣＬ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ（映像コーディングレイヤ）
ＶＰＳ Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（映像パラメータセット）
ＶＴＭ ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＶＶＣ試験モデル）
ＶＵＩ Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（映像ユーザビリティ情報）
ＶＶＣ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（汎用映像コーディング）

３． 初期の協議

映像コーディング規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ［１］規格を共同で作った。Ｈ．２６２以来、映像コーディング規約は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えた将来の映像コーディング技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）［２］と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは四半期に１回開催され、新しいコーディング規約はＨＥＶＣに比べて５０％のビットレート低減を目指している。２０１８年４月のＪＶＥＴ会議において、新しい映像コーディング規格を「ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と正式に命名し、その時、第１版のＶＶＣテストモデル（ＶＴＭ）をリリースした。ＶＶＣの標準化に寄与する努力が続けられているので、すべてのＪＶＥＴ会議において、ＶＶＣ標準に新しいコーディング技術が採用されている。毎回の会議の後、ＶＶＣ作業草案およびテストモデルＶＴＭを更新する。ＶＶＣプロジェクトは、現在、２０２０年７月の会合における技術完成（ＦＤＩＳ）を目指している。

３．１ 参照ピクチャ管理および参照ピクチャリスト（ＲＰＬ）

参照ピクチャ管理は、インター予測を使用する任意の映像コーディング方式に必要なコア機能である。それは、復号されたピクチャバッファ（ＤＰＢ）への参照ピクチャの記憶および復号されたピクチャバッファ（ＤＰＢ）からの参照ピクチャの除去を管理し、かつ参照ピクチャをＲＰＬにおいて適切な順序に置く。

ＨＥＶＣの参照ピクチャ管理は、参照ピクチャのマーキングおよび復号されたピクチャバッファ（ＤＰＢ）からの除去、並びに参照ピクチャリスト構築（ＲＰＬＣ）を含めて、ＡＶＣのものとは異なる。ＡＶＣにおいて、ＨＥＶＣは、スライディングウィンドウに適応メモリ管理制御動作（ＭＭＣＯ）を加えたものに基づく参照ピクチャマーキング機構の代わりに、いわゆる参照ピクチャセット（ＲＰＳ）に基づく参照ピクチャ管理およびマーキング機構を規定し、その結果、ＲＰＬＣは、ＲＰＳ機構に基づく。ＲＰＳは、ピクチャに関連付けられた参照ピクチャのセットで構成され、復号順において関連付けられたピクチャに先行する全ての参照ピクチャで構成され、復号順において関連付けられたピクチャまたは関連付けられたピクチャの後に続く任意のピクチャのインター予測に使用してもよい。参照ピクチャセットは、参照ピクチャの５つのリストで構成される。最初の３つのリストは、現在のピクチャのインター予測において使用してもよい、かつ復号順で現在のピクチャに続く１つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャを含む。他の２つのリストは、現在のピクチャのインター予測において使用されないが、復号順で現在のピクチャに続く１つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャからなる。ＲＰＳは、主にエラー耐性を改善するために、ＡＶＣにおけるような「インターコーディングされた」信号通知の代わりに、ＤＰＢステータスの「イントラコーディングされた」信号通知を提供する。ＨＥＶＣにおけるＲＰＬＣプロセスは、参照インデックスごとのＲＰＳサブセットにインデックスを信号通知することによって、ＲＰＳに基づいており、このプロセスは、ＡＶＣにおけるＲＰＬＣプロセスよりも簡単である。

ＶＶＣにおける参照ピクチャ管理は、ＡＶＣよりもＨＥＶＣに類似しているが、いくぶんシンプルで堅牢である。これらの標準におけるように、２つのＲＰＬ、ｌｉｓｔ０およびｌｉｓｔ１が導出されるが、これらは、ＨＥＶＣで使用される参照ピクチャセットの概念またはＡＶＣで使用される自動スライディングウィンドウプロセスに基づくものではなく、そうせずに、より直接的に信号通知される。参照ピクチャは、ＲＰＬのためにアクティブエントリおよび非アクティブエントリのいずれかとしてリストされ、アクティブエントリのみが、現在のピクチャのＣＴＵのインター予測における参照インデックスとして使用してもよい。非アクティブエントリは、ビットストリームで後で到着する他のピクチャにより参照するために、ＤＰＢに保持されるべき他のピクチャを示す。

３．２． ＨＥＶＣおよびＶＶＣにおけるランダムアクセスとそのサポート

ランダムアクセスとは、復号順でビットストリームの最初のピクチャでないピクチャからのビットストリームのアクセスと復号を開始することを指す。ブロードキャスト／マルチキャストおよび複数人数による映像会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むことが必要であり、一般的に、イントラコーディングされたピクチャであるが、インターコーディングピクチャであってもよい（例えば、漸次的復号更新の場合）。

ＨＥＶＣは、ＮＡＬユニットタイプによって、ＮＡＬユニットのヘッダ内のイントラランダムアクセスポイント内（ＩＲＡＰ）ピクチャを信号通知することを含む。３つのタイプのＩＲＡＰピクチャ、即ち、瞬時復号更新（ＩＤＲ）、クリーン・ランダム・アクセス（ＣＲＡ）、およびリンク切れアクセス（ＢＬＡ）ピクチャがサポートされる。ＩＤＲピクチャは、現在のピクチャグループ（ＧＯＰ）の前のどのピクチャも参照しないようにするようにインターピクチャ予測構造を制約しており、従来、クローズドＧＯＰランダムアクセスポイントと呼ばれている。ＣＲＡピクチャは、あるピクチャが現在のＧＯＰの前にピクチャを参照することを許可することによって、制限が緩和され、ランダムアクセスの場合、これらはすべて破棄される。ＣＲＡピクチャは、従来、オープンＧＯＰランダムアクセスポイントと呼ばれている。ＢＬＡピクチャは、通常、例えばストリーム切り替え時に、ＣＲＡピクチャにおいて２つのビットストリームまたはその一部をスプライシングすることで生成される。ＩＲＡＰピクチャのより優れたシステム使用を可能にするために、全部で６つの異なるＮＡＬユニットがＩＲＡＰピクチャのプロパティを信号通知するように定義され、これらのユニットは、ＨＴＴＰ（ＤＡＳＨ）［７］上で動的適応ストリーミングのランダムアクセスサポートのために使用される、ＩＳＯベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ）［６］に定義されるようなストリームアクセスポイントのタイプにより適したものにするために使用できる。

ＶＶＣは、３つのタイプのＩＲＡＰピクチャ、２つのタイプのＩＤＲピクチャ（関連付けられたＲＡＤＬピクチャを有する１つのタイプおよび関連付けられたＲＡＤＬピクチャを有しない他のタイプ）および１つのタイプのＣＲＡピクチャをサポートする。これらは基本的にＨＥＶＣと同じである。ＨＥＶＣにおけるＢＬＡピクチャのタイプは、主に２つの理由により、ＶＶＣに含まれていない。ｉ）ＢＬＡピクチャの基本機能性は、ＣＲＡピクチャにシーケンスＮＡＬユニットの終端を加えることで実現でき、このシーケンスＮＡＬユニットの終端が存在することは、後続のピクチャがシングルレイヤビットストリームにおいて新しいＣＶＳを開始することを示す。ｉｉ）ＶＶＣの開発の間に、ＮＡＬユニットヘッダのＮＡＬユニットタイプフィールドに６ビットの代わりに５ビットを用いることによって示されるように、ＨＥＶＣよりも少ないＮＡＬユニットタイプを規定することが望ましかった。

ＶＶＣとＨＥＶＣとの間のランダムアクセスサポートにおける別の重要な相違は、ＶＶＣではより規範的な方法でＧＤＲをサポートすることである。ＧＤＲにおいて、ビットストリームの復号は、インターコーディングされたピクチャから開始することができ、始めは、ピクチャ領域全体を正しく復号することができないが、複数のピクチャの後に、ピクチャ領域全体を正しく復号することができるようになる。ＡＶＣおよびＨＥＶＣはまた、ＧＤＲランダムアクセスポイントおよびリカバリポイントの信号通知のためのリカバリポイントＳＥＩメッセージを使用して、ＧＤＲをサポートする。ＶＶＣにおいて、ＧＤＲピクチャを示すために新しいＮＡＬユニットタイプが指定され、ピクチャヘッダ構文構造においてリカバリポイントが通知される。ＣＶＳおよびビットストリームは、ＧＤＲピクチャで開始することができる。これは、１つのビットストリーム全体が、１つのイントラコーディングされたピクチャなしにインターコーディングされたピクチャのみを含むことを許容することを意味する。ＧＤＲサポートをこのように規定する主な利点は、ＧＤＲに適合した動作を提供することである。ＧＤＲは、エンコーダが、ピクチャ全体をイントラコーディングするのではなく、複数のピクチャにイントラコーディングされたスライスまたはブロックを分布させることによって、ビットストリームのビットレートを平滑化することを可能にし、これにより、無線表示、オンラインゲーム、無人機に基づくアプリケーションのような超低遅延アプリケーションがより一般的になっているので、今日の方が以前より重要視されているエンドツーエンドの遅延の大幅な低減を可能にする。

ＶＶＣにおける別のＧＤＲに関連する特徴は、仮想境界信号通知である。ＧＤＲピクチャとそのリカバリポイントとの間のピクチャにおける、更新された領域（すなわち、正しく復号された領域）と未更新の領域との間の境界は、仮想境界として信号通知されてもよく、信号通知された場合、境界をまたがるインループフィルタリングが適用されなくなり、したがって、境界またはその付近のいくつかのサンプルの復号の不整合が発生しなくなる。これは、アプリケーションがＧＤＲプロセス中に正しく復号された領域を表示することを決定した場合に有用となりうる。

ＩＲＡＰピクチャおよびＧＤＲピクチャを集合的に、ランダムアクセスポイント（ＲＡＰ）ピクチャと呼ぶことができる。

３．３ シーケンス内のピクチャ解像度の変更

ＡＶＣおよびＨＥＶＣにおいて、ピクチャの空間的解像度は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限り、変更することができない。ＶＶＣは、常にイントラコーディングされるＩＲＡＰピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるので、時として参照ピクチャリサンプリング（ＲＰＲ）と称せられる。

スケーリング比は、１／２（参照ピクチャから現在のピクチャへのダウンサンプリングの２倍）以上８（８倍のアップサンプリング）以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる３セットの再サンプリングフィルタを規定する。３セットの再サンプリングフィルタは、それぞれ、１／２～１／１．７５、１／１．７５～１／１．２５、および１／１．２５～８の範囲のスケーリング比に適用される。各セットの再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して１６個のフェーズを有し、彩度に対して３２個のフェーズを有する。実際には、通常のＭＣ補間プロセスは、１／１．２５～８の範囲のスケーリング比を有する再サンプリングプロセスの特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。

ＨＥＶＣとは異なる、この特徴をサポートするためのＶＶＣ設計の他の態様は、ｉ）ＳＰＳの代わりにＰＰＳにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知する一方、ＳＰＳにおいて最大ピクチャ解像度を信号通知すること、ｉｉ）シングルレイヤビットストリームの場合、各ピクチャ記憶装置（１つの復号されたピクチャを記憶するためのＤＰＢにおける１つのスロット）は、最大ピクチャ解像度を有する復号されたピクチャを記憶するために必要なバッファサイズを占めること、を含む。

３．４ 全般およびＶＶＣにおけるスケーラブル映像コーディング（ＳＶＣ）

スケーラブル映像コーディング（ＳＶＣ、時には、映像コーディングにおけるスケーラビリティとも呼ばれる）は、ベースレイヤ（ＢＬ）（時には、参照レイヤ（ＲＬ）と呼ばれる）と１つ以上のスケーラブル強化レイヤ（ＥＬ）が使用される映像コーディングを指す。ＳＶＣにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。１つ以上の強化レイヤは、例えば、より高い空間的、時間的、および／または信号対雑音（ＳＮＲ）レベルをサポートするように、追加の映像データを担持することができる。強化レイヤは、前の符号化されたレイヤに対して定義されてもよい。例えば、下レイヤがＢＬとして機能する一方、上レイヤがＥＬとして機能することができる。中間レイヤは、ＥＬまたはＲＬのいずれか、またはその両方として機能することができる。例えば、中間レイヤ（例えば、最下レイヤでも最上レイヤでもないレイヤ）は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する強化レイヤのためのＥＬであってもよく、同時に、中間レイヤの上の１つ以上の強化レイヤのためのＲＬとしての役割を果たす。同様に、ＨＥＶＣ規格のマルチビューまたは３Ｄ拡張では、複数のビューが存在してもよく、１つのビューの情報を利用して別のビューの情報をコーディング（例えば、符号化または復号）することができる（例えば、動き推定、動きベクトル予測および／または他の冗長性）。

ＳＶＣにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル（例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等）に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤの１つ以上のコーディングされた映像シーケンスによって利用できるパラメータが、映像パラメータセット（ＶＰＳ）に含まれてもよく、コーディングされた映像シーケンスにおける１つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット（ＳＰＳ）に含まれてもよい。同様に、１つのピクチャの１つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット（ＰＰＳ）に含まれてもよく、１つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。

ＶＶＣにおける参照ピクチャリサンプリング（ＲＰＲ）のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリングはＲＰＲアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、ＶＶＣにおけるＳＤおよびＨＤ解像度の２つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更（スケーラビリティをサポートしない場合と比較して）が必要である。スケーラビリティサポートは、ＶＶＣバージョン１に規定されている。ＡＶＣおよびＨＥＶＣの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、ＶＶＣのスケーラビリティの設計は、シングルレイヤデコーダの設計にできるだけ適したものにされてきた。マルチレイヤビットストリームの復号能力は、ビットストリームにシングルレイヤしかなかったかの如くにして規定される。例えば、ＤＰＢサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しないやり方で規定される。基本的に、シングルレイヤビットストリームのために設計されたデコーダは、マルチレイヤビットストリームを復号することができるようにするために、多くの変更を必要としない。ＡＶＣおよびＨＥＶＣのマルチレイヤ拡張の設計と比較して、ＨＬＳの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、ＩＲＡＰ ＡＵは、ＣＶＳに存在する各レイヤの画像を含むことが必要である。

３．５ パラメータセット

ＡＶＣ、ＨＥＶＣ、ＶＶＣはパラメータ集合を規定する。パラメータセットのタイプは、ＳＰＳ、ＰＰＳ、ＡＰＳ、ＶＰＳ等である。ＳＰＳ、ＰＰＳは、ＡＶＣ、ＨＥＶＣ、ＶＶＣのすべてでサポートされている。ＶＰＳは、ＨＥＶＣから導入されたものであり、ＨＥＶＣおよびＶＶＣの両方に含まれる。ＡＰＳは、ＡＶＣまたはＨＥＶＣに含まれていなかったが、最近のＶＶＣ草案のテキストに含まれている。

ＳＰＳは、シーケンスレベルのヘッダ情報を担持するように設計され、ＰＰＳは、頻繁に変化しないピクチャレベルのヘッダ情報を担持するように設計された。ＳＰＳおよびＰＰＳを用いると、シーケンスまたはピクチャごとに頻繁に変化しない情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、ＳＰＳおよびＰＰＳを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。

ＶＰＳは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。

ＡＰＳは、コーディングするためのかなりのビットを必要とし、複数のピクチャによって共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、そのようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。

４． 開示される技術的解決策によって解決される技術課題

最近のＶＶＣテキスト（ＪＶＥＴ－Ｒ２００１－ｖＡ／ｖ１０）におけるＥＯＳ ＮＡＬユニットを取り扱うための既存の設計は、以下の問題を有する。

１）第３項（定義）において、ＣＬＶＳピクチャの定義の一部として、「復号順においてＥＯＳ ＮＡＬユニットに続くビットストリームのレイヤの第１のＰＵ」の一文が問題となっており、これは、ＥＯＳ ＮＡＬユニットがレイヤ固有であり、ＥＯＳ ＮＡＬユニットはｎｕｈ＿ｌａｙｅｒ＿ｉｄがＥＯＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいレイヤにしか適用されないためである。そのため、混乱や相互運用性の問題が発生する。

２）７．４．２．２項（ＮＡＬユニットヘッダ意味論）において、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＨ＿ＮＵＴ、ＥＯＳ＿ＮＵＴ、ＦＤ＿ＮＵＴに等しい場合、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは関連付けられたＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいものとすることが規定される。しかしながら、これは、時間的スケーラビリティ、例えば、抽出出力における各レイヤのＥＯＳ ＮＡＬユニットを維持しつつ、時間的スケーラブルビットストリームの時間的サブセットを抽出する操作を完全には可能にしない。例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０および１に等しい２つのレイヤがあり、各レイヤは、ＴｅｍｐｏｒａｌＩｄが０および１に等しい２つのサブレイヤを有すると仮定する。ｎが０より大きく、ＴｅｍｐｏｒａｌＩｄが１に等しいＡＵ ｎにおいて、各ＰＵ内に１つのＥＯＳ ＮＡＬユニットがあり、２つのＥＯＳ ＮＡＬユニットは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０および１に等しい。また、任意のＥＯＳ ＮＡＬユニットは、ＴｅｍｐｏｒａｌＩｄが０に等しいことが必要であることに留意されたい。各レイヤにおいて最下サブレイヤのみを残す抽出プロセスにより、ＴｅｍｐｏｒａｌＩｄが１に等しいＮＡＬユニットは削除され、その結果、ＡＵ ｎにあったＥＯＳ ＮＡＬユニットは双方ともＡＵ ｎ－１のｎｕｈ＿ｌａｙｅｒ＿ｉｄが１に等しいＰＵの一部になる。この場合、これは、ＥＯＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄが関連するＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいものとする規則に違反することになる。したがって、ＥＯＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄが、関連するＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄと異なることを許容する必要があり、また、１つのＰＵが複数のＥＯＳ ＮＡＬユニットを含むことを許容する必要がある。

３）７．４．２．４．３項（ＰＵの順序およびＡＵとの関連）において、存在する場合、同じレイヤに属し、かつＥＯＳ ＮＡＬユニットを含むＰＵの後の特定のレイヤの次のＰＵは、ＣＬＶＳＳ ＰＵであるものとすることが規定されている。しかしながら、上述したように、ＥＯＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄが、関連するＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄと異なることを許容する必要がある。よって、ここでいう制約を、それに従って変更する必要がある。

４）７．４．２．４．４項（ＮＡＬユニット、コーディングされたピクチャの順序とＰＵへの関連付け）において、ＥＯＳ ＮＡＬユニットがＰＵに存在する場合、ＥＯＢ ＮＡＬユニットを除くＰＵ内の全てのＮＡＬユニットの中で最後のＮＡＬユニット（存在する場合）とすることが規定されている。しかしながら、上述したように、１つのＰＵが複数のＥＯＳ ＮＡＬユニットを含むことを許容する必要がある。よって、ここでいう制約を、それに従って変更する必要がある。

５）７．４．３．１０（シーケンス終端ＲＢＳＰ意味論）において、ＥＯＳ ＲＢＳＰは存在する場合、現在のＰＵが復号順でＣＬＶＳの最後のＰＵであり、復号順でビットストリームの次に続くＰＵ（もしあれば）が、ＩＲＡＰまたはＧＤＲ ＰＵである、と特定されることが規定される。ただし、上述したように、ＰＵには異なるレイヤのＥＯＳ ＮＡＬユニットが含まれる場合があるため、この制約をそれに従って変更する必要がある。

５． 技術的解決策および実施形態の一覧

上記課題を解決するために、以下に要約される方法が開示される。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。

２）課題２を解決するために、ＥＯＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄは、関連するＶＣＬ ＮＡＬ ユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄと等しくなることを要求する代わりに、ＥＯＳ ＮＡＬ ユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄは、ＣＶＳに存在するレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の１つと等しくなるものとすることが規定されている。
ａ． 一例において、１つのＰＵが複数のＥＯＳ ＮＡＬユニットを含むことをさらに許容する。
ｂ． 一例において、ＥＯＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値は、関連するＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以下であることが必要である。

３）課題３を解決するために、存在する場合、同じレイヤに属するＥＯＳ ＮＡＬユニットの後の特定レイヤの次のＰＵは、ＩＲＡＰまたはＧＤＲ ＰＵとすることが規定されている。
ａ． 代替的に、存在する場合、同じレイヤに属するＥＯＳ ＮＡＬユニットの後の特定レイヤの次のＰＵは、ＣＬＶＳＳ ＰＵとすることが規定されている。

４）課題４を解決するために、ＥＯＳ ＮＡＬユニットが、ＰＵに存在する場合、他のＥＯＳ ＮＡＬユニット（存在する場合）またはＥＯＢ ＮＡＬユニット（存在する場合）以外のＰＵ内の全てのＮＡＬユニットの中で最後のＮＡＬユニットとすることが規定されている。

５）課題４を解決するために、ＥＯＳ ＲＢＳＰが存在する場合、復号順でビットストリーム中のＥＯＳ ＮＡＬユニットと同じレイヤに属する次に続くＰＵは（もしあれば）、ＩＲＡＰまたはＧＤＲ ＰＵであることが規定されている。

６． 実施形態

６．１． 第１の実施形態

本実施形態は項目１、２、２ａ、２ｂ、３、４および５に対するものである。

３ 定義

７．４．２．２． ＮＡＬユニットヘッダの意味論

７．４．２．４．３ ＰＵの順番およびＡＵとの関連付け

７．４．２．４．４ ＮＡＬユニットおよびコーディングされたピクチャの順序、並びに、それらのＰＵとの関連付け

１つのＰＵは、０または１つのＰＨ ＮＡＬユニットと、１つ以上のＶＣＬ ＮＡＬユニットを備える１つのコーディングされたピクチャと、ゼロ以上の他の非ＶＣＬ ＮＡＬユニットと、を含む。ＶＣＬ ＮＡＬユニットのコーディングされたピクチャへの関連付けは、７．４．２．４．５項に記載されている。
１つのピクチャが２つ以上のＶＣＬ ＮＡＬユニットで構成される場合、１つのＰＨ ＮＡＬユニットがＰＵに存在するものとする。
ＶＣＬ ＮＡＬユニットはｓｈ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが１に等しい場合、またはＰＨ ＮＡＬユニットに続く最初のＶＣＬ ＮＡＬユニットである場合、そのＶＣＬ ＮＡＬユニットはピクチャの最初のＶＣＬ ＮＡＬユニットである。
ＰＵ内の前記非ＶＣＬ ＮＡＬユニット（前記ＡＵＤおよびＥＯＢ ＮＡＬユニットを除く）の順番は、以下の制約に従うものとする。
－１つのＰＨ ＮＡＬユニットがＰＵに存在する場合、そのＰＵの最初のＶＣＬ ＮＡＬユニットに先行するものとする。
－ＤＣＩ ＮＡＬユニット、ＶＰＳ ＮＡＬユニット、ＳＰＳ ＮＡＬユニット、ＰＰＳ ＮＡＬユニット、プレフィクスＳＥＩ ＮＡＬユニット、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＲＳＶ＿ＮＶＣＬ＿２６に等しいＮＡＬユニット、または、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＵＮＳＰＥＣ＿２８．．ＵＮＳＰＥＣ＿２９の範囲にあるＮＡＬユニットのいずれかがＰＵに存在する場合、それらはＰＵの最後のＶＣＬ ＮＡＬユニットに追従しないものとする。
－ＰＵに、ＤＣＩ ＮＡＬユニット、ＶＰＳ ＮＡＬユニット、ＳＰＳ ＮＡＬユニット、またはＰＰＳ ＮＡＬユニットが存在する場合、それらはＰＵのＰＨ ＮＡＬユニット（存在する場合）に先行し、かつＰＵの最初のＶＣＬ ＮＡＬユニットに先行するものとする。
－ＰＵにおける、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴ、ＦＤ＿ＮＵＴ、またはＲＳＶ＿ＮＶＣＬ＿２７に等しい、または、ＵＮＳＰＥＣ＿３０．．ＵＮＳＰＥＣ＿３１の範囲内にある、ＮＡＬユニットは、ＰＵの最初のＶＣＬ ＮＡＬユニットに先行することはないものとする。
－ＰＵにプレフィックスＡＰＳ ＮＡＬ ユニットが存在する場合、それらは、ＰＵの最初のＶＣＬユニットに先行するものとする。
－ＰＵにサフィックスＡＰＳ ＮＡＬが存在する場合、それらは、ＰＵの最後のＶＣＬユニットに続くものとする。

７．４．３．１０ シーケンスの終端ＲＢＳＰ意味論

図１は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１９００を示すブロック図である。様々な実装形態は、システム１９００のモジュールの一部または全部を含んでもよい。システム１９００は、映像コンテンツを受信するための入力１９０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化されたフォーマットで受信されてもよい。入力１９０２は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、ＰＯＮ（Ｐａｓｓｉｖｅ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１９００は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント１９０４を含んでもよい。コーディングコンポーネント１９０４は、入力１９０２からの映像の平均ビットレートをコーディングコンポーネント１９０４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングコンポーネント１９０４の出力は、コンポーネント１９０６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力１９０２において受信された、記憶されたまたは通信された映像のビットストリーム（またはコーディングされた）表現は、コンポーネント１９０８によって使用されて、表示インターフェース１９１０に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダで使用され、対応する復号ツールまたは動作でありコーディングの結果を逆にするものは、デコーダによって行われることが理解されよう。

周辺バスインターフェースまたは表示インターフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）またはハイビジョンマルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を行うことが可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図２は、映像処理装置３６００のブロック図である。装置３６００は、本明細書に記載の方法の１つ以上を実装するために使用されてもよい。装置３６００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置３６００は、１つ以上の処理装置３６０２と、１つ以上のメモリ３６０４と、映像処理ハードウェア３６０６と、を含んでもよい。１つ以上の処理装置３６０２は、本明細書に記載される１つ以上の方法を実装するように構成されてもよい。メモリ（複数可）３６０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア３６０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

図４は、本開示の技術を利用し得る例示的な映像コーディングシステム１００を示すブロック図である。

図４に示すように、映像コーディングシステム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元デバイス１１０は、符号化された映像データを生成するものであり、映像符号化機器とも称され得る。送信先デバイス１２０は、映像復号デバイスと呼ばれ得る送信元デバイス１１０によって生成された符号化された映像データを復号してよい。

送信元デバイス１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を備えてもよい。

映像ソース１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１つ以上のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変調器／復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を経由して送信先デバイス１２０に直接送信されてよい。符号化された映像データは、送信先デバイス１２０がアクセスするために、記録媒体／サーバ１３０ｂに記憶してもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示デバイス１２２を含んでもよい。

Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂから符号化された映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データを復号してもよい。表示デバイス１２２は、復号された映像データをユーザに表示してもよい。表示デバイス１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示デバイスとインターフェースで接続するように構成される送信先デバイス１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像符号化（ＨＥＶＣ）規格、汎用映像符号化（ＶＶＣ）規格、および他の現在のおよび／または更なる規格等の映像圧縮規格に従って動作してもよい。

図５は、映像エンコーダ２００の一例を示すブロック図であり、図４に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図５の実施形態において、映像エンコーダ２００は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像エンコーダ２００の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ２００の機能コンポーネントは、分割ユニット２０１、予測ユニット２０２、残差生成ユニット２０７、変換ユニット２０８、量子化ユニット２０９、逆量子化ユニット２１０、逆変換ユニット２１１、再構成ユニット２１２、バッファ２１３、およびエントロピー符号化ユニット２１４を含んでもよく、予測ユニット２０２は、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、およびイントラ予測ユニット２０６を含んでもよい。

他の例において、映像エンコーダ２００は、さらに多くの、さらに少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を行ってもよい。

さらに、動き推定ユニット２０４および動き補償ユニット２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図５の例においては別個に表現されている。

分割ユニット２０１は、ピクチャを１または複数の映像ブロックに分割してもよい。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択ユニット２０３は、例えば、誤りの結果に基づいて、イントラまたはインターコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを、残差ブロックデータを生成するために残差生成ユニット２０７に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成するために再構成ユニット２１２に供給してもよい。いくつかの例において、モード選択ユニット２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うＣＩＩＰ（Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｉｎｔｒａ ａｎｄ Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）モードを選択してもよい。モード選択ユニット２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセルまたは整数ピクセル精度）を選択してもよい。

現在の映像ブロックに対してインター予測を行うために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックに対する動き情報を生成してもよい。動き補償ユニット２０５は、動き情報および現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャの復号されたサンプルに基づいて、現在の映像ブロックに対する予測映像ブロックを決定してもよい。

動き推定ユニット２０４および動き補償ユニット２０５は、例えば、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかどうか次第で、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例において、動き推定ユニット２０４は、現在の映像ブロックに対して単一方向予測を行い、動き推定ユニット２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索してもよい。そして、動き推定ユニット２０４は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト０またはリスト１の参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックに対して双方向予測を行ってもよく、動き推定ユニット２０４は、現在の映像ブロックに対する参照映像ブロックについて、リスト０の参照ピクチャを検索してもよく、現在の映像ブロックに対する別の参照映像ブロックについて、リスト１の参照ピクチャをまた検索してもよい。そして、動き推定ユニット２０４は、参照映像ブロックを含むリスト０およびリスト１の参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。

いくつかの例において、動き推定ユニット２０４は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。

いくつかの例おいて、動き推定ユニット２０４は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット２０４は、現在の映像ブロックの動き情報が近隣の映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同一の動き情報を有することを映像デコーダ３００に示す値を示してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、示された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技法の２つの例は、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）およびマージモード信号通知を含む。

イントラ予測ユニット２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット２０６が現在の映像ブロックにイントラ予測を行う場合、イントラ予測ユニット２０６は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成ユニット２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックに対する残差データがなくてもよく、残差生成ユニット２０７は、減算演算を行わなくてもよい。

変換処理ユニット２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックのための１つ以上の変換係数映像ブロックを生成してもよい。

変換処理ユニット２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット２０９は、現在の映像ブロックに関連付けられた１または複数の量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化ユニット２１０および逆変換ユニット２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット２１２は、予測ユニット２０２によって生成された１または複数の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成ユニット２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化ユニット２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット２１４がデータを受信した場合、エントロピー符号化ユニット２１４は、１または複数のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図６は、映像デコーダ３００の一例を示すブロック図であり、映像デコーダ３００は、図４に示すシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図５の実施例において、映像デコーダ３００は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像デコーダ３００の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図６の実施形態において、映像デコーダ３００は、エントロピー復号ユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、および再構成ユニット３０６、並びにバッファ３０７を含む。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図５）に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。

エントロピー復号ユニット３０１は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピー復号ユニット３０１は、エントロピーコーディングされた映像データを復号し、エントロピー復号された映像データから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット３０２は、例えば、ＡＭＶＰおよびマージモードを行うことで、このような情報を判定してもよい。

動き補償ユニット３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。

動き補償ユニット３０２は、映像ブロックの符号化中に映像エンコーダ２０によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット３０２は、受信した構文情報に従って映像エンコーダ２００により使用される補間フィルタを決定し、予測ブロックを生成すべく補間フィルタを使用してもよい。

動き補償ユニット３０２は、符号化された映像シーケンスのフレームおよび／またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロックに対する１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号するための他の情報のうちのいくつかを使用してもよい。

イントラ予測ユニット３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット３０３は、ビットストリームに提供され、エントロピー復号ユニット３０１によって復号される量子化された映像ブロック係数を逆量子化（すなわち、ｄｅ－ｑｕａｎｔｉｚｅ）する。逆変換ユニット３０３は、逆変換を適用する。

再構成ユニット３０６は、残差ブロックと、動き補償ユニット２０２またはイントラ予測ユニット３０３によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングすべくデブロッキングフィルタを適用してもよい。復号された映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、また表示デバイスに表示するために復号された映像を生成する。

次に、いくつかの実施形態により好適な解決策を列挙する。

以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

１．映像処理方法（例えば、図３の方法６００）であって、１つ以上の映像ピクチャを含む映像と映像のビットストリーム表現との変換を行うこと（６０２）を含み、コーディングされた表現は、フォーマット規則に準拠し、フォーマット規則は、ビットストリームのレイヤの第１のピクチャユニット（ＰＵ）が復号順でレイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットに続くことを規定する。

以下の解決策は、前章（例えば、項目２）で論じた技術の例示的な実施形態を示す。

２．映像処理方法であって、１つ以上の映像ピクチャを含む映像と映像のビットストリーム表現との変換を行うこと、を含み、ビットストリーム表現は、１つ以上の映像レイヤを有するコーディングされた映像シーケンスを含み、ビットストリーム表現は、シーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットのレイヤＩＤが、コーディングされた映像シーケンスの映像レイヤのうちの１つの別のレイヤＩＤと等しいことを規定するフォーマット規則に準拠する。

３．前記フォーマット規則は、１つのピクチャユニット（ＰＵ）に複数のＥＯＳ ＮＡＬユニットを含めることをさらに許容する、解決策１に記載の方法。

以下の解決策は、前章（例えば、項目１）で論じた技術の例示的な実施形態を示す。

４．映像処理方法であって、１つ以上の映像ピクチャを含む映像と、映像のビットストリーム表現との変換を行うことを含み、ビットストリーム表現は、１つ以上の映像レイヤを有するコーディングされた映像シーケンスを含み、ビットストリーム表現は、同じレイヤに属するシーケンス終端ネットワーク抽象レイヤ（ＥＯＳ ＮＡＬ）ユニットの後の特定のレイヤの次のピクチャユニットが、イントラランダムアクセスポイントまたは漸次的復号更新ピクチャユニットであると規定するフォーマット規則に準拠する。

以下の解決策は、前章（例えば、項目４）で論じた技術の例示的な実施形態を示す。

５．映像処理方法であって、１つ以上の映像ピクチャを含む映像とこの映像のビットストリーム表現との変換すること、を含み、ビットストリーム表現は、１つ以上の映像レイヤを有するコーディングされた映像シーケンスを含み、ビットストリーム表現は、ピクチャユニットにおけるＥＯＳ ＮＡＬユニットが、ＥＯＳ ＮＡＬユニットまたはＥＯＢ ＮＡＬユニット以外のＰＵ内のすべてのＮＡＬユニットのうちの最後のＮＡＬユニットであることを規定するフォーマット規則に準拠する。

以下の解決策は、前章（例えば、項目５）で論じた技術の例示的な実施形態を示す。

６．映像処理方法であって、１つ以上の映像ピクチャを含む映像と映像のビットストリーム表現との変換を行うこと、を含み、ビットストリーム表現は、１つ以上の映像レイヤを有するコーディングされた映像シーケンスを含み、ビットストリーム表現は、ＥＯＳ ＲＢＳＰが、復号順でビットストリームのＥＯＳ ＮＡＬユニットと同じレイヤに属する次に続くＰＵがＩＲＡＰまたはＧＤＲ ＰＵでなければならないことを規定するフォーマット規則に準拠する。

７．変換を行うことは、映像をコーディングされた表現に符号化することを含む、解決策１から６のいずれかに記載の方法。

８．変換を行うことは、コーディングされた表現を構文解析し復号して映像を生成することを含む、解決策１～６のいずれかに記載の方法。

９．解決策１～８の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号装置。

１０．解決策１～８の１つ以上に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。

１１．コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コードは、処理装置により実行されると、前記処理装置に、解決策１～８のいずれかに記載の方法を実装させるコンピュータプログラム製品。

１２．本明細書に記載の方法、装置またはシステム。

いくつかの好適な実施形態を以下に説明する。

いくつかの実施形態において（例えば、第５節の項目１参照）において、映像処理方法（例えば、図７に示される方法７００）は、映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このビットストリームは、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、このフォーマット規則は、復号順でレイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットに続くビットストリームのレイヤの第１のＰＵに応答して、第１のＰＵの変数を特定の値に設定し、この変数は、この第１のＰＵがコーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）ＰＵであるかどうかを示す。いくつかの実施形態において、第１のＰＵは、瞬時復号更新ＰＵである。いくつかの実施形態において、第１のＰＵがクリーンランダムアクセスＰＵであり、クリーンランダムアクセスＰＵの別の変数が、クリーンランダムアクセスＰＵがＣＬＶＳＳ ＰＵとして扱われることを示すように設定される。いくつかの実施形態において、第１のＰＵはクリーンランダムアクセスＰＵである。いくつかの実施形態において、第１のＰＵは漸次的復号更新ＰＵである。いくつかの実施形態において、第１のＰＵは、復号順でレイヤの第１のＰＵである。いくつかの実施形態において、変数はＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇに対応する。

いくつかの実施形態において（例えば、第５節の項目３参照）、映像処理方法（例えば、図８に記載の方法８００）は、映像とこの映像のビットストリームとの変換を行うこと（８０２）を含み、このビットストリームは、フォーマット規則に従って、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、このフォーマット規則は、この特定のレイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットの後の特定のレイヤのＰＵが特定のタイプのＰＵであることを規定する。いくつかの実施形態において、ＰＵの特定のタイプは、イントラランダムアクセスポイント（ＩＲＡＰ）タイプまたは漸次的復号更新（ＧＤＲ）タイプのうちの１つである。いくつかの実施形態において、ＰＵの特定のタイプは、コーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）ＰＵである。

いくつかの実施形態において（例えば、第５節の項目５を参照）、映像処理方法（例えば、図９に示す方法９００）は、映像と映像のビットストリームとの変換を行うこと（９０２）を含み、ビットストリームは、フォーマット規則に従って１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、フォーマット規則は、存在する場合、シーケンス終端（ＥＯＳ）生バイトシーケンスペイロード（ＲＢＳＰ）構文構造が、復号順でビットストリームのＥＯＳネットワーク抽象化レイヤ（ＮＡＬ）ユニットと同じレイヤに属する次に続くＰＵが、イントラランダムアクセスポイント（ＩＲＡＰ）ＰＵタイプまたは漸次的復号更新（ＧＤＲ）ＰＵタイプからの特定のＰＵタイプであると規定する。いくつかの実施形態において、特定のＰＵタイプはＩＲＡＰ ＰＵタイプである。いくつかの実施形態において、特定のＰＵタイプはＧＤＲ ＰＵタイプである。

いくつかの実施形態において（例えば、第５節の項目２参照）、映像処理方法（例えば、図１０に記載の方法１０００）は、映像とこの映像のビットストリームとの変換を行うこと（１００２）を含み、このビットストリームは、フォーマット規則に従って、１つ以上のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む１つ以上のレイヤを含み、このフォーマット規則は、シーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットのヘッダにおける第１レイヤ識別子が、このビットストリームの１つ以上のレイヤのうちの１つの第２レイヤ識別子に等しいことが必要であることを規定する。いくつかの実施形態において、前記フォーマット規則は１つのピクチャユニット（ＰＵ）に複数のＥＯＳ ＮＡＬユニットを含めることをさらに許容する。いくつかの実施形態において、前記フォーマット規則は、前記ＥＯＳ ＮＡＬユニットの第１レイヤ識別子が、前記ＥＯＳ ＮＡＬユニットに関連する映像コーディングレイヤ（ＶＣＬ）ＮＡＬユニットの第３レイヤ識別子以下であることを要求することを規定する。

いくつかの実施形態において（例えば、第５節の項目４を参照）、映像処理方法（例えば、図１１に記載の方法１１００）は、映像と映像のビットストリームとの変換を行うこと（１１０２）を含み、ビットストリームは、フォーマット規則に従って、１つ以上のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを有する１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、フォーマット規則は、ＰＵのシーケンス終端を示す第１のＮＡＬユニットに応じて、第１のＮＡＬユニットは、他のＮＡＬユニット以外のＰＵ内のすべてのＮＡＬユニット中の最後のＮＡＬユニットであって、存在する場合、別のシーケンス終端を示し、または、存在する場合、ビットストリームの終端を示すことを規定する。いくつかの実施形態において、他のＮＡＬユニットはシーケンス終端（ＥＯＳ）ＮＡＬユニットである。いくつかの実施形態において、他のＮＡＬユニットはビットストリーム終端（ＥＯＢ）ＮＡＬユニットであることができる。

上記に開示された実施形態において、ＰＵは、ピクチャヘッダＮＡＬユニットと、１つ以上の映像コーディングレイヤＮＡＬユニットを含むコーディングされたピクチャと、０個以上の非映像コーディングレイヤＮＡＬユニットと、を含む、フォーマットを有してもよい。

上述した実施形態において、変換を行うことは、映像をビットストリームに符号化することを含む。

上述した実施形態において、変換を行うことは、映像をビットストリームから復号することを含む。

いくつかの実施形態において、処理装置を備える映像復号装置は、上記に開示された実施例のうちのいずれかに記載された方法を実施するように構成されてもよい。

いくつかの実施形態において、処理装置を備える映像符号化装置は、上記に開示された方法を実施するように構成されてもよい。

いくつかの実施形態において、コンピュータプログラム製品は、記憶されたコンピュータコードを有してよく、そのコードは、処理装置が実行した場合、処理装置に上記で開示された方法を実施させる。

いくつかの実施形態において、ビットストリーム生成方法は、上記請求項のいずれか１項以上に記載の方法に従ってビットストリームを生成することと、前記ビットストリームをコンピュータ可読プログラム媒体に記憶することと、を含む。

いくつかの実施形態において、非一時的なコンピュータ可読記録媒体は、映像処理装置によって行われる方法によって生成される映像のビットストリームを記憶してもよく、前記方法は、本明細書に開示される方法に従って前記ビットストリームを生成することを含む。

本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報をエンコードするために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の１つのファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。コンピュータプログラムを、１つのコンピュータで実行するように展開することができ、あるいは、１つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。

本明細書に記載されたプロセスおよびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。プロセスおよびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置（プロセッサ）は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うための処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの特徴を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および実施例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０２１年５月２１日出願の国際特許出願第ＰＣＴ／ＵＳ２０２１／０３３７２４号に基づくものであり、２０２０年５月２２日出願の米国特許仮出願第６３／０２９３３４号の優先権および利益を主張する。前述のすべての特許出願は、その全体が参照により本明細書に組み込まれる。

Claims (22)

1. 映像処理方法であって、
   映像と前記映像のビットストリームとの変換を行うことを含み、
   前記ビットストリームは、フォーマット規則に準拠し、
   前記ビットストリームは、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、
   前記フォーマット規則は、復号順において、前記レイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットに続く前記ビットストリームのレイヤの第１のＰＵに応じて、前記第１のＰＵの変数を特定の値に設定し、前記変数は、前記第１のＰＵがコーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）ＰＵであるかどうかを示す、
   方法。
2. 前記第１のＰＵは、瞬時復号更新ＰＵである、
   請求項１に記載の方法。
3. 前記第１のＰＵは、クリーンランダムアクセスＰＵであり、
   前記クリーンランダムアクセスＰＵの別の変数は、前記クリーンランダムアクセスＰＵが前記ＣＬＶＳＳ ＰＵとして扱われることを示すように設定される、
   請求項１に記載の方法。
4. 前記第１のＰＵは、クリーンランダムアクセスＰＵである、
   請求項１に記載の方法。
5. 前記第１のＰＵは、漸次的復号更新ＰＵである、
   請求項１に記載の方法。
6. 前記第１のＰＵは、前記復号順において、前記レイヤの第１のＰＵである、
   請求項４又は５に記載の方法。
7. 前記変数は、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇに対応する、
   請求項１から６のいずれか１項に記載の方法。
8. 映像処理方法であって、
   映像と前記映像のビットストリームとの変換を行うことを含み、
   前記ビットストリームは、フォーマット規則に従って、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、
   前記フォーマット規則は、特定のレイヤのシーケンス終端ネットワーク抽象化レイヤ（ＥＯＳ ＮＡＬ）ユニットの後の前記特定のレイヤのＰＵが特定のタイプのＰＵであることを規定する、
   方法。
9. 前記特定のタイプのＰＵは、イントラランダムアクセスポイント（ＩＲＡＰ）タイプまたは漸次的復号更新（ＧＤＲ）タイプのうちの１つである、
   請求項８に記載の方法。
10. 前記特定のタイプのＰＵは、コーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）ＰＵである、
    請求項８に記載の方法。
11. 映像処理方法であって、
    映像と前記映像のビットストリームとの変換を行うことを含み、
    前記ビットストリームは、フォーマット規則に従って、１つ以上のピクチャユニット（ＰＵ）を含む１つ以上のレイヤを含み、
    前記フォーマット規則は、存在する場合、シーケンス終端（ＥＯＳ）生バイトシーケンスペイロード（ＲＢＳＰ）構文構造は、復号順で前記ビットストリームの前記ＥＯＳネットワーク抽象化レイヤ（ＮＡＬ）ユニットと同じレイヤに属する次に続くＰＵが、イントラランダムアクセスポイント（ＩＲＡＰ）ＰＵタイプまたは漸次的復号更新（ＧＤＲ）ＰＵタイプからの特定のＰＵタイプであることを規定する、
    方法。
12. 前記特定のＰＵタイプは、前記ＩＲＡＰ ＰＵタイプである、
    請求項１１に記載の方法。
13. 前記特定のＰＵタイプは、前記ＧＤＲ ＰＵタイプである、
    請求項１１に記載の方法。
14. 前記ＰＵは、ピクチャヘッダＮＡＬユニットと、１つ以上の映像コーディングレイヤＮＡＬユニットを含むコーディングされたピクチャと、０個以上の非映像コーディングレイヤＮＡＬユニットと、を含む、
    請求項１から１３のいずれか１項に記載の方法。
15. 前記変換を行うことは、前記映像を前記ビットストリームに符号化することを含む、
    請求項１から１４のいずれか１項に記載の方法。
16. 前記変換を行うことは、前記ビットストリームから前記映像を復号することを含む、
    請求項１から１４のいずれか１項に記載の方法。
17. 請求項１から１４の１項以上に記載の方法を実装するように構成される処理装置を備える、
    映像復号装置。
18. 請求項１から１６の１項以上に記載の方法を実装するように構成される処理装置を備える、
    映像符号化装置。
19. コンピュータコードを記憶したコンピュータプログラム製品であって、
    前記コードは、処理装置により実行されると、前記処理装置に、請求項１から１６のいずれか１項に記載の方法を実装させる、
    コンピュータプログラム製品。
20. ビットストリーム生成方法であって、
    請求項１から１６のいずれか１項以上に記載の方法に従ってビットストリームを生成することと、
    前記ビットストリームをコンピュータ可読プログラム媒体に記憶することと、を含む、
    ビットストリーム生成方法。
21. 映像処理装置により行われる方法で生成される映像のビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、
    前記方法は、
    請求項１から１６のいずれか１項以上に記載の方法に従って前記ビットストリームを生成することを含む、
    非一時的なコンピュータ可読記録媒体。
22. 本明細書に記載の方法、装置またはシステム。

Images