JP2023526370A

JP2023526370A - 映像ビットストリーム処理におけるピクチャタイプの制約

Info

Publication number: JP2023526370A
Application number: JP2022570203A
Authority: JP
Inventors: イェクイワン
Original assignee: ByteDance Inc
Current assignee: ByteDance Inc
Priority date: 2020-05-22
Filing date: 2021-05-21
Publication date: 2023-06-21
Also published as: EP4140142A4; EP4140142A1; KR20230015373A; JP2023526369A; WO2021237183A1; WO2021237177A1; JP2023526368A; MX2022014673A; EP4144093A1; KR20230015382A; CN117834916A; KR20230015385A; JP2023526367A; WO2021237181A1; US20230077443A1; US20240040138A1; EP4140143A1; CN115668945A; EP4140128A1; EP4140143A4

Abstract

映像ビットストリーム処理におけるピクチャタイプの制約を定義し、使用するための方法、システム、およびデバイスが開示される。例示の映像処理方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング（ＰＴ）補足強化情報（ＳＥＩ）メッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャである１つ以上のピクチャのうちの各ピクチャは、ＲＡＳＬネットワーク抽象化レイヤユニットタイプ（ＮＵＴ）のみを含む。【選択図】図６

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および／または規則に基づいて、本願は、２０２０年５月２２日出願の米国特許仮出願第６３／０２９３２１号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

この特許明細書は、画像および映像コーディングおよびデコーディングに関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

本明細書は、映像符号化またはデコーディングを行うために、映像エンコーダおよびデコーダによって使用され得る技術を開示する。

１つの例示的な態様において、映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング（ＰＴ）補足強化情報（ＳＥＩ）メッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャである１つ以上のピクチャのうちの各ピクチャは、ＲＡＳＬネットワーク抽象化レイヤユニットタイプ（ＮＵＴ）のみを含む。

別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャと同じクリーンランダムアクセス（ＣＲＡ）ピクチャに関連付けられたランダムアクセス復号可能リーディング（ＲＡＤＬ）サブピクチャにおいて、同一位置に配置されたＲＡＤＬピクチャを予測するための参照サブピクチャとしてＲＡＳＬピクチャにおけるＲＡＤＬサブピクチャの使用を許可する。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第１のフラグに関連付けられ、かつピクチャオーダカウントのためのデコーディング処理における、ピクチャの導出が第２のフラグに基づくことを規定し、この第１のフラグに関連付けられたピクチャは、（ｉ）参照ピクチャリスト構文構造を参照する、スライスまたはピクチャヘッダと同じ第１の識別子、（ｉｉ）０に等しい第２の識別子および第２のフラグ、並びに（ｉｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャおよびラランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャとは異なるピクチャタイプを有する、復号順で前のピクチャであり、第１のフラグは、第３のフラグがビットストリームに存在するかどうかを示し、第２のフラグは、現在のピクチャを参照ピクチャとして使用するかどうかを示し、第３のフラグは、長期参照ピクチャのピクチャオーダカウント値の１つ以上の最上位ビットの値を決定するために使用される。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、デコーディングユニット（ＤＵ）の除去またはＤＵのデコーディングのタイミングを決定するために使用される変数が、アクセスユニット（ＡＵ）固有のものであり、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出されることを規定する。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、バッファリング期間補足強化情報（ＳＥＩ）メッセージおよびピクチャタイミングＳＥＩメッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、バッファリング期間ＳＥＩメッセージに関連付けられた第１の変数およびバッファリング期間ＳＥＩメッセージに関連付けられた第２の変数およびピクチャタイミングＳＥＩメッセージは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出され、この第１の変数は、（ｉ）０に等しい識別子と、（ｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャではなく、このフラグが０に等しいピクチャと、を含むアクセスユニットを示し、第２の変数は、復号順で最初のＡＵでないこと、および、復号順で前のＡＵが、（ｉ）０に等しい識別子と、（ｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャでなく、フラグが０に等しいピクチャとを含むことを示す。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第１のピクチャおよび第２のピクチャに関連付けられた第１の変数および第２の変数の導出がフラグに基づくことを規定し、第１のピクチャは、現在のピクチャであり、第２のピクチャは、（ｉ）０に等しい第１の識別子を含み、（ｉｉ）０に等しいフラグを含み、（ｉｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャではない復号順で前のピクチャであり、第１の変数および第２の変数は、第１のピクチャのそれと等しい第２の識別子を有する、（ｉ）第１のピクチャ、（ｉｉ）第２のピクチャ、（ｉｉｉ）第１のピクチャの参照ピクチャリストの全てのエントリが参照する１つ以上の短期参照ピクチャ、並びに（ｉｖ）第１のピクチャのＣＰＢ除去時間より短いコーディングされたピクチャバッファ（ＣＰＢ）除去時間、および第１のピクチャのＣＰＢ除去時間以上のデコーディングされたピクチャバッファ（ＤＰＢ）出力時間で出力された各ピクチャ、の各々のピクチャオーダカウントのそれぞれ、最大値および最小値である。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグおよび構文要素が、ビットストリームに含まれている場合には、アクセスユニット（ＡＵ）固有であることを規定し、フラグは、現在のＡＵが復号順でビットストリームの最初のＡＵではないことに呼応して、現在のＡＵの公称コーディングされたピクチャバッファ（ＣＰＢ）除去時間が、（ａ）バッファリング期間補足強化情報（ＳＥＩ）メッセージに関連付けられた前のＡＵの公称ＣＰＢ除去時間、または（ｂ）現在のＡＵの公称ＣＰＢ除去時間に関連して決定されるかどうかを示し、構文要素は、現在のＡＵが復号順でビットストリームの最初のＡＵではないことに呼応して、現在のＡＵの公称ＣＰＢ除去時間に関連するＣＰＢ除去遅延増分値を規定する。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、複数の変数とピクチャタイミング補足強化情報（ＳＥＩ）メッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、ピクチャタイミングＳＥＩメッセージは、複数の構文要素を含み、複数の変数のうちの第１の変数は、現在のＡＵがバッファリング期間ＳＥＩメッセージに関連付けられているかどうかを示し、複数の変数のうち第２の変数と第３の変数は、現在のＡＵが仮想参照デコーダ（ＨＲＤ）を初期化するＡＵであるかどうかの指示に関連付けられており、複数の構文要素のうち第１の構文要素は、ＡＵをコーディングされたピクチャバッファ（ＣＰＢ）から除去した後、ＡＵの１つ以上のデコーディングされたピクチャがデコーディングされたピクチャバッファ（ＤＰＢ）から出力されるまで待つためのクロックティック数を規定し、複数の構文要素のうち第２の構文要素は、ＡＵの最後のデコーディングユニット（ＤＵ）をＣＰＢから除去した後、ＡＵの１つ以上のデコーディングされたピクチャがＤＰＢから出力されるまで待つためのサブクロックティックの数を規定し、複数の構文要素のうちの第３の構文要素は、現在のＡＵの１つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、デコーディングピクチャバッファ（ＤＰＢ）に関連付けられた構文要素が、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、構文要素は、ＡＵの最後のデコーディングユニット（ＤＵ）をコーディングされたピクチャバッファ（ＣＰＢ）から除去した後、ＡＵの１つ以上のデコーディングされたピクチャがＤＰＢから出力されるまで待つためのサブクロックティックの数を規定する。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグが、ビットストリームに含まれている場合には、アクセスユニット（ＡＵ）固有であることを規定し、フラグの値は、関連付けられたＡＵがイントラランダムアクセスポイント（ＩＲＡＰ）ＡＵであるか、または漸次デコーディング更新（ＧＤＲ）ＡＵであるかに基づいており、フラグの値は、（ｉ）構文要素が、バッファリング期間補足強化情報（ＳＥＩ）メッセージに存在しているかどうか、（ｉｉ）代替のタイミング情報が現在のバッファリング期間のピクチャタイミングＳＥＩメッセージに存在するかどうかを規定する。

さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第１の構文要素の値が、仮想参照デコーダ（ＨＲＤ）の連続するピクチャの出力時間の間の時間的距離が制約されているかどうかを示すフラグと、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数に基づくことを規定し、第１の構文要素は、現在のＡＵの１つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。

さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成されたプロセッサを備える。

さらに別の例示的な態様おいて、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の１つをプロセッサが実行可能なコードの形式で実施する。

これらのおよび他の特徴は、本文書全体にわたって説明される。

本明細書で開示される様々な技術が実装され得る例示的な映像処理システムを示すブロック図である。映像処理に使用されるハードウェアプラットフォームの例を示すブロック図である。本開示のいくつかの実施形態を実装することができる例示的な映像コーディングシステムを示すブロック図である。本開示のいくつかの実施形態を実装することができるエンコーダの例を示すブロック図である。本開示のいくつかの実施形態を実装することができるデコーダの例を示すブロック図である。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。映像処理の方法の例を示すフローチャートである。

本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、Ｈ．２６６という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。

１．導入
本明細書は、映像コーディング技術に関する。具体的には、これは、映像コーディングにおける廃棄可能なピクチャ／ＡＵの取り扱いおよびＨＲＤ関連のＳＥＩメッセージの意味論に関する。特定のシナリオにおいて廃棄することができる廃棄可能なピクチャの例は、ＲＡＳＬピクチャ、ＲＡＤＬピクチャ、およびｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが１に等しいピクチャを含む。ＨＲＤ関連ＳＥＩメッセージは、ＢＰ、ＰＴ、およびＤＵＩＳＥＩメッセージを含む。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）をサポートする任意の映像コーディング規格または非標準映像コーデックに適用されてもよい。

２．略語
ＡＰＳＡｄａｐｔａｔｉｏｎＰａｒａｍｅｔｅｒＳｅｔ（適応パラメータセット）
ＡＵＡｃｃｅｓｓＵｎｉｔ（アクセスユニット）
ＡＵＤＡｃｃｅｓｓＵｎｉｔＤｅｌｉｍｉｔｅｒ（アクセスユニット区切り文字）
ＡＶＣＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（高度映像コーディング）
ＣＬＶＳＣｏｄｅｄＬａｙｅｒＶｉｄｅｏＳｅｑｕｅｎｃｅ（コーディングされたレイヤ映像シーケンス）
ＣＰＢＣｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ（コーディングされたピクチャバッファ）
ＣＲＡＣｌｅａｎＲａｎｄｏｍＡｃｃｅｓｓ（クリーンランダムアクセス）
ＣＴＵＣｏｄｉｎｇＴｒｅｅＵｎｉｔ（コーディングツリーユニット）
ＣＶＳＣｏｄｅｄＶｉｄｅｏＳｅｑｕｅｎｃｅ（コーディングされた映像シーケンス）
ＤＣＩＤｅｃｏｄｉｎｇＣａｐａｂｉｌｉｔｙＩｎｆｏｒｍａｔｉｏｎ（デコーディング能力情報）
ＤＰＢＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ（デコーディングされたピクチャバッファ）
ＥＯＢＥｎｄＯｆＢｉｔｓｔｒｅａｍ（ビットストリーム終端）
ＥＯＳＥｎｄＯｆＳｅｑｕｅｎｃｅ（シーケンス終端）
ＧＤＲＧｒａｄｕａｌＤｅｃｏｄｉｎｇＲｅｆｒｅｓｈ（漸次的デコーディング更新）
ＨＥＶＣＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ（高効率映像コーディング）
ＨＲＤＨｙｐｏｔｈｅｔｉｃａｌＲｅｆｅｒｅｎｃｅＤｅｃｏｄｅｒ（仮想参照デコーダ）
ＩＤＲＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｄｉｎｇＲｅｆｒｅｓｈ（瞬時デコーディングリフレッシュ）
ＩＬＰＩｎｔｅｒ－ＬａｙｅｒＰｒｅｄｉｃｔｉｏｎ（インタレイヤ予測）
ＩＬＲＰＩｎｔｅｒ－ＬａｙｅｒＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅ（インタレイヤ参照ピクチャ）
ＪＥＭＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＭｏｄｅｌ（共同探索モデル）
ＬＴＲＰＬｏｎｇ－ＴｅｒｍＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅ（長期参照ピクチャ）
ＭＣＴＳＭｏｔｉｏｎ－ＣｏｎｓｔｒａｉｎｅｄＴｉｌｅＳｅｔｓ（動作制約タイルセット）
ＮＡＬＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ（ネットワーク抽象化レイヤ）
ＯＬＳＯｕｔｐｕｔＬａｙｅｒＳｅｔ（出力レイヤセット）
ＰＨＰｉｃｔｕｒｅＨｅａｄｅｒ（ピクチャヘッダ）
ＰＰＳＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ（ピクチャパラメータセット）
ＰＴＬＰｒｏｆｉｌｅ，ＴｉｅｒａｎｄＬｅｖｅｌ（プロファイル、層およびレベル）
ＰＵＰｉｃｔｕｒｅＵｎｉｔ（ピクチャユニット）
ＲＡＰＲａｎｄｏｍＡｃｃｅｓｓＰｏｉｎｔ（ランダムアクセスポイント）
ＲＡＤＬＲａｎｄｏｍＡｃｃｅｓｓＤｅｃｏｄａｂｌｅＬｅａｄｉｎｇＰｉｃｔｕｒｅ（ランダムアクセス復号可能リードピクチャ）
ＲＡＳＬＲａｎｄｏｍＡｃｃｅｓｓＳｋｉｐｐｅｄＬｅａｄｉｎｇＰｉｃｔｕｒｅ（ランダムアクセススキップリードピクチャ）
ＲＢＳＰＲａｗＢｙｔｅＳｅｑｕｅｎｃｅＰａｙｌｏａｄ（生バイトシーケンスペイロード）
ＳＥＩＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ（補足強化情報）
ＳＰＳＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ（シーケンスパラメータセット）
ＳＴＲＰＳｈｏｒｔ－ＴｅｒｍＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅ（短期参照ピクチャ）
ＳＶＣＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇ（スケーラブル映像コーディング）
ＶＣＬＶｉｄｅｏＣｏｄｉｎｇＬａｙｅｒ（映像コーディングレイヤ）
ＶＰＳＶｉｄｅｏＰａｒａｍｅｔｅｒＳｅｔ（映像パラメータセット）
ＶＴＭＶＶＣＴｅｓｔＭｏｄｅｌ（ＶＶＣ試験モデル）
ＶＵＩＶｉｄｅｏＵｓａｂｉｌｉｔｙＩｎｆｏｒｍａｔｉｏｎ（映像ユーザビリティ情報）
ＶＶＣＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ（汎用映像コーディング）

３．初期の協議
映像コーディング規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えた将来の映像コーディング技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｉｏｎＴｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（ＪｏｉｎｔＥｘｐｌｏｒａｔｉｏｎＭｏｄｅｌ）と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは四半期に１回開催され、新しいコーディング規格はＨＥＶＣに比べて５０％のビットレート低減を目指している。２０１８年４月のＪＶＥＴ会議において、新しい映像コーディング規格を「ＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）」と正式に命名し、その時、第１版のＶＶＣテストモデル（ＶＴＭ）をリリースした。ＶＶＣの標準化に寄与する努力が続けられているので、すべてのＪＶＥＴ会議において、ＶＶＣ標準に新しいコーディング技術が採用されている。毎回の会議の後、ＶＶＣ作業草案およびテストモデルＶＴＭを更新する。ＶＶＣプロジェクトは、現在、２０２０年７月の会合における技術完成（ＦＤＩＳ）を目指している。

３．１参照ピクチャ管理および参照ピクチャリスト（ＲＰＬ）
参照ピクチャ管理は、インター予測を使用する任意の映像コーディング方式に必要なコア機能である。それは、デコーディングされたピクチャバッファ（ＤＰＢ）への参照ピクチャの記憶およびデコーディングされたピクチャバッファ（ＤＰＢ）からの参照ピクチャの除去を管理し、かつ参照ピクチャをＲＰＬ内の適切な順序に置く。

ＨＥＶＣの参照ピクチャ管理は、参照ピクチャのマーキングおよびデコーディングされたピクチャバッファ（ＤＰＢ）からの除去、並びに参照ピクチャリスト構築（ＲＰＬＣ）を含み、ＡＶＣのものとは異なる。ＡＶＣにおいて、ＨＥＶＣは、スライディングウィンドウに適応メモリ管理制御動作（ＭＭＣＯ）を加えたものに基づく参照ピクチャマーキング機構の代わりに、いわゆる参照ピクチャセット（ＲＰＳ）に基づく参照ピクチャ管理およびマーキング機構を規定し、その結果、ＲＰＬＣは、ＲＰＳ機構に基づく。ＲＰＳは、ピクチャに関連付けられた参照ピクチャのセットで構成され、復号順において関連付けられたピクチャに先行する全ての参照ピクチャで構成され、復号順において関連付けられたピクチャまたは関連付けられたピクチャの後に続く任意のピクチャのインター予測に使用してもよい。参照ピクチャセットは、参照ピクチャの５つのリストで構成される。第１の３つのリストは、現在のピクチャのインター予測において使用してもよい、かつ現在のピクチャに復号順において続く１つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャを含む。他の２つのリストは、現在のピクチャのインター予測において使用されないが、現在のピクチャに復号順において続く１つ以上のピクチャのインター予測において使用してもよい全ての参照ピクチャからなる。ＲＰＳは、主にエラー耐性を改善するために、ＡＶＣにおけるような「インターコーディングされた」信号通知の代わりに、ＤＰＢステータスの「イントラコーディングされた」信号通知を提供する。ＨＥＶＣにおけるＲＰＬＣ処理は、各参照インデックスのＲＰＳサブセットにインデックスを信号通知することによって、ＲＰＳに基づいており、この処理は、ＡＶＣにおけるＲＰＬＣ処理よりも簡単である。

ＶＶＣにおける参照ピクチャ管理は、ＡＶＣよりもＨＥＶＣに類似しているが、いくぶんシンプルで堅牢である。これらの標準におけるように、２つのＲＰＬ、ｌｉｓｔ０およびｌｉｓｔ１が導出されるが、これらは、ＨＥＶＣで使用される参照ピクチャセットの概念またはＡＶＣで使用される自動スライディングウィンドウ処理に基づくものではなく、より直接的に信号通知される。参照ピクチャは、ＲＰＬのためにアクティブエントリおよび非アクティブエントリのいずれかとしてリストされ、アクティブエントリのみが、現在のピクチャのＣＴＵのインター予測における参照インデックスとして使用されてもよい。非アクティブエントリは、ビットストリーム後に到着する他のピクチャにより参照するために、ＤＰＢに保持されるべき他のピクチャを示す。

３．２．ＨＥＶＣおよびＶＶＣにおけるランダムアクセスとそのサポート
ランダムアクセスとは、復号順でビットストリームの最初のピクチャでないピクチャからビットストリームのアクセスとデコーディングを開始することを指す。ブロードキャスト／マルチキャストおよび複数人数による映像会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むことが必要であり、一般的に、イントラコーディングされたピクチャであるが、インターコーディングピクチャであってもよい（例えば、漸次的デコーディング更新の場合）。

ＨＥＶＣは、ＮＡＬユニットタイプによって、ＮＡＬユニットのヘッダ内のランダムアクセスポイント内（ＩＲＡＰ）ピクチャを信号通知することを含む。３つのタイプのＩＲＡＰピクチャ、即ち、インスタント・デコーダ・リフレッシュ（ＩＤＲ）、クリーン・ランダム・アクセス（ＣＲＡ）、およびブロークン・リンク・アクセス（ＢＬＡ）ピクチャがサポートされる。ＩＤＲピクチャは、インターピクチャ予測構造が現在のピクチャグループ（ＧＯＰ）の前のどのピクチャも参照しないようにするよう、制約しており、従来、クローズドＧＯＰランダムアクセスポイントと呼ばれている。ＣＲＡピクチャは、あるピクチャが現在のＧＯＰの前にピクチャを参照することを許可することによって、制限が緩和され、ランダムアクセスの場合、これらはすべて破棄される。ＣＲＡピクチャは、従来、オープンＧＯＰランダムアクセスポイントと呼ばれている。ＢＬＡピクチャは、通常、例えばストリーム切り替え時に、ＣＲＡピクチャにおいて２つのビットストリームまたはその一部をスプライシングすることで生成される。ＩＲＡＰピクチャのより優れたシステム使用を可能にするために、全部で６つの異なるＮＡＬユニットがＩＲＡＰピクチャのプロパティを信号通知するように定義され、これらのユニットは、ＨＴＴＰ（ＤＡＳＨ）上で動的適応ストリーミングでのランダムアクセスサポートのために使用される、ＩＳＯベースのメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に定義されるようなストリームアクセスポイントのタイプにより適したものにするために使用できる。

ＶＶＣは、３つのタイプのＩＲＡＰピクチャ、２つのタイプのＩＤＲピクチャ（関連付けられたＲＡＤＬピクチャを有する１つのタイプおよび関連付けられたＲＡＤＬピクチャを有しない他のタイプ）およびＣＲＡピクチャの１つのタイプをサポートする。これらは基本的にＨＥＶＣと同じである。ＨＥＶＣにおけるＢＬＡピクチャのタイプは、主に２つの理由により、ＶＶＣに含まれていない。ｉ）ＢＬＡピクチャの基本機能性は、ＣＲＡピクチャにシーケンスＮＡＬユニットの終端を加えることで実現でき、このシーケンスＮＡＬユニットの終端が存在することは、後続のピクチャが単層ビットストリームにおいて新しいＣＶＳを開始することを示す。ｉｉ）ＶＶＣの開発において、ＮＡＬユニットヘッダのＮＡＬユニットタイプフィールドに６ビットの代わりに５ビットを用いることによって示されるように、ＨＥＶＣよりも少ないＮＡＬユニットタイプを規定することが望ましかった。

ＶＶＣとＨＥＶＣとの間のランダムアクセスサポートにおける別の重要な相違は、ＶＶＣにおいてより規範的な方法でＧＤＲをサポートすることである。ＧＤＲにおいて、ビットストリームのデコーディングは、インターコーディングされたピクチャから開始することができ、始めは、ピクチャ領域全体を正しくデコーディングすることができないが、複数のピクチャの後に、ピクチャ領域全体を正しくデコーディングすることができるようになる。ＡＶＣおよびＨＥＶＣはまた、ＧＤＲランダムアクセスポイントおよびリカバリポイントの信号通知のためのリカバリポイントＳＥＩメッセージを使用して、ＧＤＲをサポートする。ＶＶＣにおいて、ＧＤＲピクチャを示すために新しいＮＡＬユニットタイプが指定され、ピクチャヘッダ構文構造においてリカバリポイントが通知される。ＣＶＳおよびビットストリームは、ＧＤＲピクチャで開始することができる。これは、１つのビットストリーム全体が、１つのイントラコーディングされたピクチャなしにインターコーディングされたピクチャのみを含むことができることを意味する。ＧＤＲサポートをこのように規定する主な利点は、ＧＤＲに適合した動作を提供することである。ＧＤＲは、エンコーダが、ピクチャ全体をイントラコーディングするのではなく、複数のピクチャにイントラコーディングされたスライスまたはブロックを分布させることによって、ビットストリームのビットレートを平滑化することを可能にし、これにより、無線表示、オンラインゲーム、無人機に基づくアプリケーションのような超低遅延アプリケーションがより一般的になっているため、今日の方が以前より重要視されているエンドツーエンドの遅延の大幅な低減を可能にする。

ＶＶＣにおける別のＧＤＲに関連する特徴は、仮想境界信号通知である。ＧＤＲピクチャとそのリカバリポイントとの間のピクチャにおける、更新された領域（すなわち、正しくデコーディングされた領域）と未更新の領域との境界は、仮想境界として信号通知されてもよく、信号通知された場合、境界をまたがるインループフィルタリングは適用されなくなり、したがって、境界およびその付近のいくつかのサンプルのデコーディングの不整合が発生しなくなる。これは、アプリケーションがＧＤＲ処理中に正しくデコーディングされた領域を表示することを決定した場合に有用となりうる。

ＩＲＡＰピクチャおよびＧＤＲピクチャを集合的に、ランダムアクセスポイント（ＲＡＰ）ピクチャと呼ぶことができる。

３．３シーケンス内のピクチャ解像度の変更
ＡＶＣおよびＨＥＶＣにおいて、ピクチャの空間的解像度は、新しいＳＰＳを使用する新しいシーケンスがＩＲＡＰピクチャで始まらない限り、変更することができない。ＶＶＣは、常にイントラコーディングされるＩＲＡＰピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャがデコーディングされている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるので、参照ピクチャリサンプリング（ＲＰＲ）と称する。

スケーリング比は、１／２（参照ピクチャから現在のピクチャへのダウンサンプリングの２倍）以上８（８倍のアップサンプリング）以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる３つの再サンプリングフィルタセットを規定する。３つの組の再サンプリングフィルタは、それぞれ、１／２～１／１．７５、１／１．７５～１／１．２５、および１／１．２５～８の範囲のスケーリング比に適用される。各組の再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して１６個のフェーズを有し、彩度に対して３２個のフェーズを有する。実際には、通常のＭＣ補間処理は、１／１．２５～８の範囲のスケーリング比を有する再サンプリング処理の特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。

ＨＥＶＣとは異なる、この特徴をサポートするためのＶＶＣ設計の他の態様は、ｉ）ＳＰＳの代わりにＰＰＳにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、ＳＰＳにおいて最大ピクチャ解像度を信号通知すること、ｉｉ）単レイヤビットストリームの場合、各ピクチャ記憶装置（１つのデコーディングされたピクチャを記憶するためのＤＰＢにおける１つのスロット）は、最大ピクチャ解像度を有するデコーディングされたピクチャを記憶するために必要なバッファサイズを占めることを含む。

３．４全般およびＶＶＣにおけるスケーラブル映像コーディング（ＳＶＣ）
ＳＶＣ（ＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇ、時には、映像コーディングにおけるスケーラビリティとも呼ばれる）は、ＢＬ（ＢａｓｅＬａｙｅｒ：基本レイヤ）（時には、ＲＬ（ＲｅｆｅｒｅｎｃｅＬａｙｅｒ：参照レイヤ）と呼ばれる）および１または複数のＥＬ(ＥｎｈａｎｃｅｍｅｎｔＬａｙｅｒ: スケーラブルエンハンスメントレイヤ)が使用される映像コーディングを参照する。ＳＶＣにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。１つ以上のエンハンスメントレイヤは、例えば、より高い空間的、時間的、および／または信号対雑音（ＳＮＲ）レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下層がＢＬとして機能し、上層がＥＬとして機能することができる。中間レイヤは、ＥＬまたはＲＬのいずれか、またはその両方として機能することができる。例えば、中間レイヤ（例えば、最下レイヤでも最上レイヤでもないレイヤ）は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する増強レイヤのためのＥＬであってもよく、同時に、中間レイヤの上の１つ以上の増強レイヤのためのＲＬとしての役割を果たす。同様に、ＨＥＶＣ規格のマルチビューまたは３Ｄ拡張では、複数のビューが存在してもよく、１つのビューの情報を利用して別のビューの情報をコーディング（例えば、符号化またはデコーディング）することができる（例えば、動き推定、動きベクトル予測および／または他の冗長性）。

ＳＶＣにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル（例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等）に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤのコーディングされた映像シーケンスによって利用できるパラメータは、映像パラメータセット（ＶＰＳ）に含まれてもよく、コーディングされた映像シーケンスにおける１つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット（ＳＰＳ）に含まれてもよい。同様に、１つのピクチャの１つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット（ＰＰＳ）に含まれてもよく、１つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。

ＶＶＣにおけるＲＰＲ（ＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅＲｅｓａｍｐｌｉｎｇ）のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリングはＲＰＲアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、ＶＶＣにおけるＳＤおよびＨＤ解像度の２つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更（スケーラビリティをサポートしない場合と比較して）が必要である。スケーラビリティサポートは、ＶＶＣバージョン１に規定されている。ＡＶＣおよびＨＥＶＣの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、ＶＶＣのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームのためのデコーディング能力は、ビットストリームに１つのレイヤしかなかったかの如く規定される。例えば、ＤＰＢサイズのようなデコーディング能力は、デコーディングされるビットストリームのレイヤの数に依存しない手法で規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームをデコーディングすることができるようにするために、あまり多くの変更を必要としない。ＡＶＣおよびＨＥＶＣの多層拡張の設計と比較して、ＨＬＳの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、ＩＲＡＰＡＵは、ＣＶＳに存在する各レイヤのピクチャを含むことが必要である。

３．５パラメータセット
ＡＶＣ、ＨＥＶＣ、ＶＶＣはパラメータ集合を規定する。パラメータセットのタイプは、ＳＰＳ、ＰＰＳ、ＡＰＳ、ＶＰＳ等である。ＳＰＳ、ＰＰＳは、ＡＶＣ、ＨＥＶＣ、ＶＶＣのすべてでサポートされている。ＶＰＳは、ＨＥＶＣから導入されたものであり、ＨＥＶＣおよびＶＶＣの両方に含まれる。ＡＰＳは、ＡＶＣまたはＨＥＶＣに含まれていなかったが、最近のＶＶＣ草案のテキストに含まれている。

ＳＰＳは、シーケンスレベルのヘッダ情報を伝送するように設計され、ＰＰＳは、頻繁に変化しないピクチャレベルのヘッダ情報を伝送するように設計された。ＳＰＳおよびＰＰＳを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、ＳＰＳおよびＰＰＳを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。

ＶＰＳは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。

ＡＰＳは、コーディングするためのかなりのビットを必要とし、複数のピクチャによって共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、そのようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。

４．開示される技術的解決策によって解決される技術課題
最近のＶＶＣテキスト（ＪＶＥＴ－Ｒ２００１－ｖＡ／ｖ１０）における廃棄可能なピクチャを取り扱うための既存の設計は、以下の問題を有する。
１）条項３（定義）において、ＲＡＳＬピクチャの定義の一部として、文章「ＲＡＳＬピクチャを、非ＲＡＳＬピクチャのデコーディングプロセスのための参照ピクチャとして使用する。」が問題となっている。これは、シナリオによっては、もはや当てはまらないため、混同や相互運用性の問題を引き起こす可能性があるためと考えられる。
２）Ｄ．４．２項（ピクチャタイミングＳＥＩメッセージの意味論）において、０に等しいｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに対する制約は、ピクチャ固有の方式で規定される。しかしながら、ＨＲＤ動作はＯＬＳに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。
３）ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］の意味論およびピクチャオーダカウント（ＰＯＣ）のデコーディングプロセスにおけるｐｒｅｖＴｉｄ０Ｐｉｃの導出は、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値を考慮していない。これは、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが１に等しいピクチャを廃棄するときに、ピクチャおよび／または信号通知された参照ピクチャのために導出されたＰＯＣ値が誤っている可能性があり、デコーダのクラッシュを含む予期せぬ不正確なデコーディング動作が発生する可能性があるので、問題を引き起こすことになる。
４）Ｃ．２．３項（ＤＵ除去とＤＵのデコーディングのタイミング）において、変数ｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃはピクチャ固有の方式で規定され、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値は考慮されていない。その結果、上記と同様な問題が発生し得る。
５）問題４と同様の問題は、Ｄ．３．２項（バッファリング期間ＳＥＩメッセージの意味論）のｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃおよびｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃ、並びにＤ．４．２項（ピクチャタイミングＳＥＩメッセージの意味論）のｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃにも適用される。
６）ｂｐ＿ｃｏｎｃａｔｅｎａｔｉｏｎ＿ｆｌａｇおよびｂｐ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｄｅｌｔａ＿ｍｉｎｕｓ１の意味論は、ピクチャ固有の方法で規定される。しかしながら、ＨＲＤ動作はＯＬＳに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。
７）ｂｐ＿ａｌｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値に関する制約において、ｂｐ＿ａｌｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの意味論は、まずピクチャ固有の方式で規定され、かつＡＵ固有であるべきであるということ、次にＩＲＡＰピクチャのみを考慮し、かつＧＤＲピクチャも考慮する必要があるという２つの問題を有する。
８）Ｄ．４．２項（ピクチャタイミングＳＥＩメッセージの意味論）における変数ＢｐＲｅｓｅｔＦｌａｇ、ＣｐｂＲｅｍｏｖａｌＤｅｌａｙＭｓｂ［ｉ］、ＣｐｂＲｅｍｏｖａｌＤｅｌａｙＶａｌ［ｉ］、および構文要素ｐｔ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ、ｐｔ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｕ＿ｄｅｌａｙおよびｐｔ＿ｄｉｓｐｌａｙ＿ｅｌｅｍｅｎｔａｌ＿ｐｅｒｉｏｄｓ＿ｍｉｎｕｓ１は、ピクチャ固有の方式において規定されている。しかしながら、ＨＲＤ動作はＯＬＳに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。
９）Ｃ．４項（ビットストリーム適合性）において、ｍａｘＰｉｃＯｒｄｅｒＣｎｔおよびｍｉｎＰｉｃＯｒｄｅｒＣｎｔの導出は、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇの値を考慮しない。これは、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが１に等しいピクチャを廃棄するときに、ピクチャおよび／または信号通知された参照ピクチャのために導出されたＰＯＣ値が誤っている可能性があり、デコーダのクラッシュを含む予期せぬ不正確なデコーディング動作が発生する可能性があるので、問題を引き起こすことになる。
１０）ｐｔ＿ｄｉｓｐｌａｙ＿ｅｌｅｍｅｎｔａｌ＿ｐｅｒｉｏｄｓ＿ｍｉｎｕｓ１の意味論において、構文要素ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［ＴｅｍｐｏｒａｌＩｄ］が使用される。しかしながら、意味論は、ＢＰ、ＰＴ、およびＤＵＩＳＥＩメッセージの他の意味論においてそうであるように、対象の最大ＴｅｍｐｏｒａｌＩｄ値のコンテキストで説明されるべきであるため、代わりにｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［Ｈｔｉｄ］を使用すべきである。
１１）ｄｕｉ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｕ＿ｄｅｌａｙの意味論は、ピクチャ固有の方式で規定される。しかしながら、ＨＲＤ動作はＯＬＳに基づくものであるので、意味論は技術的に不正確であり、相互運用性の問題を引き起こす可能性がある。

５．技術的解決策および実施形態の一覧
上記課題等を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
１）問題１を解決するために、条項３（定義）において、注記における「ＲＡＳＬピクチャを、非ＲＡＳＬピクチャのデコーディングプロセスのための参照ピクチャとして使用する。」の文を、ＲＡＳＬピクチャ定義の一部として、「ＲＡＳＬピクチャを、非ＲＡＳＬピクチャのデコーディングプロセスのための参照ピクチャとして使用しない。ただし、ＲＡＳＬピクチャにおいて、ＲＡＤＬサブピクチャが存在する場合、そのＲＡＤＬピクチャは、ＲＡＳＬピクチャと同じＣＲＡピクチャに関連付けられたＲＡＤＬピクチャにおいて同一位置に配置されたＲＡＤＬのインター予測をする際には使用してもよい」と変更する。
２）問題２を解決するため、Ｄ．４．２項（ピクチャタイミングＳＥＩメッセージの意味論）において、０に等しいｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに対する制約の説明を、ピクチャ固有からＡＵ固有に変更し、ＲＡＳＬピクチャはここではＲＡＳＬＮＵＴｓのみを含むことを追加する。
ａ．一例において、この制約は、以下のように規定される。関連付けられたＡＵにおけるすべてのピクチャが、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０に等しいＲＡＳＬピクチャである場合、ｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に等しい。
ｂ．別の例において、制約は、以下のように規定される。関連付けられたＡＵにおけるすべてのピクチャが、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０に等しいＲＡＳＬピクチャである場合、ｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に等しい。
ｃ．さらに別の例において、この制約は、以下のように規定される。関連付けられたＡＵ内のすべてのピクチャが、ＲＡＳＬ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＶＣＬＮＡＬユニットのすべてを含むＲＡＳＬピクチャである場合、ｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に等しい。
３）問題３を解決するため、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］の意味論およびピクチャオーダカウントのためのデコーディングプロセスにおいて、ａｄｄｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇをｐｒｅｖＴｉｄ０Ｐｉｃの導出に加える。
４）問題４を解決するため、Ｃ．２．３項（ＤＵの除去とＤＵのデコーディングのタイミング）において、ｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃの仕様を、ｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＡｕに名前を変更することを含めてピクチャ固有のものからＡＵ固有のものに変更し、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇを同じ変数の導出に加える。
５）問題５を解決するため、Ｄ．３．２項（バッファリング期間ＳＥＩメッセージの意味論）のｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃ、ｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃ、およびＤ．４．２項（ピクチャタイミングＳＥＩメッセージの意味論）のｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃについて、それぞれｎｏｔＤｉｓｃａｒｄａｂｌｅＡｕおよびｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＡｕに名前を変更することも含めて、これらの変数の仕様をピクチャ固有のものからＡＵ固有のものに変更し、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇをこれら二つの変数の導出に追加する。
６）問題６を解決するため、ｂｐ＿ｃｏｎｃａｔｅｎａｔｉｏｎ＿ｆｌａｇ、ｂｐ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｄｅｌｔａ＿ｍｉｎｕｓ１の意味論の説明をピクチャ固有のものからＡＵ固有のものに変更する。
７）問題７を解決するために、ｂｐ＿ａｌｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値に関する制約をＡＵ固有の方法で規定し、ｂｐ＿ａｌｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、接続されたＡＵがＧＤＲＡＵであるかどうかにさらに依存することを規定する。
８）問題８を解決するため、Ｄ．４．２項（ピクチャタイミングＳＥＩメッセージの意味論）における変数ＢｐＲｅｓｅｔＦｌａｇ、ＣｐｂＲｅｍｏｖａｌＤｅｌａｙＭｓｂ［ｉ］、ＣｐｂＲｅｍｏｖａｌＤｅｌａｙＶａｌ［ｉ］、および構文要素ｐｔ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ、ｐｔ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｕ＿ｄｅｌａｙおよびｐｔ＿ｄｉｓｐｌａｙ＿ｅｌｅｍｅｎｔａｌ＿ｐｅｒｉｏｄｓ＿ｍｉｎｕｓ１の仕様を、ピクチャ固有のものからＡＵ固有のものに変更する。
９）問題９を解決するため、Ｃ．４項（ビットストリーム適合性）において、ｍａｘＰｉｃＯｒｄｅｒＣｎｔおよびｍｉｎＰｉｃＯｒｄｅｒＣｎｔの導出において、ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇを、「ＴｅｍｐｏｒａｌＩｄが０に等しく、ＲＡＳＬまたはＲＡＤＬピクチャでない、復号順で前のピクチャ」に加える。
１０）問題１０を解決するために、ｐｔ＿ｄｉｓｐｌａｙ＿ｅｌｅｍｅｎｔａｌ＿ｐｅｒｉｏｄｓ＿ｍｉｎｕｓ１の意味論をｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［Ｈｔｉｄ］の代わりにｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［ＴｅｍｐｏｒａｌＩｄ］を使用して規定する。
１１）問題１１を解決するために、ｄｕｉ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｕ＿ｄｅｌａｙの意味論をＡＵ固有の方式で規定する。

６．実施形態

６．１．第１の実施形態
本実施形態は１～９項に対するものである。

３定義
．．．

．．．

７．４．９参照ピクチャリスト意味論
．．．

－ｐｒｅｖＴｉｄ０ＰｉｃのＰｉｃＯｒｄｅｒＣｎｔＶａｌ、
－ｐｒｅｖＴｉｄ０ＰｉｃのＲｅｆＰｉｃＬｉｓｔ［０］またはＲｅｆＰｉｃＬｉｓｔ［１］のエントリによって参照され、現在のピクチャと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する各ピクチャのＰｉｃＯｒｄｅｒＣｎｔＶａｌ、
－ｐｒｅｖＴｉｄ０Ｐｉｃの復号順に続く各ピクチャのＰｉｃＯｒｄｅｒＣｎｔＶａｌは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが現在のピクチャと同じであり、復号順で現在のピクチャに先行する。
ｓｅｔＯｆＰｒｅｖＰｏｃＶａｌｓに、ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを法とする値がＰｏｃＬｓｂＬｔ［ｉ］［ｊ］に等しい値が複数ある場合、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］の値は１に等しい。
．．．

８．３．１ピクチャオーダカウントのためのデコーディングプロセス
．．．

－変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂは、ｐｒｅｖＴｉｄ０Ｐｉｃのｐｈ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂに等しく設定される。
－変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂは、ｐｒｅｖＴｉｄ０ＰｉｃのＰｉｃＯｒｄｅｒＣｎｔＭｓｂに等しく設定される。
．．．

Ｃ．２．３ＤＵの除去およびデコーディングのタイミング
．．．
ＣＰＢからのＡＵｎの公称除去時間は、以下のように規定される。
－ＡＵｎが、ｎが０に等しいＡＵである（ＨＲＤを初期化するＡＵ）場合、ＡＵのＣＰＢからの公称除去時間は、以下で規定される。
ＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［０］＝ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［Ｈｔｉｄ］［ＳｃＩｄｘ］÷９００００（Ｃ．９）
－そうでない場合、以下が適用される。
－ＡＵｎがＨＲＤを初期化しないＢＰの最初のＡＵである場合、以下が適用される。
ＣＰＢからのＡＵｎの公称除去時間は、以下で規定される。

ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ１＝（ａｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＤｅｌｔａＭｉｎｕｓ１＋１）
ｂａｓｅＴｉｍｅ２＝ＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｎ－１］
ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ２＝（Ｃ．１０）
Ｃｅｉｌ（（ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［Ｈｔｉｄ］［ＳｃＩｄｘ］÷９００００＋
ＡｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅ［ｎ－１］－ＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｎ－１］）÷ＣｌｏｃｋＴｉｃｋ）
ｉｆ（ｂａｓｅＴｉｍｅ１＋ＣｌｏｃｋＴｉｃｋ^＊ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ１＜
ｂａｓｅＴｉｍｅ２＋ＣｌｏｃｋＴｉｃｋ^＊ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ２）｛
ｂａｓｅＴｉｍｅ＝ｂａｓｅＴｉｍｅ２
ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ＝ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ２
｝ｅｌｓｅ｛
ｂａｓｅＴｉｍｅ＝ｂａｓｅＴｉｍｅ１
ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ＝ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ１
｝
｝
ＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｎ］＝
ｂａｓｅＴｉｍｅ＋（ＣｌｏｃｋＴｉｃｋ^＊ｔｍｐＣｐｂＲｅｍｏｖａｌＤｅｌａｙ－ＣｐｂＤｅｌａｙＯｆｆｓｅｔ）

公称ＣＰＢ除去時間を導出した後、かつアクセスユニットｎのＤＰＢ出力時間を導出する前に、変数ＤｐｂＤｅｌａｙＯｆｆｓｅｔおよびＣｐｂＤｅｌａｙＯｆｆｓｅｔを以下のように導出する。
－以下の条件の１つ以上が真である場合、ＤｐｂＤｅｌａｙＯｆｆｓｅｔは、ＡＵｎ＋１のＰＴＳＥＩメッセージ構文要素ｄｐｂ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［Ｈｔｉｄ］の値に等しく、ＣｐｂＤｅｌａｙＯｆｆｓｅｔは、ＡＵｎ＋１のＰＴＳＥＩメッセージ構文要素ｃｐｂ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［Ｈｔｉｄ］の値に等しく設定され、構文要素を含むＰＴＳＥＩメッセージはＣ．１項で規定されるように選択される。
－ＡＵｎのＵｓｅＡｌｔＣｐｂＰａｒａｍｓＦｌａｇは１に等しい。
－ＤｅｆａｕｌｔＩｎｉｔＣｐｂＰａｒａｍｓＦｌａｇは０に等しい。
－そうでない場合、ＤｐｂＤｅｌａｙＯｆｆｓｅｔおよびＣｐｂＤｅｌａｙＯｆｆｓｅｔは共に０に等しく設定される。
－ＡＵｎが１つのＢＰの最初のＡＵでない場合、ＣＰＢからのＡＵｎの公称除去時間は、以下で規定される。

．．．

Ｃ．４ビットストリーム適合性
．．．
ｃｕｒｒＰｉｃＬａｙｅｒＩｄが現在のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいとする。
現在のピクチャごとに、変数ｍａｘＰｉｃＯｒｄｅｒＣｎｔおよびｍｉｎＰｉｃＯｒｄｅｒＣｎｔを、それぞれ、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｃｕｒｒＰｉｃＬａｙｅｒＩｄに等しい以下のピクチャのＰｉｃＯｒｄｅｒＣｎｔＶａｌ値の最大値および最小値に等しく設定する。
－現在のピクチャ

－ＳＴＲＰは、現在のピクチャのＲｅｆＰｉｃＬｉｓｔ［０］におけるすべてのエントリおよびＲｅｆＰｉｃＬｉｓｔ［１］におけるすべてのエントリによって参照される。
－１に等しいＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇを有するすべてのピクチャｎであって、ｃｕｒｒＰｉｃが現在のピクチャの場合、ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］がＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｃｕｒｒＰｉｃ］未満で、ＤｐｂＯｕｔｐｕｔＴｉｍｅ［ｎ］がＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｃｕｒｒＰｉｃ］以上であるすべてのピクチャｎ。
．．．

Ｄ．３．２バッファリング期間ＳＥＩメッセージ意味論
．．．

ＢＰＳＥＩメッセージの存在は、以下のように規定される。
－ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しいか、またはＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、ＣＶＳにおける各ＡＵに対して以下が適用される。
－ＡＵがＩＲＡＰまたはＧＤＲＡＵである場合、操作点に適用可能なＢＰＳＥＩメッセージをＡＵに関連付けるものとする。

－そうでない場合（ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇおよびＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが共に０に等しい場合）、ＣＶＳにおけるＡＵは、ＢＰＳＥＩメッセージに関連付けられない。

．．．

Ｄ．４．２ピクチャタイミングＳＥＩメッセージ意味論
．．．

－現在のＡＵがＨＲＤを初期化するＡＵである場合、ＣｐｂＲｅｍｏｖａｌＤｅｌａｙＭｓｂ［ｉ］およびＣｐｂＲｅｍｏｖａｌＤｅｌａｙＶａｌ［ｉ］はいずれも０に等しく設定され、ｃｐｂＲｅｍｏｖａｌＤｅｌａｙＶａｌＴｍｐ［ｉ］の値はｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｍｉｎｕｓ１［ｉ］＋１に等しく設定される。

．．．

Ｄ．５．２ＤＵ情報ＳＥＩメッセージ意味論
．．．

．．．

図１は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１０００を示すブロック図である。様々な実装形態は、システム１０００のモジュールの一部または全部を含んでもよい。システム１０００は、映像コンテンツを受信するための入力部１００２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化されたフォーマットで受信されてもよい。入力部１００２は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１０００は、本明細書に記載される様々なコーディングするまたは符号化する方法を実装することができるコーディングするモジュール１００４を含んでもよい。コーディングモジュール１００４は、入力部１００２からの映像の平均ビットレートをコーディングモジュール１００４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングモジュール１００４の出力は、コンポーネント１００６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力部１００２において受信された、記憶された、または通信された映像のビットストリーム（またはコーディングされた）表現は、コンポーネント１００８によって使用されて、表示インターフェース部１０１０に送信される画素値、または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダおよびそれに対応する、コーディングの結果を逆にするデコーディングツールまたは動作が、デコーダによって行われることが理解されよう。

周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、ＳＡＴＡ（ＳｅｒｉａｌＡｄｖａｎｃｅｄＴｅｃｈｎｏｌｏｇｙＡｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図２は、映像処理装置２０００のブロック図である。装置２０００は、本明細書に記載の方法の１または複数を実装するために使用されてもよい。装置２０００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等に実施されてもよい。装置２０００は、１つ以上のプロセッサ２００２と、１つ以上のメモリ２００４と、映像処理ハードウェア２００６と、を含んでもよい。１または複数のプロセッサ２００２は、本明細書に記載される１または複数の方法（例えば、図６から図９に記載）を実装するように構成されてもよい。メモリ（複数可）２００４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア２００６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いくつかの実施形態において、ハードウェア２００６は、１つ以上のプロセッサ２００２、例えばグラフィックプロセッサ内に部分的にまたは全体が含まれてもよい。

図３は、本開示の技法を利用し得る例示的な映像コーディングシステム１００を示すブロック図である。図３に示すように、映像コーディングシステム１００は、送信元デバイス１１０と、送信先デバイス１２０と、を備えてもよい。送信元装置１１０は、符号化された映像データを生成するものであり、映像符号化機器とも呼ばれ得る。送信先デバイス１２０は、送信元デバイス１１０によって生成された符号化された映像データをデコーディングしてよく、映像デコーディングデバイスと呼ばれ得る。送信元デバイス１１０は、映像ソース１１２と、映像エンコーダ１１４と、入出力（Ｉ／Ｏ）インターフェース１１６と、を含んでよい。

映像ソース１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインターフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、１または複数のピクチャを含んでもよい。映像エンコーダ１１４は、映像ソース１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインターフェース１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１３０ａを介して、Ｉ／Ｏインターフェース１１６を介して送信先デバイス１２０に直接送信されてよい。符号化された映像データは、送信先デバイス１２０がアクセスするために、記録媒体／サーバ１３０ｂに記憶してもよい。

送信先デバイス１２０は、Ｉ／Ｏインターフェース１２６、映像デコーダ１２４、および表示デバイス１２２を含んでもよい。

Ｉ／Ｏインターフェース１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインターフェース１２６は、送信元デバイス１１０または記憶媒体／サーバ１３０ｂから符号化された映像データを取得してもよい。映像デコーダ１２４は、符号化された映像データをデコーディングしてもよい。表示装置１２２は、デコーディングされた映像データをユーザに表示してもよい。表示装置１２２は、送信先デバイス１２０と一体化されてもよく、または外部表示装置とインターフェースで接続するように構成される送信先デバイス１２０の外部にあってもよい。

映像エンコーダ１１４および映像デコーダ１２４は、高効率映像コーディング（ＨＥＶＣ）規格、汎用映像コーディング（ＶＶＶＭ）規格、および他の現在のおよび／またはさらなる規格等の映像圧縮規格に従って動作してもよい。

図４は、映像エンコーダ２００の一例を示すブロック図であり、この映像エンコーダ２００は、図３に示されるシステム１００における映像エンコーダ１１４であってもよい。

映像エンコーダ２００は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図４の実施例において、映像エンコーダ２００は、複数の機能モジュールを含む。本開示で説明される技法は、映像エンコーダ２００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ２００の機能コンポーネントは、分割ユニット２０１、予測ユニット２０２、残差生成ユニット２０７、変換ユニット２０８、量子化ユニット２０９、逆量子化ユニット２１０、逆変換ユニット２１１、再構成ユニット２１２、バッファ２１３、およびエントロピー符号化ユニット２１４を含んでもよく、予測ユニット２０２は、モード選択ユニット２０３、動き推定ユニット２０４、動き補償ユニット２０５、およびイントラ予測ユニット２０６を含む。

他の例において、映像エンコーダ２００は、さらに多くの、さらに少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが、現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を行ってもよい。

さらに、動き推定ユニット２０４および動き補償ユニット２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図４の例においては個別に表現されている。

分割ユニット２０１は、ピクチャを１または複数の映像ブロックに分割してもよい。映像エンコーダ２００および映像デコーダ３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択ユニット２０３は、例えば、誤りの結果に基づいて、イントラまたはインターのコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット２０７に供給し、残差ブロックデータを生成して再構成ユニット２１２に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット２０３は、インター予測信号およびイントラ予測信号に基づいて予測を行うＣＩＩＰ（ＣｏｍｂｉｎａｔｉｏｎｏｆＩｎｔｒａａｎｄＩｎｔｅｒＰｒｅｄｉｃｔｉｏｎ）モードを選択してもよい。モード選択ユニット２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセルまたは整数ピクセル精度）を選択してもよい。

現在の映像ブロックに対してインター予測を行うために、動き推定ユニット２０４は、バッファ２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックに対する動き情報を生成してもよい。動き補償ユニット２０５は、動き情報および現在の映像ブロックに関連付けられたピクチャ以外のバッファ２１３からのピクチャのデコーディングされたサンプルに基づいて、現在の映像ブロックに対する予測映像ブロックを決定してもよい。

動き推定ユニット２０４および動き補償ユニット２０５は、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかに基づいて、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例において、動き推定ユニット２０４は、現在の映像ブロックに対して単一方向予測を行い、動き推定ユニット２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索してもよい。そして、動き推定ユニット２０４は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト０またはリスト１における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックに対して双方向予測を行ってもよく、動き推定ユニット２０４は、現在の映像ブロックに対する参照映像ブロックについて、リスト０から参照ピクチャを検索してもよく、また、現在の映像ブロックに対する別の参照映像ブロックについて、リスト１における参照ピクチャも検索してもよい。そして、動き推定ユニット２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。

いくつかの例において、動き推定ユニット２０４は、デコーダのデコーディングプロセスのために、動き情報のフルセットを出力してもよい。

いくつかの例では、動き推定ユニット２０４は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット２０４は、現在の映像ブロックの動き情報が近隣の映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同一の動き情報を有することを映像デコーダ３００に示す値を示してもよい。

他の例において、動き推定ユニット２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、ＭＶＤ（ＭｏｔｉｏｎＶｅｃｔｏｒＤｉｆｆｅｒｅｎｃｅ）とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ３００は、指定された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ２００によって実装され得る予測信号通知技法の２つの例は、ＡＭＶＰ（ＡｄｖａｎｃｅｄＭｏｔｉｏｎＶｅｃｔｏｒＰｒｅｄｉｃｔｉｏｎ）およびマージモード信号通知を含む。

イントラ予測ユニット２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット２０６が現在の映像ブロックにイントラ予測を行う場合、イントラ予測ユニット２０６は、同じピクチャにおける他の映像ブロックのデコーディングされたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成ユニット２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって（例えば、マイナス符号によって示されている）、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックに対する残差データがなくてもよく、残差生成ユニット２０７は、減算動作を行わなくてもよい。

変換処理ユニット２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１または複数の変換を適用することによって、現在の映像ブロックのための１または複数の変換係数映像ブロックを生成してもよい。

変換処理ユニット２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット２０９は、現在の映像ブロックに関連付けられた１または複数の量子化パラメータ（ＱＰ：ＱｕａｎｔｉｚａｔｉｏｎＰａｒａｍｅｔｅｒ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化ユニット２１０および逆変換ユニット２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット２１２は、予測ユニット２０２によって生成された１または複数の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成ユニット２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化ユニット２１４は、映像エンコーダ２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット２１４がデータを受信した場合、エントロピー符号化ユニット２１４は、１または複数のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図５は、映像デコーダ３００の一例を示すブロック図であり、この映像デコーダ３００は、図３に示すシステム１００における映像デコーダ１１４であってもよい。

映像デコーダ３００は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図５の実施例において、映像デコーダ３００は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像デコーダ３００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図５の実施例において、映像デコーダ３００は、エントロピーデコーディングユニット３０１、動き補償ユニット３０２、イントラ予測ユニット３０３、逆量子化ユニット３０４、逆変換ユニット３０５、および再構成ユニット３０６、並びにバッファ３０７を含む。映像デコーダ３００は、いくつかの例では、映像エンコーダ２００（図４）に関して説明した符号化パスとほぼ逆のデコーディングパスを行ってもよい。

エントロピーデコーディングユニット３０１は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピーデコーディングユニット３０１は、エントロピーコーディングされた映像データをデコーディングし、エントロピーデコーディングされた映像データから、動き補償ユニット３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット３０２は、例えば、ＡＭＶＰおよびマージモードを行うことで、このような情報を判定してもよい。

動き補償ユニット３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。サブピクセルの精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。

動き補償ユニット３０２は、映像ブロックの符号化中に映像エンコーダ２０によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット３０２は、受信した構文情報に基づいて、映像エンコーダ２００により使用される補間フィルタを決定し、予測ブロックを生成すべく補間フィルタを使用してしてもよい。

動き補償ユニット３０２は、符号化された映像シーケンスのフレームおよび／またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インター符号化されたブロックに対する１または複数の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスをデコーディングするための他の情報のいくつかを使用してもよい。

イントラ予測ユニット３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット３０３は、ビットストリームに提供され、エントロピーデコーディングユニット３０１によってデコーディングされる量子化された映像ブロック係数を逆量子化（すなわち、逆量子化）する。逆変換ユニット３０３は、逆変換を適用する。

再構成ユニット３０６は、残差ブロックと、動き補償ユニット２０２またはイントラ予測ユニット３０３によって生成された対応する予測ブロックとを合計し、デコーディングされたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、デコーディングされたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。デコーディングされた映像ブロックは、バッファ３０７に記憶され、バッファ３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、また表示装置に表示するためにデコーディングされた映像を生成する。

図６～図１０は、上述した技術的解決策を実装することができる例示的な方法を示し、例えば、この実施形態は図１～図５に示す。

図６は、映像処理の方法６００の一例を示すフローチャートを示す。この方法６００は、動作６１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング（ＰＴ）補足強化情報（ＳＥＩ）メッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャである１つ以上のピクチャのうちの各ピクチャは、ＲＡＳＬネットワーク抽象化レイヤユニットタイプ（ＮＵＴ）のみを含む。

図７は、映像処理の方法７００の一例を示すフローチャートを示す。この方法７００は、動作７１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、ランダムアクセススキップリーディング（ＲＡＳＬ）ピクチャ内のランダムアクセス復号可能（ＲＡＤＬ）サブピクチャを、ＲＡＳＬピクチャと同じクリーンランダムアクセス（ＣＲＡ）ピクチャに関連するＲＡＤＬピクチャにおいて、同一位置に配置されたＲＡＤＬピクチャを予測するための参照サブピクチャとして使用することを許可するフォーマット規則に準拠する。

図８は、映像処理の方法８００の一例を示すフローチャートを示す。この方法８００は、動作８１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第１のフラグに関連付けられ、かつピクチャオーダカウントのためのデコーディングプロセスにおける、ピクチャの導出が第２のフラグに基づくことを規定し、この第１のフラグに関連付けられたピクチャは、（ｉ）参照ピクチャリスト構文構造を参照するスライスまたはピクチャヘッダと同じ第１の識別子、（ｉｉ）０に等しい第２の識別子および第２のフラグ、並びに（ｉｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャおよびランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャとは異なるピクチャタイプを有する、復号順で前のピクチャであり、第１のフラグは、第２のフラグがビットストリームに存在するかどうかを示し、第２のフラグは、現在のピクチャを参照ピクチャとして使用するかどうかを示し、第３のフラグは、長期参照ピクチャのピクチャオーダカウントの１つ以上の最上位ビットの値を決定するために使用される。

図９は、映像処理の方法９００の一例を示すフローチャートを示す。この方法９００は、動作９１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、デコーディングユニット（ＤＵ）の除去またはＤＵのデコーディングのタイミングを決定するために使用される変数が、アクセスユニット（ＡＵ）固有のものであり、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出されることを規定する。

図１０は、映像処理の方法１０００の一例を示すフローチャートを示す。この方法１０００は、動作１０１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、バッファリング期間補足強化情報（ＳＥＩ）メッセージおよびピクチャタイミングＳＥＩメッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定するフォーマット規則に準拠し、バッファリング期間ＳＥＩメッセージに関連付けられた第１の変数およびバッファリング期間ＳＥＩメッセージに関連付けられた第２の変数およびピクチャタイミングＳＥＩメッセージは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出され、第１の変数は、（ｉ）０に等しい識別子と、（ｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャではなく、このフラグが０に等しいピクチャと、を含むアクセスユニットを示し、第２の変数は、現在のＡＵが復号順で最初のＡＵでないこと、および復号順で前のＡＵが（ｉ）０に等しい識別子と（ｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャでなく、フラグが０に等しいピクチャとを含むことを示す。

図１１は、映像処理の方法１１００の一例を示すフローチャートを示す。この方法１１００は、動作１１１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第１のピクチャと第２のピクチャに関連付けられた第１の変数および第２の変数の導出がフラグに基づくことを規定し、第１のピクチャは、現在のピクチャであり、第２のピクチャは、（ｉ）０に等しい第１の識別子を含み、（ｉｉ）０に等しいフラグを含み、（ｉｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャではない復号順で前のピクチャであり、第１の変数および第２の変数は、第１のピクチャのそれと等しい第２の識別子を有する、（ｉ）第１のピクチャ、（ｉｉ）第２のピクチャ、（ｉｉｉ）第１のピクチャの参照ピクチャリストの全てのエントリが参照する１つ以上の短期参照ピクチャ、並びに（ｉｖ）第１のピクチャのＣＰＢ除去時間より短いコーディングされたピクチャバッファ（ＣＰＢ）除去時間、および第１のピクチャのＣＰＢ除去時間以上のデコーディングされたピクチャバッファ（ＤＰＢ）出力時間で出力された各ピクチャ、の各々のピクチャオーダカウントのそれぞれ、最大値および最小値である。

図１２は、映像処理の方法１２００の一例を示すフローチャートを示す。この方法１２００は、動作１２１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグと構文要素が、ビットストリームに含まれている場合には、アクセスユニット（ＡＵ）固有であることを規定し、フラグは、現在のＡＵが復号順でビットストリームの最初のＡＵではないことに呼応して、現在のＡＵの公称コーディングされたピクチャバッファ（ＣＰＢ）除去時間が、（ａ）バッファリング期間補足強化情報（ＳＥＩ）メッセージに関連付けられた前のＡＵの公称ＣＰＢ除去時間、または（ｂ）現在のＡＵの公称ＣＰＢ除去時間に関連して決定されるかどうかを示し、構文要素は、現在のＡＵが復号順でビットストリームの最初のＡＵではないことに呼応して、現在のＡＵの公称ＣＰＢ除去時間に関連するＣＰＢ除去遅延増分値を規定する。

図１３は、映像処理の方法１３００の一例を示すフローチャートを示す。この方法１３００は、動作１３１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、複数の変数とピクチャタイミング補足強化情報（ＳＥＩ）メッセージおよびピクチャタイミングＳＥＩメッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、ピクチャタイミングＳＥＩメッセージは、複数の構文要素を含み、複数の変数のうちの第１の変数が、現在のＡＵがバッファリング期間ＳＥＩメッセージに関連付けられているかどうかを示し、複数の変数のうち第２の変数と第３の変数は、現在のＡＵが仮想参照デコーダ（ＨＲＤ）を初期化するＡＵであるかどうかの指示に関連付けられており、複数の構文要素のうち第１の構文要素は、ＡＵをコーディングされたピクチャバッファ（ＣＰＢ）から除去した後、ＡＵの１つ以上のデコーディングされたピクチャがデコーディングされたピクチャバッファ（ＤＰＢ）から出力されるまで待つためのクロックティック数を規定し、複数の構文要素のうち第２の構文要素は、ＡＵの最後のデコーディングユニット（ＤＵ）をＣＰＢから除去した後、ＡＵの１つ以上のデコーディングされたピクチャがＤＰＢから出力されるまで待つためのサブクロックティックの数を規定し、複数の構文要素のうちの第３の構文要素は、現在のＡＵの１つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。

図１４は、映像処理の方法１４００の一例を示すフローチャートを示す。この方法１４００は、動作１４１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、デコーディングされたピクチャバッファ（ＤＰＢ）に関連付けられた構文要素が、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、構文要素は、ＡＵの最後のデコーディングユニット（ＤＵ）をコーディングされたピクチャバッファ（ＣＰＢ）から除去した後、ＡＵの１つ以上のデコーディングされたピクチャがＤＰＢから出力されるまで待つためのサブクロックティックの数を規定する。

図１５は、映像処理の方法１５００の一例を示すフローチャートを示す。方法１５００は、動作１５１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、ビットストリームは、フラグが、ビットストリームに含まれている場合には、アクセスユニット（ＡＵ）固有であることを規定するフォーマット規則に準拠し、フラグの値は、関連付けられたＡＵがイントラランダムアクセスポイント（ＩＲＡＰ）ＡＵであるか、または漸次的デコーディング更新（ＧＤＲ）ＡＵであるかに基づいており、フラグの値は、（ｉ）構文要素が、バッファリング期間補足強化情報（ＳＥＩ）メッセージに存在しているかどうか、（ｉｉ）代替のタイミング情報が現在のバッファリング期間のピクチャタイミングＳＥＩメッセージに存在するかどうかを規定する。

図１６は、映像処理の方法１６００の一例を示すフローチャートを示す。方法１６００は、動作１６１０において、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、第１の構文要素の値が、仮想参照デコーダ（ＨＲＤ）の連続するピクチャの出力時間の間の時間的距離が制約されているかどうかを示すフラグと、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定するフォーマット規則に準拠し、第１の構文要素は、現在のＡＵの１つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する。

次に、いくつかの実施形態において好適な解決策を列挙する。

Ａ１．この映像処理方法は、１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング（ＰＴ）補足強化情報（ＳＥＩ）メッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャである１つ以上のピクチャのうちの各ピクチャは、ＲＡＳＬネットワーク抽象化レイヤユニットタイプ（ＮＵＴ）のみを含む。

Ａ２．解決策Ａ１に記載の方法において、関連付けられたＡＵにおいて、第１のフラグが０に等しく、第２のフラグが０に等しいＲＡＳＬピクチャであることに呼応して、第１のフラグは、ピクチャパラメータセット（ＰＰＳ）を参照する各ピクチャが２つ以上の映像コーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットであるかどうか、および２つ以上のＶＣＬＮＡＬユニットのうちの少なくとも２つが異なるタイプであるかどうかを示し、第２のフラグは、時間情報に関する１つ以上の構文要素がピクチャタイミングＳＥＩメッセージに存在することが許容されるかどうかを示す。

Ａ３．第１のフラグはｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇであり、第２のフラグはｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである、解決策Ａ２に記載の方法。

Ａ４．１つ以上の構文要素は、ＮＡＬ仮想参照デコーダ（ＨＲＤ）用のｊ番目のコーディングされたピクチャバッファ（ＣＰＢ）に対するｉ番目のサブレイヤのための代替の初期ＣＰＢ除去遅延デルタを９０ｋＨｚクロックの単位で示す第１の構文要素と、ＮＡＬＨＲＤ用のｊ番目のＣＰＢに対するｉ番目のサブレイヤのための代替の初期ＣＰＢ除去オフセットデルタを９０ｋＨｚクロックの単位で示す第２の構文要素と、ＮＡＬＨＲＤ用のｉ番目のサブレイヤのために、ＰＴＳＥＩメッセージに関連付けられたＡＵがバッファリング期間（ＢＰ）ＳＥＩメッセージに関連付けられたＡＵに復号順で直接続く場合、ＰＴＳＥＩメッセージに関連付けられたＡＵおよび復号順で１つ以上の後続のＡＵの公称ＣＰＢ除去時間の導出に使用するオフセットを示す第３の構文要素と、ＮＡＬＨＲＤ用のｉ番目のサブレイヤのために、ＰＴＳＥＩメッセージに関連付けられたＡＵがＢＰＳＥＩメッセージに関連付けられたＩＲＡＰＡＵに復号順で直接続く場合、ＢＰＳＥＩメッセージに関連付けられたイントラランダムアクセスポイント（ＩＲＡＰ）ＡＵのデコーディングされたピクチャバッファ（ＤＰＢ）出力時間の導出に使用するオフセットを示す第４の構文要素と、ＶＣＬＨＲＤ用のｊ番目のＣＰＢに対するｉ番目のサブレイヤのための代替の初期ＣＰＢ除去遅延デルタを９０ｋＨｚクロックの単位で示す第５の構文要素と、ＶＣＬＨＲＤ用のｊ番目のＣＰＢに対するｉ番目のサブレイヤのための代替の初期ＣＰＢ除去オフセットデルタを９０ｋＨｚクロックの単位で示す第６の構文要素と、ＶＣＬＨＲＤ用のｉ番目のサブレイヤのために、ＰＴＳＥＩメッセージに関連付けられたＡＵがＢＰＳＥＩメッセージに関連付けられたＡＵに復号順で直接続く場合、ＰＴＳＥＩメッセージに関連付けられたＡＵおよび復号順で１つ以上の後続ＡＵの公称ＣＰＢ除去時間の導出に使用するオフセットを示す第７の構文要素と、
ＶＣＬＨＲＤ用のｉ番目のサブレイヤのために、ＰＴＳＥＩメッセージに関連付けられたＡＵが、ＢＰＳＥＩメッセージに関連付けられたＩＲＡＰＡＵに復号順で直接続く場合、ＢＰＳＥＩメッセージに関連付けられたＩＲＡＰＡＵのＤＰＢ出力時間の導出に使用されるオフセットを示す第８の構文要素と、のうちの少なくとも１つを含む、解決策Ａ２に記載の方法。

Ａ５．関連付けられたＡＵにおける各ピクチャが、各ＶＣＬＮＡＬユニットがＲＡＳＬＮＵＴである、映像コーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含むＲＡＳＬピクチャであることに呼応して、フラグが０に等しく、このフラグは、タイミング情報に関する１つ以上の構文要素がピクチャタイミングＳＥＩメッセージに存在するかどうかを示す、解決策Ａ１に記載の方法。

Ａ６．フラグは、ｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである、解決策Ａ５に記載の方法。

Ａ７．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャと同じクリーンランダムアクセス（ＣＲＡ）ピクチャに関連付けられたランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャにおいて、同一位置に配置されたＲＡＤＬピクチャを予測するための参照サブピクチャとしてＲＡＳＬピクチャにおけるＲＡＤＬサブピクチャの使用を許可する、映像処理方法。

次に、いくつかの実施形態において好適な別の解決策を列挙する。

Ｂ１．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第１のフラグに関連付けられ、かつピクチャオーダカウントのためのデコーディングプロセスにおける、ピクチャの導出が第２のフラグに基づくことを規定し、この第１のフラグに関連付けられたピクチャは、（ｉ）参照ピクチャリスト構文構造を参照する、スライスまたはピクチャヘッダと同じ第１の識別子、（ｉｉ）０に等しい第２の識別子および第２のフラグ、並びに（ｉｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャおよびランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャとは異なるピクチャタイプを有する、復号順で前のピクチャであり、第１のフラグは、第３のフラグがビットストリームに存在するかどうかを示し、第２のフラグは、現在のピクチャを参照ピクチャとして使用するかどうかを示し、第３のフラグは、長期参照ピクチャのピクチャオーダカウント値の１つ以上の最上位ビットの値を決定するために使用される、映像処理方法。

Ｂ２．第１の識別子がレイヤの識別子であり、第２の識別子が時間的識別子である、解決策Ｂ１に記載の方法。

Ｂ３．第１の識別子が構文要素であり、第２の識別子が変数である、解決策Ｂ１に記載の方法。

Ｂ４．Ｂ１～Ｂ３のうち、第１のフラグがｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇであり、第２のフラグがｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇであり、第３のフラグがｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇであり、第１の識別子が、ｎｕｈ＿ｌａｙｅｒ＿ｉｄであり、第２の識別子がＴｅｍｐｏｒａｌＩｄである解決策Ｂ１～Ｂ３のいずれかに記載の方法。

Ｂ５．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、デコーディングユニット（ＤＵ）の除去またはＤＵのデコーディングのタイミングを決定するために使用される変数が、アクセスユニット（ＡＵ）固有のものであり、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出されることを規定する、映像処理方法。

Ｂ６．変数はｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＡｕであり、フラグはｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇである、解決策Ｂ５に記載の方法。

Ｂ７．ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが１に等しいことは、現在のピクチャは参照ピクチャとして決して使用されないことを規定する、解決策Ｂ６に記載の方法。

Ｂ８．ｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇが０に等しいことは、現在のピクチャを参照ピクチャとして使用してもしなくてもよいことを規定する解決策Ｂ６に記載の方法。

Ｂ９．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、バッファリング期間補足強化情報（ＳＥＩ）メッセージおよびピクチャタイミングＳＥＩメッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、バッファリング期間ＳＥＩメッセージに関連付けられた第１の変数およびバッファリング期間ＳＥＩメッセージに関連付けられた第２の変数およびピクチャタイミングＳＥＩメッセージは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示すフラグに基づいて導出され、この第１の変数は、（ｉ）０に等しい識別子と、（ｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャではなく、このフラグが０に等しいピクチャとを含むアクセスユニットを示し、第２の変数は、復号順で最初のＡＵでない現在のＡＵと、（ｉ）０に等しい識別子と（ｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャでなく、フラグが０に等しいピクチャとを含むことを示す復号順で前のＡＵを示す、映像処理方法。

Ｂ１０．識別子が時間的識別子である、解決策Ｂ９に記載の方法。

Ｂ１１．第１の変数はｎｏｔＤｉｓｃａｒｄａｂｌｅＡｕであり、第２の変数はｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＡｕであり、フラグはｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇであり、識別子はＴｅｍｐｏｒａｌＩｄである、解決策Ｂ９に記載の方法。

Ｂ１２．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、このフォーマット規則は、第１のピクチャと第２のピクチャに関連付けられた第１の変数および導出がフラグに基づくことを規定し、第１のピクチャは、現在のピクチャであり、第２のピクチャは、（ｉ）０に等しい第１の識別子を含み、（ｉｉ）０に等しいフラグを含み、（ｉｉｉ）ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャではない、復号順で前のピクチャであり、第１の変数および第２の変数は、第１のピクチャのそれと等しい第２の識別子を有する、（ｉ）第１のピクチャ、（ｉｉ）第２のピクチャ、（ｉｉｉ）第１のピクチャの参照ピクチャリストの全てのエントリが参照する１つ以上の短期参照ピクチャ、並びに（ｉｖ）第１のピクチャのＣＰＢ除去時間より短いコーディングされたピクチャバッファ（ＣＰＢ）除去時間、および第１のピクチャのＣＰＢ除去時間以上のデコーディングされたピクチャバッファ（ＤＰＢ）出力時間で出力された各ピクチャ、の各々のピクチャオーダカウントのそれぞれ、最大値および最小値である、映像処理方法。

Ｂ１３．第１の変数はピクチャオーダカウントの最大値を示し、第２の変数はピクチャオーダカウントの最小値を示す、解決策Ｂ１２に記載の方法。

Ｂ１４．フラグは、現在のピクチャを参照ピクチャとして使用することが許可されるかどうかを示す、解決策Ｂ１２に記載の方法。

Ｂ１５．第１の識別子は時間的識別子であり、第２の識別子はレイヤの識別子である、解決策Ｂ１２に記載の方法。

Ｂ１６．第１の変数はｍａｘＰｉｃＯｒｄｅｒＣｎｔであり、第２の変数はｍｉｎＰｉｃＯｒｄｅｒＣｎｔであり、第１の識別子はＴｅｍｐｏｒａｌＩｄであり、第２の識別子はｎｕｈ＿ｌａｙｅｒ＿ｉｄであり、フラグはｐｈ＿ｎｏｎ＿ｒｅｆ＿ｐｉｃ＿ｆｌａｇである、解決策Ｂ１２～Ｂ１５のいずれかに記載の方法。

次に、いくつかの実施形態において好適なさらに別の解決策を列挙する。

Ｃ１．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、フラグと構文要素が、ビットストリームにバッファリング期間補足強化情報（ＳＥＩ）メッセージ含まれている場合には、アクセスユニット（ＡＵ）固有であることを規定し、フラグは、現在のＡＵが復号順でビットストリームの最初のＡＵではないことに呼応して、現在のＡＵの公称コーディングされたピクチャバッファ（ＣＰＢ）除去時間が、（ａ）バッファリング期間補足強化情報（ＳＥＩ）メッセージに関連付けられた前のＡＵの公称ＣＰＢ除去時間、または（ｂ）現在のＡＵの公称ＣＰＢ除去時間に関連して決定されるかどうかを示し、構文要素は、現在のＡＵが復号順でビットストリームの最初のＡＵではないことに呼応して、現在のＡＵの公称ＣＰＢ除去時間に関連するＣＰＢ除去遅延増分値を規定する、映像処理方法。

Ｃ２．構文要素の長さが、バッファリング期間ＳＥＩメッセージの構文構造に示される、解決策Ｃ１に記載の方法。

Ｃ３．構文要素の長さは、（ｂｐ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１）ビットである、解決策Ｃ１に記載の方法。

Ｃ４．フラグはｂｐ＿ｃｏｎｃａｔｅｎａｔｉｏｎ＿ｆｌａｇであり、構文要素はｂｐ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｄｅｌｔａ＿ｍｉｎｕｓ１である、解決策Ｃ１～Ｃ３のいずれかに記載の方法。

Ｃ５．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、複数の変数とピクチャタイミング補足強化情報（ＳＥＩ）メッセージおよびピクチャタイミングＳＥＩメッセージが、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、ピクチャタイミングＳＥＩメッセージは、複数の構文要素を含み、複数の変数のうちの第１の変数は、現在のＡＵがバッファリング期間ＳＥＩメッセージに関連付けられているかどうかを示し、複数の変数のうち第２の変数と第３の変数は、現在のＡＵが仮想参照デコーダ（ＨＲＤ）を初期化するＡＵであるかどうかの指示に関連付けられており、複数の構文要素のうち第１の構文要素は、ＡＵをコーディングされたピクチャバッファ（ＣＰＢ）から除去した後、ＡＵの１つ以上のデコーディングされたピクチャがデコーディングされたピクチャバッファ（ＤＰＢ）から出力されるまで待つためのクロックティック数を規定し、複数の構文要素のうち第２の構文要素は、ＡＵの最後のデコーディングユニット（ＤＵ）をＣＰＢから除去した後、ＡＵの１つ以上のデコーディングされたピクチャがＤＰＢから出力されるまで待つためのサブクロックティックの数を規定し、複数の構文要素のうちの第３の構文要素は、現在のＡＵの１つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する、映像処理方法。

Ｃ６．第１の変数はＢｐＲｅｓｅｔＦｌａｇであり、第２の変数はＣｐｂＲｅｍｏｖａｌＤｅｌａｙＭｓｂであり、第３の変数はＣｐｂＲｅｍｏｖａｌＤｅｌａｙＶａｌである、解決策Ｃ５に記載の方法。

Ｃ７．第１の構文要素はｐｔ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙであり、第２の構文要素はｐｔ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｕ＿ｄｅｌａｙであり、第３の構文要素はｐｔ＿ｄｉｓｐｌａｙ＿ｅｌｅｍｅｎｔａｌ＿ｐｅｒｉｏｄｓ＿ｍｉｎｕｓ１である、解決策Ｃ５に記載の方法。

Ｃ８．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、デコーディングピクチャバッファ（ＤＰＢ）に関連付けられた構文要素が、ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、構文要素は、ＡＵの最後のデコーディングユニット（ＤＵ）をコーディングされたピクチャバッファ（ＣＰＢ）から除去した後、ＡＵのうちの１つ以上のデコーディングされたピクチャが復ＤＰＢから出力されるまで待つためのサブクロックティックの数を規定する、映像処理方法。

Ｃ９．構文要素は、ＤＰＢ出力時間を計算するために使用される、解決策Ｃ８に記載の方法。

Ｃ１０．構文要素は、ｄｕｉ＿ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｕ＿ｄｅｌａｙである、解決策Ｃ８に記載の方法。

Ｄ１．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、ビットストリームは、フォーマット規則に準拠し、フラグが、フォーマット規則はビットストリームに含まれている場合には、アクセスユニット（ＡＵ）固有であることを規定するフォーマット規則に準拠し、フラグの値は、関連付けられたＡＵがイントラランダムアクセスポイント（ＩＲＡＰ）ＡＵであるか、または漸次的デコーディング更新（ＧＤＲ）ＡＵであるかに基づいており、フラグの値は、（ｉ）構文要素が、バッファリング期間補足強化情報（ＳＥＩ）メッセージに存在しているかどうかと、（ｉｉ）代替のタイミング情報が現在のバッファリング期間のピクチャタイミングＳＥＩメッセージに存在するかどうかとを規定する、映像処理方法。

Ｄ２．フラグの値は、関連付けられたＡＵがＩＲＡＰＡＵまたはＧＤＲＡＵでないことに呼応して、０に等しい、解決策Ｄ１に記載の方法。

Ｄ３．フラグがビットストリームに含まれていないことに呼応して、フラグの値が０に等しいと推測される、解決策Ｄ１に記載の方法。

Ｄ４．フラグの値が１に等しいことは、構文要素がバッファリング期間ＳＥＩメッセージに存在することを規定する、解決策Ｄ１に記載の方法。

Ｄ５．フラグはｂｐ＿ａｌｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇであり、構文要素はｂｐ＿ｕｓｅ＿ａｌｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｆｌａｇである解決策Ｄ１～Ｄ４のいずれかに記載の方法。

Ｅ１．１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、第１の構文要素の値が、仮想参照デコーダ（ＨＲＤ）の連続するピクチャの出力時間の間の時間的距離が制約されているかどうかを示すフラグと、デコーディングされる時間的サブレイヤのうち最も高いものを特定する変数とに基づくことを規定し、第１の構文要素は、現在のＡＵの１つ以上のデコーディングされたピクチャが表示モデルに対して占める要素のピクチャ期間間隔の数を規定する、映像処理方法。

Ｅ２．変数は、デコーディングされるべき最も高い時間的サブレイヤを識別する、解決策Ｅ１に記載の方法。

Ｅ３．変数がＨｔｉｄである、解決策Ｅ１またはＥ２に記載の方法。

Ｅ４．フラグは、出力レイヤセット（ＯＬＳ）のタイミングおよびＨＲＤパラメータの構文構造に含まれる第２の構文要素である、解決策Ｅ１に記載の方法。

Ｅ５．第１の構文要素は、ピクチャタイミング補足強化情報メッセージに含まれる、解決策Ｅ１に記載の方法。

Ｅ６．フラグはｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇであり、第１の構文要素はｐｔ＿ｄｉｓｐｌａｙ＿ｅｌｅｍｅｎｔａｌ＿ｐｅｒｉｏｄｓ＿ｍｉｎｕｓ１であり、変数はＨｔｉｄである解決策Ｅ１～Ｅ５のいずれかに記載の方法。

以下は、上記解決策の１つ以上に適用される。

Ｏ１．変換は、ビットストリームから映像をデコーディングすることを含む、先行する解決策のいずれかに記載の方法。

Ｏ２．変換は、ビットストリームに映像を符号化することを含む、先行する解決策のいずれかに記載の方法。

Ｏ３．映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、先行する解決策のいずれか１項以上に記載の方法に従って、映像からビットストリームを生成し、ビットストリームをコンピュータ読み取り可能な記録媒体に記憶させることを含む、方法。

Ｏ４．先行する解決策のいずれか１つ以上に記載の方法を実装するように構成されたプロセッサを備える映像処理装置。

Ｏ５．命令が記憶されたコンピュータ可読媒体であって、命令が実行されると、プロセッサに、先行する解決策に１つ以上記載の方法を実装させる、コンピュータ可読媒体。

Ｏ６．先行する解決策のいずれか１つ以上により生成されたビットストリームを記憶するコンピュータ可読媒体。

Ｏ７．先行する解決策のいずれか１つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。

Ｐ１．１つ以上の映像ピクチャを含む映像とこの映像のコーディングされた表現との変換を行うことを含み、このコーディングされた表現は、フォーマット規則に準拠し、このフォーマット規則は、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャと同じクリーンランダムアクセスピクチャに関連付けられたランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャにおいて、同一位置に配置されたＲＡＤＬピクチャを予測するための参照サブピクチャとしてＲＡＳＬピクチャにおけるＲＡＤＬサブピクチャの使用を許可する、映像処理方法。

Ｐ２．１つ以上の映像ピクチャを含む映像とこの映像のコーディングされた表現との変換を行うことを含み、このビットストリームは、フォーマット規則に準拠し、フォーマット規則は、ピクチャタイミング補足強化情報メッセージが、コーディングされた表現に含まれる場合、アクセスユニット固有であることを規定し、対応するランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャは、ＲＡＳＬネットワーク抽象化レイヤユニットタイプ（ＮＵＴ）を含む、映像処理方法。

Ｐ３．変換を行うことは、コーディングされた表現を構文解析し、デコーディングして映像を生成することを含む、解決策Ｐ１またはＰ２に記載の方法。

Ｐ４．変換を行うことは、映像をコーディングされた表現に符号化することを含む、解決策Ｐ１またはＰ２に記載の方法。

Ｐ５．解決策Ｐ１～Ｐ４の１つ以上に記載の方法を実装するように構成されたプロセッサを備える、映像デコーディング装置。

Ｐ６．解決策Ｐ１～Ｐ４の１つ以上に記載の方法を実装するように構成されたプロセッサを備える、映像符号化装置。

Ｐ７．コンピュータコードが記憶されたコンピュータプログラム製品であって、コードは、プロセッサにより実行されると、プロセッサに、解決策Ｐ１～Ｐ４のいずれかに記載の方法を実装させるコンピュータプログラム製品。

本明細書では、「映像処理」という用語は、映像符号化、映像デコーディング、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換中、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現（または単にビットストリーム）は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、かつビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して、コーディングされてもよい。

本明細書に記載された開示された、およびその他の解決策、実施形態、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１または複数のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための１または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および実施例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

関連出願の相互参照
本願は、２０２０年５月２２日出願の米国特許仮出願第６３／０２９，３２１号の優先権と利益を主張する、２０２１年５月２１日出願の国際特許出願第ＰＣＴ／ＵＳ２０２１／０３３７７９号に基づく。前述の特許出願はすべて、参照によりその全体が本明細書に組み込まれる。

Claims

１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うこと、を含む映像処理方法であって、
前記ビットストリームは、フォーマット規則に準拠し、
前記フォーマット規則は、ピクチャタイミング（ＰＴ）補足強化情報（ＳＥＩ）メッセージが前記ビットストリームに含まれる場合、アクセスユニット（ＡＵ）固有であることを規定し、
ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャである前記１つ以上のピクチャのうちの各ピクチャは、ＲＡＳＬネットワーク抽象化レイヤユニットタイプ（ＮＵＴ）のみを含む、
映像処理方法。
関連付けられたＡＵの各ピクチャは、第１のフラグが０に等しく、第２のフラグが０に等しいＲＡＳＬピクチャであることに呼応して、
前記第１のフラグは、ピクチャパラメータセット（ＰＰＳ）を参照する各ピクチャが２つ以上の映像コーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットであるか否かと、前記２つ以上のＶＣＬＮＡＬユニットのうち少なくとも２つが異なるタイプであるか否かとを示し、
前記第２のフラグは、時間情報に関する１つ以上の構文要素がピクチャタイミングＳＥＩメッセージに存在することが許されるか否かを示す、
請求項１に記載の方法。
前記第１のフラグはｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇであり、前記第２のフラグはｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである、
請求項２に記載の方法。
前記１つ以上の構文要素は、
ＮＡＬ仮想参照デコーダ（ＨＲＤ）用のｊ番目のコーディングされたピクチャバッファ（ＣＰＢ）に対するｉ番目のサブレイヤのための代替の初期ＣＰＢ除去遅延デルタを９０ｋＨｚクロックの単位で示す第１の構文要素と、
ＮＡＬＨＲＤ用の前記ｊ番目のＣＰＢに対する前記ｉ番目のサブレイヤのための代替の初期ＣＰＢ除去オフセットデルタを９０ｋＨｚクロックの単位で示す第２の構文要素と、
前記ＮＡＬＨＲＤ用の前記ｉ番目のサブレイヤのために、ＰＴＳＥＩメッセージに関連付けられた前記ＡＵがバッファリング期間（ＢＰ）ＳＥＩメッセージに関連付けられた前記ＡＵに復号順で直接続く場合、前記ＰＴＳＥＩメッセージに関連付けられたＡＵおよび前記復号順で１つ以上の後続ＡＵの公称ＣＰＢ除去時間の導出に使用するオフセットを示す第３の構文要素と、
前記ＮＡＬＨＲＤ用の前記ｉ番目のサブレイヤのために、前記ＰＴＳＥＩメッセージに関連付けられた前記ＡＵが前記ＢＰＳＥＩメッセージに関連付けられたＩＲＡＰＡＵに前記復号順で直接続く場合、前記ＢＰＳＥＩメッセージに関連付けられたイントラランダムアクセスポイント（ＩＲＡＰ）ＡＵのデコーディングされたピクチャバッファ（ＤＰＢ）出力時間の導出に使用するオフセットを示す第４の構文要素と、
ＶＣＬＨＲＤ用のｊ番目のＣＰＢに対するｉ番目のサブレイヤのための代替の初期ＣＰＢ除去遅延デルタを９０ｋＨｚクロックの単位で示す第５の構文要素と、
前記ＶＣＬＨＲＤ用の前記ｊ番目のＣＰＢに対する前記ｉ番目のサブレイヤのための代替の初期ＣＰＢ除去オフセットデルタを９０ｋＨｚクロックの単位で示す第６の構文要素と、
前記ＶＣＬＨＲＤ用の前記ｉ番目のサブレイヤのために、前記ＰＴＳＥＩメッセージに関連付けられた前記ＡＵが前記ＢＰＳＥＩメッセージに関連付けられた前記ＡＵに復号順で直接続く場合、前記ＰＴＳＥＩメッセージに関連付けられた前記ＡＵおよび前記復号順で前記１つ以上の後続のＡＵの前記公称ＣＰＢ除去時間の前記導出に使用するオフセットを示す第７の構文要素と、
前記ＶＣＬＨＲＤ用の前記ｉ番目のサブレイヤのために、前記ＰＴＳＥＩメッセージに関連付けられた前記ＡＵが、前記ＢＰＳＥＩメッセージに関連付けられたＩＲＡＰＡＵに前記復号順で直接続く場合、前記ＢＰＳＥＩメッセージに関連付けられた前記ＩＲＡＰＡＵのＤＰＢ出力時間の前記導出に使用されるオフセットを示す第８の構文要素と、のうちの少なくとも１つを含む、
請求項２に記載の方法。
関連付けられたＡＵの各ピクチャは、各ＶＣＬＮＡＬユニットがＲＡＳＬＮＵＴである、映像コーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含むＲＡＳＬピクチャであることに呼応して、フラグが０に等しく、このフラグは、タイミング情報に関する１つ以上の構文要素がピクチャタイミングＳＥＩメッセージに存在するかどうかを示す、
請求項１に記載の方法。
前記フラグは、ｐｔ＿ｃｐｂ＿ａｌｔ＿ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである、
請求項５に記載の方法。
１つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うこと、を含む映像処理方法であって、
前記ビットストリームは、フォーマット規則に準拠し、
前記フォーマット規則は、ランダムアクセススキップドリーディング（ＲＡＳＬ）ピクチャと同じクリーンランダムアクセス（ＣＲＡ）ピクチャとに関連付けられたランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャにおいて、同一位置に配置されたＲＡＤＬピクチャを予測するための参照サブピクチャとしてＲＡＳＬピクチャにおけるＲＡＤＬサブピクチャの使用を許可する、
映像処理方法。
前記変換は、前記ビットストリームから前記映像をデコーディングすることを含む、
請求項１から請求項７のいずれか１項に記載の方法。
前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項１から請求項７のいずれか１項に記載の方法。
映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、
請求項１から７のいずれか１項以上に記載の方法に従って、前記映像から前記ビットストリームを生成することと、
前記ビットストリームを前記コンピュータ読み取り可能な記録媒体に記憶させることと、を含む、
方法。
請求項１から１０のいずれか１項以上に記載の方法を実装するように構成されたプロセッサを備える、
映像処理装置。
命令が記憶されたコンピュータ可読媒体であって、前記命令が実行されると、プロセッサに、請求項１から１０の１つ以上に記載の方法を実装させる、
コンピュータ可読媒体。
請求項１から１０のいずれか１つ以上に従って生成された前記ビットストリームを記憶する、
コンピュータ可読媒体。
請求項１から１０のいずれか１つ以上に記載の方法を実装するように構成される、
ビットストリームを記憶するための映像処理装置。