JP7581338B2

JP7581338B2 - ビデオコーディングにおけるピクチャーヘッダーのシグナリング

Info

Publication number: JP7581338B2
Application number: JP2022518817A
Authority: JP
Inventors: ヘンドリー，フヌ; ワーン，イエ－クイ; チェン，ジエンローァ
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-09-24
Filing date: 2020-08-05
Publication date: 2024-11-12
Anticipated expiration: 2040-08-05
Also published as: KR102744676B1; EP4026095A1; US20220224945A1; KR102844797B1; US20250150632A1; JP7485759B2; AU2020352827A1; US20220217416A1; AU2020354283A1; US20240373065A1; US20220217415A1; JP2024071388A; US12212783B2; BR112022005411A2; US12407870B2; CA3152441A1; IL291675B1; EP4026097A1; US20250294191A1; WO2021061282A1

Description

本願は、参照によりここに組み込まれる米国仮特許出願番号第６２/９０５,１５０号、２０１９年９月２４日出願、Fnu Hendry他、名称「Signalling of Picture Header in Video Coding」の利益を請求する。

概して、本開示は、ビデオコーディングにおけるピクチャーの開始点を決定する技術を記載する。より具体的には、本開示は、ピクチャーの開始点が、ビデオコーディングにおけるマルチレイヤービットストリームの中で正確に決定できることを保証する。

比較的短いビデオでも描写するために必要なビデオデータの量は相当なものになり得る。これは、データが限られた帯域幅能力を有する通信ネットワークに渡りストリーミングされるまたはその他の場合に通信されるとき、困難をもたらすことがある。したがって、ビデオデータは、通常、今日の電気通信ネットワークに渡り通信される前に、圧縮される。ビデオが記憶装置に格納されるとき、メモリリソースが限られていることがあるので、ビデオのサイズも問題になり得る。ビデオ圧縮装置は、送信または記憶の前に、ソースにおいてビデオデータをコーディングするためにソフトウェアおよび／またはハードウェアを度々使用し、それによりデジタルビデオ画像を表現するために必要なデータの量を削減する。圧縮されたデータは、次に、ビデオデータを復号するビデオ伸長装置により宛先において受信される。限られたネットワークリソースおよびより高いビデオ品質の増え続ける要求に伴い、画像品質を僅かしかまたは全く犠牲にせずに圧縮率を向上する改良された圧縮および伸長技術が望ましい。

第１の態様は、ビデオデコーダにより実施される復号方法であって、
前記ビデオデコーダにより、ピクチャーユニット（PU）を含むビデオビットストリームを受信するステップであって、前記PUは、第１ビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットより先行するピクチャーヘッダー（PH）NALユニットを含む、ステップと、
前記ビデオデコーダにより、復号ピクチャーを得るために、前記PUからの符号化されたピクチャーを復号するステップと、
を含む方法に関する。

前記方法は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する技術を提供する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PUが、１つのみのピクチャーヘッダー（PH）を含み、前記符号化されたピクチャーが前記PU内の１つのみのピクチャーであることを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PU内の前記PH NALユニットが、前記PUの第１VCL NALユニットを含む前記PU内の各VCLNALユニットより先行することを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記第１VCL NALユニットが前記符号化されたピクチャーのスライスを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PH NALユニットが、非VCL NALユニットであることを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PH NALユニットが、１つのみのPHを含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PH NALユニット内の１つのみのPHが、前記符号化されたピクチャーの全部のスライスに適用されるシンタックス要素を含むことを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記第１VCL NALユニットが、前記PU内の最初のVCL NALユニットであることを提供する。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、電子装置のディスプレー上で、前記復号ピクチャーを表示することを提供する。

第２の態様は、ビデオエンコーダにより実施される符号化の方法であって、前記方法は、
前記ビデオエンコーダにより、ピクチャーユニット（PU）を生成するステップであって、前記PUは、第１ビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットより先行するピクチャーヘッダー（PH）NALユニットを含む、ステップと、
前記ビデオエンコーダにより、前記PUをビデオビットストリームに符号化するステップと、
前記ビデオエンコーダにより、ビデオデコーダへ向けて通信するために、前記ビデオビットストリームを格納するステップと、
を含む方法に関する。

前記方法は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PUが、１つのみのピクチャーヘッダー（PH）と符号化されたピクチャーとを含み、前記符号化されたピクチャーが前記PU内の１つのみのピクチャーであることを提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PU内の前記PH NALユニットが、前記第１VCL NALユニットを含む前記PU内の各VCLNALユニットより先行することを提供する。

第３の態様は、復号装置に関する。復号装置は、
ピクチャーユニット（PU）を含むビデオビットストリームを受信するよう構成される受信機であって、前記PUは、第１ビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットより先行するピクチャーヘッダー（PH）NALユニットを含む、ステップと、
前記受信機に結合されるメモリであって、前記メモリは命令を格納する、メモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサは、前記命令を実行して、前記復号装置に、復号ピクチャーを得るために前記PUから符号化されたピクチャーを復号させる、プロセッサと、
を含む。

前記復号装置は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する技術を提供する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

第４の態様は、符号化装置に関する。符号化装置は、
命令を含むメモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサは、前記命令を実行して、前記符号化装置に：
ピクチャーユニット（PU）を生成させ、前記PUは、第１ビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットより先行するピクチャーヘッダー（PH）NALユニットを含み、
前記PUをビデオビットストリームに符号化させる、プロセッサと、
前記プロセッサに結合される送信機であって、前記送信機は、前記ビデオビットストリームをビデオデコーダへ向けて送信するよう構成される、送信機と、
を含む。

前記符号化装置は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する技術を提供する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

任意で、前述の態様のうちのいずれかで、態様の別の実装は、前記PU内の前記PH NALユニットは、前記第１VCL NALユニットを含む前記PU内の各VCL NALユニットより先行し、前記第１VCL NALユニットは、前記符号化されたピクチャーのスライスを含むことを提供する。

第５の態様は、コーディング機器に関する。コーディング機器は、
ピクチャーを受信して符号化するか、またはビットストリームを受信して復号するよう構成される受信機と、
前記受信機に結合される送信機であって、前記送信機は、前記ビットストリームをデコーダへ送信するか、または復号画像をディスプレーへ送信するよう構成される、送信機と、
前記受信機または前記送信機のうちの少なくとも１つに結合されるメモリであって、前記メモリは、命令を格納するよう構成される、メモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサは、請求項１～９のいずれか、および請求項１０～１３のいずれかに記載の方法を実行するために、前記メモリに格納された前記命令を実行するよう構成される、プロセッサと、
を含む。

任意で、上述の態様のいずれかにおいて、本態様の別の実装は、復号ピクチャーを表示するよう構成されるディスプレーを提供する。

前記コーディング機器は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する技術を提供する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

第６の態様は、システムに関する。前記システムは、
エンコーダと、
前記エンコーダと通信するデコーダであって、前記エンコーダまたは前記デコーダは、本願明細書に開示される復号装置、符号化装置、またはコーディング機器を含む、デコーダと、
を含む。

前記システムは、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する技術を提供する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

第７の態様はコーディングする手段に関する。コーディングする手段は、
ピクチャーを受信して符号化するか、またはビットストリームを受信して復号するよう構成される受信手段と、
前記受信手段に結合される送信手段であって、前記送信手段は、前記ビットストリームを復号手段へ送信するか、または復号画像をディスプレー手段へ送信するよう構成される、送信手段と、
前記受信手段または前記送信手段のうちの少なくとも１つに結合される記憶手段であって、前記記憶手段は、命令を格納するよう構成される、記憶手段と、
前記記憶手段に結合される処理手段であって、前記処理手段は、本願明細書に記載される方法のいずれかを実行するために、前記記憶手段に格納された前記命令を実行するよう構成される、処理手段と、
を含む。

前記コーディングする手段は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する技術を提供する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

明確さを目的として、前述の実施形態のうちのいずれか１つは、他の前述の実施形態のうちの任意の１つ以上と結合されて、本開示の範囲内にある新しい実施形態を生成してよい。

上述および他の特徴は、添付の図面および請求の範囲と関連して取り入れられる以下の詳細な説明から一層明確に理解されるだろう。

本開示のより完全な理解のために、ここで、添付の図面および詳細な説明と関連して以下の簡単な説明を参照する。ここで同様の参照符号は同様の部分を表す。

ビデオ信号をコーディングする例示的な方法のフローチャートである。

ビデオコーディングのための例示的なコーディングおよび復号（コーデック）システムの概略図である。

例示的なビデオエンコーダを示す概略図である。

例示的なビデオデコーダを示す概略図である。

空間スケーラビリティのためのマルチレイヤーコーディングの例を示す。

段階的復号リフレッシュ（GDR）技術を実施するよう構成されるビデオビットストリームを示す。

GDRをサポートするためにエンコーダ制約を用いるときの、望ましくない動き検索を示す概略図である。

ビデオビットストリームの実施形態を示す。

符号化されたビデオビットストリームを復号する方法の実施形態である。

符号化されたビデオビットストリームの方法の実施形態である。

ビデオ符号化装置の概略図である。

コーディングする手段の実施形態の概略図である。

初めに理解されるべきことに、１つ以上の実施形態の説明的実装が以下に提供されるが、開示のシステムおよび／または方法は、現在知られているかまたは既存かに関わらず、任意の数の技術を用いて実装されてよい。本開示は、ここに図示され説明される例示的な設計および実装を含む以下に説明する説明的実装、図面、および技術に決して限定されるべきではなく、添付の請求の範囲の範囲内で、それらの均等物の全範囲と共に、変更されてよい。

以下の用語は、本願明細書で矛盾する文脈で使用されない限り、以下のように定義される。特に、以下の定義は、本開示に更なる明確さを提供することを意図している。しかしながら、用語は、異なる文脈で異なるように記載されることがある。従って、以下の定義は、補助として考えられるべきであり、本願明細書においてそのような用語のために提供される記述の任意の他の定義を制限すると考えられるべきではない。

ビットストリームは、エンコーダとデコーダの間の送信のために圧縮されるビデオデータを含むビットのシーケンスである。エンコーダは、ビデオデータをビットストリームへと圧縮するために、符号化処理を利用するよう構成される装置である。デコーダは、表示のためにビットストリームからビデオデータを再構成するために、復号処理を利用するよう構成される装置である。ピクチャーは、フレームまたはそのフィールドを生成するクロマサンプルのアレイおよび／またはルマサンプルのアレイである。符号化または復号されているピクチャーは、議論の明確さのために、現在ピクチャーと呼ぶことができる。参照ピクチャーは、インター予測および／またはインターレイヤー予測に従い、参照により他のピクチャーをコーディングするときに使用可能な参照サンプルを含むピクチャーである。参照ピクチャーリストは、インター予測および／またはインターレイヤー予測のために使用される参照ピクチャーのリストである。いくつかのビデオコーディングシステムは、参照ピクチャーリスト１および参照ピクチャーリスト０と表すことのできる２つの参照ピクチャーリストを利用する。参照ピクチャーリスト構造は、複数の参照ピクチャーリストを含むアドレス可能なシンタックス構造である。インター予測は、参照により、現在ピクチャーのサンプルを、現在ピクチャーと異なる参照ピクチャー内の示されたサンプルにコーディングするメカニズムである。ここで、参照ピクチャーと現在ピクチャーは同じレイヤーにある。参照ピクチャーリスト構造エントリーは、参照ピクチャーリストに関連付けられる参照ピクチャーを示す、参照ピクチャーリスト構造内のアドレス可能な位置である。スライスヘッダーは、スライス内で表現されるタイルの中の全部のビデオデータに関連するデータ要素を含む符号化されたスライスの一部である。ピクチャーパラメータセット（picture parameter set (PPS)）は、ピクチャー全体に関連するデータを含むパラメータセットである。より具体的には、PPSは、各ピクチャーヘッダー内に見付かるシンタックス要素により決定されるような０個以上の符号化されたピクチャー全体に適用されるシンタックス要素を含むシンタックス構造である。シーケンスパラメータセット（sequence parameter set （SPS））は、ピクチャーのシーケンスに関連するデータを含むパラメータセットである。アクセスユニット（access unit （AU））は、復号ピクチャーバッファ（decoded picture buffer （DPB））から出力するために（たとえば、ユーザーへの表示のために）同じ表示時間（たとえば、同じピクチャー順序カウント）に関連付けられる１つ以上の符号化されたピクチャーのセットである。アクセスユニットデリミタ（access unit delimiter （AUD））は、AUの開始またはAU間の境界を示すために使用される指示子またはデータ構造である。復号ビデオシーケンスは、ユーザーへの表示を準備する際に、デコーダにより再構成されたピクチャーのシーケンスである。

以下の略語が本願明細書で使用される。コーディングツリーブロック（coding tree block （CTB））、コーディングツリーユニット（coding tree unit （CTU））、コーディングユニット（coding unit （CU））、コーディングビデオシーケンス（coded video sequence （CVS））、共同ビデオ専門家チーム（Joint Video Experts Team （JVET））、ネットワーク抽象化レイヤー（network abstraction layer （NAL））、ピクチャー順序カウント（picture order count （POC））、ピクチャーパラメータセット（Picture Parameter Set （PPS））、生バイトシーケンスペイロード（raw byte sequence payload （RBSP））、シーケンスパラメータセット（sequence parameter set （SPS））、バーサタイルビデオコーディング（versatile video coding （VVC））、およびワーキングドラフト（working draft （WD））。

図１は、ビデオ信号のコーディングの例示的な動作方法１００のフローチャートである。具体的に、ビデオ信号はエンコーダで符号化される。符号化処理は、ビデオファイルサイズを削減するために、種々のメカニズムを利用することにより、ビデオ信号を圧縮する。小さなファイルサイズほど、関連する帯域幅オーバーヘッドを削減しながら、ユーザーに向けて圧縮されたビデオファイルを送信することを可能にする。デコーダは、次に、エンドユーザーに表示するために、圧縮されたビデオファイルを復号して元のビデオ信号を再構成する。復号処理は、通常、符号化処理のミラーであり、デコーダがビデオ信号を矛盾無く再構成することを可能にする。

ステップ１０１で、ビデオ信号はエンコーダに入力される。たとえば、ビデオ信号は、メモリに格納された非圧縮ビデオファイルであってよい。別の例として、ビデオファイルは、ビデオカメラのようなビデオキャプチャ装置によりキャプチャされ、ビデオのライブストリーミングをサポートするために符号化されてよい。ビデオファイルは、オーディオコンポーネントおよびビデオコンポーネントの両方を含んでよい。ビデオコンポーネントは、シーケンスの中で閲覧されるとき、動きの視覚的印象を与える一連の画像フレームを含む。フレームは、ここではルマ成分（またはルマサンプル）と呼ばれる光、およびクロマ成分（またはクロマサンプル）と呼ばれる色、の観点で表現されるピクセルを含む。いくつかの例では、フレームは、３次元表示をサポートするために、深さ値も含んでよい。

ステップ１０３で、ビデオはブロックにパーティションされる。パーティションは、圧縮のために、各フレーム内のピクセルを正方形および／または長方形ブロックに細分化することを含む。たとえば、高効率ビデオコーディング（High Efficiency Video Coding（HEVC））（H.２６５およびMPEG-H Part２としても知られる）では、フレームは、先ず、所定のサイズ（たとえば、６４ピクセル×６４ピクセル）のブロックであるコーディングツリー単位（coding tree unit（CTU））に分割できる。CTUは、ルマおよびクロマサンプルの両方を含む。コーディングツリーは、CTUをブロックに分割し、次に、更なる符号化をサポートする構成が達成されるまで、ブロックを繰り返し細分化するために利用されてよい。たとえば、フレームのルマ成分は、個々のブロックが比較的同種の光の値を含むまで、細分化されてよい。さらに、フレームのクロマ成分は、個々のブロックが比較的同種の色の値を含むまで、細分化されてよい。したがって、パーティションメカニズムは、ビデオフレームの内容に依存して変化する。

ステップ１０５で、ステップ１０３でパーティションされた画像ブロックを圧縮するために、種々の圧縮メカニズムが利用される。たとえば、インター予測および／またはイントラ予測が利用されてよい。インター予測は、共通のシーンの中のオブジェクトは連続フレームで現れる傾向があるという事実を利用するよう設計される。したがって、参照フレーム内のオブジェクトを描写するブロックは、隣接フレーム内で繰り返し示される必要がない。具体的には、テーブルのようなオブジェクトは、複数のフレームに渡り、一定の位置に留まってよい。したがって、テーブルは一度示され、隣接フレームは参照フレームに戻り参照できる。複数のフレームに渡りオブジェクトを一致させるために、パターンマッチングメカニズムが利用されてよい。さらに、たとえばオブジェクトの動きまたはカメラの動きにより、動くオブジェクトが複数のフレームに渡り表示されてよい。特定の例として、ビデオは、複数のフレームに渡りスクリーンを横に移動する自動車を示してよい。このような動きを示すために、動きベクトルが利用できる。動きベクトルは、フレーム内のオブジェクトの座標から参照フレーム内の該オブジェクトの座標へのオフセットを提供する２次元ベクトルである。したがって、インター予測は、現在フレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとして、符号化できる。

イントラ予測は、共通フレーム内のブロックを符号化する。イントラ予測は、ルマおよびクロマ成分がフレーム内で密集する傾向があるという事実を利用する。たとえば、ツリーの一部の緑のパッチは、同様の緑のパッチに隣接して位置する傾向がある。イントラ予測は、複数の方向予測モード（たとえば、HEVCでは３３個）、平面モード、および直流（direct current（DC））モードを利用する。方向モードは、現在ブロックが対応する方向の近隣ブロックのサンプルと同様／同じであることを示す。平面モードは、行／列（たとえば、平面）に沿う一連のブロックが行の端にある近隣ブロックに基づき補間できることを示す。平面モードは、事実上、変化する値の比較的一定の勾配を利用することにより、行／列に渡る光／色の円滑な遷移を示す。DCモードは、境界円滑化のために利用され、ブロックが方向予測モードの角度方向に関連する全部の近隣ブロックのサンプルに関連する平均値と同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値の代わりに、種々の関係予測モードとして、画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに、動きベクトル値として、画像ブロックを表すことができる。いずれの場合にも、予測ブロックは、いくつかの場合に画像を正確に表さないことがある。任意の差が残差ブロックに格納される。ファイルを更に圧縮するために、変換が残差ブロックに適用されてよい。

ステップ１０７で、種々のフィルタリング技術が適用されてよい。HEVCでは、フィルタは、インループフィルタリング方式に従い適用される。上述のブロックに基づく予測は、デコーダにおいて濃淡のむらのある画像の生成をもたらし得る。さらに、ブロックに基づく予測方式は、ブロックを符号化し、次に、参照ブロックとして後に使用するために、符号化したブロックを再構成し得る。インループフィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびサンプル適応型オフセット（sample adaptive offset（SAO））フィルタをブロック／フィルタに繰り返し適用する。これらのフィルタは、このような濃淡のむらのアーチファクトを緩和し、その結果、符号化されたファイルは正確に再構成できる。さら、これらのフィルタは、再構成された参照ブロック内のアーチファクトを緩和し、その結果、再構成された参照ブロックに基づき符号化される後のブロック内で追加アーチファクトを生じる可能性が低い。

ビデオ信号がパーティションされ、圧縮され、およびフィルタリングされると、結果として生じるデータは、ステップ１０９でビットストリーム内に符号化される。ビットストリームは、上述のデータ、およびデコーダにおける適正なビデオ信号再構成をサポートするための任意の所望のシグナリングデータを含む。たとえば、このようなデータは、パーティションデータ、予測データ、残差ブロック、およびデコーダにコーディング指示を提供する種々のフラグを含んでよい。ビットストリームは、要求によりデコーダへ向けて送信するために、メモリに格納されてよい。ビットストリームは、複数のデコーダへ向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの生成は反復処理である。したがって、ステップ１０１、１０３、１０５、１０７、および１０９は、多数のフレームおよびブロックに渡り連続しておよび／または同時に生じてよい。図１に示す順序は明確さおよび議論の容易さのために提示され、ビデオコーディング処理を特定の順序に限定することを意図しない。

ステップ１１１で、デコーダは、ビットストリームを受信し、復号処理を開始する。具体的に、デコーダは、エントロピー復号方式を利用して、ビットストリームを対応するシンタックスおよびビデオデータに変換する。ステップ１１１で、デコーダは、ビットストリームからのシンタックスを利用して、フレームのパーティションを決定する。パーティションは、ステップ１０３におけるブロックパーティションの結果と一致するべきである。ステップ１１１で利用されるようなエントロピー符号化／復号は、以下に説明される。エンコーダは、圧縮処理の間に、入力画像内の値の空間的位置に基づきいくつかの可能な選択肢からブロックパーティション方式を選択するような、多くの選択肢を生成する。正確な選択肢をシグナリングすることは、膨大な数のビンを利用し得る。ここで使用されるように、ビンは、変数として扱われる２進値である（たとえば、コンテキストに依存して変化し得るビット値）。エントロピーコーディングは、許容可能な選択肢のセットを残して、エンコーダが特定の場合に明らかに実行可能ではない任意の選択肢を廃棄することを可能にする。それぞれの許容可能な選択肢は、次にコードワードを割り当てられる。コードワードの長さは、許容可能な選択肢の数に基づく（たとえば、２個の選択肢に対して１つのビン、３～４個の選択肢に対して２つのビン、等）。エンコーダは、次に、選択された選択肢についてコードワードを符号化する。この方式は、全ての可能な選択肢の潜在的に大きな集合からの選択をユニークに示すのとは反対に、可能な選択肢の小さな部分集合からの選択をユニークに示すために望ましい程度の大きさなので、コードワードのサイズを削減する。デコーダは、次に、エンコーダと同様の方法で許容可能な選択肢の集合を決定することにより、選択を復号する。許容可能な選択肢の集合を決定することにより、デコーダは、コードワードを読み出し、エンコーダにより行われた選択を決定できる。

ステップ１１３で、デコーダは、ブロック復号を実行する。具体的に、デコーダは、逆変換を利用して残差ブロックを生成する。次に、デコーダは、残差ブロックおよび対応する予測ブロックを利用して、パーティションに従い画像ブロックを再構成する。予測ブロックは、エンコーダにおいてステップ１０５で生成されたイントラ予測ブロックおよびインター予測ブロックの両方を含んでよい。再構成画像ブロックは、次に、ステップ１１１で決定されたパーティションデータに従い再構成ビデオ信号のフレームへと位置付けられる。ステップ１１３のシンタックスも、上述のようなエントロピーコーディングによりビットストリームの中でシグナリングされてよい。

ステップ１１５で、エンコーダにおけるステップ１０７と同様の方法で、再構成ビデオ信号のフレームに対してフィルタリングが実行される。たとえば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応型ループフィルタ、およびSAOフィルタが、ブロッキングアーチファクトを除去するためにフレームに適用されてよい。フレームがフィルタリングされると、ビデオ信号は、エンドユーザーによる閲覧のためにステップ１１７においてディスプレーへと出力できる。

図２は、ビデオコーディングのための例示的なコーディングおよび復号（コーデック）システム２００の概略図である。具体的に、コーデックシステム２００は、動作方法１００の実装をサポートするための機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方の中で利用されるコンポーネントを示すために一般化される。コーデックシステム２００は、パーティションされたビデオ信号２０１を生じる、動作方法１００におけるステップ１０１および１０３に関して上述したビデオ信号を受信しパーティションする。コーデックシステム２００は、次に、方法１００におけるステップ１０５、１０７、および１０９に関して上述したエンコーダとして動作するとき、パーティションされたビデオ信号２０１を符号化されたビットストリームへと圧縮する。デコーダとして動作するとき、コーデックシステム２００は、動作方法１００におけるステップ１１１、１１３、１１５、および１１７に関して上述したようにビットストリームから出力ビデオ信号を生成する。コーデックシステム２００は、汎用コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャー推定コンポーネント２１５、イントラピクチャー予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリングおよび逆変換コンポーネント２２９、フィルタ制御分析コンポーネント２２７、インループフィルタコンポーネント２２５、復号ピクチャーバッファコンポーネント２２３、およびヘッダーフォーマットおよびコンテキスト適応型２進算術コーディング（Context adaptive binary arithmetic coding（CABAC））コンポーネント２３１を含む。このようなコンポーネントは図示のように結合される。図２では、黒線は符号化／復号されるべきデータの動きを示し、一方で、破線は他のコンポーネントの動作を制御する制御データの動きを示す。コーデックシステム２００のコンポーネントは、エンコーダ内に全て存在してよい。デコーダは、コーデックシステム２００のコンポーネントの一部を含んでよい。たとえば、デコーダは、イントラピクチャー予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリングおよび逆変換コンポーネント２２９、インループフィルタコンポーネント２２５、および復号ピクチャーバッファコンポーネント２２３を含んでよい。これらのコンポーネントはここで説明される。

パーティションされたビデオ信号２０１は、コーディングツリーによりピクセルのブロックへとパーティションされた、キャプチャされたビデオシーケンスである。コーディングツリーは、種々の分割モードを利用して、ピクセルのブロックをより小さなピクセルのブロックへと細分化する。これらのブロックは、次に、より小さなブロックへと更に細分化できる。ブロックは、コーディングツリー上のノードと呼ばれてよい。より大きな親ノードは、より小さな子ノードへと分割される。ノードが細分化される回数は、ノード／コーディングツリーの深さと呼ばれる。分割されたブロックは、いくつかの場合にはコーディングユニット（coding unit（CU））に含まれ得る。たとえば、CUは、ルマブロック、赤色差分クロマ（Cr）ブロック、および青色差分クロマ（Cb）ブロック、ならびにCUの対応するシンタックス命令を含むCTUのサブ部分であり得る。分割モードは、利用される分割モードに依存して変化する形状のそれぞれ２、３、または４個の子ノードにノードをパーティションするために利用される２分木（binary tree（BT））、３分木（triple tree（TT））、および４分木（quad tree（QT））を含んでよい。パーティションされたビデオ信号２０１は、汎用コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャー推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、および動き推定コンポーネント２２１へと圧縮のために転送される。

汎用コーダ制御コンポーネント２１１は、アプリケーション制約に従いビットストリームへのビデオシーケンスの画像のコーディングに関連する決定を行うよう構成される。たとえば、汎用コーダ制御コンポーネント２１１は、再構成品質に対するビットレート／ビットストリームサイズの最適化を管理する。このような決定は、記憶空間／帯域幅の利用可能性、および画像解像度要求に基づき行われてよい。汎用コーダ制御コンポーネント２１１は、また、バッファアンダーランおよびオーバラン問題を緩和するために、変換速度の観点でバッファ利用を管理する。これらの問題に対応するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによるパーティション、予測、およびフィルタリングを管理する。たとえば、汎用コーダ制御コンポーネント２１１は、解像度を増大するために圧縮複雑性を動的に増大させ、解像度および帯域幅使用を低減するために帯域幅使用を増大しまたは圧縮複雑性を減少させてよい。したがって、汎用コーダ制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、ビデオ信号再構成品質とビットレート関心事とのバランスをとる。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを生成する。制御データも、デコーダにおける復号のためのパラメータをシグナリングするためにビットストリーム内に符号化されるようヘッダーフォーマットおよびCABACコンポーネント２３１へ転送される。

パーティションされたビデオ信号２０１は、インター予測のために、動き推定コンポーネント２２１および動き補償コンポーネント２１９へも送信される。パーティションされたビデオ信号２０１のフレームまたはスライスは、複数のビデオブロックに分割されてよい。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、１つ以上の参照フレームの中の１つ以上のブロックに関連して、受信したビデオブロックのインター予測コーディングを実行し、時間予測を提供する。コーデックシステム２００は、たとえばビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。

動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合されてよいが、概念的目的のために別個に示される。動き推定コンポーネント２２１により実行される動き推定は、ビデオブロックについて動きを推定する動きベクトルを生成する処理である。動きベクトルは、たとえば、予測ブロックに関連して符号化されたオブジェクトの配置を示してよい。予測ブロックは、ピクセル差分の観点で、コーディングされるべきブロックに厳密に一致すると分かったブロックである。予測ブロックは、参照ブロックとも呼ばれてよい。このようなピクセル差分は、絶対値差分の和（sum of absolute difference（SAD））、平方差分の和（sum of square difference（SSD））、または他の差分メトリックにより決定されてよい。HEVCは、CTU、コーディングツリーブロック（coding tree block（CTB））、およびCUを含むいくつかの符号化されたオブジェクトを利用する。たとえば、CTUは、CTBに分割でき、CTBは次にCUに含むためにCBに分割できる。CUは、予測データを含む予測ユニット（prediction unit）および／またはCUの変換された残差データを含む変換ユニット（transform unit（TU））として符号化できる。動き推定コンポーネント２２１は、レート歪み最適化処理の部分としてレート歪み分析を用いて、動きベクトル、予測ユニット、およびTUを生成する。たとえば、動き推定コンポーネント２２１は、現在ブロック／フレームについて複数の参照ブロック、複数の動きベクトル、等を決定してよく、最適なレート歪み特性を有する参照ブロック、動きベクトル、等を選択してよい。最適なレート歪み特性は、ビデオ再構成の品質（たとえば、圧縮によるデータ損失の量）およびコーディング効率（たとえば、最終的な符号化のサイズ）の両方のバランスをとる。

いくつかの例では、コーデックシステム２００は、復号ピクチャーバッファコンポーネント２２３に格納された参照ピクチャーのサブ整数ピクチャー位置の値を計算してよい。たとえば、ビデオコーデックシステム２００は、参照ピクチャーの４分の１ピクセル位置、８分の１ピクセル位置、または他の分数ピクセル位置の値を補間してよい。したがって、動き推定コンポーネント２２１は、完全ピクセル位置および分数ピクセル位置に関連して動き探索を実行し、分数ピクセル精度で動きベクトルを出力してよい。動き推定コンポーネント２２１は、予測ユニットの位置を参照ピクチャーの予測ブロックの位置と比較することにより、インター符号化されたスライスの中のビデオブロックの予測ユニットについて、動きベクトルを計算する。動き推定コンポーネント２２１は、計算した動きベクトルを動きデータとして、符号化のためにヘッダーフォーマットおよびCABACコンポーネント２３１へ、動きを動き補償コンポーネント２１９へ出力する。

動き補償コンポーネント２１９により実行される動き補償は、動き推定コンポーネント２２１により決定された動きベクトルに基づき、予測ブロックをフェッチするまたは生成することを含んでよい。ここでも、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、いくつかの例では機能的に統合されてよい。現在ビデオブロックの予測ユニットの動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルの指す予測ブロックの位置を特定してよい。次に、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算してピクセル差分値を形成することにより、残差ビデオブロックが形成される。一般に、動き推定コンポーネント２２１は、ルマ成分に関連して動き推定を実行し、動き補償コンポーネント２１９は、クロマ成分およびルマ成分の両方についてルマ成分に基づき計算された動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３へ転送される。

パーティションされたビデオ信号２０１は、イントラピクチャー推定コンポーネント２１５およびイントラピクチャー予測コンポーネント２１７へも送信される。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラピクチャー推定コンポーネント２１５およびイントラピクチャー予測コンポーネント２１７は、高度に統合されてよいが、概念的目的のために別個に示される。上述のようなフレーム間の動き推定コンポーネント２２１および動き補償コンポーネント２１９により実行されるインター予測の代わりに、イントラピクチャー推定コンポーネント２１５およびイントラピクチャー予測コンポーネント２１７は、現在フレーム内のブロックに関連して現在ブロックをイントラ予測する。特に、イントラピクチャー推定コンポーネント２１５は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定する。いくつかの例では、イントラピクチャー推定コンポーネント２１５は、複数のテストされたイントラ予測モードから、現在ブロックを符号化するための適切なイントラ予測モードを選択する。選択したイントラ予測モードは、次に、符号化のためにヘッダーフォーマットおよびCABACコンポーネント２３１へ転送される。

たとえば、イントラピクチャー推定コンポーネント２１５は、種々のテストされたイントラ予測モードについてレート歪み分析を用いてレート歪み値を計算し、テストしたモードの中で最適なレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、一般に、符号化ブロックと、符号化されて該符号化ブロックを生成した元の未符号化ブロックとの間の歪み（または誤差）の量、並びに符号化ブロックを生成するために使用されたビットレート（たとえば、ビット数）を決定する。イントラピクチャー推定コンポーネント２１５は、種々の符号化ブロックについて歪みおよびレートから比を計算して、ブロックについて、どのイントラ予測モードが最適なレート歪み値を示すかを決定する。さらに、イントラピクチャー推定コンポーネント２１５は、レート歪み最適化（rate-distortion optimization（RDO））に基づき、深さモデル化モード（depth modeling mode（DMM））を用いて深さマップの深さブロックをコーディングするよう構成されてよい。

イントラピクチャー予測コンポーネント２１７は、エンコーダに実装されるとき、イントラピクチャー推定コンポーネント２１５により決定された、選択されたイントラ予測モードに基づき、予測ブロックから残差ブロックを生成し、または、デコーダに実装されるとき、ビットストリームから残差ブロックを読み出してよい。残差ブロックは、行列として表現される、予測ブロックと元のブロックとの間の値の差分を含む。残差ブロックは、次に、変換スケーリングおよび量子化コンポーネント２１３へ転送される。イントラピクチャー推定コンポーネント２１５およびイントラピクチャー予測コンポーネント２１７は、ルマおよびクロマ成分の両方に対して動作してよい。

変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックを更に圧縮するよう構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散コサイン変換（discrete cosine transform（DCT））、離散サイン変換（discrete sine transform（DST））、または概念的に類似する変換のような変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、または他の種類の変換も使用され得る。変換は、残差情報を、ピクセル値ドメインから周波数ドメインのような変換ドメインへと変換してよい。変換スケーリングおよび量子化コンポーネント２１３は、また、たとえば周波数に基づき、変換された残差情報をスケーリングするよう構成される。このようなスケーリングは、倍率を残差情報に適用することを含む。その結果、異なる周波数情報は異なる粒度で量子化され、これは再構成ビデオの最終的な視覚的品質に影響を与え得る。変換スケーリングおよび量子化コンポーネント２１３は、また、ビットレートを更に低減するために、変換係数を量子化するよう構成される。量子化処理は、係数の一部または全部に関連するビット深さを低減してよい。量子化の程度は、量子化パラメータを調整することにより、変更されてよい。いくつかの例では、変換スケーリングおよび量子化コンポーネント２１３は、次に、量子化された変換係数を含む行列のスキャンを実行してよい。量子化された変換係数は、ビットストリーム内に符号化されるために、ヘッダーフォーマットおよびCABACコンポーネント２３１へ転送される。

スケーリングおよび逆変換コンポーネント２２９は、動き推定をサポートするために、変換スケーリングおよび量子化コンポーネント２１３の逆処理を適用する。スケーリングおよび逆変換コンポーネント２２９は、逆スケーリング、変換、および／または量子化を適用して、たとえば別の現在ブロックのための予測ブロックになり得る参照ブロックとして後に使用するために、ピクセルドメインの残差ブロックを再構成する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定で使用するために、残差ブロックを対応する予測ブロックに加算して戻すことにより、参照ブロックを計算してよい。スケーリング、量子化、および変換の間に生成されたアーチファクトを低減するために、再構成された参照ブロックにフィルタが適用される。このようなアーチファクトは、そうでなければ、後続のブロックが予測されるときに不正確な予測を生じ（および追加アーチファクトを生成し）得る。

フィルタ制御分析コンポーネント２２７およびインループフィルタコンポーネント２２５は、残差ブロックにおよび／または再構成画像ブロックにフィルタを適用する。たとえば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックは、元の画像ブロックを再構成するために、イントラピクチャー予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと結合されてよい。フィルタは、次に、再構成画像ブロックに適用されてよい。いくつかの例では、フィルタは、代わりに、残差ブロックに適用されてよい。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７およびインループフィルタコンポーネント２２５は、高度に統合され一緒に実装されてよいが、概念的目的のために別個に示される。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、このようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、このようなフィルタが適用されるべき場合を決定し、対応するパラメータを設定する。このようなデータは、ヘッダーフォーマットおよびCABACコンポーネント２３１へ、符号化のためのフィルタ制御データとして転送される。インループフィルタコンポーネント２２５は、フィルタ制御データに基づき、このようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、SAOフィルタ、および適応型ループフィルタを含んでよい。このようなフィルタは、例に依存して、（たとえば、再構成されたピクセルブロック上の）空間／ピクセルドメインにおいて、または周波数ドメインにおいて、適用されてよい。

エンコーダとして動作するとき、フィルタリングされた再構成画像ブロック、残差ブロック、および／または予測ブロックは、上述のように動き推定において後に使用するために、復号ピクチャーバッファコンポーネント２２３に格納される。デコーダとして動作するとき、復号ピクチャーバッファコンポーネント２２３は、出力ビデオ信号の部分として、再構成されフィルタリングされたブロックを格納しディスプレーへ向けて転送する。復号ピクチャーバッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構成画像ブロックを格納することの可能な任意のメモリ装置であってよい。

ヘッダーフォーマットおよびCABACコンポーネント２３１は、コーデックシステム２００の種々のコンポーネントからデータを受信し、デコーダへ向けて送信するためにこのようなデータを符号化されたビットストリームに符号化する。具体的に、ヘッダーフォーマットおよびCABACコンポーネント２３１は、一般制御データおよびフィルタ制御データのような制御データを符号化するために種々のヘッダーを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形式の残差データは、全てビットストリーム内に符号化される。最終的なビットストリームは、元のパーティションされたビデオ信号２０１を再構成するためにデコーダにより所望される全ての情報を含む。このような情報は、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、種々のブロックの符号化コンテキストの定義、最も有望なイントラ予測モードの指示、パーティション情報の指示、等も含んでよい。このようなデータは、エントロピーコーディングを利用することにより、符号化されてよい。たとえば、情報は、コンテキスト適応型可変長コーディング（context adaptive variable length coding（CAVLC））、シンタックスに基づくコンテキスト適応型２進算術コーディング（syntax-based context-adaptive binary arithmetic coding（SBAC））、確率区間パーティショニングエントロピー（probability interval partitioning entropy（PIPE））コーディング、または別のエントロピーコーディング技術を利用することにより、符号化されてよい。エントロピーコーディングに従い、符号化されたビットストリームは、別の装置（たとえば、ビデオデコーダ）へ送信され、または後の送信または読み出しのために保存されてよい。

図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００の符号化機能を実装するために、および／または動作方法１００のステップ１０１、１０３、１０５、１０７および／または１０９を実装するために、利用されてよい。エンコーダ３００は、入力ビデオ信号をパーティションして、実質的にパーティションされたビデオ信号２０１と同様であるパーティションされたビデオ信号３０１を生じる。パーティションされたビデオ信号３０１は、次に、エンコーダ３００のコンポーネントにより圧縮されビットストリームに符号化される。

具体的に、パーティションされたビデオ信号３０１は、イントラ予測のためにイントラピクチャー予測コンポーネント３１７へ転送される。イントラピクチャー予測コンポーネント３１７は、イントラピクチャー推定コンポーネント２１５およびイントラピクチャー予測コンポーネント２１７と実質的に同様であってよい。パーティションされたビデオ信号３０１は、復号ピクチャーバッファコンポーネント３２３の中の参照ブロックに基づくインター予測のために動き補償コンポーネント３２１へも転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であってよい。イントラピクチャー予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために、変換および量子化コンポーネント３１３へ転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であってよい。変換され量子化された残差ブロックおよび対応する予測ブロックは（関連する制御データと一緒に）、ビットストリームへのコーディングのためにエントロピーコーディングコンポーネント３１３へ転送される。エントロピーコーディングコンポーネント３３１は、ヘッダーフォーマットおよびCABACコンポーネント２３１と実質的に同様であってよい。

変換され量子化された残差ブロックおよび／または対応する予測ブロックは、また、動き補償コンポーネント３２１による使用のために参照ブロックへと再構成するために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９へ転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であってよい。インループフィルタコンポーネント３２５の中のインループフィルタも、例に依存して、残差ブロックおよび／または再構成された参照ブロックに適用される。インループフィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７およびインループフィルタコンポーネント２２５と実質的に同様であってよい。インループフィルタコンポーネント３２５は、インループフィルタコンポーネント２２５に関して議論したような複数のフィルタを含んでよい。フィルタリングされたブロックは、次に、動き補償コンポーネント３２１により参照ブロックとして使用するために、復号ピクチャーバッファコンポーネント３２３に格納される。復号ピクチャーバッファコンポーネント３２３は、復号ピクチャーバッファコンポーネント２２３と実質的に同様であってよい。

図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００は、コーデックシステム２００の復号機能を実装するために、および／または動作方法１００のステップ１１１、１１３、１１５および／または１１７を実装するために、利用されてよい。デコーダ４００は、たとえばエンコーダ３００からビットストリームを受信し、エンドユーザーに表示するためにビットストリームに基づき再構成された出力ビデオ信号を生成する。

ビットストリームは、エントロピー復号コンポーネント４３３により受信される。エントロピー復号コンポーネント４３３は、CAVLC、CABAC、SBAC、PIPEコーディングのようなエントロピー復号方式、または他のエントロピーコーディング技術を実装するよう構成される。たとえば、エントロピー復号コンポーネント４３３は、ビットストリーム内にコードワードとして符号化された追加データを解釈するために、ヘッダー情報を利用してコンテキストを提供してよい。復号された情報は、一般制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、および残差ブロックからの量子化済み変換係数のような、ビデオ信号を復号するための任意の所望の情報を含む。量子化済み変換係数は、残差ブロックへと再構成するために、逆変換および量子化コンポーネント４２９へ転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であってよい。

再構成残差ブロックおよび／または予測ブロックは、イントラ予測動作に基づき画像ブロックへと再構成するために、イントラピクチャー予測コンポーネント４１７へ転送される。イントラピクチャー予測コンポーネント４１７は、イントラピクチャー推定コンポーネント２１５およびイントラピクチャー予測コンポーネント２１７と同様であってよい。具体的に、イントラピクチャー予測コンポーネント４１７は、フレーム内の参照ブロックの位置を特定するために予測モードを利用し、結果に残差ブロックを適用して、イントラ予測された画像ブロックを再構成する。再構成されたイントラ予測された画像ブロックおよび／または残差ブロック、および対応するインター予測データは、それぞれ復号ピクチャーバッファコンポーネント２２３およびインループフィルタコンポーネント２２５と実質的に同様であってよいインループフィルタコンポーネント４２５を介して復号ピクチャーバッファコンポーネント４２３へ転送される。インループフィルタコンポーネント４２５は、再構成画像ブロック、残差ブロック、および／または予測ブロックをフィルタリングし、そのような情報は復号ピクチャーバッファコンポーネント４２３に格納される。復号ピクチャーバッファコンポーネント４２３からの再構成画像ブロックは、インター予測のために動き補償コンポーネント４２１へ転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であってよい。具体的に、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを利用して、予測ブロックを生成し、結果に残差ブロックを提供して、画像ブロックを再構成する。結果として生じた再構成ブロックは、インループフィルタコンポーネント４２５を介して、復号ピクチャーバッファコンポーネント４２３へ転送されてもよい。復号ピクチャーバッファコンポーネント４２３は、パーティション情報によりフレームへと再構成できる、追加再構成画像ブロックを格納し続けてよい。このようなフレームは、シーケンス内に配置されてもよい。シーケンスは、再構成された出力ビデオ信号としてディスプレーに向けて出力される。

以上を心に留めて、ビデオ圧縮技術は、空間（イントラピクチャー）予測および／または時間（インターピクチャー）予測を実行して、ビデオシーケンスに内在する冗長性を低減するか、または除去する。ブロックに基づくビデオコーディングでは、ビデオスライス（つまり、ビデオピクチャーまたはビデオピクチャーの部分）は、ツリーブロック、コーディングツリーブロック（coding tree block （CTB））、コーディングツリーユニット（coding tree unit （CTU））、コーディングユニット（coding unit （CU））、および／またはコーディングノードとも呼ばれてよいビデオブロックにパーティションされてよい。ピクチャーのイントラ符号化された（I）スライス内のビデオブロックは、同じピクチャー内の近隣ブロックの中の参照サンプルに対して空間予測を用いて符号される。ピクチャーのインター符号化された（ＰまたはＢ）スライス内のビデオブロックは、同じピクチャー内の近隣ブロックの中の参照サンプルに対する空間予測、または他の参照ピクチャー内の参照サンプルに対する時間予測を利用してよい。ピクチャーは、フレームと呼ばれてよく、参照ピクチャーは、参照フレームと呼ばれてよい。

空間または時間予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差を表す。インター符号化されたブロックは予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、および符号化されたブロックと予測ブロックとの間の差を示す残差データに従い符号化される。イントラ符号化されたブロックは、イントラコーディングモードおよび残差データに従い符号化される。更なる圧縮のために、残差データは、ピクセルドメインから変換ドメインへと変換されてよく、結果として残差変換係数を生じ、これは次に量子化されてよい。量子化変換係数は、最初に２次元アレイに構成され、変換係数の１次元ベクトルを生成するためにスキャンされてよく、更に多くの圧縮を達成するためにエントロピーコーディングが適用されてよい。

画像およびビデオ圧縮は、急速な成長を経験しており、種々のコーディング規格をもたらしている。そのようなビデオコーディング規格は、ITU-TH.２６１、国際標準化機構／国際電気標準会議（International Organization for Standardization/International Electrotechnical Commission （ISO/IEC）、MPEG-１ Part２, ITU-TH.２６２またはISO/IEC MPEG-２ Part２, ITU-TH.２６３, ISO/IEC MPEG-４ Part２, ITU-T H.２６４またはISO/IEC MPEG-４ Part １０としても知られているAdvanced Video Coding （AVC）、ITU-T H.２６５またはMPEG-H Part２としても知られているHigh Efficiency Video Coding （HEVC）、を含む。AVCは、スケーラブル映像コーディング（Scalable Video Coding （SVC））、多視点映像コーディング（Multiview Video Coding （MVC））、および多視点映像コーディングおよび奥行き（Multiview Video Coding plus Depth （MVC+D））、並びに３次元AVC（３D-AVC）のような拡張を含む。HEVCは、スケーラブルHEVC（Scalable HEVC （SHVC））、多視点HEVC（Multiview HEVC （MV-HEVC））、および３D HEVC（３D-HEVC）のような拡張を含む。

ITU-TおよびISO/IECの共同ビデオ専門家チーム（joint video experts team （JVET））Versatile Video Coding （VVC）と命名される新しいコーディング規格もある。VVC規格はいくつかのワーキングドラフトを有するが、特にVVCの１つのワーキングドラフト（Working Draft （WD））、つまりB.Bross, J. Chen,およびS. Liu, 「Versatile Video Coding （Draft５）」、JVET-N１００１-v３, １３th JVET Meeting, March ２７, ２０１９（VVC Draft５）がここで参照される。

HEVCにおけるピクチャーパーティション方式が議論される。

HEVCは、４つの異なるピクチャーパーティション方式を含む。つまり、通常スライス、依存スライス、タイル、およびウェーブフロント並列処理（Wavefront Parallel Processing （WPP））であり、最大変換ユニット（Maximum Transfer Unit （MTU））マッチング、並列処理、およびエンドツーエンド遅延の低減のために適用されてよい。

通常スライスは、H.２６４/AVCにおけるものと同様である。各通常スライスは、それ自体のNALユニット内にカプセル化され、ピクチャー内予測（イントラサンプル予測、動き情報予測、コーディングモード予測）およびスライス境界を跨がるエントロピーコーディング依存性が無効にされる。従って、通常スライスは、（ループフィルタリング演算のために相互依存性が依然として有し得るが）同じピクチャー内の他の通常スライスから独立して、再構成できる。

通常スライスは、H.２６４/AVCでは実質的に同一の形式で、利用可能な並列化のために使用できる唯一のツールである。並列化に基づく通常スライスは、多くのインタープロセッサまたはインターコア通信を必要としない（予測的に符号化されたピクチャーを復号するとき、動き補償のためのインタープロセッサまたはインターコア共有を除く、これは、ピクチャー内予測によるインタープロセッサまたはインターコアデータ共有より標準的に遙かに重い）。しかしながら、同じ理由で、通常スライスの使用は、スライスヘッダーのビットコストにより、およびスライス境界に跨がる予測の欠如により、相当なコーディングオーバーヘッドを生じ得る。更に、通常スライスのピクチャー内独立性のために、通常スライスは（後述する他のツールと対照的に）、MTUサイズ要件に適合するためにビットストリームパーティショニングのための重要なメカニズムとしても機能し、その各通常スライスは、それ自体のネットワーク抽象化レイヤー（Network Adaptation Layer （NAL））ユニットにカプセル化される。多くの場合、並列化の目的と、MTUサイズ適合目的とは、ピクチャー内のスライスレイアウトに対して矛盾する要求を課す。この状況の実現は、後述する並列化ツールの開発をもたらした。

依存スライスは、短いスライスヘッダーを有し、ピクチャー内予測を壊すことなくツリーブロック境界におけるビットストリームのパーティショニングを可能にする。基本的に、依存スライスは、通常スライスの複数のNALユニットへのフラグメント化を提供し、通常スライス全体の符号化が完了する前に、通常スライスの部分を送出可能にすることにより、削減されたエンドツーエンド遅延をもたらす。

WPPでは、ピクチャーは単一の行のコーディングツリーブロック（coding tree block （CTB））へとパーティションされる。エントロピー復号および予測は、他のパーティションの中のCTBからのデータを使用することを許可される。並列化処理は、対象のCTBの上および右にあるCTBに関連するデータが対象のCTBが復号される前に利用可能になることを保証するために、CTB行の復号の開始が２個のCTBだけ遅延されるCTB行の並列復号を通じて可能である。この時間差のある開始（これは、グラフィカルに表現されるときウェーブフロントのように現れる）を用いて、最大でピクチャーが含むCTBと同じくらい多くのプロセッサ／コアにより並列化が可能である。ピクチャー内の近隣ツリーブロック行の間のピクチャー内予測が許可されるので、ピクチャー内予測を可能にするために必要なインタープロセッサ／インターコア通信が重要になり得る。WPPパーティショニングは、それが適用されないときと比べて、追加NALユニットの生成を生じない。従って、WPPはMTUサイズ適合のためのツールではない。しかしながら、MTUサイズ適合が必要な場合、通常スライスは、特定のコーディングオーバーヘッドを伴い、WPPと共に使用できる。

タイルは、ピクチャーをタイル列および行にパーティションする水平および垂直境界を定める。CTBのスキャン順序は、ピクチャーのタイルラスタスキャンの順序で次のタイルの左上CTBを復号する前に、（タイルのCTBラスタスキャンの順序で）タイル内のローカルになるよう変更される。通常スライスと同様に、タイルは、ピクチャー内予測依存性、並びにエントロピー復号依存性を壊す。しかしながら、タイルは、（この点に関してWPPと同じ）個々のNALユニットに含まれる必要がなく、従って、タイルはMTUサイズ適合のために使用できない。各タイルは１つのプロセッサ／コアにより処理でき、近隣タイルを復号する処理ユニットの間でピクチャー内予測のために必要なインタープロセッサ／インターコア通信は、スライスが１つより多くのタイルに渡る場合には共有スライスヘッダーを運ぶこと、およびループフィルタリングに関連する再構成サンプルおよびメタデータを共有することに限定される。１つより多くのタイルまたはWPPセグメントがスライスに含まれるとき、スライス内の最初のもの以外の各タイルまたはWPPセグメントのエントリーポイントバイトオフセットは、スライスヘッダーの中でシグナリングされる。

簡単のため、４つの異なるパーティショニング方式の適用についての制約がHEVCにおいて指定されている。所与の符号化されたビデオシーケンスは、HEVCで指定されたプロファイルの大部分について、タイルおよび波面の両方を含むことができない。スライスおよびタイル毎に、以下の条件のうちのいずれかまたは両方が満たされなければならない。１）スライス内の全部の符号化されたツリーブロックが同じタイルに属する、および、２）タイル内の全部の符号化されたツリーブロックが同じスライスに属する。最後に、ウェーブフロントセグメントは、正確に１個のCTB行を含み、WPPが使用されるとき、スライスがCTB行内で開始する場合、それは同じCTB行の中で終了しなければならない。

VVCにおけるピクチャーパーティション方式が議論される。

HEVCは、４つの異なるピクチャーパーティション方式を含む。つまり、スライス、タイルおよびブリック、およびウェーブフロント並列処理（Wavefront Parallel Processing （WPP））であり、最大変換ユニット（Maximum Transfer Unit （MTU））サイズ適合、並列処理、およびエンドツーエンド遅延の低減のために適用されてよい。

VVCにおけるタイルはHEVCにおけるタイルと同様である。タイルは、ピクチャーをタイル列および行にパーティションする水平および垂直境界を定める。VVCでは、タイルの概念は、タイルを水平方向に更に分割させてブリックを形成させることにより、更に改良される。更に分割されないタイルは、ブリックとも考えられる。CTBのスキャン順序は、ピクチャーのブリックラスタースキャンの順序で次のブリックの左上CTBを復号する前に、（ブリックのCTBラスタスキャンの順序で）ブリック内のローカルになるよう変更される。

VVCにおけるスライスは、１つ以上のブリックを含む。各スライスは、それ自体のNALユニット内にカプセル化され、ピクチャー内予測（イントラサンプル予測、動き情報予測、コーディングモード予測）およびスライス境界を跨がるエントロピーコーディング依存性が無効にされる。従って、通常スライスは、（ループフィルタリング演算のために相互依存性を依然として存在し得るが）同じピクチャー内の他の通常スライスから独立して、再構成できる。VVCは、長方形スライスおよびラスタスキャンスライスの２種類のスライスを定義する。長方形スライスは、ピクチャー内の長方形領域を占有する１つ以上のブリックを含む。ラスタスキャンスライスは、ピクチャー内のブリックのラスタスキャン順序の１つ以上のブリックを含む。

VVCにおけるWPP特徴は、HEVCにおけるWPP特徴と同様であるが、HEVC WPPが２つのCTU遅延を有するのに対し、VVC WPPが１つのCTU遅延を有することが異なる。HEVC WPPでは、新しい復号スレッドは、前のCTU行がその最初の２個のCTUを復号された後に、自身に割り当てられたCTU行の中の最初のCTUの復号を開始できる。一方で、VVC WPPでは、新しい復号スレッドは、前のCTU行がその最初のCTUを復号された後に、自身に割り当てられたCTU行の中の最初のCTUの復号を開始できる。

タイル、ブリック、およびスライスのPPS内でのシグナリングが議論される。

タイル、ブリック、およびスライス（特に長方形スライス）のPPS内での現在のシグナリングは以下の通りである。

スライスは、スライスを復号するために必要なスライスの特性を記述するシンタックス要素を含むスライスヘッダーに関連付けられる。スライスヘッダーシンタックステーブルおよびスライスヘッダーセマンティクスの導入部分の例は以下に与えられる。

一般的なスライスヘッダーシンタックス

一般的なスライスヘッダーセマンティクス

存在するとき、スライスヘッダーシンタックス要素slice_pic_parameter_set_id、non_reference_picture_flag、colour_plane_id、slice_pic_order_cnt_lsb、recovery_poc_cnt、no_output_of_prior_pics_flag、pic_output_flag、およびslice_temporal_mvp_enabled_flagのそれぞれの値は、符号化されたピクチャーの全部のスライスヘッダーの中で同じであるべきである。

変数CuQpDeltaValは、cu_qp_delta_absを含むコーディングユニットのルマ量子化パラメータと、その予測との間の差を指定し、０に等しく設定される。変数CuQpOffsetCb、CuQpOffsetCr、およびCuQpOffsetCbCrは、cu_chroma_qp_offset_flagを含むコーディングユニットのQp’Cb、Qp’Cr、およびQp’CbCr量子化パラメータのそれぞれの値を決定するときに使用されるべき値を指定し、全部０に等しく設定される。

アクセスユニットデリミタが議論される。

Gothenburgにおける第１５回JVET会議で、VVCビットストリームの中の各ピクチャーについてアクセスユニットデリミタ（access unit delimiter （AUD））の存在を必須とすることが合意された。AUDは、各ピクチャーの最初のスライスの前に、存在することが必須である。これは、VVCビットストリーム内の新しいピクチャーの始めを検出するためのデコーダ実装を助ける。

AUD RBSPのシンタックスおよびセマンティクスは以下の通りである。

アクセスユニットデリミタは、アクセスユニットの開始、およびアクセスユニットデリミタNALユニットを含むアクセスの中の符号化されたピクチャー内に存在するスライスのタイプを示すために使用される。アクセスユニットデリミタに関連付けられる規範的な復号処理は存在しない。

pic_typeは、アクセスユニットデリミタNALユニットを含むアクセスユニットの中の符号化されたピクチャーの全部のスライスのslice_type値が、所与の値のpic_typeについて、表７－３にリストしたセットの構成要素であることを示す。pic_typeの値は、この仕様のこのバージョンに準拠するビットストリームでは０、１、または２に等しく設定されるべきである。他の値のpic_typeは、ITU－T/ISO/IECによる将来の使用のために予約されている。この仕様のこのバージョンに準拠するデコーダは、pic_typeの予約された値を無視するべきである。
表７－３ pic_typeの解釈

アクセスユニットデリミタに伴う問題が議論される。

ピクチャー毎にAUDが存在することを必須にすることにより、いくつかの問題が以下のように識別される。

１つのみのアクセスユニットデリミタがピクチャーまたはアクセスユニット毎に存在し、アクセスユニットの中の最初であるNALユニットに含まれることが予想される。しかしながら、マルチレイヤービットストリームの場合におけるように、アクセスユニットが１つより多くのピクチャーを含む場合、アクセスユニットデリミタは、各ピクチャーではなく、各アクセスユニットの検出を助けることができるだけである。

単一レイヤービットストリームでは、１つのAUDがピクチャー毎に存在するので、スライスヘッダーの中で現在シグナリングされるが、同じピクチャーの全部のスライスについて同じであるよう制約されるいくつかのシンタックス要素は、AUDへと移動されるべきである。そのようなシンタックス要素は、ピクチャーレベルシンタックス要素と呼ばれてよい。しかしながら、AUDを含むNALユニットが、アクセスユニットの中の最初のNALユニットであると想定されるならば、AUDを含むNALユニットは、SPS、PPS、等のようなパラメータセットを含むNALユニットより先行してよい。AUDおよびパラメータセットの順序は、ピクチャーレベルシンタックス要素をスライスヘッダーからAUDへ移動する柔軟性を制限し、これらのシンタックス要素のパースは、パラメータセットの中でシグナリングされる情報への依存性を有し得る。

本願明細書に開示される技術の説明は、ITU-TおよびISO/IECの共同ビデオ専門家チーム（joint video experts team （JVET））により開発中のビデオコーディング規格であるバーサタイルビデオコーディング（Versatile Video Coding （VVC））に基づく。しかしながら、技術は他のビデオコーデック仕様にも適用される。

上述のように、AUDは、ビットストリームが単一レイヤーを含むとき、各AUの開始、従ってピクチャーの開始点を示すために使用されている。しかしながら、マルチレイヤービットストリームは同じAU内の異なる解像度で複数のピクチャーを含むので、AUDは、マルチレイヤービットストリームのために同じ機能を提供できない。従って、マルチレイヤービットストリームにおけるように、アクセスユニットが１つより多くのピクチャーを含むとき、AUDは、AUの開始点を示すことができるだけであり、AU内の特定のピクチャーの開始点を示すことはできない。

本願明細書は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証する技術を開示する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

ビデオコーディングにおけるスケーラビリティは、マルチレイヤーコーディング技術を用いることにより、サポートされる。マルチレイヤービットストリームは、基本レイヤー（base layer （BL））および１つ以上の拡張レイヤー（enhancement layer （EL））を含む。スケーラビリティの例としては、空間スケーラビリティ、品質/信号対雑音（SNR）スケーラビリティ、マルチビュースケーラビリティなどがある。マルチレイヤーコーディング技術が使用される場合、ピクチャーまたはその一部は、（１）参照ピクチャーを使用せずに、すなわち、イントラ予測を使用することによって、（２）同じレイヤー内にある参照ピクチャーを参照することによって、すなわち、インター予測を使用することによって、または、（３）他のレイヤーにある参照ピクチャーを参照することによって、すなわち、レイヤー間予測を使用することによって、コーディングされ得る。現在ピクチャーのレイヤー間予測に使用される参照ピクチャーは、レイヤー間参照ピクチャー（inter-layer reference picture （ILRP））と呼ばれる。

図５は、たとえばブロック圧縮ステップ１０５、ブロック復号ステップ１１３、動き推定コンポーネント２２１、動き補償コンポーネント２１９、動き補償コンポーネント３２１、および/または動き補償コンポーネント４２１においてMVを決定するために実行されるような、レイヤーベースの予測５００の一例を示す概略図である。レイヤーベースの予測５００は、一方向のインター予測および/または双方向のインター予測と互換性があるが、異なるレイヤーのピクチャー間でも実行される。

レイヤーベースの予測５００は、異なるレイヤーにおいて、ピクチャー５１１、５１２、５１３、および５１４とピクチャー５１５、５１６、５１７、および５１８との間に適用される。図示の例では、ピクチャー５１１、５１２、５１３、および５１４はレイヤーN+１５３２の一部であり、ピクチャー５１５、５１６、５１７、および５１８はレイヤーN５３１の一部である。レイヤーN ５３１および/またはレイヤーN+１５３２のようなレイヤーは、類似のサイズ、品質、解像度、信号対雑音比、能力などのような、類似の値の特性に全て関連するピクチャーのグループである。図示の例では、レイヤーN+１５３２は、レイヤーN ５３１よりも大きな画像サイズと関連している。従って、レイヤーN+１５３２内のピクチャー５１１、５１２、５１３、および５１４は、この例のレイヤーN ５３１内のピクチャー５１５、５１６、５１７、および５１８よりも大きなピクチャーサイズ（たとえば、より大きな高さおよび幅、したがってより多くのサンプル）を有する。しかしながら、このようなピクチャーは、他の特性によってレイヤーN+１５３２とレイヤーN ５３１との間で分離することができる。２つのレイヤー、レイヤーN+１５３２およびレイヤーN ５３１のみが示されているが、ピクチャーのセットは、関連する特性に基づいて任意の数のレイヤーに分離することができる。レイヤーN+１５３２およびレイヤーN ５３１は、レイヤーIDによって示されてもよい。レイヤーIDは、ピクチャーに関連付けられたデータのアイテムであり、ピクチャーが示されたレイヤーの一部であることを示す。したがって、各ピクチャー５１１～５１８は、対応するレイヤーIDと関連付けられて、どのレイヤーN+１５３２またはレイヤーN ５３１が対応する図を含むかを示すことができる。

異なるレイヤー５３１～５３２内のピクチャー５１１～５１８は、代替として表示されるように構成される。このように、異なるレイヤー５３１-５３２内のピクチャー５１１-５１８は、ピクチャーが同じAU内に含まれる場合、同じ時間識別子（ID）を共有することができる。本願明細書で使用される場合、AUは、DPBからの出力のための同じ表示時間に関連する１つ以上の符号化されたピクチャーの集合である。たとえば、より小さなピクチャーが望まれる場合には、デコーダは、現在の表示時間でピクチャー５１５を復号および表示し、より大きなピクチャーが望まれる場合には、デコーダは、現在の表示時間でピクチャー５１１をデコードおよび表示し得る。このように、上位レイヤーN+１５３２におけるピクチャー５１１～５１４は、（ピクチャーサイズの差にもかかわらず）下位レイヤーN ５３１における対応するピクチャー５１５～５１８と実質的に同じ画像データを含む。具体的には、ピクチャー５１１は、ピクチャー５１５と実質的に同じ画像データを含み、ピクチャー５１２は、ピクチャー５１６と実質的に同じ画像データを含む、などである。

ピクチャー５１１～５１８は、同じレイヤーN ５３１またはN+１５３２内の他のピクチャー５１１～５１８を参照することによってコーディングすることができる。同じレイヤー内の別のピクチャーを参照してピクチャーを符号化すると、互換性のある一方向性のインター予測および／または双方向性のインター予測であるインター予測５２３が得られる。インター予測５２３は、実線矢印で示される。たとえば、ピクチャー５１３は、レイヤーN+１５３２内のピクチャー５１１、５１２、および／または５１４のうちの１つまたは２つを参照として使用するインター予測５２３を採用することによってコーディングされてもよく、１つのピクチャーが、一方向のインター予測のために参照され、および／または、２つのピクチャーが、双方向のインター予測のために参照される。更に、ピクチャー５１７は、レイヤーN５３１内のピクチャー５１５、５１６、および／または５１８のうちの１つまたは２つを参照として使用するインター予測５２３を採用することによってコーディングされてもよく、１つのピクチャーが、一方向のインター予測のために参照され、および／または、２つのピクチャーが、双方向のインター予測のために参照される。ピクチャーが、インター予測５２３を実行するときに、同じレイヤー内の別のピクチャーのための参照として使用される場合、ピクチャーは、参照ピクチャーと呼ばれ得る。たとえば、ピクチャー５１２は、インター予測５２３に従ってピクチャー５１３をコーディングするために使用される参照ピクチャーであってもよい。インター予測５２３は、マルチレイヤーコンテキストにおいてイントラレイヤー予測とも呼ばれ得る。このように、インター予測５２３は、参照により、現在ピクチャーのサンプルを、現在ピクチャーと異なる参照ピクチャー内の示されたサンプルにコーディングするメカニズムである。ここで、参照ピクチャーと現在ピクチャーは同じレイヤーにある。

ピクチャー５１１～５１８は、異なるレイヤー内の他のピクチャー５１１～５１８を参照することによってコーディングすることもできる。この処理は、インターレイヤー予測５２１として知られており、破線の矢印で示されている。インターレイヤー予測５２１は、現在ピクチャーと参照ピクチャーが異なるレイヤーにあり、したがって異なるレイヤーIDを有する場合に、参照ピクチャー内の示されたサンプルを参照することによって、現在のピクチャーのサンプルをコーディングするメカニズムである。たとえば、下位レイヤーN ５３１内のピクチャーを参照ピクチャーとして使用して、対応するピクチャーを上位レイヤーN+１５３２にコーディングすることができる。特定の例として、ピクチャー５１１は、インターレイヤー予測５２１に従って、ピクチャー５１５を参照することによってコーディングできる。このような場合、ピクチャー５１５は、インターレイヤー参照ピクチャーとして使用される。インターレイヤー参照ピクチャーは、インターレイヤー予測５２１に使用される参照ピクチャーである。ほとんどの場合、インターレイヤー予測５２１は、ピクチャー５１１のような現在ピクチャーが、同じAUに含まれ、ピクチャー５１５のような下位レイヤーにあるインターレイヤー参照ピクチャーのみを使用することができるように制約される。複数のレイヤー（たとえば、２つ以上）が利用可能である場合、インターレイヤー予測５２１は、現在ピクチャーよりも低いレベルで、複数のインターレイヤー参照ピクチャーに基づいて、現在ピクチャーを符号化／復号することができる。

ビデオエンコーダは、レイヤーベースの予測５００を使用して、インター予測５２３およびインターレイヤー予測５２１の多くの異なる組み合わせおよび／または順列を介して、ピクチャー５１１～５１８を符号化することができる。たとえば、ピクチャー５１５は、イントラ予測に従ってコーディングされてもよい。次いで、ピクチャー５１５を参照ピクチャーとして使用することによって、ピクチャー５１６～５１８をインター予測５２３に従ってコーディングすることができる。さらに、ピクチャー５１１は、インターレイヤー参照ピクチャーとしてピクチャー５１５を使用することによって、インターレイヤー予測５２１に従ってコーディングされてもよい。次いで、ピクチャー５１１を参照ピクチャーとして使用することによって、ピクチャー５１２～５１４をインター予測５２３に従ってコーディングすることができる。このように、参照ピクチャーは、異なるコーディングメカニズムに対して単一レイヤー参照ピクチャーおよびインターレイヤー参照ピクチャーの両方として機能することができる。下位レイヤーN ５３１ピクチャーに基づいて上位レイヤーN+１５３２ピクチャーをコーディングすることによって、上位レイヤーN+１５３２は、インター予測５２３およびインターレイヤー予測５２１よりもはるかに低いコーディング効率を有するイントラ予測を使用することを回避することができる。従って、イントラ予測の劣ったコーディング効率は、最小／最低品質のピクチャーに制限され得、従って、最小量のビデオデータをコーディングすることに制限され得る。参照ピクチャーおよび／またはインターレイヤー参照ピクチャーとして使用されるピクチャーは、参照ピクチャーリスト構造に含まれる参照ピクチャーリストのエントリーの中で示すことができる。

図５の各AU５０６は、いくつかのピクチャーを含むことができる。たとえば、１つのAU５０６は、ピクチャー５１１および５１５を含むことができる。別のAU５０６は、ピクチャー５１２および５１６を含むことができる。実際、各AU５０６は、（たとえば、ユーザーに表示するために）復号ピクチャーバッファ（decoded picture buffer （DPB））から出力するために、同じ表示時間（たとえば、同じ時間ID）に関連付けられた１つ以上の符号化されたピクチャーのセットである。各AUD５０８は、AU（たとえば、（AU５０６）の開始またはAU間の境界を示すために使用される指示子またはデータ構造である。

以前のH.２６xビデオコーディングファミリーは、単一レイヤーコーディングのためのプロファイルとは別のプロファイルにおけるスケーラビリティのサポートを提供してきた。スケーラブルビデオコーディング（Scalable video coding （SVC））は、空間的、時間的および品質的スケーラビリティのサポートを提供するAVC/H.２６４のスケーラブルな拡張である。SVCでは、ELピクチャー内の各マクロブロック（MB）の中でフラグがシグナリングされ、下位レイヤーからの同一位置ブロックを使用してEL MBが予測されるかどうかが示される。同一位置ブロックからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含んでいてもよい。SVCの実装は、未修正のH.２６４/AVC実装を設計に直接再利用することはできない。SVC ELマクロブロックのシンタックスおよび復号処理は、H.２６４/AVCのシンタックスおよび復号処理とは異なる。

スケーラブルHEVC（Scalable HEVC （SHVC））は、空間的および品質的スケーラビリティのサポートを提供するHEVC/H.２６５規格の拡張であり、マルチビューHEVC（multiview HEVC （MV-HEVC））は、マルチビュースケーラビリティのサポートを提供するHEVC/H.２６５の拡張であり、３DHEVC（３D-HEVC）は、MV-HEVCよりも高度で効率的な３次元（３D）ビデオコーディングのサポートを提供するHEVC/H.２６４の拡張である。時間的スケーラビリティは単一レイヤーHEVCコーデックの不可欠な部分として含まれることに注意されたい。HEVCのマルチレイヤー拡張の設計は、インターレイヤー予測のために使用される復号画像が同じアクセスユニット（AU）のみから来て、長期参照ピクチャー（long-term reference picture （LTRP））として扱われ、現在レイヤーの他の時間参照ピクチャーと共に参照ピクチャーリストの中で参照インデックスを割り当てられるという考えを利用する。インターレイヤー予測（Inter-layer prediction （ILP））は、参照ピクチャーリスト内のインターレイヤー参照ピクチャーを参照するために参照インデックスの値を設定することにより、予測ユニットレベルで達成される。

注目すべきことに、参照ピクチャーの再サンプリングおよび空間スケーラビリティの特徴の両方は、参照ピクチャーまたはその一部の再サンプリングを必要とする。参照ピクチャー再サンプリング（Reference picture resampling （RPR））は、ピクチャーレベルまたはコーディングブロックレベルのいずれかで実現することができる。しかしながら、RPRが符号化特徴と呼ばれる場合、それは単一レイヤーコーディングのための特徴である。たとえそうであっても、単一レイヤーコーディングのRPR特徴およびマルチレイヤーコーディングの空間スケーラビリティ特徴の両方に対して同じ再サンプリングフィルタを使用することは、コーデック設計の観点から可能であるか、または望ましい。

図６は、段階的復号リフレッシュ（gradual decoding refresh （GDR））技術を実施するよう構成されるビデオビットストリーム６５０を示す。本願明細書で使用する場合、ビデオビットストリーム６５０は、符号化されたビデオビットストリーム、ビットストリーム、またはそれらの変形を表すこともできる。図６に示すように、ビットストリーム６５０は、シーケンスパラメータセット（sequence parameter set （SPS））６５２、ピクチャーパラメータセット（picture parameter set （PPS））６５４、スライスヘッダー６５６、および画像データ６５８を含む。

SPS６５２は、ピクチャーのシーケンス（sequence of pictures （SOP））の中の全てのピクチャーに共通であるデータを含む。対照的に、PPS６５４は、ピクチャー全体に共通するデータを含む。スライスヘッダー６５６は、たとえば、スライスタイプ、どのリファレンスピクチャーが使用されるかなど、現在スライスに関する情報を含む。SPS６５２およびPPS６５４は、総称的に、パラメータセットと呼ばれてもよい。SPS６５２、PPS６５４、およびスライスヘッダー６５６は、ネットワーク抽象化レイヤー（Network Abstraction Layer （NAL））ユニットのタイプである。NALユニットは、従うべきデータのタイプ（たとえば、符号化されたビデオデータ）の指示を含むシンタックス構造である。NALユニットは、ビデオコーディングレイヤー（video coding layer （VCL））と非VCL NALユニットに分類される。VCL NALユニットは、ビデオピクチャー内のサンプルの値を表すデータを含み、非VCL NALユニットは、パラメータセット（多数のVCL NALユニットに適用できる重要なデータ）および補足拡張情報（タイミング情報およびビデオピクチャー内のサンプルの値を復号するためには必要ではないが、復号ビデオ信号の有用性を高める可能性があるその他の補足データ）のような、任意の関連する追加情報を含む。当業者は、ビットストリーム６５０が、実際の用途における他のパラメータおよび情報を含んでいてもよいことを理解するであろう。

図６の画像データ６５８は、符号化または復号される画像またはビデオに関連するデータを含む。画像データ６５８は、単に、ビットストリーム６５０内で搬送されるペイロードまたはデータと呼ばれてもよい。一実施形態では、画像データ６５８は、GDRピクチャー６０２、１つ以上のトレーリングピクチャー６０４、および復元ポイントピクチャー６０６を含むCVS６０８（またはCLVS）を含む。実施形態では、GDRピクチャー６０２は、CVS開始（CVS starting （CVSS））ピクチャーと呼ばれる。CVS６０８は、ビデオビットストリーム６５０内の各符号化されたレイヤービデオシーケンス（coded layer video sequence （CLVS））のための符号化されたビデオシーケンスである。注目すべきことに、ビデオビットストリーム６５０が単一レイヤーを含む場合、CVSとCLVSは同じである。ビデオビットストリーム６５０が複数のレイヤーを含む場合にのみ、CVSとCLVSは異なる。実施形態では、トレーリングピクチャー６０４は、GDR期間の復元ポイントピクチャー６０６に先行するため、トレーリングピクチャー６０４は、GDRピクチャーの一形態であると考えることができる。

実施形態では、GDRピクチャー６０２、トレーリングピクチャー６０４、および回復ポイントピクチャー６０６は、CVS６０８内でGDR周期を定義することができる。実施形態では、復号順序は、GDRピクチャー６０２で始まり、トレーリングピクチャー６０４で続き、次いで、復元ピクチャー６０６に進む。

CVS６０８は、GDRピクチャー６０２から始まるピクチャーのシリーズ（またはその一部）であり、次のGDRピクチャーまでだがこれを含まない、またはビットストリームの終了までの全てのピクチャー（またはその一部）を含む。GDR期間は、GDRピクチャー６０２から始まるピクチャーのシリーズであり、復元ポイントピクチャー６０６までの、およびそれを含む全てのピクチャーを含む。CVS６０８の復号処理は、常にGDRピクチャー６０２から開始する。

図６に示すように、GDR技術６００または原理は、GDRピクチャー６０２から始まり復元ポイントピクチャー６０６で終わるピクチャーのシリーズ上で動作する。GDRピクチャー６０２は、イントラ予測を使用して全て符号化されたブロック（すなわち、イントラ予測ブロック）を含むリフレッシュ／クリーン領域６１０と、インター予測を使用して全て符号化されたブロック（すなわち、インター予測ブロック）を含む未リフレッシュ/ダーティ領域６１２とを含む。

GDRピクチャー６０２にすぐ隣接するトレーリングピクチャー６０４は、イントラ予測を用いて符号化された第１部分６１０Aと、インター予測を用いて符号化された第２部分６１０Bとを有するリフレッシュ/クリーン領域６１０を含む。第２部分６１０Bは、たとえば、CVS６０８のGDR周期内の先行ピクチャーのリフレッシュ/クリーン領域６１０を参照することによってコーディングされる。図示のように、トレーリングピクチャー６０４のリフレッシュ/クリーン領域６１０は、コーディング処理が一貫した方向に（たとえば、左から右へ）移動または進行するにつれて拡張し、それに応じて、未リフレッシュ/ダーティ領域６１２を縮小させる。最終的に、リフレッシュ/クリーン領域６１０のみを含む復元ポイントピクチャー６０６が、コーディング処理から得られる。注目すべきことに、以下でさらに説明するように、インター予測ブロックとしてコーディングされるリフレッシュ/クリーン領域６１０の第２部分６１０Bは、参照ピクチャー内のリフレッシュ/クリーン領域６１０のみを参照してもよい。

図６に示すように、CVS６０８内のGDRピクチャー６０２、トレーリングピクチャー６０４、および復元ポイントピクチャー６０６は、それぞれ、それら自身のVCL NALユニット６３０内に含まれる。CVS６０８内のVCL NALユニット６３０のセットは、アクセスユニットと呼ばれてよい。

実施形態では、CVS６０８内のGDRピクチャー６０２を含むVCL NALユニット６３０は、GDR NALユニットタイプ（GDR_NUT）を有する。すなわち、実施形態では、CVS６０８内のGDRピクチャー６０２を含むVCL NALユニット６３０は、トレーリングピクチャー６０４および復元ポイントピクチャー６０６に対して独自のNALユニットタイプを有する。実施形態では、GDR_NUTは、ビットストリーム６５０がイントラランダムアクセスポイント（intra random access point （IRAP））ピクチャーで始まる必要がある代わりに、ビットストリーム６５０がGDRピクチャー６０２で始まることを可能にする。GDRピクチャー６０２のVCL NALユニット６３０をGDR_NUTとして指定することは、たとえば、CVS６０８内の初期VCL NALユニット６３０がGDRピクチャー６０２を含むことをデコーダに示すことができる。実施形態では、GDRピクチャー６０２は、CVS６０８内の初期ピクチャーである。実施形態では、GDRピクチャー６０２は、GDR周期内の初期ピクチャーである。

図７は、GDRをサポートするためにエンコーダ制約を用いるときの、望ましくない動き検索７００を示す概略図である。図示のように、動き検索７００は、現在ピクチャー７０２および参照ピクチャー７０４を示す。現在ピクチャー７０２および参照ピクチャー７０４は、それぞれ、イントラ予測で符号化されたリフレッシュ領域７０６、インター予測で符号化されたリフレッシュ領域７０８、および未リフレッシュ領域７１０を含む。リフレッシュ領域７０６、リフレッシュ領域７０８、および未リフレッシュ領域７１０は、図６のリフレッシュ/クリーン領域６１０の第１部分６１０A、リフレッシュ/クリーン領域６１０の第２部分６１０B、および未リフレッシュ/ダーティ領域６１２と同様である。

動き検索７００の処理の間、エンコーダは、リフレッシュ領域７０６の外側に位置する参照ブロック７１４のサンプルの一部を生じる、任意の動きベクトル７１２を選択するように制約されるか、または阻止される。これは、参照ブロック７１４が、現在ピクチャー７０２内の現在ブロック７１６を予測する際に、最良のレート歪みコスト基準を提供する場合であっても生じる。このように、図７は、GDRをサポートするためにエンコーダ制限を使用する場合に、動き検索７００が最適でない理由を示す。

図８は、ビデオビットストリーム８００の実施形態を示す。本願明細書で使用する場合、ビデオビットストリーム８００は、符号化されたビデオビットストリーム、ビットストリーム、またはそれらの変形を表すこともできる。図８に示すように、ビットストリーム８００は、少なくとも１つピクチャーユニット（picture unit （PU））を含む。３つのPU８０１が図８に示されているが、実際の適用では、異なる数のPU８０１がビットストリーム８００内に存在してもよい。各PU８０１は、指定された分類ルールに従い互いに関連付けられた、復号順で連続する、正確に１つの符号化されたピクチャー（たとえば、ピクチャー８１４）を含むNALユニットのセットである。

実施形態では、各PU８０１は、復号能力情報（decoding capability information （DCI））８０２、ビデオパラメータセット（video parameter set （VPS））８０４、シーケンスパラメータセット（sequence parameter set （SPS））８０６、ピクチャーパラメータセット（picture parameter set （PPS））８０８、ピクチャーヘッダー（picture header （PH））８１２、およびピクチャー８１４、のうちの１つ以上を含む。DCI８０２、VPS８０４、SPS８０６、およびPPS８０８のそれぞれは、総称して、パラメータセットと呼ばれてよい。実施形態では、図８に示されていない他のパラメータセット、たとえば、適応パラメータセット（adaption parameter set （APS））がビットストリーム８００に含まれてもよく、これは、スライスヘッダーに見られる０個以上のシンタックス要素によって決定される０個以上のスライスに適用されるシンタックス要素を含むシンタックス構造である。

DCI８０２は、復号パラメータセット（decoding parameter set （DPS））またはデコーダパラメータセットとも呼ばれてよく、ビットストリーム全体に適用されるシンタックス要素を含むシンタックス構造である。DCI８０２は、ビデオビットストリーム（たとえば、ビットストリーム８００）の寿命に対して一定のままであるパラメータを含み、これは、セッションの寿命に変換することができる。DCI８０２は、たとえビデオシーケンスのスプライシングがセッション内で起こったとしても、決して超えられないことが保証される最大複雑度の相互運用性ポイントを決定するために、プロファイル、レベル、およびサブプロファイル情報を含むことができる。それは、さらに任意で制約フラグを含み、これは、ビデオビットストリームが、それらのフラグの値によって示されるように、特定の特徴の使用の制約であることを示す。これにより、ビットストリームは、特にデコーダ実装におけるリソース割り当てを可能にする、特定のツールを使用しないものとしてラベル付けされることができる。全てのパラメータセットと同様に、DCI８０２は最初に参照されたときに存在し、ビデオシーケンスの最初のピクチャーによって参照され、ビットストリームの最初のNALユニット間で送信されなければならないことを意味する。複数のDCI８０２がビットストリーム内に存在できるが、その中のシンタックス要素の値は、参照されるときに矛盾しない。

VPS８０４は、拡張レイヤーの参照ピクチャーセット構成のための復号依存性または情報を含む。VPS８０４は、どのタイプのオペレーションポイントが提供されるか、オペレーションポイントのプロファイル、ティア、およびレベル、ならびにセッション交渉およびコンテンツ選択などの基礎として使用され得るビットストリームの他のいくつかの高レベル特性を含む、スケーラブルなシーケンスの全体的な視点またはビューを提供する。

SPS８０６は、ピクチャーのシーケンス（sequence of pictures （SOP））の中の全てのピクチャーに共通であるデータを含む。SPS８０６は、各ピクチャーヘッダーの中で見付かったシンタックス要素により参照されるPPS内で見付かったシンタックス要素の内容により決定されるような、０個以上のCLVS全体に適用するシンタックス要素を含むシンタックス構造。対照的に、PPS８０８は、ピクチャー全体に共通するデータを含む。PPS８０８は、各ピクチャーヘッダー（たとえば、PH８１２）の中で見付かったシンタックス要素により決定されるような、０個以上の符号化されたピクチャー全体に適用するシンタックス要素を含むシンタックス構造である。

DCI８０２、VPS８０４、SPS８０６、およびPPS８０８は、異なるタイプのネットワーク抽象化レイヤー（Network Abstraction Layer （NAL））ユニットに含まれる。NALユニットは、従うべきデータのタイプ（たとえば、符号化されたビデオデータ）の指示を含むシンタックス構造である。NALユニットは、ビデオコーディングレイヤー（video coding layer （VCL））と非VCL NALユニットに分類される。VCL NALユニットは、ビデオピクチャー内のサンプルの値を表すデータを含み、非VCL NALユニットは、パラメータセット（多数のVCL NALユニットに適用できる重要なデータ）および補足拡張情報（タイミング情報およびビデオピクチャー内のサンプルの値を復号するためには必要ではないが、復号ビデオ信号の有用性を高める可能性があるその他の補足データ）のような、任意の関連する追加情報を含む。

実施形態では、DCI８０２は、DCI NALユニットまたはDPS NALユニットとして指定された非VCL NALユニットに含まれる。つまり、DCI NALユニットはDCI NALユニットタイプ（NAL unit type （NUT））を有し、DPS NALユニットはDPS NUTを有する。実施形態では、VPS８０４は、DPS NALユニットとして指定された非VCL NALユニットに含まれる。したがって、VPS NALユニットはVPS NUTを有する。実施形態では、SPS８０６は、SPS NALユニットとして指定された非VCL NALユニットである。したがって、SPS NALユニットはSPS NUTを有する。実施形態では、PPS８０８は、PPS NALユニットとして指定された非VCL NALユニットに含まれる。したがって、PPS NALユニットはPPS NUTを有する。

PH８１２は、符号化されたピクチャー（たとえば、ピクチャー８１４）の全てのスライス（たとえば、スライス８１７～８１９）に適用されるシンタックス要素を含むシンタックス構造である。実施形態では、PH８１２は、PH NALユニットとして指定された新しいタイプの非VCL NALユニットである。したがって、PH NALユニットはPH NUT（たとえば、PH_NUT）を有する。実施形態では、各PU８０１には、１つのPH８１２のみが含まれる。すなわち、PU８０１は、単一または孤立したPH８１２を含む。実施形態では、正確に１つのPHNALユニットが、ビットストリーム８００内の各ピクチャー８０１に対して存在する。

実施形態では、PH８１２に関連するPH NALユニットは、時間IDおよびレイヤーIDを有する。時間IDは、ビットストリーム（たとえば、ビットストリーム８０１）中の他のPH NALユニットに対する、PH NALユニットの時間的位置を示す。レイヤーIDは、PH NALユニットを含むレイヤー（たとえば、レイヤー５３１またはレイヤー５３２）を示す。実施形態では、時間IDは、POCに類似しているが、POCとは異なる。POCは、各ピクチャーを順番に一意に識別する。単一レイヤービットストリームでは、時間IDとPOCは同じになる。マルチレイヤービットストリーム（たとえば、図５参照）において、同じAU内のピクチャーは、異なるPOCを有するが、同じ時間IDを有する。

実施形態では、ピクチャー８１４はスライス、つまり第１スライス８１７、第２スライス８１８、および第３スライス８１９にパーティションされる。第１スライス８１７は、第１VCL NALユニット８２１内で運ばれ、第２スライス８１８は、第２VCL NALユニット８２２内で運ばれ、第３スライス８１９は、第３VCL NALユニット内で運ばれる。３つのスライス８１７～８１９、および３つのVCL NALユニット８２１～８２３が図８に示されるが、実際の適用では、ピクチャー８１４は、異なる数のNALユニットの中で運ばれる異なる数のスライスにパーティションされてよい。

実施形態では、PH NALユニットは、関連するピクチャー８１４の第１スライス８１７を含む第１VCL NALユニット８２１より先行する。これは、PH８１２の中でシグナリングされ、スライスヘッダー８２０から参照されるピクチャーヘッダーIDを有する必要なく、PH８１２と、PH８１２に関連するピクチャー８１４のスライス８１７～８１９との間の関連を確立する。従って、２つのPH８１２の間の全てのVCLNALユニットは、同じピクチャー８１４に属すること、およびピクチャー８１４は、２つのPH８１２の間の同じPU８０１内の第１PH８１２に関連することが、推定できる。実施形態では、PH８１２に続く第１VCL NALユニット８２１は、PUに含まれる、PH８１２に関連するピクチャー８１４の第１スライス８１７（たとえば、ピクチャーの左上角からのスライス）を含む。

実施形態では、PH NALユニットは、ピクチャーレベルパラメータセット（たとえば、PPS）、またはより高いレベルのパラメータセット、たとえば、DCI（別名、DPS）、VPS、SPS、PPSなど）に従い、それぞれ、PH NALユニットの時間IDおよびレイヤーIDよりも両方とも小さい時間IDおよびレイヤーIDを有する。その結果、それらのパラメータセットは、ピクチャーまたはアクセスユニット内で繰り返されない。この順序により、PH８１２は直ちに解決することができる。つまり、ピクチャー全体に関連するパラメータを含むパラメータセットは、ビットストリーム内で、PH NALユニットの前に配置される。ピクチャーの一部のパラメータを含むものは、PH NALユニットの後に配置される。

１つの代替として、PH NALユニットは、ピクチャーレベルパラメータセットおよびプレフィックス補足拡張情報（supplemental enhancement information （SEI））メッセージ、またはDCI（別名、DPS）、VPS、SPS、PPS、APS、SEIメッセージなどのより高いレベルのパラメータセットに従う。

実施形態では、PH８１２は、PH８１２に関連付けられたピクチャー８１４のピクチャータイプを指定するシンタックス要素（たとえば、フラグなど）を含んでいてもよい。ピクチャータイプは、以下のタイプを含むことができるが、これらに限定されない：瞬時デコーダリフレッシュ（instantaneous decoder refresh （IDR））ピクチャー、クリーンランダムアクセス（clean random access（ CRA））ピクチャー、GDRピクチャー、非GDRピクチャーであり、イントラ予測スライス（Iスライス）のみを含む非IRAPピクチャー、非GDRピクチャーであり、単一方向インター予測スライス（Pスライス）のみを含む非IRAPピクチャー、および非GDRピクチャーであり、双方向インター予測スライス（Bスライス）、Pスライス、およびIスライスのみを含む非IRAPピクチャー。従って、PH８１２内の単一フラグは、ピクチャー（たとえば、ピクチャー８１４）内の全てのスライス（たとえば、スライス８１７～８１９）が、たとえば、GDRピクチャー（たとえば、GDRピクチャー６０２）のスライスであるか否かを示すことができる。これはまた、全てのスライスヘッダー（たとえば、スライスヘッダー８２０）の代わりに、PH８１２内で一度、GDRピクチャーに対する復元ポイントピクチャーオーダカウント（picture order count （POC））のシグナリングをサポートする。

実施形態では、１つ以上のシンタックス要素は、PH８１２に関連付けられたピクチャー８１４のスライスヘッダー８２０の代わりに、PH８１２内でシグナリングされる。それらのシンタックス要素は、ピクチャー８１４によって参照されるPPS ID、ピクチャー８１４が参照ピクチャーであるか否かを指定するフラグ、ピクチャー８１４のカラープレーン、ピクチャー８１４のPOC最下位ビット（least significant bit （LSB））、ピクチャー８１４がGDRピクチャー（たとえば、GDRピクチャー６０２）である場合の復元ポイントPOC、ピクチャー８１４の前のピクチャーが出力されるか否かを指定するフラグ、およびピクチャーが出力ピクチャーであるか否かを指定するフラグである。PPS IDは、ピクチャー８１４の特定のPPSを識別する識別子である。ピクチャー８１４のカラー平面は、ピクチャー８１４のルマ成分およびクロマ成分（たとえば、Y、Cb、およびCrなど）を含む。POC LSBは、POCを識別するビット（または複数のビット）である。POCは、各ピクチャー（たとえば、ピクチャー８１４）に関連付けられ、CLVS内の全てのピクチャーの中で関連付けられたピクチャーを一意に識別し、関連付けられたピクチャーがDPBから出力される場合、DPBから出力されるべき同じCLVS内の他のピクチャーの出力順序位置に対する出力順序で、関連付けられたピクチャーの位置を示す。復元ポイントPOCは、復元ポイントを識別し、結果として復元ポイントピクチャーを識別するPOCである。

これらのシンタックス要素をスライスヘッダー８２０からPH８１２に移動させることにより、各スライスヘッダー８２０内のシンタックス要素を繰り返す代わりに、シンタックス要素をピクチャー８１４全体について一度だけシグナリングすることが可能になる。これは冗長性を減らし、コーディング効率を増大させる。

ピクチャー８１４は、モノクロフォーマットのルマサンプルのアレイ、またはルマサンプルのアレイ、および４:２:０、４:２:２、および４:４:４カラーフォーマットのクロマサンプルの２つの対応するアレイである。実施形態では、各PU８０１には、１つの、および１つのみのピクチャー８１４が含まれる。従って、各PU８０１内には、PH８１２が１つのみ、およびそのPH８１２に対応する１つのみのピクチャー８１４が存在する。すなわち、PU８０１は、単一または孤立したピクチャー８１４を含む。

ピクチャー８１４は、フレームまたはフィールドであってよい。しかしながら、１つのCVS８１６では、全てのピクチャー８１４がフレームであるか、または全てのピクチャー８１４がフィールドである。CVS８１６は、ビデオビットストリーム８００内の各符号化されたレイヤービデオシーケンス（coded layer video sequence （CLVS））のための符号化されたビデオシーケンスである。注目すべきことに、ビデオビットストリーム８００が単一レイヤーを含む場合、CVS８１６とCLVSは同じである。（たとえば、図５に示されるように）ビデオビットストリーム８００が複数のレイヤーを含む場合にのみ、CVS８１６とCLVSは異なる。

PU８０１は、集合的にCLVSを含むことができる。CLVSは、復号順で符号化されたレイヤービデオシーケンス開始（coded layer video sequence start （CLVSS））PUで構成される同じ値のnuh_layer_idを有するPU８０１のシーケンスであり、その後に、CLVSS PUである後続のPU８０１までの全ての後続のPU８０１を含むが、CLVSS PUを含まない０個以上のPU８０１が続く。CLVSS PUは、符号化されたピクチャー（たとえば、ピクチャー８１４）がCLVSSピクチャーであるPU８０１である。CLVSSピクチャーは、NoOutputBeforeRecoveryFlagが１に等しいIRAPピクチャー、またはNoOutputBeforeRecoveryFlagが１に等しいGDRピクチャー（たとえば、GDRピクチャー６０２）である符号化されたピクチャーである。

各ピクチャー８１４は、１つ以上のスライス８１７～８１９を含む。スライス８１７～８１９は、ピクチャー（たとえば、ピクチャー８１４）のタイル内の整数個の完全タイルまたは整数個の連続する完全CTU行である。各スライス８１７～８１９は、単一のNALユニット（たとえば、VCL NALユニット）に排他的に含まれる。実際に、スライス８１７はVCL NALユニット８２１に含まれ、スライス８１８はVCL NALユニット８２２に含まれ、スライス８１９はVCL NALユニット８２３に含まれる。タイル（図示しない）は、ピクチャー（たとえば、ピクチャー８１４）内の特定のタイル列および特定のタイル行の中で長方形領域のCTUである。タイルは、水平および垂直境界により生成されるピクチャーのパーティションされた部分である。タイルは、長方形および／または正方形であってよい。具体的には、タイルは、直角に接続された４つの辺を含む。４つの辺は、平行な２対の辺を含む。さらに、平行な辺の対の中の辺は、等しい長さである。このように、タイルは、任意の長方形の形状であってもよく、正方形は、四辺の全てが等しい長さである長方形の特殊なケースである。画像／ピクチャーは、１つ以上のタイルを含むことができる。CTU（図示しない）は、ルマサンプルのCTB、３つのサンプルアレイを有するピクチャーのクロマサンプルの２個の対応するCTB、または単色ピクチャーまたは３つの別個の色平面およびサンプルをコーディングするために使用されるシンタックス構造を用いてコーディングされるピクチャーのサンプルのCTBである。CTB（図示しない）は、何らかの値のＮについてサンプルのＮ×Ｎブロックであってよい。その結果、ＣＴＢへの成分の分割はパーティションである。ブロック（図示しない）は、サンプル（たとえば、ピクセル）のM×N（M列×N行）アレイ、または変換係数のM×Nアレイである。

実施形態では、各スライス８１７～８１９はスライスヘッダー８２０を含む。スライスヘッダー８２０は、スライス８１７～８１９内で表現されるタイルの中の全部のタイルまたはCTU行に関連するデータ要素を含む符号化されたスライス８１７～８１９の一部である。つまり、スライスヘッダー８２０は、たとえば、スライスタイプ、どのリファレンスピクチャーが使用されるかなど、スライス８１７～８１９に関する情報を含む。PH IDは、スライスに対応するスライスヘッダーにより参照される。

ピクチャー８１４、およびそれらのスライス８１７～８１９は、符号化または復号される画像またはビデオに関連するデータを含む。従って、ピクチャー８１４、およびそれらのスライス８１７～８１９は、単に、ビットストリーム８００内で運ばれるペイロードまたはデータと呼ばれてもよい。

当業者は、ビットストリーム８００が、実際の用途における他のパラメータおよび情報を含んでいてもよいことを理解するであろう。

図９は、ビデオデコーダ（たとえば、ビデオデコーダ４００）によって実装される復号方法９００の実施形態である。方法９００は、ビットストリームがビデオエンコーダ（たとえば、ビデオエンコーダ３００）から直接的または間接的に受信された後に実行されてもよい。方法９００は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証することにより、復号効率を向上する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

ブロック９０２で、ビデオデコーダは、PU（たとえば、PU８０１）を含むビデオビットストリーム（たとえば、ビデオビットストリーム８００）を受信する。PUは、第１VCL NALユニット（たとえば、VCL NALユニット８２１）より先行するPH NALユニットを含む。つまり、PH NALユニットは、経時的にまたは時間的に、PU内の第１VCL NALユニットの前にまたは先に位置付けられまたは配置される。実施形態では、PU内のPH NALユニットは、第１VCL NALユニット（VCL NALユニット８２１）を含むPU内の各VCL NALユニット（たとえば、VCL NALユニット８２１～８２３）より先行する。本願明細書で使用されるとき、第１VCL NALユニットは、PU内の第１または最初のVCL NALユニットを意味する。従って、PU内のスライス（たとえば、スライス８１７～８１９）の全部は、VCL NALユニットに含まれ、従ってPHの後に続く。

実施形態では、PUは１つのみのPH（たとえば、PH８１２）を含む。実施形態では、符号化されたピクチャー（たとえば、ピクチャー８１４）は、PU内の１つのみのピクチャーである。実施形態では、NALユニットはPH（たとえば、PH８１２）を含む。実施形態では、第１VCL NALユニットは、符号化されたピクチャーのスライスを含む。

実施形態では、PH NALユニットは非VCL NALユニットである。実施形態では、PH NALユニットは１つのみのPHを含む。実施形態では、PH NALユニット内の１つのみのPHは、符号化されたピクチャーの全部のスライスに適用されるシンタックス要素を含む。実施形態では、PH NALユニットはPH NALユニットタイプ（PH_NUT）を有する。

ブロック９０４では、ビデオデコーダは、復号ピクチャーを得るために、PUから符号化されたピクチャーを復号する。実施形態では、PUの復号は、DCI８０２、VPS８０４、SPS８０６、PPS８０８、PH８１２、およびスライスヘッダー８２０のうちの１つ以上の中の情報または命令に従って、ピクチャー８１４のさまざまなスライス８１８を復号することを含む。いったん復号されると、ピクチャー８１４は、電子装置（たとえば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレーまたはスクリーン上のユーザーに表示するための画像またはビデオシーケンスを生じるまたは生成するために使用されてよい。

図１０は、ビデオエンコーダ（たとえば、ビデオエンコーダ３００）によって実装されるビデオビットストリームを符号化する方法１０００の実施形態である。方法１０００は、（たとえば、ビデオからの）ピクチャーがビデオビットストリームに符号化され、ビデオデコーダ（たとえば、ビデオデコーダ４００）に向けて送信されるときに実行されてもよい。方法１０００は、ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットが、ピクチャーユニット（PU）内の第１ビデオコーディングレイヤー（VCL）NALユニットより先行することを保証し、符号化効率を向上する。これは、PH NALユニット内のピクチャーヘッダー（PH）と、PHに関連するピクチャーのスライスとの間の関連付けを確立し、PH内のPH識別子（ID）をシグナリングする必要がない。PH IDをシグナリングしないことにより、ピクチャー毎に１つ以上のビットがビットストリームから除去され、これは、長いビデオシーケンスに渡り合計される。これらのビットを除去することにより、コーディング効率が向上する。更に、エンコーダ／デコーダは、２つのピクチャーヘッダーの間の全部のVCL NALユニットが同じピクチャーに属すること、ピクチャーが２つのPHの間の第１PHに関連付けられること、および、PHに続く第１VCL NALユニットがピクチャーヘッダーに関連付けられたピクチャーの第１スライスを含むことを容易に推定できる。従って、ビデオコーディングにおけるコーダ／デコーダ（別名：「コーデック」）は、現在のコーデックに対して改良される。現実問題として、改良されたビデオコーディング処理は、ビデオが送信され、受信され、および／または閲覧されるとき、ユーザーに良好なユーザー経験を提供する。

ブロック１００２で、ビデオエンコーダは、PU（たとえば、PU８０１）を生成する。PUは、PUの第１VCL NALユニットより先行するPH NALユニットを含む。つまり、PH NALユニットは、経時的にまたは時間的に、PU内の第１VCL NALユニット（たとえば、VCL NALユニット８２１）の前にまたは先に位置付けられまたは配置される。実施形態では、PU内のPH NALユニットは、第１VCL NALユニット（たとえば、VCL NALユニット８２１）を含む各VCL NALユニット（たとえば、VCL NALユニット８２１～８２３）より先行する。本願明細書で使用されるとき、第１VCL NALユニットは、PU内の第１または最初のVCL NALユニットを意味する。従って、PU内のスライス（たとえば、スライス８１７～８１９）の全部は、VCL NALユニットに含まれ、従って、PHの後に続く。

実施形態では、 NALユニットはPH NALユニットである。実施形態では、 NALユニットは非VCL NALユニットである。実施形態では、NALユニットはPH（たとえば、PH８１２）を含む。

実施形態では、PUは１つのみのPH、および符号化されたピクチャー（たとえば、ピクチャー８１４）を含む。実施形態では、符号化されたピクチャーは、PU内の１つのみのピクチャーである。実施形態では、PH内のPH NALユニットは、第１VCL NALユニットを含むPU内の各VCL NALユニットより先行する。実施形態では、第１VCL NALユニットは、符号化されたピクチャーのスライス（たとえば、スライス８１８）を含む。実施形態では、PH NALユニットはPH NALユニットタイプ（PH_NUT）を有する。

ブロック１００４において、ビデオエンコーダは、PUをビデオビットストリーム（たとえば、ビットストリーム８００）に符号化する。ブロック１００６では、ビデオエンコーダは、ビデオデコーダに向けて通信するためにビデオビットストリームを格納する。ビデオビットストリームは、ビデオビットストリームがビデオデコーダに向かって送信されるまで、メモリに記憶されてもよい。ビデオデコーダによりいったん受信されると、符号化ビデオビットストリームは、（たとえば上述のように）電子装置（たとえば、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータなど）のディスプレーまたはスクリーン上のユーザーに表示するための画像またはビデオシーケンスを生じるまたは生成するために復号されてよい。

以下のシンタックスおよびセマンティクスは、本願明細書に開示される実施形態を実装するために使用されてもよい。以下の説明は、最新のVVCドラフト仕様である基本テキストと比較したものである。言い換えると、デルタのみが説明され、一方で、以下で言及されない基本テキストの中のテキストは、それらが記載されたように適用される。基本テキストに対して追加されたテキストは太字または下線で、削除されたテキストは斜体で表示される。

ピクチャーヘッダーRBSPシンタックス

スライスヘッダーRBSPシンタックス

ピクチャーヘッダーRBSPセマンティクス

ピクチャーヘッダーは、復号順で次のVCL NALユニットが最初の符号化されたスライスである符号化されたピクチャーの全部のスライスについて共通である情報を含む。

pic_typeは、pic_typeの与えられた値に対する表７-３にリストされている符号化されたピクチャーの特徴付けを示す。pic_typeの値は、この仕様のこのバージョンに準拠するビットストリームでは、両端を含む０～５に等しく設定されるべきである。他の値のpic_typeは、ITU－T/ISO/IECによる将来の使用のために予約されている。この仕様のこのバージョンに準拠するデコーダは、pic_typeの予約された値を無視するべきである。
表７－３ pic_typeの解釈

pic_parameter_set_idは、使用中のPPSのpps_pic_parameter_set_idの値を指定する。pic_parameter_set_idの値は、両端を含む０～６３の範囲であるべきである。

non_reference_picture_flagが１に等しいことは、ピクチャーヘッダーに関連付けられたピクチャーが参照ピクチャーとして使用されないことを指定する。non_reference_picture_flagが０に等しいことは、ピクチャーが参照ピクチャーとして使用される、または使用されないことを指定する。

color_plane_idは、separate_color_plane_flagが１に等しいときに、ピクチャーヘッダーに関連付けられたピクチャーに関連付けられた色平面を指定する。colour_plane_idの値は、両端を含む０～２の範囲であるべきである。color_plane_id値０、１、２は、それぞれY、Cb、Cr平面に対応する。

注：color_plane_idの値が異なるピクチャーの復号処理の間には依存関係はない。

pic_order_cnt_lsbは、ピクチャーヘッダーに関連付けられたピクチャーについて、MaxPicOrderCntLsbを法とするピクチャーオーダカウントを指定する。pic_order_cnt_lsbシンタックス要素の長さは、log２_max_pic_order_cnt_lsb_minus４+４ビットである。pic_order_cnt_lsbの値は、両端を含む、０からMaxPicOrderCntLsb-１までの範囲であるべきである。

recovery_poc_cntは、復号ピクチャーの復元ポイントを出力順序で指定する。CVSで現在のGDRピクチャーに続き、現在のGDRピクチャーのPicOrderCntValにrecover_poc_cntの値を加えたものに等しいPicOrderCntValを有するピクチャーpicAがある場合、ピクチャーpicAは復元ポイントピクチャーと呼ばれる。その他の場合、現在ピクチャーのPicOrderCntValにrecover_poc_cntの値を加えたよりも大きいPicOrderCntValを有する出力順序で最初のピクチャーが、復元ポイントピクチャーと呼ばれる。復元ポイントピクチャーは、復号順で現在のGDRピクチャーに先行するべきではない。recovery_poc_cntの値は、両端を含む、０からMaxPicOrderCntLsb－１までの範囲であるべきである。

変数RpPicOrderCntValは、以下のように導出される：

RpPicOrderCntVal=PicOrderCntVal+recovery_poc_cnt （７-９４）

no_output_of_prior_pics_flagは、Annex Cで指定されたビットストリームの最初のピクチャーではないCLVSSピクチャーの復号後の復号ピクチャーバッファ内の以前に復号されたピクチャーの出力に影響を与える。

pic_output_flagは、Annex Cに規定されているように、復号ピクチャー出力および削除処理に影響を与える。pic_output_flagが存在しない場合、それは、１に等しいと推定される。

pic_temporal_mvp_enabled_flagは、時間動きベクトル予測子をインター予測に使用できるかどうかを指定する。pic_temporal_mvp_enabled_flagが０に等しい場合、ピクチャーヘッダーに関連するピクチャーのシンタックス要素は、ピクチャーの復号に時間動きベクトル予測子が使用されないように制約されるべきである。その他の場合（pic_temporal_mvp_enabled_flagga１に等しい）、時間動きベクトル予測子がピクチャーの復号に使用されてよい。

pic_temporal_mvp_enabled_flagが存在しない場合、以下が適用される：

－sps_temporal_mvp_enabled_flagが０に等しい場合、pic_temporal_mvp_enabled_flagの値は０に等しいと推定される。

－その他の場合（sps_temporal_mvp_enabled_flagが１に等しい）、pic_temporal_mvp_enabled_flagの値は、pps_temporal_mvp_enabled_idc－１に等しいと推定される。

NALユニットヘッダーセマンティクス。

nuh_layer_idは、VCL NALユニットが属するレイヤーの識別子、または非VCL NALユニットが適用されるレイヤーの識別子を指定する。

nuh_layer_idの値は、符号化されたピクチャーの全てのVCL NALユニットに対して同じであるべきである。符号化されたピクチャーまたはレイヤーアクセスユニットのnah_layer_idの値は、符号化されたピクチャーまたはレイヤーアクセスユニットのVCL NALユニットのnah_layer_idの値である。

nal_unit_typeがPH_NUTと等しい場合、nuh_layer_idの値は、ピクチャーヘッダーNALユニットを含むレイヤーアクセスユニットのVCL NALユニットのnuh_layer_idの値に等しいべきである。
表７-１ NALユニットタイプコード、およびNALユニットタイプクラス

nuh_temporal_id_plus１-１は、NALユニットの時間識別子を指定する。

nuh_temporal_id_plus１の値は０に等しくてはならない。

変数TemporalIdは、以下のように導出される：

TemporalId=nuh_temporal_id_plus１－１（７-１）

nal_unit_typeが、両端を含むIDR_W_RADLからRSV_IRAP_VCL１３までの範囲である場合、TemporalIdは０に等しいべきである。

nal_unit_typeがSTSA_NUTに等しいとき、TemporalIdは０に等しいべきではない。

TemporalIdの値は、レイヤーアクセスユニットの全てのVCL NALユニットに対して同じであるべきである。符号化されたピクチャーまたはレイヤーアクセスユニットのTemporalIdの値は、符号化されたピクチャーまたはレイヤーアクセスユニットのVCL NALユニットのTemporalIdの値である。[Ed.（YK）:AU内の全てのレイヤーAUが同じ値のTemporarilIdを有することが要求されるべくいかどうかをチェックする。]サブレイヤー表現のTemporarilIdの値は、サブレイヤー表現の全てのVCL NALユニットのTemporarilIdの最大値である。

非VCL NALユニットのTemporalIdの値は次のように制約される：

－nal_unit_typeがDPS_NUT、VPS_NUT、またはSPS_NUTと等しい場合、TemporalIdは０に等しく、NALユニットを含むレイヤーアクセスユニットのTemporalIdは０に等しいべきである。

－その他の場合、nal_unit_typeがPH_NUTに等しい場合、TemporalIdは、NALユニットを含むレイヤーアクセスユニットのTemporalIdに等しいべきである。

－その他の場合、nal_unit_typeがEOS_NUTに等しくなく、EOB_NUTに等しくない場合、TemporalIdはNALユニットを含むレイヤーアクセスユニットのTemporalId以上であるべきである。

注５：NALユニットが非VCL NALユニットである場合、TemporalIdの値は、非VCL NALユニットが適用される全てのレイヤーアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTまたはAPS_NUTと等しい場合、TemporalIdは、全てのPPSおよびAPSがビットストリームの先頭に含まれてもよく、最初の符号化されたピクチャーはTemporalIdが０であるため、格納レイヤーアクセスユニットのTemporalId以上であってもよい。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しい場合、SEI NALユニットは、SEI NALユニットを含むレイヤーアクセスユニットのTemporalIdよりもTemporalId値が大きいレイヤーアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るため、TemporalIdは、格納レイヤーアクセスユニットのTemporalId以上であってよい。

NALユニットおよび符号化されたピクチャーの順序、並びにレイヤーアクセスユニットおよびアクセスユニットへのそれらの関連付け。

この節は、Annex Aで規定される１つ以上のプロファイルに適合し、節２から１０で規定される復号処理を使用して復号されるCVSのための、NALユニットと符号化されたピクチャーの順序、並びにレイヤーアクセスユニットとアクセスユニットへのそれらの関連を規定する。

レイヤーアクセスユニットは、１つのピクチャーヘッダーNALユニットと、１つ以上のVCL NALユニットを含む１つの符号化されたピクチャーと、０個以上のVCL NALユニットと、０個以上の非VCL NALユニットと、から構成される。符号化されたピクチャーへのVCL NALユニットの関連付けは、節７.４.２.４.４に記述される。

アクセスユニットは、nuh_layer_idの高い順に、アクセスユニットデリミタNALユニットと１つ以上のレイヤーアクセスユニットから構成される。

ビットストリームの最初のアクセスユニットは、ビットストリームの最初のNALユニットから始まる。

firstPicHeaderNalUnitInAuを、前の符号化されたピクチャーのPicOrderCntValとは異なるPicOrderCntValが導出された最初の符号化されたピクチャーのピクチャーヘッダーであるピクチャーヘッダーNALユニットとする。firstPicHeaderNalUnitInAuに先行し、firstPicHeaderNalUnitInAuに先行する最後のVCL NALユニットに続く以下のNALユニットのうちの最初のものは、もしあれば、新しいアクセスユニットの開始を指定する：

－DPS NALユニット（存在する場合）、

－VPS NALユニット（存在する場合）、

－SPS NALユニット（存在する場合）、

－PPS NALユニット（存在する場合）、

－APS NALユニット（存在する場合）、

－プレフィックスSEI NALユニット（存在する場合）、

－RSV_NVCL_２５～RSV_NVCL_２６の範囲のnal_unit_typeを持つNALユニット（存在する場合）、

－UNSPEC２８～UNSPEC２９の範囲のnal_unit_typeを持つNALユニット。

注：firstPicHeaderNalUnitInAuより先行し、firstPicHeaderNalUnitInAuより先行する最後のVCLNALユニットの後に続く、最初のNALユニットのみが、もしあれば、上記のNALユニットの１つである。

firstPicHeaderNalUnitInAuに先行し、firstPicHeaderNalUnitInAuに先行する最後のVCL NALユニットに続く上述のNALユニットが存在しない場合、もしあれば、firstPicHeaderNalUnitInAuは新しいアクセスユニットを開始する。

レイヤーアクセスユニットまたはアクセスユニット内の符号化されたピクチャーおよび非VCL NALユニットの順序は、以下の制約に従うべきである：

－各レイヤーアクセスユニットは、レイヤーアクセスユニットの最初のVCL NALユニットに先行する、１つのおよび１つのみのピクチャーヘッダーNALユニットを含むべきである。

DPS NALユニット、VPS NALユニット、SPS NALユニット、またはPPS NALユニットがレイヤーアクセスユニット内に存在する場合、それらはレイヤーアクセスユニットのピクチャーヘッダーNALユニットに先行するべきである。

APS NALユニット、プレフィクスSEI NALユニット、RSV_NVCL_２５～RSV_NVCL_２６の範囲にあるnal_unit_typeを有するNALユニット、またはUNSPEC２８～UNSPEC２９の範囲にあるnal_unit_typeを有するNALユニットが、レイヤーアクセスユニットの中に存在するとき、それらは、レイヤーアクセスユニットの最後のVCL NALユニットに続いてはならない。

－レイヤーアクセスユニットの中でSUFFIX_SEI_NUTまたはRSV_NVCL_２７と等しい、またはUNSPEC３０～UNSPEC３１の範囲にあるnal_unit_typeを有するNALユニットは、レイヤーアクセスユニットの最初のVCL NALユニットに先行するべきではない。

－シーケンスNALユニットの終端がアクセスユニット内に存在するとき、それは、（存在するとき）ビットストリームNALユニットの終端以外のアクセスユニット内の全部のNALユニットの中の最後のNALユニットであるべきである。

－ビットストリームNALユニットの終端がアクセスユニット内に存在するとき、それはアクセスユニット内の最後のNALユニットであるべきである。

SliceヘッダーRBSPセマンティクス

（外１）

変数CuQpDeltaValは、cu_qp_delta_absを含むコーディングユニットのルマ量子化パラメータと、その予測との間の差を指定し、０に等しく設定される。変数CuQpOffset_Cb、CuQpOffset_Cr、およびCuQpOffset_CbCrは、cu_chroma_qp_offset_flagを含むコーディングユニットのQp′_Cb、Qp′_Cr、およびQp′_CbCr量子化パラメータのそれぞれの値を決定するときに使用されるべき値を指定し、全部０に等しく設定される。

（外２）

現在ピクチャーのTemporalIdの値が、slice_pic_parameter_set_idに等しいpps_pic_parameter_set_idを持つPPSのTemporalIdの値以上であることはビットストリーム適合性の要件である。

slice_addressはスライスのスライスアドレスを指定する。存在しないとき、slice_addressの値は０に等しいと推定される。

rect_slice_flagが０に等しい場合、以下が適用される：

－スライスアドレスは、式（７-５９）で指定されるブリックIDである。

-slice_addressの長さはCeil（Log２（NumBricksInPic））ビットである。

-slice_addressの値は、両端を含む０～NumBricksInPic-１の範囲であるべきである。

その他の場合（rect_slice_flagが１に等しい）、以下が適用される：

－スライスアドレスは、スライスのスライスIDである。

-slice_addressの長さはsignalled_slice_id_length_minus１+１ビットである。

signalled_slice_id_flagが０に等しい場合、slice_addressの値は、両端を含む０からnum_slices_in_pic_minus１の範囲であるべきである。その他の場合、slice_addressの値は、両端を含む０～２^{（signalled_slice_id_length_minus１+１）}－１の範囲であるべきである。

以下の制約が適用されることは、ビットストリーム適合性の要件である：

－slice_addressの値は、同じ符号化されたピクチャーの任意の他の符号化されたスライスNALユニットのslice_addresの値と等しくてはならない。

－rect_slice_flagが０に等しいとき、ピクチャーのスライスはそれらのslice_address値の昇順になるべきである。

－ピクチャーのスライスの形状は、各ブリックが、復号されたときに、ピクチャー境界からなるか、または以前に復号されたブリックの境界からなる、その左側境界全体および上側境界全体を有するようなものでなければならない。

num_bricks_in_slice_minus１は、存在する場合、スライス内のブリック数から１を引いた値を指定する。num_bricks_in_slice_minus１の値は、両端を含む０からNumBricksInPic-１の範囲であるべきである。rect_slice_flagが０に等しく、single_brick_per_slice_flagが１に等しい場合、num_bricks_in_slice_minus１の値は０に等しいと推定される。single_brick_per_slice_flagが１に等しい場合、num_bricks_in_slice_minus１の値は０に等しいと推定される。

現在スライス内のブリックの数を指定する変数NumBricksInCurrSliceと、現在スライス内のi番目のブリックのブリックインデックスを指定するSliceBrickIdx[i]は、次のように導出される：

変数SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos、およびSubPicBotBoundaryPosは、次のように導出される：

（外３）

slice_typeは、表７-１１に従ってスライスのコーディングタイプを指定する。
表７－１１ slice_typeへの名称の関連

nal_unit_typeが、両端を含むIDR_W_RADLからCRA_NUTの範囲のnal_unit_typeの値であり、現在ピクチャーがアクセスユニットの中の最初のピクチャーである場合、slice_typeは２に等しいべきである。存在しないとき、slice_type値は２に等しいと推定される。

（外４）

（外５）

（外６）

（外７）

（外８）

（外９）

（外１０）

（外１１）

（外１２）

（外１３）

（外１４）

（外１５）

（外１６）

ピクチャーオーダカウントの復号処理。

この処理の出力は、現在ピクチャーのピクチャーオーダカウントであるPicOrderCntValである。

各符号化されたピクチャーは、PicOrderCntValとして示されるピクチャーオーダカウント変数に関連付けられる。

現在ピクチャーがCLVSSピクチャーでない場合、変数prevPicOrderCntLsbとprevPicOrderCntMsbは次のように導出される：

－prevTid０Picを、現在ピクチャーのnuh_layer_idに等しいnuh_layer_idと、０に等しいTemporalIdとを有し、RASLまたはRADLピクチャーではない、復号順で前のピクチャーであるとする。

－変数prevPicOrderCntLsbは、prevTid０Picのpic_order_cnt_lsbに等しく設定される。

－変数prevPicOrderCntMsbは、prevTid０PicのPicOrderCntMsbに等しく設定される。

現在ピクチャーの変数PicOrderCntMsbは、以下のように導出される：

－現在ピクチャーがCLVSSピクチャーである場合、PicOrderCntMsbは０に等しく設定される。

－その他の場合、PicOrderCntMsbは次のように導出される：

PicOrderCntValは次のように導出される：

注１：CLVSSピクチャーについて、PicOrderCntMsbが０に等しく設定されているため、全てのCLVSSピクチャーは、pic_order_cnt_lsbに等しいPicOrderCntValを有する。

PicOrderCntValの値は、両端を含む-２^３１～２^３１－１の範囲であるべきである。

１つのCVSでは、同じ値のnuh_layer_idを有する任意の２つの符号化されたピクチャーのPicOrderCntVal値は、同じであるべきではない。

任意の特定のアクセスユニットの中の全部のピクチャーは、同じ値のPicOrderCntValを有する。

関数PicOrderCnt（picX）は以下のように指定される：

関数DiffPicOrderCnt（picA,picB）は以下のように指定される：

ビットストリームは、結果として、両端を含む－２^１５から２^１５－１の範囲でない復号処理で使用されるDiffPicOrderCnt（picA,picB）の値になるデータを含むべきではない。

注２：Xを現在ピクチャーとし、YとZを同じCVS内の他の２つのピクチャーとすると、DiffPicOrderCnt（X,Y）とDiffPicOrderCnt（X,Z）がともに正またはともに負の場合、YとZはXからの方向の出力順序が同じであると見なされる。

利用不可能な参照ピクチャーを生成する一般的な復号処理。

現在ピクチャーがNoIncorrectPicOutputFlagが１のCRAピクチャー、またはNoIncorrectPicOutputFlagが１のGDRピクチャーである場合、この処理は、符号化されたピクチャーごとに１回呼び出される。

この処理が呼び出されると、以下が適用される：

－それぞれについて、RefPicList[i][j]、iは両端を含む０から１の範囲であり、jは両端を含む０からnum_ref_entries[i][RplsIdx[i]]-１の範囲であり、「参照画像なし」に等しく、ピクチャーは、第８.３.４.２項で規定されるように生成され、以下が適用される。

－生成されたピクチャーのnuh_layer_idの値は、現在ピクチャーのnuh_layer_idに等しく設定される。

st_ref_pic_flag[i][RplsIdx[i]][j]が１に等しい場合、生成されたピクチャーのPicOrderCntValの値はRefPicPocList[i][j]に等しく設定され、生成されたピクチャーは「短期参照のために使用される」とマークされる。

－その他の場合（st_ref_pic_pic_flag[i][RplsIdx[][j]が０に等しい）、生成された画像のPicOrderCntValの値がRefPicLtPocList[i][j]に等しく設定され、生成された画像のpic_order_cnt_lsbの値が（RefPicLtPocList[i][j]&（MaxPicOrderCntLsb－１））に等しいと推定され、生成されたピクチャーは「長期参照に使用される」とマークされる。

－生成された参照ピクチャーのPicOutputFlagの値は、０に等しく設定される。

－RefPicList[i][j]は、生成された参照ピクチャーに設定される。

時間ルマ動きベクトル予測のための導出処理。

変数mvLXColおよびavailableFlagLXColは、以下のように導出される：

－pic_temporal_mvp_enabled_flagが０に等しいか、または（cbWidth*cbHeight）が３２以下である場合、mvLXColの両コンポーネントは０に等しく設定され、avalableFlagLXColは０に等しく設定される。

-その他の場合（pic_temporal_mvp_enabled_flagが１に等しい）、以下の順序付きステップが適用される。

１．
右下の同一位置動きベクトル、および下と右の境界サンプル位置は、次のように導出される：

－yCb>>CtbLog２SizeYがyColBr>>CtbLog２SizeYに等しく、yColBrがbotBoundaryPos以下であり、xColBrがrightBoundaryPos以下である場合、以下が適用される：

－変数colCbは、ColPicにより指定された同一位置ピクチャーの内部にある（（xColBr>>３）<<３,（yColBr>>３）<<３）で与えられる変更された位置をカバーするルマコーディングブロックを指定する。

－ルマ位置（xColCb,yColCb）は、ColPicで指定された同一位置ピクチャーの左上のルマサンプルに対する、colCbで指定された同一位置ルマコーディングブロックの左上のサンプルに等しく設定される。

－８.５.２.１２節で指定されている同一位置動きベクトルの導出処理は、currentCb、colCb、（（xColCb、yColCb）、refIdxLX、sbFlagを入力として０に設定して呼び出され、出力はmvLXColとavailableFlagLXColに割り当てられる。

－その他の場合、mvLXColの両方のコンポーネントは０に等しく設定され、avalableFlagLXColは０に等しく設定される。

２．
availableFlagLXColが０に等しい場合、中央の同一位置動きベクトルは、以下のように導出される：

－変数colCbは、ColPicにより指定された同一位置ピクチャーの内部にある（（xColCtr>>３）<<３,（yColCtr>>３）<<３）で与えられる変更された位置をカバーするルマコーディングブロックを指定する。

サブブロックベースの時間マージ候補の導出処理。

利用可能性フラグavailableFlagSbColは以下のように導出される：

－以下の条件のうちの１つ以上が真である場合、availableFlagSbColは０に等しく設定される。

－pic_temporal_mvp_enabled_flagiが０に等しい。

－ps_sbtmvp_enabled_flagが０に等しい。

－cbWidthが８未満である。

－cbHeightが８未満である。

－その他の場合、以下の順序付きステップが適用される。

１．
現在コーディングブロックを含むルマコーディングツリーブロックの左上のサンプルの位置（xCtb,yCtb）と、現在ルマコーディングブロックの右下の中央のサンプルの位置（xCtr,yCtr）は、次のように導出される：

２．
ルマ位置（xColCtrCb,yColCtrCb）は、ColPicで指定された同一位置ピクチャーの左上のルマサンプルに対する、ColPic内の（xCtr,yCtr）で与えられる位置をカバーする同一位置ルマコーディングブロックの左上のサンプルに等しく設定される。

３．
８.５.５.４項に規定されているサブブロックベースの時間マージベースの動きデータの導出処理は、位置（xCtb,yCtb）、位置（xColCtrCb,yColCtrCb）、利用可能性フラグavailableFlagA_１、予測リスト利用フラグpredFlagLXA_１、参照refIdxLXA_１、および動きベクトルmvLXA_１を入力として、Xは０および１であり、並びに、同一位置ブロックの予測リスト利用フラグctrPredFlagLX、Xは０および１であり、時間動きベクトルtempMvを出力として、呼び出される。

４．
変数availableFlagSbColは、以下のように導出される：

－ctrPredFlagL０およびctrPredFlagL１の両方が０に等しい場合、availableFlagSbColは０に等しく設定される。

－その他の場合、availableFlagSbColは１に等しく設定される。

構成されたアフィン制御点動きベクトルマージ候補の導出処理。

第４（同一位置の右下）制御点動きベクトルcpMvLXCorner[３]、参照インデックスrefIdxLXCorner[３]、予測リスト利用フラグpredFlagLXCorner[３]、および利用可能性フラグavailableFlagCorner[３]、Xは０および１、は、以下のように導出される。

－時間マージ候補refIdxLXCorner[３]の参照インデックスは、０に等しく設定され、Xは０または１である。

-変数mvLXColおよびavailableFlagLXColは、以下のように導出され、Xは０または１である：

－pic_temporal_mvp_enabled_flagが０に等しく設定される場合、mvLXColの両方のコンポーネントは０に等しく設定され、avalableFlagLXColは０に等しく設定される。

その他の場合（pic_temporal_mvp_enabled_flagが１に等しい）、以下が適用される：

－yCb>>CtbLog２SizeYがyColBr>>CtbLog２SizeYに等しく、yColBrがpic_height_in_luma_samples未満であり、xColBrがpic_width_in_luma_samples未満である場合、以下が適用される：

－８.５.２.１２節で指定されている同一位置動きベクトルの導出処理は、currCb、colCb、（xColCb,yColCb）、refIdxLXCorner[３]、および０に等しく設定されるsbFlagを入力として呼び出され、出力はmvLXColとavailableFlagLXColに割り当てられる。

変数avalableFlagCorner[３]、predFlagL０Corner[３]、cpMvL０Corner[３]およびpredFlagL１Corner[３]は以下のように導出される。

slice_typeがBと等しい場合、変数avalableFlagCorner[３]、predFlagL１Corner[３]、cpMvL１Corner[３]は次のように導出される。

図１１は、本開示の実施形態による、ビデオコーディング装置１１００（たとえば、ビデオエンコーダ３００またはビデオデコーダ４００）の概略図である。ビデオコーディング装置１１００は、ここに説明したような開示の実施形態を実施するのに適する。ビデオ符号化装置１１００は、データを受信するためのイングレスポート１１１０および受信機ユニット（receiver units, Rx）１１２０と、データを処理するためのプロセッサ、論理ユニット、または中央処理ユニット（central processing unit, CPU）１１３０と、データを送信するための送信機ユニット（transmitter units, Tx）１１４０およびイグレスポート１１５０と、データを格納するためのメモリ１１６０と、を含む。ビデオコーディング装置１１００は、イングレスポート１１１０、受信機ユニット１１２０、送信機ユニット１１４０、およびイグレスポート１１５０に接続された、光若しくは電気信号のイグレス若しくはイングレスのための光－電気（optical-to-electrical （OE））コンポーネントおよび電気－光（electrical-to-optical （EO））コンポーネントも含んでよい。

プロセッサ１１３０は、ハードウェアおよびソフトウェアにより実装される。プロセッサ１１３０は、１つ以上のCPUチップ、コア（たとえば、マルチコアプロセッサ）、フィールドプログラマブルゲートアレイ（field-programmable gate array（FPGA））、特定用途向け集積回路（application specific integrated circuit （ASIC））、およびデジタル信号プロセッサ（digital signal processor（DSP））として実装されてよい。プロセッサ１１３０は、イングレスポート１１１０、受信機ユニット１１２０、送信機ユニット１１４０、イグレスポート１１５０、およびメモリ１１６０と通信する。プロセッサ１１３０は、コーディングモジュール１１７０を含む。コーディングモジュール１１７０は、上述の開示の実施形態を実装する。たとえば、コーディングモジュール１１７０は、種々のコーデック機能を実装し、処理し、準備し、または提供する。コーディングモジュール１１７０の中に含まれるものは、従って、ビデオコーディング装置１１００の機能に実質的な改良を提供し、ビデオコーディング装置１１００の異なる状態への変換をもたらす。代替として、コーディングモジュール１１７０は、メモリ１１６０に格納されプロセッサ１１３０により実行される命令として実装される。

ビデオコーディング装置１１００は、データをユーザーにおよびから通信する入力および／または出力（input and/or output（I/O））装置１１８０も含んでよい。I/O装置１１８０は、ビデオデータを表示するディスプレー、オーディオデータを出力するスピーカー、等のような出力装置を含んでよい。I/O装置１１８０は、キーボード、マウス、トラックボール、等のような入力装置、および／または、そのような出力装置とインターフェースする対応するインターフェースも含んでよい。

メモリ１１６０は、１つ以上のディスク、テープドライブ、および固体ドライブを含み、プログラムが実行のために選択されるとき該プログラムを格納するためおよびプログラムの実行中に読み出される命令およびデータを格納するためのオーバフローデータ記憶装置として使用されてよい。メモリ１１６０は、揮発性および／または不揮発性であってよく、読み出し専用メモリ（read-only memory, ROM）、ランダムアクセスメモリ（random access memory, RAM）、三値連想メモリ（ternary content-addressable memory, TCAM）、および／または静的ランダムアクセスメモリ（static random-access memory, SRAM）であってよい。

図１２は、コーディングする手段１２００の実施形態の概略図である。実施形態では、コーディングする手段１２００は、ビデオコーディング装置１２０２（たとえば、ビデオエンコーダ３００またはビデオデコーダ４００）内に実装される。ビデオコーディング装置１２０２は、受信手段１２０１を含む。受信手段１２０１は、符号化するピクチャーを受信するか、または復号するビットストリームを受信するように構成される。ビデオコーディング装置１２０２は、受信手段１２０１に結合された送信手段１２０７を含む。送信手段１２０７は、ビットストリームをデコーダに送信するか、または復号画像を表示手段（たとえば、I/O装置１１８０の１つ）に送信するように構成される。

ビデオコーディング装置１２０２は、記憶手段１２０３を含む。記憶手段１２０３は、受信手段１２０１または送信手段１２０７のうちの少なくとも１つに結合される。記憶意味１２０３は、命令を格納するよう構成される。ビデオコーディング装置１２０２は、受信手段１２０５を更に含む。処理手段１２０５は、記憶手段１２０３に結合される。処理手段１２０５は、本願明細書に開示される方法を実行するために、記憶手段１２０３に格納された命令を実行するように構成される。

更に理解されるべきことに、ここに説明された例示的な方法のステップは、必ずしも説明された順に実行される必要はなく、このような方法のステップの順は、単なる例であると理解されるべきである。同様に、追加ステップがこのような方法に含まれてよく、特定のステップは、本開示の種々の実施形態に従う方法において、省略されまたは結合されてよい。

いくつかの実施形態が本開示において提供されたが、開示のシステムおよび方法は、本開示の精神または範囲から逸脱することなく、多くの他の特定の形式で実施され得ることが理解されるべきである。本発明の例は、説明のためであり限定的ではないと考えられるべきであり、ここに与えられた詳細事項に限定されることを意図しない。たとえば、種々の要素またはコンポーネントは、結合され、または別のシステムに統合されてよく、或いは、特定の機能は、省略されまたは実施されなくてよい。

更に、種々の実施形態において説明され示された技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、または方法と結合されまたは統合されてよい。互いに結合されまたは直接結合されまたは通信するとして示されまたは議論された他のアイテムは、電気的、機械的、またはその他にかかわらず、間接的に結合されまたは何らかのインターフェース、装置、または中間コンポーネントを通じて通信してよい。変更、代用、および改造の他の例は、当業者により確認され、ここに開示した精神および範囲から逸脱することなく行われ得る。

Claims

ビデオデコーダにより実施される復号方法であって、
マルチレイヤービデオビットストリームを受信するステップであって、前記マルチレイヤービデオビットストリームは、同じアクセスユニットの中に複数のレイヤーアクセスユニットを含み、前記複数のレイヤーアクセスユニットの各レイヤーアクセスユニットは、第１ビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットより先行するピクチャーヘッダー（PH）NALユニットを含み、前記第１VCL NALユニットは符号化されたピクチャーのスライスを含み、前記PH NALユニットはPH NALユニットタイプ（PH_NUT）を有し、前記PH NALユニットは非VCL NALユニットであり、非VCL NALユニットのTemporalIdの値は以下のように制約される：
nal_unit_typeがVPS_NUTまたはSPS_NUTと等しい場合、TemporalIdは０に等しく、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdは０に等しいものとし、
nal_unit_typeがPH_NUTに等しい場合、TemporalIdは、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdに等しいものとする、ステップと、
復号ピクチャーを得るために、前記マルチレイヤービデオビットストリームからの前記符号化されたピクチャーを復号するステップと、
を含む方法。
前記PH NALユニット内の１つのみのPHは、前記符号化されたピクチャーの全部のスライスに適用されるシンタックス要素を含む、請求項１に記載の方法。
電子装置のディスプレー上で前記復号ピクチャーを表示するステップを更に含む請求項１～２のいずれかに記載の方法。
ビデオエンコーダにより実施される符号化の方法であって、前記方法は、
ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットを生成するステップであって、前記PH NALユニットはレイヤーアクセスユニットに含まれ、前記PH NALユニットは、第１ビデオコーディングレイヤー（VCL）NALユニットより先行し、前記第１VCL NALユニットは符号化されたピクチャーのスライスを含み、前記PH NALユニットはPH NALユニットタイプ（PH_NUT）を有し、前記PH NALユニットは非VCL NALユニットであり、非VCL NALユニットのTemporalIdの値は以下のように制約される：
nal_unit_typeがVPS_NUTまたはSPS_NUTと等しい場合、TemporalIdは０に等しく、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdは０に等しいものとし、
nal_unit_typeがPH_NUTに等しい場合、TemporalIdは、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdに等しいものとする、ステップと、
前記PH NALユニットと前記第１VCL NALユニットをマルチレイヤービデオビットストリームに符号化するステップであって、前記マルチレイヤービデオビットストリームは、同じアクセスユニットの中に複数のレイヤーアクセスユニットを含む、ステップと、
ビデオデコーダへ向けて通信するために、前記マルチレイヤービデオビットストリームを格納するステップと、
を含む方法。
復号装置であって、
マルチレイヤービデオビットストリームを受信するよう構成される受信機であって、前記マルチレイヤービデオビットストリームは、同じアクセスユニットの中に複数のレイヤーアクセスユニットを含み、前記複数のレイヤーアクセスユニットの各レイヤーアクセスユニットは、第１ビデオコーディングレイヤー（VCL）ネットワーク抽象化レイヤー（NAL）ユニットより先行するピクチャーヘッダー（PH）NALユニットを含み、前記第１VCL NALユニットは符号化されたピクチャーのスライスを含み、前記PH NALユニットはPH NALユニットタイプ（PH_NUT）を有し、前記PH NALユニットは非VCL NALユニットであり、非VCL NALユニットのTemporalIdの値は以下のように制約される：
nal_unit_typeがVPS_NUTまたはSPS_NUTと等しい場合、TemporalIdは０に等しく、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdは０に等しいものとし、
nal_unit_typeがPH_NUTに等しい場合、TemporalIdは、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdに等しいものとする、受信機と、
前記受信機に結合されるメモリであって、前記メモリは命令を格納する、メモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサは、前記命令を実行して、前記復号装置に、復号ピクチャーを得るために前記マルチレイヤービデオビットストリームから前記符号化されたピクチャーを復号させる、プロセッサと、
を含む復号装置。
符号化装置であって、
命令を含むメモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサは、前記命令を実行して、前記符号化装置に：
ピクチャーヘッダー（PH）ネットワーク抽象化レイヤー（NAL）ユニットを生成させ、前記PH NALユニットはレイヤーアクセスユニットに含まれ、前記PH NALユニットは、第１ビデオコーディングレイヤー（VCL）NALユニットより先行し、前記第１VCL NALユニットは符号化されたピクチャーのスライスを含み、前記PH NALユニットはPH NALユニットタイプ（PH_NUT）を有し、前記PH NALユニットは非VCL NALユニットであり、非VCL NALユニットのTemporalIdの値は以下のように制約される：
nal_unit_typeがVPS_NUTまたはSPS_NUTと等しい場合、TemporalIdは０に等しく、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdは０に等しいものとし、
nal_unit_typeがPH_NUTに等しい場合、TemporalIdは、前記非VCL NALユニットを含む前記レイヤーアクセスユニットの前記TemporalIdに等しいものとし、
前記PH NALユニットと前記第１VCL NALユニットをマルチレイヤービデオビットストリームに符号化させ、前記マルチレイヤービデオビットストリームは、同じアクセスユニットの中に複数のレイヤーアクセスユニットを含む、プロセッサと、
前記プロセッサに結合される送信機であって、前記送信機は、前記マルチレイヤービデオビットストリームをビデオデコーダへ向けて送信するよう構成される、送信機と、
を含む符号化装置。
コーディング機器であって、
ピクチャーを受信して符号化するか、またはマルチレイヤービデオビットストリームを受信して復号するよう構成される受信機と、
前記受信機に結合される送信機であって、前記送信機は、前記マルチレイヤービデオビットストリームをデコーダへ送信するか、または復号画像をディスプレーへ送信するよう構成される、送信機と、
前記受信機または前記送信機のうちの少なくとも１つに結合されるメモリであって、前記メモリは、命令を格納するよう構成される、メモリと、
前記メモリに結合されるプロセッサであって、前記プロセッサは、請求項１～３のいずれか、または請求項４に記載の方法を実行するために、前記メモリに格納された前記命令を実行するよう構成される、プロセッサと、
を含むコーディング機器。
復号ピクチャーを表示するよう構成されるディスプレーを更に含む請求項７に記載のコーディング機器。
エンコーダと、
前記エンコーダと通信するデコーダと、
を含み、前記エンコーダまたは前記デコーダは、請求項５に記載の復号装置、請求項６に記載の符号化装置、または請求項７～８のいずれかに記載のコーディング機器を含む、システム。
コーディングする手段であって、
ピクチャーを受信して符号化するか、またはマルチレイヤービデオビットストリームを受信して復号するよう構成される受信手段と、
前記受信手段に結合される送信手段であって、前記送信手段は、前記マルチレイヤービデオビットストリームを復号手段へ送信するか、または復号画像をディスプレー手段へ送信するよう構成される、送信手段と、
前記受信手段または前記送信手段のうちの少なくとも１つに結合される記憶手段であって、前記記憶手段は、命令を格納するよう構成される、記憶手段と、
前記記憶手段に結合される処理手段であって、前記処理手段は、請求項１～３のいずれか、または請求項４に記載の方法を実行するために、前記記憶手段に格納された前記命令を実行するよう構成される、処理手段と、
を含むコーディングする手段。
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体はコンピュータプログラムを格納し、該コンピュータプログラムはプロセッサにより実行可能であり、前記コンピュータプログラムが前記プロセッサにより実行されると、前記プロセッサは、請求項１～３のいずれか一項、または請求項４に記載の方法を実行する、コンピュータ可読記憶媒体。
プログラムであって、コンピュータまたはプロセッサ上で実行されると請求項１～３のいずれか一項、または請求項４に記載の方法を実行するためのプログラムコードを含むプログラム。
コーダであって、請求項１～３のいずれか一項、または請求項４に記載の方法を実行する処理回路を含むコーダ。