JP7377953B2 - アクセスユニットデリミタおよび適応パラメータセットの使用 - Google Patents

Description

本願は、シグナリング符号化パラメータのためのアクセスデリミタおよび適応パラメータセットの使用に関する。

現代のビデオ符号化規格は、適応ループフィルタ（ＡＬＦ）、サンプル適応オフセット（ＳＡＯ）およびデブロッキングフィルタのようなループ内フィルタを利用する。

ループ内フィルタはエンコーダの復号ループ内に配置される。すべてのビデオ符号化ステージの間、および特に量子化ステージで実行されるロッシー圧縮において、ビデオシーケンスの主観的品質は、ブロッキング、リンギングまたはぼやけたアーチファクトの出現の結果として低減されることがある。これらのアーチファクトを除去し、再構成されたシーケンスの主観的および客観的な品質を向上させるために、ループ内フィルタのセットが使用される。エンコーダ内のループ内フィルタは、フレームの客観的な品質を最も向上させる最適なフィルタパラメータを推定する。次に、これらのパラメータはデコーダに送信され、デコーダのループ内フィルタは、これらのパラメータを使用して、再構成されたフレームを最適にフィルタリングし、エンコーダ内の再構成されたフレームについて達成されるのと同じ品質改善を達成することができる。

デブロッキングフィルタは、エンコーダのすべてのステージの処理でブロック構造を使用する結果として、ＣＵ（符号化ユニット）、具体的にはＰＵ（予測ユニット）およびＴＵ（変換ユニット）のエッジに現れるブロッキングアーチファクトを除去することを目的とする。

ＳＡＯフィルタは、リンギングのような望ましくない可視アーチファクトを低減することを目的とする。ＳＡＯの鍵となるアイデアはまず、再構成されたサンプルを異なるカテゴリに分類し、各カテゴリについてオフセットを取得し、次に、カテゴリの各サンプルにオフセットを加えることによって、サンプル歪みを低減することである。

ＡＬＦの鍵となるアイデアは、Ｗｉｅｎｅｒベースの適応フィルタ係数を用いて、オリジナル画素と復号画素間の平均二乗誤差を最小化することである。ＡＬＦは、各ピクチャの最後の処理ステージに配置され、前のステージからのアーチファクトを捕捉し、修正しようとするツールと見なすことができる。適当なフィルタ係数は、エンコーダにより決定され、デコーダに明示的にシグナリングされる。すなわち、ＡＬＦは、デコーダに送られるべきパラメータのセット、すなわち適切なフィルタ係数を必要とする。これらのパラメータは、高レベルシンタックス構造、例えば、適応パラメータセット（ＡＰＳ）で送信される。ＡＰＳは、ビデオ符号化レイヤ（ＶＣＬ）ＮＡＬ（ネットワーク抽象化レイヤ）ユニット、すなわちピクチャのスライスの前にビットストリームで送信されるパラメータセットである。ＡＬＦは、再構成後の完全なピクチャに適用される。また、エンコーダでは、ＡＬＦ推定は、符号化プロセスの最後のステップの１つである。

低遅延環境では、特にピクチャの符号化プロセスを終了する前に、エンコーダはできるだけ早くピクチャの処理された部分の送信を開始したいので、これは問題を引き起こす。ＡＬＦは、符号化ピクチャについて推定されたフィルタパラメータを有するＡＰＳがピクチャの第１のスライスの前に送信されなければならないので、これらの環境では最適に使用することができない。

さらに、指定された形式のＮＡＬユニットのセットはアクセスユニット、ＡＵと呼ばれ、各ＡＵの復号は１つの復号ピクチャをもたらす。各ＡＵは、一次符号化ピクチャを共に構成するＶＣＬ ＮＡＬユニットのセットを含む。また、ＡＵの開始位置を特定するのを助けるためのアクセスユニットデリミタ（ＡＵＤ）を先頭に付加することもできる。

ＡＵＤは、ビットストリーム内のＡＵを分離するために使用される。許可されたスライスタイプ（Ｉ、Ｐ、Ｂ）のように、後続のピクチャに関する情報を任意に含むことができる。

ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、いくつかの異なるパラメータセットをピクチャで参照でき、すなわち、ビデオパラメータセット（ＶＰＳ）、デコーダパラメータセット（ＤＰＳ）、シーケンスパラメータセット（ＳＰＳ）、複数のピクチャパラメータセット（ＰＰＳ）、異なるタイプの適応パラメータセット（ＡＰＳ）、また１つ以上である。デコーダでピクチャをデコードできるようにするには、すべてのパラメータセットを有する必要がある。

ピクチャの異なるスライスは、異なるＰＰＳおよびＡＰＳを参照することができる。したがって、必要なすべてのパラメータセットが利用可能であるかどうかをデコーダが判断することは難しいことがあり、なぜなら、それは、どのパラメータが参照されるか、ピクチャとデコードのすべてのスライスヘッダを解析する必要があるからである。

本願の主題の目的は、アクセスユニットから必要なパラメータを導出するデコーダを提供することである。

この目的は、本願の特許請求の範囲の主題によって達成される。

本願の実施形態によれば、ビデオデコーダは、復号ピクチャの再構成バージョン（４６ａ）を取得するために、ビデオデータストリームのアクセスユニットＡＵ内の１つまたは複数のビデオ符号化ユニット（１００）、例えばＶＣＬ ＮＡＬユニットから動き補償予測および変換ベースの残差復号を使用して復号ピクチャ、例えば現在復号されているピクチャまたは後続のデコードされたピクチャを再構成するように構成された復号コア（９４）と、復号ピクチャの再構成バージョン（４６ｂ）をフィルタリングして、ビデオデコーダの復号ピクチャバッファＤＰＢ（９２）に挿入される復号ピクチャのバージョン（４６ｂ）を取得するように構成された、例えばＡＬＦを含むループ内フィルタ（９０）と、パラメータ化器であって、データストリーム順序に沿って１つまたは複数のビデオ符号化ユニット（１００）に後続する、例えばＶＣＬ ＮＡＬＵと共に個別に、またはそれらすべてに後続する、復号ピクチャのアクセスユニットＡＵ内に位置する１つまたは複数のパラメータセット（１０２、１０４）、例えばＣＴＵ ＡＰＳごとのＡＬＦ ＡＰＳおよびＡＬＦ、および／または、データストリーム順序に沿ってブロックベースの予測パラメータデータおよび予測残差データを搬送する１つまたは複数のビデオ符号化ユニット（１００）に含まれるデータ（１０８）に後続する１つまたは複数のビデオ符号化ユニット（１００）の部分（１０６）、例えば、ＣＴＵデータごとのＡＬＦからループ内フィルタをパラメータ化するためのループ内フィルタ制御情報、例えばＡＬＦ係数（またはパラメータ）およびＣＴＵ（符号化ツリーユニット）フラグごとのＡＬＦを読み取ること、および、ループ内フィルタ制御情報に応じた方法で復号ピクチャの再構成バージョンをフィルタリングするようにループ内フィルタをパラメータ化すること、によって、ループ内フィルタをパラメータ化するように構成されたパラメータ化器と、を備える。すなわち、ループ内フィルタ制御情報は、１つまたは複数のビデオ符号化ユニットについて導出され、したがって、ピクチャのすべてのビデオ符号化ユニットを受信する前に復号を開始することが可能である。したがって、復号遅延は、低遅延環境において低減される。

本願の実施形態によれば、ループ内フィルタ制御情報は、伝達関数に関してループ内フィルタをパラメータ化するための１つまたは複数のフィルタ係数を含む。すなわち、ＡＬＦは、例えば、ＦＩＲ（有限インパルス応答）またはＩＩＲ（無限インパルス応答）フィルタと、フィルタの伝達関数を制御するフィルタ係数ＦＩＲまたはＩＩＲ係数である。

本願の実施形態によれば、ループ内フィルタ制御情報は、ループ内フィルタによって、復号ピクチャ、例えば、現在復号されているピクチャまたは後続の復号ピクチャの再構成されたバージョンのフィルタリングを空間的に変化させるための空間的に選択的なループ内フィルタ制御情報を含む。

本願の実施形態によれば、各ビデオ符号化ユニット（１００）は、データをわたって部分（１０６）の最後まで、すなわちＡＬＦまで、データストリーム順序に沿って連続的に算術符号化される。１つまたは複数のパラメータセットの所定のパラメータセット（１０２）は１つまたは複数のビデオ符号化ユニット（１００）のそれぞれにデータストリーム順序で続き、伝達関数に関してループ内フィルタをパラメータ化するための１つまたは複数のフィルタ係数を備える。

本願の実施形態によれば、１つまたは複数のパラメータセット（１０４）は、１つまたは複数のビデオ符号化ユニット（１００）のそれぞれについて、それぞれのビデオ符号化ユニット（１００）にデータストリーム順序で続くさらなる所定のパラメータセットを含み、それぞれのビデオ符号化ユニット（１００）に符号化されるピクチャの部分内のループ内フィルタによって、復号ピクチャ、たとえば、現在復号されているピクチャまたは後続の復号ピクチャの再構成されたバージョンのフィルタリングを空間的に変化させるための空間選択的なループ内フィルタ制御情報を含む。

本願の実施形態によれば、１つまたは複数のビデオ符号化ユニット（１００）のそれぞれは、それぞれのビデオ符号化ユニット（１００）のデータセクション（１０８）にデータストリーム順序で続くフィルタ情報セクション（１０６）を含み、フィルタ情報セクションは、ブロックベースの予測パラメータデータおよび予測残差データがそれぞれのビデオ符号化ユニット（１００）のデータセクションに符号化されるピクチャの部分内のループ内フィルタによって、復号ピクチャ、たとえば、現在復号されているピクチャまたは後続の復号ピクチャの再構成されたバージョンのフィルタリングを空間的に変化させるための空間選択的なループ内フィルタ制御情報を含む。

本願の実施形態によれば、パラメータ化器は、第１の状態を仮定する前記ビデオデータストリーム内の所定の指示の場合には、データストリーム順序に沿って前記１つまたは複数のビデオ符号化ユニット（１００）に続く、例えばＶＣＬ ＮＡＬＵと共に個別に、またはそれらすべてに続く位置に、第２の状態を仮定する前記ビデオデータストリーム内の前記所定の指示の場合には、前記１つまたは複数のビデオ符号化ユニット（１００）のすべてに先行する前記アクセスユニット内の異なる位置に、前記復号ピクチャ、例えば、現在復号ピクチャまたは後続の復号ピクチャの前記１つまたは複数のパラメータセット（１０２、１０４）、例えば、ＡＬＦ ＡＰＳおよびＣＴＵ ＡＰＳごとのＡＬＦを前記アクセスユニット（ＡＵ）内で配置するように構成されてもよい。

本願の実施形態によれば、１つまたは複数のビデオ符号化ユニット（１００）の部分（１０６）、例えばＣＴＵデータごとのＡＬＦは、第１の状態を仮定するビデオデータストリーム内の所定の指示の場合には、ブロックベースの予測パラメータデータおよび予測残差データを運搬する、データストリーム順序に沿って、１つまたは複数のビデオ符号化ユニット（１００）によって構成されたデータ（１０８）に続く位置にあり、第２の状態を仮定するビデオデータストリーム内の所定の指示の場合には、ブロックベースの予測パラメータデータおよび予測残差データが散在する１つまたは複数のビデオ符号化ユニット内の異なる位置にある。

本願の実施形態によれば、ビデオデコーダは、１つまたは複数のビデオ符号化ユニット（１００）から所定の指示を読み取るように構成される。所定の指示は、第１の状態を仮定する場合に、１つまたは複数のパラメータセットを１つまたは複数の識別子によって示し、第２の状態を仮定する場合、異なる１つまたは複数のループ内フィルタ制御情報パラメータ設定を示す。ビデオデコーダは、所定の指示が異なるアクセスユニットに対して異なる場合に、ビデオデータストリームの異なるアクセスユニットに対して異なる位置特定を実行するように、アクセスユニットごとに所定の指示に応答するように構成される。パラメータ化器は、前にシグナリングされたアクセスユニットＡＵに含まれるループ内フィルタ制御情報を使用して、復号ピクチャを再構成するように構成される。

本願の実施形態によれば、ビデオデコーダは、アクセスユニットＡＵの境界を検出する際に、ループ内フィルタ制御情報、例えば、ＡＬＦフィルタデータを搬送するビデオ符号化ユニットを、１つまたは複数のパラメータセット（１０２、１０４）、例えば、サフィックスＡＰＳの形態で、アクセスユニットを開始しないものとして解釈し、そこから、例えば、ＡＵ境界検出においてそれらを無視し、それによって、ＡＵ境界がないことを検出し、そのようなビデオ符号化ユニットからアクセスユニットを開始するものとして、１つまたは複数のパラメータセット（１０２、１０４）、例えば、サフィックスＡＰＳの形態でないループ内フィルタ制御情報を搬送するビデオ符号化ユニットを解釈し、例えば、そのようなビデオ符号化ユニットからＡＵ境界を検出するように構成される。

本願の実施形態によれば、ビデオデコーダは、ビデオデータストリームのアクセスユニットＡＵ内の１つまたは複数のビデオ符号化ユニット（１００）から、１つまたは複数の所定の符号化パラメータを使用してパラメータ化された方法で、復号ピクチャ、例えば、現在復号されているピクチャまたは後続の復号ピクチャを復号することによって、ビデオデータストリームからビデオを復号し、ビデオデータストリームに散在する複数のパラメータセット（１２０）から所定の符号化パラメータ（１２２）を導出し、アクセスユニットＡＵの所定のユニット（１２４）から、所定の符号化パラメータを含む複数のパラメータセットから所定のパラメータセットを識別する識別子（２００）を読み出すように構成される。すなわち、符号化パラメータの有無は識別子によって示され、したがって、どのパラメータセットが受信されたビデオ符号化ユニットから派生可能であるかが効率的に認識される。また、識別子は、ＡＵの所定のユニットに含まれるため、異なるビデオ符号化ユニットに対して異なるパラメータセットを含めることが容易である。

本願の実施形態によれば、ＡＵの所定のユニットは、識別子（２００）が所定のユニット内に存在するか否かを示すフラグ（２０４）を含む。すなわち、ＡＵの所定のユニットにどの識別子が含まれているかをフラグで示すことができ、例えば、アクセスユニットのデリミタを示すことができる。

本願の実施形態によれば、複数のパラメータセット（１２０）は異なる階層レベルのものであり、１つまたは複数のビデオ符号化ユニットは、例えば、スライスヘッダにおいて、１つまたは複数の第１の所定の階層レベル内の第１の所定のパラメータセット（１２６）を参照する識別子を含み、１つまたは複数の第１の所定の階層レベル内の第１の所定のパラメータセット（１２６）は１つまたは複数の第２の所定の階層レベル内の第２の所定のパラメータセット（１２８）を参照する識別子を含み、第１および第２の所定のパラメータセットは、所定のパラメータセット（１２２）によって含まれる。アクセスユニットＡＵの所定のユニット（１２４）から読み出された識別子は、アクセスユニットの１つまたは複数のビデオ符号化ユニットによって直接的または間接的に参照されるすべての所定のパラメータセットを識別し、それにより、識別子によって識別されるすべての所定のパラメータセットが利用可能である場合、アクセスユニットは復号可能である。

本願の実施形態によれば、ＡＵの所定のユニットは、特定の所定のパラメータセット（１２６ｂ）、例えば特定のＡＰＳを参照する識別子（２００）の所定の識別子が所定のユニット（１２４）内に存在するかどうか、または特定の所定のパラメータセット（１２６ｂ）を参照する所定の識別子が１つまたは複数のビデオ符号化ユニット（１００）内に存在するかどうかを示す（２０５）フラグ（２０４）を含む。

本願の実施形態によれば、第１の所定のパラメータセット（１２６）は、１つまたは複数のビデオ符号化ユニット（１００）内の識別子によって参照される第３の所定のパラメータセット（１２６ａ）と、所定のユニット（１２４）内に存在する識別子（２００）によって参照されるが、１つまたは複数のビデオ符号化ユニット（１００）内の識別子のいずれによっても、または所定のパラメータセットのいずれによっても参照されない第４の所定のパラメータセット（１２６ｂ）と、を含む。

本願の実施形態によれば、ＡＵの所定のユニットは、１つまたは複数の適応パラメータセットの１つまたは複数の識別子、ＡＰＳ、１つまたは複数のピクチャパラメータセットの１つまたは複数の識別子、ＰＰＳ、ビデオパラメータセットの識別子、ＶＰＳ、デコーダパラメータセットの識別子、ＤＰＳ、および、１つまたは複数のシーケンスパラメータセットの１つまたは複数の識別子、ＳＰＳのうちの１つまたは複数を備える。複数のパラメータセットは、ビデオパラメータセット、ＶＰＳ、デコーダパラメータセット、ＤＰＳ、シーケンスパラメータセット、ＳＰＳ、１つまたは複数のピクチャパラメータセット、ＰＰＳ、および１つまたは複数の適応パラメータセット、ＡＰＳを含む。

本願の実施形態によれば、ビデオデコーダは、ビデオデータストリームのアクセスユニット（ＡＵ）の１つまたは複数のビデオ符号化ユニット（１００）からピクチャを復号することによってビデオデータストリームからビデオを復号し、アクセスユニットＡＵの開始を形成するようにビデオデータストリーム内に配置されたアクセスユニットデリミタＡＵＤから１つまたは複数のパラメータを読み取る、ように構成され、１つまたは複数のパラメータは、別個のアクセスユニットが、ビデオデータストリームの１つの瞬時に関連するが異なる層に関するピクチャについてビデオデータストリーム内で定義されるかどうか、または、ビデオデータストリームの１つの瞬時に関連するが異なる層に関連するピクチャが、前記アクセスユニットのうちの１つに符号化されるかどうか、を制御し（３００）、および／または、ビデオ符号化タイプの指示が１つのアクセスユニット内に互いに異なるビデオ符号化ユニットを含む場合に、ビデオ符号化ユニットの符号化タイプは、１つのアクセスユニット内のビデオ符号化ユニット内に割り当てられるアクセスユニット内に含まれることを示し（３０２）、および／または、アクセスユニットが他のピクチャによって参照されない、ピクチャを示し（３０４）、および／または、出力されないピクチャを示す（３０６）。すなわち、ピクチャを復号するために必要なパラメータがＡＵＤによって示されるので、完全なピクチャを復号するためのすべてのパラメータセットを取得する前に、ＡＵに含まれるピクチャのスライスの復号を開始することができる。すなわち、スライスごとに必要なパラメータセットを効率的にＡＵＤで示すことができるので、復号速度を向上させることができる。

本願の実施形態によれば、１つまたは複数のパラメータは、前のＡＵＤによって定義されたパラメータに対する偏差を形成する。ＡＵＤは、前のＡＵＤによって定義されたパラメータが採用されるべきかどうかの指示を含む。ＡＵＤは、１つまたは複数のパラメータがビデオデータストリームのすべての層に適用されるか、またはその単一層のみに適用されるかの指示を含む。ビデオ符号化ユニットのビデオ符号化タイプは、複数のピクチャのランダムアクセス特性を記述することによって示される。

本願の実施形態によれば、ビデオデコーダは、ビデオデータストリームのアクセスユニット（ＡＵ）の１つまたは複数のビデオ符号化ユニット（１００）からピクチャを復号することによってビデオデータストリームからビデオを復号し、アクセスユニット（ＡＵ）の開始を形成するようにデータストリーム内に配置されたアクセスユニットデリミタ（ＡＵＤ）から１つまたは複数のパラメータ（３０８）を読み取るように構成され、１つまたは複数のパラメータはアクセスユニットの特性を示し、特性がビデオデータストリームのすべての層に適用されるか、またはその単一層のみに適用されるかを示す。

本願の実施形態によれば、復号ピクチャの再構成バージョンを取得するために、ビデオデータストリームのアクセスユニットＡＵ内の１つまたは複数のビデオ符号化ユニット（１００）、例えばＶＣＬ ＮＡＬユニットからの動き補償予測および変換ベースの残差復号を使用して、復号ピクチャを再構成することと、ループ内フィルタを使用して、復号ピクチャの再構成バージョンをフィルタリングして、ビデオデコーダの復号ピクチャバッファＤＰＢに挿入される復号ピクチャのバージョンを取得することと、ループ内フィルタにより、復号ピクチャの再構成バージョンをフィルタリングして、ビデオデコーダの復号ピクチャバッファＤＰＢに挿入される復号ピクチャのバージョンを取得することと、ループ内フィルタをパラメータ化することと、を含み、ループ内フィルタをパラメータ化するは、データストリーム順序に沿って１つまたは複数のビデオ符号化ユニット（１００）に後続する復号ピクチャの前記アクセスユニットＡＵ内に位置する１つまたは複数のパラメータセット（１０２、１０４）例えばＡＬＦ ＡＰＳおよびＣＴＵ ＡＰＳごとのＡＬＦ、および／または、データストリーム順序に沿ってブロックベースの予測パラメータデータおよび予測残差データを搬送する１つまたは複数のビデオ符号化ユニット（１００）に含まれるデータ（１０８）に後続する１つまたは複数のビデオ符号化ユニット（１００）の部分（１０６）、例えばＣＴＵデータごとのＡＬＦ、からループ内フィルタをパラメータ化するためのループ内フィルタ制御情報を読み取り、ループ内フィルタ制御情報に応じた方法で復号ピクチャの前記再構成バージョンをフィルタリングする、ことにより行われる、方法が提供される。

本願の実施形態によれば、ビデオデータストリームのアクセスユニットＡＵ内の１つまたは複数のビデオ符号化ユニット（１００）から、１つまたは複数の所定の符号化パラメータを用いてパラメータ化された方法で、復号ピクチャ、例えば現在復号されているピクチャまたは後続の復号ピクチャを復号することによって、ビデオデータストリームからビデオを復号することと、ビデオデータストリームに散在する複数のパラメータセットから所定の符号化パラメータを導出することと、所定の符号化パラメータを含む複数のパラメータセットから所定のパラメータセットを識別するアクセスユニットＡＵの所定のユニットから識別子（２００）を読み取ることと、を含む方法が提供される。

本願の実施形態によれば、ビデオデータストリームのアクセスユニットＡＵの１つまたは複数のビデオ符号化ユニット（１００）からピクチャを復号することによって、ビデオデータストリームからビデオを復することと、アクセスユニットＡＵの開始を形成するように前記ビデオデータストリーム内に配置されたアクセスユニットデリミタＡＵＤから１つまたは複数のパラメータを読み取ることと、を含み、１つまたは複数のパラメータは、別個のアクセスユニットが、ビデオデータストリームの１つの瞬時に関連するが異なる層に関するピクチャについてビデオデータストリーム内で定義されるかどうか、または、ビデオデータストリームの１つの瞬時に関連するが異なる層に関連するピクチャが、アクセスユニットのうちの１つに符号化されるかどうか、を制御し（３００）、ビデオ符号化タイプの指示が１つのアクセスユニット内に互いに異なるビデオ符号化ユニットを含む場合に、ビデオ符号化ユニットの符号化タイプは、１つのアクセスユニット内のビデオ符号化ユニット内に割り当てられるアクセスユニット内に含まれることを示し（３０２）、および／または、アクセスユニットが他のピクチャによって参照されない、ピクチャを示し（３０４）、および／または、出力されないピクチャを示す（３０６）、方法が提供される。

本願の実施形態によれば、ビデオデータストリームのアクセスユニット（ＡＵ）の１つまたは複数のビデオ符号化ユニット（１００）からピクチャを復号することによってビデオデータストリームからビデオを復号することと、アクセスユニット（ＡＵ）の開始を形成するようにデータストリーム内に配置されたアクセスユニットデリミタ（ＡＵＤ）から１つまたは複数のパラメータ（３０８）を読み取ることと、１つまたは複数のパラメータはアクセスユニット（ＡＵ）の特性を示し、特性はビデオデータストリームのすべての層に適用されるか、またはその単一層のみに適用されるかを示す、方法が提供される。

本願の好ましい実施形態を、図面を参照して以下に説明する。
本願の実施形態による階層化ビデオデータストリームを符号化することができるビデオエンコーダの一例として、ビデオを予測符号化するための装置のブロック図を示す。 本願の実施形態による階層化ビデオデータストリームを復号することができるビデオデコーダの一例として、図１の装置に適合する、ビデオを予測復号するための装置のブロック図を示す。 それぞれ、予測信号の定義、予測残差信号の扱い等のためのサブディビジョンの設定の可能性を示すために、予測残差信号、予測信号、および再構成信号との関係の一例を示す概略図である。 従来技術による符号化プロセスの一例の概略図を示す。 本願の実施形態による、デコーダにピクチャをシグナリングするための符号化プロセスの一例の概略図を示す。 本願の実施形態による、アクセスユニットＡＵの一例の概略図を示す。 本願の実施形態による、アクセスユニットＡＵの一例の概略図を示す。 本願の実施形態による、別のＡＵの一例の概略図を示す。 本願の実施形態による、アクセスユニットデリミタＡＵＤに含まれるパラメータセット識別子ＩＤに関する情報の一例を示す図である。 本願の実施形態による、ＡＵＤに含まれる所定のパラメータセットに関する情報の一例を示す図である。 本願の実施形態による、ＡＵＤに含まれる所定のパラメータセットに関する情報の一例を示す図である。 本願の実施形態による、所定の符号化パラメータセット間の関係を示す一例の概略図を示す。 本願の実施形態による、ＡＵのどの部分がどのパラメータセットのどの識別子を示すかを示す一例の概略図を示す。 本願の実施形態による、ＡＵのどの部分がどのパラメータセットのどの識別子を示すかを示す別の一例の概略図を示す。 本願の実施形態による、ＡＵＤに含まれるパラメータの一例を示す図である。 本願の実施形態による、ＡＵＤに含まれるパラメータの一例を示す図である。 本願の実施形態による、ＡＵＤに含まれるパラメータの別の一例を示す図である。

以下の説明では、同じまたは同等の要素、または同じまたは同等の機能を有する要素は、同じまたは同等の参照符号によって示される。

以下の説明では、本願の実施形態のより完全な説明を提供するために、複数の詳細が記載される。しかしながら、本願の実施形態は、これらの特定の詳細なしに実施されてもよいことは当業者には明らかであろう。他の例では本願の実施形態を曖昧にすることを避けるために、周知の構造および装置は詳細にではなく、ブロック図形式で示される。また、特に記述がない限り、以下に説明する異なる実施形態の特徴を組み合わせてもよい。

序論
以下では、本明細書で説明される個々の態様が個別に、または組み合わせて使用され得ることに留意されたい。したがって、詳細は、前記態様の他の一つに詳細を追加することなく、前記個々の態様の各々に追加することができる。

また、本開示は、ビデオデコーダ（符号化されたリプレゼンテーションに基づいてビデオ信号の復号されたリプレゼンテーションを提供するための装置）において使用可能な特徴を、明示的または暗黙的に説明することに留意されたい。したがって、本明細書で説明する特徴のいずれも、ビデオデコーダのコンテクストで使用することができる。

さらに、方法に関連して本明細書で開示される特徴および機能性は、（そのような機能性を実行するように構成された）装置で使用することもできる。さらに、装置に関して本明細書で開示される任意の特徴および機能は、対応する方法で使用することもできる。言い換えれば、本明細書で開示される方法は、装置に関して説明される特徴および機能性のいずれかによって補足され得る。

図の以下の説明は、階層化ビデオデータストリームコーデックのための実施形態を組み込むことができる符号化フレームワークの例を形成するために、ビデオのピクチャを符号化するためのブロックベースの予測コーデックのビデオエンコーダおよびビデオデコーダの説明から始まる。ビデオエンコーダおよびビデオデコーダについて、図１～図３に関連して説明する。以下、本願の階層化ビデオデータストリームコーデックの概念の実施形態の説明を、そのような概念を図１および図２のビデオエンコーダおよびデコーダにそれぞれどのように組み込むことができるかについての説明と共に提示するが、以下に説明する実施形態は図１および図２のビデオエンコーダおよびビデオデコーダの基礎をなす符号化フレームワークにしたがって動作しないビデオエンコーダおよびビデオデコーダを形成するために使用することもできる。

図１は、本願の実施形態による、インター予測ブロックの動き補償予測を実施することができるビデオデコーダの一例として、ビデオを予測符号化するための装置のブロック図を示す。すなわち、図１は、一連のピクチャ１２からなるビデオ１１をデータストリーム１４に予測符号化する装置を示す。この目的のために、ブロック単位の予測符号化が使用される。さらに、変換ベースの残差符号化が例示的に使用される。装置、すなわちエンコーダは、参照符号１０を用いて示される。

図２は、本願の実施形態による、インター予測ブロックの動き補償予測を実施することができるビデオデコーダの一例として、ビデオを予測復号するための装置のブロック図を示す。すなわち、図２は、対応するデコーダ２０、すなわち、データストリーム１４からのピクチャブロック内のピクチャ１２’から構成されるビデオ１１’を、ここでも例示的に変換ベースの残差復号を使用して予測復号するように構成された装置２０を示し、アポストロフィは、デコーダ２０によって再構成されたピクチャ１２’およびビデオ１１’がそれぞれ、予測残差信号の量子化によって導入された符号化損失に関して装置１０によって元々符号化ピクチャ１２から逸脱することを示すために使用されている。図１および図２は例示的に、変換ベースの予測残差符号化を使用するが、本願の実施形態はこの種の予測残差符号化に限定されない。これは、以下に概説されるように、図１および図２に関して説明される他の詳細についても当てはまる。

エンコーダ１０は、予測残差信号を空間スペクトル変換（ｓｐａｔｉａｌ－ｔｏ－ｓｐｅｃｔｒａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）にかけ、このようにして得られた予測残差信号をデータストリーム１４に符号化するように構成される。同様に、デコーダ２０は、データストリーム１４からの予測残差信号を復号し、このようにして得られた予測残差信号をスペクトル空間変換（ｓｐｅｃｔｒａｌ－ｔｏ－ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）に供するように構成される。

内部的には、エンコーダ１０は、オリジナル信号、すなわちビデオ１１または現在のピクチャ１２からの予測信号２６の偏差を測定するように予測残差２４を生成する予測残差信号フォーマ２２を備えることができる。予測残差信号形成器２２は例えば、元の信号、すなわち現在のピクチャ１２から予測信号を減算する減算器とすることができる。次いで、エンコーダ１０は、予測残差信号２４を空間スペクトル変換にかけ、次にエンコーダ１０によって構成される量子化器３２によって量子化されるスペクトル領域予測(ｓｐｅｃｔｒａｌ－ｄｏｍａｉｎ ｐｒｅｄｉｃｔｉｏｎ）残差信号２４’を得るトランスフォーマ２８をさらに備える。このように量子化された予測残差信号２４’’は、データストリーム１４に符号化される。この目的のために、エンコーダ１０は任意にエントロピーコーダ３４を含み、エントロピーコーダは予測残差信号を変換されてデータストリーム１４に量子化されるようにエントロピー符号化する。データストリーム１４におよびデータストリーム１４から復号される予測残差信号２４’’に基づいて、エンコーダ１０の予測ステージ３６によって予測残差２６が生成される。この目的のために、予測ステージ３６は、量子化損失を除く信号２４’に対応するスペクトル領域予測残差信号２４’’’を獲得するように予測残差信号２４’’を逆量子化する逆量子化器３８を内部に備えてもよく、その後、後者の予測残差信号２４’’を逆変換、すなわちスペクトル空間変換にかける逆変換器４０を備えて、量子化損失を除く元の予測残差信号２４に対応する予測残差信号２４’’’’を獲得してもよい。予測ステージ３６の合成器４２は次いで、再構成信号４６ａ、すなわち元の信号１２の再構成（再構成バージョン）を獲得するように、予測信号２６と予測残差信号２４’’’’とを加算するなどして再結合する。再構成された信号４６ａは、信号１２’に対応してもよい。

ループ内フィルタ９０は再構成された信号４６ａをフィルタリングして、復号ピクチャのバージョン、例えば、現在復号されているピクチャまたは後続の復号ピクチャの復号された信号４６ｂを取得し、復号されたピクチャバッファＤＰＢ９２に挿入する。

次いで、予測ステージ３６の予測モジュール４４は例えば、空間予測、すなわちイントラ予測、および／または時間予測、すなわちインター予測を使用することによって、信号４６ｂに基づいて予測信号２６を生成する。この点に関する詳細は、以下に記載される。

デコーダ２０は、エントロピーデコーダ５０と、逆量子化器５２と、逆トランスフォーマ５４と、コンバイナ５６と、予測モジュール５８と、ループ内フィルタ９０と、ＤＰＢ ９４と、を含む復号コア９４を含む。

同様に、デコーダ２０は予測ステージ３６に対応し、それに対応する方法で相互接続された構成要素から内部的に構成されてもよい。特に、デコーダ２０のエントロピーデコーダ５０は、データストリームから量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号することができ、そこで、逆量子化器５２、逆トランス５４、コンバイナ５６および予測モジュール５８は予測ステージ３６のモジュールに関して上述した方法で相互接続され、協働することにより、予測残差信号２４’’に基づいて再構成された信号を回復し、それにより、図３に示すように、コンバイナ５６の出力は、再構成された信号、すなわちビデオ１１’またはその現在のピクチャ１２’をもたらす。

具体的に上述したわけではないが、エンコーダ１０は、例えば、ある種のレートおよび歪み関連基準、すなわち符号化コストを最適化する方法、および／または何らかのレート制御を使用する方法等の何らかの最適化スキームにしたがって、例えば予測モード、運動パラメータ等を含むいくつかの符号化パラメータを設定することができることは容易に明らかである。以下でより詳細に説明するように、エンコーダ１０およびデコーダ２０ならびに対応するモジュール４４、５８は、それぞれ、ピクチャブロックの予測が以下でより詳細に説明する方法で構成される一種のプリミティブ予測モードのセットまたはプールを形成するイントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートする。エンコーダとデコーダがこれらの予測合成の間で切り替わる粒度は、ピクチャ１２と１２’のそれぞれのブロックへの細分化に対応する。これらのブロックのうちのいくつかは単にイントラ符号化されているブロックであってもよく、いくつかのブロックは単にインター符号化されているブロックであってもよく、任意選択で、さらなるブロックはイントラ符号化およびインター符号化の両方を使用して取得されてもよいが、詳細は以下で説明されることに留意されたい。イントラ符号化モードにしたがって、ブロックに対する予測信号を、それぞれのブロックの空間的、既に符号化／復号された近傍に基づいて取得する。幾つかのイントラ符号化サブモードが存在してもよく、その中で、ある種のイントラ予測パラメータを表す。それぞれのブロックに対する予測信号が、それぞれの方向性イントラ符号化サブモードに対して特定されるある方向に沿って近傍のサンプル値をそれぞれのブロックに外挿することによって埋められる、方向または角度イントラ符号化サブモードが存在してもよい。イントラ符号化サブモードは例えば、それぞれのブロックの予測信号がそれぞれのブロック内のすべてのサンプルにＤＣ値を割り当てるＤＣ符号化モード、および／または、それぞれのブロックの予測信号がそれぞれのブロックのサンプル位置にわたる２次元線形関数によって記述されるサンプル値の空間分布であると近似または決定され、隣接するサンプルに基づいて２次元線形関数によって定義される平面の傾斜およびオフセットを導出するプラナーイントラ符号化モードなど、１つまたは複数のさらなるサブモードを備えることもできる。これと比較すると、インター予測モードによれば、例えば、ブロック内部を時間的に予測することによって、ブロックに対する予測信号を得ることができる。インター予測モードのパラメータ化のために、動きベクトルは、データストリーム内でシグナリングされてもよく、動きベクトルはそれぞれのブロックのための予測信号を得るために、以前に符号化／復号ピクチャがサンプリングされるビデオ１１の以前に符号化ピクチャの部分の空間変位を示す。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化変換係数レベルのような、データストリーム１４によって構成される残差信号符号化に加えて、データストリーム１４が、ブロック予測モードに割り当てるための予測関連パラメータ、インター予測モードのための動きパラメータのような割り当てられた予測モードのための予測パラメータ、および、任意選択的に、さらに詳細に後述するように、割り当てられた予測モードおよび予測パラメータを使用してブロックに対する最終予測信号の構成を制御するさらなるパラメータに符号化されてもよい、ということを意味する。追加的に、データストリームは、ピクチャ１２および１２’の細分化をそれぞれブロックに制御し、シグナリングするパラメータを含むことができる。デコーダ２０はこれらのパラメータを使用して、エンコーダが行ったのと同様の方法でピクチャを細分化し、同じ予測モードおよびパラメータをブロックに割り当て、同じ予測信号を得られるように同じ予測を行う。

図３は、予測残差信号と、予測信号と、再構成信号との関係の一例を示す模式図であって、それぞれ、予測信号を規定する細区分の設定、予測残差信号の扱い等の可能性を示すものを示す。すなわち、図３は、再構成された信号、すなわち再構成されたピクチャ１２’と、一方ではデータストリームにシグナル化されたような予測残差信号２４’’’’との関係、他方では予測信号２６との間の関係を示す。既に上述したように、組み合わせは、追加であってもよい。予測信号２６は、単に一例に過ぎないが、ピクチャ領域を様々なサイズのブロック８０に細分化したものである。細分化は、ピクチャ領域をブロックの行および列に規則的に細分化するような任意の細分化であってもよいし、ピクチャ１２を様々なサイズのリーフブロック、例えばクワッドツリー細分化等に細分化するマルチツリー細分化であってもよく、ピクチャ領域が最初にツリールートブロックの行および列に細分化され、次いで再帰的マルチツリー細分化にしたがってさらに細分化されてブロック８０になるそれらの混合であってもよい。

以下、本発明の各側面について説明する。

サフィックス（Ｓｕｆｆｉｘ）－ＡＰＳ
本願の本発明の一態様によれば、エンコーダは、依然としてスライスを使用しながら、ピクチャ全体の符号化処理を終了する前に、ピクチャの一部（例えばスライス）の送信を開始することを可能にする。これは、アダプテーションパラメータセット（ＡＰＳ）が実際のスライスデータの背後にあるＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）ＡＬＦパラメータごとに移動するピクチャの符号化されたスライスの後に送信されることを可能にすることによって達成される。

図４に最先端のエンコーダの図を示す。まずピクチャ全体を符号化し（イントラ予測、動き推定、残差符号化など）、次にＡＬＦ推定処理を開始する。ＡＬＦフィルタ係数はＡＰＳに書き込まれ、次いで、スライスデータは（他のパラメータが点在する）ＣＴＵパラメータごとのＡＬＦを含んで書き込まれることができる。ピクチャは、ＡＬＦ符号化が終了した後にのみ送信することができる。

図５は、本発明によって想定される低遅延エンコーダの一例を示す。ピクチャ符号化処理が終了する前に、スライスを送出することができる。特に、係数を運ぶＡＰＳは、スライスデータ（ＶＣＬ ＮＡＬ単位）の後ろに移動される。

このプロセスでは、エンコーダは推定されたＡＬＦパラメータ（フィルタ係数、フィルタ制御情報）を収集し、次いで、符号化ピクチャの後にＡＬＦパラメータを含むＡＰＳを収集しながら、ピクチャの符号化されたスライスを最初に送出することができる。デコーダは、ピクチャのスライスが到着するとすぐに、ピクチャのスライスのシンタックス解析および復号を開始することができる。ＡＬＦは最後の復号ステップの１つであるため、ＡＬＦパラメータは、他の復号ステップの後に適用される符号化ピクチャの後に到着することができる。

本発明は、以下の態様を含む。
－ＡＰＳが前のピクチャに属することを示すＡＰＳタイプ。
－ＡＰＳタイプは、シンタックス要素で符号化される。実施形態は以下の通りである。
〇ＮＡＬユニットヘッダに符号化された新しいＮＡＬユニットタイプ（例えば、サフィックスＡＰＳ）。
〇ＡＰＳで符号化された新しいＡＰＳタイプ（例えば、サフィックスＡＬＦ ＡＰＳ）。
〇ＡＰＳが前のピクチャに適用されるか、後続のピクチャに適用されるかを示すフラグ。
－サフィックスＡＰＳではなく、シグナリングされたプレフィックスＡＰＳによって、新しいアクセスユニットＡＵの開始を仮定するだけである、復号プロセスの変更。
－代替的に、ＡＰＳタイプ（プレフィックスまたはサフィックス）は、周囲のアクセスユニットデリミタ（ＡＵＤ）およびピクチャの符号化スライスに対するビットストリーム内の相対位置によって決定され得る。
〇ＡＰＳがピクチャの最後のＶＣＬ ＮＡＬユニットとＡＵＤとの間に位置する場合、それは前のピクチャに適用される。
〇ＡＰＳがＡＵＤとピクチャの最初のＶＣＬ ＮＡＬユニットとの間に位置する場合、それは次のピクチャに適用される。
－この場合、デコーダは、ＡＵＤの位置によって新しいアクセスユニットの開始を決定するだけでよい。
－一実施形態では、スライスヘッダはプレフィックスＡＰＳの代わりにサフィックスＡＰＳが使用されることを示し、その結果、依存性はピクチャの復号プロセスの最後に、例えば、次式によって解決される。
〇そのプレフィックスまたはサフィックス特性に応じて、スライスヘッダ内の位置でＡＰＳ識別子をシグナリングする。
〇参照されるＡＰＳがビットストリーム順序でコード化されたスライスに従うことを示すフラグをシグナリングする。

典型的には、ＡＬＦパラメータ（フィルタ係数）の導出が（再構成されたサンプル値に基づいて）符号化プロセスの最後に向かって実行されるだけでなく、さらなるＡＬＦ制御情報（符号化ツリーユニットＣＴＵがフィルタリングされるかどうか、およびどのようにフィルタリングされるかに関する情報）も、このステージで導出される。ＡＬＦ制御情報はスライスペイロード内のｃｏｄｉｎｇ＿ｔｒｅｅ＿ｕｎｉｔごとにいくつかのシンタックス要素で搬送され、ブロック分割（例えば、図６ｂに示すような）、変換係数などが散在する。例えば、以下のシンタックス要素が存在することがある。
〇ａｌｆ＿ｃｔｂ＿ｆｌａｇ：アダプティブループフィルタを符号化ツリーブロックＣＴＢに適用するかどうかを指定する。
〇ａｌｆ＿ｃｔｂ＿ｕｓｅ＿ｆｉｒｓｔ＿ＡＰＳ＿ｆｌａｇ：ａｄａｐｔｉｖｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄがｓｌｉｃｅ＿ａｌｆ＿ＡＰＳ＿ｉｄ＿ｌｕｍａ［０］に等しいＡＰＳのフィルタ情報を使用するかどうかを指定する。
〇ａｌｆ＿ｕｓｅ＿ＡＰＳ＿ｆｌａｇ：ＡＰＳからのフィルタセットをルマＣＴＢに適用するかどうかを指定する。
〇その他。

すべてのこのＡＬＦ制御情報は、ピクチャの符号化プロセスの最後に向かうＡＬＦのフィルタパラメータの導出に依存する。

一実施形態では、ＡＬＦ制御情報は、ＡＬＦが実行される前に、エンコーダがスライスペイロードの最初の部分（変換係数、ブロック構造など）を最終決定できるように、それぞれのスライスペイロードの最後にあるスライスのＣＴＵにわたって、別個のループでシグナリングされる。この実施形態を図６ａおよび図６ｂに示す。

図６ａに示すように、ビデオ符号化ユニット（ＶＣＬ ＮＡＬユニット）１００は、スライスヘッダ、スライスデータ１０８、および部分（ＣＵＴ ＡＰＳごとのＡＬＦ）１０６を含み、１つまたは複数のパラメータセット（ＡＬＦ係数）１０２は別々に、すなわち、（非ＶＣＬ－ＮＡＬユニット内の）サフィックスＡＰＳとしてシグナリングされる。すなわち、各ビデオ符号化ユニット１００は、データストリーム順序に沿って、データを横切って部分の最後まで連続的に算術符号化される。

図６ｂは、部分１０６にスライスデータ１０８が点在していることを示している。すなわち、ＣＵＴ ＡＰＳごとのＡＬＦはブロックに点在し、１つまたは複数のパラメータセット１０２は、サフィックスＡＰＳとして別々にシグナリングされる。

別の実施形態では、スライスヘッダは、ＡＬＦ制御情報が符号化スライスペイロード内のシンタックス要素、すなわち上述のＣＴＵループ内に示されないが、ＡＬＦ制御情報がサフィックスＡＰＳ内に、すなわち、例えばサフィックスＡＰＳタイプであるＡＰＳを参照して、それぞれのサフィックスＡＰＳ内のすべてのＣＴＵにわたる別個のループ内に含まれることを示すことになる。

別の実施形態では、スライスヘッダは、ＡＬＦ制御情報が符号化スライスペイロード内のシンタックス要素、すなわち上述のＣＴＵループ内に示されないが、ＡＬＦ制御情報がＡＬＦ係数を搬送するサフィックスＡＰＳとは異なる新しいタイプのサフィックスＡＰＳに、すなわち、例えばサフィックスＡＰＳタイプであるＡＰＳを参照して、それぞれの参照ＡＰＳ内のすべてのＣＴＵにわたって別個のループに含まれることを示すことになる。ＣＴＵごとのデータは、任意選択でＣＡＢＡＣ符号化することができる。この実施形態を図７に示す。

図７に示すように、データユニットは、データストリーム順序で、スライスヘッダおよびスライスデータ１０８を含むビデオ符号化ユニット（ＶＣＬ ＮＡＬユニット）１００、パラメータセット１０４（Ｓｕｆｆｉｘ ＡＬＦ ＣＴＵ－ｄａｔａ ＡＰＳ：非ＶＣＬ ＮＡＬユニット）、さらなるビデオ符号化ユニット１００、さらなるパラメータセット１０４、およびパラメータセット（フィルタ制御情報）１０２（Ｓｕｆｆｉｘ ＡＬＦ係数ＡＰＳ：非ＶＣＬ ＮＡＬユニット）でシグナリングされる。すなわち、図６ａおよび６ｂに示すデータストリームとは逆であり、フィルタ係数は、すべてのビデオ符号化ユニットに続いてシグナリングされる必要はない。言い換えれば、フィルタ係数は、ビットストリーム順に２つ以上のビデオ符号化ユニット１００のために集合的に送信されてもよく、またはビットストリーム順にフィルタ係数に続くさらなるビデオ符号化ユニットによってさらに使用されてもよい。

別の実施形態では、サフィックスＡＰＳおよびすべてのＣＴＵを参照するスライスヘッダは、サフィックスＡＰＳでシグナリングされるフィルタパラメータおよびＡＬＦ制御情報のデフォルト値を適用される適応ループフィルタを有すると推測される。

ＡＵＤにおけるパラメータセットＩＤの参照のシグナリング
以下、本発明の他の態様、すなわち、ピクチャ内で参照されるすべてのパラメータセットのリストへのアクセスを容易にする方法について説明する。

本願の本発明のこの態様によれば、デコーダは、デコードを開始する前に、すべての必要なパラメータセットが利用可能であるかどうかを容易に決定することができる。
－使用されるすべてのパラメータセットのリストは、高レベルシンタックス構造に含まれる。
－リストは以下より構成される。
〇１つのＶＰＳ（ビデオパラメータセット）
〇１つのＤＰＳ（デコーダパラメータセット）
〇一つ以上のＳＰＳ（シーケンスパラメータセット）
〇一つ以上のＰＰＳ（ピクチャパラメータセット）
〇１つ以上のＡＰＳ（アダプテーションパラメータセット）（ＡＰＳタイプによって順序付けられる）
－任意選択で、各リストの前に１つまたは複数のシンタックス要素が存在し、どのパラメータセットタイプがリスト（送信を無効にするオプションを含む）であるかを示す。
－情報を保持するシンタックス構造は、アクセスユニットデリミタ（ＡＵＤ）に含まれる。

シンタックスの一例が図８に示されており、すなわち、所定のユニット、すなわち、ＡＵＤには、複数の識別子２００が含まれている。たとえば、ＶＰＳの識別子「ａｕｄ＿ｖｐｓ＿ｉｄ」、ＤＰＳの識別子「ａｕｄ＿ｄｐｓ＿ｉｄ」、ＳＰＳの識別子「ａｕｄ＿ｓｐｓ＿ｉｄ」、ＰＰＳの識別子「ａｕｄ＿ｐｐｓ＿ｉｄ」などである。

ＡＵＤ内のみのＡＰＳ ＩＤのシグナリング
ＡＰＳは、ピクチャの各スライスによって参照される。ビットストリームを組み合わせる場合、異なるＡＰＳの書き換えおよび／または組み合わせが必要になることがある。

スライスヘッダの書き換えを回避するために、ＡＰＳ ＩＤはスライスヘッダではなくアクセスユニットデリミタでシグナリングされる。したがって、変更の場合、スライスヘッダを書き換える必要はない。アクセスユニットデリミタを書き換えることは、はるかに容易な操作である。

シンタックスの例を図９に示す。

別の実施形態では、ＡＰＳ ＩＤは、別のシンタックス要素を条件とするＡＵＤにおいてのみ送信される。シンタックス要素で、ＡＰＳ ＩＤがＡＵＤに存在しないことが示されている場合、ＡＰＳ ＩＤはスライスヘッダに存在する。シンタックスの例を図１０に示す。すなわち、図１０に示すように、ＡＵＤは、フラグ２０４、例えばシンタックス「ａｐｓ＿ｉｄｓ＿ｉｎ＿ａｕｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇ」を含む。

図１１ａ～図１１ｃは、図８～図１０に示した上記実施形態に係る所定の符号化パラメータとＡＵとの関係を示す例の概略図である。

図１１ａに示すように、複数のパラメータセット１２０は、例えばＡＰＡおよびＰＰＳを含む１つまたは複数の第１の所定のパラメータセット１２６と、例えばＳＰＳ、ＤＰＳおよびＶＰＳを含む１つまたは複数の第２の所定のパラメータセット１２８とを含む。第２の所定のパラメータセット１２８は、第１の所定のパラメータセット１２６よりも高い階層レベルに属する。図１１ａに示すように、ＡＵは、複数のスライスデータ、例えば、ＶＣＬ０～ＶＣＬｎを含み、第１および第２の所定のパラメータセットは、所定のパラメータセット１２２、例えば、ＶＣＬ０用のパラメータセットに含まれる。

複数のパラメータセット１２０は、ＡＵのＡＵＤに格納され、デコーダにシグナリングされる。

図１１ｂに示すように、フラグ２０４がＡＵＤに含まれる場合、フラグ２０４は、特定の所定のパラメータセット１２６ｂを参照する識別子２００の所定の識別子が所定のユニット１２４に存在するか、または特定の所定のパラメータセット１２６ｂを参照する所定の識別子が１つまたは複数のビデオ符号化ユニット１００に存在するかどうかを示す（２０５）。すなわち、フラグ２０４は、ＡＰＳ１２６ｂがＡＵＤにあるかＶＬＣにあるかを（図１１ｂに矢印で示されるように）示す。

図１１ｃに示すように、第１の所定のパラメータセット１２６は、１つまたは複数のビデオ符号化ユニット１００（たとえばＡＵ）内の識別子によって参照される第３の所定のパラメータセット１２６ａ、たとえばＰＰＳと、所定のユニット１２４（たとえばＡＵＤ）内に存在する（図８および図９に示す）識別子２００によって参照されるが、１つまたは複数のビデオ符号化ユニット１００（ＡＵ）内の識別子のいずれによっても参照されず、所定のパラメータセットのいずれによっても参照されない第４の所定のパラメータセット１２６ｂ、たとえばＡＰＳと、を含む。

ＡＵＤへのアクセスユニット特性のシグナリング
現在、ＡＵＤは、以下のスライスがタイプＩ、Ｂ、またはＰであるかどうかを示している。ほとんどのシステムでは、この機能が、Ｉピクチャが必ずしもランダムアクセスポイントがあることを意味しないため、あまり有用ではない。ドロップする必要がある場合のＡＵの優先順位付けは、通常、テンポラルＩＤの解析、（他から参照されていない）破棄可能なピクチャであるかどうかの解析など、他の方法で行うことができる。

ピクチャタイプを示す代わりに、ＮＡＬユニットタイプ、並びにそれらが廃棄可能なピクチャであるかどうか等を示すことができる。さらに、多層の場合には、特性を記述することがより困難になる可能性がある。
〇ＮＡＬユニットヘッダ内で指定するもの代わりに、アクセスユニット内のすべてのＶＣＬ ＮＡＬユニットに対して使用される全体的なＮＡＬユニットタイプ（例えば、ＩＤＲ、ＣＲＡなど）によって指定される、ピクチャのランダムアクセス特性。
〇層内のピクチャはある層では破棄できるが、別の層ではコロケーションされたピクチャではない。
〇層内のピクチャは、ある層では出力なし（ｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇ）としてマークされ、別の層ではコロケーションされたピクチャではない。

したがって、図１２ａに示す実施形態では、ＡＵＤは、情報が単一層に適用されるか、またはすべての層に適用されるかを示す。つまり、ＡＵＤフラグでは、例えば以下に示すように、ＡＵ特性に関する情報を参照する。

「ｌａｙｅｒ＿ｓｐｅｃｉｆｉｃ＿ａｕｄ＿ｆｌａｇ」３００：ビデオデータストリームの瞬時ではあるが異なる層に関連するピクチャのために、別々のアクセスユニットがビデオデータストリームで定義されているか、またはビデオデータストリームの瞬時ではあるが異なる層に関連するピクチャがアクセスユニットの一方に符号化されているか、を制御する、および／または、
「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ」３０２：ビデオ符号化タイプ指示の場合、１つのアクセスユニット内のビデオ符号化ユニットに割り当てられる、アクセスユニット内のビデオ符号化ユニットのビデオ符号化タイプを示し、１つのアクセスユニット内に含まれるビデオ符号化ユニットは互いに異なり、すなわち、ＮＡＬユニットタイプのシンタックス要素の存在を示すことによって、ＮＡＬユニットタイプを示す、および／または
「ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ」３０４：アクセスユニットがいかなる他のピクチャによって参照されていないピクチャを示す、および／または、
「ｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇ」３０６：出力しないピクチャを示す。別の実施形態では、ＡＵＤは、ＡＵＤが従属ＡＵＤであることを示すことができる。これは、下記を意味する。
〇従属層の前のＡＵＤからパラメータを継承するが、ある層特有の情報を追加する、および／または、
〇新しいＡＵは始まっていない。

図１２ｂはＡＵＤにおける指示を示し、すなわち、ビデオ符号化ユニットのビデオ符号化タイプは、複数のピクチャのランダムアクセス特性を記述することによって示される。すなわち、シンタックス「ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ」は、ＮＡＬユニットヘッダ内で指定される代わりに、アクセスユニット内のすべてのＶＣＬ ＮＡＬユニットに使用される全体的なＮＡＬユニットタイプ（例えばＩＤＲ、ＣＲＡなど）によって指定される、図１２ｂにおいて「ａｌｌ＿ｐｉｃｓ＿ｉｎ＿ａｕ＿ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｆｌａｇ」で示すように、ピクチャのランダムアクセス特性を示す。

本発明の一実施形態によるシンタックスの例を図１３に示す。

この例では、パラメータセット３０８、すなわち、ＡＵＤ内の情報がすべての層に適用されるかどうかを示す実装「ｌａｙｅｒ＿ｓｐｅｃｉｆｉｃ＿ａｕｄ＿ｆｌａｇ」、ＡＵＤが新しいグローバルアクセスユニットを開始するかどうかを示す「ｄｅｐｅｎｄｅｎｔ＿ａｕｄ＿ｆｌａｇ」、または「ｌａｙｅｒ－ａｃｃｅｓｓユニット」のみであるかどうかを示す。従属ＡＵＤでは、基本層ＡＵＤからの継承は「ａｕｄ＿ｉｎｈｅｒｉｔａｎｃｅ＿ｆｌａｇ」によって示される。

いくつかの態様を装置の文脈で説明したが、これらの態様は、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明も表すことは明らかである。同様に、方法ステップの文脈で説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路などのハードウェア装置によって（またはそれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数を、そのような装置によって実行することができる。

本発明のデータストリームは、デジタル記憶媒体に記憶することができ、または無線伝送媒体のような伝送媒体やインターネットのような有線伝送媒体に伝送することができる。

特定の実施要件に応じて、本願の実施形態は、ハードウェアまたはソフトウェアで実施することができる。この実装は、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して実行することができ、これらは、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または協働することができる）電子的に読み取り可能な制御信号が記憶されている。したがって、デジタル記憶媒体は、コンピュータ読み取り可能であってもよい。

本発明によるいくつかの実施形態は、本明細書で説明される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを備える。

一般に、本願の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの１つを実行するように動作可能である。プログラムコードは例えば、機械読み取り可能キャリア上に記憶されてもよい。

他の実施形態は、機械読み取り可能キャリアに格納された、本明細書に記載された方法のうちの１つを実行するためのコンピュータプログラムを備える。

換言すれば、本発明の方法の一実施形態はしたがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で説明される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書で説明される方法のうちの１つを実行するためのコンピュータプログラムをその上に記録して備える、データキャリア（またはデジタル記憶媒体、またはコンピュータ読み取り可能媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には有形および／または非一時的である。

したがって、本発明の方法のさらなる実施形態は、本明細書で説明される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されてもよい。

さらなる実施形態は、本明細書で説明される方法のうちの１つを実行するように構成された、または適合された、処理手段、例えば、コンピュータ、またはプログラマブル論理装置を備える。

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明によるさらなる実施形態は、本明細書で説明される方法のうちの１つを実行するためのコンピュータプログラムを受信器に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを備える。受信器は例えば、コンピュータ、モバイル装置、メモリ装置等であってもよい。装置またはシステムは例えば、コンピュータプログラムを受信器に転送するためのファイルサーバを含むことができる。

いくつかの実施形態では、プログラマブル論理装置（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書で説明される方法の機能のいくつかまたはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイが、本明細書で説明される方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。

本明細書で説明される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装され得る。

本明細書で説明される装置、または本明細書で説明される装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアで少なくとも部分的に実装され得る。

Claims (25)

1. プロセッサと、メモリとを備えるビデオ復号装置であって、前記メモリと共に動作する前記プロセッサは、
   ビデオデータストリーム内のアクセスユニット（ＡＵ）内の１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを読み出し、
   前記１つまたは複数のＶＣＬ ＮＡＬユニットから復号されたピクチャの再構成されたバージョンを生成し、
   サフィックス適応パラメータセット（ＡＰＳ）ＮＡＬユニットタイプである適応ループフィルタ（ＡＬＦ）適応パラメータセット（ＡＰＳ）を読み出し、ここで、
   前記ＡＬＦ ＡＰＳが、１つまたは複数の適応ループフィルタ係数を含み、および、
   前記ＡＬＦ ＡＰＳが、前記ＡＵ内の前記１つまたは複数のＶＣＬ ＮＡＬユニットに続き、
   前記ＡＬＦ ＡＰＳに含まれる前記１つまたは複数の適応ループフィルタ係数に応じて、復号されたピクチャの再構成されたバージョンに対して適応ループフィルタリングを実行する、ように構成される、ビデオ復号装置。
2. 前記メモリと共に動作する前記プロセッサは、前記ＡＬＦ ＡＰＳを読み出す前に、前記１つまたは複数のＶＣＬ ＮＡＬユニットを読み出すように構成される、請求項１に記載のビデオ復号装置。
3. 前記１つまたは複数のＶＣＬ ＮＡＬユニットは、１つまたは複数のスライスを表す、請求項１に記載のビデオ復号装置。
4. 前記メモリと共に動作する前記プロセッサは、前記１つまたは複数のスライスのデータを読み出した後に前記ＡＬＦ ＡＰＳを読み出すように構成される、請求項３に記載のビデオ復号装置。
5. 前記メモリと共に動作する前記プロセッサは、前記ＡＬＦ ＡＰＳを読み出す前に、前記１つまたは複数のスライスを解析するように構成される、請求項３に記載のビデオ復号装置。
6. 前記ＡＬＦ ＡＰＳは、ＡＬＦ制御情報を含む、請求項１に記載のビデオ復号装置。
7. 前記ＡＬＦ制御情報は、コーディングツリーユニット、ＣＴＵがフィルタリングされるか否かに関する情報を含む、請求項６に記載のビデオ復号装置。
8. 前記ＡＬＦ制御情報は、コーディングツリーユニット、ＣＴＵがどのようにフィルタリングされるかに関する情報を含む、請求項６に記載のビデオ復号装置。
9. 前記ビデオ復号装置は、コンピュータまたはモバイルデバイスのうちの１つである、請求項１に記載のビデオ復号装置。
10. ビデオデータストリームを復号するための方法であって、
    ビデオデータストリーム内のアクセスユニット（ＡＵ）内の１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを読み出すことと、
    前記１つまたは複数のＶＣＬ ＮＡＬユニットから復号されたピクチャの再構成されたバージョンを生成することと、
    サフィックス適応パラメータセット（ＡＰＳ）ＮＡＬユニットタイプである適応ループフィルタ（ＡＬＦ）適応パラメータセット（ＡＰＳ）を読み出すことであって、
    前記ＡＬＦ ＡＰＳが、１つまたは複数の適応ループフィルタ係数を含み、および、
    前記ＡＬＦ ＡＰＳが、前記ＡＵ内の前記１つまたは複数のＶＣＬ ＮＡＬユニットに続く、ＡＬＦ ＡＰＳを読み出すことと、
    前記ＡＬＦ ＡＰＳに含まれる前記１つまたは複数の適応ループフィルタ係数に応じて、復号されたピクチャの再構成されたバージョンに対して適応ループフィルタリングを実行することと、を含む、ビデオデータストリームを復号するための方法。
11. 前記ＡＬＦ ＡＰＳは、ＡＬＦ制御情報を含む、請求項１０に記載の方法。
12. プロセッサと、メモリとを備えるビデオ符号化装置であって、前記メモリと共に動作する前記プロセッサは、
    ビデオデータストリーム内のアクセスユニット（ＡＵ）内の１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを符号化し、
    前記１つまたは複数のＶＣＬ ＮＡＬユニットから復号されたピクチャの再構成されたバージョンを生成し、
    前記復号されたピクチャの前記再構成されたバージョンに基づいて、１つまたは複数の適応ループフィルタ係数を導出し、
    前記１つまたは複数の符号化されたＶＣＬ ＮＡＬユニットに続くデータストリームにおいて、前記１つまたは複数の適応ループフィルタ係数を含む適応ループフィルタ（ＡＬＦ）適応パラメータセット（ＡＰＳ）を、
    前記ＡＬＦ ＡＰＳが、サフィックス適応パラメータセット（ＡＰＳ）ＮＡＬユニットタイプであり、および、
    前記ＡＬＦ ＡＰＳが、前記ＡＵ内の前記１つまたは複数のＶＣＬ ＮＡＬユニットに続く、
    ように符号化する、ように構成される、ビデオ符号化装置。
13. 前記メモリと共に動作する前記プロセッサは、前記ＡＬＦ ＡＰＳの符号化の前に、前記１つまたは複数のＶＣＬ ＮＡＬユニットを符号化するように構成される、請求項１２に記載のビデオ符号化装置。
14. 前記１つまたは複数のＶＣＬ ＮＡＬユニットは、１つまたは複数のスライスを表す、請求項１２に記載のビデオ符号化装置。
15. 前記メモリと共に動作する前記プロセッサは、前記１つまたは複数のスライスのデータの符号化の後に前記ＡＬＦ ＡＰＳを符号化するように構成される、請求項１４に記載のビデオ符号化装置。
16. 前記メモリと共に動作する前記プロセッサは、ピクチャ全体を符号化する前に、前記１つまたは複数のスライスを送信するように構成される、請求項１４に記載のビデオ符号化装置。
17. 前記メモリと共に動作する前記プロセッサは、ＡＬＦパラメータを収集しながら前記１つまたは複数のスライスを送信するように構成される、請求項１４に記載のビデオ符号化装置。
18. 前記ＡＬＦ ＡＰＳは、ＡＬＦ制御情報を含む、請求項１２に記載のビデオ符号化装置。
19. 前記ＡＬＦ制御情報は、コーディングツリーユニット、ＣＴＵがフィルタリングされるか否かに関する情報を含む、請求項１８に記載のビデオ符号化装置。
20. 前記ＡＬＦ制御情報は、コーディングツリーユニット、ＣＴＵがどのようにフィルタリングされるかに関する情報を含む、請求項１８に記載のビデオ符号化装置。
21. 前記ビデオ符号化装置は、コンピュータまたはモバイルデバイスのうちの１つを備える、請求項１２に記載のビデオ符号化装置。
22. ビデオデータストリームをビデオ符号化するための方法であって、
    ビデオデータストリーム内のアクセスユニット（ＡＵ）内の１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを符号化することと、
    前記１つまたは複数のＶＣＬ ＮＡＬユニットから復号されたピクチャの再構成されたバージョンを生成することと、
    前記復号されたピクチャの前記再構成されたバージョンに基づいて、１つまたは複数の適応ループフィルタ係数を導出することと、
    前記１つまたは複数の符号化されたＶＣＬ ＮＡＬユニットに続くデータストリームにおいて、前記１つまたは複数の適応ループフィルタ係数を含む適応ループフィルタ（ＡＬＦ）適応パラメータセット（ＡＰＳ）を、
    前記ＡＬＦ ＡＰＳが、サフィックス適応パラメータセット（ＡＰＳ）ＮＡＬユニットタイプであり、および、
    前記ＡＬＦ ＡＰＳが、前記ＡＵ内の前記１つまたは複数のＶＣＬ ＮＡＬユニットに続く、
    ように符号化することと、を含む、ビデオデータストリームをビデオ符号化するための方法。
23. 前記ＡＬＦ ＡＰＳは、ＡＬＦ制御情報を含む、請求項２２に記載の方法。
24. 実行されると、コンピュータに方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
    ビデオデータストリーム内のアクセスユニット（ＡＵ）内の１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを読み出すことと、
    前記１つまたは複数のＶＣＬ ＮＡＬユニットから復号されたピクチャの再構成されたバージョンを生成することと、
    サフィックス適応パラメータセット（ＡＰＳ）ＮＡＬユニットタイプである適応ループフィルタ（ＡＬＦ）適応パラメータセット（ＡＰＳ）を読み出すことであって、
    前記ＡＬＦ ＡＰＳが、１つまたは複数の適応ループフィルタ係数を含み、および、
    前記ＡＬＦ ＡＰＳが、前記ＡＵ内の前記１つまたは複数のＶＣＬ ＮＡＬユニットに続く、ＡＬＦ ＡＰＳを読み出すことと、
    前記ＡＬＦ ＡＰＳに含まれる前記１つまたは複数の適応ループフィルタ係数に応じて、復号されたピクチャの再構成されたバージョンに対して適応ループフィルタリングを実行することと、を含む、非一時的コンピュータ可読媒体。
25. 実行されると、コンピュータに方法を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
    ビデオデータストリーム内のアクセスユニット（ＡＵ）内の１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを符号化することと、
    前記１つまたは複数のＶＣＬ ＮＡＬユニットから復号されたピクチャの再構成されたバージョンを生成することと、
    前記復号されたピクチャの前記再構成されたバージョンに基づいて、１つまたは複数の適応ループフィルタ係数を導出することと、
    前記１つまたは複数の符号化されたＶＣＬ ＮＡＬユニットに続くデータストリームにおいて、前記１つまたは複数の適応ループフィルタ係数を含む適応ループフィルタ（ＡＬＦ）適応パラメータセット（ＡＰＳ）を、
    前記ＡＬＦ ＡＰＳが、サフィックス適応パラメータセット（ＡＰＳ）ＮＡＬユニットタイプであり、および、
    前記ＡＬＦ ＡＰＳが、前記ＡＵ内の前記１つまたは複数のＶＣＬ ＮＡＬユニットに続く、
    ように符号化することと、を含む、非一時的コンピュータ可読媒体。

Images