JP6934572B2

JP6934572B2 - ビデオエンコーダおよび／またはビデオデコーダにおける変換選択

Info

Publication number: JP6934572B2
Application number: JP2020532969A
Authority: JP
Inventors: ルオヤンユー，; ヂィーチャン，; リキャルドショバーリ，
Original assignee: テレフオンアクチーボラゲットエルエムエリクソン（パブル）
Priority date: 2018-07-13
Filing date: 2019-07-10
Publication date: 2021-09-15
Anticipated expiration: 2039-07-10
Also published as: US11627329B2; PH12020551004A1; US20200186815A1; JP2021513230A; DK3707898T3; BR112020012295A2; US11218716B2; ES2864670T3; EP3707898B1; US20230239486A1; CA3090207C; EP3843395A1; MX2020006114A; CA3090207A1; US20220078459A1; KR102226462B1; PL3707898T3; EP3707898A1; CL2020001785A1; CN111567041A

Description

本開示はビデオ符号化および／または復号に関する。

本開示は、ピクチャのシーケンスからなるビデオシーケンスの符号化および／または復号に関する。

成分
ビデオシーケンスの各ピクチャは１つまたは複数の成分からなる。各成分は、サンプル値の２次元矩形アレイとして記述され得る。ビデオシーケンス中のピクチャは、ｉ）サンプル値がルーマ値であるルーマ成分（Ｙ）、ｉｉ）サンプル値がクロマ値である第１のクロマ成分（Ｃｂ）、およびｉｉｉ）サンプル値がクロマ値である第２のクロマ成分（Ｃｒ）の、３つの成分からなることが一般的である。

他の例はＹ’ＣｂＣｒ、ＹＵＶおよびＩＣ_ＴＣ_Ｐを含む。ＩＣ_ＴＣ_Ｐでは、Ｉは「強度ルーマ」成分である。本文書の残りについては、ルーマ成分Ｙ’、ＹまたはＩをＹまたは単にルーマと呼ぶことがある。クロマ成分の寸法はルーマ成分よりも各寸法が２倍だけ小さいことが一般的である。たとえば、ＨＤピクチャのルーマ成分のサイズは１９２０×１０８０であり、クロマ成分はそれぞれ９６０×５４０の寸法を有する。成分は色成分と呼ばれることがある。

ブロックおよびユニット
ブロックは、ピクチャのエリアに対応するサンプルの１つの２次元アレイであり、ユニットは１つまたは複数のブロックからなる。ビデオコーディングでは、各成分はブロックに分割され、コード化ビデオビットストリームはブロックのシリーズからなる。「変換ブロック」は、変換がそれに適用されるブロックである。「予測ブロック」は、単一の予測モードがそれに適用されるブロックである。

ビデオコーディングでは、ピクチャは、「ピクチャエリア」と呼ばれる、ピクチャの特定のエリアをカバーするユニットに分割されることが一般的である。各ユニットは、そのピクチャエリアを構成するすべてのブロックからなり、各ブロックは完全に１つのユニットに属する。ＨＥＶＣにおけるコーディングユニット（ＣＵ）はユニットの一例である。

ＨＥＶＣでは、いくつかの復号プロセスがコーディングユニットレベルにおいて行われ、いくつかは予測ブロックにおいて行われ、いくつかは変換ブロックにおいて行われる。

ＨＥＶＣでは、予測のために現在ピクチャの前の復号されたサンプルからの予測のみを使用するイントラ予測と、少なくとも１つ前に復号されたピクチャからの予測を使用するインター予測との、予測ブロックのための２つの種類の予測タイプがある。イントラ予測を使用して生成される予測ブロックは「イントラブロック」と呼ばれることがあり、インター予測を使用して生成される予測ブロックは「インターブロック」と呼ばれることがある。

現在の万能ビデオコーディング（ＶＶＣ）標準化開発では、ＣＵは、暗黙的に複数の変換ブロックに分割され得る。暗黙的変換ブロックは、しかしながら、ＣＵサイズが最大変換サイズよりも大きい幅または高さを有するときにのみ現れ得る。ＣＵ予測タイプがイントラ予測であるとき、同じ変換ブロック暗黙的分割機構が予測ブロックに適用される。変換ブロックのサイズは、ＣＵ予測タイプがイントラ予測であるときの予測ブロックのサイズと同じである。言い換えれば、ＣＵ予測タイプがイントラ予測であるとき、変換と予測とは同じ２次元アレイ上で動作する。

イントラ予測
ＨＥＶＣでは、イントラ予測は、同じピクチャの前に復号されたＣＵからのサンプルに基づいて、予測ブロックのためのサンプルを生成する。これらのサンプルは「参照サンプル」と呼ばれる。前に復号されたＣＵが利用可能でないとき、対応する参照サンプルが、最も近い利用可能な左下または右上の参照サンプルからパディングされる。

ＨＥＶＣでは、ＤＣモード、平面モードおよび３３個の角度モードの、３５個のイントラ予測モードがある。これらの３３個の角度モードの各々は、あらかじめ定義された予測方向を表す。イントラ予測は、その場合、ピクチャの近隣エリアに対応する参照サンプルの空間外挿に基づいて、ピクチャのエリアに対応する予測ブロックのためのサンプルを予測する方向に従う。

現在のＶＶＣ開発は、ベンチマークセット（ＢＭＳ）と呼ばれるツールのセットを規定している。ＢＭＳは、規格に含まれる可能性が高いツールからなる。ＢＭＳは、最高６７個のイントラ予測モードをサポートするために既存のＨＥＶＣのイントラ方向を延長する。

残差、１次変換および量子化
残差ブロックは、ピクチャのエリアに対応する元のサンプル（「元のブロック」）と、ピクチャのエリアに対応する予測されたサンプル（すなわち、ピクチャのエリアのための予測されたブロック）との間のサンプル値差を取ることによって得られる、残差サンプルからなる。残差ブロックは、１次変換された（ＤＣＴ／ＤＳＴ変換された）変換係数を生成するために空間コア変換を使用することによってさらに処理される。変換は、残差ブロックの情報を周波数領域に無相関化するプロセスである。ＨＥＶＣでは、空間コア変換のタイプがＤＣＴ−ＩＩおよび４×４ＤＳＴ−ＶＩＩを含む。空間コア変換は１次変換と呼ばれることがある。

得られた１次変換された（ＤＣＴ／ＤＳＴ変換された）変換係数（または略して単に「変換係数」）は、次いで、量子化された係数の精度を制御する量子化パラメータ（ＱＰ）に従って量子化される。量子化係数は残差係数と呼ばれることがある。ＱＰが高いと、係数の精度が低くなり、したがって残差ブロックの忠実度が低くなる。非ゼロ残差係数はビデオビットストリーム中でシグナリングされる。デコーダは、次いで、非ゼロ残差係数を受信し、残差ブロックを導出するために逆量子化および逆方向変換を適用する。量子化後にすべての残差係数が０である場合、フラグがビデオビットストリーム中でシグナリングされ、したがってデコーダはブロックのための逆量子化および逆方向変換を適用する必要がない。

分離不可能２次変換（ＮＳＳＴ）
ＮＳＳＴは、イントラブロックのために適用される（すなわち、残差ブロックが、イントラ予測を使用して生成された予測されたブロックを使用して生成されるときに適用される）。ＮＳＳＴは、変換係数上で動作する２次変換である。エンコーダ側では、順方向ＮＳＳＴが順方向コア変換と量子化との間に適用される。デコーダ側では、逆方向ＮＳＳＴが逆量子化と逆方向コア変換との間に適用される。現在のＶＶＣでは、ＮＳＳＴは、低周波変換係数、すなわち左上４×４変換係数のみに適用される。

ＤＣＴ／ＤＳＴベースの変換は、特に強い方向性情報が存在するとき、残差信号を十分に無相関化することができないので、ＢＭＳツールは変換プロセスの適応性を改善する。

角度モードの各々について、３つの異なる行列のＮＳＳＴ変換セットが規定される。ＤＣモードまたは平面モードについて、２つの異なる行列のＮＳＳＴ変換セットが規定される。ＢＭＳでは、各ＮＳＳＴ変換セットに、変換セットを識別するインデックスが割り当てられる。イントラ予測モードとＮＳＳＴ変換セットインデックスとの間のマッピングは、ルックアップテーブルを使用して規定される。すなわち、イントラ予測モードの各々を変換セットインデックスにマッピングするためにルックアップテーブルを使用し、それによって、イントラ予測モードの各々を、イントラ予測モードがそれにマッピングされたインデックスによって識別される変換セットにマッピングする。

クロスコンポーネント予測
ＢＭＳはクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードを含む。ＣＣＬＭはクロマ成分のための特殊なイントラ予測方法である。クロマサンプルは、以下のように線形モデルを使用することによって、再構成されたルーマサンプルに基づいて予測される。ｐｒｅｄ＿Ｃ（ｉ，ｊ）＝α・ｒｅｃ＿Ｌ’（ｉ，ｊ）＋β、ここでｐｒｅｄ＿Ｃ（ｉ，ｊ）は、ＣＵ中の予測されたクロマサンプルを表し、ｒｅｃ＿Ｌ’（ｉ，ｊ）は、ダウンサンプリングされ、再構成されたルーマサンプルを表す（クロマが、ルーマと比較して低減された分解能を有する場合）。パラメータαおよびβは、予測ブロックの周りの、近隣の再構成されたルーマサンプルとクロマサンプルとの間の回帰誤差（regression error）を最小にすることによって導出される。

クロマ成分（すなわち、クロマ成分予測ブロック）を含む特定の予測ブロックを生成するためにＣＣＬＭが使用されるとき、現在のソリューションは、特定の予測ブロックのための変換セット、すなわち、特定の予測ブロックに基づいて生成された残差ブロックを変換することによって生成された変換係数を変換するために使用される変換セット（たとえば、ＮＳＳＴ変換セット）を選択するためのエントリとして、イントラ平面モードを使用する。選択された変換セットは、しかしながら、予測ブロック中に（たとえば、クロマ成分中に）方向パターンが存在し得るので、あまり好適でないことがある。

この問題を克服するために、本開示では、予測ブロックのための変換セットを選択するために改善されたプロセスについて説明する。プロセスはエンコーダとデコーダの両方において使用され得る。たとえば、プロセスは、参照ブロックから予測された予測ブロックのために、エンコーダとデコーダの両方において使用され得る。いくつかの実施形態では、予測ブロックと参照ブロックの両方がイントラブロックである。

一実施形態（すなわち、エンコーダ実施形態）では、プロセスは、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定することを含み、決定することは、方向パターンを決定するために予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む。本方法はまた、決定された方向パターンに基づいて、予測ブロックのための変換セット（たとえば、ＮＳＳＴ変換セット）を選択することを含む。本方法は、予測ブロックから導出されたデータ（たとえば、予測ブロックから導出された残差ブロック、および元のブロック、または残差ブロックを変換した結果として生成された変換係数）を変換する、決定された方向パターン変換に基づいて、予測ブロックのために選択された変換セットを使用することをさらに含む。

別の実施形態（すなわち、デコーダ実施形態）では、プロセスは、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定することを含み、決定することは、方向パターンを決定するために予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む。プロセスはまた、決定された方向パターンに基づいて、予測ブロックのための逆方向変換セット（たとえば、逆方向ＮＳＳＴ変換セット）を選択することを含む。プロセスは、決定された方向パターンに基づいて選択された逆方向変換セットを使用して、データ（たとえば、逆量子化後の変換係数ブロック）を逆方向変換することをさらに含む。

いくつかの実施形態では、参照ブロックはイントラ予測モードを有し、方向パターンを決定することは、参照ブロックのイントラ予測モードを決定することを含むか、または参照ブロックのイントラ予測モードを決定することからなる。いくつかの実施形態では、プロセスは、イントラ予測モードの特定のセット中に含まれる各イントラ予測モードを変換セットインデックスにマッピングするマッピング情報を維持することをさらに含み、参照ブロックのイントラ予測モードはイントラ予測モードの特定のセット中に含まれ、変換セットまたは逆方向変換セットを選択することは、参照ブロックのイントラ予測モードがそれにマッピングされる変換セットインデックスを識別するためにマッピング情報を使用することを含む。

いくつかの実施形態では、予測ブロックはクロマ色成分に属し、参照ブロックはルーマ色成分に属する。

いくつかの実施形態では、プロセスは、参照ブロックとクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードとを使用して予測ブロックを生成することをさらに含む。

いくつかの実施形態では、予測ブロックは色成分に属し、参照ブロックは同じ色成分に属する。

いくつかの実施形態では、プロセスは、参照ブロックとイントラブロックコピー（ＩＢＣ）ツールとを使用して予測ブロックを生成することをさらに含む。

いくつかの実施形態では、方向パターンを決定することは以下のステップを含む。２つまたはそれ以上のイントラ予測モードのセットが参照ブロックのイントラ予測モードと第２のイントラ予測モードとを含む、２つまたはそれ以上のイントラ予測モードのセットを規定することと、イントラ予測モードのセット中に含まれる各イントラ予測モードについて、一時ブロックを生成することと、イントラ予測モードのセットからイントラ予測モードのうちの１つを選択するために、生成された一時ブロックと予測ブロックとを使用することとを含み、選択されたイントラ予測モードは、変換セットが選択されたイントラ予測モードに基づいて選択されるような方向パターンを表す。

いくつかの実施形態では、符号化プロセスは、条件のセットが満たされていることを決定することをさらに含み、決定された方向パターンに基づいて選択された変換セットを使用してデータを変換するステップは、条件のセットが満たされていることを決定した結果として実行される。

いくつかの実施形態では、復号プロセスは、条件のセットが満たされていることを決定することをさらに含み、決定された方向パターンに基づいて選択された変換セットを使用してデータを変換するステップは、条件のセットが満たされていることを決定した結果として実行される。

いくつかの実施形態では、条件のセットが満たされていることを決定することは、予測ブロックのイントラ予測モードを決定することと、予測ブロックのイントラ予測モードがある条件（たとえば、第１のしきい値（Ｔ１）を上回っている、ここでＴ１は６６に等しくなり得る）を満たしていることを決定することとを含む。

いくつかの実施形態では、条件のセットが満たされていることを決定することは、予測ブロックがＣＣＬＭを使用して生成されたことを決定することを含む。

いくつかの実施形態では、条件のセットが満たされていることを決定することは、参照ブロックの非ゼロ変換係数の数（Ｎ）を決定することと、Ｎがある条件を満たしている（たとえば、Ｎがあるしきい値（Ｔ２）にあるか、または下回っている）ことを決定することとを含む。

いくつかの実施形態では、条件のセットが満たされていることを決定することは、参照ブロックのために使用されるＱＰを決定することと、ＱＰがある条件を満たしている（たとえば、ＱＰがあるしきい値（Ｔ３）にあるか、または上回っている）ことを決定することとを含む。

いくつかの実施形態では、条件のセットが満たされていることを決定することは、エンコーダから受信された特定のフラグがある値に設定されていることを決定することを含む。したがって、いくつかの実施形態では、ブロックレベルフラグがビデオビットストリーム中でシグナリングされ得る。そのような実施形態では、参照ブロックは、フラグが１（または他の事前定義された値）に設定されているときのみ、方向パターンを決定するために使用される。

いくつかの実施形態では、決定された方向パターンに基づいて選択された変換セットを使用してデータを変換することは、選択された変換セットを使用して残差ブロックを変換することを含む。

いくつかの実施形態では、決定された方向パターンに基づいて選択された変換セットを使用してデータを変換することは、データを生成するために残差ブロックを変換するために１次変換ユニットを使用することと、データを変換するために選択された変換セットを使用することとを含む。

本明細書に組み込まれ、明細書の一部を形成する添付の図面は、様々な実施形態を示す。

一実施形態によるシステムを示す図である。イントラ予測モードを特定の変換セットインデックスにマッピングする例示的なテーブルを示す図である。４×４ブロックを示す図である。一実施形態によるプロセスを示す図である。一実施形態によるプロセスを示す図である。一実施形態によるプロセスを示す図である。一実施形態による装置のブロック図である。一実施形態によるエンコーダの機能ユニットを示す図である。一実施形態によるエンコーダの機能ユニットを示す図である。

図１は例示的な一実施形態によるシステム１００を示す。システム１００は、ネットワーク１１０（たとえば、インターネットまたは他のネットワーク）を介してデコーダ１０４と通信しているエンコーダ１０２を含む。

エンコーダ１０２は、１次変換ユニット（ＰＴＵ）１１１と、２次変換ユニット（ＳＴＵ）１１２（たとえば、ＮＳＳＴユニット）と、量子化ユニット（ＱＵ）１１３とを含む。上記で説明したように、１次変換ユニット１１１は、周波数領域に残差ブロックを無相関化するプロセスを実行する空間コア変換を実装し（すなわち、変換係数を生成し）得、２次変換ユニット１１２は、イントラブロックのために適用され得、量子化された係数の精度を制御するＱＰに従って量子化ユニット１１３によって量子化される係数を生成するために、変換係数（すなわち、１次変換ユニット１１１の出力）に対して動作し得る。同様に、デコーダ１０４は、逆量子化ユニット１２３と、逆方向第２変換ユニット１２２と、逆方向１次変換ユニット１２１とを含む。

図１にさらに示されているように、エンコーダ１０２およびデコーダ１０４の各々は、予測ブロックのために、それぞれ、変換セット（たとえば、１次変換セットまたは２次変換セット）、または逆方向変換セットを選択するように機能するセレクタ１１４、１２４を含み得る。有利には、いくつかのシナリオでは、セレクタ１１４、１２４は、予測ブロックがそれから予測される参照ブロックからの情報を使用して予測ブロック中の方向パターンを決定し、次いで、決定された方向パターンに基づいて変換セット（または逆方向変換）を選択する。いくつかの実施形態では、予測ブロックと参照ブロックの両方はイントラブロックである。いくつかの実施形態では、方向パターンを決定することは、変換セレクタ１１４、１２４が参照ブロックのイントラ予測モードおよび／または参照ブロックの再構成されたサンプル値を決定することを含むか、または変換セレクタ１１４、１２４が参照ブロックのイントラ予測モードおよび／または参照ブロックの再構成されたサンプル値を決定することからなる。

たとえば、一実施形態では、セレクタ１１４は、予測ブロック（すなわち、予測ブロックの参照ブロック）を生成するために使用される参照ブロックのイントラ予測モードを決定することによって、予測ブロックのための変換セットを選択し、次いで、決定されたイントラ予測モードがそれにマッピングされる変換セットを選択するために、イントラ予測モードのセット中に含まれる各イントラ予測モードを特定の変換セットに（たとえば、変換セットを識別する変換セットインデックスに）マッピングする情報（たとえば、テーブル）を使用する。

図２は、イントラ予測モード０〜６６の各々を変換セットインデックスにマッピングする例示的なテーブルを示す。したがって、たとえば、セレクタ１１４が、予測ブロックの参照ブロックのイントラ予測モードが６６であることを決定した場合、セレクタ１１４は、変換セットインデックス２によって識別される変換セットを、予測ブロックのために選択する。言い換えれば、一実施形態では、決定された方向パターンを使用して予測ブロックのための変換セットを選択することは、参照ブロックのためのイントラ予測モードを、変換セットを選択するためのエントリとして使用することからなる。

選択された変換セットは、次いで、１次変換ユニット１１１または２次変換ユニット１１２によって適用され、選択された逆方向変換は、次いで、１次逆方向変換ユニット１２１または２次逆方向変換ユニット１２２によって適用される。このプロセスの利点は、たとえば、ＣＣＬＭが使用されるとき、クロマ成分の残差信号のより良い無相関化を与えることである。

一実施形態では、選択された変換セットはＮＳＳＴ変換セットまたは任意の他の方向依存変換セットである。予測ブロックのための選択された変換セットは、予測ブロックと予測ブロックに対応する元のブロックとに基づいて生成される残差ブロックに対して動作する１次変換として使用されるか、または残差ブロックを変換する１次変換ユニットの結果として生成された変換係数に対して動作する２次変換として使用されるかのいずれかであり得る。プロセスは、単一の色成分のために、またはすべての色成分に適用され得る。色成分の例は、ルーマ、ＣｂおよびＣｒである。

いくつかの実施形態では、予測ブロックはクロマ色成分に属し、参照ブロックはルーマ色成分に属する。１つの例は、ＣＣＬＭモードが使用されるときである。いくつかの実施形態では、予測ブロックと参照ブロックの両方が同じ色成分に属する。１つの例は、ＨＥＶＣの範囲拡張におけるイントラブロックコピー（ＩＢＣ）ツールが使用されるときである。ツールは、同じピクチャまたはスライス中の前にコーディングされたブロックを参照することによって予測ブロックを作成する。好ましくは、この実施形態は、ピクチャまたはスライスがイントラであるときに適用される。

いくつかの実施形態では、参照ブロックからの情報を使用して予測ブロックにおける方向パターンを決定することは、セレクタ１１４、１２４が参照ブロックのイントラ予測モードと予測ブロックの両方を使用してイントラ予測モードを選択することを含む。セレクタ１１４（１２４）は、次いで、変換セット（逆方向変換セット）を直接選択するために、選択されたイントラ予測モードを使用する。たとえば、ＣＣＬＭが使用されるとき、予測ブロックのための生成プロセスは、参照されたルーマブロックの再構成されたサンプルのダウンサンプリングと線形マッピングとを伴う。

一実施形態では、変換セット（逆方向変換セット）を選択するために使用されるイントラ予測モードを選択するために以下のステップがセレクタ１１４（１２４）によって実行される。

第１に、イントラ予測モードのセットが規定される。セットは、参照ブロックのイントラ予測モード（Ｌ＿ｄｉｒ）を含み、いくつかの追加のモードを含む。追加のモードは、Ｌ＿ｄｉｒに隣接するモードを含有し得、追加のモードはまた、隣接しないＤＣイントラ予測モードまたは平面イントラ予測モードを含有し得る。

セット中に含まれる各モードについて、セレクタ１１４、１２４は、予測ブロック（Ｐ）（サイズがＭ×Ｎであると仮定する）の第１の行および第１の列からのサンプルを使用して、Ｐ内の残りのサンプル（（Ｍ−１）×（Ｎ−１）のサイズ）を予測する。例が図３に示されている。言い換えれば、セット中に含まれる各モードについて、イントラ予測方法を使用して（Ｍ−１）×（Ｎ−１）をもつ一時ブロックＴが生成される。

ブロックＴが生成された後に、Ｔ中のサンプルは、Ｐの対応したサンプルに対して比較される。比較は、以下で示されるように、絶対差分和（sum of absolute difference）（ＳＡＤ）を計算することによって行われ得る。

最も小さいＳＡＤを与えるイントラ予測モードが、方向パターンを表すために選択される（すなわち、変換（逆方向変換）セットを直接選択するために使用される、選択されたイントラ予測モード）。

図４は、エンコーダ１０２によって実行される、一実施形態による、プロセス４００を示すフローチャートである。

プロセス４００は、セレクタ１１４がビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定するステップｓ４０２において開始し得、決定することは、方向パターンを決定するために予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む。

いくつかの実施形態では、方向パターンを決定することは、セレクタ１１４が参照ブロックのイントラ予測モードを決定することを含むか、または参照ブロックのイントラ予測モードを決定することからなる。

ステップｓ４０４において、セレクタ１１４は、決定された方向パターンに基づいて（たとえば、参照ブロックのイントラ予測モードに基づいて）予測ブロックのための変換セットを選択する。

ステップｓ４０６において、エンコーダ１０２の変換ユニット（たとえば、１次変換ユニット１１１または２次変換ユニット１１２）は、予測ブロックから導出されたデータ（たとえば、予測ブロックと元のブロックとから導出された残差ブロック、または予測ブロックから導出された残差ブロックを変換した結果として生成された変換係数）を変換するために、決定された方向パターンに基づいて予測ブロックのために選択された変換セットを使用する。たとえば、１次変換ユニット１１１が、選択された変換セットを使用して残差ブロックを変換するか、または２次変換ユニット１１２が、選択された変換セットを使用して１次変換ユニット１１１の出力を変換する。

図５は、デコーダ１０４によって実行される、一実施形態による、プロセス５００を示すフローチャートである。

プロセス５００は、セレクタ１２４がビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定するステップｓ５０２において開始し得、決定することは、方向パターンを決定するために予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む。

ステップｓ５０４において、セレクタ１２４は、決定された方向パターンに基づいて、予測ブロックのための逆方向変換セット（たとえば、逆方向ＮＳＳＴ変換セット）を選択する。

ステップｓ５０６において、デコーダ１０４の逆方向変換ユニット（たとえば、１次逆方向変換ユニット１２１または２次逆方向変換ユニット１２２）は、決定された方向パターンに基づいて選択された逆方向変換セットを使用して、データを逆方向変換する。たとえば、１次変換ユニット１２１が、選択された逆方向変換セットを使用して２次変換ユニット１２２の出力を逆方向変換するか、または２次逆方向変換ユニット１２２が、選択された逆方向変換セットを使用して逆量子化ユニット１２３の出力を逆方向変換する。

いくつかの実施形態では、プロセス４００および／または５００は、イントラ予測モードの特定のセット中に含まれる各イントラ予測モード（たとえば、モード０〜６６）を、変換セットを識別する変換セットインデックスにマッピングするマッピング情報（たとえば、テーブル）を維持することをさらに含む。参照ブロックのイントラ予測モードはイントラ予測モードの特定のセット中に含まれ、変換セット（または逆方向変換セット）を選択することは、参照ブロックのイントラ予測モードがそれにマッピングされる変換セットインデックスを識別するためにマッピング情報を使用することを含む。

いくつかの実施形態では、プロセスはまた、参照ブロックとイントラブロックコピー（ＩＢＣ）ツールとを使用して予測ブロックを生成することを含む。

いくつかの実施形態では、方向パターンを決定することは、２つまたはそれ以上のイントラ予測モードのセットが参照ブロックのイントラ予測モードと第２のイントラ予測モードとを含む、２つまたはそれ以上のイントラ予測モードのセットを規定することと、イントラ予測モードのセット中に含まれる各イントラ予測モードについて、一時ブロックを生成することと、イントラ予測モードのセットからイントラ予測モードのうちの１つを選択するために、生成された一時ブロックと予測ブロックとを使用することとを含み、選択されたイントラ予測モードは、変換セットが選択されたイントラ予測モードに基づいて選択されるような方向パターンを表す。

図６に示されているように、いくつかの実施形態では、プロセス４００および５００は、１つまたは複数の条件のセットが満たされていることを決定することをさらに含み（それぞれステップｓ６０１ａおよびｓ６０１ｂ参照）、データは、条件のセットが満たされていることを決定した結果としてステップｓ４０４（ｓ５０４）において選択された変換（逆方向変換）セットを使用して変換（逆方向変換）される。すなわち、条件のセットが満たされない場合、データは、従来の様式で選択された（たとえば、予測ブロックのイントラ予測モードに基づいて選択された）変換セットを使用して変換される（ステップｓ６０２ａおよびｓ６０２ｂ参照）。

いくつかの実施形態では、条件のセットが満たされていることを決定することは、エンコーダから受信された特定のフラグがある値に設定されていることを決定することを含む。

図７は、いくつかの実施形態による、エンコーダ１０２またはデコーダ１０４を実装するための装置７０１のブロック図である。図７に示されているように、ネットワーク装置７０１は、１つまたは複数のプロセッサ（Ｐ）７５５（たとえば、１つまたは複数の汎用マイクロプロセッサ、および／または１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など他のプロセッサ）を含み得、プロセッサが単一のハウジングまたはデータセンターに配置され得るか、または地理的に分散され得る、処理回路（ＰＣ）７０２と、装置７０１が、ネットワークインターフェース７４８がそれに接続されるネットワーク１１０（たとえば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機（Ｔｘ）７４５および受信機（Ｒｘ）７４７を含むネットワークインターフェース７４８と、１つまたは複数の不揮発性記憶デバイスおよび／または１つまたは複数の揮発性記憶デバイスを含み得る、ローカル記憶ユニット（別名、「データ記憶システム」）７０８とを備え得る。ＰＣ７０２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）７４１が与えられ得る。ＣＰＰ７４１は、コンピュータ可読命令（ＣＲＩ）７４４を含むコンピュータプログラム（ＣＰ）７４３を記憶するコンピュータ可読媒体（ＣＲＭ）７４２を含む。ＣＲＭ７４２は、磁気媒体（たとえば、ハードディスク）、光媒体、メモリデバイス（たとえば、ランダムアクセスメモリ、フラッシュメモリ）など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム７４３のＣＲＩ７４４は、ＰＣ７０２によって実行されたとき、ＣＲＩが装置７０１に本明細書で説明されているステップ（たとえば、フローチャートを参照しながら本明細書で説明されているステップ）を実行させるように設定される。他の実施形態では、装置７０１は、コードの必要なしに本明細書で説明されているステップを実行するように設定され得る。すなわち、たとえば、ＰＣ７０２は単に１つまたは複数のＡＳＩＣからなり得る。したがって、本明細書で説明されている実施形態の特徴はハードウェアおよび／またはソフトウェアにおいて実装され得る。

本明細書で説明されているプロセスの利点は、特にＣＣＬＭが使用されるとき、プロセスがクロマ成分の残差信号のより良い無相関化を与えることである。１つの例は、ルーマ成分とクロマ成分とが同じＣＵスプリットを使用しているときである。本方法は、ＣＣＬＭによって予測されるクロマ成分に適用される。ルーマイントラ予測モードは、ＮＳＳＴ変換セットを選択するために使用される。参照は、ＢＭＳ設定をもつＶＶＣである。全イントラ構成をもつＢＤ（Bjotegaard-Delta）レートパフォーマンスは以下のように与えられる。

実施形態
１．複数のピクチャを含むビデオシーケンスを符号化するための方法であって、本方法は、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定すること（ｓ４０２）であって、決定することが、方向パターンを決定するために、予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む、方向パターンを決定すること（ｓ４０２）と、決定された方向パターンに基づいて予測ブロックのための変換セット（たとえば、ＮＳＳＴ変換セット）を選択すること（ｓ４０４）と、予測ブロックから導出されるデータ（たとえば、予測ブロックと元のブロックとから導出された残差ブロック、または残差ブロックを変換した結果として生成された変換係数）を変換する決定された方向パターン変換に基づいて予測ブロックのために選択された変換セットを使用すること（ｓ４０６）とを含む方法。

２．複数のピクチャを含むビデオシーケンスを復号するための方法であって、本方法は、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定すること（ｓ５０２）であって、決定することが、方向パターンを決定するために、予測ブロックが生成されるそこから参照ブロックからの情報を使用することを含む、方向パターンを決定すること（ｓ５０２）と、決定された方向パターンに基づいて予測ブロックのための逆方向変換セット（たとえば、逆方向ＮＳＳＴ変換セット）を選択すること（ｓ５０４）と、決定された方向パターンに基づいて選択された逆方向変換セットを使用してデータ（たとえば、逆量子化後の変換係数ブロック）を逆方向変換すること（ｓ５０６）とを含む方法。

３．参照ブロックがイントラ予測モードを有し、方向パターンを決定することが、参照ブロックのイントラ予測モードを決定することを含むか、または参照ブロックのイントラ予測モードを決定することからなる、実施形態１または２の方法。

４．実施形態３の方法であって、本方法は、イントラ予測モードの特定のセット中に含まれる各イントラ予測モードを変換セットインデックスにマッピングするマッピング情報を維持することをさらに含み、参照ブロックのイントラ予測モードがイントラ予測モードの特定のセット中に含まれ、変換セットまたは逆方向変換セットを選択することが、参照ブロックのイントラ予測モードがそれにマッピングされた変換セットインデックスを識別するために、マッピング情報を使用することを含む、実施形態３の方法。

５．予測ブロックがクロマ色成分に属し、参照ブロックがルーマ色成分に属する、実施形態１〜４のいずれか１つの方法。

６．参照ブロックと、クロスコンポーネント線形モデル（ＣＣＬＭ）予測モードとを使用して、予測ブロックを生成することをさらに含む、実施形態５の方法。

７．予測ブロックが色成分に属し、参照ブロックが同じ色成分に属する、実施形態１〜４のいずれか１つの方法。

８．参照ブロックと、イントラブロックコピー（ＩＢＣ）ツールとを使用して、予測ブロックを生成することをさらに含む、実施形態７の方法。

９．方向パターンを決定することが、２つまたはそれ以上のイントラ予測モードのセットが参照ブロックのイントラ予測モードと第２のイントラ予測モードとを含む、２つまたはそれ以上のイントラ予測モードのセットを規定することと、イントラ予測モードのセット中に含まれる各イントラ予測モードについて、一時ブロックを生成することと、イントラ予測モードのセットからイントラ予測モードのうちの１つを選択するために、生成された一時ブロックおよび予測ブロックを使用することとを含み、選択されたイントラ予測モードは、変換セットが選択されたイントラ予測モードに基づいて選択されるような方向パターンを表す、実施形態３〜８のいずれか１つの方法。

１０．条件のセットが満たされていることを決定することをさらに含み、決定された方向パターンに基づいて選択された変換セットを使用してデータを変換するステップが、条件のセットが満たされていることを決定した結果として実行される、実施形態１または３〜９のいずれか１つの方法。

１１．条件のセットが満たされていることを決定することをさらに含み、決定された方向パターンに基づいて選択された変換セットを使用してデータを変換するステップが、条件のセットが満たされていることを決定した結果として実行される、実施形態２または３〜９のいずれか１つの方法。

１２．条件のセットが満たされていることを決定することが、予測ブロックのイントラ予測モードを決定することと、予測ブロックのイントラ予測モードがある条件（たとえば、第１のしきい値（Ｔ１）を上回っている、ここでＴ１は６６に等しくなり得る）を満たしていることを決定することとを含む、実施形態１０または１１の方法。

１３．条件のセットが満たされていることを決定することが、予測ブロックがＣＣＬＭを使用して生成されたことを決定することを含む、実施形態１０または１１の方法。

１４．条件のセットが満たされていることを決定することが、参照ブロックの非ゼロ変換係数の数（Ｎ）を決定することと、Ｎがある条件（たとえば、Ｎがあるしきい値（Ｔ２）にあるか、または下回っている）を満たしていることを決定することとを含む、実施形態１０〜１３のいずれか１つの方法。

１５．条件のセットが満たされていることを決定することが、参照ブロックのために使用されるＱＰを決定することと、ＱＰがある条件（たとえば、ＱＰがあるしきい値（Ｔ３）にあるか、または上回っている）を満たしていることを決定することとを含む、実施形態１０〜１４のいずれか１つの方法。

１６．条件のセットが満たされていることを決定することが、エンコーダから受信された特定のフラグがある値に設定されていることを決定することを含む、実施形態１１の方法。

１７．決定された方向パターンに基づいて選択された変換セットを使用してデータを変換することが、選択された変換セットを使用して残差ブロックを変換することを含む、実施形態１の方法。

１８．決定された方向パターンに基づいて選択された変換セットを使用してデータを変換することが、データを生成するために残差ブロックを変換するために１次変換ユニットを使用することと、データを変換するために選択された変換セットを使用することとを含む、実施形態１の方法。

１９．複数のピクチャを含むビデオシーケンスを符号化するためのエンコーダ（１０２）であって、本エンコーダは、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定することであって、決定することが、方向パターンを決定するために、予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む、方向パターンを決定することと、決定された方向パターンに基づいて予測ブロックのための変換セット（たとえば、ＮＳＳＴ変換セット）を選択することと、予測ブロックから導出されるデータ（たとえば、予測ブロックと元のブロックとから導出された残差ブロック、または残差ブロックを変換した結果として生成された変換係数）を変換する決定された方向パターン変換に基づいて予測ブロックのために選択された変換セットを使用することとを行うように適応させられたエンコーダ。

２０．複数のピクチャを含むビデオシーケンスを復号するためのデコーダ（１０４）であって、本デコーダは、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定することであって、決定することが、方向パターンを決定するために、予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む、方向パターンを決定することと、決定された方向パターンに基づいて予測ブロックのための逆方向変換セット（たとえば、逆方向ＮＳＳＴ変換セット）を選択することと、決定された方向パターンに基づいて選択された逆方向変換セットを使用してデータ（たとえば、逆量子化後の変換係数ブロック）を逆方向変換すること（ｓ５０６）とを行うように適応させられたデコーダ（１０４）。

２１．複数のピクチャを含むビデオシーケンスを符号化するためのエンコーダ（８００、図８を参照）であって、本エンコーダは、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定するための方向パターン決定ユニット（８０２）であって、決定することが、方向パターンを決定するために、予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む、方向パターン決定ユニット（８０２）と、決定された方向パターンに基づいて予測ブロックのための変換セット（たとえば、ＮＳＳＴ変換セット）を選択するための選択ユニット（８０４）と、予測ブロックから導出されるデータ（たとえば、予測ブロックと元のブロックとから導出された残差ブロック、または残差ブロックを変換した結果として生成された変換係数）を変換する決定された方向パターン変換に基づいて選択ユニットによって選択された変換セットを使用するための変換ユニット（８０６）とを備えるエンコーダ（８００）。

２２．複数のピクチャを含むビデオシーケンスを復号するためのデコーダ（９００、図９を参照）であって、本デコーダは、ビデオシーケンス中のピクチャのうちの１つの予測ブロックにおける方向パターンを決定するための方向パターン決定ユニット（９０２）であって、決定することが、方向パターンを決定するために予測ブロックがそこから生成される参照ブロックからの情報を使用することを含む、方向パターン決定ユニット（９０２）と、決定された方向パターンに基づいて予測ブロックのための逆方向変換セット（たとえば、逆方向ＮＳＳＴ変換セット）を選択するための選択ユニット（９０４）と、決定された方向パターンに基づいて選択ユニットによって選択された逆方向変換セットを使用してデータ（たとえば、逆量子化後の変換係数ブロック）を逆方向変換する（ｓ５０６）ための変換ユニット（９０６）とに適応させられたデコーダ（９００）。

様々な実施形態について本明細書で説明したが、それらは限定ではなく例としてのみ提示されたことを理解されたい。したがって、本開示の幅および範囲は、上記で説明した例示的な実施形態のいずれによっても限定されるべきではない。さらに、それのすべての可能な変形における上記で説明した要素の任意の組合せは、本明細書で別段に規定されていない限り、またはコンテキストによって明らかに否定されない限り、本開示によって包含される。

加えて、上記で説明し、図面に示したプロセスはステップのシーケンスとして示されているが、これは例示のためにのみ行ったものである。したがって、いくつかのステップは追加され得、いくつかのステップは省略され得、ステップの順序は並べ替えられ得、いくつかのステップは並行して実行され得ることが企図される。

Claims

複数のピクチャを含むビデオシーケンスを符号化するための方法（４００）であって、前記方法は、
前記ビデオシーケンス中の前記ピクチャのうちの１つのクロマ予測ブロックにおける方向パターンを決定すること（ｓ４０２）であって、前記クロマ予測ブロックはクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードによって作成され、ルーマ参照ブロックはイントラ予測モードを使用してコーディングされ、前記方向パターンを決定することが、前記ルーマ参照ブロックの前記イントラ予測モードを決定することと、決定された前記ルーマ参照ブロックの前記イントラ予測モードに基づいて方向パターンを決定することとを含む、方向パターンを決定すること（ｓ４０２）と、
前記決定された方向パターンに基づいて前記クロマ予測ブロックのための変換セットを選択すること（ｓ４０４）と、
前記選択された変換セットを使用して、前記クロマ予測ブロックから導出されるデータを変換すること（ｓ４０６）であって、前記選択された変換セットを使用して残差ブロックを変換することを含む、データを変換することと、
条件のセットが満たされていることを決定することと、を含み、
前記決定された方向パターンに基づいて選択された前記変換セットを使用して前記データを変換することが、前記条件のセットが満たされていることを決定したことの結果として実行され、
前記条件のセットが満たされていることを決定することが、
前記ルーマ参照ブロックの非ゼロ変換係数の数（Ｎ）を決定することと、
前記Ｎが所定の閾値以下であることを決定することと、
を含む、
方法。
前記方法は、イントラ予測モードの特定のセット中に含まれる各イントラ予測モードを変換セットインデックスにマッピングするマッピング情報を維持することをさらに含み、
前記ルーマ参照ブロックのイントラ予測モードがイントラ予測モードの前記特定のセット中に含まれ、
前記変換セットを選択することが、前記ルーマ参照ブロックのイントラ予測モードがマッピングされた前記変換セットインデックスを識別するために、前記マッピング情報を使用することを含む、
請求項１に記載の方法。
複数のピクチャを含むビデオシーケンスを復号するための方法（５００）であって、前記方法は、
前記ビデオシーケンス中の前記ピクチャのうちの１つのクロマ予測ブロックにおける方向パターンを決定すること（ｓ５０２）であって、前記クロマ予測ブロックはクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードによって作成され、ルーマ参照ブロックはイントラ予測モードを使用してコーディングされ、前記方向パターンを決定することが、前記ルーマ参照ブロックの前記イントラ予測モードを決定することと、決定された前記ルーマ参照ブロックの前記イントラ予測モードに基づいて方向パターンを決定することとを含む、方向パターンを決定すること（ｓ５０２）と、
前記決定された方向パターンに基づいて前記予測ブロックのための逆方向変換セットを選択すること（ｓ５０４）と、
前記決定された方向パターンに基づいて選択された前記逆方向変換セットを使用してデータを逆方向変換すること（ｓ５０６）であって、逆量子化の後に係数ブロックを逆方向変換することを含む、データを逆方向変換することと、
条件のセットが満たされていることを決定することと、を含み、
前記決定された方向パターンに基づいて選択された前記逆方向変換セットを使用して前記データを逆方向変換することが、前記条件のセットが満たされていることを決定したことの結果として実行され、
前記条件のセットが満たされていることを決定することが、
前記ルーマ参照ブロックの非ゼロ変換係数の数（Ｎ）を決定することと、
前記Ｎが所定の閾値以下であることを決定することと
を含む、
方法。
前記方法は、イントラ予測モードの特定のセット中に含まれる各イントラ予測モードを変換セットインデックスにマッピングするマッピング情報を維持することをさらに含み、
前記ルーマ参照ブロックのイントラ予測モードがイントラ予測モードの前記特定のセット中に含まれ、
前記逆方向変換セットを選択することが、前記ルーマ参照ブロックのイントラ予測モードがマッピングされた前記変換セットインデックスを識別するために、前記マッピング情報を使用することを含む、
請求項３に記載の方法。
コンピュータプログラムであって、前記コンピュータプログラムは、処理回路（７０２）によって実行されたとき、前記処理回路に請求項１又は２に記載の方法を実行させる命令を含むコンピュータプログラム。
コンピュータプログラムであって、前記コンピュータプログラムは、処理回路（７０２）によって実行されたとき、前記処理回路に請求項３又は４に記載の方法を実行させる命令を含むコンピュータプログラム。
請求項５に記載のコンピュータプログラムを収容するコンピュータ可読記憶媒体。
請求項６に記載のコンピュータプログラムを収容するコンピュータ可読記憶媒体。
複数のピクチャを含むビデオシーケンスを符号化するためのエンコーダ（１０２）であって、前記エンコーダは、請求項１又は２に記載の方法を行うように適応させられたエンコーダ（１０２）。
複数のピクチャを含むビデオシーケンスを復号するためのデコーダ（１０４）であって、前記デコーダは、請求項３又は４に記載の方法を行うように適応させられたデコーダ（１０４）。