JP7200253B2 - 映像信号を処理するための方法及び装置 - Google Patents

Description

本発明は、映像信号を処理するための方法及び装置に関し、特に変換を実行することにより、映像信号をエンコードまたはデコードするための方法及び装置に関する。

圧縮符号化（エンコーディング）とは、デジタル化した情報を通信回線を介して転送したり、貯蔵媒体に適合した形で貯蔵するための一連の信号処理技術を意味する。映像、映像、音声などのメディアが圧縮符号化の対象となることができ、特に、映像を対象に圧縮符号化を実行する技術をビデオ映像圧縮と称する。

次世代ビデオコンテンツは、高解像度（high spatial resolution）、高フレームレート（high frame rate）及び映像表現の高次化（high dimensionality of scene representation）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリストレージ（memory storage）、メモリアクセス率（memory access rate）及び処理電力（processing power）の面で莫大な増加をもたらす。

したがって、次世代の映像コンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、ＨＥＶＣ（high efficiency video coding）標準の後のビデオコーデック標準は、さらに高い正確度を有する予測技術とともに空間領域（spatial domain）のビデオ信号を周波数領域（frequency domain）に変換させるための効率的な変換技術を必要とする。

本発明の実施形態は、現在ブロックに適合した変換を適用する映像信号処理方法及び装置を提供する。

本発明で解決しようとする技術的課題は、以上で言及した技術的課題に限定されず、言及しないまた他の技術的課題は、下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。

本発明の実施形態に係る映像信号のデコード方法は、現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内、前記現在ブロックの非分離変換に用いられる非分離変換セットを指示する非分離変換セットインデックスを決定する段階と、前記非分離変換セットインデックスによって指示される非分離変換セットに含まれた変換カーネルの内、前記現在ブロックの非分離変換インデックスによって指示される変換カーネルを非分離変換行列に決定する段階と、前記現在ブロックの幅と高さに応じて決定される前記現在ブロックの左上側領域について前記非分離変換行列を適用する段階を含み、前記予め定義された非分離変換セットは、それぞれ２つの変換カーネルを含む。

また、前記非分離変換セットインデックスは、前記イントラ予測モードの範囲に応じて設定される４つの変換セットにそれぞれ割り当てることができる。

また、前記イントラ予測モードが０～１である場合、前記非分離変換セットインデックスは、第１インデックス値に決定され、前記イントラ予測モードが２～１２または５６～６６であれば、前記非分離変換セットインデックスは、第２インデックス値に決定され、前記イントラ予測モードが１３～２３または４５～５５であれば、前記非分離変換セットインデックスは、第３インデックス値に決定され、前記イントラ予測モードが２４～４４であれば、前記非分離変換セットインデックスは、第４インデックス値に決定することができる。

また、前記非分離変換セットインデックスのインデックス値のそれぞれについて、２つの非分離変換カーネルが設定されることができる。

また、前記非分離変換行列は、前記非分離変換インデックスが０ではなく、前記現在ブロックの幅と高さがそれぞれ４以上の場合に適用することができる。

また、前記非分離変換が適用された現在ブロックに対して水平方向の変換及び垂直方向の変換を適用する段階をさらに含むことができる。

また、前記水平方向の変換と垂直方向の変換は、前記現在ブロックに適用された予測モード及び変換行列の選択のためのＭＴＳ（multiple transform selection）インデックスに基づいて決定することができる。

本発明の実施形態に係る映像信号のデコード装置は、前記映像信号を貯蔵するメモリと、前記メモリと結合されたプロセッサを含み、前記プロセッサは、現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内から、前記現在ブロックの非分離変換に用いられる非分離変換セットを指示する非分離変換セットインデックスを決定し、前記現在ブロックの非分離変換インデックスを獲得し、前記非分離変換セットインデックスによって指示される非分離変換セットに含まれた変換カーネルの内、前記非分離変換インデックスによって指示される変換カーネルを非分離変換行列で決定し、前記現在ブロックの幅と高さに応じて決定される前記現在ブロックの左上側の領域について前記非分離変換行列を適用するように設定され、前記予め定義された非分離変換セットは、それぞれ２つの変換カーネルを含む。

本発明の実施形態に係れば、現在ブロックに適合した変換を決定し、適用することにより、変換効率を増大させることができる。

本発明で得られる効果は、以上で言及した効果に制限されず、言及しないまた他の効果は以下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。

本発明に係る理解を助けるために詳細な説明の一部として含まれた、添付図面は、本発明の実施形態を提供し、詳細な説明と一緒に本発明の技術的特徴を説明する。

本発明が適用される実施形態として、映像コーディングシステムの例を示す。 本発明が適用される実施形態として、ビデオ／映像信号のエンコードが行われるエンコード装置の概略的なブロック図を示す。 本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。 本発明が適用される実施形態として、コンテンツストリーミングシステムの構造図である。 本発明が適用されることができる実施形態として、ＱＴ（Quad Tree、以下「ＱＴ」とする）によるブロック分割構造を説明するための図である。 本発明が適用されることができる実施形態として、ＢＴ（Binary Tree、以下「ＢＴ」と称する）によるブロック分割構造を説明するための図である。 本発明が適用されることができる実施形態として、ＴＴ（Ternary Tree、以下「ＴＴ」という）によるブロック分割構造を説明するための図である。 本発明が適用されることができる実施形態として、ＡＴ（Asymmetric Tree、以下「ＡＴ」という）によるブロック分割構造を説明するための図である。 本発明が適用される実施形態として、エンコード装置内の変換及び量子化部、逆量子化及び逆変換部の概略的なブロック図を示す。 本発明が適用される実施形態として、デコード装置内の逆量子化及び逆変換部の概略的なブロック図を示す。 ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。 ＡＭＴが実行されるデコード過程を示すフローチャートである。 本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。 本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。 本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。 本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。 本発明が適用される実施形態として、ギブンス回転（Givens rotation）を説明するためのダイヤグラムを示す。 本発明が適用される実施形態として、ギブンス回転レイヤと置換（permutation）で構成された４ｘ４ＮＳＳＴ（non -separable secondary transform）での１ラウンド（round）の構成を示す。 本発明が適用される実施形態として、ＲＳＴ（reduced secondary transform）の動作を示す。 本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆スキャンを実行する過程を示す図である。 本発明が適用される実施形態として、単一変換指示子（single transform indicator、ＳＴＩ）を使用したエンコードフローチャートの例を示す。 本発明が適用される実施形態として、統一された変換指示子（unified transform indicator、ＵＴＩ）を使用したエンコードフローチャートの例を示す。 本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。 本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。 本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。 本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。 本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。 本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。 本発明が適用される実施形態でとして、ビデオ信号を処理するためのフローチャートを示す。 本発明が適用される実施形態として、ビデオ信号を処理するための装置のブロック図の例を示す。

以下、本発明に係る好適な実施の形態を添付の図面を参照して、詳細に説明する。添付された図面と一緒に以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施されることができる唯一の実施形態を示したいのではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかし、当業者は、本発明がこのような具体的な詳細事項がなくても実施できることが分かる。

いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図の形式で示されることができる。

さらに、本発明で用いられる用語は、可能な限り、現在広く用いられる一般的な用語を選択したが、特定の場合には、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明で、その意味を明確に記載するため、本発明の説明で使用された用語の名称のみで単純に解釈されてはならないものであり、その当該用語の意味まで把握して解釈されるべきであることを明らかにしておく。

以下の説明で用いられる特定の用語は、本発明の理解を助けるために提供されたものであり、このような特定の用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディングの過程で適切に代替されて解釈されることがある。

以下、本明細書において「処理ユニット」は、予測、変換、及び/または量子化などのようなエンコード／デコードの処理過程が実行される単位を意味する。また、処理ユニットは、輝度（luma）成分の単位と色差（chroma）成分の単位を含む意味で解釈されることができる。例えば、処理ユニットは、ブロック（block）、コーディングユニット（coding unit、ＣＵ）、予測ユニット（prediction unit、ＰＵ）、または変換ブロック（transform unit、ＴＵ）に該当することができる。

また、処理ユニットは、輝度成分の単位または色差成分の単位として解釈されることができる。例えば、処理ユニットは、輝度成分のＣＴＢ、ＣＢ、ＰＵ、またはＴＢに当該することができる。または、処理ユニットは、色差成分のＣＴＢ、ＣＢ、ＰＵ、またはＴＢに当該することができる。また、これに限定されるものではなく処理ユニットは、輝度成分の単位と色差成分の単位を含む意味で解釈されることもある。

また、処理ユニットは、必ず正方形のブロックに限定されるものではなく、３つ以上の頂点を有する多角形の形で構成されることもある。

なお、以下、本明細書でピクセルまたは画素などをサンプルとして通称する。そして、サンプルを用いるとすることは、ピクセル値または画素値などを用いることを意味することができる。

図１は、本発明が適用される実施形態として、映像コーディングシステムの例を示す。

映像コーディングシステムは、ソースデバイ１０及び受信デバイス２０を含むことができる。ソースデバイ１０は、エンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイス２０に転達することができる。

ソースデバイ１０は、ビデオソース１１、エンコード装置１２、送信機１３を含むことができる。受信デバイス２０は、受信機２１、デコード装置２２及びレンダラー２３を含むことができる。エンコード装置１０は、ビデオ/映像エンコード装置と呼ばれることができ、デコード装置２０は、ビデオ/映像デコード装置と呼ばれることができる。送信機１３は、エンコード装置１２に含まれることができる。受信機２１は、デコード装置２２に含まれることができる。レンダラー２３は、ディスプレイ部を含むこともでき、ディスプレイ部の別のデバイスまたは外部のコンポーネントで構成されることもある。

ビデオソースはビデオ／映像のキャプチャ、合成または生成過程などを通じてビデオ/映像を獲得することができる。ビデオソースはビデオ／映像キャプチャデバイス及び/またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ/映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えばコンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。たとえば、コンピュータなどを通じて、仮想のビデオ/映像が生成されることができ、この場合、関連するデータが生成される過程で、ビデオ／映像キャプチャプロセスが代えることができる。

エンコード装置１２は、入力ビデオ/映像をエンコードすることができる。エンコード装置１２は、圧縮およびコーディング効率のために予測、変換、量子化などの一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ/映像情報）は、ビットストリーム（bitstream）の形で出力されることができる。

転送部１３は、ビットストリームの形態で出力されたエンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイスの受信部に転達することができる。デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。転送部１３は、予め決まれたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介した転送のためのエレメントを含むことができる。受信機２１は、ビットストリームを抽出してデコード装置２２に転達することができる。

デコード装置２２は、エンコード装置１２の動作に対応する逆量子化、逆変換、予測など一連の手順を実行して、ビデオ／映像をデコードすることができる。

レンダラー(renderer)２３は、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本発明が適用される実施形態として、ビデオ／映像信号のエンコーディングが行われるエンコード装置の概略的なブロック図を示す。図２のエンコード装置１００は、図１のエンコード装置１２に対応することができる。

映像分割部１１０は、エンコード装置１００に入力された入力画像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（processing unit）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（coding tree unit、ＣＴＵ）または最大コーディングユニット（largest coding unit、ＬＣＵ）からＱＴＢＴ（Quad-tree binary-tree）構造に基づいて再帰的に（recursively）に分割されることができる。例えば、一つのコーディングユニットは、クワッドツリー構造及び/またはバイナリツリー構造に基づいて、下位（deeper）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クワッドツリー構造が先適用され、バイナリツリー構造が、後で適用されることができる。またはバイナリツリー構造が先に適用されることもある。これ以上分割されない最終コーディングユニットをベースに、本発明に係るコーディング手順が実行されることができる。この場合、映像の特性に応じたコーディング効率などに基づいて、最大コーディングユニットがすぐに最終的なコーディングユニットとして用いることができ、または必要に応じてコーディングユニットは、再帰的に（recursively）より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられる。ここでコーディング手順とは、後述する予測、変換、及び復元などの手続きを含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、それぞれ前述した最終コーディングユニットから分割またはパーティショニングすることができる。前記予測ユニットは、サンプル予測の単位で有り得、前記の変換ユニットは、変換係数を誘導する単位、及び/または変換係数からレジデュアル信号（residual signal）を誘導する単位で有り得る。

ユニットは、場合によって ブロック（block）または領域（area）などの用語と混用して用いられる。一般的な場合、ＭｘＮブロックはＭ個の列とＮ個の行からなるサンプル又は変換係数（transform coefficient）の集合を示すことができる。サンプルは、一般的に、ピクセルまたはピクセルの値を示すこともあり、輝度（luma）成分のピクセル/ピクセル値のみを示すこともあり、彩度（chroma）成分のピクセル/ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または映像）をピクセル（pixel）またはペル（pel）に対応する用語として用いられる。

エンコード装置１００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部１８０またはイントラ予測部１８５から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（residual signal、残りのブロック、残りのサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部１２０に転送される。この場合、図示のように、エンコーダ１００内で入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは減算部１１５と呼ばれることができる。予測部は処理対象ブロック（以下、現在ブロックと称する）の予測を行い、現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は各予測モードの説明で後述するように、予測モード情報など予測に関する様々な情報を生成し、エントロピーエンコーディング部１９０に転達することができる。予測に関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。

イントラ予測部１８５は、現在のピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて前記現在ブロックの周辺（neighbor）に位置することができ、または離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Planarモード）を含むことができる。方向性モードでは、予測方向の細かい程度に応じて、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示として設定によってはそれ以上、またはそれ以下の数の方向性予測モードが用いられることができる。イントラ予測部１８５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。参照ブロックを含む参照ピクチャと時間的周辺ブロックを含む参照ピクチャは同じであることもあり、異なることもある。前記時間的周辺ブロックは、同じ位置参照ブロック（collocated reference block）、同じ位置（ＣＵ ｃｏｌＣＵ）などの名で呼ばれることができ、時間的周辺ブロックを含む参照ピクチャは、同じ位置ピクチャ（collocated picture、colPic）と呼ばれることもある。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出するためにどの候補が用いられるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えば、スキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が転送されないことがある。動き情報予測（motion vector prediction、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）で用いて、動きベクトル差分（motion vector difference）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。

インター予測部１８０またはイントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために用いられるか、またはレジデュアル信号を生成するために用いられる。

変換部１２０は、レジデュアル信号に変換手法を適用して変換係数（transform coefficients）を生成することができる。たとえば、変換技法は、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＫＬＴ（Karhunen-Loeve Transform）、ＧＢＴ（Graph-Based Transform）、またはＣＮＴ（Conditionally Non-linear Transform）の内、少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとしたときに、このグラフから得られた変換を意味する。 ＣＮＴは、以前に復元されたすべてのピクセル（all previously reconstructed pixel）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換プロセスは、正方形の同じ大きさを有するピクセルブロックに適用されることもあり、非正方形可変サイズのブロックにも適用することができる。

量子化部１３０は、変換係数を量子化してエントロピーエンコーディング部１９０に転送され、エントロピーエンコーディング部１９０は、量子化された信号（量子化された変換係数に関する情報）をエンコードして、ビットストリームとして出力することができる。量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順（scan order）に基づいて、ブロックの形の量子化された変換係数を１次元ベクトルの形で再整列することができ、１次元ベクトルの形の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１９０は、例えば指数ゴロム（exponential Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（context-adaptive variable length coding）、ＣＡＢＡＣ（context-adaptive binary arithmetic coding）などのようなさまざまなエンコード方法を実行することができる。エントロピーエンコーディング部１９０は、量子化された変換係数のほか、ビデオ／映像復元に必要な情報（例えば構文要素（syntax elements）の値など）を一緒に、または別々にエンコードすることもできる。エンコードされた情報（例えば、ビデオ/映像情報）は、ビットストリームの形でＮＡＬ（network abstraction layer）ユニット単位で転送または貯蔵することができる。前記ビットストリームは、ネットワークを介して転送されることができ、またはデジタル貯蔵媒体に貯蔵することができる。ここで、ネットワークは、放送網、及び/またはネットワークなどを含むことができ、デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。エントロピーエンコーディング部１９０から出力された信号は、伝送する伝送部（図示せず）及び/または貯蔵する貯蔵部（図示せず）が、エンコード装置１００の内/外のエレメントとして構成されることができ、または転送部はエントロピーエンコーディング部１９０の構成要素で有り得る。

量子化部１３０から出力された量子化された変換係数は、予測信号を生成するために用いることができる。例えば、量子化された変換係数は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることで復元（reconstructed）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合、予測されたブロックが復元ブロックとして用いられる。加算部１５５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いることもある。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された（復元ピクチャを復号ピクチャバッファ１７０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset）、適応的ループフィルタ（adaptive loop filter）、両方向フィルタ（bilateral filter）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法の説明で後述するようにフィルタリングに関するさまざまな情報を生成し、エントロピーエンコーディング部１９０に転達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。

復号ピクチャバッファ１７０に 転送された修正された復元ピクチャは、インター予測部１８０から参照ピクチャとして用いられる。エンコード装置は、これにより、インター予測が適用される場合、エンコード装置１００とデコード装置での予測ミスマッチを回避することができ、エンコーディング効率も向上させることができる。

復号ピクチャバッファ１７０は、修正された復元ピクチャをインター予測部１８０からの参照ピクチャとして用いるために貯蔵することができる。

図３は、本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。図３のデコード装置２００は、図１のデコード装置２２に対応することができる。

図３を参照すると、デコード装置２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ）２５０、インター予測部２６０及びイントラ予測部２６５を含みから構成されることができる。インター予測部２６０及びイントラ予測部２６５を合わせて予測部と呼ばれることができる。つまり、予測部はインター予測部１８０及びイントラ予測部１８５を含むことができる。逆量子化部２２０、逆変換部２３０を合わせてレジデュアル処理部と呼ばれることができる。つまり、レジデュアル処理部は、逆量子化部２２０、逆変換部２３０を含むことができる。前述したエントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５は、実施形態に応じて一つのハードウェアコンポーネント（例えば、デコーダまたはプロセッサ）によって構成されることができる。また、復号ピクチャバッファ２５０は、実施形態に応じて一つのハードウェアコンポーネント（例えば、メモリまたはデジタル貯蔵媒体）によって実施されることができる。

ビデオ／映像情報を含むビットストリームが入力されると、デコード装置２００は、図２のエンコード装置１００からのビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコード装置２００は、エンコード装置１００で適用された処理ユニットを用いてデコードを行うことができる。したがってデコードの処理ユニットは、例えば、コーディングユニットで有り得、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクワッドツリー構造及び/またはバイナリツリー構造に沿って分けることができる。そして、デコード装置２００を介してデコード及び出力された復元映像信号は、再生装置を通じて再生することができる。

デコード装置２００は、図２のエンコード装置１００から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部２１０を介してデコードすることができる。例えば、エントロピーデコード部２１０は、ビットストリームを ファージング（解析）して映像復元（またはピクチャ復元）に必要な情報（例えば、ビデオ/映像情報）を導出することができる。例えば、エントロピーデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードして、映像復元に必要な構文要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。さらに詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームから各構文要素に当該するビンを受信し、デコード対象構文要素の情報と周辺及びデコード対象ブロックのデコード情報、または前の段階でデコードされたシンボル／ビンの情報を用いてコンテキスト（context）モデルを決定し、決定されたコンテキストモデルに基づいてビン（bin）の発生確率を予測して、ビンの算術デコード（arithmetic decoding）を実行して、各構文要素の値に当該するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、コンテキストモデルを決定した後、次のシンボル/ビンの文脈モデルのためにデコードされたシンボル/ビンの情報を用いて、コンテキストモデルを更新することができる。エントロピーデコード部２１０でデコードされた情報の内、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）で提供され、エントロピーデコード部２１０からエントロピーデコードが行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピーデコード部２１０でデコードされた情報の内、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、エンコード装置１００から出力された信号を受信する受信部（図示せず）がデコード装置２００の内/外部エレメントとしてさらに構成されることがあり、または受信部は、エントロピーデコード部２１０の構成要素有り得る。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロックの形態に再整列することができる。この場合、エンコード装置１００で実行された係数スキャン順序に基づいて再整列が実行されることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化段階サイズ情報）を用いて、量子化された変換係数の逆量子化を行い、変換係数（transform coefficient）を獲得することができる。

逆変換部２３０は、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を獲得することになる。

予測部は現在ブロックの予測を行い、前記現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部はエントロピーデコード部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具的なイントラ/インター予測モードを決定することができる。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて、現在ブロックの周辺（neighbor）に位置することができ、または離隔して位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部２６５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトルと参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出することができる。様々な予測モードに基づいて、インター予測が行われることができ、予測に関する情報は、現在ブロックのインター予測のモードを指示する情報を含むことができる。

加算部２３５は、獲得されたレジデュアル信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることで復元信号（復元ピクチャ、復元ブロック、復元、サンプルアレイ）を生成することができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合は、予測されたブロックが復元ブロックとして用いられる。

加算部２３５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いられることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用することにより、主観的/客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ２５０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset、ＳＡＯ）、適応的ループフィルタ（adaptive loop filter、ＡＬＦ）、両方向フィルタ（bilateral filter）などを含むことができる。

復号ピクチャバッファ２５０に転送された修正された復元ピクチャは、インター予測部２６０によって参照ピクチャとして用いられる。

本明細書において、エンコード装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施形態は、それぞれのデコード装置のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも同一または対応するように適用することができる。

図４は、本発明が適用される実施形態でとして、コンテンツストリーミングシステムの構造図である。

本発明が適用される コンテンツストリーミングシステムは、大きくエンコードサーバ４１０、ストリーミングサーバ４２０、Ｗｅｂサーバ４３０、メディアストレージ４４０、ユーザ装置４５０及びマルチメディア入力デバイス４６０を含むことができる。

エンコードサーバ４１０は、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力デバイスから入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これをストリーミングサーバ４２０に転送する役割をする。他の例として、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置４６０がビットストリームを直接生成する場合、エンコードサーバ４１０は、省略することができる。

ビットストリームは、本発明が適用されるエンコード方法またはビットストリームを生成する方法によって生成されることができ、ストリーミングサーバ４２０は、ビットストリームを転送または受信する過程で一時的にビットストリームを貯蔵することができる。

ストリーミングサーバ４２０は、Ｗｅｂサーバ４３０を介したユーザの要請に基づいて、マルチメディアデータをユーザ装置４５０に転送し、Ｗｅｂサーバ４３０は、ユーザにどのようなサービスがあるかを知らせる媒介の役割をする。ユーザがＷｅｂサーバ４３０に所望するサービスを要請すると、Ｗｅｂサーバ４３０は、これをストリーミングサーバ４２０に伝達し、ストリーミングサーバ４２０は、ユーザにマルチメディアデータを転送する。このとき、コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、制御サーバは、コンテンツストリーミングシステム内の各デバイス間のコマンド／応答を制御する役割をする。

ストリーミングサーバ４２０は、メディアストレージ４４０及び/またはエンコーディングサーバ４１０からコンテンツを受信することができる。たとえば、エンコードサーバ４１０からコンテンツを受信することになる場合、コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、ストリーミングサーバ４２０は、ビットストリームを一定時間の間貯蔵することができる。

ユーザデバイス４５０の例としては、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末機、ＰＤＡ（personal digital assistants）、ＰＭＰ（portable multimedia player）、ナビゲーション、スレートＰＣ（slate ＰＣ）、タブレットPC（tablet ＰＣ）、ウルトラブック（ultrabook）、ウェアラブルデバイス（wearable device、例えば、ウォッチ型端末（smartwatch）、グラス型端末（smart glass）、ＨＭＤ（head mounted display））、デジタルＴＶ 、デスクトップコンピュータ、デジタルサイネージなどを有することができる。

コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理することができる。

図５は、本発明が適用されることができる実施形態として、図５ａは、ＱＴ（QuadTree、QT）、図５ｂは、ＢＴ（Binary Tree、ＢＴ）、図５ｃは、ＴＴ（Ternary Tree、ＴＴ）図５ｄは、ＡＴ（Asymmetric Tree、ＡＴ）によるブロック分割構造を説明するための図である。

ビデオコーディングにおいて１つのブロックは、ＱＴに基づいて分割されることができる。また、ＱＴによって分割された一つのサブブロック（subblock）はＱＴを用いて再帰的にさらに分割されることができる。もはやＱＴ分割されないリーフブロック（leaf block）はＢＴ、ＴＴまたはＡＴの内の少なくとも一つの方式によって分割されることができる。 ＢＴはhorizontal ＢＴ（２ＮｘＮ、２ＮｘＮ）とvertical ＢＴ（Ｎｘ２Ｎ、Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＴＴはhorizontal ＴＴ（２Ｎｘ１/２Ｎ、２ＮｘＮ、２Ｎｘ１/２Ｎ）とvertical ＴＴ（１/２Ｎｘ２Ｎ、Ｎｘ２Ｎ、１/２Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＡＴはhorizontal-up ＡＴ（２Ｎｘ１/２Ｎ、２Ｎｘ３/ ２Ｎ）、horizontal-down ＡＴ（２Ｎｘ３/２Ｎ、２Ｎｘ１/２Ｎ）、vertical-left ＡＴ（１/２Ｎｘ２Ｎ、３/２Ｎｘ２Ｎ）、vertical-right ＡＴ（３/２Ｎｘ２Ｎ、１/ ２Ｎｘ２Ｎ）の四つの形態の分割を有することができる。それぞれのＢＴ、ＴＴ、ＡＴはＢＴ、ＴＴ、ＡＴを用いて再帰的にさらに分割されることができる。

図５ａは、ＱＴ分割の例を示す。ブロックＡは、ＱＴによって４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割されることができる。サブブロックＡ１は、再びＱＴによって４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）に分割されることができる。

図５ｂはＢＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＢＴ（Ｃ０、Ｃ１）またはhorizontal ＢＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ０のように、それぞれのサブブロックは、horizontal ＢＴ（Ｅ０、Ｅ１）またはvertical ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

図５ｃはＴＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＴＴ（Ｃ０、Ｃ１、Ｃ２）またはhorizontal ＴＴ（Ｄ０、Ｄ１、Ｄ２）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＴＴ（Ｅ０、Ｅ１、Ｅ２）またはvertical ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。

図５ｄはＡＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＡＴ（Ｃ０、Ｃ１）またはhorizontal ＡＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＡＴ（Ｅ０、Ｅ１）またはvertical ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。

一方、ＢＴ、ＴＴ、ＡＴ分割は一緒に使用して分割が可能である。たとえば、ＢＴによって分割されたサブブロックは、ＴＴまたはＡＴによる分割が可能である。また、ＴＴによって分割されたサブブロックは、ＢＴまたはＡＴによる分割が可能である。 ＡＴによって分割されたサブブロックは、ＢＴまたはＴＴによる分割が可能である。たとえば、horizontal ＢＴ分割以後、それぞれのサブブロックがvertical ＢＴに分割されることができ、またはvertical ＢＴ分割以後、それぞれのサブブロックがhorizontal ＢＴに分割されることもできる。この場合、分割順番は異なるが、最終的に分割される形は同じである。

また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般的に、左側から右側に、上端から下端に探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加のブロックを分割するかどうかを決定する順序を意味するか、ブロックがもはや分割されない場合、各サブブロックの符号化順序を意味するか、またはサブブロックで他の隣接ブロックの情報を参照するときの探索順序を意味することができる。

図５ａ乃至５ｄのような分割構造によって分割された処理ユニット（または、変換ブロック）ごとに変換が実行されることができ、特に、行（row）方向と列（column）方向別に分割され、変換行列が適用されることができる。本発明の実施形態に係ると、処理ユニット（または変換ブロック）の行方向または列方向の長さに応じて、他の変換タイプが用いられる。

変換は、レジデュアルブロックに適用されるが、これは最大限レジデュアルブロックを無相関化（decorrelate）し、低周波数に係数を集中させ、ブロックの先端に０の尾（zero tail）を作成するためである。ＪＥＭソフトウェアで変換パーツは２つの主要な機能（コア変換（core transform）、２次変換（secondary transform））を含む。コア変換は、レジデュアルブロックのすべての行と列に適用されるＤＣＴ（discrete cosine transform）及びＤＳＴ（discrete sine transform）変換ファミリーで構成される。以後２次変換がコア変換の出力の左上側コーナー（top left corner）に追加的に適用することができる。類似に２次逆変換とコア逆変換の順序の逆変換が適用されることができる。まず、２次逆変換が係数ブロックの左上側コーナーに適用することができる。以後コア逆変換が２次逆変換の出力の行及び列に適用される。コア変換または逆変換は、１次変換または逆変換と指称されることができる。

図６及び図７は、本発明が適用される実施形態として、図６は、図２のエンコード装置１００内の変換及び量子化部（１２０/１３０）、逆量子化及び逆変換部（１４０/１５０）の概略的なブロック図を示し、図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。

図６を注意深く見ると、変換、及び量子化部（１２０/１３０）は、１次変換部（primary transform unit）１２１、２次変換部（secondary transform unit）１２２及び量子化部１３０を含むことができる。逆量子化及び逆変換部（１４０/１５０）は、逆量子化部１４０、逆２次変換部（inverse secondary transform unit）１５１及び逆１次変換部（inverse primary transform unit）１５２を含むことができる。

図７を 注意深く見ると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１と逆１次変換部（inverse primary transform unit）２３２を含むことができる。

本発明において、変換を実行するとき、複数の段階を経て変換を実行することができる。例えば、図６に示すように、１次変換（primary transform）、２次変換（secondary transform）の２段階を適用することができ、またはアルゴリズムに基づいて、それ以上の変換段階が用いられる。ここで、１次変換は、コア変換（core transform）と指称されることができる。

１次変換部１２１は、レジデュアル信号に対して１次変換を適用することができ、ここで、１次変換はエンコーダ及び/またはデコーダからテーブルに既定儀されることができる。

２次変換部１２２は、１次変換された信号に対して２次変換を適用することができ、ここで、２次変換はエンコーダ及び/またはデコーダからテーブルに既定儀されることができる。

一実施形態において、２次変換として非分離２次変換（non-separable secondary transform）（ＮＳＳＴ）が条件的に適用することができる。例えば、ＮＳＳＴは画面内予測ブロックの場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。

ここで、予測モードグループは、予測方向の対称性に基づいて設定されることができる。例えば、予測モード５２と予測モード１６は、予測モード３４（対角方向）に基づいて対称であるので、１つのグループを形成して、同じ変換セット（transform set）が適用されることができる。このとき、予測モード５２の変換を適用するとき、入力データを転置（transpose）した後に適用し、これは予測モード１６と変換セットが同じであるからである。

一方、プランナーモード（Planar mode）とＤＣモード（ＤＣ mode）の場合、方向の対称性が存在しないため、それぞれの変換セットを有し、該変換セットは、２つの変換で構成されることができる。残りの方向性モードに対しては、変換セットごとに３つの変換で構成されることができる。

量子化部１３０は、２次変換された信号に対して量子化を行うことができる。

逆量子化及び逆変換部（１４０/１５０）は、先に説明した過程を逆に実行し、重複する説明は省略する。

図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。

図７を参照すると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit２３１及び逆１次変換部（inverse primary transform unit） ２３２を含むことができる。

逆量子化部２２０は、量子化段階サイズ情報を用いて、エントロピーデコード（復号化）された信号から変換係数を獲得する。

逆２次変換部２３１においては、変換係数に対して逆２次変換を実行する。ここで、逆２次変換は、図６で説明した２次変換の逆変換を示す。

逆１次変換部２３２は、逆２次変換された信号（またはブロック）について逆１次変換を行い、残差信号（residual signal）を獲得することになる。ここで、逆１次変換は、図６で説明した前記１次変換（primary transform）の逆変換を示す。

ＨＥＶＣに適用されるＤＣＴ－２と４ｘ４ ＤＳＴ－４に加えて、適応的（または明示的）多重変換（adaptive multiple transformまたはexplicit multiple transform）（ＡＭＴまたはＥＭＴ）技法がインター及びイントラエンコーディングされたブロックのレジデュアルコーディングのために用いられる。 ＨＥＶＣでの変換、その他のＤＣＴ/ＤＳＴファミリーからの多数の選択された変換が用いられる。 JＥＭから新しく紹介された変換行列は、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１、及びＤＣＴ－５である。下の表１は、選択されたＤＳＴ/ＤＣＴの基底関数を示す。

ＥＭＴは６４より小さいか同じ幅と高さを有するＣＵに適用されることができ、ＥＭＴが適用されるかどうかは、ＣＵレベルフラグによって制御することができる。ＣＵレベルフラグが０であれば、ＤＣＴ－２が残差（residue）をエンコーディングするために、ＣＵに適用される。ＥＭＴが適用されるＣＵ内ルマコーディングブロックに対し、２つの追加のフラグが用いられる水平及び垂直変換を識別するためにシグナリングされる。ＨＥＶＣのように、ＪＥＭのブロックのレジデュアルは変換スキップモードでコーディングされることができる。イントラレジデュアルコーディングのために、他のイントラ予測モードの他のレジデュアル統計により、モード‐依存的変換候補の選択プロセスが用いられる。３つの変換サブセットが、以下の表２のように定義されており、変換サブセットは、表３に示すようにイントラ予測モードに基づいて変換サブセットが選択される。

サブセットコンセプトと一緒に、変換のサブセットは、ＣＵ－レベルＥＭＴ＿ＣＵ＿flagが１であるＣＵのイントラ予測モードを用いることにより、表２に基づいて、最初に確認される。以降、水平（ＥＭＴ＿ＴＵ_horizontal_flag）と垂直（ＥＭＴ＿ＴＵ＿vertical_flag）変換のそれぞれについて、確認された変換のサブセット内の２つの変換候補の内から一つが、表３に基づいて、フラグを使用した明示的なシグナリングに基づいて選択される。

表４は、本発明が適用される実施形態として、ＡＭＴ（adaptive multiple transform）が適用される変換設定グループ（transform configuration group）を示す。

表４を注意深く見ると、変換設定グループ（transform configuration group）は、予測モードに基づいて決定され、グループの数は、総６個（Ｇ０～Ｇ５）で有り得る。そして、Ｇ０～Ｇ４は、イントラ予測が適用される場合に当該し、Ｇ５は、インター予測によって生成された残差ブロックに適用される変換の組み合わせ（または変換セット、変換組み合わせセット）を示す。

一つの変換の組み合わせは、当該２Ｄブロックの行（row）に適用される水平変換（horizontal transform）（または行変換（row transform））と列（column）に適用される垂直変換（vertical transform）（または列変換（column transform））で行うことができる。

ここで、すべての変換設定のグループは、各４つの変換組み合わせの候補を有することができる。４つの変換の組み合わせ候補は０～３の変換組み合わせのインデックスを介して選択または決定することができ、エンコーダからデコーダへの変換組み合わせのインデックスをエンコードして転送することができる。

一実施形態で、イントラ予測を介して獲得された残差データ（または残差信号）は、イントラ予測モードに応じて、その統計的特性がそれぞれ異なることができる。したがって、表４のようにイントラ予測別に一般的なコサイン変換ではなく、別の変換が適用されることができる。本明細書において、変換タイプは、例えば、ＤＣＴ－Ｔｙｐｅ ２、ＤＣＴ－ＩＩ、ＤＣＴ－２のように表記することができる。

表４注意深く見ると、３５個のイントラ予測モードを用いる場合と６７個のイントラ予測モードを用いる場合が現れる。各イントラ予測モードの列で区分された変換設定グループごとに複数の変換の組み合わせが適用されることができる。例えば、複数の変換の組み合わせは、４つの（行方向変換、列方向変換）の組み合わせで構成されることができる。具体例として、グループ０においては、行（水平）方向と列（縦）方向のすべてＤＳＴ－７とＤＣＴ－５が適用されることができ、総４つの組み合わせが可能である。

各イントラ予測モードに対して、総４つの変換カーネルの組み合わせが適用されることができるので、その内、一つを選択するための変換組み合わせのインデックスが変換ユニット（transform unit）ごとに転送されることができる。本明細書において、変換組み合わせのインデックスは、ＡＭＴインデックス（ＡＭＴ index）と呼ばれることができ、amt_idxで表現されることができる。

また、表４で提示された変換カーネル以外にも、残差信号の特性上、行方向と列方向の全てにＤＣＴ－２が最適な場合が発生することができる。したがって、コーディングユニット毎にＡＭＴフラグを定義することにより、適応的に変換が適用されることができる。ここで、ＡＭＴフラグが０の場合、行方向と列方向の全てにＤＣＴ－２が適用され、ＡＭＴフラグが1の場合、AMTのインデックスを使用して、４つの組み合わせのいずれかが選択または決定することができる。

一実施形態で、ＡＭＴフラグが０の場合、１つの変換ユニットの変換係数の数が３より小さいと、表４の変換カーネルが適用されず、行方向と列方向の全てＤＳＴ－７が適用されることができる。

一実施形態として、変換係数の値を先にパーシング（解析）して、変換係数の数が３より小さければ、ＡＭＴインデックスが解析されず、ＤＳＴ－７が適用されることにより付加情報転送量が減少することができる。

一実施形態として、ＡＭＴは、変換ユニットの幅と高さの全てが３２以下の場合にのみ、適用することができる。

一実施形態で、表４は、オフライントレーニング（off-line training）を介して基に設定されることができる。

一実施形態でＡＭＴインデックスは、水平変換と垂直変換の組み合わせを同時に指すことができる、１つのインデックスとして定義することができる。または、ＡＭＴインデックスは、別の水平変換インデックスと垂直変換インデックスで定義することができる。

図８は、ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。

本明細書において、水平方向と垂直方向に対して分離して、変換が適用される分離 可能な変換（separable transform）の実施形態が、基本的に説明されるが、変換の組み合わせは、非分離変換（non-separable transform）にも構成することができる。

または、分離可能な変換と非分離変換の混合にも変換の組み合わせが構成されることができる。この場合、非分離変換が用いられると、行/列別変換選択や水平/垂直方向別の選択は不要になり、分離可能な変換が選択される場合にのみ、表４の変換の組み合わせが用いられることができる。

また、本明細書で提案される方法は、１次変換や２次変換に関係なく適用することができる。つまり、２つの内、何れか一方にのみ適用されなければならないという制約がなく、両方に適用することができる。ここで、１次変換は残差ブロックを最初に変換するための変換を意味することができ、２次変換は、１次変換の結果として生成されたブロックに対し変換を適用するための変換を意味することができる。

まず、エンコード装置１００は、現在ブロックに対応する変換グループを決定することができる（Ｓ８０５）。ここで、変換グループは、表４の変換グループを意味することができるが、本発明はこれに限定されず、他の変換の組み合わせで構成されることができる。

エンコード装置１００は、変換グループ内の用いられる候補変換の組み合わせに対して変換を実行することができる（Ｓ８１０）。変換実行結果、エンコード装置１００は、ＲＤ（rate distortion）コストが最小の変換の組み合わせを決定または選択することができる（Ｓ８１５）。エンコード装置１００は、選択された変換の組み合わせに対応する変換組み合わせのインデックスをエンコードすることができる（Ｓ８２０）。

図９は、ＡＭＴが実行されるデコード過程を示すフローチャートである。

まず、デコード装置２００は、現在ブロックのための変換グループを決定することができる（Ｓ９０５）。デコード装置２００は、変換組み合わせのインデックスを解析することができ、ここで変換組み合わせのインデックスは、変換グループ内の複数の変換組み合わせの内、いずれか一つに対応することができる（Ｓ９１０）。デコード装置２００は、変換組み合わせのインデックスに対応する変換組み合わせを誘導することができる（Ｓ９１５）。ここで、変換組み合わせは、表４で説明された変換組み合わせを意味することができるが、本発明はこれに限定されない。つまり、他の変換の組み合わせによる構成も可能である。

デコード装置２００は、変換組み合わせに基づいて、現在ブロックに対して逆変換を行うことができる（Ｓ９２０）。変換組み合わせが行変換と列変換で構成される場合、行変換を先に適用した後、列変換を適用することができる。ただし、本発明はこれに限定されず、逆に適用されるか、または非分離変換で構成された場合には、直接非分離変換が適用されることができる。

一方、他の一実施形態として、変換グループを決定する過程と変換組み合わせのインデックスを解析する過程は、同時に実行することができる。

本発明の実施形態に係ると、前述した用語「ＡＭＴ」は「ＭＴＳ（multiple transform setまたはmultiple transform selection）」として再定義することができる。以下説明されるＭＴＳ関連シンタックス（syntax）とセマンティックス（semantics）はＶＶＣ（versatile video coding）標準文書ＪＶＥＴ－Ｋ１００１－ｖ４で定義される。

本発明の実施形態において下記のように方向性モードについて２つのＭＴＳ候補と非方向性モードについて４つのＭＴＳ候補が用いられる。

Ａ）非方向性モード（ＤＣ、プランナー）

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

ＭＴＳインデックスが３の時、ＤＣＴ－８が水平及び垂直変換に用いられる

Ｂ）水平グループモードに属するモード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる。

ＭＴＳインデックスが１のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

Ｃ）垂直グループモードに属するモード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ここで（６７個のモードが用いられるＶＴＭ ２．０で）、水平グループモードは２から３４番イントラ予測モードを含み、垂直モードは３５番から６６番イントラ予測モードを含む。

本発明の他の実施形態において、すべての イントラ予測モードに対して３つのＭＴＳ候補を用いる。

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる。

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる。

本発明の他の実施形態において、方向性予測モードに対して２つのＭＴＳ候補を、非方向性予測モードに対して３つのＭＴＳ候補を用いる。

Ａ）非方向性モード（ＤＣ、プランナー）

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる

ＭＴＳインデックスが２のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる

Ｂ）水平グループモードに当該する予測モード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる

ＭＴＳインデックスが１のとき、ＤＣＴ－８が垂直変換に、ＤＳＴ－７が水平変換に用いられる

Ｃ）垂直グループモードに当該する予測モード

ＭＴＳインデックスが０の時、ＤＳＴ－７が水平及び垂直変換に用いられる

ＭＴＳインデックスが１のとき、ＤＳＴ－７が垂直変換に、ＤＣＴ－８が水平変換に用いられる

本発明の他の実施形態において、一つのMTS候補（例えば、ＤＳＴ－７）をすべてのイントラモードに対して用いられる。この場合、マイナーなコーディング損失と共にエンコード時間が４０％まで減少することができる。さらに、一つのフラグがＤＣＴ－２とＤＳＴ－７の間で指示するために用いられる。

図１０は、本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。

本発明が適用されるデコード装置２００は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる（Ｓ１００５）。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_intra_enabled_flag = ０であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_intra_enabled_flag = １であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在する。そして、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_inter_enabled_flag = ０であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_inter_enabled_flag = １であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在する。

デコード装置２００は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる（Ｓ１０１０）。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、デコード装置２００は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。たとえば、cu_mts_flag = ０であると、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されず、cu_mts_flag = １であればＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用される。

デコード装置２００は、cu_mts_flagに基づいてmts_idxを獲得することができる（Ｓ１０１５）。たとえば、cu_mts_flag = １のとき、デコード装置２００は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。

たとえば、mts_idxについて、本明細書で説明される実施形態の内、少なくとも１つが適用されることができる。

デコード装置２００は、mts_idxに対応する変換カーネルを誘導することができる（Ｓ１０２０）。たとえば、mts_idxに対応する変換カーネルは、水平変換及び垂直変換に区分されて定義することができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag ＝ １）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図１０のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳ候補の内からmts_idxを用いて、現在ブロックに適用されるＭＴＳ候補を決定することができる。

他の一例として、水平変換および垂直変換は、互いに異なる変換カーネルが適用されることができる。ただし、本発明はこれに限定されず、前記水平変換及び垂直変換は、同じ変換カーネルが適用されることもある。

そして、デコード装置２００は、変換カーネルに基づいて逆変換を行うことができる（Ｓ１０２５）。

また、本文書でＭＴＳは、ＡＭＴまたはＥＭＴとも表現することができ、同様に、mts_idx図ＡＭＴ＿idx、ＥＭＴ＿idx、ＡＭＴ＿ＴＵ＿idx ＥＭＴ＿ＴＵ＿idxなどのような表現することができ、本発明は、このような表現に限定されない。

図１１は、本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。

本発明が適用されるデコード装置２００は、シーケンスパラメータ獲得部１１０５、ＭＴＳフラグ獲得部１１１０、MTSインデックス獲得部１１１５、及び変換カーネル誘導部１１２０を含むことができる。

シーケンスパラメータ獲得部１１０５は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示し、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。具体的な例は、図１０に関連する説明が適用されることができる。

ＭＴＳフラグ獲得部１１１０は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、ＭＴＳフラグ獲得部１１１０は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。具体的な例は、前記図１０に関連する説明が適用されることができる。

ＭＴＳインデックス獲得部１１１５は、cu_mts_flagに基づいてmts_idxを獲得することができる。たとえば、cu_mts_flag = １のとき、ＭＴＳインデックス獲得部１１１５は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在の変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。具体的な例は、前記図１０の説明が適用されることができる。

変換カーネル誘導部１１２０は、mts_idxに対応する変換カーネルを誘導することができる。そして、デコード装置２００は、誘導された変換カーネルに基づいて逆変換を行うことができる。

モード‐依存的非分離２次変換（mode-dependent non-separable secondary transform、ＭＤＮＳＳＴ）が紹介される。低複雑度を維持するために、ＭＤＮＳＳＴは、１次変換後の後低周波数の係数にのみ適用される。また、主に低周波の係数に対し適用される非分離変換はＬＦＮＳＴ（low frequency non-separable transform）と呼ばれることができる。変換係数ブロックの幅（width、Ｗ）と高さ（height、Ｈ）の全てが８以上であれば、８ｘ８非分離２次変換が変換係数ブロックの左上側８ｘ８の領域に適用される。そうでなければ、幅または高さが８より小さい場合、４ｘ４非分離２次変換が適用され、４ｘ４非分離２次変換は、変換係数ブロックの左上側min（８、Ｗ）ｘ ｍｉｎ（８、Ｈ）に実行ことができる。ここで、ｍｉｎ（Ａ、Ｂ）はＡとＢの内、さらに小さい値を出力する関数である。また、ＷｘＨはブロックのサイズとして、Ｗは幅（width）、Ｈは高さ（height）を示す。

１次変換が適用された変換係数のブロックの左上端８ｘ８ブロックに適用されるＲＴは８ｘ８ ＲＳＴと呼ばれることができる。数学式３で、Ｒの値を１６に置いたとき、順方向８ｘ８ ＲＳＴは１６ｘ６４行列の形を有し、逆方向８ｘ８ ＲＳＴは６４ｘ１６の形態を有する。また、８ｘ８ ＲＳＴに対しても、表５のような変換セットの構成が適用されることができる。つまり、表５のようにイントラ予測モードに応じた変換セットに基づいて８ｘ８ ＲＳＴが決定することができる。一つの変換セットは、イントラ予測モードに応じて、２つまたは３つの変換で構成されるので、２次変換を適用しない場合まで含めて、最大４つの変換の内、いずれかが１つが選択されることができる（一つの変換は、恒等行列に該当することができる）。 ４つの変換に対して、それぞれ０、１、２、３のインデックスが付与されたとき、ＮＳＳＴインデックスに該当するシンタックス要素（syntax element）が変換係数のブロックごとにシグナリングされることで適用される変換が指定されることができる。例えば、０番インデックスは恒等行列、すなわち、２次変換が適用されない場合に割り当てることができる。結論として、ＮＳＳＴインデックスを介して８ｘ８左上端ブロックについて、ＪＥＭ ＮＳＳＴによると、８ｘ８ ＮＳＳＴが指定されることがあり、ＲＳＴ構成によれば、８ｘ８ ＲＳＴが指定されることができる。

変換セットの内、変換カーネルを指示するために、ＮＳＳＴインデックス（ＮＳＳＴ idx）がコーディングされることができる。 ＮＳＳＴが適用されない場合、０の値を有するＮＳＳＴインデックスがシグナリングされることができる。

図１２及び図１３は、本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。

ＪＥＭにおいて、２次変換（ＭＤＮＳＳＴ）は、変換スキップモードでコーディングされたブロックに適用されない。 ＭＤＮＳＳＴインデックスがＣＵに対しシグナリングされ、０でなければ、ＭＤＮＳＳＴはＣＵ内で変換スキップモードでコーディングされた成分のブロックに対し用いられない。係数エンコーディングとＮＳＳＴインデックスコーディングを含む全体的なコーディング構造が、図１２及び図１３に示される。 ＣＢＦ（coded block flag）が係数エンコーディング及びＮＳＳＴコーディングするかどうかを決定するためにエンコードされる。図１２及び図１３において、ＣＢＦフラグはルマブロックcbfフラグ（cbf_luma flag）またはクロマブロックcbfフラグ（cbf_cb flagまたはcbf_cr flag）を示すことができる。 ＣＢＦフラグが１のときの変換係数がコーディングされる。

図１２を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ１２０５）。 ＣＢＦが０である場合、エンコード装置１００は、変換係数のエンコード及びＮＳＳＴインデックスのエンコーディングを実行しない。 ＣＢＦが１である場合、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１２１０）。以後、エンコード装置１００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１２１５）、ＮＳＳＴインデックスコーディングを行う（Ｓ１２２０）。 ＮＳＳＴインデックスコーディングが適用されない場合、エンコード装置１００は、ＮＳＳＴを適用していない状態に変換手順を終了し、その後の段階（例えば、量子化）を実行することができる。

図１３を参照すると、デコード装置２００は、ＣＢＦが１かどうかを確認する（Ｓ１３０５）。 ＣＢＦが０である場合、デコード装置２００は、変換係数のデコード及びＮＳＳＴインデックスデコードを実行していない。 ＣＢＦが１である場合、デコード装置２００は、変換係数のデコードを行う（Ｓ１３１０）。以後、デコード装置２００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１３１５）、ＮＳＳＴインデックスを解析する（Ｓ１３２０）。

ＮＳＳＴは、１次変換が適用されたブロック（ＨＥＶＣの場合ＴＵ）全体に対して適用されるものではなく左上側８ｘ８領域または４ｘ４の領域に対して適用することができる。一例として、ブロックのサイズ我８ｘ８以上の場合、８ｘ８ ＮＳＳＴが適用され、８ｘ８未満の場合、４ｘ４ ＮＳＳＴが適用されることができる。また、８ｘ８ ＮＳＳＴが適用される場合、４ｘ４ブロックごとに４ｘ４ ＮＳＳＴが適用されることができる。 ８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべて前述した変換セットの構成に応じて決定されることができ、非分離変換であるだけ８ｘ８ ＮＳＳＴは、６４個の入力データと６４個の出力データを有し、４ｘ４ ＮＳＳＴは１６個の入力と１６個の出力を有することができる。

図１４及び図１５は、本発明が適用される実施形態として、図１４は、ギブンス回転（Givens rotation）を説明するための図を示し、図１５は、ギブンス回転層と置換（permutation）で構成された４ｘ４ ＮＳＳＴでの一ラウンド（round）の構成を示す。

８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべてギブンス回転の階層的組み合わせで構成されることができる。一つのギブンス回転に当該する行列は、数学式１と同じであり、行列積を図で表現すると、図１４と同じである。

図１４において、ギブンス回転によって出力されるt_mとt_nは、数学式２のように計算することができる。

図１４のように一つのギブンス回転は、２つのデータを回転させるので、６４個のデータ（８ｘ８ ＮＳＳＴの場合）または１６個のデータ（４ｘ４ ＮＳＳＴの場合）の処理のために、それぞれ３２個、または８個のギブンスの回転が必要である。したがって、３２個または８個のギブンス回転の束がギブンス回転層（Given rotation layer）を形成することができる。図１５に示すように、一つのギブンス回転層の出力データが置換（シャッフル）を介して次のギブンス回転層の入力データへ伝達される。図１５に示すように 置換されるパターンは、規則的に定義され、４ｘ４ ＮＳＳＴの場合、４つのギブンス回転層及び対応する置換が一つのラウンドを形成する。４ｘ４ ＮＳＳＴは２回のラウンドで行われ、８ｘ８ ＮＳＳＴは４回のラウンドで実行される。互いに別のラウンドは、同じ置換パターンを用いるが適用されるギブンス回転角度は、それぞれ異なる。したがって、各変換を構成するすべてのギブンス回転の角度データの貯蔵が必要である。

最後の段階でギブンス回転層を経て出力されたデータに対して、最終的に一回の置換がさらに実行され、当該置換の情報は、変換ごとに別に貯蔵される。順方向（forward）ＮＳＳＴの最後に、当該置換が行われ、逆方向（inverse）ＮＳＳＴは、最初に当該逆方向置換が適用される。

逆方向ＮＳＳＴは順方向ＮＳＳＴで適用されたギブンス回転層と置換を逆の順序で行い、各ギブンス回転の角度に対してもマイナス（‐）の値をとることにより、回転させる。

ＲＳＴ（Reduced secondary transform）

図１６は、本発明が適用される実施形態として、ＲＳＴの動作を示す

一変換を示す直交（orthogonal）行列がＮｘＮの形態を有するとしたとき、ＲＴ（reduced transform）は、Ｎ個の変換基底ベクトルの内からＲ個だけ残す（Ｒ <Ｎ）。変換係数を生成する順方向ＲＴの行列は、数学式３のように定義することができる。

逆方向ＲＴの行列は、順方向ＲＴ行列の転置（transpose）行列となるので、順方向ＲＴと逆方向ＲＴの適用を図示すれば、図１４a及び図１４bと同じであることができる。

１次変換が適用された変換係数のブロックの左上端８ｘ８ブロックに適用されるＲＴは８ｘ８ ＲＳＴと呼ばれることができる。数学式３で、Ｒの値を１６に置いたとき、順方向８ｘ８ ＲＳＴは１６ｘ６４行列の形を有し、逆方向８ｘ８ ＲＳＴは６４ｘ１６の形態を有する。また、８ｘ８ ＲＳＴに対しても、表５のような変換セットの構成が適用されることができる。つまり、表５のようにイントラ予測モードに応じた変換セットに基づいて８ｘ８ ＲＳＴが決定することができる。一つの変換セットは、イントラ予測モードに応じて、２つまたは３つの変換で構成されるので、２次変換を適用しない場合まで含めて、最大４つの変換の内、いずれかが１つが選択されることができる（一つの変換は、恒等行列に該当することができる）。 ４つの変換に対して、それぞれ０、１、２、３のインデックスが付与されたとき、ＮＳＳＴインデックスに該当するシンタックス要素（syntax element）が変換係数のブロックごとにシグナリングされることで適用される変換が指定されることができる。例えば、０番インデックスは恒等行列、すなわち、２次変換が適用されない場合に割り当てることができる。結論として、ＮＳＳＴインデックスを介して８ｘ８左上端ブロックについて、ＪＥＭ ＮＳＳＴによると、８ｘ８ ＮＳＳＴが指定されることがあり、ＲＳＴ構成によれば、８ｘ８ ＲＳＴが指定されることができる。

図１７は、本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆方向スキャンを実行する過程を示す図である。

数学式３のような順方向８ｘ８ ＲＳＴが適用されると、１６個の有効な変換係数が生成されるため、８ｘ８の領域を構成する６４個の入力データが１６個の出力データに縮小され、２次元領域の観点によれば、１/４ほどの領域のみ有効な変換係数が満たされる。したがって、順方向８ｘ８ ＲＳＴを適用することにより、獲得された１６個の出力データが、図１７の左上端の領域に満たされる。

図１７で左上端４ｘ４の領域が有効な変換係数が満たされるＲＯＩ（region of interest）領域となり、残りの領域は空になる。空けられる領域には、０の値がデフォルトで満たすことができる。もし、図１７のＲＯＩ領域のほか、０でない有効な変換係数が見つかったら、8x8 ＲＳＴが適用されないことが確実であるので、該ＮＳＳＴインデックスに該当コーディングが省略されることがある。逆に、図１７のＲＯＩ領域以外で０ではない変換係数が発見されないと（８ｘ８ ＲＳＴが適用される場合、ＲＯＩ以外の領域が０に満たされたとき）、８ｘ８ ＲＳＴが適用されたこともあるので、ＮＳＳＴインデックスがコーディングされることができる。このような条件的ＮＳＳＴインデックスコーディングは０ではない、変換係数の存在の有無のチェックが必要であるのでレジデュアルコーディングプロセスの後に実行されることができる。

図１８は、本発明が適用される実施形態として、単一変換指示子（single transform indicator）を用いたエンコードフローチャートの例を示す。

本発明の実施形態において、単一変換指示子（single transform indicator、ＳＴＩ）が紹介される。 ２つの変換（１次変換及び２次変換）を順次用いる代わりに、単一変換指示子が活性化されたとき（ＳＴＩ coding == 1）単一変換（single transform）が適用されることができる。ここで、単一変換は、どの種類の変換でもすることができる。例えば、単一変換は分離変換または非分離変換で有り得る。単一変換は、非分離変換から近似された変換で有り得る。単一変換インデックス（図１８のＳＴ＿idx）は、単一変換指示子が活性化されたときシグナリングされることができる。ここで、単一変換インデックスは使用可能な変換候補の内から適用される変換に該当する変換を指示することができる。

図１８を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを決定する（Ｓ１８０５）。 ＣＢＦが１である場合、エンコード装置１００は、ＳＴＩコーディングが適用されるかどうかを決定する（Ｓ１８１０）。ＳＴＩコーディングが適用される場合、エンコード装置１００は、ＳＴＩインデックス（ＳＴＩ＿Idx）をエンコードし（Ｓ１８４５）、変換係数のコーディングを行う（Ｓ１８５０）。 ＳＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ_Flag）をエンコードする（Ｓ１８１５）。以後、エンコード装置１００は、変換係数のコーディングを行う（Ｓ１８２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１８２５）。ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１８３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１８３５）。 ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１８４０）。

一例において、単一変換コーディングの条件が充足/活性化（例えば、ＳＴＩ_coding == 1）されると、単一変換インデックス（ＳＴ_Idx）がシグナリングされず、暗黙的に（implicitly）誘導されることができる。 ＳＴ＿idxはブロックサイズとイントラ予測モードに基づいて、暗黙的に決定されることができる。ここで、ＳＴ＿idxは現在の変換ブロックに適用される変換（または変換カーネル）を指示することができる。

単一変換指示子は、以下の条件の内、１つまたは複数の条件が満足されると、活性化することができる（ＳＴＩ＿coding == １）。

ブロックサイズが４または８のように、あらかじめ決められた値に相当する。

ブロックの幅==ブロックの高さ（正方形ブロック）

ＤＣまたはプランナーのように予め決定されたモードの内、いずれか一つのイントラ予測モードである。

別の例において、ＳＴＩコーディングフラグは、単一変換が適用されるか否かを示すためにシグナリングすることができる。 ＳＴＩコーディングフラグはＳＴＩコーディング値及びＣＢＦに基づいてシグナリングされることができる。例えば、ＳＴＩコーディングフラグはＣＢＦが１であり、ＳＴＩコーディングが活性化になるときシグナリングすることができる。さらにＳＴＩコーディングフラグは、ブロックサイズ、ブロックの形（正方形ブロックまたは非正方形ブロック）、またはイントラ予測モードを考慮して、条件的にシグナリングされることができる。

係数コーディングの内、獲得された情報が用いられるために係数コーディングの後にＳＴ_idxが決定することができる。一例でＳＴ_idxは、ブロックサイズ、イントラ予測モード、及び０ではない係数（non-zero coefficient）の数に基づいて暗黙的に決定することができる。別の例において、ＳＴ_idxはブロックサイズ及び/またはブロックの形及び/またはイントラ予測モード、及び/または０ではない係数の数に基づいて、条件的にエンコード/デコードすることができる。別の例において、ＳＴ＿idxシグナリングは、０ではない係数の分布（すなわち、０でない係数の位置）に依存して省略することができる。特に、０でない係数が左上側４ｘ４領域でない領域で発見されると、ＳＴ_idxのシグナリングが省略されることができる。

図１９は、本発明が適用される実施形態でとして、統一された変換指示子（unified transform indicator、ＵＴＩ）を用いたエンコードフローチャートの例を示す。

本発明の実施形態において、統一された変換指示子が紹介される。ＵＴＩは、１次変換指示子と２次変換指示子を包括する。

図１９を参照すると、エンコード装置１００は、ＣＢＦが1かどうかを決定する（Ｓ１９０５）。 ＣＢＦが1である場合、エンコード装置１００は、ＵＴＩコーディングが適用されるかどうかを決定する（Ｓ１９１０）。 ＵＴＩコーディングが適用される場合、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をエンコードし（Ｓ１９４５）、変換係数のコーディングを行う（Ｓ１９５０）。 ＵＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ＿Flag）をエンコードする（Ｓ１９１５）。以後、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１９２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１９２５）。 ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１９３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１９３５）。 ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１９４０）。

ＵＴＩは、それぞれの予め決まれたユニット（ＣＴＵまたはＣＵ）ごとにエンコーディングされることができる。

ＵＴＩコーディングモードは下の条件に依存することができる。

ブロックサイズ

ブロックの形態

イントラ予測モード

どのようにＵＴＩからコア変換インデックスを誘導/抽出するかが予め定義される。どのようにＵＴＩから２次変換インデックスを誘導/抽出するかが予め定義される。

ＵＴＩの構文構造は、選択的に用いられる。 ＵＴＩは、ＣＵ（またはＴＵ）サイズに依存することができる。例えば、さらに小さなＣＵ（ＴＵ）が相対的に狭い範囲のＵＴＩインデックスを有することができる。一例で、予め定義された条件（例えば、ブロックサイズが予め定義されたしきい値より小さい）が満足されると、ＵＴＩは、コア変換インデックスだけを指示することができる。

別の例で、２次変換が用いられることを指示されない場合（例えば、２次変換インデックス== ０または２次変換が既に決定された場合）ＵＴＩインデックスは、コア変換インデックスとして扱うことができる。同じように、コア変換インデックスが知られればＵＴＩインデックスは２次変換インデックスとして扱われることができる。特に、イントラ予測モードとブロックサイズを考慮して、あらかじめ決定されたコアの変換が用いられることができる。

図２０ａ及び図２０ｂは、本発明が適用される実施形態でとして、ＵＴＩを使ったエンコードフローチャートの他の例を示す。

別の例において、変換エンコーディング構造は、図２０ａ及び図２０ｂに示すようにＵＴＩインデックスコーディングが用いられる。ここで、ＵＴＩインデックスは係数エンコーディング前にエンコーディングされたり係数エンコーディングの後にコーディングされることができる。

図２０ａを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２００５）。 ＣＢＦが１であれば、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングし（Ｓ２０１０）、変換係数のコーディングを行う（Ｓ２０１５）。

図２０ｂを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２０５５）。 ＣＢＦが１であれば、エンコード装置１００は、変換係数のコーディングを実行し、（Ｓ２０６０）、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングする（Ｓ２０６５）。

本発明の他の実施形態において、変換指示子のデータ隠し（data hiding）及び暗黙的コーディング方法（implicit coding methods）が紹介される。ここで変換指示子はＳＴ＿idx、ＵＴＩ_idx、ＥＭＴ＿ＣＵ＿Flag、ＥＭＴ＿ＴＵ＿Flag、ＮＳＳＴ＿idxと変換カーネルを指示するために用いられる変換に関連するインデックスを含む。前述した変換指示子は、シグナリングされず、該情報が係数エンコーディングプロセスに挿入することができる（係数コーディングプロセスの内、抽出されることができる）。係数エンコーディングプロセスは次の部分を含むことができる。

－ 最後のｘ位置（Last_position_x）、最後のｙ位置（Last_position_y）

－ グループフラグ（Group flag）

－ 意味マップ（significance map）

－ １より大きいかどうかを指示するフラグ（Greater_than_１_flag）

－ ２より大きいかどうかを指示するフラグ（Greater_than＿２_flag）

－ 残りのレベルのコーディング（Remaining level coding）

－ サインコーディング（Sign coding）

たとえば、変換指示子情報が、前述した係数コーディングプロセスの一つまたはそれ以上の者に挿入することができる。変換指示子情報を挿入するために一緒に考慮することできるものは以下の通りである。

－ サインコーディングのパターン（Pattern of Sign coding）

－ 残りレベルの絶対値（The absolute value of remaining level）

－１より大きいかどうかを指示するフラグの数（The number of Greater_than_1_flag）

－ 最後のｘ位置及び最後のｙ位置の値（The value of Last_position_X and Last_position_Ｙ）

前述したデータ隠し方法は、条件的に考慮することができる。たとえば、データ隠し方法は、０ではない係数の数に依存てきで有り得る。

また別の例において、ＮＳＳＴ_idxとＥＭＴ_idxは依存的で有り得る。たとえば、ＥＭＴ＿ＣＵ＿flagが０（または１）のとき、ＮＳＳＴ＿idxは０ではないことがある。この場合、ＮＳＳＴ_idx-１がＮＳＳＴ＿idxの代わりにシグナリングすることができる。

本発明の他の実施形態において、イントラ予測モードに基づいたＮＳＳＴ変換セットのマッピングが、以下の表７のように紹介される。前述したように、以下の説明では、非分離変換の例としてＮＳＳＴを中心に説明するが、非分離変換についての他の知られている用語（例えば、ＬＦＮＳＴ）が用いられることができる。例えば、ＮＳＳＴセット（ＮＳＳＴ Set）、ＮＳＳＴインデックスはLFNSTセット、ＬＦＮＳＴインデックスに置き換えて用いられる。また、本文書に説明されるＲＳＴは、変換ブロックの少なくとも一部の領域（左上側４ｘ４、８ｘ８の領域または８ｘ８ブロックで右‐下側４ｘ４の領域を除外した残りの領域）に適用される正方形非分離変換行列で縮小された入力の長さ及び/または縮小された出力の長さを有する非正方形の変換行列を用いる非分離変換（例えば、ＬＦＮＳＴ）の例として、ＲＳＴまたＬＦＮＳＴに置き換えて用いられる。

ＮＳＳＴセットナンバーは、表８のように０から３の間で再配列されることができる。

ＮＳＳＴ変換セットでは、要求されるメモリ空間を低減させるために（３５の代わりに）、４つの変換セットが用いられる。

さらに、各変換セットごとに、さまざまな数の変換カーネルが以下のように用いられる。

ケースＡ：各変換セットごとに２つの使用可能な変換カーネルが用いられ、ＮＳＳＴインデックス範囲は０～２である。たとえば、ＮＳＳＴインデックスが０である場合、２次変換（デコーダに基づいて２次逆変換）が適用されないことがある。ＮＳＳＴインデックスが１または２である場合、２次変換が適用されることができる。変換セットは、２つの変換カーネルを含むことができ、前記２つの変換カーネルに１または２のインデックスがマッピングされることができる。

表９を参照すると、０番から３番非分離変換（ＮＳＳＴまたはＬＦＮＳＴ）セットごとに２つの変換カーネルが用いられる。

ケースＢ：０番変換セットに対し２つの使用可能な変換カーネルを使用し、残りの変換セットに対し各々一つの変換カーネルを用いる。０番変換セット（ＤＣ、プランナー）に対し使用可能なＮＳＳＴインデックスは０～２である。しかし、他のモード（１、２、３番の変換セット）のＮＳＳＴインデックスは０～１である。

表１０を参照すると、０番インデックスに対応する非分離変換（ＮＳＳＴ）セットに対して２つの非分離変換カーネルが設定され、１、２、３番インデックスに対応する非分離変換（ＮＳＳＴ）セットのそれぞれについて、１つの非分離変換カーネルが設定される。

ケースＣ：各変換セットごとに一つの変換カーネルを使用し、ＮＳＳＴインデックス範囲は０～１である。

図２１は、本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。

エンコード装置１００は、レジデュアルブロックについて１次変換を実行する（Ｓ２１０５）。 １次変換は、コア変換に呼ばれることができる。実施形態として、エンコード装置１００は、前述したＭＴＳを用いて、１次変換を実行することができる。また、エンコード装置１００は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、ＭＴＳ候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。

エンコード装置１００は、２次変換の適用をするかどうかを決定する（Ｓ２１１０）。一例として、エンコード装置１００は、１次変換されたレジデュアル変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。

エンコード装置１００は、２次変換を決定する（Ｓ２１１５）。このとき、エンコード装置１００は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。

また、一例として、エンコード装置１００は、Ｓ２１１５段階に先立って、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することができる。

エンコード装置１００は、Ｓ２１１５段階で決定された２次変換を用いて、２次変換を実行する（Ｓ２１２０）。

図２２は、本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。

デコード装置２００は、２次逆変換の適用をするかどうかを決定する（Ｓ２２０５）。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、デコード装置２００は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。

デコード装置２００は、２次逆変換を決定する（Ｓ２２１０）。このとき、デコード装置２００は、前述したイントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。

また、一例として、デコード装置２００は、Ｓ２２１０段階に先立って、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。

デコード装置２００は、Ｓ２２１０段階で決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を実行する（Ｓ２２１５）。

デコード装置２００は、２次逆変換されたレジデュアルブロックについて１次逆変換を実行する（Ｓ２２２０）。１次逆変換はコア逆変換と呼びことができる。実施形態として、デコード装置２００は、前述したＭＴＳを用いて、１次逆変換を行うことができる。また、一例として、デコード装置２００は、Ｓ２２２０段階に先立って、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。この場合、図２２のデコードフローチャートにＭＴＳが適用されるかどうかを決定する段階がさらに含まれることができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図２２のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳの候補の内、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次逆変換を決定することができる。

図２３は、本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。

本発明の実施形態が適用されるエンコード装置１００は、１次変換部２３１０、２次変換適用可否決定部２３２０、２次変換決定部２３３０、２次変換部２３４０を含むことができる。

１次変換部２３１０は、レジデュアルブロックについて１次変換を実行することができる。 １次変換は、コア変換に呼ばれることができる。実施形態として、１次変換部２３１０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、１次変換部２３１０は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、MTS候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。

２次変換適用可否決定部２３２０は、２次変換を適用するかどうかを決定することができる。一例として、２次変換適用可否決定部２３２０は、１次変換されたレジデュアルブロックの変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。

２次変換決定部２３３０は、２次変換を決定する。このとき、２次変換決定部２３３０は、前述したように、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。

また、一例として、２次変換決定部２３３０は、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することもできる。

２次変換部２３４０は、決定された２次変換を用いて、２次変換を実行することができる。

図２４は、本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。

本発明が適用されるデコード装置２００は、２次逆変換適用可否決定部２４１０、２次逆変換決定部２４２０、２次逆変換部２４３０、１次逆変換部２４４０を含む。

２次逆変換適用可否決定部２４１０は、２次逆変換の適用をするかどうかを決定することができる。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、２次逆変換適用可否決定部２４１０は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。他の一例として、２次逆変換適用可否決定部２４１０は、レジデュアルブロックの変換係数に基づいて、２次逆変換の適用をするかどうかを決定することもできる。

２次逆変換決定部２４２０は、２次逆変換を決定することができる。このとき、２次逆変換決定部２４２０は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。

また、一例として、２次逆変換決定部２４２０は、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。

また、一例として、２次逆変換部２４３０は、決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を行うことができる。

１次逆変換部２４４０は、２次逆変換されたレジデュアルブロックについて１次逆変換を行うことができる。実施形態として、１次逆変換部２４４０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、一例として、１次逆変換部２４４０は、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。

一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、１次逆変換部２４４０は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。そして、１次逆変換部２４４０は、構成されたＭＴＳの候補の内から、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次変換を決定することができる。

図２５は、本発明が適用される実施形態として、ビデオ信号を処理するためのフローチャートを示す。図２５のフローチャートは、デコード装置２００または逆変換部２３０によって実行されることができる。

まず、デコード装置２００は、非分離変換インデックス及び現在ブロックの幅と高さに基づいて、現在ブロックの逆非分離変換の適用をするかどうかを決定することができる。例えば、デコード装置２００は、非分離変換インデックスが０ではなく、現在ブロックの幅と高さがそれぞれ４以上の場合、前記非分離変換を適用するように決定することができる。もし非分離変換インデックスが０であるか、現在ブロックの幅または高さが４より小さい場合、デコード装置２００は、逆方向の非分離変換を省略し、逆方向１次変換を実行することができる。

Ｓ２５０５段階において、デコード装置２００は、現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内から、現在ブロックの非分離変換に用いられる非分離変換セットを指示する非分離変換セットインデックスを決定する。非分離変換セットインデックスは、表７または表８のように、イントラ予測モードの範囲に応じて設定される４つの変換セットにそれぞれ割り当てられるように設定されることができる。つまり、表７または表８のように、イントラ予測モードが０～１である場合、非分離変換セットインデックスは、第１インデックス値に決定され、イントラ予測モードが２～１２または５６～６６であれば、非分離変換セットインデックスは、第２インデックス値に決定され、イントラ予測モードが１３～２３または４５～５５であれば、非分離変換セットインデックスは、第３インデックス値に決定され、イントラ予測モードが２４～４４であれば、非分離変換セットインデックスは、第４インデックス値に決定することができる。

ここで、予め定義された非分離変換セットは、表９のように、それぞれ２つの変換カーネルを含むことができる。また、予め定義された非分離変換セットは、表１０または表１１のように１つまたは２つの変換カーネルを含むこともできる。

Ｓ２５１０段階において、デコード装置２００は、非分離変換セットインデックスによって指示される非分離変換セットに含まれた変換カーネルの内、現在ブロックの非分離変換インデックスによって指示される変換カーネルを非分離変換行列で決定する。たとえば、非分離変換セットインデックスのインデックス値のそれぞれについて、２つの非分離変換カーネルが設定されることができ、デコード装置２００は、非分離変換セットインデックスに対応する２つの変換行列カーネルの内、非分離変換インデックスによって指示される変換カーネルに基づいて非分離変換行列を決定することができる。

Ｓ２５１５段階で、デコード装置２００は、現在ブロックの幅及び高さに応じて決定される現在ブロックの左上側領域に対し非分離変換行列を適用する。たとえば、現在ブロックの幅と高さのすべてが８以上の場合、現在ブロックの左上側８ｘ８の領域に対して非分離変換が適用され、現在ブロックの幅または高さが８より小さい場合、現在ブロックの４ｘ４領域にについて、非分離変換が適用されることができる。非分離変換のサイズもまた非分離変換が適用される領域に対応して８ｘ８または４ｘ４に設定されることができる。

また、デコード装置２００は、非分離変換が適用された現在ブロックに対して水平方向の変換と垂直方向の変換を適用することができる。ここで、水平方向の変換と垂直方向の変換は、現在ブロックに適用された予測モード及び変換行列の選択のためのＭＴＳインデックスに基づいて決定することができる。

図２６は、本発明が適用される実施形態として、ビデオ信号を処理するための装置のブロック図の例を示す。図２６のビデオ信号処理装置は、図１のエンコード装置又は図２のデコード装置に該当することができる。

映像信号を処理する映像処理装置２６００は、映像信号を貯蔵するメモリ２６２０と、前記メモリと結合されながら、映像信号を処理するプロセッサ２６１０を含む。

本発明の実施形態に係るプロセッサ２６１０は、映像信号の処理のための少なくとも一つのプロセッシング回路で構成されることができ、映像信号をエンコードまたはデコードするためのコマンドを実行することにより、映像信号を処理することができる。つまり、プロセッサ２６１０は、前述したエンコードまたはデコード方法を実行することにより、元の映像データをエンコードしたり、エンコードされた映像信号をデコードすることができる。

また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出しできる記録媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータで読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバー去るシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。 また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。

また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。

前記記述されたように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。例えば、各図で示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。

また、本発明が適用されるデコーダとエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのようなリアルタイム通信装置、モバイルストリーミング装置、貯蔵媒体、キャムコーダ、ビデオオンデマンド（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over the top video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレビ電話、ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために用いられる。たとえば、ＯＴＴビデオ（Over the top video）装置では、ゲーム機、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recoder）などを含むことができる。

また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出し可能な貯蔵媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータに読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルー例ディスク（ＢＤ）、ユニバーサルシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。 また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。

また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。

以上で説明した実施形態は、本発明の構成要素と特徴が所定形態で結合されたものである。各構成要素または特徴は、別の明示的な言及がない限り選択的なもので考慮されるべきである。各構成要素または特徴は、他の構成要素や特徴と結合されない形態で実施されることができる。また、一部の構成要素及び/または特徴を結合して、本発明の実施形態を構成することも可能である。本発明の実施形態で説明される動作の順序は変更されることができる。どの実施形態の一部の構成や特徴は、他の実施形態に含まれることができ、または他の実施形態に対応する構成または特徴と代替されることができる。特許請求の範囲で明示的な引用関係がない請求項を結合して実施形態を構成したり、出願後の補正により新しい請求項として含めることができることは自明である。

本発明に係る実施形態は、 様々な手段、例えば、ハードウェア、ファームウェア（firmware）、ソフトウェアまたはそれらの組み合わせなどにより実現されることができる。ハードウェアによる実現の場合、本発明の一実施形態は、一つまたはそれ以上のＡＳＩＣｓ（application specific integrated circuits）、ＤＳＰｓ（digital signal processors）、ＤＳＰＤｓ（digital signal processing devices）、ＰＬＤｓ（programmable logic devices）、ＦＰＧＡｓ（ field programmable gate arrays）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現されることができる。

ファームウェアやソフトウェアによる実現の場合、本発明の一実施形態は、以上で説明した機能または動作を実行するモジュール、プロシージャ、関数などの形態で実現されることができる。ソフトウェアコードは、メモリに貯蔵されてプロセッサによって駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置して、既に公知された多様な手段により、前記プロセッサとデータを送受信することができる。

本発明は、本発明の必須的特徴を逸脱しない範囲で他の特定の形態で具体化されることができることは、当業者に自明である。したがって、前述した詳細な説明は、すべての面で制限的に解釈してはならなく、例示的なものとみなされるべきである。本発明の範囲は、添付された請求項の合理的解釈によって決定されるべきであり、本発明の等価的範囲内でのすべての変更は、本発明の範囲に含まれる。

以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたもので、当業者であれば、以下、添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態を改良、変更、代替または付加などが可能である。

Claims (16)

1. 映像信号をデコードするための方法において、
   現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内から、前記現在ブロックに対する非分離変換セットインデックスを決定する段階と、
   前記非分離変換セットインデックスにより規定される非分離変換セットに含まれる変換カーネルを前記現在ブロックに対する非分離変換行列として決定する段階と、
   前記現在ブロックの左上側領域に前記非分離変換行列を適用する段階であって、前記左上側領域は、前記現在ブロックの幅と高さに基づいて決定される、段階と、を含み、
   前記現在ブロックに対する前記変換カーネルは、前記現在ブロックに対する前記非分離変換セットに含まれる２つの変換カーネルのうちの１つとして決定され、
   Ｎ個の変換係数を生成するために、前記現在ブロックの前記左上側領域に含まれるＲ個の係数に前記非分離変換行列が適用され、ＲはＮより小さく、Ｎは前記現在ブロックの前記左上側領域に含まれる係数の総数と等しい、方法。
2. 前記非分離変換セットインデックスは、前記イントラ予測モードの範囲に応じて、４つの変換セットのそれぞれに割り当てられる、請求項１に記載の方法。
3. 前記イントラ予測モードが０または１であることに基づいて、前記非分離変換セットインデックスは、第１インデックス値に決定され、
   前記イントラ予測モードが２～１２または５６～６６の１つであることに基づいて、前記非分離変換セットインデックスは、第２インデックス値に決定され、
   前記イントラ予測モードが１３～２３または４５～５５の１つであることに基づいて、前記非分離変換セットインデックスは、第３インデックス値に決定され、
   前記イントラ予測モードが２４～４４の１つであることに基づいて、前記非分離変換セットインデックスは、第４インデックス値に決定される、請求項２に記載の方法。
4. 前記非分離変換セットインデックスのインデックス値のそれぞれについて、２つの非分離変換カーネルが設定される、請求項３に記載の方法。
5. 前記現在ブロックの幅と高さが４以上であることに基づいて、前記非分離変換行列が適用される、請求項１に記載の方法。
6. 前記非分離変換行列により変換された前記現在ブロックに対して水平方向の変換及び垂直方向の変換を適用する段階をさらに含む、請求項１に記載の方法。
7. 前記水平方向の変換及び前記垂直方向の変換は、変換行列を選択するためのＭＴＳ（multiple transform selection）インデックスに基づいて決定される、請求項６に記載の方法。
8. 映像信号をデコードするための装置において、
   前記映像信号を貯蔵するメモリと、
   前記メモリと結合されたプロセッサと、を含み、
   前記プロセッサは、
   現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内から、前記現在ブロックに対する非分離変換セットインデックスを決定し、
   前記非分離変換セットインデックスにより規定される非分離変換セットに含まれる変換カーネルを前記現在ブロックに対する非分離変換行列として決定し、
   前記現在ブロックの左上側領域に前記非分離変換行列を適用し、前記左上側領域は、前記現在ブロックの幅と高さに基づいて決定されるように設定され、
   前記現在ブロックに対する前記変換カーネルは、前記現在ブロックに対する前記非分離変換セットに含まれる２つの変換カーネルのうちの１つとして決定され、
   Ｎ個の変換係数を生成するために、前記現在ブロックの前記左上側領域に含まれるＲ個の係数に前記非分離変換行列が適用され、ＲはＮより小さく、Ｎは前記現在ブロックの前記左上側領域に含まれる係数の総数と等しい、装置。
9. 前記非分離変換セットインデックスは、前記イントラ予測モードの範囲に応じて、４つの変換セットにそれぞれ割り当てられる、請求項８に記載の装置。
10. 前記イントラ予測モードが０または１であることに基づいて、前記非分離変換セットインデックスは、第１インデックス値に決定され、
    前記イントラ予測モードが２～１２または５６～６６の１つであることに基づいて、前記非分離変換セットインデックスは、第２インデックス値に決定され、
    前記イントラ予測モードが１３～２３または４５～５５の１つであることに基づいて、前記非分離変換セットインデックスは、第３インデックス値に決定され、
    前記イントラ予測モードが２４～４４の１つであることに基づいて、前記非分離変換セットインデックスは、第４インデックス値に決定される、請求項９に記載の装置。
11. 前記非分離変換セットインデックスのインデックス値のそれぞれについて、２つの非分離変換カーネルが設定される、請求項１０に記載の装置。
12. 前記現在ブロックの幅と高さが４以上であることに基づいて、前記非分離変換行列が適用される、請求項８に記載の装置。
13. 前記プロセッサは、前記非分離変換行列により変換された前記現在ブロックに対して水平方向の変換及び垂直方向の変換を適用するようさらに設定される、請求項８に記載の装置。
14. 前記水平方向の変換及び前記垂直方向の変換は、変換行列を選択するためのＭＴＳ（multiple transform selection）インデックスに基づいて決定される、請求項１３に記載の装置。
15. 映像信号をエンコードするための方法において、
    現在ブロックのイントラ予測モードに基づいて、前記現在ブロックに対する非分離変換セットを決定する段階と、
    前記非分離変換セットに含まれる変換カーネルを前記現在ブロックに対する非分離変換行列として決定する段階と、
    前記現在ブロックの左上側領域に前記非分離変換行列を適用する段階であって、前記左上側領域は、前記現在ブロックの幅と高さに基づいて決定される、段階と、を含み、
    予め定義された非分離変換セットの内から前記現在ブロックに対する前記非分離変換セットを規定する非分離変換セットインデックスが、エンコードされ、
    前記現在ブロックに対する前記変換カーネルは、前記現在ブロックに対する前記非分離変換セットに含まれる２つの変換カーネルのうちの１つとして決定され、
    Ｒ個の変換係数を生成するために、前記現在ブロックの前記左上側領域に含まれるＮ個の係数に前記非分離変換行列が適用され、ＲはＮより小さく、Ｎは前記現在ブロックの前記左上側領域に含まれる係数の総数と等しい、方法。
16. 映像信号をエンコードするための方法により生成されるビットストリームを送信するための方法において、
    現在ブロックのイントラ予測モードに基づいて、前記現在ブロックに対する非分離変換セットを決定する段階と、
    前記非分離変換セットに含まれる変換カーネルを前記現在ブロックに対する非分離変換行列として決定する段階と、
    前記現在ブロックの左上側領域に前記非分離変換行列を適用する段階であって、前記左上側領域は、前記現在ブロックの幅と高さに基づいて決定される、段階と、を含み、
    予め定義された非分離変換セットの内から前記現在ブロックに対する前記非分離変換セットを規定する非分離変換セットインデックスが、エンコードされ、
    前記現在ブロックに対する前記変換カーネルは、前記現在ブロックに対する前記非分離変換セットに含まれる２つの変換カーネルのうちの１つとして決定され、
    Ｒ個の変換係数を生成するために、前記現在ブロックの前記左上側領域に含まれるＮ個の係数に前記非分離変換行列が適用され、ＲはＮより小さく、Ｎは前記現在ブロックの前記左上側領域に含まれる係数の総数と等しい、方法。

Images